WO2023017611A1 - 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム - Google Patents

学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム Download PDF

Info

Publication number
WO2023017611A1
WO2023017611A1 PCT/JP2021/029791 JP2021029791W WO2023017611A1 WO 2023017611 A1 WO2023017611 A1 WO 2023017611A1 JP 2021029791 W JP2021029791 W JP 2021029791W WO 2023017611 A1 WO2023017611 A1 WO 2023017611A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
inspected
blob
information
inspection
Prior art date
Application number
PCT/JP2021/029791
Other languages
English (en)
French (fr)
Inventor
俊輔 大塚
圭史 工藤
Original Assignee
株式会社ハシマ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ハシマ filed Critical 株式会社ハシマ
Priority to CN202180101428.3A priority Critical patent/CN117813492A/zh
Priority to PCT/JP2021/029791 priority patent/WO2023017611A1/ja
Priority to JP2021572603A priority patent/JP7034529B1/ja
Publication of WO2023017611A1 publication Critical patent/WO2023017611A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18—Investigating the presence of flaws defects or foreign matter

Definitions

  • the present invention relates to object detection, and in particular, a method for generating a learning model, a learning model, an inspection apparatus, and a method for inspecting fashion goods, food, industrial products, etc. as objects to be inspected and detecting foreign substances mixed in the objects to be inspected. It relates to an inspection method and a computer program.
  • Non-destructive, Devices capable of non-contact, high-speed inspection, detection, and detection of foreign matter are known (see, for example, Patent Documents 1 and 2).
  • Such an apparatus irradiates an object to be inspected with an inspection wave such as an electromagnetic wave, measures the transmission amount of the inspection wave that has passed through the object to be inspected, and obtains an inspection wave transmission image of the object to be inspected as an inspection image.
  • the density of the object to be inspected and the density of foreign matter are measured from the X-ray transmission image, and the density threshold for foreign matter extraction is set in advance.
  • the presence or absence of foreign matter contamination is determined based on the area, shape, etc. of a specific portion having a concentration exceeding a threshold value, which exists in the concentration distribution.
  • the presence or absence of an abnormality in the shape of the object to be inspected is determined based on the area and perimeter of the blob (lump) in the inspection image.
  • the area of the blob is calculated by counting the pixels that make up the blob, and the perimeter of the blob is calculated based on the array of background pixels forming the perimeter of the blob.
  • the amount of X-rays transmitted has a correlation with the density of the object irradiated with X-rays. has a low permeability. Therefore, in principle, the greater the density difference between the inspection object and the foreign matter, the greater the density difference between the inspection object and the foreign matter in the X-ray transmission image, thereby enabling stable foreign matter detection.
  • JP 2018-138899 A Japanese Patent No. 5876116
  • the present invention has been made in view of such circumstances, and provides a method for generating a learning model, a learning model, an inspection apparatus, an inspection method, and a computer program capable of detecting abnormalities in an object to be inspected with high accuracy. for the purpose.
  • a method of generating a learning model includes the steps of: irradiating an object to be inspected with electromagnetic waves; acquiring an image according to the electromagnetic waves that have passed through the object; a step of specifying a blob included in the inspected object based on the pixel values of the pixels of the processed image; a mask image masked to a position and shape corresponding to the specified blob; background image, which is the processed image that does not exist, and abnormality information including information related to an abnormality of the inspected object having a blob label, which is a type of object corresponding to the blob, and offset information of the mask portion in the processed image.
  • generating a learning model that outputs an inspection image including the heat map image, wherein the background image is an image different from the shape of the blob and is synthesized at an arbitrary position of the processed image.
  • a learning model irradiates an object to be inspected with an electromagnetic wave, acquires an image in response to the electromagnetic wave that has passed through the object to be inspected, and performs image processing on the image.
  • a mask image masked in a position and shape corresponding to the identified blob, and a background image which is the processed image not including the blob;
  • an output layer for outputting an inspection image including the heat map image by obtaining a heat map image in which the positions and shapes of the blobs are displayed as a heat map, and synthesizing the heat map image with the processed image; and an intermediate layer in which parameters are learned based on the mask image and the abnormality information, and when the mask image and the abnormality information are input to an input layer, the heat map image is processed by the
  • An inspection apparatus includes an irradiation unit that irradiates an object to be inspected with an electromagnetic wave, an image generation unit that generates an image according to the electromagnetic wave that has passed through the object to be inspected, and image processing on the image.
  • an image processing unit that acquires a processed image, an object identifying unit that identifies blobs included in the inspection object based on the pixel values of pixels included in the processed image, and a blob that corresponds to the identified blob a mask image masked in position and shape; a background image which is the processed image not including the blob;
  • An acquisition unit for acquiring, as teacher data, abnormality information including information about an abnormality in an object to be inspected, and an image acquired according to the electromagnetic waves transmitted through the object to be inspected by irradiating the object to be inspected with electromagnetic waves are input.
  • An abnormality information acquisition unit that acquires the displayed heat map image, and an output unit that outputs an inspection image including the heat map image by synthesizing the heat map image with the processed image, wherein the background image is , an image different from the shape of the blob is synthesized at an arbitrary position of the processed image.
  • An inspection method includes the steps of: irradiating an object to be inspected with electromagnetic waves; obtaining an image in accordance with the electromagnetic waves that have passed through the object; a step of identifying blobs included in the inspection object based on the pixel values of the pixels of the image; a mask image masked to a position and shape corresponding to the identified blobs; and the process not including the blobs.
  • a background image which is an image
  • anomaly information including information about anomalies of the inspected object having offset information of the mask portion in the processed image and a blob label, which is a type of object corresponding to the blob
  • teacher data including the mask image, the background image, and the abnormality information
  • generating a learning model that outputs an inspection image including a heat map image, wherein the background image is an image different from the shape of the blob and synthesized at an arbitrary position of the processed image.
  • a computer program includes steps of irradiating an object to be inspected with electromagnetic waves, obtaining an image in response to the electromagnetic waves transmitted through the object to be inspected, and performing image processing on the image. a step of identifying blobs included in the inspection object based on the pixel values of the pixels of the image; a mask image masked to a position and shape corresponding to the identified blobs; and the process not including the blobs.
  • a background image which is an image
  • anomaly information including information about anomalies of the inspected object having offset information of the mask portion in the processed image and a blob label, which is a type of object corresponding to the blob
  • teacher data including the mask image, the background image, and the abnormality information
  • generating a learning model that outputs an inspection image including a heat map image, wherein the background image is an image different from the shape of the blob and synthesized at an arbitrary position of the processed image.
  • the present invention in the inspection image of the object to be inspected, even when the difference in pixel values between the normal portion and the abnormal portion is small, when the shape of the foreign matter is peculiar, and when the size of the foreign matter is extremely small, high accuracy can be achieved. , a normal portion and an abnormal portion can be discriminated, and an abnormal state such as foreign matter contamination can be identified. Therefore, it is possible to accurately detect information regarding the presence or absence of an abnormality such as the presence or absence of foreign matter.
  • the present invention frees the user from repetitive simple work for a long period of time that requires a great deal of concentration, reduces fatigue, relieves fatigue-related accidents, etc., and reduces health hazards caused by foreign matter contamination accidents. As a result, it will be possible to contribute to Goal 3 "Good Health and Well-Being" and Goal 8 "Decent Work and Economic Growth” of the Sustainable Development Goals (SDGs) led by the United Nations.
  • FIG. 1 is a schematic diagram showing the configuration of an abnormality inspection system according to Embodiment 1 of the present invention
  • FIG. 1 is a block diagram showing the configuration of an abnormality inspection system according to Embodiment 1 of the present invention
  • FIG. 1 is a schematic diagram showing a known implementation of a Mask R-CNN convolutional neural network
  • FIG. 4 is a schematic diagram showing an example of a record layout of an inspection image DB 151 according to Embodiment 1 of the present invention
  • FIG. FIG. 4 is a schematic diagram of an abnormality detection model generation process according to the first embodiment of the present invention
  • FIG. 4 is a flow chart diagram relating to a process of generating an anomaly detection model according to the first embodiment of the present invention
  • FIG. 4 is a flow chart of a processing procedure of abnormality detection processing by the abnormality inspection system according to the first embodiment of the present invention
  • FIG. 4 is a schematic diagram showing a processed image of an object to be inspected
  • FIG. 4 is a schematic diagram showing a mask image of an object to be inspected
  • FIG. 4 is a schematic diagram showing a processed image of an inspection object in which foreign matter is not mixed
  • FIG. 4 is a schematic diagram showing a marking image for performing background image processing
  • FIG. 4 is a schematic diagram showing a processed image after background image processing
  • FIG. 4 is a schematic diagram showing a processed image of an inspection object in which foreign matter is mixed
  • FIG. 10 is a schematic diagram showing teaching data creation processing when a plurality of foreign substances are present in a processed image
  • FIG. 10 is a schematic diagram showing an inspection image of an object to be inspected after carrying out foreign matter detection processing; 1 is a schematic diagram showing an object to be inspected; FIG. FIG. 4 is a block diagram showing the configuration of an abnormality inspection system according to Embodiment 2 of the present invention; FIG. 10 is a schematic diagram regarding conditions for occurrence of relearning processing according to Embodiment 2 of the present invention. FIG. 10 is a flow chart diagram showing a processing procedure of relearning processing according to Embodiment 2 of the present invention.
  • FIG. 1 is a schematic diagram showing the configuration of an abnormality inspection system 10 according to Embodiment 1 of the present invention
  • FIG. 2 is a block diagram showing the configuration of the abnormality inspection system 10.
  • An abnormality inspection system 10 includes an information processing device 1 and an X-ray inspection device 2 .
  • the inspection object 4 is placed in a dispersed state on the transport belt 61 of the transport unit (conveyor) 6 of the X-ray inspection apparatus 2, and the inspection object 4 is imaged using X-rays.
  • An abnormality inspection system 10 that detects an abnormality based on the obtained image will be described. Examples of the inspected object 4 include shoes, bags, clothing, food, and the like.
  • the object 4 to be inspected is not limited to the objects such as shoes listed above, and any object whose shape can be detected from an image can be applied. Also, the object to be inspected 4 is not limited to the object itself such as the shoes listed above, and may be an object contained in a packaging material or placed on a tray.
  • the information processing device 1 and the X-ray inspection device 2 can be configured separately or integrated. [X-ray inspection device]
  • the X-ray inspection apparatus 2 includes an irradiation section 3 , a conveyor belt 60 , a light emitting section 24 , a light receiving section 25 , a controller 27 and a display section 22 .
  • the display section 22 includes a first display section 41 and a second display section 42 .
  • the X-ray inspection apparatus 2 also includes a horizontally long rectangular parallelepiped lower housing 23 and an upper housing 21 provided on the lower housing 23 and smaller than the lower housing 23 .
  • a transport section 6 is provided in the lower housing 23 .
  • the transport unit 6 includes a transport belt 60 , a transport belt driving unit 61 and a transport belt control unit 62 .
  • the conveying belt control unit 62 receives commands including the distance and speed for conveying the object 4 from the control unit 11, and controls the operation of the conveying belt driving unit 61 based on the commands.
  • the irradiation unit 3 is accommodated in the upper housing 21 .
  • the irradiation unit 3 has an irradiation body 31 and an irradiation control unit 32 .
  • the irradiation control unit 32 receives instructions from the control unit 11 including detailed settings such as X-ray irradiation time and X-ray intensity, and controls the X-rays emitted from the irradiation body 31 based on the instructions. .
  • the irradiation unit 3 emits X-rays from an arbitrary angle (for example, 0°, 25°, and 45° with respect to the coordinate axes X, Y, and Z shown in FIG. 1) with respect to the object to be inspected 4.
  • a display unit 22 is provided on the front surface of the upper housing 21 .
  • the display unit 22 displays an X-ray image or the like of the inspection object 4 generated by the image generation unit 111, which will be described later.
  • the display unit 22 is, for example, a display device such as an LCD (Liquid Crystal Display). or separate display devices.
  • a detector 7 is provided in the upper housing 21 .
  • the detection unit 7 is called a TDI (Time Delay Integration) camera or TDI sensor, and has a scintillator that emits fluorescence according to the intensity of X-rays and a large number of photodiodes that detect the fluorescence emitted by the scintillator. are doing.
  • TDI Time Delay Integration
  • photodiodes are arranged linearly in the X direction perpendicular to the Y direction, which is the movement direction of the inspection object, to form one detection line, and a plurality of these detection lines are provided side by side.
  • a plurality of detection lines are arranged in parallel in the Y direction, which is the moving direction of the object to be inspected.
  • a plurality of photodiodes are arranged regularly in the X direction and the Y direction in the housing of one TDI camera, and the photodiodes arranged in the X direction constitute one line of detection line.
  • the user places the object 4 to be inspected on the conveyor belt 60 and operates the controller 27 to convey the object 4 to be inspected until it is positioned below the irradiation unit 3 .
  • the irradiation unit 3 irradiates the object 4 to be inspected with X-rays.
  • the irradiated X-rays pass through the inspected object 4 and reach the light emitting section 24 below the conveyor belt 60 .
  • the light emitting unit 24 emits light according to the amount of X-rays that have reached it, and the light receiving unit 25 receives the emitted light.
  • the X-ray inspection apparatus 2 generates an X-ray irradiation image from the light received by the light receiving unit 25 by the image generating unit 111 in the control unit 11 and displays it on the display unit 22 .
  • the user visually checks the X-ray irradiation image displayed on the display unit 22 to determine whether or not the object 4 to be inspected is contaminated with foreign matter.
  • the basic configuration of this X-ray inspection apparatus 2 is the same as that of a conventionally known X-ray inspection apparatus, and is not limited to this embodiment.
  • FIG. 2 shows an outline of a block diagram showing the relationship of each component of the X-ray inspection apparatus 2 according to the present invention.
  • the X-ray inspection apparatus 2 is centrally managed by the control unit 11 , and each component included in the X-ray inspection apparatus 2 is controlled based on commands from the control unit 11 .
  • the control unit 11 includes an image generation unit 111 , an image processing unit 112 , an object identification unit 113 , an acquisition unit 114 , an abnormality information acquisition unit 115 , an output unit 116 , a control display unit 117 and a determination unit 118 . Note that this control unit 11 is mounted on an existing computer (equipped with a CPU, a storage device, etc.).
  • control unit 11 the image generation unit 111, the image processing unit 112, the target identification unit 113, the acquisition unit 114, the abnormality information acquisition unit 115, the output unit 116, the control display unit 117, and the determination unit 118 are realized on software. ing.
  • the transport belt 60 includes a transport belt drive section 61 and a transport belt control section 62 .
  • the conveying belt control unit 62 receives commands including the distance and speed for conveying the inspection object 4 from the control unit 11, and controls the operation of the conveying belt driving unit 61 based on the commands.
  • the light emitting unit 24 emits light upon receiving the X-rays emitted from the irradiation body 31 and passing through the object 4 to be inspected.
  • the light receiving unit 25 receives the emitted light and transmits it to the image generating unit 111 .
  • the image generation unit 111 generates an X-ray irradiation image of the object 4 to be inspected from the light transmitted from the light receiving unit 25 . It is also possible to generate a color X-ray irradiation image by generating a black-and-white image according to the amount of transmitted light and adding color according to the black-and-white density value.
  • An existing processing method can be used for this image processing, and it is possible to appropriately change the processing applied to the image so that the user can easily find foreign matter mixed in the object 4 to be inspected.
  • it is possible to change all kinds of setting information related to image processing such as changing the color applied to the image, changing the luminance and brightness, changing the resolution, and changing the image processing software.
  • the data file generation unit 220 (not shown) converts the X-ray irradiation image generated by the image generation unit 111 into at least facility setting information, image generation processing information, and object information of the X-ray inspection apparatus 2 at the time of inspection. , and user information.
  • the data file generated by this data file generation unit 220 is saved in a format readable by other image display devices, such as JPEG format or MPEG format. Therefore, existing image display devices (computers, tablet terminals, etc.) equipped with image software capable of reading these formats can display X-ray irradiation images in the same manner as before.
  • the auxiliary storage unit 15 can store the data file generated by the data file generation unit 220.
  • the auxiliary storage unit 15 may be a main storage unit (RAM, etc.) provided in the control unit 11, or may be an external storage medium (CD, DVD, etc.).
  • a data reading unit 221 (not shown) can read data files stored in the auxiliary storage unit 15 .
  • the inspection information read by the data reading unit 221 is transmitted to the control unit 11 , and the control unit 11 sends commands to the irradiation unit 3 , the conveyor belt 60 , or the image generation unit 111 .
  • the information processing apparatus 1 is an information processing apparatus capable of various types of information processing and transmission/reception of information, and is a computer.
  • Computers can be divided into personal computers (personal computers), workstations, server computers (servers), mainframes, supercomputers (supercomputers), ultracomputers, minicomputers (minicomputers), and office computers, depending on the purpose of use, specifications, specs, performance, etc. (office computer), pocket computer (pocket computer), microcomputer (microcomputer), personal digital assistant (PDA) and sequencer (PLC: programmable logic controller), etc. All of these are applicable to information processing equipment. It is possible.
  • the X-ray inspection apparatus 2 is connected to the information processing apparatus 1 via a network N such as a LAN, the Internet, etc., and is communicable.
  • a cloud computer communicably connected via a network N such as the Internet can execute the processing of the information processing device 1 .
  • the information processing apparatus 1 is assumed to be a personal computer, which will be described below.
  • the information processing device 1 acquires an image of the object 4 to be inspected, and performs processing for detecting the presence or absence of an abnormality in the object 4 to be inspected based on the image.
  • the information processing apparatus 1 detects the presence/absence of an abnormality using an abnormality detection model 152 that has been trained to detect (identify) an abnormality in an image of the inspection object 4 by machine learning.
  • the anomaly detection model 152 is assumed to be used as a program module that is part of artificial intelligence software.
  • the information processing apparatus 1 inputs a processed image 50, which is an image processed based on an image of the object 4 to be inspected using the X-ray inspection apparatus 2, to the abnormality detection model 152, and detects an abnormality of the object 4 to be inspected.
  • the identification result indicating the presence or absence of is obtained as an output.
  • the control unit 11 of the information processing apparatus 1 performs calculations on the mask image 51 and/or the background image 52 or the like input to the input layer in accordance with instructions from the abnormality detection model 152, and outputs identification results indicating the presence or absence of an abnormality. to work.
  • the presence or absence of an abnormality corresponds to the presence or absence of an abnormality (deformation) in the shape of the object 4 to be inspected, the presence or absence of foreign matter, and the like.
  • the type of abnormality in the inspection object 4 is the presence or absence of a foreign substance
  • the information processing apparatus 1 inputs the mask image 51 and/or the background image 52 to the abnormality detection model 152, and the inspection object 4 A case in which the position, shape, and the like of the foreign matter are acquired as the heat map image 53 when foreign matter is mixed in is described.
  • the information processing apparatus 1 outputs an inspection image 54 obtained by synthesizing the heat map image 53 with the processed image 50 .
  • the information processing device 1 selects whether or not to return the inspected object 4 to the manufacturer according to the acquired abnormality information such as the heat map.
  • the abnormality information means the offset information of the heat map portion and the object corresponding to the blob in the inspection image 54 including the heat map image 53 at the position and shape corresponding to the blob identified as the foreign matter on the processed image 50. It contains information about anomalies of the inspected object, such as blob label, which is the type.
  • the information processing device 1 includes a control section 11 , a main storage section 12 , a communication section 13 , an input section 14 and an auxiliary storage section 15 .
  • the control unit 11 has an arithmetic processing unit such as one or more CPU (Central Processing Unit), MPU (Micro-Processing Unit), GPU (Graphics Processing Unit), and programs 153 stored in the auxiliary storage unit 15. is read and executed to perform various information processing, control processing, and the like related to the information processing apparatus 1 .
  • Each functional unit in FIG. 2 is executed by the control unit 11 operating based on the program 153 .
  • the control unit 11 includes an image generation unit 111, an image processing unit 112, an object identification unit 113, an acquisition unit 114, an abnormality information acquisition unit 115, an output unit 116, a control display unit 117, and a determination unit 118 as functional units.
  • the image generator 111 generates an X-ray image based on the X-rays transmitted through the inspection object 4 and detected by the detector 7 .
  • the image processing unit 112 performs image processing on the X-ray image using a smoothing filter, a feature extraction filter, and the like, and generates a processed image 50 .
  • the object identification unit 113 performs blob analysis of the inspection object 4 based on the processed image 50 to identify blobs.
  • the Acquisition unit 114 includes specific image acquisition unit 124 and specific information acquisition unit 134 .
  • the specific image acquiring unit 124 acquires the mask image 51 masked at the position and shape corresponding to the blob specified by the target specifying unit 113 .
  • the mask image 51 is an image obtained by masking the portion of the foreign matter to be found (filled with white or black, and the rest with the opposite color).
  • the specific image acquisition unit 124 acquires a background image, which is the processed image 50 that does not contain blobs. A method of generating the background image will be described in detail below.
  • the specific information acquisition unit 134 acquires abnormality information including offset information of the masked portion in the processed image 50 and information regarding abnormality of the inspected object 4 having a blob label, which is a type of object corresponding to the blob. Also, the mask image 51, the background image 52 and the abnormality information are input to the abnormality detection model 152 as teacher data. Abnormality information acquiring unit 115 learns to output information about abnormality of inspected object 4 when an image acquired according to electromagnetic waves transmitted through inspected object 4 is input by irradiating inspected object 4 with electromagnetic waves.
  • the mask image 51 and the abnormality information obtained from the obtaining unit 114 are input to the model, and a heat map image 53 in which the positions and shapes of blobs are displayed as a heat map on the processed image 50 is obtained.
  • the output unit 116 synthesizes the heat map image 53 acquired by the abnormality information acquisition unit 115 on the processed image 50 and outputs the inspection image 54 including the heat map image 53 .
  • the control display unit 117 displays setting input information, setting change information, setting confirmation information, etc. for various functional units constituting the abnormality inspection system shown in FIG.
  • the control display unit 117 can also add, delete, and edit data and programs of the inspection image DB 151 , the abnormality detection model 152 , and the program 153 provided in the auxiliary storage unit 15 .
  • the determination unit 118 determines whether or not to return the inspection object 4 to the manufacturer, and stops the transport unit 6. , marking to indicate whether or not the object 4 to be inspected has been abnormally detected.
  • the main storage unit 12 is a temporary storage area such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), flash memory, etc., and temporarily stores data necessary for the control unit 11 to perform arithmetic processing.
  • the communication unit 13 is a communication module for performing processing related to communication, and transmits and receives information to and from the outside.
  • the auxiliary storage unit 15 is a large-capacity memory, hard disk, or the like, and stores programs 153 and other data necessary for the control unit 11 to execute processing.
  • the auxiliary storage unit 15 also stores an inspection image DB 151 and the abnormality detection model 152 .
  • the inspection image DB 151 is a database that stores information on the inspected object 4 that is an abnormality detection target.
  • the program 153 stored in the auxiliary storage unit 15 may be provided from a recording medium on which the program 153 is readable.
  • the recording medium is, for example, a USB (Universal Serial Bus) memory, an SD (Secure Digital) card, a micro SD card, a portable memory such as a compact flash (registered trademark).
  • the program 153 recorded on the recording medium is read from the recording medium using a reading device (not shown) and stored in the auxiliary storage unit 15 .
  • the information processing device 1 includes a communication unit capable of communicating with an external communication device
  • the program 153 stored in the auxiliary storage unit 15 may be provided by communication via the communication unit.
  • An external storage device connected to the information processing device 1 can be applied to the auxiliary storage unit 15 .
  • a multicomputer including a plurality of computers can be applied to the information processing apparatus 1, and a virtual machine that is virtually constructed by software can also be applied.
  • FIG. 3 is a schematic diagram showing a mask image 51 masked at a position and shape corresponding to the blob specified by the target specifying unit 113.
  • the target identification unit 113 of the control unit 11 detects blobs by pattern matching, edge detection, R-CNN (Regions with Convolutional Neural Networks), or the like.
  • the mask image 51 is shown with the mask portion in white and the other background in black.
  • the object identification unit 113 according to the present invention uses the architecture of Mask R-CNN (Mask Regions with Convolutional Neural Networks). [Mask R-CNN]
  • Mask R-CNN is known and its architecture is shown in FIG. Referring to FIG. 3, Mask R-CNN is a CNN divided into two sets, and the processing is divided into stage 1 and stage 2.
  • Voltage 1 allows preprocessing of the input image and essentially includes a first feature pyramid network (FPN) sub-network, the operation of which is described in more detail below.
  • FPN feature pyramid network
  • Stage 2 completes the detection and ends (generates the desired output, ie the segmentation mask of the detected elements of interest and/or one or more detection boxes and/or classes).
  • Stage 1 of Mask R-CNN includes a region proposal network (RPN) type third sub-network, which is also a detection network, and a trimming module (“ROI align, ROI means “region of interest”).
  • RPN region proposal network
  • ROI align ROI means “region of interest”.
  • the FPN identifies potential regions of interest in the FPN output feature map (i.e., likely to contain the element of interest), and the trimming module trims these regions of interest to facilitate the operation of the detection network. "Realign" the feature map according to the coordinates.
  • the CNN also includes at least a first FPN type network and a second detection network type sub-network, and optionally a third RPN type sub-network and a trimming module.
  • the FPN (first subnetwork) is the most important part of the Mask R-CNN network.
  • the FPN differs in that it consists of ascending (“bottom-up”) and descending (“top-down”) branches and lateral connections between ascending and descending branches.
  • Ascending branches also known as the backbone of the network as a whole, can be of many types in conventional feature extraction networks, particularly conventional CNNs (convolutional layer direct continuous block CONV, batch normalization layer BN, and nonlinear layer NL).
  • the backbone extracts from the input image multiple initial feature maps representing the input image at different scales. More precisely, the backbone consists of a number of consecutive convolutional blocks, whereby the first block generates a first initial feature map from the input image, then the second block generates a second initial A feature map is generated for the first initial feature map, and so on.
  • each successive map has a smaller scale (i.e., decreasing resolution results in "smaller" feature maps, and thus less detail), but increasingly higher-level It is understood that the semantic depth is more increased because images of the structure of are captured. Specifically, the initial feature map increases the number of channels as its size decreases.
  • a pooling layer is placed between two blocks to reduce the size by a factor of two, and from one block to the other, the number of filters in the convolutional layers used (typically 3 ⁇ 3 convolutions) are increased (preferably doubled), e.g., for the five-level case, e.g., consecutive channel numbers of 32, 64, 128, 256, and 512, and and a contiguous map size of 32x32 (for a 512x512 input image).
  • the number of filters in the convolutional layers used typically 3 ⁇ 3 convolutions
  • the number of filters in the convolutional layers used are increased (preferably doubled), e.g., for the five-level case, e.g., consecutive channel numbers of 32, 64, 128, 256, and 512, and and a contiguous map size of 32x32 (for a 512x512 input image).
  • FIG. 4 is a schematic diagram showing an example of the record layout of the inspection image DB 151.
  • the inspection image DB 151 includes a mask image ID column, an offset information column, a blob label column and a mask image column.
  • a mask image ID indicates information for identifying the mask image 51 .
  • the offset information (X, Y, W, H) indicates coordinate information regarding the position of the mask portion on the mask image 51 of the inspection object 4 placed on the conveyor belt 60 in the X-ray irradiation area.
  • X and Y indicate information on the X and Y coordinates
  • W and H indicate information on the width and height of the mask image 51 .
  • the blob label indicates the type of abnormal state corresponding to the mask portion, and corresponds to scratches, iron balls, needles, stains, and the like. Furthermore, the inspection image DB 151 stores a background image 52 that is a processed image 50 that does not contain blobs. Furthermore, the inspection image DB 151 records the inspection image 54 including the heat map image 53 as the foreign matter mixed image, and records the inspection image 54 not including the heat map image 53 as the foreign matter non-containing image (background image).
  • FIG. 5 shows a schematic diagram of the process of generating the anomaly detection model 152.
  • FIG. FIG. 5 conceptually shows the process of performing machine learning to generate the anomaly detection model 152 .
  • the information processing apparatus 1 receives the processed image 50 or the like as the abnormality detection model 152 by learning the image feature amount of the abnormality in the processed image 50 of the object 4 to be inspected, and detects the abnormality of the shape of the object 4 to be inspected. and build (generate) a neural network that outputs information indicating the presence or absence of foreign matter.
  • the neural network is a MASK R-CNN (Mask Regions with Convolutional Neural Network), and includes an input layer that accepts inputs such as the mask image 51 and/or the background image 52, an output layer that outputs the results of identifying the presence or absence of anomalies, and a mask and an intermediate layer for extracting image features such as the image 51 and/or the background image 52 .
  • the input layer has a plurality of neurons that receive input of pixel values of pixels included in the inspection image 54, and passes the input pixels to the intermediate layer.
  • the intermediate layer has a plurality of neurons for extracting image features of the inspection image 54, and passes the extracted image features to the output layer.
  • the number of intermediate layers is three in FIG. 6, the present invention is not limited to this.
  • the anomaly detection model 152 is a CNN
  • the intermediate layer alternates between a convolution layer that convolves the pixel values of each pixel input from the input layer and a pooling layer that maps the pixel values convolved in the convolution layer. , and while compressing the pixel information of the inspection image 54, the feature amount of the image is finally extracted.
  • the output layer has three neurons for outputting identification results identifying abnormalities in the object 4 to be inspected. Identify presence or absence.
  • the first neuron outputs the probability value of normality of the inspected object 4, the second neuron outputs the probability value of abnormal shape of the inspected object 4, and the third neuron outputs the probability value of the inspected object 4 being foreign. Output the probability value that has Note that the number of types of abnormality may be three or more.
  • the anomaly detection model 152 is described as being a CNN, but the anomaly detection model 152 is not limited to CNN, and can be any neural network other than CNN, SVM (Support Vector Machine), Bayesian network, regression tree. A trained model constructed by other learning algorithms such as is also applicable.
  • the information processing device 1 performs learning using teacher data in which a plurality of mask images 51 and information indicating abnormalities of the inspection object 4 in each mask image 51 are associated with each other.
  • the information indicating the above is the presence or absence of an abnormality judged on the processed image 50 of the object 4 to be inspected. and information on the presence or absence of foreign matter.
  • the teacher data is data in which the mask image 51 of the inspection object 4 is labeled with the ID of the mask image 51, offset information and blob label, and/or data such as the background image 52. is.
  • the information processing apparatus 1 inputs a mask image 51 and/or a background image 52 or the like, which are teacher data, to an input layer, performs arithmetic processing in an intermediate layer, and outputs an identification data indicating the presence or absence of an abnormality in the inspection object 4 from an output layer. Get results.
  • the identification result output from the output layer is the inspection image 54 including the heat map image 53 when the mask image 51 is input to the input layer, and the heat map image when the background image is input to the input layer.
  • 53 is an inspection image 54 that does not include 53.
  • the information processing device 1 compares the identification result output from the output layer with the information labeled for the mask image 51 in the teacher data, that is, the correct value, so that the output value from the output layer approaches the correct value. , optimize the parameters used for arithmetic processing in the intermediate layer.
  • the parameters are, for example, weights (coupling coefficients) between neurons, coefficients of activation functions used in each neuron, and the like.
  • the parameter optimization method is not particularly limited, for example, the information processing device 1 optimizes various parameters using the error backpropagation method.
  • the information processing device 1 performs the above processing on each inspection image 54 included in the training data to generate an abnormality detection model 152 .
  • the abnormality detection model 152 is used to detect the presence or absence of foreign matter on the object 4 to be inspected.
  • FIG. 6 is a flowchart showing an example of a processing procedure for generating the abnormality detection model 152 by the control unit 11.
  • the control unit 11 controls data in which a plurality of mask images 51 of the object to be inspected 4 are associated with information indicating the abnormality of the object to be inspected 4 in each processed image 50, and/or Data that is the background image 52 that does not exist is acquired as teacher data (S11).
  • the control unit 11 uses teacher data to create an abnormality detection model 152 (learned model) that outputs information on the presence or absence of an abnormality in the object to be inspected 4 when the mask image 51 and/or the background image 52 of the object to be inspected 4 is input.
  • Generate (S12). Specifically, the control unit 11 inputs a mask image 51 and/or a background image 52, which are teaching data, to the input layer of the neural network. The identification result of identifying the presence or absence of foreign matter mixed in the inspection object 4 is obtained from the output layer.
  • the control unit 11 compares the acquired identification result with the correct value of the teacher data (information labeled with respect to the mask image 51 or no abnormality information with respect to the background image 52), and the identification result output from the output layer is Parameters (weights, etc.) used for arithmetic processing in the intermediate layer are optimized so as to approach the correct value.
  • the abnormality detection model 152 can also be optimized and its accuracy improved by increasing the types and numbers of the mask images 51 and the background images 52 and increasing the number of times of learning.
  • the control unit 11 stores the generated abnormality detection model 152 in the auxiliary storage unit 15, and terminates the series of processes.
  • the processed image 50 of the object to be inspected 4 is similar to the foreign object, but the foreign object
  • the learning effect of the abnormality detection model 152 is improved, and the accuracy of the abnormality detection processing by the abnormality inspection system 10 is further improved.
  • FIG. 7 is a flow chart showing an example of the procedure of abnormality detection processing by the abnormality inspection system 10.
  • the irradiation unit 3 of the X-ray inspection apparatus 2 irradiates the object 4 to be inspected with X-rays, and based on the X-rays detected by the detection unit 7, the image generation unit 111 of the control unit 11 in the information processing apparatus 1 generates X-rays.
  • a line irradiation image is generated (S21).
  • the image processing unit 112 of the control unit 11 performs image processing on the X-ray image using a smoothing filter, a feature extraction filter, etc., and generates a processed image 50 (S22).
  • the object identification unit 113 of the control unit 11 performs blob analysis of the inspection object 4 based on the processed image 50 and identifies blobs (S23).
  • the acquisition unit 114 of the control unit 11 acquires the mask image 51, abnormality information, etc. based on the processed image 50 generated in S22 and the blob identified in S23 (S24).
  • the abnormality information acquisition unit 115 of the control unit 11 acquires the heat map image 53 based on the mask image 51 and the like acquired in S24 (S25).
  • the output unit 116 of the control unit 11 synthesizes the heat map image 53 on the processed image 50, outputs the inspection image 54 including the heat map image 53 (S26), and ends the process.
  • the normal portion and the abnormal portion can be accurately discriminated. can. Therefore, it is possible to accurately detect abnormality presence/absence information such as an abnormality in the shape of the object 4 to be inspected and the presence or absence of foreign matter mixed into the object 4 to be inspected.
  • blobs that are present in the processed image 50 of the inspected object 4 and that are very similar to the foreign matter but do not correspond to the foreign matter are learned by the anomaly detection model 152 as background images.
  • the accuracy of the abnormality detection process by 10 is further improved. Therefore, if the accuracy of the abnormality inspection system 10 is further improved, it is possible to reduce or eliminate the need for the user (operator) to visually detect an abnormality, thereby improving the efficiency of the abnormality detection work.
  • FIGS. 9A, 9B, and 9C are schematic diagrams showing mask images of the inspection object obtained by masking the blobs specified from the processed image 50.
  • FIG. is. In the masking process, the portion corresponding to the blob is processed in white, and the area other than the blob is processed in black.
  • FIG. 10 is a schematic diagram showing a processed image 50 of an inspection object in which no blob is specified and foreign matter is judged not to be mixed by abnormality detection processing or visual observation by a user (inspection operator). .
  • the image is subjected to predetermined image processing on the mask image, and learned by the anomaly detection model 152 as the background image 52 . Even if a blob is identified in the image, if the blob is not determined to be a foreign object, it is processed as the background image 52 and learned in the same manner as described above.
  • FIGS. 11A and 11B are schematic diagrams showing marking images for performing background image processing.
  • a marking log for converting the normal processed image 50 of the inspection object 4 into a background image is displayed at the upper left of each of FIGS. 11(a) and 11(b).
  • the marking logo is created in a shape that is completely different from various types of assumed blobs so that it will not be determined as a blob by foreign matter detection processing or by the user's visual inspection.
  • the marking logo is white, and the area other than the marking logo is black.
  • 11(b) is a negative-positive inverted image of FIG. 11(a), which is appropriately used according to the two gradation levels of the processed image 50.
  • FIG. 11(a) is a negative-positive inverted image of FIG. 11(a), which is appropriately used according to the two gradation levels of the processed image 50.
  • FIG. 12 is a schematic diagram showing a background image 52 obtained by synthesizing the normal image, which is the processed image 50 free of foreign matter shown in FIG. 10, and the marking image shown in FIG. .
  • FIG. 13 is a schematic diagram showing a processed image 50 of the inspected object 4 containing foreign matter.
  • a foreign object is shown in the area enclosed by the circular and elliptical dotted lines.
  • (a), (b), and (c) of FIG. 14 are images that are performed in advance when foreign matter detection processing is performed on the processed image 50 of the inspection object 4 in which a plurality of foreign matter is mixed.
  • FIG. 4 is a schematic diagram showing the process;
  • the processed image 50 of the inspected object 4 containing a plurality of contaminants replicates as many images as there are contaminants, each image representing a different contaminant.
  • FIG. 14(a) shows a processed image containing two foreign substances.
  • the processed image 50 shown in FIG. Image 50 is duplicated.
  • a mask image 51 is generated for the processed image 50 of FIGS. 14(b) and 14(c).
  • FIG. 15(a) shows a processed image 50 before foreign matter detection processing
  • FIG. 15(b) shows an inspection image 54 that is the processed image 50 before foreign matter detection processing.
  • a heat map is displayed in the foreign matter portion of the processed image 50 in FIG.
  • the inspection image 54 of FIG. 15(b) is obtained by synthesizing a heat map image generated based on the abnormality information obtained by the foreign matter detection process with respect to the processed image 50 of FIG. 15(a). is obtained by
  • (a) and (b) of FIG. 16 are schematic diagrams showing an example of an object to be inspected.
  • iron ball-shaped foreign matter can be of various sizes such as 0.8 mm, 1.0 mm, 1.2 mm, 1.5 mm, 2.0 mm, and 2.5 mm. detectable.
  • FIG. 16(b) shows an example of a foreign matter other than an iron ball.
  • pins, staples, broken needles, hair ties, lighters, etc. are objects of foreign matter detection. Note that foreign matter that can be photographed can be detected by registering it as a foreign matter in the abnormality detection model 152 and making it learn. (Embodiment 2) [Relearn]
  • FIG. 17 is a block diagram showing the configuration of an abnormality inspection system 20 according to the second embodiment.
  • the control unit 11 serves as a function unit and the re-learning unit 119
  • the configuration is the same as that of the abnormality inspection system 10 according to the first embodiment, except for having the , and the same processing is performed.
  • the same parts as those in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
  • the first display unit 41 displays the processed image 50, and the user (operator) visually confirms the presence or absence of foreign matter in the processed image 50.
  • the second display unit 42 displays the inspection image 54 after the foreign matter detection processing by the abnormality inspection system 20 , and the user visually confirms whether or not there is a heat map on the inspection image 54 .
  • FIG. 18 is a schematic diagram summarizing cases in which the user's judgment and the detection result of the abnormality inspection system 20 are different. As can be seen from FIG. 18, problems arise when the abnormality inspection system 20 detects that there is no foreign matter when the user visually determines that there is a foreign matter, and when the user visually determines that there is no foreign matter. This is the case when the system 20 detects that there is a foreign object.
  • the cases where the processed image 50 is re-learned are the following (pattern 1) and (pattern 2).
  • Pattern 1 A case where the abnormality inspection system 20 according to the present invention does not display a heat map on the inspection image 54 of the inspection object 4, but the user visually determines that foreign matter is mixed.
  • Pattern 2 A case in which the abnormality inspection system 20 according to the present invention displays a heat map on the inspection image 54 of the inspection object 4, but the user visually determines that no foreign matter is mixed.
  • the re-learning unit 119 confirms the processed image 50 again by the user's visual observation to determine whether the inspection object 4 is correct. Perform normal/abnormal state determination.
  • the re-learning unit 119 re-learns the abnormality detection model 152 using teacher data that associates the inspection image 54 with the judgment of the abnormality detection model 152 input by the user.
  • the second display unit 42 has an OK button 70 (not shown) as a first operation button and an NG button 71 (not shown) as a second operation button.
  • the control unit 11 allows the user to press the OK button 70 and the NG button.
  • the pressed state of the button 71 is detected, and the inspection image 54 is associated with the presence or absence of an abnormal state, for example, the presence or absence of contamination, and specified as data to be re-learned.
  • the second display unit 42 further includes a selection button 72 for receiving input of the type of abnormality of the inspection object 4 .
  • the user presses the selection button in addition to pressing the NG button 71 to select and can be entered.
  • the type of anomaly selected and entered is associated with the inspection image 54 in addition to the presence or absence of an anomaly.
  • correct information is added to the erroneously determined images, and after re-learning by the abnormality detection model 152, the second display is performed for the occurrence of a similar abnormality.
  • the part displays a heat map image based on the type of anomaly on the anomaly image. That is, the re-learning unit 119 re-learns the abnormality detection model 152 also for the inspection image 54 re-discriminate by the discriminating unit 118 .
  • the re-learning of the anomaly detection model 152 by the re-learning unit 119 is performed by automatic learning or the like at night, for example.
  • the correct determination result of the corresponding processed image 50 is saved and accumulated in the inspection image DB 151 and utilized in inspection of a new inspection object 4 . If the user's determination result of foreign matter contamination and the abnormality inspection system's judgment result of foreign matter contamination are different, the abnormality inspection system will not make the same misidentification, misdetection, or misjudgment in the future. It is necessary to relearn the detection model 152 .
  • FIG. 19 is a flow chart showing an example of a processing procedure of relearning processing by the control unit 11 of the information processing device 1.
  • FIG. 19 is a flow chart showing an example of a processing procedure of relearning processing by the control unit 11 of the information processing device 1.
  • the control unit 11 determines whether the defect detection by the abnormality inspection system 20 is good or bad based on the user pressing the OK button 70 or the NG button 71 provided in the second display unit 42 for the selected inspection image 54 .
  • Accept S31
  • the press acquires a mask image and the like from the inspection image 54 (S31), makes the abnormality detection model 152 learn these as teacher data, and generates a new abnormality detection model 152 (S32). , is stored in the inspection image DB 151 .
  • the inspection image 54 is synthesized with the masking image, the background image 52 is acquired (S31), and the abnormality detection model 152 is made to learn these as teacher data.
  • a new abnormality detection model 152 is generated (S32) and stored in the inspection image DB 151.
  • the user presses the OK button 70 to end the foreign matter detection processing.
  • Information processing device 2 X-ray inspection device 3 Irradiation unit 4 Inspection object 6 Transport unit (conveyor) 7 detection unit 10, 20 abnormality inspection system 11 control unit 12 storage unit 13 communication unit 14 input unit 15 auxiliary storage unit 21 small upper housing 21 upper housing 22 display unit 23 lower housing 24 light emitting unit 25 light receiving unit 27 controller 31 irradiation body 32 irradiation control unit 41 first display unit 42 second display unit 50 processed image 51 mask image 52 background image 53 heat map image 54 inspection image 60 transport belt 61 transport belt driving unit 62 transport belt control unit 70 OK Button (first operation button) 71 NG button (second operation button) 72 Selection button 111 Image generation unit 112 Image processing unit 113 Target identification unit 114 Acquisition unit 115 Abnormality information acquisition unit 116 Output unit 117 Control display unit 118 Discrimination unit 119 Learning unit 124 Specific image acquisition unit 134 Specific information acquisition unit 152 Abnormality detection model 153 program 220 data file generation unit 221 data reading unit DB 151 inspection image N network

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

高い精度で被検査物の異常を検出することができる。　学習モデルの生成方法は、被検査物に電磁波を照射するステップと、被検査物を透過した電磁波に応じて画像を取得するステップと、画像に対して画像処理された処理画像が有する画素の画素値に基づいて、被検査物が含むブロブを特定するステップと、特定されたブロブに対応した位置および形状にマスクされたマスク画像と、処理画像におけるマスク部分のオフセット情報およびブロブに該当するオブジェクトの種類であるブロブラベルを有する被検査物の異常に関する情報を含む異常情報とを取得するステップと、マスク画像および異常情報を含む教師データを取得するステップと、被検査物に電磁波を照射し、被検査物を透過した電磁波に応じて取得した画像が入力された場合に、教師データに基づいて、処理画像上にブロブの位置および形状をヒートマップとして表示されたヒートマップ画像を取得するステップと、ヒートマップ画像を処理画像に合成することで、ヒートマップ画像を含む検査画像を出力する学習モデルを生成するステップとを含む。

Description

学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム
　本発明は、物体検出に関し、とくに、服飾雑貨、食品、工業製品等を被検査物として検査し、被検査物に混入した異物を検出するための学習モデルの生成方法、学習モデル、検査装置、検査方法、およびコンピュータプログラムに関する。
　従来から、服飾雑貨、食品、工業製品等の検査、包装材に内容物が収納された包装体の検査に、Ｘ線、テラヘルツ波、赤外線および可視光等の検査波を使用した、非破壊、非接触かつ高速で異物検査・検知・検出が可能な装置が知られている（例えば、特許文献１および特許文献２参照）。このような装置は、被検査物に電磁波等の検査波を照射し、被検査物を透過した検査波の透過量を計測し、被検査物の検査波透過画像を検査画像として取得する。
　検査波、例えばX線を利用した検査では、X線透過画像から被検査物の濃度と異物の濃度をそれぞれ測定して異物抽出の濃度閾値を予め設定しておき、取得したX線透過画像の濃度分布内に存在する、閾値を超える濃度の特異箇所の面積や形状等に基づいて異物混入の有無を判定する。被検査物の形状の異常の有無は、検査画像のブロブ（塊）の面積および周囲長に基づいて行っていた。ブロブを構成する画素をカウントすることにより、ブロブの面積が算出され、ブロブの周囲を形成する背景画素の配列に基づき、ブロブの周囲長が算出される。また一般的に、Ｘ線の透過量は、Ｘ線を照射する対象物の密度と相関があり、対象物の密度が低いほどＸ線の透過能は高く、対象物の密度が高いほどＸ線の透過能は低い。そのため、原理上、被検査物と異物との密度差が大きいほど、Ｘ線透過画像における被検査物と異物の濃度差も大きくなり、安定した異物検出が可能になる。
特開２０１８－１３８８９９号公報 特許第５８７６１１６号公報
　このように、従来の異物検査方法は、閾値と比較することにより異物の有無を判定していたが、被検査物および異物の種類によっては、正常な領域と異物との画素値の差異が小さく、検査不能や異物検出の精度の低下という問題があった。
　本発明は斯かる事情に鑑みてなされたものであり、高い精度で被検査物の異常を検出することができる学習モデルの生成方法、学習モデル、検査装置、検査方法、およびコンピュータプログラムを提供することを目的とする。
　本発明の一様態に係る学習モデルの生成方法は、被検査物に電磁波を照射するステップと、前記被検査物を透過した電磁波に応じて画像を取得するステップと、前記画像に対して画像処理された処理画像が有する画素の画素値に基づいて、前記被検査物が含むブロブを特定するステップと、特定された前記ブロブに対応した位置および形状にマスクされたマスク画像と、前記ブロブを含まない前記処理画像である背景画像と、前記処理画像における前記マスク部分のオフセット情報および前記ブロブに該当するオブジェクトの種類であるブロブラベルを有する前記被検査物の異常に関する情報を含む異常情報とを取得するステップと、前記マスク画像、前記背景画像および前記異常情報を含む教師データを取得するステップと、前記被検査物に電磁波を照射し、前記被検査物を透過した電磁波に応じて取得した画像が入力された場合に、前記教師データに基づいて、前記処理画像上に前記ブロブの位置および形状をヒートマップとして表示されたヒートマップ画像を取得するステップと、前記ヒートマップ画像を前記処理画像に合成することで、前記ヒートマップ画像を含む検査画像を出力する学習モデルを生成するステップとを含み、前記背景画像は、前記ブロブの形状とは異なる画像が前記処理画像の任意の位置に合成されている。
　本発明の一様態に係る学習モデルは、被検査物に電磁波を照射し、前記被検査物を透過した電磁波に応じて画像を取得し、前記画像に対して画像処理された処理画像が有する画素の画素値に基づいて、前記被検査物が含むブロブを特定し、特定された前記ブロブに対応した位置および形状にマスクされたマスク画像と、前記ブロブを含まない前記処理画像である背景画像と、前記処理画像における前記マスク部分のオフセット情報および前記ブロブに該当するオブジェクトの種類であるブロブラベルを有する前記被検査物の異常に関する情報を含む異常情報とが入力される入力層と、前記処理画像上に前記ブロブの位置および形状をヒートマップとして表示されたヒートマップ画像を取得し、前記ヒートマップ画像を前記処理画像に合成することで、前記ヒートマップ画像を含む検査画像を出力する出力層と、前記マスク画像および前記異常情報に基づいてパラメータが学習された中間層とを備え、前記マスク画像および前記異常情報が入力層に入力された場合に、前記中間層による演算を経て、前記ヒートマップ画像を含む前記検査画像を前記出力層から出力するようにコンピュータを機能させ、前記背景画像が入力層に入力された場合に、前記中間層による演算を経て、前記ヒートマップ画像を含まない前記検査画像を前記出力層から出力するようにコンピュータを機能させる。
　本発明の一様態に係る検査装置は、被検査物に電磁波を照射する照射部と、前記被検査物を透過した電磁波に応じて画像を生成する画像生成部と、前記画像に対して画像処理を実施し、処理画像を取得する画像処理部と、前記処理画像が有する画素の画素値に基づいて、前記被検査物が含むブロブを特定する対象特定部と、特定された前記ブロブに対応した位置および形状にマスクされたマスク画像と、前記ブロブを含まない前記処理画像である背景画像と、前記処理画像における前記マスク部分のオフセット情報および前記ブロブに該当するオブジェクトの種類であるブロブラベルを有する前記被検査物の異常に関する情報を含む異常情報とを教師データとして取得する取得部と、前記被検査物に電磁波を照射し、前記被検査物を透過した電磁波に応じて取得した画像が入力された場合に、前記被検査物の異常に関する情報を出力する学習モデルに、前記取得部より取得した前記マスク画像および異常情報を入力して、前記処理画像上に前記ブロブの位置および形状をヒートマップとして表示されたヒートマップ画像を取得する異常情報取得部と、前記ヒートマップ画像を前記処理画像に合成することで、前記ヒートマップ画像を含む検査画像を出力する出力部とを備え、前記背景画像は、前記ブロブの形状とは異なる画像が前記処理画像の任意の位置に合成されていることを備える。
　本発明の一様態に係る検査方法は、被検査物に電磁波を照射するステップと、前記被検査物を透過した電磁波に応じて画像を取得するステップと、前記画像に対して画像処理された処理画像が有する画素の画素値に基づいて、前記被検査物が含むブロブを特定するステップと、特定された前記ブロブに対応した位置および形状にマスクされたマスク画像と、前記ブロブを含まない前記処理画像である背景画像と、前記処理画像における前記マスク部分のオフセット情報および前記ブロブに該当するオブジェクトの種類であるブロブラベルを有する前記被検査物の異常に関する情報を含む異常情報とを取得するステップと、前記マスク画像前記背景画像および前記異常情報を含む教師データを取得するステップと、前記被検査物に電磁波を照射し、前記被検査物を透過した電磁波に応じて取得した画像が入力された場合に、前記教師データに基づいて、前記処理画像上に前記ブロブの位置および形状をヒートマップとして表示されたヒートマップ画像を取得するステップと、前記ヒートマップ画像を前記処理画像に合成することで、前記ヒートマップ画像を含む検査画像を出力する学習モデルを生成するステップとを含む処理をコンピュータに実行させ、前記背景画像は、前記ブロブの形状とは異なる画像が前記処理画像の任意の位置に合成されている。
　本発明の一様態に係るコンピュータプログラムは、被検査物に電磁波を照射するステップと、前記被検査物を透過した電磁波に応じて画像を取得するステップと、前記画像に対して画像処理された処理画像が有する画素の画素値に基づいて、前記被検査物が含むブロブを特定するステップと、特定された前記ブロブに対応した位置および形状にマスクされたマスク画像と、前記ブロブを含まない前記処理画像である背景画像と、前記処理画像における前記マスク部分のオフセット情報および前記ブロブに該当するオブジェクトの種類であるブロブラベルを有する前記被検査物の異常に関する情報を含む異常情報とを取得するステップと、前記マスク画像前記背景画像および前記異常情報を含む教師データを取得するステップと、前記被検査物に電磁波を照射し、前記被検査物を透過した電磁波に応じて取得した画像が入力された場合に、前記教師データに基づいて、前記処理画像上に前記ブロブの位置および形状をヒートマップとして表示されたヒートマップ画像を取得するステップと、前記ヒートマップ画像を前記処理画像に合成することで、前記ヒートマップ画像を含む検査画像を出力する学習モデルを生成するステップとを含む処理をコンピュータに実行させ、前記背景画像は、前記ブロブの形状とは異なる画像が前記処理画像の任意の位置に合成されている。
　本発明によれば、被検査物の検査画像において、正常部分と異常部分との画素値の差異が小さい場合、異物の形状が特異な場合、および異物のサイズが極小な場合においても、高い精度で、正常部分と異常部分とを判別でき、異物混入等の異常状態を特定できる。
　したがって、異物の有無等の異常の有無に関する情報を精度良く検出できる。
　なお、本発明により、ユーザは大変な集中力を要する長時間、繰り返しの単純作業から開放され、疲労の軽減や疲労に伴う事故等から開放されること、異物混入事故による健康被害の減少につながることから、国連が主導する持続可能な開発目標（SDGｓ）の目標３「すべての人に健康と福祉を」および目標８「働きがいも経済成長も」に貢献することが可能となる。
本発明の実施形態１に係る異常検査システムの構成を示す概略図である。 本発明の実施形態１に係る異常検査システムの構成を示すブロック図である。 Ｍａｓｋ　Ｒ－ＣＮＮ畳み込みニューラルネットワークの既知の実施例を示す概略図である。 本発明の実施形態１に係る検査画像ＤＢ１５１のレコードレイアウトの一例を示す概略図である。 本発明の実施形態１に係る異常検出モデルの生成処理に関する概略図である。 本発明の実施形態１に係る異常検出モデルの生成処理に関するフローチャート図である。 本発明の実施形態１に係る異常検査システムによる異常検出処理の処理手順のフローチャート図である。 被検査物の処理画像を示す概略図である。 被検査物のマスク画像を示す概略図である。 異物が混入していない被検査物の処理画像を示す概略図である。 背景画像処理を実施するためのマーキング画像を示す概略図である。 背景画像処理を実施後の処理画像を示す概略図である。 異物が混入している被検査物の処理画像を示す概略図である。 処理画像に異物が複数存在する際の教師データ作成処理を示す概略図である。 異物検出処理を実施後における被検査物の検査画像を示す概略図である。 検査対象である被検査物を示す概略図である。 本発明の実施形態２に係る異常検査システムの構成を示すブロック図である。 本発明の実施形態２に係る再学習処理の発生条件に関する概略図である。 本発明の実施形態２に係る再学習処理の処理手順を示すフローチャート図である。
　以下、本発明の実施の形態について図面を参照して説明する。
　なお、説明の便宜上、各図に付与された同一の符号は、特に言及が無い限り同一部分または相当部分を示すものとし、また同様の構造および／または機能を有する要素を意図し、必要以上に詳細な説明は省略する場合がある。
　さらに、重複する説明は、適宜簡略化あるいは省略する。
　また、本実施形態において「～」の記号を用いて数値範囲を表す場合があるが、「～」の前後に記載される数値は当該数値範囲に含まれる。
（実施形態１）
［異常検査システム］
　図１は、本発明の実施形態１に係る異常検査システム１０の構成を示す概略図であり、図２は異常検査システム１０の構成を示すブロック図である。
　異常検査システム１０は、情報処理装置１と、Ｘ線検査装置２とを備える。本実施形態１においては、Ｘ線検査装置２の搬送部（コンベア）６の搬送ベルト６１上に分散した状態で被検査物４を載置し、被検査物４に対しＸ線を用いて撮像した画像に基づいて異常を検出する異常検査システム１０について説明する。被検査物４の一例として、靴、鞄、衣類および食品等が挙げられる。なお、被検査物４は、先に列挙された靴等の対象物には限定されず、画像により形状を検知できるものであれば適用可能である。また、被検査物４は、先に列挙された靴等の対象物そのものには限定されず、包装材に収納されたものでも、トレイに載置されたものでも適用可能である。情報処理装置１とＸ線検査装置２とは、分離されていても、一体化されていても構成可能である。
［Ｘ線検査装置］
　Ｘ線検査装置２は、照射部３、搬送ベルト６０、発光部２４、受光部２５、コントローラ２７、表示部２２を備える。表示部２２は、第１の表示部４１および第２の表示部４２を備える。
　また、Ｘ線検査装置２は、横長の直方体状をなす下側筐体２３と、下側筐体２３上に設けられ、下側筐体２３より小さい上側筐体２１とを備える。
　下側筐体２３内に搬送部６が設けられている。搬送部６は、搬送ベルト６０、搬送ベルト駆動部６１および搬送ベルト制御部６２を備える。搬送ベルト制御部６２は、被検出物４を搬送する距離や速度等を含む指令を制御部１１から受け取り、当該指令に基づき搬送ベルト駆動部６１の動作を制御する。
　上側筐体２１には、照射部３が収納されている。照射部３は、照射体３１および照射制御部３２を有する。照射制御部３２は、Ｘ線を照射するＸ線照射時間や、Ｘ線強度など細かな設定を含む指令を制御部１１から受け取り、当該指令に基づき照射体３１から照射されるＸ線を制御する。また、照射部３は、被検査物４に対して任意の角度（例えば、図１に記載の座標軸Ｘ，Ｙ，Ｚに対して、それぞれ０°、２５°および４５°等）からX線を照射するよう制御可能である。角度を変えた照射により取得できるＸ線照射画像により、異物混入の有無は、より正確に確認可能である。上側筐体２１の正面には、表示部２２が設けられている。表示部２２は、後述する画像生成部１１１が生成した被検査物４のＸ線画像等を表示する。表示部２２は、例えばＬＣＤ（Liquid Crystal Display）等の表示装置であり、表示部２２が備える第１の表示部４１および第２の表示部４２は、同一の表示装置内で画面分割されていてもよく、別々の表示装置でもよい。
　上側筐体２１には、検知部７が設けられている。検知部７は、ＴＤＩ（Time Delay Integration）カメラまたはＴＤＩセンサと呼ばれるものであり、Ｘ線の強度に応じて蛍光を発するシンチレータと、シンチレータで発せられた蛍光を検知する多数のフォトダイオードとを有している。
　ＴＤＩカメラでは、フォトダイオードが、被検査物の移動方向であるＹ方向と直交するＸ方向に直線的に並んで１つの検知ラインが構成され、この検知ラインが複数並んで設けられている。複数の検知ラインは被検査物の移動方向であるＹ方向へ向けて平行に並んで配置されている。なお、１つのＴＤＩカメラの筐体内に、複数のフォトダイオードがＸ方向とＹ方向に規則的に並んで配置され、Ｘ方向に並ぶフォトダイオードで１ラインの検知ラインが構成されている。
　まず検査時においては、ユーザは、被検査物４を搬送ベルト６０上に載せて、コントローラ２７を操作して、被検査物４を照射部３の下方へ位置するまで搬送する。被検査物４がＸ線照射部３の下方に搬送されると、照射部３は被検査物４に向けてX線を照射する。この照射されたX線は、被検査物４を透過し、搬送ベルト６０の下方にある発光部２４に到達する。発光部２４は、その到達したX線の量に応じて発光し、受光部２５はその発光した光を受光する。そして、Ｘ線検査装置２は、受光部２５で受光した光から制御部１１内の画像生成部１１１によりX線照射画像を生成し、表示部２２に表示する。
　ユーザは、表示部２２に表示されたX線照射画像を目視して、被検査物４内に異物が混入していないかを判断する。なお、このＸ線検査装置２の基本構成は、従来から知られているＸ線検査装置と同様の構成であり、本実施形態に限定されることはない。
　つぎに、図２に、本発明に係るＸ線検査装置２の各構成要素の関係を表したブロック図の概略を示す。Ｘ線検査装置２は、制御部１１により中央管理され、Ｘ線検査装置２に含まれる各構成要素は制御部１１の指令に基づいて制御されている。この制御部１１は、画像生成部１１１、画像処理部１１２、対象特定部１１３、取得部１１４、異常情報取得部１１５、出力部１１６、制御表示部１１７、判別部１１８を備える。
　なお、この制御部１１は既存のコンピュータ（ＣＰＵや記憶装置などを装備したもの）に実装される。また、制御部１１、画像生成部１１１、画像処理部１１２、対象特定部１１３、取得部１１４、異常情報取得部１１５、出力部１１６、制御表示部１１７、判別部１１８は、ソフトウェア上で実現されている。
　搬送ベルト６０は、搬送ベルト駆動部６１と搬送ベルト制御部６２とを備える。搬送ベルト制御部６２は、被検査物４を搬送する距離や速度等を含む指令を制御部１１から受け取り、当該指令に基づき搬送ベルト駆動部６１の動作を制御する。
　発光部２４は、照射体３１から照射され、被検査物４を通過したX線を受けて発光する。そして、受光部２５は、その発光した光を受光し、画像生成部１１１へ伝達する。
　画像生成部１１１は、受光部２５から伝達されてきた光から、被検査物４を透視したX線照射画像を生成する。なお、伝達されてきた光量に応じて白黒画像を生成し、白黒の濃度値等に応じて色彩を付すことで、カラー画像化されたX線照射画像を生成することも可能である。
　この画像処理には、既存の処理方法を用いることができ、ユーザが被検査物４に混入した異物を発見しやすいように、画像に施される処理を適宜変更することが可能である。例えば、画像に付す色彩を変更したり、輝度や明度を変更したり、解像度を変更したり、画像処理ソフトを変更したりと、画像処理に関するあらゆる各種設定情報を変更することができる。
　データファイル生成部２２０（図示せず）は、画像生成部１１１により生成されたX線照射画像を、少なくとも、検査時のＸ線検査装置２の設備設定情報、画像生成処理情報、被検出物情報、およびユーザ情報のいずれかを含む検査情報と共に保存したデータファイルを生成する。
　このデータファイル生成部２２０で生成されたデータファイルは、他の画像表示装置により読み込み可能な形式、例えば、JPEG形式やMPEG形式で保存されている。そのため、これらの形式を読込可能な画像ソフトを搭載している既存の画像表示装置（コンピュータやタブレット端末など）で、従来と同様に、X線照射画像を表示することができる。
　さらに、下記で詳述する補助記憶部１５は、データファイル生成部２２０により生成されたデータファイルを保存することができる。この補助記憶部１５は、制御部１１に備え付けられた主記憶部（RAMなど）の他に、外部記憶媒体（CD、DVDなど）等でもよい。
　データ読込部２２１（図示せず）は、補助記憶部１５に保存されたデータファイルを読み込むことができる。そして、データ読込部２２１で読み込まれた検査情報は制御部１１に伝達され、制御部１１が照射部３、搬送ベルト６０、または画像生成部１１１に指令を送る。
［情報処理装置］
　情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、コンピュータである。コンピュータには、使用目的、仕様、スペック、性能等により、パーソナルコンピュータ（パソコン）、ワークステーション、サーバコンピュータ（サーバ）、メインフレーム、スーパーコンピュータ（スパコン）、ウルトラコンピュータ、ミニコンピュータ（ミニコン）、オフィスコンピュータ（オフコン）、ポケットコンピュータ（ポケコン）、マイクロコンピュータ（マイコン）、携帯情報端末（ＰＤＡ）およびシーケンサ（PLC:プログラマブルロジックコントローラ）等のように分類されるが、情報処理装置は、これらのすべてが適用可能である。Ｘ線検査装置２はＬＡＮ、インターネット等のネットワークＮを介して情報処理装置１に接続され、通信可能となっている。また、インターネット等のネットワークＮを介して通信可能に接続されたクラウドコンピュータが、情報処理装置１の処理を実行することも可能である。
　本実施形態では情報処理装置１は、パーソナルコンピュータとし、以下に説明する。
　情報処理装置１は、被検査物４を撮像した画像を取得し、該画像に基づき被検査物４の異常の有無を検出する処理を行う。本実施の形態で情報処理装置１は、機械学習により画像内から被検査物４の異常を検出（識別）するよう学習済みの後述する異常検出モデル１５２を用いて異常の有無の検出を行う。異常検出モデル１５２は、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。
　情報処理装置１は、Ｘ線検査装置２を用いて被検査物４を撮像した画像に基づいて画像処理された画像である処理画像５０を異常検出モデル１５２に入力し、被検査物４の異常の有無を示す識別結果を出力として取得する。情報処理装置１の制御部１１が、異常検出モデル１５２からの指令に従って、入力層に入力されたマスク画像５１および／または背景画像５２等に対し演算を行い、異常の有無を示す識別結果を出力するように動作する。異常の有無とは、被検査物４の形状の異常（変形）の有無および異物の有無等に該当する。
　以下、本実施形態では、被検査物４の異常の種類が異物の有無であり、情報処理装置１が異常検出モデル１５２にマスク画像５１および／または背景画像５２等を入力し、被検査物４に異物が混入していた場合、当該異物の位置、形状等をヒートマップ画像５３として取得する場合につき説明する。
　つづいて、情報処理装置１は、ヒートマップ画像５３を処理画像５０と合成した検査画像５４を出力する。
　情報処理装置１は、取得したヒートマップ等の異常情報に応じて、被検査物４を製造元へ返却するか否か等の選別を行う。
　ここで、異常情報とは、処理画像５０上で異物として特定されたブロブに対応した位置および形状にヒートマップ画像５３を含む検査画像５４において、ヒートマップ部分のオフセット情報およびブロブに該当するオブジェクトの種類であるブロブラベル等の被検査物の異常に関する情報を含む。
　情報処理装置１は、制御部１１、主記憶部１２、通信部１３、入力部１４および補助記憶部１５を備える。
　制御部１１は、１つまたは複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１５に記憶されたプログラム１５３を読み出して実行することにより、情報処理装置１に係る種々の情報処理、制御処理等を行う。図２の各機能部は、制御部１１がプログラム１５３に基づいて動作することにより実行される。
　制御部１１は、機能部として、画像生成部１１１、画像処理部１１２、対象特定部１１３、取得部１１４、異常情報取得部１１５、出力部１１６、制御表示部１１７および判別部１１８を備える。
　画像生成部１１１は、被検査物４を透過し、検知部７により検知されたＸ線に基づき、Ｘ線画像を生成する。
　画像処理部１１２は、Ｘ線画像に対し平滑化フィルタ、特徴抽出フィルタ等により画像処理を行い、処理画像５０を生成する。
　対象特定部１１３は、処理画像５０に基づいて、被検査物４のブロブ解析を行い、ブロブを特定する。
　取得部１１４は、特定画像取得部１２４および特定情報取得部１３４を備える。特定画像取得部１２４は、対象特定部１１３によって特定されたブロブに対応した位置および形状にマスクされたマスク画像５１を取得する。ここで、マスク画像５１とは、発見したい異物の部分をマスク（白または黒に塗りつぶし、その他は逆の色で塗りつぶす）した画像である。また、特定画像取得部１２４は、ブロブを含まない処理画像５０である背景画像を取得する。背景画像の生成方法については、下記に詳述する。
　特定情報取得部１３４は、処理画像５０におけるマスク部分のオフセット情報およびブロブに該当するオブジェクトの種類であるブロブラベルを有する被検査物４の異常に関する情報を含む異常情報を取得する。また、マスク画像５１、背景画像５２および異常情報は、教師データとして異常検出モデル１５２に入力される。
　異常情報取得部１１５は、被検査物４に電磁波を照射し、被検査物４を透過した電磁波に応じて取得した画像が入力された場合に、被検査物４の異常に関する情報を出力する学習モデルに、取得部１１４より取得したマスク画像５１および異常情報を入力して、処理画像５０上にブロブの位置および形状をヒートマップとして表示されたヒートマップ画像５３を取得する。
　出力部１１６は、異常情報取得部１１５が取得したヒートマップ画像５３を処理画像５０上に合成し、ヒートマップ画像５３を含む検査画像５４を出力する。
　制御表示部１１７は、図２に記載の異常検査システムを構成する各種機能部に対する設定入力情報、設定変更情報および設定確認情報等を表示する。また、制御表示部１１７は、補助記憶部１５が備える検査画像ＤＢ１５１、異常検出モデル１５２およびプログラム１５３が有するデータおよびプログラムを追加、削除および編集も実施可能である。
　判別部１１８は、被検査物４に関するヒートマップ画像５３を含む検査画像５４および異常情報に基づいて、検査物４を製造元へ返却するか否かの選別を行ったり、搬送部６を停止させたり、被検査物４を異常検出済みか否かを示す印のマーキングをしたりする。
　主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
　補助記憶部１５は大容量メモリ、ハードディスク等であり、制御部１１が処理を実行するために必要なプログラム１５３、その他のデータを記憶している。また、補助記憶部１５は、検査画像ＤＢ１５１および前記異常検出モデル１５２を記憶している。検査画像ＤＢ１５１は、異常検出対象である被検査物４の情報を格納したデータベースである。
　補助記憶部１５に記憶されるプログラム１５３は、プログラム１５３を読み取り可能に記録した記録媒体より提供されてもよい。記録媒体は、例えば、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）等の可搬型のメモリである。記録媒体に記録されるプログラム１５３は、図に示していない読取装置を用いて記録媒体から読み取られ、補助記憶部１５に保存される。また、情報処理装置１が外部通信装置と通信可能な通信部を備える場合、補助記憶部１５に記憶されるプログラム１５３は、通信部を介した通信により提供されてもよい。
　なお、補助記憶部１５には、情報処理装置１に接続された外部記憶装置を適用可能である。また、情報処理装置１には、複数のコンピュータからなるマルチコンピュータを適用可能であり、ソフトウェアによって仮想的に構築された仮想マシンも適用可能である。
　図３は、対象特定部１１３が特定したブロブに対応した位置および形状にマスクされたマスク画像５１を示す概略図である。制御部１１の対象特定部１１３は、パターンマッチング、エッジ検出、またはＲ－ＣＮＮ（Regions with Convolutional Neural Networks）等によりブロブの検出を行う。マスク画像５１は、マスク部分を白色、その他の背景を黒色として示されている。
　本発明に係る対象特定部１１３は、Ｍａｓｋ　Ｒ－ＣＮＮ（Mask Regions with Convolutional Neural Networks）のアーキテクチャを利用している。
［Ｍａｓｋ　Ｒ－ＣＮＮ］
　Ｍａｓｋ　Ｒ－ＣＮＮネットワークは既知であり、そのアーキテクチャを図３に示す。図３を参照すると、Ｍａｓｋ　Ｒ－ＣＮＮは、２つのセットに分割されたＣＮＮであり、処理はステージ１及びステージ２に分かれている。
　「ステージ１」は、入力画像の前処理を可能にし、本質的に、第１の特徴ピラミッドネットワーク（ＦＰＮ）サブネットワークを含み、その動作については、以下でより詳細に説明する。
　「ステージ２」は、検出を完了し、終了する（所望の出力、すなわち、検出された対象要素のセグメンテーションマスク、および／または１つ以上の検出ボックスおよび／またはクラスを生成する）。
　Ｍａｓｋ　Ｒ－ＣＮＮのステージ１はまた、検出ネットワークでもある領域提案ネッワーク（ＲＰＮ）タイプの第３のサブネットワーク、およびトリミングモジュール（「ＲＯＩアライン、ＲＯＩは「対象領域」を意味する）を含む。ＦＰＮは、ＦＰＮ出力の特徴マップ（すなわち、対象要素を含む可能性が高い）の潜在的な対象領域を識別し、トリミングモジュールは、検出ネットワークの動作を容易にするために、これらの対象領域の座標に従って特徴マップを「再アライン」する。
　また、本ＣＮＮは、少なくとも第１のＦＰＮタイプネットワークおよび第２の検出ネットワークタイプサブネットワーク、ならびに任意選択的に、第３のＲＰＮタイプサブネットワークおよびトリミングモジュールを含む。
　ここで、ＦＰＮ（第１のサブネットワーク）は、Ｍａｓｋ　Ｒ－ＣＮＮネットワークの最も重要な部分である。
　ＦＰＮは、上昇分岐（「ボトムアップ」）、および下降分岐（「トップダウン」）、ならびに上昇分岐と下降分岐との間の横方向接続で構成されるという点で異なる。
　全体としてネットワークのバックボーンとしても既知である上昇分岐は、多くのタイプであり得る従来の特徴抽出ネットワーク、とくに従来のＣＮＮ（畳み込み層の直接連続ブロックＣＯＮＶ、バッチ正規化層ＢＮ、および非線形層ＮＬ）である。バックボーンは、異なるスケールで入力画像を表す複数の初期特徴マップを、入力画像から抽出する。より正確には、バックボーンは、複数の連続する畳み込みブロックからなり、それによって第１のブロックが、入力画像から第１の初期特徴マップを生成し、ついで、第２のブロックが、第２の初期特徴マップを第１の初期特徴マップに対して生成する、などである。
　従来は、畳み込みニューラルネットワークの場合、それぞれの連続するマップでスケールがより小さくなる（すなわち、分解能が低下すると、特徴マップが「より小さく」なり、したがって詳細度が低下する）が、ますます高レベルの構造の画像がキャプチャされているため、セマンティック深度がより増大することが理解されている。具体的には、初期特徴マップは、そのサイズが減少するにつれて、チャネルの数を増大させる。
　実際には、プーリング層が２つのブロックの間に配置されて、サイズを２分の１に減少させ、１つのブロックから他のブロックに、使用される畳み込み層のフィルタの数（一般に、３×３畳み込み）が増大され（好ましくは２倍にされ）、例えば、５レベルのケースでは、例えば、３２、６４、１２８、２５６、および５１２の連続するチャネル番号、および５１２ｘ５１２、２５６ｘ２５６、１２８ｘ１２８、６４ｘ６４、および３２ｘ３２の（５１２ｘ５１２入力画像に対する）連続するマップサイズが存在する。
［学習モデルの生成処理］
　図４は、検査画像ＤＢ１５１のレコードレイアウトの一例を示す概略図である。検査画像ＤＢ１５１は、マスク画像ＩＤ列、オフセット情報列、ブロブラベル列およびマスク画像列を含む。マスク画像ＩＤは、マスク画像５１を識別するための情報を示している。オフセット情報（Ｘ，Ｙ，Ｗ，Ｈ）は、Ｘ線照射領域において、搬送ベルト６０上に載置された被検査物４のマスク画像５１上におけるマスク部分の位置に関する座標情報を示している。ここで、ＸおよびＹは、Ｘ座標およびＹ座標に関する情報を示しており、ＷおよびＨはマスク画像５１の横および縦に関する情報を示している。ブロブラベル（異物種類ラベル）は、マスク部分に該当する異常状態の種類を示しており、傷、鉄球、針および汚れ等が該当する。
　さらに、検査画像ＤＢ１５１は、ブロブを含まない処理画像５０である背景画像５２を記憶する。またさらに、検査画像ＤＢ１５１は、ヒートマップ画像５３を含む検査画像５４を異物混入画像として、またヒートマップ画像５３を含まない検査画像５４を異物非混入画像（背景画像）として記録する。
　図５は、異常検出モデル１５２の生成処理に関する概略図を示している。図５は、機械学習を行って異常検出モデル１５２を生成する処理を概念的に示している。
　情報処理装置１は、異常検出モデル１５２として、被検査物４の処理画像５０内における異常の画像特徴量を学習することで、処理画像５０等を入力し、被検査物４の形状の異常、および異物の有無を示す情報を出力とするニューラルネットワークを構築（生成）する。ニューラルネットワークはＭＡＳＫ　Ｒ－ＣＮＮ（Mask Regions with Convolutional Neural Network）であり、マスク画像５１および／または背景画像５２等の入力を受け付ける入力層と、異常の有無の識別結果を出力する出力層と、マスク画像５１および／または背景画像５２等の画像特徴量を抽出する中間層とを有する。
　入力層は、検査画像５４に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素を中間層に受け渡す。中間層は、検査画像５４の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。図６において、中間層の層数は３とされているが、これに限定されない。例えば異常検出モデル１５２がＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、検査画像５４の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。図６において、コンボリューション層、およびプーリング層の記載は省略している。出力層は、被検査物４の異常を識別した識別結果を出力する三つのニューロンを有し、中間層から出力された画像特徴量に基づいて被検査物４の形状の異常の有無、異物の有無を識別する。第１のニューロンは被検査物４の正常の確率値を出力し、第２のニューロンは被検査物４の形状の異常の確率値を出力し、第３のニューロンは被検査物４が異物を有する確率値を出力する。なお、異常の種類は３以上であってもよい。
　なお、本実施の形態では異常検出モデル１５２がＣＮＮであるものとして説明するが、異常検出モデル１５２はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された学習済みモデルも適用可能である。
　情報処理装置１は、複数のマスク画像５１と、各マスク画像５１における被検査物４の異常を示す情報とが対応付けられた教師データを用いて学習を行う。ここで、以上を示す情報とは、被検査物４の処理画像５０上において判断される異常の有無等であって、異常が有ると判断された場合は、被検査物４の形状の異常、および異物の有無等に関する情報である。例えば図５に示すように、教師データは、被検査物４のマスク画像５１に対し、マスク画像５１のＩＤと、オフセット情報およびブロブラベルとがラベル付けされたデータならびに／または背景画像５２等のデータである。
　情報処理装置１は、教師データであるマスク画像５１および／または背景画像５２等を入力層に入力し、中間層での演算処理を経て、出力層から被検査物４の異常の有無を示す識別結果を取得する。なお、出力層から出力される識別結果は、マスク画像５１が入力層に入力された場合はヒートマップ画像５３を含む検査画像５４であり、背景画像が入力層に入力された場合はヒートマップ画像５３を含まない検査画像５４である。
　情報処理装置１は、出力層から出力された識別結果を、教師データにおいてマスク画像５１に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えば情報処理装置１は誤差逆伝播法を用いて各種パラメータの最適化を行う。
　情報処理装置１は、教師データに含まれる各検査画像５４について上記の処理を行い、異常検出モデル１５２を生成する。情報処理装置１は被検査物４の処理画像５０を取得した場合、異常検出モデル１５２を用いて被検査物４の異物の有無を検出する。
　図６は、制御部１１による異常検出モデル１５２の生成処理の処理手順の一例を示すフローチャートである。
　制御部１１は、被検査物４の複数のマスク画像５１と、各処理画像５０内における被検査物４の前記異常を示す情報とを対応付けたデータ、および／または被検査物４の異常が無い背景画像５２であるデータを教師データとして取得する（Ｓ１１）。
　制御部１１は教師データを用いて、被検査物４のマスク画像５１および／または背景画像５２を入力した場合に被検査物４の異常有無情報を出力する異常検出モデル１５２（学習済みモデル）を生成する（Ｓ１２）。
　具体的には、制御部１１は、教師データであるマスク画像５１および／または背景画像５２をニューラルネットワークの入力層に入力し、処理画像５０内の被検査物４の形態の異常の有無、被検査物４に混入した異物の有無を識別した識別結果を出力層から取得する。制御部１１は、取得した識別結果を教師データの正解値（マスク画像５１に対してラベル付けられた情報、または背景画像５２に対する異常無し情報）と比較し、出力層から出力される識別結果が正解値に近づくよう、中間層での演算処理に用いるパラメータ（重み等）を最適化する。なお、マスク画像５１および背景画像５２の種類や数を増加させ、学習回数を増やすことでも、異常検出モデル１５２は最適化され、精度は向上する。制御部１１は、生成した異常検出モデル１５２を補助記憶部１５に格納し、一連の処理を終了する。
　なお、本実施形態における学習モデルの生成処理は、教師データにマスク画像５１のみを用いることも可能ではあるが、被検査物４の処理画像５０に存在し、異物には酷似しているが異物には該当しないブロブ等については、異常検出モデル１５２に背景画像として学習させておくことで、異常検出モデル１５２の学習効果は向上し、異常検査システム１０による異常検出処理の精度がさらに向上する。
［異常検出処理］
　図７は、異常検査システム１０による異常検出処理の処理手順の一例を示すフローチャート図である。
　Ｘ線検査装置２の照射部３は、X線を被検査物４に照射し、検知部７により検知されたＸ線に基づき、情報処理装置１における制御部１１の画像生成部１１１は、Ｘ線照射画像を生成する（Ｓ２１）。
　制御部１１の画像処理部１１２は、Ｘ線画像に対し平滑化フィルタ、特徴抽出フィルタ等により画像処理を行い、処理画像５０を生成する（Ｓ２２）。
　制御部１１の対象特定部１１３は、処理画像５０に基づいて、被検査物４のブロブ解析を行い、ブロブを特定する（Ｓ２３）。
　制御部１１の取得部１１４は、Ｓ２２において生成された処理画像５０およびＳ２３において特定されたブロブに基づいて、マスク画像５１および異常情報等を取得する（Ｓ２４）。
　制御部１１の異常情報取得部１１５は、Ｓ２４において取得したマスク画像５１等に基づいて、ヒートマップ画像５３を取得する（Ｓ２５）。
　制御部１１の出力部１１６は、ヒートマップ画像５３を処理画像５０上に合成し、ヒートマップ画像５３を含む検査画像５４を出力し（Ｓ２６）、処理を終了する。
　以上のように、本実施形態によれば、被検査物４の処理画像５０において、正常部分と異常部分との画素値の差異が小さい場合においても、精度良く、正常部分と異常部分とを判別できる。
　従って、被検査物４の形状の異常、被検査物４のへ混入した異物の有無等の異常有無情報を精度良く検出できる。
　また、被検査物４の処理画像５０に存在し、異物には酷似しているが異物には該当しないブロブ等については、異常検出モデル１５２に背景画像として学習させておくことで、異常検査システム１０による異常検出処理の精度がさらに向上する。
　そのため、異常検査システム１０の精度がさらに向上すると、ユーザ（作業者）の目視による異常の検出の実施が低減または不要となり、異常検出作業の効率化を図ることができる。
［画像］
　本発明の異常検出処理の実施において使用される各種画像の説明を行う。
　図８の（ａ）、（ｂ）、（ｃ）は、被検査物４の処理画像５０を示す概略図である。処理画像５０は、Ｘ線照射画像に画像処理を施し生成される。
　つぎに、図９の（ａ）、（ｂ）、（ｃ）は、処理画像５０から特定されたブロブに対して、マスキング処理を実施して取得した、被検査物のマスク画像を示す概略図である。マスキング処理において、ブロブに該当する部分を白、ブロブ以外の領域を黒で処理される。
　つぎに、図１０は、異常検出処理またはユーザ（検査作業者）の目視により、ブロブが特定されず、異物が混入していないと判断された被検査物の処理画像５０を示す概略図である。当該画像は、マスク画像に対し、所定の画像処理を施され、背景画像５２として異常検出モデル１５２に学習される。なお、当該画像においてブロブが特定されても、当該ブロブが異物と判断されない場合は、上記と同様に背景画像５２として処理され学習される。
　つぎに、図１１の（ａ）、（ｂ）は、背景画像処理を実施するためのマーキング画像を示す概略図である。図１１の（ａ）、（ｂ）のそれぞれの左上には、被検査物４の正常な処理画像５０を背景画像化するためのマーキングログが表示されている。当該マーキングロゴは、異物検出処理やユーザの目視によってブロブとして判断されないよう、想定された様々な種類のブロブとは全く異なる形状に作成されている。図１１（ａ）はマーキングロゴを白とし、マーキングロゴ以外の領域を黒で処理されている。なお、図１１（ｂ）は、図１１（ａ）のネガポジ反転画像であり、処理画像５０の二階調レベルに応じて適切に使用される。異常検出モデル１５２は、当該マーキングロゴを含む画像はすべて背景画像として学習する。背景画像５２の学習により、処理画像上にブロブが特定された場合でも、当該ブロブが異物か否かを正確に判断可能となる。
　つぎに、図１２は、図１０に示す異物が混入されていない処理画像５０である正常画像と、図１１に示すマーキング画像とを合成することにより取得された背景画像５２を示す概略図である。
　つぎに、図１３は、異物が混入している被検査物４の処理画像５０を示す概略図である。円形および楕円形の点線で囲まれた部分に異物が示されている。
　つぎに、図１４の（ａ）、（ｂ）、（ｃ）は、複数の異物が混入した被検査物４の処理画像５０に対して異物検出処理を実施する際に、予め実施される画像処理を示す概略図である。複数の異物が混入した被検査物４の処理画像５０は、それぞれの画像が異なる異物を示す、異物の数と同等数の画像を複製する。図１４の（ａ）には異物を２つ含む処理画像が示されている。異物検査処理の精度を高めるために、図１４の（ａ）に示す処理画像５０は、１つずつの異物を含む処理画像５０である図１４の（ｂ）および図１４の（ｃ）の処理画像５０に複製される。その後、図１４の（ｂ）および図１４の（ｃ）の処理画像５０に対してマスク画像５１が生成される。
　つぎに、図１５の（ａ）、（ｂ）は、異物検出処理を実施後における被検査物の検査画像を示す概略図である。図１５（ａ）は、異物検出処理前の処理画像５０であり、図１５（ｂ）は、異物検出処理前の処理画像５０である検査画像５４を示している。異物検出処理を実施後、図１５（ｂ）には、処理画像５０の異物部分にヒートマップが表示され、異物の存在、おおよその形状および位置が明瞭に示されている。詳細には、図１５（ｂ）の検査画像５４は、図１５（ａ）の処理画像５０に対して、異物検出処理によって得られた異常情報等に基づいて生成されたヒートマップ画像を合成することで取得される。
　つぎに、図１６の（ａ）、（ｂ）は、検査対象である被検査物の一例を示す概略図である。図１６（ａ）からわかるように、鉄球形状の異物であれば、０．８ｍｍ、１．０ｍｍ、１．２ｍｍ、１．５ｍｍ、２．０ｍｍ、２．５ｍｍ等、様々なサイズのものを検出可能である。また、図１６（ｂ）は、鉄球形状以外の異物の一例である。図１６（ｂ）からわかるように、まち針、ホチキス、折れ針、ヘアゴム、ライター等が異物検出の対象である。なお、撮影可能な異物であれば、異常検出モデル１５２に異物として登録し、学習させることで、検出は可能になる。
（実施形態２）
［再学習］
　図１７は、実施形態２に係る異常検査システム２０の構成を示すブロック図である。
　実施形態２に係る異常検査システム２０は、制御部１１が機能部として再学習部１１９
を有すること以外は、実施形態１に係る異常検査システム１０と同様の構成を有し、同様の処理を行う。図２と同一部分は同一符号を付して詳細な説明を省略する。
　本発明の異物検出処理において、第１の表示部４１は処理画像５０を表示し、当該処理画像５０の異物の有無等をユーザ（作業者）が目視で異物の確認をする。また、第２の表示部４２は異常検査システム２０による異物検出処理後の検査画像５４を表示し、ユーザが検査画像５４上のヒートマップの有無を目視で確認する。
　この際、ユーザによる目視での異物混入の判断と、異物検出処理による異常検査システム２０の判断とが異なる場合が問題となる。ここで、前提としてユーザの目視による判断が正解とする。図１８は、ユーザの判断と異常検査システム２０の検出結果とが異なる場合を整理した概略図である。図１８からわかるように、問題となるのは、ユーザが目視で異物有りと判断した際に異常検査システム２０が異物無しと検出した場合、およびユーザが目視で異物無しと判断した際に異常検査システム２０が異物有りと検出した場合である。
　すなわち、処理画像５０が再学習されるケースは以下の（パターン１）、（パターン２）である。
（パターン１）本発明に係る異常検査システム２０が、被検査物４の検査画像５４にヒートマップを表示していないが、ユーザが目視により、異物が混入していると判断したケース。
（パターン２）本発明に係る異常検査システム２０が、被検査物４の検査画像５４にヒートマップを表示しているが、ユーザが目視により、異物が混入していないと判断したケース。
　再学習部１１９は、本発明に係る学習モデルの出力結果とユーザの目視による判定結果との間に齟齬が発生した際に、再度ユーザの目視により処理画像５０を確認して被検査物４の正常／異常状態判定を実施する。
　再学習部１１９は、検査画像５４と、ユーザから入力された異常検出モデル１５２の判断の良否の判定とを対応付けた教師データを用いて、異常検出モデル１５２を再学習する。
　ここで、第２の表示部４２は、第１の操作ボタンであるＯＫボタン７０（図示せず）および第２の操作ボタンであるＮＧボタン７１（図示せず）を備える。
　第１の表示部４１および第２の表示部４２にそれぞれ表示された画像において、上記（パターン１）および（パターン２）の状態が発生した場合に、制御部１１はユーザによるＯＫボタン７０およびＮＧボタン７１の押下の状態を検知し、検査画像５４と異常状態の有無、例えば異物混入の有無とを関連付けし、再学習対象のデータとして特定する。
　第２の表示部４２は、被検査物４の異常の種類の入力を受け付ける選択ボタン７２を更に備える。
　上記（パターン１）の場合、ユーザはＮＧボタン７１の押下に加え、選択ボタンを押下することで、第２の表示部４２に表示された画像が含む異常の種類、例えば異物の種類を選択および入力することができる。
　選択および入力された異常の種類は、異常状態の有無に加えて更に検査画像５４と関連付けられる。
　上記（パターン１）および（パターン２）において、誤判定となった画像に対して正確な情報を追加し、異常検出モデル１５２による再学習後、同様の異常の発生に対して、第２の表示部は異常の種類に基づいたヒートマップ画像を異常画像上に表示する。
　すなわち、再学習部１１９は、判別部１１８により、再判別された検査画像５４についても異常検出モデル１５２を再学習する。再学習部１１９による異常検出モデル１５２の再学習は、例えば、夜間に自動学習等により実施する。該当する処理画像５０の正しい判定結果については、検査画像ＤＢ１５１に保存、蓄積され、新たな被検査物４の検査において活用される。
　ユーザによる異物混入の判断結果と異常検査システムによる異物混入の判断結果とが異なっていた場合、異常検査システムが将来同様の誤認、誤検出、誤判断をしないよう、対象の処理画像に対して異常検出モデル１５２へ再学習をさせる必要がある。
　図１９は、情報処理装置１の制御部１１による再学習処理の処理手順の一例を示すフローチャートである。
　制御部１１は、選択された検査画像５４に対し、ユーザによる第２の表示部４２が備えるＯＫボタン７０またはＮＧボタン７１の押下に基づき、異常検査システム２０による異物検出の判断の良否の判定を受け付ける（Ｓ３１）。
　異常検査システム２０による異物検出の結果が、ユーザの目視の判断と異なった場合、ユーザはＮＧボタン７１を押下する。上記パターン１の場合は、当該押下によって、検査画像５４からマスク画像等を取得し（Ｓ３１）、これらを教師データとして異常検出モデル１５２に学習させ、新たな異常検出モデル１５２を生成し（Ｓ３２）、検査画像ＤＢ１５１に保存する。
　また、上記パターン２の場合は、当該ＮＧボタン７１の押下によって、検査画像５４はマスキング画像と合成され、背景画像５２を取得し（Ｓ３１）、これらを教師データとして異常検出モデル１５２に学習させ、新たな異常検出モデル１５２を生成し（Ｓ３２）、検査画像ＤＢ１５１に保存する。
　ユーザの目視による異物判断結果と異常検査システム２０の異物検出処理結果が同じであった場合、ユーザはＯＫボタン７０を押下することで、異物検出処理は終了する。
　これらの再学習処理により、異常検出処理を継続するほど異常検出モデル１５２が再学習し、より正確な、精度の高い異常検出を行うことができるようになる
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　例えば、検査物は服飾製品、食品に限定されず、包装体、工業製品等であってもよい。
　被検査物４に照射する電磁波はＸ線に限定されず、テラヘルツ波、赤外線および可視光等であってもよい。
　また、以上に説明した処理又は動作において、あるステップにおいて、そのステップではまだ利用することができないはずのデータを利用しているなどの処理又は動作上の矛盾が生じない限りにおいて、処理又は動作を自由に変更することができる。また以上に説明してきた各実施例は、本発明を説明するための例示であり、本発明はこれらの実施例に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。
１　情報処理装置
２　Ｘ線検査装置
３　照射部
４　被検査物
６　搬送部（コンベア）
７　検知部
１０、２０　異常検査システム
１１　制御部
１２　記憶部
１３　通信部
１４　入力部
１５　補助記憶部
２１　小さい上側筐体
２１　上側筐体
２２　表示部
２３　下側筐体
２４　発光部
２５　受光部
２７　コントローラ
３１　照射体
３２　照射制御部
４１　第１の表示部
４２　第２の表示部
５０　処理画像
５１　マスク画像
５２　背景画像
５３　ヒートマップ画像
５４　検査画像
６０　搬送ベルト
６１　搬送ベルト駆動部
６２　搬送ベルト制御部
７０　ＯＫボタン（第１の操作ボタン）
７１　ＮＧボタン（第２の操作ボタン）
７２　選択ボタン
１１１　画像生成部
１１２　画像処理部
１１３　対象特定部
１１４　取得部
１１５　異常情報取得部
１１６　出力部
１１７　制御表示部
１１８　判別部
１１９　学習部
１２４　特定画像取得部
１３４　特定情報取得部
１５２　異常検出モデル
１５３　プログラム
２２０　データファイル生成部
２２１　データ読込部
ＤＢ１５１　検査画像
Ｎ　ネットワーク

Claims (12)

  1. 　被検査物に電磁波を照射するステップと、
    　前記被検査物を透過した電磁波に応じて画像を取得するステップと、
    　前記画像に対して画像処理された処理画像が有する画素の画素値に基づいて、前記被検査物が含むブロブを特定するステップと、
    　特定された前記ブロブに対応した位置および形状にマスクされたマスク画像と、前記ブロブを含まない前記処理画像である背景画像と、前記処理画像における前記マスク部分のオフセット情報および前記ブロブに該当するオブジェクトの種類であるブロブラベルを有する前記被検査物の異常に関する情報を含む異常情報とを取得するステップと、
    　前記マスク画像、前記背景画像および前記異常情報を含む教師データを取得するステップと、
    　前記被検査物に電磁波を照射し、前記被検査物を透過した電磁波に応じて取得した画像が入力された場合に、前記教師データに基づいて、前記処理画像上に前記ブロブの位置および形状をヒートマップとして表示されたヒートマップ画像を取得するステップと、
    　前記ヒートマップ画像を前記処理画像に合成することで、前記ヒートマップ画像を含む検査画像を出力する学習モデルを生成するステップとを含み、
    　前記背景画像は、前記ブロブの形状とは異なる画像が前記処理画像の任意の位置に合成されていることを特徴とする学習モデルの生成方法。
  2. 　前記電磁波はＸ線であり、
    　該Ｘ線に応じて取得した画像のうち、前記ブロブを特定し、該ブロブに対応した位置および形状にマスクされたマスク画像を生成するステップと、
    　生成された前記マスク画像を表示するステップと、
    　前記マスク画像に含まれる前記被検査物の前記異常情報を特定するステップ
    とを含むことを特徴とする請求項１に記載の学習モデルの生成方法。
  3. 　前記被検査物に関する前記マスク画像と、前記被検査物の前記異常情報とを取得するステップと、
    　前記マスク画像及び前記異常情報に基づき、前記学習モデルを再学習するステップ
    とを含むことを特徴とする請求項１または２に記載の学習モデルの生成方法。
  4. 　被検査物に電磁波を照射し、前記被検査物を透過した電磁波に応じて画像を取得し、前記画像に対して画像処理された処理画像が有する画素の画素値に基づいて、前記被検査物が含むブロブを特定し、特定された前記ブロブに対応した位置および形状にマスクされたマスク画像と、前記ブロブを含まない前記処理画像である背景画像と、前記処理画像における前記マスク部分のオフセット情報および前記ブロブに該当するオブジェクトの種類であるブロブラベルを有する前記被検査物の異常に関する情報を含む異常情報とが入力される入力層と、
    　前記処理画像上に前記ブロブの位置および形状をヒートマップとして表示されたヒートマップ画像を取得し、前記ヒートマップ画像を前記処理画像に合成することで、前記ヒートマップ画像を含む検査画像を出力する出力層と、
    　前記マスク画像および前記異常情報に基づいてパラメータが学習された中間層とを備え、
    　前記マスク画像および前記異常情報が入力層に入力された場合に、前記中間層による演算を経て、前記ヒートマップ画像を含む前記検査画像を前記出力層から出力するようにコンピュータを機能させ、
    　前記背景画像が入力層に入力された場合に、前記中間層による演算を経て、前記ヒートマップ画像を含まない前記検査画像を前記出力層から出力するようにコンピュータを機能させる学習モデル。
  5. 　被検査物に電磁波を照射する照射部と、
    　前記被検査物を透過した電磁波に応じて画像を生成する画像生成部と、
    　前記画像に対して画像処理を実施し、処理画像を取得する画像処理部と、
    　前記処理画像が有する画素の画素値に基づいて、前記被検査物が含むブロブを特定する対象特定部と、
    　特定された前記ブロブに対応した位置および形状にマスクされたマスク画像と、前記ブロブを含まない前記処理画像である背景画像と、前記処理画像における前記マスク部分のオフセット情報および前記ブロブに該当するオブジェクトの種類であるブロブラベルを有する前記被検査物の異常に関する情報を含む異常情報とを教師データとして取得する取得部と、
    　前記被検査物に電磁波を照射し、前記被検査物を透過した電磁波に応じて取得した画像が入力された場合に、前記被検査物の異常に関する情報を出力する学習モデルに、前記取得部より取得した前記マスク画像および異常情報を入力して、前記処理画像上に前記ブロブの位置および形状をヒートマップとして表示されたヒートマップ画像を取得する異常情報取得部と、
    　前記ヒートマップ画像を前記処理画像に合成することで、前記ヒートマップ画像を含む検査画像を出力する出力部とを備え、
    　前記背景画像は、前記ブロブの形状とは異なる画像が前記処理画像の任意の位置に合成されていることを備える検査装置。
  6. 　前記電磁波はＸ線であり、
    　画像生成部は、前記Ｘ線に基づく画像を生成することを特徴とする請求項５に記載の検査装置。
  7. 　ディスプレイを備え、
    　前記表示部は、前記X線照射後に取得した画像に基づく画像を出力する第１の表示部と、前記ヒートマップ画像を含まない、被検査物が正常である状態を示す画像である正常画像または前記ヒートマップ画像を含む、被検査物が異常である状態を示す画像である異常画像を出力する第２の表示部とを並べて前記ディスプレイに表示し、
    　前記表示部は、ユーザにより、前記被検査物に対する正常情報または異常情報の入力を受け付ける第１の操作ボタンおよび第２の操作ボタンを有することを特徴とする請求項６に記載の検査装置。
  8. 　前記第２の表示部に表示された画像、および前記第１の操作ボタンおよび前記第２の操作ボタンが受け付けた前記正常情報または前記異常情報に基づき、前記学習モデルを再学習する再学習部を備えることを特徴とする請求項７に記載の検査装置。
  9. 　前記第２の表示部は、前記被検査物の異常の種類の入力を受け付ける選択ボタンを備え、
    　前記選択ボタンが前記入力を受け付けた場合、前記第２の表示部は前記異常の種類に基づいた前記ヒートマップ画像を前記異常画像上に表示することを特徴とする請求項７または８に記載の検査装置。
  10. 　前記被検査物に電磁波を照射し、前記被検査物を透過した電磁波に応じて画像を取得し、前記画像に対して画像処理アルゴリズムを適用して画像処理を施すことで前記ブロブを特定し、特定された前記ブロブに対応した位置および形状にマスクされたマスク画像に基づいて、前記被検査物の異常に関する情報を取得する第２の取得部を備え、
    　前記異常情報取得部は、前記第２の取得部が取得した前記情報に応じ、前記ヒートマップ画像を入力することを特徴とする請求項５ないし９のいずれか１項に記載の検査装置。
  11. 　被検査物に電磁波を照射するステップと、
    　前記被検査物を透過した電磁波に応じて画像を取得するステップと、
    　前記画像に対して画像処理された処理画像が有する画素の画素値に基づいて、前記被検査物が含むブロブを特定するステップと、
    　特定された前記ブロブに対応した位置および形状にマスクされたマスク画像と、前記ブロブを含まない前記処理画像である背景画像と、前記処理画像における前記マスク部分のオフセット情報および前記ブロブに該当するオブジェクトの種類であるブロブラベルを有する前記被検査物の異常に関する情報を含む異常情報とを取得するステップと、
    　前記マスク画像前記背景画像および前記異常情報を含む教師データを取得するステップと、
    　前記被検査物に電磁波を照射し、前記被検査物を透過した電磁波に応じて取得した画像が入力された場合に、前記教師データに基づいて、前記処理画像上に前記ブロブの位置および形状をヒートマップとして表示されたヒートマップ画像を取得するステップと、
    　前記ヒートマップ画像を前記処理画像に合成することで、前記ヒートマップ画像を含む検査画像を出力する学習モデルを生成するステップとを含む処理をコンピュータに実行させ、
    　前記背景画像は、前記ブロブの形状とは異なる画像が前記処理画像の任意の位置に合成されていることを特徴とする検査方法。
  12. 　被検査物に電磁波を照射するステップと、
    　前記被検査物を透過した電磁波に応じて画像を取得するステップと、
    　前記画像に対して画像処理された処理画像が有する画素の画素値に基づいて、前記被検査物が含むブロブを特定するステップと、
    　特定された前記ブロブに対応した位置および形状にマスクされたマスク画像と、前記ブロブを含まない前記処理画像である背景画像と、前記処理画像における前記マスク部分のオフセット情報および前記ブロブに該当するオブジェクトの種類であるブロブラベルを有する前記被検査物の異常に関する情報を含む異常情報とを取得するステップと、
    　前記マスク画像、前記背景画像および前記異常情報を含む教師データを取得するステップと、
    　前記被検査物に電磁波を照射し、前記被検査物を透過した電磁波に応じて取得した画像が入力された場合に、前記教師データに基づいて、前記処理画像上に前記ブロブの位置および形状をヒートマップとして表示されたヒートマップ画像を取得するステップと、
    　前記ヒートマップ画像を前記処理画像に合成することで、前記ヒートマップ画像を含む検査画像を出力する学習モデルを生成するステップとを含む処理をコンピュータに実行させ、
    　前記背景画像は、前記ブロブの形状とは異なる画像が前記処理画像の任意の位置に合成されていることを特徴とするコンピュータプログラム。
PCT/JP2021/029791 2021-08-13 2021-08-13 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム WO2023017611A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180101428.3A CN117813492A (zh) 2021-08-13 2021-08-13 学习模型的生成方法、学习模型、检查装置、检查方法以及计算机程序
PCT/JP2021/029791 WO2023017611A1 (ja) 2021-08-13 2021-08-13 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム
JP2021572603A JP7034529B1 (ja) 2021-08-13 2021-08-13 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/029791 WO2023017611A1 (ja) 2021-08-13 2021-08-13 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2023017611A1 true WO2023017611A1 (ja) 2023-02-16

Family

ID=81213486

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029791 WO2023017611A1 (ja) 2021-08-13 2021-08-13 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム

Country Status (3)

Country Link
JP (1) JP7034529B1 (ja)
CN (1) CN117813492A (ja)
WO (1) WO2023017611A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200161081A1 (en) * 2018-11-15 2020-05-21 Kla-Tencor Corporation Using deep learning based defect detection and classification schemes for pixel level image quantification
US20200210785A1 (en) * 2018-12-28 2020-07-02 Nuctech Company Limited Empty container identification method and system
WO2020189044A1 (ja) * 2019-03-19 2020-09-24 株式会社システムスクエア 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
WO2020189043A1 (ja) * 2019-03-19 2020-09-24 株式会社システムスクエア 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
JP2021012108A (ja) * 2019-07-05 2021-02-04 株式会社イシダ 画像生成装置、検査装置及び学習装置
WO2021044146A1 (en) * 2019-09-06 2021-03-11 Smiths Heimann Sas Image retrieval system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200161081A1 (en) * 2018-11-15 2020-05-21 Kla-Tencor Corporation Using deep learning based defect detection and classification schemes for pixel level image quantification
US20200210785A1 (en) * 2018-12-28 2020-07-02 Nuctech Company Limited Empty container identification method and system
WO2020189044A1 (ja) * 2019-03-19 2020-09-24 株式会社システムスクエア 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
WO2020189043A1 (ja) * 2019-03-19 2020-09-24 株式会社システムスクエア 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
JP2021012108A (ja) * 2019-07-05 2021-02-04 株式会社イシダ 画像生成装置、検査装置及び学習装置
WO2021044146A1 (en) * 2019-09-06 2021-03-11 Smiths Heimann Sas Image retrieval system

Also Published As

Publication number Publication date
CN117813492A (zh) 2024-04-02
JPWO2023017611A1 (ja) 2023-02-16
JP7034529B1 (ja) 2022-03-14

Similar Documents

Publication Publication Date Title
WO2020189044A1 (ja) 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
Eshkevari et al. Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method
Adem et al. Defect detection of seals in multilayer aseptic packages using deep learning
JP2016181098A (ja) 領域検出装置および領域検出方法
WO2021193733A1 (ja) 教師データ生成装置、検査装置及びプログラム
WO2023017611A1 (ja) 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム
Sauter et al. Defect detection of metal nuts applying convolutional neural networks
CN117214178A (zh) 一种用于包装生产线上包装件外观缺陷智能识别方法
WO2020189043A1 (ja) 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
Kłosowski et al. The use of transfer learning with very deep convolutional neural network in quality management
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
Bhutta et al. Smart-inspect: micro scale localization and classification of smartphone glass defects for industrial automation
US20240095983A1 (en) Image augmentation techniques for automated visual inspection
Shetty Vision-based inspection system employing computer vision & neural networks for detection of fractures in manufactured components
JP2011141202A (ja) 部品検査装置及びプログラム
WO2021119946A1 (en) Food inspection solution
JP2003076991A (ja) 自動検査装置及び方法並びに画像信号の処理方法
Regayeg et al. Automatic detection system for verification and quality control: Application to water connector inspection
WO2022264382A1 (ja) 物体判別装置
CN114820428A (zh) 图像处理方法以及图像处理装置
Kim et al. Automated end-of-line quality assurance with visual inspection and convolutional neural networks
Chew Anomaly detection for vision-based inspection

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021572603

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21953506

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180101428.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE