WO2024014020A1 - 包装体検査装置及び包装体検査方法 - Google Patents
包装体検査装置及び包装体検査方法 Download PDFInfo
- Publication number
- WO2024014020A1 WO2024014020A1 PCT/JP2023/005400 JP2023005400W WO2024014020A1 WO 2024014020 A1 WO2024014020 A1 WO 2024014020A1 JP 2023005400 W JP2023005400 W JP 2023005400W WO 2024014020 A1 WO2024014020 A1 WO 2024014020A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image data
- package
- packaging material
- imaging
- specular reflection
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims description 40
- 239000005022 packaging material Substances 0.000 claims abstract description 99
- 238000003384 imaging method Methods 0.000 claims abstract description 51
- 230000002950 deficient Effects 0.000 claims description 37
- 238000013528 artificial neural network Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 27
- 238000005286 illumination Methods 0.000 claims description 25
- 235000019557 luminance Nutrition 0.000 claims description 24
- 238000004806 packaging method and process Methods 0.000 claims description 24
- 239000000463 material Substances 0.000 claims description 10
- 229920005992 thermoplastic resin Polymers 0.000 claims description 7
- 230000001678 irradiating effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 6
- 230000002093 peripheral effect Effects 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000037303 wrinkles Effects 0.000 description 4
- 239000004698 Polyethylene Substances 0.000 description 3
- 239000004743 Polypropylene Substances 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 3
- 238000007599 discharging Methods 0.000 description 3
- 229920000573 polyethylene Polymers 0.000 description 3
- 229920000139 polyethylene terephthalate Polymers 0.000 description 3
- 239000005020 polyethylene terephthalate Substances 0.000 description 3
- 229920000098 polyolefin Polymers 0.000 description 3
- -1 polypropylene Polymers 0.000 description 3
- 229920001155 polypropylene Polymers 0.000 description 3
- 239000004793 Polystyrene Substances 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 239000011116 polymethylpentene Substances 0.000 description 2
- 239000004800 polyvinyl chloride Substances 0.000 description 2
- 239000005033 polyvinylidene chloride Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 1
- 229920010126 Linear Low Density Polyethylene (LLDPE) Polymers 0.000 description 1
- 229920001328 Polyvinylidene chloride Polymers 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 235000019688 fish Nutrition 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 229920000092 linear low density polyethylene Polymers 0.000 description 1
- 239000004707 linear low-density polyethylene Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920000306 polymethylpentene Polymers 0.000 description 1
- 229920002223 polystyrene Polymers 0.000 description 1
- 229920000915 polyvinyl chloride Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Definitions
- the present invention relates to an inspection device and an inspection method for inspecting a package formed by shrink-wrapping or stretch-wrapping an item to be packaged using a predetermined packaging material.
- packages are known in which various items to be packaged, such as foods, cosmetics, pharmaceuticals, and daily necessities, are shrink-wrapped or stretch-wrapped using predetermined packaging materials.
- Such packaging bodies are widely used from the viewpoints of protecting the packaged items, improving convenience in handling the packaged items, improving design, and the like.
- Examples of the package include a type in which the entire object to be packaged is covered with a packaging material, and a type in which only a part of the object to be packaged is partially covered with a packaging material.
- an inspection device to inspect for tears etc. in the label covering the packaged item a label with an ultraviolet absorption function is used, and the label is irradiated with light containing ultraviolet rays as inspection light, and the label is removed from the label.
- a known method that uses an image based on emitted fluorescence (fluorescence image) to inspect the presence or absence of tears in a label (see, for example, Patent Document 1).
- this inspection device it is possible to inspect the label for the presence or absence of a tear or the like by taking advantage of the fact that no fluorescence is generated at a damaged location of the label where the label is torn or the like.
- the contrast difference between a normal area and a damaged area in a packaging material tends to be small, and "bleeding" tends to occur at the boundary between a normal area and a damaged area. Therefore, it is difficult to obtain a clear inspection image, and there is a possibility that inspection accuracy may be insufficient.
- the present invention has been made in view of the above circumstances, and its purpose is to be able to detect tears in packaging materials with higher accuracy without using special packaging materials that have an ultraviolet absorption function.
- An object of the present invention is to provide a package inspection device and a package inspection method.
- a package inspection device for inspecting a package formed by shrink-wrapping or stretch-wrapping a packaged item with a packaging material made of a predetermined thermoplastic resin material, The outer surface of the packaged object is rougher than the outer surface of the packaging material, irradiation means for irradiating the package with ultraviolet light; an imaging means for imaging the ultraviolet light reflected from the package;
- a package inspection device comprising: a determination unit that determines the quality of the packaging material in the package based on specular reflection light image data about the package obtained by imaging by the imaging unit.
- the outer surface of the packaged object is rougher than the outer surface of the packaging material. Therefore, in the specular reflection image data obtained by imaging the package while irradiating it with ultraviolet light, damaged areas such as tears (portions where the outer surface of the packaged item is exposed) are The area will be relatively dark, while the normal area will be relatively bright. Then, based on such differences occurring in the specular reflection light image data, the quality of the packaging material in the package is determined. Therefore, the presence or absence of tears in the packaging material can be inspected without using a special packaging material with an ultraviolet absorption function. Thereby, it is possible to suppress an increase in the manufacturing cost of the product (package).
- the contrast difference between normal and damaged areas on the packaging material can be made relatively large, and "bleeding" may occur at the boundary between normal and damaged areas. This can be prevented more reliably. Thereby, a clear inspection image can be obtained more reliably, and it becomes possible to detect tears in the packaging material with higher precision.
- thermoplastic resin material forming the packaging material examples include polypropylene (PP), polyethylene (PE), polyolefin (PO), polyvinyl chloride (PVC), polyvinylidene chloride (PVDC), polystyrene (PS), Examples include polyethylene terephthalate (PET), polymethylpentene (PMP), and linear low density polyethylene (LLDPE).
- At least one of the irradiation means and the imaging means is configured to be movable relative to the package,
- the imaging means measures the brightness at multiple locations of the packaging by imaging the packaging multiple times while at least one of the irradiation unit and the imaging unit is moving relative to the packaging.
- the package inspection apparatus according to means 1, further comprising specular reflection image data generation means for generating the specular reflection image data about the body.
- the irradiation means and the imaging means are provided in correspondence with the conveyance path of the package so that the irradiation means and the image pickup means can be moved relative to the package, the By imaging the package, inspection can be performed more efficiently. This makes it possible to more effectively suppress increases in manufacturing costs.
- Means 3 The package inspection apparatus according to means 1, wherein the irradiation means is a shadowless illumination having a plurality of ultraviolet light sources.
- specular reflection light image data regarding the package can be obtained with a relatively small number of imaging times (for example, once). Thereby, it is possible to reduce the processing load when obtaining specular reflection light image data. Moreover, inspection speed can be increased, and productivity can be improved.
- the determination means performs a binarization process on the specular reflection light image data to obtain binarized image data, and determines that the area of a connected region of a dark part in the binarized image data exceeds a preset threshold value.
- the package inspection device according to means 1, wherein the package inspection device is configured to determine that the packaging material is defective if the package material is defective.
- the quality of the packaging material is determined using the area of the connected region of the dark part. Therefore, it is possible to more reliably prevent shadows caused by fine "wrinkles" present in the packaging material from being erroneously determined to be defective parts. As a result, inspection accuracy can be further improved.
- the determining means is The specular reflection light image data related to the packaging of non-defective products is transmitted to a neural network having an encoding unit that extracts feature quantities from input image data, and a decoding unit that reconstructs image data from the feature quantities.
- Identification means generated by learning only as learning data
- Reconstructed image data acquisition means capable of inputting the regular reflection light image data obtained by imaging by the imaging means to the identification means as original image data and acquiring reconstructed image data as reconstructed image data;
- specular reflection light image data related to good packaging used as the "learning data” mentioned above may include specular reflection light image data related to good packaging that has been accumulated through previous inspections, or visual inspection by the operator.
- specular reflection light image data related to packaging bodies of non-defective products selected by the method, virtual non-defective product image data generated using these image data, etc. can be mentioned.
- neural network includes, for example, a convolutional neural network having multiple convolutional layers.
- learning includes, for example, deep learning.
- identification means (generation model) includes, for example, an autoencoder (self-encoder), a convolutional autoencoder (convolutional autoencoder), and the like.
- the identification means is generated by learning only specular reflection image data related to packaging of good products
- the original image data of packaging of defective products is input to the identification means
- the generated reconstructed image data almost matches the original image data from which the noise portions (defective portions) have been removed. That is, when there is a defective part in the package, virtual specular reflection light image data regarding the package assuming that there is no defective part is generated as reconstructed image data.
- the original image data is compared with the reconstructed image data that is reconstructed by inputting the original image data to the identification means, and based on the comparison result, the quality of the packaging material is determined.
- both image data to be compared relate to the same package. Therefore, since the shape and appearance of the package are almost the same in both image data to be compared, there is no need to set relatively lenient judgment conditions to prevent false detections due to differences in shape and appearance; Judgment conditions can be set. Furthermore, it is possible to match the conditions for obtaining the image data (for example, the placement position and placement angle of the package relative to the camera, the brightness and darkness conditions, the viewing angle of the camera, etc.) in both pieces of image data to be compared. As a result of these, extremely good inspection accuracy can be obtained.
- a package inspection method for inspecting a package obtained by shrink-wrapping or stretch-wrapping a packaged item with a packaging material made of a predetermined thermoplastic resin material comprising: The outer surface of the packaged object is rougher than the outer surface of the packaging material, an irradiation step of irradiating the package with ultraviolet light; an imaging step of imaging the ultraviolet light reflected from the package;
- a package inspection method comprising: a determination step of determining the quality of the packaging material in the package based on specular reflection light image data about the package obtained by imaging in the imaging step.
- FIG. 3 is a schematic cross-sectional view of the package.
- FIG. 2 is a schematic perspective view of a package inspection device.
- FIG. 2 is a schematic front view of the package inspection device.
- FIG. 3 is a schematic diagram showing the difference in the reflection state of ultraviolet light depending on the presence or absence of a damaged part in the packaging material. It is a block diagram showing the functional composition of a package inspection device.
- FIG. 2 is a schematic diagram for explaining the structure of a neural network.
- 3 is a flowchart showing the flow of learning processing of a neural network. It is a flowchart which shows the flow of inspection processing.
- it is a partially cutaway front schematic view of a package inspection device having a movable lighting device.
- it is a partially cutaway front schematic diagram of a package inspection device having an illumination device configured with shadowless illumination.
- FIG. 3 is a schematic diagram of binarized image data in another embodiment.
- a package 1 is manufactured by shrink-wrapping or stretch-wrapping an object 2 using a packaging material 3.
- the packaging material 3 is depicted to be thicker than it actually is in FIG. 1 and the like.
- the packaged items 2 include foods, cosmetics, medicines, daily necessities, electrical appliances, and books.
- the object to be packaged 2 is not limited to these.
- the object to be packaged 2 may include a box or case made of paper, resin, or the like for accommodating the contents, and these boxes or cases may constitute the outer surface of the object to be packaged 2 .
- the entire outer surface of the packaged object 2 is covered with the packaging material 3.
- the package 1 may be one in which a part of the outer surface of the object to be packaged 2 is partially covered with the packaging material 3.
- the outer surface of the packaged object 2 is not a mirror surface, but is rougher than the outer surface of the packaging material 3. Note that the roughness of each outer surface of the packaged object 2 and the packaging material 3 can be measured using, for example, the arithmetic mean roughness Ra.
- the packaging material 3 is a sheet (film) formed of a predetermined thermoplastic resin material, and has at least a smooth outer surface.
- thermoplastic resin material constituting the packaging material 3 include PP, PE, PO, PVC, PVDC, PS, PET, PMP, and LLDPE.
- the package inspection device 10 includes a conveyance device 11, a lighting device 12, a line sensor camera 13, and a determination system 20.
- the illumination device 12 constitutes an "irradiation means”
- the line sensor camera 13 constitutes an "imaging means”.
- the transport device 11 is a device for transporting the package 1 to a predetermined post-processing device (for example, a boxing device, etc.).
- the conveyance device 11 includes a conveyor belt 11a on which the package 1 is placed, and by movement of the conveyor belt 11a, the package 1 is continuously conveyed in the horizontal direction at a constant speed. As the package 1 is transported by the transport device 11, both the lighting device 12 and the line sensor camera 13 are moved relative to the package 1.
- the conveyance device 11 is provided with a defective product discharging mechanism (not shown), and when a predetermined defective product signal is input from the determination system 20, the defective product package 1 is removed from the system by the defective product discharging mechanism. outside the transport path of the package 1). This prevents defective packages 1 from being transported to the post-processing device.
- the illumination device 12 and the line sensor camera 13 are each located above the conveyance device 11 and arranged corresponding to the conveyance path of the package 1.
- the illumination device 12 irradiates ultraviolet light onto a predetermined region from obliquely above the upper surface of the transport device 11 (transport belt 11a), that is, the surface on which the package 1 is placed. Thereby, ultraviolet light is irradiated from the illumination device 12 onto the package 1 that has been transported to the area from diagonally above.
- the irradiated ultraviolet light spreads in the width direction of the conveyance device 11 (a direction perpendicular to the conveyance direction of the package 1).
- the process of irradiating the package 1 with ultraviolet light using the illumination device 12 corresponds to the "irradiation process".
- the line sensor camera 13 is arranged at a position sandwiching the predetermined area of the transport device 11 between it and the illumination device 12 when viewed from above.
- the line sensor camera 13 has a line sensor in which a plurality of detection elements capable of detecting ultraviolet light are lined up in a row, and is configured to be able to image (expose) the ultraviolet light reflected from the package 1.
- the image data acquired by the line sensor camera 13 is brightness image data whose brightness increases or decreases according to the detection output from the line sensor.
- the line sensor camera 13 is operated from the package 1 while the package 1 is being transported (that is, in a state where both the lighting device 12 and the line sensor camera 13 are moving relative to the package 1).
- the reflected ultraviolet light is imaged multiple times.
- a plurality of pieces of brightness image data having information related to the brightness of a plurality of locations on the package 1 are obtained.
- the step of imaging the ultraviolet light reflected from the package 1 by the line sensor camera 13 corresponds to the "imaging step.”
- the ultraviolet light irradiated onto a normal part of the packaging material 3 is specularly reflected by the packaging material 3, and the specularly reflected ultraviolet light is incident on the line sensor camera 13.
- the ultraviolet light irradiated to a damaged part (a place where a tear etc. has occurred) in the packaging material 3 is not specularly reflected by the packaging material 3, and the specularly reflected ultraviolet light does not enter the line sensor camera 13. (See Figure 4 for each). Therefore, in the obtained brightness image data, locations (pixels) representing normal locations have high brightness, and locations representing damaged locations have low brightness.
- the brightness image data acquired by the line sensor camera 13 is converted into a digital signal (image signal) inside the line sensor camera 13 every time the package 1 is conveyed by a predetermined amount, and then converted into a digital signal in the form of a digital signal. It is output to the determination system 20 (specular reflection light image data generation section 24 described later).
- the timing of imaging by the line sensor camera 13 is set such that the region to be imaged of the package 1 by the line sensor camera 13 partially overlaps with the region to be imaged of the package 1 by the previous line sensor camera 13. It is set. Therefore, one pixel at a predetermined coordinate in a plurality of consecutively acquired luminance image data corresponds to a predetermined location in the package 1 (an area corresponding to one pixel in the area occupied by the package 1 in the specular reflection light image data described later). ) at least partially overlaps, and also gradually shifts toward the downstream side in the transport direction of the package 1. Therefore, in this embodiment, the plurality of continuously acquired luminance image data each have a pixel corresponding to (overlapping with) one pixel in the specular reflection light image data. Note that, as described later, the brightness of one pixel in the specular reflection light image data is set to the highest brightness among the brightnesses shown by the plurality of pixels corresponding to the one pixel in the plurality of brightness image data.
- the determination system 20 includes a CPU (Central Processing Unit) that executes predetermined arithmetic processing, a ROM (Read Only Memory) that stores various programs, fixed value data, etc., and a ROM (Read Only Memory) that temporarily stores various data when executing various arithmetic processing. It consists of a computer including a RAM (Random Access Memory) and peripheral circuits thereof, an input/output device, a display device, etc.
- a CPU Central Processing Unit
- ROM Read Only Memory
- ROM Read Only Memory
- the determination system 20 includes a main control section 21, a lighting control section 22, a camera control section 23, a specular reflection light image data generation section 24, and a learning section, which will be described later, by the CPU operating according to various programs. 25, functions as various functional units such as an inspection unit 26.
- the specular reflection light image data generation section 24 constitutes a "specular reflection light image data generation means.”
- the determination system 20 includes an input section 20a composed of a keyboard, a mouse, a touch panel, etc., a display section 20b composed of a liquid crystal display, etc., each equipped with a display screen capable of displaying various information, various data and programs, A storage section 20c capable of storing calculation results, test results, etc., a communication section 20d capable of transmitting and receiving various data to and from the outside, and the like are provided.
- the main control unit 21 is a functional unit that controls the entire determination system 20, and is configured to be able to transmit and receive various signals with other functional units such as the lighting control unit 22 and the camera control unit 23.
- the lighting control unit 22 is a functional unit that controls the lighting device 12 based on command signals from the main control unit 21.
- the camera control unit 23 is a functional unit that controls the line sensor camera 13, and controls the timing of imaging by the line sensor camera 13 based on the command signal from the main control unit 21.
- the camera control unit 23 controls the timing of imaging by the line sensor camera 13 so that the region to be imaged of the package 1 by the line sensor camera 13 partially overlaps the region to be imaged of the package 1 by the previous line sensor camera 13. do.
- the specular reflection light image data generation unit 24 generates specular reflection light image data for one package 1 using a plurality of brightness image data related to one package 1 acquired by the line sensor camera 13.
- the specular reflection light image data generation unit 24 first generates a plurality of luminance values for the same location (one pixel in the finally obtained specular reflection light image data) respectively indicated by the plurality of luminance image data. Get the highest brightness out of it. For example, if three luminance image data each have one pixel corresponding to the pixel 1, the highest luminance among the three luminances indicated by the three pixels is obtained. Note that the same location includes the same location on the package 1.
- the specular reflection light image data generation unit 24 performs the process of setting the obtained maximum brightness to the brightness of the same location (one pixel in the finally obtained specular reflection image data). This is performed for each pixel in the specular reflection light image data obtained in Therefore, as a result, the above processing is performed for each location of the package 1 (each pixel in the area occupied by the package 1 in the finally obtained specular reflection light image data). Then, by setting the brightness of all pixels in the specular reflection image data as described above, the specular reflection light image data generation unit 24 generates specular reflection light about the package 1 (including information about the package 1). Generate image data.
- the generated regular reflection light image data is rectangular image data that includes the entire upper surface of the package 1.
- specular reflection light image data for the package 1 is generated using all pixels of the brightness image data including the area other than the area occupied by the package 1. Specular reflection light image data for the package 1 may be generated by extracting only the area occupied by the package 1 and using only the pixels of this area.
- the learning unit 25 uses the learning data to train a deep neural network 90 (hereinafter simply referred to as “neural network 90"; see FIG. 6), and constructs an AI (Artificial Intelligence) model 100 as an “identification means”.
- neural network 90 hereinafter simply referred to as "neural network 90”; see FIG. 6
- AI Artificial Intelligence
- the AI model 100 in this embodiment is a generative model constructed by performing deep learning on the neural network 90 using only the image data related to the non-defective packaging 1 as learning data, as will be described later. It has a so-called autoencoder structure.
- FIG. 6 is a schematic diagram conceptually showing the structure of the neural network 90.
- the neural network 90 includes an encoder section 91 as an "encoding section” that extracts feature quantities (latent variables) TA from input image data GA, and a "decoding section” that reconstructs image data GB from the feature quantities TA. It has the structure of a convolutional auto-encoder (CAE) including a decoder section 92 as ⁇ .''.
- CAE convolutional auto-encoder
- the encoder section 91 has a plurality of convolution layers 93, and each convolution layer 93 applies a plurality of filters to input data.
- the result of the convolution operation using the (kernel) 94 is output as input data for the next layer.
- the decoder unit 92 has a plurality of deconvolution layers 95, and in each deconvolution layer 95, the result of deconvolution operation using a plurality of filters (kernels) 96 on input data is obtained. is output as the input data of the next layer.
- the weights (parameters) of each filter 94 and 96 will be updated.
- the inspection unit 26 is a functional unit that determines the quality of the packaging material 3 in the package 1 transported by the transport device 11. For example, in this embodiment, an inspection is performed to determine whether or not the packaging material 3 is damaged, such as a tear. In addition, when the packaging material 3 is provided with a printed part, the inspection part 26 may determine the quality of the printed part. In this embodiment, the inspection unit 26 constitutes a "determination means".
- the display section 20b is arranged, for example, near the transport device 11, and is configured to be able to display various information stored in the storage section 20c. Therefore, the display section 20b can display various image data such as brightness image data, information used for inspection, results of quality determination of the packaging material 3, and the like.
- the storage unit 20c is composed of an HDD (Hard Disk Drive), an SSD (Solid State Drive), etc., and has a predetermined storage area for storing, for example, the AI model 100 (neural network 90 and learning information acquired by its learning). ing. Furthermore, the storage unit 20c has a function of storing various image data, information used for inspection (for example, various threshold values, etc.), and the results of the quality determination of the packaging material 3 performed by the inspection unit 26.
- HDD Hard Disk Drive
- SSD Solid State Drive
- the storage unit 20c has a function of storing various image data, information used for inspection (for example, various threshold values, etc.), and the results of the quality determination of the packaging material 3 performed by the inspection unit 26.
- the communication unit 20d includes, for example, a wireless communication interface that conforms to communication standards such as a wired LAN (Local Area Network) or wireless LAN, and is configured to be able to send and receive various data to and from the outside. For example, a defective product signal based on the quality determination result by the inspection section 26 is outputted to the outside (such as the defective product discharging mechanism) via the communication section 20d.
- a wireless communication interface that conforms to communication standards such as a wired LAN (Local Area Network) or wireless LAN, and is configured to be able to send and receive various data to and from the outside.
- a defective product signal based on the quality determination result by the inspection section 26 is outputted to the outside (such as the defective product discharging mechanism) via the communication section 20d.
- the main control unit 21 When the learning process is started based on the execution of a predetermined learning program, the main control unit 21 first prepares the unlearned neural network 90 in step S101.
- the neural network 90 stored in advance in a predetermined storage device or the like is read out.
- the neural network 90 is constructed based on network configuration information (for example, the number of layers of the neural network, the number of nodes in each layer, etc.) stored in the storage device or the like.
- step S102 reconstructed image data is acquired. That is, the learning data prepared in advance is applied to the input layer of the neural network 90 as input data. Then, reconstructed image data output from the output layer of the neural network 90 is obtained.
- the learning data includes specular reflection light image data related to non-defective packages 1 accumulated through past inspections, specular reflection light image data related to non-defective packages 1 visually selected by workers, and these image data. For example, virtual non-defective product image data generated using
- the learning data is compared with the reconstructed image data output by the neural network 90 in step S102, and it is determined whether the error is sufficiently small (whether it is below a predetermined threshold). do.
- step S105 determines whether the end condition of the learning process is satisfied. For example, if an affirmative determination is made in step S103 without going through the process of step S104, which will be described later, a predetermined number of times in a row, or if learning using all of the prepared learning data is repeated a predetermined number of times. If so, it is determined that the termination condition is satisfied. If the termination condition is satisfied, the neural network 90 and its learning information (updated parameters described later, etc.) are stored in the storage unit 20c as the AI model 100, and the learning process is terminated.
- step S105 if the termination condition is not satisfied in step S105, the process returns to step S102 and the learning of the neural network 90 is performed again.
- step S103 network updating processing (learning of the neural network 90) is performed in step S104, and then the process returns to step S102 to repeat the above series of processes.
- the neural network 90 uses a known learning algorithm such as error backpropagation to minimize the loss function representing the difference between the learning data and the reconstructed image data.
- the weights (parameters) of each of the filters 94 and 96 are updated to more appropriate ones.
- the loss function for example, BCE (Binary Cross-entropy) can be used.
- the finally obtained AI model 100 is one that generates reconstructed image data that almost matches the input specular reflection light image data when specular reflection light image data related to the non-defective package 1 is input. becomes.
- the AI model 100 uses the input specular reflection image data from which the noise portion (the portion corresponding to the damaged part of the packaging material 3) has been removed. This generates reconstructed image data that substantially matches the optical image data. That is, when the packaging material 3 of the packaging body 1 is defective, the reconstructed image data regarding the packaging body 1 is the image of the packaging body 1 assuming that there is no defective part (damaged part) in the packaging material 3. Virtual image data related to is generated.
- step S201 while the package 1 is being transported by the transport device 11 and ultraviolet light is irradiated from the illumination device 12 to the package 1, the line sensor camera 13 is used to remove the package 1 from the package 1.
- the reflected ultraviolet light is imaged repeatedly.
- a plurality of brightness image data regarding the package 1 are acquired.
- specular reflection light image data about the package 1 is acquired by the specular reflection light image data generation section 24.
- the quality of the packaging material 3 is determined based on the acquired specular reflection light image data.
- the inspection unit 26 inputs the specular reflection light image data (original image data) acquired in step S201 to the AI model 100, thereby acquiring reconstructed image data. Ru.
- the inspection unit 26 constitutes a "reconstructed image data acquisition means.”
- the inspection unit 26 compares the regular reflection light image data as the original image data and the reconstructed image data, and identifies the difference between the two image data. For example, pixels at the same coordinates in both image data are compared, and pixels whose brightness difference is equal to or greater than a predetermined value are identified as the difference.
- the inspection unit 26 that compares the original image data and the reconstructed image data constitutes a "comparison means.”
- step S303 the area (number of pixels) of a connected region of differences (that is, a cluster of pixels where the difference in luminance is equal to or greater than a predetermined value) is calculated.
- step S304 the inspection unit 26 determines whether there is a damaged part (defective part) in the packaging material 3. Specifically, the inspection unit 26 determines whether the area calculated in step S303 is larger than a predetermined threshold. If the calculated area is larger than the threshold, it is determined in step S305 that the packaging material 3 and thus the packaging body 1 are "defective”, and the inspection process is ended. When it is determined that the product is "defective", a defective product signal is output to the defective product discharge mechanism.
- step S306 if the calculated area is less than or equal to the threshold value, it is determined in step S306 that the packaging material 3 and thus the packaging body 1 are "good", and the inspection process is ended.
- the outer surface of the packaged object 2 is rougher than the outer surface of the packaging material 3. Therefore, in the specular reflection light image data, damaged areas such as tears (portions where the outer surface of the packaged object 2 is exposed) are relatively dark, while normal areas are relatively bright. Then, the quality of the packaging material 3 in the package 1 is determined based on such differences that occur in the specularly reflected light image data. Therefore, the presence or absence of tears in the packaging material 3 can be inspected without using a special material provided with an ultraviolet absorption function as the packaging material 3. Thereby, it is possible to suppress an increase in cost related to manufacturing the product (package 1).
- specular reflection image data since specular reflection image data is used, it is possible to make the contrast difference between the normal and damaged areas of the packaging material 3 relatively large, and "bleeding" can be avoided at the boundary between the normal and damaged areas. This can be more reliably prevented from occurring. Thereby, a clear inspection image (in this embodiment, specular reflection light image data) can be obtained more reliably, and it becomes possible to detect tears in the packaging material 3 with higher precision.
- the highest luminance among the plurality of luminances for the same location (one pixel in the finally obtained specular reflection light image data) respectively indicated by the plurality of luminance image data is determined by Specular reflection light image data is generated by performing processing for setting the brightness of each pixel (pixel) for each pixel of the finally obtained specular reflection light image data. Therefore, more accurate specular reflection light image data can be obtained relatively easily. Thereby, the inspection accuracy of the packaging material 3 can be further improved.
- the specular reflection light image data (original image data) is compared with the reconstructed image data that was reconstructed by inputting the original image data into the AI model 100, and based on the comparison result, the Judging whether it is good or bad. Therefore, both image data to be compared relate to the same package 1. Therefore, since the shape and appearance of the package 1 are almost the same in both image data to be compared, there is no need to set relatively loose judgment conditions to prevent false detection due to differences in shape and appearance. Strict judgment conditions can be set. Furthermore, the conditions for obtaining the image data (for example, the arrangement position and arrangement angle of the package 1 with respect to the line sensor camera 13, brightness and darkness conditions, and the angle of view of the camera) can be matched in both image data to be compared. As a result of these, extremely good inspection accuracy can be obtained.
- both the illumination device 12 and the imaging means are configured to be movable relative to the package 1 as the package 1 is transported by the transport device 11. .
- the package 1 may be in a stopped state, and at least one of the illumination device 12 and the imaging device (line sensor camera 13) may be moved relative to the package 1 by a predetermined driving means. Therefore, for example, as shown in FIG. 9, the lighting device 12 may be configured to move along a predetermined arc-shaped path located around the package 1.
- the area camera 16 serving as the "imaging means” captures an image of the ultraviolet light reflected on the package 1.
- the area camera 16 captures a rectangular image.
- specular reflection light image data is generated as follows. That is, the specular reflection light image data generation unit 24 generates multiple images of the same location (one pixel in the finally obtained specular reflection light image data) respectively indicated by the plurality of brightness image data obtained by the area camera 16. Obtain the highest brightness among the brightness values. For example, if a total of eight luminance image data obtained through eight imaging operations each have one pixel corresponding to the above-mentioned 1 pixel, the specular reflection light image data generation unit 24 generates the 8 pixels indicated by the 8 pixels. Obtain the highest brightness among the two brightnesses.
- the specular reflection light image data generation unit 24 performs the process of setting the obtained maximum brightness to the brightness of the same location (one pixel in the finally obtained specular reflection image data). This is performed for each pixel in the specular reflection light image data obtained in As a result, specular reflection light image data for the package 1 is generated.
- ultraviolet light is not transmitted to the package 1. It may be configured to irradiate more efficiently.
- a line sensor camera 13 may be provided in place of the area camera 16, and the line sensor camera 13 may image the reflected light from the package 1 while moving the illumination device 12 and the package 1.
- the illumination device 15 as the "irradiation means” is constituted by a shadowless illumination having a plurality of ultraviolet light sources 15a arranged around the package 1, and the package 1 is reflected.
- the area camera 16 serving as an "imaging means” may be configured to capture an image of the ultraviolet light.
- the package 1 etc. is adjusted so that the relative position of the package 1 with respect to the illumination device 12 changes slightly each time the image is captured. Position adjustment is performed.
- specular reflection light image data regarding the package 1 can be obtained with a relatively small number of imaging times (that is, with a relatively small amount of brightness image data). Thereby, it is possible to reduce the processing load when obtaining specular reflection light image data. Moreover, inspection speed can be increased, and productivity can be improved.
- the object to be packaged 2 is, for example, paper, vegetables, mushrooms, meat, fish, etc.
- the reflectance of ultraviolet light on the outer surface of the object to be packaged 2 is sufficiently low (the outer surface of the object to be packaged 2 is (absorbing most of ultraviolet light)
- specular reflection light image data can be obtained with a very small number of imaging times (for example, once).
- this specular reflection light image data is the same as the luminance image data obtained by imaging once by the area camera 16. Therefore, there is no need to perform processing to obtain specular reflection light image data from a plurality of luminance image data.
- a cylindrical ultraviolet light reflecting section 17 is provided that covers all of the plurality of ultraviolet light sources 15a from the outside, and the inner surface of the ultraviolet light reflecting section 17 reflects the ultraviolet light. By making it reflective, the package 1 may be irradiated with ultraviolet light more efficiently. Furthermore, a line sensor camera 13 may be provided in place of the area camera 16, and the reflected light from the package 1 may be imaged by the line sensor camera 13 while the package 1 is moved.
- the inspection unit 26 uses the AI model 100 to determine the quality of the packaging material 3 by comparing specular reflection light image data (original image data) and reconstructed image data. It is configured as follows. On the other hand, the inspection unit 26 may determine the quality of the packaging material 3 based on a binarized image obtained by subjecting the specular reflection light image data to a binarization process.
- the inspection unit 26 performs binarization processing on the specular reflection light image data using a predetermined binarization threshold, thereby obtaining binarized image data.
- binarized image data is obtained in which a pixel whose luminance is equal to or higher than the binarization threshold is set as "1 (bright area)" and a pixel whose luminance is less than the binarization threshold is set as "0 (dark area)".
- a damaged area X1 such as a tear or a shadow X2 due to a small "wrinkle” becomes a dark part (see FIG. 11).
- the inspection unit 26 calculates the area (number of pixels) of the dark connected region in the binarized image data, and if the calculated area exceeds a preset threshold, there is a tear in the packaging material 3. etc., the packaging material 3 is determined to be a "defective product". On the other hand, if the calculated area is less than or equal to the threshold value, the inspection unit 26 determines that the packaging material 3 is "good".
- the area of the connected region is used to determine the quality of the packaging material 3, but the length of the connected region is used to determine the quality of the packaging material 3. You may also do so. For example, if the length of the connected region exceeds a predetermined threshold, or if there are a predetermined number or more of connected regions whose length exceeds the threshold, it is determined that the packaging material 3 has a tear, and the packaging material 3 is marked as a "defective product.” It may be determined that
- the quality of the packaging material 3 is determined based on the condition of the packaging material 3 itself.
- it may be configured such that the quality of the packaging material 3 is determined based on the relative condition of the packaging material 3 with respect to the object to be packaged 2. For example, when a part of the packaged object 2 is partially wrapped by the packaging material 3, the quality of the packaging material 3 may be determined based on the relative position of the packaging material 3 with respect to the packaged object 2. good.
- the configuration of the AI model 100 (neural network 90) as the "identification means" and its learning method are not limited to the above embodiment.
- a configuration may be adopted in which processing such as normalization is performed on various data as necessary.
- the structure of the neural network 90 is not limited to that shown in FIG. 6, and may have a configuration in which a pooling layer is provided after the convolutional layer 93, for example.
- the number of layers of the neural network 90, the number of nodes in each layer, the connection structure of each node, etc. may be different.
- the AI model 100 is a generative model having the structure of a convolutional autoencoder (CAE), but is not limited to this, for example, a variational autoencoder (VAE) It may also be a generative model with the structure of a different type of autoencoder, such as Variational Autoencoder).
- CAE convolutional autoencoder
- VAE variational autoencoder
- VAE Variational Autoencoder
- the neural network 90 is configured to learn using the error backpropagation method, but the configuration is not limited to this, and a configuration may be adopted in which learning is performed using various other learning algorithms.
- the neural network 90 may be configured by a circuit dedicated to AI processing, such as a so-called AI chip.
- AI model 100 may be constructed by storing only learning information such as parameters in the storage unit 20c, reading this information by the AI processing dedicated circuit, and setting it in the neural network 90.
- the determination system 20 includes the learning section 25 and is configured to perform learning of the neural network 90 within the determination system 20, but the present invention is not limited to this.
- the learning unit 25 may be omitted, the learning of the neural network 90 may be performed outside the determination system 20, and the AI model 100 that has been trained externally (the trained neural network 90) may be stored in the storage unit 20c. It may also be a configuration.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Chemical & Material Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
紫外線吸収機能を付与した特殊な包材を使用することなく、包材の破れなどをより高精度で検出することができる包装体検査装置などを提供する。検査対象となる包装体１は、被包装物を包材によってシュリンク包装又はストレッチ包装してなり、被包装物の外表面は包材の外表面よりも粗いものとされている。包装体１に対し紫外光を照射した状態で、包装体１から反射した紫外光を撮像し、撮像によって得られた包装体１についての正反射光画像データに基づき、包装体１における包材の良否が判定される。正反射光画像データにおいて、損傷箇所は比較的暗くなる一方、正常箇所は比較的明るくなり、また、正常箇所及び損傷箇所のコントラスト差が比較的大きなものとなる。そのため、紫外線吸収機能を付与した特殊な包材を使用することなく、包材の破れなどをより高精度で検出することが可能となる。
Description
本発明は、被包装物を所定の包材によってシュリンク包装又はストレッチ包装してなる包装体を検査するための検査装置及び検査方法に関する。
従来、食品、化粧品、医薬品、生活用品などの各種被包装物を、所定の包材によってシュリンク包装又はストレッチ包装してなる包装体が知られている。このような包装体は、被包装物の保護や、被包装物の取り扱いに係る利便性の向上、デザイン性の向上などの観点から広く用いられている。包装体としては、被包装物の全体を包材で被覆したタイプや、被包装物の一部のみを包材で部分的に被覆したタイプなどがある。
ところで、包装体における包材に破れなどの損傷が生じると、被包装物の保護が不十分となったり、利便性やデザイン性が低下したりするといった各種不具合を招くおそれがある。従って、製品（包装体）の出荷前などに、包材における破れ等の有無を検査することが必要となる。
この点、被包装物を被覆するラベルにおける破れ等を検査するための検査装置として、紫外線吸収機能が付与されたラベルを用いるとともに、ラベルに対し紫外線を含む光を検査光として照射し、ラベルから発せられる蛍光に基づく画像（蛍光画像）を利用して、ラベルにおける破れ等の有無を検査するものが知られている（例えば、特許文献１等参照）。この検査装置によれば、破れ等が生じたラベルの損傷箇所では蛍光の発生がなくなることを利用して、ラベルにおける破れ等の有無を検査することが可能とされている。
ところで、包装体の検査に上記の検査装置を利用するにあたっては、包材に紫外線吸収機能を付与する必要があるが、検査のためにわざわざ紫外線吸収機能を付与することは、製品（包装体）の製造コストを増大させるおそれがある。
さらに、蛍光画像では、包材における正常箇所及び損傷箇所のコントラスト差が小さなものとなりやすく、また、正常箇所及び損傷箇所の境界部分で「にじみ」が生じやすい。そのため、鮮明な検査用画像を得ることが困難であり、検査精度が不十分となるおそれがある。
本発明は、上記事情に鑑みてなされたものであり、その目的は、紫外線吸収機能を付与した特殊な包材を使用することなく、包材の破れなどをより高精度で検出することができる包装体検査装置及び包装体検査方法を提供することにある。
以下、上記目的を解決するのに適した各手段につき、項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
手段１．被包装物を所定の熱可塑性樹脂材料により形成された包材によってシュリンク包装又はストレッチ包装してなる包装体を検査するための包装体検査装置であって、
前記被包装物の外表面は、前記包材の外表面よりも粗いものとされており、
前記包装体に対し紫外光を照射する照射手段と、
前記包装体から反射した紫外光を撮像する撮像手段と、
前記撮像手段による撮像によって得られた前記包装体についての正反射光画像データに基づき、該包装体における前記包材の良否を判定する判定手段とを備えることを特徴とする包装体検査装置。
前記被包装物の外表面は、前記包材の外表面よりも粗いものとされており、
前記包装体に対し紫外光を照射する照射手段と、
前記包装体から反射した紫外光を撮像する撮像手段と、
前記撮像手段による撮像によって得られた前記包装体についての正反射光画像データに基づき、該包装体における前記包材の良否を判定する判定手段とを備えることを特徴とする包装体検査装置。
上記手段１によれば、被包装物の外表面は包材の外表面よりも粗いものとされている。そのため、包装体に対し紫外光を照射した状態で該包装体を撮像することによって得られた正反射光画像データにおいて、破れ等のある損傷箇所（被包装物の外表面が露出した部分）は比較的暗いものとなり、一方、正常箇所は比較的明るいものとなる。そして、正反射光画像データにて生じるこのような差異に基づき、包装体における包材の良否が判定される。従って、包材として、紫外線吸収機能が付与された特殊なものを用いることなく、包材における破れ等の有無を検査することができる。これにより、製品（包装体）の製造コストの増大抑制を図ることができる。
さらに、正反射光画像データを利用するため、包材における正常箇所及び損傷箇所のコントラスト差を比較的大きなものとすることができ、また、正常箇所及び損傷箇所の境界部分で「にじみ」が生じることをより確実に防止できる。これにより、鮮明な検査用画像をより確実に得ることができ、包材の破れなどをより高精度で検出することが可能となる。
尚、包材を形成する熱可塑性樹脂材料としては、例えば、ポリプロピレン（ＰＰ）、ポリエチレン（ＰＥ）、ポリオレフィン（ＰＯ）、ポリ塩化ビニル（ＰＶＣ）、ポリ塩化ビニリデン（ＰＶＤＣ）、ポリスチレン（ＰＳ）、ポリエチレンテレフタレート（ＰＥＴ）、ポリメチルペンテン（ＰＭＰ）又は直鎖状低密度ポリエチレン（ＬＬＤＰＥ）などを挙げることができる。
手段２．前記照射手段及び前記撮像手段のうちの少なくとも一方は、前記包装体に対し相対移動可能に構成されており、
前記撮像手段は、前記包装体に対し前記照射手段及び前記撮像手段のうちの少なくとも一方が相対移動している状態で、該包装体を複数回撮像することにより、該包装体の複数箇所の輝度に係る情報を有する輝度画像データを複数得るように構成されており、
前記複数の輝度画像データがそれぞれ示す前記包装体における同一の箇所についての複数の輝度のうちの最高輝度を該箇所の輝度とすることを、該包装体の各箇所ごとに行うことにより、該包装体についての前記正反射画像データを生成する正反射光画像データ生成手段を有することを特徴とする手段１に記載の包装体検査装置。
前記撮像手段は、前記包装体に対し前記照射手段及び前記撮像手段のうちの少なくとも一方が相対移動している状態で、該包装体を複数回撮像することにより、該包装体の複数箇所の輝度に係る情報を有する輝度画像データを複数得るように構成されており、
前記複数の輝度画像データがそれぞれ示す前記包装体における同一の箇所についての複数の輝度のうちの最高輝度を該箇所の輝度とすることを、該包装体の各箇所ごとに行うことにより、該包装体についての前記正反射画像データを生成する正反射光画像データ生成手段を有することを特徴とする手段１に記載の包装体検査装置。
上記手段２によれば、より正確な正反射光画像データを比較的容易に得ることができる。これにより、包材の検査精度をより高めることができる。
また、包装体の搬送経路に対応して照射手段及び撮像手段を設けることで、照射手段及び撮像手段が包装体に対し相対移動可能となるように構成した場合には、包装体の搬送時に該包装体の撮像を行うことによって、検査をより効率よく行うことができる。これにより、製造に係るコストの増大抑制をより効果的に図ることができる。
手段３．前記照射手段は、複数の紫外光源を有する無影照明であることを特徴とする手段１に記載の包装体検査装置。
上記手段３によれば、比較的少ない撮像回数（例えば１回）で、包装体に係る正反射光画像データを得ることができる。これにより、正反射光画像データを得るにあたっての処理負担を低減させることができる。また、検査スピードを高めることができ、ひいては生産性の向上を図ることができる。
手段４．前記判定手段は、前記正反射光画像データに対し二値化処理を施して二値化画像データを得るとともに、該二値化画像データにおける暗部の連結領域の面積が予め設定された閾値を上回る場合に、前記包材が不良であると判定するように構成されていることを特徴とする手段１に記載の包装体検査装置。
上記手段４によれば、暗部の連結領域の面積を利用して包材の良否を判定する。そのため、包材に存在する細かな“しわ”による影を不良部分であると誤判定することをより確実に防止できる。その結果、検査精度をより一層向上させることができる。
手段５．前記判定手段は、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の前記包装体に係る前記正反射光画像データのみを学習データとして学習させて生成した識別手段と、
前記撮像手段による撮像によって得られた前記正反射光画像データを元画像データとして前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
前記元画像データ及び前記再構成画像データの比較結果に基づき、前記包材の良否を判定可能な比較手段とを備えることを特徴とする手段１に記載の包装体検査装置。
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の前記包装体に係る前記正反射光画像データのみを学習データとして学習させて生成した識別手段と、
前記撮像手段による撮像によって得られた前記正反射光画像データを元画像データとして前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
前記元画像データ及び前記再構成画像データの比較結果に基づき、前記包材の良否を判定可能な比較手段とを備えることを特徴とする手段１に記載の包装体検査装置。
尚、上記「学習データ」として用いる「良品の包装体に係る正反射光画像データ」としては、これまでの検査で蓄積された良品の包装体に係る正反射光画像データや、作業者が目視により選別した良品の包装体に係る正反射光画像データ、これら画像データなどを用いて生成した仮想良品画像データなどを挙げることができる。
また、上記「ニューラルネットワーク」には、例えば複数の畳み込み層を有する畳み込みニューラルネットワークなどが含まれる。上記「学習」には、例えば深層学習（ディープラーニング）などが含まれる。上記「識別手段（生成モデル）」には、例えばオートエンコーダ（自己符号化器）や、畳み込みオートエンコーダ（畳み込み自己符号化器）などが含まれる。
加えて、「識別手段」は、良品の包装体に係る正反射光画像データのみを学習させて生成したものであるため、不良品の包装体に係る元画像データを識別手段に入力したときに生成される再構成画像データは、ノイズ部分（不良部分）が除去された元画像データとほぼ一致することになる。すなわち、包装体に不良部分があるときには、再構成画像データとして、不良部分がないものと仮定した場合の該包装体に係る仮想的な正反射光画像データが生成される。
上記手段５によれば、元画像データと、該元画像データを識別手段へ入力して再構成された再構成画像データとを比較し、その比較結果に基づき、包材の良否を判定している。そのため、比較する両画像データは、それぞれ同一の包装体に係るものとなる。従って、比較する両画像データにおいて、包装体の形状や外観はそれぞれほぼ同一となるため、形状や外観の違いによる誤検出を防止するために比較的緩い判定条件を設定する必要はなく、より厳しい判定条件を設定することができる。さらに、比較する両画像データにおいて、画像データを得る際の条件（例えばカメラに対する包装体の配置位置や配置角度、明暗状態やカメラの画角等）を一致させることができる。これらの結果、極めて良好な検査精度を得ることができる。
手段６．被包装物を所定の熱可塑性樹脂材料により形成された包材によってシュリンク包装又はストレッチ包装してなる包装体を検査するための包装体検査方法であって、
前記被包装物の外表面は、前記包材の外表面よりも粗いものとされており、
前記包装体に対し紫外光を照射する照射工程と、
前記包装体から反射した紫外光を撮像する撮像工程と、
前記撮像工程における撮像により得られた前記包装体についての正反射光画像データに基づき、該包装体における前記包材の良否を判定する判定工程とを含むことを特徴とする包装体検査方法。
前記被包装物の外表面は、前記包材の外表面よりも粗いものとされており、
前記包装体に対し紫外光を照射する照射工程と、
前記包装体から反射した紫外光を撮像する撮像工程と、
前記撮像工程における撮像により得られた前記包装体についての正反射光画像データに基づき、該包装体における前記包材の良否を判定する判定工程とを含むことを特徴とする包装体検査方法。
上記手段６によれば、上記手段１と同様の作用効果が奏されることとなる。
尚、上記各手段に係る各技術事項を適宜組み合わせて用いてもよい。例えば、上記手段２又は３に係る技術事項に対し、上記手段４又は５に係る技術事項を適用してもよい。また、上記手段６に対し、上記手段２～５に係る各技術事項を適宜適用してもよい。
以下、一実施形態について図面を参照しつつ説明する。まず、検査対象となる包装体１について説明する。
図１，２に示すように、包装体１は、被包装物２を包材３によってシュリンク包装又はストレッチ包装することで製造されたものである。尚、便宜上、図１等では、包材３を実際よりも過度に厚肉に表現している。
被包装物２としては、例えば、食品、化粧品、医薬品、生活用品、電化製品、書籍などを挙げることができる。勿論、被包装物２がこれらに限定される訳ではない。また、被包装物２は、内容物を収容するための紙や樹脂などからなる箱又はケースを具備し、これら箱やケースが被包装物２の外表面を構成していてもよい。本実施形態では、被包装物２の外表面全体が包材３で被覆された状態となっている。尚、包装体１は、被包装物２の外表面の一部が包材３で部分的に覆われてなるものであってもよい。
加えて、被包装物２の外表面は、鏡面ではなく、包材３の外表面よりも粗いものとなっている。尚、被包装物２や包材３の各外表面の粗さについては、例えば算術平均粗さＲａを利用して測定することができる。
包材３は、所定の熱可塑性樹脂材料により形成されたシート（フィルム）であり、少なくとも外表面が平滑面とされている。包材３を構成する熱可塑性樹脂材料としては、ＰＰ、ＰＥ、ＰＯ、ＰＶＣ、ＰＶＤＣ、ＰＳ、ＰＥＴ、ＰＭＰ又はＬＬＤＰＥなどを挙げることができる。
次いで、上記包装体１における特に包材３を検査するための包装体検査装置１０の概略構成について説明する。
図２，３に示すように、包装体検査装置１０は、搬送装置１１、照明装置１２、ラインセンサカメラ１３及び判定システム２０を備えている。本実施形態では、照明装置１２が「照射手段」を構成し、ラインセンサカメラ１３が「撮像手段」を構成する。
搬送装置１１は、包装体１を所定の後工程装置（例えば箱詰め装置など）へと搬送するための装置である。搬送装置１１は、包装体１が載置される搬送ベルト１１ａなどを有しており、該搬送ベルト１１ａの移動により、包装体１を水平方向に一定速度で連続搬送する。搬送装置１１により包装体１が搬送されることで、結果的に、照明装置１２及びラインセンサカメラ１３の双方が、包装体１に対し相対移動することとなる。
搬送装置１１には、図示しない不良品排出機構が設けられており、判定システム２０から所定の不良品信号が入力されると、不良品の包装体１は、前記不良品排出機構によって系外（包装体１の搬送経路の外）に排出される。これにより、不良品の包装体１は、前記後工程装置へと搬送されないようになっている。
照明装置１２及びラインセンサカメラ１３は、それぞれ搬送装置１１の上方に位置しており、包装体１の搬送経路に対応して配置されている。
照明装置１２は、搬送装置１１（搬送ベルト１１ａ）の上面、つまり包装体１が載置される面における所定領域の斜め上方から該領域に対し紫外光を照射する。これにより、照明装置１２から前記領域に搬送されてきた包装体１へとその斜め上方から紫外光が照射される。照射される紫外光は、搬送装置１１の幅方向（包装体１の搬送方向と直交する方向）への広がりを有するものである。本実施形態では、照明装置１２によって包装体１に対し紫外光を照射する工程が「照射工程」に相当する。
ラインセンサカメラ１３は、平面視したときに、搬送装置１１における前記所定領域を照明装置１２との間で挟む位置に配置されている。ラインセンサカメラ１３は、紫外光を検出可能な複数の検出素子が１列に並ぶラインセンサを有しており、包装体１を反射した紫外光を撮像（露光）可能に構成されている。本実施形態において、ラインセンサカメラ１３によって取得される画像データは、前記ラインセンサによる検出出力に応じて輝度が増減する輝度画像データである。
また、ラインセンサカメラ１３は、包装体１が搬送されている状態（つまり、包装体１に対し照明装置１２及びラインセンサカメラ１３の双方が相対移動している状態）で、該包装体１から反射した紫外光を複数回撮像する。これにより、包装体１の複数箇所の輝度に係る情報を有する輝度画像データが複数得られる。本実施形態では、ラインセンサカメラ１３によって、包装体１から反射した紫外光を撮像する工程が「撮像工程」に相当する。
尚、包材３における正常箇所に照射された紫外光は、包材３にて正反射し、正反射した紫外光がラインセンサカメラ１３に入射されることとなる。一方、包材３における損傷箇所（破れ等が生じた箇所）に照射された紫外光は、包材３にて正反射されず、正反射した紫外光はラインセンサカメラ１３へと入射されないこととなる（それぞれ図４参照）。従って、得られた輝度画像データにおいて、正常箇所を表す箇所（画素）は高輝度となり、損傷箇所を表す箇所は低輝度となる。
ラインセンサカメラ１３によって取得された輝度画像データは、包装体１が所定量搬送される毎に、該ラインセンサカメラ１３内部においてデジタル信号（画像信号）に変換された上で、デジタル信号の形で判定システム２０（後述する正反射光画像データ生成部２４）に対し出力される。
尚、本実施形態では、ラインセンサカメラ１３による包装体１の被撮像領域が、前回のラインセンサカメラ１３による包装体１の被撮像領域と一部重なるように、ラインセンサカメラ１３による撮像タイミングが設定されている。従って、連続的に取得された複数の輝度画像データにおける所定座標の１の画素は、包装体１における所定箇所（後述する正反射光画像データ中の包装体１が占める領域における一画素分の領域）と少なくとも一部が重なるものであって、また、包装体１の搬送方向下流側に少しずつずれていく態様となる。そのため、本実施形態では、連続的に取得された複数の輝度画像データは、正反射光画像データにおける１の画素に対応する（重なる）画素をそれぞれ有することとなる。尚、後述するように、正反射光画像データにおける１の画素の輝度は、複数の輝度画像データにおける当該１の画素に対応する複数の画素が示す各輝度のうちの最高輝度に設定される。
判定システム２０は、所定の演算処理を実行するＣＰＵ（Central Processing Unit）、各種プログラムや固定値データ等を記憶するＲＯＭ（Read Only Memory）、各種演算処理の実行に際して各種データが一時的に記憶されるＲＡＭ（Random Access Memory）及びこれらの周辺回路等を含んだコンピュータや、入出力装置及び表示装置などからなる。
判定システム２０は、図５に示すように、ＣＰＵが各種プログラムに従って動作することで、後述するメイン制御部２１、照明制御部２２、カメラ制御部２３、正反射光画像データ生成部２４、学習部２５、検査部２６などの各種機能部として機能する。本実施形態では、正反射光画像データ生成部２４が「正反射光画像データ生成手段」を構成する。
但し、上記各種機能部は、上記ＣＰＵ、ＲＯＭ、ＲＡＭなどの各種ハードウェアが協働することで実現されるものであり、ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがＩＣなどのハードウェア回路により実現されてもよい。
さらに、判定システム２０には、キーボードやマウス、タッチパネル等で構成される入力部２０ａ、液晶ディスプレイ等で構成され、各種情報を表示可能な表示画面をそれぞれ備えた表示部２０ｂ、各種データやプログラム、演算結果、検査結果等を記憶可能な記憶部２０ｃ、外部と各種データを送受信可能な通信部２０ｄなどが設けられている。
次に、判定システム２０を構成する上記各種機能部について詳しく説明する。
メイン制御部２１は、判定システム２０全体の制御を司る機能部であり、照明制御部２２やカメラ制御部２３など他の機能部と各種信号を送受信可能に構成されている。
照明制御部２２は、メイン制御部２１からの指令信号に基づき、照明装置１２を制御する機能部である。
カメラ制御部２３は、ラインセンサカメラ１３を制御する機能部であり、メイン制御部２１からの指令信号に基づき、ラインセンサカメラ１３による撮像タイミングなどを制御する。カメラ制御部２３は、ラインセンサカメラ１３による包装体１の被撮像領域が、前回のラインセンサカメラ１３による包装体１の被撮像領域と一部重なるように、ラインセンサカメラ１３による撮像タイミングを制御する。
正反射光画像データ生成部２４は、ラインセンサカメラ１３により取得された、１の包装体１に係る複数の輝度画像データを用いて、該包装体１についての正反射光画像データを生成する。
より詳しくは、正反射光画像データ生成部２４は、まず、複数の輝度画像データがそれぞれ示す、同一の箇所（最終的に得られる正反射光画像データにおける１の画素）についての複数の輝度のうちの最高輝度を得る。例えば、３つの輝度画像データが、前記１の画素に対応する画素をそれぞれ１つずつ有する場合、３つの画素が示す３つの輝度のうちの最高輝度を得る。尚、同一の箇所には、包装体１における同一の箇所が含まれる。
その上で、正反射光画像データ生成部２４は、得られた最高輝度を前記同一の箇所（最終的に得られる正反射光画像データにおける１の画素）の輝度に設定する処理を、最終的に得られる正反射光画像データにおける画素ごとに行う。従って、前記処理は、結果的に、包装体１の各箇所（最終的に得られる正反射光画像データにおける包装体１が占める領域における各画素）ごとに行われることとなる。そして、正反射光画像データ生成部２４は、正反射光画像データにおける全画素の輝度を上記のように設定することで、包装体１についての（包装体１についての情報を含む）正反射光画像データを生成する。本実施形態において、生成される正反射光画像データは、包装体１の上面全域を含む矩形状の画像データである。
尚、本実施形態では、包装体１が占める領域以外の領域を含む輝度画像データの全画素を利用して、包装体１についての正反射光画像データを生成しているが、輝度画像データから包装体１が占める領域のみを抽出し、この領域の画素のみを利用して、包装体１についての正反射光画像データを生成してもよい。
学習部２５は、学習データを用いてディープニューラルネットワーク９０（以下、単に「ニューラルネットワーク９０」という。図６参照。）の学習を行い、「識別手段」としてのＡＩ（Artificial Intelligence）モデル１００を構築する機能部である。
尚、本実施形態におけるＡＩモデル１００は、後述するように、良品の包装体１に係る画像データのみを学習データとして、ニューラルネットワーク９０を深層学習（ディープラーニング）させて構築した生成モデルであり、いわゆるオートエンコーダ（自己符号化器）の構造を有する。
ここで、ニューラルネットワーク９０の構造について、図６を参照して説明する。図６は、ニューラルネットワーク９０の構造を概念的に示した模式図である。ニューラルネットワーク９０は、入力される画像データＧＡから特徴量（潜在変数）ＴＡを抽出する「符号化部」としてのエンコーダ部９１と、該特徴量ＴＡから画像データＧＢを再構成する「復号化部」としてのデコーダ部９２と有してなる畳み込みオートエンコーダ（ＣＡＥ：Convolutional Auto-Encoder）の構造を有している。
畳み込みオートエンコーダの構造は公知のものであるため、詳しい説明は省略するが、エンコーダ部９１は複数の畳み込み層(Convolution Layer)９３を有し、各畳み込み層９３では、入力データに対し複数のフィルタ（カーネル）９４を用いた畳み込み演算が行われた結果が次層の入力データとして出力される。同様に、デコーダ部９２は複数の逆畳み込み層（Deconvolution Layer）９５を有し、各逆畳み込み層９５では、入力データに対し複数のフィルタ（カーネル）９６を用いた逆畳み込み演算が行われた結果が次層の入力データとして出力される。そして、後述する学習処理では、各フィルタ９４，９６の重み（パラメータ）が更新されることとなる。
検査部２６は、搬送装置１１によって搬送される包装体１における包材３の良否判定を行う機能部である。例えば本実施形態では、包材３に破れなどの損傷が生じているか否かについての検査が行われる。尚、包材３に印刷部が設けられている場合、検査部２６は、該印刷部についての良否判定を行ってもよい。本実施形態では、検査部２６が「判定手段」を構成する。
表示部２０ｂは、例えば、搬送装置１１の近傍などに配置されており、記憶部２０ｃに記憶された各種情報を表示可能に構成されている。従って、表示部２０ｂでは、輝度画像データなどの各種画像データや、検査に用いられる情報、包材３の良否判定結果などを表示可能である。
記憶部２０ｃは、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等で構成され、例えばＡＩモデル１００（ニューラルネットワーク９０及びその学習により獲得した学習情報）を記憶する所定の記憶領域を有している。また、記憶部２０ｃは、各種画像データや、検査に用いられる情報（例えば各種閾値など）、検査部２６にて行われた包材３の良否判定結果を記憶する機能を具備している。
通信部２０ｄは、例えば有線ＬＡＮ（Local Area Network）や無線ＬＡＮ等の通信規格に準じた無線通信インターフェースなどを備え、外部と各種データを送受信可能に構成されている。例えば検査部２６による良否判定結果に基づく不良品信号などが通信部２０ｄを介して外部（前記不良品排出機構など）に出力される。
次に、判定システム２０によって行われるニューラルネットワーク９０の学習処理について図７のフローチャートを参照して説明する。
所定の学習プログラムの実行に基づき、学習処理が開始されると、メイン制御部２１は、まず、ステップＳ１０１において、未学習のニューラルネットワーク９０を準備する。例えば所定の記憶装置等に予め格納されているニューラルネットワーク９０を読み出す。又は、前記記憶装置等に格納されているネットワーク構成情報（例えばニューラルネットワークの層数や各層のノード数など）に基づいて、ニューラルネットワーク９０を構築する。
次いで、ステップＳ１０２において、再構成画像データを取得する。すなわち、予め用意された学習データを入力データとして、ニューラルネットワーク９０の入力層に与える。そして、該ニューラルネットワーク９０の出力層から出力される再構成画像データを取得する。学習データとしては、これまでの検査で蓄積された良品の包装体１に係る正反射光画像データや、作業者が目視により選別した良品の包装体１に係る正反射光画像データ、これら画像データなどを用いて生成した仮想良品画像データなどを挙げることができる。
続くステップＳ１０３では、学習データと、ステップＳ１０２においてニューラルネットワーク９０により出力された再構成画像データとを比較し、その誤差が十分に小さいか否か（所定の閾値以下であるか否か）を判定する。
ここで、前記誤差が十分に小さい場合には、ステップＳ１０５にて、学習処理の終了条件を満たすか否かを判定する。例えば、後述するステップＳ１０４の処理を経ることなくステップＳ１０３にて肯定判定されることが所定回数連続で行われた場合や、用意した学習データの全てを用いた学習が所定回数反復して行われた場合には、終了条件を満たすと判定される。終了条件を満たす場合には、ニューラルネットワーク９０及びその学習情報（後述する更新後のパラメータ等）をＡＩモデル１００として記憶部２０ｃに格納し、学習処理を終了する。
一方、ステップＳ１０５にて終了条件を満たさない場合には、ステップＳ１０２に戻り、ニューラルネットワーク９０の学習を再度行う。
また、ステップＳ１０３にて、前記誤差が十分に小さくない場合には、ステップＳ１０４においてネットワーク更新処理（ニューラルネットワーク９０の学習）を行った後、再びステップＳ１０２へ戻り、上記一連の処理を繰り返す。
ステップＳ１０４のネットワーク更新処理では、例えば誤差逆伝播法（Backpropagation）などの公知の学習アルゴリズムを用いて、学習データと再構成画像データとの差分を表す損失関数が極力小さくなるように、ニューラルネットワーク９０における上記各フィルタ９４，９６の重み（パラメータ）をより適切なものに更新する。尚、損失関数としては、例えばＢＣＥ（Binary Cross-entropy）などを利用することができる。
ステップＳ１０２～１０４の処理を何度も繰り返すことにより、ニューラルネットワーク９０では、学習データと再構成画像データとの誤差が極力小さくなり、より正確な再構成画像データが出力されるようになる。
そして、最終的に得られるＡＩモデル１００は、良品の包装体１に係る正反射光画像データが入力されたときには、入力された正反射光画像データとほぼ一致する再構成画像データを生成するものとなる。また、ＡＩモデル１００は、不良品の包装体１に係る正反射光画像データが入力されたときには、ノイズ部分（包材３における損傷箇所に相当する部分）が除去された、入力された正反射光画像データとほぼ一致する再構成画像データを生成するものとなる。すなわち、包装体１の包材３が不良品であるときには、該包装体１に係る再構成画像データとして、包材３に不良部分（損傷箇所）がないものと仮定した場合の該包装体１に係る仮想的な画像データが生成される。
次に、判定システム２０によって行われる包装体１（特に包材３）の良否判定に係る処理（検査処理）について図８のフローチャートを参照して説明する。この検査処理は、予め設定された通常の検査処理実行タイミングにて実行される。
検査処理では、まずステップＳ２０１において、搬送装置１１によって包装体１を搬送しつつ、照明装置１２から該包装体１に対し紫外光を照射した状態で、ラインセンサカメラ１３によって、該包装体１から反射した紫外光の撮像が繰り返し行われる。これにより、包装体１に係る複数の輝度画像データが取得される。そして、これら輝度画像データを基に、正反射光画像データ生成部２４によって、包装体１についての正反射光画像データが取得される。
次に、ステップＳ２０２の判定工程において、取得された正反射光画像データに基づき、包材３の良否が判定される。判定工程では、まず、ステップＳ３０１において、検査部２６により、ステップＳ２０１にて取得された正反射光画像データ（元画像データ）がＡＩモデル１００に入力されることで、再構成画像データが取得される。本実施形態では、検査部２６が「再構成画像データ取得手段」を構成する。
続くステップＳ３０２では、検査部２６によって、元画像データとしての正反射光画像データ及び再構成画像データが比較され、両画像データの差分が特定される。例えば、両画像データにおける同一座標の画素がそれぞれ比較されて、差分として、輝度の差が所定値以上となった画素が特定される。本実施形態では、元画像データ及び再構成画像データを比較する検査部２６が「比較手段」を構成する。
次いで、ステップＳ３０３にて、差分の連結領域（つまり輝度の差が所定値以上となった画素の塊）の面積（画素数）が算出される。
続いて、ステップＳ３０４において、検査部２６により、包材３における損傷箇所（不良部分）の有無が判定される。具体的には、検査部２６によって、ステップＳ３０３にて算出した面積が所定の閾値よりも大きいか否かが判定される。そして、算出した面積が前記閾値よりも大きい場合には、ステップＳ３０５において、包材３ひいては包装体１が「不良品」であると判定して、検査処理を終了する。「不良品」であると判定したときには、不良品信号が前記不良品排出機構へと出力される。
一方、算出した面積が前記閾値以下である場合には、ステップＳ３０６において、包材３ひいては包装体１が「良品」であると判定して、検査処理を終了する。
以上詳述したように、本実施形態によれば、被包装物２の外表面は包材３の外表面よりも粗いものとされている。そのため、正反射光画像データにおいて、破れ等のある損傷箇所（被包装物２の外表面が露出した部分）は比較的暗いものとなり、一方、正常箇所は比較的明るいものとなる。そして、正反射光画像データにて生じるこのような差異に基づき、包装体１における包材３の良否が判定される。従って、包材３として、紫外線吸収機能が付与された特殊なものを用いることなく、包材３における破れ等の有無を検査することができる。これにより、製品（包装体１）の製造に係るコストの増大抑制を図ることができる。
さらに、正反射光画像データを利用するため、包材３における正常箇所及び損傷箇所のコントラスト差を比較的大きなものとすることができ、また、正常箇所及び損傷箇所の境界部分で「にじみ」が生じることをより確実に防止できる。これにより、鮮明な検査用画像（本実施形態では、正反射光画像データ）をより確実に得ることができ、包材３の破れなどをより高精度で検出することが可能となる。
また、複数の輝度画像データがそれぞれ示す、同一の箇所（最終的に得られる正反射光画像データにおける１の画素）についての複数の輝度のうちの最高輝度を、前記同一の箇所（前記１の画素）の輝度に設定する処理が、最終的に得られる正反射光画像データの画素ごとに行われることによって、正反射光画像データが生成される。従って、より正確な正反射光画像データを比較的容易に得ることができる。これにより、包材３の検査精度をより高めることができる。
加えて、正反射光画像データ（元画像データ）と、該元画像データをＡＩモデル１００へ入力して再構成された再構成画像データとを比較し、その比較結果に基づき、包材３の良否を判定している。そのため、比較する両画像データは、それぞれ同一の包装体１に係るものとなる。従って、比較する両画像データにおいて、包装体１の形状や外観はそれぞれほぼ同一となるため、形状や外観の違いによる誤検出を防止するために比較的緩い判定条件を設定する必要はなく、より厳しい判定条件を設定することができる。さらに、比較する両画像データにおいて、画像データを得る際の条件（例えばラインセンサカメラ１３に対する包装体１の配置位置や配置角度、明暗状態やカメラの画角等）を一致させることができる。これらの結果、極めて良好な検査精度を得ることができる。
また、上記のように包材３の良否を判定することで、良品の包材３においても存在する細かな“しわ”による影を不良部分であると誤判定することをより確実に防止できる。その結果、検査精度をより一層向上させることができる。
尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。
（ａ）上記実施形態では、搬送装置１１によって包装体１が搬送されることで、照明装置１２及び撮像手段（ラインセンサカメラ１３）の双方が包装体１に対し相対移動可能に構成されている。これに対し、包装体１を停止状態とし、所定の駆動手段によって、照明装置１２及び撮像手段（ラインセンサカメラ１３）のうちの少なくとも一方が該包装体１に対し相対移動する構成としてもよい。従って、例えば、図９に示すように、照明装置１２が、包装体１の周囲に位置する所定の円弧状経路に沿って移動するように構成してもよい。このように構成した場合には、照明装置１２が所定距離移動する度に、「撮像手段」としてのエリアカメラ１６によって、包装体１を反射する紫外光の撮像が行われる。エリアカメラ１６は、矩形の像を撮像する。
上記のように構成した場合には、次のようにして正反射光画像データが生成される。すなわち、正反射光画像データ生成部２４は、エリアカメラ１６により得られた複数の輝度画像データがそれぞれ示す、同一の箇所（最終的に得られる正反射光画像データにおける１の画素）についての複数の輝度のうちの最高輝度を得る。例えば、８回の撮像により得られた計８つの輝度画像データが、前記１の画素に対応する画素をそれぞれ１つずつ有する場合、正反射光画像データ生成部２４は、８つの画素が示す８つの輝度のうちの最高輝度を得る。
その上で、正反射光画像データ生成部２４は、得られた最高輝度を前記同一の箇所（最終的に得られる正反射光画像データにおける１の画素）の輝度に設定する処理を、最終的に得られる正反射光画像データにおける画素ごとに行う。その結果、包装体１についての正反射光画像データが生成される。
尚、照明装置１２の移動経路を外側から覆う筒状の紫外光反射部１７を設け、該紫外光反射部１７の内面によって紫外光を反射可能とすることで、包装体１に対し紫外光がより効率よく照射されるように構成してもよい。また、エリアカメラ１６に代えてラインセンサカメラ１３を設け、照明装置１２及び包装体１を移動させつつ、ラインセンサカメラ１３によって包装体１からの反射光を撮像するようにしてもよい。
（ｂ）図１０に示すように、「照射手段」としての照明装置１５を、包装体１の周囲に配置された複数の紫外光源１５ａを有する無影照明によって構成し、該包装体１を反射した紫外光を、「撮像手段」としてのエリアカメラ１６によって撮像するように構成してもよい。尚、この構成において、１の包装体１に対し複数回の撮像を行う場合には、撮像の都度、照明装置１２に対する包装体１の相対位置が若干だけ変化するように、包装体１などの位置調節が行われる。
照明装置１２を無影照明によって構成した場合には、比較的少ない撮像回数で（つまり、比較的少ない輝度画像データで）、包装体１に係る正反射光画像データを得ることができる。これにより、正反射光画像データを得るにあたっての処理負担を低減させることができる。また、検査スピードを高めることができ、ひいては生産性の向上を図ることができる。
さらに、被包装物２が、例えば紙、野菜、きのこ、肉、魚などであり、被包装物２の外表面における紫外光の反射率が十分に低くなる（被包装物２の外表面にて紫外光を概ね吸収する）場合には、照明装置１５を無影照明によって構成することで、非常に少ない撮像回数（例えば１回）で正反射光画像データを得ることができる。尚、撮像を１回行うことによって正反射光画像データが得られる場合、この正反射光画像データは、エリアカメラ１６による１回の撮像で得られた輝度画像データと同一である。従って、複数の輝度画像データから正反射光画像データを得るための処理を行う必要はない。
尚、照明装置１５を無影照明によって構成する場合には、複数の紫外光源１５ａの全てを外側から覆う筒状の紫外光反射部１７を設け、該紫外光反射部１７の内面によって紫外光を反射可能とすることで、包装体１に対し紫外光がより効率よく照射されるようにしてもよい。また、エリアカメラ１６に代えてラインセンサカメラ１３を設け、包装体１を移動させながら、ラインセンサカメラ１３によって包装体１からの反射光を撮像するようにしてもよい。
（ｃ）上記実施形態において、検査部２６は、ＡＩモデル１００を用いて、正反射光画像データ（元画像データ）と再構成画像データとを比較することで、包材３の良否を判定するように構成されている。これに対し、検査部２６は、正反射光画像データに二値化処理を施して得られた二値化画像に基づき、包材３の良否を判定するものであってもよい。
具体的には、検査部２６により、所定の二値化閾値を用いて、正反射光画像データに二値化処理を施すことで、二値化画像データが取得される。例えば、輝度が二値化閾値以上である画素を「１（明部）」とし、輝度が二値化閾値未満である「０（暗部）」とした二値化画像データが得られる。得られた二値化画像データでは、破れ等の生じた損傷箇所Ｘ１や細かな“しわ”による影Ｘ２が暗部となる（図１１参照）。そして、検査部２６によって、二値化画像データにおける暗部の連結領域の面積（画素数）が算出されるとともに、算出された面積が予め設定された閾値を上回る場合には、包材３に破れ等があるとして、包材３が「不良品」と判定される。一方、算出された面積が閾値以下である場合には、検査部２６によって、包材３が「良品」と判定される。
このように暗部の連結領域の面積を利用した良否判定を行うように構成することで、良品の包材３においても存在する細かな“しわ”による影Ｘ２を不良部分であると誤判定することをより確実に防止できる。その結果、検査精度をより一層向上させることができる。
（ｄ）上記実施形態では、連結領域の面積を利用して、包材３の良否を判定するように構成されているが、連結領域の長さを利用して、包材３の良否を判定するようにしてもよい。例えば、連結領域の長さが所定の閾値を上回る場合や、長さが閾値を上回る連結領域が所定個数以上存在する場合に、包材３に裂けがあるとして、包材３を「不良品」と判定するようにしてもよい。
尚、連結領域の長さを利用することを、上記（ｃ）のような、二値化画像データを用いた良否判定処理に適用することも可能である。
（ｅ）上記実施形態では、包材３自体の状態に基づき、包材３の良否を判定するように構成されている。これに対し、被包装物２に対する包材３の相対的な状態に基づき、包材３の良否を判定するように構成してもよい。例えば、包材３によって被包装物２の一部が部分的に包装される場合には、被包装物２に対する包材３の相対位置に基づき、包材３の良否を判定するようにしてもよい。
（ｆ）「識別手段」としてのＡＩモデル１００（ニューラルネットワーク９０）の構成及びその学習方法は、上記実施形態に限定されるものではない。例えば、ニューラルネットワーク９０の学習処理や、再構成画像データの取得処理などを行う際に、必要に応じて各種データに対し正規化等の処理を行う構成としてもよい。また、ニューラルネットワーク９０の構造は、図６に示したものに限定されず、例えば畳み込み層９３の後にプーリング層を設けた構成としてもよい。勿論、ニューラルネットワーク９０の層数や、各層のノード数、各ノードの接続構造などが異なる構成としてもよい。
さらに、上記実施形態では、ＡＩモデル１００（ニューラルネットワーク９０）が、畳み込みオートエンコーダ（ＣＡＥ）の構造を有した生成モデルとなっているが、これに限らず、例えば変分自己符号化器(ＶＡＥ：Variational Autoencoder)など、異なるタイプのオートエンコーダの構造を有した生成モデルとしてもよい。
また、上記実施形態では、誤差逆伝播法によりニューラルネットワーク９０を学習する構成となっているが、これに限らず、その他の種々の学習アルゴリズムを用いて学習する構成としてもよい。
加えて、ニューラルネットワーク９０は、いわゆるＡＩチップ等のＡＩ処理専用回路によって構成されることとしてもよい。その場合、パラメータ等の学習情報のみが記憶部２０ｃに記憶され、これをＡＩ処理専用回路が読み出して、ニューラルネットワーク９０に設定することによって、ＡＩモデル１００が構成されるようにしてもよい。
併せて、上記実施形態において、判定システム２０は学習部２５を備え、判定システム２０内においてニューラルネットワーク９０の学習を行う構成となっているが、これに限られるものではない。例えば、学習部２５を省略して、ニューラルネットワーク９０の学習を判定システム２０の外部で行う構成とし、外部で学習を行ったＡＩモデル１００（学習済みのニューラルネットワーク９０）を記憶部２０ｃに記憶する構成としてもよい。
１…包装体、２…被包装物、３…包材、１０…包装体検査装置、１２，１５…照明装置（照射手段）、１３…ラインセンサカメラ（撮像手段）、１６…エリアカメラ（撮像手段）、２４…正反射光画像データ生成部（正反射光画像データ生成手段）、２６…検査部（判定手段、再構成画像データ取得手段、比較手段）、９１…エンコーダ部（符号化部）、９２…デコーダ部（復号化部）、１００…ＡＩモデル（識別手段）。
Claims (6)
- 被包装物を所定の熱可塑性樹脂材料により形成された包材によってシュリンク包装又はストレッチ包装してなる包装体を検査するための包装体検査装置であって、
前記被包装物の外表面は、前記包材の外表面よりも粗いものとされており、
前記包装体に対し紫外光を照射する照射手段と、
前記包装体から反射した紫外光を撮像する撮像手段と、
前記撮像手段による撮像によって得られた前記包装体についての正反射光画像データに基づき、該包装体における前記包材の良否を判定する判定手段とを備えることを特徴とする包装体検査装置。 - 前記照射手段及び前記撮像手段のうちの少なくとも一方は、前記包装体に対し相対移動可能に構成されており、
前記撮像手段は、前記包装体に対し前記照射手段及び前記撮像手段のうちの少なくとも一方が相対移動している状態で、該包装体を複数回撮像することにより、該包装体の複数箇所の輝度に係る情報を有する輝度画像データを複数得るように構成されており、
前記複数の輝度画像データがそれぞれ示す前記包装体における同一の箇所についての複数の輝度のうちの最高輝度を該箇所の輝度とすることを、該包装体の各箇所ごとに行うことにより、該包装体についての前記正反射画像データを生成する正反射光画像データ生成手段を有することを特徴とする請求項１に記載の包装体検査装置。 - 前記照射手段は、複数の紫外光源を有する無影照明であることを特徴とする請求項１に記載の包装体検査装置。
- 前記判定手段は、前記正反射光画像データに対し二値化処理を施して二値化画像データを得るとともに、該二値化画像データにおける暗部の連結領域の面積が予め設定された閾値を上回る場合に、前記包材が不良であると判定するように構成されていることを特徴とする請求項１に記載の包装体検査装置。
- 前記判定手段は、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の前記包装体に係る前記正反射光画像データのみを学習データとして学習させて生成した識別手段と、
前記撮像手段による撮像によって得られた前記正反射光画像データを元画像データとして前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
前記元画像データ及び前記再構成画像データの比較結果に基づき、前記包材の良否を判定可能な比較手段とを備えることを特徴とする請求項１に記載の包装体検査装置。 - 被包装物を所定の熱可塑性樹脂材料により形成された包材によってシュリンク包装又はストレッチ包装してなる包装体を検査するための包装体検査方法であって、
前記被包装物の外表面は、前記包材の外表面よりも粗いものとされており、
前記包装体に対し紫外光を照射する照射工程と、
前記包装体から反射した紫外光を撮像する撮像工程と、
前記撮像工程における撮像により得られた前記包装体についての正反射光画像データに基づき、該包装体における前記包材の良否を判定する判定工程とを含むことを特徴とする包装体検査方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022-113637 | 2022-07-15 | ||
| JP2022113637A JP7342207B1 (ja) | 2022-07-15 | 2022-07-15 | 包装体検査装置及び包装体検査方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2024014020A1 true WO2024014020A1 (ja) | 2024-01-18 |
Family
ID=87934728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2023/005400 WO2024014020A1 (ja) | 2022-07-15 | 2023-02-16 | 包装体検査装置及び包装体検査方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7342207B1 (ja) |
| WO (1) | WO2024014020A1 (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10137696A (ja) * | 1996-11-14 | 1998-05-26 | Kubota Corp | 選別方法及びその装置 |
| JP2007078540A (ja) * | 2005-09-14 | 2007-03-29 | Tdk Corp | 外観検査方法及び外観検査装置 |
| JP2009192443A (ja) * | 2008-02-18 | 2009-08-27 | Nidec Tosok Corp | シュリンク包装検査装置 |
| JP2009264800A (ja) * | 2008-04-23 | 2009-11-12 | Panasonic Corp | 表面検査方法および装置 |
| JP2014115185A (ja) * | 2012-12-10 | 2014-06-26 | Omron Corp | 検査装置、および検査方法 |
| WO2022118523A1 (ja) * | 2020-12-03 | 2022-06-09 | Ckd株式会社 | 基板異物検査装置及び基板異物検査方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6046585B2 (ja) | 2013-10-10 | 2016-12-21 | Ckd株式会社 | 検査装置及びｐｔｐ包装機 |
| JP2023104231A (ja) | 2022-01-17 | 2023-07-28 | Ckd株式会社 | ブリスタ包装機及びブリスタシートの製造方法 |
-
2022
- 2022-07-15 JP JP2022113637A patent/JP7342207B1/ja active Active
-
2023
- 2023-02-16 WO PCT/JP2023/005400 patent/WO2024014020A1/ja unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10137696A (ja) * | 1996-11-14 | 1998-05-26 | Kubota Corp | 選別方法及びその装置 |
| JP2007078540A (ja) * | 2005-09-14 | 2007-03-29 | Tdk Corp | 外観検査方法及び外観検査装置 |
| JP2009192443A (ja) * | 2008-02-18 | 2009-08-27 | Nidec Tosok Corp | シュリンク包装検査装置 |
| JP2009264800A (ja) * | 2008-04-23 | 2009-11-12 | Panasonic Corp | 表面検査方法および装置 |
| JP2014115185A (ja) * | 2012-12-10 | 2014-06-26 | Omron Corp | 検査装置、および検査方法 |
| WO2022118523A1 (ja) * | 2020-12-03 | 2022-06-09 | Ckd株式会社 | 基板異物検査装置及び基板異物検査方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024011554A (ja) | 2024-01-25 |
| JP7342207B1 (ja) | 2023-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5515159A (en) | Package seal inspection system | |
| Pham et al. | Smart inspection systems: Techniques and applications of intelligent vision | |
| JP6126230B2 (ja) | 検査装置 | |
| JP4647643B2 (ja) | 不良検査装置及びｐｔｐ包装機 | |
| JP4368808B2 (ja) | 外観検査装置及びｐｔｐ包装機 | |
| JP2019184380A (ja) | 撮像装置及び撮像装置を用いた検査システム | |
| JP5344792B2 (ja) | 対象物の欠陥を検出する測定システム及び方法 | |
| JP7342207B1 (ja) | 包装体検査装置及び包装体検査方法 | |
| KR102166287B1 (ko) | 알약 포장 설비 자동화 기계의 검사 장치 | |
| JP6619547B2 (ja) | 検査装置 | |
| JP6068060B2 (ja) | Ｘ線検査装置 | |
| JP6617238B2 (ja) | 包装体の検査装置 | |
| JP2009276102A (ja) | ポケット形状検査装置 | |
| JP6027047B2 (ja) | 検査システム及びｐｔｐ包装機 | |
| JP5744414B2 (ja) | 錠剤検査装置及びｐｔｐ包装機 | |
| EP4220142A1 (en) | X-ray inspection device and x-ray inspection method | |
| JP6420065B2 (ja) | 検査装置 | |
| US20210154946A1 (en) | Manufacturing device of package and manufacturing method of package | |
| JP3494561B2 (ja) | 錠剤の外観検査方法と錠剤の外観検査装置 | |
| JP5907051B2 (ja) | 検査装置、および検査方法 | |
| JP7250301B2 (ja) | 検査装置、検査システム、検査方法、検査プログラム及び記録媒体 | |
| JP6392552B2 (ja) | 検査装置 | |
| JP4251325B2 (ja) | 外観検査装置及びｐｔｐ包装機 | |
| JP2018091874A (ja) | 検査装置 | |
| JP7411984B2 (ja) | 検査装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23839200 Country of ref document: EP Kind code of ref document: A1 |