WO2021235115A1 - 外観検査用照明装置、外観検査装置及びブリスター包装機 - Google Patents
外観検査用照明装置、外観検査装置及びブリスター包装機 Download PDFInfo
- Publication number
- WO2021235115A1 WO2021235115A1 PCT/JP2021/014147 JP2021014147W WO2021235115A1 WO 2021235115 A1 WO2021235115 A1 WO 2021235115A1 JP 2021014147 W JP2021014147 W JP 2021014147W WO 2021235115 A1 WO2021235115 A1 WO 2021235115A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- lighting
- image data
- visual inspection
- neural network
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9508—Capsules; Tablets
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65B—MACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
- B65B9/00—Enclosing successive articles, or quantities of material, e.g. liquids or semiliquids, in flat, folded, or tubular webs of flexible sheet material; Subdividing filled flexible tubes to form packages
- B65B9/02—Enclosing successive articles, or quantities of material between opposed webs
- B65B9/04—Enclosing successive articles, or quantities of material between opposed webs one or both webs being formed with pockets for the reception of the articles, or of the quantities of material
- B65B9/045—Enclosing successive articles, or quantities of material between opposed webs one or both webs being formed with pockets for the reception of the articles, or of the quantities of material for single articles, e.g. tablets
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65B—MACHINES, APPARATUS OR DEVICES FOR, OR METHODS OF, PACKAGING ARTICLES OR MATERIALS; UNPACKING
- B65B61/00—Auxiliary devices, not otherwise provided for, for operating on sheets, blanks, webs, binding material, containers or packages
- B65B61/04—Auxiliary devices, not otherwise provided for, for operating on sheets, blanks, webs, binding material, containers or packages for severing webs, or for separating joined packages
- B65B61/06—Auxiliary devices, not otherwise provided for, for operating on sheets, blanks, webs, binding material, containers or packages for severing webs, or for separating joined packages by cutting
- B65B61/065—Auxiliary devices, not otherwise provided for, for operating on sheets, blanks, webs, binding material, containers or packages for severing webs, or for separating joined packages by cutting by punching out
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
- G01N2021/8809—Adjustment for highlighting flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8806—Specially adapted optical and illumination features
- G01N2021/8812—Diffuse illumination, e.g. "sky"
- G01N2021/8816—Diffuse illumination, e.g. "sky" by using multiple sources, e.g. LEDs
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/061—Sources
- G01N2201/06146—Multisources for homogeneisation, as well sequential as simultaneous operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Definitions
- the present invention relates to a visual inspection lighting device and a visual inspection device used for visual inspection of an object, and a blister packaging machine equipped with these.
- a PTP sheet is known as a kind of blister package to be visually inspected.
- the PTP sheet is made of a transparent resin container film in which a pocket portion for accommodating contents such as tablets is formed, and an aluminum container film attached so as to seal the opening side of the pocket portion with respect to the container film. It is composed of a cover film.
- Such a PTP sheet is used for a step of forming a pocket portion while transporting a strip-shaped container film, a step of filling the pocket portion with contents, and a cover film for the container film so as to seal the opening side of the pocket portion. It is manufactured through a step of attaching, a step of punching a PTP sheet as a final product from a strip formed by attaching both films, and the like.
- a predetermined lighting device for appearance inspection is used to irradiate the object with light, and the image data obtained by imaging the object with a camera is used as the basis for the predetermined image included in the object. It is common to judge the quality of an inspection target (for example, a tablet or a sheet).
- the object is a PTP sheet after punching, it has complicated shapes and various materials such as multiple pockets made of transparent resin, contents such as tablets filled inside, and a cover film made of aluminum as a background.
- the entire PTP sheet is illuminated evenly and uniformly so that no shine (for example, shine on the surface of the pocket) or dark part (for example, shadow of the contents) is generated in the entire PTP sheet made of the same material, and the inspection target portion (for example, the part to be inspected (for example, the shadow part of the contents) is illuminated.
- the inspection target portion for example, the part to be inspected (for example, the shadow part of the contents) is illuminated.
- it is required to increase the difference in brightness between the non-target portion (for example, the sheet portion) and the non-target portion (for example, the sheet portion).
- some lighting devices for visual inspection are provided with a plurality of lighting units so that the object can be irradiated with light from a plurality of directions (see, for example, Patent Document 1).
- a visual inspection lighting device in order to illuminate an object in an ideal lighting state, the brightness of each of a plurality of lighting units is adjusted in advance to optimize the lighting state of the device as a whole. Adjustment work is required.
- the operator changes the brightness level (for example, 256 gradations) of the plurality of lighting units one by one, such as brightening one of the plurality of lighting units and darkening one of the lighting units.
- I took a picture of an object under the lighting condition, and while checking the image data obtained there on the display device, I was doing a very time-consuming work such as approaching the optimum lighting condition.
- the inspection accuracy may not be stable due to variations due to the experience and feeling of the person and the limit of the level that the person can perceive.
- the present invention has been made in view of the above circumstances, and an object of the present invention is an appearance inspection lighting device and an appearance that can dramatically improve inspection efficiency and inspection accuracy when performing an appearance inspection of an object.
- the purpose is to provide inspection equipment and blister packaging machines.
- a lighting device for visual inspection that has a plurality of lighting units whose brightness can be individually adjusted and can illuminate an object in a predetermined lighting state created by the plurality of lighting units.
- the level information corresponding to the brightness level (emission brightness level) of each of the plurality of illumination units and the illumination state produced by the plurality of illumination units that emit light at the brightness level corresponding to the level information are illuminated.
- a network storage means that stores a neural network that has learned the correlation with image data that can be acquired when an object is imaged, and Predicted image data which is the image data output by inputting the level information corresponding to each of the plurality of lighting units to the neural network and / or related information (for example, each of a predetermined range) obtained from the predicted image data.
- Level identification means that can identify information and
- a lighting control means capable of controlling the lighting state produced by the plurality of lighting units by adjusting the brightness of each of the plurality of lighting units based on at least the level information specified by the level specifying means.
- a lighting device for visual inspection which is characterized by being equipped.
- a relatively short time can be obtained from a huge combination pattern of lighting states that can be created by a plurality of lighting units whose brightness can be individually adjusted by using a neural network and its error back propagation.
- the optimum lighting condition can be automatically found and created by visual inspection. As a result, the inspection efficiency can be dramatically improved.
- Means 2 The lighting device for visual inspection according to means 1, wherein the lighting device includes a learning means for learning the neural network (for example, by an error back propagation method) for the correlation.
- Means 3 The lighting device for visual inspection according to means 2, wherein the level information is updated by the level specifying means and the neural network is learned by the learning means alternately or in parallel.
- Means 4 A blister package (for example, a PTP sheet) in which a predetermined content (for example, a tablet) is stored in a pocket portion formed on the container film, and a cover film is attached to the container film so as to close the pocket portion.
- a predetermined content for example, a tablet
- the lighting device for visual inspection according to any one of means 1 to 3, wherein the lighting device is used in the manufacture of the above-mentioned.
- the packaging material (container film or cover film) constituting the blister package or the contents thereof can be used for inspection of appearance abnormality, and more appropriate quality judgment can be performed. It will be like.
- Means 5 A visual inspection apparatus comprising the lighting apparatus for visual inspection according to any one of means 1 to 4.
- the lighting device for visual inspection according to any one of means 1 to 4 and the lighting device for visual inspection.
- An imaging means capable of imaging an object illuminated by the visual inspection lighting device
- a visual inspection apparatus comprising: an inspection means capable of performing a visual inspection relating to a predetermined inspection target included in the object based on the image data acquired by the imaging means.
- Means 6. A blister packaging machine comprising the visual inspection apparatus according to means 5.
- the blister packaging machine for example, PTP packaging machine
- the means 6 there is an advantage that defective products can be efficiently excluded in the manufacturing process of the blister packaging body (for example, PTP sheet). Occurs.
- the blister packaging machine may be configured to include a discharge means for discharging the blister package determined to be defective by the visual inspection device.
- a blister packaging machine for example, PTP for manufacturing a blister package (for example, a PTP sheet) in which the contents are housed in a pocket portion formed on the container film and a cover film is attached so as to close the pocket portion.
- Packaging machine A pocket portion forming means for forming the pocket portion with respect to the container film conveyed in a strip shape, and a pocket portion forming means.
- An attachment means for attaching the band-shaped cover film to the container film in which the contents are filled in the pocket portion so as to close the pocket portion.
- a blister packaging machine comprising the visual inspection apparatus according to means 5. "
- the visual inspection device may be arranged in the "post-process in which the contents are filled in the pocket portion by the filling means and in the pre-process in which the cover film is attached by the attachment means". In such a case, the inspection of the contents and the container film can be performed without obstructing the contents and the container film from the pocket opening side of the container film, and the accuracy of these inspections can be improved.
- the visual inspection device may be arranged in the "post-process after the cover film is attached by the attaching means and before the blister package is separated by the separating means". In such a case, it is possible to carry out an inspection related to the contents without replacing the contents, or to carry out an inspection related to the sheet part such as a defective seal or adhesion of foreign matter, and improve the accuracy of these inspections. be able to.
- the visual inspection device may be arranged in the "post-process after the blister package is cut off by the cutting means". In such a case, it can be confirmed at the final stage whether or not defective products are mixed.
- (A) is a perspective view showing a PTP sheet
- (b) is a perspective view showing a PTP film. It is a partially enlarged sectional view of the pocket part of a PTP sheet.
- It is a schematic diagram which shows the schematic structure of the PTP packaging machine. It is a block diagram which shows the functional structure of a visual inspection apparatus. It is a partial cross-sectional side view schematically showing the schematic structure of a lighting unit and an image pickup unit. It is a partial sectional front view schematically showing the schematic structure of a lighting unit and an image pickup unit. It is a plane schematic diagram which shows the schematic structure of the lighting panel. It is a schematic diagram for demonstrating the structure of a neural network.
- the PTP sheet 1 has a container film 3 provided with a plurality of pocket portions 2 and a cover film 4 attached to the container film 3 so as to close the pocket portions 2. There is.
- the container film 3 in the present embodiment is formed of a transparent thermoplastic resin material such as PP (polypropylene) or PVC (polyvinyl chloride), which is relatively hard and has a predetermined rigidity, and has light transmittance. ..
- the cover film 4 is made of an opaque material (for example, aluminum foil or the like) provided with a sealant made of polypropylene resin or the like on the surface thereof.
- the PTP sheet 1 is formed in a substantially rectangular shape in a plan view.
- two pocket rows consisting of five pocket portions 2 arranged at predetermined intervals along the long side direction thereof are formed at predetermined intervals in the short side direction thereof. That is, the PTP sheet 1 has a total of 10 pocket portions 2.
- Each pocket portion 2 contains one tablet 5 as a content.
- the PTP sheet 1 [see FIG. 1 (a)] is obtained by punching a strip-shaped PTP film 6 [see FIG. 1 (b)] formed from the strip-shaped container film 3 and the strip-shaped cover film 4 into a sheet shape. Manufactured.
- the original fabric of the strip-shaped container film 3 is wound in a roll shape.
- the drawer end side of the container film 3 wound in a roll shape is guided by the guide roll 13.
- the container film 3 is hung on the intermittent feed roll 14 on the downstream side of the guide roll 13.
- the intermittent feed roll 14 is connected to a motor that rotates intermittently, and intermittently conveys the container film 3.
- a heating device 15 and a pocket portion forming device 16 are sequentially arranged between the guide roll 13 and the intermittent feed roll 14 along the transport path of the container film 3. Then, the container film 3 is heated by the heating device 15, and in a state where the container film 3 is relatively flexible, the pocket portion forming device 16 forms a plurality of pocket portions 2 at predetermined positions of the container film 3. (Pocket part forming process).
- the heating device 15 and the pocket portion forming device 16 constitute the pocket portion forming means in the present embodiment.
- the formation of the pocket portion 2 is performed during the interval between the transfer operations of the container film 3 by the intermittent feed roll 14.
- the container film 3 fed from the intermittent feed roll 14 is hung in the order of the tension roll 18, the guide roll 19, and the film receiving roll 20. Since the film receiving roll 20 is connected to a motor that rotates at a constant speed, the container film 3 is continuously conveyed at a constant speed.
- the tension roll 18 is in a state of pulling the container film 3 toward the tension side by the elastic force, and prevents the container film 3 from bending due to the difference in the transport operation between the intermittent feed roll 14 and the film receiving roll 20.
- the container film 3 is always kept in a tense state.
- a tablet filling device 21 is arranged between the guide roll 19 and the film receiving roll 20 along the transport path of the container film 3.
- the tablet filling device 21 has a function as a filling means for automatically filling the pocket portion 2 with the tablet 5.
- the tablet filling device 21 drops the tablet 5 by opening the shutter at predetermined intervals in synchronization with the transport operation of the container film 3 by the film receiving roll 20, and each pocket portion is accompanied by this shutter opening operation. 2 is filled with the tablet 5 (filling step).
- the original fabric of the cover film 4 formed in a strip shape is wound in a roll shape on the most upstream side separately from the container film 3.
- the drawer end of the cover film 4 wound in a roll shape is guided by the guide roll 24 and guided toward the heating roll 25.
- the heating roll 25 can be pressure-contacted with the film receiving roll 20, and the container film 3 and the cover film 4 are fed between the rolls 20 and 25.
- the container film 3 and the cover film 4 pass between the rolls 20 and 25 in a heat-pressed state, so that the cover film 4 is attached to the container film 3 and the pocket portion 2 is closed by the cover film 4. (Mounting process).
- the PTP film 6 as a strip in which the tablet 5 is filled in each pocket portion 2 is manufactured.
- fine mesh-like ridges for sealing are formed, which are strongly pressed against each other to realize a strong sealing.
- the film receiving roll 20 and the heating roll 25 constitute the mounting means in the present embodiment.
- the PTP film 6 fed from the film receiving roll 20 is hung in the order of the tension roll 27 and the intermittent feed roll 28. Since the intermittent feed roll 28 is connected to a motor that rotates intermittently, the PTP film 6 is intermittently conveyed.
- the tension roll 27 is in a state of pulling the PTP film 6 toward the tension side by the elastic force, and prevents the PTP film 6 from bending due to the difference in the transport operation between the film receiving roll 20 and the intermittent feed roll 28.
- the PTP film 6 is always kept in a tense state.
- the PTP film 6 fed from the intermittent feed roll 28 is hung in the order of the tension roll 31 and the intermittent feed roll 32. Since the intermittent feed roll 32 is connected to a motor that rotates intermittently, the PTP film 6 is intermittently conveyed.
- the tension roll 31 is in a state of pulling the PTP film 6 toward the tension side by the elastic force, and prevents the PTP film 6 from bending between the intermittent feed rolls 28 and 32.
- a slit forming device 33 and a marking device 34 are sequentially arranged between the intermittent feed roll 28 and the tension roll 31 along the transport path of the PTP film 6.
- the slit forming device 33 has a function of forming a slit for cutting (not shown) at a predetermined position of the PTP film 6.
- the marking device 34 has a function of marking (not shown) at a predetermined position of the PTP film 6.
- the PTP film 6 fed from the intermittent feed roll 32 is hung in the order of the tension roll 35 and the continuous feed roll 36 on the downstream side thereof.
- a sheet punching device 37 is arranged between the intermittent feed roll 32 and the tension roll 35 along the transport path of the PTP film 6.
- the sheet punching device 37 has a function as a sheet punching means (cutting means) for punching the outer edge of the PTP film 6 in units of one PTP sheet.
- the PTP sheet 1 punched by the sheet punching device 37 is conveyed by the conveyor 39 and temporarily stored in the finished product hopper 40 (cutting process).
- the PTP sheet 1 is placed on the pocket portion 2 so that its longitudinal direction is along the conveyor width direction (X direction) and its lateral direction is along the sheet transport direction (Y direction). It is placed on the conveyor 39 in this state and conveyed (see FIGS. 5, 6 and the like).
- the visual inspection device 45 is arranged above the conveyor 39.
- the appearance inspection device 45 inspects the appearance abnormality related to the tablet 5, for example, adhesion of foreign matter or dirt, presence / absence of chipping or cracking, printing defect, and the like. The details of the visual inspection device 45 will be described later.
- the PTP sheet 1 determined to be defective is not sent to the finished product hopper 40, and the defective sheet discharging mechanism as a discharging means (not shown) is used. Will be discharged separately.
- a cutting device 41 is arranged on the downstream side of the continuous feed roll 36. Then, the unnecessary film portion 42 constituting the residual material portion (scrap portion) remaining in a strip shape after punching by the sheet punching device 37 is guided to the cutting device 41 after being guided by the tension roll 35 and the continuous feed roll 36. Scrap.
- the continuous feed roll 36 is pressure-welded to the driven roll, and the transfer operation is performed while sandwiching the unnecessary film portion 42.
- the cutting device 41 has a function of cutting the unnecessary film portion 42 to a predetermined size and scrapping it. This scrap is stored in the scrap hopper 43 and then separately disposed of.
- the rolls 14, 20, 28, 31, 32 and the like have a positional relationship in which the roll surface and the pocket portion 2 face each other, but the pocket portion 2 is provided on the surface of the intermittent feed roll 14 and the like. Since the recess to be accommodated is formed, the pocket portion 2 is not crushed. Further, the feeding operation is performed while the pocket portion 2 is housed in each recess such as the intermittent feeding roll 14, so that the intermittent feeding operation and the continuous feeding operation are surely performed.
- FIG. 4 is a block diagram showing a functional configuration of the visual inspection device 45.
- the visual inspection device 45 includes a lighting unit 52 capable of irradiating the PTP sheet 1 on the conveyor 39 with light, a camera unit 53 capable of imaging the PTP sheet 1 irradiated with the light, and both units 52 and 53. It is equipped with a control device 54 capable of performing drive control, image processing, arithmetic processing, and the like of various devices, including drive control.
- the lighting device for visual inspection is configured by various functional units of the lighting unit 52 and the control device 54 related to the control thereof. That is, in the visual inspection device 45 according to the present embodiment, the visual inspection lighting device and the image pickup device (various functional units of the camera unit 53 and the control device 54 related to its control) are functionally integrally provided as an image pickup means. It has a structure that has been set.
- the lighting unit 52 includes a hollow box-shaped housing 61.
- the housing 61 15 lighting panels L1 to L15 as lighting units are arranged.
- the first lighting panel L1 arranged near the bottom of the housing 61 on the downstream side in the sheet transport direction (right side in FIG. 5) and the first lighting panel L1 arranged near the bottom of the housing 61 on the upstream side in the sheet transport direction (left side in FIG. 5).
- a fourth lighting panel L4 arranged near the bottom of the unit, a fifth lighting panel L5 arranged above the first lighting panel L1, and a sixth lighting panel L6 arranged above the second lighting panel L2.
- each of the lighting panels L1 to L15 is composed of an LED board in which dozens (sometimes 100 or more) of LEDs (light emitting diodes) 63 are mounted in a matrix on a printed circuit board 64. ing.
- the lighting panels L1 to L15 are arranged so that the mounting surface of the LED 63 faces the inside of the housing 61, and the light emitted from the lighting panels L1 to L15 is an opening formed in the center of the bottom of the housing 61.
- a predetermined range (hereinafter, referred to as “inspection area”) on the conveyor 39 is directly or indirectly irradiated via 61a.
- the light emitted from the thirteenth illumination panel L13 is reflected by the half mirror HM and is irradiated downward in the vertical direction (Z direction).
- Each lighting panel L1 to L15 is configured to be individually dimmable (brightness adjustment). Specifically, by changing the emission brightness of the LED 63, the brightness can be adjusted to 256 gradations.
- the lighting unit 52 can illuminate the PTP sheet 1 located in the inspection area in a predetermined lighting state created by the plurality of lighting panels L1 to L15.
- the camera unit 53 is arranged above the housing 61 of the lighting unit 52, and has an opening 61b formed in the center of the ceiling of the housing 61 and a bottom of the housing 61.
- the inside of the inspection area can be imaged through the opening 61a formed in the center.
- the camera 53 includes an image sensor such as a CCD (Charge Coupled Device) type image sensor or a CMOS (Complementary Metal Oxide Semiconductor) type image sensor, and a PTP located in the inspection area with respect to the image sensor. It has an optical system (lens unit, aperture, etc.) for forming an image of the sheet 1.
- image sensor such as a CCD (Charge Coupled Device) type image sensor or a CMOS (Complementary Metal Oxide Semiconductor) type image sensor
- PTP Physical Metal Oxide Semiconductor
- the light emitted from the lighting unit 52 illuminates the tablet 5 and the cover film 4 through the container film 3, and the light reflected from the tablet 5 and the cover film 4 is captured by the camera 53, and the image data is obtained. It will be generated.
- the image data acquired by the camera 53 is converted into a digital signal inside the camera 53, and then output to the control device 54 (image acquisition unit 74 described later) in the form of a digital signal.
- the control device 54 temporarily stores a CPU (Central Processing Unit) that executes predetermined arithmetic processing, a ROM (ReadOnlyMemory) that stores various programs, fixed value data, and the like, and various data when executing various arithmetic processing. It consists of a computer including a RAM (RandomAccessMemory) and peripheral circuits thereof.
- a CPU Central Processing Unit
- ROM ReadOnlyMemory
- RAM RandomAccessMemory
- the control device 54 has a main control unit 71, a lighting control unit 72, a camera control unit 73, an image acquisition unit 74, an image processing unit 75, a learning unit 76, and a dimming unit, which will be described later. It functions as various functional units such as a parameter adjusting unit 77, a dimming parameter setting unit 78, and an inspection unit 79.
- the various functional units are realized by the cooperation of various hardware such as the CPU, ROM, and RAM, and it is not necessary to clearly distinguish the functions realized by hardware or software. , Some or all of these functions may be realized by a hardware circuit such as an IC.
- control device 54 includes an input unit 55 composed of a keyboard, mouse, touch panel, etc., a display unit 56 having a display screen such as a liquid crystal display, and a storage unit 57 capable of storing various data, programs, calculation results, and the like.
- a communication unit 58 capable of transmitting and receiving various data to and from the outside is provided.
- the main control unit 71 is a functional unit that controls the entire visual inspection device 45, and is configured to be able to transmit and receive various signals to other functional units such as the lighting control unit 72 and the camera control unit 73.
- the lighting control unit 72 is a functional unit that drives and controls the lighting unit 52, and constitutes the lighting control means in the present embodiment.
- the lighting control unit 72 drives and controls the lighting panels L1 to L15 of the lighting unit 52 based on the dimming parameter values set in the dimming parameter setting unit 78 corresponding to each of the lighting panels L1 to L15 as described later. , Each lighting panel L1 to L15 is turned on at a brightness level corresponding to the dimming parameter value.
- the lighting panels L1 to L15 are individually used. Dimming (brightness adjustment) is possible, and 256 gradations of brightness can be expressed. At this time, all the LEDs 63 mounted on one lighting panel L1 to L15 controlled as one channel emit light with the same brightness.
- the camera control unit 73 is a functional unit that drives and controls the camera 53, and controls the imaging timing and the like based on the command signal from the main control unit 71.
- the image acquisition unit 74 is a function unit that captures image data (actual image data) captured and acquired by the camera 53.
- the image processing unit 75 is a functional unit that performs predetermined image processing on the actual image data of the PTP sheet 1 captured by the image acquisition unit 74, and constitutes the image processing means in the present embodiment. For example, in the learning process described later, teacher image data that is teacher data used for learning the neural network 90 (see FIG. 8) is generated. Further, in the inspection process, the binarized image data or the like that has been binarized is generated.
- the learning unit 76 is a functional unit that learns the neural network 90 using teacher image data and the like and generates an AI (Artificial Intelligence) model 100.
- the AI model 100 is a learning model used for the optimization process of the lighting state of the lighting unit 52 as described later, and is configured by combining the neural network 90 and the learning information acquired by the learning.
- the neural network 90 has an input layer 91, an intermediate layer 92, and an output layer 93.
- the intermediate layer 92 is one is illustrated in FIG. 8, the number of layers of the intermediate layer 92 is not limited to one, and may be two or more.
- the input layer 91, the intermediate layer 92, and the output layer 93 each have one or a plurality of nodes (units) 94 corresponding to neurons.
- the number of nodes in each layer 91, 92, and 93 is not limited to the number illustrated in FIG. 8, and can be arbitrarily set according to the information to be input / output, the feature amount, and the like.
- the number of nodes in the input layer 91 in the present embodiment corresponds to the number of lighting units (number of channels) to be controlled. That is, there are 15 lighting panels L1 to L15.
- the number of nodes of the output layer 93 in the present embodiment corresponds to the number of pixels of the predicted image data described later, and the information of each pixel constituting the predicted image data (from each node 94 of the output layer 93). Brightness value, etc.) is output as an output value.
- Each node 94 of each layer 91, 92, 93 is connected to the node 94 existing in the adjacent layers before and after, respectively, by a coupling load (weight and bias) as a parameter.
- the input value given to each node 94 of the input layer 91 is weighted by the coupling load, and is given to each node 94 of the intermediate layer 92.
- the total sum of the weighted input values is converted by the activation function to calculate the output value, which is transferred to each node 94 of the output layer 93.
- each node 94 of the output layer 93 the total sum of the weighted input values is converted by the activation function to calculate the output value, which is output as the output value of the neural network 90.
- the neural network 90 when predetermined information is given to the input layer 91, the content is transmitted to the output layer 93 while being converted through the intermediate layer 92, and the information corresponding to the prediction result is transmitted from the output layer 93. It will be output.
- the coupling load (parameter) for coupling between the nodes 94 is learned and updated by a predetermined learning algorithm as described later. Then, each coupling load updated by learning is stored in the storage unit 57 together with the neural network 90 as learning information constituting the learned learning model.
- the dimming parameter adjusting unit 77 is a functional unit that adjusts the dimming parameter values (brightness levels) of the lighting panels L1 to L15 to more optimum values using the AI model 100, and is a level specifying means in the present embodiment. To configure.
- the dimming parameter setting unit 78 is a functional unit that individually stores dimming parameter values related to the lighting panels L1 to L15, which are taken into consideration when the lighting control unit 72 drives and controls the lighting unit 52.
- the inspection unit 79 is a functional unit that determines the quality of the tablet 5 as a predetermined inspection target contained in the PTP sheet 1 as an object based on the image data for inspection, and constitutes the inspection means in the present embodiment. do.
- the storage unit 57 is composed of an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like, and has, for example, a predetermined storage area for storing the AI model 100 (neural network 90 and its learning information). Such a storage area constitutes the network storage means in the present embodiment.
- the communication unit 58 is provided with a wireless communication interface conforming to a communication standard such as a wired LAN (Local Area Network) or a wireless LAN, and is configured to be able to send and receive various data to and from the outside. For example, the result of the quality determination performed by the inspection unit 79 is transmitted to the defective sheet discharging mechanism of the PTP packaging machine 10 via the communication unit 58.
- a communication standard such as a wired LAN (Local Area Network) or a wireless LAN
- FIG. 9 is a flowchart showing the flow of the learning process of the neural network 90
- FIG. 10 is a block diagram for explaining the flow of the learning process of the neural network 90.
- the learning means in the present embodiment is configured by various functions for executing the learning process of the neural network 90.
- the learning unit 76 When the learning process is started based on the execution of the predetermined learning program, the learning unit 76 first prepares the unlearned neural network 90 based on the command from the main control unit 71 in step S101. For example, the neural network 90 stored in the storage unit 57 or the like in advance is read out. Alternatively, the neural network 90 is generated based on the network configuration information (for example, the number of layers of the neural network, the number of nodes of each layer, the coupling load between the nodes, etc.) stored in the storage unit 57 or the like.
- the network configuration information for example, the number of layers of the neural network, the number of nodes of each layer, the coupling load between the nodes, etc.
- step S102 the main control unit 71 has a dimming parameter value ("0" to "255") as level information corresponding to the brightness level (emission brightness level of the LED 63) of each of the plurality of lighting panels L1 to L15. (Any value of) is randomly selected and set in the dimming parameter setting unit 78.
- step S103 the teacher image data is acquired. Specifically, based on the command from the main control unit 71, the lighting control unit 72 of the lighting unit 52 has a brightness level corresponding to the dimming parameter value set in the dimming parameter setting unit 78 in step S102. Each lighting panel L1 to L15 is turned on. Subsequently, the camera control unit 73 drives the camera 53 based on the command from the main control unit 71. As a result, a good PTP sheet 1 placed in advance in the inspection area of the stopped conveyor 39 and illuminated in the illuminated state produced by the plurality of lighting panels L1 to L15 is imaged. Then, the image acquisition unit 74 captures the actual image data acquired by the camera 53.
- the actual image data of the PTP sheet 1 taken in by the image acquisition unit 74 is input to the learning unit 76 as teacher image data after being subjected to predetermined image processing (for example, trimming, tilt correction, etc.) in the image processing unit 75. Will be done.
- predetermined image processing for example, trimming, tilt correction, etc.
- step S104 the predicted image data is acquired.
- the process of step S104 may be performed in parallel with the process of step S103.
- the learning unit 76 uses the dimming parameter values related to the lighting panels L1 to L15 set in the dimming parameter setting unit 78 in step S102 as input values. It is given to each node 94 of the input layer 91 of the neural network 90, and the output values output from each node 94 of the output layer 93 are collectively acquired as predicted image data.
- the predicted image data acquired here is illuminated in a lighting state created by a plurality of lighting panels L1 to L15 that emit light at a brightness level corresponding to the dimming parameter value set in the dimming parameter setting unit 78.
- the image data that can be acquired when the PTP sheet 1 is imaged is predicted by the neural network 90, and its accuracy varies depending on the degree of learning.
- the learning unit 76 compares the teacher image data, which is the actual image data acquired by the camera 53 in step S103, with the predicted image data output by the neural network 90 in step S104, and the error is found. It is determined whether or not it is sufficiently small (whether or not it is equal to or less than a predetermined threshold value).
- the neural network 90 and its learning information are stored in the storage unit 57 as the AI model 100, and the main learning process is terminated.
- step S106 After performing the network update process (learning of the neural network 90) in step S106, the process returns to step S102 again and the above series of processes is repeated.
- the gradient with respect to the coupling load (parameter) between each node of the neural network 90 is obtained by using the error backpropagation method (Backpropagation) which is a known learning algorithm, and the teacher image data.
- the coupling load between each node is updated to a more appropriate one based on the gradient so that the error of the predicted image data becomes smaller.
- the neural network 90 uses the dimming parameter values of the plurality of lighting panels L1 to L15 and the plurality of lighting panels L1 to L15 that emit light at the corresponding brightness levels. It becomes possible to learn the correlation with the image data that can be acquired when the PTP sheet 1 illuminated in the created lighting state is imaged, and to output more accurate predicted image data.
- FIG. 11 is a flowchart showing the flow of the illumination state optimization process
- FIG. 12 is a block diagram for explaining the flow of the illumination state optimization process.
- step S201 the dimming parameter adjusting unit 77, based on the command from the main control unit 71, performs the plurality of lighting panels L1 to L15, respectively.
- the initial parameter values corresponding to are randomly selected from the dimming parameter values (“0” to “255”) in 256 stages, and are stored in a predetermined candidate value storage area as parameter candidate values.
- step S202 the dimming parameter value stored in the candidate value storage area by the dimming parameter adjusting unit 77 based on the command from the main control unit 71 (the dimming parameter value selected as the parameter initial value in step S201, Alternatively, the dimming parameter value corrected in step S205 described later is given as an input value to each node 94 of the input layer 91 of the AI model 100 (learned neural network 90), whereby each node of the output layer 93 is given.
- the output values output from 94 are collectively acquired as predicted image data.
- step S203 the dimming parameter adjusting unit 77 compares the predicted image data output by the AI model 100 in step S202 with the ideal image data previously stored in the storage unit 57 as ideal data, and the result thereof.
- the error is calculated and the error is back-propagated to the input layer 91 of the AI model 100 to obtain a gradient with respect to the input value (dimming parameter value stored in the candidate value storage area).
- the neural network 90 is not updated (learned).
- the ideal image data corresponds to the target image data in the present embodiment.
- the comparison means in the present embodiment is configured by the function of comparing the predicted image data and the ideal image data and calculating the error.
- step S204 the dimming parameter adjusting unit 77 determines whether or not the error and the gradient calculated in step S203 are sufficiently small (whether or not they are equal to or less than a predetermined threshold value).
- the dimming parameter value stored in the candidate value storage area is set in the dimming parameter setting unit 78, and the present optimization process is terminated.
- step S205 the dimming parameter adjusting unit 77 inputs the inputs corresponding to the respective lighting panels L1 to L15 based on the gradient calculated in step S203.
- the values (dimming parameter values stored in the candidate value storage area) are corrected (updated) respectively. After that, the process returns to step S202 again, and the above series of processes is repeated.
- the dimming parameter value (parameter candidate value) stored in the candidate value storage area approaches the ideal value that can be a lighting state close to the target lighting state. Become.
- Such an inspection process is a process executed every time the PTP sheet 1 punched by the sheet punching device 37 is conveyed to the inspection area by the conveyor 39.
- the parameter reading process is first executed in step S301. Specifically, based on the command from the main control unit 71, the lighting control unit 72 reads the dimming parameter values corresponding to the lighting panels L1 to L15 set in the dimming parameter setting unit 78.
- step S302 the lighting process is executed. Specifically, when the main control unit 71 determines that the PTP sheet 1 has reached the inspection area based on a signal from an encoder (not shown) provided on the conveyor 39, a predetermined signal is sent to the lighting control unit 72. Output. Based on this, the lighting control unit 72 lights each of the lighting panels L1 to L15 of the lighting unit 52 at a brightness level corresponding to each dimming parameter value read in step S301 at a predetermined timing.
- the PTP sheet 1 located in the inspection area is illuminated in a predetermined lighting state created by the plurality of lighting panels L1 to L15.
- the imaging process is executed. Specifically, the camera control unit 73 drives the camera 53 at a predetermined timing based on the command from the main control unit 71. As a result, the PTP sheet 1 (including 10 tablets 5) located in the inspection area is imaged. As a result, the luminance image data including the PTP sheet 1 illuminated in a predetermined illumination state created by the plurality of illumination panels L1 to L15 is acquired. Then, this luminance image data is taken in by the image acquisition unit 74.
- step S304 image processing is executed. Specifically, based on the command from the main control unit 71, the image processing unit 75 performs predetermined image processing on the luminance image data captured in the image acquisition unit 74 in step S303, and the image data for inspection is performed. To generate.
- the luminance image data captured in the image acquisition unit 74 is subjected to image processing such as shading correction and masking processing, and then binarized based on a predetermined threshold value to obtain a binarized image. Generate data.
- the luminance image data is converted into the binarized image data, with the portion having the brightness equal to or higher than the threshold value being “1 (bright)” and the portion having the brightness less than the threshold value being “0 (dark)”.
- step S305 pass / fail judgment processing is performed. Specifically, based on a command from the main control unit 71, the inspection unit 79 has a predetermined inspection target included in the PTP sheet 1 as an object based on the image data for inspection generated in step S304. The quality of the 10 tablets 5 is determined.
- the flow of pass / fail judgment will be described by taking a foreign matter inspection (inspection for adhesion of foreign matter and dirt) as an example, but here, as an appearance abnormality related to the tablet 5, the presence or absence of chips and cracks, printing defects, etc. are also inspected. Is done.
- the binarized image data generated in step S304 is subjected to mass processing.
- each connected component is specified for "0 (dark)" and “1 (bright)" of the binarized image data, and each connected component is labeled.
- the inspection unit 79 identifies the linking component corresponding to the tablet 5 from the linking components of "1 (Ming)" obtained from the binarized image data as the tablet region, and the area of the foreign substance in the tablet region. Is calculated. That is, from the "0 (dark)" linking components obtained from the binarized image data, those contained in or connected to the coordinates of the tablet region are extracted, and the area, that is, the area of the foreign matter is obtained, and the area of each foreign matter is calculated. , Judge whether it is smaller than the predetermined judgment reference value.
- the inspection unit 79 uses the PTP sheet 1 when the area of the foreign substance in all 10 tablets 5 is smaller than the determination reference value. It is determined that the product is non-defective, and this result is stored in the storage unit 57, and this process is terminated.
- the PTP sheet 1 is determined to be a defective product.
- the result is displayed on the display unit 56, or a message to that effect is transmitted to the defective sheet discharging mechanism of the PTP packaging machine 10 or the like via the communication unit 58, and this process is terminated.
- the AI model 100 neural network 90
- its error back propagation it is created by a plurality of lighting panels L1 to L15 whose brightness can be individually adjusted. It is possible to automatically find and create the optimum lighting state by visual inspection in a relatively short time from the huge number of combination patterns of lighting states to be obtained. As a result, the inspection efficiency can be dramatically improved.
- a learning unit 76 for learning the neural network 90 is provided.
- the neural network 90 it is possible to learn the neural network 90 in consideration of the individual difference for each lighting unit 52 as compared with the case where the learned neural network 90 trained externally is stored, and the neural network for each lighting unit 52 can be learned.
- the 90 will be able to perform more appropriate processing.
- the training process of the neural network 90 is executed first, and then the lighting state optimization process of the lighting unit 52 is executed by using the trained neural network 90 (AI model 100). It has become.
- the learning process and the illumination state optimization process are alternately executed for the unlearned neural network 90.
- FIG. 14 is a flowchart showing the flow of learning / optimization processing
- FIG. 15 is a block diagram for explaining the flow of learning / optimization processing.
- step S401 the learning unit 76 prepares the unlearned neural network 90 based on the command from the main control unit 71.
- step S402 based on the command from the main control unit 71, the dimming parameter adjusting unit 77 sets the initial parameter values corresponding to each of the plurality of lighting panels L1 to L15 to the dimming parameter values (“0” to “0” to 256 stages). It is randomly selected from "255") and stored in a predetermined candidate value storage area as a parameter candidate value.
- step S403 the main control unit 71 arbitrarily selects (for example, randomly from the peripheral values) the peripheral values of the dimming parameter values (parameter candidate values) stored in the candidate value storage area, and dimming parameters. Set in the setting unit 78.
- the dimming parameter value (parameter candidate value) stored in the candidate value storage area is the initial parameter value selected in step S402 immediately after the start of this process, and thereafter, step S408 described later. It is a dimming parameter value corrected (updated) in.
- step S404 the teacher image data is acquired. Specifically, based on the command from the main control unit 71, the lighting control unit 72 of the lighting unit 52 has a brightness level corresponding to the dimming parameter value set in the dimming parameter setting unit 78 in step S403. Each lighting panel L1 to L15 is turned on. Subsequently, the camera control unit 73 drives the camera 53 based on the command from the main control unit 71. As a result, a good PTP sheet 1 placed in advance in the inspection area of the stopped conveyor 39 and illuminated in the illuminated state produced by the plurality of lighting panels L1 to L15 is imaged. Then, the image acquisition unit 74 captures the actual image data acquired by the camera 53.
- the actual image data of the PTP sheet 1 captured by the image acquisition unit 74 is input to the learning unit 76 as teacher image data after being subjected to predetermined image processing by the image processing unit 75.
- step S405 the predicted image data is acquired. Specifically, based on the command from the main control unit 71, the learning unit 76 determines the dimming parameter values (parameter candidate peripheral values) related to the lighting panels L1 to L15 set in the dimming parameter setting unit 78 in step S403. ) Is given to each node 94 of the input layer 91 of the neural network 90 as an input value, and the output values output from each node 94 of the output layer 93 are collectively acquired as predicted image data.
- the dimming parameter values parameter candidate peripheral values
- each dimming parameter value (parameter candidate peripheral value) set in the dimming parameter setting unit 78 in step S403 is overwritten in the candidate value storage area as a new parameter candidate value. Above, it is input to the neural network 90.
- the learning unit 76 compares the teacher image data, which is the actual image data acquired by the camera 53 in step S404, with the predicted image data output by the neural network 90 in step S405, and the error thereof. (Hereinafter, referred to as "learning error”) is calculated, and the network update process is performed using the error back propagation method.
- learning error a gradient with respect to the coupling load (parameter) between each node of the neural network 90 is obtained, and the coupling load between each node is calculated based on the gradient so that the error between the teacher image data and the predicted image data becomes small. Update to a more appropriate one.
- step S407 the dimming parameter adjusting unit 77 compares the predicted image data output by the neural network 90 in step S405 with the ideal image data previously stored in the storage unit 57 as ideal data, and the result thereof.
- An error (hereinafter referred to as "prediction error") is calculated, and the prediction error is back-propagated to the input layer 91 of the neural network 90 to obtain the input value (the dimming parameter value stored in the candidate value storage area). ) Is calculated.
- the neural network 90 is not updated (learned).
- the ideal image data corresponds to the target image data in the present embodiment.
- the comparison means in the present embodiment is configured by the function of comparing the predicted image data and the ideal image data and calculating the error.
- step S408 the dimming parameter adjusting unit 77 sets input values (dimming parameter values stored in the candidate value storage area) corresponding to each of the lighting panels L1 to L15 based on the gradient calculated in step S407. Correct (update).
- step S409 the main control unit 71 determines whether the learning error calculated in step S406, the prediction error calculated in step S407, and the gradient are sufficiently small (whether they are equal to or less than a predetermined threshold value). judge.
- the dimming parameter value (parameter candidate value) stored in the candidate value storage area is set in the dimming parameter setting unit 78. Then, this process is terminated.
- step S402 the process returns to step S402 again and the above series of processes is repeated.
- the dimming parameter value set in the dimming parameter setting unit 78 is the target. It will approach the ideal value that can be the lighting state close to the lighting state. That is, it is possible to create a more optimum lighting state while learning the neural network 90.
- some light sources such as a part of a plurality of lighting panels L1 to L15 and a part of several tens of LEDs 63 mounted on a predetermined lighting panel L1 or the like are deteriorated (brightness decrease, lighting impossible, etc.).
- the lighting state may change depending on the position of the deteriorated light source, and the brightness can be adjusted in consideration of this.
- the appearance inspection is performed with the tablet 5 which is the content contained in the PTP sheet 1 as the object as a predetermined inspection target (inspection target site).
- the objects to be provided, the contents, and the objects to be inspected (sites to be inspected) are not limited to these.
- the configuration of the PTP sheet 1 is not limited to each of the above embodiments, and other configurations different from each other may be adopted.
- a PTP sheet having various arrangements and numbers may be adopted, including a type having 12 pockets in 3 rows.
- another different blister package such as a blister pack may be used as an object to be subjected to visual inspection
- an article different from the blister package may be an object to be subjected to visual inspection. May be.
- a tablet having a score line on the surface portion a disk-shaped flat tablet having a chamfered portion on the peripheral portion, a triangular tablet or a square tablet having a non-circular plan view, a capsule tablet, a sugar-coated tablet, a soft capsule, or the like may be used.
- the types of contents to be subjected to visual inspection are not limited to tablets (medicines), but may be different from supplements, foods, electronic parts, electronic devices, medical devices, and the like.
- the shape, material, and the like of the packaging material such as the container film 3 and the cover film 4 are not limited to each of the above embodiments, and other different configurations may be adopted.
- the container film 3 may be formed of a metal material mainly made of aluminum, such as an aluminum laminated film.
- the container film 3 needs to be made of a transparent material. Therefore, when the container film 3 is formed of a light-shielding material (opaque material) in this way, the opening of the pocket portion 2 is performed in the step before the cover film 4 is attached to the container film 3 as described later.
- the tablet 5 will be illuminated and imaged from the side for inspection.
- the pocket portion 2 (container) of the PTP film 6 is used.
- the appearance of the tablet 5 may be inspected through the film 3). Even in such a case, as in each of the above embodiments, the inspection can be performed in a state where the tablets 5 are not replaced, and the inspection accuracy can be improved.
- the appearance inspection of the tablet 5 may be performed in the post-process in which the tablet 5 is filled in the pocket portion 2 and in the pre-process in which the cover film 4 is attached to the container film 3.
- the tablet 5 may be illuminated and imaged through the pocket portion 2 (container film 3) for inspection, or the opening side of the pocket portion 2 may be used.
- the tablet 5 may be illuminated and imaged to perform an inspection.
- the individual tablets 5 can be inspected. While the inspection accuracy is improved, the tablets 5 may be replaced, so that the good product error rate and the defective product error rate may increase as a whole.
- the visual inspection device 45 is provided in the PTP packaging machine 10 (in-line).
- the visual inspection device 45 is provided as a device for inspecting the PTP sheet 1 offline, in addition to the PTP packaging machine 10.
- the appearance inspection device 45 may be provided with a transport means capable of transporting the PTP sheet 1.
- the PTP sheet 1 when the inspection is performed offline, the PTP sheet 1 may not be continuously conveyed, but the inspection may be performed in a stopped state. However, it is preferable to carry out the inspection in-line while continuously transporting the PTP sheet 1, the PTP film 6 or the container film 3 in order to improve the productivity.
- the configuration according to the visual inspection device 45 is not limited to each of the above embodiments, and other configurations may be adopted.
- the visual inspection lighting device (lighting unit 52 and its control function) and the image pickup device (camera unit 53 and its control function) are functionally It has a structure that is provided integrally.
- the lighting device for visual inspection and the imaging device may be provided functionally separately from the visual inspection device.
- the visual inspection lighting device that does not have an image pickup function, image data or the like acquired by an external image pickup means is input, and the dimming parameter value is updated or the neural network 90 is updated based on the input image data. It may be configured.
- each object may be inspected based on the image data obtained by simultaneously irradiating a plurality of objects (target range) with light and taking an image.
- the light emitted from the lighting panel L1 or the like becomes stronger in the object located near the predetermined lighting panel L1 or the like, and the light emitted becomes weaker in the object located far away. Therefore, it is necessary to generate an optimum lighting state in consideration of the distance from each of the plurality of lighting panels L1 to L15 to the object.
- the configuration of the lighting unit is not limited to each of the above embodiments.
- the lighting panels L1 to L15 on which a plurality of LEDs 63 serving as a light source are mounted are adopted as the lighting unit.
- a diffusion cover for diffusing the light emitted from the LED 63 and suppressing luminance unevenness for example, a diffusion cover for diffusing the light emitted from the LED 63 and suppressing luminance unevenness, and It may be configured to include a filter or the like that allows only a part of light to pass through.
- each of the lighting panels L1 to L15 has a plurality of types of light sources having different emission colors (for example, red (R), green (G), and blue (for example).
- Each LED 63) of B) may be mounted so as to be able to irradiate various colored lights and white lights, and the illumination brightness level may be adjusted for each light source of each color to control the illumination state.
- the configuration is not limited to visible light, and a light source capable of irradiating infrared light, near-infrared light, or the like may be used.
- the light source of the illumination unit is not limited to the LED 63, and another light source may be adopted as long as it is a dimmable light source.
- a fluorescent lamp or a lamp may be adopted.
- the brightness adjustment (dimming) method of the lighting unit and its gradation are not limited to each of the above embodiments.
- the brightness can be expressed in 256 gradations, but the present invention is not limited to this, and the brightness may be expressed in 128 gradations, for example.
- the lighting panels L1 to L15 can be dimmed by pulse width modulation (PWM).
- PWM pulse width modulation
- the brightness of each of the lighting panels L1 to L15 may be adjusted by controlling the magnitude of the current and the voltage supplied to the lighting panels L1 to L15 (light source).
- the brightness of each of the lighting panels L1 to L15 can be adjusted by controlling the transmittance of the filter under the configuration in which the light emitted from the LED 63 is applied to the object through a predetermined filter. May be.
- the neural network 90 may be a neural network having two or more intermediate layers 92 and being learned by deep learning.
- the neural network 90 may be a convolutional neural network having a convolutional layer, a pooling layer, or the like in the intermediate layer 92.
- the neural network 90 is learned by the error back propagation method, but the present invention is not limited to this, and various other learning algorithms may be used for learning.
- the non-defective image data obtained by imaging the non-defective PTP sheet 1 is used as the teacher image data.
- the defective product image data obtained by imaging the defective PTP sheet 1 may be used as the teacher image data for learning.
- the neural network 90 may be configured by an AI processing dedicated circuit such as a so-called AI chip. In that case, only the learning information such as the coupling load is stored in the storage unit 57, which may be read out by the AI processing dedicated circuit and set in the neural network 90 to configure the AI model 100.
- the learning unit 76 is provided and the neural network 90 is trained in the control device 54, but the present invention is not limited to this, and at least the AI model 100 (learned neural network) is used.
- the network 90) may be stored in the storage unit 57, and the learning unit 76 may be omitted. Therefore, the neural network 90 may be learned outside the control device 54 and stored in the storage unit 57.
- the dimming parameters corresponding to each of the plurality of lighting panels L1 to L15 are used for optimizing the lighting state.
- the predicted image data related to the PTP sheet 1 output by inputting the value into the AI model 100 is compared with the ideal image data related to the PTP sheet 1 stored in the storage unit 57 in advance, and the error is determined by the AI model 100.
- the dimming parameter value is updated by back-propagating the error to the input layer 91 of the above.
- the image data is compared with the ideal image data related to the PTP sheet 1 stored in the storage unit 57 in advance, and the error is back-propagated to the input layer 91 of the AI model 100 to update the dimming parameter value. It may be configured to perform the above.
- the predicted image data (or the camera 53) output from the AI model 100 is used to optimize the lighting state.
- the dimming parameter is obtained by directly comparing the acquired real image data) with the ideal image data stored in the storage unit 57 in advance and propagating the error back to the input layer 91 of the AI model 100. It is configured to update the value.
- the predicted image data output from the AI model 100 and the related information obtained from the predicted image data (or the actual image data acquired by the camera 53 and the related information obtained from the actual image data).
- the dimming parameter value can be obtained. It may be configured to update.
- the dimming parameter value may be updated by comparing the relevant information with the related information and propagating the error back to the input layer 91 of the AI model 100.
- related information obtained from the image data for example, the brightness average value of all or part of the image data, the variation of the brightness value of a predetermined part, the standard deviation, and the like can be mentioned as an example.
- the configuration may be such that after the "learning process” according to the first embodiment is executed halfway, the “learning / optimization process” according to the second embodiment is executed.
- the lighting adjustment work When the lighting adjustment work is performed by the user, it is not initially planned, and the lighting adjustment work can be performed according to the types of objects newly added to the inspection and the inspection target, and the lighting panel can be used. Readjustment can be performed when L1 to L15 are deteriorated.
- the neural network 90 and its error back propagation are used to control the dimming parameters related to the lighting panels L1 to L15.
- the configuration may be configured to have a function of detecting changes in the inspection environment such as failure or deterioration of the lighting panels L1 to L15 by obtaining a gradient with respect to the value and determining the value.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Textile Engineering (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
対象物の外観検査を行うにあたり、検査効率及び検査精度の飛躍的な向上等を図ることのできる外観検査用照明装置、外観検査装置及びブリスター包装機を提供する。外観検査装置45は、光を照射可能な照明ユニット52と、該光を照射されたPTPシートを撮像可能なカメラユニット53と、制御装置54とを備えている。制御装置54は、調光パラメータ値と、これに対応する明るさレベルで発光する複数の照明パネルL1~L15により照明されるPTPシートを撮像した場合に取得され得る画像データとの相関関係を学習したニューラルネットワークを格納している。そして、ニューラルネットワークに対し調光パラメータ値を入力して出力される予測画像データと、理想画像データとを比較し、その誤差に基づく誤差逆伝播により、最適な調光パラメータ値を特定し、これに基づき各照明パネルL1~L15の明るさ調整を行う。
Description
本発明は、対象物の外観検査に用いられる外観検査用照明装置及び外観検査装置、並びに、これらを備えたブリスター包装機に関するものである。
一般に、外観検査が行われる対象物となるブリスター包装体の一種としてPTPシートが知られている。PTPシートは、例えば錠剤等の内容物が収容されるポケット部が形成された透明樹脂製の容器フィルムと、該容器フィルムに対しポケット部の開口側を密封するように取着されるアルミニウム製のカバーフィルムとから構成されている。
かかるPTPシートは、帯状の容器フィルムを搬送させつつ、ポケット部を成形する工程、該ポケット部に内容物を充填する工程、該ポケット部の開口側を密封するように容器フィルムに対しカバーフィルムを取着する工程、該両フィルムが取着されてなる帯状体から最終製品となるPTPシートを打抜く工程等を経て製造される。
PTPシートの製造に際しては、例えば包装材であるシート部における異物付着やシール不良、内容物における異物付着や欠け・ひびの有無など、製品不良となる種々の外観異常を検査する必要がある。
このような外観異常の検査では、外観検査用照明装置を用いて、対象物に対し光を照射し、それをカメラにより撮像して得られた画像データを基に、対象物に含まれる所定の検査対象(例えば錠剤やシート部)の良否判定を行うのが一般的である。
この際、検査を行う上で適切な画像データを取得するため、適切な照明状態で対象物を照らすことが求められる。
例えば対象物が打抜き後のPTPシートであれば、透明樹脂製の複数のポケット部、その内部に充填された錠剤等の内容物、背景となるアルミ製カバーフィルムなど、複雑な形状や多様な素材からなるPTPシート全体において、テカリ(例えばポケット部表面のテカリ)や暗部(例えば内容物の影部)が生じないように、PTPシート全体をムラなく均一な明るさで照らすと共に、検査対象部位(例えば錠剤)と非対象部位(例えばシート部)との明暗差を大きくすること等が求められる。
これに対し、外観検査用照明装置の中には、対象物に対し複数方向から光を照射できるように複数の照明部を備えたものがある(例えば、特許文献1参照)。従来、このような外観検査用照明装置においては、理想的な照明状態で対象物を照らすため、事前に複数の照明部それぞれの明るさを調整し、装置全体としての照明状態を最適化する照明調整作業が必要となる。
しかしながら、従来の照明調整作業は、熟練の作業者が手作業で行っており、作業効率が悪く、ひいては検査効率の低下を招くおそれがあった。
例えば作業者は、複数の照明部のうちのいずれかを明るくし、いずれかを暗くするなど、複数の照明部の明るさレベル(例えば256階調)を1つずつ変化させ、該変化させた照明状態の下で対象物を撮像し、そこで得られる画像データを表示装置で確認しながら、最適な照明状態に近づけていくといった非常に手間のかかる作業を行っていた。
このため、複数の照明部によって作り出され得る膨大な組合せパターンの照明状態の中から、検査に最適な照明状態を短時間で見つけ出すことは、熟練作業者であっても非常に難しい。
また、人が行う照明調整作業では、その人の経験や感覚に頼ることによるバラツキや、その人が感知できるレベルの限界等により、検査精度が安定しないおそれがある。
さらに、照明調整作業を一部の熟練作業者に頼ることは、時間的・場所的な制約を生み、利便性や汎用性を低下させるおそれがある。
尚、上記課題は、必ずしもPTP包装(ブリスター包装)の分野に限らず、他の分野における外観検査においても内在するものである。
本発明は、上記事情に鑑みてなされたものであり、その目的は、対象物の外観検査を行うにあたり、検査効率や検査精度の飛躍的な向上を図ることのできる外観検査用照明装置、外観検査装置及びブリスター包装機を提供することにある。
以下、上記課題を解決するのに適した各手段につき項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
手段1.個々に明るさ調整可能な複数の照明部を有し、該複数の照明部により作り出される所定の照明状態で対象物を照明可能な外観検査用照明装置であって、
前記複数の照明部それぞれの明るさレベル(発光輝度レベル)に対応するレベル情報と、該レベル情報に対応する明るさレベルでそれぞれ発光する前記複数の照明部により作り出される照明状態で照明される前記対象物を撮像した場合に取得され得る画像データとの相関関係を学習したニューラルネットワークを格納したネットワーク格納手段と、
前記ニューラルネットワークに対し前記複数の照明部それぞれに対応する前記レベル情報を入力して出力される前記画像データである予測画像データ及び/若しくは該予測画像データから得られる関連情報(例えば所定範囲の各画素の輝度平均値など)、又は、前記レベル情報に対応する明るさレベルでそれぞれ発光する前記複数の照明部により作り出される照明状態で照明される前記対象物を撮像して取得された画像データである実画像データ及び/若しくは該実画像データから得られる関連情報と、目標となる照明状態で照明された前記対象物を撮像した場合に取得され得る画像データとして用意された目標画像データ及び/若しくは該目標画像データから得られる関連情報とを比較し、その誤差を算出可能な比較手段と、
少なくとも前記比較手段により算出される誤差が所定の閾値以下となるまで、誤差逆伝播により前記複数の照明部それぞれに対応する前記レベル情報の更新を繰り返し、前記複数の照明部それぞれに適した前記レベル情報を特定可能なレベル特定手段と、
少なくとも前記レベル特定手段によりそれぞれ特定された前記レベル情報に基づき、前記複数の照明部それぞれの明るさ調整を行うことによって、該複数の照明部により作り出される照明状態を制御可能な照明制御手段とを備えたことを特徴とする外観検査用照明装置。
前記複数の照明部それぞれの明るさレベル(発光輝度レベル)に対応するレベル情報と、該レベル情報に対応する明るさレベルでそれぞれ発光する前記複数の照明部により作り出される照明状態で照明される前記対象物を撮像した場合に取得され得る画像データとの相関関係を学習したニューラルネットワークを格納したネットワーク格納手段と、
前記ニューラルネットワークに対し前記複数の照明部それぞれに対応する前記レベル情報を入力して出力される前記画像データである予測画像データ及び/若しくは該予測画像データから得られる関連情報(例えば所定範囲の各画素の輝度平均値など)、又は、前記レベル情報に対応する明るさレベルでそれぞれ発光する前記複数の照明部により作り出される照明状態で照明される前記対象物を撮像して取得された画像データである実画像データ及び/若しくは該実画像データから得られる関連情報と、目標となる照明状態で照明された前記対象物を撮像した場合に取得され得る画像データとして用意された目標画像データ及び/若しくは該目標画像データから得られる関連情報とを比較し、その誤差を算出可能な比較手段と、
少なくとも前記比較手段により算出される誤差が所定の閾値以下となるまで、誤差逆伝播により前記複数の照明部それぞれに対応する前記レベル情報の更新を繰り返し、前記複数の照明部それぞれに適した前記レベル情報を特定可能なレベル特定手段と、
少なくとも前記レベル特定手段によりそれぞれ特定された前記レベル情報に基づき、前記複数の照明部それぞれの明るさ調整を行うことによって、該複数の照明部により作り出される照明状態を制御可能な照明制御手段とを備えたことを特徴とする外観検査用照明装置。
上記手段1によれば、ニューラルネットワークとその誤差逆伝播を利用することで、個々に明るさ調整可能な複数の照明部によって作り出され得る膨大な組合せパターンの照明状態の中から、比較的短時間で外観検査により最適な照明状態を自動的に見つけ出し、作り出すことができる。結果として、検査効率の飛躍的な向上を図ることができる。
加えて、人には感知できない程度の微妙な照明状態の違い(但し、検査結果には影響を及ぼすおそれがあるほどの違い)をも識別し、より最適な照明状態を作り出すことができる。結果として、検査精度の飛躍的な向上を図ることができる。
また、作業者の経験や感覚に頼ることなく、より最適な照明状態を再現性良く見つけ出し、作り出すことができる。結果として、時間的・場所的な制約を受けることなく、利便性や汎用性の向上を図ることができる。
手段2.前記相関関係について、前記ニューラルネットワークの学習を行う(例えば誤差逆伝播法により行う)学習手段を備えていることを特徴とする手段1に記載の外観検査用照明装置。
上記手段2によれば、外部において学習を行った学習済みのニューラルネットワークを格納した場合よりも、照明装置毎の個体差を考慮したニューラルネットワークの学習を行うことができ、照明装置毎にニューラルネットワークがより適切な処理を行うことができるようになる。結果として、各照明装置に、より最適な照明状態を作り出し、さらなる検査精度の向上を図ることができる。
手段3.前記レベル特定手段による前記レベル情報の更新と、前記学習手段による前記ニューラルネットワークの学習とを、交互に又は並行して行うことを特徴とする手段2に記載の外観検査用照明装置。
上記手段3によれば、照明部(光源)の劣化等に起因した照明状態の変化など、現実世界で条件が変化した場合にも、その変化に追従することができ、さらなる検査精度の向上を図ることができる。
手段4.容器フィルムに形成されたポケット部に対し所定の内容物(例えば錠剤)が収容され、前記ポケット部を塞ぐように前記容器フィルムに対しカバーフィルムが取着されてなるブリスター包装体(例えばPTPシート)の製造に際し用いられることを特徴とする手段1乃至3のいずれかに記載の外観検査用照明装置。
上記手段4によれば、ブリスター包装体を構成する包装材(容器フィルムやカバーフィルム)、又は、その内容物に係る外観異常の検査に用いることができ、より適切な良否判定を行うことができるようになる。
手段5.手段1乃至4のいずれかに記載の外観検査用照明装置を備えたことを特徴とする外観検査装置。
より具体的な外観検査装置の構成として、以下のような構成が挙げられる。
「手段1乃至4のいずれかに記載の外観検査用照明装置と、
前記外観検査用照明装置により照明された対象物を撮像可能な撮像手段と、
前記撮像手段により取得された画像データを基に、前記対象物に含まれる所定の検査対象に係る外観検査を実行可能な検査手段とを備えたことを特徴とする外観検査装置。」
手段6.手段5に記載の外観検査装置を備えたことを特徴とするブリスター包装機。
前記外観検査用照明装置により照明された対象物を撮像可能な撮像手段と、
前記撮像手段により取得された画像データを基に、前記対象物に含まれる所定の検査対象に係る外観検査を実行可能な検査手段とを備えたことを特徴とする外観検査装置。」
手段6.手段5に記載の外観検査装置を備えたことを特徴とするブリスター包装機。
上記手段6のように、上記外観検査装置をブリスター包装機(例えばPTP包装機)に備えることで、ブリスター包装体(例えばPTPシート)の製造過程において不良品を効率的に除外できる等のメリットが生じる。また、ブリスター包装機は、上記外観検査装置によって不良と判定されたブリスター包装体を排出する排出手段を備える構成としてもよい。
より具体的なブリスター包装機の構成として、以下のような構成が挙げられる。
「容器フィルムに形成されたポケット部に内容物が収容され、該ポケット部を塞ぐようにカバーフィルムが取着されてなるブリスター包装体(例えばPTPシート)を製造するためのブリスター包装機(例えばPTP包装機)であって、
帯状に搬送される前記容器フィルムに対し前記ポケット部を形成するポケット部形成手段と、
前記ポケット部に前記内容物を充填する充填手段と、
前記ポケット部に前記内容物が充填された前記容器フィルムに対し、前記ポケット部を塞ぐようにして帯状の前記カバーフィルムを取着する取着手段と、
前記容器フィルムに前記カバーフィルムが取着された帯状体(帯状のPTPフィルム)から前記PTPシートを切離す切離手段(シート単位に打抜く打抜手段を含む)と、
手段5に記載の外観検査装置とを備えたことを特徴とするブリスター包装機。」
尚、上記構成において、上記外観検査装置を「充填手段によりポケット部に内容物が充填された後工程かつ取着手段によりカバーフィルムが取着される前工程」に配置した構成としてもよい。かかる場合、容器フィルムのポケット開口側より内容物や容器フィルムを遮るものがない状態で内容物や容器フィルムに係る検査を実行することができ、これらの検査の精度を向上することができる。
帯状に搬送される前記容器フィルムに対し前記ポケット部を形成するポケット部形成手段と、
前記ポケット部に前記内容物を充填する充填手段と、
前記ポケット部に前記内容物が充填された前記容器フィルムに対し、前記ポケット部を塞ぐようにして帯状の前記カバーフィルムを取着する取着手段と、
前記容器フィルムに前記カバーフィルムが取着された帯状体(帯状のPTPフィルム)から前記PTPシートを切離す切離手段(シート単位に打抜く打抜手段を含む)と、
手段5に記載の外観検査装置とを備えたことを特徴とするブリスター包装機。」
尚、上記構成において、上記外観検査装置を「充填手段によりポケット部に内容物が充填された後工程かつ取着手段によりカバーフィルムが取着される前工程」に配置した構成としてもよい。かかる場合、容器フィルムのポケット開口側より内容物や容器フィルムを遮るものがない状態で内容物や容器フィルムに係る検査を実行することができ、これらの検査の精度を向上することができる。
また、上記外観検査装置を「取着手段によりカバーフィルムが取着された後工程かつ切離手段によりブリスター包装体が切離される前工程」に配置した構成としてもよい。かかる場合、内容物が入れ替わることがない状態で内容物に係る検査を実行したり、シール不良や異物付着などシート部に係る検査を実行したりすることができ、これらの検査の精度を向上することができる。
また、上記外観検査装置を「切離手段によりブリスター包装体が切離された後工程」に配置した構成としてもよい。かかる場合、不良品が混ざっていないかを最終段階で確認することができる。
〔第1実施形態〕
以下、一実施形態について図面を参照しつつ説明する。まずブリスター包装体としてのPTPシートの構成について詳しく説明する。
以下、一実施形態について図面を参照しつつ説明する。まずブリスター包装体としてのPTPシートの構成について詳しく説明する。
図1,2に示すように、PTPシート1は、複数のポケット部2を備えた容器フィルム3と、ポケット部2を塞ぐように容器フィルム3に取着されたカバーフィルム4とを有している。
本実施形態における容器フィルム3は、例えばPP(ポリプロピレン)やPVC(ポリ塩化ビニル)等の比較的硬質で所定の剛性を有する透明の熱可塑性樹脂材料によって形成され、光透過性を有している。一方、カバーフィルム4は、例えばポリプロピレン樹脂等からなるシーラントが表面に設けられた不透明材料(例えばアルミニウム箔等)により構成されている。
また、PTPシート1は、平面視略矩形状に形成されている。PTPシート1には、その長辺方向に沿って所定間隔をあけて配列された5個のポケット部2からなるポケット列が、その短辺方向に所定間隔をあけて2列形成されている。つまり、PTPシート1は、計10個のポケット部2を有している。各ポケット部2には、内容物としての錠剤5が1つずつ収容されている。
PTPシート1〔図1(a)参照〕は、帯状の容器フィルム3及び帯状のカバーフィルム4から形成された帯状のPTPフィルム6〔図1(b)参照〕がシート状に打抜かれることにより製造される。
次に、PTPシート1を製造するブリスター包装機としてのPTP包装機10の概略構成について図3を参照して説明する。
図3に示すように、PTP包装機10の最上流側では、帯状の容器フィルム3の原反がロール状に巻回されている。
ロール状に巻回された容器フィルム3の引出し端側は、ガイドロール13に案内されている。容器フィルム3は、ガイドロール13の下流側において間欠送りロール14に掛装されている。間欠送りロール14は、間欠的に回転するモータに連結されており、容器フィルム3を間欠的に搬送する。
ガイドロール13と間欠送りロール14との間には、容器フィルム3の搬送路に沿って、加熱装置15及びポケット部形成装置16が順に配設されている。そして、加熱装置15によって容器フィルム3が加熱されて、該容器フィルム3が比較的柔軟になった状態において、ポケット部形成装置16によって容器フィルム3の所定位置に複数のポケット部2が成形される(ポケット部形成工程)。加熱装置15及びポケット部形成装置16によって、本実施形態におけるポケット部形成手段が構成される。ポケット部2の形成は、間欠送りロール14による容器フィルム3の搬送動作間のインターバル中に行われる。
間欠送りロール14から送り出された容器フィルム3は、テンションロール18、ガイドロール19及びフィルム受けロール20の順に掛装されている。フィルム受けロール20は、一定回転するモータに連結されているため、容器フィルム3を連続的に且つ一定速度で搬送する。
テンションロール18は、容器フィルム3を弾性力によって緊張する側へ引っ張った状態とされており、前記間欠送りロール14とフィルム受けロール20との搬送動作の相違による容器フィルム3の撓みを防止して容器フィルム3を常時緊張状態に保持する。
ガイドロール19とフィルム受けロール20との間には、容器フィルム3の搬送路に沿って、錠剤充填装置21が配設されている。錠剤充填装置21は、ポケット部2に錠剤5を自動的に充填する充填手段としての機能を有する。錠剤充填装置21は、フィルム受けロール20による容器フィルム3の搬送動作と同期して、所定間隔毎にシャッタを開くことで錠剤5を落下させるものであり、このシャッタ開放動作に伴って各ポケット部2に錠剤5が充填される(充填工程)。
一方、帯状に形成されたカバーフィルム4の原反は、容器フィルム3とは別に、最上流側においてロール状に巻回されている。
ロール状に巻回されたカバーフィルム4の引出し端は、ガイドロール24に案内され、加熱ロール25の方へと案内されている。加熱ロール25は、前記フィルム受けロール20に圧接可能となっており、両ロール20,25間に容器フィルム3及びカバーフィルム4が送り込まれるようになっている。
そして、容器フィルム3及びカバーフィルム4が、両ロール20,25間を加熱圧接状態で通過することで、容器フィルム3にカバーフィルム4が貼着され、ポケット部2がカバーフィルム4で塞がれる(取着工程)。これにより、錠剤5が各ポケット部2に充填された帯状体としてのPTPフィルム6が製造される。加熱ロール25の表面には、シール用の網目状の微細な凸条が形成されており、これが強く圧接することで、強固なシールが実現されるようになっている。フィルム受けロール20及び加熱ロール25により本実施形態における取着手段が構成される。
フィルム受けロール20から送り出されたPTPフィルム6は、テンションロール27及び間欠送りロール28の順に掛装されている。間欠送りロール28は、間欠的に回転するモータに連結されているため、PTPフィルム6を間欠的に搬送する。テンションロール27は、PTPフィルム6を弾性力によって緊張する側へ引っ張った状態とされており、前記フィルム受けロール20と間欠送りロール28との搬送動作の相違によるPTPフィルム6の撓みを防止してPTPフィルム6を常時緊張状態に保持する。
間欠送りロール28から送り出されたPTPフィルム6は、テンションロール31及び間欠送りロール32の順に掛装されている。間欠送りロール32は、間欠的に回転するモータに連結されているため、PTPフィルム6を間欠的に搬送する。テンションロール31は、PTPフィルム6を弾性力によって緊張する側へ引っ張った状態とされており、前記間欠送りロール28,32間でのPTPフィルム6の撓みを防止する。
間欠送りロール28とテンションロール31との間には、PTPフィルム6の搬送路に沿って、スリット形成装置33及び刻印装置34が順に配設されている。スリット形成装置33は、PTPフィルム6の所定位置に切離用スリット(図示略)を形成する機能を有する。また、刻印装置34はPTPフィルム6の所定位置に刻印(図示略)を付す機能を有する。
間欠送りロール32から送り出されたPTPフィルム6は、その下流側においてテンションロール35及び連続送りロール36の順に掛装されている。間欠送りロール32とテンションロール35との間には、PTPフィルム6の搬送路に沿って、シート打抜装置37が配設されている。シート打抜装置37は、PTPフィルム6をPTPシート1単位にその外縁を打抜くシート打抜手段(切離手段)としての機能を有する。
シート打抜装置37によって打抜かれたPTPシート1は、コンベア39によって搬送され、完成品用ホッパ40に一旦貯留される(切離工程)。尚、ここで、PTPシート1は、その長手方向がコンベア幅方向(X方向)に沿うように、かつ、その短手方向がシート搬送方向(Y方向)に沿うように、ポケット部2を上にした状態でコンベア39上に載置され搬送される(図5,6等参照)。
コンベア39の上方位置には、外観検査装置45が配置されている。外観検査装置45は、錠剤5に係る外観異常、例えば異物や汚れの付着、欠けやひびの有無、印刷不良などを検査する。外観検査装置45の詳細については後述する。
尚、ここで外観検査装置45によって不良品と判定された場合、その不良品と判定されたPTPシート1は、完成品用ホッパ40へ送られることなく、図示しない排出手段としての不良シート排出機構によって別途排出されることとなる。
前記連続送りロール36の下流側には、裁断装置41が配設されている。そして、シート打抜装置37による打抜き後に帯状に残った残材部(スクラップ部)を構成する不要フィルム部42は、前記テンションロール35及び連続送りロール36に案内された後、裁断装置41に導かれる。なお、前記連続送りロール36は従動ロールが圧接されており、前記不要フィルム部42を挟持しながら搬送動作を行う。裁断装置41では、不要フィルム部42を所定寸法に裁断しスクラップ処理する機能を有する。このスクラップはスクラップ用ホッパ43に貯留された後、別途廃棄処理される。
尚、上記各ロール14,20,28,31,32などは、そのロール表面とポケット部2とが対向する位置関係となっているが、間欠送りロール14等の表面には、ポケット部2が収容される凹部が形成されているため、ポケット部2が潰れてしまうことがない。また、ポケット部2が間欠送りロール14等の各凹部に収容されながら送り動作が行われることで、間欠送り動作や連続送り動作が確実に行われる。
PTP包装機10の概略は以上のとおりであるが、以下に上記外観検査装置45の構成について図面を参照して詳しく説明する。図4は外観検査装置45の機能構成を示すブロック図である。
外観検査装置45は、コンベア39上のPTPシート1に対し光を照射可能な照明ユニット52と、該光を照射されたPTPシート1を撮像可能なカメラユニット53と、これら両ユニット52,53の駆動制御をはじめ、各種デバイスの駆動制御や画像処理、演算処理等を実行可能な制御装置54とを備えている。
ここで、照明ユニット52及びその制御に係る制御装置54の各種機能部によって、本実施形態における外観検査用照明装置が構成されることとなる。つまり、本実施形態に係る外観検査装置45は、外観検査用照明装置と、撮像手段として撮像装置(カメラユニット53及びその制御に係る制御装置54の各種機能部)とが機能的に一体に設けられた構成となっている。
図5,6に示すように、照明ユニット52は、中空ボックス状のハウジング61を備えている。ハウジング61内には、照明部としての15個の照明パネルL1~L15が配置されている。
具体的には、シート搬送方向下流側(図5右側)のハウジング61の底部近傍に配置された第1照明パネルL1と、シート搬送方向上流側(図5左側)のハウジング61の底部近傍に配置された第2照明パネルL2と、コンベア幅方向一端側(図6左側)のハウジング61の底部近傍に配置された第3照明パネルL3と、コンベア幅方向他端側(図6右側)のハウジング61の底部近傍に配置された第4照明パネルL4と、第1照明パネルL1の上方位置に配置された第5照明パネルL5と、第2照明パネルL2の上方位置に配置された第6照明パネルL6と、第3照明パネルL3の上方位置に配置された第7照明パネルL7と、第4照明パネルL4の上方位置に配置された第8照明パネルL8と、第5照明パネルL5の内側斜め上方位置に配置された第9照明パネルL9と、第6照明パネルL6の内側斜め上方位置に配置された第10照明パネルL10と、第9照明パネルL9の内側斜め上方位置に配置された第11照明パネルL11と、第10照明パネルL10の内側斜め上方位置に配置された第12照明パネルL12と、第11照明パネルL11の上方位置に配置された第13照明パネルL13と、コンベア幅方向一端側のハウジング61の天井部近傍に配置された第14照明パネルL14と、コンベア幅方向他端側のハウジング61の天井部近傍に配置された第15照明パネルL15とを備えている。
図7に示すように、各照明パネルL1~L15は、それぞれ数十個(場合によって百個以上)のLED(発光ダイオード)63がプリント基板64上にマトリクス状に実装されたLED基板により構成されている。
各照明パネルL1~L15は、それぞれLED63の実装面がハウジング61内側に向くように配置されており、各照明パネルL1~L15から出射された光は、ハウジング61の底部中央に形成された開口部61aを介して、コンベア39上の所定範囲(以下、「検査エリア」という。)に対し直接的又は間接的に照射される。但し、第13照明パネルL13から出射された光は、ハーフミラーHMに反射して、鉛直方向(Z方向)下向きに照射される。
各照明パネルL1~L15は、それぞれ個別に調光可能(明るさ調整)に構成されている。詳しくは、LED63の発光輝度を変化させることにより、その明るさを256階調に調節可能となっている。
これにより、照明ユニット52は、複数の照明パネルL1~L15により作り出される所定の照明状態で検査エリア内に位置するPTPシート1を照明することができる。
カメラユニット(以下、単に「カメラ」という。)53は、照明ユニット52のハウジング61の上方位置に配置されており、ハウジング61の天井部中央に形成された開口部61b、及び、ハウジング61の底部中央に形成された上記開口部61aを介して、検査エリア内を撮像可能となっている。
尚、図示は省略するが、カメラ53は、CCD(Charge Coupled Device)型イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサ等の撮像素子と、該撮像素子に対し検査エリア内に位置するPTPシート1の像を結像させる光学系(レンズユニットや絞りなど)とを有している。
本実施形態では、照明ユニット52から照射される光が、容器フィルム3越しに錠剤5及びカバーフィルム4を照らし、錠剤5及びカバーフィルム4から反射した光が、カメラ53によって撮像され、画像データが生成されることとなる。
そして、カメラ53によって取得された画像データは、該カメラ53の内部においてデジタル信号に変換された上で、デジタル信号の形で制御装置54(後述の画像取得部74)に対し出力される。
制御装置54は、所定の演算処理を実行するCPU(Central Processing Unit)、各種プログラムや固定値データ等を記憶するROM(Read Only Memory)、各種演算処理の実行に際して各種データが一時的に記憶されるRAM(Random Access Memory)及びこれらの周辺回路等を含んだコンピュータからなる。
そして、制御装置54は、CPUが各種プログラムに従って動作することで、後述するメイン制御部71、照明制御部72、カメラ制御部73、画像取得部74、画像処理部75、学習部76、調光パラメータ調整部77、調光パラメータ設定部78、検査部79などの各種機能部として機能する。
但し、上記各種機能部は、上記CPU、ROM、RAMなどの各種ハードウェアが協働することで実現されるものであり、ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがICなどのハードウェア回路により実現されてもよい。
さらに、制御装置54には、キーボードやマウス、タッチパネル等で構成される入力部55、液晶ディスプレイなどの表示画面を有する表示部56と、各種データやプログラム、演算結果等を記憶可能な記憶部57、外部と各種データを送受信可能な通信部58などが設けられている。
ここで、制御装置54を構成する上記各種機能部について詳しく説明する。メイン制御部71は、外観検査装置45全体の制御を司る機能部であり、照明制御部72やカメラ制御部73など他の機能部と各種信号を送受信可能に構成されている。
照明制御部72は、照明ユニット52を駆動制御する機能部であり、本実施形態における照明制御手段を構成する。照明制御部72は、後述するように照明パネルL1~L15それぞれに対応して調光パラメータ設定部78に設定される調光パラメータ値に基づき、照明ユニット52の照明パネルL1~L15を駆動制御し、該調光パラメータ値に対応する明るさレベルで、各照明パネルL1~L15を点灯させる。
本実施形態では、パルス幅変調(PWM)によって所定期間(例えば1/60秒間)中におけるLED63の点灯状態にある時間割合(デューティ比)を変化させることで、照明パネルL1~L15毎に個別に調光(明るさ調整)することができ、256階調の明るさ表現が可能となっている。この際、1チャンネルとして制御する1つの照明パネルL1~L15に搭載された全てのLED63は同一輝度で発光する。
カメラ制御部73は、カメラ53を駆動制御する機能部であり、メイン制御部71からの指令信号に基づき撮像タイミングなどを制御する。
画像取得部74は、カメラ53により撮像され取得された画像データ(実画像データ)を取り込む機能部である。
画像処理部75は、画像取得部74により取り込まれたPTPシート1の実画像データに所定の画像処理を行う機能部であり、本実施形態における画像処理手段を構成する。例えば、後述する学習処理においては、ニューラルネットワーク90(図8参照)の学習に用いる教師データとなる教師画像データを生成する。また、検査処理においては、二値化処理した二値化画像データなどを生成する。
学習部76は、教師画像データ等を用いてニューラルネットワーク90の学習を行い、AI(Artificial Intelligence)モデル100を生成する機能部である。AIモデル100は、後述するように照明ユニット52の照明状態の最適化処理に用いられる学習モデルであり、ニューラルネットワーク90と、その学習により獲得した学習情報とが組み合わされて構成されている。
ここで、ニューラルネットワーク90の構造について図8の模式図を参照して説明する。図8に示すように、ニューラルネットワーク90は、入力層91、中間層92及び出力層93を有している。尚、図8では、説明を容易にするため、中間層92が1つの場合を例示しているが、中間層92の層数は1つに限定されず、2つ以上であってもよい。
入力層91、中間層92及び出力層93には、それぞれニューロンに相当するノード(ユニット)94が1つ又は複数存在する。勿論、各層91,92,93のノード数についても、図8に例示した数に限定されるものではなく、入出力する情報や特徴量等に応じて任意に設定可能である。
例えば本実施形態における入力層91のノード数は、制御対象となる照明部の数(チャンネル数)に対応している。つまり、照明パネルL1~L15に対応して15個存在することとなる。また、本実施形態における出力層93のノード数は、後述する予測画像データの画素数に対応しており、出力層93の各ノード94からは、該予測画像データを構成する各画素の情報(輝度値等)が出力値として出力される。
各層91,92,93の各ノード94は、それぞれ隣接する前後の層に存在するノード94と、パラメータとなる結合荷重(重み及びバイアス)により結ばれている。
そして、入力層91の各ノード94に与えられた入力値は、それぞれ結合荷重で重み付けされ、中間層92の各ノード94に与えられる。その中間層92の各ノード94では、それぞれ重み付けられた入力値(重みと入力値の積)の総和を活性化関数により変換して出力値が算出され、それが出力層93の各ノード94に与えられる。
中間層92と同様、出力層93の各ノード94では、それぞれ重み付けられた入力値の総和を活性化関数により変換して出力値が算出され、それがニューラルネットワーク90の出力値として出力される。
このように、ニューラルネットワーク90では、入力層91に所定の情報が与えられると、その内容が中間層92を通して変換されつつ出力層93へと伝達され、出力層93より予測結果に相当する情報が出力されることとなる。
尚、各ノード94間を結合する結合荷重(パラメータ)は、後述するように所定の学習アルゴリズムによって学習され更新される。そして、学習によって更新された各結合荷重は、ニューラルネットワーク90と共に、学習済みの学習モデルを構成する学習情報として記憶部57に記憶される。
調光パラメータ調整部77は、AIモデル100を用いて各照明パネルL1~L15の調光パラメータ値(明るさレベル)をより最適な値に調整する機能部であり、本実施形態におけるレベル特定手段を構成する。
調光パラメータ設定部78は、照明制御部72が照明ユニット52を駆動制御する際に参酌する各照明パネルL1~L15に係る調光パラメータ値を個別に記憶する機能部である。
検査部79は、検査用の画像データを基に、対象物としてのPTPシート1に含まれる所定の検査対象としての錠剤5について良否判定を行う機能部であり、本実施形態における検査手段を構成する。
記憶部57は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等で構成され、例えばAIモデル100(ニューラルネットワーク90及びその学習情報)を記憶する所定の記憶領域を有している。かかる記憶領域が本実施形態におけるネットワーク格納手段を構成する。
通信部58は、例えば有線LAN(Local Area Network)や無線LAN等の通信規格に準じた無線通信インターフェースなどを備え、外部と各種データを送受信可能に構成されている。例えば検査部79により行われた良否判定の結果などが通信部58を介して、PTP包装機10の不良シート排出機構などに対し送信される。
次に、外観検査装置45によって行われるニューラルネットワーク90の学習処理について図9,10を参照して説明する。図9はニューラルネットワーク90の学習処理の流れを示すフローチャートであり、図10はニューラルネットワーク90の学習処理の流れを説明するためのブロック図である。尚、このニューラルネットワーク90の学習処理を実行する各種機能により本実施形態における学習手段が構成される。
所定の学習プログラムの実行に基づき、学習処理が開始されると、はじめにステップS101において、メイン制御部71からの指令に基づき、学習部76が、未学習のニューラルネットワーク90を準備する。例えば予め記憶部57等に格納されているニューラルネットワーク90を読み出す。又は、記憶部57等に格納されているネットワーク構成情報(例えばニューラルネットワークの層数、各層のノード数、各ノード間の結合荷重など)に基づいて、ニューラルネットワーク90を生成する。
ステップS102では、メイン制御部71が、複数の照明パネルL1~L15それぞれの明るさレベル(LED63の発光輝度レベル)に対応するレベル情報としての調光パラメータ値(「0」~「255」のうちのいずれかの値)をランダムに選出し、調光パラメータ設定部78に設定する。
ステップS103では、教師画像データを取得する。具体的には、メイン制御部71からの指令に基づき、照明制御部72が、ステップS102において調光パラメータ設定部78に設定された調光パラメータ値に対応する明るさレベルで、照明ユニット52の各照明パネルL1~L15を点灯させる。続いて、メイン制御部71からの指令に基づき、カメラ制御部73がカメラ53を駆動させる。これにより、停止中のコンベア39の上記検査エリア内に予め載置され、複数の照明パネルL1~L15により作り出される照明状態で照明された良品のPTPシート1を撮像する。そして、カメラ53により取得された実画像データを画像取得部74が取り込む。
画像取得部74により取り込まれたPTPシート1の実画像データは、画像処理部75において所定の画像処理(例えばトリミングや傾き補正など)が施された上で、教師画像データとして学習部76に入力される。
ステップS104では、予測画像データを取得する。尚、ステップS104の処理は、上記ステップS103の処理と並行して行われるようにしてもよい。
具体的には、メイン制御部71からの指令に基づき、学習部76が、ステップS102において調光パラメータ設定部78に設定された各照明パネルL1~L15に係る調光パラメータ値を入力値として、ニューラルネットワーク90の入力層91の各ノード94に与え、これにより出力層93の各ノード94から出力される出力値をまとめて予測画像データとして取得する。
尚、ここで取得される予測画像データは、調光パラメータ設定部78に設定された調光パラメータ値に対応する明るさレベルでそれぞれ発光する複数の照明パネルL1~L15により作り出される照明状態で照明されるPTPシート1を撮像した場合に取得され得る画像データとしてニューラルネットワーク90が予測したものであり、学習の程度によりその精度は異なる。
続くステップS105では、学習部76が、ステップS103においてカメラ53により取得された実画像データである教師画像データと、ステップS104においてニューラルネットワーク90により出力された予測画像データとを比較し、その誤差が十分に小さいか否か(所定の閾値以下であるか否か)を判定する。
ここで、その誤差が十分に小さい場合には、ニューラルネットワーク90及びその学習情報(後述する更新後の結合荷重等)をAIモデル100として記憶部57に格納し、本学習処理を終了する。
一方、その誤差が十分に小さくない場合には、ステップS106においてネットワーク更新処理(ニューラルネットワーク90の学習)を行った後、再びステップS102へ戻り、上記一連の処理を繰り返す。
具体的に、ステップS106のネットワーク更新処理では、公知の学習アルゴリズムである誤差逆伝播法(Backpropagation)を用いて、ニューラルネットワーク90の各ノード間の結合荷重(パラメータ)に対する勾配を求め、教師画像データと予測画像データの誤差が小さくなるように、該勾配に基づき各ノード間の結合荷重をより適切なものに更新する。
これらの処理を何度も繰り返すことにより、ニューラルネットワーク90は、複数の照明パネルL1~L15それぞれの調光パラメータ値と、これに対応する明るさレベルでそれぞれ発光する複数の照明パネルL1~L15により作り出される照明状態で照明されるPTPシート1を撮像した場合に取得され得る画像データとの相関関係を学習し、より正確な予測画像データを出力することができるようになる。
次に、外観検査装置45によって行われる照明ユニット52の照明状態の最適化処理について図11,12を参照して説明する。図11は照明状態の最適化処理の流れを示すフローチャートであり、図12は照明状態の最適化処理の流れを説明するためのブロック図である。
所定の最適化プログラムの実行に基づき、最適化処理が開始されると、まずステップS201において、メイン制御部71からの指令に基づき、調光パラメータ調整部77が、複数の照明パネルL1~L15それぞれに対応するパラメータ初期値を256段階の調光パラメータ値(「0」~「255」)の中からランダムに選出し、パラメータ候補値として所定の候補値記憶エリアに記憶する。
ステップS202では、メイン制御部71からの指令に基づき、調光パラメータ調整部77が、上記候補値記憶エリアに記憶された調光パラメータ値(ステップS201においてパラメータ初期値として選出した調光パラメータ値、又は、後述するステップS205において補正された調光パラメータ値)を入力値として、AIモデル100(学習済みのニューラルネットワーク90)の入力層91の各ノード94に与え、これにより出力層93の各ノード94から出力される出力値をまとめて予測画像データとして取得する。
ステップS203において、調光パラメータ調整部77は、ステップS202においてAIモデル100により出力された予測画像データと、理想的なデータとして予め記憶部57に記憶された理想画像データとを比較して、その誤差を算出すると共に、該誤差をAIモデル100の入力層91まで誤差逆伝播させ、上記入力値(上記候補値記憶エリアに記憶された調光パラメータ値)に対する勾配を求める。尚、この際、ニューラルネットワーク90の更新(学習)は行わない。ここで、上記理想画像データが本実施形態における目標画像データに相当する。また、予測画像データと理想画像データとを比較し、その誤差を算出する機能により本実施形態における比較手段が構成される。
続くステップS204では、調光パラメータ調整部77が、ステップS203において算出した誤差及び勾配がそれぞれ十分に小さいか否か(それぞれ所定の閾値以下であるか否か)を判定する。
ここで、その誤差及び勾配の両者が十分に小さい場合には、上記候補値記憶エリアに記憶された調光パラメータ値を調光パラメータ設定部78に設定し、本最適化処理を終了する。
一方、その誤差及び勾配のうち一方が十分に小さくない場合には、ステップS205において、調光パラメータ調整部77は、ステップS203において算出した勾配を基に、各照明パネルL1~L15に対応する入力値(上記候補値記憶エリアに記憶された調光パラメータ値)をそれぞれ補正(更新)する。その後、再びステップS202へ戻り、上記一連の処理を繰り返す。
これらの処理を何度も繰り返すことにより、上記候補値記憶エリアに記憶される調光パラメータ値(パラメータ候補値)が、目標とする照明状態に近い照明状態となり得る理想値に近づいていくこととなる。
次に、外観検査装置45によって行われる錠剤5の検査処理について図13のフローチャートを参照して説明する。かかる検査処理は、シート打抜装置37によって打抜かれたPTPシート1がコンベア39によって上記検査エリアに搬送される毎に実行される処理である。
所定の検査プログラムの実行に基づき、検査処理が開始されると、まずステップS301において、パラメータ読込処理を実行する。具体的には、メイン制御部71からの指令に基づき、照明制御部72が、調光パラメータ設定部78に設定された各照明パネルL1~L15に対応する調光パラメータ値を読み込む。
ステップS302では、照明処理を実行する。具体的には、メイン制御部71が、コンベア39に設けられた図示しないエンコーダからの信号に基づき、該PTPシート1が上記検査エリアに到達した判断すると、照明制御部72に対し所定の信号を出力する。これに基づき、照明制御部72は、所定のタイミングで、ステップS301において読み込んだ各調光パラメータ値に対応する明るさレベルで、照明ユニット52の各照明パネルL1~L15を点灯させる。
これにより、検査エリア内に位置するPTPシート1が、複数の照明パネルL1~L15により作り出される所定の照明状態で照明された状態となる。
続くステップS303では、撮像処理を実行する。具体的には、メイン制御部71からの指令に基づき、カメラ制御部73が所定のタイミングでカメラ53を駆動させる。これにより、検査エリア内に位置するPTPシート1(10個の錠剤5を含む)を撮像する。これにより、複数の照明パネルL1~L15により作り出される所定の照明状態で照明されたPTPシート1を含む輝度画像データが取得される。そして、この輝度画像データは、画像取得部74に取り込まれる。
ステップS304では、画像処理を実行する。具体的には、メイン制御部71からの指令に基づき、画像処理部75が、ステップS303にて画像取得部74に取り込まれた輝度画像データに対し所定の画像処理を行い、検査用の画像データを生成する。
本実施形態では、画像取得部74に取り込まれた輝度画像データに対し、例えばシェーディング補正やマスキング処理などの画像処理を行った後、所定の閾値に基づき二値化処理を行い、二値化画像データを生成する。ここでは、前記閾値以上の明度を有する部分が「1(明)」、前記閾値未満の部分が「0(暗)」として、輝度画像データを二値化画像データに変換する。
ステップS305では、良否判定処理を行う。具体的には、メイン制御部71からの指令に基づき、検査部79が、ステップS304にて生成された検査用の画像データを基に、対象物としてのPTPシート1に含まれる所定の検査対象としての10個の錠剤5について良否判定を行う。以下、異物検査(異物や汚れの付着の検査)を一例として良否判定の流れについて説明するが、ここでは、錠剤5に係る外観異常として、その他、欠けやひびの有無、印刷不良などについても検査が行われる。
本実施形態では、まずステップS304にて生成された二値化画像データに対して、それぞれ塊処理を実行する。この塊処理では、二値化画像データの「0(暗)」及び「1(明)」について各連結成分を特定すると共に、それぞれの連結成分についてラベル付けを行う。
そして、検査部79は、二値化画像データから求めた「1(明)」の連結成分の中から、錠剤5に相当する連結成分を錠剤領域として特定し、この錠剤領域内の異物の面積を算出する。すなわち二値化画像データから求めた「0(暗)」の連結成分のうち、錠剤領域の座標に含まれる、あるいは連なるものを抽出し、その面積つまり異物の面積を求め、各異物の面積が、予め定められた判定基準値よりも小さいか否かを判定する。
ここで、検査部79は、1枚のPTPシート1に対応する二値化画像データにおいて、10個の錠剤5すべてにおいて異物の面積が判定基準値よりも小さい場合には、該PTPシート1を良品と判定すると共に、この結果を記憶部57に記憶し、本処理を終了する。
一方、1枚のPTPシート1に含まれる10個の錠剤5のうち、異物の面積が判定基準値よりも大きいものが1つでもある場合には、該PTPシート1を不良品と判定し、その結果を表示部56に表示したり、その旨を通信部58を介して、PTP包装機10の不良シート排出機構などに対し送信し、本処理を終了する。
以上詳述したように、本実施形態によれば、AIモデル100(ニューラルネットワーク90)とその誤差逆伝播を利用することで、個々に明るさ調整可能な複数の照明パネルL1~L15によって作り出され得る膨大な組合せパターンの照明状態の中から、比較的短時間で外観検査により最適な照明状態を自動的に見つけ出し、作り出すことができる。結果として、検査効率の飛躍的な向上を図ることができる。
加えて、人には感知できない程度の微妙な照明状態の違い(但し、検査結果には影響を及ぼすおそれがあるほどの違い)をも識別し、より最適な照明状態を作り出すことができる。結果として、検査精度の飛躍的な向上を図ることができる。
また、作業者の経験や感覚に頼ることなく、より最適な照明状態を再現性良く見つけ出し、作り出すことができる。結果として、時間的・場所的な制約を受けることなく、利便性や汎用性の向上を図ることができる。
さらに、本実施形態では、ニューラルネットワーク90の学習を行う学習部76を備えている。
これにより、外部において学習を行った学習済みのニューラルネットワーク90を格納した場合よりも、照明ユニット52毎の個体差を考慮したニューラルネットワーク90の学習を行うことができ、照明ユニット52毎にニューラルネットワーク90がより適切な処理を行うことができるようになる。結果として、照明ユニット52毎に、より最適な照明状態を作り出し、さらなる検査精度の向上を図ることができる。
〔第2実施形態〕
次に第2実施形態について図面を参照して詳しく説明する。但し、上述した第1実施形態と重複する部分については、同一の部材名称、同一の符号を用いる等してその詳細な説明を省略するとともに、以下には第1実施形態と相違する部分を中心として説明することとする。
次に第2実施形態について図面を参照して詳しく説明する。但し、上述した第1実施形態と重複する部分については、同一の部材名称、同一の符号を用いる等してその詳細な説明を省略するとともに、以下には第1実施形態と相違する部分を中心として説明することとする。
上記第1実施形態では、先にニューラルネットワーク90の学習処理を実行し、その後、学習済みのニューラルネットワーク90(AIモデル100)を用いて、照明ユニット52の照明状態の最適化処理を実行する構成となっている。
これに対し、第2実施形態においては、未学習のニューラルネットワーク90に対し学習処理と照明状態の最適化処理とを交互に実行する構成となっている。
以下、外観検査装置45によって行われる学習・最適化処理について図14,15を参照して説明する。図14は学習・最適化処理の流れを示すフローチャートであり、図15は学習・最適化処理の流れを説明するためのブロック図である。
所定のプログラムの実行に基づき、学習・最適化処理が開始されると、はじめにステップS401において、メイン制御部71からの指令に基づき、学習部76が、未学習のニューラルネットワーク90を準備する。
ステップS402では、メイン制御部71からの指令に基づき、調光パラメータ調整部77が、複数の照明パネルL1~L15それぞれに対応するパラメータ初期値を、256段階の調光パラメータ値(「0」~「255」)の中からランダムに選出し、パラメータ候補値として所定の候補値記憶エリアに記憶する。
ステップS403では、メイン制御部71が、上記候補値記憶エリアに記憶された調光パラメータ値(パラメータ候補値)の周辺値を任意に(例えば周辺値の中からランダムに)選出し、調光パラメータ設定部78に設定する。
尚、上記候補値記憶エリアに記憶される調光パラメータ値(パラメータ候補値)は、本処理の開始直後においては、ステップS402において選出されたパラメータ初期値であり、その後においては、後述するステップS408において補正(更新)された調光パラメータ値である。
ステップS404では、教師画像データを取得する。具体的には、メイン制御部71からの指令に基づき、照明制御部72が、ステップS403において調光パラメータ設定部78に設定された調光パラメータ値に対応する明るさレベルで、照明ユニット52の各照明パネルL1~L15を点灯させる。続いて、メイン制御部71からの指令に基づき、カメラ制御部73がカメラ53を駆動させる。これにより、停止中のコンベア39の上記検査エリア内に予め載置され、複数の照明パネルL1~L15により作り出される照明状態で照明された良品のPTPシート1を撮像する。そして、カメラ53により取得された実画像データを画像取得部74が取り込む。
画像取得部74により取り込まれたPTPシート1の実画像データは、画像処理部75において所定の画像処理が施された上で、教師画像データとして学習部76に入力される。
ステップS405では、予測画像データを取得する。具体的には、メイン制御部71からの指令に基づき、学習部76が、ステップS403において調光パラメータ設定部78に設定された各照明パネルL1~L15に係る調光パラメータ値(パラメータ候補周辺値)を入力値として、ニューラルネットワーク90の入力層91の各ノード94に与え、これにより出力層93の各ノード94から出力される出力値をまとめて予測画像データとして取得する。
尚、この際、本実施形態ではステップS403において調光パラメータ設定部78に設定された各調光パラメータ値(パラメータ候補周辺値)は、新たなパラメータ候補値として上記候補値記憶エリアに上書きされた上で、ニューラルネットワーク90に入力される。
続くステップS406では、学習部76が、ステップS404においてカメラ53により取得された実画像データである教師画像データと、ステップS405においてニューラルネットワーク90により出力された予測画像データとを比較して、その誤差(以下、「学習誤差」という。)を算出すると共に、誤差逆伝播法を用いて、ネットワーク更新処理を行う。このネットワーク更新処理では、ニューラルネットワーク90の各ノード間の結合荷重(パラメータ)に対する勾配を求め、教師画像データと予測画像データの誤差が小さくなるように、該勾配に基づき各ノード間の結合荷重をより適切なものに更新する。
ステップS407では、調光パラメータ調整部77が、ステップS405においてニューラルネットワーク90により出力された予測画像データと、理想的なデータとして予め記憶部57に記憶された理想画像データとを比較して、その誤差(以下、「予測誤差」という。)を算出すると共に、該予測誤差をニューラルネットワーク90の入力層91まで誤差逆伝播させ、上記入力値(上記候補値記憶エリアに記憶された調光パラメータ値)に対する勾配を求める。尚、この際、ニューラルネットワーク90の更新(学習)は行わない。ここで、上記理想画像データが本実施形態における目標画像データに相当する。また、予測画像データと理想画像データとを比較し、その誤差を算出する機能により本実施形態における比較手段が構成される。
ステップS408では、調光パラメータ調整部77が、ステップS407において算出した勾配を基に、各照明パネルL1~L15に対応する入力値(上記候補値記憶エリアに記憶された調光パラメータ値)をそれぞれ補正(更新)する。
ステップS409では、メイン制御部71が、ステップS406において算出した学習誤差、並びに、ステップS407において算出した予測誤差及び勾配がそれぞれ十分に小さいか否か(それぞれ所定の閾値以下であるか否か)を判定する。
ここで、学習誤差、並びに、予測誤差及び勾配の三者が十分に小さい場合には、上記候補値記憶エリアに記憶された調光パラメータ値(パラメータ候補値)を調光パラメータ設定部78に設定し、本処理を終了する。
一方、学習誤差、並びに、予測誤差及び勾配の三者のうち1つが十分に小さくない場合には、再びステップS402へ戻り、上記一連の処理を繰り返す。
このように、調光パラメータ値の更新(補正)と、ニューラルネットワーク90の更新(学習)とを交互に繰り返していくことにより、調光パラメータ設定部78に設定される調光パラメータ値が、目標とする照明状態に近い照明状態となり得る理想値に近づいていくこととなる。つまり、ニューラルネットワーク90を学習しながら、より最適な照明状態を作り出すことができる。
以上詳述したように、本実施形態によれば、上記第1実施形態と同様の作用効果が奏される。
本実施形態では、照明パネルL1~L15(LED63)の劣化等に起因した照明状態の変化など、現実世界で条件が変化した場合にも、その変化に追従することができ、さらなる検査精度の向上を図ることができる。
例えば複数の照明パネルL1~L15のうちの一部や、所定の照明パネルL1等に実装された数十個のLED63のうちの一部など、一部の光源が劣化(輝度低下や点灯不能など)した場合、その劣化した光源の位置によって照明状態も変化し得るため、これを考慮した明るさ調整も行うことができる。
尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。
(a)上記各実施形態では、対象物としてのPTPシート1に含まれる内容物である錠剤5を所定の検査対象(検査対象部位)として外観検査を行う構成となっているが、外観検査に供される対象物や内容物、検査対象(検査対象部位)は、これらに限定されるものではない。
(a-1)例えばPTPシート1の構成(ポケット部2の形状や配列、個数など)に関しては、上記各実施形態に限定されるものではなく、異なる他の構成を採用してもよい。例えば3列12個のポケット部を有するタイプをはじめ、様々な配列、個数からなるPTPシートを採用してもよい。
勿論、PTPシートに限らず、ブリスターパックなど、異なる他のブリスター包装体を、外観検査に供される対象物としてもよいし、ブリスター包装体とは異なる物品を、外観検査に供される対象物としてもよい。
(a-2)上記各実施形態では、内容物である錠剤5の態様例として、中心部と周縁部とで厚みが異なる平面視円形状の素錠、いわゆるレンズ錠を例示しているが、錠剤の種類や形状等は、これに限られるものではない。
例えば、表面部に割線を有する錠剤や、周縁部に面取り部を有する円盤形状の平錠、平面視非円形の三角錠や四角錠、カプセル錠、糖衣錠、ソフトカプセルなどであってもよい。
また、外観検査に供される内容物の種別等に関しても、錠剤(薬品)に限らず、サプリメント、食品、電子部品、電子機器、医療機器など、異なるものであってもよい。
(a-3)容器フィルム3やカバーフィルム4など、包装材の形状や材質等は、上記各実施形態に限定されるものではなく、異なる他の構成を採用してもよい。
例えば容器フィルム3がアルミラミネートフィルムなど、アルミニウムを主材料とした金属材料により形成された構成としてもよい。但し、PTPシート1の打抜き後、容器フィルム3を介して錠剤5の外観検査を行う場合には、容器フィルム3が透明素材により構成されていることが必要となる。従って、このように容器フィルム3が遮光材料(不透明材料)により形成されている場合には、後述するように容器フィルム3に対しカバーフィルム4が取着される前工程において、ポケット部2の開口側から錠剤5を照明及び撮像し検査を行うこととなる。
(a-4)上記各実施形態では、PTPシート1のうち、内容物である錠剤5に係る検査のみ行う構成となっているが、これに限らず、包装材であるシート部に係る検査(例えば異物付着や粉噛み、シール不良、印刷不良、刻印不良、打ち抜き不良など)を実行する構成としてもよい。
(b)上記各実施形態では、PTPフィルム6からPTPシート1が打抜かれた後工程において、コンベア39によって搬送されているPTPシート1のポケット部2(容器フィルム3)越しに錠剤5の外観検査が行われる構成となっている。
(b-1)これに限らず、容器フィルム3に対しカバーフィルム4が取着された後工程かつPTPフィルム6からPTPシート1が打抜かれる前工程において、PTPフィルム6のポケット部2(容器フィルム3)越しに錠剤5の外観検査が行われる構成としてもよい。かかる場合でも、上記各実施形態と同様、錠剤5が入れ替わることがない状態で検査を実行することができ、検査精度の向上を図ることができる。
(b-2)また、ポケット部2に錠剤5が充填された後工程かつ容器フィルム3に対しカバーフィルム4が取着される前工程において、錠剤5の外観検査が行われる構成としてもよい。
ここで、容器フィルム3が透明材料により形成されている場合には、ポケット部2(容器フィルム3)越しに錠剤5を照明及び撮像し検査を行う構成としてもよいし、ポケット部2の開口側から錠剤5を照明及び撮像し検査を行う構成としてもよい。
ポケット部2の開口側から検査を行う方が、ポケット部2(容器フィルム3)を介さず、遮るものがない状態で直接、錠剤5を照明及び撮像することができるため、個々の錠剤5の検査精度に関しては向上する一方、錠剤5が入れ替わるおそれがあるため、全体として良品錯誤率や不良品錯誤率が増加するおそれがある。
(c)上記各実施形態では、外観検査装置45がPTP包装機10内に設けられた構成(インライン)となっている。
(c-1)これに代えて、PTP包装機10とは別に、オフラインでPTPシート1の検査を行う装置として外観検査装置45を備えた構成としてもよい。かかる場合、PTPシート1を搬送可能な搬送手段を外観検査装置45に備えた構成としてもよい。
(c-2)また、オフラインで検査を行う場合には、PTPシート1を連続搬送せず、停止した状態で検査を行う構成としてもよい。但し、PTPシート1、又は、PTPフィルム6若しくは容器フィルム3を連続搬送しつつ、インラインで検査を実行した方が生産性の向上を図る上では好ましい。
(d)外観検査装置45に係る構成は、上記各実施形態に限定されるものではなく、他の構成を採用してもよい。
(d-1)例えば上記各実施形態に係る外観検査装置45は、外観検査用照明装置(照明ユニット52及びその制御機能)と、撮像装置(カメラユニット53及びその制御機能)とが機能的に一体に設けられた構成となっている。
これに限らず、外観検査用照明装置や撮像装置が外観検査装置とは機能的に別体で設けられた構成としてもよい。ここで撮像機能を有しない外観検査用照明装置においては、外部の撮像手段により取得された画像データ等を入力して、これを基に調光パラメータ値の更新や、ニューラルネットワーク90の更新を行う構成としてもよい。
(d-2)上記各実施形態では、特に言及していないが、対象物(PTPシート1等)を1つずつ撮像して検査を行う構成のみならず、照明ユニット52による同一の照明状態の下で、複数の対象物(対象範囲)に対し同時に光を照射して撮像し得られる画像データを基に各対象物について検査を行う構成としてもよい。
かかる場合、所定の照明パネルL1等の近くに位置する対象物では、該照明パネルL1等から照射される光が強くなり、遠くにある対象物では、照射される光が弱くなる。このため、複数の照明パネルL1~L15それぞれから対象物までの距離を考慮して、最適な照明状態を生成する必要がある。
(e)照明部に係る構成は、上記各実施形態に限定されるものではない。上記各実施形態では、光源となる複数のLED63を実装した照明パネルL1~L15が照明部として採用されている。
(e-1)例えば上記各実施形態に係る照明ユニット52では、15個の照明パネルL1~L15が設けられているが、照明部の数や配置等は、これに限定されるものではなく、他の構成を採用してもよい。例えば環状のリング照明を採用してもよい。
(e-2)また、上記各実施形態では、特に言及していないが、各照明パネルL1~L15において、例えばLED63から出射される光を拡散させ、輝度ムラを抑制するための拡散カバーや、一部の光だけを通過させるフィルタなどを備えた構成としてもよい。
(e-3)上記各実施形態では、特に言及していないが、例えば各照明パネルL1~L15が、互いに発光色の異なる複数種の光源(例えば赤(R)・緑(G)・青(B)の各LED63)を実装し、各種有色光や白色光を照射可能に構成されると共に、各色の光源毎に発光輝度レベルを調整して照明状態を制御可能な構成としてもよい。勿論、可視光に限定されず、赤外光や近赤外光などを照射可能な光源を用いる構成としてもよい。
(e-4)照明部の光源は、LED63に限定されるものではなく、調光可能な光源であれば、他の光源を採用してもよい。例えば蛍光灯やランプなどを採用してもよい。
(f)照明部の明るさ調整(調光)方法やその階調は、上記各実施形態に限定されるものではない。
(f-1)上記各実施形態では、256階調の明るさ表現が可能となっているが、これに限らず、例えば128階調で明るさ表現可能な構成としてもよい。
(f-2)上記各実施形態では、パルス幅変調(PWM)によって、各照明パネルL1~L15を調光可能な構成となっている。これに限らず、例えば各照明パネルL1~L15(光源)へ供給する電流や電圧の大きさを制御することにより、各照明パネルL1~L15の明るさを調整可能な構成としてもよい。
または、LED63から出射された光が所定のフィルタを介して対象物へ照射される構成の下、該フィルタの透過率を制御することにより、各照明パネルL1~L15の明るさを調整可能な構成としてもよい。
(g)ニューラルネットワーク90の構成及びその学習方法は、上記各実施形態に限定されるものではない。
(g―1)例えばニューラルネットワーク90は、2以上の中間層92を持ち、深層学習(ディープラーニング)により学習されるニューラルネットワークのであってもよい。
(g―2)例えばニューラルネットワーク90は、畳み込み層やプーリング層などを中間層92に持つ畳み込みニューラルネットワークであってもよい。
(g―3)上記各実施形態では、誤差逆伝播法によりニューラルネットワーク90を学習する構成となっているが、これに限らず、その他の種々の学習アルゴリズムを用いて学習する構成としてもよい。
(g―4)上記各実施形態では、ニューラルネットワーク90の学習を行うに際し、良品のPTPシート1を撮像して得た良品画像データを教師画像データとして用いる構成となっているが、これに加えて、不良品のPTPシート1を撮像して得た不良品画像データを教師画像データとして用いて学習を行う構成としてもよい。
(g―5)ニューラルネットワーク90は、いわゆるAIチップ等のAI処理専用回路によって構成されることとしてもよい。その場合、結合荷重等の学習情報のみが記憶部57に記憶され、これをAI処理専用回路が読み出して、ニューラルネットワーク90に設定することによって、AIモデル100が構成されるようにしてもよい。
(g―6)上記各実施形態では、学習部76を備え、制御装置54内においてニューラルネットワーク90の学習を行う構成となっているが、これに限らず、少なくともAIモデル100(学習済みのニューラルネットワーク90)を記憶部57に記憶していればよく、学習部76を省略した構成としてもよい。従って、ニューラルネットワーク90の学習を制御装置54の外部で行い、これを記憶部57に記憶する構成としてもよい。
(h)各照明パネルL1~L15に係る調光パラメータ値を補正(更新)し、照明状態を最適化する構成は、上記各実施形態に限定されるものではなく、異なる他の構成を採用してもよい。
(h-1)例えば上記第1実施形態に係る照明状態の最適化処理など、上記各実施形態においては、照明状態を最適化するにあたり、複数の照明パネルL1~L15それぞれに対応する調光パラメータ値をAIモデル100に入力して出力されたPTPシート1に係る予測画像データと、予め記憶部57に記憶されたPTPシート1に係る理想画像データとを比較して、その誤差をAIモデル100の入力層91まで誤差逆伝播させることにより、調光パラメータ値の更新を行う構成となっている。
これに限らず、前記調光パラメータ値に対応する明るさレベルでそれぞれ発光する複数の照明パネルL1~L15により作り出される照明状態で照明されるPTPシート1をカメラ53により撮像して取得された実画像データと、予め記憶部57に記憶されたPTPシート1に係る理想画像データとを比較して、その誤差をAIモデル100の入力層91まで誤差逆伝播させることにより、調光パラメータ値の更新を行う構成としてもよい。
(h-2)上記第1実施形態に係る照明状態の最適化処理など、上記各実施形態においては、照明状態を最適化するにあたり、AIモデル100から出力される予測画像データ(又はカメラ53により取得された実画像データ)と、予め記憶部57に記憶された理想画像データとを直接的に比較して、その誤差をAIモデル100の入力層91まで誤差逆伝播させることにより、調光パラメータ値の更新を行う構成となっている。
これに限らず、AIモデル100から出力される予測画像データ及び該予測画像データから得られる関連情報(又は、カメラ53により取得された実画像データ及び該実画像データから得られる関連情報)と、予め記憶部57に記憶された理想画像データ及び該理想画像データから得られる関連情報とを比較して、その誤差をAIモデル100の入力層91まで誤差逆伝播させることにより、調光パラメータ値の更新を行う構成としてもよい。
または、AIモデル100から出力される予測画像データから得られる関連情報(又は、カメラ53により取得された実画像データから得られる関連情報)と、予め記憶部57に記憶された理想画像データから得られる関連情報とを比較して、その誤差をAIモデル100の入力層91まで誤差逆伝播させることにより、調光パラメータ値の更新を行う構成としてもよい。
尚、上記「画像データから得られる関連情報」としては、例えば画像データの全体又は一部の輝度平均値や、所定部位の輝度値のバラツキや標準偏差などを一例に挙げることができる。
(h-3)上記第2実施形態においては、未学習のニューラルネットワーク90に対し「学習処理」と「照明状態の最適化処理」とを交互に実行する構成となっているが、これに限らず、「学習処理」と「照明状態の最適化処理」とを並行して行う構成としてもよい。
また、第1実施形態に係る「学習処理」を途中まで実行した後に、第2実施形態に係る「学習・最適化処理」を実行する構成としてよい。
(i)上記各実施形態では、照明調整作業(上記第1実施形態に係る「学習処理」及び「最適化処理」や、上記第2実施形態に係る「学習・最適化処理」など)の実行時期について、特に言及していないが、例えば製造メーカーにおける外観検査装置45の出荷前に、検査を予定している対象物(PTPシート1等)や検査対象(錠剤5等)の種類に合わせて予め照明調整作業を行っていてもよいし、ユーザへの外観検査装置45の納入後、ユーザによって照明調整作業が行われる構成としてもよい。
ユーザによって照明調整作業が行われる場合には、当初は予定されておらず、新たに検査に追加された対象物や検査対象などの種類に合わせて照明調整作業を行うことができると共に、照明パネルL1~L15が劣化した場合等における再調整を行うことができる。
(j)また、外観検査装置45の使用中など、学習処理や最適化処理を行ってない場合において、ニューラルネットワーク90とその誤差逆伝播を利用して、照明パネルL1~L15に係る調光パラメータ値に対する勾配を求め、その値を判定することにより、照明パネルL1~L15の故障や劣化など、検査環境の変化等を検知する機能を備えた構成としてもよい。
1…PTPシート、2…ポケット部、3…容器フィルム、4…カバーフィルム、5…錠剤、10…PTP包装機、45…検査装置、52…照明ユニット、53…カメラユニット、54…制御装置、57…記憶部、63…LED、71…メイン制御部、72…照明制御部、73…カメラ制御部、74…画像取得部、75…画像処理部、76…学習部、77…調光パラメータ調整部、78…調光パラメータ設定部、79…検査部、90…ニューラルネットワーク、91…入力層、92…中間層、93…出力層、94…ノード、100…AIモデル、L1~L15…照明パネル。
Claims (6)
- 個々に明るさ調整可能な複数の照明部を有し、該複数の照明部により作り出される所定の照明状態で対象物を照明可能な外観検査用照明装置であって、
前記複数の照明部それぞれの明るさレベルに対応するレベル情報と、該レベル情報に対応する明るさレベルでそれぞれ発光する前記複数の照明部により作り出される照明状態で照明される前記対象物を撮像した場合に取得され得る画像データとの相関関係を学習したニューラルネットワークを格納したネットワーク格納手段と、
前記ニューラルネットワークに対し前記複数の照明部それぞれに対応する前記レベル情報を入力して出力される前記画像データである予測画像データ及び/若しくは該予測画像データから得られる関連情報、又は、前記レベル情報に対応する明るさレベルでそれぞれ発光する前記複数の照明部により作り出される照明状態で照明される前記対象物を撮像して取得された画像データである実画像データ及び/若しくは該実画像データから得られる関連情報と、目標となる照明状態で照明された前記対象物を撮像した場合に取得され得る画像データとして用意された目標画像データ及び/若しくは該目標画像データから得られる関連情報とを比較し、その誤差を算出可能な比較手段と、
少なくとも前記比較手段により算出される誤差が所定の閾値以下となるまで、誤差逆伝播により前記複数の照明部それぞれに対応する前記レベル情報の更新を繰り返し、前記複数の照明部それぞれに適した前記レベル情報を特定可能なレベル特定手段と、
少なくとも前記レベル特定手段によりそれぞれ特定された前記レベル情報に基づき、前記複数の照明部それぞれの明るさ調整を行うことによって、該複数の照明部により作り出される照明状態を制御可能な照明制御手段とを備えたことを特徴とする外観検査用照明装置。 - 前記相関関係について、前記ニューラルネットワークの学習を行う学習手段を備えていることを特徴とする請求項1に記載の外観検査用照明装置。
- 前記レベル特定手段による前記レベル情報の更新と、前記学習手段による前記ニューラルネットワークの学習とを、交互に又は並行して行うことを特徴とする請求項2に記載の外観検査用照明装置。
- 容器フィルムに形成されたポケット部に対し所定の内容物が収容され、前記ポケット部を塞ぐように前記容器フィルムに対しカバーフィルムが取着されてなるブリスター包装体の製造に際し用いられることを特徴とする請求項1乃至3のいずれかに記載の外観検査用照明装置。
- 請求項1乃至4のいずれかに記載の外観検査用照明装置を備えたことを特徴とする外観検査装置。
- 請求項5に記載の外観検査装置を備えたことを特徴とするブリスター包装機。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112021002876.6T DE112021002876T5 (de) | 2020-05-20 | 2021-04-01 | Beleuchtungsvorrichtung zur visuellen Überprüfung, Visuelle-Überprüfung-Vorrichtung, und Blisterverpackungsmaschine |
CN202180029583.9A CN115461611A (zh) | 2020-05-20 | 2021-04-01 | 外观检查用照明装置、外观检查装置以及泡罩包装机 |
KR1020227043878A KR20230052848A (ko) | 2020-05-20 | 2021-04-01 | 외관 검사용 조명 장치, 외관 검사 장치 및 블리스터 포장기 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020087987A JP7026727B2 (ja) | 2020-05-20 | 2020-05-20 | 外観検査用照明装置、外観検査装置及びブリスター包装機 |
JP2020-087987 | 2020-05-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021235115A1 true WO2021235115A1 (ja) | 2021-11-25 |
Family
ID=78606416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/014147 WO2021235115A1 (ja) | 2020-05-20 | 2021-04-01 | 外観検査用照明装置、外観検査装置及びブリスター包装機 |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP7026727B2 (ja) |
KR (1) | KR20230052848A (ja) |
CN (1) | CN115461611A (ja) |
DE (1) | DE112021002876T5 (ja) |
WO (1) | WO2021235115A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117412442A (zh) * | 2023-12-14 | 2024-01-16 | 四川九通智路科技有限公司 | 一种应用于隧道的照明节能控制方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0572139A (ja) * | 1991-09-10 | 1993-03-23 | Mazda Motor Corp | 明暗照明による表面状態検査方法 |
JP2004206714A (ja) * | 2002-12-20 | 2004-07-22 | Valeo Vision | 道路の屈曲部を検出するための方法およびこの方法を実施するためのシステム |
JP2012068026A (ja) * | 2010-09-21 | 2012-04-05 | Toshiba Corp | 錠剤包装検査装置、錠剤包装検査プログラム、錠剤包装検査方法 |
JP2019203691A (ja) * | 2016-11-11 | 2019-11-28 | オムロン株式会社 | 照明装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05227338A (ja) * | 1992-02-12 | 1993-09-03 | Ricoh Co Ltd | 学習機能を備えた画像形成装置 |
JPH0659039A (ja) * | 1992-08-04 | 1994-03-04 | Ricoh Co Ltd | 画像形成装置 |
JPH07160074A (ja) * | 1993-12-08 | 1995-06-23 | Ricoh Co Ltd | 電子写真プロセス制御装置 |
JPH08305820A (ja) * | 1995-04-28 | 1996-11-22 | Fujitsu Ltd | 能動的物体認識方法および装置 |
CN101023407A (zh) * | 2002-08-21 | 2007-08-22 | 金泰克斯公司 | 自动车辆外部照明控制的图像采集和处理方法 |
JP4213108B2 (ja) | 2004-10-21 | 2009-01-21 | シーケーディ株式会社 | 外観検査用照明装置 |
JP2009192853A (ja) * | 2008-02-15 | 2009-08-27 | Sharp Corp | 自動調光システム |
CN103973991B (zh) * | 2014-05-12 | 2017-03-01 | 华中科技大学 | 一种基于b‑p神经网络判断照明场景的自动曝光方法 |
WO2018081751A1 (en) * | 2016-10-28 | 2018-05-03 | Vilynx, Inc. | Video tagging system and method |
-
2020
- 2020-05-20 JP JP2020087987A patent/JP7026727B2/ja active Active
-
2021
- 2021-04-01 WO PCT/JP2021/014147 patent/WO2021235115A1/ja active Application Filing
- 2021-04-01 CN CN202180029583.9A patent/CN115461611A/zh active Pending
- 2021-04-01 DE DE112021002876.6T patent/DE112021002876T5/de active Pending
- 2021-04-01 KR KR1020227043878A patent/KR20230052848A/ko unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0572139A (ja) * | 1991-09-10 | 1993-03-23 | Mazda Motor Corp | 明暗照明による表面状態検査方法 |
JP2004206714A (ja) * | 2002-12-20 | 2004-07-22 | Valeo Vision | 道路の屈曲部を検出するための方法およびこの方法を実施するためのシステム |
JP2012068026A (ja) * | 2010-09-21 | 2012-04-05 | Toshiba Corp | 錠剤包装検査装置、錠剤包装検査プログラム、錠剤包装検査方法 |
JP2019203691A (ja) * | 2016-11-11 | 2019-11-28 | オムロン株式会社 | 照明装置 |
Non-Patent Citations (1)
Title |
---|
WANG, H. ET AL.: "Automatic illumination planning for robot vision inspection system", NEUROCOMPUTING, vol. 275, 12 May 2017 (2017-05-12), pages 19 - 28, XP085310142, DOI: 10.1016/j.neucom. 2017.05.01 5 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117412442A (zh) * | 2023-12-14 | 2024-01-16 | 四川九通智路科技有限公司 | 一种应用于隧道的照明节能控制方法 |
CN117412442B (zh) * | 2023-12-14 | 2024-02-20 | 四川九通智路科技有限公司 | 一种应用于隧道的照明节能控制方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021181948A (ja) | 2021-11-25 |
KR20230052848A (ko) | 2023-04-20 |
DE112021002876T5 (de) | 2023-03-09 |
CN115461611A (zh) | 2022-12-09 |
JP7026727B2 (ja) | 2022-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102270130B1 (ko) | 검사 장치 및 ptp 포장기 | |
US10416086B2 (en) | Image inspection device | |
KR20120058443A (ko) | 다중 모드 이미징 | |
JP4368808B2 (ja) | 外観検査装置及びptp包装機 | |
WO2021235115A1 (ja) | 外観検査用照明装置、外観検査装置及びブリスター包装機 | |
KR20190093555A (ko) | 검사 장치 및 ptp 포장기 | |
CN108469591A (zh) | 一种rgb led显示屏的检测方法及系统 | |
US11994477B2 (en) | Inspection device, packaging sheet manufacturing device, and inspection method | |
US20200146117A1 (en) | Method for parameterizing a machine-vision lighting device | |
WO2022030088A1 (ja) | 検査装置、ブリスター包装機及びブリスターパックの製造方法 | |
JP5063235B2 (ja) | 錠剤検査装置及びptp包装機 | |
JP2018179568A (ja) | 検査装置、ptp包装機及びptpシートの製造方法 | |
CN116745696A (zh) | 拍摄条件设定系统、拍摄条件设定方法及程序 | |
JP2016166826A (ja) | 検査装置、検査方法、および、検査装置用のプログラム | |
KR102452285B1 (ko) | 통합 제약용 용기 비전 검사기의 제어장치 | |
JP3236995U (ja) | 容器の表面検査装置 | |
TWI797617B (zh) | 網遮罩檢查裝置 | |
JP2004146108A (ja) | 蛍光体検査方法及び装置 | |
JP6536094B2 (ja) | 検査装置、検査方法、および、検査装置用のプログラム | |
JP2019174319A (ja) | 検査システム、検査方法 | |
CN117654923A (zh) | 一种发光单元的分选方法及分选系统 | |
CN115272277A (zh) | 纸品包装在线检测方法及检测设备 | |
CN114974076A (zh) | 灯板校正方法、装置、设备及存储介质 | |
JPH03229374A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21808064 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21808064 Country of ref document: EP Kind code of ref document: A1 |