WO2023223579A1 - 目視検査補助装置 - Google Patents

目視検査補助装置 Download PDF

Info

Publication number
WO2023223579A1
WO2023223579A1 PCT/JP2022/043352 JP2022043352W WO2023223579A1 WO 2023223579 A1 WO2023223579 A1 WO 2023223579A1 JP 2022043352 W JP2022043352 W JP 2022043352W WO 2023223579 A1 WO2023223579 A1 WO 2023223579A1
Authority
WO
WIPO (PCT)
Prior art keywords
tablet
image data
tablets
defective
imaging
Prior art date
Application number
PCT/JP2022/043352
Other languages
English (en)
French (fr)
Inventor
剛将 大谷
Original Assignee
Ckd株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ckd株式会社 filed Critical Ckd株式会社
Priority to KR1020247022127A priority Critical patent/KR20240116523A/ko
Publication of WO2023223579A1 publication Critical patent/WO2023223579A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9508—Capsules; Tablets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00—Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • A61J3/06—Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms into the form of pills, lozenges or dragees
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/85—Investigating moving fluids or granular solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/104—Mechano-optical scan, i.e. object and beam moving
    • G01N2201/1042—X, Y scan, i.e. object moving in X, beam in Y

Definitions

  • the present invention relates to a visual inspection auxiliary device used for visually inspecting tablets.
  • the present invention has been made in view of the above circumstances, and its purpose is to more reliably prevent the occurrence of oversights, omissions, and mistakes as described above, and to further improve the reliability of visual inspection.
  • the purpose of the present invention is to provide a visual inspection auxiliary device that enables visual inspection.
  • a visual inspection auxiliary device comprising a conveying means for conveying tablets to be visually inspected, an imaging means for taking an image of the tablet transported by the transporting means; Judgment means for judging whether the tablet is good or bad based on image data obtained by the imaging means; a display means arranged at a position visible to an inspector who visually inspects the tablet; In the display means, a display control means capable of displaying at least information for specifying a tablet determined to be defective by the determination means;
  • a visual inspection auxiliary device comprising: a conveyance control means for temporarily stopping conveyance of the tablet by the conveyance means when the determination means determines that the tablet is defective.
  • the determination means determines the quality of the tablets conveyed by the conveyance means (that is, to be subjected to visual inspection). If the determining means determines that the tablet is defective, the conveyance of the tablet is temporarily stopped. Further, the display means displays information for specifying the tablets determined to be defective by the determination means.
  • an inspector who performs a visual inspection can easily identify defective tablets (defective tablets) from among a plurality of tablets by effectively utilizing the display contents on the display means. Further, when a defective tablet is determined, since the tablet is temporarily stopped, the inspector can more accurately remove the identified defective tablet. This more reliably prevents overlooking defective tablets, failing to remove defective tablets, or mistakenly removing good tablets other than defective tablets. As a result, defective tablets can be more reliably prevented from flowing downstream, and the reliability of visual inspection can be further improved.
  • the display control means is configured to allow the display means to display at least information for identifying a tablet determined to be defective by the determination means in association with the image data regarding the tablet.
  • the visual inspection auxiliary device according to means 1, characterized in that:
  • the display means information for identifying a tablet determined to be defective by the determination means is displayed in association with image data related to the tablet (for example, information for identifying the tablet as being defective) (e.g., a specific mark shown is displayed overlapping a defective tablet in the image data). Therefore, defective tablets can be more easily identified, and the effort and time required to remove defective tablets can be further reduced.
  • Means 3 comprising an imaging control means for controlling the imaging means,
  • the imaging control means controls the imaging means to image at least a range corresponding to a tablet determined to be defective while the tablet is temporarily stopped, and obtain re-determination image data that is the image data for re-determination.
  • the determining means determines whether the tablet is good or bad based on the re-judgment image data
  • the conveyance control means is capable of restarting the conveyance means so that conveyance of the temporarily stopped tablet is resumed, Means 1 characterized in that the restart of the conveyance means by the conveyance control means is performed on the condition that the determination result by the determination means based on the re-judgment image data is good.
  • the visual inspection aid described in .
  • the above means 3 when a defective tablet is found and the transportation of the tablet is temporarily stopped, at least the range corresponding to the tablet determined to be defective (that is, the range including the location where the defective tablet was located) is imaged. Only when the judgment result based on the obtained image data for re-judgment is good, it is possible to restart the conveyance means and restart the conveyance of the tablet. Therefore, even if a defective tablet is forgotten or mistakenly taken, it is possible to more reliably prevent the defective tablet from being erroneously discharged downstream. As a result, the reliability of visual inspection can be further improved.
  • the tablet has a front side and a back side
  • the conveyance means is provided with a transparent or translucent transmission part at least in part, and has a tablet support part that supports the tablet to be conveyed
  • the imaging means includes a first imaging means and a second imaging means arranged vertically sandwiching the tablet support part, one of the front and back surfaces of the tablet is imaged by the first imaging means, and the other of the front and back surfaces of the tablet is imaged by the second imaging means through the transparent portion;
  • the determining means is configured to determine the quality of the tablet based on image data regarding the front and back surfaces of the tablet obtained by the first imaging means and the second imaging means.
  • a visual inspection auxiliary device according to any one of means 1 to 3.
  • the second imaging means since it is possible to determine the quality of the front and back surfaces of the tablet using the transparent part, it is possible to determine the quality of the tablet with higher accuracy. Furthermore, since the second imaging means is disposed below the tablet support, it is possible to prevent the second imaging means from interfering with visual inspection.
  • the start-up of the conveying means is permitted only when both the front and back sides of the tablet are determined to be good by the pass/fail judgment based on the re-judgment image data. You can make it happen. Therefore, even if a defective tablet is missed and turned over, the conveying means will not be allowed to start. Therefore, it is possible to very effectively prevent defective tablets from flowing downstream.
  • the conveying means conveys the tablets in a plurality of rows
  • the determining means is A neural network that has an encoding unit that extracts feature quantities from input image data and a decoding unit that reconstructs image data from the feature quantities is provided with only learning data based on image data related to good quality tablets.
  • the learning data is image data obtained by extracting a region corresponding to a plurality of tablets in one row from image data related to non-defective tablets for each row of tablets, Means 1 characterized in that the original image data is image data obtained by extracting a region corresponding to a plurality of tablets in one row for each row of tablets from the image data obtained by the imaging means.
  • image data related to non-defective tablets may include image data related to non-defective tablets accumulated in previous pass/fail judgments, virtual non-defective image data generated using such image data, etc. can.
  • neural network includes, for example, a convolutional neural network having multiple convolutional layers.
  • learning includes, for example, deep learning.
  • identification means (generation model) includes, for example, an autoencoder (self-encoder), a convolutional autoencoder (convolutional autoencoder), and the like.
  • the identification means is generated by learning only the image data related to good tablets, the reconstructed image data generated when the original image data related to defective tablets is input to the identification means. almost matches the original image data from which noise portions (defective portions) have been removed. That is, when a tablet has a defective portion, virtual image data regarding the tablet assuming that there is no defective portion is generated as reconstructed image data.
  • the learning data used for learning the identification means and the original image data used for comparison (that is, pass/fail judgment) by the comparison means for example, image data corresponding to the entire field of view of the imaging means (region data), and individual It is conceivable to use image data (tablet individual data) obtained by extracting the area occupied by each tablet one by one. However, when using whole area data, the amount of data required for learning becomes enormous, which may lead to an increase in learning costs. In addition, when attempting to use individual tablet data, since the shape and size of each tablet is slightly different, it is necessary to perform extremely troublesome settings to extract individual tablet data. The processing may take a lot of time, and as a result, the extraction processing may become difficult.
  • regions corresponding to a plurality of tablets in one row are extracted for each row of tablets as learning data and original image data.
  • Image data is used. Therefore, the amount of data required for learning can be made relatively small, and the cost associated with learning can be reduced. Further, the extraction process of learning data and original image data can be made easier.
  • the original image data is compared with the reconstructed image data that is reconstructed by inputting the original image data to the identification means, and based on the comparison result, the quality of the tablet is determined. ing. Therefore, both image data to be compared relate to the same tablet. Therefore, since the shape and appearance of the tablets are almost the same in both image data to be compared, there is no need to set relatively lenient judgment conditions to prevent false detections due to differences in shape and appearance, and stricter judgment Conditions can be set. Furthermore, it is possible to match the imaging conditions (for example, the arrangement position and arrangement angle of the tablet, the brightness and darkness state, the viewing angle of the camera, etc.) in both image data to be compared. As a result, it is possible to determine the quality of tablets with high accuracy.
  • the imaging conditions for example, the arrangement position and arrangement angle of the tablet, the brightness and darkness state, the viewing angle of the camera, etc.
  • the tablet has a front surface, a back surface, and a side surface located between the front surface and the back surface
  • the conveyance means has an inversion part that inverts the front and back of the tablet to be conveyed
  • the imaging means includes side imaging means for imaging a side surface of the tablet located in the reversal part, 2.
  • the visual inspection auxiliary device according to claim 1, wherein the determining means is configured to be able to determine the quality of the side surface of the tablet based on the image data obtained by the side image capturing means.
  • the inversion section can be used to determine the quality of the side surface of the tablet. Therefore, the accuracy of determining the quality of tablets can be further improved. Further, defective tablets can be more reliably prevented from flowing downstream, and the reliability of visual inspection can be further improved.
  • FIG. 2 is a schematic diagram showing a schematic configuration of a visual inspection auxiliary device and the like.
  • FIG. 2 is a schematic perspective view showing a conveyance device and the like. It is a side view of a tablet.
  • FIG. 2 is a block diagram showing the functional configuration of a determination unit.
  • FIG. 2 is a schematic plan view showing a tablet to be transported, an area to be inspected, and the like.
  • FIG. 3 is a schematic diagram showing image data obtained by a camera.
  • FIG. 3 is a schematic diagram showing original image data.
  • FIG. 3 is a schematic diagram showing learning data.
  • FIG. 2 is a schematic diagram for explaining the structure of a neural network. 3 is a flowchart showing the flow of learning processing of a neural network.
  • FIG. 3 is a schematic diagram showing an example of information displayed on the display unit when a tablet is determined to be defective.
  • it is a schematic diagram showing the schematic structure of a visual inspection auxiliary device etc. in which a transmission part was provided.
  • it is a perspective schematic diagram showing a conveyance device etc. in which a transmission part was provided.
  • it is a perspective schematic diagram showing a side camera etc. which image the side of a tablet.
  • FIG. 7 is a schematic diagram showing an example of information displayed on a display unit in another embodiment.
  • FIG. 7 is a schematic diagram showing an example of information displayed on a display unit in another embodiment.
  • FIG. 7 is a schematic diagram showing an example of information displayed on a display unit in another embodiment.
  • FIG. 7 is a schematic diagram showing an example of information displayed on a display unit in another embodiment.
  • the visual inspection auxiliary device is a device used to visually inspect the tablets 9 (see FIG. 3) being transported.
  • the tablet 9 is a flat tablet having a front surface 9a, a back surface 9b, and a side surface 9c located between these surfaces 9a and 9b (see FIG. 3).
  • the visual inspection auxiliary device 1 includes a tablet feeding device 2, a feeding tram 3, a conveying device 4, and a chute 5.
  • the transport device 4 constitutes a "transport means”.
  • a counter 6a and a bottling device 6b are provided downstream of the chute 5. The counter 6a counts the tablets 9 that have undergone visual inspection, and the bottling device 6b fills the tablets 9 into containers. It is about to be done.
  • the tablet feeding device 2 is, for example, a hopper, and feeds the tablets 9 to the feeding tram 3 intermittently.
  • the supply tram 3 aligns and transports the tablets 9 toward the transport device 4.
  • the supply tram 3 is equipped with a predetermined first vibrator 3a, and the tablets 9 on the supply tram 3 are sent to the conveying device 4 by the operation of the first vibrator 3a.
  • the transport device 4 transports the tablets 9 to be visually inspected in a plurality of rows.
  • the conveying device 4 includes an upstream conveying section 41, a reversing section 42, a downstream conveying section 43, and a second vibrator 44.
  • one inspector who performs the visual inspection is placed on each side of the upstream conveyance section 41 and the downstream conveyance section 43.
  • the inspector may be placed on both sides of the upstream conveyance section 41 and the downstream conveyance section 43 so as to sandwich them therebetween. In other words, a total of four or more inspectors may be assigned.
  • FIG. 2 etc. only some of the many tablets 9 conveyed are schematically shown.
  • the upstream conveyance section 41 continuously conveys the tablet 9 to the downstream side with one of the front surface 9a and the back surface 9b facing upward.
  • the upstream conveyance section 41 is provided with a plurality of parallel upstream conveyance grooves 41a for conveying the tablets 9 in an aligned state to the downstream side. During transportation by the upstream transportation section 41, one of the front surface 9a and back surface 9b of the tablet 9 is visually inspected.
  • the reversing unit 42 is for reversing the tablet 9 from front to back while continuously conveying the tablet 9.
  • the reversing section 42 includes a plurality of intermediate conveyance grooves 42a that are continuous with the upstream conveyance groove 41a, and these intermediate conveyance grooves 42a have a shape that gradually twists toward the downstream side.
  • the tablet 9 transported in the upstream transport section 41 with one of the front surface 9a and the back surface 9b facing upward passes through the intermediate transport groove 42a.
  • the paper is sent to the downstream conveyance section 43 with the other side facing upward.
  • the downstream transport section 43 continuously transports the tablet 9 downstream with the surface of the front surface 9a and the back surface 9b, which was the bottom surface in the upstream transport section 41, set as the top surface.
  • the downstream conveyance section 43 is provided with a plurality of parallel downstream conveyance grooves 43a that are continuous with the intermediate conveyance groove 42a and are configured to convey the tablets 9 in an aligned state to the chute 5 side.
  • the downstream transportation section 43 of the front surface 9a and back surface 9b of the tablet 9, the surface opposite to the surface visually inspected by the upstream transportation section 41 is visually inspected.
  • the tablets 9 that have passed through the downstream conveyance section 43 flow down the chute 5 and are sent to the counter 6a.
  • the tablet support part 45 which constitutes the bottom of the conveyance grooves 41a, 42a, and 43a and supports the lower surface of the tablet 9 from below, has a sloped upper surface that gradually descends toward the downstream. It is considered a thing.
  • the second vibrator 44 is a device for applying vibration to the upstream conveying section 41, the reversing section 42, and the downstream conveying section 43.
  • the second vibrator 44 By applying vibrations from the second vibrator 44 to the upstream conveyance section 41 and the like, the tablets 9 located in the respective grooves 41a, 42a, and 43a are conveyed downstream.
  • the conveyance of the tablet 9 is stopped.
  • the visual inspection auxiliary device 1 includes a transport control device 7 and a determination unit 8, as shown in FIGS. 1 and 4.
  • the transport control device 7 constitutes a "transport control means".
  • the transport control device 7 has a function of starting (resuming) or temporarily stopping transport of the tablets 9 in the transport device 4 by controlling the operation of the transport device 4 (particularly the second vibrator 44).
  • the conveyance control device 7 is configured to be able to communicate with a control system 85 (described later) of the determination unit 8, and is capable of grasping the results of the quality determination of the tablets 9 performed by the control system 85 (particularly by the inspection section 858 described later). has been done. Then, when the control system 85 determines that the tablet 9 is defective, the transport control device 7 temporarily stops the transport of the tablet 9 by the transport device 4 . To be more specific, in this embodiment, one tablet 9 is imaged at least twice by each camera 83, 84, which will be described later. When it is determined that the tablet 9 is defective based on the obtained image data, the transport device 4 is controlled so that the transport of the tablet 9 is temporarily stopped at the timing when the second image of the tablet 9 is taken. .
  • a predetermined transport operation unit (not shown) is connected to the transport control device 7, and when an inspector who performs a visual inspection operates the transport operation unit, basically, the transport control device 7 It is possible to start (restart) or temporarily stop the conveyance of the tablets 9 by switching between starting (restarting) and pausing. However, when the conveyance of the tablet 9 is temporarily stopped due to the determination of the tablet 9 as being defective as described above, the conveyance control device 7 transfers the tablet 9 that has been determined to be defective [hereinafter simply referred to as "defective tablet 9x" (FIG. 13).
  • the transport operation section It is configured to allow restarting of the transport device 4 by operation. Therefore, when the conveyance of the tablets 9 is temporarily stopped due to the determination that the tablets 9 are defective, the conveyance of the tablets 9 cannot be restarted simply by operating the conveyance operation section.
  • the determination unit 8 includes a first illumination device 81 , a second illumination device 82 , a first camera 83 , a second camera 84 and a control system 85 .
  • the first camera 83 constitutes a "first imaging means”
  • the second camera 84 constitutes a "second imaging means”.
  • the first camera 83 and the second camera 84 constitute an "imaging means”.
  • the first illumination device 81 and the second illumination device 82 apply a predetermined light (for example, white light, etc.) from above to a predetermined inspection area KA (see FIG. 5) that includes at least all rows of tablets 9 to be transported. irradiate.
  • the first illumination device 81 irradiates the inspection area KA in the upstream transport section 41 with light
  • the second illumination device 82 irradiates the inspection area KA in the downstream transport section 43 with light.
  • the first camera 83 and the second camera 84 image the inspection area KA from almost directly above.
  • Each of the cameras 83 and 84 includes an image sensor, such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and an optical system ( (lens unit, aperture, etc.).
  • an image sensor other than the above-mentioned image sensor may be used.
  • each of the cameras 83 and 84 is arranged such that its optical axis is perpendicular to the upper surface of the tablet support section 45.
  • Each camera 83, 84 is driven and controlled by a control system 85 (particularly a camera control unit 853, which will be described later).
  • a control system 85 particularly a camera control unit 853, which will be described later.
  • area data AD (see FIG. 6), which is image data indicating the entire field of view of the cameras 83 and 84, is obtained.
  • the entire field of view of the cameras 83 and 84 corresponds to the inspection area KA.
  • the image data captured and generated by each camera 83, 84 is converted into a digital signal inside each camera 83, 84, and then sent to a control system 85 (particularly an image acquisition unit 855, which will be described later) in the form of a digital signal. transferred and stored. Then, the control system 85 performs various image processing, arithmetic processing, etc., which will be described later, based on the image data.
  • the control system 85 includes a CPU (Central Processing Unit) that executes predetermined arithmetic processing, a ROM (Read Only Memory) that stores various programs, fixed value data, etc., and a ROM (Read Only Memory) that temporarily stores various data when executing various arithmetic processing. It consists of a computer including a RAM (Random Access Memory) and peripheral circuits thereof, an input/output device, a display device, etc.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • ROM Read Only Memory
  • the control system 85 includes a main control section 851, a lighting control section 852, a camera control section 853, a display control section 854, an image acquisition section 855, a data processing section 856, and a learning section by the CPU operating according to various programs. It functions as various functional units such as a section 857 and an inspection section 858.
  • control system 85 includes an input section 85a composed of a keyboard, a mouse, a touch panel, etc., a first display section 85b and a second display section 85b, each equipped with a display screen that is composed of a liquid crystal display, etc. and can display various information.
  • a storage section 85d capable of storing various data, programs, calculation results, test results, etc.
  • a communication section 85f capable of transmitting and receiving various data to and from the outside are provided.
  • a re-judgment operation section 85e is provided at a position that can be operated by the examiner.
  • the first display section 85b and the second display section 85c each constitute a "display means".
  • the main control section 851 is a functional section that controls the entire determination unit 8, and is configured to be able to send and receive various signals to and from other functional sections such as a lighting control section 852 and a camera control section 853.
  • the lighting control unit 852 is a functional unit that controls the lighting devices 81 and 82 based on command signals from the main control unit 851.
  • the camera control unit 853 is a functional unit that controls the cameras 83 and 84, and controls the imaging timing of the cameras 83 and 84 based on the command signal from the main control unit 851.
  • the camera control unit 853 controls each camera 83 and 84 so that the same tablet 9 is imaged at least twice in the upstream conveyance unit 41 and the same tablet 9 is imaged at least twice in the downstream conveyance unit 43. Control.
  • the camera control section 853 controls the area corresponding to the defective tablet 9x (that is, the location where the defective tablet 9x was located) while the tablet 9 is temporarily stopped.
  • Each camera 83, 84 is controlled to capture an image of a range including That is, the camera control unit 853 controls the cameras 83 and 84 to obtain re-determination image data that is image data for re-determination.
  • the camera control unit 853 constitutes "imaging control means".
  • the display control unit 854 controls the display content on each display unit 85b, 85c based on the information stored in the storage unit 85d.
  • the display control unit 854 constitutes a "display control means.”
  • the image acquisition unit 855 is a functional unit for capturing image data captured and acquired by each of the cameras 83 and 84.
  • the data processing unit 856 is a functional unit that performs predetermined image processing on the image data captured by the image acquisition unit 855.
  • the data processing unit 856 extracts a region corresponding to one row of a plurality of tablets 9 for each row of tablets 9 from the entire area data AD (image data indicating the entire field of view of the cameras 83 and 84). By doing so, processing to obtain the original image data XD and learning data SD (see FIGS. 7 and 8) is performed.
  • the original image data XD is used to determine the quality of the tablet 9, and the learning data SD is used for learning of the neural network 90, which will be described later.
  • a plurality of original image data XD and learning data SD (in this embodiment, the same number as the number of rows of tablets 9) can be acquired from one area data AD.
  • the learning unit 857 uses the learning data SD to train the deep neural network 90 (hereinafter simply referred to as the "neural network 90"; see FIG. 9), and uses the AI (Artificial Intelligence) model 100 as the “identification means”. This is the functional part to be constructed.
  • the AI model 100 in this embodiment was constructed by performing deep learning on the neural network 90 using only the image data related to the inspection area KA of the non-defective tablet 9 as the learning data SD, as will be described later. It is a generative model and has the structure of a so-called autoencoder.
  • FIG. 9 is a schematic diagram conceptually showing the structure of the neural network 90.
  • the neural network 90 includes an encoder section 91 as an "encoding section” that extracts a feature amount (latent variable) TA from input image data GA, and an encoder section 91 that extracts image data GB from the feature amount TA. It has a convolutional auto-encoder (CAE) structure including a decoder section 92 as a "decoding section” for reconfiguring.
  • CAE convolutional auto-encoder
  • the encoder section 91 has a plurality of convolution layers 93, and each convolution layer 93 applies a plurality of filters to input data.
  • the result of the convolution operation using the (kernel) 94 is output as input data for the next layer.
  • the decoder unit 92 has a plurality of deconvolution layers 95, and in each deconvolution layer 95, the result of deconvolution operation using a plurality of filters (kernels) 96 on input data is obtained. is output as the input data of the next layer.
  • the weights (parameters) of each filter 94 and 96 will be updated.
  • the inspection unit 858 is a functional unit that determines the quality of the tablet 9 conveyed by the conveyance device 4. For example, in the present embodiment, an inspection is performed to determine whether or not foreign matter or dirt is attached to the tablet 9, and whether or not the tablet 9 is damaged such as chipping or cracking. In addition, when the tablet 9 is provided with a printed part, the inspection part 858 may determine whether the printed part is good or bad. In this embodiment, as described above, since the same tablet 9 is imaged at least twice by each of the cameras 83 and 84, the quality determination for the surface 9a of one tablet 9 is performed at least twice, and the quality of the tablet 9 is determined at least twice. The quality determination for the back surface 9b will be performed at least twice. In this embodiment, the inspection unit 858 constitutes a "judgment means".
  • the reason why the front surface 9a and back surface 9b of the same tablet 9 are imaged at least twice is basically to improve the accuracy of determining whether the tablet 9 is good or bad.
  • the first imaging is to discover the defective tablet 9x
  • the second imaging is to obtain image data of the defective tablet 9x in a temporarily stopped state. It can be said that each of these is being carried out.
  • the image data of the defective tablet 9x in a temporarily stopped state is used to identify the defective tablet 9x in the determination result handling process of step S305, which will be described later. It becomes possible to substantially match the state of the tablet 9 indicated by the data (position, spacing, orientation, etc.) with the actual state of the tablet 9 during the paused state.
  • the inspection section 858 re-judges the quality of the tablet 9 based on the above-mentioned re-judgment image data.
  • the first display section 85b and the second display section 85c are arranged, for example, in the vicinity of the transport device 4, at a position that can be seen by an inspector who performs a visual inspection (see FIG. 2).
  • the first display section 85b is provided corresponding to the upstream conveyance section 41
  • the second display section 85c is provided corresponding to the downstream conveyance section 43.
  • the display control unit 854 controls each of the display units 85b and 85c, so that the first display unit 85b displays the quality determination result based on the image data obtained by the first camera 83, and the second display unit 85c displays the quality determination result based on the image data obtained by the first camera 83. , the quality determination results based on the image data obtained by the second camera 84, etc. are displayed.
  • each display section 85b, 85c may be stationary or may be portable.
  • the number of display units installed may be changed as appropriate depending on, for example, the number of examiners.
  • the storage unit 85d is composed of an HDD (Hard Disk Drive), an SSD (Solid State Drive), etc., and has a predetermined storage area for storing, for example, the AI model 100 (neural network 90 and learning information acquired by its learning). ing. Furthermore, the storage section 85d has a function of storing image data obtained by each of the cameras 83 and 84 and the results of the quality determination of the tablet 9 performed by the inspection section 858.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • the re-judgment operation section 85e is an operation device used when the inspection section 858 re-executes the quality determination of the tablet 9 in a state where the conveyance of the tablet 9 is temporarily stopped.
  • the cameras 83 and 84 obtain re-evaluation image data, and the inspection section 858 analyzes the tablet 9 based on the re-evaluation image data. A pass/fail judgment is made.
  • the communication unit 85f includes, for example, a wireless communication interface that conforms to communication standards such as a wired LAN (Local Area Network) or wireless LAN, and is configured to be able to transmit and receive various data to and from the outside. For example, the results of the inspection performed by the inspection section 858 are outputted to the outside (such as the transport control device 7) via the communication section 85f.
  • a wireless communication interface that conforms to communication standards such as a wired LAN (Local Area Network) or wireless LAN, and is configured to be able to transmit and receive various data to and from the outside.
  • the results of the inspection performed by the inspection section 858 are outputted to the outside (such as the transport control device 7) via the communication section 85f.
  • the main control unit 851 When the learning process is started based on the execution of a predetermined learning program, the main control unit 851 first performs preprocessing for learning the neural network 90 in step S101.
  • the data processing unit 856 generates learning data SD by extracting a region corresponding to one row of a plurality of tablets 9 from the image data (wide area data AD) for each row of tablets 9.
  • the learning data SD has the same format as the original image data XD, and is used to train the neural network 90 as described above. Such processing is performed until the required number of learning data SD is acquired.
  • virtual non-defective product image data generated using image data related to non-defective tablets 9 may be used as the learning data SD.
  • the learning unit 857 prepares the unlearned neural network 90 based on a command from the main control unit 851.
  • the neural network 90 stored in advance in the storage unit 85d or the like is read out.
  • the neural network 90 is constructed based on network configuration information (for example, the number of layers of the neural network, the number of nodes in each layer, etc.) stored in the storage unit 85d or the like.
  • step S103 reconstructed image data is acquired. That is, based on a command from the main control unit 851, the learning unit 857 supplies the learning data SD acquired in step S101 as input data to the input layer of the neural network 90, thereby causing the output layer of the neural network 90 to Obtain the output reconstructed image data.
  • the reconstructed image data has the same format as the learning data SD and the original image data XD, and is image data indicating an area corresponding to one row of tablets 9.
  • the learning unit 857 compares the input image data (learning data SD) with the reconstructed image data output by the neural network 90, and determines whether the error is sufficiently small (a predetermined threshold value (or not) is determined.
  • step S106 the learning unit 857 determines whether the learning end condition is satisfied. For example, if an affirmative determination is made in step S104 without going through the process of step S105, which will be described later, a predetermined number of times in a row, or if learning using all of the prepared learning data SD is repeated a predetermined number of times. If so, it is determined that the termination condition is satisfied. If the termination condition is satisfied, the neural network 90 and its learning information (updated parameters, etc., which will be described later) are stored in the storage unit 85d as the AI model 100, and the present learning process is terminated.
  • step S106 if the termination condition is not satisfied in step S106, the process returns to step S103 and the learning of the neural network 90 is performed again.
  • step S104 network updating processing (learning of the neural network 90) is performed in step S105, and then the process returns to step S103 to repeat the series of processes described above.
  • a known learning algorithm such as error backpropagation is used to minimize the loss function representing the difference between the learning data SD and the reconstructed image data.
  • the weights (parameters) of each of the filters 94 and 96 in the neural network 90 are updated to more appropriate ones.
  • the loss function for example, BCE (Binary Cross-entropy) can be used.
  • the neural network 90 minimizes the error between the learning data SD and the reconstructed image data, and outputs more accurate reconstructed image data.
  • image data in this embodiment, original image data
  • original image data XD original image data
  • the AI model 100 when the tablet 9 is defective, virtual image data regarding the tablet 9 assuming that there is no defective portion is generated as reconstructed image data regarding the tablet 9.
  • This process is executed at a preset normal pass/fail judgment execution timing or when a predetermined operation is performed on the re-judgment operation section 85e.
  • step S301 the tablet 9 is imaged by each camera 83, 84. That is, the camera control unit 853 controls the cameras 83 and 84, so that the inspection areas KA of the transport units 41 and 43 are imaged by the cameras 83 and 84, respectively. As a result, image data (all-area data AD) representing the entire area to be inspected KA is obtained.
  • step S302 the data processing unit 856 performs a process of extracting (cutting out) a region corresponding to one row of a plurality of tablets 9 for each row of tablets 9 from the obtained area data AD.
  • step S302 one column of original image data XD is acquired from the entire area data AD.
  • step S303 a quality determination process is performed. Specifically, as shown in FIG. 12, first, in step S501, the inspection unit 858 inputs the original image data XD acquired in step S302 to the input layer of the AI model 100. As a result, the AI model 100 outputs reconstructed image data. In this embodiment, the inspection unit 858 constitutes a "reconstructed image data acquisition means.”
  • the inspection unit 858 compares the original image data XD and the reconstructed image data, and calculates the difference between the two image data. For example, dots at the same coordinates in both image data are compared, and the area (number of dots) of a cluster of dots for which the difference in brightness is equal to or greater than a predetermined value is calculated.
  • the inspection unit 858 that compares the original image data XD and the reconstructed image data constitutes a "comparison means".
  • step S503 the inspection unit 858 determines whether there is a defective part in the tablet 9. Specifically, the inspection unit 858 determines whether each calculated difference is larger than a predetermined threshold. If the difference is larger than a predetermined threshold, it is determined in step S504 that it is "defective". On the other hand, if the difference is smaller than the predetermined threshold, it is determined to be "good” in step S505.
  • step S304 following the quality determination process in step S303 the quality determination process in step S303 is performed based on all the original image data XD related to the image data (region data AD) obtained in step S301. It is determined whether or not the That is, in step S301, a plurality of original image data XD (same number as the number of rows of tablets 9) are obtained from the area data AD, and whether the quality determination process in step S303 based on all of these original image data XD has been performed. It is determined whether or not.
  • step S304 YES
  • step S305 if the quality determination process based on all the original image data XD is being performed (step S304: YES), the process moves to step S305. On the other hand, if that is not the case (step S304: NO), the process returns to step S302. Therefore, the processes of steps S302 and S303 are repeated until the quality determination process based on all the original image data XD is performed.
  • step S305 processing according to the quality determination result is executed. That is, as a result of performing the above-described quality determination process based on all the original image data XD, if all the original image data XD is determined to be "good", the tablet 9 related to the inspection area KA of the imaging target is It is determined that it is a "good product”, and this determination result is stored in the storage section 85d. Further, the display control unit 854 displays information indicating that the product is a “good product” and the image data (wide range data AD) obtained in step S301 on the display units 85b and 85c.
  • the display control unit 854 displays information in which information indicating that it is a "defective product" and information for identifying the defective tablet 9x are associated with the image data (area data AD) obtained in step S301. is displayed on the display sections 85b and 85c.
  • a mark MK indicating the position is displayed superimposed on the image data (area area data AD) obtained in step S301 (Fig. (see 13). That is, specific marks MK indicating the position of the defective tablet 9x and the position of the defective part in the defective tablet 9x are displayed in a state overlapping with the image data (region data AD).
  • the transport control device 7 temporarily stops the transport of the tablet 9.
  • a second imaging of the defective tablet 9x is performed, and a quality determination is performed based on the image data obtained by this imaging.
  • the product is usually determined to be "defective" as in the first quality determination.
  • information for identifying the defective tablet 9x (mark MK) is displayed in association with the image data (area data AD) obtained by the second imaging.
  • the image data (area data AD) displayed on the display sections 85b and 85c is acquired while the tablet 9 is temporarily stopped, so it does not reflect the current state of the tablet 9 (position, spacing, orientation, etc.). ) and the state of the tablet 9 shown by the image data displayed on the display sections 85b and 85c almost match.
  • the defective tablet 9x is identified by the inspector who performs the visual inspection based on this information, and the defective tablet 9x is removed from the conveyance device 4 using tweezers or the like. At this time, since the current state of the tablet 9 and the state of the tablet 9 indicated by the image data displayed on the display sections 85b and 85c almost match, the inspector can check the display contents on the display sections 85b and 85c. Using this method, defective tablets 9x can be identified very easily.
  • the inspector restarts the transportation of the tablet 9.
  • simply operating the transport operation section does not restart the transport of the tablets 9, and in order to restart the transport of the tablets 9, the re-judgment operation section 85e must be operated to perform the pass/fail judgment process. It is necessary to operate the conveyance operation section after repeating the process again and satisfying the condition that the product is determined to be "good” by this quality determination process. Note that the determination results and image data regarding this second pass/fail determination process are also displayed on the display sections 85b and 85c.
  • the inspection unit 858 determines the quality of the tablet 9 conveyed by the conveyance device 4 (that is, subject to visual inspection). If the inspection unit 858 determines that the tablet is defective, the transportation of the tablet 9 is temporarily stopped. Furthermore, information for identifying the defective tablet 9x is displayed on each display section 85b, 85c.
  • the inspector who performs the visual inspection can easily identify the defective tablet 9x from among the plurality of tablets 9 by effectively utilizing the display contents on the display sections 85b and 85c. Further, when a defective tablet 9x is determined, since the tablet 9 is temporarily stopped, the inspector can more accurately remove the identified defective tablet 9x. This can more reliably prevent overlooking the defective tablet 9x, failing to remove the defective tablet 9x, or mistakenly removing a good tablet 9 other than the defective tablet 9x. As a result, defective tablets 9x can be more reliably prevented from flowing downstream, and the reliability of visual inspection can be further improved.
  • the reconstruction image obtained by imaging at least the range corresponding to the defective tablet 9x (that is, the range including the location where the defective tablet 9x was located) is added. Only when the determination result based on the determination image data is good, it is possible to restart the conveyance device 4 and restart the conveyance of the tablets 9. Therefore, even if a defective tablet 9x is forgotten or mistakenly taken, it is possible to more reliably prevent the defective tablet 9x from erroneously flowing downstream. As a result, the reliability of visual inspection can be further improved.
  • the learning data SD and the original image data XD image data obtained by extracting regions corresponding to one row of multiple tablets 9 adjacent to each other in the transport direction for each row of tablets 9 is used. . Therefore, the amount of data required for learning can be made relatively small, and the cost associated with learning can be reduced. Further, the extraction process of the learning data SD and the original image data XD can be made easier.
  • both image data to be compared relate to the same tablet 9. Therefore, since the shape and appearance of tablet 9 are almost the same in both image data to be compared, there is no need to set relatively lenient judgment conditions in order to prevent false detection due to differences in shape and appearance; Judgment conditions can be set. Furthermore, it is possible to match the imaging conditions (for example, the arrangement position and arrangement angle of the tablet 9, the bright/dark state, the viewing angle of the camera, etc.) in both image data to be compared. As a result, the quality of the tablet 9 can be determined with high accuracy.
  • the reversing part 42 for reversing the front and back sides of the tablet 9 is provided, visual inspection of the front surface 9a and the back surface 9b of the tablet 9 can be easily performed.
  • each of the cameras 83 and 84 is arranged above the conveyance path of the tablet 9, and is configured to image the top surface of the tablet 9, respectively.
  • a transparent or semi-transparent transmitting section 46 (the section with a dotted pattern in FIG. 15) is provided in at least a part of the tablet support section 45, and each camera 83 , 84 are arranged to sandwich the tablet support part 45 vertically, and the first camera 83 and the second camera 84 can take images of the top surface of the tablet 9 and the bottom surface of the tablet 9 through the transparent part 46, respectively. good. That is, the first camera 83 captures an image of one of the front surface 9a and the back surface 9b of the tablet 9, and the second camera 84 captures an image of the other of the front surface 9a and the back surface 9b of the tablet 9 through the transparent portion 46. may be configured. Then, the inspection unit 858 may be configured to determine the quality of the tablet 9 based on each image data regarding the front surface 9a and back surface 9b of the tablet 9 obtained by the cameras 83 and 84.
  • the second camera 84 is disposed below the tablet support section 45, so it is possible to prevent the second camera 84 from interfering with visual inspection.
  • both the front surface 9a and the back surface 9b of the tablet 9 are determined to be good by the quality determination based on the re-determination image data, starting (restarting) of the conveying device 4 is permitted. For this reason, even if a defective tablet 9x is failed to be picked up and the defective tablet 9x is turned over, the transfer device 4 will not be allowed to start (restart). Therefore, it is possible to very effectively prevent defective tablets 9x from flowing downstream.
  • the inspection unit 858 is configured to determine the quality of the front surface 9a and back surface 9b of the tablet 9. On the other hand, the inspection unit 858 may also be configured to determine the quality of the side surface 9c of the tablet 9.
  • the inspection unit 858 determines the quality of the side surface 9c based on the image data obtained by the side surface camera 86.
  • the side camera 86 corresponds to "side image capturing means” and "imaging means”.
  • the reversing section 42 can be used to determine the quality of the side surface 9c of the tablet 9. Therefore, the accuracy of determining the quality of the tablet 9 can be further improved. Moreover, it is possible to more reliably prevent defective tablets 9x from flowing downstream, and it is possible to further improve the reliability of visual inspection.
  • a cover may be provided to cover all or part of the upstream conveyance section 41, the reversing section 42, and the downstream conveyance section 43.
  • a camera imaging means
  • the quality of the tablet 9 may be determined based on image data obtained by the camera.
  • the state of the cover may be used as a condition for resuming transportation of the tablet 9 or as a condition for performing imaging by the cameras 83 and 84 to obtain image data for re-judgment.
  • the conditions for resuming transportation or performing imaging may be that the cover is properly installed or that the opening provided in the cover is closed.
  • each of the cameras 83 and 84 is configured to image one tablet 9 at least twice, but the number of times one tablet 9 is imaged may be changed as appropriate.
  • the transportation of the tablet 9 is temporarily stopped at the timing when the second imaging of the tablet 9 is performed.
  • the timing of the temporary stop may be changed as appropriate.
  • the transport of the tablets 9 may be temporarily stopped immediately after a defective determination is made.
  • the actual position of the defective tablet 9x is used for the pass/fail judgment.
  • the position of the defective tablet 9x may be slightly different from the position of the defective tablet 9x in the image data (area data AD) used in the above.
  • the average transport amount of the tablets 9 from the execution of imaging to the completion of the quality determination is obtained and estimated in advance, and as shown in FIG.
  • the mark MK1 indicating the downstream position by the average transport amount may be displayed in association with the image data (region data AD) related to the defective tablet 9x. Even with this configuration, defective tablets 9x can be identified relatively easily.
  • a mark indicating a relatively wide range along the conveyance direction of the tablet 9 may be used as the mark MK1.
  • a mark MK2 indicating a column including a defective tablet 9x may be displayed in association with the image data (area data AD) related to the defective tablet 9x. Even with this configuration, defective tablets 9x can be identified relatively easily.
  • a mark MK3 for indicating the position of the defective tablet 9x may be displayed in a frame WK corresponding to the inspection area KA (the imaging range of the cameras 83, 84, 86).
  • a frame line indicating the area to be inspected KA is attached to the top surface of the transport device 4 (upstream transport section 41, downstream transport section 43, etc.). This makes it easier to identify defective tablets 9x based on the displayed content.
  • auxiliary lines ML or the like corresponding to the conveyance grooves 41a, 42a, and 43a may be provided within the frame WK.
  • a disc-shaped flat tablet having a circular shape in plan view is exemplified as the tablet 9, but the type, shape, etc. of the tablet are not limited to the above embodiment.
  • tablets include not only medicines but also tablets used for consumption.
  • tablets include not only plain tablets, but also sugar-coated tablets, film-coated tablets, orally disintegrating tablets, enteric-coated tablets, gelatin-coated tablets, and various other capsules such as hard capsules and soft capsules. This also includes tablets.
  • the shape of the tablet 9 is not limited to a circular shape in a plan view, but may be a polygonal shape in a plan view, an elliptical shape in a plan view, an ellipse shape in a plan view, or the like.
  • the tablets 9 are supplied from the visual inspection auxiliary device 1 (chute 5) to the counter 6a and the bottling device 6b, but the supply target of the tablets 9 may be determined as appropriate. May be changed. Therefore, for example, a blister sheet (for example, a PTP sheet) is manufactured in which the tablet 9 is accommodated in a pocket formed in a container film, and a cover film is attached to the container film so as to close the pocket.
  • the tablets 9 may be supplied to a blister packaging machine (for example, a PTP packaging machine) for packaging the tablets. Further, the blister packaging machine may be configured to include the visual inspection auxiliary device 1.
  • the configuration of the AI model 100 (neural network 90) as the "identification means" and its learning method are not limited to the above embodiment.
  • a configuration may be adopted in which processing such as normalization is performed on various data as necessary.
  • the structure of the neural network 90 is not limited to that shown in FIG. 9, and may have a configuration in which a pooling layer is provided after the convolutional layer 93, for example.
  • the number of layers of the neural network 90, the number of nodes in each layer, the connection structure of each node, etc. may be different.
  • the AI model 100 is a generative model having the structure of a convolutional autoencoder (CAE), but is not limited to this, for example, a variational autoencoder (VAE) It may also be a generative model with the structure of a different type of autoencoder, such as Variational Autoencoder).
  • CAE convolutional autoencoder
  • VAE variational autoencoder
  • VAE Variational Autoencoder
  • the neural network 90 is configured to learn using the error backpropagation method, but the configuration is not limited to this, and a configuration may be adopted in which learning is performed using various other learning algorithms.
  • the neural network 90 may be configured by a circuit dedicated to AI processing, such as a so-called AI chip.
  • the AI model 100 may be configured by storing only learning information such as parameters in the storage unit 85d, reading this information by the AI processing dedicated circuit, and setting it in the neural network 90.
  • control system 85 includes a learning section 857 and is configured to perform learning of the neural network 90 within the control system 85, but the present invention is not limited to this.
  • the learning unit 857 is omitted, the learning of the neural network 90 is performed outside the control system 85, and the AI model 100 (trained neural network 90) that has been trained externally is stored in the storage unit 85d. It may also be a configuration.
  • the learning data SD may be generated outside the control system 85.
  • the configuration of the conveyance device 4 is not limited to that mentioned in the above embodiment, and for example, the conveyance device may be configured by a conveyor or the like.
  • Decoder section decoding section
  • 100...AI model identification means
  • 853...camera control unit imaging control unit
  • 854...display control unit display control unit
  • 858...inspection unit determination unit, reconstructed image data acquisition unit, comparison unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medicinal Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Image Analysis (AREA)

Abstract

目視検査の信頼性をより高めることができる目視検査補助装置を提供する。目視検査補助装置は、目視検査の対象となる錠剤を搬送する搬送装置と、搬送される錠剤を撮像するカメラ８３，８４と、カメラ８３，８４により得られた画像データに基づき錠剤の良否を判定する検査部８５８と、目視検査を行う検査者から視認可能な位置に配置される表示部８５ｂ，８５ｃと、表示部８５ｂ，８５ｃにおいて不良錠剤を特定するための情報を表示させることが可能な表示制御部８５４と、検査部８５８により不良判定がなされた場合に、搬送装置４による錠剤の搬送を一時的に停止させる搬送制御部７とを備える。検査者は、表示部８５ｂ，８５ｃの表示内容を有効に利用して不良錠剤を容易に特定することができ、また、一時停止中の不良錠剤をより正確に除去することができる。そのため、目視検査の信頼性をより高めることができる。

Description

目視検査補助装置
　本発明は、目視による錠剤の検査に用いられる目視検査補助装置に関する。
　従来、搬送される検査対象物を目視により検査することが広く行われている。検査対象物としての錠剤を目視により検査するために用いられる装置としては、錠剤の搬送経路の途中に該錠剤の表裏を反転させる反転部を有するものが提案されている（例えば、特許文献１等参照）。この装置では、反転部よりも上流にて錠剤の表面及び裏面のうちの一方を、反転部よりも下流にて錠剤の表面及び裏面のうちの他方をそれぞれ目視検査することが可能となり、検査者１名で錠剤の表面及び裏面を検査することができるとされている。
特開２００１－９５８９８号公報
　しかしながら、上記のような装置では、目視のみで錠剤の検査を行うため、不良品の錠剤（不良錠剤）を見落としてしまうおそれがある。また、不良錠剤を発見した検査者は、該不良錠剤を搬送経路から除去することになるが、該不良錠剤を取り損なったり、該不良錠剤とは別の良品の錠剤を誤って除去したりするおそれがある。このような見落としや取り損ない、取り間違いが生じてしまうと、不良錠剤が下流へと流出してしまうことになる。
　本発明は、上記事情に鑑みてなされたものであり、その目的は、上記のような見落としや取り損ない、取り間違いの発生をより確実に防ぐことができ、目視検査の信頼性をより高めることができる目視検査補助装置を提供することにある。
　以下、上記目的を解決するのに適した各手段につき、項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
　手段１．目視検査の対象となる錠剤を搬送する搬送手段を備えた目視検査補助装置であって、
　前記搬送手段により搬送される錠剤を撮像する撮像手段と、
　前記撮像手段により得られた画像データに基づき、錠剤の良否を判定する判定手段と、
　錠剤の目視検査を行う検査者から視認可能な位置に配置される表示手段と、
　前記表示手段において、少なくとも前記判定手段により不良判定がなされた錠剤を特定するための情報を表示させることが可能な表示制御手段と、
　前記判定手段により不良判定がなされた場合に、前記搬送手段による錠剤の搬送を一時的に停止させる搬送制御手段とを備えることを特徴とする目視検査補助装置。
　上記手段１によれば、判定手段によって、搬送手段により搬送される（つまり目視検査の対象となる）錠剤の良否が判定される。そして、判定手段により不良判定がなされた場合には、錠剤の搬送が一時的に停止される。また、表示手段において、判定手段により不良判定がなされた錠剤を特定するための情報が表示される。
　従って、目視検査を行う検査者は、表示手段における表示内容を有効に利用して、複数の錠剤の中から不良品の錠剤（不良錠剤）を容易に特定することができる。また、不良判定がなされた場合、錠剤が一時停止していることから、検査者は、特定した不良錠剤をより正確に除去することができる。これにより、不良錠剤を見落としたり、不良錠剤を取り損なったり、不良錠剤とは別の良品の錠剤を誤って除去したりすることをより確実に防止できる。その結果、不良錠剤が下流へと流出してしまうことをより確実に防止でき、目視検査の信頼性をより高めることができる。
　手段２．前記表示制御手段は、前記表示手段において、少なくとも前記判定手段により不良判定がなされた錠剤を特定するための情報を該錠剤に係る前記画像データに対応付けて表示させることが可能に構成されていることを特徴とする手段１に記載の目視検査補助装置。
　上記手段２によれば、表示手段において、判定手段により不良判定がなされた錠剤を特定するための情報が、該錠剤に係る画像データに対応付けて表示される（例えば、不良品であることを示す特定のマークが、画像データ中における不良錠剤と重なった状態で表示される等）。従って、不良錠剤の特定がより容易なものとなり、不良錠剤の除去に要する手間や時間をより低減させることができる。
　手段３．前記撮像手段を制御する撮像制御手段を有し、
　前記撮像制御手段は、錠剤の一時停止中に、少なくとも不良判定された錠剤に対応する範囲を撮像して、再判定用の前記画像データである再判定用画像データを得るように前記撮像手段を制御するとともに、
　前記判定手段は、前記再判定用画像データに基づき、錠剤の良否を判定し、
　前記搬送制御手段は、一時停止中の錠剤の搬送が再開されるように前記搬送手段を再起動させることが可能であり、
　前記搬送制御手段による前記搬送手段の再起動は、前記再判定用画像データに基づく前記判定手段による判定結果が良であることを条件として行われるように構成されていることを特徴とする手段１に記載の目視検査補助装置。
　上記手段３によれば、不良錠剤が見つかって錠剤の搬送が一時停止されたときには、少なくとも不良判定された錠剤に対応する範囲（すなわち不良錠剤が位置していた箇所を含む範囲）を撮像して得た再判定用画像データに基づく判定結果が良である場合に限り、搬送手段を再起動させて、錠剤の搬送を再開させることが可能とされている。従って、不良錠剤の取り忘れや取り間違いなどが生じたとしても、その不良錠剤が誤って下流へと流出することを一層確実に防止できる。その結果、目視検査の信頼性を一層向上させることができる。
　手段４．錠剤は、表面及び裏面を有するものであり、
　前記搬送手段は、少なくとも一部に透明又は半透明な透過部が設けられるとともに、搬送される錠剤を支持する錠剤支持部を有し、
　前記撮像手段は、前記錠剤支持部を上下に挟む位置に配置される第一撮像手段と第二撮像手段とを備え、
　前記第一撮像手段によって錠剤の表面及び裏面のうちの一方が撮像され、前記第二撮像手段によって前記透過部を通して該錠剤の表面及び裏面のうちの他方が撮像されるように構成されており、
　前記判定手段は、前記第一撮像手段及び前記第二撮像手段により得られた、錠剤の表面及び裏面に係る画像データに基づき、錠剤の良否を判定するように構成されていることを特徴とする手段１乃至３のいずれかに記載の目視検査補助装置。
　上記手段４によれば、透過部を利用して錠剤の表面及び裏面の良否を判定することができるため、錠剤の良否判定をより精度よく行うことができる。また、第二撮像手段は錠剤支持部の下方に配置されることになるから、第二撮像手段が目視検査の邪魔になることを防止できる。
　さらに、上記手段３に対し上記手段４を適用した場合には、再判定用画像データに基づく良否判定によって錠剤の表面及び裏面の双方が良と判定された場合に限り、搬送手段の起動が許容されるようにすることができる。このため、不良錠剤を取り損なって、万が一この不良錠剤が裏返ってしまったとしても、搬送手段の起動が許容されないことになる。従って、不良錠剤が下流へと流出することを非常に効果的に防ぐことができる。
　手段５．前記搬送手段は、錠剤を複数列に並んだ状態で搬送するものであり、
　前記判定手段は、
　入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の錠剤に係る画像データに基づく学習データのみを学習させて生成した識別手段と、
　前記撮像手段により得られた画像データに基づく元画像データを前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
　前記元画像データ及び前記再構成画像データを比較可能な比較手段とを備え、
　前記比較手段による比較結果に基づき、錠剤の良否を判定可能に構成されており、
　前記学習データは、良品の錠剤に係る画像データから１列分の複数個の錠剤に対応する領域を錠剤の列ごとに抽出して得た画像データであり、
　前記元画像データは、前記撮像手段により得られた画像データから１列分の複数個の錠剤に対応する領域を錠剤の列ごとに抽出して得た画像データであることを特徴とする手段１に記載の目視検査補助装置。
　尚、「良品の錠剤に係る画像データ」としては、これまでの良否判定で蓄積された良品の錠剤に係る画像データや、該画像データなどを用いて生成した仮想良品画像データなどを挙げることができる。
　また、上記「ニューラルネットワーク」には、例えば複数の畳み込み層を有する畳み込みニューラルネットワークなどが含まれる。上記「学習」には、例えば深層学習（ディープラーニング）などが含まれる。上記「識別手段（生成モデル）」には、例えばオートエンコーダ（自己符号化器）や、畳み込みオートエンコーダ（畳み込み自己符号化器）などが含まれる。
　加えて、「識別手段」は、良品の錠剤に係る画像データのみを学習させて生成したものであるため、不良錠剤に係る元画像データを識別手段に入力したときに生成される再構成画像データは、ノイズ部分（不良部分）が除去された元画像データとほぼ一致することになる。すなわち、錠剤に不良部分があるときには、再構成画像データとして、不良部分がないものと仮定した場合の該錠剤に係る仮想的な画像データが生成される。
　さて、識別手段の学習に用いる学習データや、比較手段による比較（つまり良否判定）に用いる元画像データとして、例えば、撮像手段の視野全域に対応する画像データ（全域データ）や、全域データから個々の錠剤の占める領域を１つ１つ抽出して得た画像データ（錠剤個別データ）を利用することが考えられる。しかしながら、全域データを利用とする場合には、学習のために必要なデータ量が膨大となり、学習に係るコストの増大を招くおそれがある。また、錠剤個別データを利用しようとする場合には、錠剤ごとに僅かに形状や大きさが相違するから、錠剤個別データの抽出のために非常に面倒な設定を行わなければならなかったり、抽出処理に多大な時間を要したりすることになり、結果的に、抽出処理が困難となるおそれがある。
　この点、上記手段５によれば、学習データや元画像データとして、（互いに搬送方向に隣接し合う）１列分の複数個の錠剤に対応する領域を錠剤の列ごとに抽出して得た画像データが用いられる。従って、学習のために必要なデータ量を比較的少なくすることができ、学習に係るコストの低減を図ることができる。また、学習データや元画像データの抽出処理をより容易なものとすることができる。
　また、上記手段５によれば、元画像データと、該元画像データを識別手段へ入力して再構成された再構成画像データとを比較し、その比較結果に基づき、錠剤の良否を判定している。そのため、比較する両画像データは、それぞれ同一の錠剤に係るものとなる。従って、比較する両画像データにおいて、錠剤の形状や外観はそれぞれほぼ同一となるため、形状や外観の違いによる誤検出を防止するために比較的緩い判定条件を設定する必要はなく、より厳しい判定条件を設定することができる。さらに、比較する両画像データにおいて、撮像条件（例えば錠剤の配置位置や配置角度、明暗状態やカメラの画角等）を一致させることができる。これらの結果、錠剤の良否判定を非常に精度よく行うことができる。
　手段６．錠剤は、表面及び裏面と、該表面及び該裏面間に位置する側面とを有するものであり、
　前記搬送手段は、搬送される錠剤の表裏を反転させる反転部を有し、
　前記撮像手段は、前記反転部に位置する錠剤の側面を撮像する側面撮像手段を備え、
　前記判定手段は、前記側面撮像手段により得られた画像データに基づき、錠剤の側面に関する良否を判定可能に構成されていることを特徴とする請求項１に記載の目視検査補助装置。
　上記手段６によれば、錠剤の表裏を反転させる反転部が設けられているため、錠剤の表面及び裏面の目視検査を容易に行うことができる。
　また、反転部を利用して、錠剤の側面に関する良否判定を行うことができる。従って、錠剤の良否判定に係る精度を一層高めることができる。また、不良錠剤が下流へと流出してしまうことをより一層確実に防止でき、目視検査の信頼性をさらに高めることができる。
　尚、上述した各手段に係る技術事項を適宜組み合わせてもよい。例えば、上記手段２に係る技術事項に対し、上記手段３に係る技術事項を組み合わせてもよい。
目視検査補助装置などの概略構成を示す模式図である。 搬送装置などを示す斜視模式図である。 錠剤の側面図である。 判定ユニットの機能構成を示すブロック図である。 搬送される錠剤及び被検査領域などを示す平面模式図である。 カメラにより得られる画像データを示す模式図である。 元画像データを示す模式図である。 学習データを示す模式図である。 ニューラルネットワークの構造を説明するための模式図である。 ニューラルネットワークの学習処理の流れを示すフローチャートである。 錠剤の良否判定を行う際における処理の流れを示すフローチャートである。 良否判定処理の流れを示すフローチャートである。 錠剤が不良判定された場合に、表示部において表示される情報の一例を示す模式図である。 別の実施形態において、透過部が設けられた目視検査補助装置などの概略構成を示す模式図である。 別の実施形態において、透過部が設けられた搬送装置などを示す斜視模式図である。 別の実施形態において、錠剤の側面を撮像する側面用カメラなどを示す斜視模式図である。 別の実施形態において、表示部において表示される情報の一例を示す模式図である。 別の実施形態において、表示部において表示される情報の一例を示す模式図である。 別の実施形態において、表示部において表示される情報の一例を示す模式図である。
　以下に、一実施形態について図面を参照しつつ説明する。目視検査補助装置は、搬送される錠剤９（図３参照）の目視検査を行うために用いられる装置である。尚、錠剤９は、表面９ａ及び裏面９ｂと、これら両面９ａ，９ｂ間に位置する側面９ｃとを備えた平錠である（図３参照）。
　図１に示すように、目視検査補助装置１は、錠剤供給装置２、供給トラム３、搬送装置４及びシュート５を備えている。本実施形態では、搬送装置４が「搬送手段」を構成する。また、シュート５の下流には、計数器６ａ及びボトル詰め装置６ｂが設けられており、計数器６ａによって目視検査を経た錠剤９の計数が行われ、ボトル詰め装置６ｂによって錠剤９の容器詰めが行われるようになっている。
　錠剤供給装置２は、例えばホッパであり、供給トラム３に対し錠剤９を間欠的に供給する。
　供給トラム３は、搬送装置４に向けて錠剤９を整列させて搬送する。供給トラム３は、所定の第一バイブレータ３ａを備えており、該第一バイブレータ３ａの動作により供給トラム３上の錠剤９が搬送装置４へと送られる。
　搬送装置４は、目視検査の対象となる錠剤９を複数列に並べた状態で搬送する。搬送装置４は、図２に示すように、上流側搬送部４１、反転部４２、下流側搬送部４３及び第二バイブレータ４４を備えている。尚、目視検査を行う検査者は、上流側搬送部４１及び下流側搬送部４３の側方に、例えば１名ずつ置かれている。また、場合によっては、検査者は、上流側搬送部４１や下流側搬送部４３を挟むようにしてこれら搬送部４１，４３の両側方に置かれることもある。つまり、計４名以上の検査者が置かれることもある。尚、図２等では、搬送される多数の錠剤９のうちの一部のみを模式的に示している。
　上流側搬送部４１は、表面９ａ及び裏面９ｂのうちの一方が上面となる状態で、錠剤９を下流側へと連続搬送する。上流側搬送部４１には、錠剤９を整列した状態で下流側に送るための複数の上流側搬送溝４１ａが平行に設けられている。上流側搬送部４１による搬送時においては、錠剤９の表面９ａ及び裏面９ｂのうちの一方が目視検査される。
　反転部４２は、錠剤９を連続搬送しながら、該錠剤９の表裏を反転させるためのものである。反転部４２は、上流側搬送溝４１ａに連続する複数の中間側搬送溝４２ａを備えており、これら中間側搬送溝４２ａは、下流側に向けて徐々にねじれる形状をなしている。これにより、上流側搬送部４１において表面９ａ及び裏面９ｂのうちの一方が上面となった状態で搬送された錠剤９は、中間側搬送溝４２ａを通ることで、表面９ａ及び裏面９ｂのうちの他方が上面となった状態で、下流側搬送部４３へと送られることとなる。
　下流側搬送部４３は、表面９ａ及び裏面９ｂのうちの上流側搬送部４１において下面となっていた面を上面とした状態で、錠剤９を下流側へと連続搬送する。下流側搬送部４３には、中間側搬送溝４２ａに連続し、錠剤９を整列した状態でシュート５側に送るための複数の下流側搬送溝４３ａが平行に設けられている。下流側搬送部４３による搬送時においては、錠剤９の表面９ａ及び裏面９ｂのうち、上流側搬送部４１にて目視検査された側の面とは反対側の面が目視検査される。下流側搬送部４３を経た錠剤９は、シュート５を流下して、計数器６ａへと送られる。
　尚、本実施形態において、搬送溝４１ａ，４２ａ，４３ａの底部を構成するとともに、錠剤９の下面を下方から支持する錠剤支持部４５は、下流に向けて徐々に下がる傾斜面状の上面を有するものとされている。
　第二バイブレータ４４は、上流側搬送部４１、反転部４２及び下流側搬送部４３に振動を加えるための装置である。第二バイブレータ４４から上流側搬送部４１等へと振動が加えられることで、各溝部４１ａ，４２ａ，４３ａに位置する錠剤９が下流側へと搬送される。一方、第二バイブレータ４４の動作を停止させることで、錠剤９の搬送が停止される。
　また、目視検査補助装置１は、上記搬送装置４等に加えて、図１，４に示すように、搬送制御装置７及び判定ユニット８を備えている。本実施形態では、搬送制御装置７が「搬送制御手段」を構成する。
　まず、搬送制御装置７について説明する。搬送制御装置７は、搬送装置４（特に前記第二バイブレータ４４）の動作を制御することで、搬送装置４における錠剤９の搬送を開始（再開）又は一時停止させる機能を有する。
　搬送制御装置７は、判定ユニット８の後述する制御システム８５と通信可能に構成されており、該制御システム８５（特に後述する検査部８５８）により行われた錠剤９の良否判定結果を把握可能とされている。そして、搬送制御装置７は、制御システム８５により錠剤９の不良判定がなされた場合に、搬送装置４による錠剤９の搬送を一時的に停止させる。詳述すると、本実施形態では、後述の各カメラ８３，８４によって１の錠剤９が少なくとも２回ずつ撮像されるところ、搬送制御装置７は、カメラ８３，８４による錠剤９の１回目の撮像で得られた画像データに基づき該錠剤９が不良であると判定されると、該錠剤９に対する２回目の撮像を行うタイミングで錠剤９の搬送が一時停止されるように、搬送装置４を制御する。
　また、搬送制御装置７には、所定の搬送操作部（不図示）が接続されており、例えば目視検査を行う検査者が該搬送操作部を操作することによって、基本的には、搬送装置４の起動（再起動）及び一時停止を切換えて、錠剤９の搬送を開始（再開）又は一時停止させることが可能となっている。但し、上記のように錠剤９の不良判定に伴い錠剤９の搬送を一時停止した状態であるときには、搬送制御装置７は、不良判定された錠剤９〔以下、単に「不良錠剤９ｘ」（図１３参照）という〕に対応する範囲を再度撮像して得た画像データ（後述する再判定用画像データ）に基づく判定結果が「良」であるという条件が満たされた場合のみ、前記搬送操作部の操作による搬送装置４の再起動を許容するように構成されている。従って、錠剤９の不良判定に伴い錠剤９の搬送を一時停止した状態であるときには、単に前記搬送操作部を操作しただけでは錠剤９の搬送を再開させることができないようになっている。
　次いで、判定ユニット８について説明する。判定ユニット８は、第一照明装置８１、第二照明装置８２、第一カメラ８３、第二カメラ８４及び制御システム８５を備えている。本実施形態では、第一カメラ８３が「第一撮像手段」を構成し、第二カメラ８４が「第二撮像手段」を構成する。また、第一カメラ８３及び第二カメラ８４が「撮像手段」を構成する。
　第一照明装置８１及び第二照明装置８２は、少なくとも搬送される錠剤９の全ての列を含む所定の被検査領域ＫＡ（図５参照）に対し、上方から所定の光（例えば白色光など）を照射する。第一照明装置８１は、上流側搬送部４１における前記被検査領域ＫＡに対し光を照射し、第二照明装置８２は、下流側搬送部４３における前記被検査領域ＫＡに対し光を照射する。
　第一カメラ８３及び第二カメラ８４は、被検査領域ＫＡをほぼ真上から撮像する。各カメラ８３，８４は、例えばＣＣＤ（Charge Coupled Device）型イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ等の撮像素子と、該撮像素子に対し撮像対象の像を結像させる光学系（レンズユニットや絞りなど）とを有している。勿論、上述した撮像素子以外の撮像素子を採用してもよい。また、各カメラ８３，８４は、その光軸が前記錠剤支持部４５の上面と直交するようにして配置されている。
　各カメラ８３，８４は、制御システム８５（特に後述するカメラ制御部８５３）により駆動制御される。カメラ８３，８４による錠剤９の撮像によって、カメラ８３，８４の視野全域を示す画像データである全域データＡＤ（図６参照）が取得される。本実施形態では、カメラ８３，８４の視野全域が被検査領域ＫＡに相当する。
　各カメラ８３，８４によって撮像され生成された画像データは、各カメラ８３，８４の内部においてデジタル信号に変換された上で、デジタル信号の形で制御システム８５（特に後述の画像取得部８５５）に転送され記憶される。そして、制御システム８５は、該画像データを基に、後述する各種画像処理や演算処理等を実施する。
　制御システム８５は、所定の演算処理を実行するＣＰＵ（Central Processing Unit）、各種プログラムや固定値データ等を記憶するＲＯＭ（Read Only Memory）、各種演算処理の実行に際して各種データが一時的に記憶されるＲＡＭ（Random Access Memory）及びこれらの周辺回路等を含んだコンピュータや、入出力装置及び表示装置などからなる。
　そして、制御システム８５は、ＣＰＵが各種プログラムに従って動作することで、後述するメイン制御部８５１、照明制御部８５２、カメラ制御部８５３、表示制御部８５４、画像取得部８５５、データ処理部８５６、学習部８５７、検査部８５８などの各種機能部として機能する。
　但し、上記各種機能部は、上記ＣＰＵ、ＲＯＭ、ＲＡＭなどの各種ハードウェアが協働することで実現されるものであり、ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがＩＣなどのハードウェア回路により実現されてもよい。
　さらに、制御システム８５には、キーボードやマウス、タッチパネル等で構成される入力部８５ａ、液晶ディスプレイ等で構成され、各種情報を表示可能な表示画面をそれぞれ備えた第一表示部８５ｂ及び第二表示部８５ｃ、各種データやプログラム、演算結果、検査結果等を記憶可能な記憶部８５ｄ、外部と各種データを送受信可能な通信部８５ｆなどが設けられている。また、検査者によって操作可能な位置には、再判定用操作部８５ｅが設けられている。本実施形態では、第一表示部８５ｂ及び第二表示部８５ｃがそれぞれ「表示手段」を構成する。
　次に、制御システム８５を構成する上記各種機能部について詳しく説明する。
　メイン制御部８５１は、判定ユニット８全体の制御を司る機能部であり、照明制御部８５２やカメラ制御部８５３など他の機能部と各種信号を送受信可能に構成されている。
　照明制御部８５２は、メイン制御部８５１からの指令信号に基づき、照明装置８１，８２を制御する機能部である。
　カメラ制御部８５３は、カメラ８３，８４を制御する機能部であり、メイン制御部８５１からの指令信号に基づき、カメラ８３，８４による撮像タイミングなどを制御する。本実施形態において、カメラ制御部８５３は、上流側搬送部４１において同じ錠剤９を少なくとも２回撮像し、下流側搬送部４３において同じ錠剤９を少なくとも２回撮像するように各カメラ８３，８４を制御する。
　また、再判定用操作部８５ｅに対し所定の操作が行われると、カメラ制御部８５３は、錠剤９の一時停止中に、不良錠剤９ｘに対応する範囲（すなわち不良錠剤９ｘが位置していた箇所を含む範囲）を撮像するように各カメラ８３，８４を制御する。つまり、カメラ制御部８５３は、再判定用の画像データである再判定用画像データを得るようにカメラ８３，８４を制御する。本実施形態では、カメラ制御部８５３が「撮像制御手段」を構成する。
　表示制御部８５４は、記憶部８５ｄに記憶された情報に基づき、各表示部８５ｂ，８５ｃにおける表示内容を制御する。本実施形態では、表示制御部８５４が「表示制御手段」を構成する。
　画像取得部８５５は、各カメラ８３，８４により撮像され取得された画像データを取り込むための機能部である。
　データ処理部８５６は、画像取得部８５５により取り込まれた画像データに所定の画像処理を施す機能部である。本実施形態において、データ処理部８５６は、前記全域データＡＤ（カメラ８３，８４の視野全域を示す画像データ）から１列分の複数個の錠剤９に対応する領域を錠剤９の列ごとに抽出することで、元画像データＸＤや学習データＳＤ（図７，８参照）を取得する処理を行う。元画像データＸＤは、錠剤９の良否判定に用いられ、学習データＳＤは、後述するニューラルネットワーク９０の学習に用いられる。元画像データＸＤ及び学習データＳＤは、１の全域データＡＤから複数（本実施形態では、錠剤９の列数と同数）取得することができる。
　学習部８５７は、学習データＳＤを用いてディープニューラルネットワーク９０（以下、単に「ニューラルネットワーク９０」という。図９参照。）の学習を行い、「識別手段」としてのＡＩ（Artificial Intelligence）モデル１００を構築する機能部である。
　尚、本実施形態におけるＡＩモデル１００は、後述するように、良品の錠剤９の被検査領域ＫＡに係る画像データのみを学習データＳＤとして、ニューラルネットワーク９０を深層学習（ディープラーニング）させて構築した生成モデルであり、いわゆるオートエンコーダ（自己符号化器）の構造を有する。
　ここで、ニューラルネットワーク９０の構造について、図９を参照して説明する。図９は、ニューラルネットワーク９０の構造を概念的に示した模式図である。図９に示すように、ニューラルネットワーク９０は、入力される画像データＧＡから特徴量（潜在変数）ＴＡを抽出する「符号化部」としてのエンコーダ部９１と、該特徴量ＴＡから画像データＧＢを再構成する「復号化部」としてのデコーダ部９２と有してなる畳み込みオートエンコーダ（ＣＡＥ：Convolutional Auto-Encoder）の構造を有している。
　畳み込みオートエンコーダの構造は公知のものであるため、詳しい説明は省略するが、エンコーダ部９１は複数の畳み込み層(Convolution Layer)９３を有し、各畳み込み層９３では、入力データに対し複数のフィルタ（カーネル）９４を用いた畳み込み演算が行われた結果が次層の入力データとして出力される。同様に、デコーダ部９２は複数の逆畳み込み層（Deconvolution Layer）９５を有し、各逆畳み込み層９５では、入力データに対し複数のフィルタ（カーネル）９６を用いた逆畳み込み演算が行われた結果が次層の入力データとして出力される。そして、後述する学習処理では、各フィルタ９４，９６の重み（パラメータ）が更新されることとなる。
　図４に戻り、検査部８５８は、搬送装置４によって搬送される錠剤９の良否判定を行う機能部である。例えば本実施形態では、錠剤９に異物や汚れが付着しているか否か、錠剤９に欠けや割れなどの破損が生じているか否か等についての検査が行われる。尚、錠剤９に印刷部が設けられている場合、検査部８５８は、該印刷部の良否についての判定を行ってもよい。本実施形態では、上記の通り、各カメラ８３，８４によって同じ錠剤９が少なくとも２回ずつ撮像されるため、１の錠剤９の表面９ａについての良否判定が少なくとも２回行われ、該錠剤９の裏面９ｂについての良否判定が少なくとも２回行われることになる。本実施形態では、検査部８５８が「判定手段」を構成する。
　尚、同じ錠剤９の表面９ａ及び裏面９ｂが少なくとも２回ずつ撮像されるのは、基本的には、錠剤９の良否判定に係る精度を高めるためである。但し、錠剤９が不良品である場合には、１回目の撮像はその不良錠剤９ｘを発見するために、２回目の撮像はその不良錠剤９ｘが一時停止した状態における画像データを得るために、それぞれ行われていると言うことができる。不良錠剤９ｘが一時停止した状態における画像データは、後述するステップＳ３０５の判定結果対応処理において、その不良錠剤９ｘの特定のために用いられるところ、このような画像データを利用することで、該画像データが示す錠剤９の状態（位置や間隔、向き等）と、一時停止中の実際の錠剤９の状態とをほぼ一致させることが可能となる。
　また、再判定用操作部８５ｅに対し所定の操作が行われると、検査部８５８は、上述の再判定用画像データに基づき、錠剤９の良否を再判定する。
　第一表示部８５ｂ及び第二表示部８５ｃは、例えば、搬送装置４の近傍など、目視検査を行う検査者から視認可能な位置に配置されている（図２参照）。本実施形態において、第一表示部８５ｂは、上流側搬送部４１に対応して設けられており、第二表示部８５ｃは、下流側搬送部４３に対応して設けられている。表示制御部８５４が各表示部８５ｂ，８５ｃを制御することにより、第一表示部８５ｂでは、第一カメラ８３により得られた画像データに基づく良否判定結果などが表示され、第二表示部８５ｃでは、第二カメラ８４により得られた画像データに基づく良否判定結果などが表示される。尚、各表示部８５ｂ，８５ｃの配設位置については、検査者が表示部８５ｂ，８５ｃに表示された情報を確認可能な位置である限り、適宜変更してもよい。勿論、各表示部８５ｂ，８５ｃは、据え置かれるものであってもよいし、持ち運び可能なものであってもよい。また、表示部の設置台数についても、例えば検査者の数などに応じて、適宜変更してもよい。
　記憶部８５ｄは、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等で構成され、例えばＡＩモデル１００（ニューラルネットワーク９０及びその学習により獲得した学習情報）を記憶する所定の記憶領域を有している。また、記憶部８５ｄは、各カメラ８３，８４により得られた画像データや、検査部８５８にて行われた錠剤９の良否判定結果を記憶する機能を具備している。
　再判定用操作部８５ｅは、錠剤９の搬送が一時停止された状態において、検査部８５８による錠剤９の良否判定を再度実行させる際に使用される操作装置である。再判定用操作部８５ｅに対し所定の操作が行われると、上記の通り、カメラ８３，８４によって再判定用画像データが得られるとともに、検査部８５８によって該再判定用画像データに基づく錠剤９の良否判定が行われる。
　通信部８５ｆは、例えば有線ＬＡＮ（Local Area Network）や無線ＬＡＮ等の通信規格に準じた無線通信インターフェースなどを備え、外部と各種データを送受信可能に構成されている。例えば検査部８５８により行われた検査の結果などが通信部８５ｆを介して外部（搬送制御装置７など）に出力される。
　次に、判定ユニット８によって行われるニューラルネットワーク９０の学習処理について図１０のフローチャートを参照して説明する。
　所定の学習プログラムの実行に基づき、学習処理が開始されると、メイン制御部８５１は、はじめにステップＳ１０１において、ニューラルネットワーク９０の学習を行うための前処理を行う。
　この前処理では、まず記憶部８５ｄに記憶された多数の良否判定情報を取得する。続いて、該良否判定情報に基づき、記憶部８５ｄから、良否判定において良品と判定された錠剤９に係る画像データを取得する。この画像データは、被検査領域ＫＡ全体を示す全域データＡＤである。さらに、データ処理部８５６により、該画像データ（全域データＡＤ）から１列分の複数個の錠剤９に対応する領域を錠剤９の列ごとに抽出することで、学習データＳＤを生成する。学習データＳＤは、元画像データＸＤと同様の形式を有するものであり、上記の通り、ニューラルネットワーク９０の学習を行うために用いられる。かかる処理は、必要な数の学習データＳＤが取得されるまで行われる。
　尚、学習データＳＤとして、良品の錠剤９に係る画像データを用いて生成した仮想良品画像データなどを用いてもよい。
　ステップＳ１０１において必要な数の学習データＳＤが取得されると、続くステップＳ１０２において、メイン制御部８５１からの指令に基づき、学習部８５７が、未学習のニューラルネットワーク９０を準備する。例えば予め記憶部８５ｄ等に格納されているニューラルネットワーク９０を読み出す。又は、記憶部８５ｄ等に格納されているネットワーク構成情報（例えばニューラルネットワークの層数や各層のノード数など）に基づいて、ニューラルネットワーク９０を構築する。
　ステップＳ１０３では、再構成画像データを取得する。すなわち、メイン制御部８５１からの指令に基づき、学習部８５７が、ステップＳ１０１において取得された学習データＳＤを入力データとして、ニューラルネットワーク９０の入力層に与え、これにより該ニューラルネットワーク９０の出力層から出力される再構成画像データを取得する。再構成画像データは、学習データＳＤや元画像データＸＤと同様の形式を有しており、１列分の錠剤９に対応する領域を示す画像データである。
　続くステップＳ１０４では、学習部８５７が、入力した画像データ（学習データＳＤ）と、ニューラルネットワーク９０により出力された再構成画像データとを比較し、その誤差が十分に小さいか否か（所定の閾値以下であるか否か）を判定する。
　ここで、前記誤差が十分に小さい場合には、ステップＳ１０６にて、学習部８５７は、学習の終了条件を満たすか否かを判定する。例えば、後述するステップＳ１０５の処理を経ることなくステップＳ１０４にて肯定判定されることが所定回数連続で行われた場合や、用意した学習データＳＤの全てを用いた学習が所定回数反復して行われた場合には、終了条件を満たすと判定される。終了条件を満たす場合には、ニューラルネットワーク９０及びその学習情報（後述する更新後のパラメータ等）をＡＩモデル１００として記憶部８５ｄに格納し、本学習処理を終了する。
　一方、ステップＳ１０６にて終了条件を満たさない場合には、ステップＳ１０３に戻り、ニューラルネットワーク９０の学習を再度行う。
　また、ステップＳ１０４にて、前記誤差が十分に小さくない場合には、ステップＳ１０５においてネットワーク更新処理（ニューラルネットワーク９０の学習）を行った後、再びステップＳ１０３へ戻り、上記一連の処理を繰り返す。
　具体的に、ステップＳ１０５のネットワーク更新処理では、例えば誤差逆伝播法（Backpropagation）などの公知の学習アルゴリズムを用いて、学習データＳＤと再構成画像データとの差分を表す損失関数が極力小さくなるように、ニューラルネットワーク９０における上記各フィルタ９４，９６の重み（パラメータ）をより適切なものに更新する。尚、損失関数としては、例えばＢＣＥ（Binary Cross-entropy）などを利用することができる。
　ステップＳ１０３～１０５の処理を何度も繰り返すことにより、ニューラルネットワーク９０では、学習データＳＤと再構成画像データとの誤差が極力小さくなり、より正確な再構成画像データが出力されるようになる。
　そして、最終的に得られるＡＩモデル１００は、良品の錠剤９に係る画像データ（本実施形態では、元画像データＸＤ）が入力されたときに、入力された元画像データＸＤとほぼ一致する再構成画像データを生成するものとなる。また、ＡＩモデル１００は、不良錠剤９ｘに係る画像データ（元画像データＸＤ）が入力されたときには、ノイズ部分（不良部分に相当する部分）を除去した元画像データＸＤとほぼ一致する再構成画像データを生成するものとなる。すなわち、錠剤９が不良であるときには、該錠剤９に係る再構成画像データとして、不良部分がないものと仮定した場合の該錠剤９に係る仮想的な画像データが生成される。
　次に、判定ユニット８によって行われる錠剤９の良否判定に係る処理について図１１のフローチャートを参照して説明する。この処理は、予め設定された通常の良否判定実行タイミングや、再判定用操作部８５ｅに対し所定の操作が行われたときに実行される。
　まずステップＳ３０１において、各カメラ８３，８４による錠剤９の撮像が行われる。すなわち、カメラ制御部８５３が各カメラ８３，８４を制御することで、各カメラ８３，８４によって各搬送部４１，４３の被検査領域ＫＡがそれぞれ撮像される。これにより、被検査領域ＫＡ全体を示す画像データ（全域データＡＤ）が得られる。
　次のステップＳ３０２では、データ処理部８５６によって、得られた全域データＡＤから１列分の複数個の錠剤９に対応する領域を錠剤９の列ごとに抽出する（切り出す）処理が行われる。ステップＳ３０２では、全域データＡＤから１列分の元画像データＸＤが取得される。
　ステップＳ３０３では、良否判定処理が行われる。具体的には、図１２に示すように、まず、ステップＳ５０１にて、検査部８５８によって、ステップＳ３０２にて取得した元画像データＸＤがＡＩモデル１００の入力層へ入力される。その結果、ＡＩモデル１００から再構成画像データが出力される。本実施形態では、検査部８５８が「再構成画像データ取得手段」を構成する。
　続くステップ５０２では、検査部８５８によって、元画像データＸＤ及び再構成画像データが比較され、両画像データの差分が算出される。例えば、両画像データにおける同一座標のドットがそれぞれ比較されて、輝度の差が所定値以上となったドットの塊の面積（ドット数）が算出される。本実施形態では、元画像データＸＤ及び再構成画像データを比較する検査部８５８が「比較手段」を構成する。
　続いて、ステップＳ５０３において、検査部８５８により錠剤９における不良部分の有無が判定される。具体的には、検査部８５８によって、算出した各差分が所定の閾値よりも大きいか否かが判定される。そして、差分が所定の閾値よりも大きい場合には、ステップＳ５０４において、「不良」と判定される。一方、差分が所定の閾値よりも小さい場合には、ステップＳ５０５において、「良」と判定される。
　図１１に戻り、ステップＳ３０３の良否判定処理に続くステップＳ３０４では、ステップＳ３０１にて得られた画像データ（全域データＡＤ）に係る全ての元画像データＸＤに基づき、ステップＳ３０３の良否判定処理が行われたか否かが判定される。すなわち、ステップＳ３０１にて全域データＡＤからは複数（錠剤９の列数と同数）の元画像データＸＤが得られるところ、これら元画像データＸＤの全てに基づくステップＳ３０３の良否判定処理が行われたか否かが判定される。
　ここで、全ての元画像データＸＤに基づく良否判定処理が行われている場合（ステップＳ３０４：ＹＥＳ）、ステップＳ３０５に移行する。一方、そうではない場合（ステップＳ３０４：ＮＯ）、ステップＳ３０２に戻る。従って、全ての元画像データＸＤに基づく良否判定処理が行われるまで、ステップＳ３０２，Ｓ３０３の処理が繰り返し行われることとなる。
　そして、全ての元画像データＸＤに基づく良否判定が行われると、ステップＳ３０５の判定結果対応処理において、良否判定の結果に応じた処理が実行される。すなわち、全ての元画像データＸＤに基づき上記良否判定処理が行われた結果、全ての元画像データＸＤについて「良」と判定された場合には、撮像対象の被検査領域ＫＡに係る錠剤９が「良品」と判定され、この判定結果が記憶部８５ｄに記憶される。また、表示制御部８５４によって、「良品」である旨の情報と、ステップＳ３０１にて得られた画像データ（全域データＡＤ）とが表示部８５ｂ，８５ｃに表示される。
　一方、少なくとも１つの元画像データＸＤについて「不良」と判定された場合には、撮像対象の被検査領域ＫＡに係る錠剤９が「不良品」と判定され、この判定結果と、不良部分の位置を示す情報（例えば座標情報など）とが記憶部８５ｄに記憶される。
　また、表示制御部８５４によって、「不良品」である旨の情報と、不良錠剤９ｘを特定するための情報をステップＳ３０１にて得られた画像データ（全域データＡＤ）に対応付けてなる情報とが表示部８５ｂ，８５ｃに表示される。本実施形態では、上述した不良部分の位置を示す情報に基づき、該位置を示すマークＭＫが、ステップＳ３０１にて得られた画像データ（全域データＡＤ）に重ねられた状態で表示される（図１３参照）。すなわち、不良錠剤９ｘの位置と該不良錠剤９ｘにおける不良部分の位置とをそれぞれ示す特定のマークＭＫが、画像データ（全域データＡＤ）と重なった状態で表示される。
　尚、ある錠剤９に対する１回目の撮像により得られた画像データに基づき、該錠剤９が「不良品」であると判定された場合、この判定直後に錠剤９の搬送が一時停止されることはなく、不良錠剤９ｘに対する２回目の撮像を行うタイミングとなったときに、搬送制御装置７によって錠剤９の搬送が一時停止される。
　そして、搬送が一時停止された状態で、不良錠剤９ｘに対する２回目の撮像が行われるとともに、この撮像により得られた画像データに基づき、良否判定が行われる。この良否判定では、通常、１回目の良否判定と同様に、「不良品」と判定される。そして、表示部８５ｂ，８５ｃでは、不良錠剤９ｘを特定するための情報（マークＭＫ）が２回目の撮像により得られた画像データ（全域データＡＤ）に対応付けられて表示される。このとき、表示部８５ｂ，８５ｃにて表示される画像データ（全域データＡＤ）は、錠剤９の一時停止中に取得されたものであるため、現在の錠剤９の状態（位置や間隔、向き等）と、表示部８５ｂ，８５ｃにて表示されている画像データが示す錠剤９の状態とはほぼ一致する。
　上記のような情報が表示されると、この情報に基づき、目視検査を行う検査者によって、不良錠剤９ｘが特定されるとともに、ピンセット等によって、この不良錠剤９ｘが搬送装置４から除去される。このとき、現在の錠剤９の状態と、表示部８５ｂ，８５ｃにて表示されている画像データが示す錠剤９の状態とはほぼ一致するため、検査者は、表示部８５ｂ，８５ｃにおける表示内容を利用して、不良錠剤９ｘを極めて容易に特定可能することができる。
　また、不良錠剤９ｘが除去された後には、検査者によって、錠剤９の搬送が再開させられる。但し、上記の通り、単に前記搬送操作部を操作しても錠剤９の搬送は再開されず、錠剤９の搬送を再開させるためには、再判定用操作部８５ｅを操作して上記良否判定処理を再度行い、この良否判定処理によって「良品」と判定されるという条件を満たした上で、前記搬送操作部を操作する必要がある。尚、この再度の良否判定処理に関する判定結果や画像データも表示部８５ｂ，８５ｃに表示される。
　以上詳述したように、本実施形態によれば、検査部８５８によって、搬送装置４により搬送される（つまり目視検査の対象となる）錠剤９の良否が判定される。そして、検査部８５８により不良判定がなされた場合には、錠剤９の搬送が一時的に停止される。また、各表示部８５ｂ，８５ｃにおいて、不良錠剤９ｘを特定するための情報が表示される。
　従って、目視検査を行う検査者は、表示部８５ｂ，８５ｃにおける表示内容を有効に利用して、複数の錠剤９の中から不良錠剤９ｘを容易に特定することができる。また、不良判定がなされた場合、錠剤９が一時停止していることから、検査者は、特定した不良錠剤９ｘをより正確に除去することができる。これにより、不良錠剤９ｘを見落としたり、不良錠剤９ｘを取り損なったり、不良錠剤９ｘとは別の良品の錠剤９を誤って除去したりすることをより確実に防止できる。その結果、不良錠剤９ｘが下流へと流出してしまうことをより確実に防止でき、目視検査の信頼性をより高めることができる。
　さらに、表示部８５ｂ，８５ｃでは、不良錠剤９ｘを特定するための情報（本実施形態ではマークＭＫ）が、該不良錠剤９ｘに係る画像データに対応付けて表示される。従って、不良錠剤９ｘの特定がより容易なものとなり、不良錠剤９ｘの除去に要する手間や時間をより低減させることができる。
　加えて、不良錠剤９ｘが見つかって錠剤９の搬送が一時停止されたときには、少なくとも不良錠剤９ｘに対応する範囲（すなわち不良錠剤９ｘが位置していた箇所を含む範囲）を撮像して得た再判定用画像データに基づく判定結果が良である場合に限り、搬送装置４を再起動させて、錠剤９の搬送を再開させることが可能とされている。従って、不良錠剤９ｘの取り忘れや取り間違いなどが生じたとしても、その不良錠剤９ｘが誤って下流へと流出することを一層確実に防止できる。その結果、目視検査の信頼性を一層向上させることができる。
　加えて、学習データＳＤや元画像データＸＤとして、互いに搬送方向に隣接し合う１列分の複数個の錠剤９に対応する領域を錠剤９の列ごとに抽出して得た画像データが用いられる。従って、学習のために必要なデータ量を比較的少なくすることができ、学習に係るコストの低減を図ることができる。また、学習データＳＤや元画像データＸＤの抽出処理をより容易なものとすることができる。
　さらに、元画像データＸＤと、該元画像データＸＤをＡＩモデル１００へ入力して再構成された再構成画像データとを比較し、その比較結果に基づき、錠剤９の良否を判定している。そのため、比較する両画像データは、それぞれ同一の錠剤９に係るものとなる。従って、比較する両画像データにおいて、錠剤９の形状や外観はそれぞれほぼ同一となるため、形状や外観の違いによる誤検出を防止するために比較的緩い判定条件を設定する必要はなく、より厳しい判定条件を設定することができる。さらに、比較する両画像データにおいて、撮像条件（例えば錠剤９の配置位置や配置角度、明暗状態やカメラの画角等）を一致させることができる。これらの結果、錠剤９の良否判定を非常に精度よく行うことができる。
　また、本実施形態では、錠剤９の表裏を反転させる反転部４２が設けられているため、錠剤９の表面９ａ及び裏面９ｂの目視検査を容易に行うことができる。
　尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。
　（ａ）上記実施形態において、各カメラ８３，８４は、錠剤９の搬送経路の上方に配置されており、それぞれ錠剤９の上面を撮像するように構成されている。
　これに対し、図１４，１５に示すように、錠剤支持部４５の少なくとも一部に透明又は半透明な透過部４６（図１５にて散点模様を付した部位）を設けるとともに、各カメラ８３，８４を錠剤支持部４５を上下に挟む位置に配置し、第一カメラ８３によって錠剤９の上面を、第二カメラ８４によって透過部４６を通して錠剤９の下面をそれぞれ撮像するように構成してもよい。すなわち、第一カメラ８３によって錠剤９の表面９ａ及び裏面９ｂのうちの一方を撮像し、第二カメラ８４によって透過部４６を通して該錠剤９の表面９ａ及び裏面９ｂのうちの他方を撮像するように構成してもよい。そして、検査部８５８によって、各カメラ８３，８４により得られた錠剤９の表面９ａ及び裏面９ｂに係る各画像データに基づき、錠剤９の良否を判定するように構成してもよい。
　上記のように構成した場合には、第二カメラ８４が錠剤支持部４５の下方に配置されることになるから、第二カメラ８４が目視検査の邪魔になることを防止できる。
　さらに、再判定用画像データに基づく良否判定によって錠剤９の表面９ａ及び裏面９ｂの双方が良と判定された場合に限り、搬送装置４の起動（再起動）が許容されることとなる。このため、不良錠剤９ｘを取り損なって、万が一この不良錠剤９ｘが裏返ってしまったとしても、搬送装置４の起動（再起動）が許容されないことになる。従って、不良錠剤９ｘが下流へと流出することを非常に効果的に防ぐことができる。
　（ｂ）上記実施形態では、元画像データＸＤ及び学習データＳＤとして、被検査領域ＫＡの全体を示す画像データ（全域データＡＤ）から１列分の複数個の錠剤９に対応する領域を錠剤９の列ごとに抽出して得たものを利用しているが、全域データＡＤや、全域データＡＤから個々の錠剤９の占める領域を１つ１つ抽出して得た画像データなどを用いてもよい。
　（ｃ）上記実施形態では、検査部８５８によって、錠剤９の表面９ａ及び裏面９ｂの良否判定が行われるように構成されている。これに対し、検査部８５８によって、錠剤９の側面９ｃの良否判定をも行うように構成してもよい。
　例えば、反転部４２により錠剤９の表裏を反転させるときには、錠剤９の側面９ｃが上方を向いた状態となることを利用して、図１６に示すように、反転部４２に位置する錠剤９の側面９ｃを撮像する側面用カメラ８６を設け、検査部８５８によって、該側面用カメラ８６により得られた画像データに基づき側面９ｃに関する良否を判定するように構成してもよい。側面用カメラ８６は、「側面撮像手段」及び「撮像手段」に相当する。
　このように構成した場合には、反転部４２を利用して、錠剤９の側面９ｃに関する良否判定を行うことができる。従って、錠剤９の良否判定に係る精度を一層高めることができる。また、不良錠剤９ｘが下流へと流出してしまうことをより一層確実に防止でき、目視検査の信頼性をさらに高めることができる。
　（ｄ）上流側搬送部４１、反転部４２及び下流側搬送部４３の全部又は一部を覆うカバーを設けてもよい。また、該カバー内にカメラ（撮像手段）を設置し、該カメラによって得られた画像データに基づき、錠剤９の良否判定を行う構成としてもよい。
　さらに、錠剤９の搬送再開の条件や、再判定用画像データを取得するためのカメラ８３，８４による撮像実行の条件として、前記カバーの状態を用いてもよい。例えば、カバーが適切に設置されていることや、カバーに設けられた開口部が閉じていること等を搬送再開や撮像実行の条件としてもよい。
　（ｅ）上記実施形態では、カメラ８３，８４によって１の錠剤９をそれぞれ少なくとも２回ずつ撮像するように構成されているが、１の錠剤９に対する撮像回数を適宜変更してもよい。
　（ｆ）上記実施形態では、１回目の撮像により得られた画像データに基づき錠剤９の不良判定がなされた場合に、該錠剤９の２回目の撮像を行うタイミングで錠剤９の搬送を一時停止するように構成されているが、一時停止のタイミングについては適宜変更してもよい。例えば、不良判定の直後に、錠剤９の搬送を一時停止するように構成してもよい。
　尚、このように構成した場合には、撮像の実行から良否判定の完了までに若干の時間を要するから、錠剤９の搬送を停止したときに、実際の該不良錠剤９ｘの位置が、良否判定に用いた画像データ（全域データＡＤ）における不良錠剤９ｘの位置とやや異なるものとなり得る。
　従って、例えば、撮像の実行から良否判定の完了までの間における錠剤９の平均搬送量を予め取得・推定しておき、図１７に示すように、表示部８５ｂ，８５ｃにおいて、不良錠剤９ｘから前記平均搬送量だけ下流の位置を示すマークＭＫ１を、該不良錠剤９ｘに係る画像データ（全域データＡＤ）に対応付けて表示させるように構成してもよい。このように構成した場合であっても、不良錠剤９ｘの特定を比較的容易に行うことができる。尚、実際の搬送量と前記平均搬送量とでずれが生じることを考慮し、マークＭＫ１として、錠剤９の搬送方向に沿った比較的広範囲を示すマークを用いてもよい。
　また、例えば、図１８に示すように、不良錠剤９ｘを含む列を示すマークＭＫ２を、該不良錠剤９ｘに係る画像データ（全域データＡＤ）に対応付けて表示させるようにしてもよい。このように構成した場合においても、不良錠剤９ｘの特定を比較的容易に行うことができる。
　尚、必ずしも不良錠剤９ｘを特定するための情報を該不良錠剤９ｘに係る画像データに対応付けて表示させる必要はない。例えば、図１９に示すように、被検査領域ＫＡ（カメラ８３，８４，８６の撮像範囲）に対応する枠ＷＫ内に、不良錠剤９ｘの位置を示すためのマークＭＫ３を表示させる構成としてもよい。尚、この場合には、搬送装置４（上流側搬送部４１や下流側搬送部４３など）の上面に被検査領域ＫＡ（カメラ８３，８４，８６の撮像範囲）を示す枠線を付しておくことで、表示内容に基づく不良錠剤９ｘの特定を一層容易に行うことができる。尚、枠ＷＫ内に、搬送溝４１ａ，４２ａ，４３ａに対応する補助線ＭＬなどを設けてもよい。
　（ｇ）上記実施形態では、錠剤９として平面視円形状をなす円盤形状の平錠が例示されているが、錠剤の種別や形状等については、上記実施形態に限定されるものではない。例えば錠剤には、医薬のみならず、飲食用に用いられる錠剤なども含まれる。また、錠剤には、素錠のみならず、糖衣錠やフィルムコーティング錠、口腔内崩壊錠、腸溶錠、ゼラチン被包錠などが含まれるのは勿論のこと、硬カプセルや軟カプセルなどの各種カプセル錠なども含まれる。
　さらに、錠剤９の形状に関しては、例えば平面視円形状のみならず、平面視多角形状、平面視楕円形状、平面視長円形状などであってもよい。
　（ｈ）上記実施形態では、目視検査補助装置１（シュート５）から計数器６ａ及びボトル詰め装置６ｂへと錠剤９が供給されるように構成されているが、錠剤９の供給対象については適宜変更してもよい。従って、例えば、容器フィルムに形成されたポケット部に錠剤９が収容されるとともに、該ポケット部を塞ぐように前記容器フィルムに対しカバーフィルムが取着されてなるブリスタシート（例えばＰＴＰシート）を製造するためのブリスタ包装機（例えばＰＴＰ包装機）を、錠剤９の供給対象としてもよい。また、ブリスタ包装機が目視検査補助装置１を有するように構成してもよい。
　（ｉ）「識別手段」としてのＡＩモデル１００（ニューラルネットワーク９０）の構成及びその学習方法は、上記実施形態に限定されるものではない。例えば、ニューラルネットワーク９０の学習処理や、再構成画像データの取得処理などを行う際に、必要に応じて各種データに対し正規化等の処理を行う構成としてもよい。また、ニューラルネットワーク９０の構造は、図９に示したものに限定されず、例えば畳み込み層９３の後にプーリング層を設けた構成としてもよい。勿論、ニューラルネットワーク９０の層数や、各層のノード数、各ノードの接続構造などが異なる構成としてもよい。
　さらに、上記実施形態では、ＡＩモデル１００（ニューラルネットワーク９０）が、畳み込みオートエンコーダ（ＣＡＥ）の構造を有した生成モデルとなっているが、これに限らず、例えば変分自己符号化器(ＶＡＥ：Variational Autoencoder)など、異なるタイプのオートエンコーダの構造を有した生成モデルとしてもよい。
　また、上記実施形態では、誤差逆伝播法によりニューラルネットワーク９０を学習する構成となっているが、これに限らず、その他の種々の学習アルゴリズムを用いて学習する構成としてもよい。
　加えて、ニューラルネットワーク９０は、いわゆるＡＩチップ等のＡＩ処理専用回路によって構成されることとしてもよい。その場合、パラメータ等の学習情報のみが記憶部８５ｄに記憶され、これをＡＩ処理専用回路が読み出して、ニューラルネットワーク９０に設定することによって、ＡＩモデル１００が構成されるようにしてもよい。
　併せて、上記実施形態において、制御システム８５は学習部８５７を備え、制御システム８５内においてニューラルネットワーク９０の学習を行う構成となっているが、これに限られるものではない。例えば、学習部８５７を省略して、ニューラルネットワーク９０の学習を制御システム８５の外部で行う構成とし、外部で学習を行ったＡＩモデル１００（学習済みのニューラルネットワーク９０）を記憶部８５ｄに記憶する構成としてもよい。勿論、学習データＳＤを、制御システム８５の外部で生成してもよい。
　（ｊ）搬送装置４の構成は上記実施形態で挙げたものに限定されず、例えば、コンベア等によって搬送装置を構成してもよい。
　１…目視検査補助装置、４…搬送装置（搬送手段）、７…搬送制御装置（搬送制御手段）、９…錠剤、９ａ…表面、９ｂ…裏面、９ｃ…側面、４２…反転部、４５…錠剤支持部、４６…透過部、８３…第一カメラ（撮像手段、第一撮像手段）、８４…第二カメラ（撮像手段、第二撮像手段）、８５ｂ…第一表示部（表示手段）、８５ｃ…第二表示部（第二表示手段）、８６…側面用カメラ（撮像手段、側面撮像手段）、９０…ニューラルネットワーク、９１…エンコーダ部（符号化部）、９２…デコーダ部（復合化部）、１００…ＡＩモデル（識別手段）、８５３…カメラ制御部（撮像制御手段）、８５４…表示制御部（表示制御手段）、８５８…検査部（判定手段、再構成画像データ取得手段、比較手段）。

Claims (6)

  1. 　目視検査の対象となる錠剤を搬送する搬送手段を備えた目視検査補助装置であって、
    　前記搬送手段により搬送される錠剤を撮像する撮像手段と、
    　前記撮像手段により得られた画像データに基づき、錠剤の良否を判定する判定手段と、
    　錠剤の目視検査を行う検査者から視認可能な位置に配置される表示手段と、
    　前記表示手段において、少なくとも前記判定手段により不良判定がなされた錠剤を特定するための情報を表示させることが可能な表示制御手段と、
    　前記判定手段により不良判定がなされた場合に、前記搬送手段による錠剤の搬送を一時的に停止させる搬送制御手段とを備えることを特徴とする目視検査補助装置。
  2. 　前記表示制御手段は、前記表示手段において、少なくとも前記判定手段により不良判定がなされた錠剤を特定するための情報を該錠剤に係る前記画像データに対応付けて表示させることが可能に構成されていることを特徴とする請求項１に記載の目視検査補助装置。
  3. 　前記撮像手段を制御する撮像制御手段を有し、
    　前記撮像制御手段は、錠剤の一時停止中に、少なくとも不良判定された錠剤に対応する範囲を撮像して、再判定用の前記画像データである再判定用画像データを得るように前記撮像手段を制御するとともに、
    　前記判定手段は、前記再判定用画像データに基づき、錠剤の良否を判定し、
    　前記搬送制御手段は、一時停止中の錠剤の搬送が再開されるように前記搬送手段を再起動させることが可能であり、
    　前記搬送制御手段による前記搬送手段の再起動は、前記再判定用画像データに基づく前記判定手段による判定結果が良であることを条件として行われるように構成されていることを特徴とする請求項１に記載の目視検査補助装置。
  4. 　錠剤は、表面及び裏面を有するものであり、
    　前記搬送手段は、少なくとも一部に透明又は半透明な透過部が設けられるとともに、搬送される錠剤を支持する錠剤支持部を有し、
    　前記撮像手段は、前記錠剤支持部を上下に挟む位置に配置される第一撮像手段と第二撮像手段とを備え、
    　前記第一撮像手段によって錠剤の表面及び裏面のうちの一方が撮像され、前記第二撮像手段によって前記透過部を通して該錠剤の表面及び裏面のうちの他方が撮像されるように構成されており、
    　前記判定手段は、前記第一撮像手段及び前記第二撮像手段により得られた、錠剤の表面及び裏面に係る画像データに基づき、錠剤の良否を判定するように構成されていることを特徴とする請求項１乃至３のいずれか１項に記載の目視検査補助装置。
  5. 　前記搬送手段は、錠剤を複数列に並んだ状態で搬送するものであり、
    　前記判定手段は、
    　入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の錠剤に係る画像データに基づく学習データのみを学習させて生成した識別手段と、
    　前記撮像手段により得られた画像データに基づく元画像データを前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
    　前記元画像データ及び前記再構成画像データを比較可能な比較手段とを備え、
    　前記比較手段による比較結果に基づき、錠剤の良否を判定可能に構成されており、
    　前記学習データは、良品の錠剤に係る画像データから１列分の複数個の錠剤に対応する領域を錠剤の列ごとに抽出して得た画像データであり、
    　前記元画像データは、前記撮像手段により得られた画像データから１列分の複数個の錠剤に対応する領域を錠剤の列ごとに抽出して得た画像データであることを特徴とする請求項１に記載の目視検査補助装置。
  6. 　錠剤は、表面及び裏面と、該表面及び該裏面間に位置する側面とを有するものであり、
    　前記搬送手段は、搬送される錠剤の表裏を反転させる反転部を有し、
    　前記撮像手段は、前記反転部に位置する錠剤の側面を撮像する側面撮像手段を備え、
    　前記判定手段は、前記側面撮像手段により得られた画像データに基づき、錠剤の側面に関する良否を判定可能に構成されていることを特徴とする請求項１に記載の目視検査補助装置。
PCT/JP2022/043352 2022-05-17 2022-11-24 目視検査補助装置 WO2023223579A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247022127A KR20240116523A (ko) 2022-05-17 2022-11-24 육안 검사 보조 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-080921 2022-05-17
JP2022080921A JP7330328B1 (ja) 2022-05-17 2022-05-17 目視検査補助装置

Publications (1)

Publication Number Publication Date
WO2023223579A1 true WO2023223579A1 (ja) 2023-11-23

Family

ID=87577113

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/043352 WO2023223579A1 (ja) 2022-05-17 2022-11-24 目視検査補助装置

Country Status (3)

Country Link
JP (1) JP7330328B1 (ja)
KR (1) KR20240116523A (ja)
WO (1) WO2023223579A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0826229A (ja) * 1994-07-19 1996-01-30 Shionogi & Co Ltd カプセル剤のバンドシール検出方法及びバンドシール検出装置
JP2001095898A (ja) * 1999-10-01 2001-04-10 Hayashi Yakuhin Kikai Kk 錠剤目視検査装置
JP2006220448A (ja) * 2005-02-08 2006-08-24 Ckd Corp 検査装置及びｐｔｐ包装機
JP2019039925A (ja) * 2018-09-25 2019-03-14 Ckd株式会社 外観検査装置及びブリスター包装機

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4747313B2 (ja) 2006-12-28 2011-08-17 公立大学法人高知工科大学 薄板状部品の検査方法と検査装置
JP7312560B2 (ja) 2019-01-31 2023-07-21 株式会社Ｓｃｒｅｅｎホールディングス 情報処理装置、情報処理方法、情報処理プログラム、学習方法および学習済モデル

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0826229A (ja) * 1994-07-19 1996-01-30 Shionogi & Co Ltd カプセル剤のバンドシール検出方法及びバンドシール検出装置
JP2001095898A (ja) * 1999-10-01 2001-04-10 Hayashi Yakuhin Kikai Kk 錠剤目視検査装置
JP2006220448A (ja) * 2005-02-08 2006-08-24 Ckd Corp 検査装置及びｐｔｐ包装機
JP2019039925A (ja) * 2018-09-25 2019-03-14 Ckd株式会社 外観検査装置及びブリスター包装機

Also Published As

Publication number Publication date
KR20240116523A (ko) 2024-07-29
JP2023169667A (ja) 2023-11-30
JP7330328B1 (ja) 2023-08-21

Similar Documents

Publication Publication Date Title
WO2004036198A1 (ja) ガラス壜の検査装置における基準画像の作成方法及び装置
WO2004036197A1 (ja) ガラス壜の検査装置
JP6749655B1 (ja) 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
JPH07209196A (ja) 錠剤検査システム
JP4368808B2 (ja) 外観検査装置及びｐｔｐ包装機
EP3399302A1 (en) Egg surface inspection apparatus
JP7405915B2 (ja) 製品を分析する方法及び装置、訓練方法、システム、コンピュータプログラム、並びにコンピュータ読み取り可能記憶媒体
JP4849805B2 (ja) 検査装置及びｐｔｐ包装機
CN115335855A (zh) 豆腐制品的检查设备、豆腐制品的制造系统、豆腐制品的检查方法及程序
TW201937161A (zh) 用於檢測玻璃片的設備及方法
JP2018004272A (ja) パターン検査装置およびパターン検査方法
WO2023223579A1 (ja) 目視検査補助装置
JPH07282219A (ja) 画像認識手段を具えた錠剤検査装置及び錠剤検査方法
TWI788387B (zh) 缺陷檢查系統及缺陷檢查方法
JP4684172B2 (ja) 外観検査装置及びｐｔｐシートの製造装置
JP6027047B2 (ja) 検査システム及びｐｔｐ包装機
JP4477516B2 (ja) 検査装置及びｐｔｐ包装機
JP3974015B2 (ja) 物品検査システム
JP2019184489A (ja) 画像識別装置、及び画像識別装置を備える物品製造装置
JP2011112398A (ja) 画像形成状態検査方法、画像形成状態検査装置及び画像形成状態検査用プログラム
CN118613714A (zh) 目视检查辅助装置
JPH06258226A (ja) 錠剤の外観検査方法
JP7309017B1 (ja) 錠剤検査装置及び錠剤検査方法
Chavda et al. Detection of defect in pharma-tablets using image processing
JP2020190485A (ja) 識別モデル生成装置、識別モデル生成方法及び識別モデル生成プログラム、並びに鋼材疵判定装置、鋼材疵判定方法及び鋼材疵判定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22942780

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20247022127

Country of ref document: KR

Kind code of ref document: A