WO2020105395A1 - 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム - Google Patents

薬剤識別装置、薬剤識別方法及び薬剤識別プログラム

Info

Publication number
WO2020105395A1
WO2020105395A1 PCT/JP2019/042857 JP2019042857W WO2020105395A1 WO 2020105395 A1 WO2020105395 A1 WO 2020105395A1 JP 2019042857 W JP2019042857 W JP 2019042857W WO 2020105395 A1 WO2020105395 A1 WO 2020105395A1
Authority
WO
WIPO (PCT)
Prior art keywords
drug
image
images
medicine
registered
Prior art date
Application number
PCT/JP2019/042857
Other languages
English (en)
French (fr)
Inventor
一央 岩見
Original Assignee
富士フイルム富山化学株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム富山化学株式会社 filed Critical 富士フイルム富山化学株式会社
Priority to JP2020558221A priority Critical patent/JP7125510B2/ja
Publication of WO2020105395A1 publication Critical patent/WO2020105395A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a drug identification device, a drug identification method, and a drug identification program, and more particularly to a technique for identifying a drug subject to drug inspection and drug identification by machine learning.
  • Patent Document 1 describes a tablet identification method for accurately identifying a tablet by the first identification step and the second identification step.
  • the tablet identification method described in Patent Document 1 images a packaging paper in which one dose of tablets is packaged, and cuts out tablet regions corresponding to the tablets from the captured image.
  • the first identification step identifies the type of each tablet by comparing the size and color of each cut tablet region with model information relating to the shape and color of the tablet.
  • the second identification step is based on a learning model generated by performing machine learning using learning data including a tablet image, and at least a type for similar tablets having different types but similar feature amounts. Identify.
  • Patent Document 2 describes an article identification system that inputs an image of an article (tablet) to be identified and identifies the brand of the tablet.
  • the operation of this system is divided into a learning phase for creating a dictionary and an identification phase for performing identification.
  • a learning phase for example, a large number of tablet samples for each brand are photographed by a camera, and the actual images are taken.
  • the learning unit uses the dictionary to create the dictionary.
  • a tablet to be identified is photographed by a camera, and the identification unit identifies the tablet brand using the photographed image and the dictionary.
  • the gray value vector of the learning sample is subjected to principal component analysis to obtain an eigenvalue and an eigenvector, the gray value vector is converted to a significant principal component vector using these eigenvalue and eigenvector, and the principal component
  • the vector is used as a reference vector, the gray value vector of the article to be identified is converted into a principal component vector, and the reference vector is referenced based on the principal component vector for identification.
  • the pre-processed image (color image) is converted into a gray image so that the grayscale characteristics of the article are well reflected in the grayscale value vector.
  • Patent Document 3 pattern identification of a tablet image obtained by photographing a tablet is performed, a candidate of a tablet shown in the tablet image and an identification result indicating its accuracy are generated, and a candidate having a high accuracy included in the identification result.
  • a tablet identification device that performs matching between a template image corresponding to the above and a tablet image, and adds the matching degree to the identification result as the similarity of candidates having high accuracy.
  • pre-processing such as blurring processing is performed in order to enhance robustness at the time of matching.
  • Engraving and printing are used to identify drugs.
  • the marking is an uneven shape on the surface of the medicine, and the shadow of the marking appearing in the image of the medicine is greatly influenced by the surrounding illumination conditions. For example, even with the same medicine, the appearance of the shadow differs from the relative position with the illumination. Therefore, when preparing the teacher data necessary for machine learning, an image according to the direction of the tablet and, if there are multiple light sources, the irradiation direction of the light from each light source to the surface of the drug is required. ..
  • the second identification step described in Patent Document 1 is a type for similar tablets that are similar to the feature amount of the tablet to be identified by the learned model that has been learned by using the sample image group of tablets as learning data.
  • the algorithm of machine learning for example, deep learning
  • Patent Document 1 detailed description is omitted.
  • Patent Document 1 describes that two types of images, a color image by a white light source and a backlight image by transmitted light of a red light backlight source, are photographed, but these two types of images are for a tablet. It is not an image for obtaining a stamp (shadow of the stamp) well.
  • Patent Document 2 a real image (color image) is converted into a gray image as preprocessing so that the grayscale feature of an article (tablet) is well reflected in the grayscale value vector, and the luminance value is positively used.
  • stamping and printing are important for tablet identification, but the use of luminance values does not lead to improvement of robustness of identification code information.
  • Patent Document 3 when performing template matching, a blurring process is performed on a tablet image and a template image, and an adjustment process is performed to bring the brightness of the template image after the blurring process closer to the tablet image after the blurring process. is there.
  • the blurring process has the effect of reducing high-frequency noise, it also has a problem that the identification code information necessary for identifying the tablet is also reduced.
  • the present invention has been made in view of such circumstances, and provides a drug identification device, a drug identification method, and a drug identification program that can significantly reduce the number of teacher data when identifying a drug by machine learning.
  • the purpose is to
  • a drug identifying apparatus includes an image acquiring unit that acquires a plurality of first images of a drug having different irradiation directions of light onto the surface of the drug, and a plurality of image acquiring units.
  • An image processing unit that generates a second image in which an emphasizing process for emphasizing a marking or a print attached to a medicine based on one image is performed on the medicine image, and a characteristic amount that calculates a characteristic amount of the second image
  • An arithmetic unit and an inference unit that infers which of the registered drugs the drug is based on based on the characteristic amount of the second image.
  • an emphasizing process for emphasizing a marking or a print affixed to a drug is performed based on a plurality of first images each having a different irradiation direction of light to the surface of the drug (pretreatment is performed. ), And generate a second image.
  • the preprocessed second image emphasizes the marking or printing on the medicine, and standardizes independent of the relationship between the marking or printing on the medicine and the irradiation direction of light with respect to the plurality of first images. It will be an image that is
  • the feature amount of the preprocessed second image is calculated, and based on the feature amount of the second image, it is inferred which of the registered drugs the identification target drug is closer to. It is possible to significantly reduce the number of teacher data by machine learning using the standardized second image for the registered drug.
  • the image processing unit acquires a plurality of edge images from the plurality of first images by using edge extraction filters in directions corresponding to the irradiation directions, respectively.
  • the image is combined with the drug image to generate the second image.
  • the feature amount computing unit and the inference unit use the second image corresponding to the registered drug and the drug identifying information for identifying the registered drug as teacher data, It is preferable that the convolutional neural network that has been trained for each time is configured.
  • the convolutional neural network includes a rotation processing unit that sequentially rotates the second image corresponding to the new registered drug within a range of 0 to 360 degrees.
  • a rotation processing unit that sequentially rotates the second image corresponding to the new registered drug within a range of 0 to 360 degrees.
  • the second image is a 3-channel color image and the convolutional neural network is an image set including a 3-channel color image as an input image.
  • the color information of the drug is also used for identifying the drug, and a more appropriate inference result can be obtained.
  • the plurality of first images include a plurality of images of the drug placed on the stage taken from above the stage and a plurality of images taken from below the stage. It is preferable that the image processing unit generate the second image based on the plurality of images captured from above the stage and the plurality of images captured from below the stage.
  • a drug identification device is an image acquisition unit that acquires a plurality of first images of a drug having different irradiation directions of light onto the surface of the drug, and a plurality of image acquisition units based on the plurality of first images.
  • a deduction unit that deduces which of the registered medicines the medicine is based on based on the characteristic quantities of the plurality of first images.
  • first images that have different light irradiation directions on the drug surface as one image set. Note that the plurality of first images have different irradiation directions of light onto the surface of the medicine, but the other imaging conditions are the same.
  • the feature quantities of the plurality of first images are calculated, and based on the feature quantities of the plurality of first images, it is inferred which of the registered medicines the drug to be identified is closer to.
  • the number of teacher data can also be significantly reduced by machine learning using a plurality of first images (image sets) in which the irradiation direction of light on the surface of the registered drug is different.
  • the feature amount computing unit and the inference unit provide teacher data with an image set including a plurality of first images corresponding to the registered drug and drug identifying information for identifying the registered drug. It is preferable to use a convolutional neural network that has been learned for each registered drug.
  • the convolutional neural network includes a rotation processing unit that sequentially rotates an image set corresponding to a new registered drug within a range of 0 to 360 degrees.
  • a rotation processing unit that sequentially rotates an image set corresponding to a new registered drug within a range of 0 to 360 degrees.
  • each image of the plurality of first images is composed of a color image of 3 channels
  • the convolutional neural network is configured such that each image of the plurality of first images is of 3 channels. It is preferable to use an image set consisting of color images as the input image.
  • the plurality of first images include a plurality of images of the drug placed on the stage taken from above the stage and a plurality of images taken from below the stage. It is preferable to include.
  • the drug identifying device includes an output unit that visually outputs the inference result inferred by the inference unit.
  • the output unit visibly outputs the drug identification information of the registered drug closest to the registered drug, based on the inference result, or It is preferable that the drug identification information of a plurality of registered drugs is visibly output in order from the closest registered drug among the registered drugs.
  • the image acquisition unit includes a stage on which the drug to be identified is placed and a plurality of different irradiation directions of light onto the surface of the drug placed on the stage. And a photographing unit for photographing the medicines having different irradiation directions of the light on the surface of the medicine by sequentially changing the plurality of light sources and lighting them. And preferably.
  • an image acquiring unit includes a step of acquiring a plurality of first images of a drug having different irradiation directions of light onto the surface of the drug, and a plurality of image processing units. Generating a second image in which an emphasizing process for emphasizing the marking or the printing attached to the medicine based on the first image is performed on the medicine image; The method includes a step of calculating the amount, and a step of inferring which of the registered medicines the medicine is closer to, based on the characteristic amount of the second image, by the inference unit.
  • the image acquisition unit acquires a plurality of first images of the drug having different irradiation directions of light onto the surface of the drug, and the feature amount calculation unit, A step of calculating a feature amount of the plurality of first images based on the plurality of first images; and an inference unit inferring which of the registered drugs the drug is closer to based on the feature amounts of the plurality of first images And a step of performing.
  • a drug identification program provides a function of acquiring a plurality of first images of a drug having different irradiation directions of light onto the surface of the drug, and a drug attached to the drug based on the plurality of first images. Based on the feature amount of the second image, the function of generating the second image in which the emphasizing process for emphasizing the engraved marking or the print is applied to the image of the medicine, the function of calculating the feature amount of the second image, It is a program that causes a computer to realize a function of inferring which drug is closer to a registered drug.
  • a drug identification program is a function of acquiring a plurality of first images of a drug having different irradiation directions of light onto the surface of the drug, and a plurality of first images based on the plurality of first images. It is a program that causes a computer to realize a function of calculating a feature amount of one image and a function of inferring which of the registered drugs the drug is based on based on the feature amounts of the plurality of first images.
  • the present invention by using an image of a medicine that does not depend on the relative positional relationship between the medicine and the illumination light source, it is possible to significantly reduce the number of teacher data when identifying the medicine by machine learning, and particularly, the medicine. It can be reasonably inferred which of the registered medicines is close to the medicine marked or printed on the surface.
  • FIG. 1 is a block diagram showing an electrical internal configuration of the medicine identifying device according to the first embodiment.
  • FIG. 2 is a block diagram showing an internal configuration of the image acquisition unit shown in FIG.
  • FIG. 3 is a side view showing a state in which an image of a sachet is obtained using a camera and a lighting unit.
  • FIG. 4 is a plan view showing a state in which an image of a sachet is obtained using a camera and a lighting unit.
  • FIG. 5: is a figure which shows five images from which the illumination conditions of one chemical
  • FIG. 6 is a block diagram mainly showing a specific configuration of the image processing section shown in FIG. FIG.
  • FIG. 7 is a schematic diagram of a cross-sectional structure of a drug taken along an xy plane that passes through the center of the drug.
  • FIG. 8 is a diagram showing an example of a Sobel filter used for edge extraction in the edge image generation unit.
  • FIG. 9 is a diagram showing an outline of the drug identification processing by the drug identification device according to the first embodiment.
  • FIG. 10 is a functional block diagram mainly showing main functions of the learning device including the discriminator (CNN) shown in FIG.
  • FIG. 11 is a block diagram showing an electrical internal configuration of the medicine identifying device according to the second embodiment.
  • FIG. 12 is a flowchart showing the first embodiment of the drug identifying method according to the present invention.
  • FIG. 13 is a flowchart showing a second embodiment of the drug identifying method according to the present invention.
  • Identification code information for identifying the type of drug is attached to the surface of the drug (tablet). This identification code information is generally attached by engraving or printing (printing). Therefore, by using this identification code information, the identification power of the medicine can be improved.
  • the engraved mark on the medicine means that the identification code information is formed by forming a groove that is a depressed area on the surface of the medicine.
  • the groove is not limited to one formed by digging the surface, and may be one formed by pressing the surface. Further, the engraved mark may include a mark that does not have an identification function such as a secant.
  • the printing attached to the medicine means that the identification code information is formed by applying edible ink or the like to the surface of the medicine in contact or non-contact.
  • identification code information is formed by applying edible ink or the like to the surface of the medicine in contact or non-contact.
  • printed is synonymous with “printed”.
  • FIG. 1 is a block diagram showing an electrical internal configuration of the medicine identifying apparatus 10-1 according to the first embodiment.
  • the drug identification device 10-1 shown in FIG. 1 mainly includes an image acquisition unit 20, an image processing unit 30, a classifier that functions as a feature amount calculation unit 42 and an inference unit 44 (in this example, a convolutional neural network (CNN: Convolutional Neural Network)) 40.
  • CNN Convolutional Neural Network
  • the image acquisition unit 20 controls two cameras (imaging units) 22A and 22B for photographing a drug, an illumination unit 24 having a plurality of light sources, and the cameras 22A and 22B and the illumination unit 24 as shown in FIG. It is composed of a photographing control unit 26.
  • FIG. 3 is a side view showing how the images of the sachet are acquired using the cameras 22A and 22B and the illumination unit 24, and FIG. 4 is a plan view thereof.
  • the medicine bandage PB which is composed of continuous sachets TP, is placed on the stage 21 and sequentially conveyed.
  • the stage 21 is a plate-shaped member having a mounting surface and a back surface parallel to the xy plane (horizontal plane).
  • the stage 21 is made of a light-transmissive material.
  • the stage 21 has a size of 130 mm in the x-axis direction and 80 mm in the y-axis direction.
  • the sachet TP contains a plurality of medicines, each of which is dispensed at a time.
  • the plurality of light sources of the illumination unit 24 are four light sources 24L, 24R, 24U, and 24D arranged on the upper side (+ z direction side in FIG. 3) and the lower side ( ⁇ z direction side in FIG. 3) of the medicine bandage PB, respectively. To be done. In FIG. 3, the light sources 24U and 24D above and below the medicine bandage PB are illustrated, and in FIG. 4, the four light sources 24L, 24R, 24U, and 24D below the medicine bandage PB are illustrated. Omitted.
  • the four light sources 24L, 24R, 24U, and 24D on the upper side of the medicine bandage PB irradiate light from diagonally upward in + x direction, ⁇ x direction, ⁇ y direction, and + y direction in FIG. To do. That is, the illumination direction of the light source 24L is a direction facing the illumination direction of the light source 24R in the xy plane view, the illumination direction of the light source 24U is a direction orthogonal to the illumination direction of the light sources 24L, 24R in the xy plane view, It is a direction facing the illumination direction of the light source 24D.
  • the light sources 24L, 24R, 24U, and 24D below the medicine bandage PB are similarly arranged.
  • the illumination unit 24 irradiates the front side and the back side of the sachet TP (the medicine packaged in the sachet) with light.
  • the cameras 22A and 22B are digital cameras. As shown in FIG. 3, the camera 22A is arranged above the medicine bandage PB and the camera 22B is arranged below the medicine bandage PB. The cameras 22A and 22B capture images of the front side and the back side of the sachet TP (medicine packaged in).
  • the sachet TP (medicine band PB) is transported in the + x direction (longitudinal direction of the drug band PB) in FIG. 4 by a transport mechanism (not shown).
  • the light sources 24L, 24R, 24U, and 24D on the upper side of the sachet TP divide the upper side of the sachet TP by the light sources 24L, 24R, 24U, and 24D on the lower side of the sachet TP.
  • the lower side of the packet TP is illuminated from four directions.
  • the sachet TP is not irradiated with light other than the light emitted from the illumination unit 24 at the time of photographing.
  • the light sources 24L, 24R, 24U, and 24D below the sachet TP and the camera 22B are similarly arranged.
  • the photographing control unit 26 sequentially lights the light sources 24L, 24R, 24U, and 24D on the upper side of the sachet TP, and the camera 22A causes each illumination direction.
  • the four light sources are captured, and the upper light sources 24L, 24R, 24U, and 24D are simultaneously turned on to capture one uniformly illuminated image (from all directions).
  • the photographing control unit 26 controls the lower light sources 24L, 24R, 24U, 24D of the sachet TP and the lower camera 22B in the same manner as above.
  • FIG. 5 is a diagram showing five images (first images) in one sachet TP with different illumination conditions for one drug (an example of a drug).
  • four images GL, GR, GU, and GD are images taken by the camera 22A by sequentially lighting the upper light sources 24L, 24R, 24U, and 24D of the medicine, and the image GA is the upper image. This is an image taken by the camera 22A with the light sources 24L, 24R, 24U, and 24D turned on at the same time.
  • each of the four images GL, GR, GU, and GD shown in FIG. 5 uneven brightness occurs depending on the illumination direction.
  • "A" on each image shown in FIG. 5 indicates the marking S, but the marking S of the images GL, GR, GU, and GD is the uneven shape of the surface of the medicine, and as will be described later, it is illuminated. The shadow of the marking S appears differently depending on the direction.
  • the image GA taken by turning on the four light sources 24L, 24R, 24U, and 24D at the same time does not have uneven brightness, but the marking S is unclear because the shadow of the marking S is less likely to appear.
  • the front and back of the medicine taken by the camera 22A on the upper side of the medicine are indefinite, and different markings are attached to the front and back of the medicine. Because there is.
  • FIG. 6 is a block diagram mainly showing a specific configuration of the image processing unit 30 shown in FIG.
  • the image processing unit 30 shown in FIG. 6 includes an image cutout unit 32, an edge image combination unit 34, and an edge image generation unit 36.
  • the images obtained by capturing the sachet TP acquired by the image acquisition unit 20 (in this example, five images on the front side and five images on the back side, a total of ten images) are image cutouts. Added to part 32.
  • the image cutout unit 32 cuts out regions of a plurality of medicines packaged in the sachet TP from the image of the sachet TP to generate a plurality of medicine images (first images). It is preferable to cut out the drug image by detecting the outer shape of the drug and cutting out according to the outer shape of the drug. In this example, 10 medicine images are cut out for one medicine.
  • An image GA (an image without brightness unevenness) taken by turning on the four light sources 24L, 24R, 24U, and 24D at the same time is added to the edge image synthesizing unit 34 from the image cutting unit 32, and is imprinted according to the illumination direction.
  • the four images GL, GR, GU, and GD in which the shadow of S is different are added to the edge image generation unit 36, respectively.
  • the edge image generation unit 36 generates four edge images from the four images GL, GR, GU, and GD by using edge extraction filters (for example, Sobel filters) in the directions corresponding to the irradiation directions.
  • edge extraction filters for example, Sobel filters
  • FIG. 7 is a schematic diagram of a cross-sectional structure of the drug T cut along an xy plane passing through the center of the drug T, showing a profile of a line for one pixel.
  • the drug T in FIG. 7 has a diameter D, and has a marking S that is a secant having a V-shaped cross section on the surface.
  • the width of the groove of the marking S is W.
  • the width of the groove of the marking S is the distance from one end of the groove to the other end in the direction orthogonal to the extending direction of the groove, and refers to the distance on the surface of the drug T.
  • the medicine T when the medicine T is illuminated with the illumination light LL, the right side surface SR of the marking S is illuminated with the illumination light LL, but the left side surface SL of the marking S is not illuminated with the illumination light LL and the marking S A shadow is generated on the left surface SL.
  • the illumination light LR when the medicine T is illuminated with the illumination light LR in the direction opposite to the illumination light LL, the illumination light LR is applied to the left surface SL of the marking S, but the illumination light LR is applied to the right surface SR of the marking S. The LR is not illuminated, and a shadow is generated on the surface SR on the right side of the marking S.
  • FIG. 8 is a diagram showing an example of a Sobel filter used for edge extraction in the edge image generation unit 36.
  • the Sobel filter FL is used when edge extraction is performed from the image GL of the medicine T irradiated with the illumination light LL from the left direction, and the Sobel filter FR is used for the medicine T irradiated with the illumination light LR from the right direction. Used when extracting edges from the image GR.
  • the kernel size of the Sobel filters FL and FR shown in FIG. 8 is preferably a Sobel filter having a size larger than half the width W (the number of pixels) of the marking S.
  • W the number of pixels
  • a Sobel filter having a size larger than 2 pixels, which is half the size (3 pixels in the x-axis direction ⁇ 3 pixels in the y-axis direction) is used.
  • an edge extraction filter having a size that considers the number of pixels from the edge the groove is accurately extracted and It is possible to reduce information other than markings such as surface patterns and scratches that are smaller than the width of.
  • the edge image generation unit 36 uses Sobel filters FL and FR for the images GL and GR, respectively, and generates edge images corresponding to the images GL and GR. In addition, the edge image generation unit 36 also performs the same for the image GU of the medicine T irradiated with the illumination light from above and the image GD of the medicine T irradiated with the illumination light from below as in the above. An edge image is generated by using a Sobel filter according to the direction of illumination light.
  • the filter used for the edge extraction filter processing in the edge image synthesis unit 34 is not limited to the Sobel filter, and a Laplacian filter, a Canny filter, or the like can be used.
  • the four edge images respectively generated by the edge image generation unit 36 for the four images GL, GR, GU, and GD are output to the edge image synthesis unit 34.
  • An image GA without brightness unevenness (an image with little shadow of the marking S) is added to the other input of the edge image synthesis unit 34, and the edge image synthesis unit 34 synthesizes four edge images with the image GA. ..
  • the image processing unit 30 can generate an image (second image) in which the drug image (image GA) is subjected to the emphasis process for emphasizing the marking.
  • the image processing unit 30 performs an emphasis process for emphasizing the marking on the medicine image based on the five medicine images taken by the camera 22B on the lower side of the medicine among the ten medicine images. It goes without saying that an image (second image) is also generated.
  • the image GA (image without brightness unevenness) taken by simultaneously turning on the four light sources 24L, 24R, 24U, and 24D is used as the image to be combined with the edge image.
  • One or more of the images GL, GR, GU, and GD may be subjected to the luminance unevenness correction process, and may be an image in place of the image GA.
  • the brightness unevenness correction processing can be performed, for example, by dividing an image having brightness unevenness by an image obtained by performing Gaussian filter processing on the image. In this case, it is not necessary to acquire the image GA captured by turning on the four light sources 24L, 24R, 24U, and 24D at the same time.
  • the image of the medicine on which the emphasizing process for emphasizing the marking is performed as described above is the same regardless of the position of the medicine on the stage 21 (independent of the relative positional relationship between the medicine and the plurality of light sources).
  • the resulting image is highly robust against the position of the drug.
  • FIG. 9 is a diagram showing an outline of drug identification processing by the drug identification device 10-1 of the first embodiment.
  • the lighting condition of the lighting unit 24 is changed, and the medicine in the sachet is photographed multiple times to infer what the medicine contained in the photographed image is.
  • Numeral 23A is a front image of the sachet taken by the camera 22A
  • numeral 23B is a back image of the sachet taken by the camera 22B.
  • the front image 23A and the back image 23B are shown one by one, but as described above, five images are taken by changing the illumination condition of the illumination unit 24.
  • the medicine may or may not be wrapped in the wrapping paper.
  • Reference numerals 25A and 25B are medicine images cut out from the front image 23A and the back image 23B, respectively, which are photographed by turning on the light sources in all directions, and the reference numerals 27A and 27B are stamps on the medicine images 25A and 25B. It is the medicine image which performed the emphasis processing which emphasizes.
  • the emphasizing process for emphasizing the marking is performed from the four images GL, GR, GU, and GD taken by changing the irradiation direction of the illumination as described above by using the edge extraction filters in the directions corresponding to the irradiation directions. This is a process of generating one edge image and combining the four edge images with the drug images 25A and 25B.
  • Deep learning is used for inference.
  • the CNN 40 is used for inference, and details thereof will be described later.
  • the inference result is output so that it can be visually recognized by the output unit such as a display or printer.
  • the registered drug information (drug identification information and drug image, etc.) can be output in the order close to the drug to be identified (Rank 1, Rank 2, Rank 3, ). Further, it is possible to output the information of the closest one drug or the information of a plurality of preset upper drugs.
  • FIG. 10 is a functional block diagram mainly showing the main functions of the learning device including the discriminator (CNN) 40 shown in FIG.
  • the learning device shown in FIG. 10 classifies which registered drug among registered drugs (registered drug) is closest to the drug to be identified, and uses the teacher data corresponding to each registered drug in advance. Additional learning is possible with the teacher data corresponding to the registered medicine to be learned or added.
  • the teacher data corresponding to the registered drug is, for example, the front and back side drug images 27A and 27B (preprocessed) on which the embossing process or the printing process is emphasized on the image of the registered drug image (preprocessed) (see FIG. 9) and correct answer data 50 such as the name of the registered drug.
  • the teacher data used or used for learning is preferably stored in a database.
  • the learning device uses the front and back side drug images 27A and 27B forming the teacher data of the registered drug as input images, and learns so that correct answer data can be obtained.
  • a learning model for classifying which of the registered drugs the registered drug is close to is generated.
  • a convolutional neural network (CNN) 40 which is one of learning models, is constructed.
  • the learning device shown in FIG. 10 mainly includes a CNN 40, a loss value calculation unit 52, and a parameter control unit 54.
  • the CNN 40 extracts a feature amount of the drug images 27A and 27B (calculates), and a calculated feature amount.
  • This is a portion that functions as an inference unit 44 that infers which of the registered medicines the medicine corresponding to the input image is closer to, has a plurality of layer structures, and holds a plurality of weighting parameters.
  • the weight parameter is a filter coefficient of a filter called a kernel used for the convolution operation in the convolution layer.
  • the CNN 40 may change from an unlearned model to a learned model that performs learning for each registered drug by updating the weight parameter from the initial value to the optimum value.
  • the CNN 40 includes a plurality of sets (6 sets in this example) including an input layer 40A, a convolutional layer 46A1, a normalization layer 46B1, an activation processing unit 46C1 by an activation function, and a pooling layer 46D1, and a fully connected layer.
  • An intermediate layer 40B having 46E1 and an output layer 40C are provided, and each layer has a structure in which a plurality of “nodes” are connected by “edges”.
  • the structure of the CNN 40 is not limited to the one illustrated in FIG. 10, and typical learning models such as VGG16 and AlexNet can be applied.
  • An input image that is a drug image to be identified (or teacher data for learning) is input to the input layer 40A of the CNN 40.
  • This input image is the front and back side drug images 27A and 27B after the preprocessing in which the marking is emphasized.
  • the drug image is an RGB (Red Green Blue) color image, so the drug images 27A and 27B are three R, G, and B images, respectively, and a total of six image sets are input images. Is. That is, the image set is an image of 6 channels.
  • the convolutional layers 46A1 to 46A6 play a role of feature extraction such as edge extraction from an image.
  • the convolutional layers 46A1 to 46A6 obtain a “feature map” by filtering the image set input from the input layer 40A and the nearby nodes in the previous layer (performing a convolution operation using a filter). It plays the role of feature extraction such as edge extraction from.
  • the first convolutional layer 46A1 performs a convolutional operation on the image set and the filter.
  • the filter size is a filter of 5 ⁇ 5 ⁇ 6.
  • a 1-channel (1 sheet) "feature map” is generated for one filter by the convolution operation using the 5x5x6 filter. Therefore, N filters can be used to generate an N-channel “feature map”.
  • the filter used in the second convolutional layer 46A2 is, for example, a size 3 filter
  • the filter size is 3 ⁇ 3 ⁇ N.
  • the normalization layers 46B1 to 46B6 are portions that perform normalization of brightness, contrast, etc. on the input image, and perform normalization not only on the input image but also on the “feature map” in the middle of the CNN 40.
  • the activation processing units 46C1 to 46C6 are units that process an input signal by an activation function (for example, a step function, a sigmoid function, a softmax function), and play a role of adjusting a value to be passed to the next layer.
  • an activation function for example, a step function, a sigmoid function, a softmax function
  • the pooling layer 46D1 reduces the feature map output from the convolutional layer 46A1 (in this example, the activation processing unit 46C1) to form a new feature map.
  • the “pooling layer” plays a role of imparting robustness so that the extracted features are not affected by translation or the like.
  • the one or more fully connected layers 46E1 functioning as the inference unit 44 are weighted and combined with all the nodes of the previous layer (in this example, the feature map output from the activation processing unit 46C6) to obtain the activation function.
  • the value (feature variable) converted by is output.
  • the output layer 40C which functions as the inference unit 44, converts into probabilities using the softmax function based on the outputs (feature variables) from the fully connected layer 46E1 and correctly converts them into respective regions (each drug in this example). Classification is performed by maximizing the probability of classification (maximum likelihood estimation method).
  • the final fully-connected layer may be referred to as an output layer.
  • the inference result output from the output layer 40C is added to the loss value calculator 52 when learning is performed, and the medicine (input image) imaged by the learned CNN 40 is close to any of the registered medicines. When it is inferred, it is added to the output unit 60.
  • Parameters such as filter coefficients applied to the convolutional layers 46A1 to 46A6 of the CNN 40 before learning and edge weights in the fully connected layer 46E1 are set to arbitrary initial values.
  • the loss value calculation unit 52 stores the inference result output from the output layer 40C of the CNN 40 and the correct answer data (drug identification information of the drug corresponding to the drug images 27A and 27B) for the input images (drug images 27A and 27B). In addition, the loss value calculation unit 52 compares the inference result with the correct answer data and calculates the error between them (the loss value which is the value of the loss function). As a method of calculating the loss value, for example, softmax cross entropy, sigmoid, etc. can be considered.
  • the drug identification information which is the correct answer data, includes a drug name, a product name, an abbreviation, or a combination thereof that uniquely identifies the drug.
  • the parameter control unit 54 adjusts the parameter of the CNN 40 by the error back propagation method based on the loss value calculated by the loss value calculation unit 52.
  • the error is backpropagated in order from the final layer, the stochastic gradient descent method is performed in each layer, and the updating of the parameters is repeated until the error converges.
  • the input image is sequentially rotated by a constant angle (for example, 1 degree) within a range of 0 to 360 degrees, and the rotation is performed by a constant angle (every rotation position).
  • a constant angle for example, 1 degree
  • the drug images 27A and 27B which are input images, can be rotated by a known rotation processing unit that rotates in image processing.
  • Preprocessed drug images 27A and 27B are generated, and the generated drug images 27A and 27B are used as machine data for machine learning. Therefore, distances from a plurality of light sources (positions of the drug on the stage 21) It is not necessary to prepare a large number of drug images according to the above, and the number of teacher data can be significantly reduced. Further, since the medicine images 27A and 27B are rotated by the image processing by the rotation processing unit, it is not necessary to take medicine images having different medicine directions.
  • the learned CNN 40 can function as a drug discriminator.
  • the image acquisition unit 20 When identifying the medicine to be identified using the learned CNN 40, the image acquisition unit 20 (FIGS. 1 and 2) captures the medicine to be identified (in this example, from above and below the sachet TP). Shooting). When the image is taken from above the sachet TP, four light sources 24L, 24R, 24U, and 24D above the sachet TP are sequentially switched and turned on, and four images taken and the above light sources 24L, 24R, and 24U. , And 24D are simultaneously turned on to obtain one image taken. The same applies to the case of photographing from below the sachet TP.
  • the image cropping unit 32 of the image processing unit 30 illustrated in FIG. 6 captures an image of the sachet TP (in this example, five images on the front side and five images on the back side, a total of ten images). From, the regions of a plurality of medicines are respectively cut out to generate a plurality of medicine images.
  • the edge image synthesizing unit 34 of the image processing unit 30 uses edge extraction filters in the directions corresponding to the irradiation directions from the four images GL, GR, GU, and GD (FIG. 5) cut out by the image cutting unit 32. 4 edge images are generated.
  • the edge image combining unit 34 of the image processing unit 30 combines the four edge images with the front image 23A having no uneven brightness, which is obtained by lighting the light sources 24L, 24R, 24U, and 24D at the same time, and emphasizes the marking.
  • the medicine image 27A is generated.
  • four edge images are combined with the back image 23B having no brightness unevenness to generate a drug image 27B that has been subjected to an emphasis process for emphasizing the marking (see FIG. 9).
  • the drug images 27A and 27B thus generated are input to the learned CNN 40 as input images.
  • the learned CNN 40 infers which of the registered medicines the medicine to be identified is closer to, based on the medicine image 27A on the front side and the medicine image 27B on the back side, and the inference result is output from a display, a printer, or the like.
  • the output is visibly output by the unit 60, or is output as electronically recordable electronic data.
  • the inference result can be output as registered drug information (drug identification information and drug image, etc.) and its probabilities in the order closest to the drug to be identified (Rank 1, Rank 2, Rank 3, .
  • the user can use the inference result output from the output unit 60 as support information when auditing and distinguishing the drug to be identified.
  • the CNN functioning as a discriminator is not limited to the CNN 40 that configures the learning device as illustrated in FIG. 10, but a parameter is acquired from the learned CNN 40, and another CNN having the acquired parameter is set as a drug. It may be used at the time of identification.
  • FIG. 11 is a block diagram showing an electrical internal configuration of the medicine identifying device 10-2 according to the second embodiment.
  • the drug identifying device 10-2 shown in FIG. 11 mainly includes an image acquisition unit 20, an image processing unit 31, and an identifier (CNN in this example) 41 that functions as a feature amount calculation unit 43 and an inference unit 44. Has been done.
  • CNN identifier
  • the drug identifying device 10-2 of the second embodiment shown in FIG. 11 does not perform the pre-processing that is mainly performed by the image processing unit 30 of the drug identifying device 10-1 of the first embodiment, and therefore the first embodiment is different from the first embodiment. This is different from the medicine identification device 10-1. Specifically, in the medicine identifying device 10-2 of the second embodiment, the image processing unit 31 and the CNN 41 are different from the image processing unit 30 and the CNN 40 of the medicine identifying device 10-1 of the first embodiment.
  • the image acquisition unit 20 of the medicine identification device 10-2 is common to the image acquisition unit 20 (FIG. 2) of the medicine identification device 10-1 of the first embodiment, and thus detailed description thereof will be omitted.
  • the images captured by turning on the four light sources 24L, 24R, 24U, and 24D at the same time are not used, but the light sources 24L, 24R, 24U, and 24D are used. It is assumed that four images from above and below (eight images in total), which are sequentially lighted and photographed, are used.
  • the image processing unit 31 includes an image cutout unit 32 included in the image processing unit 30 (FIG. 6) of the medicine identifying apparatus 10-1 according to the first embodiment, and includes an edge image combining unit 34 and an edge image for performing preprocessing.
  • the generator 36 is not provided.
  • the image processing unit 31 cuts out regions of a plurality of medicines packaged in the sachet TP from the eight images acquired by the image acquisition unit 20 to generate a plurality of medicine images. Therefore, for one drug, a total of eight drug images of four images GL, GR, GU, GD taken from above and four images GL, GR, GU, GD taken from below are cut out (FIG. 5). reference).
  • the CNN 41 uses the eight drug images cut out by the image processing unit 31 as input images. Since the drug image is an RGB color image (RGB 3-channel image), the CNN 41 input image is a product of 8 drug images and RGB 3-channel images, for a total of 24 images. The set becomes the input image. That is, the image set is an image of 24 channels.
  • the feature amount calculation unit 43 and the inference unit 45 of the CNN 41 have the same functions as the feature amount calculation unit 42 and the inference unit 44 of the CNN 40 of the first embodiment shown in FIG.
  • the layers are different in that an image set of 24 channels is input as an input image, and the first convolutional layer of the intermediate layer of the feature amount calculation unit 43 has a filter corresponding to the image set of 24 channels.
  • the first convolution layer is a part that performs the convolution operation of the image set and the filter.
  • the filter size is a filter of 5 ⁇ 5 ⁇ 24.
  • the image acquisition unit 20 for acquiring the image set is the same as that of the medicine identification device 10-1 of the first embodiment. It is equivalent to the one.
  • the medicine identifying apparatus 10-2 machine-learns using a plurality of image sets (in this example, four medicine images with different irradiation directions) captured by sequentially turning on a plurality of light sources as machine data. It is not necessary to prepare a large number of drug images according to the distances from a plurality of light sources, and the number of teacher data can be significantly reduced as in the drug identifying device 10-1 of the first embodiment. it can.
  • FIG. 12 is a flowchart showing the first embodiment of the medicine identifying method according to the present invention, and shows the processing procedure of each unit of the medicine identifying apparatus 10-1 shown in FIGS. 1 to 10.
  • the image acquisition unit 20 and the image cutout unit 32 acquire four images GL, GR, GU, and GD having different illumination directions and an image GA illuminated from all directions (step S10, FIG. 5). ).
  • the images GL, GR, GU, GD, and GA illuminated from above and the images GL, GR, GU, GD, and GA illuminated from below are acquired.
  • the edge image synthesis unit 34 uses edge extraction filters in the directions corresponding to the respective irradiation directions, and the edge images corresponding to the respective images from the four images GL, GR, GU, and GD that are illuminated from above and below. Is generated (step S12).
  • the edge image compositing unit 34 composites the edge image with the uniform image GA illuminated from all directions to generate a composite image (step S14). As a result, the composite image is generated as an image in which the marking is emphasized on the drug image (image GA).
  • the generated composite image is input as the input image of the trained CNN 40.
  • the portion of the CNN 40 that functions as the feature amount calculation unit 42 calculates (extracts) the feature amount of the input image from the input image to generate a feature map (step S16), and the portion that functions as the inference unit 44 of the CNN 40 receives the input. From the feature map indicating the feature amount of the image, it is inferred which of the registered drugs the feature corresponding to the input image has (step S18).
  • the inference result output from the CNN 40 in response to the input of the input image is visually output from the output unit 60 or is output as electronically recordable electronic data (step S20).
  • FIG. 13 is a flowchart showing a second embodiment of the medicine identifying method according to the present invention, and shows the processing procedure of each unit of the medicine identifying apparatus 10-2 shown in FIG.
  • the image acquisition unit 20 acquires four images GL, GR, GU, and GD each having a different illumination direction (step S10). It should be noted that a total of eight images including images GL, GR, GU, GD, GA illuminated from above and images GL, GR, GU, GD, GA illuminated from below are acquired.
  • the portion of the CNN 41 (FIG. 11) that functions as a feature amount calculation unit inputs the images GL, GR, GU, GD, and GA acquired by the image acquisition unit 20 as input images and calculates the feature amount of the input images to calculate the features.
  • a map is generated (step S30).
  • the portion functioning as the inference unit of the CNN 41 infers which of the registered medicines the medicine corresponding to the input image has, from the characteristic map indicating the characteristic amount of the input image (step S18).
  • the inference result output from the CNN 41 in response to the input of the input image is visually output from the output unit 60 or is output as electronically recordable electronic data (step S20).
  • the CNN that functions as the feature amount calculation unit and the inference unit has been described as an example, but the discriminator is not limited to the CNN, and other than the CNN such as DBN (Deep Belief Network) and SVM (Support Vector Machine).
  • DBN Deep Belief Network
  • SVM Small Vector Machine
  • the hardware structure of the drug identification device is the following various processors.
  • the circuit configuration of various processors can be changed after manufacturing such as CPU (Central Processing Unit) and FPGA (Field Programmable Gate Array), which are general-purpose processors that execute software (programs) and function as various control units.
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • a dedicated electrical circuit that is a processor that has a circuit configuration specifically designed to execute specific processing such as a programmable logic device (PLD) that is a standard processor, and an ASIC (Application Specific Integrated Circuit) Be done.
  • PLD programmable logic device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured by one of these various types of processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of CPU and FPGA). May be.
  • the plurality of control units may be configured by one processor.
  • a plurality of control units with one processor, firstly, as represented by a computer such as a client or a server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of control units.
  • SoC system-on-chip
  • a processor that realizes the functions of the entire system including a plurality of control units by one IC (Integrated Circuit) chip is used.
  • the various control units are configured by using one or more of the above various processors as a hardware structure.
  • the present invention also includes a drug identification program that is installed in a computer to cause it to function as the drug identification device according to the present invention, and a recording medium recording this drug identification program.
  • 10-1 and 10-2 Drug identification device 20 Image acquisition unit 21 Stage 22A, 22B Camera 23A Front image 23B Back image 24 Illumination unit 24D Light source 24L Light source 24R Light source 24U Light source 25A, 25B, 27A, 27B Drug image 26 Imaging control unit 30 Image Processor 31 Image Processor 32 Image Clipper 34 Edge Image Synthesizer 36 Edge Image Generator 40, 41 CNN 40A Input layer 40B Intermediate layer 40C Output layer 42, 43 Feature amount calculation unit 44, 45 Inference unit 46A1 Convolutional layer 46B1 Normalization layer 46C1 Activation processing unit 46D1 Pooling layer 46E1 Full connection layer 50 Correct answer data 52 Loss value calculation unit 54 Parameter Control unit 60 Output unit FL, FR Sobel filter GA image GD image GL image GR image GU image LL Illumination light LR Illumination light PA Imaging optical axis PB Drug bandage S Marks S10 to S30 Step T Drug TP sachet

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Abstract

機械学習により薬剤を識別する際の教師データ数を大幅に削減することが可能な薬剤識別装置、薬剤識別方法及び薬剤識別プログラムを提供する。薬剤識別装置は、薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の画像を取得する画像取得部と、複数の画像に基づいて薬剤に付された刻印を強調する強調処理が、薬剤画像（２５Ａ，２５Ｂ）に対して施された薬剤画像（２７Ａ，２７Ｂ）を生成する画像処理部と、薬剤画像（２７Ａ，２７Ｂ）の特徴量を演算する特徴量演算部と、薬剤画像（２７Ａ，２７Ｂ）の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論する推論部（４０）と、を備える。

Description

薬剤識別装置、薬剤識別方法及び薬剤識別プログラム
　本発明は薬剤識別装置、薬剤識別方法及び薬剤識別プログラムに係り、特に薬剤監査、薬剤鑑別の対象の薬剤を機械学習により識別する技術に関する。
　特許文献１には、第１識別工程と第２識別工程とにより、錠剤を精度よく識別する錠剤識別方法が記載されている。
　特許文献１に記載の錠剤識別方法は、服用１回分の錠剤が分包された分包紙を撮像し、撮像した画像から錠剤に対応する錠剤領域をそれぞれ切り出す。第１識別工程は、切り出した錠剤領域それぞれの寸法および色を、錠剤の形状および色に関するモデル情報と照合することによって、錠剤それぞれの種別を識別する。第２識別工程は、錠剤の画像を含んだ学習用データを用いた機械学習が実行されることで生成された学習モデルに基づいて少なくとも、種別は異なるが特徴量の類似する類似錠剤についての種別を識別する。
　この錠剤識別方法は、錠剤の形状および色に関するモデル情報と照合する第１識別工程により錠剤の識別ができなかった場合に、学習済みの学習モデルに基づいて種別は異なるが特徴量の類似する類似錠剤についての種別を識別する。尚、特許文献１には、第１識別工程により錠剤の識別ができなかったか否かに関わらず、第２識別工程により錠剤の識別を行うようにしてもよい記載がある。また、特許文献１の請求項９には、機械学習のアルゴリズムは、ディープラーニングである記載がある。
　特許文献２には、識別対象の物品（錠剤）の画像を入力し、錠剤の銘柄識別を行う物品識別システムが記載されている。このシステムの動作は、辞書作成のための学習フェーズと、識別を行う識別フェーズとに分けられており、学習フェーズでは、例えば銘柄毎に多数個の錠剤サンプルをカメラで撮影し、その実写画像を用いて学習部が辞書を作成する。識別フェーズでは、識別対象の錠剤をカメラで撮影し、その実写画像と辞書を用いて識別部が錠剤の銘柄を識別する。
　また、学習フェーズでは、学習サンプルの濃淡値ベクトルに対して主成分分析を施して固有値及び固有ベクトルを求め、これら固有値及び固有ベクトルを用いて濃淡値ベクトルを有意な主成分ベクトルに変換し、この主成分ベクトルを参照ベクトルとし、識別フェーズでは、識別対象物品の濃淡値ベクトルを主成分ベクトルに変換し、この主成分ベクトルに基づき参照ベクトルを参照して識別を行っている。尚、物品の濃淡特徴が濃淡値ベクトルによく反映されるように、前処理として実写画像（カラー画像）をグレイ画像に変換している。
　また、特許文献３には、錠剤を撮影した錠剤画像のパターン識別を行って、錠剤画像に写った錠剤の候補とその確度を示す識別結果を生成し、識別結果に含まれる高い確度を有する候補に対応するテンプレート画像と錠剤画像とのマッチングを行い、マッチング度合いを高い確度を有する候補の類似度として識別結果に付加する錠剤識別装置が記載されている。また、マッチングの際、ロバスト性を高める為に、ぼかし処理等の前処理を行う記載がある。
特開２０１８－２７２４２号公報 特開平７－２８７７５３号公報 特開２０１６－１５０９３号公報
　薬剤の識別には刻印、印字が用いられる。刻印は薬剤表面の凹凸形状であり、薬剤を撮影した画像に現れる刻印の影は、周囲の照明条件に大きく左右される。例えば、同じ薬剤であっても照明との相対位置から影の出方が異なる。その為、機械学習に必要な教師データを準備する際には、錠剤の向き、複数の光源がある場合はそれぞれの光源からの薬剤の表面への光の照射方向に応じた画像が必要となる。
　特許文献１に記載の第２識別工程は、錠剤のサンプル画像群を学習用データとして使用して学習させた学習済みの学習モデルにより、識別対象の錠剤の特徴量に類似する類似錠剤についての種別を識別するが、特許文献１には、機械学習のアルゴリズム（例えば、ディープラーニング）については公知のため、詳細な説明は省略されている。
　また、特許文献１には、白色光源によるカラー画像と、赤色光のバックライト光源の透過光によるバックライト画像との２種類を撮影する記載があるが、これらの２種類の画像は、錠剤の刻印（刻印の影）を良好に取得するための画像ではない。
　一方、特許文献２には、物品（錠剤）の濃淡特徴が濃淡値ベクトルによく反映されるように、前処理として実写画像（カラー画像）をグレイ画像に変換し、輝度値を積極的に用いる記載がある。錠剤の識別には、刻印、印字（識別コード情報）が重要であるが、輝度値を用いても識別コード情報のロバスト性向上には繋がりにくい。
　また、特許文献３には、テンプレートマッチングを行う際に、錠剤画像とテンプレート画像にぼかし処理を施し、ぼかし処理後のテンプレート画像の明るさをぼかし処理後の錠剤画像に近付ける調整処理を行う記載がある。しかし、ぼかし処理は高周波ノイズを低減する効果はあるが、同時に錠剤の識別に必要な識別コード情報も低下させるという問題がある。
　本発明はこのような事情に鑑みてなされたもので、機械学習により薬剤を識別する際の教師データ数を大幅に削減することが可能な薬剤識別装置、薬剤識別方法及び薬剤識別プログラムを提供することを目的とする。
　上記目的を達成するために本発明の一の態様に係る薬剤識別装置は、薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の第１画像を取得する画像取得部と、複数の第１画像に基づいて薬剤に付された刻印又は印字を強調する強調処理が薬剤の画像に対して施された第２画像を生成する画像処理部と、第２画像の特徴量を演算する特徴量演算部と、第２画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論する推論部と、を備える。
　本発明の一の態様によれば、薬剤の表面への光の照射方向がそれぞれ異なる複数の第１画像に基づいて薬剤に付された刻印又は印字を強調する強調処理を施し（前処理を行い）、第２画像を生成する。前処理された第２画像は、薬剤に付された刻印又は印字が強調され、かつ薬剤に付された刻印又は印字と、複数の第１画像に対する光の照射方向との関係に依存しない規格化された画像となる。
　そして、前処理された第２画像の特徴量を演算し、第２画像の特徴量に基づいて識別対象の薬剤が登録薬剤のうちのいずれに近いかを推論する。登録薬剤も規格化された第２画像を使用して機械学習することで、教師データ数を大幅に削減することが可能である。
　本発明の他の態様に係る薬剤識別装置において、画像処理部は、複数の第１画像からそれぞれ照射方向に応じた方向のエッジ抽出フィルタを使用して複数のエッジ画像を取得し、複数のエッジ画像を薬剤の画像に合成して第２画像を生成することが好ましい。
　本発明の更に他の態様に係る薬剤識別装置において、特徴量演算部及び推論部は、登録薬剤に対応する第２画像と登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成されることが好ましい。
　本発明の更に他の態様に係る薬剤識別装置において、新規の登録薬剤に対応する第２画像を０度から３６０度の範囲内で順次回転させる回転処理部を含み、畳み込みニューラルネットワークは、新規の登録薬剤を登録する場合、回転処理部により順次回転した回転位置毎の第２画像を学習用の入力画像とすることが好ましい。
　本発明の更に他の態様に係る薬剤識別装置において、第２画像は、３チャンネルのカラー画像からなり、畳み込みニューラルネットワークは、３チャンネルのカラー画像からなる画像セットを入力画像とすることが好ましい。これにより、薬剤の色情報も薬剤の識別に使用され、より適切な推論結果を得ることができる。
　本発明の更に他の態様に係る薬剤識別装置において、複数の第１画像は、ステージに載置された薬剤をステージの上方から撮影した複数の画像と、ステージの下方から撮影した複数の画像とを含み、画像処理部は、ステージの上方から撮影した複数の画像及びステージの下方から撮影した複数の画像に基づいてそれぞれ第２画像を生成することが好ましい。
　本発明の更に他の態様に係る薬剤識別装置は、薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の第１画像を取得する画像取得部と、複数の第１画像に基づいて複数の第１画像の特徴量を演算する特徴量演算部と、複数の第１画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論する推論部と、を備える。
　薬剤を識別する際に、薬剤の表面への光の照射方向がそれぞれ異なる複数の第１画像を１つの画像セットとして使用する。尚、複数の第１画像は、薬剤の表面への光の照射方向がそれぞれ異なるが、その他の撮影条件は同じである。
　そして、複数の第１画像の特徴量を演算し、複数の第１画像の特徴量に基づいて識別対象の薬剤が登録薬剤のうちのいずれに近いかを推論する。登録薬剤も薬剤の表面への光の照射方向がそれぞれ異なる複数の第１画像（画像セット）を使用して機械学習することで、教師データ数を大幅に削減することが可能である。
　本発明の更に他の態様に係る薬剤識別装置において、特徴量演算部及び推論部は、登録薬剤に対応する複数の第１画像からなる画像セットと登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成されることが好ましい。
　本発明の更に他の態様に係る薬剤識別装置において、新規の登録薬剤に対応する画像セットを０度から３６０度の範囲内で順次回転させる回転処理部を含み、畳み込みニューラルネットワークは、新規の登録薬剤を登録する場合、回転処理部により順次回転した回転位置毎の画像セットを学習用の入力画像とすることが好ましい。
　本発明の更に他の態様に係る薬剤識別装置において、複数の第１画像の各画像は、それぞれ３チャンネルのカラー画像からなり、畳み込みニューラルネットワークは、複数の第１画像の各画像が３チャンネルのカラー画像からなる画像セットを入力画像とすることが好ましい。
　本発明の更に他の態様に係る薬剤識別装置において、複数の第１画像は、ステージに載置された薬剤をステージの上方から撮影した複数の画像と、ステージの下方から撮影した複数の画像とを含むことが好ましい。
　本発明の更に他の態様に係る薬剤識別装置において、推論部により推論した推論結果を視認可能に出力する出力部を備えることが好ましい。
　本発明の更に他の態様に係る薬剤識別装置において、出力部は、推論結果に基づいて識別対象の薬剤が、登録薬剤のうちの最も近い登録薬剤の薬剤識別情報を視認可能に出力し、又は登録薬剤のうちの最も近い登録薬剤から近い順に複数の登録薬剤の薬剤識別情報を視認可能に出力することが好ましい。
　本発明の更に他の態様に係る薬剤識別装置において、画像取得部は、識別対象の薬剤が載置されるステージと、ステージに載置された薬剤の表面への光の照射方向がそれぞれ異なる複数の光源を有し、複数の光源を順次切り換えて点灯する照明部と、複数の光源を順次切り換えて点灯することにより、薬剤の表面への光の照射方向がそれぞれ異なる薬剤をそれぞれ撮影する撮影部と、からなることが好ましい。
　本発明の更に他の態様に係る薬剤識別方法は、画像取得部が、薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の第１画像を取得するステップと、画像処理部が、複数の第１画像に基づいて薬剤に付された刻印又は印字を強調する強調処理が薬剤の画像に対して施された第２画像を生成するステップと、特徴量演算部が、第２画像の特徴量を演算するステップと、推論部が、第２画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論するステップと、を含む。
　本発明の更に他の態様に係る薬剤識別方法は、画像取得部が、薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の第１画像を取得するステップと、特徴量演算部が、複数の第１画像に基づいて複数の第１画像の特徴量を演算するステップと、推論部が、複数の第１画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論するステップと、を含む。
　本発明の更に他の態様に係る薬剤識別プログラムは、薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の第１画像を取得する機能と、複数の第１画像に基づいて薬剤に付された刻印又は印字を強調する強調処理が薬剤の画像に対して施された第２画像を生成する機能と、第２画像の特徴量を演算する機能と、第２画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、をコンピュータにより実現させるプログラムである。
　本発明の更に他の態様に係る薬剤識別プログラムは、薬剤の表面への光の照射方向がそれぞれ異なる薬剤の複数の第１画像を取得する機能と、複数の第１画像に基づいて複数の第１画像の特徴量を演算する機能と、複数の第１画像の特徴量に基づいて薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、をコンピュータにより実現させるプログラムである。
　本発明によれば、薬剤と照明光源との相対位置関係に依存しない薬剤の画像を使用することで、機械学習により薬剤を識別する際の教師データ数を大幅に削減することができ、特に薬剤表面に刻印又は印字が付された薬剤が、登録された薬剤のうちのいずれに近いかを良好に推論することができる。
図１は、第１実施形態に係る薬剤識別装置の電気的な内部構成を示すブロック図である。 図２は、図１に示した画像取得部の内部構成を示すブロック図である。 図３は、カメラ及び照明部を使用して分包袋の画像を取得する様子を示す側面図である。 図４は、カメラ及び照明部を使用して分包袋の画像を取得する様子を示す平面図である。 図５は、分包袋ＴＰ内の１つの薬剤の照明条件が異なる５つの画像を示す図である。 図６は、主として図１に示した画像処理部の具体的な構成を示すブロック図である。 図７は、薬剤の中心を通るｘ－ｙ平面で切断した薬剤の断面構造の模式図である。 図８は、エッジ画像生成部でのエッジ抽出に使用するソーベルフィルタの一例を示す図である。 図９は、第１実施形態の薬剤識別装置による薬剤の識別処理の概要を示す図である。 図１０は、主として図１に示した識別器（ＣＮＮ）を含む学習装置の主要な機能を示す機能ブロック図である 図１１は、第２実施形態に係る薬剤識別装置の電気的な内部構成を示すブロック図である。 図１２は、本発明に係る薬剤識別方法の第１実施形態を示すフローチャートである。 図１３は、本発明に係る薬剤識別方法の第２実施形態を示すフローチャートである。
　以下、添付図面に従って本発明に係る薬剤識別装置、薬剤識別方法及び薬剤識別プログラムの好ましい実施形態について説明する。
　＜薬剤識別装置の第１実施形態＞
　薬剤（錠剤）の表面には、薬剤の種別を識別するための識別コード情報が付されている。この識別コード情報は、一般に、刻印又は印字（印刷）によって付される。したがって、この識別コード情報を利用することで、薬剤の識別力を向上させることができる。
　ここで、薬剤に付された刻印とは、薬剤の表面に陥没領域である溝を形成することによって識別コード情報が形成されたものをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものであってもよい。また、刻印は、割線等の識別機能を伴わないものも含んでもよい。
　また、薬剤に付された印字とは、薬剤の表面に接触又は非接触で可食性インク等を付与することによって識別コード情報が形成されたものをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。
　図１は、第１実施形態に係る薬剤識別装置１０－１の電気的な内部構成を示すブロック図である。
　図１に示す薬剤識別装置１０－１は、主として画像取得部２０と、画像処理部３０と、特徴量演算部４２及び推論部４４として機能する識別器（本例では、畳み込みニューラルネットワーク（ＣＮＮ： Convolutional Neural Network））４０とから構成されている。
　画像取得部２０は、図２に示すように薬剤を撮影する２台のカメラ（撮影部）２２Ａ，２２Ｂと、複数の光源を有する照明部２４と、カメラ２２Ａ，２２Ｂ及び照明部２４を制御する撮影制御部２６とから構成されている。
　図３は、カメラ２２Ａ，２２Ｂ及び照明部２４を使用して分包袋の画像を取得する様子を示す側面図であり、図４はその平面図である。
　分包袋ＴＰが連続して構成される薬包帯ＰＢは、ステージ２１上に載置され、順次搬送される。ステージ２１は、ｘｙ平面（水平面）に平行な載置面及び裏面を有する板状部材である。ステージ２１は、光透過性を有する材料によって構成されている。ここでは、ステージ２１は、ｘ軸方向に１３０ｍｍ、ｙ軸方向に８０ｍｍの大きさを有している。
　分包袋ＴＰには、それぞれ調剤された１回に服用する複数の薬剤が分包されている。照明部２４の複数の光源は、薬包帯ＰＢの上側（図３の＋ｚ方向側）及び下側（図３の－ｚ方向側）に、それぞれ４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄが配置される。尚、図３においては薬包帯ＰＢの上側及び下側の光源２４Ｕ及び２４Ｄの図示を、図４においては薬包帯ＰＢの下側の４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄの図示を、それぞれ省略している。
　薬包帯ＰＢの上側の４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄは、ｘｙ平面視において，それぞれ図４の＋ｘ方向、－ｘ方向、－ｙ方向及び、＋ｙ方向に斜め上方向から光を照射する。即ち、光源２４Ｌの照明方向は、ｘｙ平面視において光源２４Ｒの照明方向と対向する方向であり、光源２４Ｕの照明方向は、ｘｙ平面視において光源２４Ｌ，２４Ｒの照明方向と直交する方向であり、光源２４Ｄの照明方向と対向する方向である。
　薬包帯ＰＢの下側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄについても、同様に配置されている。これにより、照明部２４は、分包袋ＴＰ（に分包された薬剤）の表側及び裏側に光を照射する。
　カメラ２２Ａ及びカメラ２２Ｂは、デジタルカメラにより構成される。図３に示すように、カメラ２２Ａは薬包帯ＰＢの上側に、カメラ２２Ｂは薬包帯ＰＢの下側に配置される。カメラ２２Ａ及びカメラ２２Ｂは、分包袋ＴＰ（に分包された薬剤）の表側及び裏側を撮影する。
　分包袋ＴＰ（薬包帯ＰＢ）は、図示しない搬送機構により図４の＋ｘ方向（薬包帯ＰＢの長手方向）に搬送される。撮影の際には、分包袋ＴＰの上側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄによって分包袋ＴＰの上側が、分包袋ＴＰの下側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄによって分包袋ＴＰの下側が、それぞれ４方向から照明される。尚、分包袋ＴＰには、撮影の際には照明部２４から照射される光以外の光は照射されないことが好ましい。
　図４に示すように、分包袋ＴＰの上側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄのそれぞれと、カメラ２２Ａの撮影光軸ＰＡとの間隔（ｄ１、ｄ２、ｄ３、ｄ４）は同じである。つまり、複数の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄと撮影光軸ＰＡとが等間隔（ｄ１＝ｄ２＝ｄ３＝ｄ４）である。分包袋ＴＰの下側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄのそれぞれとカメラ２２Ｂについても、同様に配置されている。
　図２に戻って、分包袋ＴＰの上側を撮影する場合、撮影制御部２６は、分包袋ＴＰの上側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを順次点灯させ、カメラ２２Ａにより各照明方向から照明された４つの画像を撮影させ、また、上側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて、均一に（全方向から）照明された１つの画像を撮影させる。分包袋ＴＰの下側を撮影する場合、撮影制御部２６は、分包袋ＴＰの下側の光源２４Ｌ，２４Ｒ，２４Ｕ，２４Ｄ、及び下側のカメラ２２Ｂを上記と同様に制御する。
　図５は、分包袋ＴＰ内の１つの薬剤（薬剤の一例）の照明条件が異なる５つの画像（第１画像）を示す図である。
　図５において、４つの画像ＧＬ，ＧＲ，ＧＵ及びＧＤは、薬剤の上側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを順次点灯させ、カメラ２２Ａより撮影された画像であり、画像ＧＡは、上側の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させ、カメラ２２Ａより撮影された画像である。
　図５に示す４つの画像ＧＬ，ＧＲ，ＧＵ及びＧＤには、それぞれ照明方向に伴って輝度ムラが発生している。また、図５に示す各画像上の「Ａ」は、刻印Ｓを示しているが、画像ＧＬ，ＧＲ，ＧＵ及びＧＤの刻印Ｓは、薬剤の表面の凹凸形状であり、後述するように照明方向に伴って、刻印Ｓの影の出方が異なるものとなる。
　一方、４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影された画像ＧＡには輝度ムラは発生しないが、刻印Ｓの影が出にくいため、刻印Ｓは不明瞭になる。
　尚、図５上では、刻印Ｓの影の出方や刻印Ｓが明瞭か不明瞭かは図示されていない。
　また、図５に示した５枚の画像は、薬剤の上側のカメラ２２Ａにより撮影されたものでれる薬剤の表裏が不定であり、また、薬剤の表側と裏側とで異なる刻印が付される場合があるからである。
　図６は、主として図１に示した画像処理部３０の具体的な構成を示すブロック図である。
　図６に示す画像処理部３０は、画像切り出し部３２、エッジ画像合成部３４、及びエッジ画像生成部３６から構成されている。
　画像取得部２０（図２）により取得された分包袋ＴＰを撮影した画像（本例では、表側の５枚の画像、及び裏側の５枚の画像の合計１０枚の画像）は、画像切り出し部３２に加えられる。
　画像切り出し部３２は、分包袋ＴＰの画像から分包袋ＴＰに分包された複数の薬剤の領域をそれぞれ切り出し、複数の薬剤画像（第１画像）を生成する。薬剤画像の切り出しは、薬剤の外形を検出し、薬剤の外形にしたがって切り出すことが好ましい。本例では、１つの薬剤について、１０枚の薬剤画像が切り出される。
　いま、１０枚の薬剤画像のうちの薬剤の上側のカメラ２２Ａにより撮影された５枚の薬剤画像を、図５に示した画像ＧＬ，ＧＲ，ＧＵ，ＧＤ，及び画像ＧＡとして、以下の画像処理について説明する。
　４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影された画像ＧＡ（輝度ムラがない画像）は、画像切り出し部３２からエッジ画像合成部３４に加えられ、照明方向に伴って刻印Ｓの影の出方が異なる４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤは、それぞれエッジ画像生成部３６に加えられる。
　エッジ画像生成部３６は、４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤからそれぞれ照射方向に応じた方向のエッジ抽出フィルタ（例えば、ソーベルフィルタ）を使用し、４つのエッジ画像を生成する。
　図７は、薬剤Ｔの中心を通るｘ－ｙ平面で切断した薬剤Ｔの断面構造の模式図であり、１画素分のラインのプロファイルを示している。
　図７上の薬剤Ｔは、直径がＤであり、表面には断面がＶ字状の溝からなる割線である刻印Ｓが形成されている。刻印Ｓの溝の幅はＷである。尚、刻印Ｓの溝の幅とは、溝の延伸方向と直交する方向における溝の一方の端から他方の端までの距離であって、薬剤Ｔの表面における距離をいう。
　ここで、照明部２４の光源２４Ｌのみを点灯し、照明光ＬＬにより薬剤Ｔを照明する場合と、照明部２４の光源２４Ｒのみを点灯し、照明光ＬＲにより薬剤Ｔを照明する場合とでは、刻印Ｓの影の出方が異なる。
　即ち、照明光ＬＬにより薬剤Ｔを照明する場合、刻印Ｓの右側の面ＳＲは照明光ＬＬが照射されるが、刻印Ｓの左側の面ＳＬには照明光ＬＬは照射されなくなり、刻印Ｓの左側の面ＳＬに影が発生する。同様に、照明光ＬＬとは反対方向の照明光ＬＲにより薬剤Ｔを照明する場合、刻印Ｓの左側の面ＳＬは照明光ＬＲが照射されるが、刻印Ｓの右側の面ＳＲには照明光ＬＲは照射されなくなり、刻印Ｓの右側の面ＳＲに影が発生する。
　図８は、エッジ画像生成部３６でのエッジ抽出に使用するソーベルフィルタの一例を示す図である。
　ソーベルフィルタＦＬは、左方向からの照明光ＬＬが照射された薬剤Ｔの画像ＧＬからエッジ抽出する場合に使用され、ソーベルフィルタＦＲは、右方向から照明光ＬＲが照射された薬剤Ｔの画像ＧＲからエッジ抽出する場合に使用される。
　図８に示すソーベルフィルタＦＬ、ＦＲのカーネルサイズは、刻印Ｓの幅Ｗ（の画素数）の半分より大きいサイズのソーベルフィルタを用いることが好ましい。例えば、刻印Ｓの溝の幅の画素数が４画素であれば、その半分の２画素より大きいサイズ（ｘ軸方向３画素×ｙ軸方向３画素等）のソーベルフィルタを用いる。本実施形態では各照明光によりそれぞれ溝の幅の半分の領域に影が発生するため、エッジからの画素数を鑑みたサイズのエッジ抽出フィルタを用いることで、溝を精度よく抽出するとともに、溝の幅よりも小さい表面の模様及び傷等の刻印以外の情報を低減することができる。
　エッジ画像生成部３６は、画像ＧＬ、ＧＲに対してそれぞれソーベルフィルタＦＬ、ＦＲを使用し、画像ＧＬ、ＧＲに対応するエッジ画像を生成する。また、エッジ画像生成部３６は、上方向からの照明光が照射された薬剤Ｔの画像ＧＵ、及び下方向からの照明光が照射された薬剤Ｔの画像ＧＤに対しても、上記と同様に照明光の方向に応じたソーベルフィルタを使用することで、エッジ画像を生成する。
　尚、エッジ画像合成部３４におけるエッジ抽出フィルタ処理に使用するフィルタとしては、ソーベルフィルタに限らず、ラプラシアンフィルタ、キャニーフィルタ等を使用することができる。
　エッジ画像生成部３６により４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤに対してそれぞれ生成された４つのエッジ画像は、エッジ画像合成部３４に出力される。エッジ画像合成部３４の他の入力には、輝度ムラがない画像ＧＡ（刻印Ｓの影の少ない画像）が加えられており、エッジ画像合成部３４は、画像ＧＡに４つのエッジ画像を合成する。
　これにより、画像処理部３０は、薬剤の画像（画像ＧＡ）に対して、刻印を強調する強調処理が施された画像（第２画像）を生成することができる。
　画像処理部３０は、１０枚の薬剤画像のうちの薬剤の下側のカメラ２２Ｂにより撮影された５枚の薬剤画像に基づいて、刻印を強調する強調処理が薬剤の画像に対して施された画像（第２画像）も生成することは言うまでもない。
　また、本例では、４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影された画像ＧＡ（輝度ムラがない画像）を、エッジ画像が合成される画像として使用するが、４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤのいずれか１つ又は複数の画像に輝度ムラ補正処理を施し、画像ＧＡに代る画像としてもよい。輝度ムラ補正処理は、例えば、輝度ムラを有する画像を、その画像にガウシアンフィルタ処理を施した画像で除算することで行うことができる。この場合、４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影された画像ＧＡは取得しなくてもよい。
　上記のようにして刻印を強調する強調処理が施された薬剤の画像は、薬剤がステージ２１のいずれの位置にあっても（薬剤と複数の光源との相対位置関係に依存せずに）同様な画像となり、薬剤の位置に対するロバスト性の高い画像となる。
　図９は、第１実施形態の薬剤識別装置１０－１による薬剤の識別処理の概要を示す図である。
　照明部２４による照明条件を変更して分包袋内の薬剤を複数回撮影し、撮影された画像に含まれる薬剤が何であるかを推論する。
　符号２３Ａは、カメラ２２Ａにより撮影された分包袋の表画像であり、符号２３Ｂは、カメラ２２Ｂにより撮影された分包袋の裏画像である。図９上では、表画像２３Ａ及び裏画像２３Ｂは、１枚ずつ示されているが、前述したように照明部２４による照明条件を変更して５枚ずつ撮影されている。
　分包袋の表画像２３Ａ及び裏画像２３Ｂから識別対象の薬剤の画像を１つずつ切り出す。尚、薬剤は分包紙に包まれていても包まれていなくてもよい。
　符号２５Ａ及び２５Ｂは、それぞれ全方向の光源を点灯させて撮影された表画像２３Ａ及び裏画像２３Ｂから切り出された薬剤画像であり、符号２７Ａ及び２７Ｂは、薬剤画像２５Ａ及び２５Ｂに対して、刻印を強調する強調処理を施した薬剤画像である。
　刻印を強調する強調処理は、前述したように照明の照射方向を変えて撮影した４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤから、それぞれ照射方向に応じた方向のエッジ抽出フィルタを使用して４つのエッジ画像を生成し、４つのエッジ画像を薬剤画像２５Ａ、２５Ｂに合成する処理である。
　そして、表側の薬剤画像２７Ａ及び裏側の薬剤画像２７Ｂに基づいて識別対象の薬剤が、登録薬剤のうちのいずれに近いかを推論する。推論には深層学習(classification)を利用する。本例では、ＣＮＮ４０により推論するが、その詳細については後述する。
　推論結果は、表示器、プリンタ等の出力部により視認可能に出力する。
　推論結果として、登録された薬剤の情報（薬剤識別情報と薬剤画像等）を、識別対象の薬剤に近い順（Rank 1,Rank 2,Rank3,…）に出力することができる。また、最も近い１つの薬剤の情報、又は予め設定された上位の複数の薬剤の情報を出力することができる。
　図１０は、主として図１に示した識別器（ＣＮＮ）４０を含む学習装置の主要な機能を示す機能ブロック図である。
　図１０に示す学習装置は、識別対象の薬剤が、登録された薬剤（登録薬剤）のうちのいずれの登録薬剤に近いかを分類するものであり、登録薬剤毎に対応する教師データにより事前に学習し、又は追加する登録薬剤に対応する教師データにより追加の学習が可能である。
　ここで、登録薬剤に対応する教師データは、例えば、登録薬剤を撮影した画像について刻印又は印字を強調する強調処理が施された（前処理された）表側及び裏側の薬剤画像２７Ａ、２７Ｂ（図９参照）と、その登録薬剤の名前等の正解データ５０である。尚、学習に使用した、又は使用する教師データは、データベースに保存しておくことが好ましい。
　学習装置は、登録薬剤の教師データを構成する表側及び裏側の薬剤画像２７Ａ、２７Ｂを入力画像とし、正解データが得られるように学習することにより、任意の薬剤の入力画像に基づいてその任意の薬剤が登録薬剤のうちのいずれの登録薬剤に近いかを分類する学習モデルを生成する。本例では、学習モデルの一つである畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）４０を構築する。
　図１０に示す学習装置は、主としてＣＮＮ４０と、損失値算出部５２と、パラメータ制御部５４と、から構成される。
　ＣＮＮ４０は、前処理後の表側及び裏側の薬剤画像２７Ａ、２７Ｂを入力画像とするとき、その薬剤画像２７Ａ、２７Ｂの特徴量を抽出（演算）する特徴量演算部４２と、演算した特徴量に基づいて入力画像に対応する薬剤が登録薬剤のうちのいずれに近いかを推論する推論部４４として機能する部分であり、複数のレイヤ構造を有し、複数の重みパラメータを保持している。重みパラメータは、畳み込み層での畳み込み演算に使用されるカーネルと呼ばれるフィルタのフィルタ係数などである。
　ＣＮＮ４０は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから登録薬剤毎に学習を行う学習済みモデルに変化しうる。
　このＣＮＮ４０は、入力層４０Ａと、畳み込み層４６Ａ１、正規化層４６Ｂ１、活性化関数による活性化処理部４６Ｃ１、プーリング層４６Ｄ１から構成される複数セット（本例では、６セット）、及び全結合層４６Ｅ１を有する中間層４０Ｂと、出力層４０Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
　ＣＮＮ４０の構造は、図１０に例示するものに限らず、代表的な学習モデルであるVGG16、AlexNetなどを適用することができる。
　ＣＮＮ４０の入力層４０Ａには、識別対象の薬剤画像（又は学習用の教師データ）である入力画像が入力される。この入力画像は、刻印を強調処理した前処理後の表側及び裏側の薬剤画像２７Ａ、２７Ｂである。本例では、薬剤画像は、ＲＧＢ（Red Green Blue）のカラー画像であるため、薬剤画像２７Ａ、２７Ｂは、それぞれ３枚のＲ、Ｇ、Ｂ画像であり、合計６枚の画像セットが入力画像である。即ち、画像セットは、６チャンネルの画像である。
　畳み込み層４６Ａ１～４６Ａ６は、画像からのエッジ抽出等の特徴抽出の役割を担う部分である。畳み込み層４６Ａ１～４６Ａ６は、入力層４０Ａから入力した画像セットや前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得するもので、画像からのエッジ抽出等の特徴抽出の役割を担う。
　１番目の畳み込み層４６Ａ１は、画像セットとフィルタとの畳み込み演算を行う。ここで、画像セットが６チャンネル（６枚）であるため、例えば、サイズ５のフィルタの場合、フィルタサイズは、５×５×６のフィルタになる。
　５×５×６のフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル(１枚)の「特徴マップ」が生成される。したがって、Ｎ個のフィルタを使用すると、Ｎチャンネルの「特徴マップ」を生成することができる。
　２番目の畳み込み層４６Ａ２（図示せず）で使用されるフィルタは、例えばサイズ３のフィルタの場合、フィルタサイズは、３×３×Ｎのフィルタになる。
　正規化層４６Ｂ１～４６Ｂ６は、入力画像に対して輝度やコントラスト等の正規化を行う部分であり、入力画像だけでなく、ＣＮＮ４０の途中経過の「特徴マップ」に対しても正規化を行う。
　活性化処理部４６Ｃ１～４６Ｃ６は、活性化関数（例えば、ステップ関数、シグモイド関数、ソフトマックス関数)により入力信号を処理する部分であり、次の層に渡す値を整えるような役割を果たす。
　プーリング層４６Ｄ１は、畳み込み層４６Ａ１（本例では、活性化処理部４６Ｃ１）から出力された特徴マップを縮小して新たな特徴マップとする。「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
　推論部４４として機能する１つ又は複数の全結合層４６Ｅ１は、前の層の全てのノード（本例では、活性化処理部４６Ｃ６から出力される特徴マップ）と重み付き結合し、活性化関数によって変換された値（特徴変数）を出力する。ノードの数を増加させると、特徴量空間の分割数が増加し、特徴変数の数も増加する。
　推論部４４として機能する出力層４０Ｃは、全結合層４６Ｅ１からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、それぞれの領域（本例ではそれぞれの薬剤）に正しく分類される確率を最大化する（最尤推定法）ことによって分類を行う。尚、最終段の全結合層を出力層と呼ぶこともある。
　出力層４０Ｃから出力される推論結果は、学習を行う場合には損失値算出部５２に加えられ、学習済みのＣＮＮ４０にて撮影された薬剤（入力画像）が、登録薬剤のうちのいずれに近いかを推論する場合には出力部６０に加えられる。
　＜学習時＞
　学習前のＣＮＮ４０の各畳み込み層４６Ａ１～４６Ａ６に適用されるフィルタの係数、全結合層４６Ｅ１におけるエッジの重み等のパラメータは、任意の初期値がセットされる。なお、公知の画像の分類等に使用されているＣＮＮのパラメータ等を適用してもよい。
　損失値算出部５２には、ＣＮＮ４０の出力層４０Ｃから出力される推論結果と、入力画像（薬剤画像２７Ａ、２７Ｂ）に対する正解データ（薬剤画像２７Ａ、２７Ｂに対応する薬剤の薬剤識別情報）とが加えられ、損失値算出部５２は、推論結果と正解データとを比較し、両者間の誤差（損失関数の値である損失値）を計算する。損失値の計算方法は、例えばソフトマックスクロスエントロピー、シグモイドなどが考えられる。
　正解データである薬剤識別情報としては、薬剤を一意に特定する薬剤名、商品名、略称又はこれらの組合せを含む。
　パラメータ制御部５４は、損失値算出部５２により算出された損失値を元に、誤差逆伝播法によりＣＮＮ４０のパラメータを調整する。誤差逆伝播法では、誤差を最終レイヤから順に逆伝播させ、各レイヤにおいて確率的勾配降下法を行い、誤差が収束するまでパラメータの更新を繰り返す。
　このパラメータの調整処理を繰り返し行い、ＣＮＮ４０の出力と教師データである正解データとの差が小さくなるまで繰り返し学習を行う。
　１つの薬剤に対して学習を行う場合、入力画像を０度から３６０度の範囲内で一定の角度（例えば、１度）ずつ順次回転させ、一定の角度回転させる毎（回転位置毎）に上記の学習を繰り返す。入力画像である薬剤画像２７Ａ、２７Ｂは、画像処理にて回転させる公知の回転処理部により回転させることができる。
　また、同じ種類の複数の薬剤について、複数の画像セットを取得し、複数の画像セットの各画像セットをそれぞれ入力画像として使用することが好ましい。薬剤に僅かな相違点（刻印の欠け等）があっても、それに影響されない学習を行うためである。尚、登録しようとする１つの薬剤について、１つの画像セットのみを使用して学習してもよい。
　このようにして、識別対象とする全ての薬剤について、学習を行う。新規に登録しようとする「薬剤」、及び学習済みの「薬剤」は、以下「登録薬剤」ともいう。
　本実施形態によれば、薬剤に付された刻印又は印字を強調する強調処理が薬剤の画像に対して施された画像であって、薬剤と照明光源との相対位置関係に依存しない薬剤の画像（前処理された薬剤画像２７Ａ、２７Ｂ）を生成し、生成した薬剤画像２７Ａ、２７Ｂを教師データとして機械学習に使用するようにしたため、複数の光源からの距離（ステージ２１上の薬剤の位置）に応じた多数の薬剤画像を準備する必要がなく、教師データ数を大幅に削減することができる。また、回転処理部による画像処理により薬剤画像２７Ａ、２７Ｂを回転させるため、薬剤の向きが異なる薬剤画像の撮影を行う必要もない。
　＜薬剤の識別時＞
　学習済みのＣＮＮ４０は、薬剤の識別器として機能し得る。
　学習済みのＣＮＮ４０を使用して識別対象の薬剤を識別する場合、画像取得部２０（図１、図２）により識別対象の薬剤の撮影（本例では、分包袋ＴＰの上方及び下方からの撮影）を行う。分包袋ＴＰの上方から撮影を行う場合、分包袋ＴＰの上方の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを順次切り換えて点灯させて撮影した４つの画像と、上方の光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影した１つの画像とを取得する。分包袋ＴＰの下方から撮影を行う場合も同様に行う。
　図６に示した画像処理部３０の画像切り出し部３２は、分包袋ＴＰを撮影した画像（本例では、表側の５枚の画像、及び裏側の５枚の画像の合計１０枚の画像）から、複数の薬剤の領域をそれぞれ切り出し、複数の薬剤画像を生成する。
　画像処理部３０のエッジ画像合成部３４は、画像切り出し部３２により切り出された４つの画像ＧＬ，ＧＲ，ＧＵ，及びＧＤ（図５）からそれぞれ照射方向に応じた方向のエッジ抽出フィルタを使用し、４つのエッジ画像を生成する。
　画像処理部３０のエッジ画像合成部３４は、光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影した輝度ムラがない表画像２３Ａに４つのエッジ画像を合成し、刻印を強調する強調処理が施された薬剤画像２７Ａを生成する。同様に、輝度ムラがない裏画像２３Ｂに４つのエッジ画像を合成し、刻印を強調する強調処理が施された薬剤画像２７Ｂを生成する（図９参照）。
　このようにして生成した薬剤画像２７Ａ、２７Ｂは、学習済みのＣＮＮ４０に入力画像として入力される。
　学習済みのＣＮＮ４０は、表側の薬剤画像２７Ａ及び裏側の薬剤画像２７Ｂに基づいて識別対象の薬剤が、登録薬剤のうちのいずれに近いかを推論し、推論結果は、表示器、プリンタ等の出力部６０により視認可能に出力され、又は電子的に記録可能な電子データとして出力される。
　推論結果は、識別対象の薬剤に近い順（Rank 1,Rank 2,Rank3,…）に、登録薬剤の情報（薬剤識別情報と薬剤画像等）やその確率として出力することができる。
　ユーザは、出力部６０から出力される推論結果を、識別対象の薬剤を監査、鑑別する際の支援情報として使用することができる。
　尚、識別器として機能するＣＮＮは、図１０に示したように学習装置を構成するＣＮＮ４０に限らず、学習済みのＣＮＮ４０からパラメータを取得し、取得したパラメータが設定された他のＣＮＮを、薬剤の識別時に使用するものでもよい。
　＜薬剤識別装置の第２実施形態＞
　図１１は、第２実施形態に係る薬剤識別装置１０－２の電気的な内部構成を示すブロック図である。
　図１１に示す薬剤識別装置１０－２は、主として画像取得部２０と、画像処理部３１と、特徴量演算部４３及び推論部４４として機能する識別器（本例では、ＣＮＮ）４１とから構成されている。
　図１１に示す第２実施形態の薬剤識別装置１０－２は、主として第１実施形態の薬剤識別装置１０－１の画像処理部３０が行っている前処理を行わない点で、第１実施形態の薬剤識別装置１０－１と相違する。具体的には、第２実施形態の薬剤識別装置１０－２は、画像処理部３１及びＣＮＮ４１が、第１実施形態の薬剤識別装置１０－１の画像処理部３０及びＣＮＮ４０と相違する。
　薬剤識別装置１０－２の画像取得部２０は、第１実施形態の薬剤識別装置１０－１の画像取得部２０（図２）と共通するため、その詳細な説明は省略する。
　尚、第２実施形態の薬剤識別装置１０－２では、４つの光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを同時に点灯させて撮影された画像は使用せず、光源２４Ｌ，２４Ｒ，２４Ｕ，及び２４Ｄを順次点灯させて撮影した、上方及び下方からの４つの画像（合計８つの画像）を使用するものとして説明する。
　画像処理部３１は、第１実施形態の薬剤識別装置１０－１の画像処理部３０（図６）に含まれる画像切り出し部３２を備え、前処理を行うためのエッジ画像合成部３４及びエッジ画像生成部３６を備えていない。
　画像処理部３１は、画像取得部２０にて取得された８つの画像から、分包袋ＴＰに分包された複数の薬剤の領域をそれぞれ切り出し、複数の薬剤画像を生成する。したがって、１つの薬剤について、上方から撮影された４つの画像ＧＬ，ＧＲ，ＧＵ，ＧＤと、下方から撮影された４つの画像ＧＬ，ＧＲ，ＧＵ，ＧＤの合計８つの薬剤画像を切り出す（図５参照）。
　ＣＮＮ４１は、画像処理部３１により切り出された８つの薬剤画像を入力画像とする。尚、薬剤画像は、ＲＧＢのカラー画像（ＲＧＢの３チャンネルの画像）であるため、ＣＮＮ４１の入力画像は、８つの薬剤画像とＲＧＢの３チャンネルの画像との積である、合計２４枚の画像セットが入力画像となる。即ち、画像セットは、２４チャンネルの画像である。
　ＣＮＮ４１の特徴量演算部４３及び推論部４５は、図１０に示した第１実施形態のＣＮＮ４０の特徴量演算部４２及び推論部４４と同様の機能を有するが、主として特徴量演算部４３の入力層は、２４チャンネルの画像セットを入力画像として入力し、また、特徴量演算部４３の中間層の１番目の畳み込み層は、２４チャンネルの画像セットに対応するフィルタを有する点で相違する。
　即ち、１番目の畳み込み層は、画像セットとフィルタとの畳み込み演算を行う部分である。ここで、画像セットが２４チャンネル（２４枚）であるため、例えば、サイズ５のフィルタの場合、フィルタサイズは、５×５×２４のフィルタになる。
　ＣＮＮ４１による学習フェーズでの処理及び識別フェーズでの処理は、図１０を使用して説明した第１実施形態のＣＮＮ４０と共通するため、その詳細な説明は省略する。
　第２実施形態の薬剤識別装置１０－２は、１つの画像セットの枚数が多くなるものの、その画像セットを取得するための画像取得部２０は、第１実施形態の薬剤識別装置１０－１のものと同等である。
　また、第２実施形態の薬剤識別装置１０－２は、複数の光源を順次点灯させて撮影した複数の画像セット（本例では、照射方向が異なる４枚の薬剤画像）を教師データとして機械学習に使用することで、複数の光源からの距離に応じた多数の薬剤画像を準備する必要がなく、第１実施形態の薬剤識別装置１０－１と同様に教師データ数を大幅に削減することができる。
　［薬剤識別方法］
　図１２は、本発明に係る薬剤識別方法の第１実施形態を示すフローチャートであり、図１から図１０に示した薬剤識別装置１０－１の各部の処理手順に関して示している。
　図１２において、画像取得部２０及び画像切り出し部３２により、それぞれ照明方向が異なる４つの画像ＧＬ，ＧＲ，ＧＵ，ＧＤと、全方向から照明された画像ＧＡとを取得する（ステップＳ１０、図５）。尚、上方から照明された画像ＧＬ，ＧＲ，ＧＵ，ＧＤ，ＧＡと、下方から照明された画像ＧＬ，ＧＲ，ＧＵ，ＧＤ，ＧＡとを取得する。
　続いて、エッジ画像合成部３４により、それぞれ照射方向に応じた方向のエッジ抽出フィルタを使用し、上方及び下方から照明された４つの画像ＧＬ，ＧＲ，ＧＵ，ＧＤから各画像に対応するエッジ画像を生成する（ステップＳ１２）。
　エッジ画像合成部３４は、全方向から照明されたムラのない画像ＧＡにエッジ画像を合成し、合成画像を生成する（ステップＳ１４）。これにより、合成画像は、薬剤の画像（画像ＧＡ）に対して刻印が強調された画像として生成される。
　次に、生成された合成画像は、学習済みのＣＮＮ４０の入力画像として入力される。ＣＮＮ４０の特徴量演算部４２として機能する部分は、入力画像から入力画像の特徴量を演算（抽出）して特徴マップを生成し（ステップＳ１６）、ＣＮＮ４０の推論部４４として機能する部分は、入力画像の特徴量を示す特徴マップから、入力画像に対応する薬剤が、登録薬剤のうちのいずれに近い特徴を有するかを推論する（ステップＳ１８）。
　入力画像の入力に対してＣＮＮ４０から出力される推論結果は、出力部６０から視認可能に出力され、又は電子的に記録可能な電子データとして出力される（ステップＳ２０）。
　図１３は、本発明に係る薬剤識別方法の第２実施形態を示すフローチャートであり、図１１に示した薬剤識別装置１０－２の各部の処理手順に関して示している。
　図１３において、画像取得部２０により、それぞれ照明方向が異なる４つの画像ＧＬ，ＧＲ，ＧＵ，ＧＤを取得する（ステップＳ１０）。尚、上方から照明された画像ＧＬ，ＧＲ，ＧＵ，ＧＤ，ＧＡと、下方から照明された画像ＧＬ，ＧＲ，ＧＵ，ＧＤ，ＧＡとの合計８枚の画像を取得する。
　ＣＮＮ４１（図１１）の特徴量演算部として機能する部分は、画像取得部２０が取得した画像ＧＬ，ＧＲ，ＧＵ，ＧＤ，ＧＡを入力画像として入力し、入力画像の特徴量を演算して特徴マップを生成する（ステップＳ３０）。この場合、入力画像である薬剤画像は、合計８枚の画像であり、薬剤画像は、ＲＧＢの３チャンネルの画像であるため、２４（＝８×３）チャンネルの画像セットがＣＮＮ４１の入力画像となる。
　ＣＮＮ４１の推論部として機能する部分は、入力画像の特徴量を示す特徴マップから、入力画像に対応する薬剤が、登録薬剤のうちのいずれに近い特徴を有するかを推論する（ステップＳ１８）。
　入力画像の入力に対してＣＮＮ４１から出力される推論結果は、出力部６０から視認可能に出力され、又は電子的に記録可能な電子データとして出力される（ステップＳ２０）。
　［その他］
　本実施形態では、特徴量演算部及び推論部として機能するＣＮＮを例に説明したが、識別器は、ＣＮＮに限らず、例えばＤＢＮ（Deep Belief Network）、ＳＶＭ（Support Vector Machine）などのＣＮＮ以外の機械学習モデルでもよい。
　また、薬剤識別装置のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　また、本発明は、コンピュータにインストールされることにより、本発明に係る薬剤識別装置として機能させる薬剤識別プログラム、及びこの薬剤識別プログラムが記録された記録媒体を含む。
　更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０－１、１０－２　薬剤識別装置
２０　画像取得部
２１　ステージ
２２Ａ、２２Ｂ　カメラ
２３Ａ　表画像
２３Ｂ　裏画像
２４　照明部
２４Ｄ　光源
２４Ｌ　光源
２４Ｒ　光源
２４Ｕ　光源
２５Ａ、２５Ｂ、２７Ａ、２７Ｂ　薬剤画像
２６　撮影制御部
３０　画像処理部
３１　画像処理部
３２　画像切り出し部
３４　エッジ画像合成部
３６　エッジ画像生成部
４０、４１　ＣＮＮ
４０Ａ　入力層
４０Ｂ　中間層
４０Ｃ　出力層
４２、４３　特徴量演算部
４４、４５　推論部
４６Ａ１　畳み込み層
４６Ｂ１　正規化層
４６Ｃ１　活性化処理部
４６Ｄ１　プーリング層
４６Ｅ１　全結合層
５０　正解データ
５２　損失値算出部
５４　パラメータ制御部
６０　出力部
ＦＬ、ＦＲ　ソーベルフィルタ
ＧＡ　画像
ＧＤ　画像
ＧＬ　画像
ＧＲ　画像
ＧＵ　画像
ＬＬ　照明光
ＬＲ　照明光
ＰＡ　撮影光軸
ＰＢ　薬包帯
Ｓ　刻印
Ｓ１０～Ｓ３０　ステップ
Ｔ　薬剤
ＴＰ　分包袋

Claims (20)

  1. 　薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得する画像取得部と、
    　前記複数の第１画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理が前記薬剤の画像に対して施された第２画像を生成する画像処理部と、
    　前記第２画像の特徴量を演算する特徴量演算部と、
    　前記第２画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する推論部と、
    　を備えた薬剤識別装置。
  2. 　前記画像処理部は、前記複数の第１画像からそれぞれ前記照射方向に応じた方向のエッジ抽出フィルタを使用して複数のエッジ画像を取得し、前記複数のエッジ画像を前記薬剤の画像に合成して前記第２画像を生成する請求項１に記載の薬剤識別装置。
  3. 　前記特徴量演算部及び前記推論部は、前記登録薬剤に対応する前記第２画像と前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成される請求項２に記載の薬剤識別装置。
  4. 　新規の登録薬剤に対応する前記第２画像を０度から３６０度の範囲内で順次回転させる回転処理部を含み、
    　前記畳み込みニューラルネットワークは、前記新規の登録薬剤を登録する場合、前記回転処理部により順次回転した回転位置毎の前記第２画像を学習用の入力画像とする請求項３に記載の薬剤識別装置。
  5. 　前記第２画像は、３チャンネルのカラー画像からなり、
    　前記畳み込みニューラルネットワークは、前記３チャンネルのカラー画像からなる画像セットを入力画像とする請求項３又は４に記載の薬剤識別装置。
  6. 　前記複数の第１画像は、ステージに載置された前記薬剤を前記ステージの上方から撮影した複数の画像と、前記ステージの下方から撮影した複数の画像とを含み、
    　前記画像処理部は、前記ステージの上方から撮影した複数の画像及び前記ステージの下方から撮影した複数の画像に基づいてそれぞれ前記第２画像を生成する請求項１から５のいずれか１項に記載の薬剤識別装置。
  7. 　薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得する画像取得部と、
    　前記複数の第１画像に基づいて前記複数の第１画像の特徴量を演算する特徴量演算部と、
    　前記複数の第１画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する推論部と、
    　を備えた薬剤識別装置。
  8. 　前記特徴量演算部及び前記推論部は、前記登録薬剤に対応する前記複数の第１画像からなる画像セットと前記登録薬剤を特定する薬剤識別情報とを教師データとして使用し、登録薬剤毎に学習を行った学習済みの畳み込みニューラルネットワークで構成される請求項７に記載の薬剤識別装置。
  9. 　新規の登録薬剤に対応する前記画像セットを０度から３６０度の範囲内で順次回転させる回転処理部を含み、
    　前記畳み込みニューラルネットワークは、前記新規の登録薬剤を登録する場合、前記回転処理部により順次回転した回転位置毎の前記画像セットを学習用の入力画像とする請求項８に記載の薬剤識別装置。
  10. 　前記複数の第１画像の各画像は、それぞれ３チャンネルのカラー画像からなり、
    　前記畳み込みニューラルネットワークは、前記複数の第１画像の各画像が前記３チャンネルのカラー画像からなる画像セットを入力画像とする請求項８又は９に記載の薬剤識別装置。
  11. 　前記複数の第１画像は、ステージに載置された前記薬剤を前記ステージの上方から撮影した複数の画像と、前記ステージの下方から撮影した複数の画像とを含む請求項８から１０のいずれか１項に記載の薬剤識別装置。
  12. 　前記推論部により推論した推論結果を視認可能に出力する出力部を備えた請求項１から１０のいずれか１項に記載の薬剤識別装置。
  13. 　前記出力部は、前記推論結果に基づいて識別対象の前記薬剤が、前記登録薬剤のうちの最も近い登録薬剤の薬剤識別情報を視認可能に出力し、又は前記登録薬剤のうちの最も近い登録薬剤から近い順に複数の登録薬剤の薬剤識別情報を視認可能に出力する請求項１２に記載の薬剤識別装置。
  14. 　前記画像取得部は、
    　識別対象の前記薬剤が載置されるステージと、
    　前記ステージに載置された前記薬剤の表面への光の照射方向がそれぞれ異なる複数の光源を有し、前記複数の光源を順次切り換えて点灯する照明部と、
    　前記複数の光源を順次切り換えて点灯することにより、前記薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤をそれぞれ撮影する撮影部と、からなる請求項１から１３のいずれか１項に記載の薬剤識別装置。
  15. 　画像取得部が、薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得するステップと、
    　画像処理部が、前記複数の第１画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理が前記薬剤の画像に対して施された第２画像を生成するステップと、
    　特徴量演算部が、前記第２画像の特徴量を演算するステップと、
    　推論部が、前記第２画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論するステップと、
    　を含む薬剤識別方法。
  16. 　画像取得部が、薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得するステップと、
    　特徴量演算部が、前記複数の第１画像に基づいて前記複数の第１画像の特徴量を演算するステップと、
    　推論部が、前記複数の第１画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論するステップと、
    　を含む薬剤識別方法。
  17. 　薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得する機能と、
    　前記複数の第１画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理が前記薬剤の画像に対して施された第２画像を生成する機能と、
    　前記第２画像の特徴量を演算する機能と、
    　前記第２画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、
    　をコンピュータにより実現させる薬剤識別プログラム。
  18. 　薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得する機能と、
    　前記複数の第１画像に基づいて前記複数の第１画像の特徴量を演算する機能と、
    　前記複数の第１画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、
    　をコンピュータにより実現させる薬剤識別プログラム。
  19. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    　薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得する機能と、
    　前記複数の第１画像に基づいて前記薬剤に付された刻印又は印字を強調する強調処理が前記薬剤の画像に対して施された第２画像を生成する機能と、
    　前記第２画像の特徴量を演算する機能と、
    　前記第２画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、
    　を含む薬剤識別機能をコンピュータに実行させる記録媒体。
  20. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    　薬剤の表面への光の照射方向がそれぞれ異なる前記薬剤の複数の第１画像を取得する機能と、
    　前記複数の第１画像に基づいて前記複数の第１画像の特徴量を演算する機能と、
    　前記複数の第１画像の特徴量に基づいて前記薬剤が登録薬剤のうちのいずれに近いかを推論する機能と、
    　を含む薬剤識別機能をコンピュータに実行させる記録媒体。
PCT/JP2019/042857 2018-11-21 2019-10-31 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム WO2020105395A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020558221A JP7125510B2 (ja) 2018-11-21 2019-10-31 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-218309 2018-11-21
JP2018218309 2018-11-21

Publications (1)

Publication Number Publication Date
WO2020105395A1 true WO2020105395A1 (ja) 2020-05-28

Family

ID=70774437

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/042857 WO2020105395A1 (ja) 2018-11-21 2019-10-31 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム

Country Status (2)

Country Link
JP (1) JP7125510B2 (ja)
WO (1) WO2020105395A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022025439A (ja) * 2020-07-29 2022-02-10 富士フイルム富山化学株式会社 画像処理装置、薬剤識別装置及び画像処理方法
JP2023005928A (ja) * 2021-06-30 2023-01-18 株式会社コンテック 薬剤識別システムおよび薬剤識別方法
CN116367805A (zh) * 2020-10-29 2023-06-30 株式会社汤山制作所 种类判别装置、种类判别方法、种类判别程序及药剂分类装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015068765A (ja) * 2013-09-30 2015-04-13 富士フイルム株式会社 薬剤認識装置及び方法
JP2017138693A (ja) * 2016-02-02 2017-08-10 フロイント産業株式会社 固形製剤用テンプレート作成方法、固形製剤用テンプレート作成プログラムを記録したコンピュータが読み取り可能な記録媒体、固形製剤印刷検査方法、及び固形製剤印刷検査装置
JP2018027242A (ja) * 2016-08-18 2018-02-22 安川情報システム株式会社 錠剤検知方法、錠剤検知装置および錠剤検知プログラム
WO2018173649A1 (ja) * 2017-03-23 2018-09-27 富士フイルム株式会社 薬剤認識装置、薬剤認識方法、及び薬剤認識プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015068765A (ja) * 2013-09-30 2015-04-13 富士フイルム株式会社 薬剤認識装置及び方法
JP2017138693A (ja) * 2016-02-02 2017-08-10 フロイント産業株式会社 固形製剤用テンプレート作成方法、固形製剤用テンプレート作成プログラムを記録したコンピュータが読み取り可能な記録媒体、固形製剤印刷検査方法、及び固形製剤印刷検査装置
JP2018027242A (ja) * 2016-08-18 2018-02-22 安川情報システム株式会社 錠剤検知方法、錠剤検知装置および錠剤検知プログラム
WO2018173649A1 (ja) * 2017-03-23 2018-09-27 富士フイルム株式会社 薬剤認識装置、薬剤認識方法、及び薬剤認識プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022025439A (ja) * 2020-07-29 2022-02-10 富士フイルム富山化学株式会社 画像処理装置、薬剤識別装置及び画像処理方法
JP7437259B2 (ja) 2020-07-29 2024-02-22 富士フイルム富山化学株式会社 画像処理装置、薬剤識別装置、画像処理方法及び薬剤識別方法
CN116367805A (zh) * 2020-10-29 2023-06-30 株式会社汤山制作所 种类判别装置、种类判别方法、种类判别程序及药剂分类装置
EP4201389A4 (en) * 2020-10-29 2024-05-08 Yuyama Mfg. Co., Ltd. TYPE DISCRIMINATION DEVICE, TYPE DISCRIMINATION METHOD, TYPE DISCRIMINATION PROGRAM AND DRUG SORTING DEVICE
JP2023005928A (ja) * 2021-06-30 2023-01-18 株式会社コンテック 薬剤識別システムおよび薬剤識別方法
JP7274529B2 (ja) 2021-06-30 2023-05-16 株式会社コンテック 薬剤識別システムおよび薬剤識別方法

Also Published As

Publication number Publication date
JP7125510B2 (ja) 2022-08-24
JPWO2020105395A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
WO2020105395A1 (ja) 薬剤識別装置、薬剤識別方法及び薬剤識別プログラム
CN110892445B (zh) 药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序
WO2018192662A1 (en) Defect classification in an image or printed output
CN110998598A (zh) 对被操纵图像的检测
JP2022550216A (ja) 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法
US20130308875A1 (en) System and method for producing synthetic golden template image for vision system inspection of multi-layer patterns
JP6823727B2 (ja) 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
MX2011003977A (es) Procedimiento y sistema para la identificacion de articulos.
CN106934794A (zh) 信息处理装置，信息处理方法和检查系统
US11341357B2 (en) Medicine inspection device, image processing device, image processing method, and program
JP2016015093A (ja) 錠剤識別装置およびその方法、並びに、分包錠剤監査装置
WO2019039016A1 (ja) 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
WO2020246401A1 (ja) 画像認識装置および画像認識方法
JP7375161B2 (ja) 学習データ作成装置、方法、プログラム、及び記録媒体
JP6861825B2 (ja) 薬剤識別装置、画像処理装置、画像処理方法及びプログラム
JP6958136B2 (ja) 画像検査装置、及び画像検査方法
JP7338030B2 (ja) 物体認識装置、方法及びプログラム
WO2021006093A1 (ja) 画像生成装置、薬剤識別装置、薬剤表示装置、画像生成方法及びプログラム
JP7531578B2 (ja) 学習データ作成装置、方法、プログラム、及び記録媒体
EP4156116A1 (en) Collation device, program, and collation method
Gallegos Development of algorithms for the inspection of surface-mounted devices
CN116630963A (zh) 茶叶分类方法、装置、设备及存储介质
Koe Design of Predictive Model for TCM Tongue Diagnosis In Malaysia Using Machine Learning
Burge et al. Multispectral Iris Fusion and Cross-Spectrum Matching
CN109118549A (zh) 一种用白色打印纸作参照物恢复目标物颜色的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19886099

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558221

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19886099

Country of ref document: EP

Kind code of ref document: A1