WO2019044439A1 - 薬剤監査装置、画像処理装置、画像処理方法及びプログラム - Google Patents

薬剤監査装置、画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2019044439A1
WO2019044439A1 PCT/JP2018/029772 JP2018029772W WO2019044439A1 WO 2019044439 A1 WO2019044439 A1 WO 2019044439A1 JP 2018029772 W JP2018029772 W JP 2018029772W WO 2019044439 A1 WO2019044439 A1 WO 2019044439A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
medicine
photographed
unit
light
Prior art date
Application number
PCT/JP2018/029772
Other languages
English (en)
French (fr)
Inventor
一央 岩見
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP18850543.2A priority Critical patent/EP3678089A4/en
Priority to CN201880051176.6A priority patent/CN111095262A/zh
Priority to JP2019539146A priority patent/JP6853891B2/ja
Publication of WO2019044439A1 publication Critical patent/WO2019044439A1/ja
Priority to US16/782,943 priority patent/US11341357B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00—Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Definitions

  • the present invention relates to a drug inspection device, an image processing device, an image processing method, and a program, and more particularly to a drug inspection device, an image processing device, an image processing method, and a program for specifying the type of a drug from an image obtained by capturing a drug.
  • Patent Document 1 calculates the degree of similarity of partial images of a plurality of divided areas of a registered image and a matching image for each of the corresponding divided areas, and calculates the plurality of calculated areas for each divided area.
  • a drug verification apparatus that determines whether a drug represented by a registered image and a drug represented by a matching image are the same type of drug based on the lowest similarity among similarities, a registered image with a dividing line on the drug surface When acquired, the image processing unit extracts a dividing line, and the similarity calculating unit discloses a technique of setting a divided area so that the dividing line is not included in the partial image.
  • the present invention has been made in view of the above circumstances, and a drug inspection device, an image processing device, and an image that appropriately extract identification information even when the positional relationship between printing and marking attached to a drug is not constant.
  • the purpose is to provide a processing method and program.
  • one aspect of the image processing apparatus includes a first image acquisition unit that acquires a photographed image of at least one medicine photographed by irradiating light to the surface of the medicine, and at least one photographing A process of emphasizing a print portion of a drug based on an image, and a first image processing unit that generates a print-emphasized image, and at least three medicines captured with different illumination directions of light on the surface of the drug.
  • a second image acquisition unit for acquiring a photographed image
  • a second image processing unit for performing processing of extracting only a marking portion from a three-dimensional shape of a medicine based on at least three photographed images, and generating a marking extraction image
  • a difference image generation unit configured to generate a difference image of the emphasis image and the stamp extraction image.
  • the second image processing unit acquires a three-dimensional information acquisition unit that acquires three-dimensional information of the surface of the medicine by the photometric stereo method based on at least three photographed images, and the surface of the medicine based on the acquired three-dimensional information It is preferable that a curvature image generation unit that generates a curvature image representing the curvature of the local region be provided, and the generated curvature image be a stamp extraction image. Thereby, a stamp extraction image can be generated appropriately.
  • the second image processing unit may normalize at least three photographed images with an average signal value.
  • the first image processing unit performs processing for removing low frequency components from at least one photographed image.
  • the print emphasis image can be appropriately generated.
  • one aspect of a drug inspection device includes a stage for placing a drug, and at least three stages for irradiating light from different illumination directions to the surface of the drug placed on the stage.
  • a first imaging that acquires an imaging image of at least one medicine photographed by irradiating light to the surface of the medicine by controlling an irradiation unit having a light source, an imaging unit photographing the medicine, and the irradiation unit and the photographing unit.
  • the control unit a process for emphasizing the print portion of the drug based on at least one photographed image, and the first image processing unit that generates the print-emphasized image, and the irradiation unit and the imaging unit are controlled.
  • the second imaging control unit acquires captured images of at least three drugs captured with different illumination directions of light, and extracts only the imprinted part from the three-dimensional shape of the drug based on at least three captured images Where to Was carried out, with a second image processing unit for generating an engraving extracted image, a difference image generation section that generates a differential image of a print enhancement image and marking extracting image.
  • a region of interest setting unit that sets a region of interest in an image of a drug
  • a template generation unit that generates a template from a master image in correspondence with the set region of interest
  • the determination unit It is preferable to collate. This makes it possible to appropriately determine whether the drug to be dispensed and the drug placed on the stage are identical.
  • a plurality of medicines packaged in a sachet be placed on the stage.
  • This embodiment can be applied to a plurality of drugs packaged in a packaging bag.
  • the irradiating unit irradiates light in a fourth direction with a first light source that emits light in a first direction, a second light source that emits light in a second direction, a third light source that emits light in a third direction, and
  • the second direction is a direction opposite to the first direction in plan view of the surface
  • the third direction is a direction orthogonal to the first direction in plan view of the surface
  • the fourth direction Is preferably a direction opposite to the third direction in plan view of the surface.
  • the first imaging control unit irradiate light to the surface of the medicine by the first light source, the second light source, the third light source, and the fourth light source. Thereby, it is possible to appropriately acquire a photographed image of at least one medicine photographed by irradiating light to the surface of the medicine.
  • one aspect of the image processing method comprises: a first image acquisition step of acquiring a photographed image of at least one medicine photographed by irradiating light to the surface of the medicine; and at least one photographing A process of emphasizing a print portion of a drug based on an image to generate a print-emphasized image, and at least three of the drugs photographed with different illumination directions of light on the surface of the drug.
  • a difference image generating step of generating a difference image of the emphasized image and the stamp-extracted image.
  • the first image acquisition function of acquiring a photographed image of at least one medicine photographed by irradiating light to the surface of the medicine and at least one photographed image A process of emphasizing the print portion of the drug based on the first image processing function for generating a print-emphasized image and a photographed image of at least three drugs photographed with different illumination directions of light on the surface of the drug
  • identification information can be appropriately extracted even when the positional relationship between the marking and the marking attached to the medicine is not constant.
  • Image G 1 shown in FIG. 1 is an example of a captured image of a tablet identification information is attached in the printing (one example of a drug). Irregular lighting and irregular shapes often have a low frequency band with respect to the printing unit. Therefore, in order to extract identification information, it is desirable to reduce illumination unevenness and shape unevenness in areas other than the printing unit.
  • Image G 2 shown in FIG. 1 is an example of an image subjected to processing for reducing illumination unevenness and shape unevenness for the image G 1.
  • An image G 3 , an image G 4 , and an image G 5 shown in FIG. 2 are an example of a photographed image of a tablet having identification information printed and marked (secant). Although these are tablets of the same type, as shown in FIG. 2, the positional relationship between the printing and the marking is different and not constant.
  • Image G 6 shown in FIG. 3 is an example of an image subjected to processing for reducing illumination unevenness and shape irregularity on the image G 3 shown in FIG. 3, the image G 6 are printing unit and marking portion is extracted. If the positional relationship between the printing and the marking is not constant, and the matching portion and the marking portion are to be compared with the master image in the extracted image, the marking portion contributes to the lowering of the matching accuracy.
  • the medicine inspection device removes the marking portion causing the reduction of the degree of similarity, and emphasizes only the printing portion, whereby the positional relationship between the marking applied to the medicine and the printing is not constant. Even the identification information is properly extracted.
  • the identification information was formed by forming the groove which is a depression area on the surface of the medicine.
  • the grooves are not limited to those formed by digging the surface, but may be formed by pressing the surface.
  • the marking may include one that does not have an identifying function such as a dividing line.
  • attached by printing means that identification information is formed by applying edible ink or the like in contact or non-contact with the surface of the tablet.
  • attaching by printing is the same as attaching by printing.
  • FIG. 4 is a top view of the medicine inspection device 100 according to the present embodiment
  • FIG. 5 is a side view of the medicine inspection device 100.
  • the medicine inspection apparatus 100 includes a stage 102, a first light source 104, a second light source 106, a third light source 108, a fourth light source 110, a fifth light source 112, a sixth light source 114, and a fourth light source.
  • a light source 116, an eighth light source 118, a camera 120, and a camera 122 are provided. In FIG. 4, illustration of the camera 120 and the camera 122 is omitted.
  • the stage 102 is a plate-like member having a mounting surface 102A and a back surface 102B parallel to the xy plane (horizontal surface).
  • the stage 102 is made of a light transmissive material. Here, it has a size of 130 mm in the x-axis direction and 80 mm in the y-axis direction.
  • the tablet T is placed on the placement surface 102A of the stage 102. Of the surface of the tablet T, assuming that the surface in contact with the placement surface 102A is the lower surface and the opposite surface of the lower surface is the upper surface, the upper surface and the lower surface of the tablet T On at least one side, identification information I of the tablet T is attached by imprinting, printing, or imprinting and printing.
  • the tablet T is not wrapped in a sachet, but may be placed in a transparent or translucent sachet.
  • a plurality of tablets may be wrapped in the packaging bag.
  • sachets may constitute a medical bandage continuously.
  • the packaging bag may be supported for imaging.
  • the first light source 104, the second light source 106, the third light source 108, the fourth light source 110, the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source 118 are bar-shaped (linear) It is an LED (Light Emitting Diode) light source.
  • the first light source 104, the second light source 106, the third light source 108, the fourth light source 110, the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source 118 are supported by a support (not shown)
  • the illumination light of visible light is emitted toward the stage 102 from directions inclined with respect to the z-axis direction.
  • the brightness at the time of lighting of the first light source 104, the second light source 106, the third light source 108, the fourth light source 110, the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source 118 is Each is the same.
  • the first light source 104 is a position separated by a fixed amount from the stage 102 on one side (upper side in FIG. 5) in the z-axis direction, and one side (left side in FIG. 4) of the mounting surface 102A in the x-axis direction. In the y-axis direction.
  • the first light source 104 emits illumination light toward the stage 102 in a first direction.
  • the second light source 106 is disposed parallel to the y-axis direction at a position separated by a fixed amount from the stage 102 to one side in the z-axis direction and at the other side (right side in FIG. 4) in the x-axis direction There is.
  • the second light source 106 emits illumination light in a second direction toward the stage 102.
  • the second direction is a direction opposite to the first direction in xy plan view (an example of a plan view of the surface).
  • the third light source 108 is disposed parallel to the x-axis direction at a position separated by a fixed amount from the stage 102 on one side in the z-axis direction and at one side in the y-axis direction (upper side in FIG. 4) There is.
  • the third light source 108 emits illumination light toward the stage 102 in the third direction.
  • the third direction is a direction orthogonal to the first direction in xy plan view.
  • the fourth light source 110 is disposed parallel to the x-axis direction at a position separated by a fixed amount from the stage 102 to one side in the z-axis direction and at the other side (lower side in FIG. 4) in the y-axis direction. ing.
  • the fourth light source 110 emits illumination light toward the stage 102 in a fourth direction.
  • the fourth direction is a direction opposite to the third direction in xy plan view.
  • the fifth light source 112 is disposed parallel to the y-axis direction at a position separated by a fixed amount from the stage 102 on the other side (lower side in FIG. 5) in the z-axis direction and at one position in the x-axis direction. ing.
  • the fifth light source 112 emits illumination light toward the stage 102 in the fifth direction.
  • the fifth direction is the same as the first direction in xy plan view.
  • the sixth light source 114 is disposed at a position separated from the stage 102 by a fixed amount on the other side in the z-axis direction and parallel to the y-axis direction at a position on the other side in the x-axis direction.
  • the sixth light source 114 emits illumination light toward the stage 102 in the sixth direction.
  • the sixth direction is a direction opposite to the fifth direction in xy plan view.
  • the seventh light source 116 is disposed parallel to the x-axis direction at a position separated by a fixed amount from the stage 102 on the other side in the z-axis direction and at a position on one side in the y-axis direction.
  • the seventh light source 116 emits illumination light toward the stage 102 in the seventh direction.
  • the seventh direction is a direction orthogonal to the fifth direction in xy plan view.
  • the eighth light source 118 is disposed at a position separated from the stage 102 by a fixed amount on the other side in the z-axis direction and parallel to the x-axis direction at a position on the other side in the y-axis direction.
  • the eighth light source 118 emits illumination light toward the stage 102 in the eighth direction.
  • the eighth direction is a direction opposite to the seventh direction in xy plan view.
  • the camera 120 and the camera 122 are imaging devices for acquiring a color image of visible light, and are supported by a support (not shown).
  • the camera 120 and the camera 122 each include a lens and an imaging device (not shown).
  • the camera 120 is provided at a position away from the stage 102 by a fixed amount on one side in the z-axis direction.
  • the camera 120 is disposed with its optical axis parallel to the z-axis direction toward the mounting surface 102A.
  • the camera 122 is provided at a position away from the stage 102 by a fixed amount on the other side in the z-axis direction.
  • the camera 122 is disposed with the optical axis parallel to the z-axis direction toward the back surface 102B.
  • the optical axis of the camera 120 and the optical axis of the camera 122 are opposed via the stage 102.
  • FIG. 6 is a block diagram showing an internal configuration of the medicine inspection device 100.
  • the medicine inspection apparatus 100 includes an acquisition unit 124, an image processing apparatus 130, a prescription information acquisition unit 144, a master image acquisition unit 146, a storage unit 148, a determination unit 150, and a display unit 152.
  • the acquisition unit 124 (an example of a first image acquisition unit, an example of a second image acquisition unit) includes an irradiation unit 126 and a photographing control unit 128 in addition to the camera 120 and the camera 122 described above.
  • the irradiation unit 126 has a plurality of light sources.
  • the irradiation unit 126 includes the first light source 104, the second light source 106, the third light source 108, the fourth light source 110, the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source 118 described above. Is equipped.
  • the imaging control unit 128 (an example of a first imaging control unit, an example of a second imaging control unit) controls lighting and extinguishing of each light source of the irradiation unit 126.
  • the imaging control unit 128 controls the camera 120 and the camera 122.
  • the camera 120 and the camera 122 respectively photograph the tablet T in which the light is respectively irradiated by the plurality of light sources on the surface of the tablet T according to the control of the photographing control unit 128.
  • the acquisition unit 124 acquires a plurality of photographed images.
  • the acquiring unit 124 may be configured to acquire a plurality of images of the tablet T from the external device by providing a communication interface for communicating with the external device such as a computer.
  • the image processing apparatus 130 includes a first image processing unit 132, a second image processing unit 136, and a difference image generation unit 142.
  • the first image processing unit 132 performs a process of emphasizing the print portion of the medicine based on at least one photographed image, and generates a print emphasized image.
  • the first image processing unit 132 includes a low frequency component removing unit 134.
  • the low frequency component removal unit 134 performs processing to remove low frequency components from at least one photographed image.
  • the second image processing unit 136 performs processing of extracting only the marking portion from the three-dimensional shape of the tablet based on at least three photographed images, and generates a marking extraction image.
  • the second image processing unit 136 includes a three-dimensional information acquisition unit 138 and a curvature image generation unit 140.
  • the three-dimensional information acquisition unit 138 acquires three-dimensional information of the surface of the tablet by the photometric stereo method based on at least three photographed images.
  • the curvature image generation unit 140 generates a curvature image representing the curvature of the local region of the surface of the tablet based on the three-dimensional information.
  • the difference image generation unit 142 generates a difference image of the print emphasis image and the stamp extraction image.
  • the prescription information acquisition unit 144 includes, for example, a prescription reader not shown, and reads a prescription to acquire prescription information.
  • a prescription reader not shown
  • OCR Optical Character Recognition
  • information such as the patient's name, the prescribed medicine, and the quantity thereof is read from the prescription written on paper by OCR (Optical Character Recognition).
  • OCR Optical Character Recognition
  • information such as the prescribed medicine and the quantity thereof may be read from the barcode.
  • the user may read a prescription and input prescription information using an input device such as a keyboard (not shown).
  • the master image acquisition unit 146 acquires a master image of the medicine to be dispensed from the storage unit 148 based on the prescription information acquired by the prescription information acquisition unit 144.
  • the storage unit 148 is configured by non-temporary recording media such as a CD (Compact Disk), a DVD (Digital Versatile Disk), a hard disk, and various semiconductor memories.
  • the storage unit 148 stores prescription information, a master image, a captured image acquired by the camera 120 and the camera 122, or a processed captured image obtained by performing image processing on the captured image in association with each other.
  • the determination unit 150 collates the master image acquired by the master image acquisition unit 146 with the difference image generated by the difference image generation unit 142, and the medicine to be dispensed and the medicine placed on the stage 102 are identical. Determine if there is.
  • the display unit 152 includes a monitor (not shown), and displays the prescription information acquired from the prescription information acquisition unit 144, the photographed image of the packaged medicine, the master image stored in the storage unit 148, and the like. Further, the display unit 152 displays the determination result of the determination unit 150.
  • FIG. 7 is a flowchart showing an example of the process of the image processing method.
  • step S1 the prescription information acquisition unit 144 reads a prescription by a prescription reader (not shown) and acquires prescription information.
  • the prescription information acquisition unit 144 may read prescription information stored in advance in the storage unit 148.
  • step S2 an example of the first image acquisition step, an example of the first image acquisition function
  • the imaging control unit 128 is configured to arrange the first light source 104, the second light source 106, and the third light source arranged on one side in the z-axis direction.
  • the tablet T is photographed by the camera 120 in a state where the surface of the tablet is irradiated with light by lighting all the light sources 108 and the fourth light source 110.
  • the acquisition unit 124 acquires a photographed image of the upper surface of at least one tablet T, in which the upper surface of the tablet T is sufficiently illuminated.
  • the imaging control unit 128 controls the tablet T by the camera 122 in a state where all of the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source 118 disposed on the other side in the z-axis direction are turned on. Take a picture of Thereby, the acquiring unit 124 acquires a photographed image of the lower surface of at least one tablet T, in which the lower surface of the tablet T is sufficiently illuminated.
  • the first image processing unit 132 detects a tablet area (drug area) in which the tablet T is copied from the photographed image acquired in step S2.
  • a tablet area drug area
  • the tablet area of the same tablet that is, the tablet area of the upper surface of the tablet T detected from the captured image of the camera 120 and the lower surface of the tablet T detected from the captured image of the camera 122
  • region is related and detected as a pair of tablet area
  • Image G 3 shown in FIG. 2 is an example of a tablet region.
  • step S4 an example of the first image processing step, an example of the first image processing function
  • the first image processing unit 132 performs a process of emphasizing the printed portion of the tablet in the tablet area detected in step S3. Generate a print-emphasized image.
  • the low frequency component removing unit 134 removes the low frequency component of the tablet area to generate a print-emphasized image.
  • Image G 6 shown in FIG. 3 is an example of a print enhanced image.
  • step S5 an example of the second image acquisition step, an example of the second image acquisition function
  • the imaging control unit 128 is configured to set the first light source 104, the second light source 106, and the third light source arranged on one side in the z-axis direction.
  • 108 and the fourth light source 110 are sequentially turned on one by one, and the other light source is turned off, thereby sequentially switching the illumination direction of the light to be irradiated to the surface of the tablet T, and by the camera 120 each time the illumination direction is switched.
  • the tablet T is taken.
  • the acquiring unit 124 acquires photographed images of four tablets (one example of at least three) photographed from the same point while changing the illumination directions of light to the upper surface of the tablet T respectively.
  • the imaging control unit 128 turns on the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source 118 arranged on the other side in the z-axis direction one by one, and other light sources
  • the illumination direction for irradiating the tablet T is sequentially switched, and the camera 122 performs imaging of the tablet T each time the illumination direction is switched.
  • the acquiring unit 124 acquires the photographed images of the four tablets T photographed from the same point by changing the illumination directions of the light to the lower surface of the tablet T respectively.
  • step S6 the second image processing unit 136 detects the tablet area in which the tablet T is copied from the photographed image acquired in step S5.
  • the tablet area on the upper side of the same tablet and the tablet area on the lower side are associated with each other and detected as a pair of tablet areas of the same tablet.
  • step S7 an example of the second image processing step, an example of the second image processing function
  • the second image processing unit 136 extracts the marking portion only from the three-dimensional shape of the tablet in the tablet area detected in step S6. And generate a pair of stamp extracted images.
  • the three-dimensional information acquisition unit 138 acquires three-dimensional information using the photometric stereo method (photometric stereo method), and generates an xyz image (three-dimensional image).
  • the photometric stereo method is a method of estimating the normal direction of the surface of the position from the change in the brightness of each position using a plurality of images captured at the same point with different light irradiation directions. That is, a unit normal vector orthogonal to the tangent plane of each position can be obtained by the photometric stereo method.
  • the second image processing unit 136 normalizes the four images captured by the camera 120 used in the photometric stereo method with the average signal value of the tablet area detected. The same applies to the four images captured by the camera 122.
  • the first light source 104, the second light source 106, the third light source 108, the fourth light source 110, the fifth light source 112, the sixth light source 114, the seventh light source 116, and the eighth light source 118 of the irradiation unit 126 are bar-shaped, respectively. It is a light source (bar illumination).
  • the curvature image generation unit 140 calculates a normal curvature from a unit normal vector (an example of three-dimensional information) obtained by the illuminance difference stereo method.
  • the normal curvature is the curvature of the intersection line (curve) of the plane when the curved surface is cut by a plane along the normal direction and the cut curved surface.
  • the principal curvature is determined over 360 ° with the unit normal vector as an axis, to determine the principal curvature which is the maximum value of the curvature and the minimum principal curvature which is the minimum value.
  • the curvature image generation unit 140 calculates an average curvature.
  • the average curvature can be determined by (maximum principal curvature + minimum principal curvature) / 2.
  • the curvature image generation unit 140 generates a curvature image from the average curvature of each position thus calculated, as a stamp extracted image.
  • a curvature image is generated in which a relatively high position of the average curvature is represented with relatively high luminance.
  • stamp extraction image in which the stamp is extracted and expressed with relatively high luminance.
  • step S8 (an example of a difference image generation step, an example of a difference image generation function) the difference image generation unit 142 subtracts the stamp extraction image generated in step S7 from the print emphasis image generated in step S4 for each tablet region. Generate a pair of difference images.
  • Image G 8 shown in FIG. 9 is an example of the difference image is the result of subtracting the image G 7 is engraved extracted image shown in FIG. 8 from the image G 6 is a print enhanced image shown in FIG. Thus, only the printed portion is appropriately extracted as a relatively bright portion. Note that the outline of the tablet extracted in the image G 7 is not subject to differential.
  • step S9 the image processing device 130 selects a difference image of tablets.
  • a pair of difference images is selected from the plurality of pairs of difference images.
  • step S10 a pair of master images of the prescribed medicine are read from the storage unit 148 and acquired.
  • a pair of master images of one of the prescribed drugs is read out.
  • the master image is an image in which the printed portion is expressed as a relatively bright portion.
  • step S11 the determination unit 150 calculates the similarity between the difference image selected in step S9 and the master image acquired in step S10.
  • the similarity here is calculated as a larger value as the similarity is higher.
  • the similarity may be calculated by a known method.
  • step S12 the determination unit 150 determines, based on the degree of similarity calculated in step S11, whether the medicine described in the prescription is identical to the photographed medicine. Here, if the similarity is greater than a predetermined threshold, it is determined that they are the same.
  • step S13 it is determined whether or not the comparison with the difference image selected in step S9 has been performed on all master images of the prescribed medicine. If there is a master image that has not been collated, the process returns to step S10, a new pair of master images is selected, and the same processing is performed. If all the master images have been collated, the process proceeds to step S14.
  • step S14 it is determined whether collation is complete
  • step S15 it is determined based on the comparison result of the master image and the difference image whether or not the prescribed medicine is as prescribed.
  • step S16 the display unit 152 displays that the medicine described in the prescription does not exist (error display), and the processing of this flowchart is ended.
  • step S17 the display unit 152 displays (normally displays) that the inspection result is normal, and ends the processing of this flowchart.
  • the similarity is calculated for all combinations of all master images of all prescribed medicines and all generated difference images, and the medicine to be dispensed is identical to the medicine dispensed for the most similar combination. It may be determined that
  • combinations in which the drug to be dispensed and the dispensed drug are determined to be identical are sequentially excluded from the matching target, and the remaining master image and the remaining difference image have the highest similarity. It may be determined that the drug to be dispensed and the dispensed drug are identical.
  • the region of interest may set the position, the shape, and the size of the region of interest in accordance with the placement position of the tablet.
  • the region of interest is set in the image of the medicine on the tablet.
  • Image G 9 shown in FIG. 10 is an example of a difference image of a tablet placed on the end of the stage 102, the image G 10 shown in FIG. 10, the difference image of a tablet being placed in the center of the stage 102 It is an example. As shown in FIG. 10, the region of interest A 9 in the image G 9 is, the area of interest A 10 is set to the image G 10.
  • the determination unit 150 (an example of a template generation unit) generates a template from the master image in correspondence with the set position, shape, and size of the region of interest, and collates the region of interest of the difference image with the template.
  • Image G 11 shown in FIG. 11 is an example of a difference image of a tablet placed on the end of the stage 102, the image G 12 shown in FIG. 11, the difference image of a tablet being placed in the center of the stage 102 It is an example.
  • the region of interest A 11 in the image G 11 is, the region of interest A 12 is set to the image G 12.
  • the tablet has a printing portion or a marking portion arranged on the circumference.
  • the printing unit to the area of interest A 11 and the region of interest A 12, or the marking portion is not within.
  • setting the region of interest in the center of the tablet may reduce the matching accuracy. Therefore, the region of interest may be set to a different position for each tablet.
  • the image processing method described above is configured as a program for causing a computer to realize a first image acquisition function, a first image processing function, a second image acquisition function, a second image processing function, and a difference image generation function. It is also possible to configure a non-temporary recording medium such as a CD-ROM (Compact Disk-Read Only Memory) storing the above.
  • a CD-ROM Compact Disk-Read Only Memory
  • a processing unit that executes various processes such as the image processing apparatus 130, the prescription information acquisition unit 144, the master image acquisition unit 146, and the determination unit 150, etc.
  • the structure is various processors as shown below. It is possible to change the circuit configuration after manufacturing a central processing unit (CPU) or a field programmable gate array (FPGA) that is a general-purpose processor that executes software (program) and functions as various processing units for various processors.
  • Logic circuits Programmable Logic Devices: PLDs
  • ASICs Application Specific Integrated Circuits
  • dedicated electric circuits etc.
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA) May be
  • a plurality of processing units may be configured by one processor.
  • a plurality of processing units are configured by one processor, first, one processor or more is configured by a combination of one or more CPUs and software, as represented by computers such as servers and clients.
  • a processor functions as a plurality of processing units.
  • SoC system on chip
  • IC integrated circuit
  • the hardware-like structure of these various processors is more specifically an electric circuit (circuitry) combining circuit elements such as semiconductor elements.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Chemical & Material Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Toxicology (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出する薬剤監査装置、画像処理装置、画像処理方法及びプログラムを提供する。薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成し、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成し、印字強調画像及び刻印抽出画像の差分画像を生成する画像処理装置によって上記課題を解決する。

Description

薬剤監査装置、画像処理装置、画像処理方法及びプログラム
　本発明は薬剤監査装置、画像処理装置、画像処理方法及びプログラムに係り、特に薬剤を撮影した画像から薬剤の種類を特定する薬剤監査装置、画像処理装置、画像処理方法及びプログラムに関する。
　病院や薬局において、薬剤師等が処方箋に沿って薬剤を調合し分包する場合、分包後に、処方箋どおりに薬剤が分包されているかを監査することが義務づけられている。従来、この監査業務における人為的な誤監査又は監査業務の負担軽減を目的として、様々な技術が考えられてきた。その中の一つとして、薬剤を撮影した画像と予めサーバ等に登録されている薬剤の画像との照合を行い、撮影をした薬剤の種類を特定する技術が知られている。
　画像同士の照合を行う代表的な技術的手法として、各画像の相関演算により類似度を算出し照合を行う照合方法がある。しかしながら、この手法を薬剤の識別情報に対して行う場合、お互いの識別情報が似ていたり薬剤が割線を有していたりすると、異なる薬剤の画像同士であっても類似度が高くなり、照合装置は間違った判定結果を出力してしまう場合があった。
　このような課題に対し、特許文献１には、登録画像及び照合画像の複数の分割領域の部分画像の類似度を、それぞれ対応する分割領域ごとに算出し、算出された分割領域毎の複数の類似度のうちで最も低い類似度に基づいて、登録画像が示す薬剤と照合画像が示す薬剤とが同じ種類の薬剤か否かを判定する薬剤照合装置において、薬剤表面に割線がある登録画像を取得した場合には、画像処理部は割線を抽出し、類似度算出部はその割線が部分画像に含まれないように分割領域を設定する技術が開示されている。
　この装置によれば、識別情報が似ていたり薬剤が割線を有していたりする薬剤同士の照合を行う場合であっても、正確な照合を行うことができる。
特開２０１５－６５９７８号公報
　しかしながら、特許文献１に記載の技術では、薬剤に付された印字と刻印（割線）との位置関係が一定であることが前提となっている。したがって、印字と刻印との位置関係が一定でない場合には、識別情報を抽出することができず、照合を適切に行うことができないという問題点があった。
　本発明はこのような事情に鑑みてなされたもので、薬剤に付された印字及び刻印の位置関係が一定でない場合であっても適切に識別情報を抽出する薬剤監査装置、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
　上記目的を達成するために画像処理装置の一の態様は、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を取得する第１画像取得部と、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理部と、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を取得する第２画像取得部と、少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理部と、印字強調画像及び刻印抽出画像の差分画像を生成する差分画像生成部と、を備えた。
　本態様によれば、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像に基づいて生成した印字強調画像、及び薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像に基づいて生成した刻印抽出画像、の差分画像を生成するようにしたので、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。
　第２画像処理部は、少なくとも３枚の撮影画像に基づいて照度差ステレオ法により薬剤の表面の三次元情報を取得する三次元情報取得部と、取得した三次元情報に基づいて薬剤の表面の局所領域の曲率を表す曲率画像を生成する曲率画像生成部と、を備え、生成した曲率画像を刻印抽出画像とすることが好ましい。これにより、刻印抽出画像を適切に生成することができる。また、第２画像処理部は、少なくとも３枚の撮影画像を平均の信号値で規格化してもよい。
　第１画像処理部は、少なくとも１枚の撮影画像から低周波成分を除去する処理を行うことが好ましい。これにより、印字強調画像を適切に生成することができる。
　上記目的を達成するために薬剤監査装置の一の態様は、薬剤を載置するステージと、ステージに載置された薬剤の表面に対してそれぞれ異なる複数の照明方向から光を照射する少なくとも３つの光源を有する照射部と、薬剤を撮影する撮影部と、照射部及び撮影部を制御して、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を取得する第１撮影制御部と、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理部と、照射部及び撮影部を制御して、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を取得する第２撮影制御部と、少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理部と、印字強調画像及び刻印抽出画像の差分画像を生成する差分画像生成部と、を備えた。
　本態様によれば、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像に基づいて生成した印字強調画像、及び薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像に基づいて生成した刻印抽出画像、の差分画像を生成するようにしたので、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。
　処方箋情報を取得する処方箋情報取得部と、処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得部と、マスタ画像と生成した差分画像とを照合して、調剤されるべき薬剤とステージに載置された薬剤とが同一であるか否かを判定する判定部と、を備えることが好ましい。これにより、調剤されるべき薬剤とステージに載置された薬剤とが同一であるか否かを適切に判定することができる。
　薬剤の画像に関心領域を設定する関心領域設定部と、設定した関心領域に対応させてマスタ画像からテンプレートを生成するテンプレート生成部と、を備え、判定部は、差分画像の関心領域とテンプレートとを照合することが好ましい。これにより、調剤されるべき薬剤とステージに載置された薬剤とが同一であるか否かを適切に判定することができる。
　ステージには分包袋に分包された複数の薬剤が載置されることが好ましい。本態様は、分包袋に分包された複数の薬剤について適用することができる。
　照射部は、第１方向に光を照射する第１光源と、第２方向に光を照射する第２光源と、第３方向に光を照射する第３光源と、第４方向に光を照射する第４光源と、を備え、第２方向は表面の平面視において第１方向と対向する方向であり、第３方向は表面の平面視において第１方向と直交する方向であり、第４方向は表面の平面視において第３方向と対向する方向であることが好ましい。これにより、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を適切に取得することができる。
　第１撮影制御部は、第１光源、第２光源、第３光源、及び第４光源により薬剤の表面に光を照射することが好ましい。これにより、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を適切に取得することができる。
　上記目的を達成するために画像処理方法の一の態様は、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を取得する第１画像取得工程と、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理工程と、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を取得する第２画像取得工程と、少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理工程と、印字強調画像及び刻印抽出画像の差分画像を生成する差分画像生成工程と、を備えた。
　本態様によれば、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像に基づいて生成した印字強調画像、及び薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像に基づいて生成した刻印抽出画像、の差分画像を生成するようにしたので、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。
　上記目的を達成するためにプログラムの一の態様は、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を取得する第１画像取得機能と、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理機能と、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を取得する第２画像取得機能と、少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理機能と、印字強調画像及び刻印抽出画像の差分画像を生成する差分画像生成機能と、をコンピュータに実行させる。
　本態様によれば、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像に基づいて生成した印字強調画像、及び薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像に基づいて生成した刻印抽出画像、の差分画像を生成するようにしたので、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。
　本発明によれば、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。
識別情報が印字で付された錠剤の撮影画像と印字強調画像の一例 識別情報が印字及び刻印で付された錠剤の撮影画像の一例 識別情報が印字及び刻印で付された錠剤の印字強調画像の一例 薬剤監査装置の上面図 薬剤監査装置の側面図 薬剤監査装置の内部構成を示すブロック図 画像処理方法の処理の一例を示すフローチャート 刻印抽出画像の一例 差分画像の一例 錠剤の差分画像と関心領域の一例 錠剤の差分画像と関心領域の一例
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　〔識別情報が印字及び刻印で付された錠剤〕
　図１に示す画像Ｇ１は、識別情報が印字で付された錠剤（薬剤の一例）の撮影画像の一例である。照明ムラ、及び形状ムラは、印字部に対して周波数帯域が低い場合が多い。したがって、識別情報を抽出するには、印字部以外の照明ムラ及び形状ムラを低減させる処理が望ましい。図１に示す画像Ｇ２は、画像Ｇ１に対して照明ムラ及び形状ムラを低減させる処理を行った画像の一例である。このように、印字部が抽出された画像を取得することで、調剤されるべき薬剤のマスタ画像との適切な照合が可能となる。
　図２に示す画像Ｇ３、画像Ｇ４、及び画像Ｇ５は、識別情報が印字及び刻印（割線）で付された錠剤の撮影画像の一例である。これらは同じ種類の錠剤であるが、図２に示すように、印字と刻印との位置関係がそれぞれ異なっており、一定でない。
　図３に示す画像Ｇ６は、図２に示す画像Ｇ３に対して照明ムラ及び形状ムラを低減させる処理を行った画像の一例である。図３に示すように、画像Ｇ６は、印字部及び刻印部が抽出される。印字と刻印との位置関係が一定でない場合、印字部及び刻印部が抽出された画像でマスタ画像と照合しようとすると、刻印部が照合精度低下に寄与してしまう。
　本実施形態に係る薬剤監査装置は、類似度を低下させる原因となっている刻印部を除去し、印字部のみを強調することで、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出する。
　なお、刻印によって付されたとは、薬剤の表面に陥没領域である溝を形成することによって識別情報が形成されたことをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものであってもよい。また、刻印は、割線等の識別機能を伴わないものも含んでもよい。
　また、印字によって付されたとは、錠剤の表面に接触又は非接触で可食性インク等を付与することによって識別情報が形成されたことをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。
　〔薬剤監査装置の構成〕
　図４は、本実施形態に係る薬剤監査装置１００の上面図であり、図５は薬剤監査装置１００の側面図である。
　図４及び図５に示すように、薬剤監査装置１００は、ステージ１０２、第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、第８光源１１８、カメラ１２０、及びカメラ１２２を備えている。なお、図４においては、カメラ１２０及びカメラ１２２の図示を省略している。
　ステージ１０２は、ｘｙ平面（水平面）に平行な載置面１０２Ａ及び裏面１０２Ｂを有する板状部材である。ステージ１０２は、光透過性を有する材料によって構成されている。ここでは、ｘ軸方向に１３０ｍｍ、ｙ軸方向に８０ｍｍの大きさを有している。ステージ１０２の載置面１０２Ａには、錠剤Ｔが載置される。錠剤Ｔの表面のうち、載置面１０２Ａに接している側の面を下側の面、下側の面の反対面を上側の面とすると、錠剤Ｔの上側の面及び下側の面の少なくとも一方には、錠剤Ｔの識別情報Ｉが刻印、又は印字、又は刻印及び印字により付されている。ここでは、錠剤Ｔは分包袋に包まれていないが、透明又は半透明の分包袋に包まれた状態で載置されてもよい。分包袋には複数の錠剤が包まれていてもよい。また、分包袋が連続して薬包帯を構成してもよい。さらに、ステージ１０２を設けずに、分包袋を撮影可能に支持してもよい。
　第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８は、それぞれバー状（線状）のＬＥＤ（Light Emitting Diode）光源である。第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８は、不図示の支持部により支持され、それぞれｚ軸方向に対して傾斜した方向からステージ１０２に向かって可視光の照明光を照射する。ここでは、第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８の点灯時の輝度は、それぞれ同一である。
　第１光源１０４は、ステージ１０２からｚ軸方向の一方側（図５において上側）に一定量離れた位置であって、載置面１０２Ａのｘ軸方向の一方側（図４において左側）の位置に、ｙ軸方向に平行に配置されている。第１光源１０４は、ステージ１０２に向けて第１方向に照明光を照射する。
　第２光源１０６は、ステージ１０２からｚ軸方向の一方側に一定量離れた位置であって、ｘ軸方向の他方側（図４において右側）の位置に、ｙ軸方向に平行に配置されている。第２光源１０６は、ステージ１０２に向けて第２方向に照明光を照射する。第２方向は、ｘｙ平面視（表面の平面視の一例）において第１方向と対向する方向である。
　第３光源１０８は、ステージ１０２からｚ軸方向の一方側に一定量離れた位置であって、ｙ軸方向の一方側（図４において上側）の位置に、ｘ軸方向に平行に配置されている。第３光源１０８は、ステージ１０２に向けて第３方向に照明光を照射する。第３方向は、ｘｙ平面視において第１方向と直交する方向である。
　第４光源１１０は、ステージ１０２からｚ軸方向の一方側に一定量離れた位置であって、ｙ軸方向の他方側（図４において下側）の位置に、ｘ軸方向に平行に配置されている。第４光源１１０は、ステージ１０２に向けて第４方向に照明光を照射する。第４方向は、ｘｙ平面視において第３方向と対向する方向である。
　第５光源１１２は、ステージ１０２からｚ軸方向の他方側（図５において下側）に一定量離れた位置であって、ｘ軸方向の一方側の位置に、ｙ軸方向に平行に配置されている。第５光源１１２は、ステージ１０２に向けて第５方向に照明光を照射する。第５方向は、ｘｙ平面視において第１方向と同じ方向である。
　第６光源１１４は、ステージ１０２からｚ軸方向の他方側に一定量離れた位置であって、ｘ軸方向の他方側の位置に、ｙ軸方向に平行に配置されている。第６光源１１４は、ステージ１０２に向けて第６方向に照明光を照射する。第６方向は、ｘｙ平面視において第５方向と対向する方向である。
　第７光源１１６は、ステージ１０２からｚ軸方向の他方側に一定量離れた位置であって、ｙ軸方向の一方側の位置に、ｘ軸方向に平行に配置されている。第７光源１１６は、ステージ１０２に向けて第７方向に照明光を照射する。第７方向は、ｘｙ平面視において第５方向と直交する方向である。
　第８光源１１８は、ステージ１０２からｚ軸方向の他方側に一定量離れた位置であって、ｙ軸方向の他方側の位置に、ｘ軸方向に平行に配置されている。第８光源１１８は、ステージ１０２に向けて第８方向に照明光を照射する。第８方向は、ｘｙ平面視において第７方向と対向する方向である。
　カメラ１２０及びカメラ１２２（撮影部の一例）は、可視光のカラー画像を取得する撮像装置であり、不図示の支持部により支持されている。カメラ１２０及びカメラ１２２は、それぞれ不図示のレンズ及び撮像素子を備えている。
　カメラ１２０は、ステージ１０２からｚ軸方向の一方側に一定量離れた位置に設けられている。カメラ１２０は、光軸をｚ軸方向に平行にして載置面１０２Ａに向けて配置されている。カメラ１２２は、ステージ１０２からｚ軸方向の他方側に一定量離れた位置に設けられている。カメラ１２２は、光軸をｚ軸方向に平行にして裏面１０２Ｂに向けて配置されている。カメラ１２０の光軸及びカメラ１２２の光軸は、ステージ１０２を介して対向している。
　図６は、薬剤監査装置１００の内部構成を示すブロック図である。薬剤監査装置１００は、取得部１２４、画像処理装置１３０、処方箋情報取得部１４４、マスタ画像取得部１４６、記憶部１４８、判定部１５０、及び表示部１５２を備えている。
　取得部１２４（第１画像取得部の一例、第２画像取得部の一例）は、前述のカメラ１２０及びカメラ１２２の他、照射部１２６及び撮影制御部１２８を含んで構成される。
　照射部１２６は複数の光源を有している。ここでは、照射部１２６は、前述の第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８を備えている。
　撮影制御部１２８（第１撮影制御部の一例、第２撮影制御部の一例）は、照射部１２６の各光源に対して、点灯及び消灯をそれぞれ制御する。
　また、撮影制御部１２８は、カメラ１２０及びカメラ１２２を制御する。カメラ１２０及びカメラ１２２は、撮影制御部１２８の制御に従って、錠剤Ｔの表面に複数の光源によりそれぞれ光が照射された錠剤Ｔをそれぞれ撮影する。これにより、取得部１２４は、複数の撮影画像を取得する。
　なお、取得部１２４は、コンピュータ等の外部機器と通信するための通信インターフェースを備えることで、外部機器から錠剤Ｔの複数の画像を取得する構成としてもよい。
　画像処理装置１３０は、第１画像処理部１３２、第２画像処理部１３６、及び差分画像生成部１４２を備えている。
　第１画像処理部１３２は、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する。第１画像処理部１３２は、低周波成分除去部１３４を備えている。低周波成分除去部１３４は、少なくとも１枚の撮影画像から低周波成分を除去する処理を行う。
　第２画像処理部１３６は、少なくとも３枚の撮影画像に基づいて錠剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する。第２画像処理部１３６は、三次元情報取得部１３８、及び曲率画像生成部１４０を備えている。
　三次元情報取得部１３８は、少なくとも３枚の撮影画像に基づいて照度差ステレオ法により錠剤の表面の三次元情報を取得する。また、曲率画像生成部１４０は、三次元情報に基づいて錠剤の表面の局所領域の曲率を表す曲率画像を生成する。
　差分画像生成部１４２は、印字強調画像及び刻印抽出画像の差分画像を生成する。
　処方箋情報取得部１４４は、例えば不図示の処方箋リーダを備え、処方箋を読み取って処方箋情報を取得する。例えばＯＣＲ（Optical Character Recognition）により、紙に記載された処方箋から患者氏名、処方された薬剤、及びその数量等の情報を読み取る。処方された薬剤に関する情報を示すバーコード等が処方箋に記録されている場合は、処方された薬剤及びその数量等の情報をバーコードから読み取ってもよい。また、ユーザが処方箋を読み取り、不図示のキーボード等の入力デバイスにより処方箋情報を入力してもよい。
　マスタ画像取得部１４６は、処方箋情報取得部１４４によって取得した処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を記憶部１４８から取得する。
　記憶部１４８はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク、各種半導体メモリ等の非一時的記録媒体により構成される。記憶部１４８には、処方箋情報、マスタ画像、カメラ１２０及びカメラ１２２により取得した撮影画像、又は撮影画像に画像処理を施した処理済み撮影画像が互いに関連づけて記憶される。
　判定部１５０は、マスタ画像取得部１４６において取得したマスタ画像と差分画像生成部１４２において生成した差分画像とを照合して、調剤されるべき薬剤とステージ１０２に載置された薬剤とが同一であるか否かを判定する。
　表示部１５２は不図示のモニタを備えており、処方箋情報取得部１４４から取得された処方箋情報、分包された薬剤の撮影画像、記憶部１４８に記憶されたマスタ画像等を表示する。また、表示部１５２は、判定部１５０の判定結果を表示する。
　〔画像処理方法〕
　本実施形態に係る画像処理方法について説明する。図７は画像処理方法の処理の一例を示すフローチャートである。
　ステップＳ１において、処方箋情報取得部１４４は、不図示の処方箋リーダによって処方箋を読み取り、処方箋情報を取得する。処方箋情報取得部１４４は、記憶部１４８に予め記憶されている処方箋情報を読み取ってもよい。
　ステップＳ２（第１画像取得工程の一例、第１画像取得機能の一例）では、撮影制御部１２８は、ｚ軸方向の一方側に配置された第１光源１０４、第２光源１０６、第３光源１０８、及び第４光源１１０を全て点灯させて錠剤の表面に光を照射した状態でカメラ１２０によって錠剤Ｔの撮影を行う。これにより、取得部１２４は、少なくとも１枚の錠剤Ｔの上側の面の撮影画像であって、錠剤Ｔの上側の面に十分に照明が行き届いた撮影画像を取得する。
　また、撮影制御部１２８は、ｚ軸方向の他方側に配置された第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８を全て点灯させた状態でカメラ１２２によって錠剤Ｔの撮影を行う。これにより、取得部１２４は、少なくとも１枚の錠剤Ｔの下側の面の撮影画像であって、錠剤Ｔの下側の面に十分に照明が行き届いた撮影画像を取得する。
　ステップＳ３では、第１画像処理部１３２において、ステップＳ２において取得した撮影画像からそれぞれ錠剤Ｔの写った錠剤領域（薬剤領域）を検出する。ステージ１０２に複数の錠剤が載置されている場合は、１枚の撮影画像から複数の錠剤領域を検出する。錠剤領域を検出することで、この後における画像処理を行う領域を限定することができ、画像処理にかかる時間を短縮することができる。なお、同じ錠剤についての錠剤領域であって、カメラ１２０の撮影画像から検出された錠剤Ｔの上側の面の錠剤領域と、カメラ１２２の撮影画像から検出された錠剤Ｔの下側の面の錠剤領域とは、同じ錠剤の一対の錠剤領域として関連付けて検出する。図２に示す画像Ｇ３は、錠剤領域の一例である。
　ステップＳ４（第１画像処理工程の一例、第１画像処理機能の一例）では、第１画像処理部１３２は、ステップＳ３で検出した錠剤領域について錠剤の印字部分を強調する処理を行い、一対の印字強調画像を生成する。
　前述したように、照射部１２６による照明ムラ、及び錠剤Ｔの形状ムラは、錠剤Ｔの印字部分に対して周波数帯域が低い場合が多い。したがって、ここでは低周波成分除去部１３４において錠剤領域の低周波成分を取り除いて、印字強調画像を生成する。図３に示す画像Ｇ６は、印字強調画像の一例である。
　ステップＳ５（第２画像取得工程の一例、第２画像取得機能の一例）では、撮影制御部１２８は、ｚ軸方向の一方側に配置された第１光源１０４、第２光源１０６、第３光源１０８、及び第４光源１１０を１つずつ順番に点灯させ、他の光源を消灯させることで、錠剤Ｔの表面へ照射する光の照明方向を順番に切り替え、照明方向が切り替わるごとにカメラ１２０によって錠剤Ｔの撮影を行わせる。これにより、取得部１２４は、錠剤Ｔの上側の面への光の照明方向をそれぞれ異ならせて同一地点から撮影した４枚（少なくとも３枚の一例）の錠剤Ｔの撮影画像を取得する。
　また、撮影制御部１２８は、ｚ軸方向の他方側に配置された第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８を１つずつ順番に点灯させ、他の光源を消灯させることで、錠剤Ｔを照射する照明方向を順番に切り替え、照明方向が切り替わるごとにカメラ１２２によって錠剤Ｔの撮影を行わせる。これにより、取得部１２４は、錠剤Ｔの下側の面への光の照明方向をそれぞれ異ならせて同一地点から撮影した４枚の錠剤Ｔの撮影画像を取得する。
　ステップＳ６では、第２画像処理部１３６において、ステップＳ５において取得した撮影画像からそれぞれ錠剤Ｔの写った錠剤領域を検出する。なお、同じ錠剤の上側の面の錠剤領域と下側の面の錠剤領域とは、同じ錠剤の一対の錠剤領域として関連付けて検出する。
　ステップＳ７（第２画像処理工程の一例、第２画像処理機能の一例）では、第２画像処理部１３６は、ステップＳ６で検出した錠剤領域について錠剤の立体形状から刻印部分のみを抽出する処理を行い、一対の刻印抽出画像を生成する。
　ここでは、三次元情報取得部１３８において、照度差ステレオ法（フォトメトリックステレオ法）を用いて三次元情報を取得し、xyz画像（三次元画像）を生成する。
　照度差ステレオ法は、光の照射方向を異ならせて同一地点において撮影した複数の画像を用いて、各位置の明るさの変化からその位置の面の法線方向を推定する手法である。すなわち、照度差ステレオ法により、各位置の接平面に直交する単位法線ベクトルを求めることができる。
　なお、照度差ステレオ法で用いるカメラ１２０によって撮影された４枚の画像は、第２画像処理部１３６において、それぞれ検出された錠剤領域の平均の信号値で規格化しておくことが望ましい。カメラ１２２によって撮影された４枚の画像についても同様である。照射部１２６の第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８は、それぞれバー状の光源（バー照明）である。撮影画像の錠剤領域の平均輝度を合わせておくことで、照度差ステレオ法を用いる際の原理的な制約である「無限遠の点光源」の条件が緩和され、バー照明条件でも照度差ステレオ法の適用が可能となる。
　また、曲率画像生成部１４０は、照度差ステレオ法によって得られた単位法線ベクトル（三次元情報の一例）から法曲率を算出する。法曲率とは、曲面を法線方向に沿った平面で切った際の平面と、切られた曲面との交線（曲線）の曲率である。ここで、単位法線ベクトルを軸にして３６０°に渡って法曲率を求めることにより、法曲率の最大値である最大主曲率及び最小値である最小主曲率を求める。
　次に、曲率画像生成部１４０は、平均曲率を算出する。平均曲率は、（最大主曲率＋最小主曲率）／２によって求めることができる。
　さらに、曲率画像生成部１４０は、刻印抽出画像として、このように算出した各位置の平均曲率から曲率画像を生成する。本実施形態では、平均曲率の相対的に高い位置を相対的に高い輝度で表した曲率画像を生成する。これにより、刻印を抽出して相対的に高い輝度で表現した刻印抽出画像を生成することができる。
　図８に示す画像Ｇ７は、図２に示す画像Ｇ３に対して刻印部分のみを抽出する処理を行った結果である刻印抽出画像の一例である。なお、ここではｚ軸のレンジは調整している。
　ステップＳ８（差分画像生成工程の一例、差分画像生成機能の一例）では、差分画像生成部１４２は、錠剤領域毎に、ステップＳ４で生成した印字強調画像からステップＳ７で生成した刻印抽出画像を差し引いた一対の差分画像を生成する。
　図９に示す画像Ｇ８は、図３に示す印字強調画像である画像Ｇ６から図８に示す刻印抽出画像である画像Ｇ７を差し引いた結果である差分画像の一例である。このように、印字部分のみが相対的に輝度の高い部分として適切に抽出される。なお、画像Ｇ７において抽出された錠剤の輪郭部分については、差分の対象としていない。
　ステップＳ９では、画像処理装置１３０は、錠剤の差分画像を選択する。ステージ１０２に複数の錠剤が載置されている場合は、複数対の差分画像から一対の差分画像を選択する。
　ステップＳ１０では、処方された薬剤の一対のマスタ画像を記憶部１４８から読み出し、取得する。複数の薬剤が処方されている場合は、処方された複数の薬剤のうちの１つの薬剤の一対のマスタ画像を読み出す。マスタ画像は、印字部分が相対的に輝度の高い部分として表現された画像である。
　ステップＳ１１では、判定部１５０において、ステップＳ９で選択した差分画像とステップＳ１０で取得したマスタ画像との類似度を算出する。ここでの類似度は、類似性が高いほど大きい値として算出される。類似度は、公知の手法によって算出すればよい。
　ステップＳ１２では、判定部１５０は、ステップＳ１１で算出された類似度に基づいて、処方箋に記載された薬剤と撮影した薬剤とが同一であるか否かを判定する。ここでは、類似度が予め定められた閾値よりも大きい場合に、同一であると判定する。
　ステップＳ１３では、処方された薬剤の全てのマスタ画像についてステップＳ９で選択された差分画像との照合を行ったか否かを判定する。照合を行っていないマスタ画像がある場合は、ステップＳ１０に戻り、新たな一対のマスタ画像を選択し、同様の処理を行う。全てのマスタ画像について照合を行った場合は、ステップＳ１４に移行する。
　ステップＳ１４では、ステップＳ８で生成した全ての差分画像について照合が終了したか否かを判定する。照合を行っていない差分画像がある場合は、ステップＳ９に戻り、新たな一対の差分画像を選択し、同様の処理を行う。全ての差分画像について照合を行った場合は、ステップＳ１５に移行する。
　ステップＳ１５では、マスタ画像と差分画像との照合結果に基づいて、処方された薬剤が処方箋通りか否かを判定する。
　処方された薬剤が処方箋と異なる場合は、ステップＳ１６に移行し、表示部１５２において、処方箋に記載された薬剤が存在しない旨を表示し（エラー表示）、本フローチャートの処理を終了する。
　一方、処方された薬剤が処方箋通りの場合は、ステップＳ１７に移行し、表示部１５２において、監査結果が正常である旨を表示（正常表示）し、本フローチャートの処理を終了する。
　処方された薬剤の全てのマスタ画像と生成された全ての差分画像との全ての組み合わせについて類似度を算出し、最も類似度の高い組み合わせについて、調剤されるべき薬剤と調剤された薬剤とが同一であると判定してもよい。
　この場合、調剤されるべき薬剤と調剤された薬剤とが同一であると判定された組み合わせについて順次照合対象から排除し、残りのマスタ画像と残りの差分画像とについて最も類似度が高い組み合わせついて、調剤されるべき薬剤と調剤された薬剤とが同一であると判定すればよい。
　〔関心領域の設定〕
　錠剤領域全体を関心領域とした場合、テレセントリックな光学系で撮影しない限り、ステージ１０２の中心部（カメラ１２０及びカメラ１２２の光軸に近い位置）に載置した場合と端部（カメラ１２０及びカメラ１２２の光軸から相対的に離れた位置）に載置した場合とでは、同じ錠剤であっても写り方が異なる。例えば、ステージ１０２の端部に載置した場合、照度差ステレオ法で得られる平均曲率は、錠剤の側面の情報を含んでしまう。
　したがって、錠剤に関心領域を設定することが好ましい。関心領域は、錠剤の載置位置に応じて、関心領域の位置、形状、及び大きさを設定してもよい。例えば、判定部１５０（関心領域設定部の一例）において、錠剤の薬剤の画像に関心領域を設定する。
　図１０に示す画像Ｇ９は、ステージ１０２の端部に載置した錠剤の差分画像の一例であり、図１０に示す画像Ｇ１０は、ステージ１０２の中心部に載置した錠剤の差分画像の一例である。図１０に示すように、画像Ｇ９には関心領域Ａ９が、画像Ｇ１０には関心領域Ａ１０が設定されている。
　また、判定部１５０（テンプレート生成部の一例）は、設定した関心領域の位置、形状、及び大きさに対応させてマスタ画像からテンプレートを生成し、差分画像の関心領域とテンプレートとを照合する。
　このように関心領域を設定することで、照合精度を向上させることができる。
　図１１に示す画像Ｇ１１は、ステージ１０２の端部に載置した錠剤の差分画像の一例であり、図１１に示す画像Ｇ１２は、ステージ１０２の中心部に載置した錠剤の差分画像の一例である。図１１に示すように、画像Ｇ１１には関心領域Ａ１１が、画像Ｇ１２には関心領域Ａ１２が設定されている。
　この錠剤は、円周上に印字部、又は刻印部が配置されている。したがって、関心領域Ａ１１及び関心領域Ａ１２に印字部、又は刻印部が収まっていない。このように、関心領域を錠剤の中央部に設定すると、照合精度が低下する場合もある。したがって、関心領域は、錠剤毎に異なる位置に設定してもよい。
　〔その他〕
　上記の画像処理方法は、コンピュータに第１画像取得機能、第１画像処理機能、第２画像取得機能、第２画像処理機能、及び差分画像生成機能を実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
　ここまで説明した実施形態において、例えば、画像処理装置１３０、処方箋情報取得部１４４、マスタ画像取得部１４６、及び判定部１５０等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
　本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１００　薬剤監査装置
１０２　ステージ
１０２Ａ　載置面
１０２Ｂ　裏面
１０４　第１光源
１０６　第２光源
１０８　第３光源
１１０　第４光源
１１２　第５光源
１１４　第６光源
１１６　第７光源
１１８　第８光源
１２０　カメラ
１２２　カメラ
１２４　取得部
１２６　照射部
１２８　撮影制御部
１３０　画像処理装置
１３２　第１画像処理部
１３４　低周波成分除去部
１３６　第２画像処理部
１３８　三次元情報取得部
１４０　曲率画像生成部
１４２　差分画像生成部
１４４　処方箋情報取得部
１４６　マスタ画像取得部
１４８　記憶部
１５０　判定部
１５２　表示部
Ａ９～Ａ１２　関心領域
Ｇ１～Ｇ１２　画像
Ｉ　識別情報
Ｔ　錠剤
Ｓ１～Ｓ１７　画像処理方法の各処理

Claims (12)

  1. 　薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１画像取得部と、
    　前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理部と、
    　前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２画像取得部と、
    　前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理部と、
    　前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成部と、
    　を備えた画像処理装置。
  2. 　前記第２画像処理部は、
    　前記少なくとも３枚の撮影画像に基づいて照度差ステレオ法により前記薬剤の表面の三次元情報を取得する三次元情報取得部と、
    　前記取得した三次元情報に基づいて前記薬剤の表面の局所領域の曲率を表す曲率画像を生成する曲率画像生成部と、
    　を備え、
    　前記生成した曲率画像を前記刻印抽出画像とする請求項１に記載の画像処理装置。
  3. 　前記第１画像処理部は、前記少なくとも１枚の撮影画像から低周波成分を除去する処理を行う請求項１又は２に記載の画像処理装置。
  4. 　薬剤を載置するステージと、
    　前記ステージに載置された薬剤の表面に対してそれぞれ異なる複数の照明方向から光を照射する少なくとも３つの光源を有する照射部と、
    　前記薬剤を撮影する撮影部と、
    　前記照射部及び前記撮影部を制御して、前記薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１撮影制御部と、
    　前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理部と、
    　前記照射部及び前記撮影部を制御して、前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２撮影制御部と、
    　前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理部と、
    　前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成部と、
    　を備えた薬剤監査装置。
  5. 　処方箋情報を取得する処方箋情報取得部と、
    　前記処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得部と、
    　前記マスタ画像と前記生成した差分画像とを照合して、前記調剤されるべき薬剤と前記ステージに載置された薬剤とが同一であるか否かを判定する判定部と、
    　を備えた請求項４に記載の薬剤監査装置。
  6. 　薬剤の画像に関心領域を設定する関心領域設定部と、
    　前記設定した関心領域に対応させて前記マスタ画像からテンプレートを生成するテンプレート生成部と、
    　を備え、
    　前記判定部は、前記差分画像の関心領域と前記テンプレートとを照合する請求項５に記載の薬剤監査装置。
  7. 　前記ステージには分包袋に分包された複数の薬剤が載置される請求項４から６のいずれか１項に記載の薬剤監査装置。
  8. 　前記照射部は、第１方向に光を照射する第１光源と、第２方向に光を照射する第２光源と、第３方向に光を照射する第３光源と、第４方向に光を照射する第４光源と、
    　を備え、
    　前記第２方向は前記表面の平面視において前記第１方向と対向する方向であり、前記第３方向は前記表面の平面視において前記第１方向と直交する方向であり、前記第４方向は前記表面の平面視において前記第３方向と対向する方向である請求項４から７のいずれか１項に記載の薬剤監査装置。
  9. 　第１撮影制御部は、前記第１光源、前記第２光源、前記第３光源、及び前記第４光源により前記薬剤の表面に光を照射する請求項８に記載の薬剤監査装置。
  10. 　薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１画像取得工程と、
    　前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理工程と、
    　前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２画像取得工程と、
    　前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理工程と、
    　前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成工程と、
    　を備えた画像処理方法。
  11. 　薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１画像取得機能と、
    　前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理機能と、
    　前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２画像取得機能と、
    　前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理機能と、
    　前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成機能と、
    　をコンピュータに実行させるプログラム。
  12. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    　薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１画像取得機能と、
    　前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理機能と、
    　前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２画像取得機能と、
    　前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理機能と、
    　前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成機能と、
    　をコンピュータに実行させる記録媒体。
PCT/JP2018/029772 2017-08-31 2018-08-08 薬剤監査装置、画像処理装置、画像処理方法及びプログラム WO2019044439A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18850543.2A EP3678089A4 (en) 2017-08-31 2018-08-08 DRUG INSPECTION DEVICE, IMAGE PROCESSING DEVICE, IMAGE PROCESSING EXPERIENCE AND PROGRAM
CN201880051176.6A CN111095262A (zh) 2017-08-31 2018-08-08 药剂监查装置、图像处理装置、图像处理方法以及程序
JP2019539146A JP6853891B2 (ja) 2017-08-31 2018-08-08 薬剤監査装置、画像処理装置、画像処理方法及びプログラム
US16/782,943 US11341357B2 (en) 2017-08-31 2020-02-05 Medicine inspection device, image processing device, image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-167652 2017-08-31
JP2017167652 2017-08-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/782,943 Continuation US11341357B2 (en) 2017-08-31 2020-02-05 Medicine inspection device, image processing device, image processing method, and program

Publications (1)

Publication Number Publication Date
WO2019044439A1 true WO2019044439A1 (ja) 2019-03-07

Family

ID=65527247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029772 WO2019044439A1 (ja) 2017-08-31 2018-08-08 薬剤監査装置、画像処理装置、画像処理方法及びプログラム

Country Status (5)

Country Link
US (1) US11341357B2 (ja)
EP (1) EP3678089A4 (ja)
JP (1) JP6853891B2 (ja)
CN (1) CN111095262A (ja)
WO (1) WO2019044439A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021010277A1 (ja) * 2019-07-16 2021-01-21
JP2021033737A (ja) * 2019-08-27 2021-03-01 富士フイルム富山化学株式会社 学習データ作成装置及び方法、並びに機械学習装置及び方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10872688B2 (en) * 2018-07-30 2020-12-22 Arxium, Inc. Visual analysis pill dispenser
EP4202856A1 (de) * 2021-12-22 2023-06-28 Bayer AG Auslesen von optisch lesbaren codes

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010117331A (ja) * 2008-11-14 2010-05-27 Waseda Univ 粒状物品種検査装置
JP2015054115A (ja) * 2013-09-12 2015-03-23 株式会社Ｗｉｎｄｙ 薬剤分包システム
JP2015065978A (ja) 2013-09-26 2015-04-13 富士フイルム株式会社 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
WO2015152225A1 (ja) * 2014-03-31 2015-10-08 株式会社湯山製作所 薬剤撮影装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5992742A (en) * 1994-08-05 1999-11-30 Sullivan; Scott L. Pill printing and identification
JPH11108633A (ja) * 1997-09-30 1999-04-23 Peteio:Kk ３次元形状計測装置及びそれを用いた３次元彫刻装置
WO2005004797A2 (en) * 2003-06-11 2005-01-20 Bpsi Holdings, Inc. Pharmaceutical dosage forms having overt and covert markings for identification and authentification
US9208394B2 (en) * 2005-09-05 2015-12-08 Alpvision S.A. Authentication of an article of manufacture using an image of the microstructure of it surface
EP2024899B1 (en) * 2005-09-05 2015-11-04 Alpvision S.A. Means for using microstructure of materials surface as a unique identifier
US7953244B2 (en) * 2007-08-31 2011-05-31 Cycling & Health Tech Industry System integrating machine vision, interactive module and rehabilitation equipment
US8626672B2 (en) * 2008-07-23 2014-01-07 I-Property Holding Corp. Secure tracking of tablets
US9659423B2 (en) * 2008-12-15 2017-05-23 Proteus Digital Health, Inc. Personal authentication apparatus system and method
CN102018511A (zh) * 2009-09-18 2011-04-20 株式会社东芝 磁共振成像装置以及磁共振成像方法
EP2545522B1 (en) * 2010-03-09 2017-07-26 Perceptimed, Inc. Medication verification and dispensing
US8660355B2 (en) * 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
US8943779B2 (en) * 2011-04-28 2015-02-03 Yuyama Mfg. Co., Ltd. Medicine inspection device, and medicine packaging device
US9008411B2 (en) * 2011-05-09 2015-04-14 Minigraphics, Inc. Method, system, and apparatus for identifying pharmaceutical products
US8720790B2 (en) * 2011-10-06 2014-05-13 AI Cure Technologies, Inc. Method and apparatus for fractal identification
KR102223436B1 (ko) * 2012-10-03 2021-03-05 가부시키가이샤 유야마 세이사쿠쇼 약제 감사 시스템, 권취 장치, 조출 장치 및 홀더
US8888005B2 (en) * 2013-04-12 2014-11-18 David Prokop Uniquely identifiable drug dosage form units
WO2014182963A2 (en) * 2013-05-08 2014-11-13 Digimarc Corporation Methods and arrangements involving substrate marking
JP6100136B2 (ja) * 2013-09-30 2017-03-22 富士フイルム株式会社 薬剤認識装置及び方法
JP5919311B2 (ja) * 2014-01-16 2016-05-18 富士フイルム株式会社 超音波診断装置および超音波画像生成方法
WO2016047569A1 (ja) * 2014-09-25 2016-03-31 株式会社湯山製作所 鑑査支援システム、錠剤分包装置
JP6885342B2 (ja) * 2016-01-06 2021-06-16 株式会社湯山製作所 鑑査支援システム、錠剤分包装置、分包制御プログラム
JP6674834B2 (ja) * 2016-04-22 2020-04-01 富士フイルム富山化学株式会社 薬剤監査装置及び方法並びにプログラム
WO2019039016A1 (ja) * 2017-08-25 2019-02-28 富士フイルム株式会社 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
CN111052145B (zh) * 2017-08-25 2024-03-19 富士胶片富山化学株式会社 药剂检查辅助装置、图像处理装置、图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010117331A (ja) * 2008-11-14 2010-05-27 Waseda Univ 粒状物品種検査装置
JP2015054115A (ja) * 2013-09-12 2015-03-23 株式会社Ｗｉｎｄｙ 薬剤分包システム
JP2015065978A (ja) 2013-09-26 2015-04-13 富士フイルム株式会社 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
WO2015152225A1 (ja) * 2014-03-31 2015-10-08 株式会社湯山製作所 薬剤撮影装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021010277A1 (ja) * 2019-07-16 2021-01-21
JP7280361B2 (ja) 2019-07-16 2023-05-23 富士フイルム富山化学株式会社 薬剤識別装置、薬剤識別方法及びプログラム
JP2021033737A (ja) * 2019-08-27 2021-03-01 富士フイルム富山化学株式会社 学習データ作成装置及び方法、並びに機械学習装置及び方法
JP7170602B2 (ja) 2019-08-27 2022-11-14 富士フイルム富山化学株式会社 学習データ作成装置及び方法、並びに機械学習装置及び方法

Also Published As

Publication number Publication date
CN111095262A (zh) 2020-05-01
JP6853891B2 (ja) 2021-03-31
EP3678089A1 (en) 2020-07-08
US11341357B2 (en) 2022-05-24
JPWO2019044439A1 (ja) 2020-09-03
EP3678089A4 (en) 2020-09-09
US20200175317A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
WO2019044439A1 (ja) 薬剤監査装置、画像処理装置、画像処理方法及びプログラム
JP6823727B2 (ja) 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
CN110892445B (zh) 药剂检查辅助装置、药剂识别装置、图像处理装置、图像处理方法以及程序
US11574141B2 (en) Drug recognizing apparatus, drug recognizing method, and drug recognizing program
WO2019039302A1 (ja) 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
JP6674834B2 (ja) 薬剤監査装置及び方法並びにプログラム
JP5997120B2 (ja) 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
US10892048B2 (en) Machine learning pill identification
JP2010117331A (ja) 粒状物品種検査装置
JPWO2020044933A1 (ja) 対象物照合装置及び対象物照合方法
JP6861825B2 (ja) 薬剤識別装置、画像処理装置、画像処理方法及びプログラム
JP6757851B2 (ja) 調剤監査支援装置及び調剤監査支援方法
JP7375049B2 (ja) 画像処理装置及び方法
JPWO2020162263A1 (ja) 薬剤照合装置、薬剤照合方法及び薬剤照合システム
JP7280361B2 (ja) 薬剤識別装置、薬剤識別方法及びプログラム
CN114051723A (zh) 图像生成装置、药剂识别装置、药剂显示装置、图像生成方法以及程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18850543

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019539146

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018850543

Country of ref document: EP

Effective date: 20200331