WO2020162263A1 - 薬剤照合装置、薬剤照合方法及び薬剤照合システム - Google Patents

薬剤照合装置、薬剤照合方法及び薬剤照合システム Download PDF

Info

Publication number
WO2020162263A1
WO2020162263A1 PCT/JP2020/002947 JP2020002947W WO2020162263A1 WO 2020162263 A1 WO2020162263 A1 WO 2020162263A1 JP 2020002947 W JP2020002947 W JP 2020002947W WO 2020162263 A1 WO2020162263 A1 WO 2020162263A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
matching
drug
reference information
medicine
Prior art date
Application number
PCT/JP2020/002947
Other languages
English (en)
French (fr)
Inventor
横内 康治
Original Assignee
富士フイルム富山化学株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム富山化学株式会社 filed Critical 富士フイルム富山化学株式会社
Priority to CN202080007738.4A priority Critical patent/CN113260344A/zh
Priority to JP2020571114A priority patent/JPWO2020162263A1/ja
Priority to EP20753251.6A priority patent/EP3922233A4/en
Publication of WO2020162263A1 publication Critical patent/WO2020162263A1/ja
Priority to US17/349,924 priority patent/US20210313034A1/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Definitions

  • the present invention relates to a medicine collation device, a medicine collation method, and a medicine collation system that match information on medicines.
  • Patent Literature 1 describes a drug identification system that identifies a drug by pattern matching with a template image using images obtained by photographing a drug with a plurality of cameras and a light source.
  • Matching when auditing and distinguishing drugs is affected by matching conditions such as individual differences of drugs and characteristics of master images, as described below.
  • FIG. 20 is a diagram showing an example of tablet score lines and printing.
  • Part (a) of the figure is a side view of the tablet, and as can be seen from the part, the tablet has a score line on one side.
  • the part (b) of FIG. 20 is an example showing the relationship between the secant and printing, and the secant is attached from the lower left to the upper right of the same part.
  • the part (c) of the figure is another example showing the relationship between the secant line and the printing for the same medicine, and the secant line is attached from the upper left to the lower right of the same part. In this way, even with the same medicine, the relationship between the dividing line and the printing may differ depending on the solid.
  • FIG. 21 is another diagram showing the relationship between secant lines and printing.
  • Parts (a) and (b) of the figure show an example in which two lines are printed on the upper part and the lower part of the dividing line, respectively.
  • part (c) a part of the printing is erased by the dividing line and it is discriminated.
  • a difficult example is shown.
  • part (d) of the same drawing printing may be changed even with the same medicine.
  • the individual differences of the medicines illustrated in FIGS. 20 and 21 can also occur in the imprint.
  • the same problem may occur not only in the medicine to be collated but also in the master image.
  • Patent Document 1 does not sufficiently consider these circumstances, and the robustness in matching the drug information was low.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a drug collation device, a drug collation method, and a drug collation system that can improve robustness in matching drug information. ..
  • the medicine collation device stores an appearance information acquisition unit that acquires appearance information of a medicine, verification target information based on the acquired appearance information, and a storage device.
  • a matching unit that matches the reference information group of the medicine, and a display control unit that causes the display device to display a plurality of candidates for the reference information about the medicine included in the reference information group and corresponding to the appearance information, based on the degree of matching.
  • a reception unit that receives selection of reference information included in the plurality of candidates, and a reflection unit that reflects appearance information and/or matching target information corresponding to the selected reference information in the stored reference information group.
  • the reflecting unit reflects when the degree of matching of the selected reference information does not satisfy a predetermined criterion.
  • the reference information candidates are displayed. Since it is displayed on the device, the user can select correct reference information (reference information corresponding to the acquired appearance information). The appearance information and/or matching target information corresponding to the selected reference information is reflected in the reference information group. In this way, when the degree of matching does not meet the criteria, the criteria information selected is reflected on the criteria information group, so that appropriate criteria information (group) can be used, and drug information can be matched. Robustness when doing can be improved.
  • matching may be performed using the acquired appearance information, or matching may be performed using matching target information based on the acquired appearance information (information generated by processing the acquired appearance information). May be.
  • processing when the matching target information is used for example, extraction of a medicine region, extraction of marking and/or printing, and emphasis can be performed. Such processing can be performed, for example, based on a plurality of images captured under different illumination conditions.
  • degree of matching a value such as information matching degree, similarity degree, reliability degree, or correlation can be used.
  • information that can specify the shape, size, marking and/or printing, color, etc. of a drug can be the “appearance information”.
  • the reference information for matching such as the shape, size, marking and/or printing, and color of the medicine, can be referred to as “reference information”, and the collection of reference information can be referred to as “reference information group”.
  • a two-dimensional image of the drug can be used as these pieces of information, a three-dimensional image or other measurement data may be used instead of the two-dimensional image.
  • the reflection unit uses the appearance information and/or the collation target information corresponding to the selected reference information as new reference information about the drug indicated by the appearance information. It is reflected by additionally storing it in the storage device.
  • the second mode defines one mode of reflection, and when the degree of matching does not satisfy the predetermined standard, the standard information is additionally stored (the standard information increases).
  • a plurality of pieces of reference information may be stored for one type of drug.
  • the medicine collation device is configured such that the reflecting unit newly creates a new one based on the appearance information and/or the collation target information corresponding to the selected reference information and the stored reference information. Reflection is performed by generating reference information and updating the stored reference information with the generated reference information.
  • the third mode defines one mode of reflection, and when the degree of matching does not satisfy a predetermined standard, the standard information is updated with new standard information. Therefore, the quantity of reference information for each drug is maintained.
  • the new reference information can be generated by weighted addition of a plurality of information, but the generation method is not limited to such an aspect.
  • the reflecting unit determines whether the degree of the selected reference information is less than a predetermined reference value. It is judged that does not meet the criteria and is reflected.
  • the fourth mode defines one mode of “when the criterion is not satisfied”. As the “degree of (matching)”, as described above in the first mode, the degree of coincidence, the degree of similarity, the degree of reliability, and the correlation. Values such as can be used.
  • the drug collating apparatus is the drug collating apparatus according to any one of the first to fourth aspects, wherein the reflecting unit, when the rank determined by the degree of the selected reference information is lower than the predetermined rank, It is judged that the degree does not meet the criteria and reflected.
  • the fifth mode defines one mode of “when the criterion is not satisfied”, and for example, “reflects when the rank determined by the degree of matching is lower than the first rank (second rank or lower)”. be able to.
  • the medicine collating apparatus is the matching apparatus according to any one of the first to fifth aspects, further including an information processing unit that performs a process of emphasizing the marking and/or printing of the medicine on the appearance information, and performing matching.
  • the unit performs matching using the processed appearance information.
  • the matching accuracy can be improved by performing the matching using the information subjected to the emphasis processing in the sixth aspect.
  • the reflecting unit stores the reference information in association with the timing information indicating the timing of reflection in the storage device.
  • the “information indicating the timing of reflection” for example, the date and time of reflection can be used, but other information may be used.
  • the display control unit causes the display device to display the reference information and the timing information in association with each other. According to the eighth aspect, the user can visually recognize the reflection timing and the reference information at that timing.
  • the drug collating apparatus further comprises a photographing section for photographing the medicine in any one of the first to eighth aspects, and the appearance information acquisition section acquires an image photographed by the photographing section.
  • the medicine is photographed from a plurality of directions by a measure such as using a plurality of photographing apparatuses, a movable photographing apparatus, or a device that changes the position or posture of the medicine.
  • an image captured by the image capturing unit or an image obtained by performing image processing on the captured image can be used as the “reference information” or the “reference information group”. With and, it is possible to perform highly accurate matching by matching shooting conditions.
  • the drug collating apparatus further comprises a light source for illuminating the drug in any one of the first to ninth aspects.
  • the medicine collation device according to the tenth aspect may include a plurality of light sources or a movable light source, or may be an aspect in which the illumination direction can be switched according to the imaging direction.
  • the drug collation apparatus is the drug collation apparatus according to any one of the first to tenth aspects, further including a related information acquisition unit that acquires related information of the drug, and the matching unit specifies the drug specified by the related information. Matching is performed using the reference information about.
  • the appearance information, the reference information, and the reference information group are two-dimensional or three-dimensional shape data and/or appearance data of a drug. , At least one of a two-dimensional image or a three-dimensional image of the drug.
  • the twelfth aspect defines one aspect of the appearance information, the reference information, and the reference information group.
  • it is preferable that the appearance information, the reference information, and the reference information group are configured by the same type of information (“If the appearance information is a two-dimensional image of a drug, the reference information and the reference information group are 2 It is composed of three-dimensional images.”).
  • a medicine collation method is an appearance information acquisition step of acquiring appearance information of a medicine, collation target information based on the acquired appearance information, and a storage device.
  • the reflection step the reflection is performed when the degree of matching with respect to the selected reference information does not satisfy a predetermined reference.
  • the medicine collation method according to the thirteenth aspect may further include the same configurations as those of the second to twelfth aspects.
  • a non-transitory recording medium in which a program that causes a drug collating apparatus or a computer to execute the drug collating method of these aspects and a computer-readable code of the program are recorded can also be cited as an aspect of the present invention.
  • a medicine collation method is the thirteenth aspect, wherein the appearance information, the reference information, and the reference information group are two-dimensional or three-dimensional shape data and/or appearance data of the medicine, a two-dimensional image of the medicine, or three. At least one of the dimensional images is included.
  • the fourteenth aspect defines one aspect of the appearance information, the reference information, and the reference information group.
  • a medicine collation system stores an appearance information acquisition device that acquires appearance information of a medicine, verification target information based on the acquired appearance information, and a storage device.
  • a matching device that matches a reference information group of medicines, and a display control device that causes a display device to display a plurality of candidates of reference information about medicines included in the reference information group and corresponding to appearance information based on the degree of matching.
  • a reception device that accepts selection of reference information included in a plurality of candidates, and a reflection device that reflects appearance information and/or matching target information corresponding to the selected reference information in a stored reference information group. Including, the reflection device performs reflection when the degree of matching for the selected reference information does not satisfy a predetermined reference.
  • the medicine collation system according to the fifteenth aspect may further include the same configuration as the second to twelfth aspects.
  • a drug collation system is the fifteenth aspect, wherein the appearance information, the reference information, and the reference information group are two-dimensional or three-dimensional shape data and/or appearance data of the drug, a two-dimensional image of the drug, or three. At least one of the dimensional images is included.
  • the sixteenth aspect defines one aspect of the appearance information, the reference information, and the reference information group.
  • the drug collating apparatus As described above, according to the drug collating apparatus, the drug collating method, and the drug collating system of the present invention, it is possible to improve the robustness when matching the drug information.
  • FIG. 1 is a diagram showing the configuration of the medicine collation device according to the first embodiment.
  • FIG. 2 is a diagram showing a manner in which a packaged medicine is conveyed.
  • FIG. 3 is a side view showing the arrangement of the light source and the camera.
  • FIG. 4 is a plan view showing the arrangement of the light source and the camera.
  • FIG. 5 is a diagram showing the configuration of the processing unit.
  • FIG. 6 is a diagram showing information stored in the storage unit.
  • FIG. 7 is a flowchart showing the processing of the medicine collation method according to the first embodiment.
  • FIG. 8 is a first explanatory diagram used to describe switching of the illumination direction.
  • FIG. 9 is a second explanatory diagram used to describe switching of the illumination direction.
  • FIG. 8 is a first explanatory diagram used to describe switching of the illumination direction.
  • FIG. 10 is a diagram showing a state where a plurality of reference image candidates are displayed.
  • FIG. 11 is another diagram showing a state where a plurality of reference image candidates are displayed.
  • FIG. 12 is a diagram showing an example of the matching result with the reference image added.
  • FIG. 13 is another view showing a state in which a plurality of reference image candidates are displayed.
  • FIG. 14 is a diagram showing a state in which the reference image and the reflection date and time are displayed in association with each other.
  • FIG. 15 is a diagram showing how the reference image is updated.
  • FIG. 16 is a diagram showing the configuration of the medicine collation device according to the second embodiment.
  • FIG. 17 is a side view showing the arrangement of the light source and the camera when the medicine discrimination support is performed.
  • FIG. 17 is a side view showing the arrangement of the light source and the camera when the medicine discrimination support is performed.
  • FIG. 18 is a plan view showing the arrangement of the light source and the camera when the medicine discrimination support is performed.
  • FIG. 19 is a flowchart showing the processing of the medicine collation method according to the second embodiment.
  • FIG. 20 is a diagram showing how the relationship between secant lines and printing varies.
  • FIG. 21 is another diagram showing how the relationship between secant lines and printing varies.
  • the drug collation system according to the present invention is composed of a plurality of devices each having the function of each unit constituting the drug collation device described below.
  • FIG. 1 is a diagram showing a configuration of a drug collation device 10 (drug collation device) according to the first embodiment of the present invention.
  • the drug collation device 10 includes a processing unit 100, a storage unit 300 (storage device), a display unit 400 (display device), an operation unit 500, and a transport mechanism 240.
  • the processing unit 100 includes an illumination unit 200 ( A light source), a camera 210 (imaging unit), a camera 220 (imaging unit), and a prescription reader 230 are connected.
  • the camera 210 and the camera 220 are digital cameras. As shown in FIG. 2, the camera 210 is arranged on the vertical upper side (+Z side in FIG. 3) of the medicine bandage 700 in which the sachets 702 (medicine bags) are continuously formed, and the vertically lower side of the medicine bandage 700 ( The camera 220 is arranged on the ⁇ Z side of FIG. 3, and the medicine 800 (tablets, capsules, etc.) packaged in the sachet 702 is photographed from above and below (a plurality of different directions), and the front and back sides are taken. Get an image.
  • the sachet bag 702 (medicine bandage 700) is conveyed in the +X direction (the axis along the longitudinal direction of the medicine bandage 700; the arrow direction in FIG.
  • the plurality of light sources 202 (light sources) included illuminate the sachet 702 from four directions in the upper and lower directions.
  • the prescription reader 230 reads prescription information (one aspect of related information). For example, by OCR (Optical Character Recognition), information such as a patient name, a prescribed drug and the quantity thereof is read from a prescription written on a paper. When a bar code or the like indicating information on a prescribed drug is recorded on the prescription, information on the prescribed drug and its quantity may be read from the barcode. Alternatively, a user such as a doctor or a pharmacist may read the prescription and input the prescription information using an input device such as the keyboard 510 of the operation unit 500 and/or the mouse 520.
  • OCR Optical Character Recognition
  • the processing unit 100 collates the medicine packaged in the sachet 702 based on the images captured by the cameras 210 and 220, the information read by the prescription reader 230, and the like.
  • the processing unit 100 includes a related information acquisition unit 100A (related information acquisition unit), an appearance information acquisition unit 100B (appearance information acquisition unit), a matching unit 100C (matching unit), and a display control unit 100D (display control). Section), a reception section 100E (reception section), a reflection section 100F (reflection section), and an information processing section 100G (information processing section).
  • the processing unit 100 also includes a CPU 110 (CPU: Central Processing Unit), a ROM 120 (ROM: Read Only Memory), and a RAM 130 (RAM: Random Access Memory).
  • the functions of the processing unit 100 described above can be realized by using various processors.
  • the various processors include, for example, a CPU (Central Processing Unit) that is a general-purpose processor that executes software (programs) to realize various functions.
  • the various processors described above include programmable logic devices (GPUs, Graphics Processing Units), FPGAs (Field Programmable Gate Arrays), etc. Programmable Logic Device (PLD) is also included.
  • a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute a specific process such as an ASIC (Application Specific Integrated Circuit), is also included in the various processors described above.
  • ASIC Application Specific Integrated Circuit
  • each unit may be realized by one processor, or a plurality of processors of the same type or different types (for example, a plurality of FPGAs, a combination of CPU and FPGA, or a combination of CPU and GPU).
  • a plurality of functions may be realized by one processor.
  • configuring a plurality of functions with one processor firstly, as represented by a computer, one processor is configured with a combination of one or more CPUs and software, and this processor has a plurality of functions. There are forms to realize. Secondly, there is a form in which a processor that realizes the functions of the entire system by one IC (Integrated Circuit) chip is used as represented by a system on chip (SoC).
  • SoC system on chip
  • various functions are configured by using one or more of the above-described various processors as a hardware structure.
  • the hardware-like structure of these various processors is, more specifically, an electrical circuit in which circuit elements such as semiconductor elements are combined.
  • These electric circuits may be electric circuits that realize the above-described functions by using logical sum, logical product, logical negation, exclusive logical sum, and logical operation combining these.
  • the processor or electric circuit described above executes software (program)
  • the processor (computer) readable code of the software to be executed is stored in a non-transitory recording medium such as a ROM 120 (ROM: Read Only Memory).
  • the processor refers to that software.
  • the software stored in the non-temporary recording medium includes a program for executing the medicine collation method according to the present invention.
  • the code may be recorded in a non-transitory recording medium such as various magneto-optical recording devices and semiconductor memories instead of the ROM.
  • the RAM 130 RAM: Random Access Memory
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the storage unit 300 includes a non-transitory recording medium such as a CD (Compact Disk), a DVD (Digital Versatile Disk), a hard disk (Hard Disk), and various semiconductor memories, and its control unit, and the information shown in FIG. 6 is associated with each other.
  • the related information 300A (related information) is information on the prescription read by the prescription reader 230 or information input or edited by the user based on the prescription.
  • the name of a specific drug may be input based on the general name of the drug described in the prescription, or the original drug and the generic drug may be mutually changed.
  • the photographed image 300B (image, appearance information) is an image of the medicine photographed by the cameras 210 and 220, and includes images of the front and back surfaces of the medicine.
  • an image obtained by extracting a region for a single medicine from the photographed image may be used as the photographed image 300B.
  • the matching target image 300C (matching target information) is an image generated based on the captured image 300B (for example, an image in which marking and/or printing is emphasized).
  • the reference image group 300D (reference information group) is an image of the front surface and the back surface of the medicine, and is a collection of reference images (master images) that serve as a reference during template matching.
  • the reference image may include an image captured by means other than the drug collation device 10, such as an image provided by a pharmaceutical company, or an image obtained by performing image processing on the image.
  • the collation result 300E (collation result) is the collation result of the medicine indicated by the photographed image or the collation target image
  • the timing information 300F is information indicating the reflection timing with respect to the reference information (date and time of addition, update, etc.). ..
  • the display unit 400 includes a monitor 410 (display device) and can display appearance information such as input images, candidates for reference images, information stored in the storage unit 300, and the like.
  • the operation unit 500 includes a keyboard 510 and a mouse 520 as an input device and/or a pointing device, and the user gives an instruction to obtain appearance information (images and the like) and collates medicines through the screen of these devices and the monitor 410. It is possible to perform operations necessary for executing the medicine matching method according to the present invention, such as instructions and selection of reference information (described later).
  • the monitor 410 may be configured with a touch panel and the operation may be performed via the touch panel.
  • the appearance information, the reference information, and the case where the reference information group is a drug image (two-dimensional image) will be described below. However, as will be described later, these information may be a three-dimensional image or other than the image. Information may be used.
  • the appearance information, the reference information, and the reference information group include at least one of two-dimensional or three-dimensional shape data and/or appearance data of a drug and a two-dimensional image or a three-dimensional image of the drug. Good.
  • reference information image, measurement data, etc.
  • reference information group collection of reference information
  • the related information acquisition unit 100A acquires related information such as prescription information via the prescription reader 230 (step S100: related information acquisition step).
  • the input prescription information may be directly acquired as the related information, or the information input or edited by the user via the operation unit 500 based on the prescription may be acquired.
  • the related information acquisition unit 100 ⁇ /b>A uses the characteristics of the medicine that the user visually recognizes (for example, the type, shape, color, etc. of the tablet), or the medicine name and quantity described in a so-called “medication notebook” such as a notebook.
  • Information such as a dosing method may be acquired as related information according to a user operation, and may be used in addition to or in place of the prescription information.
  • the appearance information acquisition unit 100B acquires a reference image (reference image group, reference information group) based on the related information acquired in step S100 (step S105: reference image acquisition step, reference information acquisition step).
  • a reference image for the drug included in the prescription information is acquired.
  • the reference image to be acquired may be an image photographed by the medicine collation device 10 or an image obtained by subjecting the photographed image to image processing (for example, it can be performed by the information processing unit 100G). Further, it may be a reference image in which “reflection” described below is performed on these images.
  • the appearance information acquisition unit 100B may acquire (read) a reference image (images included in the reference image group 300D) from the storage unit 300, or may acquire the reference image from an external storage device (a server on the network, a database, or the like). Good. An image acquired from an external storage device may be subjected to image processing and used as a reference image.
  • the appearance information acquisition unit 100B controls the cameras 210 and 220 (imaging unit) to move the medicine 800 (see FIGS. 2 and 4) packaged in the packaging bag 702 in a plurality of different directions ( ⁇ in FIGS. 2 to 4).
  • a captured image (captured image 300B, appearance information) captured from the Z direction; the vertical up and down direction) is acquired (step S110: appearance information acquisition step).
  • the packaging bag 702 is illuminated by the illumination unit 200 and the light source 202.
  • the appearance information acquisition unit 100B stores the captured image in the storage unit 300 as the captured image 300B.
  • the information processing unit 100G (information processing unit) generates a matching target image based on the captured image (step S120: appearance information acquisition step, information processing step).
  • the information processing unit 100G can perform image processing such as embossing and/or printing emphasis, binarization, and inversion.
  • the information processing unit 100G can perform these image processes not only in the generation of the matching target image (one aspect of the matching target information) based on the captured image but also in the generation of the reference image (one aspect of the reference information). ..
  • An example of generating a marking-enhanced image, which is one aspect of image processing, will be described below.
  • the appearance information acquisition unit 100B switches the illumination direction for the drug in order by switching the light source that illuminates the drug among the plurality of light sources 202 (see FIGS. 3 and 4) included in the illumination unit 200.
  • the appearance information acquisition unit 100B causes the cameras 210 and 220 (imaging unit) to photograph the medicine each time the illumination direction for the medicine is switched.
  • the information processing unit 100G synthesizes a plurality of captured images (appearance information) corresponding to a plurality of illumination directions to generate an emphasized image (appearance information). According to this aspect, it is possible to accurately recognize the markings on the medicine without being affected by the illumination direction for illuminating the medicine and the surface shape of the medicine.
  • the marking EM is composed of a groove formed on the surface of the drug T.
  • 8A is a front view of the engraved EM
  • FIG. 8B is a cross-sectional view of the drug T along a straight line CL in the figure
  • FIG. 8C is a surface shape portion of FIG. 8B
  • 9 is a cross-sectional view of a medicine T different from that of FIG.
  • portion (a) in the drug region image data 54 in four directions, along the contour of the marking EM on the side of the illumination light source (on the side of the light source 202 which is illuminating the illumination light).
  • a shadow image 56 is produced. Since the marking EM has the same color as the surface of the medicine T, it is difficult to identify it on the actual image, but in the figure, the marking EM is used to explain the relationship between the marking EM and the shadow image 56 according to the illumination direction. It is shown in a distinguishable manner.
  • the information processing unit 100G performs edge detection processing on the drug region image data 54 in four directions for each drug T, thereby obtaining each drug region image data.
  • Characteristic image data 58 corresponding to the respective shadow images 56 are extracted from 54.
  • characteristic image data 58 (hereinafter referred to as four-direction characteristic image data 58) for each illumination direction in four directions is obtained for each one-package medicine T, and the information processing unit 100G determines each medicine T.
  • the characteristic image data 58 in four directions are sequentially stored in the storage unit 300.
  • the information processing unit 100G reads out the four-direction characteristic image data 58 for each medicine T for one packet from the storage unit 300, and the four directions for each medicine T.
  • the characteristic image data 58 of 1 is integrated to generate integrated image data 60.
  • the characteristic image data 58 in four directions are superposed and integrated.
  • the shadow images 56 for the four illumination directions are integrated into one, so that all the contours of the marking EM are clear on the integrated image data 60.
  • the integrated image data 60 (mark emphasizing image) is generated for each medicine T of one packet, and the individual integrated image data 60 is used as the reference image (reference image group 300D) or the matching target image (matching target image 300C). Is stored in the storage unit 300.
  • the information processing unit 100G can generate not only the above-described marking-emphasized image, but also a print-emphasized image by edge-enhancing a captured image, changing the density and color of the printed portion and/or the background portion, and binarizing the image.
  • the matching unit 100C performs template matching (matching) on the matching target image 300C (matching target information) generated in step S120 and the reference image (reference image group 300D: reference information group) acquired in step S105 ( Step S130: matching step).
  • the template matching can be performed by a known method (for example, the method described in JP-A-2014-67342).
  • the matching degree and the similarity degree can be obtained by relatively moving and/or rotating the matching target image 300C and the reference image.
  • the degree of matching such as correlation can be calculated.
  • the image may be enlarged or reduced.
  • the matching unit 100C stores the matching result in the storage unit 300 as the matching result 300E.
  • the display control unit 100D displays a plurality of candidates for the reference image (reference information) on the monitor 410 (display device) based on the degree of matching (step S140: display control step). Specifically, the display control unit 100D displays a plurality of reference image candidates for the medicine included in the reference image group 300D (reference information group) and corresponding to the matching target image (appearance information).
  • FIG. 10 is a diagram showing a display example of candidates, in which a matching target image 810 and a plurality of reference image candidates (reference images 902, 904, and 906) are displayed together with a matching order (the one with a high degree of matching is ranked high). doing.
  • FIG. 11 is another display example of the candidates, in which the reference image and its matching degree (similarity, etc.; when completely matched, is set to 1.0) are displayed.
  • the reflection unit 100F determines whether or not the matching degree satisfies a predetermined criterion (step S150: determination step). In the following, the description will be made based on "the matching order is first and/or the matching degree is 0.80 (an example of a reference value) or more".
  • the reflecting unit 100F can set a reference item (rank or degree, etc.) and content (rank, matching degree value, etc.) by a user operation via the operation unit 500, and sets the set reference. You can make a decision by referring to it.
  • the process proceeds to step S200 without reflecting the reference image described later.
  • the reflection unit 100F may cause the monitor 410 to display a message that "the matching image is satisfied, so the reference image is not reflected".
  • the selection of the reference image is accepted and reflected as follows.
  • the matching target image 810 should originally best match the reference image 906, but the horizontal portion of the marking (reference numeral 810A, represented by a dotted line) is caused by the shooting conditions and the like. Is thin and unclear, and the engraved mark looks like a V-shape. For this reason, the matching degree with the reference image 902 becomes high, the matching rank of the reference image 906 is third (lower than the predetermined rank (first rank)), and the matching degree is 0.79 (predetermined). It is less than the reference value (0.80), and the above-described reference is not satisfied (NO in step S150).
  • the reception unit 100E receives the selection of the reference image (reference information) included in the plurality of displayed candidates (the reference images 902, 904, and 906 in the examples of FIGS. 10 and 11) (step S160: reception step).
  • the selection of the reference image 906 (correct answer image) by the user operation is accepted via the operation unit 500.
  • the reflection unit 100F reflects the appearance information and/or the matching target information corresponding to the selected reference information in the stored reference information group.
  • the matching target image 810 matching target information
  • the selected reference image 906 reference information
  • the reference image group 300D reference information group
  • reflect includes addition and updating of the reference image
  • the reflecting unit 100F determines whether to add or update the reference image based on the user setting via the operation unit 500. A judgment can be made (step S170: judgment step).
  • the reflection unit 100F displays the captured image (appearance information) and/or the matching target image 810 (matching target information) corresponding to the selected reference image 906 (reference information) as the medicine (hereinafter, referred to as “medicine”) indicated by the matching target image 810.
  • a new reference image (referred to as “A”) (images forming the reference image group 300D, reference information) is additionally stored in the storage unit 300 (storage device) (step S180: reflection step, addition step). This “addition” increases the number of reference images for the medicine A.
  • the reflection unit 100F can store information indicating the timing of addition (reflection) in the storage unit 300 as timing information 300F in association with the reference image 908 (reference information).
  • FIG. 12 is a diagram showing an example of the matching result in the state where the matching target image 810 is added as the reference image 908 for the drug A by the above processing.
  • matching is performed with the reference image 908 added, and the matching target image 810 (the same as the example in FIGS. 10 and 11) matches the added reference image 908, whereby the matching order of the drug A is obtained. Shows the state of being in the first place (correctly matched state).
  • a reference image reflecting reference information
  • a plurality of appropriate reference images a plurality of reference images with various markings: For example, see FIG. 14
  • This makes it possible to perform accurate matching on various matching target images (one aspect of matching target information) in which there are differences in imaging conditions and individual differences in drugs, and robustness in matching drug information. Can be improved.
  • FIG. 13 is a diagram showing another example of the matching result.
  • the left side (reference numeral 812A, represented by a dotted line) of the marking of the matching target image 812 is thin and unclear, and the marking is reflected in a Y-shape. Therefore, the degree of matching with the reference image 910 is high. Even in such a case, the above-described selection can be accepted and the reference image can be added.
  • FIG. 14 is a diagram showing how standard images are added.
  • the display control unit 100D monitors the reference image (reference information), the file name, and the timing information about the reference image (reflection date and time in the example of FIG. 14) in association with each other, for example, according to an instruction from the user via the operation unit 500. It can be displayed on 410 (display device).
  • the reflection unit 100F causes the captured image (appearance) corresponding to the selected reference image 906 (reference information). Information) and/or the matching target image 810 (matching target information) and the reference image 906 stored in the storage unit 300, and a new reference image (reference information) is generated. Then, the reflection unit 100F updates the stored reference image 906 with the generated master image (reference image) (step S190: reflection step, update step). In case of update, the number of reference images is maintained.
  • the reflecting unit 100F can generate a new reference image by weighted addition of a plurality of images, for example.
  • the reflection unit 100F can store the information indicating the update (reflection) timing in the storage unit 300 in association with the reference image 908 (reference information) as the timing information 300F.
  • the control unit 100D can display the reference image and the timing information on the monitor 410 in association with each other.
  • an appropriate reference image in the example of FIG. 15, a reference image with thick markings and clear
  • robustness in matching drug information can be improved. ..
  • FIG. 16 is a diagram showing the configuration of the medicine collation device 11 for supporting the discrimination of medicines, and in comparison with the medicine collation device 10 according to the first embodiment, the prescription reader 230 and the medicine bandage transport mechanism 240 are omitted. Has been done.
  • FIG. 18 is a plan view of the state shown in FIG.
  • Other configurations in the case of performing the discrimination are the same as those of the medicine collation device 10 described above.
  • the medicine collation processing by the medicine collation device 11 can be performed in the same manner as in the medicine collation device 10, when prescribing brought medicines, the prescription may not be confirmed.
  • the related information acquisition unit 100A determines the characteristics of the medicine (for example, the type, shape, color, etc. of the tablet) visually recognized, or the medicine name, quantity, etc. described in a notebook such as a so-called “medicine notebook”.
  • Information such as the dosing method may be input as related information according to the user's operation and used instead of the prescription data.
  • FIG. 19 is a flowchart of the drug collation process (discrimination support process) by the drug collation device 11.
  • imaging of the target drug can be performed as step S112 (appearance information acquisition step) instead of step S110 of FIG.
  • step S210 of FIG. 7 is omitted, and step S200 becomes step S205.
  • Other processes matching, display of candidates, acceptance of selection, reflection, etc.
  • the robustness in matching the drug information can be improved by the drug matching device, the drug matching method, and the drug matching system of the present invention.
  • the appearance information, the reference information, and the reference information group are images (two-dimensional images) of medicines.
  • the external appearance information, the reference information, and the reference information group of the medicine do not have to be two-dimensional images, and other information (shape data of the medicine, such as shape, size, color, marking and/or printing) can be grasped.
  • shape data of the medicine such as shape, size, color, marking and/or printing
  • 3D images stereo images
  • the drug appearance information, the reference information, and the reference information group include at least one of two-dimensional or three-dimensional shape data and/or appearance data of the drug, a two-dimensional image, or a three-dimensional image of the drug. All you have to do is Hereinafter, other examples of appearance information, reference information, and information (measurement data) that can be used as a reference information group will be described.
  • the drug is irradiated with a linear laser beam from a laser light source, reflected light is photographed by a camera, and the image is analyzed to determine the position at which the laser beam was irradiated. Calculate the cross-sectional shape of. Then, by repeating this process while moving the medicine and the laser beam relatively (for example, moving in the direction orthogonal to the cut surface), the three-dimensional shape, size, marking, etc. of the medicine are measured (restored). can do.
  • the cut surface may be moved by changing the irradiation direction of the laser light with one or a plurality of rotatable mirrors.
  • a pattern projection method As a three-dimensional measurement method other than the light section method, a pattern projection method, a TOF method (TOF: Time of Flight), a stereo method, an SfM method (SfM: Solid from Motion), etc. can be mentioned.
  • the pattern projection method a striped pattern is projected onto a measurement target with a laser beam or the like, a striped state is photographed by a stereo camera (a plurality of cameras arranged apart from each other), and a three-dimensional image is obtained based on the obtained image. This is a method of restoring the shape.
  • a stereo method using a three-dimensional image acquired by a stereo camera can be used.
  • the distance to the measurement target point is calculated based on the time from the irradiation of the laser light to the measurement object to the reception of the reflected light, and the measurement is repeated while changing the target point to obtain the three-dimensional shape. obtain.
  • the SfM method multiple images of the measurement object are acquired, and the camera position at the time of shooting is obtained based on the feature points in the acquired images.
  • the three-dimensional arrangement of feature points is also restored.
  • a dense point cloud can be restored by using a method called MVS (Multi-View Stereo) in addition to the SfM method.
  • MVS Multi-View Stereo
  • the measurement data obtained by the above-described method can be used as appearance information, reference information, and a reference information group. Similar to the second embodiment, it is possible to improve robustness when matching drug information. Further, the medicine collation device of the present invention may be equipped with a measuring unit (laser light source, pattern projection device, stereo camera, restoration processing unit, etc.) using these methods, and the medicine collation method of the present invention uses these methods. It may include a measurement step.
  • a measuring unit laser light source, pattern projection device, stereo camera, restoration processing unit, etc.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本発明は、薬剤の情報をマッチングする際のロバスト性を向上させることができる薬剤照合装置、薬剤照合方法及び薬剤照合システムを提供することを目的とする。本発明の第1の態様に係る薬剤照合装置は、薬剤の外観情報を取得する外観情報取得部と、取得した外観情報に基づく照合対象情報と記憶装置に記憶された薬剤の基準情報群とをマッチングするマッチング部と、マッチングの度合いに基づいて、基準情報群に含まれ外観情報に対応する薬剤についての基準情報の複数の候補を表示装置に表示させる表示制御部と、複数の候補に含まれる基準情報の選択を受け付ける受付部と、選択された基準情報に対応する外観情報及び/または照合対象情報を、記憶された基準情報群に反映する反映部と、を備え、反映部は、選択された基準情報についてのマッチングの度合いがあらかじめ決められた基準を満たさない場合に反映を行う。

Description

薬剤照合装置、薬剤照合方法及び薬剤照合システム
 本発明は薬剤の情報をマッチングする薬剤照合装置、薬剤照合方法及び薬剤照合システムに関する。
 病院施設、薬局等では、薬剤の監査や持参薬の鑑別が行われる。これらを目視で行うと薬剤師等の作業負担が大きいため、監査あるいは鑑別を支援する技術が開発されている。例えばコンピュータが薬剤の画像を照合することにより監査支援や鑑別支援を行うことが知られており、このような技術の例として、特許文献1を挙げることができる。特許文献1には、複数のカメラ及び光源で薬剤を撮影した画像を使用して、テンプレート画像とパターンマッチングすることにより薬剤の鑑別を行う薬剤鑑別システムが記載されている。
WO2015/152225公報
 薬剤の監査や鑑別を行う際のマッチングは、例えば以下に説明するように、薬剤の固体差、マスタ画像の特性等の照合条件に影響される。
 図20は錠剤の割線及び印字の例を示す図である。同図の(a)部分は錠剤の側面図であり、同部分から把握されるように、この錠剤は一方の面に割線が付されている。図20の(b)部分は割線と印字との関係を示す例であり、同部分の左下から右上方向に割線が付されている。同図の(c)部分は同一の薬剤についての割線と印字との関係を示す他の例であり、同部分の左上から右下方向に割線が付されている。このように、同一の薬剤でも、固体により割線と印字との関係が異なる場合がある。
 図21は、割線と印字との関係を示す他の図である。同図の(a)部分、(b)部分は、それぞれ割線の上部、下部に2列の印字がある例を示しており、(c)部分は印字の一部が割線で消されて判別しがたい例を示している。また、同図の(d)部分のように、同一の薬剤でも印字が変更される場合がある。図20,21に例示した薬剤の固体差は、刻印についても同様に発生しうる。さらに、照合対象薬剤だけでなくマスタ画像についても同様の問題が発生しうる。
 しかしながら、特許文献1のような従来の技術ではこれらの事情を十分考慮しておらず、薬剤の情報をマッチングする際のロバスト性が低かった。
 本発明はこのような事情に鑑みてなされたもので、薬剤の情報をマッチングする際のロバスト性を向上させることができる薬剤照合装置、薬剤照合方法及び薬剤照合システムを提供することを目的とする。
 上述した目的を達成するため、本発明の第1の態様に係る薬剤照合装置は、薬剤の外観情報を取得する外観情報取得部と、取得した外観情報に基づく照合対象情報と記憶装置に記憶された薬剤の基準情報群とをマッチングするマッチング部と、マッチングの度合いに基づいて、基準情報群に含まれ外観情報に対応する薬剤についての基準情報の複数の候補を表示装置に表示させる表示制御部と、複数の候補に含まれる基準情報の選択を受け付ける受付部と、選択された基準情報に対応する外観情報及び/または照合対象情報を、記憶された基準情報群に反映する反映部と、を備え、反映部は、選択された基準情報についてのマッチングの度合いがあらかじめ決められた基準を満たさない場合に反映を行う。
 第1の態様では、選択された基準情報についてのマッチングの度合いがあらかじめ決められた基準を満たさない場合(例えば、確定的なマッチングを行うのが困難な場合等)に、基準情報の候補を表示装置に表示させるので、ユーザは正しい基準情報(取得した外観情報に対応する基準情報)を選択することができる。選択された基準情報に対応する外観情報及び/または照合対象情報は、基準情報群に反映される。このように、マッチングの度合いが基準を満たさない場合に、基準情報群に対し選択された基準情報に基づく反映がなされるので適切な基準情報(群)を用いることができ、薬剤の情報をマッチングする際のロバスト性を向上させることができる。
 第1の態様において、取得した外観情報を用いてマッチングを行ってもよいし、取得した外観情報に基づく照合対象情報(取得した外観情報に処理を施して生成した情報)を用いてマッチングを行ってもよい。照合対象情報を用いる場合の処理としては、例えば薬剤領域の抽出、刻印及び/または印字の抽出や強調を行うことができる。このような処理は、例えば照明条件を変えて撮影した複数の画像に基づいて行うことができる。なお、「マッチングの度合い」として情報の一致度、類似度、信頼度、あるいは相関等の値を用いることができる。
 第1の態様及び後述する他の態様において、薬剤の形状、寸法、刻印及び/または印字、色彩等を特定できる情報を「外観情報」とすることができる。また、薬剤の形状、寸法、刻印及び/または印字、色彩等についての、マッチングの際の基準となる情報を「基準情報」、基準情報の集まりを「基準情報群」とすることができる。これらの情報として薬剤の2次元画像を用いることができるが、2次元画像ではなく3次元画像や他の計測データを用いてもよい。
 第2の態様に係る薬剤照合装置は第1の態様において、反映部は、選択された基準情報に対応する外観情報及び/または照合対象情報を、外観情報が示す薬剤についての新たな基準情報として記憶装置に追加して記憶させることにより反映を行う。第2の態様は反映の一態様を規定するもので、マッチングの度合いがあらかじめ決められた基準を満たさない場合、基準情報が追加して記憶される(基準情報が増加する)。基準情報は1種類の薬剤について複数記憶されていてもよい。
 第3の態様に係る薬剤照合装置は第1の態様において、反映部は、選択された基準情報に対応する外観情報及び/または照合対象情報と、記憶された基準情報と、に基づいて新たな基準情報を生成し、記憶された基準情報を生成した基準情報で更新することにより反映を行う。第3の態様は反映の一態様を規定するもので、マッチングの度合いがあらかじめ決められた基準を満たさない場合、基準情報が新たな基準情報で更新される。したがって、個々の薬剤についての基準情報の数量は維持される。なお、新たな基準情報は複数の情報の重み付け加算等により生成することができるが、生成手法はこのような態様に限定されるものではない。
 第4の態様に係る薬剤照合装置は第1から第3の態様のいずれか1つにおいて、反映部は、選択された基準情報についての度合いがあらかじめ決められた基準値に満たない場合に、度合いが基準を満たさないと判断して反映を行う。第4の態様は「基準を満たさない場合」の一態様を規定するもので、「(マッチングの)度合い」としては、第1の態様について上述したように一致度、類似度、信頼度、相関等の値を用いることができる。
 第5の態様に係る薬剤照合装置は第1から第4の態様のいずれか1つにおいて、反映部は、選択された基準情報についての度合いにより定まる順位があらかじめ決められた順位より低い場合に、度合いが基準を満たさないと判断して反映を行う。第5の態様は「基準を満たさない場合」の一態様を規定するもので、例えば、「マッチングの度合いにより定まる順位が1位より低い(2位以下である)場合に反映を行う」とすることができる。
 第6の態様に係る薬剤照合装置は第1から第5の態様のいずれか1つにおいて、外観情報に対して薬剤の刻印及び/または印字を強調する処理を施す情報処理部をさらに備え、マッチング部は処理を施した外観情報を用いてマッチングを行う。第6の態様における強調処理を施した情報を用いてマッチングを行うことにより、マッチングの精度を向上させることができる。
 第7の態様に係る薬剤照合装置は第1から第6の態様のいずれか1つにおいて、反映部は、基準情報に対し反映のタイミングを示すタイミング情報を関連付けて記憶装置に記憶させる。「反映のタイミングを示す情報」としては例えば反映の日時を用いることができるが、他の情報を用いてもよい。
 第8の態様に係る薬剤照合装置は第7の態様において、表示制御部は、基準情報とタイミング情報とを関連付けて表示装置に表示させる。第8の態様によれば、ユーザは反映を行ったタイミング及びそのタイミングにおける基準情報を視認することができる。
 第9の態様に係る薬剤照合装置は第1から第8の態様のいずれか1つにおいて、薬剤を撮影する撮影部をさらに備え、外観情報取得部は撮影部が撮影した画像を取得する。第9の態様において、複数の撮影装置や移動可能な撮影装置、あるいは薬剤の位置や姿勢を変化させる装置を用いる等の方策により、複数の方向から薬剤を撮影することが好ましい。また、第9の態様では撮影部が撮影した画像、あるいは撮影画像に画像処理を施した画像を「基準情報」あるいは「基準情報群」として用いることができ、これにより照合対象の薬剤と基準情報とで撮影条件を合わせて精度の高いマッチングを行うことができる。
 第10の態様に係る薬剤照合装置は第1から第9の態様のいずれか1つにおいて、薬剤を照明する光源をさらに備える。第10の態様に係る薬剤照合装置は複数の光源や移動可能な光源を備えていてもよく、また撮影方向に応じて照明方向を切り換えられる態様でもよい。
 第11の態様に係る薬剤照合装置は第1から第10の態様のいずれか1つにおいて、薬剤の関連情報を取得する関連情報取得部をさらに備え、マッチング部は、関連情報により特定される薬剤についての基準情報を用いてマッチングを行う。なお、第11の態様において、処方箋に記載された情報を読み取ったデータ、処方箋に記載された情報に基づいて医師等のユーザが入力及び/または編集したデータ、「お薬手帳」等の手帳に記載されたデータ等を「関連情報」として用いることができる。
 第12の態様に係る薬剤照合装置は第1から第11の態様のいずれか1つにおいて、外観情報、基準情報、及び基準情報群は薬剤の2次元または3次元の形状データ及び/または外観データ、薬剤の2次元画像または3次元画像のうち少なくとも1つを含む。第12の態様は外観情報、基準情報、及び基準情報群の一態様を規定するものである。なお、第12の態様において、外観情報、基準情報、及び基準情報群を同種の情報により構成することが好ましい(「外観情報が薬剤の2次元画像であれば、基準情報及び基準情報群も2次元画像により構成する」等)。
 上述した目的を達成するため、本発明の第13の態様に係る薬剤照合方法は、薬剤の外観情報を取得する外観情報取得ステップと、取得した外観情報に基づく照合対象情報と記憶装置に記憶された薬剤の基準情報群とをマッチングするマッチングステップと、マッチングの度合いに基づいて、基準情報群に含まれ外観情報に対応する薬剤についての基準情報の複数の候補を表示装置に表示させる表示制御ステップと、複数の候補に含まれる基準情報の選択を受け付ける受付ステップと、選択された基準情報に対応する外観情報及び/または照合対象情報を、記憶された基準情報群に反映する反映ステップと、を有し、反映ステップでは、選択された基準情報についてのマッチングの度合いがあらかじめ決められた基準を満たさない場合に反映を行う。
 第13の態様によれば、第1の態様と同様に、薬剤の情報をマッチングする際のロバスト性を向上させることができる。なお、第13の態様に係る薬剤照合方法に対し、第2から第12の態様と同様の構成をさらに含めてもよい。また、これら態様の薬剤照合方法を薬剤照合装置あるいはコンピュータに実行させるプログラム、及びそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の態様として挙げることができる。
 第14の態様に係る薬剤照合方法は第13の態様において、外観情報、基準情報、及び基準情報群は薬剤の2次元または3次元の形状データ及び/または外観データ、薬剤の2次元画像または3次元画像のうち少なくとも1つを含む。第14の態様は、第12の態様と同様に、外観情報、基準情報、及び基準情報群の一態様を規定するものである。
 上述した目的を達成するため、本発明の第15の態様に係る薬剤照合システムは、薬剤の外観情報を取得する外観情報取得装置と、取得した外観情報に基づく照合対象情報と記憶装置に記憶された薬剤の基準情報群とをマッチングするマッチング装置と、マッチングの度合いに基づいて、基準情報群に含まれ外観情報に対応する薬剤についての基準情報の複数の候補を表示装置に表示させる表示制御装置と、複数の候補に含まれる基準情報の選択を受け付ける受付装置と、選択された基準情報に対応する外観情報及び/または照合対象情報を、記憶された基準情報群に反映する反映装置と、を含み、反映装置は、選択された基準情報についてのマッチングの度合いがあらかじめ決められた基準を満たさない場合に反映を行う。
 第15の態様によれば、第1の態様と同様に、薬剤の情報をマッチングする際のロバスト性を向上させることができる。なお、第15の態様に係る薬剤照合システムに対し、第2から第12の態様と同様の構成をさらに含めてもよい。
 第16の態様に係る薬剤照合システムは第15の態様において、外観情報、基準情報、及び基準情報群は薬剤の2次元または3次元の形状データ及び/または外観データ、薬剤の2次元画像または3次元画像のうち少なくとも1つを含む。第16の態様は、第12の態様と同様に、外観情報、基準情報、及び基準情報群の一態様を規定するものである。
 以上説明したように、本発明の薬剤照合装置、薬剤照合方法及び薬剤照合システムによれば、薬剤の情報をマッチングする際のロバスト性を向上させることができる。
図1は、第1の実施形態に係る薬剤照合装置の構成を示す図である。 図2は、分包された薬剤が搬送される様子を示す図である。 図3は、光源及びカメラの配置を示す側面図である。 図4は、光源及びカメラの配置を示す平面図である。 図5は、処理部の構成を示す図である。 図6は、記憶部に記憶される情報を示す図である。 図7は、第1の実施形態に係る薬剤照合方法の処理を示すフローチャートである。 図8は、照明方向切替の説明に用いる第1の説明図である。 図9は、照明方向切替の説明に用いる第2の説明図である。 図10は、基準画像の複数の候補を表示した様子を示す図である。 図11は、基準画像の複数の候補を表示した様子を示す他の図である。 図12は、基準画像を追加した状態でのマッチング結果の例を示す図である。 図13は、基準画像の複数の候補を表示した様子を示すさらに他の図である。 図14は、基準画像と反映日時とを関連付けて表示した様子を示す図である。 図15は、基準画像を更新していく様子を示す図である。 図16は、第2の実施形態に係る薬剤照合装置の構成を示す図である。 図17は、薬剤の鑑別支援を行う場合の光源及びカメラの配置を示す側面図である。 図18は、薬剤の鑑別支援を行う場合の光源及びカメラの配置を示す平面図である。 図19は、第2の実施形態に係る薬剤照合方法の処理を示すフローチャートである。 図20は、割線と印字との関係がばらつく様子を示す図である。 図21は、割線と印字との関係がばらつく様子を示す他の図である。
 以下、添付図面を参照しつつ、本発明に係る薬剤照合装置、薬剤照合方法及び薬剤照合システムの実施形態について詳細に説明する。なお、本発明に係る薬剤照合システムは、以下で説明する薬剤照合装置を構成する各部の機能をそれぞれ有する複数の装置から構成される。
 <第1の実施形態>
 図1は、本発明の第1の実施形態に係る薬剤照合装置10(薬剤照合装置)の構成を示す図である。薬剤照合装置10は処理部100と、記憶部300(記憶装置)と、表示部400(表示装置)と、操作部500と、搬送機構240と、を備え、処理部100には照明部200(光源),カメラ210(撮影部),カメラ220(撮影部),及び処方箋リーダ230が接続されている。
 カメラ210及びカメラ220はデジタルカメラにより構成される。図2に示すように、分包袋702(薬包)が連続して構成される薬包帯700の鉛直上側(図3の+Z側)にカメラ210が配置され、薬包帯700の鉛直下側(図3の-Z側)にカメラ220が配置されて、分包袋702に分包された薬剤800(錠剤、カプセル剤等)を上下(複数の異なる方向)から撮影して、表面及び裏面について画像を取得する。分包袋702(薬包帯700)は搬送機構240により図2の+X方向(薬包帯700の長手方向に沿った軸;図2の矢印方向)に搬送され、撮影の際には照明部200が有する複数の光源202(光源)が上下それぞれ4方向から分包袋702を照明する。複数の光源202のそれぞれとカメラ210,220の撮影光軸1001との間隔(d1,d2,d3,d4)は同じである。つまり、複数の光源202と撮影光軸1001とが等間隔(d1=d2=d3=d4)である(図4参照)。
 処方箋リーダ230は、処方箋情報(関連情報の一態様)を読み取る。例えばOCR(Optical Character Recognition)により、紙に記載された処方箋から患者氏名、処方された薬剤及びその数量等の情報を読み取る。処方された薬剤に関する情報を示すバーコード等が処方箋に記録されている場合は、処方された薬剤及びその数量等の情報をバーコードから読み取ってもよい。また、医師や薬剤師等のユーザが処方箋を読み取り、操作部500のキーボード510及び/またはマウス520等の入力デバイスにより処方箋情報を入力してもよい。
 <処理部の構成>
 処理部100は、カメラ210,220で撮影した画像、及び処方箋リーダ230で読み取った情報等に基づいて分包袋702に分包された薬剤の照合を行う。図5に示すように、処理部100は関連情報取得部100A(関連情報取得部)、外観情報取得部100B(外観情報取得部)、マッチング部100C(マッチング部)、表示制御部100D(表示制御部)、受付部100E(受付部)、反映部100F(反映部)、及び情報処理部100G(情報処理部)を備える。また、処理部100はCPU110(CPU:Central Processing Unit)、ROM120(ROM:Read Only Memory)、及びRAM130(RAM:Random Access Memory)を備える。
 上述した処理部100の機能は、各種のプロセッサ(processor)を用いて実現できる。各種のプロセッサには、例えばソフトウェア(プログラム)を実行して各種の機能を実現する汎用的なプロセッサであるCPU(Central Processing Unit)が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)も含まれる。さらに、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
 各部の機能は1つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ)で実現されてもよい。また、複数の機能を1つのプロセッサで実現してもよい。複数の機能を1つのプロセッサで構成する例としては、第1に、コンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、システム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを1つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
 上述したプロセッサあるいは電気回路がソフトウェア(プログラム)を実行する際は、実行するソフトウェアのプロセッサ(コンピュータ)読み取り可能なコードをROM120(ROM:Read Only Memory)等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る薬剤照合方法を実行するためのプログラムを含む。ROMではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばRAM130(RAM:Random Access Memory)が一時的記憶領域として用いられ、また例えば不図示のEEPROM(Electronically Erasable and Programmable Read Only Memory)に記憶されたデータを参照することもできる。これらのプロセッサあるいは電気回路が行う処理は、CPU110により統括される。
 <記憶部の構成>
 記憶部300はCD(Compact Disk)、DVD(Digital Versatile Disk)、ハードディスク(Hard Disk)、各種半導体メモリ等の非一時的記録媒体及びその制御部により構成され、図6に示す情報が互いに関連づけて記憶される。関連情報300A(関連情報)は、処方箋リーダ230で読み取った処方箋の情報、または処方箋に基づいてユーザが入力、編集等した情報である。関連情報300Aは、処方箋に記載されている薬剤の一般名称に基づいて特定の薬剤の名称を入力する、あるいは先発医薬品と後発医薬品とを相互に変更する、等が行われていてもよい。撮影画像300B(画像、外観情報)はカメラ210,220で撮影した薬剤の画像であり、薬剤の表面及び裏面についての画像が含まれる。撮影画像に複数の薬剤が含まれる場合は、撮影画像から単一の薬剤についての領域を抽出した画像を撮影画像300Bとしてもよい。照合対象画像300C(照合対象情報)は撮影画像300Bに基づいて生成した画像(例えば、刻印及び/印字を強調した画像)である。基準画像群300D(基準情報群)は薬剤の表面及び裏面についての画像であり、テンプレートマッチングの際の基準となる基準画像(マスタ画像)の集まりである。基準画像は、製薬会社から提供された画像等、薬剤照合装置10以外の手段で撮影された画像や、その画像に画像処理を施した画像を含んでいてもよい。照合結果300E(照合結果)は撮影画像または照合対象画像が示す薬剤の照合結果であり、タイミング情報300F(タイミング情報)は基準情報に対する反映のタイミングを示す情報(追加、更新の日時等)である。
 <表示部及び操作部の構成>
 表示部400はモニタ410(表示装置)を備えており、入力した画像等の外観情報、基準画像の候補、記憶部300に記憶された情報等を表示することができる。操作部500は入力デバイス及び/またはポインティングデバイスとしてのキーボード510及びマウス520を含んでおり、ユーザはこれらのデバイス及びモニタ410の画面を介して、外観情報(画像等)の取得指示、薬剤の照合指示、基準情報の選択等、本発明に係る薬剤照合方法の実行に必要な操作を行うことができる(後述)。なお、モニタ410をタッチパネルにより構成し、そのタッチパネルを介して操作を行ってもよい。
 <薬剤照合方法の処理>
 図7のフローチャートを参照しつつ、上述した構成の薬剤照合装置10による薬剤照合方法の処理について説明する。なお、以下では外観情報、基準情報、及び基準情報群が薬剤の画像(2次元画像)である場合について説明するが、後述するように、これらの情報は3次元の画像でもよいし、画像以外の情報でもよい。具体的には、外観情報、基準情報、及び基準情報群は薬剤の2次元または3次元の形状データ及び/または外観データ、薬剤の2次元画像または3次元画像のうち少なくとも1つを含んでいればよい。例えば、薬剤の形状、寸法、刻印及び/または印字、色彩等を特定できる情報(画像、計測データ等)を「外観情報」とすることができる。また、薬剤の形状、寸法、刻印及び/または印字、色彩等についての、マッチングの際の基準となる情報を「基準情報」、基準情報の集まりを「基準情報群」とすることができる。
 <関連情報の取得>
 関連情報取得部100Aは、例えば処方箋リーダ230を介して処方箋情報等の関連情報を取得する(ステップS100:関連情報取得ステップ)。入力された処方箋情報をそのまま関連情報として取得してもよいし、処方箋に基づきユーザが操作部500を介して入力、編集等した情報を取得してもよい。また、関連情報取得部100Aは、ユーザが目視等で認識した薬剤の特徴(例えば、錠剤の種類、形状、色等)、あるいはいわゆる「お薬手帳」等の手帳に記載された薬剤名称、数量、服用方法等の情報をユーザの操作に応じて関連情報として取得し、処方箋情報に加えて、またはこれに代えて使用してもよい。
 <基準画像の取得>
 外観情報取得部100Bは、ステップS100で取得した関連情報に基づいて基準画像(基準画像群、基準情報群)を取得する(ステップS105:基準画像取得ステップ、基準情報取得ステップ)。例えば、処方箋情報に含まれる薬剤についての基準画像を取得する。取得する基準画像は、薬剤照合装置10で撮影した画像でもよいし、撮影画像に画像処理(例えば、情報処理部100Gにより行うことができる)を施した画像でもよい。また、これらの画像に対し後述する「反映」が行われた基準画像でもよい。外観情報取得部100Bは記憶部300から基準画像(基準画像群300Dに含まれる画像)を取得(読み出し)してもよいし、外部の記憶装置(ネットワーク上のサーバ、データベース等)から取得してもよい。外部の記憶装置から取得した画像に画像処理を施して基準画像としてもよい。
 <分包薬剤の撮影>
 外観情報取得部100Bは、カメラ210,220(撮影部)を制御して、分包袋702に分包された薬剤800(図2,4参照)を複数の異なる方向(図2~4の±Z方向;鉛直上下方向)から撮影した撮影画像(撮影画像300B、外観情報)を取得する(ステップS110:外観情報取得ステップ)。この際、照明部200及び光源202により分包袋702を照明する。外観情報取得部100Bは、撮影画像を撮影画像300Bとして記憶部300に記憶させる。
 <照合対象画像の生成>
 情報処理部100G(情報処理部)は、撮影画像に基づく照合対象画像を生成する(ステップS120:外観情報取得ステップ、情報処理ステップ)。情報処理部100Gは、例えば、刻印及び/または印字の強調、2値化や反転等の画像処理を行うことができる。なお情報処理部100Gは、これらの画像処理を、撮影画像に基づく照合対象画像(照合対象情報の一態様)の生成だけでなく基準画像(基準情報の一態様)の生成においても行うことができる。画像処理の一態様である刻印強調画像の生成例について、以下で説明する。
 <刻印強調画像の生成>
 外観情報取得部100Bは、照明部200が有する複数の光源202(図3,4を参照)のうち薬剤を照明する光源を切り替えることにより、薬剤に対する照明方向を順番に切り替える。外観情報取得部100Bは、薬剤に対する照明方向が切り替わるごとに、カメラ210,220(撮影部)に薬剤を撮影させる。情報処理部100Gは、複数の照明方向に対応する複数の撮影画像(外観情報)を合成して、強調画像(外観情報)を生成する。本態様によれば、薬剤を照明する照明方向、薬剤の表面形状の影響を受けることなく、薬剤に付された刻印の認識を正確に行うことができる。
 図8に示すように、刻印EMは薬剤Tの表面に形成された溝により構成されている。なお、図8の(a)部分は刻印EMの正面図であり、(b)部分は図中の直線CLに沿う薬剤Tの断面図であり、(c)部分は表面形状が(b)部分とは異なる薬剤Tの断面図である。刻印EMを一方向から照明すると、刻印EMの照明光源側の輪郭に沿って影が発生する。この影の向き、形状、及び強度は、照明方向、刻印EMの形状、及び薬剤Tの表面形状によって異なる。
 図9の上段((a)部分)に示すように、4方向の薬剤領域画像データ54には、それぞれ刻印EMの照明光源側(照明光を照射している光源202側)の輪郭に沿って影画像56が生じる。なお、刻印EMは薬剤Tの表面と同色であるので実際の画像上では識別困難であるが、図中では照明方向に応じた刻印EMと影画像56との関係を説明するために刻印EMを識別可能に図示している。
 情報処理部100Gは、図9の中段((b)部分)に示すように、薬剤Tごとの4方向の薬剤領域画像データ54に対してそれぞれエッジ検出処理を施すことにより、各薬剤領域画像データ54からそれぞれ影画像56に対応する特徴画像データ58を抽出する。これにより、1分包分の薬剤Tの各々について、4方向の照明方向ごとの特徴画像データ58(以下、4方向の特徴画像データ58という)が得られ、情報処理部100Gは薬剤Tごとの4方向の特徴画像データ58を記憶部300に順次格納する。
 情報処理部100Gは、図9の下段((c)部分)に示すように、記憶部300から1分包分の薬剤Tごとの4方向の特徴画像データ58を読み出し、薬剤Tごとに4方向の特徴画像データ58を統合して統合画像データ60を生成する。例えば、4方向の特徴画像データ58を重ね合せて統合する。これにより、4方向の照明方向ごとの影画像56が一つに統合されるため、統合画像データ60上では刻印EMの全ての輪郭が明らかとなる。そして、1分包分の薬剤Tごとにそれぞれ統合画像データ60(刻印強調画像)を生成し、個々の統合画像データ60を基準画像(基準画像群300D)または照合対象画像(照合対象画像300C)として記憶部300に格納する。
 情報処理部100Gは、上述した刻印強調画像だけでなく、撮影画像のエッジ強調、印字部分及び/または背景部分の濃度や色彩の変更、2値化等により印字強調画像を生成することもできる。
 <テンプレートマッチング>
 マッチング部100C(マッチング部)は、ステップS120で生成した照合対象画像300C(照合対象情報)とステップS105で取得した基準画像(基準画像群300D:基準情報群)とをテンプレートマッチング(照合)する(ステップS130:マッチングステップ)。テンプレートマッチングは公知の手法(例えば特開2014-67342号に記載の方法)により行うことができ、例えば照合対象画像300Cと基準画像とを相対的に移動及び/または回転させながら一致度、類似度、相関等のマッチング度合いを算出することができる。画像の拡大または縮小を行ってもよい。マッチング部100Cは、照合結果を照合結果300Eとして記憶部300に記憶させる。
 <基準画像の候補の表示>
 表示制御部100D(表示制御部)は、マッチングの度合いに基づいて、基準画像(基準情報)の複数の候補をモニタ410(表示装置)に表示させる(ステップS140:表示制御ステップ)。具体的には、表示制御部100Dは、基準画像群300D(基準情報群)に含まれ照合対象画像(外観情報)に対応する薬剤についての基準画像の複数の候補を表示する。図10は候補の表示例を示す図であり、照合対象画像810と基準画像の複数の候補(基準画像902,904,906)を、マッチング順位(マッチング度合いの高いものを上位とする)と共に表示している。図10では薬剤の片面のみ表示しているが、両面を表示してもよい(以降の図でも同様である)。図11は候補の他の表示例であり、基準画像とそのマッチング度(類似度等;完全に一致した場合を1.0とする)を表示している。
 <基準画像の選択>
 反映部100F(反映部)は、マッチング度合いがあらかじめ決められた基準を満たすか否かを判断する(ステップS150:判断ステップ)。以下では、「マッチング順位が1位及び/またはマッチング度合いが0.80(基準値の一例)以上である」を基準として説明する。反映部100F(反映部)は、操作部500を介したユーザの操作により基準の項目(順位か度合いか、等)及び内容(順位やマッチング度合いの値等)を設定でき、設定された基準を参照して判断を行うことができる。基準を満たす場合(例えば、順位が1位である、マッチング度合いが0.80以上である、等)は、後述する基準画像の反映を行わずにステップS200に進む。この際、反映部100Fは、「マッチング基準を満たしているので、基準画像の反映を行わない」旨のメッセージをモニタ410に表示させてもよい。一方、基準を満たさない場合は、以下のように基準画像の選択を受け付けて反映を行う。
 図10,11の例では、照合対象画像810は本来ならば基準画像906と最もマッチするはずであるが、撮影条件等に起因して刻印の水平部分(符号810A、点線で表現している)が細く不鮮明になり、刻印がV字に近く映っている。このため、基準画像902とのマッチング度合いが高くなってしまい、基準画像906のマッチング順位は3位(あらかじめ決められた順位(1位)より低い)、マッチング度合いは0.79(あらかじめ決められた基準値(0.80)に満たない)であり、上述した基準が満たされていない(ステップS150でNO)。そこで受付部100Eは、表示された複数の候補(図10,11の例では基準画像902,904,906)に含まれる基準画像(基準情報)の選択を受け付ける(ステップS160:受付ステップ)。図10,11の例では、操作部500を介して、ユーザ操作による基準画像906(正解画像)の選択を受け付けたものとする。
 <基準情報群への反映>
 反映部100Fは、基準画像が選択されたら、選択された基準情報に対応する外観情報及び/または照合対象情報を、記憶された基準情報群に反映する。具体的には、選択された基準画像906(基準情報)に対応する照合対象画像810(照合対象情報)を、記憶部300(記憶装置)に記憶された基準画像群300D(基準情報群)に反映する。以下に説明するように、「反映」には基準画像の追加と更新が含まれ、反映部100Fは、基準画像を追加するか更新するかを、操作部500を介したユーザの設定に基づいて判断することができる(ステップS170:判断ステップ)。
 <基準画像を追加する場合>
 反映部100Fは、選択された基準画像906(基準情報)に対応する撮影画像(外観情報)及び/または照合対象画像810(照合対象情報)を、照合対象画像810が示す薬剤(以下、「薬剤A」という)についての新たな基準画像(基準画像群300Dを構成する画像、基準情報)として記憶部300(記憶装置)に追加して記憶させる(ステップS180:反映ステップ、追加ステップ)。この「追加」により、薬剤Aについて基準画像の数が増加する。反映部100Fは、追加(反映)のタイミングを示す情報を、タイミング情報300Fとして基準画像908(基準情報)と関連付けて記憶部300に記憶させることができる。
 図12は、上述の処理により薬剤Aについて照合対象画像810が基準画像908として追加された状態でのマッチング結果の例を示す図である。図12は、基準画像908が追加された状態でマッチングを行い、照合対象画像810(図10,11の例と同じ)と追加された基準画像908とがマッチし、これにより薬剤Aのマッチング順位が1位になった状態(正しくマッチングされた状態)を示している。このように、マッチングの度合いがあらかじめ決められた基準を満たさない場合に基準画像の追加(基準情報の反映)を行うことにより、適切な基準画像(刻印の映り方が様々な複数の基準画像:例えば図14を参照)が追加されてゆく。これにより、撮影条件の相違や薬剤の固体差が存在する様々な照合対象画像(照合対象情報の一態様)に対して正確なマッチングを行うことができ、薬剤の情報をマッチングする際のロバスト性を向上させることができる。
 図13はマッチング結果の他の例を示す図である。この例では、照合対象画像812の刻印の左側(符号812A、点線で表現している)が細く不鮮明になり、刻印がY字に近く映っている。このため、基準画像910とのマッチング度合いが高くなってしまっている。このような場合も、上述した選択の受け付け及び基準画像の追加を行うことができる。
 図14は基準画像が追加されてゆく様子を示す図である。表示制御部100Dは、例えば操作部500を介したユーザの指示に応じて、基準画像(基準情報)、ファイル名、及び基準画像についてのタイミング情報(図14の例では反映日時)を関連付けてモニタ410(表示装置)に表示させることができる。
 <基準画像を更新する場合>
 図10,11の例で基準画像の更新を行う場合(ステップS170の判断結果が「更新」の場合)、反映部100Fは、選択された基準画像906(基準情報)に対応する撮影画像(外観情報)及び/または照合対象画像810(照合対象情報)と、記憶部300に記憶された基準画像906とに基づいて新たな基準画像(基準情報)を生成する。そして、反映部100Fは、記憶されている基準画像906を生成したマスタ画像(基準画像)で更新する(ステップS190:反映ステップ、更新ステップ)。更新の場合、基準画像の数は維持される。反映部100Fは、例えば複数の画像の重み付け加算により新たな基準画像を生成することができる。図15は基準画像の更新の様子を示す図である。当初の基準画像906は刻印が細く不鮮明であるが、一度目の更新後の基準画像916は刻印の左右部分が太く鮮明になっている。また、二度目の更新後の基準画像918では、刻印の水平部分も太く鮮明になっている。基準画像の追加の場合と同様に、反映部100Fは更新(反映)のタイミングを示す情報を、タイミング情報300Fとして基準画像908(基準情報)と関連付けて記憶部300に記憶させることができ、表示制御部100Dは基準画像とタイミング情報とを関連付けてモニタ410に表示させることができる。
 このような基準画像の更新によっても適切な基準画像(図15の例では、刻印が太く鮮明な基準画像)を用いることができ、薬剤の情報をマッチングする際のロバスト性を向上させることができる。
 <第2の実施形態>
 <薬剤の鑑別支援>
 上述した実施形態では、主として薬剤監査支援で行われる分包薬剤の照合について説明したが、本発明の薬剤照合装置、薬剤照合方法及び薬剤照合システムは患者が病院、薬局等に持参した薬剤の鑑別支援にも適用することができる。図16は薬剤の鑑別を支援するための薬剤照合装置11の構成を示す図であり、第1の実施形態に係る薬剤照合装置10と比較すると処方箋リーダ230と、薬包帯の搬送機構240が省略されている。薬剤照合装置11を用いて鑑別支援を行う場合、図17の側面図に示すように、分包袋に代えてシャーレ等の容器710に薬剤800を入れて撮影を行う。図18は図17に示す状態の平面図である。鑑別を行う場合のその他の構成は、上述した薬剤照合装置10と同様である。薬剤照合装置11による薬剤の照合処理も薬剤照合装置10の場合と同様に行うことができるが、持参薬の鑑別を行う場合は処方箋が確認できない場合がある。この場合、関連情報取得部100Aは、目視等で認識した薬剤の特徴(例えば、錠剤の種類、形状、色等)、あるいはいわゆる「お薬手帳」等の手帳に記載された薬剤名称、数量、服用方法等の情報を、ユーザの操作に応じて関連情報として入力し、処方データに代えて用いてもよい。
 <鑑別支援を行う場合の処理>
 図19は、薬剤照合装置11による薬剤照合処理(鑑別支援処理)のフローチャートである。図19において、対象薬剤の撮影は、図7のステップS110に代えてステップS112(外観情報取得ステップ)として行うことができる。また、これに対応して図7のステップS210が省略され、ステップS200がステップS205となっている。その他の処理(マッチング、候補の表示、選択の受け付け、反映等)は図7のフローチャートと同様である。このような処理により、薬剤の鑑別支援についても、本発明の薬剤照合装置、薬剤照合方法及び薬剤照合システムにより、薬剤の情報をマッチングする際のロバスト性を向上させることができる。
 <外観情報、基準情報等の他の例>
 上述した第1,第2の実施形態では、外観情報、基準情報、及び基準情報群が薬剤の画像(2次元画像)である場合について説明した。しかしながら、本発明において薬剤の外観情報、基準情報、及び基準情報群は2次元画像でなくてもよく、形状、寸法、色彩、刻印及び/または印字等が把握できる他の情報(薬剤の形状データ及び/または外観データ、3次元画像(ステレオ画像))を用いることができる。具体的には、薬剤の外観情報、基準情報、及び基準情報群は薬剤の2次元または3次元の形状データ及び/または外観データ、薬剤の2次元画像または3次元画像のうち少なくとも1つを含んでいればよい。以下、外観情報、基準情報、及び基準情報群として用いうる情報(計測データ)の他の例について説明する。
 光切断法により薬剤の3次元データを取得する場合、レーザ光源からライン状のレーザ光を薬剤に照射してカメラで反射光を撮影し、画像を解析することによりレーザ光が照射された位置での断面形状を算出する。そして、薬剤とレーザ光とを相対的に移動させながら(例えば、切断面と直交する方向に移動させながら)この処理を繰り返すことで、薬剤の3次元形状、寸法、刻印等を計測(復元)することができる。計測の際に、1または複数の回転可能なミラーでレーザ光の照射方向を変化させることにより切断面を移動させてもよい。
 光切断法以外の3次元計測手法として、パターン投影法、TOF法(TOF:Time of Flight)、ステレオ法、SfM法(SfM:Solid from Motion)、等を挙げることができる。パターン投影法は、計測対象物にレーザ光等により縞状のパターンを投影してステレオカメラ(離間して配置した複数のカメラ)により縞の状態を撮影し、得られた画像に基づいて3次元形状を復元する方法である。同様に、ステレオカメラで取得した3次元画像を用いるステレオ法を用いることもできる。TOF法では、計測対象物にレーザ光を照射してから反射光を受光するまでの時間に基づいて計測対象点までの距離を求め、対象となる点を変えながら計測を繰り返して3次元形状を得る。
 また、SfM法では、計測対象物の画像を複数取得し、取得した画像における特徴点に基づいて撮影時のカメラ位置を求める。カメラ位置を求める際、特徴点の3次元配置も復元される。さらに、SfM法に加えてMVS(Multi-View Stereo)と呼ばれる手法を用いることで、密な点群を復元することができる。また、コードターゲットやポジショニングターゲットを併用することにより、さらに高精度に計測を行うことができる。
 本発明の薬剤照合装置、薬剤照合方法及び薬剤照合システムでは、以上例示した方法により得られた計測データを外観情報、基準情報、及び基準情報群として用いることができ、これにより上述した第1,第2の実施形態と同様に薬剤の情報をマッチングする際のロバスト性を向上させることができる。また、本発明の薬剤照合装置はこれら方法を用いる計測部(レーザ光源、パターン投射装置、ステレオカメラ、復元処理部等)を備えていてもよく、本発明の薬剤照合方法はこれら方法を用いた計測ステップを含んでいてもよい。
 以上で本発明の実施形態及び他の態様に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10   薬剤照合装置
11   薬剤照合装置
54   薬剤領域画像データ
56   影画像
58   特徴画像データ
60   統合画像データ
100  処理部
100A 関連情報取得部
100B 外観情報取得部
100C マッチング部
100D 表示制御部
100E 受付部
100F 反映部
100G 情報処理部
110  CPU
120  ROM
130  RAM
200  照明部
202  光源
210  カメラ
220  カメラ
230  処方箋リーダ
240  搬送機構
300  記憶部
300A 関連情報
300B 撮影画像
300C 照合対象画像
300D 基準画像群
300E 照合結果
300F タイミング情報
400  表示部
410  モニタ
500  操作部
510  キーボード
520  マウス
700  薬包帯
702  分包袋
710  容器
800  薬剤
810  照合対象画像
812  照合対象画像
850  レーザ光源
852  薬剤
854  カメラ
856  ミラー
902  基準画像
904  基準画像
906  基準画像
908  基準画像
910  基準画像
916  基準画像
918  基準画像
1001 撮影光軸
EM   刻印
H    高さ
S100~S210 薬剤照合方法の各ステップ
T    薬剤
W    幅

Claims (16)

  1.  薬剤の外観情報を取得する外観情報取得部と、
     前記取得した前記外観情報に基づく照合対象情報と記憶装置に記憶された薬剤の基準情報群とをマッチングするマッチング部と、
     前記マッチングの度合いに基づいて、前記基準情報群に含まれ前記外観情報に対応する薬剤についての基準情報の複数の候補を表示装置に表示させる表示制御部と、
     前記複数の候補に含まれる前記基準情報の選択を受け付ける受付部と、
     前記選択された前記基準情報に対応する前記外観情報及び/または前記照合対象情報を、前記記憶された前記基準情報群に反映する反映部と、
     を備え、
     前記反映部は、前記選択された前記基準情報についての前記マッチングの前記度合いがあらかじめ決められた基準を満たさない場合に前記反映を行う薬剤照合装置。
  2.  前記反映部は、前記選択された前記基準情報に対応する前記外観情報及び/または前記照合対象情報を、前記外観情報が示す薬剤についての新たな基準情報として前記記憶装置に追加して記憶させることにより前記反映を行う請求項1に記載の薬剤照合装置。
  3.  前記反映部は、前記選択された前記基準情報に対応する前記外観情報及び/または前記照合対象情報と、前記記憶された前記基準情報と、に基づいて新たな基準情報を生成し、前記記憶された前記基準情報を前記生成した前記基準情報で更新することにより前記反映を行う請求項1に記載の薬剤照合装置。
  4.  前記反映部は、前記選択された前記基準情報についての前記度合いがあらかじめ決められた基準値に満たない場合に、前記度合いが前記基準を満たさないと判断して前記反映を行う請求項1から3のいずれか1項に記載の薬剤照合装置。
  5.  前記反映部は、前記選択された前記基準情報についての前記度合いにより定まる順位があらかじめ決められた順位より低い場合に、前記度合いが前記基準を満たさないと判断して前記反映を行う請求項1から4のいずれか1項に記載の薬剤照合装置。
  6.  前記外観情報に対して薬剤の刻印及び/または印字を強調する処理を施す情報処理部をさらに備え、
     前記マッチング部は前記処理を施した外観情報を用いて前記マッチングを行う請求項1から5のいずれか1項に記載の薬剤照合装置。
  7.  前記反映部は、前記基準情報に対し前記反映のタイミングを示すタイミング情報を関連付けて前記記憶装置に記憶させる請求項1から6のいずれか1項に記載の薬剤照合装置。
  8.  前記表示制御部は、前記基準情報と前記タイミング情報とを関連付けて前記表示装置に表示させる請求項7に記載の薬剤照合装置。
  9.  前記薬剤を撮影する撮影部をさらに備え、
     前記外観情報取得部は前記撮影部が撮影した画像を取得する請求項1から8のいずれか1項に記載の薬剤照合装置。
  10.  前記薬剤を照明する光源をさらに備える請求項1から9のいずれか1項に記載の薬剤照合装置。
  11.  薬剤の関連情報を取得する関連情報取得部をさらに備え、
     前記マッチング部は、前記関連情報により特定される薬剤についての前記基準情報を用いて前記マッチングを行う請求項1から10のいずれか1項に記載の薬剤照合装置。
  12.  前記外観情報、前記基準情報、及び前記基準情報群は薬剤の2次元または3次元の形状データ及び/または外観データ、薬剤の2次元画像または3次元画像のうち少なくとも1つを含む請求項1から11のいずれか1項に記載の薬剤照合装置。
  13.  薬剤の外観情報を取得する外観情報取得ステップと、
     前記取得した前記外観情報に基づく照合対象情報と記憶装置に記憶された薬剤の基準情報群とをマッチングするマッチングステップと、
     前記マッチングの度合いに基づいて、前記基準情報群に含まれ前記外観情報に対応する薬剤についての基準情報の複数の候補を表示装置に表示させる表示制御ステップと、
     前記複数の候補に含まれる前記基準情報の選択を受け付ける受付ステップと、
     前記選択された前記基準情報に対応する前記外観情報及び/または前記照合対象情報を、前記記憶された前記基準情報群に反映する反映ステップと、
     を有し、
     前記反映ステップでは、前記選択された前記基準情報についての前記マッチングの前記度合いがあらかじめ決められた基準を満たさない場合に前記反映を行う薬剤照合方法。
  14.  前記外観情報、前記基準情報、及び前記基準情報群は薬剤の2次元または3次元の形状データ及び/または外観データ、薬剤の2次元画像または3次元画像のうち少なくとも1つを含む請求項13に記載の薬剤照合方法。
  15.  薬剤の外観情報を取得する外観情報取得装置と、
     前記取得した前記外観情報に基づく照合対象情報と記憶装置に記憶された薬剤の基準情報群とをマッチングするマッチング装置と、
     前記マッチングの度合いに基づいて、前記基準情報群に含まれ前記外観情報に対応する薬剤についての基準情報の複数の候補を表示装置に表示させる表示制御装置と、
     前記複数の候補に含まれる前記基準情報の選択を受け付ける受付装置と、
     前記選択された前記基準情報に対応する前記外観情報及び/または前記照合対象情報を、前記記憶された前記基準情報群に反映する反映装置と、
     を含み、
     前記反映装置は、前記選択された前記基準情報についての前記マッチングの前記度合いがあらかじめ決められた基準を満たさない場合に前記反映を行う薬剤照合システム。
  16.  前記外観情報、前記基準情報、及び前記基準情報群は薬剤の2次元または3次元の形状データ及び/または外観データ、薬剤の2次元画像または3次元画像のうち少なくとも1つを含む請求項15に記載の薬剤照合システム。
PCT/JP2020/002947 2019-02-07 2020-01-28 薬剤照合装置、薬剤照合方法及び薬剤照合システム WO2020162263A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202080007738.4A CN113260344A (zh) 2019-02-07 2020-01-28 药剂对照装置、药剂对照方法以及药剂对照系统
JP2020571114A JPWO2020162263A1 (ja) 2019-02-07 2020-01-28 薬剤照合装置、薬剤照合方法及び薬剤照合システム
EP20753251.6A EP3922233A4 (en) 2019-02-07 2020-01-28 MEDICAL DRUG VERIFICATION DEVICE, MEDICAL DRUG VERIFICATION METHOD AND MEDICAL DRUG VERIFICATION SYSTEM
US17/349,924 US20210313034A1 (en) 2019-02-07 2021-06-17 Medical drug verification device, medical drug verification method, and medical drug verification system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-020703 2019-02-07
JP2019020703 2019-02-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/349,924 Continuation US20210313034A1 (en) 2019-02-07 2021-06-17 Medical drug verification device, medical drug verification method, and medical drug verification system

Publications (1)

Publication Number Publication Date
WO2020162263A1 true WO2020162263A1 (ja) 2020-08-13

Family

ID=71948272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002947 WO2020162263A1 (ja) 2019-02-07 2020-01-28 薬剤照合装置、薬剤照合方法及び薬剤照合システム

Country Status (5)

Country Link
US (1) US20210313034A1 (ja)
EP (1) EP3922233A4 (ja)
JP (1) JPWO2020162263A1 (ja)
CN (1) CN113260344A (ja)
WO (1) WO2020162263A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023032635A1 (ja) * 2021-08-31 2023-03-09 日立チャネルソリューションズ株式会社 薬剤監査装置及び薬剤監査方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067342A (ja) 2012-09-27 2014-04-17 Fujifilm Corp 薬剤検査支援装置及び方法
WO2014080966A1 (ja) * 2012-11-22 2014-05-30 株式会社湯山製作所 薬剤鑑査装置
WO2015152225A1 (ja) 2014-03-31 2015-10-08 株式会社湯山製作所 薬剤撮影装置
JP2017058919A (ja) * 2015-09-16 2017-03-23 富士フイルム株式会社 薬剤情報登録装置、薬剤情報登録方法、及びプログラム
JP2018027242A (ja) * 2016-08-18 2018-02-22 安川情報システム株式会社 錠剤検知方法、錠剤検知装置および錠剤検知プログラム
WO2018173649A1 (ja) * 2017-03-23 2018-09-27 富士フイルム株式会社 薬剤認識装置、薬剤認識方法、及び薬剤認識プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4923282B2 (ja) * 2002-11-22 2012-04-25 グローリー株式会社 薬剤認識装置
JP6009888B2 (ja) * 2012-09-27 2016-10-19 富士フイルム株式会社 薬剤検査装置及び方法
JP5975941B2 (ja) * 2013-06-21 2016-08-23 富士フイルム株式会社 分包薬剤検査装置及び方法
JP2020079812A (ja) * 2017-03-23 2020-05-28 Jsr株式会社 液晶配向膜の製造方法および液晶素子

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067342A (ja) 2012-09-27 2014-04-17 Fujifilm Corp 薬剤検査支援装置及び方法
WO2014080966A1 (ja) * 2012-11-22 2014-05-30 株式会社湯山製作所 薬剤鑑査装置
WO2015152225A1 (ja) 2014-03-31 2015-10-08 株式会社湯山製作所 薬剤撮影装置
JP2017058919A (ja) * 2015-09-16 2017-03-23 富士フイルム株式会社 薬剤情報登録装置、薬剤情報登録方法、及びプログラム
JP2018027242A (ja) * 2016-08-18 2018-02-22 安川情報システム株式会社 錠剤検知方法、錠剤検知装置および錠剤検知プログラム
WO2018173649A1 (ja) * 2017-03-23 2018-09-27 富士フイルム株式会社 薬剤認識装置、薬剤認識方法、及び薬剤認識プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3922233A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023032635A1 (ja) * 2021-08-31 2023-03-09 日立チャネルソリューションズ株式会社 薬剤監査装置及び薬剤監査方法

Also Published As

Publication number Publication date
US20210313034A1 (en) 2021-10-07
JPWO2020162263A1 (ja) 2021-11-04
EP3922233A1 (en) 2021-12-15
CN113260344A (zh) 2021-08-13
EP3922233A4 (en) 2022-03-16

Similar Documents

Publication Publication Date Title
US20190377977A1 (en) Drug recognizing apparatus, drug recognizing method, and drug recognizing program
US20200175318A1 (en) Medicine inspection support device, image processing device, image processing method, and program
US11341357B2 (en) Medicine inspection device, image processing device, image processing method, and program
JP2018027242A (ja) 錠剤検知方法、錠剤検知装置および錠剤検知プログラム
JP2017523826A (ja) 患者の肺の複数のctスキャンのための統合された座標システム
CN108338849A (zh) 用于生成移动旋转信息的介质、装置和方法
WO2019039015A1 (ja) 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
US20210103766A1 (en) Object collating device and object collating method
US20200058385A1 (en) Drug inspection assisting apparatus and drug inspection assisting method
WO2020162263A1 (ja) 薬剤照合装置、薬剤照合方法及び薬剤照合システム
Cucchiara et al. An image analysis approach for automatically re-orienteering CT images for dental implants
CN110533120A (zh) 器官结节的图像分类方法、装置、终端及存储介质
CN111937038B (zh) 用于3d扫描对象表面的至少一部分的方法和光学3d扫描仪
JP7375161B2 (ja) 学習データ作成装置、方法、プログラム、及び記録媒体
JP6757851B2 (ja) 調剤監査支援装置及び調剤監査支援方法
De Oliveira An affordable and practical 3d solution for the aesthetic evaluation of breast cancer conservative treatment
Lacher 3D breast surface reconstructions from consumer-grade RGB-D cameras
Burton Automated 3 D reconstruction of neuronal structures from serial sections
JP7375049B2 (ja) 画像処理装置及び方法
JP7364888B2 (ja) 種類判別装置
Banerjee Computer Vision-Based Hand Tracking and 3D Reconstruction as a Human-Computer Input Modality with Clinical Application
CN116763474A (zh) 在用牙科成像设备扫描期间生成牙科对象的三维表示
Piccolo A low-cost, efficient and accurate human body scanner
Hsieh et al. Growth Estimation Based on Statistics of Relative Position of Carpals
Flynn Realistic range rendering for object hypothesis verification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20753251

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020571114

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020753251

Country of ref document: EP

Effective date: 20210907