JPWO2019039302A1 - 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム - Google Patents

薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JPWO2019039302A1
JPWO2019039302A1 JP2019538071A JP2019538071A JPWO2019039302A1 JP WO2019039302 A1 JPWO2019039302 A1 JP WO2019039302A1 JP 2019538071 A JP2019538071 A JP 2019538071A JP 2019538071 A JP2019538071 A JP 2019538071A JP WO2019039302 A1 JPWO2019039302 A1 JP WO2019039302A1
Authority
JP
Japan
Prior art keywords
image
medicine
drug
emphasized
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2019538071A
Other languages
English (en)
Inventor
横内　康治
康治 横内
高島　正伸
正伸 高島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Toyama Chemical Co Ltd
Original Assignee
Fujifilm Toyama Chemical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Toyama Chemical Co Ltd filed Critical Fujifilm Toyama Chemical Co Ltd
Publication of JPWO2019039302A1 publication Critical patent/JPWO2019039302A1/ja
Abandoned legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00—Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/85—Investigating moving fluids or granular solids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Toxicology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Image Analysis (AREA)

Abstract

識別情報が刻印であっても印字であっても、識別情報を適切に認識する薬剤検査支援装置、画像処理装置、画像処理方法及びプログラムを提供する。第２薬剤の表面への光の照明方向がそれぞれ異なる第２薬剤の複数の撮影画像を取得し、第２薬剤の刻印部分を強調する処理を行って第１強調画像を生成し、第２薬剤の印字部分を強調する処理を行って第２強調画像を生成し、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報により指定された画像とマスタ画像とを照合し、第１薬剤と第２薬剤とが同一であるか否かを判定する画像処理装置によって上記課題を解決する。

Description

本発明は薬剤検査支援装置、画像処理装置、画像処理方法及びプログラムに係り、特に薬剤を撮影した画像から薬剤の種類を特定する薬剤検査支援装置、画像処理装置、画像処理方法及びプログラムに関する。
薬剤には、薬剤を識別するための情報が付与されている。この識別情報を読み取ることで、薬剤の種類を識別することができる。識別情報の付与の方法として、刻印として彫られている薬剤と、印字されている薬剤とがある。
特許文献１には、照度差ステレオ法を使用して、画像の濃淡（輝度）で高さを表現した輪郭抽出画像を作成し、傷や印字を検査する技術が記載されている。特許文献１の技術によれば、ワークや照明の傾きの影響を受け難い、環境にロバストな画像検査を実現することができる。
特開２０１５−２３２４８３号公報
薬剤の表面に印字された文字等は、表面に凹凸が存在しない。このため、特許文献１に記載の装置のように輪郭抽出画像を生成すると、印字された情報は認識できなくなってしまう。また、照合対象の薬剤は、識別情報が刻印で付与されているのか、又は印字により付与されているのかが不明である。
このため、撮影した画像に対してどのような画像処理を行うことが好ましいのかが不明であるという問題点があった。
本発明はこのような事情に鑑みてなされたもので、識別情報が刻印であっても印字であっても、識別情報を適切に認識する薬剤検査支援装置、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
上記目的を達成するために画像処理装置の一の態様は、第１薬剤のマスタ画像を取得するマスタ画像取得部と、第２薬剤の表面への光の照明方向がそれぞれ異なる第２薬剤の複数の撮影画像を取得する撮影画像取得部と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて第２薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理部と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて第２薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理部と、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報を取得する指定情報取得部と、指定情報により指定された画像とマスタ画像とを照合し、第１薬剤と第２薬剤とが同一であるか否かを判定する判定部と、を備えた。
本態様によれば、第１薬剤のマスタ画像を取得し、第２薬剤の表面への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を取得し、第２薬剤の刻印部分を強調する処理を行って第１強調画像を生成し、第２薬剤の印字部分を強調する処理を行って第２強調画像を生成し、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報により指定された画像とマスタ画像とを照合し、第１薬剤と第２薬剤とが同一であるか否かを判定するようにしたので、識別情報が刻印であっても印字であっても、識別情報を適切に認識することができる。
マスタ画像と指定情報とは、関連付けられて記憶されていることが好ましい。これにより、指定情報を適切に取得することができる。
複数の撮影画像から第２薬剤の写った領域を検出する薬剤検出部を備え、第１画像処理部及び第２画像処理部は、検出した領域について処理を行うことが好ましい。これにより、処理を行う領域を限定することができ、処理に係る時間を短縮することができる。
撮影画像取得部は、３枚以上の撮影画像を取得し、第１画像処理部は、３枚以上の撮影画像に基づいて第１強調画像を生成することが好ましい。これにより、薬剤の刻印部分を適切に強調することができる。
第１画像処理部は、照度差ステレオ法により第２薬剤の表面の三次元情報を取得して第１強調画像を生成することが好ましい。これにより、薬剤の刻印部分を適切に強調することができる。
第２画像処理部は、平滑化処理、鮮鋭化処理、及びエッジ検出処理の少なくとも１つを施して第２強調画像を生成することが好ましい。これにより、薬剤の印字部分を適切に強調することができる。
指定情報により指定された画像とマスタ画像とが類似する度合を示す類似度を算出する類似度算出部を備え、判定部は、類似度に基づいて第１薬剤と第２薬剤とが同一であるか否かを判定することが好ましい。これにより、第１薬剤と第２薬剤とが同一であるか否かを適切に判定することができる。
類似度算出部は、複数の指定情報により指定された画像と複数のマスタ画像との類似度を算出し、判定部は、最も類似度の高い指定情報により指定された画像とマスタ画像との組み合わせについて第１薬剤と第２薬剤とが同一であると判定することが好ましい。これにより、第１薬剤と第２薬剤とが同一であるか否かを適切に判定することができる。
マスタ画像取得部は、処方データに基づいて第１薬剤のマスタ画像を取得することが好ましい。これにより、第１薬剤のマスタ画像を適切に取得することができる。処方データとしては、処方箋に記載された情報、処方箋に記載された情報に基づいて設定又は変更等された情報、ユーザによって入力された情報等が含まれる。
上記目的を達成するために薬剤検査支援装置の一の態様は、第１薬剤のマスタ画像を取得するマスタ画像取得部と、第２薬剤の表面に対してそれぞれ異なる複数の照明方向から光を照射する複数の光源を有する照明部と、第２薬剤を撮影する撮影部と、照明部及び撮影部を制御して、第２薬剤への光の照明方向がそれぞれ異なる第２薬剤の複数の撮影画像を取得する撮影制御部と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて第２薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理部と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて第２薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理部と、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報を取得する指定情報取得部と、指定情報により指定された画像とマスタ画像とを照合し、第１薬剤と第２薬剤とが同一であるか否かを判定する判定部と、を備えた。
本態様によれば、第１薬剤のマスタ画像を取得し、第２薬剤の表面への光の照明方向がそれぞれ異なる第２薬剤の複数の撮影画像を取得し、第２薬剤の刻印部分を強調する処理を行って第１強調画像を生成し、第２薬剤の印字部分を強調する処理を行って第２強調画像を生成し、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報により指定された画像とマスタ画像とを照合し、第１薬剤と第２薬剤とが同一であるか否かを判定するようにしたので、識別情報が刻印であっても印字であっても、識別情報を適切に認識することができる。
第１薬剤のマスタ画像を記憶するマスタ画像記憶部を備え、指定情報は、マスタ画像に関連付けられてマスタ画像記憶部に記憶されていることが好ましい。これにより、指定情報を適切に取得することができる。
撮影制御部は、照明部の複数の光源のうち２以上の光源により第２薬剤に対して光を照射した第２薬剤の撮影画像を取得することが好ましい。これにより、薬剤の印字部分を適切に強調することができる。
照明部は、第２薬剤の表側及び裏側に光を照射し、撮影部は、第２薬剤の表側及び裏側を撮影することが好ましい。これにより、薬剤の向きに依らずに適切な撮影画像を取得することができる。
照明部は、第１方向に光を照射する第１光源と、第２方向に光を照射する第２光源と、第３方向に光を照射する第３光源と、第４方向に光を照射する第４光源と、を備え、第２方向は表面の平面視において第１方向と対向する方向であり、第３方向は表面の平面視において第１方向と直交する方向であり、第４方向は表面の平面視において第３方向と対向する方向であることが好ましい。これにより、薬剤への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を適切に取得することができる。
上記目的を達成するために画像処理方法の一の態様は、第１薬剤のマスタ画像を取得するマスタ画像取得工程と、第２薬剤の表面への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を取得する撮影画像取得工程と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて第２薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理工程と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて第２薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理工程と、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報を取得する指定情報取得工程と、指定情報により指定された画像とマスタ画像とを照合し、第１薬剤と第２薬剤とが同一であるか否かを判定する判定工程と、を備えた。
本態様によれば、第１薬剤のマスタ画像を取得し、第２薬剤の表面への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を取得し、第２薬剤の刻印部分を強調する処理を行って第１強調画像を生成し、第２薬剤の印字部分を強調する処理を行って第２強調画像を生成し、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報により指定された画像とマスタ画像とを照合し、第１薬剤と第２薬剤とが同一であるか否かを判定するようにしたので、識別情報が刻印であっても印字であっても、識別情報を適切に認識することができる。
上記目的を達成するためにプログラムの一の態様は、第１薬剤のマスタ画像を取得するマスタ画像取得機能と、第２薬剤の表面への光の照明方向がそれぞれ異なる第２薬剤の複数の撮影画像を取得する撮影画像取得機能と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて第２薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理機能と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて第２薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理機能と、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報を取得する指定情報取得機能と、指定情報により指定された画像とマスタ画像とを照合し、第１薬剤と第２薬剤とが同一であるか否かを判定する判定機能と、をコンピュータに実行させる。
本態様によれば、第１薬剤のマスタ画像を取得し、第２薬剤の表面への光の照明方向がそれぞれ異なる第２薬剤の複数の撮影画像を取得し、第２薬剤の刻印部分を強調する処理を行って第１強調画像を生成し、第２薬剤の印字部分を強調する処理を行って第２強調画像を生成し、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報により指定された画像とマスタ画像とを照合し、第１薬剤と第２薬剤とが同一であるか否かを判定するようにしたので、識別情報が刻印であっても印字であっても、識別情報を適切に認識することができる。
上記目的を達成するために薬剤検査支援装置の一の態様は、薬剤を検査する薬剤検査支援装置において、薬剤の薬剤マスタ画像を含む薬剤データベースからの薬剤マスタ画像と、検査する薬剤を撮影した撮影画像とを照合し、撮影画像に存在する薬剤がいずれの薬剤に該当するかを判別する薬剤判別部と、検査する薬剤の一覧表であって、薬剤マスタ画像と、撮影画像における各薬剤と判別された薬剤領域画像とを、位置を揃えてかつ刻印部分もしくは印字部分を強調して表示する一覧表を作成する一覧作成部と、を備えた。
本態様によれば、薬剤の薬剤マスタ画像と、撮影画像における薬剤領域画像とを、位置を揃えてかつ刻印部分もしくは印字部分を強調して表示するようにしたので、識別情報が刻印であっても印字であっても、識別情報をユーザに適切に認識させることができる。
本発明によれば、識別情報が刻印であっても印字であっても、識別情報を適切に認識することができる。
薬剤検査支援装置の構成を示す図 分包袋の画像を取得する様子を示す側面図 分包袋の画像を取得する様子を示す上面図 処理部の内部構成を示す図 薬剤検査支援方法の処理を示すフローチャート 画像処理の結果の一例を示す図 画像処理の結果の一例を示す図 画像処理の結果の一例を示す図 画像処理の結果の一例を示す図 薬剤検査支援装置の構成を示す図 処理部の内部構成を示す図 薬剤検査支援方法の処理を示すフローチャート 薬剤検査支援方法の処理を示すフローチャート 薬剤検査支援装置の構成を示す図 分包袋の画像を取得する様子を示す側面図 分包袋の画像を取得する様子を示す上面図 薬剤検査支援方法の処理を示すフローチャート 薬剤検査支援装置の構成を示す図 薬剤検査支援方法の処理を示すフローチャート 薬剤検査支援方法の処理を示すフローチャート 薬剤検査支援装置の構成を示す図 処理部の内部構成を示す図 薬剤検査支援方法の処理を示すフローチャート 一覧表を示す図 比較例の一覧表を示す図
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
＜第１の実施形態＞
第１の実施形態に係る薬剤検査支援装置は、マスタ画像と撮影画像とを照合して薬剤の監査を支援する装置であり、薬剤に付された識別情報が刻印によって付された場合であっても、印字によって付された場合であっても、正確な照合を行う。
なお、刻印によって付されたとは、薬剤の表面に陥没領域である溝を形成することによって識別情報が形成されたことをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものであってもよい。また、刻印は、割線等の識別機能を伴わないものも含んでもよい。
また、印字によって付されたとは、錠剤の表面に接触又は非接触で可食性インク等を付与することによって識別情報が形成されたことをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。
図１は、第１の実施形態に係る薬剤検査支援装置１の構成を示す図である。薬剤検査支援装置１は処理部１０、記憶部４０、表示部５０、操作部６０、及び搬送機構７０を備えている。また、処理部１０には照明部３２、カメラ３６Ａ、カメラ３６Ｂ、及び処方箋リーダ３８が接続されている。
図２は、薬剤検査支援装置１において分包袋（に分包された薬剤）の画像を取得する様子を示す側面図であり、図３は上面図である。
照明部３２は、分包袋ＴＰが連続して構成される薬包帯ＰＢに光を照射する複数の光源３４を備えている。分包袋ＴＰには、それぞれ調剤された薬剤が分包されている。複数の光源３４は、薬包帯ＰＢの上側（図２の＋ｚ方向側）及び下側（図２の−ｚ方向側）に、それぞれ４つの光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗが配置される。なお、図２においては薬包帯ＰＢの上側及び下側の光源３４Ｎ及び３４Ｓの図示を、図３においては薬包帯ＰＢの下側の４つの光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗの図示を、それぞれ省略している。
薬包帯ＰＢの上側の光源３４Ｎ（第１光源の一例）、３４Ｓ（第２光源の一例）、３４Ｅ（第３光源の一例）、及び３４Ｗ（第４光源の一例）は、ｘｙ平面視においてそれぞれ図３の−ｙ方向（第１方向の一例）、＋ｙ方向（第２方向の一例）、−ｘ方向（第３方向の一例）、及び＋ｘ方向（第４方向の一例）に光を照射する。即ち、光源３４Ｓの照明方向はｘｙ平面視において光源３４Ｎの照明方向と対向する方向であり、光源３４Ｅの照明方向はｘｙ平面視において光源３４Ｎの照明方向と直交する方向であり、光源３４Ｗの照明方向はｘｙ平面視において光源３４Ｅの照明方向と対向する方向である。
薬包帯ＰＢの下側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗについても、同様に配置されている。これにより、照明部３２は、分包袋ＴＰ（に分包された薬剤）の表側及び裏側に光を照射する。
カメラ３６Ａ及びカメラ３６Ｂ（撮影部の一例）は、デジタルカメラにより構成される。図２に示すように、カメラ３６Ａは薬包帯ＰＢの上側に、カメラ３６Ｂは薬包帯ＰＢの下側に配置される。カメラ３６Ａ及びカメラ３６Ｂは、分包袋ＴＰ（に分包された薬剤）の表側及び裏側を撮影する。
分包袋ＴＰ（薬包帯ＰＢ）は、搬送機構７０により図３の＋ｘ方向（薬包帯ＰＢの長手方向）に搬送される。撮影の際には、分包袋ＴＰの上側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗによって分包袋ＴＰの上側が、分包袋ＴＰの下側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗによって分包袋ＴＰの下側が、それぞれ４方向から照明される。なお、分包袋ＴＰには、撮影の際には複数の光源３４から照射される光以外の光は照射されないことが好ましい。
図３に示すように、分包袋ＴＰの上側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗのそれぞれとカメラ３６Ａの撮影光軸ＰＡとの間隔（ｄ１、ｄ２、ｄ３、ｄ４）は同じである。つまり、複数の光源３４と撮影光軸ＰＡとが等間隔（ｄ１＝ｄ２＝ｄ３＝ｄ４）である。分包袋ＴＰの下側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗのそれぞれとカメラ３６Ｂについても、同様に配置されている。
薬剤検査支援装置１に、分包袋ＴＰを載置するステージを設けてもよい。この場合、ステージは、分包袋ＴＰの下側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗから照射される光を透過する素材で構成すればよい。
図１に示す処方箋リーダ３８（処方箋情報取得部の一例）は、処方箋を読み取って処方箋情報を取得する。例えばＯＣＲ（Optical Character Recognition）により、紙に記載された処方箋から患者氏名、処方された薬剤、及びその数量等の情報を読み取る。処方された薬剤に関する情報を示すバーコード等が処方箋に記録されている場合は、処方された薬剤及びその数量等の情報をバーコードから読み取ってもよい。また、ユーザが処方箋を読み取り、操作部６０が有するキーボード等の入力デバイスにより処方箋情報を入力してもよい。処方箋リーダ３８によって取得された処方箋情報は、記憶部４０に記憶される。
ここでは処方箋を読み取って処方箋情報を取得する例を説明したが、処方箋リーダ３８は、処方箋情報に代えて各種の処方データを取得することができる。処方データとしては、処方箋に記載された情報そのものでもよいし、処方箋に記載された情報に基づいて医師及び／又は薬剤師が設定及び／又は変更等した情報でもよい。例えば、処方箋に先発医薬品の名称が記載されている場合に後発医薬品（ジェネリック医薬品）に変更する、あるいは薬剤の一般名称しか記載されていない場合に先発医薬品または後発医薬品を選択する、等を行って得られた情報も処方データに含めることができる。
記憶部４０はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体により構成される薬剤データベースである。記憶部４０には、処方箋情報、マスタ画像の他、カメラ３６Ａ及びカメラ３６Ｂにより取得した撮影画像、又は撮影画像に画像処理を施した処理済み撮影画像（撮影画像に基づく画像）が互いに関連づけて記憶される。
表示部５０はモニタ５２を備えており、処方箋リーダ３８から取得された処方箋情報、分包された薬剤の撮影画像、記憶部４０に記憶されたマスタ画像等を表示することができる。操作部６０はマウス等のポインティングデバイス及びキーボード等の入力デバイスを含んでおり、ユーザはモニタ５２に表示された画像、ボタン等を操作部６０により操作することができる。
搬送機構７０は、分包袋ＴＰ（薬包帯ＰＢ）を図３の＋ｘ方向に搬送する。
〔処理部の構成〕
図４は、処理部１０（画像処理装置の一例）の内部構成を示す図である。図４に示すように、処理部１０は、マスタ画像取得部１２、撮影画像取得部１４、第１画像処理部１８、第２画像処理部２０、画像統合部２２、及び判定部２４を備えている。
マスタ画像取得部１２は、処方箋リーダ３８から取得した処方箋情報に基づいて、処方された薬剤のマスタ画像を記憶部４０（マスタ画像記憶部の一例）から読み出し、取得する。マスタ画像は、薬剤の基準画像、又は基準画像に画像処理を施した処理済み画像である。マスタ画像は、識別情報の輝度値が他の部分に対して相対的に大きく表現されている。マスタ画像は、１つの薬剤に対して、一方の面側（例えば表側）のマスタ画像と他方の面側（例えば裏側）のマスタ画像との一対のマスタ画像があり、これらは関連付けられて予め記憶部４０に記憶されている。
撮影画像取得部１４（撮影制御部の一例）は、照明部３２、カメラ３６Ａ及びカメラ３６Ｂを制御し、分包袋ＴＰに分包された薬剤の表面への光の照明方向がそれぞれ異なる薬剤の複数の撮影画像を取得する。また、撮影画像取得部１４は、薬剤検出部１６を備えている。薬剤検出部１６は、取得した複数の撮影画像のそれぞれから薬剤の写った領域を検出する。
第１画像処理部１８は、撮影画像取得部１４が取得した複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する。複数枚の撮影画像に基づいて第１強調画像を生成する場合は、各撮影画像に対して薬剤の刻印部分を強調する処理を行い、処理後の画像を加算又は乗算して合成すればよい。
第２画像処理部２０は、撮影画像取得部１４が取得した複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、第２強調画像を生成する。複数枚の撮影画像に基づいて第２強調画像を生成する場合は、各撮影画像に対して薬剤の印字部分を強調する処理を行い、処理後の画像を加算又は乗算して合成すればよい。
画像統合部２２は、第１画像処理部１８が生成した第１強調画像と第２画像処理部２０が生成した第２強調画像とを統合して、照合対象画像としての統合画像を生成する。
判定部２４は、画像統合部２２が生成した統合画像とマスタ画像取得部１２が取得したマスタ画像とを照合して、処方箋によって調剤されるべき薬剤と、分包袋ＴＰに分包された薬剤とが同一であるか否かを判定する。
判定部２４は、類似度算出部２６を備えている。類似度算出部２６は、画像統合部２２が生成した統合画像とマスタ画像取得部１２が取得したマスタ画像とが類似する度合を示す類似度を算出する。判定部２４は、類似度に基づいて統合画像とマスタ画像とを照合する。
これらの機能による薬剤検査支援方法の詳細な処理は後述する。
〔薬剤検査支援方法の処理〕
薬剤検査支援装置１による薬剤検査支援方法（画像処理方法の一例）について説明する。図５は薬剤検査支援方法の処理を示すフローチャートである。
ステップＳ１では、処方箋リーダ３８において処方箋を読み取り、処方箋情報を取得する。記憶部４０に予め記憶されている処方箋情報を用いてもよい。
ステップＳ２（撮影画像取得工程の一例、撮影画像取得機能の一例）では、撮影画像取得部１４において照明部３２、カメラ３６Ａ及びカメラ３６Ｂを制御して、薬包帯ＰＢの分包袋ＴＰに分包された薬剤（第２薬剤の一例）を撮影し、複数の撮影画像を取得する。
ここでは、撮影画像取得部１４は、分包袋ＴＰの上側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗを１つずつ順番に点灯させ、他を消灯させることで、分包袋ＴＰを照射する照明方向を順番に切り替え、かつ、照明方向が切り替わるごとにカメラ３６Ａによって分包袋ＴＰの撮影を繰り返し行わせる。これにより、撮影画像取得部１４は、分包袋ＴＰの上側の撮影画像であって、照明方向がそれぞれ異なる４方向の撮影画像（第２薬剤の複数の撮影画像）を取得する。
また、撮影画像取得部１４は、分包袋ＴＰの下側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗを１つずつ順番に点灯させ、他を消灯させることで、分包袋ＴＰを照射する照明方向を順番に切り替え、かつ、照明方向が切り替わるごとにカメラ３６Ｂによって分包袋ＴＰの撮影を繰り返し行わせる。これにより、撮影画像取得部１４は、分包袋ＴＰの下側の撮影画像であって、照明方向がそれぞれ異なる４方向の撮影画像を取得する。
さらに、分包袋ＴＰの上側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗを全て（２以上の光源の一例）点灯させた状態でカメラ３６Ａによって分包袋ＴＰの撮影を行って、撮影画像（全点灯画像）を取得してもよいし、分包袋ＴＰの下側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗを全て点灯させた状態でカメラ３６Ｂによって分包袋ＴＰの撮影を行って、撮影画像を取得してもよい。
ステップＳ３では、薬剤検出部１６において、撮影画像取得部１４が取得した複数の撮影画像からそれぞれ薬剤の写った領域（薬剤領域）を検出する。分包袋ＴＰには複数の薬剤が分包されているため、１枚の撮影画像から複数の薬剤領域を検出する。薬剤領域を検出することで、処理を行う領域を限定することができ、処理にかかる時間を短縮することができる。なお、同じ薬剤についての薬剤領域であって、カメラ３６Ａの撮影画像から検出された薬剤領域と、カメラ３６Ｂの撮影画像から検出された薬剤領域とを、同じ薬剤の一対の薬剤領域として関連付けて検出する。
ステップＳ４（第１画像処理工程の一例、第１画像処理機能の一例）では、第１画像処理部１８において、撮影画像取得部１４が取得した複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて、薬剤の刻印部分を強調する処理を行う。ここでは、ステップＳ３で検出した複数の薬剤領域のうち同じ薬剤の一対の薬剤領域について、それぞれ一対の第１強調画像を生成する。生成された複数対の第１強調画像は、画像統合部２２に入力される。
薬剤の刻印部分を強調する処理としては、例えば、照度差ステレオ法等により薬剤の表面の三次元情報を取得して第１強調画像を生成する。第１強調画像として、例えば特許文献１に記載された、画像の濃淡（輝度）で高さを表現した輪郭抽出画像を適用することができる。ここでは、第１強調画像は、薬剤の刻印の溝の部分の画素の輝度値が大きく表現される。
ステップＳ５（第２画像処理工程の一例、第２画像処理機能の一例）では、第２画像処理部２０において、撮影画像取得部１４が取得した複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて、薬剤の印字部分を強調する処理を行う。ここでは、ステップＳ３で検出した複数の薬剤領域のうち同じ薬剤の一対の薬剤領域について、それぞれ一対の第２強調画像を生成する。生成された複数対の第２強調画像は、画像統合部２２に入力される。
薬剤の印字部分を強調する処理としては、例えば、ノイズ成分を低減するための平滑化処理、エッジを強調するための鮮鋭化処理、及び印字部分以外を除去するためのエッジ検出処理の少なくとも１つを施し、２値化処理を行う。また、画素値の平均値との差分の絶対値を画素値とする処理、画素値の平均値との除算結果を画素値とする処理、ぼかした画像で除算する処理、局所的な画素値の差分を適用する処理等の、公知の方法を用いることができる。ここでは、第２強調画像は、薬剤の印字部分の画素の輝度値が大きく表現される。
ステップＳ６（画像統合工程の一例、画像統合機能の一例）では、画像統合部２２において、同じ撮影画像から生成された第１強調画像及び第２強調画像について、それぞれ対応する位置の画素の輝度値を比較し、輝度が相対的に大きい方の画素の輝度値を採用して、統合画像を生成する。ここでは、同じ薬剤領域から生成した一対の第１強調画像及び一対の第２強調画像から、一対の統合画像を生成する。生成された複数対の統合画像は、判定部２４に入力される。
ステップＳ７（マスタ画像取得工程の一例、マスタ画像取得機能の一例）では、ステップＳ１で取得した処方箋情報に含まれる複数の薬剤（第１薬剤の一例）のうちの１つの薬剤の一対のマスタ画像を取得する。記憶部４０に記憶された基準画像をそのまま取得してマスタ画像としてもよいし、基準画像に対し拡大又は縮小、明るさ調整等の画像処理を施してマスタ画像としてもよい。前述のように、１つの薬剤に対して一対のマスタ画像が存在する。
ステップＳ８では、判定部２４において、ステップＳ６で生成した複数対の統合画像のうち、一対の統合画像を選択する。
ステップＳ９では、類似度算出部２６において、ステップＳ７で取得した一対のマスタ画像とステップＳ８で選択された一対の統合画像との、類似度を算出する。ここでの類似度は、類似性が高いほど大きい値として算出される。
ステップＳ１０（判定工程の一例、判定機能の一例）では、判定部２４において、ステップＳ９で算出された類似度に基づいて、処方箋に記載された薬剤（第１薬剤）と撮影した薬剤（第２薬剤）とが同一であるか否かを判定する。ここでは、類似度が予め定められた閾値よりも大きい場合に、同一であると判定する。
なお、ステップＳ７で取得した一対のマスタ画像に対して全ての統合画像との類似度を算出し、最も類似度が高い統合画像についてマスタ画像の薬剤と統合画像の薬剤とが同一の薬剤であると判定してもよい。
ステップＳ１１では、処理部１０において、全ての統合画像についての照合が終了したか否かを判定する。照合が終了していない統合画像が存在する場合は、ステップＳ８に戻り、新たな統合画像を選択し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１２に移行する。
ステップＳ１２では、ステップＳ７において選択したマスタ画像の薬剤と同一の薬剤、即ち処方箋に記載された薬剤と同一の薬剤が存在したか否かを判定する。処方箋に記載された薬剤が存在しないと判定された場合は、ステップＳ１３に移行する。また、処方箋に記載された薬剤が存在すると判定された場合は、ステップＳ１４に移行する。
ステップＳ１３では、表示部５０において、モニタ５２に処方箋に記載された薬剤が存在しない旨を表示し（エラー表示）、本フローチャートの処理を終了する。
ステップＳ１４では、処理部１０において、処方箋に記載された全ての薬剤（ステップＳ１で読み取った処方箋情報に含まれる全ての薬剤）についての照合が終了したか否かを判定する。照合が終了していない薬剤が存在する場合は、ステップＳ７に戻り、新たな一対のマスタ画像を取得し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１５に移行する。
ステップＳ１５では、処理部１０において、薬包帯ＰＢに含まれる全ての分包袋ＴＰについての照合が完了したか否かを判定する。照合が終了していない分包袋ＴＰが存在する場合は、ステップＳ２に戻り、薬包帯ＰＢを搬送して新たな分包袋ＴＰの撮影画像を取得し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１６に移行する。
ステップＳ１６では、表示部５０において、モニタ５２に監査結果が正常である旨を表示（正常表示）し、本フローチャートの処理を終了する。
図６〜図９は、各画像処理の結果の一例を示す図である。図６に示す薬剤領域Ａ１〜Ａ１１は、表面に刻印が付された薬剤の撮影画像から検出された薬剤領域の一例である。同様に、図７に示す薬剤領域Ａ１２〜Ａ２２は、表面に刻印が付された薬剤の撮影画像から検出された薬剤領域の一例である。
また、図８に示す薬剤領域Ａ２３〜Ａ３３は、表面に印字が付された薬剤の撮影画像から検出された薬剤領域の一例である。同様に、図９に示す薬剤領域Ａ３４〜Ａ４４は、表面に印字が付された薬剤の撮影画像から検出された薬剤領域の一例である。
なお、図６〜図９に示した薬剤領域Ａ１〜Ａ４４が検出された撮影画像は、光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗを全て点灯させた状態で取得された全点灯画像である。また、薬剤領域Ａ１〜Ａ４４は、薬剤の一方の面側の撮影画像から取得された薬剤領域と、他方の面側の撮影画像から取得された薬剤領域とが混在している。
図６〜図９に示す第１強調画像Ｂ１〜Ｂ４４は、それぞれ薬剤領域Ａ１１〜Ａ４４と同じ領域から生成された第１強調画像の一例である。ここでは、光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗを個別に点灯させた状態で撮影した４枚（３枚以上の一例）の撮影画像の各薬剤領域に基づいて生成した第１強調画像を示している。
また、図６〜図９に示す第２強調画像Ｃ１〜Ｃ４４は、それぞれ薬剤領域Ａ１１〜Ａ４４から生成された第２強調画像の一例である。
図６〜図９に示す統合画像Ｄ１〜Ｄ４４は、それぞれ第１強調画像Ｂ１〜Ｂ４４及び第２強調画像Ｃ１〜Ｃ４４から生成された統合画像の一例である。図６及び図７に示す薬剤においては、第１強調画像Ｂ１〜Ｂ２２の方が第２強調画像Ｃ１〜Ｃ２２よりも識別情報の輝度値が相対的に大きく（白色に）表現されている。このため、統合画像として主に第１強調画像Ｂ１〜Ｂ２２の画素が採用される。
一方、図８及び図９に示す薬剤においては、第２強調画像Ｃ２３〜Ｃ４４の方が第１強調画像Ｂ２３〜Ｂ４４よりも識別情報の輝度値が相対的に大きく表現されている。このため、統合画像として主に第２強調画像Ｃ２３〜Ｃ４４の画素が採用される。
本実施形態では、第１画像処理部１８において薬剤の刻印部分の画素の輝度値が大きくなる処理を行い、第２画像処理部２０において薬剤の印字部分の画素の輝度値が大きくなる処理を行い、画像統合部２２において第１強調画像及び第２強調画像のそれぞれ対応する位置の画素の輝度値を比較し、輝度が大きい方の画素の輝度値を採用したが、マスタ画像の識別情報の輝度値が他の部分に対して相対的に小さく表現されている場合は、第１画像処理部１８において薬剤の刻印部分の画素の輝度値が小さくなる処理を行い、第２画像処理部２０において薬剤の印字部分の画素の輝度値が小さくなる処理を行い、画像統合部２２において第１強調画像及び第２強調画像のそれぞれ対応する位置の画素の輝度値を比較し、輝度が小さい方の画素の輝度値を採用すればよい。
また、本実施形態では、薬剤検出部１６によって検出した領域について第１強調画像及び第２強調画像を生成したが、撮影画像の第１強調画像及び第２強調画像を生成してから薬剤の領域を検出してもよい。
以上のように、調剤された第２薬剤の刻印部分を強調する処理を行って第１強調画像を生成し、かつ第２薬剤の印字部分を強調する処理を行って第２強調画像を生成し、第１強調画像と第２強調画像とを統合して統合画像を生成し、この統合画像を用いて調剤されるべき第１薬剤のマスタ画像との照合を行うようにしたので、第２薬剤に付された識別情報が刻印であっても印字であっても、識別情報を適切に認識することができ、正確な照合を行うことができる。
＜第２の実施形態＞
図１０は、第２の実施形態に係る薬剤検査支援装置２の構成を示す図である。なお、図１に示した薬剤検査支援装置１と共通する部分には同一の符号を付し、その詳細な説明は省略する。薬剤検査支援装置２は、処理部１１を備えている。処理部１１には、照明部３２、カメラ３６Ａ、カメラ３６Ｂ、及び処方箋リーダ３８が接続されている。
照明部３２は、複数の光源３４を備えている。複数の光源３４、カメラ３６Ａ、及びカメラ３６Ｂの配置は、図２及び図３に示した薬剤検査支援装置１と同様である。
〔処理部の構成〕
図１１は、処理部１１（画像処理装置の一例）の内部構成を示す図である。なお、図４に示した処理部１０と共通する部分には同一の符号を付し、その詳細な説明は省略する。図１１に示すように、処理部１１は、指定情報取得部２８を備えている。
指定情報は、第１画像処理部１８が生成した第１強調画像と第２画像処理部２０が生成した第２強調画像とのうち、いずれの画像を照合に用いるかを薬剤毎に指定した情報である。
識別情報が刻印によって付されている薬剤は、薬剤の刻印部分を強調する処理を行った第１強調画像を用いると識別情報が判別しやすくなる。したがって、刻印の薬剤のマスタ画像に関連付けられた指定情報は、照合に用いる照合対象画像として第１強調画像を指定する。また、識別情報が印字によって付されている薬剤は、薬剤の印字部分を強調する処理を行った第２強調画像を用いると識別情報が判別しやすくなる。したがって、印字の薬剤のマスタ画像に関連付けられた指定情報は、照合に用いる照合対象画像として第２強調画像を指定する。
指定情報は、マスタ画像等の薬剤の情報に関連付けられて記憶部４０に記憶されている。指定情報取得部２８は、処方箋リーダ３８から取得した処方箋情報に基づいて、処方された薬剤の指定情報を記憶部４０から読み出し、取得する。
第１画像処理部１８が生成した第１強調画像、及び第２画像処理部２０が生成した第２強調画像は、判定部２４に入力される。判定部２４は、指定情報取得部２８が取得した指定情報に基づいて、第１強調画像及び第２強調画像のうちいずれの画像を照合対象画像として選択する。また、判定部２４は、選択した照合対象画像とマスタ画像取得部１２が取得したマスタ画像とを照合して、処方箋によって調剤されるべき薬剤と、分包袋ＴＰに分包された薬剤とが同一であるか否かを判定する。
〔薬剤検査支援方法の処理〕
薬剤検査支援装置２による薬剤検査支援方法（画像処理方法の一例）について説明する。図１２は薬剤検査支援方法の処理を示すフローチャートである。なお、図５に示したフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
ステップＳ１では、処方箋情報を取得する。
ステップＳ２（撮影画像取得工程の一例、撮影画像取得機能の一例）では、分包袋ＴＰの上側及び下側について、照明方向がそれぞれ異なる４方向の撮影画像と、４方向から全て照射した全点灯画像とを取得する。
ステップＳ３では、複数の撮影画像からそれぞれ薬剤領域を検出する。なお、同じ薬剤についての薬剤領域であって、カメラ３６Ａの撮影画像から検出された薬剤領域と、カメラ３６Ｂの撮影画像から検出された薬剤領域とを、同じ薬剤の一対の薬剤領域として関連付けて検出する。
ステップＳ４（第１画像処理工程の一例、第１画像処理機能の一例）では、薬剤の刻印部分を強調する処理を行って、薬剤領域毎の第１強調画像を生成する。第１画像処理部１８は、同じ薬剤の一対の薬剤領域について、一対の第１強調画像を生成する。ここでは、第１強調画像は、薬剤の刻印の溝の部分の画素の輝度値が大きく表現される。生成された複数対の第１強調画像は、判定部２４に入力される。
ステップＳ５（第２画像処理工程の一例、第２画像処理機能の一例）では、薬剤の印字部分を強調する処理を行って、薬剤領域毎の第２強調画像を生成する。第２画像処理部２０は、同じ薬剤の一対の薬剤領域について、一対の第２強調画像を生成する。ここでは、第２強調画像は、薬剤の印字部分の画素の輝度値が大きく表現される。生成された複数対の第２強調画像は、判定部２４に入力される。
ステップＳ７（マスタ画像取得工程の一例、マスタ画像取得機能の一例）では、ステップＳ１で取得した処方箋情報に含まれる複数の薬剤のうちの１つの薬剤の一対のマスタ画像を取得する。マスタ画像は、識別情報の輝度値が他の部分に対して相対的に大きく表現されている。
ステップＳ２１（指定情報取得工程の一例、指定情報取得機能の一例）では、指定情報取得部２８において、ステップＳ７で取得したマスタ画像に関連づけられた指定情報を記憶部４０から取得する。この指定情報は、第１強調画像と第２強調画像とのうちいずれか一方の画像が指定されている。
ステップＳ２２では、判定部２４において、照合しようとする薬剤の第１強調画像及び第２強調画像のうち、指定情報取得部２８から入力された指定情報で指定された画像を選択する。即ち、指定情報が第１強調画像であれば一対の第１強調画像を、指定情報が第２強調画像であれば一対の第２強調画像を、一対の照合対象画像として選択する。なお、薬剤の一方の面側に刻印、他方の面側に印字が付されている場合は、指定情報が第１強調画像及び第２強調画像であってもよい。この場合は、一対の第１強調画像及び一対の第２強調画像から、適宜必要な第1強調画像及び第２強調画像を選択すればよい。
ステップＳ２３では、類似度算出部２６において、ステップＳ７で取得した一対のマスタ画像とステップＳ２２で選択された一対の照合対象画像とが類似する度合を示す類似度を算出する。ここでの類似度は、類似性が高いほど大きい値として算出される。
ステップＳ２４（判定工程の一例、判定機能の一例）では、判定部２４において、ステップＳ２３で算出された類似度に基づいて、処方箋に記載された薬剤と撮影した薬剤とが同一であるか否かを判定する。ここでは、類似度が予め定められた閾値よりも大きい場合に、同一であると判定する。
ステップＳ２５では、処理部１０において、全ての照合対象画像についての照合が終了したか否かを判定する。照合が終了していない統合画像が存在する場合は、ステップＳ２２に戻り、新たな照合対象画像を選択し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１２に移行する。
ステップＳ１２では、ステップＳ７において選択したマスタ画像の薬剤と同一の薬剤、即ち処方箋に記載された薬剤と同一の薬剤が存在したか否かを判定する。処方箋に記載された薬剤が存在しないと判定された場合は、ステップＳ１３に移行する。また、処方箋に記載された薬剤が存在すると判定された場合は、ステップＳ１４に移行する。
ステップＳ１３では、表示部５０において、モニタ５２に処方箋に記載された薬剤が存在しない旨を表示し（エラー表示）、本フローチャートの処理を終了する。
ステップＳ１４では、処理部１０において、処方箋に記載された全ての薬剤（ステップＳ１で読み取った処方箋情報に含まれる全ての薬剤）についての照合が終了したか否かを判定する。照合が終了していない薬剤が存在する場合は、ステップＳ７に戻り、新たなマスタ画像を取得し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１５に移行する。
ステップＳ１５では、処理部１０において、薬包帯ＰＢに含まれる全ての分包袋ＴＰについての照合が完了したか否かを判定する。照合が終了していない分包袋ＴＰが存在する場合は、ステップＳ２に戻り、薬包帯ＰＢを搬送して新たな分包袋ＴＰの撮影画像を取得し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１６に移行する。
ステップＳ１６では、表示部５０において、モニタ５２に監査結果が正常である旨を表示（正常表示）し、本フローチャートの処理を終了する。
図６及び図７に示す薬剤は、刻印が付されている。この薬剤のマスタ画像に関連付けられた指定情報は、第１強調画像である。したがって、薬剤領域Ａ１〜Ａ２２に係るマスタ画像との照合には、それぞれ第１強調画像Ｂ１〜Ｂ２２が選択される。
一方、図８及び図９に示す薬剤は、印字が付されている。この薬剤のマスタ画像に関連付けられた指定情報は、第２強調画像である。したがって、薬剤領域Ａ２３〜Ａ４４に係るマスタ画像との照合には、それぞれ第２強調画像Ｃ２３〜Ｃ４４が選択される。
本実施形態では、第１画像処理部１８において薬剤の刻印部分の画素の輝度値が大きくなる処理を行い、第２画像処理部２０において薬剤の印字部分の画素の輝度値が大きくなる処理を行ったが、マスタ画像の識別情報の輝度値が他の部分に対して相対的に小さく表現されている場合は、第１画像処理部１８において薬剤の刻印部分の画素の輝度値が小さくなる処理を行い、第２画像処理部２０において薬剤の印字部分の画素の輝度値が小さくなる処理を行えばよい。
以上のように、薬剤の刻印部分を強調する処理を行って第１強調画像を生成し、かつ薬剤の印字部分を強調する処理を行って第２強調画像を生成し、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報を取得し、指定情報により指定された画像とマスタ画像との照合を行うようにしたので、薬剤に付された識別情報が刻印であっても印字であっても、識別情報を適切に認識することができ、正確な照合を行うことができる。
ここでは、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定情報によって指定したが、撮影画像を解析したり、第１強調画像及び第２強調画像を解析したりすることで、識別情報が刻印によって付されているか、又は印字によって付されているかを判定し、判定結果に応じて照合に用いる画像を指定してもよい。
例えば、第1強調画像と第２強調画像とを比較し、第１強調画像の各画素の輝度値の方が高い場合に識別情報が刻印によって付されていると判定し、第２強調画像の各画素の輝度値の方が高い場合に識別情報が印字によって付されていると判定することができる。
また、照明方向がそれぞれ異なる４方向の撮影画像について各画像間の相関を解析し、画像間の相関が低い場合に識別情報が刻印によって付されていると判定し、画像間の相関が高い場合に第識別情報が印字によって付されていると判定してもよい。
＜第３の実施形態＞
〔薬剤検査支援方法の処理〕
図１３は、第３の実施形態に係る薬剤検査支援装置２による薬剤検査支援方法の処理を示すフローチャートである。なお、図１２に示したフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
ステップＳ１〜ステップＳ５は、第２の実施形態と同様である。即ち、処方箋情報を取得し、薬包帯ＰＢの分包袋ＴＰに分包された薬剤を撮影して複数の撮影画像を取得し、複数の撮影画像からそれぞれ薬剤の写った薬剤領域を検出し、薬剤の刻印部分を強調した第１強調画像及び薬剤の印字部分を強調した第２強調画像を生成する。
また、ステップＳ７において一対のマスタ画像を取得し、ステップＳ２１においてマスタ画像に関連づけられた指定情報を取得する。さらに、ステップＳ２２において、照合しようとする薬剤の第１強調画像及び第２強調画像のうち、指定情報で指定された画像を選択する。
そして、ステップＳ２３において、ステップＳ７で取得した一対のマスタ画像とステップＳ２２で選択された一対の照合対象画像との、類似度を算出する。ここでの類似度は、類似性が高いほど大きい値として算出される。
次に、ステップＳ３１では、処理部１０において、ステップＳ７で取得したマスタ画像に対する全ての照合対象画像との組み合わせについて類似度の算出が終了したか否かを判定する。類似度の算出が終了していない照合対象画像が存在する場合は、ステップＳ２２に戻り、新たな一対の照合対象画像を選択し、同様の処理を繰り返す。これにより、ステップＳ７で取得したマスタ画像に対して全ての照合対象画像との組み合わせについて類似度を算出することができる。全ての照合対象画像との組み合わせについて類似度の算出が終了した場合は、ステップＳ３２に移行する。
続いて、ステップＳ３２では、処理部１０において、処方箋に記載された全ての薬剤（ステップＳ１で読み取った処方箋情報に含まれる全ての薬剤）についての類似度の算出が終了したか否かを判定する。類似度の算出が終了していない薬剤が存在する場合は、ステップＳ７に戻り、新たな一対のマスタ画像を取得し、同様の処理を繰り返す。これにより、全てのマスタ画像に対して、ステップＳ２２で取得した全ての照合対象画像との組み合わせについて類似度を算出することができる。全てのマスタ画像についての類似度の算出が終了した場合は、ステップＳ３３に移行する。
ステップＳ３３（判定工程の一例、判定機能の一例）では、判定部２４において、ステップＳ２３で算出された複数のマスタ画像及び複数の照合対象画像の全ての組み合わせの類似度に基づいて、処方箋に記載された薬剤と撮影した薬剤とが同一であるか否かを判定する。
一例として、４枚の照合対象画像（１）、照合対象画像（２）、照合対象画像（３）、及び照合対象画像（４）と、４枚のマスタ画像（Ａ）、マスタ画像（Ｂ）、マスタ画像（Ｃ）、及びマスタ画像（Ｄ）とについて、各組合せの類似度（１Ａ）、類似度（１Ｂ）、類似度（１Ｃ）、類似度（１Ｄ）、類似度（２Ａ）、類似度（２Ｂ）、…、類似度（４Ｃ）、及び類似度（４Ｄ）が算出されているものとする。
ここで、照合対象画像（１）に関する類似度（１Ａ、１Ｂ、１Ｃ、１Ｄ）の中で最も高い類似度が類似度（１Ｂ）であり、マスタ画像（Ｂ）に関する類似度（１Ｂ、２Ｂ、３Ｂ、４Ｂ）の中で最も高い類似度が類似度（１Ｂ）であるとすると、判定部２４は、照合対象画像（１）の示す薬剤がマスタ画像（Ｂ）の示す薬剤であると判定する。
続いて、判定部２４は、照合対象画像（１）とマスタ画像（Ｂ）を照合対象から排除し、同様に類似度が高い組み合わせを選択し、処方箋に記載された薬剤と撮影した薬剤との組み合わせを判定していく。
ステップＳ３４では、ステップＳ３３での判定結果から、分包袋ＴＰに分包された薬剤が処方箋の記載通りか否かを判定する。処方箋通りでないと判定された場合は、ステップＳ１３に移行する。また、処方箋通りであると判定された場合は、ステップＳ３５に移行する。
ステップＳ１３では、表示部５０においてモニタ５２にエラー表示を行い、本フローチャートの処理を終了する。
ステップＳ３５では、処理部１０において、薬包帯ＰＢに含まれる全ての分包袋ＴＰについての照合が完了したか否かを判定する。照合が終了していない分包袋ＴＰが存在する場合は、ステップＳ２に戻り、薬包帯ＰＢを搬送して新たな分包袋ＴＰの撮影画像を取得し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１６に移行する。
ステップＳ１６では、表示部５０においてモニタ５２に正常表示を行い、本フローチャートの処理を終了する。
このように、類似度の相対関係を用いて調剤されるべき薬剤と調剤された薬剤との組み合わせと判定していくことで、撮影した全ての薬剤について、調剤されるべき薬剤と調剤された薬剤とが同一であるか否かを判定することができる。
同様に、第１の実施形態において、複数のマスタ画像及び複数の統合画像の全ての組み合わせの類似度の相対関係に基づいて、処方箋に記載された薬剤と撮影した薬剤とが同一であるか否かを判定することも可能である。
＜第４の実施形態＞
ここまでは薬剤の監査の支援について説明したが、薬剤の鑑別の支援に適用することも可能である。
図１４は、第４の実施形態に係る薬剤検査支援装置３の構成を示す図である。なお、図１に示した薬剤検査支援装置１と共通する部分には同一の符号を付し、その詳細な説明は省略する。また、図１５は、薬剤検査支援装置３において薬剤の画像を取得する様子を示す側面図であり、図１６は上面図である。
薬剤検査支援装置３では、薬剤をシャーレＳＣの内部に載置し、シャーレＳＣを不図示のステージに載置する。なお、薬剤をステージに直接載置してもよいし、薬剤を分包袋に分包した状態でシャーレＳＣ又はステージに載置してもよい。シャーレＳＣ及びステージは、シャーレＳＣの下側の光源３４Ｎ、３４Ｓ、３４Ｅ、及び３４Ｗから照射される光を透過する素材で構成される。
照明部３２は、薬剤検査支援装置１と同様に、複数の光源３４が配置されている。複数の光源３４は、シャーレＳＣに載置された薬剤の表側及び裏側に光を照射する。また、カメラ３６Ａ及びカメラ３６Ｂは、シャーレＳＣに載置された薬剤の表側及び裏側を撮影する。
図１４に示す関連情報取得部８０は、シャーレＳＣに載置された薬剤に関する情報を取得する。例えば、目視等で認識した薬剤の特徴（例えば、錠剤かカプセルか等の薬剤種類、形状、色等）、あるいはいわゆる「おくすり手帳」等の手帳に記載された薬剤名称、数量、服用方法等の情報を、ユーザの操作に応じて関連情報として取得する。関連情報は、処方データであってもよい。関連情報取得部８０によって取得された関連情報は、記憶部４０に記憶される。
薬剤検査支援装置３のその他の構成は、薬剤検査支援装置１の構成と同様である。
〔薬剤検査支援方法の処理〕
薬剤検査支援装置３による薬剤検査支援方法について説明する。図１７は薬剤検査支援方法の処理を示すフローチャートである。なお、図５に示したフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
ステップＳ４１では、関連情報取得部８０は、ユーザの操作によってシャーレＳＣに載置された全ての薬剤の関連情報を取得する。
続くステップＳ２では、撮影画像取得部１４において照明部３２、カメラ３６Ａ及びカメラ３６Ｂを制御して、シャーレＳＣに載置された薬剤を撮影し、複数の撮影画像を取得する。ここでは、シャーレＳＣの上側及び下側について、照明方向がそれぞれ異なる４方向の撮影画像と、４方向から全て照射した全点灯画像とを取得する。
ステップＳ３では、薬剤検出部１６において、撮影画像取得部１４が取得した複数の撮影画像からそれぞれ薬剤の写った領域を検出する。なお、同じ薬剤についての薬剤領域であって、カメラ３６Ａの撮影画像から検出された薬剤領域と、カメラ３６Ｂの撮影画像から検出された薬剤領域とを、同じ薬剤の一対の薬剤領域として関連付けて検出する。
ステップＳ４では、第１画像処理部１８において、撮影画像取得部１４が取得した複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて、薬剤の刻印部分を強調する処理を行う。また、ステップＳ５では、第２画像処理部２０において、撮影画像取得部１４が取得した複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて、薬剤の印字部分を強調する処理を行う。
ステップＳ６では、画像統合部２２において、同じ撮影画像から生成された第１強調画像及び第２強調画像について、それぞれ対応する位置の画素の輝度値を比較し、輝度が相対的に大きい方の画素の輝度値を採用して、一対の統合画像を生成する。
ステップＳ７では、処理部１０のマスタ画像取得部１２は、関連情報取得部８０によって取得した関連情報に基づいて、薬剤のマスタ画像を記憶部４０から読み出し、取得する。
ステップＳ８では、判定部２４において、ステップＳ６で生成した複数対の統合画像のうち、一対の統合画像を選択する。
ステップＳ９では、類似度算出部２６において、ステップＳ７で取得した一対のマスタ画像とステップＳ８で選択された一対の統合画像との、類似度を算出する。ここでの類似度は、類似性が高いほど大きい値として算出される。
ステップＳ１０では、判定部２４において、ステップＳ９で算出された類似度に基づいて、関連情報を取得した薬剤と撮影した薬剤とが同一であるか否かを判定する。
ステップＳ１１では、処理部１０において、全ての統合画像についての照合が終了したか否かを判定する。照合が終了していない統合画像が存在する場合は、ステップＳ８に戻り、新たな統合画像を選択し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１２に移行する。
ステップＳ１２では、ステップＳ７において選択したマスタ画像の薬剤と同一の薬剤、即ち関連情報を取得した薬剤と同一の薬剤が存在したか否かを判定する。関連情報を取得した薬剤が存在しないと判定された場合は、ステップＳ１３に移行する。また、関連情報を取得した薬剤が存在すると判定された場合は、ステップＳ１６に移行する。
ステップＳ１３では、表示部５０において、関連情報を取得した薬剤が存在しない旨をモニタ５２に表示し（エラー表示）、本フローチャートの処理を終了する。
ステップＳ１４では、処理部１０において、関連情報を取得した全ての薬剤についての照合が終了したか否かを判定する。照合が終了していない薬剤が存在する場合は、ステップＳ７に戻り、新たな一対のマスタ画像を取得し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１６に移行する。
ステップＳ１６では、表示部５０において、鑑別結果が正常である旨をモニタ５２に表示（正常表示）し、本フローチャートの処理を終了する。
以上のように、薬剤の関連情報を取得して薬剤の鑑別を行う装置に適用した場合であっても、識別情報を適切に認識することができ、正確な照合を行うことができる。
＜第５の実施形態＞
図１８は、第５の実施形態に係る薬剤検査支援装置４の構成を示す図である。なお、図１４に示した薬剤検査支援装置３と共通する部分には同一の符号を付し、その詳細な説明は省略する。
薬剤検査支援装置４は、薬剤検査支援装置３の処理部１０に代えて処理部１１を備えている。処理部１１の内部構成は、図１１に示した構成と同様である。
〔薬剤検査支援方法の処理〕
薬剤検査支援装置４による薬剤検査支援方法について説明する。図１９は薬剤検査支援方法の処理を示すフローチャートである。なお、図１２に示したフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
ステップＳ４１では、関連情報取得部８０は、ユーザの操作によって関連情報を取得する。
ステップＳ２では、シャーレＳＣの上側及び下側について、照明方向がそれぞれ異なる４方向の撮影画像と、４方向から全て照射した全点灯画像とを取得する。
ステップＳ３では、複数の撮影画像からそれぞれ薬剤領域を検出する。
ステップＳ４では、薬剤の刻印部分を強調する処理を行って、薬剤領域毎の第１強調画像を生成する。また、ステップＳ５では、薬剤の印字部分を強調する処理を行って、薬剤領域毎の第２強調画像を生成する。
ステップＳ７では、ステップＳ１で取得した関連情報に含まれる複数の薬剤のうちの１つの薬剤の一対のマスタ画像を取得する。マスタ画像は、識別情報の輝度値が他の部分に対して相対的に大きく表現されている。
ステップＳ２１では、指定情報取得部２８において、ステップＳ７で取得したマスタ画像に関連づけられた指定情報を記憶部４０から取得する。この指定情報は、第１強調画像と第２強調画像とのうちいずれか一方の画像が指定されている。
ステップＳ２２では、判定部２４において、照合しようとする薬剤の第１強調画像及び第２強調画像のうち、指定情報取得部２８から入力された指定情報で指定された画像を選択する。即ち、指定情報が第１強調画像であれば一対の第１強調画像を、指定情報が第２強調画像であれば一対の第２強調画像を、一対の照合対象画像として選択する。
ステップＳ２３では、類似度算出部２６において、ステップＳ７で取得した一対のマスタ画像とステップＳ２２で選択された一対の照合対象画像とが類似する度合を示す類似度を算出する。
ステップＳ２４では、判定部２４において、ステップＳ２３で算出された類似度に基づいて、関連情報を取得した薬剤と撮影した薬剤とが同一であるか否かを判定する。
ステップＳ２５では、処理部１０において、全ての照合対象画像についての照合が終了したか否かを判定する。照合が終了していない統合画像が存在する場合は、ステップＳ２２に戻り、新たな照合対象画像を選択し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１２に移行する。
ステップＳ１２では、ステップＳ７において選択したマスタ画像の薬剤と同一の薬剤、即ち関連情報を取得した薬剤と同一の薬剤が存在したか否かを判定する。関連情報を取得した薬剤が存在しないと判定された場合は、ステップＳ１３に移行する。また、関連情報を取得した薬剤が存在すると判定された場合は、ステップＳ１４に移行する。
ステップＳ１３では、表示部５０において、関連情報を取得した薬剤が存在しない旨をモニタ５２に表示し（エラー表示）、本フローチャートの処理を終了する。
ステップＳ１４では、処理部１０において、関連情報を取得した全ての薬剤についての照合が終了したか否かを判定する。照合が終了していない薬剤が存在する場合は、ステップＳ７に戻り、新たなマスタ画像を取得し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１６に移行する。
ステップＳ１６では、表示部５０において、鑑別結果が正常である旨をモニタ５２に表示（正常表示）し、本フローチャートの処理を終了する。
以上のように、薬剤の関連情報を取得して薬剤の鑑別を行う装置に適用した場合であっても、指定情報を取得し、指定情報により指定された画像とマスタ画像との照合を行うことで、正確な照合を行うことができる。
＜第６の実施形態＞
〔薬剤検査支援方法の処理〕
図２０は、第６の実施形態に係る薬剤検査支援装置４による薬剤検査支援方法の処理を示すフローチャートである。なお、図１９に示したフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
ステップＳ４１〜ステップＳ５は、第５の実施形態と同様である。即ち、関連情報を取得し、シャーレＳＣに載置された薬剤を撮影して複数の撮影画像を取得し、複数の撮影画像からそれぞれ薬剤の写った薬剤領域を検出し、薬剤の刻印部分を強調した第１強調画像及び薬剤の印字部分を強調した第２強調画像を生成する。
また、ステップＳ７において一対のマスタ画像を取得し、ステップＳ２１においてマスタ画像に関連づけられた指定情報を取得する。さらに、ステップＳ２２において、照合しようとする薬剤の第１強調画像及び第２強調画像のうち、指定情報で指定された画像を選択する。
そして、ステップＳ２３において、ステップＳ７で取得した一対のマスタ画像とステップＳ２２で選択された一対の照合対象画像との、類似度を算出する。ここでの類似度は、類似性が高いほど大きい値として算出される。
次に、ステップＳ３１では、処理部１０において、ステップＳ７で取得したマスタ画像に対する全ての照合対象画像との組み合わせについて類似度の算出が終了したか否かを判定する。類似度の算出が終了していない照合対象画像が存在する場合は、ステップＳ２２に戻り、新たな一対の照合対象画像を選択し、同様の処理を繰り返す。これにより、ステップＳ７で取得したマスタ画像に対して全ての照合対象画像との組み合わせについて類似度を算出することができる。全ての照合対象画像との組み合わせについて類似度の算出が終了した場合は、ステップＳ３２に移行する。
続いて、ステップＳ３２では、処理部１０において、関連情報を取得した全ての薬剤についての類似度の算出が終了したか否かを判定する。類似度の算出が終了していない薬剤が存在する場合は、ステップＳ７に戻り、新たな一対のマスタ画像を取得し、同様の処理を繰り返す。これにより、全てのマスタ画像に対して、ステップＳ２２で取得した全ての照合対象画像との組み合わせについて類似度を算出することができる。全てのマスタ画像についての類似度の算出が終了した場合は、ステップＳ３３に移行する。
ステップＳ３３では、判定部２４において、ステップＳ２３で算出された複数のマスタ画像及び複数の照合対象画像の全ての組み合わせの類似度に基づいて、関連情報を取得した薬剤と撮影した薬剤とが同一であるか否かを判定する。
ステップＳ４２では、ステップＳ３３での判定結果から、シャーレＳＣに載置された薬剤が取得した関連情報と一致するか否かを判定する。関連情報とは異なると判定された場合は、ステップＳ１３に移行する。また、関連情報通りであると判定された場合は、ステップＳ１６に移行する。また、ステップＳ１３では、表示部５０においてモニタ５２にエラー表示を行い、本フローチャートの処理を終了する。
ステップＳ１６では、表示部５０においてモニタ５２に正常表示を行い、本フローチャートの処理を終了する。
以上のように、薬剤の関連情報を取得して薬剤の鑑別を行う装置に適用した場合であっても、類似度の相対関係を用いて調剤されるべき薬剤と調剤された薬剤との組み合わせと判定していくことで、正確な照合を行うことができる。
＜第７の実施形態＞
第７の実施形態に係る薬剤検査支援装置は、処方データに基づいて調剤され、薬包帯の各分包袋に分包される薬剤を検査し、薬剤の一覧表を表示する。
図２１は、第７の実施形態に係る薬剤検査支援装置５の構成を示す図である。なお、図１に示した薬剤検査支援装置１と共通する部分には同一の符号を付し、その詳細な説明は省略する。薬剤検査支援装置５は、処理部９０を備えている。
〔処理部の構成〕
図２２は、処理部９０の内部構成を示す図である。なお、図４に示した処理部１０と共通する部分には同一の符号を付し、その詳細な説明は省略する。
判定部２４は、薬剤判別部に相当する。判定部２４は、マスタ画像取得部１２からの薬剤マスタ画像と、撮影画像取得部１４からの撮影画像とを照合し、撮影画像に存在する薬剤がいずれの薬剤に該当するかを判別する。
処理部９０は、一覧作成部９２を備えている。一覧作成部９２は、分包袋に分包される薬剤（検査する薬剤の一例）の一覧表を作成する。一覧作成部９２は、撮影画像取得部１４から分包袋に分包された薬剤の画像を取得する。ここでは、薬剤検出部１６において検出された薬剤の写った領域である薬剤領域画像を取得する。また、一覧作成部９２は、画像統合部２２から分包袋に分包された薬剤の統合画像を取得する。さらに、一覧作成部９２は、処方データに基づいて調剤され得る薬剤のマスタ画像をマスタ画像取得部１２から取得する。
一覧作成部９２は、表示画像生成部９４、及び回転部９６を備えている。
表示画像生成部９４は、統合画像からその統合画像に対応する薬剤領域画像を引き算した差分画像を生成する。この差分画像は、薬剤の刻印部分もしくは印字部分を強調した表示画像となる。
回転部９６は、表示画像を回転させることで、表示画像とその表示画像に対応するマスタ画像との刻印部分又は印字部分を同じ向きに揃える。
〔薬剤検査支援方法の処理〕
薬剤検査支援装置５による薬剤検査支援方法について説明する。図２３は薬剤検査支援方法の処理を示すフローチャートである。ステップＳ１〜Ｓ１６の処理は、図５に示したフローチャートと同様である。
ステップＳ１３におけるエラー表示又はステップＳ１６における正常表示を行った後、ステップＳ１７に移行する。ステップＳ１７では、一覧作成部９２において一覧表を作成し、作成した一覧表を表示部５０においてモニタ５２に表示する。
図２４は、モニタ５２に表示された一覧表Ｌ１を示す図である。ここでは１３袋の分包袋に、薬剤Ａ、薬剤Ｂ及び薬剤Ｃがそれぞれ１つずつ分包される例を示している。一覧表Ｌ１は、調剤されるべき薬剤のマスタ画像の表示画像を表示する列Ｅ０、及び各分包袋に分包される薬剤の表示画像を表示する列Ｅ１〜Ｅ１３を有している。
各列Ｅ０〜Ｅ１３は、薬剤Ａの表側の表示画像を表示する行Ｆ１、薬剤Ａの裏側の表示画像を表示する行Ｆ２、薬剤Ｂの表側の表示画像を表示する行Ｆ３、薬剤Ｂの裏側の表示画像を表示する行Ｆ４、薬剤Ｃの表側の表示画像を表示する行Ｆ５、及び薬剤Ｃの裏側の表示画像を表示する行Ｆ６に分割されている。
各列Ｅ０〜Ｅ１３の各行Ｆ１〜Ｆ６に、それぞれの位置に対応する表示画像が表示される。ここで表示される薬剤の表示画像とマスタ画像の表示画像とは、回転部９６により刻印部分又は印字部分が同じ向きに揃えられている。
図２４に示すように、調剤されるべき薬剤のマスタ画像と、各薬剤の薬剤領域画像とを、位置を揃えてかつ刻印部分及び印字部分を強調した一覧表を表示するため、ユーザの認識しやすい表示を行うことができる。なお、ここでは刻印部分及び印字部分を強調したが、刻印部分及び印字部分の一方を強調した一覧表を表示してもよい。いずれの場合も、刻印部分もしくは印字部分を強調した一覧表の概念に含まれる。
図２５は比較例の一覧表Ｌ２を示す図である。図２５に示す一覧表Ｌ２は、マスタ画像と薬剤領域画像とを刻印部分及び印字部分の強調を行わずに表示している。薬剤領域画像は、光源と刻印部分の位置関係に依存して見え方が異なる。このため、一覧表Ｌ２は視認性が悪い。
本実施形態では、薬剤の刻印部分もしくは印字部分を強調した表示画像として、統合画像から薬剤領域画像を引き算した差分画像を用いたが、ユーザの視認性を高める方法であれば、一覧表に表示する表示画像は差分画像に限定されるものではない。
本実施形態では、分包袋に分包した薬剤を検査する例について説明したが、薬剤検査支援装置５は、シャーレに載置した薬剤、又はステージに直接載置した薬剤を検査することも可能である。しかしながら、分包袋に分包した薬剤の検査が、操作性の点で便利で好ましい。
なお、薬剤の検査には監査と鑑別とがある。本実施形態では処方データに基づいて調剤された薬剤の監査を支援する例について説明したが、薬剤検査支援装置５は薬剤の鑑別の支援に適用することも可能である。薬剤の鑑別とは、薬剤の外観からその薬剤を特定することである。薬剤の鑑別により、例えば入院患者の持参薬を判別することができる。
＜その他＞
上記の画像処理方法は、コンピュータにマスタ画像取得機能、撮影画像取得機能、第１画像処理機能、第２画像処理機能、画像統合機能、指定情報取得機能、及び判定機能を実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
ここまで説明した実施形態において、例えば、処理部１０及び処理部１１等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１ 薬剤検査支援装置
２ 薬剤検査支援装置
３ 薬剤検査支援装置
４ 薬剤検査支援装置
５ 薬剤検査支援装置
１０ 処理部
１１ 処理部
１２ マスタ画像取得部
１４ 撮影画像取得部
１６ 薬剤検出部
１８ 第１画像処理部
２０ 第２画像処理部
２２ 画像統合部
２４ 判定部
２６ 類似度算出部
２８ 指定情報取得部
３２ 照明部
３４ 光源
３４Ｅ 光源
３４Ｎ 光源
３４Ｓ 光源
３４Ｗ 光源
３６Ａ カメラ
３６Ｂ カメラ
３８ 処方箋リーダ
４０ 記憶部
５０ 表示部
５２ モニタ
６０ 操作部
７０ 搬送機構
８０ 関連情報取得部
９０ 処理部
９２ 一覧作成部
９４ 表示画像生成部
９６ 回転部
Ａ１〜Ａ４４ 薬剤領域
Ｂ１〜Ｂ４４ 第１強調画像
Ｃ１〜Ｃ４４ 第２強調画像
Ｄ１〜Ｄ４４ 統合画像
Ｅ０〜Ｅ１３ 列
Ｆ１〜Ｆ６ 行
Ｌ１ 一覧表
Ｌ２ 一覧表
ＰＡ 撮影光軸
ＰＢ 薬包帯
ＳＣ シャーレ
ＴＰ 分包袋
Ｓ１〜Ｓ３５ 薬剤検査支援装置における薬剤検査支援方法のステップ
上記目的を達成するために画像処理方法の一の態様は、第１薬剤のマスタ画像を取得するマスタ画像取得工程と、第２薬剤の表面への光の照明方向がそれぞれ異なる第２薬剤の複数の撮影画像を取得する撮影画像取得工程と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて第２薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理工程と、複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて第２薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理工程と、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報を取得する指定情報取得工程と、指定情報により指定された画像とマスタ画像とを照合し、第１薬剤と第２薬剤とが同一であるか否かを判定する判定工程と、を備えた。
本態様によれば、第１薬剤のマスタ画像を取得し、第２薬剤の表面への光の照明方向がそれぞれ異なる第２薬剤の複数の撮影画像を取得し、第２薬剤の刻印部分を強調する処理を行って第１強調画像を生成し、第２薬剤の印字部分を強調する処理を行って第２強調画像を生成し、第１強調画像及び第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報により指定された画像とマスタ画像とを照合し、第１薬剤と第２薬剤とが同一であるか否かを判定するようにしたので、識別情報が刻印であっても印字であっても、識別情報を適切に認識することができる。
ステップＳ２５では、処理部１１において、全ての照合対象画像についての照合が終了したか否かを判定する。照合が終了していない統合画像が存在する場合は、ステップＳ２２に戻り、新たな照合対象画像を選択し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１２に移行する。
ステップＳ１４では、処理部１１において、関連情報を取得した全ての薬剤についての照合が終了したか否かを判定する。照合が終了していない薬剤が存在する場合は、ステップＳ７に戻り、新たなマスタ画像を取得し、同様の処理を繰り返す。照合が終了した場合は、ステップＳ１６に移行する。
次に、ステップＳ３１では、処理部１１において、ステップＳ７で取得したマスタ画像に対する全ての照合対象画像との組み合わせについて類似度の算出が終了したか否かを判定する。類似度の算出が終了していない照合対象画像が存在する場合は、ステップＳ２２に戻り、新たな一対の照合対象画像を選択し、同様の処理を繰り返す。これにより、ステップＳ７で取得したマスタ画像に対して全ての照合対象画像との組み合わせについて類似度を算出することができる。全ての照合対象画像との組み合わせについて類似度の算出が終了した場合は、ステップＳ３２に移行する。
続いて、ステップＳ３２では、処理部１１において、関連情報を取得した全ての薬剤についての類似度の算出が終了したか否かを判定する。類似度の算出が終了していない薬剤が存在する場合は、ステップＳ７に戻り、新たな一対のマスタ画像を取得し、同様の処理を繰り返す。これにより、全てのマスタ画像に対して、ステップＳ２２で取得した全ての照合対象画像との組み合わせについて類似度を算出することができる。全てのマスタ画像についての類似度の算出が終了した場合は、ステップＳ３３に移行する。

Claims (18)

  1. 第１薬剤のマスタ画像を取得するマスタ画像取得部と、
    第２薬剤の表面への光の照明方向がそれぞれ異なる前記第２薬剤の複数の撮影画像を取得する撮影画像取得部と、
    前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて前記第２薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理部と、
    前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて前記第２薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理部と、
    前記第１強調画像及び前記第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報を取得する指定情報取得部と、
    前記指定情報により指定された画像と前記マスタ画像とを照合し、前記第１薬剤と前記第２薬剤とが同一であるか否かを判定する判定部と、
    を備えた画像処理装置。
  2. 前記マスタ画像と前記指定情報とは、関連付けられて記憶されている請求項１に記載の画像処理装置。
  3. 前記複数の撮影画像から前記第２薬剤の写った領域を検出する薬剤検出部を備え、
    前記第１画像処理部及び前記第２画像処理部は、前記検出した領域について前記処理を行う請求項１又は２に記載の画像処理装置。
  4. 前記撮影画像取得部は、３枚以上の撮影画像を取得し、
    前記第１画像処理部は、前記３枚以上の撮影画像に基づいて前記第１強調画像を生成する請求項１から３のいずれか１項に記載の画像処理装置。
  5. 前記第１画像処理部は、照度差ステレオ法により前記第２薬剤の表面の三次元情報を取得して前記第１強調画像を生成する請求項４に記載の画像処理装置。
  6. 前記第２画像処理部は、平滑化処理、鮮鋭化処理、及びエッジ検出処理の少なくとも１つを施して前記第２強調画像を生成する請求項１から５のいずれか１項に記載の画像処理装置。
  7. 前記指定情報により指定された画像と前記マスタ画像とが類似する度合を示す類似度を算出する類似度算出部を備え、
    前記判定部は、前記類似度に基づいて前記第１薬剤と前記第２薬剤とが同一であるか否かを判定する請求項１から６のいずれか１項に記載の画像処理装置。
  8. 前記類似度算出部は、複数の前記指定情報により指定された画像と複数の前記マスタ画像との類似度を算出し、
    前記判定部は、最も類似度の高い前記指定情報により指定された画像と前記マスタ画像との組み合わせについて前記第１薬剤と前記第２薬剤とが同一であると判定する請求項７に記載の画像処理装置。
  9. マスタ画像取得部は、処方データに基づいて前記第１薬剤のマスタ画像を取得する請求項１から８のいずれか１項に記載の画像処理装置。
  10. 第１薬剤のマスタ画像を取得するマスタ画像取得部と、
    第２薬剤の表面に対してそれぞれ異なる複数の照明方向から光を照射する複数の光源を有する照明部と、
    前記第２薬剤を撮影する撮影部と、
    前記照明部及び前記撮影部を制御して、前記第２薬剤への光の照明方向がそれぞれ異なる前記第２薬剤の複数の撮影画像を取得する撮影制御部と、
    前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて前記第２薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理部と、
    前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて前記第２薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理部と、
    前記第１強調画像及び前記第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報を取得する指定情報取得部と、
    前記指定情報により指定された画像と前記マスタ画像とを照合し、前記第１薬剤と前記第２薬剤とが同一であるか否かを判定する判定部と、
    を備えた薬剤検査支援装置。
  11. 前記第１薬剤のマスタ画像を記憶するマスタ画像記憶部を備え、
    前記指定情報は、前記マスタ画像に関連付けられて前記マスタ画像記憶部に記憶されている請求項１０に記載の薬剤検査支援装置。
  12. 前記撮影制御部は、前記照明部の前記複数の光源のうち２以上の光源により前記第２薬剤に対して光を照射した前記第２薬剤の撮影画像を取得する請求項１０又は１１に記載の薬剤検査支援装置。
  13. 前記照明部は、前記第２薬剤の表側及び裏側に光を照射し、
    前記撮影部は、前記第２薬剤の表側及び裏側を撮影する請求項１０から１２のいずれか１項に記載の薬剤検査支援装置。
  14. 前記照明部は、第１方向に光を照射する第１光源と、第２方向に光を照射する第２光源と、第３方向に光を照射する第３光源と、第４方向に光を照射する第４光源と、
    を備え、
    前記第２方向は前記表面の平面視において前記第１方向と対向する方向であり、前記第３方向は前記表面の平面視において前記第１方向と直交する方向であり、前記第４方向は前記表面の平面視において前記第３方向と対向する方向である請求項１０から１３のいずれか１項に記載の薬剤検査支援装置。
  15. 第１薬剤のマスタ画像を取得するマスタ画像取得工程と、
    第２薬剤の表面への光の照明方向がそれぞれ異なる前記第２薬剤の複数の撮影画像を取得する撮影画像取得工程と、
    前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて前記第２薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理工程と、
    前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて前記第２薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理工程と、
    前記第１強調画像及び前記第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報を取得する指定情報取得工程と、
    前記指定情報により指定された画像と前記マスタ画像とを照合し、前記第１薬剤と前記第２薬剤とが同一であるか否かを判定する判定工程と、
    を備えた画像処理方法。
  16. 第１薬剤のマスタ画像を取得するマスタ画像取得機能と、
    第２薬剤の表面への光の照明方向がそれぞれ異なる前記第２薬剤の複数の撮影画像を取得する撮影画像取得機能と、
    前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて前記第２薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理機能と、
    前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて前記第２薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理機能と、
    前記第１強調画像及び前記第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報を取得する指定情報取得機能と、
    前記指定情報により指定された画像と前記マスタ画像とを照合し、前記第１薬剤と前記第２薬剤とが同一であるか否かを判定する判定機能と、
    をコンピュータに実行させるプログラム。
  17. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    第１薬剤のマスタ画像を取得するマスタ画像取得機能と、
    第２薬剤の表面への光の照明方向がそれぞれ異なる前記第２薬剤の複数の撮影画像を取得する撮影画像取得機能と、
    前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて前記第２薬剤の刻印部分を強調する処理を行い、第１強調画像を生成する第１画像処理機能と、
    前記複数の撮影画像のうち少なくとも１枚の撮影画像に基づいて前記第２薬剤の印字部分を強調する処理を行い、第２強調画像を生成する第２画像処理機能と、
    前記第１強調画像及び前記第２強調画像のうちいずれの画像を照合に用いるかを指定した指定情報を取得する指定情報取得機能と、
    前記指定情報により指定された画像と前記マスタ画像とを照合し、前記第１薬剤と前記第２薬剤とが同一であるか否かを判定する判定機能と、
    をコンピュータに実行させる記録媒体。
  18. 薬剤を検査する薬剤検査支援装置において、
    薬剤の薬剤マスタ画像を含む薬剤データベースからの薬剤マスタ画像と、検査する薬剤を撮影した撮影画像とを照合し、前記撮影画像に存在する薬剤がいずれの薬剤に該当するかを判別する薬剤判別部と、
    前記検査する薬剤の一覧表であって、前記薬剤マスタ画像と、前記撮影画像における各薬剤と判別された薬剤領域画像とを、位置を揃えてかつ刻印部分もしくは印字部分を強調して表示する一覧表を作成する一覧作成部と、
    を備えた薬剤検査支援装置。
JP2019538071A 2017-08-25 2018-08-09 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム Abandoned JPWO2019039302A1 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2017162545 2017-08-25
JP2017162545 2017-08-25
JP2018002006 2018-01-10
JP2018002006 2018-01-10
JPPCT/JP2018/019857 2018-05-23
PCT/JP2018/019857 WO2019039016A1 (ja) 2017-08-25 2018-05-23 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
PCT/JP2018/029928 WO2019039302A1 (ja) 2017-08-25 2018-08-09 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2019039302A1 true JPWO2019039302A1 (ja) 2020-08-27

Family

ID=65438602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019538071A Abandoned JPWO2019039302A1 (ja) 2017-08-25 2018-08-09 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20200175318A1 (ja)
EP (1) EP3673891A4 (ja)
JP (1) JPWO2019039302A1 (ja)
CN (1) CN111031995A (ja)
WO (2) WO2019039016A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111095262A (zh) * 2017-08-31 2020-05-01 富士胶片富山化学株式会社 药剂监查装置、图像处理装置、图像处理方法以及程序
WO2021010277A1 (ja) * 2019-07-16 2021-01-21 富士フイルム富山化学株式会社 薬剤識別装置、薬剤識別方法及びプログラム
JP7343585B2 (ja) * 2019-07-17 2023-09-12 富士フイルム富山化学株式会社 識別支援システム、識別支援クライアント、識別支援サーバ、及び識別支援方法
JP7225416B2 (ja) * 2019-08-27 2023-02-20 富士フイルム富山化学株式会社 画像処理装置、携帯端末、画像処理方法及びプログラム
WO2021065658A1 (ja) * 2019-10-01 2021-04-08 富士フイルム富山化学株式会社 薬剤照合装置、薬剤照合システム、薬剤管理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016047569A1 (ja) * 2014-09-25 2016-03-31 株式会社湯山製作所 鑑査支援システム、錠剤分包装置
JP2017090194A (ja) * 2015-11-09 2017-05-25 大日本印刷株式会社 検査システムおよび検査方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101123656B1 (ko) * 2008-10-08 2012-03-21 (주)제이브이엠 약포 검사장치
JP5163985B2 (ja) * 2008-11-14 2013-03-13 学校法人早稲田大学 粒状物品種検査装置
CA2852620C (en) * 2010-10-29 2019-05-21 Mint Solutions Ehf Medication identification and verification
JP2013066533A (ja) * 2011-09-21 2013-04-18 Twin Life Kk 薬剤照合装置
JP5916032B2 (ja) * 2012-09-27 2016-05-11 富士フイルム株式会社 薬剤検査支援装置及び方法
JP6009888B2 (ja) * 2012-09-27 2016-10-19 富士フイルム株式会社 薬剤検査装置及び方法
US8712163B1 (en) * 2012-12-14 2014-04-29 EyeNode, LLC Pill identification and counterfeit detection method
JP5997120B2 (ja) * 2013-09-26 2016-09-28 富士フイルム株式会社 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
JP6100136B2 (ja) * 2013-09-30 2017-03-22 富士フイルム株式会社 薬剤認識装置及び方法
AU2015239178B2 (en) * 2014-03-31 2019-12-05 Yuyama Mfg.Co.,Ltd. Medicine photographing device
JP6424020B2 (ja) 2014-06-09 2018-11-14 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6885342B2 (ja) * 2016-01-06 2021-06-16 株式会社湯山製作所 鑑査支援システム、錠剤分包装置、分包制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016047569A1 (ja) * 2014-09-25 2016-03-31 株式会社湯山製作所 鑑査支援システム、錠剤分包装置
JP2017090194A (ja) * 2015-11-09 2017-05-25 大日本印刷株式会社 検査システムおよび検査方法

Also Published As

Publication number Publication date
EP3673891A1 (en) 2020-07-01
CN111031995A (zh) 2020-04-17
US20200175318A1 (en) 2020-06-04
WO2019039016A1 (ja) 2019-02-28
WO2019039302A1 (ja) 2019-02-28
EP3673891A4 (en) 2020-09-09

Similar Documents

Publication Publication Date Title
JPWO2019039302A1 (ja) 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
JP6823727B2 (ja) 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
JP6894977B2 (ja) 薬剤検査支援装置、薬剤検査支援方法、薬剤識別装置、薬剤識別方法及びプログラム、記録媒体
JP5163985B2 (ja) 粒状物品種検査装置
US10726285B2 (en) Medicine audit apparatus, method, and program
JP6853891B2 (ja) 薬剤監査装置、画像処理装置、画像処理方法及びプログラム
JP7375161B2 (ja) 学習データ作成装置、方法、プログラム、及び記録媒体
WO2020162263A1 (ja) 薬剤照合装置、薬剤照合方法及び薬剤照合システム
JP6861825B2 (ja) 薬剤識別装置、画像処理装置、画像処理方法及びプログラム
JP6757851B2 (ja) 調剤監査支援装置及び調剤監査支援方法
WO2021145266A1 (ja) 画像処理装置及び方法
JP7338030B2 (ja) 物体認識装置、方法及びプログラム
JP7374869B2 (ja) 薬剤候補表示方法及びプログラム、薬剤識別装置、薬剤識別システム
JP7437259B2 (ja) 画像処理装置、薬剤識別装置、画像処理方法及び薬剤識別方法
JP7280361B2 (ja) 薬剤識別装置、薬剤識別方法及びプログラム
CN114051723A (zh) 图像生成装置、药剂识别装置、药剂显示装置、图像生成方法以及程序

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200212

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20201218