JP6853891B2 - 薬剤監査装置、画像処理装置、画像処理方法及びプログラム - Google Patents

薬剤監査装置、画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP6853891B2
JP6853891B2 JP2019539146A JP2019539146A JP6853891B2 JP 6853891 B2 JP6853891 B2 JP 6853891B2 JP 2019539146 A JP2019539146 A JP 2019539146A JP 2019539146 A JP2019539146 A JP 2019539146A JP 6853891 B2 JP6853891 B2 JP 6853891B2
Authority
JP
Japan
Prior art keywords
image
drug
unit
light
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019539146A
Other languages
English (en)
Other versions
JPWO2019044439A1 (ja
Inventor
一央 岩見
一央 岩見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Toyama Chemical Co Ltd
Original Assignee
Fujifilm Toyama Chemical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Toyama Chemical Co Ltd filed Critical Fujifilm Toyama Chemical Co Ltd
Publication of JPWO2019044439A1 publication Critical patent/JPWO2019044439A1/ja
Application granted granted Critical
Publication of JP6853891B2 publication Critical patent/JP6853891B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00—Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/40—ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Software Systems (AREA)
  • Toxicology (AREA)
  • Quality & Reliability (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は薬剤監査装置、画像処理装置、画像処理方法及びプログラムに係り、特に薬剤を撮影した画像から薬剤の種類を特定する薬剤監査装置、画像処理装置、画像処理方法及びプログラムに関する。
病院や薬局において、薬剤師等が処方箋に沿って薬剤を調合し分包する場合、分包後に、処方箋どおりに薬剤が分包されているかを監査することが義務づけられている。従来、この監査業務における人為的な誤監査又は監査業務の負担軽減を目的として、様々な技術が考えられてきた。その中の一つとして、薬剤を撮影した画像と予めサーバ等に登録されている薬剤の画像との照合を行い、撮影をした薬剤の種類を特定する技術が知られている。
画像同士の照合を行う代表的な技術的手法として、各画像の相関演算により類似度を算出し照合を行う照合方法がある。しかしながら、この手法を薬剤の識別情報に対して行う場合、お互いの識別情報が似ていたり薬剤が割線を有していたりすると、異なる薬剤の画像同士であっても類似度が高くなり、照合装置は間違った判定結果を出力してしまう場合があった。
このような課題に対し、特許文献１には、登録画像及び照合画像の複数の分割領域の部分画像の類似度を、それぞれ対応する分割領域ごとに算出し、算出された分割領域毎の複数の類似度のうちで最も低い類似度に基づいて、登録画像が示す薬剤と照合画像が示す薬剤とが同じ種類の薬剤か否かを判定する薬剤照合装置において、薬剤表面に割線がある登録画像を取得した場合には、画像処理部は割線を抽出し、類似度算出部はその割線が部分画像に含まれないように分割領域を設定する技術が開示されている。
この装置によれば、識別情報が似ていたり薬剤が割線を有していたりする薬剤同士の照合を行う場合であっても、正確な照合を行うことができる。
特開２０１５−６５９７８号公報
しかしながら、特許文献１に記載の技術では、薬剤に付された印字と刻印（割線）との位置関係が一定であることが前提となっている。したがって、印字と刻印との位置関係が一定でない場合には、識別情報を抽出することができず、照合を適切に行うことができないという問題点があった。
本発明はこのような事情に鑑みてなされたもので、薬剤に付された印字及び刻印の位置関係が一定でない場合であっても適切に識別情報を抽出する薬剤監査装置、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
上記目的を達成するために画像処理装置の一の態様は、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を取得する第１画像取得部と、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理部と、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を取得する第２画像取得部と、少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理部と、印字強調画像及び刻印抽出画像の差分画像を生成する差分画像生成部と、を備えた。
本態様によれば、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像に基づいて生成した印字強調画像、及び薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像に基づいて生成した刻印抽出画像、の差分画像を生成するようにしたので、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。
第２画像処理部は、少なくとも３枚の撮影画像に基づいて照度差ステレオ法により薬剤の表面の三次元情報を取得する三次元情報取得部と、取得した三次元情報に基づいて薬剤の表面の局所領域の曲率を表す曲率画像を生成する曲率画像生成部と、を備え、生成した曲率画像を刻印抽出画像とすることが好ましい。これにより、刻印抽出画像を適切に生成することができる。また、第２画像処理部は、少なくとも３枚の撮影画像を平均の信号値で規格化してもよい。
第１画像処理部は、少なくとも１枚の撮影画像から低周波成分を除去する処理を行うことが好ましい。これにより、印字強調画像を適切に生成することができる。
上記目的を達成するために薬剤監査装置の一の態様は、薬剤を載置するステージと、ステージに載置された薬剤の表面に対してそれぞれ異なる複数の照明方向から光を照射する少なくとも３つの光源を有する照射部と、薬剤を撮影する撮影部と、照射部及び撮影部を制御して、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を取得する第１撮影制御部と、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理部と、照射部及び撮影部を制御して、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を取得する第２撮影制御部と、少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理部と、印字強調画像及び刻印抽出画像の差分画像を生成する差分画像生成部と、を備えた。
本態様によれば、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像に基づいて生成した印字強調画像、及び薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像に基づいて生成した刻印抽出画像、の差分画像を生成するようにしたので、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。
処方箋情報を取得する処方箋情報取得部と、処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得部と、マスタ画像と生成した差分画像とを照合して、調剤されるべき薬剤とステージに載置された薬剤とが同一であるか否かを判定する判定部と、を備えることが好ましい。これにより、調剤されるべき薬剤とステージに載置された薬剤とが同一であるか否かを適切に判定することができる。
薬剤の画像に関心領域を設定する関心領域設定部と、設定した関心領域に対応させてマスタ画像からテンプレートを生成するテンプレート生成部と、を備え、判定部は、差分画像の関心領域とテンプレートとを照合することが好ましい。これにより、調剤されるべき薬剤とステージに載置された薬剤とが同一であるか否かを適切に判定することができる。
ステージには分包袋に分包された複数の薬剤が載置されることが好ましい。本態様は、分包袋に分包された複数の薬剤について適用することができる。
照射部は、第１方向に光を照射する第１光源と、第２方向に光を照射する第２光源と、第３方向に光を照射する第３光源と、第４方向に光を照射する第４光源と、を備え、第２方向は表面の平面視において第１方向と対向する方向であり、第３方向は表面の平面視において第１方向と直交する方向であり、第４方向は表面の平面視において第３方向と対向する方向であることが好ましい。これにより、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を適切に取得することができる。
第１撮影制御部は、第１光源、第２光源、第３光源、及び第４光源により薬剤の表面に光を照射することが好ましい。これにより、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を適切に取得することができる。
上記目的を達成するために画像処理方法の一の態様は、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を取得する第１画像取得工程と、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理工程と、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を取得する第２画像取得工程と、少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理工程と、印字強調画像及び刻印抽出画像の差分画像を生成する差分画像生成工程と、を備えた。
本態様によれば、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像に基づいて生成した印字強調画像、及び薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像に基づいて生成した刻印抽出画像、の差分画像を生成するようにしたので、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。
上記目的を達成するためにプログラムの一の態様は、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像を取得する第１画像取得機能と、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理機能と、薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像を取得する第２画像取得機能と、少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理機能と、印字強調画像及び刻印抽出画像の差分画像を生成する差分画像生成機能と、をコンピュータに実行させる。
本態様によれば、薬剤の表面に光を照射して撮影した少なくとも１枚の薬剤の撮影画像に基づいて生成した印字強調画像、及び薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の薬剤の撮影画像に基づいて生成した刻印抽出画像、の差分画像を生成するようにしたので、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。
本発明によれば、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出することができる。
識別情報が印字で付された錠剤の撮影画像と印字強調画像の一例 識別情報が印字及び刻印で付された錠剤の撮影画像の一例 識別情報が印字及び刻印で付された錠剤の印字強調画像の一例 薬剤監査装置の上面図 薬剤監査装置の側面図 薬剤監査装置の内部構成を示すブロック図 画像処理方法の処理の一例を示すフローチャート 刻印抽出画像の一例 差分画像の一例 錠剤の差分画像と関心領域の一例 錠剤の差分画像と関心領域の一例
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
〔識別情報が印字及び刻印で付された錠剤〕
図１に示す画像Ｇ１は、識別情報が印字で付された錠剤（薬剤の一例）の撮影画像の一例である。照明ムラ、及び形状ムラは、印字部に対して周波数帯域が低い場合が多い。したがって、識別情報を抽出するには、印字部以外の照明ムラ及び形状ムラを低減させる処理が望ましい。図１に示す画像Ｇ２は、画像Ｇ１に対して照明ムラ及び形状ムラを低減させる処理を行った画像の一例である。このように、印字部が抽出された画像を取得することで、調剤されるべき薬剤のマスタ画像との適切な照合が可能となる。
図２に示す画像Ｇ３、画像Ｇ４、及び画像Ｇ５は、識別情報が印字及び刻印（割線）で付された錠剤の撮影画像の一例である。これらは同じ種類の錠剤であるが、図２に示すように、印字と刻印との位置関係がそれぞれ異なっており、一定でない。
図３に示す画像Ｇ６は、図２に示す画像Ｇ３に対して照明ムラ及び形状ムラを低減させる処理を行った画像の一例である。図３に示すように、画像Ｇ６は、印字部及び刻印部が抽出される。印字と刻印との位置関係が一定でない場合、印字部及び刻印部が抽出された画像でマスタ画像と照合しようとすると、刻印部が照合精度低下に寄与してしまう。
本実施形態に係る薬剤監査装置は、類似度を低下させる原因となっている刻印部を除去し、印字部のみを強調することで、薬剤に付された刻印及び印字の位置関係が一定でない場合であっても適切に識別情報を抽出する。
なお、刻印によって付されたとは、薬剤の表面に陥没領域である溝を形成することによって識別情報が形成されたことをいう。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものであってもよい。また、刻印は、割線等の識別機能を伴わないものも含んでもよい。
また、印字によって付されたとは、錠剤の表面に接触又は非接触で可食性インク等を付与することによって識別情報が形成されたことをいう。ここでは、印字によって付されたとは、印刷によって付されたと同義である。
〔薬剤監査装置の構成〕
図４は、本実施形態に係る薬剤監査装置１００の上面図であり、図５は薬剤監査装置１００の側面図である。
図４及び図５に示すように、薬剤監査装置１００は、ステージ１０２、第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、第８光源１１８、カメラ１２０、及びカメラ１２２を備えている。なお、図４においては、カメラ１２０及びカメラ１２２の図示を省略している。
ステージ１０２は、ｘｙ平面（水平面）に平行な載置面１０２Ａ及び裏面１０２Ｂを有する板状部材である。ステージ１０２は、光透過性を有する材料によって構成されている。ここでは、ｘ軸方向に１３０ｍｍ、ｙ軸方向に８０ｍｍの大きさを有している。ステージ１０２の載置面１０２Ａには、錠剤Ｔが載置される。錠剤Ｔの表面のうち、載置面１０２Ａに接している側の面を下側の面、下側の面の反対面を上側の面とすると、錠剤Ｔの上側の面及び下側の面の少なくとも一方には、錠剤Ｔの識別情報Ｉが刻印、又は印字、又は刻印及び印字により付されている。ここでは、錠剤Ｔは分包袋に包まれていないが、透明又は半透明の分包袋に包まれた状態で載置されてもよい。分包袋には複数の錠剤が包まれていてもよい。また、分包袋が連続して薬包帯を構成してもよい。さらに、ステージ１０２を設けずに、分包袋を撮影可能に支持してもよい。
第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８は、それぞれバー状（線状）のＬＥＤ（Light Emitting Diode）光源である。第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８は、不図示の支持部により支持され、それぞれｚ軸方向に対して傾斜した方向からステージ１０２に向かって可視光の照明光を照射する。ここでは、第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８の点灯時の輝度は、それぞれ同一である。
第１光源１０４は、ステージ１０２からｚ軸方向の一方側（図５において上側）に一定量離れた位置であって、載置面１０２Ａのｘ軸方向の一方側（図４において左側）の位置に、ｙ軸方向に平行に配置されている。第１光源１０４は、ステージ１０２に向けて第１方向に照明光を照射する。
第２光源１０６は、ステージ１０２からｚ軸方向の一方側に一定量離れた位置であって、ｘ軸方向の他方側（図４において右側）の位置に、ｙ軸方向に平行に配置されている。第２光源１０６は、ステージ１０２に向けて第２方向に照明光を照射する。第２方向は、ｘｙ平面視（表面の平面視の一例）において第１方向と対向する方向である。
第３光源１０８は、ステージ１０２からｚ軸方向の一方側に一定量離れた位置であって、ｙ軸方向の一方側（図４において上側）の位置に、ｘ軸方向に平行に配置されている。第３光源１０８は、ステージ１０２に向けて第３方向に照明光を照射する。第３方向は、ｘｙ平面視において第１方向と直交する方向である。
第４光源１１０は、ステージ１０２からｚ軸方向の一方側に一定量離れた位置であって、ｙ軸方向の他方側（図４において下側）の位置に、ｘ軸方向に平行に配置されている。第４光源１１０は、ステージ１０２に向けて第４方向に照明光を照射する。第４方向は、ｘｙ平面視において第３方向と対向する方向である。
第５光源１１２は、ステージ１０２からｚ軸方向の他方側（図５において下側）に一定量離れた位置であって、ｘ軸方向の一方側の位置に、ｙ軸方向に平行に配置されている。第５光源１１２は、ステージ１０２に向けて第５方向に照明光を照射する。第５方向は、ｘｙ平面視において第１方向と同じ方向である。
第６光源１１４は、ステージ１０２からｚ軸方向の他方側に一定量離れた位置であって、ｘ軸方向の他方側の位置に、ｙ軸方向に平行に配置されている。第６光源１１４は、ステージ１０２に向けて第６方向に照明光を照射する。第６方向は、ｘｙ平面視において第５方向と対向する方向である。
第７光源１１６は、ステージ１０２からｚ軸方向の他方側に一定量離れた位置であって、ｙ軸方向の一方側の位置に、ｘ軸方向に平行に配置されている。第７光源１１６は、ステージ１０２に向けて第７方向に照明光を照射する。第７方向は、ｘｙ平面視において第５方向と直交する方向である。
第８光源１１８は、ステージ１０２からｚ軸方向の他方側に一定量離れた位置であって、ｙ軸方向の他方側の位置に、ｘ軸方向に平行に配置されている。第８光源１１８は、ステージ１０２に向けて第８方向に照明光を照射する。第８方向は、ｘｙ平面視において第７方向と対向する方向である。
カメラ１２０及びカメラ１２２（撮影部の一例）は、可視光のカラー画像を取得する撮像装置であり、不図示の支持部により支持されている。カメラ１２０及びカメラ１２２は、それぞれ不図示のレンズ及び撮像素子を備えている。
カメラ１２０は、ステージ１０２からｚ軸方向の一方側に一定量離れた位置に設けられている。カメラ１２０は、光軸をｚ軸方向に平行にして載置面１０２Ａに向けて配置されている。カメラ１２２は、ステージ１０２からｚ軸方向の他方側に一定量離れた位置に設けられている。カメラ１２２は、光軸をｚ軸方向に平行にして裏面１０２Ｂに向けて配置されている。カメラ１２０の光軸及びカメラ１２２の光軸は、ステージ１０２を介して対向している。
図６は、薬剤監査装置１００の内部構成を示すブロック図である。薬剤監査装置１００は、取得部１２４、画像処理装置１３０、処方箋情報取得部１４４、マスタ画像取得部１４６、記憶部１４８、判定部１５０、及び表示部１５２を備えている。
取得部１２４（第１画像取得部の一例、第２画像取得部の一例）は、前述のカメラ１２０及びカメラ１２２の他、照射部１２６及び撮影制御部１２８を含んで構成される。
照射部１２６は複数の光源を有している。ここでは、照射部１２６は、前述の第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８を備えている。
撮影制御部１２８（第１撮影制御部の一例、第２撮影制御部の一例）は、照射部１２６の各光源に対して、点灯及び消灯をそれぞれ制御する。
また、撮影制御部１２８は、カメラ１２０及びカメラ１２２を制御する。カメラ１２０及びカメラ１２２は、撮影制御部１２８の制御に従って、錠剤Ｔの表面に複数の光源によりそれぞれ光が照射された錠剤Ｔをそれぞれ撮影する。これにより、取得部１２４は、複数の撮影画像を取得する。
なお、取得部１２４は、コンピュータ等の外部機器と通信するための通信インターフェースを備えることで、外部機器から錠剤Ｔの複数の画像を取得する構成としてもよい。
画像処理装置１３０は、第１画像処理部１３２、第２画像処理部１３６、及び差分画像生成部１４２を備えている。
第１画像処理部１３２は、少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する。第１画像処理部１３２は、低周波成分除去部１３４を備えている。低周波成分除去部１３４は、少なくとも１枚の撮影画像から低周波成分を除去する処理を行う。
第２画像処理部１３６は、少なくとも３枚の撮影画像に基づいて錠剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する。第２画像処理部１３６は、三次元情報取得部１３８、及び曲率画像生成部１４０を備えている。
三次元情報取得部１３８は、少なくとも３枚の撮影画像に基づいて照度差ステレオ法により錠剤の表面の三次元情報を取得する。また、曲率画像生成部１４０は、三次元情報に基づいて錠剤の表面の局所領域の曲率を表す曲率画像を生成する。
差分画像生成部１４２は、印字強調画像及び刻印抽出画像の差分画像を生成する。
処方箋情報取得部１４４は、例えば不図示の処方箋リーダを備え、処方箋を読み取って処方箋情報を取得する。例えばＯＣＲ（Optical Character Recognition）により、紙に記載された処方箋から患者氏名、処方された薬剤、及びその数量等の情報を読み取る。処方された薬剤に関する情報を示すバーコード等が処方箋に記録されている場合は、処方された薬剤及びその数量等の情報をバーコードから読み取ってもよい。また、ユーザが処方箋を読み取り、不図示のキーボード等の入力デバイスにより処方箋情報を入力してもよい。
マスタ画像取得部１４６は、処方箋情報取得部１４４によって取得した処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を記憶部１４８から取得する。
記憶部１４８はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク、各種半導体メモリ等の非一時的記録媒体により構成される。記憶部１４８には、処方箋情報、マスタ画像、カメラ１２０及びカメラ１２２により取得した撮影画像、又は撮影画像に画像処理を施した処理済み撮影画像が互いに関連づけて記憶される。
判定部１５０は、マスタ画像取得部１４６において取得したマスタ画像と差分画像生成部１４２において生成した差分画像とを照合して、調剤されるべき薬剤とステージ１０２に載置された薬剤とが同一であるか否かを判定する。
表示部１５２は不図示のモニタを備えており、処方箋情報取得部１４４から取得された処方箋情報、分包された薬剤の撮影画像、記憶部１４８に記憶されたマスタ画像等を表示する。また、表示部１５２は、判定部１５０の判定結果を表示する。
〔画像処理方法〕
本実施形態に係る画像処理方法について説明する。図７は画像処理方法の処理の一例を示すフローチャートである。
ステップＳ１において、処方箋情報取得部１４４は、不図示の処方箋リーダによって処方箋を読み取り、処方箋情報を取得する。処方箋情報取得部１４４は、記憶部１４８に予め記憶されている処方箋情報を読み取ってもよい。
ステップＳ２（第１画像取得工程の一例、第１画像取得機能の一例）では、撮影制御部１２８は、ｚ軸方向の一方側に配置された第１光源１０４、第２光源１０６、第３光源１０８、及び第４光源１１０を全て点灯させて錠剤の表面に光を照射した状態でカメラ１２０によって錠剤Ｔの撮影を行う。これにより、取得部１２４は、少なくとも１枚の錠剤Ｔの上側の面の撮影画像であって、錠剤Ｔの上側の面に十分に照明が行き届いた撮影画像を取得する。
また、撮影制御部１２８は、ｚ軸方向の他方側に配置された第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８を全て点灯させた状態でカメラ１２２によって錠剤Ｔの撮影を行う。これにより、取得部１２４は、少なくとも１枚の錠剤Ｔの下側の面の撮影画像であって、錠剤Ｔの下側の面に十分に照明が行き届いた撮影画像を取得する。
ステップＳ３では、第１画像処理部１３２において、ステップＳ２において取得した撮影画像からそれぞれ錠剤Ｔの写った錠剤領域（薬剤領域）を検出する。ステージ１０２に複数の錠剤が載置されている場合は、１枚の撮影画像から複数の錠剤領域を検出する。錠剤領域を検出することで、この後における画像処理を行う領域を限定することができ、画像処理にかかる時間を短縮することができる。なお、同じ錠剤についての錠剤領域であって、カメラ１２０の撮影画像から検出された錠剤Ｔの上側の面の錠剤領域と、カメラ１２２の撮影画像から検出された錠剤Ｔの下側の面の錠剤領域とは、同じ錠剤の一対の錠剤領域として関連付けて検出する。図２に示す画像Ｇ３は、錠剤領域の一例である。
ステップＳ４（第１画像処理工程の一例、第１画像処理機能の一例）では、第１画像処理部１３２は、ステップＳ３で検出した錠剤領域について錠剤の印字部分を強調する処理を行い、一対の印字強調画像を生成する。
前述したように、照射部１２６による照明ムラ、及び錠剤Ｔの形状ムラは、錠剤Ｔの印字部分に対して周波数帯域が低い場合が多い。したがって、ここでは低周波成分除去部１３４において錠剤領域の低周波成分を取り除いて、印字強調画像を生成する。図３に示す画像Ｇ６は、印字強調画像の一例である。
ステップＳ５（第２画像取得工程の一例、第２画像取得機能の一例）では、撮影制御部１２８は、ｚ軸方向の一方側に配置された第１光源１０４、第２光源１０６、第３光源１０８、及び第４光源１１０を１つずつ順番に点灯させ、他の光源を消灯させることで、錠剤Ｔの表面へ照射する光の照明方向を順番に切り替え、照明方向が切り替わるごとにカメラ１２０によって錠剤Ｔの撮影を行わせる。これにより、取得部１２４は、錠剤Ｔの上側の面への光の照明方向をそれぞれ異ならせて同一地点から撮影した４枚（少なくとも３枚の一例）の錠剤Ｔの撮影画像を取得する。
また、撮影制御部１２８は、ｚ軸方向の他方側に配置された第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８を１つずつ順番に点灯させ、他の光源を消灯させることで、錠剤Ｔを照射する照明方向を順番に切り替え、照明方向が切り替わるごとにカメラ１２２によって錠剤Ｔの撮影を行わせる。これにより、取得部１２４は、錠剤Ｔの下側の面への光の照明方向をそれぞれ異ならせて同一地点から撮影した４枚の錠剤Ｔの撮影画像を取得する。
ステップＳ６では、第２画像処理部１３６において、ステップＳ５において取得した撮影画像からそれぞれ錠剤Ｔの写った錠剤領域を検出する。なお、同じ錠剤の上側の面の錠剤領域と下側の面の錠剤領域とは、同じ錠剤の一対の錠剤領域として関連付けて検出する。
ステップＳ７（第２画像処理工程の一例、第２画像処理機能の一例）では、第２画像処理部１３６は、ステップＳ６で検出した錠剤領域について錠剤の立体形状から刻印部分のみを抽出する処理を行い、一対の刻印抽出画像を生成する。
ここでは、三次元情報取得部１３８において、照度差ステレオ法（フォトメトリックステレオ法）を用いて三次元情報を取得し、xyz画像（三次元画像）を生成する。
照度差ステレオ法は、光の照射方向を異ならせて同一地点において撮影した複数の画像を用いて、各位置の明るさの変化からその位置の面の法線方向を推定する手法である。すなわち、照度差ステレオ法により、各位置の接平面に直交する単位法線ベクトルを求めることができる。
なお、照度差ステレオ法で用いるカメラ１２０によって撮影された４枚の画像は、第２画像処理部１３６において、それぞれ検出された錠剤領域の平均の信号値で規格化しておくことが望ましい。カメラ１２２によって撮影された４枚の画像についても同様である。照射部１２６の第１光源１０４、第２光源１０６、第３光源１０８、第４光源１１０、第５光源１１２、第６光源１１４、第７光源１１６、及び第８光源１１８は、それぞれバー状の光源（バー照明）である。撮影画像の錠剤領域の平均輝度を合わせておくことで、照度差ステレオ法を用いる際の原理的な制約である「無限遠の点光源」の条件が緩和され、バー照明条件でも照度差ステレオ法の適用が可能となる。
また、曲率画像生成部１４０は、照度差ステレオ法によって得られた単位法線ベクトル（三次元情報の一例）から法曲率を算出する。法曲率とは、曲面を法線方向に沿った平面で切った際の平面と、切られた曲面との交線（曲線）の曲率である。ここで、単位法線ベクトルを軸にして３６０°に渡って法曲率を求めることにより、法曲率の最大値である最大主曲率及び最小値である最小主曲率を求める。
次に、曲率画像生成部１４０は、平均曲率を算出する。平均曲率は、（最大主曲率＋最小主曲率）／２によって求めることができる。
さらに、曲率画像生成部１４０は、刻印抽出画像として、このように算出した各位置の平均曲率から曲率画像を生成する。本実施形態では、平均曲率の相対的に高い位置を相対的に高い輝度で表した曲率画像を生成する。これにより、刻印を抽出して相対的に高い輝度で表現した刻印抽出画像を生成することができる。
図８に示す画像Ｇ７は、図２に示す画像Ｇ３に対して刻印部分のみを抽出する処理を行った結果である刻印抽出画像の一例である。なお、ここではｚ軸のレンジは調整している。
ステップＳ８（差分画像生成工程の一例、差分画像生成機能の一例）では、差分画像生成部１４２は、錠剤領域毎に、ステップＳ４で生成した印字強調画像からステップＳ７で生成した刻印抽出画像を差し引いた一対の差分画像を生成する。
図９に示す画像Ｇ８は、図３に示す印字強調画像である画像Ｇ６から図８に示す刻印抽出画像である画像Ｇ７を差し引いた結果である差分画像の一例である。このように、印字部分のみが相対的に輝度の高い部分として適切に抽出される。なお、画像Ｇ７において抽出された錠剤の輪郭部分については、差分の対象としていない。
ステップＳ９では、画像処理装置１３０は、錠剤の差分画像を選択する。ステージ１０２に複数の錠剤が載置されている場合は、複数対の差分画像から一対の差分画像を選択する。
ステップＳ１０では、処方された薬剤の一対のマスタ画像を記憶部１４８から読み出し、取得する。複数の薬剤が処方されている場合は、処方された複数の薬剤のうちの１つの薬剤の一対のマスタ画像を読み出す。マスタ画像は、印字部分が相対的に輝度の高い部分として表現された画像である。
ステップＳ１１では、判定部１５０において、ステップＳ９で選択した差分画像とステップＳ１０で取得したマスタ画像との類似度を算出する。ここでの類似度は、類似性が高いほど大きい値として算出される。類似度は、公知の手法によって算出すればよい。
ステップＳ１２では、判定部１５０は、ステップＳ１１で算出された類似度に基づいて、処方箋に記載された薬剤と撮影した薬剤とが同一であるか否かを判定する。ここでは、類似度が予め定められた閾値よりも大きい場合に、同一であると判定する。
ステップＳ１３では、処方された薬剤の全てのマスタ画像についてステップＳ９で選択された差分画像との照合を行ったか否かを判定する。照合を行っていないマスタ画像がある場合は、ステップＳ１０に戻り、新たな一対のマスタ画像を選択し、同様の処理を行う。全てのマスタ画像について照合を行った場合は、ステップＳ１４に移行する。
ステップＳ１４では、ステップＳ８で生成した全ての差分画像について照合が終了したか否かを判定する。照合を行っていない差分画像がある場合は、ステップＳ９に戻り、新たな一対の差分画像を選択し、同様の処理を行う。全ての差分画像について照合を行った場合は、ステップＳ１５に移行する。
ステップＳ１５では、マスタ画像と差分画像との照合結果に基づいて、処方された薬剤が処方箋通りか否かを判定する。
処方された薬剤が処方箋と異なる場合は、ステップＳ１６に移行し、表示部１５２において、処方箋に記載された薬剤が存在しない旨を表示し（エラー表示）、本フローチャートの処理を終了する。
一方、処方された薬剤が処方箋通りの場合は、ステップＳ１７に移行し、表示部１５２において、監査結果が正常である旨を表示（正常表示）し、本フローチャートの処理を終了する。
処方された薬剤の全てのマスタ画像と生成された全ての差分画像との全ての組み合わせについて類似度を算出し、最も類似度の高い組み合わせについて、調剤されるべき薬剤と調剤された薬剤とが同一であると判定してもよい。
この場合、調剤されるべき薬剤と調剤された薬剤とが同一であると判定された組み合わせについて順次照合対象から排除し、残りのマスタ画像と残りの差分画像とについて最も類似度が高い組み合わせついて、調剤されるべき薬剤と調剤された薬剤とが同一であると判定すればよい。
〔関心領域の設定〕
錠剤領域全体を関心領域とした場合、テレセントリックな光学系で撮影しない限り、ステージ１０２の中心部（カメラ１２０及びカメラ１２２の光軸に近い位置）に載置した場合と端部（カメラ１２０及びカメラ１２２の光軸から相対的に離れた位置）に載置した場合とでは、同じ錠剤であっても写り方が異なる。例えば、ステージ１０２の端部に載置した場合、照度差ステレオ法で得られる平均曲率は、錠剤の側面の情報を含んでしまう。
したがって、錠剤に関心領域を設定することが好ましい。関心領域は、錠剤の載置位置に応じて、関心領域の位置、形状、及び大きさを設定してもよい。例えば、判定部１５０（関心領域設定部の一例）において、錠剤の薬剤の画像に関心領域を設定する。
図１０に示す画像Ｇ９は、ステージ１０２の端部に載置した錠剤の差分画像の一例であり、図１０に示す画像Ｇ１０は、ステージ１０２の中心部に載置した錠剤の差分画像の一例である。図１０に示すように、画像Ｇ９には関心領域Ａ９が、画像Ｇ１０には関心領域Ａ１０が設定されている。
また、判定部１５０（テンプレート生成部の一例）は、設定した関心領域の位置、形状、及び大きさに対応させてマスタ画像からテンプレートを生成し、差分画像の関心領域とテンプレートとを照合する。
このように関心領域を設定することで、照合精度を向上させることができる。
図１１に示す画像Ｇ１１は、ステージ１０２の端部に載置した錠剤の差分画像の一例であり、図１１に示す画像Ｇ１２は、ステージ１０２の中心部に載置した錠剤の差分画像の一例である。図１１に示すように、画像Ｇ１１には関心領域Ａ１１が、画像Ｇ１２には関心領域Ａ１２が設定されている。
この錠剤は、円周上に印字部、又は刻印部が配置されている。したがって、関心領域Ａ１１及び関心領域Ａ１２に印字部、又は刻印部が収まっていない。このように、関心領域を錠剤の中央部に設定すると、照合精度が低下する場合もある。したがって、関心領域は、錠剤毎に異なる位置に設定してもよい。
〔その他〕
上記の画像処理方法は、コンピュータに第１画像取得機能、第１画像処理機能、第２画像取得機能、第２画像処理機能、及び差分画像生成機能を実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
ここまで説明した実施形態において、例えば、画像処理装置１３０、処方箋情報取得部１４４、マスタ画像取得部１４６、及び判定部１５０等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１００ 薬剤監査装置
１０２ ステージ
１０２Ａ 載置面
１０２Ｂ 裏面
１０４ 第１光源
１０６ 第２光源
１０８ 第３光源
１１０ 第４光源
１１２ 第５光源
１１４ 第６光源
１１６ 第７光源
１１８ 第８光源
１２０ カメラ
１２２ カメラ
１２４ 取得部
１２６ 照射部
１２８ 撮影制御部
１３０ 画像処理装置
１３２ 第１画像処理部
１３４ 低周波成分除去部
１３６ 第２画像処理部
１３８ 三次元情報取得部
１４０ 曲率画像生成部
１４２ 差分画像生成部
１４４ 処方箋情報取得部
１４６ マスタ画像取得部
１４８ 記憶部
１５０ 判定部
１５２ 表示部
Ａ９〜Ａ１２ 関心領域
Ｇ１〜Ｇ１２ 画像
Ｉ 識別情報
Ｔ 錠剤
Ｓ１〜Ｓ１７ 画像処理方法の各処理

Claims (12)

  1. 薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１画像取得部と、
    前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理部と、
    前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２画像取得部と、
    前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理部と、
    前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成部と、
    を備えた画像処理装置。
  2. 前記第２画像処理部は、
    前記少なくとも３枚の撮影画像に基づいて照度差ステレオ法により前記薬剤の表面の三次元情報を取得する三次元情報取得部と、
    前記取得した三次元情報に基づいて前記薬剤の表面の局所領域の曲率を表す曲率画像を生成する曲率画像生成部と、
    を備え、
    前記生成した曲率画像を前記刻印抽出画像とする請求項１に記載の画像処理装置。
  3. 前記第１画像処理部は、前記少なくとも１枚の撮影画像から低周波成分を除去する処理を行う請求項１又は２に記載の画像処理装置。
  4. 薬剤を載置するステージと、
    前記ステージに載置された薬剤の表面に対してそれぞれ異なる複数の照明方向から光を照射する少なくとも３つの光源を有する照射部と、
    前記薬剤を撮影する撮影部と、
    前記照射部及び前記撮影部を制御して、前記薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１撮影制御部と、
    前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理部と、
    前記照射部及び前記撮影部を制御して、前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２撮影制御部と、
    前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理部と、
    前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成部と、
    を備えた薬剤監査装置。
  5. 処方箋情報を取得する処方箋情報取得部と、
    前記処方箋情報に基づいて、調剤されるべき薬剤のマスタ画像を取得するマスタ画像取得部と、
    前記マスタ画像と前記生成した差分画像とを照合して、前記調剤されるべき薬剤と前記ステージに載置された薬剤とが同一であるか否かを判定する判定部と、
    を備えた請求項４に記載の薬剤監査装置。
  6. 薬剤の画像に関心領域を設定する関心領域設定部と、
    前記設定した関心領域に対応させて前記マスタ画像からテンプレートを生成するテンプレート生成部と、
    を備え、
    前記判定部は、前記差分画像の関心領域と前記テンプレートとを照合する請求項５に記載の薬剤監査装置。
  7. 前記ステージには分包袋に分包された複数の薬剤が載置される請求項４から６のいずれか１項に記載の薬剤監査装置。
  8. 前記照射部は、第１方向に光を照射する第１光源と、第２方向に光を照射する第２光源と、第３方向に光を照射する第３光源と、第４方向に光を照射する第４光源と、
    を備え、
    前記第２方向は前記表面の平面視において前記第１方向と対向する方向であり、前記第３方向は前記表面の平面視において前記第１方向と直交する方向であり、前記第４方向は前記表面の平面視において前記第３方向と対向する方向である請求項４から７のいずれか１項に記載の薬剤監査装置。
  9. 第１撮影制御部は、前記第１光源、前記第２光源、前記第３光源、及び前記第４光源により前記薬剤の表面に光を照射する請求項８に記載の薬剤監査装置。
  10. 薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１画像取得工程と、
    前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理工程と、
    前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２画像取得工程と、
    前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理工程と、
    前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成工程と、
    を備えた画像処理方法。
  11. 薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１画像取得機能と、
    前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理機能と、
    前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２画像取得機能と、
    前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理機能と、
    前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成機能と、
    をコンピュータに実行させるプログラム。
  12. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    薬剤の表面に光を照射して撮影した少なくとも１枚の前記薬剤の撮影画像を取得する第１画像取得機能と、
    前記少なくとも１枚の撮影画像に基づいて薬剤の印字部分を強調する処理を行い、印字強調画像を生成する第１画像処理機能と、
    前記薬剤の表面への光の照明方向をそれぞれ異ならせて撮影した少なくとも３枚の前記薬剤の撮影画像を取得する第２画像取得機能と、
    前記少なくとも３枚の撮影画像に基づいて薬剤の立体形状から刻印部分のみを抽出する処理を行い、刻印抽出画像を生成する第２画像処理機能と、
    前記印字強調画像及び前記刻印抽出画像の差分画像を生成する差分画像生成機能と、
    をコンピュータに実行させる記録媒体。
JP2019539146A 2017-08-31 2018-08-08 薬剤監査装置、画像処理装置、画像処理方法及びプログラム Active JP6853891B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017167652 2017-08-31
JP2017167652 2017-08-31
PCT/JP2018/029772 WO2019044439A1 (ja) 2017-08-31 2018-08-08 薬剤監査装置、画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019044439A1 JPWO2019044439A1 (ja) 2020-09-03
JP6853891B2 true JP6853891B2 (ja) 2021-03-31

Family

ID=65527247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019539146A Active JP6853891B2 (ja) 2017-08-31 2018-08-08 薬剤監査装置、画像処理装置、画像処理方法及びプログラム

Country Status (5)

Country Link
US (1) US11341357B2 (ja)
EP (1) EP3678089A4 (ja)
JP (1) JP6853891B2 (ja)
CN (1) CN111095262A (ja)
WO (1) WO2019044439A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10872688B2 (en) * 2018-07-30 2020-12-22 Arxium, Inc. Visual analysis pill dispenser
JP7280361B2 (ja) * 2019-07-16 2023-05-23 富士フイルム富山化学株式会社 薬剤識別装置、薬剤識別方法及びプログラム
JP7170602B2 (ja) * 2019-08-27 2022-11-14 富士フイルム富山化学株式会社 学習データ作成装置及び方法、並びに機械学習装置及び方法
JPWO2022163508A1 (ja) * 2021-01-26 2022-08-04
WO2023117688A1 (de) * 2021-12-22 2023-06-29 Bayer Aktiengesellschaft Auslesen von optisch lesbaren codes

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5992742A (en) * 1994-08-05 1999-11-30 Sullivan; Scott L. Pill printing and identification
JPH11108633A (ja) * 1997-09-30 1999-04-23 Peteio:Kk ３次元形状計測装置及びそれを用いた３次元彫刻装置
US20060226234A1 (en) * 2003-06-11 2006-10-12 Kettinger Frederick R Pharmaceutical dosage forms having overt and covert markings for identification and authentification
EP3399462A1 (en) * 2005-09-05 2018-11-07 Alpvision SA Means for using microstructure of materials surface as a unique identifier
US9208394B2 (en) * 2005-09-05 2015-12-08 Alpvision S.A. Authentication of an article of manufacture using an image of the microstructure of it surface
US7953244B2 (en) * 2007-08-31 2011-05-31 Cycling & Health Tech Industry System integrating machine vision, interactive module and rehabilitation equipment
US8626672B2 (en) * 2008-07-23 2014-01-07 I-Property Holding Corp. Secure tracking of tablets
JP5163985B2 (ja) * 2008-11-14 2013-03-13 学校法人早稲田大学 粒状物品種検査装置
US9659423B2 (en) * 2008-12-15 2017-05-23 Proteus Digital Health, Inc. Personal authentication apparatus system and method
CN102860827B (zh) * 2009-09-18 2017-05-17 东芝医疗系统株式会社 磁共振成像装置以及磁共振成像方法
CA3000256A1 (en) * 2010-03-09 2011-09-15 Perceptimed, Inc. Medication verification and dispensing
US8660355B2 (en) * 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
KR20180122044A (ko) * 2011-04-28 2018-11-09 가부시키가이샤 유야마 세이사쿠쇼 약제 감사 장치 및 약제 분포 장치
US9008411B2 (en) * 2011-05-09 2015-04-14 Minigraphics, Inc. Method, system, and apparatus for identifying pharmaceutical products
US8720790B2 (en) * 2011-10-06 2014-05-13 AI Cure Technologies, Inc. Method and apparatus for fractal identification
KR102110958B1 (ko) * 2012-10-03 2020-05-14 가부시키가이샤 유야마 세이사쿠쇼 약제 감사 시스템, 권취 장치, 조출 장치 및 홀더
US8888005B2 (en) * 2013-04-12 2014-11-18 David Prokop Uniquely identifiable drug dosage form units
WO2014182963A2 (en) * 2013-05-08 2014-11-13 Digimarc Corporation Methods and arrangements involving substrate marking
JP5457599B1 (ja) * 2013-09-12 2014-04-02 株式会社Ｗｉｎｄｙ 薬剤分包システム
JP5997120B2 (ja) 2013-09-26 2016-09-28 富士フイルム株式会社 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
JP6100136B2 (ja) * 2013-09-30 2017-03-22 富士フイルム株式会社 薬剤認識装置及び方法
JP5919311B2 (ja) * 2014-01-16 2016-05-18 富士フイルム株式会社 超音波診断装置および超音波画像生成方法
JP6607185B2 (ja) * 2014-03-31 2019-11-20 株式会社湯山製作所 薬剤撮影装置
JP6705379B2 (ja) * 2014-09-25 2020-06-03 株式会社湯山製作所 鑑査支援システム
WO2017119276A1 (ja) * 2016-01-06 2017-07-13 株式会社湯山製作所 鑑査支援システム、錠剤分包装置、分包制御プログラム
JP6674834B2 (ja) * 2016-04-22 2020-04-01 富士フイルム富山化学株式会社 薬剤監査装置及び方法並びにプログラム
WO2019039016A1 (ja) * 2017-08-25 2019-02-28 富士フイルム株式会社 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
EP3674696B1 (en) * 2017-08-25 2024-04-24 FUJIFILM Toyama Chemical Co., Ltd. Medicine inspection assistance device, image processing device, image processing method, and non-transitory computer-readable recording medium

Also Published As

Publication number Publication date
US20200175317A1 (en) 2020-06-04
WO2019044439A1 (ja) 2019-03-07
CN111095262A (zh) 2020-05-01
JPWO2019044439A1 (ja) 2020-09-03
US11341357B2 (en) 2022-05-24
EP3678089A4 (en) 2020-09-09
EP3678089A1 (en) 2020-07-08

Similar Documents

Publication Publication Date Title
JP6853891B2 (ja) 薬剤監査装置、画像処理装置、画像処理方法及びプログラム
JP6823727B2 (ja) 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
US11574141B2 (en) Drug recognizing apparatus, drug recognizing method, and drug recognizing program
JP6894977B2 (ja) 薬剤検査支援装置、薬剤検査支援方法、薬剤識別装置、薬剤識別方法及びプログラム、記録媒体
JP5163985B2 (ja) 粒状物品種検査装置
JP6674834B2 (ja) 薬剤監査装置及び方法並びにプログラム
JPWO2019039302A1 (ja) 薬剤検査支援装置、画像処理装置、画像処理方法及びプログラム
WO2015046043A1 (ja) 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
JP2016523405A (ja) 錠剤の識別における印の解析を使用したシステム及び方法
WO2020044933A1 (ja) 対象物照合装置及び対象物照合方法
JP6861825B2 (ja) 薬剤識別装置、画像処理装置、画像処理方法及びプログラム
JP6757851B2 (ja) 調剤監査支援装置及び調剤監査支援方法
JP7375049B2 (ja) 画像処理装置及び方法
JP7280361B2 (ja) 薬剤識別装置、薬剤識別方法及びプログラム
JP7437259B2 (ja) 画像処理装置、薬剤識別装置、画像処理方法及び薬剤識別方法
JP7338030B2 (ja) 物体認識装置、方法及びプログラム
JP2022040849A (ja) 薬剤候補表示方法及びプログラム、薬剤識別装置、薬剤識別システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210312

R150 Certificate of patent or registration of utility model

Ref document number: 6853891

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350