JP6674834B2 - 薬剤監査装置及び方法並びにプログラム - Google Patents

薬剤監査装置及び方法並びにプログラム Download PDF

Info

Publication number
JP6674834B2
JP6674834B2 JP2016086032A JP2016086032A JP6674834B2 JP 6674834 B2 JP6674834 B2 JP 6674834B2 JP 2016086032 A JP2016086032 A JP 2016086032A JP 2016086032 A JP2016086032 A JP 2016086032A JP 6674834 B2 JP6674834 B2 JP 6674834B2
Authority
JP
Japan
Prior art keywords
medicine
unit
drug
quantitative value
edge detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016086032A
Other languages
English (en)
Other versions
JP2017194413A (ja
JP2017194413A5 (ja
Inventor
一央 岩見
一央 岩見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Toyama Chemical Co Ltd
Original Assignee
Fujifilm Toyama Chemical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Toyama Chemical Co Ltd filed Critical Fujifilm Toyama Chemical Co Ltd
Priority to JP2016086032A priority Critical patent/JP6674834B2/ja
Priority to EP17785800.8A priority patent/EP3447478B1/en
Priority to CN201780022810.9A priority patent/CN109073564B/zh
Priority to PCT/JP2017/014261 priority patent/WO2017183458A1/ja
Publication of JP2017194413A publication Critical patent/JP2017194413A/ja
Priority to US16/165,111 priority patent/US10726285B2/en
Publication of JP2017194413A5 publication Critical patent/JP2017194413A5/ja
Application granted granted Critical
Publication of JP6674834B2 publication Critical patent/JP6674834B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/66Trinkets, e.g. shirt buttons or jewellery items
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J3/00Devices or methods specially adapted for bringing pharmaceutical products into particular physical or administering forms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/02Pill counting devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/85Investigating moving fluids or granular solids
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9508Capsules; Tablets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61JCONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/04Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers
    • A61J7/0409Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers with timers
    • A61J7/0454Arrangements for time indication or reminder for taking medicine, e.g. programmed dispensers with timers for dispensing of multiple drugs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Signal Processing (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は薬剤監査装置及び方法並びにプログラムに係り、特に薬剤を撮影して得られる画像から薬剤の種類を判別する薬剤監査支援技術に関する。
近年、病院等では、例えば服用時期が異なる複数種類の薬剤を患者に処方する際に、一回服用分の複数種の薬剤を1つの分包袋に分包する一包化調剤を行うことが多い。服用時期には、例えば、朝食後、昼食後、夕食後などがある。一包化調剤は、薬剤師が処方箋に従ってピッキングした各薬剤を分包機のトレイに一回服用分ごとにセットした後、この分包機にてトレイ内の薬剤を自動的に各分包袋に分包することにより行われる。分包機のトレイはタブレットケースとも呼ばれる。
このような一包化調剤では、薬剤のピッキングや分包トレイへのセットは薬剤師が手作業で行う場合があるので、処方箋の指示とは異なる種類や個数の薬剤が間違って分包される可能性がある。そこで、分包された薬剤が処方箋に合致するものか否かを判定するために、分包袋への分包前あるいは分包後の薬剤の種類や個数の自動認識が行われている。
特許文献1に記載の薬剤認識装置は、刻印文字が付された薬剤に対して薬剤の周囲を囲む複数の照明方向から照明可能な照明部と、照明部が薬剤を照明する照明方向を順番に切り替える照明制御部と、照明部により照明されている薬剤を撮影する撮影部であって、照明方向が切り替わるごとに薬剤の撮影を繰り返し行う撮影部と、撮影部により取得された照明方向ごとの撮影画像からそれぞれ刻印文字の影に対応する特徴画像を抽出する特徴画像抽出部と、特徴画像抽出部が抽出した照明方向ごとの特徴画像を統合して統合画像を生成する特徴画像統合部と、特徴画像統合部が生成した統合画像に含まれる刻印文字を認識して、刻印文字の認識結果に基づき薬剤の種類を認識する認識部と、を備える。薬剤認識装置という用語は、本明細書の薬剤監査装置に対応する用語であると理解される。
特開2015−68765号公報
特許文献1に記載の薬剤認識装置では、刻印文字が認識できない場合に、薬剤の認識に失敗したと判定し、この判定結果を表示部に出力する構成となっている(特許文献1の段落0053)。しかし、特許文献1には、刻印文字が認識できない場合をどのように検出するのか、その検出方法に関して具体的な開示はない。
薬剤監査の作業を一層効率化するためには、薬剤の認識に失敗した場合の問題点を検出して、その問題点をユーザに知らせることが望ましい。この課題は、刻印文字を認識する場合に限らず、薬剤表面に印刷された印刷文字を認識する場合についても共通する課題である。また、この課題は、一包化調剤における薬剤監査に限らず、薬剤を撮影した画像から薬剤の種類を認識する処理を用いる薬剤監査に共通する課題である。
本発明はこのような事情に鑑みてなされたもので、薬剤を撮影した画像から薬剤を認識することが不可能な状態を検出するための新たな検出技術を提供し、薬剤認識不能な状態である場合にユーザに対して注意を促すことができる薬剤監査装置及び方法並びにプログラムを提供することを目的とする。
本開示の第1態様に係る薬剤監査装置は、薬剤を撮影して得られる撮影画像を取得する画像取得部と、撮影画像から薬剤を認識して薬剤の種類を特定する薬剤認識部と、薬剤認識部による薬剤認識の成否に関わる撮影画像の品質を定量化した定量値を算出する定量値算出部と、薬剤認識部による薬剤認識が可能か否かの判定基準となる定量値の閾値を記憶しておく記憶部と、定量値算出部により算出された定量値と閾値とを比較して、薬剤認識部による薬剤の認識が可能か否かを判定する比較判定部と、比較判定部により薬剤認識部の薬剤認識ができないと判定された場合に警報を発する警報出力部と、を備える。
撮影画像から薬剤を認識することができない原因の1つとして撮影画像の品質の問題がある。第1態様の薬剤監査装置では、撮影画像の品質を定量的に評価する定量値と薬剤認識の成否との関係を予め知得しておき、薬剤認識が不可能となる定量値の閾値を定めておく。第1態様によれば、撮影画像から算出される定量値と閾値とを比較することにより、薬剤認識ができない品質の状態を検出することができる。そして、薬剤認識ができないと判定された場合に警告が発生されることにより、ユーザに注意を促すことができる。
第2態様として第1態様の薬剤監査装置において、薬剤認識部による薬剤認識の成否に関わる撮影画像の品質は、撮影画像の鮮鋭度を含む構成とすることができる。
第3態様として第1態様又は第2態様の薬剤監査装置において、薬剤認識部は、撮影画像から薬剤のエッジを検出するエッジ検出部と、撮影画像からエッジ検出部によって検出されたエッジの情報を基に抽出された薬剤に付されている刻印を認識する刻印認識部と、を含む構成とすることができる。
第4態様として第3態様の薬剤監査装置において、定量値は、エッジ検出部によるエッジ検出の成否に関わる撮影画像の品質を定量化した定量値であり、閾値は、エッジ検出部によるエッジ検出が可能か否かの判定基準となる定量値の閾値であり、比較判定部が行う薬剤認識部による薬剤の認識が可能か否かの判定は、エッジ検出部によるエッジ検出が可能か否かの判定であり、警報出力部は、比較判定部によりエッジ検出部のエッジ検出ができないと判定された場合に警報を発する構成とすることができる。
第5態様として第1態様から第4態様のいずれか一態様の薬剤監査装置において、定量値算出部は、撮影画像に二次元フーリエ変換の処理を適用して得られる動径方向の空間周波数スペクトルにおいて1サイクルパーミリメートルよりも高周波の空間周波数スペクトルの絶対値の総和と、1サイクルパーミリメートルよりも低周波の空間周波数スペクトルの絶対値の総和との比を用いて定義される定量値を算出する構成とすることができる。
第6態様として第1態様から第5態様のいずれか一態様の薬剤監査装置において、警報出力部は、定量値算出部により算出された定量値が閾値を下回った場合に、警報を出力する構成とすることができる。
第7態様として第1態様から第6態様のいずれか一態様の薬剤監査装置において、警報出力部は、警報の情報を表示する表示部を含む構成とすることができる。
第8態様として第1態様から第7態様のいずれか一態様の薬剤監査装置において、薬剤を撮影するカメラを備え、画像取得部は、カメラによって撮影した撮影画像を取得する構成とすることができる。
第9態様として第1態様から第8態様のいずれか一態様の薬剤監査装置において、撮影画像は、複数種類の薬剤が分包袋に収容された1分包分の一包化薬剤を撮影して得られる画像である構成とすることができる。
第10態様に係る薬剤監査方法は、薬剤を撮影して得られる撮影画像を取得する画像取得工程と、撮影画像から薬剤を認識して薬剤の種類を特定する薬剤認識工程と、薬剤認識工程による薬剤認識の成否に関わる撮影画像の品質を定量化した定量値を算出する定量値算出工程と、薬剤認識工程による薬剤認識が可能か否かの判定基準となる定量値の閾値を記憶しておき、定量値算出工程により算出された定量値と閾値とを比較して、薬剤認識工程による薬剤の認識が可能か否かを判定する比較判定工程と、比較判定工程により薬剤認識工程の薬剤認識ができないと判定された場合に警報を発する警報出力工程と、を含む。
第10態様において第2態様から第9態様にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、薬剤監査装置において特定される手段又は機能の要素は、これに対応する処理又は動作の工程(ステップ)の要素として把握することができる。
第11態様に係るプログラムは、コンピュータに、薬剤を撮影して得られる撮影画像を取得する画像取得工程と、撮影画像から薬剤を認識して薬剤の種類を特定する薬剤認識工程と、薬剤認識工程による薬剤認識の成否に関わる撮影画像の品質を定量化した定量値を算出する定量値算出工程と、薬剤認識工程による薬剤認識が可能か否かの判定基準となる定量値の閾値を記憶しておき、定量値算出工程により算出された定量値と閾値とを比較して、薬剤認識工程による薬剤の認識が可能か否かを判定する比較判定工程と、比較判定工程により薬剤認識工程の薬剤認識ができないと判定された場合に警報を発する警報出力工程と、を実行させるためのプログラムである。
第11態様において第2態様から第9態様にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、薬剤監査装置において特定される手段又は機能の要素は、これに対応する処理又は動作の工程(ステップ)の機能を実現するプログラム要素として把握することができる。
本発明によれば、薬剤を撮影した画像から薬剤を認識することが不可能な状態であることを検出することができる。本発明によれば、薬剤認識不能な状態であることが検出された場合に、ユーザに対して注意を促すことができる。
図1は実施形態に係る薬剤監査装置の斜視図である。 図2は投光器の上面図である。 図3は実施形態に係る薬剤監査装置の機能ブロック図である。 図4は実施形態に係る薬剤監査装置による監査処理の流れを示したフローチャートである。 図5は薬剤を撮影して得られる撮影画像の一例である。 図6は薬剤を撮影していられる撮影画像の他の例である。 図7は図5に示した撮影画像についてエッジ検出の処理を実施して抽出されたエッジ抽出画像の例である。 図8は図6に示した撮影画像についてエッジ検出の処理を実施して抽出されたエッジ抽出画像の例である。 図9はシミュレーションに用いた任意のパラメータCの値と、薬剤の輪郭抽出の可否の結果と、それぞれの条件において算出した定量値Tの値とをまとめた図表である。 図10は実施形態に係る薬剤監査装置における情報処理装置の処理の流れを示すフローチャートである。
以下、添付図面に従って本発明の実施の形態について詳説する。
[実施形態に係る薬剤監査装置の構成]
図1は実施形態に係る薬剤監査装置10の斜視図である。薬剤監査装置10は、分包袋11に分包された薬剤12の種類を認識して、分包袋11内の薬剤12が図示しない処方箋に合致するものであるか否かを監査する。分包袋11は透明又は半透明な薬剤収容袋である。ここでいう薬剤12とは固形剤であり、例えば、錠剤又はカプセル剤である。薬剤12の表面には図示されない刻印文字又は印刷文字が付されている。本明細書では薬剤表面に付された刻印文字又は薬剤表面に印刷された印刷文字による識別情報を「刻印」という。分包袋11には複数の薬剤12が収容される。1つの分包袋11に収容される複数の薬剤12は、異なる種類の薬剤を含んでいてもよいし、同じ種類の薬剤を含んでいてもよい。分包袋11に分包された薬剤12を一包化薬剤という。
薬剤監査装置10は、トレイ17と、搬送機構18と、投光器19と、バックライト20と、カメラ21と、情報処理装置22と、を備えている。トレイ17には、図示しない分包装置により1分包分の薬剤12がそれぞれ分包された一連の分包袋11が載置される。トレイ17は透明又は半透明の材料によって形成されており、バックライト20から照射される照明光はトレイ17を透過する。透明又は半透明な材料とは、光透過性を有する材料と同義である。
搬送機構18は、帯状に連なる一連の分包袋11の長手方向に沿ってトレイ17を間欠的に搬送する。搬送機構18には図示されないモータなどの動力源が含まれる。一連の分包袋11の長手方向を以下単に「長手方向」という。投光器19及びバックライト20及びカメラ21はそれぞれ固定の位置に設置されており、搬送機構18によってトレイ17が搬送されることにより、一連の分包袋11は投光器19及びバックライト20及びカメラ21に対して長手方向に相対的に移動する。なお、トレイ17を搬送する代わりに、投光器19及びバックライト20及びカメラ21を分包袋11の長手方向に搬送してもよい。
投光器19は、トレイ17の上面側に配置されており、搬送機構18により間欠的に搬送される分包袋11を1分包分ずつ順番に照明する。トレイ17の上面とは、トレイ17における分包袋11と接触する載置面側の面である。図1の記載において図面の上方向に向いた面がトレイ17の上面である。また、トレイ17のバックライト20に対面する側の面をトレイ17の下面という。なお、本実施形態の説明において、トレイ17の上面側にトレイ17から遠ざかる方向が上方向であり、トレイ17の下面側にトレイ17から遠ざかる方向が下方向である。
投光器19は、光源保持部24と複数の点光源25とを含んで構成されている。光源保持部24は、複数の点光源25を保持する保持部材である。光源保持部24は光透過性を有する材料によって形成されている。光源保持部24は1分包分の分包袋11を覆う略ドーム形状に形成されている。光源保持部24の天井部分には、光源保持部24の内部を露呈させる開口窓24aが形成されている。これにより、光源保持部24の上方側から、開口窓24aを通して光源保持部24内の薬剤12を確認することができる。光源保持部24内の薬剤12とは、光源保持部24内に位置する分包袋11内に分包された薬剤12をいう。図2は投光器19の上面図である。
点光源25は、例えば(LED: Light Emitting Diode)光源などが用いられる。点光源25は、光源保持部24の外側面の下段部及び上段部のそれぞれの周方向に沿って等間隔に8個取り付けられている。これら16個の点光源25は、光源保持部24内の薬剤12に向けて照明光を照射する。
投光器19は、各点光源25により、光源保持部24内の薬剤12を複数の照明方向から照明することができる。また、投光器19は、16個の点光源の個別のオンオフを制御することにより、光源保持部24内の薬剤12を照明する照明方向を切り替えることができる。
図1に示したように、バックライト20は、トレイ17の下面側の位置であって、かつトレイ17を挟んで投光器19と対向する位置に配置されている。バックライト20は、トレイ17を通して光源保持部24内の薬剤12をその背後から照明する。
カメラ21は、CCD(charge-coupled device)センサやCMOS(complementary metal-oxide semiconductor device)センサに代表される撮像デバイス(不図示)を搭載した撮影装置である。撮像デバイスにはカラーフィルタを備えたカラー撮像デバイスを用いることが好ましい。カメラ21は図示されない撮影レンズ等の光学系を含んでいる。また、カメラ21は撮像デバイスから出力される画像信号を処理するアナログフロントエンド回路などの信号処理回路を備えていてもよい。カメラ21は被写体の像を電気信号に変換して被写体に応じた画像信号を生成する。画像信号はアナログ信号であってもよいし、デジタル信号であってもよい。本例ではカメラ21からデジタル形式の画像信号が出力されるものとして説明する。デジタル形式の画像信号を画像データという。
カメラ21は開口窓24aの上方に配置されている。カメラ21は、開口窓24aを通して光源保持部24内の薬剤12を撮影することにより、画像データ28を生成する。カメラ21は、撮影により生成した画像データ28を情報処理装置22に出力する。画像データ28は撮影画像の一形態に相当する。
なお、図1に示す第1実施形態では、トレイ17に載置された分包袋11の上面側である片側の面をカメラ21によって撮影し、上面側から撮影した撮影画像を取得する構成となっているが、かかる構成に加えて、トレイ17の下面側にも図示せぬ投光器及びカメラを配置する構成を採用し、分包袋11の下面側から撮影した撮影画像を取得する形態とすることが好ましい。
図3は薬剤監査装置10の機能ブロック図である。情報処理装置22として、例えば、パーソナルコンピュータを用いることができる。情報処理装置22は、搬送機構18、照明装置30及びカメラ21のそれぞれと接続される。照明装置30は、図1において説明した投光器19及びバックライト20を指す。「接続」は有線接続に限らず、無線接続であってもよい。信号の伝達が可能な状態は「接続」の概念に含まれる。本例の情報処理装置22は、薬剤監査装置10の制御装置として機能し、かつ、画像処理その他の各種演算処理を行う演算装置として機能する。
情報処理装置22は、搬送制御部32と、照明制御部33と、撮影制御部34とを備え、搬送機構18、照明装置30及びカメラ21の動作を制御する。また、情報処理装置22は、画像取得部40、メモリ41、画像処理部42、表示制御部44、及び表示部46を備える。画像処理部42は、定量値算出部50と、比較判定部51と、閾値記憶部52と、薬剤認識部54とを含む。薬剤認識部54は、エッジ検出部55と刻印認識部56とを含んで構成される。情報処理装置22は、さらに、操作部60、統括制御部62、薬剤データベース記憶部63、調剤情報取得部64、及び監査部65を備えている。
情報処理装置22の各部の機能は、コンピュータのハードウエアとソフトウエアの組み合わせによって実現することができる。「ソフトウエア」は「プログラム」と同義である。また、情報処理装置22における処理機能の一部又は全部は集積回路などによって実現することができる。
搬送制御部32は、統括制御部62からの指令に基づき搬送機構18の駆動を制御する。照明制御部33は、統括制御部62からの指令に基づき照明装置30による照明光の出射を制御する。照明制御部33は、図1において説明した投光器19の点光源25及びバックライト20の発光を制御し、光源保持部24内の薬剤12を照明する照明条件を変更し得る。
図3に示した撮影制御部34は、統括制御部62からの指令に基づきカメラ21による撮影動作を制御する。撮影制御部34は、搬送機構18による間欠搬送が停止するごとに、すなわち、1包分の分包袋11ごとにカメラ21に撮影を実行させる。また、同じ分包袋11に対して照明条件を変えて複数回の撮影を行う場合には、撮影制御部34は照明条件の切り替えが実行されるごとに、カメラ21に撮影を実行させる。
画像取得部40は、カメラ21によって撮影された撮影画像を取得するインターフェース部である。画像取得部40は、カメラ21から出力される画像データを取り込むデータ入力端子によって構成することができる。また、画像取得部40として有線又は無線の通信インターフェース部を採用してもよい。画像取得部40を介して取得された撮影画像はメモリ41に記憶される。
メモリ41は、画像取得部40を介して取得した撮影画像を記憶する記憶部として機能する。また、メモリ41は、統括制御部62が実行する各種制御用のプログラム及び制御に必要な各種データを記憶する記憶部として機能し、かつ、画像処理部42の各種演算を行う際のワークメモリとして機能し得る。
画像処理部42は、画像取得部40を介して取得した撮影画像を解析することにより薬剤12の種類を認識する。また、画像処理部42は、撮影画像を解析することにより薬剤認識部54による薬剤認識が不能な状態を検出する処理を行う。また、画像処理部42は、ノイズ除去処理、色変換処理、画像回転処理、トリミング処理、若しくは合成処理のうち1つ又は複数の処理を行う処理部(不図示)を含んでいてもよい。
定量値算出部50は、薬剤認識部54による薬剤認識の成否に関わる撮影画像の品質を定量化した定量値を算出する。本実施形態の定量値算出部50は、エッジ検出部55によるエッジ検出の成否に関わる撮影画像の鮮鋭度を定量化した定量値を算出する。撮影画像の鮮鋭度は、薬剤認識部54による薬剤認識の成否に関わる撮影画像の品質の一例である。
定量値算出部50は、撮影画像に二次元高速フーリエ変換の処理を施し、得られた二次元高速フーリエ変換画像の動径方向の空間周波数スペクトルにおいて1サイクルパーミリメートル[cycle/mm]よりも高周波の空間周波数スペクトルの絶対値の総和と、1サイクルパーミリメートル[cycle/mm]よりも低周波の空間周波数スペクトルの絶対値の総和との比を用いて定義される定量値を算出する。
閾値記憶部52は、薬剤認識部54による薬剤認識が可能か否かの判定基準となる定量値の閾値を記憶しておく記憶部である。閾値の定め方は、例えばシミュレーションなどを基に定量値と薬剤認識の成否の関係を調べ、薬剤認識が不可能となる定量値の条件を閾値として定める。
比較判定部51は、閾値記憶部52から閾値の情報を取得する。比較判定部51は、定量値算出部50により算出された定量値と閾値とを比較して、薬剤認識部54による薬剤の認識が可能か否かを判定する。閾値の定め方の具体例を含め、画像処理部42において薬剤認識不能な状態を検出する処理の方法について詳細は後述する。
薬剤監査装置10は、比較判定部51により薬剤認識部54の薬剤認識ができないと判定された場合に警報を発する警報出力部58を備えている。警報出力部58は表示部46を含んでいる。比較判定部51により薬剤認識不能な状態と判定された場合は、薬剤認識不能な状態であることを知らせる警報情報が表示制御部44を介して表示部46に表示される。警報出力部58は、表示部46の他に、警告灯、警告音を発生させる装置、若しくは音声を発生させる装置、又はこれらの適宜の組み合わせを含んで構成されてもよい。
薬剤認識部54は、撮影画像から薬剤を認識して薬剤の種類を特定する。エッジ検出部55は、撮影画像に対して公知のエッジ検出処理を行い、撮影画像内の薬剤の輪郭を抽出する。エッジ検出部55におけるエッジ検出処理の手法には、例えば、キャニー(Canny)エッジ検出の手法を用いることができる。
刻印認識部56は、エッジ検出部55によって検出されたエッジの情報を基に抽出された薬剤領域から、それぞれの薬剤12に付されている刻印の輪郭を検出し、刻印が示す文字情報を認識する。
薬剤データベース記憶部63には、薬剤の外観画像及び刻印の情報を含む薬剤情報が薬剤の種類ごとに対応付けられた薬剤データの集合体である薬剤データベースが記憶されている。薬剤認識部54は刻印認識部56が認識した刻印から薬剤データベースを参照することにより、薬剤の種類を特定することができる。
調剤情報取得部64は、レセプトコンピュータ70から調剤情報72を取得する。レセプトコンピュータ70には、処方箋の記載に基づく調剤情報72が保持されている。薬剤師は、調剤を行う際に、処方箋に記載されている調剤情報を基に、レセプトコンピュータ70に調剤情報72を入力する作業を行う。調剤情報72には、患者の氏名及び年齢、並びに薬剤名、分量、用法及び用量などが含まれる。なお、レセプトコンピュータ70に入力する薬剤名は、処方箋に記載された薬剤名に限らず、これと同一成分かつ同一薬効を有する後発医薬品の薬剤名であってもよい。
分包装置では、レセプトコンピュータ70に入力された調剤情報72に従って、一連の分包袋11にそれぞれ薬剤12を分包している。監査部65は、調剤情報取得部64から取得した調剤情報72に基づき、各分包袋11に分包されるべき薬剤12の種類や個数を判別することができる。
また、刻印認識部56は、調剤情報72に基づき薬剤データベースを参照することにより、調剤情報72に記載されている個々の薬剤に付されている刻印の情報を取得することができる。刻印認識部56は調剤情報72から薬剤データベースを参照することにより得られた刻印の情報と、撮影画像から抽出した刻印の輪郭とを比較することにより、撮影画像内に含まれる薬剤12に付されている刻印を認識する。そして、薬剤認識部54は、刻印の認識結果に基づき、薬剤データベースを参照して、各刻印にそれぞれ対応する薬剤12の種類を特定する。これにより、1分包分の薬剤12の種類が認識される。薬剤認識部54は、1分包分の薬剤12の種類の認識結果を監査部65へ出力する。
監査部65は、薬剤認識部54から入力された1分包分の薬剤12の種類の認識結果と、調剤情報72に記録されている1分包分の薬剤の種類とを照合する。監査部65による照合結果の情報は表示制御部44を介して表示部46に表示される。
表示制御部44は表示部46に各種情報を表示させるための制御を行う。表示制御部44は、表示部46に対する表示用の信号を生成する処理を行う。
表示部46には、例えば、液晶ディスプレイ、有機EL(Organic Electro-Luminescence)ディスプレイなどの種々の表示方式による表示デバイスを用いることができる。ユーザによる情報処理装置22に対する指示の入力及び設定等の作業は、操作部60と表示部46を利用して行うことができる。表示部46と操作部60の組み合わせは、薬剤監査装置10のユーザインターフェースとして機能する。
操作部60は、薬剤師等のユーザが各種情報を入力する操作を行うため手段である。操作部60には、キーボード、マウス、タッチパネル、トラックボール、又は操作ボタンなど、各種の入力装置を採用することができ、これらの適宜の組み合わせであってもよい。
[薬剤監査装置10による監査処理の説明]
図4は実施形態に係る薬剤監査装置10による監査処理の流れを示したフローチャートである。
予めレセプトコンピュータ70に入力された調剤情報72に従って薬剤師が薬剤12を分包装置にセットし、この分包装置において薬剤12が複数の分包袋11に分包される。分包装置にて薬剤12が分包された一連の分包袋11は、薬剤監査装置10のトレイ17上にセットされる(ステップS11)。操作部60にて監査開始操作がなされると、統括制御部62は、薬剤監査装置10の各部を作動して一連の分包袋11に分包されている薬剤12の種類の認識及び監査を開始する。
ステップS12において、統括制御部62は、処理の対象とする分包袋11の番号を示すパラメータNにN=1を設定する。
ステップS13において、搬送制御部32は搬送機構18を作動させて第N番目の分包袋11を撮影位置に搬送する。撮影位置とは、カメラ21による撮影が可能な光源保持部24の内側の位置をいう。搬送機構18によってトレイ17が搬送させることにより、第N番目の分包袋が光源保持部24内にセットされる。
ステップS14において、撮影制御部34はカメラ21による撮影を実行し、薬剤12を撮影する。ステップS14の撮影工程には、照明装置30による照明条件の設定及びその設定に従った照明装置30の発光の動作が含まれる。照明装置30によって照明光が照射された状態でカメラ21による撮影が行われる。
ステップS15において、情報処理装置22は画像取得部40を介してカメラ21から撮影画像を取得する。カメラ21から得られた撮影画像はメモリ41に格納される。
ステップS16において、情報処理装置22はエッジ検出部55によって撮影画像から薬剤領域を抽出する処理を行う。
図5は撮影画像80の一例である。撮影画像80は、複数種類の薬剤12が分包袋11に収容された1分包分の一包化薬剤を撮影して得られる画像である。薬剤12の表面には刻印82が付されている。撮影画像80に含まれる複数の薬剤12の各々について薬剤12の画像部分に相当する薬剤領域84が抽出される。図5では薬剤領域84を強調するために円を表示した。
次いで、図4のステップS17において、情報処理装置22の刻印認識部56は、ステップS16により抽出された各薬剤領域の薬剤の種類を特定する薬剤認識処理を行う。刻印認識部56は、調剤情報72に基づき、薬剤データベースを参照して、調剤情報72に記録された個々の薬剤12に付されている刻印の情報を得る。また、刻印認識部56は、エッジ検出部55によって検出されたエッジの情報を基に抽出された薬剤領域の薬剤に付されている刻印を判別する。そして、刻印認識部56は、調剤情報72に基づいて取得した刻印の情報と、撮影画像から判別した刻印とを比較することにより、撮影画像内に含まれる刻印を認識する。このように調剤情報72との比較を行うことにより、撮影画像に含まれている刻印の形状が不完全な場合、例えば刻印の一部に歪みや欠落などが発生している場合でも、刻印の誤認識を低減させることができる。
こうして、刻印認識部56は、撮影画像からそれぞれ認識された刻印に基づき、薬剤データベースを参照して、第N番目の分包袋11内の各薬剤12の種類を特定し、この薬剤認識結果を監査部65へ出力する。
次いで、ステップS18において、情報処理装置22の監査部65は、ステップS17により特定した薬剤の種類を調剤情報72と照合を行う。
ステップS19において、監査部65は照合結果を表示部46に出力する。表示部46には、監査部65による照合結果が表示される。この際に、表示部46は、照合結果が不一致であった場合には、該当する薬剤12の種類名を表示することで、調剤監査を行う薬剤師等に警告を行う。また、表示部46は、薬剤認識部54から薬剤12の認識に失敗した旨の判定結果が入力された場合には、この判定結果を表示することで、調剤監査を行う薬剤師等に警告を行う。
以上で第N番目の分包袋11に分包されている薬剤12の種類の認識及び監査が完了する。
次いで、ステップS20において、他の分包袋が残っているか否かを判定する。一連の分包袋11のうち監査が未処理の分包袋11が残っている場合には、ステップS21に進み、パラメータNの値をインクリメントして、「N+1」の値を新たに分包袋番号のパラメータNの値としてステップS13に戻る。
そして、前述のステップS13からステップS20までの各ステップの処理が繰り返し実行される。一連の分包袋11の全てについて薬剤12の種類の認識及び監査が完了すると、ステップS20に判定においてNo判定となり、図4のフローチャートが終了する。
図4におけるステップS15は画像取得工程の一形態に相当する。ステップS16とステップS17の組み合わせが薬剤認識工程の一形態に相当する。
[薬剤認識の課題]
図4のフローチャートによって説明した監査処理を実行するためには、撮影画像から各薬剤12の薬剤領域84を抽出する処理(ステップS16)に成功し、かつ、抽出した薬剤領域84から刻印82を認識する処理(ステップS17)に成功して、薬剤12の種類が特定されることが必要である。
しかし、撮影画像がぼけている場合など、薬剤領域の抽出及び刻印認識の処理に失敗するケースがあり得る。撮影画像がぼけているとは、撮影画像の鮮鋭度が低いことを意味している。このような場合、図4のフローチャートを実施したとしても、薬剤12の認識を行うことができない。そのため、本実施形態の薬剤監査装置10では、薬剤認識部54による薬剤認識処理が不能となる問題のある状態を検出し、ユーザに知らせる機能を搭載している。
[撮影画像の鮮鋭度が低く薬剤認識が不可能な場合について]
図6は図5と対比される撮影画像90の例である。図6は図5に比べて鮮鋭度が低下しており、ぼけた画像となっている。
図6は、撮影画像90がぼけてしまっており、薬剤認識部54による薬剤領域の抽出、つまり、エッジ検出がうまくいかない画像の例である。
図7は図5に示した撮影画像80についてエッジ検出の処理を実施して抽出されたエッジ抽出画像である。図7では正常にエッジ検出が行われ、正常なエッジ検出画像が得られている。
図8は図6に示した撮影画像90についてエッジ検出の処理を実施して抽出されたエッジ抽出画像である。図8では撮影画像90がぼけていることにより、薬剤の輪郭が十分に抽出できていない。例えば、図8の中央部に位置するカプセル剤の輪郭の抽出が不十分となっている。
図6のように撮影画像の鮮鋭度が低下する原因は複数考えられる。例えば、錠剤の粉塵による散乱、包装材による散乱などが考えられる。このような場合、薬剤12の検出が不可能であることをユーザに知らせることが必要となる。
本実施形態では、二次元高速フーリエ変換の処理を用いてエッジに対応する高周波成分とエッジ以外の低周波成分の割合を予め装置内に閾値として記憶しておくことで、撮影画像がその閾値を超えるか否かによって、薬剤認識不能なレベルに撮影画像がぼけている状態であることを検出する。二次元高速フーリエ変換の処理は二次元フーリエ変換の処理の一形態に相当する。
なお、本実施形態の場合、二次元高速フーリエ変換画像はパーセバルの定理に基づいて規格化され、得られたスペクトルの絶対値を用いて閾値を定めた。具体的には、撮影画像の二次元高速フーリエ変換画像の動径方向の1サイクルパーミリメートル[cycle/mm]より大きい空間周波数スペクトルの絶対値の合計値と、1サイクルパーミリメートル[cycle/mm]以下の空間周波数スペクトルの絶対値の合計値の比を取ることとした。これは、撮影画像の高周波成分は、分包された薬剤の薬剤数に依存するため、薬剤数によって規格化するのと同様の効果が得られる。
[定量値の具体例]
以下、キャニーエッジ検出の手法を用いる場合を例に説明する。
撮影画像の品質を定量的に示す値として、以下に定義する定量値Tを用いることができる。
T=S/SNE
は、撮影画像の二次元高速フーリエ変換画像における動径方向の1サイクルパーミリメートル[cycle/mm]より大きい空間周波数スペクトルの絶対値の総和である。
NEは、撮影画像の二次元高速フーリエ変換画像における動径方向の1サイクルパーミリメートル[cycle/mm]以下の空間周波数スペクトルの絶対値の総和である。
定量値Tについての閾値を予め装置内に保持しておく。
なお、1サイクルパーミリメートル[cycle/mm]は、薬剤の輪郭を形成する最低空間周波数である。Sは薬剤の輪郭部を反映する値であり、SNEは薬剤の非輪郭部を反映する値である。
定量値Tを定義する式において、スペクトル総和の比を取るのは、視野範囲に入る薬剤の数によって、定量値を規格化するためである。なお、スペクトル総和には画像の平均値は用いない。
[閾値の算出例]
定量値Tは撮影画像のぼけ具合を示す指標の1つであり、ぼけ定量値、或いは、鮮鋭度定量値と理解することができる。上記で定義の定量値Tの閾値を定めるために、薬剤認識が可能な適正な撮影条件で撮影された撮影画像に対して、シミュレーションにより撮影画像にぼけを付与し、鮮鋭度を低下させた画像を作成した。シミュレーションによって付加するぼけは、Exp(-0.020×π×C×f)の式により定義した。
Exp(x)の関数は自然対数の底数である「e」のx乗を表す。Cは任意のパラメータである。fは空間周波数[cycle/mm]である。
任意のパラメータCの値を振りながら、キャニーエッジ検出の手法によるエッジ検出の処理により、錠剤及びカプセル剤の輪郭が現れるかどうかを確認し、それぞれの条件における定量値Tを算出した。
図9に示す図表は、任意のパラメータCの値と、薬剤の輪郭抽出の可否の結果と、それぞれの条件において算出した定量値Tの値とをまとめたものである。表中の薬剤輪郭抽出可否の評価に関して「A」は薬剤の輪郭の抽出に成功したことを示す。「D」は薬剤の輪郭の抽出に失敗したことを示す。
キャニーエッジ検出を用いる場合、図9の図表から、閾値は「1.19」に設定しておけばよいことがわかる。このようにして定めた閾値が図3の閾値記憶部52に記憶される。
また、キャニー法に限らず、ゾーベル(sobel)フィルタを用いる方法、又はラプラシアンフィルタを用いる方法など、それぞれ用いるエッジ検出法に対して、閾値を設けておけばよい。
こうして定められた閾値に対し、撮影画像ごとに定量値算出部50により定量値Tが算出され、撮影画像ごとに算出される定量値Tが閾値を下回った場合に、薬剤認識が不可能であると判定して、薬剤認識が不可能な状態であることをユーザに知らせる警報が出力される。警報出力部58による警報の出し方は、アラート若しくは表示部46の画面表示、又はこれらの組み合わせとすることができる。警報には、薬剤認識が不可能である原因をユーザに伝える情報が含まれることが好ましい。例えば、本例の表示部46に表示される警報情報には、撮影画像の鮮鋭度が低いことが原因で薬剤認識が不能である旨をユーザに伝える情報が含まれる。
定量値Tは、エッジ検出部55によるエッジ検出の成否に関わる撮影画像の品質を定量化した定量値の一例である。また、図9に示したシミュレーションの結果から定めた閾値は、エッジ検出部55によるエッジ検出が可能か否かの判定基準となる定量値の閾値の一例である。
定量値Tを基に比較判定部51が行う薬剤認識部54による薬剤認識が可能か否かの判定は、エッジ検出部55によるエッジ検出が可能か否かの判定に相当しており、警報出力部58は、比較判定部51によりエッジ検出部55のエッジ検出ができないと判定された場合に、その旨を示す警報を発することになる。
[実施形態に係る薬剤監査方法]
図10は実施形態に係る薬剤監査装置10における情報処理装置22の処理の流れを示すフローチャートである。図10を用いて実施形態に係る薬剤監査方法を説明する。
ステップS31において情報処理装置22は画像取得部40を介して撮影画像を取得する。ステップS31は図4のフローチャートにおけるステップS15に相当する。
次いで、図10のステップS32において、定量値算出部50は、撮影画像の品質を定量化した定量値を算出する。定量値算出部50は、例えば、撮影画像の鮮鋭度を定量化した定量値Tを算出する。
ステップS33において、比較判定部51は、ステップS32にて求めた定量値と、予め閾値記憶部52に記憶しておいた閾値とを比較して、薬剤の認識が可能か否かを判定する。
ステップS34において、比較判定部51が薬剤認識可能と判定した場合はステップS35に進む。
ステップS35において、エッジ検出部55は撮影画像のエッジ検出処理を行う。エッジ検出処理の処理結果を基に薬剤領域の抽出が行われる。ステップS35のエッジ検出工程は図4のステップS16として説明した薬剤領域抽出工程に対応する工程である。
図10のステップS35の後、ステップS36において、刻印認識部56は、各薬剤領域内の刻印を認識し、薬剤の種類を特定する処理を行う。ステップS36の刻印認識工程は図4のステップS17として説明した薬剤認識工程に対応する工程である。
図10のステップS36により薬剤の種類が特定されると、ステップS37において、薬剤認識部54は特定した薬剤の情報である検出情報を出力する。ステップS37は、薬剤認識部54から監査部65に情報を提供する工程と理解してもよいし、薬剤認識部54が認識した薬剤の情報を表示部46に出力する工程と理解してもよい。或いは、ステップS37は監査部65による監査結果を表示部46に出力する工程と理解してもよい。
ステップS34において、比較判定部51が薬剤認識不能と判定した場合はステップS38に進む。ステップS38において警報出力部58は、薬剤認識不能な状態であることを知らせる警報を出力する。
図10に示したフローチャートは、入力される撮影画像ごとに実施される。
図10におけるステップS31は画像取得工程の一形態に相当する。ステップS32は定量値算出工程の一形態に相当する。ステップS33は比較判定工程の一形態に相当する。ステップS35とステップS36の組み合わせは薬剤認識工程の一形態に相当する。ステップS38は警報出力工程の一形態に相当する。
本実施形態によれば、薬剤を撮影した撮影画像から定量値Tを算出して撮影画像の品質を評価し、定量値Tと閾値とを比較することにより、撮影画像が薬剤認識不能な状態であるか否かを判定することができる。そして、薬剤認識不能な状態であることが検出された場合に、ユーザに対して注意を促すことができる。これにより、効率的な薬剤監査を行うことができる。
[コンピュータを薬剤監査装置として機能させるプログラムについて]
上述の実施形態で説明した情報処理装置22の薬剤監査機能をコンピュータに実現させるためのプログラムをCD−ROM(Compact Disc Read-only Memory)や磁気ディスクその他のコンピュータ可読媒体である有体物たる非一時的な情報記憶媒体に記録し、情報記憶媒体を通じてプログラムを提供することが可能である。このような情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの通信ネットワークを利用してプログラム信号をダウンロードサービスとして提供することも可能である。
また、上述の実施形態で説明した情報処理装置22の薬剤監査機能の一部又は全部をアプリケーションサーバやクラウドコンピューティングによって実現し、ネットワークを通じて処理機能を提供するサービスを行うことも可能である。
[変形例1]
上述した実施形態は、トレイ17の搬送機構18、照明装置30、カメラ21、及び情報処理装置22を備えた薬剤監査装置10のシステム形態を説明したが、搬送機構18、照明装置30及びカメラ21の具備の有無によらず、情報処理装置22における画像取得部40と画像処理部42と警報出力部58との機能部分を「薬剤監査装置」の一形態として把握することができる。また、情報処理装置22の処理機能は、一台のコンピュータで実現する形態に限らず、複数台のコンピュータで処理の機能を分担し、複数台のコンピュータの組み合わせによって情報処理装置22の処理機能を実現する形態も可能である。
例えば、搬送制御部32、照明制御部33及び撮影制御部34の機能を担うコンピュータと、画像取得部40、メモリ41、画像処理部42、表示制御部、警報出力部58、操作部60、統括制御部62、薬剤データベース記憶部63、調剤情報取得部64及び監査部65の機能を担うコンピュータとを別々のコンピュータによって構成することができる。また、例えば、情報処理装置22の機能の一部又は全部をレセプトコンピュータ70に搭載してもよい。
[変形例2]
薬剤データベース記憶部63は、情報処理装置22に接続された外部記憶装置であってもよい。例えば、薬剤データベースは、調剤薬局が保有しているコンピュータの記憶装置に記憶しておくことができる。薬剤データベースは、レセプトコンピュータ70に保持されていてもよい。また、薬剤データベースは、図示せぬ他のコンピュータに保持されていてもよく、情報処理装置22がネットワーク経由で薬剤データベースから情報を取得する形態も可能である。ネットワークは、ローカルエリアネットワーク、若しくはワイドエリアネットワーク、又はこれらの組み合わせとすることができる。
[変形例3]
定量値算出部50が定量値を算出する対象とする撮影画像は、カメラ21から出力された画像データ28に限らず、カメラ21から出力された画像データ28を基に生成された画像データであってもよい。例えば、カメラ21から出力された画像データ28に対して、ノイズ除去処理、色変換処理、若しくは階調変換処理、又はこれらの組み合わせなどの処理を実施して得られる画像は撮影画像の概念に含まれる。また、カメラ21から出力された画像データ28を加工して得られる画像も撮影画像の概念に含まれ、複数回の撮影を実施して得られる複数枚の撮影画像を合成して得られる合成画像も撮影画像の概念に含まれる。
[変形例4]
トレイ17に載置された分包袋11の上面側である第1面側から薬剤を撮影する第1カメラとしてのカメラ21に加え、分包袋11の下面側である第2面側から薬剤を撮影する第2カメラを備える形態の場合、第1カメラから得られる撮影画像と第2カメラから得られる撮影画像のそれぞれの撮影画像について、図10において説明したフローチャートによる処理を適用することができる。
また、監査部65は、第1カメラから得られる撮影画像に基づく薬剤認識処理の認識結果と、第2カメラから得られる撮影画像に基づく薬剤認識処理の認識結果とを総合して、調剤情報72と照合を行ってもよい。
[変形例5]
撮影画像の品質を定量化した定量値の一例として定量値Tを定義する例を説明したが、定量値の定め方はこの例に限らず、様々な指標を定義することが可能である。
[変形例6]
上述の実施形態では一包化調剤に係る分包袋11に収容されている複数の薬剤を撮影する例を説明したが、分包袋11に収容される前の薬剤を認識するシステム形態についても上述した実施形態の情報処理装置22と同様の構成を採用し得る。例えば、分包装置において1分包分の薬剤の分包袋11内に投入するホッパに通じる薬剤通路の途中に、薬剤を撮影するための検査ポッドが設けられ、この検査ポッドに照明装置及びカメラを配置する形態としてもよい。
また、上述の実施形態では一包化調剤に係る薬剤監査の例を示したが、情報処理装置22による薬剤監査機能は、一包化調剤に係る薬剤監査に限らず、薬剤認識処理を行う剤監査に広く適用することができる。例えば、調剤包装単位であるPTP(press through pack)シートの状態において薬剤をカメラによって撮影して得られる撮影画像から薬剤の種類を認識するシステム形態についても、情報処理装置22と同様の構成を採用し得る。
以上、本発明の実施形態及び変形例について説明したが、本発明はこれらの実施形態及び変形例に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能である。
10 薬剤監査装置
11 分包袋
12 薬剤
17 トレイ
18 搬送機構
19 投光器
20 バックライト
21 カメラ
22 情報処理装置
24 光源保持部
24a 開口窓
25 点光源
28 画像データ
30 照明装置
32 搬送制御部
33 照明制御部
34 撮影制御部
40 画像取得部
41 メモリ
42 画像処理部
44 表示制御部
46 表示部
50 定量値算出部
51 比較判定部
52 閾値記憶部
54 薬剤認識部
55 エッジ検出部
56 刻印認識部
58 警報出力部
60 操作部
62 統括制御部
63 薬剤データベース記憶部
64 調剤情報取得部
65 監査部
70 レセプトコンピュータ
72 調剤情報
80 撮影画像
82 刻印
84 薬剤領域
90 撮影画像
S11〜S21 薬剤監査処理の工程
S31〜S38 実施形態に係る薬剤監査方法の工程

Claims (7)

  1. 薬剤を撮影して得られる撮影画像を取得する画像取得部と、
    前記撮影画像から前記薬剤を認識して前記薬剤の種類を特定する薬剤認識部と、
    前記薬剤認識部による薬剤認識の成否に関わる前記撮影画像の品質を定量化した定量値を算出する定量値算出部と、
    前記薬剤認識部による薬剤認識が可能か否かの判定基準となる定量値の閾値を記憶しておく記憶部と、
    前記定量値算出部により算出された定量値と前記閾値とを比較して、前記薬剤認識部による前記薬剤の認識が可能か否かを判定する比較判定部と、
    前記比較判定部により前記薬剤認識部の薬剤認識ができないと判定された場合に警報を発する警報出力部と、
    を備え
    前記薬剤認識部による薬剤認識の成否に関わる前記撮影画像の品質は、前記撮影画像の鮮鋭度を含み、
    前記薬剤認識部は、前記撮影画像から前記薬剤のエッジを検出するエッジ検出部と、前記撮影画像から前記エッジ検出部によって検出されたエッジの情報を基に抽出された前記薬剤に付されている刻印を認識する刻印認識部と、を含み、
    前記定量値は、前記エッジ検出部によるエッジ検出の成否に関わる前記撮影画像の鮮鋭度を定量化した定量値であり、
    前記閾値は、前記エッジ検出部によるエッジ検出が可能か否かの判定基準となる定量値の閾値であり、
    前記比較判定部が行う前記薬剤認識部による前記薬剤の認識が可能か否かの判定は、前記エッジ検出部によるエッジ検出が可能か否かの判定であり、
    前記警報出力部は、前記比較判定部により前記エッジ検出部のエッジ検出ができないと判定された場合に前記警報を発し、
    前記定量値算出部は、前記撮影画像に二次元フーリエ変換の処理を適用して得られる動径方向の空間周波数スペクトルにおいて1サイクルパーミリメートルよりも高周波の空間周波数スペクトルの絶対値の総和と、1サイクルパーミリメートルよりも低周波の空間周波数スペクトルの絶対値の総和との比を用いて定義される前記定量値を算出する薬剤監査装置。
  2. 前記警報出力部は、前記定量値算出部により算出された定量値が前記閾値を下回った場合に、前記警報を出力する請求項1に記載の薬剤監査装置。
  3. 前記警報出力部は、前記警報の情報を表示する表示部を含む請求項1又は2に記載の薬剤監査装置。
  4. 前記薬剤を撮影するカメラを備え、
    前記画像取得部は、前記カメラによって撮影した撮影画像を取得する請求項1からのいずれか一項に記載の薬剤監査装置。
  5. 前記撮影画像は、複数種類の薬剤が分包袋に収容された1分包分の一包化薬剤を撮影して得られる画像である請求項1からのいずれか一項に記載の薬剤監査装置。
  6. 薬剤を撮影して得られる撮影画像を取得する画像取得工程と、
    前記撮影画像から前記薬剤を認識して前記薬剤の種類を特定する薬剤認識工程と、
    前記薬剤認識工程による薬剤認識の成否に関わる前記撮影画像の品質を定量化した定量値を算出する定量値算出工程と、
    前記薬剤認識工程による薬剤認識が可能か否かの判定基準となる定量値の閾値を記憶しておき、前記定量値算出工程により算出された定量値と前記閾値とを比較して、前記薬剤認識工程による前記薬剤の認識が可能か否かを判定する比較判定工程と、
    前記比較判定工程により前記薬剤認識工程の薬剤認識ができないと判定された場合に警報を発する警報出力工程と、
    を含み
    前記薬剤認識工程における薬剤認識の成否に関わる前記撮影画像の品質は、前記撮影画像の鮮鋭度を含み、
    前記薬剤認識工程は、前記撮影画像から前記薬剤のエッジを検出するエッジ検出工程と、前記撮影画像から前記エッジ検出工程において検出されたエッジの情報を基に抽出された前記薬剤に付されている刻印を認識する刻印認識工程と、を含み、
    前記定量値は、前記エッジ検出工程におけるエッジ検出の成否に関わる前記撮影画像の鮮鋭度を定量化した定量値であり、
    前記閾値は、前記エッジ検出工程におけるエッジ検出が可能か否かの判定基準となる定量値の閾値であり、
    前記比較判定工程において行われる前記薬剤認識工程における前記薬剤の認識が可能か否かの判定は、前記エッジ検出工程におけるエッジ検出が可能か否かの判定であり、
    前記警報出力工程は、前記比較判定工程における前記エッジ検出工程のエッジ検出ができないと判定された場合に前記警報を発し、
    前記定量値算出工程は、前記撮影画像に二次元フーリエ変換の処理を適用して得られる動径方向の空間周波数スペクトルにおいて1サイクルパーミリメートルよりも高周波の空間周波数スペクトルの絶対値の総和と、1サイクルパーミリメートルよりも低周波の空間周波数スペクトルの絶対値の総和との比を用いて定義される前記定量値を算出する薬剤監査方法。
  7. コンピュータに、
    薬剤を撮影して得られる撮影画像を取得する画像取得工程と、
    前記撮影画像から前記薬剤を認識して前記薬剤の種類を特定する薬剤認識工程と、
    前記薬剤認識工程による薬剤認識の成否に関わる前記撮影画像の品質を定量化した定量値を算出する定量値算出工程と、
    前記薬剤認識工程による薬剤認識が可能か否かの判定基準となる定量値の閾値を記憶しておき、前記定量値算出工程により算出された定量値と前記閾値とを比較して、前記薬剤認識工程による前記薬剤の認識が可能か否かを判定する比較判定工程と、
    前記比較判定工程により前記薬剤認識工程の薬剤認識ができないと判定された場合に警報を発する警報出力工程と、
    を実行させるためのプログラムであり、
    前記薬剤認識工程における薬剤認識の成否に関わる前記撮影画像の品質は、前記撮影画像の鮮鋭度を含み、
    前記薬剤認識工程は、前記撮影画像から前記薬剤のエッジを検出するエッジ検出工程と、前記撮影画像から前記エッジ検出工程において検出されたエッジの情報を基に抽出された前記薬剤に付されている刻印を認識する刻印認識工程と、を含み、
    前記定量値は、前記エッジ検出工程におけるエッジ検出の成否に関わる前記撮影画像の鮮鋭度を定量化した定量値であり、
    前記閾値は、前記エッジ検出工程におけるエッジ検出が可能か否かの判定基準となる定量値の閾値であり、
    前記比較判定工程において行われる前記薬剤認識工程における前記薬剤の認識が可能か否かの判定は、前記エッジ検出工程におけるエッジ検出が可能か否かの判定であり、
    前記警報出力工程は、前記比較判定工程における前記エッジ検出工程のエッジ検出ができないと判定された場合に前記警報を発し、
    前記定量値算出工程は、前記撮影画像に二次元フーリエ変換の処理を適用して得られる動径方向の空間周波数スペクトルにおいて1サイクルパーミリメートルよりも高周波の空間周波数スペクトルの絶対値の総和と、1サイクルパーミリメートルよりも低周波の空間周波数スペクトルの絶対値の総和との比を用いて定義される前記定量値を算出するプログラム。
JP2016086032A 2016-04-22 2016-04-22 薬剤監査装置及び方法並びにプログラム Active JP6674834B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016086032A JP6674834B2 (ja) 2016-04-22 2016-04-22 薬剤監査装置及び方法並びにプログラム
EP17785800.8A EP3447478B1 (en) 2016-04-22 2017-04-05 Drug monitoring device, method, and program
CN201780022810.9A CN109073564B (zh) 2016-04-22 2017-04-05 药剂监查装置及方法以及记录介质
PCT/JP2017/014261 WO2017183458A1 (ja) 2016-04-22 2017-04-05 薬剤監査装置及び方法並びにプログラム
US16/165,111 US10726285B2 (en) 2016-04-22 2018-10-19 Medicine audit apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016086032A JP6674834B2 (ja) 2016-04-22 2016-04-22 薬剤監査装置及び方法並びにプログラム

Publications (3)

Publication Number Publication Date
JP2017194413A JP2017194413A (ja) 2017-10-26
JP2017194413A5 JP2017194413A5 (ja) 2018-10-25
JP6674834B2 true JP6674834B2 (ja) 2020-04-01

Family

ID=60115841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016086032A Active JP6674834B2 (ja) 2016-04-22 2016-04-22 薬剤監査装置及び方法並びにプログラム

Country Status (5)

Country Link
US (1) US10726285B2 (ja)
EP (1) EP3447478B1 (ja)
JP (1) JP6674834B2 (ja)
CN (1) CN109073564B (ja)
WO (1) WO2017183458A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200152308A1 (en) * 2017-06-28 2020-05-14 Nec Corporation Medication-taking management system, medication-taking management method, management device, and program storage medium
WO2019044439A1 (ja) * 2017-08-31 2019-03-07 富士フイルム株式会社 薬剤監査装置、画像処理装置、画像処理方法及びプログラム
JP6998048B2 (ja) * 2018-03-09 2022-01-18 エイチエスティ・ビジョン株式会社 画像処理システム
WO2019193924A1 (ja) * 2018-04-03 2019-10-10 富士フイルム富山化学株式会社 薬剤判定装置及び薬剤判定方法
WO2019193912A1 (ja) * 2018-04-03 2019-10-10 富士フイルム富山化学株式会社 薬剤判定装置及び薬剤判定方法
JP6491776B1 (ja) * 2018-04-12 2019-03-27 株式会社Windy 錠剤認識又は識別システム及び方法
US10872688B2 (en) * 2018-07-30 2020-12-22 Arxium, Inc. Visual analysis pill dispenser
WO2020162262A1 (ja) * 2019-02-08 2020-08-13 富士フイルム富山化学株式会社 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム
CN116312938B (zh) * 2023-05-16 2023-08-04 西安交通大学医学院第一附属医院 基于大数据分析的配药信息处理方法、系统及存储介质
CN117352153B (zh) * 2023-12-04 2024-02-20 青岛量谷无线科技有限公司 用于医疗冷柜的药品质量监测与实时报告方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0575910A (ja) * 1991-09-17 1993-03-26 Olympus Optical Co Ltd 合焦点検出装置
US5475429A (en) 1991-07-25 1995-12-12 Olympus Optical Co., Ltd. In-focus sensing device for sensing an in-focus condition using a ratio of frequency components at different positions
US5806522A (en) * 1995-08-15 1998-09-15 Katims; Jefferson Jacob Digital automated current perception threshold (CPT) determination device and method
JP2000018920A (ja) * 1998-07-06 2000-01-21 Tani Denki Kogyo Kk 画像認識による計測方法および計測装置および記録媒体
JP3506933B2 (ja) * 1998-12-11 2004-03-15 シーケーディ株式会社 外観検査装置およびptpシートの外観検査装置ならびにptp包装機
JP2004297751A (ja) 2003-02-07 2004-10-21 Sharp Corp 合焦状態表示装置及び合焦状態表示方法
WO2006090671A1 (ja) * 2005-02-23 2006-08-31 Matsushita Electric Works, Ltd. 粒状物体の検査方法及びその方法を実施する検査装置
CN101419215A (zh) * 2007-10-22 2009-04-29 互动纪元营销有限公司 药物自动检测的方法及其互动装置
CN102159134B (zh) * 2008-07-08 2015-05-27 普罗透斯数字保健公司 可摄取事件标记数据框架
US8755854B2 (en) * 2009-07-31 2014-06-17 Nellcor Puritan Bennett Ireland Methods and apparatus for producing and using lightly filtered photoplethysmograph signals
JP5413283B2 (ja) * 2010-04-09 2014-02-12 新日鐵住金株式会社 焦点ズレ検出装置、焦点ズレ検出方法およびプログラム
CN103221071B (zh) * 2010-06-24 2016-09-21 拜耳医药保健有限公司 药物传输的建模和注射方案的参数产生
CN103649722B (zh) * 2011-06-28 2016-10-12 大塚制药株式会社 药剂检查装置和药剂检查方法
WO2013164725A1 (en) * 2012-05-02 2013-11-07 Koninklijke Philips N.V. Spectral ct visualization of imageable drug eluting beads
JP5916032B2 (ja) * 2012-09-27 2016-05-11 富士フイルム株式会社 薬剤検査支援装置及び方法
JP6009888B2 (ja) * 2012-09-27 2016-10-19 富士フイルム株式会社 薬剤検査装置及び方法
US8948508B2 (en) * 2012-10-31 2015-02-03 Medsnap, Llc System and method of adaptive color correction for pill recognition in digital images
JP5846172B2 (ja) * 2013-08-28 2016-01-20 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび撮像システム
WO2015035229A2 (en) * 2013-09-05 2015-03-12 Cellscope, Inc. Apparatuses and methods for mobile imaging and analysis
JP6100136B2 (ja) * 2013-09-30 2017-03-22 富士フイルム株式会社 薬剤認識装置及び方法

Also Published As

Publication number Publication date
JP2017194413A (ja) 2017-10-26
EP3447478A1 (en) 2019-02-27
US20190050660A1 (en) 2019-02-14
WO2017183458A1 (ja) 2017-10-26
CN109073564B (zh) 2020-12-08
CN109073564A (zh) 2018-12-21
US10726285B2 (en) 2020-07-28
EP3447478A4 (en) 2019-04-17
EP3447478B1 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
JP6674834B2 (ja) 薬剤監査装置及び方法並びにプログラム
US10217012B2 (en) Drug recognition device and method
JP5163985B2 (ja) 粒状物品種検査装置
JP5888611B2 (ja) 薬剤鑑査装置、及び薬剤分包装置
JP4256434B2 (ja) 分包薬剤の検薬方法と検薬装置
US20160104277A1 (en) Packeted drug inspection device and method
US9672420B2 (en) Method for a medication dispenser to obtain information from a medication package, and medication dispenser
CN111052145B (zh) 药剂检查辅助装置、图像处理装置、图像处理方法
JP6894977B2 (ja) 薬剤検査支援装置、薬剤検査支援方法、薬剤識別装置、薬剤識別方法及びプログラム、記録媒体
CN111031995A (zh) 药剂检查辅助装置、图像处理装置、图像处理方法以及程序
JP6853891B2 (ja) 薬剤監査装置、画像処理装置、画像処理方法及びプログラム
JPWO2014080966A1 (ja) 薬剤鑑査装置
JP6861825B2 (ja) 薬剤識別装置、画像処理装置、画像処理方法及びプログラム
TWI670468B (zh) 醫療材料辨識系統
JP7375049B2 (ja) 画像処理装置及び方法
KR102550769B1 (ko) 인공지능을 이용한 의약품 오토 레이블링 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180912

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200309

R150 Certificate of patent or registration of utility model

Ref document number: 6674834

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250