JP4923282B2 - 薬剤認識装置 - Google Patents
薬剤認識装置 Download PDFInfo
- Publication number
- JP4923282B2 JP4923282B2 JP2002339537A JP2002339537A JP4923282B2 JP 4923282 B2 JP4923282 B2 JP 4923282B2 JP 2002339537 A JP2002339537 A JP 2002339537A JP 2002339537 A JP2002339537 A JP 2002339537A JP 4923282 B2 JP4923282 B2 JP 4923282B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- drug
- medicine
- name
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、薬剤認識装置に関し、特に、非常に簡単かつ確実に薬剤の包装や容器に印刷されている薬剤名を認識することを可能にした薬剤認識装置に関するものである。
【０００２】
【従来の技術】
現在、病院などの薬局、或いは調剤薬局では、薬剤師等が医師の発行した処方箋の内容に従って種々の薬剤を調剤し、これら調剤した薬剤を薬袋に入れて患者に手渡している。
【０００３】
この場合、多数のトレーが配列された薬剤棚から処方すべき薬剤の入ったトレーを探して薬剤を取り出す作業（以下、ピッキング作業あるいは単にピッキングと記す）、取り出された薬剤を処方箋を見ながら間違いがないか確認する監査作業があり、これらの作業を薬剤師あるいは薬剤師に指示された作業者が一人で行ったり、複数の作業者で行ったりしている。上記ピッキング作業においては、作業者はトレーに貼られた薬剤名等が印刷あるいは手書きされたラベルを見て薬剤を取り出した後、薬剤の包装や容器に印刷された薬剤名を目視により確認して間違った薬剤を調剤しないようにしていた。また、監査作業においても同様に薬剤の包装や容器に印刷された薬剤名を目視により確認して監査を行っていた。なお、薬剤名とは薬剤の包装や容器に印刷されている販売名、規格・含量等から構成されるものである。
【０００４】
薬剤の種類は非常に膨大であり、また、非常に似通った包装をされたものもあり、上述のようなピッキング作業や監査作業において薬剤名の読み間違いや見間違いにより、間違った薬剤を患者に手渡してしまうという調剤ミスによる事故が発生している。
【０００５】
このような調剤ミスを防止するために、例えば、薬剤棚のトレー毎に薬剤の種類や品目など（薬剤名と同様の情報）を認識するためのバーコードラベルを貼っておき、ピッキング作業の際などに携帯端末でバーコードラベルを読み取って、別途設置されているコンピュータに記憶させた処方箋データと照合することにより調剤ミスを防止するようなもの（以下、単に「従来技術１」という。）が提案されている（特許文献１参照）。
【０００６】
また、薬剤の画像を撮影して表示装置に表示し、目視検査の支援をするもの（以下、単に「従来技術２」という。）も提案されている（特許文献２及び特許文献３参照）。
【０００７】
【特許文献１】
特開平２００２−２３６７４８号公報。
【０００８】
【特許文献２】
特開平９−２５３１６３号公報。
【０００９】
【特許文献３】
特開平１０−１６２１１６号公報。
【００１０】
【発明が解決しようとする課題】
しかしながら、上述の従来技術１では、トレーに間違った薬剤が入れられていても認識することができず、調剤ミスを確実に防止することができない。また、取り扱う薬剤の追加や変更等の度にバーコードラベルを貼ったり、剥がしたりしなければならず、また携帯端末を手に持ちながらピッキング作業を行わなければならないので作業性が悪いものとなっている。
【００１１】
また、上述の従来技術２では、装置が大掛かりなものとなってしまうと共に、目視によるミスを完全に防止することができないでいる。
【００１２】
そこで、本発明は上記実情を鑑み、薬剤の包装や容器に印刷されている薬剤名を非常に簡単かつ確実に認識し、薬剤のピッキング作業や監査作業における調剤ミスを確実に防止することが可能な薬剤認識装置の提供を目的とするものである。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明は、薬剤を直接包装している包装材の画像を画像読取手段により読み取り、該読み取った読取画像に基づき前記包装材で包装された薬剤の薬剤名を認識する薬剤認識装置であって、前記薬剤の薬剤名を認識するための複数の参照画像を予め記憶する参照画像記憶手段と、前記画像読取手段で読み取った読取画像と前記参照画像記憶手段に記憶されている参照画像とにそれぞれ含まれる該薬剤の薬剤名を特定可能な薬剤名画像部分を照合し、該照合結果に基づき前記包装材で包装された薬剤の薬剤名を認識する認識手段とを具備することを特徴とする。
【００１４】
また、請求項２の発明は、請求項１の発明において、前記認識手段は前記画像読取手段で読み取った読取画像と前記薬剤名画像部分が略同一となる参照画像が前記参照画像記憶手段から唯一検出された場合は、該参照画像で特定される薬剤名を認識薬剤名と判定することを特徴とする。
【００１５】
また、請求項３の発明は、請求項１または２の発明において、前記認識手段は前記画像読取手段で読み取った読取画像の前記薬剤名画像部分が略同一となる参照画像が前記参照画像記憶手段から２つ以上検出した場合若しくは高い一致性を有する類似薬剤を検出した場合には、認識が正常に行われなかったと判定することを特徴とする。
【００１６】
また、請求項４の発明は、請求項１または２の発明において、前記認識手段は前記画像読取手段で読み取った読取画像と前記薬剤名画像部分が略同一となる参照画像が前記参照画像記憶手段から検出されず、かつ高い一致性を有する類似薬剤も検出されない場合は、該当する薬剤候補が無いと判定することを特徴とする。
【００１７】
また、請求項５の発明は、請求項１または２の発明において、前記認識手段は、前記画像読取手段で読み取った読取画像に含まれる前記薬剤名画像部分と前記参照画像に含まれる薬剤名画像部分との照合値を算出する照合値算出手段と、前記照合値算出手段により算出された照合値と、予め設定されている第１の所定閾値及び前記第１の所定閾値より低い値である第２の所定閾値との大小を比較する比較手段とを有し、前記比較手段の比較により前記算出照合値が前記第１の所定閾値より大きい参照画像が唯一検出された場合、若しくは、前記比較手段の比較により前記算出照合値が前記第１の所定閾値より小さく前記第２の所定閾値より大きい場合に、前記参照画像記憶手段から読み出された参照画像に対応して予め記憶されている類似薬剤の参照画像に含まれる薬剤名画像部分と照合した結果、該類似薬剤の参照画像よりも前記参照画像記憶手段から読み出された参照画像に含まれる薬剤名画像部分が前記読取画像の前記薬剤名画像部分に高い一致性を有する参照画像が唯一検出された場合、当該薬剤の薬剤名として前記参照画像記憶手段から読み出された参照画像にて特定される薬剤名を認識薬剤名と判定することを特徴とする。
【００１８】
また、請求項６の発明は、請求項１または３の発明において、前記認識手段は、前記画像読取手段で読み取った読取画像に含まれる前記薬剤名画像部分と前記参照画像に含まれる薬剤名画像部分との照合値を算出する照合値算出手段と、前記照合値算出手段により算出された照合値と、予め設定されている第１の所定閾値及び前記第１の所定閾値より低い値である第２の所定閾値との大小を比較する比較手段とを有し、前記比較手段の比較により前記算出照合値が前記第１の所定閾値より大きい参照画像と、前記比較手段の比較により前記算出照合値が前記第１の所定閾値より小さく前記第２の所定閾値より大きい場合に、前記参照画像記憶手段から読み出された参照画像に対応して予め記憶されている類似薬剤の参照画像と照合した結果、該類似薬剤の参照画像よりも前記参照画像記憶手段から読み出された参照画像に含まれる薬剤名画像部分が前記読取画像の前記薬剤名画像部分に高い一致性を有する参照画像と、が合わせて２つ以上検出された場合、若しくは、前記比較手段の比較により前記算出照合値が前記第１の所定閾値より小さく前記第２の所定閾値より大きい場合に、前記参照画像記憶手段から読み出された参照画像に対応して予め記憶されている類似薬剤の参照画像と照合した結果、前記参照画像記憶手段から読み出された参照画像に含まれる薬剤名画像部分よりも前記類似薬剤の参照画像に含まれる薬剤名画像部分が前記読取画像の前記薬剤名画像部分に高い一致性を有する類似薬剤の参照画像がある場合、認識が正常に行われなかったと判定することを特徴とする。
【００１９】
また、請求項７の発明は、請求項１または４の発明において、前記認識手段は、前記画像読取手段で読み取った読取画像に含まれる前記薬剤名画像部分と前記参照画像に含まれる薬剤名画像部分との照合値を算出する照合値算出手段と、前記照合値算出手段により算出された照合値と、予め設定されている第１の所定閾値及び前記第１の所定閾値より低い値である第２の所定閾値との大小を比較する比較手段とを有し、前記比較手段の比較により前記算出照合値と前記第１の所定閾値及び前記第２の所定閾値との比較を行った結果、該算出照合値が前記第１の所定閾値より大きい参照画像、或いは、該算出照合値が前記第１の所定閾値より小さく前記第２の所定閾値より大きい参照画像が一つも無い場合、該当する薬剤候補が無いと判定することを特徴とする。
【００２０】
また、請求項８の発明は、請求項１乃至７の発明において、前記認識手段の判定に基づいた表示を行う表示手段を更に具備することを特徴とする。
【００２１】
また、請求項９の発明は、請求項５乃至７の発明において、前記認識手段の判定に基づいた表示を行う表示手段を更に具備し、前記表示手段は、前記認識手段の判定に基づいて前記認識薬剤名に対応する薬剤の画像、前記照合値が第１の所定閾値より大きい参照画像に対応する薬剤の画像あるいは前記読取画像の前記薬剤名画像部分に高い一致性を有する類似薬剤の参照画像に対応する画像を表示することを特徴とする。
【００２２】
また、請求項１０の発明は、請求項８または９の発明において、前記表示手段は前記画像読取手段で読み取った読取画像を表示可能としたことを特徴とする。
【００２３】
また、請求項１１の発明は、請求項１乃至１０の発明において、前記画像読取手段が読み取った読取画像と照合すべき薬剤の薬剤名に関する情報を記憶する照合対象薬剤情報記憶手段を具備し、前記認識手段は、前記照合対象薬剤情報記憶手段に記憶されている薬剤名に関する情報に対応する参照画像を前記参照画像記憶手段から読み出して前記照合を行い、該照合結果に基づき該薬剤の薬剤名を認識することを特徴とする。
【００２４】
また、請求項１２の発明は、請求項１１の発明において、前記照合対象薬剤情報記憶手段に記憶されている薬剤名に関する情報は処方箋から抽出されたものであることを特徴とする。
【００２５】
また、請求項１２の発明は、請求項１乃至１２の発明において、前記薬剤は、ＰＴＰ（Ｐｒｅｓｓ Ｔｈｒｏｕｇｈ Ｐａｃｋａｇｅ）シートで包装されているカプセルや錠剤、アルミフィルム等で包装されている粉薬や座薬、ガラス製の容器に入れられたアンプル剤のいずれかであり、前記薬剤名画像部分は、前記ＰＴＰシートやアルミフィルムの表面上や裏面上に印刷されている販売名、規格、含量等で構成される薬剤名を示す印刷情報の画像部分、或いは前記ガラス製の容器に貼られたラベル上に印刷されている販売名、規格、含量等で構成される薬剤名を示す印刷情報の画像部分であることを特徴とする。
【００２６】
また、請求項１４の発明は、請求項１３の発明において、前記画像読取手段は、前記ＰＴＰシートや前記アルミフィルム等の多数の凹凸要素を有し且つ光の反射率が高い表面を有する包装材上に印刷されている前記印刷情報部を撮影する為に、前記包装材の表面全体に入射光が均一に照射されるように入射光を拡散する拡散板を具えたカメラ装置であることを特徴とする。
【００２７】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を参照して詳細に説明する。
【００２８】
図１は、本発明に係わる薬剤認識装置を適用した薬剤認識システム１００の外観概略構成を示す図である。
【００２９】
図１に示すように、この薬剤認識システム１００は、画像読取装置１と、画像認識処理装置２とを具えて構成される。ここで、同図１の（ａ）は、画像認識処理装置２ａとして、デスクトップ型のパーソナルコンピュータ（ＰＣ）で構成した場合を示している。同図１の（ｂ）は、画像認識処理装置２ｂとして、ノート型のパーソナルコンピュータ（ＰＣ）で構成した場合を示している。
【００３０】
そして、この例では、上記画像読取装置１と上記画像認識処理装置２との間を通信線３にて接続している様子を示している。尚、画像読取装置１と画像認識処理装置２との間の通信は、無線にて行うようにしても良い。
【００３１】
図２は、上記図１に示した画像読取装置１の詳細な構成を示す図である。
【００３２】
同図２（ａ）は、画像読取装置１の内部構成を示す図であり、この場合、その画像読取装置１を床や机等の平面上に設置した場合に横側面方向から見た場合の内部構成を示している。同図２（ａ）に示すように、この画像読取装置１は、上面カバー１１と、４つの側面板１２ａと１つの底面板１２ｂから成る下箱１２とから構成される外部筐体部と、光源部１２１およびカメラ１２２とからなる。
【００３３】
そして、上面カバー１１は、画像読取窓１１１と、拡散板１１２とを具える。
【００３４】
ここで、画像読取窓１１１は、撮影軸Ａに沿って設けられ、カメラ１２２にて撮影される被写体となる対象物（以下、この例では、薬剤という。）を覗かせる開口又は孔或いは上記カメラ１２２に透明と映る部材にて形成される窓部分である。尚、好ましくは、例えば、透明なガラスを配置することにより、検査人が検査時に窓ガラス上に薬剤を載せることで、後述のカメラ１２２からの距離を一定に保って対象物を撮影することができる。尚、本実施例では、薬剤の裏面等を常に一定の距離を保って撮影することができる。
【００３５】
拡散板１１２は、該カバー１１の下方側、即ちカメラが設置された下箱１２の内側に設けられ、上記画像読取窓１１１にかざされた薬剤に後述の光源１２１から発せられた光を検査対象である薬剤に均一に照射する為のものである。そして、具体的な構成として、略半球状（ドーム型）の形状を有し、撮影軸Ａに沿って該半球上に撮影口１１２ａが設けられている。尚、この撮影口１１２ａは、上記画像読取窓１１１と同様に開口又は孔或いはカメラ１２２に透明に映る部材にて形成される。
【００３６】
また、下箱１２の内部には、光源部１２１とカメラ１２２とが具えられている。
【００３７】
ここで、光源部１２１は、撮影に必要な明るさを提供する照明部分であり、具体的には、例えば、リング形状の白熱蛍光灯等で構成される。
【００３８】
カメラ１２２は、上述の撮影口１１２ａ及び画像読取窓１１１を介して被写体となる薬剤の撮影を行うディジタルカメラ等の撮影手段である。尚、このカメラ１２にて撮影された映像データは上述の図１に示す通信線３を介して画像認識処理装置２に転送される。
【００３９】
同図２（ｂ）は、上面カバー１１を上にして画像読取装置１を床や机等の平面上に設置した場合に上方から見た場合の上面外観概略構成を示している。
【００４０】
同図２（ｃ）は、画像読取装置１の上面カバーを拡散板１１２が設けられた側から見た場合の概略構成を示している。
【００４１】
同図２（ｄ）は、上記図２（ｂ）に示した状態の画像読取装置１において、上面カバー１１を取り除いた場合の下箱内部の概略構成を示す図である。同図２（ｄ）に示すように、丸型蛍光灯等の光源部１２１は、実際には、外部筐体の下箱１２に支持される把持支持部１２１−１により支持されている。尚、この例では、下箱１２の４隅に対応して４つの把持支持部が具わっている。
【００４２】
尚、上記実施例では、光源を具えるようにしたが、オフィス等の照明環境が常にあるのであれば、不要である。また、上記実施例では、薬剤等の撮影対象物とカメラとの距離が常に一定に保たれるように画像読取窓１１１に透明ガラスを具えるようにしたが、この透明ガラスを具えず、単に開口または孔だけとしても良い。
【００４３】
このような間接照明構成を有する画像読取装置を用いることにより、光源１２１から発せられた光が拡散板１１２を介して画像読取部１１１にかざされた薬剤に均一に照射されるので、金属箔などの材料に見られる多数の凹凸要素があって且つ光の反射率が高い表面を有するＰＴＰ（Ｐｒｅｓｓ Ｔｈｒｏｕｇｈ Ｐａｃｋａｇｅ）シート等で包装されているカプセルや錠剤、アルミフィルム等で包装されている粉薬や座薬等の薬剤の撮影を精度良く行うことができる。即ち、それら薬剤の包装表面上の印刷画像を正確に撮影することができる。
【００４４】
図３は、上記図１に示した薬剤認識システム１００を機能ブロックで示した図である。
【００４５】
図３において、この薬剤認識システム１００は、画像読取部１０１と、認識処理部１０２と、認識参照情報記憶部１０３と、照合対象薬剤情報記憶部１０４と、表示部１０５とを具えて構成される。
【００４６】
ここで、画像読取部１０１は、上述の図１に示した画像読取装置１に相当し、検査対象の薬剤の画像を読み取り、後述の認識処理部１０２に読み取った画像データを転送する。尚、画像読取部１０１が画像を読み取るタイミングは、画像読取窓１１１に薬剤がかざされた或いは置かれたことを検知した時に撮影するようにする。具体的に、薬剤の検知方法としては、前画像との差分により検知したり、或いは静電容量変化など検知するセンサを設けて検知する。また、これ以外にも、専用ボタンを設け、該専用ボタンが押下された時に画像を撮影するようにしても良い。
【００４７】
認識処理部１０２は、上記画像読取部１０１から送られてきた入力画像データから薬剤名を認識する為の種々の演算や処理を行う。尚、この認識処理部１０２は、後述のアクセプトリスト１０２−１と、要検査リスト１０２−２とを具える。ここで、アクセプトリスト１０２−１は、後述の認識処理動作において入力画像と間違いなく照合がとれたと判定された参照画像に対応する薬剤のＩＤ番号を記憶する。また、要検査リスト１０２−２は、現参照画像について間違いなく照合がとれたわけではなく、他にも、類似度の高い類似薬剤があるようなグレー判定の場合に、現参照画像と類似薬剤のＩＤ番号を記憶する。
【００４８】
認識参照情報記憶部１０３は、後述の認識参照テーブルや類似薬剤情報テーブルなどの認識処理に必要な情報を記憶する。尚、薬剤名の認識そのものには関わるものではないので必須ではないが、目視確認用画像データも記憶するようにしても良い。ただし、その目視確認用画像データは別の記憶部に記憶させても良い。
【００４９】
照合対象薬剤情報記憶部１０４は、後述の処方箋薬剤チェックを行う場合に処方箋データに含まれる薬剤の薬剤名（販売名ともいう。）あるいはＩＤ番号を記憶し、個別薬剤チェック処理を行う場合には、ピッキングするよう指示された薬剤の薬剤名あるいは薬剤のＩＤ番号を記憶する。なお、薬剤名や薬剤のＩＤ番号ではなく薬価コードを記憶するようにしても良く、また、薬剤名と薬価コードの両方を記憶したり、その他必要な情報を適宜追加可能なものとする。尚、これらの各種情報は、外部から入力可能とする。即ち、調剤時のチェックの場合は処方箋に含まれる薬剤の薬剤名あるいはＩＤ番号を外部から入力する。具体的には、これら処方箋データからのデータ抽出としては、手入力やＯＣＲ（Optical Character Reader）等が考えられる。
【００５０】
表示部１０５は、検査人に「認識ＯＫ」や、「認識ＮＧ」や、「処方対象薬剤ではない」など認識が正常に行われたか否かの情報を表示すると共に、正常に認識された薬剤の薬剤名及び画像を表示したり、略同一と判定された薬剤が複数ある場合には、目視検査を支援するために、これらの薬剤名及び画像を表示したり、類似と判定された類似薬剤がある場合にも、目視検査を支援するために、類似薬剤の薬剤名と画像を表示したりするなど、認識処理部の判定に基づいた種々の情報を表示する。なお、検査人による目視検査がより容易にできるように、入力薬剤画像と類似薬剤の画像の両者が比較対照できるように表示することも可能である。なお、表示部１０５による表示内容の詳細については後述する。
【００５１】
尚、上述の図１及び図２に示した例では、画像認識処理装置としてのＰＣと、画像読取装置とで構成される場合を示したが、これに限らず、認識処理部１０２や処方箋データの記憶部、或いは確認用の表示部を画像読取装置側に持たせるように構成しても良い。
【００５２】
また、更に、全ての機能を１つの装置として一体化構成しても良い。
【００５３】
次に、薬局や病院等でこの実施例における薬剤認識システムを用いて行われる薬剤認識処理について、図面を参照しながら詳細に説明する。
【００５４】
図４は、この実施例における薬剤認識システムの処理項目を、検査人Ａが選択する為の表示画面１０５−１の一構成例を示す図である。
【００５５】
同図４に示すように、この実施例における薬剤認識システムでは、「１」処方箋薬剤チェック処理、「２」個別薬剤チェック処理、「３」オプション（在庫薬剤チェック処理や薬価コード／標準薬剤名チェック処理など）という処理項目が用意されている。ただし、以下では、本発明の本旨に関わる「１」と「２」の処理項目を中心に説明する。ここで、「１」処方箋薬剤チェック処理とは、検査人Ａが所定の患者に対する処方箋に記された薬剤を調剤する際の薬剤のピッキング作業や監査作業において、調剤ミスをチェックする場合の処理である。また、「２」個別薬剤チェック処理とは、検査人Ａが指示された或る１つの薬剤を個別にピッキングする作業をチェックする場合の処理である。
【００５６】
（１）まず、「１」処方箋薬剤チェック処理について以下に説明する。
【００５７】
まず、図４に示した画面１０５−１で「１」を選択すると、図５に示すような処方箋薬剤チェック処理すべき患者のリスト表示画面１０５−２が表示される。そして、この画面で今から処理する処理番号を選択する。そして、この処理番号の選択がなされると、図６に示したような処理番号に対応する患者に対して処方すべき薬剤に関する情報画面１０５−３が表示される。ここでは、これから行う各薬剤のチェック状況や結果も合わせて表示するようにしている。なお、上述の患者に対して処方すべき薬剤に関する情報は、例えば、図示しない入力画面において処方箋に記された処方薬剤名を検査人が画像認識処理装置１の入力キーを用いて手入力したり、図示しない光学式読取装置（ＯＣＲ）を用いて画像認識処理装置１に対して入力する。なお、ここで入力された情報は、上記の図５や図６のような画面表示のためのデータとなるとともに、後述の処方箋薬剤チェック処理における薬剤名の認識処理で使用される照合対象薬剤情報記憶部１０４に記憶されているデータの源にもなる。
【００５８】
次に、図７のフローチャートを参照して上記「１」の処方箋薬剤チェック処理における薬剤名の認識処理手順について具体的に説明する。
【００５９】
図７に示すように、まず、上述の図５の表示画面で選択された処理番号に対応する処方箋に記された薬剤名の情報（薬剤名もしくはＩＤ番号）が照合対象薬剤情報記憶部１０４から読み出される（ステップＳ１０１)。
【００６０】
次いで、薬剤認識システム１００では、検査人により、例えば図８に示すようなＰＴＰシートで包装された検査対象薬剤が画像読取窓１１１にかざされると、画像読取部１０１を介して該検査対象薬剤の画像が入力される（ステップＳ１０２）。尚、検査人が検査対象薬剤の画像を読み込ませる様子を図９に示す。図９に示すように、検査人Ａは、画像読取装置１の上面カバー１１に設けられた画像読取窓１１１に検査対象の薬剤Ｂをかざし、該薬剤Ｂの裏面部分［図８（ｂ）参照］を該画像読取装置１に読み取らせる。これにより、画像読取装置１のカメラ１２２にて検査対象の薬剤Ｂの裏面部分が撮影され、通信線３を介して画像認識装置２に撮影データが転送され認識処理部１０２に入力される。
【００６１】
次いで、薬剤認識システム１００では、認識処理部１０２が、照合対象薬剤情報記憶部１０４から読み出された処方箋に記された薬剤名あるいはＩＤ番号に対応する参照画像（図１０参照）を認識参照情報記憶部１０３から読み込む（ステップＳ１０３）。尚、参照画像の読み込みは、図１１に示した認識参照テーブル１０３−１から読み込むのだが、この場合、上述の処方箋に記入順（例えば上に記載された薬剤）に読み込むものとする。尚、この場合、認識処理部１０２は、参照画像を読み込んだ薬剤について、認識参照テーブル１０３−１もしくは照合対象薬剤情報記憶部１０４の対応する薬剤についてフラグを立てるなどして読み込み状態を管理するようにする。
【００６２】
その後、認識処理部１０２は、上記入力した入力画像と上記読み込んだ参照画像の照合を正確に行うために、基準となる参照画像に対する入力画像の回転角及び平行移動量の算出など行って、入力画像の補正処理を行う（ステップＳ１０４）。尚、入力された画像の一例と、上記回転補正後の２値イメージの一例を図１２に示しておく。
【００６３】
次いで、認識処理部１０２では、入力画像と参照画像との照合値の算出が行われる（ステップＳ１０５）。尚、照合値の算出方法としては、例えば、入力画像と各薬剤の参照画像との照合値（類似度）を正規化相関マッチングなどを使用して算出する。ただし、正規化相関マッチングは上述の補正がなされた入力画像に対して、例えば、参照画像を平行移動させながらマッチングを行う。
【００６４】
この照合値の算出後、認識処理部１０２では、該算出した「照合値」と［第１の閾値（ｔｈ１_ｉ）＋ε］との大小が比較判定される（図１３参照）（ステップＳ１０６）。ここで、上記「第１閾値：ｔｈ１ｉ」は、薬剤名毎に予め定めた閾値であり、自身以外の薬剤と間違わない照合値の下限値を示すものである。言い換えると、上記第１閾値ｔｈ１ｉは、現在参照している参照画像と入力画像とが略同一であるか否かを判定する為の閾値である。尚、上記「ε」は、ノイズ等による多少のずれを吸収する為の所定のマージンを与える定数である。
【００６５】
この比較判定の結果、上記算出された照合値が［第１の閾値（ｔｈ１_ｉ）＋ε］より大きいと判定された場合、（ステップＳ１０６ＹＥＳ）、認識処理部１０２はアクセプトリスト１０２−１に現在参照している参照画像の薬剤のＩＤ番号を記憶する（ステップＳ１０７）。例えば、このような場合として、検査人Ａが検査対象薬剤として「ノルバ○○５ｍｇ」錠剤のチェックを行っていた場合に正確に画像が入力され、「ノルバ○○５ｍｇ」錠剤の入力画像と図１１に示した認識参照テーブル１０３−１から読み込まれた薬剤名「ノルバ○○５ｍｇ錠」に対応する参照画像との照合が行われた場合には、アクセプトリスト１０２−１に参照画像に対応する薬剤のＩＤ番号として「ＩＤ００００１」が記憶される。
【００６６】
その後、照合対象薬剤情報記憶部１０４に記憶された全ての薬剤名あるいはＩＤ番号に対する参照画像と照合が終了したかを判定する処理ステップＳ１１３に移行する。
【００６７】
また、他方、上記ステップＳ１０６の判定の結果、照合値が［第１の閾値（ｔｈ１_ｉ）＋ε］より小さいと判定された場合、（ステップＳ１０６ＮＯ）、次いで、算出照合値と、第２の閾値（ｔｈ２_ｉ）との大小が比較判定される（ステップＳ１０８）。具体的には、上記算出された照合値と、薬剤名毎に予め定めた閾値であり、絶対に自身でない照合値の上限値（ｔｈ２ｉ）との大小が比較される。言い換えると、入力画像が現在参照している参照画像とは全然一致しないかどうかが判定される。
【００６８】
この比較判定の結果、上記算出した照合値が第２の閾値（ｔｈ２_ｉ）より大きいと判定されると（ステップＳ１０８ＮＯ）、次いで、認識処理部１０２は、図１４に示す類似薬剤テーブル１０３−２の詳細判別情報を参照して詳細判別を行う。即ち、類似薬剤との照合を行う（ステップＳ１０９）。ここで、類似薬剤とは、各薬剤に対して類似した薬剤名をもつ薬剤のことを意味し、図１１に示すような類似薬剤テーブル１０３−２に登録されている。なお、図１４の類似薬剤テーブル１０３−２に登録される詳細判別情報としては、例えば、詳細判別する際に照合を行うエリア情報（Ａ１、Ａ２、…）と、判別式（Ｒ１、Ｒ２、…）とがある。尚、ここで、エリア情報とは、類似薬剤間で明らかに違う印刷がされている部分であり、それにより、薬剤名を特定可能な印刷部の画像エリア情報である。例えば、同図１１に示すように、参照画像「ノルバ○○２．５ｍｇ」中の特に「２．５ｍｇ」部分を示す情報などである。また、判別式とは、上述した照合値算出方法と同じで、正規化相関マッチングの一般式と照合値（類似度）の閾値（尚、この場合は、入力画像が現対照薬剤か類似薬剤かを判別する閾値）を含んだものである。
【００６９】
この詳細判別の結果、全ての類似薬剤に対して自身と判別した場合、即ち、現在参照している参照画像の薬剤の方が類似薬剤より入力画像に類似している（類似度が高い）場合（ステップＳ１１０ＹＥＳ）、認識処理部１０２は、アクセプトリスト１０２−１に現在参照している参照画像の薬剤のＩＤ番号を記憶する（ステップＳ１１１）。例えば、このような場合として、検査人Ａが検査対象薬剤として「ノルバ○○５ｍｇ」の錠剤のチェックを行っていた場合に、参照画像として、図１１に示す「ノルバ○○５ｍｇ錠」の錠剤に対応する参照画像が読み込まれたけれども、例えば、検査人Ａのかざした薬剤の表面が汚れていたりして正確な画像が入力できなかったような場合には、アクセプトリスト１０２−１に参照画像に対応する薬剤のＩＤ番号として「ＩＤ００００１」が記憶される。
【００７０】
その後、照合対象薬剤情報記憶部１０４に記憶された全ての薬剤に対する参照画像、すなわち処方箋に記載された薬剤に対応する全ての参照画像と照合が終了したかを判定する処理ステップＳ１１３に移行する。
【００７１】
また、他方、上記ステップＳ１１０の判別の結果、全ての類似薬剤に対して自身と判別しなかった場合、即ち、現在参照している参照画像より類似薬剤の方が入力画像に類似している（類似度が高い）場合（ステップＳ１１０ＮＯ）、認識処理部１０２は、要検査リスト１０２−２に、現参照画像の薬剤ＩＤ番号及び類似薬剤のＩＤ番号を記憶する（ステップＳ１１２）。例えば、このような場合として、上述したような検査人Ａが用意した薬剤の表面の汚れの度合いによっては、正しい参照画像でも類似薬剤の方が類似度が高い場合がある。そして、例えば、検査対象薬剤として「ノルバ○○５ｍｇ」の錠剤のチェックを行っていた場合、要検査リスト１０２−２に参照画像に対応する薬剤のＩＤ番号「ＩＤ００００１」が記憶されると共に、その類似薬剤「ノルバ○○２．５ｍｇ錠」のＩＤ番号「ＩＤ００００２」が記憶される。
【００７２】
その後、照合対象薬剤情報記憶部１０４に記憶された全ての薬剤に対する参照画像と照合が終了したかを判定する処理ステップＳ１１３に移行する。
【００７３】
また、他方、上記ステップＳ１０８の判定の結果、算出された照合値が第２の閾値（ｔｈ２_ｉ）より小さいと判定された場合（ステップＳ１０８ＹＥＳ）、次いで、認識処理部１０２は、照合対象薬剤情報記憶部１０４に記憶された全ての薬剤に対する参照画像と照合が終了したかを判定する処理ステップＳ１１３に移行する。例えば、このような場合として、検査人Ａが検査対象薬剤として「ノルバ○○５ｍｇ」の錠剤のチェックを行っていた場合に、参照画像として全然違う薬剤、例えば、図１１に示す「ウプレ○○錠」の錠剤に対応する参照画像が読み込まれた場合などである。
【００７４】
この判定の結果、今回入力した入力画像と、照合対象薬剤情報記憶部１０４に記憶された全ての薬剤の参照画像との照合を行っていないと判定されれば（ステップＳ１１３ＮＯ）、上述のステップＳ１０３の処理に戻って照合対象薬剤情報記憶部１０４に記憶されたその他の薬剤の参照画像を読み込み、以下同様の処理を行う。
【００７５】
他方、今回入力した入力画像と、照合対象薬剤情報記憶部１０４に記憶された全ての薬剤の参照画像との照合を行ったと判定された場合（ステップＳ１１３ＹＥＳ）、アクセプトリスト１０２−１に薬剤ＩＤ番号が一つだけ記憶されているかどうかの判定処理ステップＳ１１４に移行する。
【００７６】
次に、ステップＳ１１４の判定処理において、アクセプトリスト１０２−１に一つだけＩＤ番号が記憶されている、即ち、認識が正常に行われた場合（ステップＳ１１４ＹＥＳ）、認識が正常に行われた事及び認識結果を検査人Ａに通知する（ステップＳ１１５）。具体的には、図１５に示す画面１０５−４を表示し、「認識ＯＫ」表示と、認識結果、即ち、処方箋の薬剤であることを示す画像情報及び薬剤名情報の表示が行われる。
【００７７】
その後、認識処理部１０２は、全ての処方箋薬剤のチェックを完了したかどうかを判定する（ステップＳ１１６）。ここで、全てチェックしていなければ（ステップＳ１１６ＮＯ）、上述のステップＳ１０２に戻って次の検査対象薬剤の画像を入力し、以下同様の処理を行う。他方、全てチェックしていれば（ステップＳ１１６ＹＥＳ）、ここでの処理を終了する。
【００７８】
また、他方、上記ステップＳ１１４の判定の結果、アクセプトリスト１０２−１にＩＤ番号が一つだけ記憶されていない、即ち、認識が正常に行われなかったと判定された場合（ステップＳ１１４ＮＯ）、エラーとしてその内容に基づいた処理を行う。具体的なエラーの内容としては、（１）：アクセプトリスト１０２−１にＩＤ番号が２つ以上記憶されている、（２）：アクセプトリスト１０２−１にＩＤ番号が１つも記憶されずに要検査リスト１０２−２にＩＤ番号が１つ以上記憶されている、すなわち類似薬剤があるようなグレー判定の場合、（３）：アクセプトリスト１０２−１及び要検査リスト１０２−２の両方ともにＩＤ番号が１つも記憶されていないような該当候補薬剤が１つも無い場合等がある。
【００７９】
まず、（１）の場合（ステップＳ１１７の丸数字「１」）には、図１６に示すような画面を表示する。即ち、この場合は、入力画像の薬剤の薬剤名画像部分に対して略同一の薬剤名画像部分を有する参照画像であると判断されたものが２つ以上ある場合であり（図１６の例では、２つある場合）、これら薬剤の画像を表示させて検査人に対して目視により薬剤名を特定させる為の表示をする（ステップＳ１１８）。そして、検査人が目視確認をして、画像の下位置に表示された候補１および候補２の表示がされたボタンのうち、正しいと思われる薬剤に対応するボタンを選択すると（ステップＳ１１９）、認識処理部１０２では、検査人により選択された薬剤が処方箋薬剤であるかどうかをチェックする（ステップＳ１２０）。このチェックの結果、選択された薬剤が処方箋薬剤であると判定すると（ステップＳ１２０ＹＥＳ）、現在検査対象の薬剤の薬剤名が選択されたボタンに対応する薬剤名に確定され、上述のステップＳ１１６へ移行する。また、他方、上述のステップＳ１２０の判定の結果、検査人により選択された薬剤が処方箋薬剤でないと判定されると（ステップＳ１２０ＮＯ）、選択された薬剤は処方箋薬剤でない旨を警告表示する（ステップＳ１２１）。そして、上述のステップＳ１１６の判定処理に移行する。尚、この例では入力画像の表示も可能となっており、入力画像と略同一の薬剤名画像部分を有する参照画像であると判断された薬剤の画像を並べて表示させて、画面に表示された画像のみで目視判断することもできる。
【００８０】
次に、（２）の場合（ステップＳ１１７の丸数字「２」）には、図１７に示すような画面１０５−６を表示する。即ち、この場合は、入力画像の薬剤の薬剤名画像部分に対して略同一の薬剤名画像部分を有する参照画像がないものの、類似の薬剤名画像部分を有する参照画像が存在した場合であり、これら類似薬剤の画像を表示させて検査人に対して目視により薬剤名を特定させる為の表示をする（ステップＳ１２２）。尚、この例では、照合対象の薬剤として、「ノルバ○○５ｍｇ」と、その類似薬剤である「ノルバ○○２．５ｍｇ」があった場合を示している。そして、検査人が目視確認をして、画像の下位置に表示された照合対象薬剤および類似薬剤１の表示がされたボタンのうち、正しいと思われる方のボタンを選択すると（ステップＳ１２３）、認識処理部１０２では、検査人により選択された薬剤が処方箋薬剤であるかどうかを判定する（ステップＳ１２０）。この判定の結果、選択された薬剤が処方箋薬剤であると判定された場合（ステップＳ１２０ＹＥＳ）、現在検査対象薬剤の薬剤名が選択されたボタンに対応する薬剤名に確定され、上述のステップＳ１１６へ移行する。他方、上述のステップＳ１２０の判定の結果、選択された薬剤が処方箋薬剤でないと判定されると（ステップＳ１２０ＮＯ）、選択された薬剤が処方箋薬剤でない旨を警告表示する（ステップＳ１２１）。その後、上述のステップＳ１１６の処理に移行する。尚、この例では入力画像の表示も可能となっており、入力画像と照合対象薬剤および類似薬剤の画像を並べて表示させて、画面に表示された画像のみで目視判断することもできる。
【００８１】
また、(３)の場合（ステップＳ１１７の丸数字「３」）には、図１８に示すような画面１０５−７を表示する（ステップＳ１２４）。即ち、この場合は、画像読取装置１にかざした薬剤が処方対象薬剤でない旨を通知し、正しい処方対象薬剤を探して再度その薬剤の画像を入力するよう指示する画面を示している。そして、画面下のＯＫボタンを選択すると（ステップＳ１２５のＯＫ）、ステップＳ１０２へ移行して、正しい薬剤を探して再度その薬剤の画像を入力することになる。他方、キャンセルボタンを押下すると（ステップＳ１２５のキャンセル）、ステップＳ１１６へ移行し、全ての処方箋薬剤をチェックしたか否かが判定される。尚、この（３）の場合も、入力画像の表示を可能としており、入力された薬剤がどのようなものであったかを確認したり、あるいは、検査人による薬剤のかざし方が悪いような場合には、そのかざし方の悪さチェックをすることができる。なお、このような効果は、上記（１）および（２）のケースでも同様のことである。また、図示しないが、入力画像を見て、検査人が薬剤名を特定できた場合には、この薬剤名を入力することができるように画面を構成し、入力された薬剤名を入力画像に対する薬剤名として取り扱っても良いし、処方箋に記入されている薬剤名を選択可能に表示させて、これらから薬剤名を選択させて、選択された薬剤名を入力画像に対する薬剤名として取り扱っても良い。
【００８２】
これら図１６〜図１８の画面の表示を行って、検査人Ａによる目視確認による薬剤名の特定等が行われた後、全ての処方対象薬剤のチェックがなされたならば、ステップＳ１１７でＹＥＳとなり、この処理を終了する。なお、薬剤名と対応させて薬価コード及び標準薬剤名（一般名）の情報を記憶するようにして、図１９に示す画面１０５−８を表示、即ち、薬剤名、薬価コード、標準薬剤名も表示させるようにしても良い。
【００８３】
以上のようにして非常に簡単かつ確実に薬剤名の認識をするとともに、確実な薬剤名の特定ができない場合や、類似している薬剤名の薬剤がある場合には検査人に目視判断により薬剤名の特定を委ねるようにしているので、ピッキング作業や監査作業における調剤ミスを確実に防ぐと共に、作業性の良い調剤処理が行えるようになる。
【００８４】
次に、（２）の個別薬剤チェック処理について以下に説明する。
【００８５】
上述したように、個別薬剤チェック処理とは、検査人Ａが指示者から指示された薬剤名の薬剤を一つずつ個別にチェックする場合の処理である。具体的には、指示者が図示しない端末（パソコンなど）でピッキングすべき薬剤名を入力し、この入力された薬剤名の情報が図１に示した薬剤認識システム１００の画像認識処理装置２へ送信される。そして、薬剤認識システム１００では、送信されてきた薬剤名を表示部１０５に表示し、検査人Ａに対して表示した薬剤名の薬剤をピッキングするよう指示する。これにより、検査人Ａが表示部１０５に表示された薬剤名を見て、これからピッキングすべき薬剤を薬剤棚などから取り出して薬剤認識システム１００を用いて正しい薬剤をピッキングしたかをチェックする。尚、一つの薬剤のチェックが終わり、新たな指示があれば、上記の処理を繰り返すことになる。また、上記薬剤名の入力に用いられる端末は上述の画像認識処理装置２であっても良い。更に、上述の画像読取装置１に表示器を設けて、これを検査人Ａが見てピッキングを行うようにしても良い。
【００８６】
図２０は、（２）の個別薬剤チェック処理における薬剤名の認識処理手順を示すフローチャートである。
【００８７】
まず、検査人Ａが図４に示すメニュー画面で個別薬剤チェック処理を選択すると図２１に示す待機画面１０５−９が表示される（ステップＳ２０１）。次に、待機画面が表示されると、ピッキングすべき薬剤名が指示されているか確認し、指示されていれば照合対象薬剤情報記憶部１０４に薬剤名に関する情報（ここでは薬剤のＩＤ番号）が記憶されているので、この記憶されている薬剤のＩＤ番号を取得する（ステップＳ２０２）。ここで、指示がなく、照合対象薬剤情報記憶部１０４に薬剤名に関する情報が記憶されていない場合は、処理を終了するか否かを選択するステップＳ２０３へ移行する。
【００８８】
次に、ステップＳ２０２で照合対象薬剤情報記憶部１０４から薬剤のＩＤ番号が取得できたならば、この薬剤のＩＤ番号に対応する参照画像を認識参照テーブル１０３−１から読み込み（ステップＳ２０４）、続いて、図２２に示すようなピッキングすべき薬剤名とピッキング指示（表示画面１０５−１０）の表示をする（ステップＳ２０５）。
【００８９】
次いで、検査人Ａにより、例えば図８に示すようなＰＴＰシートで包装された検査対象薬剤が画像読取窓１１１にかざされると、画像読取部１０１を介して該検査対象薬剤の画像が入力される（ステップＳ２０６）。そして、検査対象薬剤の画像が入力されると、認識処理部１０２は、上記入力画像と上記参照画像の照合を行う正確に行うために、基準となる参照画像に対する入力画像の回転角及び平行移動量の算出など行って、入力画像の補正処理を行う（ステップＳ２０７）。
【００９０】
次いで、認識処理部１０２では、入力画像と参照画像との照合値の算出が行われる（ステップＳ２０８）。尚、照合値の算出方法としては、上述の図７で説明した正規化相関マッチング方式を用いる。
【００９１】
この照合値算出後、認識処理部１０２では、該算出した照合値と、上述の［第１の閾値（ｔｈ１_ｉ）＋ε］との大小が比較判定される（ステップＳ２０９）。
【００９２】
この比較判定の結果、上記算出された照合値が［第１の閾値（ｔｈ１_ｉ）＋ε］より大きいと判定された場合（ステップＳ２０９ＹＥＳ）、指示通りの薬剤がピッキングされたと判断し、アクセプトリスト１０２−１に現在参照している参照画像の薬剤のＩＤ番号を記憶する（ステップＳ２１０）。そして、図２３に示すような認識ＯＫ（表示画面１０５−１１）の表示をして（ステップＳ２１１）、次のピッキングすべき薬剤の指示があるか否かを確認するステップＳ２１２へ移行する。
【００９３】
また、他方、上記ステップＳ２０９の判定の結果、照合値が［第１の閾値（ｔｈ１_ｉ）＋ε］より小さいと判定された場合（ステップＳ２０９ＮＯ）、次いで、算出照合値と、第２の閾値（ｔｈ２_ｉ）との大小が比較判定される（ステップＳ２１３）。この比較判定の結果、上記算出した照合値が第２の閾値（ｔｈ２_ｉ）より大きいと判定されると（ステップＳ２１３ＮＯ）、次いで、認識処理部１０２は、上述した図１４に示す類似薬剤テーブルに登録されている詳細判別情報を参照し、詳細判別を行う（ステップＳ２１４）。尚、この詳細判別方法としては、上述の図７で説明した方法と同様の処理にて行う。
【００９４】
この詳細判別の結果、全ての類似薬剤に対して自身と判別した場合、即ち、現在参照している参照画像の薬剤の方が類似薬剤より入力画像に類似している（照合値が高い）場合（ステップＳ２１５ＹＥＳ）、認識処理部１０２は、アクセプトリスト１０２−１に現在参照している参照画像の薬剤のＩＤ番号を記憶する（ステップＳ２１０）。そして、図２３に示すような認識ＯＫの表示をして（ステップＳ２１１）、次のピッキングすべき薬剤の指示があるか否かを確認するステップＳ２１２へ移行する。
【００９５】
また、他方、上記ステップＳ２１５の判別の結果、全ての類似薬剤に対して自身と判別しなかった場合、即ち、現在参照している参照画像より類似薬剤の方が入力画像に類似している（類似度が高い）場合（ステップＳ２１５ＮＯ）、認識処理部１０２は、要検査リスト１０２−２に、現照合対象薬剤のＩＤ番号及び類似薬剤のＩＤ番号を記憶する（ステップＳ２１６）。
【００９６】
その後、図２４に示すような認識が正常に行われなかった事（表示画面１０５−１２）を検査人Ａに通知する（ステップＳ２１７）。ここでは、ピッキングすべき薬剤の画像（正しい薬剤の画像）と類似とされた薬剤の画像を表示し、また、入力画像を表示可能として、検査人Ａが間違った薬剤をピッキングしていないか、あるいは画像の入力が適切あったかを確認できるようになっている。次に、検査人Ａに上記表示を見て、画像を再入力するか否かを選択させる。ここで、例えば、間違った薬剤をピッキングしていたと気付いて画像を再入力するために図２４のＹＥＳのボタンを選択すると、ステップＳ２１８でＹＥＳとなり、画像を入力するステップＳ２０６へ移行する。また、画像入力が適切でなかったために認識ＮＧとなっていたのであれば、図２４のＮＯのボタンを選択すると、次のピッキングすべき薬剤の指示があるか否かを確認するステップＳ２１１へ移行する。なお、画像入力が適切でなかったために認識ＮＧとなっていた場合でも、図２４のＹＥＳのボタンを選択して画像を再入力してもかまわない。
【００９７】
また、他方、上記ステップＳ２１３の判定の結果、算出された照合値が第２の閾値（ｔｈ２_ｉ）より小さいと判定された場合（ステップＳ２１３ＹＥＳ）、図２５に示すような正しくピッキングしていないこと、手元の薬剤を確認することを通知する（表示画面１０５−１３）ための表示を行い（ステップＳ２１９）、画像を再入力するか否かを選択するステップＳ２２０へ移行する。ここで、検査人Ａが目視で手元の薬剤を確認して、画像を再入力するならば、図２５のＹＥＳのボタンを選択すると、ステップＳ２２０でＹＥＳとなり、画像を入力するステップＳ２０６へ移行する。また、正しい薬剤をピッキングしていたにもかかわらず、画像入力が適切でなかったり、薬剤が汚れていたために、正しくピッキングされていないと判断されてしまったのであれば、図２５のＮＯのボタンを選択すると、ステップＳ２２０でＮＯとなり、次のピッキングすべき薬剤の指示があるか否かを確認するステップＳ２１２へ移行する。
【００９８】
上記のような一つの薬剤のピッキングに対する判定が一通り終わり、次のピッキングすべき薬剤の指示があるか否かを確認するステップＳ２１２へ移行すると、照合対象薬剤情報記憶部１０４に新たにピッキングすべき薬剤のＩＤ番号が存在するか否かがチェックされ、存在すれば（ステップＳ２１２のＹＥＳ）、Ｓ２０２へ移行し、上記と同様の処理がなされる。他方、新たにピッキングすべき薬剤のＩＤ番号が存在しない場合は（ステップＳ２１２のＮＯ）、図２６に示す画面１０５−１４が表示され、処理終了指示待ちのステップＳ２２１へ移行する。そして、処理を終了する場合、図２６の画面でＹＥＳボタンを選択すれば、ステップＳ２２１でＹＥＳとなり、個別薬剤チェック処理を終了する。なお、処理を続けたい場合は、図２６の画面でＮＯボタンを選択すれば、ステップＳ２２１でＮＯとなり、ステップＳ２０１へ移行し、図２１の待機画面となる。
【００９９】
上記のような処理を行うことにより、検査人Ａは指示された薬剤のピッキングをミスなく迅速に行うことができる。
【０１００】
なお、上述のような構成に加えて、薬剤名の認識ができた薬剤の数を計数する機能を付加すれば、上述のオプション機能としての在庫薬剤チェック処理（薬剤の在庫管理）に適用できる。
【０１０１】
また、薬剤の薬価コード及び標準薬剤名を記憶するようにすれば、薬剤名に対応した薬価コード及び標準薬剤名を知ることができるので、上述のオプション機能としての薬価コード及び標準薬剤名チェック処理（研修薬剤師などの学習ツール）に適用できる。
【０１０２】
【発明の効果】
以上説明したように、本発明によれば、薬剤の包装や容器に印刷されている薬剤名を非常に簡単かつ確実に認識し、薬剤のピッキング作業や監査作業における調剤ミスを確実に防止することが可能となるとともに、迅速な調剤処理が可能となる。
【図面の簡単な説明】
【図１】本発明に係わる薬剤名認識装置を適用した薬剤認識システムの外観概略構成を示す図。
【図２】図１に示した画像読取装置の詳細な構成を示す図。
【図３】図１に示した薬剤認識システムを機能ブロックで示した図。
【図４】薬剤認識処理システムの処理項目を県債人が選択する為の表示画面の一構成例を示す図。
【図５】処方箋薬剤チェック処理すべき患者のリストを表示する画面の一構成例を示す図。
【図６】図５に示した処理番号に対応する患者に対して処方すべき薬剤に関する情報を表示する画面の一構成例を示す図。
【図７】処方箋薬剤チェック処理における薬剤名の認識処理手順を示すフローチャート。
【図８】ＰＴＰシートで包装された錠剤の表面と裏面の様子を示す図。
【図９】検査人が照合対象の薬剤を画像読取窓にかざしている様子を示す図。
【図１０】参照画像の一構成例を示す図。
【図１１】認識参照テーブルの一構成例を示す図。
【図１２】入力画像及び回転補正後のイメージ図。
【図１３】照合値と閾値の大小関係を示すグラフ図。
【図１４】類似薬剤テーブルの一構成例を示す図。
【図１５】認識ＯＫの場合の一表示例を示す図。
【図１６】認識ＮＧの場合の一表示例を示す図。
【図１７】認識ＮＧの場合の一表示例を示す図。
【図１８】認識ＮＧの場合の一表示例を示す図。
【図１９】薬価コード及び標準薬剤名を表示する場合の一表示例を示す図。
【図２０】個別薬剤チェック処理における薬剤名の認識処理手順を示すフローチャート。
【図２１】個別薬剤チェック処理画面の一表示例を示す図。
【図２２】個別薬剤チェック処理画面の一表示例を示す図。
【図２３】個別薬剤チェック処理画面の一表示例を示す図。
【図２４】個別薬剤チェック処理画面の一表示例を示す図。
【図２５】個別薬剤チェック処理画面の一表示例を示す図。
【図２６】個別薬剤チェック処理画面の一表示例を示す図。
【符号の説明】
１００…薬剤認識システム、１…画像読取装置、２…画像認識処理装置、３…通信線、１０１…画像読取部、１０２…認識処理部、１０３…認識参照情報記憶部、１０４…照合対象薬剤情報記憶部、１０５…表示部、１１…上面カバー、１２…下箱、１１１…画像読取窓、１１２…拡散板、１２１…光源部、１２２…カメラ、１２ａ…側面板、１２ｂ…底面板、１１２ａ…撮影口、１２１−１…把持支持部、Ａ…検査人、Ｂ…薬剤、１０３−１…認識参照テーブル、１０２−２…類似薬剤テーブル
【発明の属する技術分野】
本発明は、薬剤認識装置に関し、特に、非常に簡単かつ確実に薬剤の包装や容器に印刷されている薬剤名を認識することを可能にした薬剤認識装置に関するものである。
【０００２】
【従来の技術】
現在、病院などの薬局、或いは調剤薬局では、薬剤師等が医師の発行した処方箋の内容に従って種々の薬剤を調剤し、これら調剤した薬剤を薬袋に入れて患者に手渡している。
【０００３】
この場合、多数のトレーが配列された薬剤棚から処方すべき薬剤の入ったトレーを探して薬剤を取り出す作業（以下、ピッキング作業あるいは単にピッキングと記す）、取り出された薬剤を処方箋を見ながら間違いがないか確認する監査作業があり、これらの作業を薬剤師あるいは薬剤師に指示された作業者が一人で行ったり、複数の作業者で行ったりしている。上記ピッキング作業においては、作業者はトレーに貼られた薬剤名等が印刷あるいは手書きされたラベルを見て薬剤を取り出した後、薬剤の包装や容器に印刷された薬剤名を目視により確認して間違った薬剤を調剤しないようにしていた。また、監査作業においても同様に薬剤の包装や容器に印刷された薬剤名を目視により確認して監査を行っていた。なお、薬剤名とは薬剤の包装や容器に印刷されている販売名、規格・含量等から構成されるものである。
【０００４】
薬剤の種類は非常に膨大であり、また、非常に似通った包装をされたものもあり、上述のようなピッキング作業や監査作業において薬剤名の読み間違いや見間違いにより、間違った薬剤を患者に手渡してしまうという調剤ミスによる事故が発生している。
【０００５】
このような調剤ミスを防止するために、例えば、薬剤棚のトレー毎に薬剤の種類や品目など（薬剤名と同様の情報）を認識するためのバーコードラベルを貼っておき、ピッキング作業の際などに携帯端末でバーコードラベルを読み取って、別途設置されているコンピュータに記憶させた処方箋データと照合することにより調剤ミスを防止するようなもの（以下、単に「従来技術１」という。）が提案されている（特許文献１参照）。
【０００６】
また、薬剤の画像を撮影して表示装置に表示し、目視検査の支援をするもの（以下、単に「従来技術２」という。）も提案されている（特許文献２及び特許文献３参照）。
【０００７】
【特許文献１】
特開平２００２−２３６７４８号公報。
【０００８】
【特許文献２】
特開平９−２５３１６３号公報。
【０００９】
【特許文献３】
特開平１０−１６２１１６号公報。
【００１０】
【発明が解決しようとする課題】
しかしながら、上述の従来技術１では、トレーに間違った薬剤が入れられていても認識することができず、調剤ミスを確実に防止することができない。また、取り扱う薬剤の追加や変更等の度にバーコードラベルを貼ったり、剥がしたりしなければならず、また携帯端末を手に持ちながらピッキング作業を行わなければならないので作業性が悪いものとなっている。
【００１１】
また、上述の従来技術２では、装置が大掛かりなものとなってしまうと共に、目視によるミスを完全に防止することができないでいる。
【００１２】
そこで、本発明は上記実情を鑑み、薬剤の包装や容器に印刷されている薬剤名を非常に簡単かつ確実に認識し、薬剤のピッキング作業や監査作業における調剤ミスを確実に防止することが可能な薬剤認識装置の提供を目的とするものである。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明は、薬剤を直接包装している包装材の画像を画像読取手段により読み取り、該読み取った読取画像に基づき前記包装材で包装された薬剤の薬剤名を認識する薬剤認識装置であって、前記薬剤の薬剤名を認識するための複数の参照画像を予め記憶する参照画像記憶手段と、前記画像読取手段で読み取った読取画像と前記参照画像記憶手段に記憶されている参照画像とにそれぞれ含まれる該薬剤の薬剤名を特定可能な薬剤名画像部分を照合し、該照合結果に基づき前記包装材で包装された薬剤の薬剤名を認識する認識手段とを具備することを特徴とする。
【００１４】
また、請求項２の発明は、請求項１の発明において、前記認識手段は前記画像読取手段で読み取った読取画像と前記薬剤名画像部分が略同一となる参照画像が前記参照画像記憶手段から唯一検出された場合は、該参照画像で特定される薬剤名を認識薬剤名と判定することを特徴とする。
【００１５】
また、請求項３の発明は、請求項１または２の発明において、前記認識手段は前記画像読取手段で読み取った読取画像の前記薬剤名画像部分が略同一となる参照画像が前記参照画像記憶手段から２つ以上検出した場合若しくは高い一致性を有する類似薬剤を検出した場合には、認識が正常に行われなかったと判定することを特徴とする。
【００１６】
また、請求項４の発明は、請求項１または２の発明において、前記認識手段は前記画像読取手段で読み取った読取画像と前記薬剤名画像部分が略同一となる参照画像が前記参照画像記憶手段から検出されず、かつ高い一致性を有する類似薬剤も検出されない場合は、該当する薬剤候補が無いと判定することを特徴とする。
【００１７】
また、請求項５の発明は、請求項１または２の発明において、前記認識手段は、前記画像読取手段で読み取った読取画像に含まれる前記薬剤名画像部分と前記参照画像に含まれる薬剤名画像部分との照合値を算出する照合値算出手段と、前記照合値算出手段により算出された照合値と、予め設定されている第１の所定閾値及び前記第１の所定閾値より低い値である第２の所定閾値との大小を比較する比較手段とを有し、前記比較手段の比較により前記算出照合値が前記第１の所定閾値より大きい参照画像が唯一検出された場合、若しくは、前記比較手段の比較により前記算出照合値が前記第１の所定閾値より小さく前記第２の所定閾値より大きい場合に、前記参照画像記憶手段から読み出された参照画像に対応して予め記憶されている類似薬剤の参照画像に含まれる薬剤名画像部分と照合した結果、該類似薬剤の参照画像よりも前記参照画像記憶手段から読み出された参照画像に含まれる薬剤名画像部分が前記読取画像の前記薬剤名画像部分に高い一致性を有する参照画像が唯一検出された場合、当該薬剤の薬剤名として前記参照画像記憶手段から読み出された参照画像にて特定される薬剤名を認識薬剤名と判定することを特徴とする。
【００１８】
また、請求項６の発明は、請求項１または３の発明において、前記認識手段は、前記画像読取手段で読み取った読取画像に含まれる前記薬剤名画像部分と前記参照画像に含まれる薬剤名画像部分との照合値を算出する照合値算出手段と、前記照合値算出手段により算出された照合値と、予め設定されている第１の所定閾値及び前記第１の所定閾値より低い値である第２の所定閾値との大小を比較する比較手段とを有し、前記比較手段の比較により前記算出照合値が前記第１の所定閾値より大きい参照画像と、前記比較手段の比較により前記算出照合値が前記第１の所定閾値より小さく前記第２の所定閾値より大きい場合に、前記参照画像記憶手段から読み出された参照画像に対応して予め記憶されている類似薬剤の参照画像と照合した結果、該類似薬剤の参照画像よりも前記参照画像記憶手段から読み出された参照画像に含まれる薬剤名画像部分が前記読取画像の前記薬剤名画像部分に高い一致性を有する参照画像と、が合わせて２つ以上検出された場合、若しくは、前記比較手段の比較により前記算出照合値が前記第１の所定閾値より小さく前記第２の所定閾値より大きい場合に、前記参照画像記憶手段から読み出された参照画像に対応して予め記憶されている類似薬剤の参照画像と照合した結果、前記参照画像記憶手段から読み出された参照画像に含まれる薬剤名画像部分よりも前記類似薬剤の参照画像に含まれる薬剤名画像部分が前記読取画像の前記薬剤名画像部分に高い一致性を有する類似薬剤の参照画像がある場合、認識が正常に行われなかったと判定することを特徴とする。
【００１９】
また、請求項７の発明は、請求項１または４の発明において、前記認識手段は、前記画像読取手段で読み取った読取画像に含まれる前記薬剤名画像部分と前記参照画像に含まれる薬剤名画像部分との照合値を算出する照合値算出手段と、前記照合値算出手段により算出された照合値と、予め設定されている第１の所定閾値及び前記第１の所定閾値より低い値である第２の所定閾値との大小を比較する比較手段とを有し、前記比較手段の比較により前記算出照合値と前記第１の所定閾値及び前記第２の所定閾値との比較を行った結果、該算出照合値が前記第１の所定閾値より大きい参照画像、或いは、該算出照合値が前記第１の所定閾値より小さく前記第２の所定閾値より大きい参照画像が一つも無い場合、該当する薬剤候補が無いと判定することを特徴とする。
【００２０】
また、請求項８の発明は、請求項１乃至７の発明において、前記認識手段の判定に基づいた表示を行う表示手段を更に具備することを特徴とする。
【００２１】
また、請求項９の発明は、請求項５乃至７の発明において、前記認識手段の判定に基づいた表示を行う表示手段を更に具備し、前記表示手段は、前記認識手段の判定に基づいて前記認識薬剤名に対応する薬剤の画像、前記照合値が第１の所定閾値より大きい参照画像に対応する薬剤の画像あるいは前記読取画像の前記薬剤名画像部分に高い一致性を有する類似薬剤の参照画像に対応する画像を表示することを特徴とする。
【００２２】
また、請求項１０の発明は、請求項８または９の発明において、前記表示手段は前記画像読取手段で読み取った読取画像を表示可能としたことを特徴とする。
【００２３】
また、請求項１１の発明は、請求項１乃至１０の発明において、前記画像読取手段が読み取った読取画像と照合すべき薬剤の薬剤名に関する情報を記憶する照合対象薬剤情報記憶手段を具備し、前記認識手段は、前記照合対象薬剤情報記憶手段に記憶されている薬剤名に関する情報に対応する参照画像を前記参照画像記憶手段から読み出して前記照合を行い、該照合結果に基づき該薬剤の薬剤名を認識することを特徴とする。
【００２４】
また、請求項１２の発明は、請求項１１の発明において、前記照合対象薬剤情報記憶手段に記憶されている薬剤名に関する情報は処方箋から抽出されたものであることを特徴とする。
【００２５】
また、請求項１２の発明は、請求項１乃至１２の発明において、前記薬剤は、ＰＴＰ（Ｐｒｅｓｓ Ｔｈｒｏｕｇｈ Ｐａｃｋａｇｅ）シートで包装されているカプセルや錠剤、アルミフィルム等で包装されている粉薬や座薬、ガラス製の容器に入れられたアンプル剤のいずれかであり、前記薬剤名画像部分は、前記ＰＴＰシートやアルミフィルムの表面上や裏面上に印刷されている販売名、規格、含量等で構成される薬剤名を示す印刷情報の画像部分、或いは前記ガラス製の容器に貼られたラベル上に印刷されている販売名、規格、含量等で構成される薬剤名を示す印刷情報の画像部分であることを特徴とする。
【００２６】
また、請求項１４の発明は、請求項１３の発明において、前記画像読取手段は、前記ＰＴＰシートや前記アルミフィルム等の多数の凹凸要素を有し且つ光の反射率が高い表面を有する包装材上に印刷されている前記印刷情報部を撮影する為に、前記包装材の表面全体に入射光が均一に照射されるように入射光を拡散する拡散板を具えたカメラ装置であることを特徴とする。
【００２７】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を参照して詳細に説明する。
【００２８】
図１は、本発明に係わる薬剤認識装置を適用した薬剤認識システム１００の外観概略構成を示す図である。
【００２９】
図１に示すように、この薬剤認識システム１００は、画像読取装置１と、画像認識処理装置２とを具えて構成される。ここで、同図１の（ａ）は、画像認識処理装置２ａとして、デスクトップ型のパーソナルコンピュータ（ＰＣ）で構成した場合を示している。同図１の（ｂ）は、画像認識処理装置２ｂとして、ノート型のパーソナルコンピュータ（ＰＣ）で構成した場合を示している。
【００３０】
そして、この例では、上記画像読取装置１と上記画像認識処理装置２との間を通信線３にて接続している様子を示している。尚、画像読取装置１と画像認識処理装置２との間の通信は、無線にて行うようにしても良い。
【００３１】
図２は、上記図１に示した画像読取装置１の詳細な構成を示す図である。
【００３２】
同図２（ａ）は、画像読取装置１の内部構成を示す図であり、この場合、その画像読取装置１を床や机等の平面上に設置した場合に横側面方向から見た場合の内部構成を示している。同図２（ａ）に示すように、この画像読取装置１は、上面カバー１１と、４つの側面板１２ａと１つの底面板１２ｂから成る下箱１２とから構成される外部筐体部と、光源部１２１およびカメラ１２２とからなる。
【００３３】
そして、上面カバー１１は、画像読取窓１１１と、拡散板１１２とを具える。
【００３４】
ここで、画像読取窓１１１は、撮影軸Ａに沿って設けられ、カメラ１２２にて撮影される被写体となる対象物（以下、この例では、薬剤という。）を覗かせる開口又は孔或いは上記カメラ１２２に透明と映る部材にて形成される窓部分である。尚、好ましくは、例えば、透明なガラスを配置することにより、検査人が検査時に窓ガラス上に薬剤を載せることで、後述のカメラ１２２からの距離を一定に保って対象物を撮影することができる。尚、本実施例では、薬剤の裏面等を常に一定の距離を保って撮影することができる。
【００３５】
拡散板１１２は、該カバー１１の下方側、即ちカメラが設置された下箱１２の内側に設けられ、上記画像読取窓１１１にかざされた薬剤に後述の光源１２１から発せられた光を検査対象である薬剤に均一に照射する為のものである。そして、具体的な構成として、略半球状（ドーム型）の形状を有し、撮影軸Ａに沿って該半球上に撮影口１１２ａが設けられている。尚、この撮影口１１２ａは、上記画像読取窓１１１と同様に開口又は孔或いはカメラ１２２に透明に映る部材にて形成される。
【００３６】
また、下箱１２の内部には、光源部１２１とカメラ１２２とが具えられている。
【００３７】
ここで、光源部１２１は、撮影に必要な明るさを提供する照明部分であり、具体的には、例えば、リング形状の白熱蛍光灯等で構成される。
【００３８】
カメラ１２２は、上述の撮影口１１２ａ及び画像読取窓１１１を介して被写体となる薬剤の撮影を行うディジタルカメラ等の撮影手段である。尚、このカメラ１２にて撮影された映像データは上述の図１に示す通信線３を介して画像認識処理装置２に転送される。
【００３９】
同図２（ｂ）は、上面カバー１１を上にして画像読取装置１を床や机等の平面上に設置した場合に上方から見た場合の上面外観概略構成を示している。
【００４０】
同図２（ｃ）は、画像読取装置１の上面カバーを拡散板１１２が設けられた側から見た場合の概略構成を示している。
【００４１】
同図２（ｄ）は、上記図２（ｂ）に示した状態の画像読取装置１において、上面カバー１１を取り除いた場合の下箱内部の概略構成を示す図である。同図２（ｄ）に示すように、丸型蛍光灯等の光源部１２１は、実際には、外部筐体の下箱１２に支持される把持支持部１２１−１により支持されている。尚、この例では、下箱１２の４隅に対応して４つの把持支持部が具わっている。
【００４２】
尚、上記実施例では、光源を具えるようにしたが、オフィス等の照明環境が常にあるのであれば、不要である。また、上記実施例では、薬剤等の撮影対象物とカメラとの距離が常に一定に保たれるように画像読取窓１１１に透明ガラスを具えるようにしたが、この透明ガラスを具えず、単に開口または孔だけとしても良い。
【００４３】
このような間接照明構成を有する画像読取装置を用いることにより、光源１２１から発せられた光が拡散板１１２を介して画像読取部１１１にかざされた薬剤に均一に照射されるので、金属箔などの材料に見られる多数の凹凸要素があって且つ光の反射率が高い表面を有するＰＴＰ（Ｐｒｅｓｓ Ｔｈｒｏｕｇｈ Ｐａｃｋａｇｅ）シート等で包装されているカプセルや錠剤、アルミフィルム等で包装されている粉薬や座薬等の薬剤の撮影を精度良く行うことができる。即ち、それら薬剤の包装表面上の印刷画像を正確に撮影することができる。
【００４４】
図３は、上記図１に示した薬剤認識システム１００を機能ブロックで示した図である。
【００４５】
図３において、この薬剤認識システム１００は、画像読取部１０１と、認識処理部１０２と、認識参照情報記憶部１０３と、照合対象薬剤情報記憶部１０４と、表示部１０５とを具えて構成される。
【００４６】
ここで、画像読取部１０１は、上述の図１に示した画像読取装置１に相当し、検査対象の薬剤の画像を読み取り、後述の認識処理部１０２に読み取った画像データを転送する。尚、画像読取部１０１が画像を読み取るタイミングは、画像読取窓１１１に薬剤がかざされた或いは置かれたことを検知した時に撮影するようにする。具体的に、薬剤の検知方法としては、前画像との差分により検知したり、或いは静電容量変化など検知するセンサを設けて検知する。また、これ以外にも、専用ボタンを設け、該専用ボタンが押下された時に画像を撮影するようにしても良い。
【００４７】
認識処理部１０２は、上記画像読取部１０１から送られてきた入力画像データから薬剤名を認識する為の種々の演算や処理を行う。尚、この認識処理部１０２は、後述のアクセプトリスト１０２−１と、要検査リスト１０２−２とを具える。ここで、アクセプトリスト１０２−１は、後述の認識処理動作において入力画像と間違いなく照合がとれたと判定された参照画像に対応する薬剤のＩＤ番号を記憶する。また、要検査リスト１０２−２は、現参照画像について間違いなく照合がとれたわけではなく、他にも、類似度の高い類似薬剤があるようなグレー判定の場合に、現参照画像と類似薬剤のＩＤ番号を記憶する。
【００４８】
認識参照情報記憶部１０３は、後述の認識参照テーブルや類似薬剤情報テーブルなどの認識処理に必要な情報を記憶する。尚、薬剤名の認識そのものには関わるものではないので必須ではないが、目視確認用画像データも記憶するようにしても良い。ただし、その目視確認用画像データは別の記憶部に記憶させても良い。
【００４９】
照合対象薬剤情報記憶部１０４は、後述の処方箋薬剤チェックを行う場合に処方箋データに含まれる薬剤の薬剤名（販売名ともいう。）あるいはＩＤ番号を記憶し、個別薬剤チェック処理を行う場合には、ピッキングするよう指示された薬剤の薬剤名あるいは薬剤のＩＤ番号を記憶する。なお、薬剤名や薬剤のＩＤ番号ではなく薬価コードを記憶するようにしても良く、また、薬剤名と薬価コードの両方を記憶したり、その他必要な情報を適宜追加可能なものとする。尚、これらの各種情報は、外部から入力可能とする。即ち、調剤時のチェックの場合は処方箋に含まれる薬剤の薬剤名あるいはＩＤ番号を外部から入力する。具体的には、これら処方箋データからのデータ抽出としては、手入力やＯＣＲ（Optical Character Reader）等が考えられる。
【００５０】
表示部１０５は、検査人に「認識ＯＫ」や、「認識ＮＧ」や、「処方対象薬剤ではない」など認識が正常に行われたか否かの情報を表示すると共に、正常に認識された薬剤の薬剤名及び画像を表示したり、略同一と判定された薬剤が複数ある場合には、目視検査を支援するために、これらの薬剤名及び画像を表示したり、類似と判定された類似薬剤がある場合にも、目視検査を支援するために、類似薬剤の薬剤名と画像を表示したりするなど、認識処理部の判定に基づいた種々の情報を表示する。なお、検査人による目視検査がより容易にできるように、入力薬剤画像と類似薬剤の画像の両者が比較対照できるように表示することも可能である。なお、表示部１０５による表示内容の詳細については後述する。
【００５１】
尚、上述の図１及び図２に示した例では、画像認識処理装置としてのＰＣと、画像読取装置とで構成される場合を示したが、これに限らず、認識処理部１０２や処方箋データの記憶部、或いは確認用の表示部を画像読取装置側に持たせるように構成しても良い。
【００５２】
また、更に、全ての機能を１つの装置として一体化構成しても良い。
【００５３】
次に、薬局や病院等でこの実施例における薬剤認識システムを用いて行われる薬剤認識処理について、図面を参照しながら詳細に説明する。
【００５４】
図４は、この実施例における薬剤認識システムの処理項目を、検査人Ａが選択する為の表示画面１０５−１の一構成例を示す図である。
【００５５】
同図４に示すように、この実施例における薬剤認識システムでは、「１」処方箋薬剤チェック処理、「２」個別薬剤チェック処理、「３」オプション（在庫薬剤チェック処理や薬価コード／標準薬剤名チェック処理など）という処理項目が用意されている。ただし、以下では、本発明の本旨に関わる「１」と「２」の処理項目を中心に説明する。ここで、「１」処方箋薬剤チェック処理とは、検査人Ａが所定の患者に対する処方箋に記された薬剤を調剤する際の薬剤のピッキング作業や監査作業において、調剤ミスをチェックする場合の処理である。また、「２」個別薬剤チェック処理とは、検査人Ａが指示された或る１つの薬剤を個別にピッキングする作業をチェックする場合の処理である。
【００５６】
（１）まず、「１」処方箋薬剤チェック処理について以下に説明する。
【００５７】
まず、図４に示した画面１０５−１で「１」を選択すると、図５に示すような処方箋薬剤チェック処理すべき患者のリスト表示画面１０５−２が表示される。そして、この画面で今から処理する処理番号を選択する。そして、この処理番号の選択がなされると、図６に示したような処理番号に対応する患者に対して処方すべき薬剤に関する情報画面１０５−３が表示される。ここでは、これから行う各薬剤のチェック状況や結果も合わせて表示するようにしている。なお、上述の患者に対して処方すべき薬剤に関する情報は、例えば、図示しない入力画面において処方箋に記された処方薬剤名を検査人が画像認識処理装置１の入力キーを用いて手入力したり、図示しない光学式読取装置（ＯＣＲ）を用いて画像認識処理装置１に対して入力する。なお、ここで入力された情報は、上記の図５や図６のような画面表示のためのデータとなるとともに、後述の処方箋薬剤チェック処理における薬剤名の認識処理で使用される照合対象薬剤情報記憶部１０４に記憶されているデータの源にもなる。
【００５８】
次に、図７のフローチャートを参照して上記「１」の処方箋薬剤チェック処理における薬剤名の認識処理手順について具体的に説明する。
【００５９】
図７に示すように、まず、上述の図５の表示画面で選択された処理番号に対応する処方箋に記された薬剤名の情報（薬剤名もしくはＩＤ番号）が照合対象薬剤情報記憶部１０４から読み出される（ステップＳ１０１)。
【００６０】
次いで、薬剤認識システム１００では、検査人により、例えば図８に示すようなＰＴＰシートで包装された検査対象薬剤が画像読取窓１１１にかざされると、画像読取部１０１を介して該検査対象薬剤の画像が入力される（ステップＳ１０２）。尚、検査人が検査対象薬剤の画像を読み込ませる様子を図９に示す。図９に示すように、検査人Ａは、画像読取装置１の上面カバー１１に設けられた画像読取窓１１１に検査対象の薬剤Ｂをかざし、該薬剤Ｂの裏面部分［図８（ｂ）参照］を該画像読取装置１に読み取らせる。これにより、画像読取装置１のカメラ１２２にて検査対象の薬剤Ｂの裏面部分が撮影され、通信線３を介して画像認識装置２に撮影データが転送され認識処理部１０２に入力される。
【００６１】
次いで、薬剤認識システム１００では、認識処理部１０２が、照合対象薬剤情報記憶部１０４から読み出された処方箋に記された薬剤名あるいはＩＤ番号に対応する参照画像（図１０参照）を認識参照情報記憶部１０３から読み込む（ステップＳ１０３）。尚、参照画像の読み込みは、図１１に示した認識参照テーブル１０３−１から読み込むのだが、この場合、上述の処方箋に記入順（例えば上に記載された薬剤）に読み込むものとする。尚、この場合、認識処理部１０２は、参照画像を読み込んだ薬剤について、認識参照テーブル１０３−１もしくは照合対象薬剤情報記憶部１０４の対応する薬剤についてフラグを立てるなどして読み込み状態を管理するようにする。
【００６２】
その後、認識処理部１０２は、上記入力した入力画像と上記読み込んだ参照画像の照合を正確に行うために、基準となる参照画像に対する入力画像の回転角及び平行移動量の算出など行って、入力画像の補正処理を行う（ステップＳ１０４）。尚、入力された画像の一例と、上記回転補正後の２値イメージの一例を図１２に示しておく。
【００６３】
次いで、認識処理部１０２では、入力画像と参照画像との照合値の算出が行われる（ステップＳ１０５）。尚、照合値の算出方法としては、例えば、入力画像と各薬剤の参照画像との照合値（類似度）を正規化相関マッチングなどを使用して算出する。ただし、正規化相関マッチングは上述の補正がなされた入力画像に対して、例えば、参照画像を平行移動させながらマッチングを行う。
【００６４】
この照合値の算出後、認識処理部１０２では、該算出した「照合値」と［第１の閾値（ｔｈ１_ｉ）＋ε］との大小が比較判定される（図１３参照）（ステップＳ１０６）。ここで、上記「第１閾値：ｔｈ１ｉ」は、薬剤名毎に予め定めた閾値であり、自身以外の薬剤と間違わない照合値の下限値を示すものである。言い換えると、上記第１閾値ｔｈ１ｉは、現在参照している参照画像と入力画像とが略同一であるか否かを判定する為の閾値である。尚、上記「ε」は、ノイズ等による多少のずれを吸収する為の所定のマージンを与える定数である。
【００６５】
この比較判定の結果、上記算出された照合値が［第１の閾値（ｔｈ１_ｉ）＋ε］より大きいと判定された場合、（ステップＳ１０６ＹＥＳ）、認識処理部１０２はアクセプトリスト１０２−１に現在参照している参照画像の薬剤のＩＤ番号を記憶する（ステップＳ１０７）。例えば、このような場合として、検査人Ａが検査対象薬剤として「ノルバ○○５ｍｇ」錠剤のチェックを行っていた場合に正確に画像が入力され、「ノルバ○○５ｍｇ」錠剤の入力画像と図１１に示した認識参照テーブル１０３−１から読み込まれた薬剤名「ノルバ○○５ｍｇ錠」に対応する参照画像との照合が行われた場合には、アクセプトリスト１０２−１に参照画像に対応する薬剤のＩＤ番号として「ＩＤ００００１」が記憶される。
【００６６】
その後、照合対象薬剤情報記憶部１０４に記憶された全ての薬剤名あるいはＩＤ番号に対する参照画像と照合が終了したかを判定する処理ステップＳ１１３に移行する。
【００６７】
また、他方、上記ステップＳ１０６の判定の結果、照合値が［第１の閾値（ｔｈ１_ｉ）＋ε］より小さいと判定された場合、（ステップＳ１０６ＮＯ）、次いで、算出照合値と、第２の閾値（ｔｈ２_ｉ）との大小が比較判定される（ステップＳ１０８）。具体的には、上記算出された照合値と、薬剤名毎に予め定めた閾値であり、絶対に自身でない照合値の上限値（ｔｈ２ｉ）との大小が比較される。言い換えると、入力画像が現在参照している参照画像とは全然一致しないかどうかが判定される。
【００６８】
この比較判定の結果、上記算出した照合値が第２の閾値（ｔｈ２_ｉ）より大きいと判定されると（ステップＳ１０８ＮＯ）、次いで、認識処理部１０２は、図１４に示す類似薬剤テーブル１０３−２の詳細判別情報を参照して詳細判別を行う。即ち、類似薬剤との照合を行う（ステップＳ１０９）。ここで、類似薬剤とは、各薬剤に対して類似した薬剤名をもつ薬剤のことを意味し、図１１に示すような類似薬剤テーブル１０３−２に登録されている。なお、図１４の類似薬剤テーブル１０３−２に登録される詳細判別情報としては、例えば、詳細判別する際に照合を行うエリア情報（Ａ１、Ａ２、…）と、判別式（Ｒ１、Ｒ２、…）とがある。尚、ここで、エリア情報とは、類似薬剤間で明らかに違う印刷がされている部分であり、それにより、薬剤名を特定可能な印刷部の画像エリア情報である。例えば、同図１１に示すように、参照画像「ノルバ○○２．５ｍｇ」中の特に「２．５ｍｇ」部分を示す情報などである。また、判別式とは、上述した照合値算出方法と同じで、正規化相関マッチングの一般式と照合値（類似度）の閾値（尚、この場合は、入力画像が現対照薬剤か類似薬剤かを判別する閾値）を含んだものである。
【００６９】
この詳細判別の結果、全ての類似薬剤に対して自身と判別した場合、即ち、現在参照している参照画像の薬剤の方が類似薬剤より入力画像に類似している（類似度が高い）場合（ステップＳ１１０ＹＥＳ）、認識処理部１０２は、アクセプトリスト１０２−１に現在参照している参照画像の薬剤のＩＤ番号を記憶する（ステップＳ１１１）。例えば、このような場合として、検査人Ａが検査対象薬剤として「ノルバ○○５ｍｇ」の錠剤のチェックを行っていた場合に、参照画像として、図１１に示す「ノルバ○○５ｍｇ錠」の錠剤に対応する参照画像が読み込まれたけれども、例えば、検査人Ａのかざした薬剤の表面が汚れていたりして正確な画像が入力できなかったような場合には、アクセプトリスト１０２−１に参照画像に対応する薬剤のＩＤ番号として「ＩＤ００００１」が記憶される。
【００７０】
その後、照合対象薬剤情報記憶部１０４に記憶された全ての薬剤に対する参照画像、すなわち処方箋に記載された薬剤に対応する全ての参照画像と照合が終了したかを判定する処理ステップＳ１１３に移行する。
【００７１】
また、他方、上記ステップＳ１１０の判別の結果、全ての類似薬剤に対して自身と判別しなかった場合、即ち、現在参照している参照画像より類似薬剤の方が入力画像に類似している（類似度が高い）場合（ステップＳ１１０ＮＯ）、認識処理部１０２は、要検査リスト１０２−２に、現参照画像の薬剤ＩＤ番号及び類似薬剤のＩＤ番号を記憶する（ステップＳ１１２）。例えば、このような場合として、上述したような検査人Ａが用意した薬剤の表面の汚れの度合いによっては、正しい参照画像でも類似薬剤の方が類似度が高い場合がある。そして、例えば、検査対象薬剤として「ノルバ○○５ｍｇ」の錠剤のチェックを行っていた場合、要検査リスト１０２−２に参照画像に対応する薬剤のＩＤ番号「ＩＤ００００１」が記憶されると共に、その類似薬剤「ノルバ○○２．５ｍｇ錠」のＩＤ番号「ＩＤ００００２」が記憶される。
【００７２】
その後、照合対象薬剤情報記憶部１０４に記憶された全ての薬剤に対する参照画像と照合が終了したかを判定する処理ステップＳ１１３に移行する。
【００７３】
また、他方、上記ステップＳ１０８の判定の結果、算出された照合値が第２の閾値（ｔｈ２_ｉ）より小さいと判定された場合（ステップＳ１０８ＹＥＳ）、次いで、認識処理部１０２は、照合対象薬剤情報記憶部１０４に記憶された全ての薬剤に対する参照画像と照合が終了したかを判定する処理ステップＳ１１３に移行する。例えば、このような場合として、検査人Ａが検査対象薬剤として「ノルバ○○５ｍｇ」の錠剤のチェックを行っていた場合に、参照画像として全然違う薬剤、例えば、図１１に示す「ウプレ○○錠」の錠剤に対応する参照画像が読み込まれた場合などである。
【００７４】
この判定の結果、今回入力した入力画像と、照合対象薬剤情報記憶部１０４に記憶された全ての薬剤の参照画像との照合を行っていないと判定されれば（ステップＳ１１３ＮＯ）、上述のステップＳ１０３の処理に戻って照合対象薬剤情報記憶部１０４に記憶されたその他の薬剤の参照画像を読み込み、以下同様の処理を行う。
【００７５】
他方、今回入力した入力画像と、照合対象薬剤情報記憶部１０４に記憶された全ての薬剤の参照画像との照合を行ったと判定された場合（ステップＳ１１３ＹＥＳ）、アクセプトリスト１０２−１に薬剤ＩＤ番号が一つだけ記憶されているかどうかの判定処理ステップＳ１１４に移行する。
【００７６】
次に、ステップＳ１１４の判定処理において、アクセプトリスト１０２−１に一つだけＩＤ番号が記憶されている、即ち、認識が正常に行われた場合（ステップＳ１１４ＹＥＳ）、認識が正常に行われた事及び認識結果を検査人Ａに通知する（ステップＳ１１５）。具体的には、図１５に示す画面１０５−４を表示し、「認識ＯＫ」表示と、認識結果、即ち、処方箋の薬剤であることを示す画像情報及び薬剤名情報の表示が行われる。
【００７７】
その後、認識処理部１０２は、全ての処方箋薬剤のチェックを完了したかどうかを判定する（ステップＳ１１６）。ここで、全てチェックしていなければ（ステップＳ１１６ＮＯ）、上述のステップＳ１０２に戻って次の検査対象薬剤の画像を入力し、以下同様の処理を行う。他方、全てチェックしていれば（ステップＳ１１６ＹＥＳ）、ここでの処理を終了する。
【００７８】
また、他方、上記ステップＳ１１４の判定の結果、アクセプトリスト１０２−１にＩＤ番号が一つだけ記憶されていない、即ち、認識が正常に行われなかったと判定された場合（ステップＳ１１４ＮＯ）、エラーとしてその内容に基づいた処理を行う。具体的なエラーの内容としては、（１）：アクセプトリスト１０２−１にＩＤ番号が２つ以上記憶されている、（２）：アクセプトリスト１０２−１にＩＤ番号が１つも記憶されずに要検査リスト１０２−２にＩＤ番号が１つ以上記憶されている、すなわち類似薬剤があるようなグレー判定の場合、（３）：アクセプトリスト１０２−１及び要検査リスト１０２−２の両方ともにＩＤ番号が１つも記憶されていないような該当候補薬剤が１つも無い場合等がある。
【００７９】
まず、（１）の場合（ステップＳ１１７の丸数字「１」）には、図１６に示すような画面を表示する。即ち、この場合は、入力画像の薬剤の薬剤名画像部分に対して略同一の薬剤名画像部分を有する参照画像であると判断されたものが２つ以上ある場合であり（図１６の例では、２つある場合）、これら薬剤の画像を表示させて検査人に対して目視により薬剤名を特定させる為の表示をする（ステップＳ１１８）。そして、検査人が目視確認をして、画像の下位置に表示された候補１および候補２の表示がされたボタンのうち、正しいと思われる薬剤に対応するボタンを選択すると（ステップＳ１１９）、認識処理部１０２では、検査人により選択された薬剤が処方箋薬剤であるかどうかをチェックする（ステップＳ１２０）。このチェックの結果、選択された薬剤が処方箋薬剤であると判定すると（ステップＳ１２０ＹＥＳ）、現在検査対象の薬剤の薬剤名が選択されたボタンに対応する薬剤名に確定され、上述のステップＳ１１６へ移行する。また、他方、上述のステップＳ１２０の判定の結果、検査人により選択された薬剤が処方箋薬剤でないと判定されると（ステップＳ１２０ＮＯ）、選択された薬剤は処方箋薬剤でない旨を警告表示する（ステップＳ１２１）。そして、上述のステップＳ１１６の判定処理に移行する。尚、この例では入力画像の表示も可能となっており、入力画像と略同一の薬剤名画像部分を有する参照画像であると判断された薬剤の画像を並べて表示させて、画面に表示された画像のみで目視判断することもできる。
【００８０】
次に、（２）の場合（ステップＳ１１７の丸数字「２」）には、図１７に示すような画面１０５−６を表示する。即ち、この場合は、入力画像の薬剤の薬剤名画像部分に対して略同一の薬剤名画像部分を有する参照画像がないものの、類似の薬剤名画像部分を有する参照画像が存在した場合であり、これら類似薬剤の画像を表示させて検査人に対して目視により薬剤名を特定させる為の表示をする（ステップＳ１２２）。尚、この例では、照合対象の薬剤として、「ノルバ○○５ｍｇ」と、その類似薬剤である「ノルバ○○２．５ｍｇ」があった場合を示している。そして、検査人が目視確認をして、画像の下位置に表示された照合対象薬剤および類似薬剤１の表示がされたボタンのうち、正しいと思われる方のボタンを選択すると（ステップＳ１２３）、認識処理部１０２では、検査人により選択された薬剤が処方箋薬剤であるかどうかを判定する（ステップＳ１２０）。この判定の結果、選択された薬剤が処方箋薬剤であると判定された場合（ステップＳ１２０ＹＥＳ）、現在検査対象薬剤の薬剤名が選択されたボタンに対応する薬剤名に確定され、上述のステップＳ１１６へ移行する。他方、上述のステップＳ１２０の判定の結果、選択された薬剤が処方箋薬剤でないと判定されると（ステップＳ１２０ＮＯ）、選択された薬剤が処方箋薬剤でない旨を警告表示する（ステップＳ１２１）。その後、上述のステップＳ１１６の処理に移行する。尚、この例では入力画像の表示も可能となっており、入力画像と照合対象薬剤および類似薬剤の画像を並べて表示させて、画面に表示された画像のみで目視判断することもできる。
【００８１】
また、(３)の場合（ステップＳ１１７の丸数字「３」）には、図１８に示すような画面１０５−７を表示する（ステップＳ１２４）。即ち、この場合は、画像読取装置１にかざした薬剤が処方対象薬剤でない旨を通知し、正しい処方対象薬剤を探して再度その薬剤の画像を入力するよう指示する画面を示している。そして、画面下のＯＫボタンを選択すると（ステップＳ１２５のＯＫ）、ステップＳ１０２へ移行して、正しい薬剤を探して再度その薬剤の画像を入力することになる。他方、キャンセルボタンを押下すると（ステップＳ１２５のキャンセル）、ステップＳ１１６へ移行し、全ての処方箋薬剤をチェックしたか否かが判定される。尚、この（３）の場合も、入力画像の表示を可能としており、入力された薬剤がどのようなものであったかを確認したり、あるいは、検査人による薬剤のかざし方が悪いような場合には、そのかざし方の悪さチェックをすることができる。なお、このような効果は、上記（１）および（２）のケースでも同様のことである。また、図示しないが、入力画像を見て、検査人が薬剤名を特定できた場合には、この薬剤名を入力することができるように画面を構成し、入力された薬剤名を入力画像に対する薬剤名として取り扱っても良いし、処方箋に記入されている薬剤名を選択可能に表示させて、これらから薬剤名を選択させて、選択された薬剤名を入力画像に対する薬剤名として取り扱っても良い。
【００８２】
これら図１６〜図１８の画面の表示を行って、検査人Ａによる目視確認による薬剤名の特定等が行われた後、全ての処方対象薬剤のチェックがなされたならば、ステップＳ１１７でＹＥＳとなり、この処理を終了する。なお、薬剤名と対応させて薬価コード及び標準薬剤名（一般名）の情報を記憶するようにして、図１９に示す画面１０５−８を表示、即ち、薬剤名、薬価コード、標準薬剤名も表示させるようにしても良い。
【００８３】
以上のようにして非常に簡単かつ確実に薬剤名の認識をするとともに、確実な薬剤名の特定ができない場合や、類似している薬剤名の薬剤がある場合には検査人に目視判断により薬剤名の特定を委ねるようにしているので、ピッキング作業や監査作業における調剤ミスを確実に防ぐと共に、作業性の良い調剤処理が行えるようになる。
【００８４】
次に、（２）の個別薬剤チェック処理について以下に説明する。
【００８５】
上述したように、個別薬剤チェック処理とは、検査人Ａが指示者から指示された薬剤名の薬剤を一つずつ個別にチェックする場合の処理である。具体的には、指示者が図示しない端末（パソコンなど）でピッキングすべき薬剤名を入力し、この入力された薬剤名の情報が図１に示した薬剤認識システム１００の画像認識処理装置２へ送信される。そして、薬剤認識システム１００では、送信されてきた薬剤名を表示部１０５に表示し、検査人Ａに対して表示した薬剤名の薬剤をピッキングするよう指示する。これにより、検査人Ａが表示部１０５に表示された薬剤名を見て、これからピッキングすべき薬剤を薬剤棚などから取り出して薬剤認識システム１００を用いて正しい薬剤をピッキングしたかをチェックする。尚、一つの薬剤のチェックが終わり、新たな指示があれば、上記の処理を繰り返すことになる。また、上記薬剤名の入力に用いられる端末は上述の画像認識処理装置２であっても良い。更に、上述の画像読取装置１に表示器を設けて、これを検査人Ａが見てピッキングを行うようにしても良い。
【００８６】
図２０は、（２）の個別薬剤チェック処理における薬剤名の認識処理手順を示すフローチャートである。
【００８７】
まず、検査人Ａが図４に示すメニュー画面で個別薬剤チェック処理を選択すると図２１に示す待機画面１０５−９が表示される（ステップＳ２０１）。次に、待機画面が表示されると、ピッキングすべき薬剤名が指示されているか確認し、指示されていれば照合対象薬剤情報記憶部１０４に薬剤名に関する情報（ここでは薬剤のＩＤ番号）が記憶されているので、この記憶されている薬剤のＩＤ番号を取得する（ステップＳ２０２）。ここで、指示がなく、照合対象薬剤情報記憶部１０４に薬剤名に関する情報が記憶されていない場合は、処理を終了するか否かを選択するステップＳ２０３へ移行する。
【００８８】
次に、ステップＳ２０２で照合対象薬剤情報記憶部１０４から薬剤のＩＤ番号が取得できたならば、この薬剤のＩＤ番号に対応する参照画像を認識参照テーブル１０３−１から読み込み（ステップＳ２０４）、続いて、図２２に示すようなピッキングすべき薬剤名とピッキング指示（表示画面１０５−１０）の表示をする（ステップＳ２０５）。
【００８９】
次いで、検査人Ａにより、例えば図８に示すようなＰＴＰシートで包装された検査対象薬剤が画像読取窓１１１にかざされると、画像読取部１０１を介して該検査対象薬剤の画像が入力される（ステップＳ２０６）。そして、検査対象薬剤の画像が入力されると、認識処理部１０２は、上記入力画像と上記参照画像の照合を行う正確に行うために、基準となる参照画像に対する入力画像の回転角及び平行移動量の算出など行って、入力画像の補正処理を行う（ステップＳ２０７）。
【００９０】
次いで、認識処理部１０２では、入力画像と参照画像との照合値の算出が行われる（ステップＳ２０８）。尚、照合値の算出方法としては、上述の図７で説明した正規化相関マッチング方式を用いる。
【００９１】
この照合値算出後、認識処理部１０２では、該算出した照合値と、上述の［第１の閾値（ｔｈ１_ｉ）＋ε］との大小が比較判定される（ステップＳ２０９）。
【００９２】
この比較判定の結果、上記算出された照合値が［第１の閾値（ｔｈ１_ｉ）＋ε］より大きいと判定された場合（ステップＳ２０９ＹＥＳ）、指示通りの薬剤がピッキングされたと判断し、アクセプトリスト１０２−１に現在参照している参照画像の薬剤のＩＤ番号を記憶する（ステップＳ２１０）。そして、図２３に示すような認識ＯＫ（表示画面１０５−１１）の表示をして（ステップＳ２１１）、次のピッキングすべき薬剤の指示があるか否かを確認するステップＳ２１２へ移行する。
【００９３】
また、他方、上記ステップＳ２０９の判定の結果、照合値が［第１の閾値（ｔｈ１_ｉ）＋ε］より小さいと判定された場合（ステップＳ２０９ＮＯ）、次いで、算出照合値と、第２の閾値（ｔｈ２_ｉ）との大小が比較判定される（ステップＳ２１３）。この比較判定の結果、上記算出した照合値が第２の閾値（ｔｈ２_ｉ）より大きいと判定されると（ステップＳ２１３ＮＯ）、次いで、認識処理部１０２は、上述した図１４に示す類似薬剤テーブルに登録されている詳細判別情報を参照し、詳細判別を行う（ステップＳ２１４）。尚、この詳細判別方法としては、上述の図７で説明した方法と同様の処理にて行う。
【００９４】
この詳細判別の結果、全ての類似薬剤に対して自身と判別した場合、即ち、現在参照している参照画像の薬剤の方が類似薬剤より入力画像に類似している（照合値が高い）場合（ステップＳ２１５ＹＥＳ）、認識処理部１０２は、アクセプトリスト１０２−１に現在参照している参照画像の薬剤のＩＤ番号を記憶する（ステップＳ２１０）。そして、図２３に示すような認識ＯＫの表示をして（ステップＳ２１１）、次のピッキングすべき薬剤の指示があるか否かを確認するステップＳ２１２へ移行する。
【００９５】
また、他方、上記ステップＳ２１５の判別の結果、全ての類似薬剤に対して自身と判別しなかった場合、即ち、現在参照している参照画像より類似薬剤の方が入力画像に類似している（類似度が高い）場合（ステップＳ２１５ＮＯ）、認識処理部１０２は、要検査リスト１０２−２に、現照合対象薬剤のＩＤ番号及び類似薬剤のＩＤ番号を記憶する（ステップＳ２１６）。
【００９６】
その後、図２４に示すような認識が正常に行われなかった事（表示画面１０５−１２）を検査人Ａに通知する（ステップＳ２１７）。ここでは、ピッキングすべき薬剤の画像（正しい薬剤の画像）と類似とされた薬剤の画像を表示し、また、入力画像を表示可能として、検査人Ａが間違った薬剤をピッキングしていないか、あるいは画像の入力が適切あったかを確認できるようになっている。次に、検査人Ａに上記表示を見て、画像を再入力するか否かを選択させる。ここで、例えば、間違った薬剤をピッキングしていたと気付いて画像を再入力するために図２４のＹＥＳのボタンを選択すると、ステップＳ２１８でＹＥＳとなり、画像を入力するステップＳ２０６へ移行する。また、画像入力が適切でなかったために認識ＮＧとなっていたのであれば、図２４のＮＯのボタンを選択すると、次のピッキングすべき薬剤の指示があるか否かを確認するステップＳ２１１へ移行する。なお、画像入力が適切でなかったために認識ＮＧとなっていた場合でも、図２４のＹＥＳのボタンを選択して画像を再入力してもかまわない。
【００９７】
また、他方、上記ステップＳ２１３の判定の結果、算出された照合値が第２の閾値（ｔｈ２_ｉ）より小さいと判定された場合（ステップＳ２１３ＹＥＳ）、図２５に示すような正しくピッキングしていないこと、手元の薬剤を確認することを通知する（表示画面１０５−１３）ための表示を行い（ステップＳ２１９）、画像を再入力するか否かを選択するステップＳ２２０へ移行する。ここで、検査人Ａが目視で手元の薬剤を確認して、画像を再入力するならば、図２５のＹＥＳのボタンを選択すると、ステップＳ２２０でＹＥＳとなり、画像を入力するステップＳ２０６へ移行する。また、正しい薬剤をピッキングしていたにもかかわらず、画像入力が適切でなかったり、薬剤が汚れていたために、正しくピッキングされていないと判断されてしまったのであれば、図２５のＮＯのボタンを選択すると、ステップＳ２２０でＮＯとなり、次のピッキングすべき薬剤の指示があるか否かを確認するステップＳ２１２へ移行する。
【００９８】
上記のような一つの薬剤のピッキングに対する判定が一通り終わり、次のピッキングすべき薬剤の指示があるか否かを確認するステップＳ２１２へ移行すると、照合対象薬剤情報記憶部１０４に新たにピッキングすべき薬剤のＩＤ番号が存在するか否かがチェックされ、存在すれば（ステップＳ２１２のＹＥＳ）、Ｓ２０２へ移行し、上記と同様の処理がなされる。他方、新たにピッキングすべき薬剤のＩＤ番号が存在しない場合は（ステップＳ２１２のＮＯ）、図２６に示す画面１０５−１４が表示され、処理終了指示待ちのステップＳ２２１へ移行する。そして、処理を終了する場合、図２６の画面でＹＥＳボタンを選択すれば、ステップＳ２２１でＹＥＳとなり、個別薬剤チェック処理を終了する。なお、処理を続けたい場合は、図２６の画面でＮＯボタンを選択すれば、ステップＳ２２１でＮＯとなり、ステップＳ２０１へ移行し、図２１の待機画面となる。
【００９９】
上記のような処理を行うことにより、検査人Ａは指示された薬剤のピッキングをミスなく迅速に行うことができる。
【０１００】
なお、上述のような構成に加えて、薬剤名の認識ができた薬剤の数を計数する機能を付加すれば、上述のオプション機能としての在庫薬剤チェック処理（薬剤の在庫管理）に適用できる。
【０１０１】
また、薬剤の薬価コード及び標準薬剤名を記憶するようにすれば、薬剤名に対応した薬価コード及び標準薬剤名を知ることができるので、上述のオプション機能としての薬価コード及び標準薬剤名チェック処理（研修薬剤師などの学習ツール）に適用できる。
【０１０２】
【発明の効果】
以上説明したように、本発明によれば、薬剤の包装や容器に印刷されている薬剤名を非常に簡単かつ確実に認識し、薬剤のピッキング作業や監査作業における調剤ミスを確実に防止することが可能となるとともに、迅速な調剤処理が可能となる。
【図面の簡単な説明】
【図１】本発明に係わる薬剤名認識装置を適用した薬剤認識システムの外観概略構成を示す図。
【図２】図１に示した画像読取装置の詳細な構成を示す図。
【図３】図１に示した薬剤認識システムを機能ブロックで示した図。
【図４】薬剤認識処理システムの処理項目を県債人が選択する為の表示画面の一構成例を示す図。
【図５】処方箋薬剤チェック処理すべき患者のリストを表示する画面の一構成例を示す図。
【図６】図５に示した処理番号に対応する患者に対して処方すべき薬剤に関する情報を表示する画面の一構成例を示す図。
【図７】処方箋薬剤チェック処理における薬剤名の認識処理手順を示すフローチャート。
【図８】ＰＴＰシートで包装された錠剤の表面と裏面の様子を示す図。
【図９】検査人が照合対象の薬剤を画像読取窓にかざしている様子を示す図。
【図１０】参照画像の一構成例を示す図。
【図１１】認識参照テーブルの一構成例を示す図。
【図１２】入力画像及び回転補正後のイメージ図。
【図１３】照合値と閾値の大小関係を示すグラフ図。
【図１４】類似薬剤テーブルの一構成例を示す図。
【図１５】認識ＯＫの場合の一表示例を示す図。
【図１６】認識ＮＧの場合の一表示例を示す図。
【図１７】認識ＮＧの場合の一表示例を示す図。
【図１８】認識ＮＧの場合の一表示例を示す図。
【図１９】薬価コード及び標準薬剤名を表示する場合の一表示例を示す図。
【図２０】個別薬剤チェック処理における薬剤名の認識処理手順を示すフローチャート。
【図２１】個別薬剤チェック処理画面の一表示例を示す図。
【図２２】個別薬剤チェック処理画面の一表示例を示す図。
【図２３】個別薬剤チェック処理画面の一表示例を示す図。
【図２４】個別薬剤チェック処理画面の一表示例を示す図。
【図２５】個別薬剤チェック処理画面の一表示例を示す図。
【図２６】個別薬剤チェック処理画面の一表示例を示す図。
【符号の説明】
１００…薬剤認識システム、１…画像読取装置、２…画像認識処理装置、３…通信線、１０１…画像読取部、１０２…認識処理部、１０３…認識参照情報記憶部、１０４…照合対象薬剤情報記憶部、１０５…表示部、１１…上面カバー、１２…下箱、１１１…画像読取窓、１１２…拡散板、１２１…光源部、１２２…カメラ、１２ａ…側面板、１２ｂ…底面板、１１２ａ…撮影口、１２１−１…把持支持部、Ａ…検査人、Ｂ…薬剤、１０３−１…認識参照テーブル、１０２−２…類似薬剤テーブル
Claims (14)
- 薬剤を直接包装している包装材の画像を画像読取手段により読み取り、該読み取った読取画像に基づき前記包装材で包装された薬剤の薬剤名を認識する薬剤認識装置であって、
前記薬剤の薬剤名を認識するための複数の参照画像を予め記憶する参照画像記憶手段と、
前記画像読取手段で読み取った読取画像と前記参照画像記憶手段に記憶されている参照画像とにそれぞれ含まれる該薬剤の薬剤名を特定可能な薬剤名画像部分を照合し、該照合結果に基づき前記包装材で包装された薬剤の薬剤名を認識する認識手段と
を具備することを特徴とする薬剤認識装置。 - 前記認識手段は前記画像読取手段で読み取った読取画像と前記薬剤名画像部分が略同一となる参照画像が前記参照画像記憶手段から唯一検出された場合は、該参照画像で特定される薬剤名を認識薬剤名と判定する
ことを特徴とする請求項１に記載の薬剤認識装置。 - 前記認識手段は前記画像読取手段で読み取った読取画像の前記薬剤名画像部分が略同一となる参照画像が前記参照画像記憶手段から２つ以上検出した場合若しくは高い一致性を有する類似薬剤を検出した場合には、認識が正常に行われなかったと判定する
ことを特徴とする請求項１または２に記載の薬剤認識装置。 - 前記認識手段は前記画像読取手段で読み取った読取画像と前記薬剤名画像部分が略同一となる参照画像が前記参照画像記憶手段から検出されず、かつ高い一致性を有する類似薬剤も検出されない場合は、該当する薬剤候補が無いと判定する
ことを特徴とする請求項１または２に記載の薬剤認識装置。 - 前記認識手段は、
前記画像読取手段で読み取った読取画像に含まれる前記薬剤名画像部分と前記参照画像に含まれる薬剤名画像部分との照合値を算出する照合値算出手段と、
前記照合値算出手段により算出された照合値と、予め設定されている第１の所定閾値及び前記第１の所定閾値より低い値である第２の所定閾値との大小を比較する比較手段と
を有し、
前記比較手段の比較により前記算出照合値が前記第１の所定閾値より大きい参照画像が唯一検出された場合、若しくは、前記比較手段の比較により前記算出照合値が前記第１の所定閾値より小さく前記第２の所定閾値より大きい場合に、前記参照画像記憶手段から読み出された参照画像に対応して予め記憶されている類似薬剤の参照画像に含まれる薬剤名画像部分と照合した結果、該類似薬剤の参照画像よりも前記参照画像記憶手段から読み出された参照画像に含まれる薬剤名画像部分が前記読取画像の前記薬剤名画像部分に高い一致性を有する参照画像が唯一検出された場合、当該薬剤の薬剤名として前記参照画像記憶手段から読み出された参照画像にて特定される薬剤名を認識薬剤名と判定する
ことを特徴とする請求項１または２に記載の薬剤認識装置。 - 前記認識手段は、
前記画像読取手段で読み取った読取画像に含まれる前記薬剤名画像部分と前記参照画像に含まれる薬剤名画像部分との照合値を算出する照合値算出手段と、
前記照合値算出手段により算出された照合値と、予め設定されている第１の所定閾値及び前記第１の所定閾値より低い値である第２の所定閾値との大小を比較する比較手段と
を有し、
前記比較手段の比較により前記算出照合値が前記第１の所定閾値より大きい参照画像と、前記比較手段の比較により前記算出照合値が前記第１の所定閾値より小さく前記第２の所定閾値より大きい場合に、前記参照画像記憶手段から読み出された参照画像に対応して予め記憶されている類似薬剤の参照画像と照合した結果、該類似薬剤の参照画像よりも前記参照画像記憶手段から読み出された参照画像に含まれる薬剤名画像部分が前記読取画像の前記薬剤名画像部分に高い一致性を有する参照画像と、が合わせて２つ以上検出された場合、若しくは、前記比較手段の比較により前記算出照合値が前記第１の所定閾値より小さく前記第２の所定閾値より大きい場合に、前記参照画像記憶手段から読み出された参照画像に対応して予め記憶されている類似薬剤の参照画像と照合した結果、前記参照画像記憶手段から読み出された参照画像に含まれる薬剤名画像部分よりも前記類似薬剤の参照画像に含まれる薬剤名画像部分が前記読取画像の前記薬剤名画像部分に高い一致性を有する類似薬剤の参照画像がある場合、認識が正常に行われなかったと判定する
ことを特徴とする請求項１または３に記載の薬剤認識装置。 - 前記認識手段は、
前記画像読取手段で読み取った読取画像に含まれる前記薬剤名画像部分と前記参照画像に含まれる薬剤名画像部分との照合値を算出する照合値算出手段と、
前記照合値算出手段により算出された照合値と、予め設定されている第１の所定閾値及び前記第１の所定閾値より低い値である第２の所定閾値との大小を比較する比較手段と
を有し、
前記比較手段の比較により前記算出照合値と前記第１の所定閾値及び前記第２の所定閾値との比較を行った結果、該算出照合値が前記第１の所定閾値より大きい参照画像、或いは、該算出照合値が前記第１の所定閾値より小さく前記第２の所定閾値より大きい参照画像が一つも無い場合、該当する薬剤候補が無いと判定する
ことを特徴とする請求項１または４に記載の薬剤認識装置。 - 前記認識手段の判定に基づいた表示を行う表示手段
を更に具備することを特徴とする請求項１乃至７に記載の薬剤認識装置。 - 前記認識手段の判定に基づいた表示を行う表示手段を更に具備し、
前記表示手段は、前記認識手段の判定に基づいて前記認識薬剤名に対応する薬剤の画像、前記照合値が第１の所定閾値より大きい参照画像に対応する薬剤の画像あるいは前記読取画像の前記薬剤名画像部分に高い一致性を有する類似薬剤の参照画像に対応する画像を表示する
ことを特徴とする請求項５乃至７に記載の薬剤認識装置。 - 前記表示手段は前記画像読取手段で読み取った読取画像を表示可能とした
ことを特徴とする請求項８または９に記載の薬剤認識装置。 - 前記画像読取手段が読み取った読取画像と照合すべき薬剤の薬剤名に関する情報を記憶する照合対象薬剤情報記憶手段を具備し、
前記認識手段は、前記照合対象薬剤情報記憶手段に記憶されている薬剤名に関する情報に対応する参照画像を前記参照画像記憶手段から読み出して前記照合を行い、該照合結果に基づき該薬剤の薬剤名を認識する
ことを特徴とする請求項１乃至１０に記載の薬剤認識装置。 - 前記照合対象薬剤情報記憶手段に記憶されている薬剤名に関する情報は処方箋から抽出されたものである
ことを特徴とする請求項１１に記載の薬剤認識装置。 - 前記薬剤は、ＰＴＰ（Ｐｒｅｓｓ Ｔｈｒｏｕｇｈ Ｐａｃｋａｇｅ）シートで包装されているカプセルや錠剤、アルミフィルム等で包装されている粉薬や座薬、ガラス製の容器に入れられたアンプル剤のいずれかであり、
前記薬剤名画像部分は、前記ＰＴＰシートやアルミフィルムの表面上や裏面上に印刷されている販売名、規格、含量等で構成される薬剤名を示す印刷情報の画像部分、或いは前記ガラス製の容器に貼られたラベル上に印刷されている販売名、規格、含量等で構成される薬剤名を示す印刷情報の画像部分である
ことを特徴とする請求項１乃至１２に記載の薬剤認識装置。 - 前記画像読取手段は、前記ＰＴＰシートや前記アルミフィルム等の多数の凹凸要素を有し且つ光の反射率が高い表面を有する包装材上に印刷されている前記印刷情報部を撮影する為に、前記包装材の表面全体に入射光が均一に照射されるように入射光を拡散する拡散板を具えたカメラ装置であることを特徴とする請求項１３に記載の薬剤認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002339537A JP4923282B2 (ja) | 2002-11-22 | 2002-11-22 | 薬剤認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002339537A JP4923282B2 (ja) | 2002-11-22 | 2002-11-22 | 薬剤認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004167158A JP2004167158A (ja) | 2004-06-17 |
| JP4923282B2 true JP4923282B2 (ja) | 2012-04-25 |
Family
ID=32702468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002339537A Expired - Lifetime JP4923282B2 (ja) | 2002-11-22 | 2002-11-22 | 薬剤認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4923282B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8538775B2 (en) * | 2007-08-16 | 2013-09-17 | Qualcomm Incorporated | Mobile wireless medication management system |
| JP2009110169A (ja) * | 2007-10-29 | 2009-05-21 | C Micro:Kk | 薬剤監査装置および画像処理方法 |
| KR101872975B1 (ko) | 2011-01-20 | 2018-07-02 | 삼성전자주식회사 | 서버 및 사용자 디바이스 간에 사용자의 개인 약품 정보 관리 서비스를 제공하는 방법, 그리고 사용자 개인 약품 정보 관리 서비스를 제공하는 서버 및 사용자 디바이스 |
| JP5682786B2 (ja) * | 2011-08-22 | 2015-03-11 | 株式会社ダイフク | 調剤監査システム |
| KR101239817B1 (ko) * | 2011-09-26 | 2013-03-06 | 김회율 | 시약의 반출입을 관리하기 위한 시약 보관 장치 및 시약 관리 시스템 |
| JP5702330B2 (ja) * | 2012-05-14 | 2015-04-15 | 株式会社コンテック | 薬剤監査装置 |
| KR101423072B1 (ko) | 2012-06-14 | 2014-07-25 | (주)피시피아 | 안전성 및 정확성이 향상된 시약 관리 방법 |
| JP2014049015A (ja) | 2012-09-03 | 2014-03-17 | Toshiba Tec Corp | 商品認識装置及び商品認識プログラム |
| JP6009888B2 (ja) | 2012-09-27 | 2016-10-19 | 富士フイルム株式会社 | 薬剤検査装置及び方法 |
| KR101401659B1 (ko) | 2012-11-05 | 2014-06-02 | 주식회사 해건 | 의약품 보관고 |
| JP5414879B1 (ja) * | 2012-12-14 | 2014-02-12 | チームラボ株式会社 | 薬剤認識装置、薬剤認識方法及び薬剤認識プログラム |
| JP6155149B2 (ja) * | 2013-06-07 | 2017-06-28 | 株式会社Ｗｉｎｄｙ | 薬剤ピッキング検査等に適したピッキング薬剤特定システム |
| JP2015002918A (ja) * | 2013-06-21 | 2015-01-08 | 富士フイルム株式会社 | 処方箋入力装置及び方法 |
| JP5975941B2 (ja) | 2013-06-21 | 2016-08-23 | 富士フイルム株式会社 | 分包薬剤検査装置及び方法 |
| JP6047475B2 (ja) * | 2013-11-12 | 2016-12-21 | チームラボ株式会社 | 画像認識装置、画像認識方法及び画像認識プログラム |
| JP6155205B2 (ja) * | 2014-02-26 | 2017-06-28 | 東芝テック株式会社 | 薬剤監査装置及びプログラム |
| JP6607185B2 (ja) * | 2014-03-31 | 2019-11-20 | 株式会社湯山製作所 | 薬剤撮影装置 |
| JP6061006B2 (ja) * | 2015-01-16 | 2017-01-18 | キヤノンマーケティングジャパン株式会社 | 錠剤取出装置および錠剤取出装置の制御方法 |
| EP3306560B1 (en) * | 2015-05-29 | 2021-11-10 | FUJIFILM Corporation | Dispensing inspection device, dispensing inspection method, program, and recording medium |
| EP3357476B1 (en) | 2015-09-28 | 2023-03-15 | FUJIFILM Corporation | Drug inspection device and method, and program |
| KR101753298B1 (ko) * | 2015-12-31 | 2017-07-05 | 대덕밸리과학기술인 협동조합 | IoT 센서 기반의 시약 등록 장치 및 방법 |
| JP6548584B2 (ja) * | 2016-01-19 | 2019-07-24 | 富士フイルム株式会社 | 調剤監査装置及び方法、並びにプログラム |
| JP6607091B2 (ja) * | 2016-03-08 | 2019-11-20 | 富士通株式会社 | 電子カルテプログラム、電子カルテ装置、及び電子カルテ処理方法 |
| CN110418627B (zh) | 2017-03-23 | 2021-11-16 | 富士胶片富山化学株式会社 | 药剂识别装置、药剂识别方法及药剂识别程序 |
| CN113260344A (zh) * | 2019-02-07 | 2021-08-13 | 富士胶片富山化学株式会社 | 药剂对照装置、药剂对照方法以及药剂对照系统 |
| WO2020162262A1 (ja) * | 2019-02-08 | 2020-08-13 | 富士フイルム富山化学株式会社 | 薬剤識別システム、薬剤識別装置、薬剤識別方法及びプログラム |
| WO2021010277A1 (ja) * | 2019-07-16 | 2021-01-21 | 富士フイルム富山化学株式会社 | 薬剤識別装置、薬剤識別方法及びプログラム |
| CN113012783A (zh) * | 2021-03-18 | 2021-06-22 | 深圳市瑞意博科技股份有限公司 | 药品复核方法、装置、计算机设备及存储介质 |
| JP2023080743A (ja) * | 2021-11-30 | 2023-06-09 | ＮｅｏＸ株式会社 | 薬剤数管理システム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0295373A (ja) * | 1988-09-30 | 1990-04-06 | Tokyo Shokai:Kk | 錠数判別装置 |
| JPH02166570A (ja) * | 1988-12-21 | 1990-06-27 | Toshiba Corp | パターン認識装置 |
| JPH04175986A (ja) * | 1990-11-09 | 1992-06-23 | Nippon Telegr & Teleph Corp <Ntt> | パターン識別処理装置 |
| JPH08263655A (ja) * | 1995-03-17 | 1996-10-11 | Nissan Motor Co Ltd | パターン認識方法 |
| JPH08322912A (ja) * | 1995-05-30 | 1996-12-10 | Sanyo Electric Co Ltd | 錠剤検査システム |
| JPH09253164A (ja) * | 1996-03-19 | 1997-09-30 | Tokyo Shokai:Kk | 薬剤監査支援システム |
| JPH113423A (ja) * | 1997-06-10 | 1999-01-06 | Hamamatsu Photonics Kk | 画像照合装置及び照合方法並びに照合プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP3053607B2 (ja) * | 1998-04-08 | 2000-06-19 | 三菱電機株式会社 | データ照合方法およびその装置 |
| JP2002236748A (ja) * | 2000-12-08 | 2002-08-23 | Tadanori Munemoto | 調剤の検品方法及び調剤検品システム |
| JP4484097B2 (ja) * | 2001-03-16 | 2010-06-16 | 株式会社トーショー | 調剤システム |
-
2002
- 2002-11-22 JP JP2002339537A patent/JP4923282B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004167158A (ja) | 2004-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4923282B2 (ja) | 薬剤認識装置 | |
| JP7238942B2 (ja) | 薬剤判別ソフトウェア | |
| EP3199139A1 (en) | Inspection assistance system and tablet packaging device | |
| US8682047B2 (en) | Method and apparatus for machine vision counting and annotation | |
| JP7381954B2 (ja) | 画像処理プログラム、および、画像処理装置 | |
| US10991264B2 (en) | Multi-camera imaging for IV compounding | |
| TW201732290A (zh) | 檢查輔助系統、錠劑分包裝置、分包控制程式 | |
| EP3306560B1 (en) | Dispensing inspection device, dispensing inspection method, program, and recording medium | |
| JP6548584B2 (ja) | 調剤監査装置及び方法、並びにプログラム | |
| JP2013017745A (ja) | 薬剤監査支援装置 | |
| JP2024015271A (ja) | 薬剤撮影補助装置、薬剤撮影装置、薬剤鑑別方法及び薬剤鑑別システム | |
| JP4560126B2 (ja) | 包装薬剤の調剤監査支援システム | |
| JP7477806B2 (ja) | 混注管理システム、混注管理プログラム、及び混注管理方法 | |
| JP2022027539A (ja) | 種類判別装置および薬剤仕分装置 | |
| JP3186063U (ja) | 薬剤監査装置 | |
| JP4459529B2 (ja) | 包装薬剤の調剤監査支援システム | |
| JP2023105994A (ja) | 薬剤判別ソフトウェア | |
| JP2016220911A (ja) | 調剤監査装置、調剤監査方法、プログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090616 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090730 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100405 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100413 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100702 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110913 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111125 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4923282 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
| EXPY | Cancellation because of completion of term |