JPWO2018173649A1 - 薬剤認識装置、薬剤認識方法、及び薬剤認識プログラム - Google Patents

Abstract

薬剤を認識する場合にマスタ画像のロバスト性を高くすることが可能になる薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムを提供する。薬剤認識装置は、薬剤を照明する照明部と、照明された薬剤を撮影する撮影部と、薬剤の種類ごとにマスタ画像を記憶する記憶部と、撮影部によって得られた撮影画像に基づいて薬剤の位置を取得する薬剤位置取得部と、撮影画像のうち薬剤領域からマスタ画像を生成するマスタ画像生成部と、薬剤位置取得部によって取得された薬剤の位置に基づいてマスタ画像を更新するか否かを判定する更新判定部と、マスタ画像を更新すると判定された場合、マスタ画像を記憶部に登録する登録部と、を備える。

Description

本発明は、薬剤を認識する場合にマスタ画像のロバスト性を高くすることが可能になる薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムに関する。

従来、薬剤の種類を認識する各種の装置が提案または提供されてきた。例えば、薬剤を照明し、その照明された薬剤を撮影し、その撮影で得られた撮影画像のうち薬剤領域と薬剤の種類ごとに予め登録されたマスタ画像とを照合することにより、薬剤の種類を認識することができる。

特許文献１には、生産ライン上で連続的に供給されるワークに対する異品種混入検査において、照明の変化、ワークの塗装状態の違い等の外部要因による認識精度の変化を防止するため、最初に供給されるワークの画像データをマスタ画像（基準画像データ）として登録し、続いて供給される複数のワークのそれぞれの画像データをマスタ画像と比較して、同一品種と判定した場合には常にマスタ画像を更新することが記載されている。

また特許文献２には、薬剤の計測値特性（色調、大きさ、形等）を照会検索項目として薬剤情報データベースを検索し、完全一致あるいは近似する品名をスクリーン上に表示することが記載されている。

また特許文献３には、照明された薬剤の画像を撮影しデータベースに保存された各薬剤のテンプレート画像との間でマッチングして薬剤の鑑別を行うことが記載されている。

特開２００５−２４９６１５号公報 特開平９−１６６８１号公報 ＷＯ２０１５／１５２２２５号公報

特許文献１に記載された技術を薬剤の認識に適用し、薬包内の薬剤がマスタ画像の薬剤と同一品種であると判定した場合に常にマスタ画像を更新しても、マスタ画像のロバスト性を高くすることは困難である。なぜなら、薬包内における薬剤の位置が薬包ごとに異なるため、認識力が低い位置で薬剤が撮影された場合にマスタ画像が更新されると、薬剤の認識精度が低下してしまうからである。特許文献２にはマスタ画像との照合、及びマスタ画像のロバスト性を高くすることについて何ら記載されていない。また特許文献３にはテンプレートマッチングについては記載されているが、マスタ画像のロバスト性を高くすることについては何ら記載されていない。

本発明は、薬剤を認識する場合にマスタ画像のロバスト性を高くすることが可能になる薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムを提供することを目的とする。

上述した目的を達成するため、本発明の一の態様に係る薬剤認識装置は、薬剤を照明する照明部と、照明部によって照明された薬剤を撮影する撮影部と、薬剤の種類ごとに薬剤を示すマスタ画像を記憶する記憶部と、撮影部によって得られた撮影画像に基づいて薬剤の位置を取得する薬剤位置取得部と、薬剤位置取得部によって取得された薬剤の位置に基づいてマスタ画像を更新するか否かを判定する更新判定部と、撮影部によって得られた撮影画像のうち薬剤領域からマスタ画像を生成するマスタ画像生成部と、更新判定部によってマスタ画像を更新すると判定された場合、マスタ画像生成部によって生成されたマスタ画像を記憶部に登録する登録部と、を備える。

本態様によれば、撮影部によって得られた撮影画像に基づいて薬剤の位置が取得され、その薬剤の位置に基づいて、薬剤の種類ごとのマスタ画像を更新するか否かが判定されるので、薬剤の位置が薬包ごとに異なっても薬剤の認識率が高くなるようにマスタ画像を更新することが可能となる。つまり薬剤を認識する場合にマスタ画像のロバスト性を高くすることが可能になる。

本発明の他の態様に係る薬剤認識装置では、登録部は、薬剤の位置を示す薬剤位置情報をマスタ画像に関連付けて記憶部に記憶させ、更新判定部は、撮影部によって撮影された薬剤の位置とマスタ画像に関連付けられた薬剤位置情報とに基づいて、マスタ画像を更新するか否かを判定する。

本発明の更に他の態様に係る薬剤認識装置では、更新判定部は、撮影部によって撮影された薬剤の位置がマスタ画像に関連付けられた薬剤位置情報によって示されるマスタ画像の薬剤の位置よりも薬剤に対する認識力が高い場合、マスタ画像を更新すると判定する。

本発明の更に他の態様に係る薬剤認識装置では、登録部は、マスタ画像が未登録である種類の薬剤が撮影部によって撮影された場合、撮影部によって得られた撮影画像のうち薬剤領域をマスタ画像として記憶部に登録する。

本発明の更に他の態様に係る薬剤認識装置では、更新判定部は、撮影部の撮影範囲のうち薬剤に対する認識力が基準を満たす基準位置と薬剤の位置との距離に基づいて、マスタ画像を更新するか否かを判定する。

本発明の更に他の態様に係る薬剤認識装置は、撮影部の撮影範囲のうち薬剤に対する認識力が基準を満たす位置を予め求めておき基準位置に設定する基準位置設定部を備える。

本発明の更に他の態様に係る薬剤認識装置では、基準位置は、撮影範囲のうち薬剤に対する認識力が最も高い位置、または撮影範囲のうち薬剤に対する認識力が最も高い領域の代表位置である。

本発明の更に他の態様に係る薬剤認識装置では、認識力は、薬剤の表面の刻印に対する認識力であり、薬剤の表面の刻印に照明部の照明光が入射する入射角に応じて定まる。

本発明の更に他の態様に係る薬剤認識装置では、照明部は、薬剤を囲む複数の照明方向から薬剤を照明し、撮影部は、薬剤を包む包材の少なくとも一方の面に対向し、基準位置は、撮影範囲の中心位置であり、更新判定部は、撮影範囲の中心位置と薬剤の位置との距離に基づいて、マスタ画像を更新するか否かを判定する。

本発明の更に他の態様に係る薬剤認識装置では、照明部は、複数の光源を含んで構成され、複数の光源と撮影部の光軸とが等間隔である。

本発明の更に他の態様に係る薬剤認識装置では、照明部は、薬剤を四方向以上から照明する。

本発明の更に他の態様に係る薬剤認識装置では、更新判定部は、複数の薬剤が一つの薬包に含まれている場合、複数の薬剤どうしの間隔に基づいて、マスタ画像を更新するか否かを判定する。

本発明の更に他の態様に係る薬剤認識装置では、照明部は、複数の光源を含んで構成され、複数の光源のうち薬剤を照明する光源を切り替えることにより薬剤の照明方向を順番に切り替える照明制御部と、照明方向が切り替わるごとに撮影部に薬剤を撮影させる撮影制御部と、を備え、マスタ画像生成部は、撮影部によって得られた複数の撮影画像であって複数の照明方向に対応する複数の撮影画像を合成して、マスタ画像を生成する。

本発明の更に他の態様に係る薬剤認識装置では、撮影部は、薬剤を第１の方向から撮影する第１のカメラと、薬剤を第１の方向と異なる第２の方向から撮影する第２のカメラと、を含んで構成される。

本発明の更に他の態様に係る薬剤認識装置では、薬剤は包装されている。

本発明の更に他の態様に係る薬剤認識装置では、薬剤が包装された複数の薬包が連続し、マスタ画像生成部は、一の薬包から同一種類の複数の薬剤が撮影された場合、または複数の薬包にわたり同一種類の複数の薬剤が撮影された場合は、同一種類の複数の薬剤が撮影された複数の薬剤領域を用いて、マスタ画像を生成する。なお、一の薬包から同一種類の薬剤が一つのみ撮影された場合に、一の薬剤領域からマスタ画像を生成する構成としてもよい。また、複数の薬包にわたり同一種類の複数の薬剤が撮影されない場合に、一の薬剤領域からマスタ画像を生成してよい。

本発明の更に他の態様に係る薬剤認識装置では、マスタ画像生成部は、一の薬包から同一種類の複数の薬剤が撮影された場合、または複数の薬包にわたり同一種類の複数の薬剤が撮影された場合は、複数の薬剤領域を用いて平均または加重平均によりマスタ画像を生成する。

本発明の更に他の態様に係る薬剤認識装置は、表示部と、表示部に、撮影画像のうちの薬剤領域を表示させる表示制御部を備える。

本発明の更に他の態様に係る薬剤認識装置は、マスタ画像と撮影画像のうちの薬剤領域との相関値を算出する相関値算出部を備え、表示制御部は、相関値を表示部に表示させる。

本発明の更に他の態様に係る薬剤認識装置では、表示制御部は、マスタ画像を更新した履歴を表示部に表示させる。

本発明の更に他の態様に係る薬剤認識装置では、表示制御部は、薬剤の位置とマスタ画像の更新とを関連付けて表示部に表示させる。

本発明の更に他の態様に係る薬剤認識装置は、撮影画像と、記憶部に登録されたマスタ画像のうち最後に登録されたマスタ画像と、を照合して撮影画像が示す薬剤がいずれの薬剤であるかを判断する薬剤判断部と、判断の結果を出力する判断結果出力部と、を備える。本態様によれば、撮影画像と、最後に登録されたマスタ画像（すなわち、上述の態様によりロバスト性が向上したマスタ画像）とを照合するので、撮影画像が示す薬剤がいずれの薬剤であるかの判断を正確に行うことができる。本態様に係る薬剤認識装置は、例えば薬剤鑑別、薬剤監査支援に適用することができる。

本発明の更に他の態様に係る薬剤認識装置では、薬剤判断部は撮影画像とマスタ画像との照合結果に基づいて撮影画像が示す薬剤の候補を選択し、判断結果出力部は選択された候補を示す情報を出力する。本態様によれば、出力される情報により、撮影画像が示す薬剤の候補を確認することができる。

本発明の更に他の態様に係る薬剤認識装置は、撮影画像が示す薬剤に関連する関連情報を入力する関連情報入力部をさらに備え、薬剤判断部は関連情報を参照して判断を行う。本態様では薬剤の照合に用いられる情報を関連情報として入力することができ、このような関連情報を参照することにより判断を正確に行うことができる。

本発明の更に他の態様に係る薬剤認識装置では、関連情報は処方データに含まれる薬剤の情報であり、薬剤判断部は、処方データに含まれる薬剤についてのマスタ画像を記憶部から取得し、撮影画像と取得したマスタ画像とを照合して、撮影画像が示す薬剤と取得したマスタ画像が示す薬剤とが同一であるか否かを判断する。本態様によれば、処方データに含まれる薬剤の情報を関連情報として入力することにより、撮影画像が示す薬剤と取得したマスタ画像が示す薬剤とが同一であるか否かを正確に判断することができる。

本発明の更に他の態様に係る薬剤認識方法は、薬剤を照明する照明部と、照明部によって照明された薬剤を撮影する撮影部と、薬剤の種類ごとに薬剤を示すマスタ画像を記憶する記憶部と、を用いる薬剤認識方法であって、撮影部によって得られた撮影画像に基づいて薬剤の位置を取得するステップと、取得された薬剤の位置に基づいて、マスタ画像を更新するか否かを判定するステップと、マスタ画像を更新すると判定された場合、撮影画像のうち薬剤領域をマスタ画像として記憶部に登録するステップと、を含む。

本発明の更に他の態様に係る薬剤認識プログラムは、上記の薬剤認識方法をコンピュータに実行させる。なお、本態様に係る薬剤認識プログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の更に他の態様として挙げることができる。

本発明に係る薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムによれば、薬剤を認識する場合にマスタ画像のロバスト性を高くすることが可能になる。

図１は、本発明に係る一実施形態の薬剤認識装置の構成例を示す図である。 図２は、複数の薬包が連続した例を示す図である。 図３は、照明部の光源及び撮影部のカメラの配置例を示す側面図である。 図４は、照明部の光源及び撮影部のカメラの配置例を示す平面図である。 図５は、薬剤の刻印検出が困難になる条件を示す図である。 図６は、図５に示した場合における輝度分布を示す図である。 図７は、基準位置設定のために二次元配列した薬剤を示す図である。 図８は、基準位置設定のための相関値算出の説明に用いる説明図である。 図９は、マスタ画像の好ましい更新の説明に用いる説明図である。 図１０は、照合の説明に用いる説明図である。 図１１は、照明方向切替の説明に用いる第１の説明図である。 図１２は、照明方向切替の説明に用いる第２の説明図である。 図１３は、薬剤認識結果の表示例を示す図である。 図１４は、本発明に係る薬剤認識方法を適用した処理例の流れを示すフローチャートである。 図１５は、本発明に係る薬剤認識装置を薬剤監査支援及び薬剤鑑別に適用したシステムの例を示す図である。 図１６は、本発明に係る薬剤認識方法を薬剤監査支援に適用した処理例の流れを示すフローチャートである。 図１７は、本発明に係る薬剤認識方法及び装置を薬剤監査支援に適用した結果の例を示す図である。 図１８は、本発明に係る薬剤認識方法及び装置を薬剤監査支援に適用した結果の例を示す他の図である。 図１９は、本発明に係る薬剤認識装置を薬剤鑑別に適用した例を示す図である。 図２０は、本発明に係る薬剤認識装置を薬剤鑑別に適用した例を示す他の図である。 図２１は、本発明に係る薬剤認識方法を薬剤鑑別に適用した処理例の流れを示すフローチャートである。 図２２は、本発明に係る薬剤認識方法及び装置を薬剤鑑別に適用した結果の例を示す図である。 図２３は、本発明に係る薬剤認識方法及び装置を薬剤鑑別に適用した結果の例を示す図である。

以下、添付図面を用いて、本発明に係る薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムの実施形態について説明する。

図１は、本発明に係る一実施形態の薬剤認識装置の構成例を示す図である。

本例の薬剤認識装置１０は、薬剤を照明する照明部１２と、照明部１２によって照明された薬剤を撮影する撮影部１４と、ユーザに対する薬剤の処方を示す処方データ等、認識対象の薬剤に関連する関連情報を取得する関連情報取得部１６と、プログラム（本発明に係る薬剤認識プログラムを含む）及びプログラムの実行に必要な情報を記憶する記憶部１８（非一時的記録媒体）と、記憶部１８に記憶されたプログラムに従って各種の処理を行う処理部２０と、画像表示可能な表示部２２と、ユーザから操作を受け付ける操作部２４と、を含んで構成される。なお以下では薬剤が包装されている場合について説明するが、本発明は薬剤が包装されていない場合にも適用することができる（後述）。

薬剤の「包装」には一包化が含まれる。「一包化」とは、処方された薬剤を一回の服用ごとに分包（パッケージ）することをいう。処方内容に依って、一つの包材に種類が異なる複数薬剤がパッケージされる場合、一つの包材に同一種類の複数薬剤がパッケージされる場合、及び一つの包材に薬剤が一個だけパッケージされる場合がある。一包化される薬剤の形態は、例えば、錠剤、カプセル剤が挙げられるが、特に限定されない。また、包材は、例えば、紙、プラスティックが挙げられるが、特に限定されない。また、本明細書において「分包」（あるいは「包装」）は、一回の服用ごとに分包する場合に限定されず、薬剤が包材によって包装されている場合であればよい。

照明部１２は、光源を含んで構成される。照明部１２の具体例は後述する。

撮影部１４は、カメラを含んで構成される。撮影部１４の具体例は後述する。

関連情報取得部１６は、例えば、処方箋上の文字を光学的に読み取ることにより、処方データ等の関連情報を取得する。処方データとしては、例えば処方箋に記載された薬剤の識別情報、名称、数量、用法、用量等を挙げることができるが、これらに限定されるものではない。関連情報取得部１６が処方箋に付与されたバーコード（または二次元コード）を読み取ることにより処方データを取得してもよい。また、医師及び／または薬剤師がコンピュータ装置で入力した処方データを、通信により取得してもよい。なお、「処方データ」は処方箋に記載された情報そのものでもよいし、処方箋に記載された情報に基づいて医師及び／または薬剤師が設定、変更等した情報でもよい。例えば、処方箋に先発医薬品の名称が記載されている場合に後発医薬品（ジェネリック医薬品）に変更する、あるいは薬剤の一般名称しか記載されていない場合に先発医薬品または後発医薬品を選択する、等を行って得られた情報も「処方データ」に含めることができる。薬剤認識装置１０を薬剤監査支援、薬剤鑑別等に用いる場合（後述）は、目視等で認識した薬剤の特徴（例えば、錠剤かカプセルか等の薬剤種類、形状、色等）、あるいはいわゆる「お薬手帳」等の手帳に記載された薬剤名称、数量、服用方法等の情報を、ユーザの操作に応じて関連情報取得部１６（関連情報入力部）が関連情報として入力してもよい。

記憶部１８は、一時的記憶デバイスと、非一時的記憶デバイス（非一時的記録媒体）とによって構成される。本例の記憶部１８は、薬剤の種類ごとに薬剤を示すマスタ画像（「薬剤マスタ画像」ともいう）を記憶する。マスタ画像は、各薬剤の属性を示す属性情報（例えば薬剤コード、名称、薬剤タイプ、形状、寸法等の情報；図２３の例を参照）と関連付けて記憶することが好ましい。

処理部２０は、例えばＣＰＵ（central processing unit）によって構成される。本例の処理部２０は、記憶部１８に記憶されたマスタ画像を更新する機能を有する。本例の処理部２０は、後述する特定の条件が満たされた場合、撮影部１４によって得られた撮影画像を用いて記憶部１８に記憶されたマスタ画像を更新するマスタ更新処理を行う。

本例の処理部２０は、照明部１２の照明を制御する照明制御部３２と、撮影部１４の撮影を制御する撮影制御部３４と、撮影部１４によって得られた撮影画像に基づいて薬剤の位置を取得する薬剤位置取得部３５と、撮影部１４によって得られた撮影画像のうち薬剤領域からマスタ画像を生成するマスタ画像生成部３６と、撮影部１４によって薬剤を撮影して得られた撮影画像の薬剤領域と記憶部１８に記憶されたマスタ画像とを照合する照合部４２と、薬剤位置取得部３５によって取得された薬剤の位置に基づいてマスタ画像を更新するか否かを判定する更新判定部４４と、更新判定部４４によってマスタ画像を更新すると判定された場合、マスタ画像生成部３６によって生成されたマスタ画像を記憶部１８に登録する登録部４６と、表示部２２の表示を制御する表示制御部４８と、を含んで構成されている。マスタ画像と撮影画像のうちの薬剤領域との相関値、あるいは薬剤領域間の相関値を算出する相関値算出部４９と、基準位置を設定する基準位置設定部５０とを、設けてもよい。

＜薬包＞
図２は、薬剤Ｔが包装された複数の薬包ＴＰが連続する薬包帯ＰＢを示す。ｘ軸は薬包帯ＰＢの長手方向に沿った軸であり、ｙ軸は薬包帯ＰＢの幅方向に沿った軸である。本例の薬包帯ＰＢはｘ軸方向に沿って搬送させることが可能である。本例の薬剤Ｔには刻印（または印字に）より薬剤Ｔの種類が示されている。各薬剤Ｔには、以下の説明の便宜上、「Ａ」、「Ｂ」または「Ｃ」と刻印されているものとするが、刻印内容（または印字内容）は特に限定されない。

薬包ＴＰの包材は、両面とも透明（半透明を含む、以下同じ）が、好ましい。薬包ＴＰの包材の片面に、印字またはマット加工が、施されていてもよい。

連続した薬包ＴＰは、一つの薬包ＴＰのｘ軸方向におけるサイズごとに、搬送可能である。一つの薬包ＴＰごとに、薬包ＴＰの位置を検出可能であってもよい。

なお、本発明は、薬包ＴＰが搬送される場合に限定されない。薬包ＴＰが載置台等に載置されるだけの場合であってもよい。また、本発明は薬剤Ｔが包装されていなくてもよい。例えば薬剤Ｔに含まれる各薬剤を直接、あるいはシャーレ等の容器に入れて載置台に載置してもよい。

＜照明部及び撮影部＞
照明部１２を構成する光源及び撮影部１４を構成するカメラの配置について、説明する。

図３及び図４は、照明部１２の光源１３及び撮影部１４のカメラ１５（１５Ａ、１５Ｂ）の配置例を示す。図３は薬包帯ＰＢの側面から見た側面図であり、図４は薬包帯ＰＢの一方の面を上または下から見た平面図である。ｘ軸は薬包帯ＰＢの長手方向に沿った軸であり、ｙ軸は薬包帯ＰＢの幅方向に沿った軸であり、ｚ軸は薬包帯ＰＢの一方の面（上面または下面）に直交する軸である。

照明部１２は、複数の光源１３を含んで構成され、図４に示すように、薬剤Ｔを囲む複数の照明方向から薬剤Ｔを照明する。本例の照明部１２は、薬剤Ｔの一方の面（上面または下面）を四方向から照明している。薬剤Ｔを四方向以上から照明してもよい。

撮影部１４は、薬剤Ｔを包む透明な包材の少なくとも一方の面に対向し、薬剤Ｔを撮影する。

撮影部１４は、図３に示すように、薬包帯ＰＢの上面（薬剤Ｔを包装した包材の一方の面である）に対向するカメラ１５Ａ（第１のカメラ）と、薬包帯ＰＢの下面（薬剤Ｔを包装した包材の他方の面である）に対向するカメラ１５Ｂ（第２のカメラ）と、を含んで構成される。すなわち、カメラ１５Ａは薬剤Ｔを第１の方向（薬包帯ＰＢの上方から下方に向かう方向）から撮影し、カメラ１５Ｂは薬剤Ｔを第２の方向（薬包帯ＰＢの下方から上方に向かう方向）から撮影する。図４において、複数の光源１３のそれぞれとカメラ１５（１５Ａ、１５Ｂ）の撮影光軸ＰＡとの間隔ｄ１、ｄ２、ｄ３、ｄ４は同じである。つまり、複数の光源１３と撮影光軸ＰＡとが等間隔（ｄ１＝ｄ２＝ｄ３＝ｄ４）である。

＜マスタ画像の生成及び更新判定＞
マスタ画像生成部３６は、撮影部１４のカメラ１５によって得られた撮影画像から薬剤領域を抽出してマスタ画像を生成する。例えば、撮影画像から薬剤Ｔの像のエッジを検出することにより薬剤領域を認識し、その薬剤領域を撮影画像から切り出すことにより薬剤領域を抽出する。薬剤領域の抽出の際には、薬剤Ｔを上下の両方向から撮影して得られた二枚の撮影画像を用いてもよい。薬剤背景を変更した画像を用いてもよい。薬包ＴＰの包材を透過した透過光からなる透過画像（薬剤領域が黒）を用いてマスクを生成し、そのマスクを用いてマスタ画像を生成してもよい。

登録部４６は、マスタ画像が未登録である種類の薬剤Ｔが撮影部１４のカメラ１５によって撮影された場合、そのカメラ１５によって得られた新たな撮影画像のうち薬剤領域をマスタ画像として、記憶部１８に登録する。また、更新判定部４４により更新すると判定された場合、記憶部１８のマスタ画像を更新する。

更新判定について説明する。薬剤位置取得部３５は、撮影部１４によって得られた撮影画像に基づいて、撮影部１４の撮影範囲のうちの薬剤位置を取得する。本例の薬剤位置取得部３５は、画像解析により、撮影画像における薬剤Ｔの像の位置を取得する。つまり実空間の撮影範囲における薬剤Ｔの位置と撮影画像における薬剤Ｔの像の位置とが対応しているため、撮影画像における薬剤Ｔの像の位置を、撮影範囲における薬剤の位置として、用いることができる。

また「薬剤の位置」の取得は、本明細書において、撮影範囲（または撮影画像）における薬剤の絶対位置を取得する場合に限定されず、撮影範囲（または撮影画像）において薬剤に対する認識力が基準を満たす基準位置との距離（以下「相対位置」ともいう）を取得する場合を含む。つまり、更新判定部４４は、相対位置に基づいて、マスタ画像を更新するか否かを判定することができる。

また、薬剤に対する「認識力」は、本明細書おいて、撮影画像に基づいて薬剤の種類を認識する認識力である。この認識力は、一般に、撮影範囲における薬剤位置に応じて変動する。「認識力」は、認識の確率（認識率）で表してもよいし、予め算出された評価値で表してもよい。例えば、後述のように薬剤画像間の相関値を用いて、認識力を示す評価値を表すことが可能である。

「認識力」は、具体例として、薬剤の表面に薬剤の種類を示す刻印が形成されている場合、その薬剤の表面の刻印に対する認識力である。一般に、薬剤の表面の刻印に対する認識力は、薬剤の表面の刻印に照明部１２の照明光が入射する角度（入射角）に応じて定まる。また、「認識力」は、薬剤の表面に薬剤の種類を示す印字が形成されている場合、その薬剤の表面の印字に対する認識力である。一般に、薬剤の表面の印字に対する認識力は、薬剤の表面の印字に対する撮影部１４の光軸（撮影光軸）の角度（撮影角度）に応じて定まる。

図４に示したように光源１３及びカメラ１５が配置されている場合、マスタ画像は、カメラ１５の撮影範囲（「視野範囲」ともいう）の中央領域に位置した薬剤の画像であることが、望ましい。図４に示した配置例の場合、撮影範囲の中央領域で撮影された薬剤の画像はロバスト性が高いが、撮影範囲の端（つまり光源１３の近傍）で撮影された薬剤の画像はロバスト性が低いからである。例えば、錠剤（薬剤の一形態である）は、３Ｄ（dimension）形状を有しており、光源１３に近いほど、錠剤の刻印に対して照明光の入射角が小さくなり、刻印の検出が困難になる。理解を容易にするため、図５に示すように、実線で示した入射光ＬＩ及び点線で示した反射光ＬＯが薬剤Ｔの刻印ＥＭの凹部側面に平行であると仮定する。そうすると、図６に示すように、撮影画像の輝度分布を示す輝度プロファイルＬは平坦形状になってしまい、刻印ＥＭを検出できなくなることが分かる。

そこで、更新判定部４４は、撮影部１４の撮影範囲のうち薬剤に対する認識力が基準を満たす基準位置と薬剤の位置との距離に基づいて、マスタ画像を更新するか否かを判定する。ここで、「基準位置と薬剤の位置との距離」に基づく判定は、実空間における基準位置、薬剤の位置及び距離に対応する、撮影画像における基準位置、薬剤の位置及び距離を用いて、行ってよい。

基準位置は、例えば、撮影範囲のうち薬剤に対する認識力が最も高い位置、または撮影範囲のうち薬剤に対する認識力が最も高い領域の代表位置である。

図４に示したように、光源１３及びカメラ１５が配置されている場合、撮影範囲の中心位置（実空間の撮影範囲では撮影光軸ＰＡの位置であり、撮影画像では画像中心である）を、基準位置としてよい。この場合、更新判定部４４は、撮影範囲の中心位置と薬剤の位置との距離に基づいて、マスタ画像を更新するか否かを判定する。よってマスタ画像を用いた薬剤認識の精度を高くすることが可能になる。つまりマスタ画像のロバスト性を高くすることができる。撮影範囲の中心位置の近傍の位置を基準位置としてもよい。

また、基準位置として、撮影範囲のうち薬剤に対する認識力が高い位置（薬剤に対する認識力が基準を満たす位置である）を基準位置設定部５０により予め求めておき設定しておくことが可能である。例えば、図７に示すように、撮影範囲Ｒに複数の薬剤Ｔを等間隔に二次元配列し、その二次元配列された複数の薬剤Ｔをカメラ１５により撮影し、各薬剤Ｔの位置で他の薬剤Ｔとの薬剤画像（薬剤領域の画像である）の相関値を相関値算出部４９により算出し、その相関値に基づいて撮影範囲Ｒのうち最も認識力が高い領域を求めることができる。理解のために便宜上、図７に示した撮影範囲Ｒのうちの四分の一の大きさであるクォーター領域ＲＱにおける薬剤位置間の薬剤画像の相関値を図８に示す。図８において、自己相関値（注目位置ＰＩの薬剤画像と注目位置ＰＩの薬剤画像の相関値）は「１．００」である。また図８において、注目位置ＰＩの薬剤画像と他の位置の薬剤画像との相関値は「１．００」未満である。その算出された相関値を数値と色（ただし図８では図示の便宜上グラデーションになっている）で示した。このような相関値の算出を、撮影範囲Ｒ内の二次元配列された複数の薬剤Ｔのそれぞれの位置を注目位置として行い、撮影範囲Ｒの全体（または薬剤認識に必要な範囲）において、相関値の分布が最も好ましくなる注目位置を、基準位置とすることができる。例えば、注目位置ごとに他の位置との相関値の総和を算出し、その相関値の総和が最大となる注目位置を基準位置として設定する。つまり、撮影範囲Ｒのうち認識力が最も高い領域の代表位置を基準位置とすることができる。基本的には薬剤が撮影範囲Ｒの中央部に位置した場合に薬剤を撮影することが好ましいが、包装された薬剤の位置は薬包ごとに異なり、意図せず撮影範囲Ｒの端部で薬剤が撮影されてしまう場合がある。つまり、無条件にマスタ画像を更新すると、そのマスタ画像を用いた薬剤認識の精度が低下してしまう。本例では、基準位置設定部５０により、撮影範囲Ｒにおいて薬剤に対する認識力が基準を満たす注目位置を予め求めておいて基準位置に設定し、その基準位置と薬剤認識時に撮影された実際の薬剤の位置との距離に基づいてマスタ画像を更新するか否かを判定するため、マスタ画像を用いた薬剤認識の精度をマスタ画像の更新により高くすることが可能になる。つまりマスタ画像のロバスト性を高くすることができる。

本例の登録部４６は、撮影範囲における薬剤の位置（または基準位置と薬剤の位置との距離）を示す薬剤位置情報を、マスタ画像に関連付けて、記憶部１８に記憶させる。また更新判定部４４は、撮影部１４によって撮影された薬剤の位置（または基準位置と薬剤の位置との距離）と、マスタ画像に関連付けられた薬剤位置情報とに基づいて、マスタ画像を更新するか否かを判定する。

本例の更新判定部４４は、撮影部１４によって撮影された薬剤の位置が、マスタ画像に関連付けられた薬剤位置情報によって示されるマスタ画像の薬剤の位置よりも基準位置に近い場合、マスタ画像を更新すると判定する。

このような基準に則した更新により記憶部１８に登録されたマスタ画像は、より良いマスタ画像に順次更新されていく。つまり、図９に示すように、撮影範囲Ｒのうちマスタ画像のロバスト性が高くなる領域ＡＲ内の薬剤ＴＲの画像がマスタ画像となるまで更新されてゆく。撮影範囲Ｒのうちマスタ画像のロバスト性が低い端部の薬剤（図中のＴＥ）の画像がマスタ画像として登録されてしまうと刻印ＥＭの認識力が低くなってしまうが、本例では、より良いマスタ画像に収束してゆき、基準に則した領域ＡＲの薬剤ＴＲの画像がマスタ画像として登録されるため、刻印ＥＭの認識力を高くすることが可能になる。なお、図４に示した光源１３及びカメラ１５の配置（複数の光源１３と撮影光軸ＰＡとが等間隔）では、マスタ画像の薬剤位置を、撮影範囲Ｒの中心位置である撮影光軸ＰＡの位置に徐々に近づけてゆくことになる。

＜照合＞
図３に示したようにカメラ１５Ａ及びカメラ１５Ｂが撮影対象の薬包ＴＰの上下に配置されている場合、図１０に示すように、カメラ１５Ａによって薬剤Ｔを上から撮影して得られた撮影画像（ＩＭＧ１１、ＩＭＧ２１）と、カメラ１５Ｂによって薬剤Ｔを下から撮影して得られた撮影画像（本例ではＩＭＧ１２、ＩＭＧ２２）とを用いて、照合を行う。図１０において、一包目の薬包ＴＰ１内の薬剤Ｔ１１、Ｔ１２、Ｔ１３のうち符号がＴ１３である薬剤の種類（「種類Ｃ」とする）のマスタ画像が記憶部１８に未登録である場合、その符号がＴ１３の薬剤の画像（本例では、薬剤Ｔ１３を上から撮影して得られた撮影画像ＩＭＧ１１の薬剤領域と、薬剤Ｔ１３を下から撮影して得られた撮影画像ＩＭＧ１２の薬剤領域）がマスタ画像として、登録部４６により記憶部１８に登録される。例えば、一包目の薬包ＴＰ１内の薬剤Ｔ１３を下から見たマスタ画像は、図中に点線の矢印で示すように、二包目の薬包ＴＰ２を上から撮影して得られた撮影画像ＩＭＧ２１中の薬剤Ｔ２１、Ｔ２２、Ｔ２３の画像、及び下から撮影して得られた撮影画像ＩＭＧ２２中の薬剤Ｔ２１、Ｔ２２、Ｔ２３の画像と、照合されることになる。例えば、二包目の薬包ＴＰ２内の符号がＴ２３の薬剤を下から見た画像がマスタ画像とマッチングしていることが照合される。

＜マスタ画像のバリエーション＞
マスタ画像のバリエーションについて、説明する。

マスタ画像生成部３６は、複数の薬包ＴＰのうち一の薬包ＴＰ（例えば第１番目の薬包）から同一種類の複数の薬剤Ｔが撮影された場合には、同一種類の薬剤Ｔが撮影された複数の薬剤領域を用いて、マスタ画像を生成することができる。例えば、マスタ画像生成部３６は、複数の薬剤領域を用いて、平均または加重平均によりマスタ画像を生成する。

またマスタ画像生成部３６は、図２に示したように複数の薬包ＴＰにわたり同一種類の複数の薬剤Ｔが撮影された場合、複数の薬包ＴＰに対応する複数の撮影画像の薬剤領域（複数の薬剤領域）を用いて、マスタ画像を生成する。例えば、マスタ画像生成部３６は、複数の薬剤領域を用いて、平均または加重平均によりマスタ画像を生成する。なお、一の薬包（例えば第１包目の薬包）から同一種類の薬剤Ｔが一つのみ撮影された場合に、一の薬剤Ｔの領域からマスタ画像を生成する構成としてもよい。また、複数の薬包ＴＰにわたり同一種類の複数の薬剤Ｔが撮影されない場合に、一の薬剤Ｔの領域からマスタ画像を生成してよい。

また、マスタ画像生成部３６は、更新前のマスタ画像をマスタ画像更新の際に削除せずに保存しておき、新たなマスタ画像を生成する際に更新前のマスタ画像を利用することが、好ましい。

＜照明方向切替＞
薬剤に対する照明方向を順番に切り替える薬剤認識態様について、説明する。本態様の照明制御部３２は、複数の光源のうち薬剤を照明する光源を切り替えることにより、薬剤に対する照明方向を順番に切り替える。本態様の撮影制御部３４は、薬剤に対する照明方向が切り替わるごとに、撮影部１４に薬剤を撮影させる。本態様のマスタ画像生成部３６は、複数の照明方向に対応する複数の撮影画像を合成して、マスタ画像を生成する。本態様によれば、薬剤を照明する照明方向、薬剤の表面形状の影響を受けることなく、薬剤に付された刻印文字の認識を正確に行うことができる。

図１１に示すように刻印ＥＭは、薬剤Ｔの表面に形成された溝により構成されている。なお、図中の符号３００は刻印ＥＭの正面図であり、符号３０１は図中の直線ＣＬに沿う薬剤Ｔの断面図であり、符号３０２は表面形状が符号３０１とは異なる薬剤Ｔの断面図である。刻印ＥＭを一方向から照明すると、刻印ＥＭの照明光源側の輪郭に沿って影が発生する。この影の向き、形状、及び強度は、照明方向、刻印ＥＭの形状、及び薬剤Ｔの表面形状によって異なる。

図１２の上段（符号３０５）に示すように、４方向の薬剤領域画像データ５４には、それぞれ刻印ＥＭの照明光源側（照明光を照射している光源１３側）の輪郭に沿って影画像５６が生じる。なお、刻印ＥＭは薬剤Ｔの表面と同色であるので実際の画像上では識別困難であるが、図中では照明方向に応じた刻印ＥＭと影画像５６との関係を説明するために刻印ＥＭを識別可能に図示している。

図１２の中段（符号３０６）に示すように、薬剤Ｔごとの４方向の薬剤領域画像データ５４に対してそれぞれエッジ検出処理を施すことにより、各薬剤領域画像データ５４からそれぞれ影画像５６に対応する特徴画像データ５８を抽出する。これにより、１分包分の薬剤Ｔの各々について、４方向の照明方向ごとの特徴画像データ５８（以下、４方向の特徴画像データ５８という）が得られ、薬剤Ｔごとの４方向の特徴画像データ５８を記憶部１８に順次に格納する。

図１２の下段（符号３０７）に示すように、記憶部１８から１分包分の薬剤Ｔごとの４方向の特徴画像データ５８を読み出し、薬剤Ｔごとに４方向の特徴画像データ５８を統合して統合画像データ６０を生成する。例えば、４方向の特徴画像データ５８を重ね合せて統合する。これにより、４方向の照明方向ごとの影画像５６が一つに統合されるため、統合画像データ６０上では刻印ＥＭの全ての輪郭が明らかとなる。そして、１分包分の薬剤Ｔごとにそれぞれ統合画像データ６０を生成し、個々の統合画像データ６０を記憶部１８に格納する。

＜表示制御＞
表示制御部４８は、表示部２２に、撮影画像から切り出された薬剤領域を並べて表示させる機能を有する。また表示制御部４８は、表示部２２に、相関値算出部４９によって算出された相関値を表示させる機能を有する。

図１３は、図２に示した薬包帯ＰＢの薬包ＴＰ内の薬剤を認識した結果の表示例を示す図である。図１３の例では、薬包帯ＰＢのうち第１番目の薬包ＴＰ及び第２番目の薬包ＴＰから認識された薬剤Ｔとして刻印「Ａ」の薬剤の画像、刻印「Ｂ」の薬剤の画像及び刻印「Ｃ」の薬剤の画像が表示部２２に表示され、第３番目の薬包ＴＰから認識された薬剤Ｔとして刻印「Ｂ」の薬剤の画像及び刻印「Ｃ」の薬剤の画像が表示部２２に表示されている。各薬剤の画像の下の数値は、相関値算出部４９によって算出された相関値であって、撮影画像から抽出された薬剤領域の画像とマスタ画像との相関を示す相関値である。また表示された薬剤領域（薬剤画像である）は、実際には相関値に応じた濃度の色を付加してある。刻印「Ｃ」の薬剤の画像の相関値は、第１番目の薬包ＴＰの薬剤認識においてマスタ画像が更新されたため、第１番目の薬包における相関値よりも第２番目及び第３番目の薬包における相関値が高くなっていることが分かる。

また表示制御部４８は、表示部２２に、マスタ画像を更新した履歴を表示させる機能を有する。

また表示制御部４８は、表示部２２に、薬剤の位置（絶対位置または相対位置）とマスタ画像の更新とを関連付けて表示させる機能を有する。

＜処理例＞
図１４は、本発明に係る薬剤認識方法を適用した処理例の流れを示すフローチャートである。本処理は、薬剤認識装置１０の処理部２０を構成するＣＰＵによって、プログラム（本発明に係る薬剤認識プログラムを含む）に従い実行される。

まず、関連情報取得部１６によって、上述した処方データ等の関連情報を取得する（ステップＳ２）。

次に、照明部１２によって、分包された薬剤を照明する（ステップＳ４）。

また、撮影部１４によって、照明部１２によって照明された薬剤を撮影する（ステップＳ６）。

次に、薬剤位置取得部３５によって薬剤位置を取得し、かつマスタ画像生成部３６によって撮影画像から薬剤領域を抽出する（ステップＳ８）。

次に、照合部４２によって、記憶部１８に記憶されたマスタ画像と撮影画像の薬剤領域とを照合する（ステップＳ１０）。

次に、記憶部１８にマスタ画像が非登録の薬剤であるか否かを判定し（ステップＳ１２）、マスタ画像が非登録の薬剤である場合（ステップＳ１２でＹＥＳの場合）、さらに一包目であるか否かを判定する（ステップＳ１４）。マスタ画像が非登録且つ一包目である場合（ステップＳ１４でＹＥＳの場合）、登録部４６によって、撮影画像から抽出された薬剤領域の画像をマスタ画像として登録する（ステップＳ１６）。

マスタ画像が登録された薬剤である場合（ステップＳ１２でＮＯの場合）、更新判定部４４によって、撮影範囲の基準位置（例えば中心位置）と薬剤の位置との距離に基づいて、マスタ画像を更新するか否かを判定する（ステップＳ１８）。

マスタ画像を更新すると判定された場合、（ステップＳ１８でＹＥＳの場合）、登録部４６によって、撮影画像から抽出された薬剤領域の画像をマスタ画像として登録する（ステップＳ２０）。

薬包内に他の薬剤が有るか否かを判定し（ステップＳ２２）、薬包内の他の薬剤が有る場合（ステップＳ２２でＹＥＳの場合）、ステップＳ１０に戻って、薬包内の他の薬剤に対する照合処理が行われる。

薬包の全ての薬剤に対し薬剤認識処理を行って薬包内に他に薬剤が無い場合（ステップＳ２２でＮＯの場合）、他に薬包が有るか否かを判定し（ステップＳ２４）、他の薬包が有る場合にはステップＳ４に戻る。

なお、更新判定部４４は、複数の薬剤が一つの薬包に含まれている場合、複数の薬剤どうしの間隔に基づいて、マスタ画像を更新するか否かを判定してもよい。つまり、刻印の場合、隣りに大きな薬剤が存在すると影が出難くなる場合があるので、周囲に他の薬剤が無い場合に、マスタ画像を更新すると判定することが好ましい。例えば、薬剤間の距離が閾値未満（あるいは閾値以下）である場合、撮影画像に刻印の影が出難くなるので、マスタ画像を更新しないと判定する。

上述の説明では、主として薬剤の刻印を認識する場合を例に説明したが、薬剤に印字された文字または記号を認識してもよい。

また前述の図１に示した処理部２０は、次に示すような各種のプロセッサ（processor）を含んで構成することができる。各種のプロセッサには、ソフトウエア（プログラム）により各種の処理を実行する汎用的なプロセッサであるＣＰＵ（central processing unit）、ＦＰＧＡ（field programmable gate array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（programmable logic device：ＰＬＤ）、ＡＳＩＣ（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。前述の実施形態において、処理部２０の機能は、これら各種のプロセッサのうちの１つで実現されてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで実現する例としては、システムオンチップ（system on chip：ＳｏＣ）などに代表されるように、複数の機能を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウエア的な構造として、上述した各種のプロセッサを１つ以上用いて実現される。さらに、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）及び／またはフラッシュＲＯＭ等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る薬剤認識方法を実行するためのプログラム（薬剤認識プログラム）を含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＶＲＡＭ（Video RAM）、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

上述の薬剤認識装置は、例えば、調剤監査の支援を行う監査支援装置、薬剤を一包化する一包化装置、薬剤の鑑別を行う薬剤鑑別装置、薬剤の服薬を支援する服薬支援装置に適用可能である。他の装置に適用してもよい。上述の薬剤認識方法を、コンピュータ装置、監査支援装置、一包化装置、薬剤鑑別装置、服薬支援装置等で薬剤認識プログラムに従って実行してもよい。

＜薬剤監査支援及び薬剤鑑別への適用例＞
上述の薬剤認識装置、薬剤認識方法、及び薬剤認識プログラムを薬剤監査支援及び薬剤鑑別に適用した例について説明する。図１５は薬剤認識装置１０Ａ（薬剤監査支援装置、薬剤鑑別装置）がネットワークＮＷを介して病院情報システム７０と接続されたシステムを示す図である。ネットワークＮＷに他の装置（一包化装置、服薬支援装置等）が接続されていてもよい。

薬剤認識装置１０Ａは通信部２６を備えており、通信部２６及びネットワークＮＷを介して病院情報システム７０（ＨＩＳ：Hospital Information System）との通信を行うことができる。他の構成は上述した薬剤認識装置１０と同じなので、同一の構成には同一の参照符号を付し詳細な説明は省略する。処理部２０の具体的な構成は図１と同じである。

図１６は薬剤認識装置１０Ａを用いた薬剤監査支援方法の処理を示すフローチャートである。ステップＳ２からステップＳ２４までの処理は図１４のフローチャートと同様であり、ステップＳ１０で照合部４２（薬剤判断部、判断結果出力部；図１参照）がマスタ画像と照合対象画像（撮影画像から抽出した薬剤領域の画像）とを照合し、表示制御部４８（判断結果出力部；図１参照）が照合結果をステップＳ２６で表示する。ステップＳ１０での照合の際に用いるマスタ画像は、ステップＳ１６またはステップＳ２０において最後に登録されたマスタ画像である。

図１７は照合結果の表示例（薬剤Ａについての照合結果の一覧表Ｌ１の例）を示す図である。図１７では、一覧表Ｌ１の左側（領域Ｌ１Ａ，Ｌ１Ｂ）に薬剤Ａのマスタ画像及び属性情報（薬剤の属性を示す情報）がそれぞれ表示され、右側（領域Ｌ１Ｃ）に「薬剤Ａを示す」と判別された全ての照合対象画像が表示される。図１７では一覧表Ｌ１に薬剤の表面（刻印が施されている面）についての画像のみを含めているが、薬剤の裏面についての画像を含めてもよい。一覧表Ｌ１の領域Ｌ１Ｃには、照合対象画像が分包袋ごと、かつ服用タイミングごとに表示され、また薬包ＴＰに関連する検査支援情報（薬剤の照合、検査を効率的に行うための情報）が照合対象画像と合わせて表示される。図１７の例では，検査支援情報は服用タイミング、分包袋番号、服用日であるが、他の情報（撮影画像とマスタ画像の類似度等）を含めてもよい。なお、図１７の例においては全ての分包袋（１日３度服用×７日＝２１包）に薬剤Ａが２錠ずつ正しく分包されているものとし、服用期間は７日とする。

照合部４２は、照合結果を出力する（ステップＳ２８）。照合結果を記憶部１８に記憶してもよいし、照合結果を通信部２６及びネットワークＮＷを介して病院情報システム７０に送信してもよい。病院情報システム７０との間での情報の互換性の観点から、照合結果の出力をＳＳ−ＭＩＸあるいはＳＳ−ＭＩＸ２形式（ＳＳ−ＭＩＸ：Standardized Structured Medical Information eXchange）で行ってもよい。

薬剤認識装置１０Ａでは、上述のように最後に登録されたマスタ画像と照合対象画像とが照合されるので、ロバスト性が向上したマスタ画像を用いて正確な薬剤認識及び監査支援を行うことができる。

図１８は指定された薬剤及び類似薬剤についての照合結果の表示例を示す図である。図１８の（ａ）部分は、薬剤Ｂについての一覧表Ｌ８Ａ及び薬剤Ｂの類似薬剤である薬剤Ｄについての一覧表Ｌ８Ｂを含む一覧表Ｌ８を示す。また、図１８の（ｂ）部分は、一覧表Ｌ８において薬剤の照合エラーが発生している状態（一覧表Ｌ８Ａにおいて、照合対象画像ｉＳ４により示される薬剤Ｄが薬剤Ｂと判断されており、逆に一覧表Ｌ８Ｂにおいて、照合対象画像ｉＳ５により示される薬剤Ｂが薬剤Ｄと判断されている）を示している。このように照合エラーにより類似薬剤間（薬剤Ｂと薬剤Ｄ）が入れ替わっている場合でも、薬剤Ｂについての一覧表Ｌ８Ａと共に類似薬剤である薬剤Ｄについての一覧表Ｌ８Ｂを表示することにより、ユーザ（薬剤師）は照合の間違いに容易に気づくことができる。また、図１７に示す例と同様に、ロバスト性が向上したマスタ画像を用いて正確な薬剤認識及び監査支援を行うことができる。

図１９及び図２０は薬剤認識装置１０Ａを用いて薬剤の鑑別を行う例を示す図である。薬剤の鑑別は、例えば処方された薬剤を患者が病院、薬局等に持参した場合、医師及び／または薬剤師が患者の自宅に行き残薬を管理する場合等、元々の処方データは無いが薬剤の種類、数等を把握したい場合に行うことができるが、このような場合に限定されるものではない。図１９及び図２０に示す例では薬剤ＴがシャーレＳＣに入れられて図示せぬ載置台に載置されており、この状態で図３に示す例と同様に照明及び撮影を行う。薬剤ＴはシャーレＳＣに入れずに載置台に直接載置してもよいし、分包袋に分包した状態で載置してもよい。

図２１は薬剤認識装置１０Ａを用いた薬剤鑑別方法の処理の例を示すフローチャートである。なお、図１４，１６のフローチャートと同様の処理を示す部分については同一のステップ番号を付し、詳細な説明を省略する。図２１に示す例では、関連情報取得部１６（関連情報入力部）がユーザによる操作部２４の操作を介して関連情報を取得する（ステップＳ３）。照合部４２（薬剤判断部、判断結果出力部）は、取得した関連情報を参照して、撮影画像が示す薬剤がいずれの薬剤であるかを判断する。薬剤鑑別を行う状況では、患者が服用している薬剤を薬局に持参する等、処方箋あるいは処方データがない場合が考えられるが、そのような場合はいわゆる「お薬手帳」のような手帳に記載された薬剤の情報を関連情報として取得することができる。あるいは、医師及び／または薬剤師等が目視その他で取得した薬剤の情報（錠剤、カプセル等の薬剤タイプ、色、刻印及び／または印刷等）を関連情報として取得、入力してもよい。有効な関連情報が得られない場合でも、入院患者名、性別、年齢等の患者を特定する情報、病棟名等を入力してもよく、あるいは省略してもよい。

照合部４２は、ステップＳ３で入力した関連情報に基づいて、照合対象を選択する（ステップＳ９）。例えば、「お薬手帳」に記載された薬剤及びその類似薬剤を照合対象として選択する。あるいは、目視その他で取得した薬剤の薬剤タイプ、色等に基づいて照合対象を選択する。このように照合対象を選択することで、照合の範囲を絞り込み迅速に鑑別を行うことができる。なお、ステップＳ３で関連情報が入力されていない場合はステップＳ９の処理を省略してもよい。

照合部４２は、照合対象画像（撮影画像から抽出した薬剤領域の画像）とステップＳ９で選択された照合対象の薬剤についてのマスタ画像とを照合し、照合結果に基づいて照合対象画像（撮影画像）が示す薬剤の候補を選択する（ステップＳ１０）。照合に用いるマスタ画像はステップＳ１６またはステップＳ２０において最後に登録されたマスタ画像なので、ロバスト性が向上したマスタ画像を用いて薬剤の認識、鑑別を正確に行うことができる。なおステップＳ９の処理が省略されている場合、全ての薬剤のマスタ画像との照合を行ってもよい。

鑑別が終了すると（ステップＳ２５でＮＯ）、表示制御部４８（判断結果出力部；図１参照）が照合結果を表示部２２に表示する（ステップＳ２６）。図２２は照合結果の表示例（撮影画像が示す薬剤の候補を示す情報の出力例）を示す図であり、照合対象の薬剤に対し一致度の高い薬剤のマスタ画像及び薬剤ＩＤを表示している。これによりユーザは撮影画像が示す薬剤の候補を確認することができる。図２２のような表示において、表示された薬剤の指定（例えば、操作部２４の図示せぬマウスによるクリック）に応じて、表示制御部４８が図２３のようにマスタ画像、属性情報を表示部２２に表示してもよい。

照合結果の出力（ステップＳ２８）は、図１６のフローチャートのステップＳ２８と同様に行うことができる。

上述した薬剤の監査支援及び鑑別は、パーソナルコンピュータ、スマートフォン、タブレット端末等の機器（薬剤認識装置の一態様）で行ってもよい。例えば、本発明に係る薬剤認識方法の処理を実行する薬剤認識プログラムをこれらの機器にインストールし、これらの機器に内蔵及び／または外付けされたカメラで薬剤の撮影を行ってマスタ画像との照合を行うことができる。薬剤認識、監査支援、鑑別の処理はこれらの機器で行ってもよいし、これらの機器に入力した情報をネットワーク上、クラウド上のサーバ等で処理して結果を受信してもよい。

以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。

１０ 薬剤認識装置
１０Ａ 薬剤認識装置
１２ 照明部
１３ 光源
１４ 撮影部
１５（１５Ａ、１５Ｂ） カメラ
１６ 関連情報取得部
１８ 記憶部
２０ 処理部
２２ 表示部
２４ 操作部
２６ 通信部
３２ 照明制御部
３４ 撮影制御部
３５ 薬剤位置取得部
３６ マスタ画像生成部
４２ 照合部
４４ 更新判定部
４６ 登録部
４８ 表示制御部
４９ 相関値算出部
５０ 基準位置設定部
５４ 薬剤領域画像データ
５６ 影画像
５８ 特徴画像データ
６０ 統合画像データ
７０ 病院情報システム
Ａ 薬剤
ＡＲ 領域
Ｂ 薬剤
Ｄ 薬剤
ＥＭ 刻印
ＬＩ 入射光
Ｌ 輝度プロファイル
ＬＯ 反射光
ＮＷ ネットワーク
ＰＡ 撮影光軸
ＰＢ 薬包帯
ＰＩ 注目位置
Ｒ 撮影範囲
ＲＱ クォーター領域
ＳＣ シャーレ
Ｔ、Ｔ１１、Ｔ１２、Ｔ１３、Ｔ２１、Ｔ２２、Ｔ２３ 薬剤
ＴＥ、ＴＲ 薬剤
ＴＰ（ＴＰ１、ＴＰ２） 薬包

Claims (28)

1. 薬剤を照明する照明部と、
   前記照明部によって照明された前記薬剤を撮影する撮影部と、
   前記薬剤の種類ごとに前記薬剤を示すマスタ画像を記憶する記憶部と、
   前記撮影部によって得られた撮影画像に基づいて前記薬剤の位置を取得する薬剤位置取得部と、
   前記薬剤位置取得部によって取得された前記薬剤の位置に基づいて前記マスタ画像を更新するか否かを判定する更新判定部と、
   前記撮影部によって得られた撮影画像のうち薬剤領域から前記マスタ画像を生成するマスタ画像生成部と、
   前記更新判定部によって前記マスタ画像を更新すると判定された場合、前記マスタ画像生成部によって生成された前記マスタ画像を前記記憶部に登録する登録部と、
   を備える薬剤認識装置。
2. 前記登録部は、前記薬剤の位置を示す薬剤位置情報を前記マスタ画像に関連付けて前記記憶部に記憶させ、
   前記更新判定部は、前記撮影部によって撮影された前記薬剤の位置と前記マスタ画像に関連付けられた前記薬剤位置情報とに基づいて、前記マスタ画像を更新するか否かを判定する、
   請求項１に記載の薬剤認識装置。
3. 前記更新判定部は、前記撮影部によって撮影された前記薬剤の位置が前記マスタ画像に関連付けられた前記薬剤位置情報によって示される前記マスタ画像の薬剤の位置よりも前記薬剤に対する認識力が高い場合、前記マスタ画像を更新すると判定する、
   請求項２に記載の薬剤認識装置。
4. 前記登録部は、前記マスタ画像が未登録である種類の前記薬剤が前記撮影部によって撮影された場合、前記撮影部によって得られた撮影画像のうち薬剤領域を前記マスタ画像として前記記憶部に登録する、
   請求項３に記載の薬剤認識装置。
5. 前記更新判定部は、前記撮影部の撮影範囲のうち前記薬剤に対する認識力が基準を満たす基準位置と前記薬剤の位置との距離に基づいて、前記マスタ画像を更新するか否かを判定する、
   請求項１から４のうちいずれか一項に記載の薬剤認識装置。
6. 前記撮影部の撮影範囲のうち前記薬剤に対する認識力が基準を満たす位置を予め求めておき前記基準位置に設定する基準位置設定部を備える、
   請求項５に記載の薬剤認識装置。
7. 前記基準位置は、前記撮影範囲のうち前記薬剤に対する認識力が最も高い位置、または前記薬剤に対する認識力が最も高い領域の代表位置である、
   請求項５または６に記載の薬剤認識装置。
8. 前記認識力は、前記薬剤の表面の刻印に対する認識力であり、前記薬剤の表面の刻印に前記照明部の照明光が入射する入射角に応じて定まる、
   請求項３から７のうちいずれか一項に記載の薬剤認識装置。
9. 前記照明部は、前記薬剤を囲む複数の照明方向から前記薬剤を照明し、
   前記撮影部は、前記薬剤を包む包材の少なくとも一方の面に対向し、
   前記基準位置は、前記撮影範囲の中心位置であり、
   前記更新判定部は、前記撮影範囲の中心位置と前記薬剤の位置との距離に基づいて、前記マスタ画像を更新するか否かを判定する、
   請求項５に記載の薬剤認識装置。
10. 前記照明部は、複数の光源を含んで構成され、
    前記複数の光源と前記撮影部の光軸とが等間隔である、
    請求項９に記載の薬剤認識装置。
11. 前記照明部は、前記薬剤を四方向以上から照明する、
    請求項１から１０のうちいずれか一項に記載の薬剤認識装置。
12. 前記更新判定部は、複数の前記薬剤が一つの薬包に含まれている場合、前記複数の薬剤どうしの間隔に基づいて、前記マスタ画像を更新するか否かを判定する、
    請求項１から１１のうちいずれか一項に記載の薬剤認識装置。
13. 前記照明部は、複数の光源を含んで構成され、
    前記複数の光源のうち前記薬剤を照明する光源を切り替えることにより前記薬剤の照明方向を順番に切り替える照明制御部と、
    前記照明方向が切り替わるごとに前記撮影部に前記薬剤を撮影させる撮影制御部と、
    を備え、
    前記マスタ画像生成部は、前記撮影部によって得られた複数の撮影画像であって前記複数の照明方向に対応する複数の撮影画像を合成して、前記マスタ画像を生成する、
    請求項１から１２のうちいずれか一項に記載の薬剤認識装置。
14. 前記撮影部は、前記薬剤を第１の方向から撮影する第１のカメラと、前記薬剤を前記第１の方向と異なる第２の方向から撮影する第２のカメラと、を含んで構成される、請求項１から１３のうちいずれか一項に記載の薬剤認識装置。
15. 前記薬剤は包装されている請求項１から１４のうちいずれか１項に記載の薬剤認識装置。
16. 前記薬剤が包装された複数の薬包が連続し、
    前記マスタ画像生成部は、一の前記薬包から同一種類の複数の薬剤が撮影された場合、または前記複数の薬包にわたり同一種類の複数の薬剤が撮影された場合は、前記同一種類の複数の薬剤が撮影された複数の薬剤領域を用いて、前記マスタ画像を生成する、
    請求項１から１５のうちいずれか一項に記載の薬剤認識装置。
17. 前記マスタ画像生成部は、一の前記薬包から同一種類の複数の薬剤が撮影された場合、または前記複数の薬包にわたり同一種類の複数の薬剤が撮影された場合は、前記複数の薬剤領域を用いて平均または加重平均により前記マスタ画像を生成する、
    請求項１６に記載の薬剤認識装置。
18. 表示部と、
    前記表示部に、前記撮影画像のうちの薬剤領域を表示させる表示制御部を備える、
    請求項１から１７のうちいずれか一項に記載の薬剤認識装置。
19. 前記マスタ画像と前記撮影画像のうちの薬剤領域との相関値を算出する相関値算出部を備え、
    前記表示制御部は、前記相関値を前記表示部に表示させる、
    請求項１８に記載の薬剤認識装置。
20. 前記表示制御部は、前記マスタ画像を更新した履歴を前記表示部に表示させる、
    請求項１８または１９に記載の薬剤認識装置。
21. 前記表示制御部は、前記薬剤の位置と前記マスタ画像の更新とを関連付けて前記表示部に表示させる、
    請求項２０に記載の薬剤認識装置。
22. 前記撮影画像と、前記記憶部に登録されたマスタ画像のうち最後に登録されたマスタ画像と、を照合して前記撮影画像が示す薬剤がいずれの薬剤であるかを判断する薬剤判断部と、
    前記判断の結果を出力する判断結果出力部と、
    を備える請求項１から２１のうちいずれか１項に記載の薬剤認識装置。
23. 前記薬剤判断部は前記撮影画像と前記マスタ画像との照合結果に基づいて前記撮影画像が示す薬剤の候補を選択し、
    前記判断結果出力部は前記選択された候補を示す情報を出力する請求項２２に記載の薬剤認識装置。
24. 前記撮影画像が示す薬剤に関連する関連情報を入力する関連情報入力部をさらに備え、
    前記薬剤判断部は前記関連情報を参照して前記判断を行う請求項２２または２３に記載の薬剤認識装置。
25. 前記関連情報は処方データに含まれる薬剤の情報であり、
    前記薬剤判断部は、前記処方データに含まれる薬剤についての前記マスタ画像を前記記憶部から取得し、前記撮影画像と前記取得したマスタ画像とを照合して、前記撮影画像が示す薬剤と前記取得したマスタ画像が示す薬剤とが同一であるか否かを判断する請求項２４に記載の薬剤認識装置。
26. 薬剤を照明する照明部と、前記照明部によって照明された前記薬剤を撮影する撮影部と、前記薬剤の種類ごとに前記薬剤を示すマスタ画像を記憶する記憶部と、を用いる薬剤認識方法であって、
    前記撮影部によって得られた撮影画像に基づいて前記薬剤の位置を取得するステップと、
    取得された前記薬剤の位置に基づいて、前記マスタ画像を更新するか否かを判定するステップと、
    前記マスタ画像を更新すると判定された場合、前記撮影画像のうち薬剤領域をマスタ画像として前記記憶部に登録するステップと、
    を含む薬剤認識方法。
27. 請求項２６に記載の薬剤認識方法をコンピュータに実行させる薬剤認識プログラム。
28. 請求項２７に記載の薬剤認識プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
    

Images