JP5492333B1 - ディスプレイを使用した薬剤ピッキング支援システム - Google Patents

Abstract

【目的】作業者がピッキングしようとしている薬剤についてその銘柄、効能、在庫数などの詳細な薬剤関連情報を事前に又は同時並行的に知ることができる薬剤ピッキング支援システムを提供する。
【構成】薬剤収容棚中の各収容部に関するデータと各収容部内にそれぞれ収容された薬剤に関するデータとを記録する記録手段と、前記収容棚の前方に居る作業者の手の距離画像を取得する距離画像取得手段と、前記距離画像と前記各収容部の３次元位置データとに基づいて、前記作業者の手が対向し又は伸びている収容部に収容されている薬剤の関連情報を取得する薬剤関連情報取得手段と、前記取得した薬剤関連情報を収容棚の近傍に位置するディスプレイに表示させる表示制御手段とを備えている。
【選択図】 図１Ａ

Description

本発明は調剤薬局などにおける薬剤ピッキングを支援するシステムであって、特にディスプレイを使用した薬剤ピッキング支援システムに関する。

従来より、調剤薬局などにおいて、薬剤のピッキングが処方箋に従って正しく行われたかどうかを検査するためなどの薬剤ピッキング支援システムが提案されている。例えば、特許文献１では、薬剤師が薬剤をピッキングした後に検査人がピッキングされた薬剤が入っているＰＴＰシートを取り出して、該ＰＴＰシートのバーコードなどが記載された印刷面を撮像及び画像認識し、該ＰＴＰシートの薬剤の名称やＩＤを取得し、該ピッキングされた薬剤が処方箋内容と適合しているかどうかをチェックして調剤ミスを防止するシステムが提案されている。

特開２００４−１６７１５８号公報

しかしながら、上記特許文献１が提案する調剤ミス防止等のためのシステムでは、薬剤師が薬剤をピッキングした後に検査人がピッキングされた複数のＰＴＰシートをいちいち取り出してそのバーコードなどが表示された印刷面を撮像し画像認識するようにしているため、薬剤師によるピッキング動作の後にＰＴＰシート印刷面の読取りや画像認識などの手間や時間が余分に必要になり患者が調剤された薬剤を受け取るまでの待ち時間が長くなってしまう、ＰＴＰシートの印刷面の読取装置やその読み取った画像から薬品名などを得る画像認識処理装置などを備えるために多くのコストが掛かってしまうなどの問題があった。

さらに、従来は、薬剤師は、これから収容棚中の収容部（収容箱）から薬剤をピッキングしようとするとき、前記各収容部から取り出したＰＴＰシートの印刷面の文字などを見て薬剤の名称や内容などを確認するしかなかったため、薬剤師は、これから手を入れて取り出そうとする収容部内の薬剤の効能、副作用、対応ジェネリック製品、又は在庫数などの詳細な関連情報を事前に（又はピッキングと同時並行的に）容易に知ることができないという問題があった。

本発明は、このような従来技術の問題点に着目してなされたものであって、作業者がこれからピッキングしようとする又は現在ピッキングしている薬剤についてその銘柄、効能、副作用、製薬会社名、対応ジェネリック製品、又は在庫数などの薬剤関連情報（薬剤の銘柄等の識別情報及び効能等の属性情報）を事前に又は同時並行的に容易に知ることができる、薬剤ピッキング支援システムを提供することを目的とする。

このような課題を解決するための本発明によるディスプレイを使用した薬剤ピッキング支援システムは、複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚（複数個の収納棚が組み合わされたものを含む）と、前記収容棚中の各収容部に関するデータ（少なくとも各収容部の３次元位置データを含む）と各収容部内にそれぞれ収容された薬剤に関するデータ（少なくとも薬剤の効能又は在庫数などの薬剤関連情報を含む）とを互いに対応付けて記録する収納部対薬剤関連情報記録手段と、少なくとも前記収容棚の前方に居る各作業者の手の距離画像を取得する距離画像取得手段と、前記距離画像取得手段からの距離画像に基づいて、３次元的に動く各作業者の手の各３次元的位置を、それぞれ各作業者毎に互いに区別して追跡する追跡手段と、前記追跡手段により取得される各作業者の手の各３次元的位置の情報と前記収納部対薬剤関連情報記録手段に記録された各収容部の３次元位置データとに基づいて、「各作業者の手の各３次元位置とそれぞれ対応する、すなわち各作業者の手がそれぞれ対向し又は伸びている各収容部」に収容されている薬剤の関連情報を、各作業者毎に互いに区別して取得する薬剤関連情報取得手段と、前記収容棚の近傍に位置するディスプレイと、前記薬剤関連情報取得手段により取得された薬剤関連情報を前記ディスプレイに表示させる表示制御手段とを備えたことを特徴とするものである。

また、本発明によるディスプレイを使用した薬剤ピッキング支援システムは、複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚（複数個の収納棚が組み合わされたものを含む）と、前記収容棚中の各収容部に関するデータ（少なくとも各収容部の３次元位置データを含む）と各収容部内にそれぞれ収容された薬剤に関するデータ（少なくとも薬剤の効能又は在庫数などの薬剤関連情報を含む）とを互いに対応付けて記録する収納部対薬剤関連情報記録手段と、少なくとも前記収容棚の前方に居る各作業者の手の距離画像を所定時間毎に各作業者毎に区別して取得する距離画像取得手段と、前記距離画像取得手段からの各距離画像と前記収納部対薬剤関連情報記録手段に記録された各収容部の３次元位置データとに基づいて、「各作業者の手の各３次元位置とそれぞれ対応する、すなわち各作業者の手がそれぞれ対向し又は伸びている各収容部」に収容されている薬剤の関連情報を取得する薬剤関連情報取得手段と、各作業者がそれぞれ携帯し又はその身体に装着して使用する各ディスプレイと、前記薬剤関連情報取得手段により取得された薬剤関連情報であって前記各作業者の手がそれぞれ対向し又は伸びている各収容部に収容されている薬剤の関連情報を、前記各ディスプレイにそれぞれ各作業者に対応して表示させる表示制御手段とを備えたことを特徴とするものである。

本発明の図１Ａ（ａ）に示す例においては、前記薬剤関連情報取得部１０３が、距離画像取得部１０２からの距離画像と収納部対薬剤関連情報記録部１０１に記録された各収容部の３次元位置データとに基づいて、「作業者の手の３次元位置と対応する、すなわち作業者の手が対向し又は伸びている収容部」に収容されている薬剤の関連情報（識別情報及び属性情報）を取得し、前記表示制御部１０４が、前記取得された薬剤関連情報を収容棚１００に又はその近傍に配置されたディスプレイ１０５に表示させるようにしている。

また本発明の図１Ａ（ｂ）に示す例においては、前記収容部等特定部１１４が、距離画像取得部１１３からの距離画像と収納部対薬剤識別データ記録部１１１に記録された各収容部の３次元位置データとに基づいて、「作業者の手の３次元位置と対応する、すなわち作業者の手が対向し又は伸びている収容部」又はそれに収容されている薬剤を特定し、薬剤関連情報取得部１１５が、前記収容部等特定部１１４により特定された収容部又は薬剤のデータに基づいて、前記薬剤関連情報記録部１１２から、前記作業者の手が対向し又は伸びている収容部に収容された薬剤の関連情報（識別情報及び属性情報）を取得し、前記表示制御部１１６が、前記取得された薬剤関連情報を収容棚１００に又はその近傍に配置されたディスプレイ１１７に表示させるようにしている。

したがって、上記の本願各発明（図１Ａ（ａ）又は（ｂ）参照）によれば、作業者は、薬剤ピッキング作業中に、例えば目的とする薬剤が収容されている（であろう）収容部の方に手を伸ばし又は伸ばそうとするだけで、自らがこれからピッキングしようとしている又は現在ピッキングしている収容部内の薬剤の銘柄、効能、副作用、製薬会社名、対応ジェネリック製品、又は在庫数などの詳細な薬剤関連情報（薬剤の銘柄等の識別情報及び効能等の属性情報）を画面で目視することができる。よって、上記の本願各発明によれば、作業者は、収容部から薬剤を取り出す直前に（又は収容部からの薬剤の取り出し動作と同時並行的に）当該収容部内の薬剤の詳細な内容等を確認することができるので、薬剤ピッキング作業をより容易に且つ効率化し、ピッキング作業ミスをより低減させることができる。

（ａ）及び（ｂ）はそれぞれ本発明に係るディスプレイを使用した薬剤ピッキング支援システムの一例を説明するための概念ブロック図である。 本発明の実施形態１に係る薬剤ピッキング支援システムの構成とを示す概略図である。 本実施形態１の動作を説明するための概略図である。 本実施形態１の動作を説明するための概略図である。 本実施形態１の動作を説明するための概略図である。 本実施形態１の動作を説明するための概略図である。 本発明の実施形態２に係る薬剤ピッキング支援システムの構成を示す概略図である。 本実施形態２の動作を説明するための概略図である。

［実施形態１］
以下、本発明の実施の形態１を図面を用いて説明する。図１Ｂは、本発明の実施形態１に係る薬剤ピッキング支援システムの構成を示す概略図である。図１Ｂにおいて、１は各薬剤をその種類又は銘柄毎に収容する各収容部２を上下及び左右方向に並べて成る収容棚、３は薬剤師１０が処方箋に基づいてピッキングした薬剤を載置するための載置籠、４は前記載置籠３などを置くための作業台、５は前記収容棚１の上方に配置されたディスプレイ、６は前記載置籠３及びその中に入れられた薬剤などのＲＧＢ画像を取得する可視光カメラ、７は前記収容棚１の近傍（例えば上方）に配置され薬剤師１０の手１０ａ及びその周辺（載置籠３などを含んでもよい）の距離画像を取得する距離画像センサである（なお本実施形態１では、前記可視光カメラ６と距離画像センサ７は実際には図１Ｂの奥行き方向に並べられているが、図１Ｂでは図示の便宜上、左右に並べて図示している）。

本実施形態１では、図１Ｂの可視光カメラ６及び距離画像センサ７は、米マイクロソフト社製「Ｋｉｎｅｃｔ ｆｏｒ Ｗｉｎｄｏｗｓ」（登録商標。以下「Ｋｉｎｅｃｔ」と略す。）に備えられたものを使用している。Ｋｉｎｅｃｔは、周囲のカラー画像を取得するＲＧＢカメラ、周囲に所定の赤外線ドットパターンを照射する赤外線プロジェクタ、及び前記照射された赤外線の反射光を撮像する赤外線カメラを備えており、また、前記赤外線カメラからのデータ（距離画像）に基づいて膨大なサンプル画像との比較から身体の骨格部位を推定、追跡する処理などを行うプロセッサを内蔵している。これらの中、前記ＲＧＢカメラが図１Ｂの可視光カメラ６を、前記赤外線プロジェクタ及び赤外線カメラが図１Ｂの距離画像センサ７を、前記プロセッサが図１Ｂの制御部１１の一部を構成している。図１Ｂの距離画像センサ７は、所定パターンで赤外線を照射し、その反射光を赤外線カメラで撮像することにより、画素毎の奥行き情報（深度情報）を含む距離画像を毎フレームごとに取得するものである。

次に、図１Ｂにおいて、１１は前記ディスプレイ５を制御し、前記可視光カメラ６を制御し且つそれが取得した画像データを受信、記録し、前記距離画像センサ７を制御し且つそれが取得した距離画像データを受信、記録する制御部（パソコンなどで構成される）である。また、１２は前記可視光カメラ６が例えば所定時間毎に取得した前記載置籠３の画像を例えば取得日時などと関連付けて逐次記録、蓄積する籠画像蓄積部、１３は前記距離画像センサ７が例えば所定時間毎に取得した薬剤師１０の手の３次元位置データを例えば取得日時などと関連付けて逐次記録、蓄積する手位置データ蓄積部、１４は前記Ｋｉｎｅｃｔを使用して作成した前記収容棚１の各収容部２の３次元位置範囲（距離画像に基づく座標から、ｘ座標○〜●，ｙ座標△〜▲，ｚ座標□〜■を各収容部別に羅列したもの）と各収容部２に収容されている薬剤の識別データ（銘柄・名称などを含む）を互いに対応付けて記録した収納部対薬剤データベース、１５は各薬剤の識別データ（銘柄・名称などを含む）とその効能、副作用、代替品（ジェネリック製品）、又は在庫数などの関連情報（属性情報）を互いに対応付けて記録した薬剤関連データベースである。

次に本実施形態１の動作を説明する。まず事前作業について説明する。事前作業としては、Ｋｉｎｅｃｔ（可視光カメラ６及び距離画像センサ７などを含む）を、収容棚１の上方の位置であって可視光カメラ６が載置籠３を撮像可能で且つ距離画像センサ７がピッキング作業を行う薬剤師１０（及び収容棚１）の距離画像を取得可能な位置に配置する。次に、Ｋｉｎｅｃｔの距離画像センサ７を使用して、前記収容棚１中の各収容部２のそれぞれの３次元位置範囲（ｘ座標○〜●，ｙ座標△〜▲，ｚ座標□〜■を各収容部別に羅列したもの）を取得し、取得した各収容部２毎の３次元位置範囲（各３次元位置座標データ）を、各収容部２に収容されている薬剤の識別データ（名称・銘柄など）と対応付けて記録し、これにより収納部対薬剤データベース１４を作成する。また、各薬剤の効能、副作用、代替品（ジェネリック製品）、又は在庫数などの関連情報（属性情報）を各薬剤の識別データと対応付けて記録した薬剤関連データベース１５も予め用意しておく。

次に、薬剤師１０がピッキング作業を行っているときにその薬剤師１０により前記各収容部２から取り出された薬剤を検出・特定する動作を、図２〜４を参照して説明する。なお、図３，４において、２１，２２，２３はそれぞれ薬剤師１０により前記載置籠３上に置かれたＰＴＰシート（薬剤が封入されている）である。

まず、前記Ｋｉｎｅｃｔの可視光カメラ６は、前記載置籠３のＲＧＢ画像を例えば所定時間毎に取得する。制御部１１は、この可視光カメラ６からの画像データを所定時間毎に受信し、逐次、取得日時等と関連付けて前記籠画像蓄積部１２に記録・蓄積する。また、前記Ｋｉｎｅｃｔは、搭載した距離画像センサ７により、対象物に照射した赤外線の反射光を赤外線カメラで撮像して得た距離画像を取得し、さらに、内蔵したプロセッサ（又はこれにより駆動されるソフトウェア）により、前記取得した距離画像から、薬剤師１０の手の３次元位置データを例えば所定時間毎に取得する。図１Ａの制御部１１は、この薬剤師１０の手の３次元位置データを所定時間毎に前記Ｋｉｎｅｃｔより受信して逐次、取得日時等と関連付けて前記手位置データ蓄積部１３に記録・蓄積する。

また、制御部１１は、前記距離画像センサ７から所定時間毎に送信される距離画像（前記Ｋｉｎｅｃｔから所定時間毎に送信される薬剤師１０の手の３次元位置データ）に基づいて、例えば薬剤師１０の手１０ａと収納部２ａ（図２参照）との間の３次元的距離が所定距離よりも近づいたとき、薬剤師１０が当該収納部２に手１０ａを対向し又は伸ばしたと判定する。

また、制御部１１は、随時、前記可視光カメラ６から送信されるＲＧＢ画像をその直前のＲＧＢ画像と比較し、前記載置籠３内の画像（前記載置籠３上に置かれたモノの画像）に変化があったかどうか、具体的には、前記載置籠３上に置かれたもの（薬剤）の個数又は面積が増えたこと又は減ったことを判定する。そして、例えば、制御部１１が、前回取得した画像（図３（ａ）参照）と今回取得した画像（図３（ｂ）参照）とを比較し、例えば、前記載置籠３上に置かれたもの（ＰＴＰシート）の全体の面積が「増えた」と判定した場合は、今回の画像（図３（ｂ）参照）を取得した時点の直前に前記収容棚１内の収容部２ａに延びた薬剤師１０の手（図２参照）の３次元位置データを、前記手位置データ蓄積部１３から取得する。そして、制御部１１は、この取得した３次元位置データから、前記収納部対薬剤データベース１４を参照して、前記３次元位置データに対応する収納部２及びそこに収納された薬剤のデータ（識別データなど）を取得する。

以上により、制御部１１は、薬剤師１０が前記収容棚１内の収容部２ａから薬剤を取り出して載置籠３に置いたこと、及び、前記の収容部２ａから取り出されて載置籠３内に置かれた薬剤（図３（ａ）の画像では無かったが図３（ｂ）の画像では存在するＰＴＰシート２２）の名称・銘柄を、特定する。また、さらに新たな画像が取得されたときも、制御部１１は、前回取得した画像（図３（ｂ）参照）とその後に新たに取得された画像（図３（ｃ）参照）とを比較して前記載置籠３上に置かれたもの（ＰＴＰシート）の例えば個数又は面積が増えたと判定された場合は、上記と同じ動作を繰り返す。

以上の図３の動作例に示すように、本実施形態１では、載置籠３の画像が変化したとき、例えば載置籠３上の物体（薬剤）の全体の個数又は面積が増加したときは、制御部１１が、その直前に取得された薬剤師１０の手の３次元位置から、対応する収容部２及びその内容物としての薬剤を、「薬剤師１０が収容部２ａから取り出して載置籠３に入れ置いた薬剤」として、特定する。したがって、本実施形態１によるときは、現在安価に市販されているＫｉｎｅｃｔを備えるだけで、薬剤師１０が収容部２ａから取り出して載置籠３に入れ置いた薬剤を、そのピッキング動作と同時並行的に特定することが可能になる。よって、本実施形態１によれば、患者の待ち時間を増加させないままで且つ極めて低コストで、ピッキング薬剤を特定することができるようになり、その結果、調剤ミスの防止や調剤ミスの原因究明などを効率的に実現できるようになる。

次に、例えば、制御部１１が、前回取得した画像（図４（ｂ）参照）と今回取得した画像（図４（ｃ）参照）とを比較し、前記載置籠３上に置かれたもの（ＰＴＰシート）の例えば個数又は面積が「減った」と判定した場合は、今回の画像（図４（ｃ）参照）を取得した時点の直後に前記収容棚１内のいずれかの収容部２に延びた薬剤師１０の手の３次元位置データを、前記手位置データ蓄積部１３から取得する。そして、制御部１１は、この取得した３次元位置データから、前記収納部対薬剤データベース１４を参照して、前記３次元位置データに対応する収納部２及びそこに収納された薬剤のデータ（銘柄などの識別データなど）を取得する。以上により、制御部１１は、薬剤師１０が（例えば既に行ったピッキングの誤りに後から気が付いて）載置籠３から一つ又は複数の薬剤を取り上げて収容棚１内の対応の収容部２に戻したこと、及び前記の収容部２に戻した薬剤（図４（ｂ）の画像では存在していたが図４（ｃ）の画像では無くなったＰＴＰシート２２）に関する名称・銘柄を、特定する。

以上の図４の動作例に示すように、本実施形態１では、載置籠３上の物体（薬剤）の全体の個数又は面積が減少したときは、制御部１１が、その直後に取得された薬剤師１０の手の３次元位置から、対応する収容部２及びその内容物としての薬剤を、「薬剤師１０が（例えば、既に行ったピッキングの誤りに気付いて）載置籠３から取り上げて収容部２に戻した薬剤」として、特定する。よって、本実施形態１によれば、「薬剤師１０が（例えば、既に行ったピッキングの誤りに気付いて）載置籠３から薬剤を取り上げて収容部２に戻したこと、及びそのようにして収容部に戻した薬剤」をも特定することが可能になり、その結果、薬剤ピッキングの検査（調剤ミスの検査）や調剤ミスの原因究明などをより高精度に行えるようになる。

次に、本実施形態１の本発明に係る部分の動作を図５を参照して説明する。前述のように、制御部１１は、前記距離画像センサ７から所定時間毎に送信される距離画像（前記Ｋｉｎｅｃｔから所定時間毎に送信される薬剤師１０の手の３次元位置データ）に基づいて、例えば薬剤師１０の手１０ａといずれかの収納部２ａとの間の距離が所定距離よりも近づいたとき、薬剤師１０が当該収納部２ａに手１０ａを伸ばしたと判定する。そして、制御部１１は、前記判定時の薬剤師１０の手１０ａの３次元位置から、収納部対薬剤データベース１４を参照して、前記手１０ａの３次元位置と対応する収容部２ａを特定し、さらにこの収容部２ａに対応する薬剤を特定する。そして、制御部１１は、薬剤関連データベース１５を参照して、前記特定した薬剤の関連情報（属性情報）を取得して、その関連情報をディスプレイ５に表示させる。図５はこのようにして表示されたディスプレイ５の画面の一例を示すものである。

例えば薬剤師１０の１０ａ手が収容部２−５（例えば図２の収容棚１において左から２番目で上から５番目の収容部）の近くに伸びたとき（未だ収容部２−５から内容物の薬剤は取り出していない段階）で、制御部１１は、前記手１０ａの３次元位置から、対応する収容部２−５を特定し、前記薬剤関連データベース１５を参照して、前記収容部２−５内に収容されている薬剤の関連情報を取得する。そして、これをディスプレイ５に送信し、例えば「収容部２−５ アーチスト１０ｍｇ 血圧硬化剤 ジェネリックはカルベジロール錠 収容部２−１に在庫有り」と表示させる。これにより、薬剤師１０は、今から自分が取り出そうとしている収容部２−５内の内容物（薬剤）の関連情報（銘柄等の識別情報と効能等の属性情報）を見て、今から自分が取り出そうとしている（又は現在取り出しつつある）薬剤が処方箋の内容と適合しているかどうかを容易に確認することができるので、薬剤ピッキング作業をより容易にし、かつ効率化し、ピッキング作業ミスをより低減させることができる。

［実施形態２］
次に図６，７を参照して本発明の実施形態２の構成及び動作を説明する。図６，７において図１Ｂ，図２と共通する部分は同一の符号を付して説明を省略する。図６において、符号２４は、複数の各薬剤師が同時にピッキング作業を行った場合等における各薬剤師のＩＤ又は氏名等の識別データとその各薬剤師がそれぞれ使用した各載置籠（前記色又は形状等の特徴から互いに区別できるもの）の識別データとを互いに対応付けて記録しておく容器対作業者記録部である。また、図７は、２人の薬剤師１０，２０が、色又は形状等の特徴により互いに区別可能な複数の載置籠３ａ，３ｂをそれぞれ使用しながら、薬剤ピッキングを同時並行的に行っている場合を示すものである。

本実施形態２においては、制御部１１（実際には、制御部１１、及び距離画像センサ７に内蔵されたプロセッサ）はＫｉｎｅｃｔの一部を含むように構成されている。そして、Ｋｉｎｅｃｔ（米マイクロソフト社が提供しているＫｉｎｅｃｔ ｆｏｒ Ｗｉｎｄｏｗｓ ＳＤＫ（登録商標））は、複数人の各ユーザー毎に区別された距離画像、すなわち複数人の各ユーザーＩＤにそれぞれ対応付けられた距離画像（各ユーザーＩＤでラベリング処理された距離画像。各画素中にそれぞれ各ユーザーを区別するインデックス値が入れられている距離画像）を同時に取得する機能を有している。本実施形態２では、このような制御部１１（実際には、制御部１１、及び距離画像センサ７に内蔵されたプロセッサ）が、Ｋｉｎｅｃｔに含まれる前記赤外線カメラ（距離画像センサ７の一部）からの各薬剤師の手などの画像データに基づいて、複数の各薬剤師１０，２０の手１０ａ，２０ａ及びその周囲の距離画像を、各薬剤師１０，２０のＩＤと対応付けて取得する。そして、制御部１１は、前記取得した各薬剤師１０，２０のＩＤとそれぞれ対応する距離画像に基づいて各薬剤師１０，２０の手１０ａ，２０ａがそれぞれ伸びた又はその中に入った各収容部２ａ，２ｂ及びその中に収容されている薬剤に関する関連情報（銘柄などの識別情報、及び効能などの属性情報）を各薬剤師１０，２０のＩＤと対応付けて取得し、その薬剤関連情報を各薬剤師１０，２０のＩＤと対応付けてディスプレイ５に表示する。この場合、ディスプレイ５には、例えば、各薬剤師１０，２０毎に画面が分割され、その各分割画面中にそれぞれ各薬剤師１０，２０がピッキングしようとしている（各薬剤師１０，２０の手１０ａ，２０ａが伸びる又は入っている）収容部２ａ，２ｂ中の薬剤の銘柄、効能、又は在庫数等の関連情報が表示される。

次に、本実施形態２において、制御部１１は、前記可視光カメラ６からのＲＧＢ画像に基づいて、複数の載置籠３ａ，３ｂをその色や形状により互いに識別する機能（画像認識ソフト）を備えている。よって、制御部１１は、前記可視光カメラ６からの画像に基づいて、複数の薬剤師１０，２０がそれぞれピッキング薬剤を入れ置く載置籠３ａ，３ｂを互いに識別し、それらの各載置籠３ａ，３ｂ内の画像に変化があったこと（載置籠３ａ，３ｂに置かれた薬剤が増えたこと又は減ったこと）を互いに区別して検出することができる。

また、本実施形態２では、前述のように、ピッキングをする各薬剤師１０，２０のＩＤ又は氏名等と各薬剤師１０，２０が使用する各載置籠３ａ，３ｂ（色又は形状などで互いに区別可能なもの）の識別データとを互いに対応付けて記録しておく容器対作業者記録部２４が備えられている。よって、本実施形態２においては、制御部１１が容器対作業者記録部２４を参照することにより、載置籠３ａ，３ｂが複数個ある場合でも、各載置籠３ａ，３ｂ内の変化（面積の増減又は薬剤の増減）とこれにより求められる各載置籠３ａ，３ｂ中の各ピッキングされた薬剤とを、各薬剤師１０，２０のＩＤ又は氏名等と対応付けて特定、記録することができる。

次に、以上の構成の下で、本実施形態２の制御部１１は、次のような手順により、各薬剤師１０，２０がピッキングして各載置籠３ａ，３ｂ内に置いた薬剤のデータを取得するようにしている。
１．制御部１１は、各薬剤師１０，２０が収容棚１中の各収容部２ａ，２ｂに自分の手を近づけるか各収容部２ａ，２ｂの中に自分の手を入れたら、各薬剤師１０，２０の骨格の追跡を開始する。そして、制御部１１は、各薬剤師１０，２０が各収容部２ａ，２ｂに自分の手１０ａ，２０ａを近づけるか又は各収容部２ａ，２ｂ中に自分の手１０ａ，２０ａを入れた段階で、ピッキングしようとした薬剤のデータｘ，ｙ（この場合は、薬品名、薬品を一意に表すＩＤなどの識別データだけでもよい）を前述のように認識する。また、制御部１１は、各手１０ａ，２０ａの追跡中は、各手１０ａ，２０ａの３次元位置と薬剤のデータｘ，ｙとを互いにで結び付けている。
２．制御部１１は、各手１０ａ，２０ａの３次元位置と載置籠３ａ，３ｂとの距離がしきい値以下になったら、薬剤のデータｘ，ｙと当該載置籠３ａ，３ｂ又はその所有者（薬剤師１０，２０）とを対応付ける。
３．制御部１１は、載置籠３ａ，３ｂ内の面積が増えた場合、薬剤師１０，２０がピッキング動作を行ったと判定する（薬剤師１０，２０のピッキング履歴に当該薬品のデータｘ，ｙを追加する）。

また、本実施形態２の制御部１１は、次のような手順により、各薬剤師１０，２０が、いったんピッキングして載置籠３ａ，３ｂ内に置いた薬剤をその後に載置籠３ａ，３ｂから取り出して各収容部２ａ，２ｂに戻したとき、その戻した当該薬剤のデータを、取得するようにしている。
１．制御部１１は、載置籠３ａ，３ｂ内の面積が減った場合、各薬剤師１０，２０の各手１０ａ，２０ａの骨格の追跡を開始する。
２．制御部１１は、追跡開始後に初めて認識された各手１０ａ，２０ａの中、各載置籠３ａ，３ｂに最も近い位置にある各手１０ａ，２０ａと各載置籠３ａ，３ｂの所有者（薬剤師１０，２０）の情報（ＩＤ等）とを結び付ける。
３．制御部１１は、各薬剤師１０，２０がその手１０ａ，２０ａを収容棚１中の各収容部２ａ，２ｂに近づけたか又はその中に入れたとき、各薬剤師１０，２０が各収容部２ａ，２ｂに対応する薬剤データｘ，ｙの薬剤を各載置籠３ａ，３ｂから各収容部２ａ，２ｂ内に戻したと判定する（この場合は、各薬剤師１０，２０のピッキング履歴から、当該薬剤データｘ，ｙを消去する）。

以上より、本実施形態２においては、複数の薬剤師１０，２０により同時並行的に薬剤ピッキングが行われる場合でも、各載置籠３ａ，３ｂ内の薬剤の増減、及びピッキングされた収容部２ａ，２ｂと薬剤を、各載置籠３ａ，３ｂ毎・各薬剤師１０，２０毎に、特定できるようになる。よって、本実施形態２によれば、複数人により同時並行的に行なわれた薬剤ピッキングの検査（調剤ミスの検査）を効率化できると共に、各作業者毎にピッキングされた薬剤を追跡することができることから、調剤ミスの原因究明などもより効率的、高精度に行うことができるようになる。

以上、本発明の実施形態１について説明したが、本発明は前記の実施形態１として述べたものに限定されるものではなく、様々な修正及び変更が可能である。例えば、前記実施形態１，２においては、距離画像取得手段として、Ｋｉｎｅｃｔに備えられている赤外線プロジェクタ及び赤外線カメラを使用するようにしたが、本発明ではこれに限られるものではなく、例えば「Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ」方式による距離画像センサを使用するようにしてもよい。

また、前記実施形態１，２に係る図２，７では、一台の収容棚１中の各収容部２から薬剤をピッキングする例を示したが、本発明は複数台の収容棚を並べて置いた場合にも対応できるものであり、複数台の収容棚が並べられたものに本発明を適用した場合でも、それらの複数の収容棚中の各収容部は、「複数の収容棚の中のどの収容棚に含まれるものか」に拘わらずそれぞれの３次元位置に基づいて、作業者の手が伸びてピッキングされた収容部かどうかなどが判断（特定）される。

また、前記実施形態１，２においては、制御部１１は、可視光カメラ６により取得された載置籠３のＲＧＢ画像に基づいて、載置籠３内の薬剤の変化（薬剤の個数又は面積の増減）を判定するようにしたが、本発明はこれに限られるものではなく、例えば、制御部１１は、「図１Ｂ，６などの距離画像センサ７に含まれる赤外線カメラ、又は前記距離画像センサ７の赤外線カメラとは別個に設置された赤外線カメラ」により撮像された載置籠３の赤外線画像に基づいて、載置籠３内の薬剤の変化（薬剤の個数又は面積の増減）を判定するようにしてもよい（この場合、図１Ｂ，６などの可視光カメラ６は不要となる）。さらに、本発明では、例えば、距離画像センサ７が少なくとも「作業者１０，２０の手１０ａ，２０ａと載置籠３，３ａ，３ｂ」の距離画像を取得するようにし、制御部１１が、距離画像センサ７により取得された載置籠３，３ａ，３ｂの距離画像に基づいて、載置籠３，３ａ，３ｂ内の薬剤の変化（薬剤の個数、面積又は体積の増減）を判定するようにしてもよい（この場合、図１Ｂ，６などの可視光カメラ６は不要となるので、装置を低コスト化できるなどの効果が得られる）。

また、前記実施形態１においては、本発明に係る薬剤師がピッキングしようとしている薬剤の関連情報をディスプレイに表示するための構成（図５など参照）を、「載置籠３，３ａ，３ｂ内の薬剤の変化（薬剤の個数、面積又は体積の増減）の判定、及び、薬剤師等により収容部からピッキングされた薬剤の特定」と関連付けて実施するようにしているが、本発明はこれに限られるもではなく、例えば、「載置籠３，３ａ，３ｂ内の薬剤の変化（薬剤の個数、面積又は体積の増減）の判定、及び、薬剤師等により収容部からピッキングされた薬剤の特定」を行わないまま、薬剤師等がこれからピッキングしようとしている（又はピッキング中の）薬剤の関連情報を取得してそれをディスプレイに表示するようにしてもよい。このように、「載置籠３，３ａ，３ｂ内の薬剤の変化（薬剤の個数、面積又は体積の増減）の判定、及び、薬剤師等により収容部からピッキングされた薬剤の特定」を行わないまま、薬剤師等がこれからピッキングしようとしている（又はピッキング中の）薬剤の関連情報をディスプレイに表示するだけでも、薬剤師等による薬剤ピッキング作業を支援する効果を十分に発揮することができる。

また、前記実施形態１においては、各収容部の３次元位置データと各収容部に収容されている薬剤の識別データ（銘柄等）を互いに対応付けて記録する収容部対薬剤データベース１４と、各薬剤の識別データと各薬剤の属性情報（効能、製薬会社名、副作用、又は在庫数などの属性データ）とを互いに対応付けて記録する薬剤関連データベース１５とを互いに別個に構成するようにしている（図１Ｂなど参照）が、本発明においては、これらを一つのデータベースとして構成するようにしてもよい（すなわち、各収容部の３次元位置データと、各収容部に収容されている薬剤の関連情報（銘柄等の識別データ、及び、効能、製薬会社名、副作用、又は在庫数などの属性データ）とを互いに対応付けて記録しておく一つのデータベースとして構成するようにしてもよい）。

また、前記実施形態１ではディスプレイ５は収容棚１の上にＫｉｎｅｃｔと一緒に設置する（ボルトや粘着テープなどで固定的に設置する）ようにしている（図１Ｂ参照）が、本発明におけるディスプレイはこれに限られるものではなく、例えばスマートフォンやタブレット端末などに備えられたディスプレイのように、薬剤師等が携帯して又は身体装着して使用する携帯型端末又は腕時計型などのウェアラブル型端末に備えられたディスプレイであってもよい。

さらに、前記実施形態２に関する図７では図示していないが、本発明においては、前記実施形態２のように複数の薬剤師が同時並行的に薬剤ピッキング作業を行う場合は、各薬剤師毎に別々のディスプレイ５を備えるようにして、各薬剤師のピッキング作業に即して各人がこれからピッキングしようとしている又はピッキング中の収容部に収容された薬剤の関連情報を各人別のディスプレイ５（例えば前述の各薬剤師等が携帯して又は身体装着して使用する携帯型端末又はウェアラブル型端末に備えられたディスプレイ）に表示させるようにすることも可能である。

１，１００ 収容棚
２，２ａ，２ｂ 収納部
３，３ａ，３ｂ 載置籠
５ ディスプレイ
６ 可視光カメラ
７ 距離画像センサ
１０，２０ 薬剤師
１０ａ，２０ａ 薬剤師の手
１１ 制御部
１２ 籠画像蓄積部
１３ 手位置データ蓄積部
１４ 収納部対薬剤データベース
１５ 薬剤関連データベース
２１，２２，２３ ＰＴＰシート
２４ 容器対作業者記録部
１０１ 収納部対薬剤関連情報記録部
１０２，１１３ 距離画像取得部
１０３，１１５ 薬剤関連情報取得部
１０４，１１６ 表示制御部
１０５，１１７ ディスプレイ
１１１ 収納部対薬剤識別データ記録部
１１２ 薬剤関連情報記録部
１１４ 収容部等特定部

Claims (2)

1. 複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚（複数個の収納棚が組み合わされたものを含む）と、
   前記収容棚中の各収容部に関するデータ（少なくとも各収容部の３次元位置データを含む）と各収容部内にそれぞれ収容された薬剤に関するデータ（少なくとも薬剤の効能又は在庫数などの薬剤関連情報を含む）とを互いに対応付けて記録する収納部対薬剤関連情報記録手段と、
   少なくとも前記収容棚の前方に居る各作業者の手の距離画像を取得する距離画像取得手段と、
   前記距離画像取得手段からの距離画像に基づいて、３次元的に動く各作業者の手の各３次元的位置を、それぞれ各作業者毎に区別して追跡する追跡手段と、
   前記追跡手段により取得される各作業者の手の各３次元的位置の情報と前記収納部対薬剤関連情報記録手段に記録された各収容部の３次元位置データとに基づいて、「各作業者の手の各３次元位置とそれぞれ対応する、すなわち各作業者の手がそれぞれ対向し又は伸びている各収容部」に収容されている薬剤の関連情報を、各作業者毎に区別して取得する薬剤関連情報取得手段と、
   前記収容棚の近傍に位置するディスプレイと、
   前記薬剤関連情報取得手段により取得された薬剤関連情報を前記ディスプレイに表示させる表示制御手段と、
   を備えたことを特徴とするディスプレイを使用した薬剤ピッキング支援システム。
2. 複数の種類又は銘柄の薬剤を各種類又は銘柄別にそれぞれ収容する各収容部が縦及び横方向に並べられて成る収容棚（複数個の収納棚が組み合わされたものを含む）と、
   前記収容棚中の各収容部に関するデータ（少なくとも各収容部の３次元位置データを含む）と各収容部内にそれぞれ収容された薬剤に関するデータ（少なくとも薬剤の効能又は在庫数などの薬剤関連情報を含む）とを互いに対応付けて記録する収納部対薬剤関連情報記録手段と、
   少なくとも前記収容棚の前方に居る各作業者の手の距離画像を所定時間毎に各作業者毎に区別して取得する距離画像取得手段と、
   前記距離画像取得手段からの各距離画像と前記収納部対薬剤関連情報記録手段に記録された各収容部の３次元位置データとに基づいて、「各作業者の手の各３次元位置とそれぞれ対応する、すなわち各作業者の手がそれぞれ対向し又は伸びている各収容部」に収容されている薬剤の関連情報を取得する薬剤関連情報取得手段と、
   各作業者がそれぞれ携帯し又はその身体に装着して使用する各ディスプレイと、
   前記薬剤関連情報取得手段により取得された薬剤関連情報であって前記各作業者の手がそれぞれ対向し又は伸びている各収容部に収容されている薬剤の関連情報を、前記各ディスプレイに各作業者に対応するようにそれぞれ表示させる表示制御手段と、
   を備えたことを特徴とするディスプレイを使用した薬剤ピッキング支援システム。
   

Images