JP7437259B2 - 画像処理装置、薬剤識別装置、画像処理方法及び薬剤識別方法 - Google Patents

Description

本発明は画像処理装置、薬剤識別装置及び画像処理方法に関する。

病院及び薬局等の医療機関では、薬剤の監査及び持参薬の鑑別が実施される。目視を適用して薬剤の監査等を実施する場合、薬剤師等の作業者の負担が大きい。そのために、医療機関では薬剤の監査等を支援するシステムが採用されている。

特許文献１は、薬剤鑑別システムに具備される薬剤の画像を撮影する薬剤撮影装置が記載されている。同文献に記載の装置は、薬剤を上から見た画像を撮影する第１カメラ及び薬剤を下から見た画像を撮影する第２カメラを備える。第１カメラ及び第２カメラを用いて撮影された薬剤の撮影画像は表示装置の画面に表示される。

表示装置の画面に表示される錠剤画像鑑別ウインドウは、第１の部分、第２の部分及び第３の部分が含まれる。第１の部分は、撮影画像の全体を表示する。第２の部分は、第１の部分に表示された薬剤の中から選択された薬剤を拡大表示する。第３の部分は、選択された薬剤の鑑別が終了している場合に、鑑別結果が得られた候補薬のリストを表示する。

第１の部分は、上からビュータブが選択される場合に、薬剤を上から撮影した画像が表示され、下からビュータブが選択される場合に、薬剤を下から撮影した画像が表示される。

特開２０１９－７６７８７号公報

しかしながら、撮影台の下側の位置に設置されるカメラを用いて、撮影台の上側に載置される薬剤を撮影する場合、カメラの画角に応じて薬剤の位置を移動させる場合などに、薬剤を右方向へ移動させると、薬剤の撮影画像が表示される画面では、薬剤が左方向へ移動してしまい、オペレータが混乱してしまう。

特許文献１に記載のシステムは、第１カメラ及び第２カメラの画角に合わせて薬剤を収容するトレイの位置が決められており、上記の課題が存在していない。複数の分包紙が繋げられた分包紙連続体のそれぞれの分包紙を撮影する場合、分包紙連続体を移動させて各分包紙の位置合わせを実施する際に、上記の課題が発生する。

上記した課題は、患者の持ち込み薬に対する鑑別だけでなく、薬局等において実施される処方薬の監査など、薬剤の識別において存在し得る。

本発明はこのような事情に鑑みてなされたもので、撮影台の第一面に載置される薬剤を第一面と反対側の第二面の側から撮影する際の好ましい撮影画像の表示が実現される画像処理装置、薬剤識別装置及び画像処理方法を提供することを目的とする。

上記目的を達成するために、次の発明態様を提供する。

本開示に係る画像処理装置は、一以上のプロセッサを備えた画像処理装置であって、プロセッサは、支持台の第一面に載置される薬剤を、支持台の第一面の反対側の第二面の側の位置に配置される撮影装置を用いて、支持台の第二面の側から薬剤を撮影して得られた第一画像を取得し、撮影装置の撮影範囲に対して薬剤の位置を調整する際に薬剤を移動させる薬剤移動方向について第一画像を反転させた第二画像を生成し、ディスプレイ装置に表示される画面の第一領域へ、第二画像を表示させる表示信号を生成し、表示信号を出力する画像処理装置である。

本開示に係る画像処理装置によれば、撮影台の第一面に載置される薬剤の位置を移動させる場合に、薬剤の移動方向とディスプレイ装置の画面に表示される第二画像の移動方向とを一致させ得る。

薬剤は、一つの固体として認識し得る錠剤及びカプセルなどを適用し得る。

撮影対象の薬剤は、一以上の薬剤が分包紙などを用いて包装された形態を含み得る。

第一画像は、動画像を適用してもよいし、静止画像を適用してもよい。動画像は、スルー画を含み得る。第一画像はレンズ歪補正等の各種の補正がされていてもよい。

他の態様に係る画像処理装置において、プロセッサは、第一画像及び第二画像を第一領域へ表示させる表示信号を生成する。

かかる態様によれば、ディスプレイ装置の画面へ第一画像を表示し得る。これにより、薬剤の印刷及び刻印等を正しい向きで視認し得る。

他の態様に係る画像処理装置において、プロセッサは、第一画像に含まれる薬剤の画像を検出し、第一画像から検出された薬剤の画像を第一画像から抽出し、抽出された薬剤の画像を画面の第二領域へ表示させる表示信号を生成する。

かかる態様によれば、複数の薬剤を含む薬剤群の撮影画像から、個別に各薬剤を認識し得る。

他の態様に係る画像処理装置において、プロセッサは、第一画像から抽出された薬剤の画像を拡大させ、拡大させた薬剤の画像を第二領域へ表示させる表示信号を生成する。

かかる態様によれば、第二領域へ表示させる各薬剤の画像の視認性が向上し得る。

他の態様に係る画像処理装置において、プロセッサは、第一画像を縮小させ、縮小させた第一画像を第一領域へ表示させ、かつ、第一画像から抽出された薬剤の非縮小の画像を第二領域へ表示させる表示信号を生成する。

かかる態様によれば、第二領域へ表示させる各薬剤の画像の視認性が向上し得る。

他の態様に係る画像処理装置において、プロセッサは、第二画像に含まれる薬剤の画像を検出し、第二画像から検出された薬剤の画像を第二画像から抽出し、薬剤の画像を薬剤移動方向について反転させ、薬剤移動方向について反転させた薬剤の画像を画面の第二領域へ表示させる表示信号を生成する。

かかる態様によれば、複数の薬剤を含む薬剤群の撮影画像から、個別に各薬剤を認識し得る。

他の態様に係る画像処理装置において、プロセッサは、薬剤移動方向について反転させた薬剤の画像を拡大させ、拡大させた薬剤の画像を第二領域へ表示させる表示信号を生成する。

かかる態様によれば、第二領域へ表示させる各薬剤の画像の視認性が向上し得る。

他の態様に係る画像処理装置において、プロセッサは、第二画像を縮小させ、縮小させた薬剤の画像を第一領域へ表示させ、かつ、第二画像から抽出され、反転させた薬剤の非縮小の画像を第二領域へ表示させる表示信号を生成する。

かかる態様によれば、第二領域へ表示させる各薬剤の画像の視認性が向上し得る。

他の態様に係る画像処理装置において、プロセッサは、第二領域へ表示される画像の解像度が、第一領域へ表示させる画像の解像度を超える表示信号を生成する。

かかる態様によれば、第一領域へ表示させる画像に対して、第二領域へ表示される各薬剤の画像の視認性が向上し得る。

本開示に係る薬剤識別装置は、一以上のプロセッサを備え、支持台の第一面に載置される薬剤を、支持台の第一面の反対側の第二面の側の位置に配置される撮影装置を用いて取得した薬剤の撮影画像から薬剤を識別する薬剤識別装置であって、プロセッサは、撮影装置を用いて、支持台の第二面の側から薬剤を撮影して得られた第一画像を取得し、撮影装置の撮影範囲に対して薬剤の位置を調整する際に薬剤を移動させる薬剤移動方向について第一画像を反転させた第二画像を生成し、ディスプレイ装置に表示される画面の第一領域へ、第二画像を表示させる表示信号を生成し、表示信号を出力する薬剤識別装置である。

本開示に係る薬剤識別装置によれば、撮影台の第一面に載置される薬剤の位置を移動させる場合に、薬剤移動方向とディスプレイ装置の画面に表示される第二画像の移動方向とを一致させ得る。

薬剤識別装置は、薬剤の鑑別及び薬剤の監査の少なくともいずれかを実施し得る。

他の態様に係る薬剤識別装置において、プロセッサは、第一画像に含まれる薬剤の画像を検出し、第一画像から検出された薬剤の画像を第一画像から抽出し、抽出された薬剤の画像に基づき、抽出された薬剤の画像に対応する薬剤を識別する。

かかる態様によれば、複数の薬剤を含む薬剤群の撮影画像から、個別に各薬剤の識別を実施し得る。

他の態様に係る薬剤識別装置において、プロセッサは、第二画像に含まれる薬剤の画像を検出し、第二画像から検出された薬剤の画像を第二画像から抽出し、第二画像から抽出された薬剤の画像を薬剤移動方向について反転させ、薬剤移動方向について反転させた薬剤の画像に基づき、第二画像から抽出された薬剤の画像に対応する薬剤を識別する。

かかる態様によれば、複数の薬剤を含む薬剤群の撮影画像から、個別に各薬剤の識別を実施し得る。

他の態様に係る薬剤識別装置において、プロセッサは、識別対象の薬剤の画像が選択された場合に、候補となる薬剤の情報を画面へ表示させる表示信号を生成する。

かかる態様によれば、画面に表示される候補となる薬剤の情報を用いて、薬剤の識別を実施し得る。

他の態様に係る薬剤識別装置において、支持台の第一面に載置される薬剤に対して、互いに異なる方向から照明光を照射する複数の照明装置を備え、プロセッサは、複数の照明装置のうち、二以上の照明装置を用いて薬剤に対して照明光を照射させる第一照明条件を適用し、撮影装置を用いて第一画像を取得し、かつ、第一照明条件よりも少ない数の照明装置を用いて薬剤に対して照明光を照射させる第二照明条件を適用し、撮影装置を用いて第一画像を取得し、第一照明条件が適用され取得された第一画像及び第二照明条件が適用され取得された第一画像の少なくともいずれかを用いて、薬剤を識別する。

かかる態様によれば、異なる照明条件を適用して取得された第一画像に基づき薬剤を識別し得る。

他の態様に係る薬剤識別装置において、プロセッサは、第二照明条件を適用して複数の第一画像を取得する。

かかる態様によれば、第二照明条件を適用して取得された複数の第一画像に基づき薬剤を識別し得る。

他の態様に係る薬剤識別装置において、複数の照明装置は、撮影装置の光軸と直交する面内において撮影装置の光軸を中心として９０度ずつ位置をずらして配置される第一照明装置、第二照明装置、第三照明装置及び第四照明装置を備え、プロセッサは、第一照明条件として第一照明装置、第二照明装置、第三照明装置及び第四照明装置を用いて薬剤に対して照明光を照射させ第一画像を取得し、かつ、第二照明条件として、第一照明装置、第二照明装置、第三照明装置及び第四照明装置のそれぞれから薬剤に対して照明光を照射させて、四つの第一画像を取得する。

かかる態様によれば、互いに直交する四方向から薬剤に対して照明光を照射して取得される四つの第一画像に基づき薬剤を識別し得る。

他の態様に係る薬剤識別装置において、プロセッサは、第二照明条件を適用して取得した複数の第一画像の少なくとも一つを用いて薬剤を識別する請求項１５又は１６に記載の薬剤識別装置。

かかる態様によれば、第二照明条件を適用して取得される一つ以上第一画像に基づき薬剤を識別し得る。

本開示に係る画像処理方法は、支持台の第一面に載置される薬剤を、支持台の第一面の反対側の第二面の側の位置に配置される撮影装置を用いて、支持台の第二面の側から薬剤を撮影して得られた第一画像を取得し、撮影装置の撮影範囲に対して薬剤の位置を調整する際に薬剤を移動させる薬剤移動方向について第一画像を反転させた第二画像を生成し、ディスプレイ装置に表示される画面の第一領域へ、第二画像を表示させる表示信号を生成し、表示信号を出力する画像処理方法である。

本発明によれば、撮影台の第一面に載置される薬剤の位置を移動させる場合に、薬剤移動方向とディスプレイ装置の画面に表示される第二画像の移動方向とを一致させ得る。

図１は課題の説明図である。 図２は実施形態に係る薬剤識別システムの全体構成図である。 図３は図２に示す薬剤識別装置の概略構成を示す正面図である。 図４は図３に示す薬剤識別装置の平面図である。 図５は薬剤の変形例の説明図である。 図６は図２に示す薬剤識別システムの機能ブロック図である。 図７は実施形態に係る薬剤識別方法の手順を示すフローチャートである。 図８はディスプレイ装置へ表示される画面の構成例を示す画面構成図である。 図９はディスプレイ装置の画面へ表示される薬剤群１６の撮影画像の模式図である。 図１０は変形例に係る画面構成例を示す画面構成図である。 図１１は画像処理装置への適用例に係る薬剤識別システムの全体構成図である。 図１２はネットワークシステムの適用例に係る薬剤識別システムの全体構成図である。

以下、添付図面に従って本発明の実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。

［課題の説明］
図１は課題の説明図である。同図に示す符号１は、載置台に載置された薬剤５Ａ及び薬剤５Ｂを表面の側から見た模式図である。符号２は、載置台の裏面の側に配置されるカメラを用いて撮影され、ディスプレイ装置へ表示される上記の薬剤群の表示画像の模式図である。

薬剤群の表面は、載置台と接触する薬剤群の面と反対側の面である。例えば、薬剤群が水平面に対して平行に載置される場合は、薬剤の上側の面が薬剤の表面である。載置台の裏面は、載置台の薬剤群が載置される面の反対側の面である。

符号２に示す薬剤群の撮影画像は、カメラの撮影領域６に対して薬剤５Ｂの一部が左へはみ出している。かかる状態の薬剤５Ｂをカメラの撮影領域６へ収めることを意図して、オペレータがディスプレイ装置へ表示される上記の薬剤群の撮影画像を見ながら薬剤群を右方向へ移動させると、符号３を付した薬剤５Ａ及び薬剤５Ｂを表面の側から見た模式図に示すように、薬剤５Ｂはカメラの撮影領域６から更にはみ出してしまう。

なお、カメラに具備されるイメージセンサの受光面と平行な面内において、カメラを９０度回転させると、図１における左右方向について生じる反転が、上下方向について生じる。ここでいう左右方向及び上下方向は、説明の都合上、便宜的に規定した。以下に、上記の課題を解決し、オペレータの混乱を回避し得る薬剤識別システムについて詳細に説明する。

［薬剤識別システム］
〔全体構成例〕
図２は実施形態に係る薬剤識別システムの全体構成図である。同図に示す薬剤識別システム１０は、薬剤識別装置１２及びディスプレイ装置１４を備える。薬剤識別装置１２は、載置台２２へ載置される識別対象の薬剤群１６を撮影し、一以上の薬剤１７が含まれる薬剤群１６の撮影画像を用いて、薬剤群１６に含まれる薬剤１７の識別を実施する。

薬剤識別装置１２の筐体２０の内部には、載置台２２の薬剤群１６を下側から撮影する撮影装置が具備される。すなわち、撮影装置は、載置台２２の薬剤載置面２４と反対側の撮影面の側の位置に配置される。

撮影装置は、イメージセンサ、光学レンズ及び信号処理回路を備える。イメージセンサはＣＣＤイメージセンサ及びＣＭＯＳイメージセンサ等を適用し得る。光学レンズの例として、フォーカスレンズ及び集光レンズ等が挙げられる。

信号処理回路は、ＣＣＤイメージセンサへ入力された光学像に基づき、薬剤群１６の撮影画像を生成する。ここでいう画像とは、画像データ及び画像信号の概念を含み得る。なお、ＣＣＤはCharge Coupled Deviceの省略語である。ＣＭＯＳはComplementary Metal-Oxide Semiconductorの省略語である。図２では、載置台２２の撮影面及び撮影装置の図示を省略する。

載置台２２は、透明板の周囲がフレームを用いて支持される構造を有する。透明板はガラス板などの、照明光及び照明光の反射光を透過させ、かつ、一定の剛性を有する板状の部材を適用し得る。ここでいう透過は、透過率が１００パーセントに限定されない。例えば、透過率が５０パーセント以上を透過としてもよい。

筐体２０は、載置台２２の上部にカバー２６が取り付けられる。カバー２６は筐体２０の背面に取り付けられる。カバー２６は、載置台２２に対して規定の距離を離した位置に配置される。

薬剤識別装置１２は、撮影装置を用いて取得される薬剤群１６の撮影画像に対して画像処理を施す画像処理部を備える。画像処理部は、一以上のプロセッサ及び一以上のメモリを備えるコンピュータを適用し得る。画像処理部は、画像処理プログラムを実行し、薬剤群１６の撮影画像に対して画像処理を施す。なお、図２では、画像処理部の図示を省略する。

ディスプレイ装置１４は、画像処理部から送信される表示信号に基づき、薬剤群１６に関する画像及び薬剤識別の識別結果等を画面１５へ表示させる。ディスプレイ装置１４の画面１５における表示の詳細は後述する。

薬剤識別システム１０は、薬剤識別装置１２へ各種の情報を入力する際にオペレータが使用する入力装置を備える。入力装置は、キーボード及びマウス等を適用し得る。タッチパネル方式のディスプレイ装置を適用して、ディスプレイ装置１４と入力装置とを一体構成としてもよい。なお、図２では入力装置の図示を省略する。

図２には、識別対象の薬剤１７を含む薬剤群１６の例として、連続する複数の分包袋１８のそれぞれに複数の薬剤１７が内包される形態を示す。薬剤識別装置１２は、複数の分包袋１８のそれぞれを撮影し、分包袋１８ごとに薬剤群１６に含まれる薬剤１７の識別を実施する。

薬剤１７は、ＰＴＰシートを用いて包装される錠剤及びカプセル等を適用してもよい。薬剤１７は、ストリップ包装が適用される錠剤等でもよい。錠剤等は、複数の錠剤等が一体化される状態から分離させた状態でもよい。なお、ＰＴＰはPress Through Packの省略語である。

薬剤１７の識別は、処方箋に基づき調剤された薬剤１７のそれぞれを処方箋と照合する薬剤監査を含み得る。薬剤１７の識別は、持参薬とお薬手帳及び電子カルテ等の記載内容等とを照合する鑑別を含み得る。

図２に示す矢印線は、薬剤群１６の移動方向を表す。薬剤群１６の移動方向とは、オペレータが視認する薬剤群１６の移動方向に対して、ディスプレイ装置１４の画面１５へ表示される薬剤群１６の画像の移動方向が反転する際に、薬剤群１６を移動させる方向を表す。すなわち、撮影装置に具備される撮像素子は、現実の薬剤群１６の移動方向と薬剤群１６の表示画像の移動方向とが反転する現象が生じる向きに配置される。

なお、ここでいう撮像素子の配置に関する向きとは、撮像素子の撮像面に対して平行となる面における回転方向を表す。また、薬剤群の１６の移動方向は、薬剤１７の移動方向と同義である。

〔薬剤識別装置の構成例〕
図３は図２に示す薬剤識別装置の概略構成を示す正面図である。図４は図３に示す薬剤識別装置の平面図である。図３及び図４は、図２に示す筐体２０の内部を模式的に図示する。以下、図３及び図４を適宜参照して、薬剤識別装置１２の構成例について説明する。

なお、図３及び図４に示す符号ｘは、照明装置の配置方向であり、薬剤群１６の移動方向を表す。図４に示す符号ｙは、照明装置の配置方向であり、薬剤群１６の移動方向に対して直交する方向を表す。図３に示す符号ｚは、鉛直上向き方向を表す。

薬剤群１６の移動方向は、撮影装置３０の設置状態に応じて決められる。例えば、図１に示す左右方向は薬剤群１６の移動方向の一例である。なお、実施形態に記載の薬剤群１６の移動方向は、撮影装置の撮影範囲に対して薬剤の位置を調整する際に薬剤を移動させる薬剤移動方向の一例である。

薬剤識別装置１２は、撮影装置３０、第一照明装置３２、第二照明装置３４、第三照明装置３６及び第四照明装置３８を備える。図３では、第二照明装置３４及び第四照明装置３８の図示を省略する。

図３に示すように、撮影装置３０は、ｚ方向について、載置台２２の撮影面２８の側の位置に配置される。第一照明装置３２、第二照明装置３４、第三照明装置３６及び第四照明装置３８を含む複数の照明装置は、撮影装置３０と同様に、ｚ方向について、載置台２２の撮影面２８の側の位置に配置される。

図４に示すように、撮影装置３０は、ｘ方向及びｙ方向について、載置台２２のｘｙ平面における中心位置を光軸３１が通る位置に配置される。第一照明装置３２、第二照明装置３４、第三照明装置３６及び第四照明装置３８は、撮影装置３０の光軸３１からの距離が等距離の位置に配置される。また、第一照明装置３２及び第三照明装置３６は、ｘ方向について、撮影装置３０を挟んで対向する位置に配置される。同様に、第二照明装置３４及び第四照明装置３８は、ｙ方向について、撮影装置３０を挟んで対向する位置に配置される。

換言すると、第一照明装置３２、第二照明装置３４、第三照明装置３６及び第四照明装置３８は、撮影装置３０の光軸３１と直交する面内において、撮影装置３０の光軸３１を中心として９０度ずつ位置をずらして配置される。

撮影装置３０は、第一照明装置３２等のそれぞれから互いに薬剤群１６へ順次に照射される、互いに異なる方向からの照明光の反射光を受光し、照明状態ごとに薬剤群１６の撮影画像を生成する。撮影装置３０は、照明状態に対応する照明条件が異なる複数の薬剤群１６について、撮影画像を生成し得る。

照明条件の一例として、第一照明装置３２、第二照明装置３４、第三照明装置３６及び第四照明装置３８を全て用いて薬剤群１６に対して照明光を照射する第一照明条件が挙げられる。第一照明条件は、第一照明装置３２、第二照明装置３４、第三照明装置３６及び第四照明装置３８のうち、二以上の照明装置を適用する態様を含み得る。

照明条件の他の例として、第一照明装置３２、第二照明装置３４、第三照明装置３６及び第四照明装置３８のいずれか一つを用いて薬剤群１６に対して照明光を照射する第二照明条件が挙げられる。第二照明条件は第一照明条件における照明装置の数よりも少ない数の照明装置を適用する態様を含み得る。

なお、実施形態に記載の載置台２２は支持台の一例である。実施形態に記載の載置台２２の薬剤載置面２４は第一面の一例である。実施形態に記載の載置台２２の撮影面２８は第二面の一例である。

図５は薬剤の変形例の説明図である。図５に示す識別対象の薬剤１７を含む薬剤群４０は、複数の薬剤１７がシャーレ等の容器４２へ収容される。容器４２の底面４４は、照明光及び照明光の反射光を透過させる材料が適用される。なお、図５では、容器４２を支持する支持部材の図示を省略する。なお、実施形態に記載の容器４２を支持する支持部材は支持台の一例である。

図５に示す薬剤群４０は、一包化されていない複数の薬剤１７を識別する際に適用される。一方、図２から図４に示す薬剤群１６は一包化される複数の薬剤１７を識別する際に適用される。

薬剤識別装置１２は、入出力ポートを備える。薬剤識別装置１２は入出力ポートを介して、図２に示すディスプレイ装置１４及び外部装置等と通信可能に接続される。入出力ポートは、信号伝送ケーブルが接続されるコネクタを備えてもよいし、無線ＬＡＮポートを備えてもよい。入出力ポートはＵＳＢ（Universal Serial Bus）等の各種の規格を適用し得る。なお、ＬＡＮはLocal Area Networkの省略語である。

薬剤識別装置１２は、複数の入出力ポートを備え得る。複数の入出力ポートは異なる種類のハードウェア及び異なる種類の規格を適用し得る。図２から図５では、入出力ポートの図示を省略する。

〔薬剤識別システムの機能ブロック〕
図６は図２に示す薬剤識別システムの機能ブロック図である。薬剤識別装置１２は、メモリ１０２、入力インターフェース１０４及び入出力ポート１０６を備える。

メモリ１０２は、薬剤識別装置１２に適用される各種のデータ、各種のパラメータ及び各種のプログラムが記憶される。薬剤識別装置１２は、各種の処理に適用されるプログラムをメモリ１０２から読み出し、プログラムを実行して各種の処理を実施する。各種のプログラムの例として、薬剤識別処理へ適用される薬剤識別プログラム、各種の画像処理へ適用される画像処理プログラムが挙げられる。

薬剤識別装置１２は、各種のプログラムを実行する際に、実行対象のプログラムに対応するパラメータ及びデータをメモリ１０２から読み出す。薬剤識別装置１２は、各種のプログラムを実行して生成される各種のデータをメモリ１０２へ記憶する。

メモリ１０２は、半導体メモリ等の有体物たるコンピュータ可読媒体等を含んで構成され得る。メモリ１０２は、ハードディスク等の磁気記憶装置が含まれ得る。メモリ１０２は、複数の記憶装置等を用いて構成され得る。複数の記憶装置等は異なる複数の種類の記憶装置等を含み得る。メモリ１０２を構成する記憶装置等は、複数の記憶領域に分割されていてもよい。メモリ１０２は、各種データの一時記憶領域が含まれてもよい。

薬剤識別装置１２は、システム制御部１２０、照明制御部１２２、撮影制御部１２４、画像処理部１２６、薬剤情報取得部１２８、薬剤識別処理部１３０及びディスプレイドライバー１３２を備える。図６に示す各種の処理部のハードウェアはプロセッサ１００を適用し得る。すなわち、図６に示す各種の処理部は、プロセッサ１００を用いた信号処理を適用して実現される、薬剤識別装置１２の各種の機能に対応する。

システム制御部１２０は、薬剤識別装置１２の各種の処理部を統括的に制御する。システム制御部１２０は、各種の処理部から送信される信号及び入力インターフェース１０４を介して入力される入力信号に基づき、各種の処理部へ指令信号を送信する。

システム制御部１２０は、各種の処理において生成される各種のデータを、メモリ１０２へ記憶する。また、システム制御部１２０は、各種の処理に適用されるデータを、各種の処理を実施する処理部へ送信する。

照明制御部１２２は、システム制御部１２０から送信される指令信号に基づき、照明装置１４０を制御する。なお、図６に示す照明装置１４０は、図３等に示す第一照明装置３２、第二照明装置３４、第三照明装置３６及び第四照明装置３８の総称である。すなわち、照明制御部１２２は、第一照明装置３２等の点灯タイミング、消灯タイミング及び照明光量等を制御する。

撮影制御部１２４は、システム制御部１２０から送信される指令信号に基づき、撮影装置３０を制御する。撮影制御部１２４は、撮影装置３０に対して撮影条件を設定する。撮影制御部１２４は、撮影タイミング等を制御する。

画像処理部１２６は、撮影装置３０を用いて生成される薬剤群１６の撮影画像を取得する。すなわち、画像処理部１２６は、薬剤群１６の撮影画像を取得する撮影画像取得部を具備する。画像処理部１２６は、撮影装置３０から取得した薬剤群１６の撮影画像に対して、撮影装置３０に具備されるレンズの歪みを補正するレンズ歪補正を行い、画像処理対象となる薬剤群１６の撮影画像としてもよい。画像処理部１２６は、レンズ歪補正後の薬剤群１６の撮影画像を取得してもよい。

画像処理部１２６は、薬剤群１６の撮影画像に対して画像処理を実施する。画像処理は、薬剤群１６の移動方向について薬剤群１６の撮影画像を反転させる反転処理、薬剤群１６の撮影画像から薬剤１７の画像を切り取るトリミング処理、薬剤群１６の撮影画像から切り取られた薬剤１７の画像を拡大させる拡大処理、薬剤群１６の撮影画像を縮小する処理、薬剤群１６の撮影画像の反転画像を縮小させる処理及び薬剤群１６の撮影画像における薬剤１７の画像の強調処理等を含み得る。

画像処理部１２６は、薬剤群１６の撮影画像を反転させた反転画像から、薬剤群１６に含まれる薬剤１７の画像を検出し、反転画像から薬剤１７の反転画像を切り出し、反転画像から切り出した薬剤１７の反転画像を反転させて、薬剤１７の画像を生成してもよい。

画像処理部１２６は、画像処理部１２６を用いて生成される各種の画像を、適宜、メモリ１０２へ記憶する。画像処理部１２６は、各種の画像を、適宜、ディスプレイ装置１４へ表示させる。

なお、薬剤群１６の撮影画像は符号２２２を用いて図９に図示する。薬剤群１６の撮影画像を反転させた反転画像は符号２２０を用いて図８に図示する。

薬剤情報取得部１２８は、薬剤群１６に含まれる薬剤１７ごとの識別情報を取得する。薬剤監査を実施する場合、薬剤１７の識別情報は、処方箋に記載の薬剤１７の名称等を適用し得る。持ち込み薬の鑑別を実施する場合、薬剤１７の識別情報は、お薬手帳に記載の薬剤１７の名称等及び入力装置５０を用いてオペレータが入力した薬剤１７の名称等を適用し得る。例えば、オペレータは、薬剤１７に印刷される薬剤の名称等を目視して、薬剤の名称等を認識し得る。

薬剤情報取得部１２８は、バーコードリーダを用いてオペレータが薬剤１７の包装に印刷されるＧＳ１コード等のバーコードを読み取り、バーコードの読取データに基づき薬剤１７の識別情報を取得し得る。薬剤情報取得部１２８は、薬剤１７の画像を解析し、解析結果に基づき薬剤１７の識別情報を取得し得る。

薬剤１７の識別情報は、名称、コード番号及び外観の特徴等を適用し得る。薬剤の外観は、色及び形状を含み得る。薬剤の形状は、薬剤の全体形状、刻印の位置及び刻印の形状等を含み得る。薬剤１７の識別情報は、複数の情報を併用してもよい。

薬剤識別処理部１３０は、薬剤群１６の撮影画像から切り出された薬剤１７の画像を取得する。薬剤識別処理部１３０は、薬剤１７の識別情報に応じた薬剤のマスター画像をマスター画像データベース６０から取得する。

薬剤識別処理部１３０は、薬剤１７の画像と、マスター画像データベース６０から取得したマスター画像とを照合して、薬剤１７ごとの識別処理を実施する。薬剤識別処理部１３０は、識別結果をディスプレイ装置１４へ表示させる。

マスター画像データベース６０は、薬剤１７の識別情報と薬剤１７の画像とを関連付けして記憶される。マスター画像データベース６０は、薬剤１７の識別情報を検索パラメータとして、薬剤１７の識別情報に対応するマスター画像を検索し得る。

図６には、マスター画像データベース６０が薬剤識別装置１２へ具備される態様を例示したが、マスター画像データベース６０は、外部の記憶装置を適用してもよい。薬剤識別装置１２に具備されるマスター画像データベース６０は、外部のマスター画像データベースと連携してもよい。

ディスプレイドライバー１３２は、ディスプレイ装置１４へ表示させる各種の画像に対応する表示信号及び薬剤１７ごとの識別結果に対応する表示信号をディスプレイ装置１４へ送信する。ディスプレイ装置１４は、各種の画像及び薬剤１７ごとの識別結果を表示する。

入力インターフェース１０４は、入力装置５０から送信される信号が表す入力データを取得する。入力インターフェース１０４は、取得した入力データをシステム制御部１２０へ送信する。システム制御部１２０は入力データに基づき、薬剤識別装置１２を制御する。

例えば、入力装置５０であるキーボードを用いてオペレータが薬剤１７の名称を入力した場合、薬剤識別処理部１３０は、入力された薬剤１７の名称に基づく薬剤１７の識別を実施し得る。

入出力ポート１０６は、外部装置から送信される各種のデータを取得する。例えば、入出力ポート１０６は、病院及び薬局等のサーバ装置から処方箋に記載される各種の情報を取得し得る。入出力ポート１０６は、外部のマスター画像データベースからマスター画像を取得し得る。

［薬剤識別方法の手順］
図７は実施形態に係る薬剤識別方法の手順を示すフローチャートである。薬剤情報取得工程Ｓ１０では、図６に示す薬剤情報取得部１２８は、識別対象の薬剤１７ごとの識別情報を取得する。薬剤情報取得工程Ｓ１０の後に、マスター画像取得工程Ｓ１２へ進む。

マスター画像取得工程Ｓ１２では、薬剤識別処理部１３０は薬剤情報取得工程Ｓ１０において取得した薬剤１７の識別情報に基づき、マスター画像データベース６０から薬剤１７の識別情報に対応するマスター画像を取得する。マスター画像取得工程Ｓ１２の後に撮影画像取得工程Ｓ１４へ進む。

撮影画像取得工程Ｓ１４では、撮影装置３０は薬剤群１６の撮影を実施する。画像処理部１２６は撮影装置３０から薬剤群１６の撮影画像を取得する。撮影画像取得工程Ｓ１４の後に画像処理工程Ｓ１６へ進む。

画像処理工程Ｓ１６では、画像処理部１２６は、撮影画像取得工程Ｓ１４において取得した薬剤群１６の撮影画像に対して各種の画像処理を実施する。画像処理工程Ｓ１６の後に撮影画像表示工程Ｓ１８へ進む。

各種の画像処理は、薬剤群１６の移動方向について薬剤群１６の撮影画像を反転させる反転処理が含まれる。各種の処理は、薬剤群１６の撮影画像から薬剤１７ごとの画像を個別に検出する検出処理、検出された薬剤１７の画像を薬剤群１６の撮影画像から切り出す切出処理及び切り出された薬剤１７の画像を拡大させる拡大処理が含まれる。

各種の処理は、薬剤群１６の撮影画像から検出された薬剤１７を強調する強調処理を含み得る。強調処理の例として、薬剤１７ごとにバウンディングボックスを重畳させる処理、薬剤１７のエッジ及び刻印等を強調する処理が挙げられる。

薬剤１７のエッジ及び刻印等を強調する処理は、図３等に示す第一照明装置３２等のそれぞれを用いて照明した際に撮影される四種類の撮影画像を適用し得る。薬剤１７の撮影画像は、照明方向に応じて影の向き、影の形状及び影の強度が異なる。画像処理部１２６は、四種類の撮影画像から特徴画像を生成し、四種類の特徴画像を統合して、薬剤１７の輪郭及び刻印等を強調した強調画像を生成し得る。

撮影画像表示工程Ｓ１８では、画像処理部１２６は、ディスプレイドライバー１３２を介して薬剤群１６の移動方向について薬剤群１６の撮影画像を反転させた反転画像に対応する表示信号をディスプレイ装置１４へ出力する。ディスプレイ装置１４の画面１５は、反転画像が表示される。

撮影画像表示工程Ｓ１８では、画像処理部１２６は、ディスプレイドライバー１３２を介して、薬剤群１６に含まれる薬剤１７の拡大画像に対応する表示信号をディスプレイ装置１４へ出力する。ディスプレイ装置１４の画面１５は、薬剤１７の拡大画像が表示される。撮影画像表示工程Ｓ１８の後に識別対象薬剤選択工程Ｓ２０へ進む。

識別対象薬剤選択工程Ｓ２０では、薬剤情報取得部１２８は、マスター画像との照合を実施する薬剤１７の選択情報を取得する。すなわち、薬剤１７の拡大画像のいずれかをオペレータが選択した際に、薬剤情報取得部１２８は薬剤１７の選択情報を取得する。識別対象薬剤選択工程Ｓ２０の後に薬剤識別工程Ｓ２２へ進む。

薬剤識別工程Ｓ２２では、薬剤情報取得部１２８は選択された薬剤１７とマスター画像との照合を実施する。ここでいうマスター画像は、薬剤名称が一致する薬剤のマスター画像、形態の特徴が類似する薬剤のマスター画像及び先発薬と後発薬との関係にある薬剤のマスター画像などの複数の種類のマスター画像が含まれ得る。

照合処理は、テンプレートマッチングを適し得る。テンプレートマッチングの例として、特開２０１４－６７３４２号公報に記載の手法が挙げられる。テンプレートマッチングでは、薬剤１７の画像とマスター画像との一致度、類似度及び相関等のマッチング度合いを算出し得る。テンプレートマッチングでは、薬剤１７の画像とマスター画像との相対移動、それぞれの拡大又は縮小等の処理を適宜実施し得る。なお、相対移動は、相対的な回転を含み得る。

照合処理は、学習済みの学習器を適用してもよい。学習はＣＮＮ（Convolutional Neural Network）等のディープラーニングを適用し得る。照合処理は、第一照明条件を適用して取得した薬剤１７の撮影画像を適用してもよいし、第二照明条件を適用して取得した薬剤１７の撮影画像を適用してもよい。また、照合処理は両者を併用してもよい。第二照明条件を適用して複数の薬剤１７の撮影画像を取得した場合は、照合処理は複数の薬剤１７の撮影画像のうち一つ以上を適用し得る。薬剤識別工程Ｓ２２の後に候補画像表示工程Ｓ２４へ進む。

候補画像表示工程Ｓ２４では、薬剤情報取得部１２８は、ディスプレイドライバー１３２を介して、薬剤１７との照合処理が実施されたマスター画像に対応する表示信号をディスプレイ装置１４へ出力する。ディスプレイ装置１４の画面１５は、薬剤１７との照合処理が実施されたマスター画像が候補画像として表示される。

薬剤１７との照合処理が実施されたマスター画像は、薬剤１７との照合処理が実施された全てのマスター画像でもよいし、一致度が一定以上等の条件を満たす一部のマスター画像でもよい。

薬剤識別装置１２は、マスター画像ごとの薬剤情報をディスプレイ装置１４の画面１５へ表示させてもよい。薬剤識別装置１２は、マスター画像ごとの薬剤１７の画像との一致度等をディスプレイ装置１４の画面１５へ表示させてもよい。候補画像表示工程Ｓ２４の後に確定情報取得判定工程Ｓ２６へ進む。

確定情報取得判定工程Ｓ２６では、薬剤識別処理部１３０は、ディスプレイ装置１４の画面１５へ表示される候補画像に対応する確定ボタンが操作されたか否かを判定する。確定情報取得判定工程Ｓ２６において、薬剤識別処理部１３０が、確定ボタンが操作されていないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は未確定情報記憶工程Ｓ２８へ進む。

薬剤識別処理部１３０は、確定ボタンの操作待ちの期間が規定の期間を経過した際に、確定ボタンが操作されていないと判定し得る。

一方、確定情報取得判定工程Ｓ２６において、薬剤識別処理部１３０が、確定ボタンが操作されたと判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は確定情報記憶工程Ｓ３０へ進む。

未確定情報記憶工程Ｓ２８では、薬剤識別処理部１３０は、識別対象の薬剤１７に対応するマスター画像が表示されていないことを表す未確定情報を記憶する。未確定情報記憶工程Ｓ２８の後に薬剤識別終了判定工程Ｓ３２へ進む。

また、確定情報記憶工程Ｓ３０では、薬剤識別処理部１３０は、薬剤１７に情報に対応するマスター画像が確定したことを表す確定情報を記憶する。確定情報として、薬剤識別工程Ｓ２２において算出された一致度等が記憶されてもよい。確定情報記憶工程Ｓ３０の後に薬剤識別終了判定工程Ｓ３２へ進む。

薬剤識別終了判定工程Ｓ３２では、薬剤情報取得部１２８は一つの薬剤群１６に含まれる全ての薬剤１７について、識別処理が実施され、かつ、確定情報又は未確定情報が記憶されたか否かを判定する。

薬剤識別終了判定工程Ｓ３２において、薬剤情報取得部１２８が一つの薬剤群１６に含まれる全ての薬剤１７について、識別処理が実施され、かつ、確定情報又は未確定情報が記憶されていないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は、識別対象薬剤選択工程Ｓ２０へ進み、薬剤識別終了判定工程Ｓ３２においてＹｅｓ判定となるまで、識別対象薬剤選択工程Ｓ２０から薬剤識別終了判定工程Ｓ３２までの各工程を繰り返し実施する。

一方、薬剤識別終了判定工程Ｓ３２において、薬剤情報取得部１２８が一つの薬剤群１６に含まれる全ての薬剤１７について、識別処理が実施され、かつ、確定情報又は未確定情報が記憶されていると判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、薬剤群識別終了判定Ｓ３４へ進む。

薬剤群識別終了判定Ｓ３４では、薬剤情報取得部１２８は全ての薬剤群１６について、識別処理が実施されたか否かを判定する。薬剤群識別終了判定Ｓ３４において、薬剤情報取得部１２８が全ての薬剤群１６について、識別処理が実施されていないと判定する場合はＮｏ判定となる。Ｎｏ判定の場合は撮影画像取得工程Ｓ１４へ進み、薬剤群識別終了判定Ｓ３４においてＹｅｓ判定となるまで、撮影画像取得工程Ｓ１４から薬剤群識別終了判定Ｓ３４までの各工程を繰り返し実施する。

一方、薬剤群識別終了判定Ｓ３４において、薬剤情報取得部１２８が全ての薬剤群１６について、識別処理が実施されたと判定する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、薬剤識別装置１２は薬剤識別方法を終了させる。なお、実施形態に記載の薬剤識別方法は画像処理方法の一例である。

［画面構成例］
図８はディスプレイ装置へ表示される画面の構成例を示す画面構成図である。図９はディスプレイ装置の画面へ表示される薬剤群１６の撮影画像の模式図である。なお、図８及び図９に示す薬剤に表示される文字列は任意の文字列である。ここでいう文字は数字、アルファベット及び記号を含み得る。図１０についても同様である。

図８に示すウインドウ２００は、図２に示すディスプレイ装置１４の画面１５へ表示される。ウインドウ２００は、第一表示領域２０２、第二表示領域２０４及び第三表示領域２０６が含まれる。ウインドウ２００は、各種のボタン２１０が含まれる。マルチウインドウ表示が適用される場合、ウインドウごとにタブが表示される。

第一表示領域２０２は、薬剤群１６の反転画像２２０が表示される。反転画像２２０は、図９に示す薬剤群１６の撮影画像２２２を、薬剤群１６の移動方向について反転させて生成される。

反転画像２２０は、図２に示す撮影装置３０のスルー画の反転画像を適用してもよいし、任意のタイミングにおいて記憶された静止画の反転画像を適用してもよい。薬剤群１６を移動させた場合に、反転画像２２０は更新される。第一表示領域２０２は、薬剤群１６の撮影画像２２２の移動方向を表す矢印等のアシスト表示を表示し得る。なお、図８には、薬剤群１６を構成する各薬剤１７について、バウンディングボックス２２５を重畳表示させる態様を例示する。

第二表示領域２０４は、図９に示す薬剤群１６の撮影画像２２２から検出され、撮影画像２２２から切り出された全ての薬剤１７のうち、識別処理が未処理の薬剤１７に対応する拡大画像である第一拡大画像２２４が表示される。

第二表示領域２０４へ識別処理が未処理の薬剤１７の画像の等倍画像を表示させ、第一表示領域２０２へ薬剤群１６の撮影画像２２２を縮小させた縮小画像を表示させてもよい。第一表示領域２０２へ薬剤群１６の撮影画像２２２の縮小画像を表示させる場合に、第二表示領域２０４へ第一拡大画像２２４を表示させてもよい。

すなわち、第二表示領域２０４へ表示される画像の解像度は、第一表示領域２０２へ表示される薬剤群１６の撮影画像２２２の解像度を超える解像度とされる。反転画像２２０から切り出された薬剤１７の反転画像を反転させた薬剤１７の画像を第二表示領域２０４へ表示させる場合も同様である。

なお、実施形態に記載の薬剤群１６の撮影画像２２２に基づく第一拡大画像２２４及び薬剤１７の等倍画像は、第一画像から抽出された薬剤の非縮小の画像の一例である。また、実施形態に記載の反転画像２２０に基づく第一拡大画像２２４及び薬剤１７の等倍画像は、第二画像から抽出され、反転させた薬剤の非縮小の画像の一例である。

一方、第二表示領域２０４は、識別処理の対象として選択された薬剤１７に対応する第一拡大画像２２４等が非表示とされる。図８には、複数の第一拡大画像２２４が一列に並べられて表示される態様を例示する。

第三表示領域２０６は、オペレータが選択した認識対象の薬剤１７に対応する第二拡大画像２２６が表示される。また、第三表示領域２０６は、認識対象の薬剤１７に対応する第二拡大画像２２６の照合対象となるマスター画像２２８及び確定ボタン２３０が表示される。

なお、実施形態に記載の第一表示領域２０２は第一領域の一例である。実施形態に記載の第二表示領域２０４は第二領域の一例である。実施形態に記載の薬剤群１６の撮影画像２２２は第一画像の一例である。実施形態に記載の反転画像２２０は第二画像の一例である。

実施形態に記載の薬剤群１６の撮影画像から薬剤１７の画像を切り出す処理は、第一画像から検出された薬剤の画像を第一画像から抽出する処理の一例である。

［画面構成例の変形例］
図１０は変形例に係る画面構成例を示す画面構成図である。図１０に示すウインドウ２００Ａの第一表示領域２０２Ａは、図８に示す反転画像２２０及び図９に示す薬剤群１６の撮影画像２２２が並べて表示される。

図１０に示すウインドウ２００Ａの第一表示領域２０２Ａは、薬剤群１６の撮影画像２２２の表示及び非表示を選択的に切り替えてもよい。例えば、第一表示領域２０２Ａへ薬剤群１６の撮影画像２２２を表示させることを表す操作をオペレータが実施した場合に、第一表示領域２０２Ａへ薬剤群１６の撮影画像２２２を表示させてもよい。

薬剤群１６の撮影画像２２２と反転画像２２０との大きさを異ならせてもよい。薬剤群１６の撮影画像２２２は、反転画像２２０に対して縦方向及び横方向の比率を二分の一以下にしてもよい。薬剤群１６の撮影画像２２２は静止画としてもよし、スルー画等の動画像としてもよい。

［作用効果］
実施形態に係る薬剤識別システム１０及び薬剤識別方法によれば、以下の作用効果を得ることが可能である。

〔１〕
薬剤群１６が載置される薬剤載置面２４の下側から薬剤群１６を撮影し、薬剤群１６の撮影画像を薬剤群１６の移動方向について反転させた反転画像２２０を生成し、ディスプレイ装置１４の画面１５へ反転画像２２０を表示させる。これにより、薬剤群１６を移動させて薬剤群１６の位置を合わせる際に、薬剤群１６の移動方向と反転画像２２０の移動方向とが一致する。

〔２〕
薬剤群１６の撮影画像２２２から薬剤群１６に含まれる薬剤１７を検出し、撮影画像２２２から各薬剤１７の画像を切り出して拡大し、第一拡大画像２２４を生成する。第一拡大画像２２４は、ディスプレイ装置１４の画面１５の第二表示領域２０４へ表示される。これにより、オペレータは第二表示領域２０４へ表示される第一拡大画像２２４に基づき、識別対象の薬剤１７を選択し得る。また、各薬剤１７の画像が拡大されるので、各薬剤１７の画像の視認性が向上し得る。

第一表示領域２０２へ薬剤群１６の撮影画像２２２の縮小画像を表示させ、第二表示領域２０４へ撮影画像２２２から各薬剤１７の画像を切り出した等倍画像を表示させる場合も、各薬剤１７の画像の視認性が向上し得る。

〔３〕
反転画像２２０から薬剤１７の反転画像を検出し、反転画像２２０から薬剤１７の反転画像を切り出し、薬剤１７の反転画像を反転させ、拡大して、薬剤１７の第一拡大画像２２４を生成する。これにより、オペレータは第二表示領域２０４へ表示される第一拡大画像２２４に基づき、識別対象の薬剤１７を選択し得る。また、各薬剤１７の画像が拡大されるので、各薬剤１７の画像の視認性が向上し得る。

第一表示領域２０２へ反転画像２２０の縮小画像を表示させ、第二表示領域２０４へ薬剤１７の第一拡大画像２２４又は薬剤１７の等倍画像を表示させる場合も、各薬剤１７の画像の視認性が向上し得る。

〔４〕
ディスプレイ装置１４の画面１５へ表示される複数の第一拡大画像２２４から選択された薬剤１７の識別処理を実施する。オペレータの操作等に基づく選択的な薬剤１７の識別処理を実施し得る。

〔５〕
薬剤１７の識別処理の結果として、薬剤１７と照合されたマスター画像が表示される。これにより、薬剤１７と照合されたマスター画像から、薬剤１７の識別情報に対応するマスター画像を選択し得る。

〔６〕
ディスプレイ装置１４の画面１５の反転画像２２０を表示させる第一拡大画像２２４は、薬剤群１６の撮影画像２２２が反転画像２２０と並べて表示される。これにより、薬剤群１６に含まれる薬剤１７が正しく見える向きに表示される。

［薬剤識別システムの変形例］
〔画像処理装置への適用例〕
図１１は画像処理装置への適用例に係る薬剤識別システムの全体構成図である。図１１に示す薬剤監査システム３００は、薬剤識別装置３０２、画像処理装置３０４、及びディスプレイ装置３０６、キーボード３０８及びマウス３１０を備える。なお、キーボード３０８及びマウス３１０は、図６に示す入力装置５０に対応する。符号３０７はディスプレイ装置３０６の画面を示す。

薬剤識別装置３０２は、図６に示す撮影装置３０、照明装置１４０及び薬剤識別処理部１３０の機能を有する。画像処理装置３０４は、図６に示す画像処理部１２６の機能を有する。画像処理装置３０４は、薬剤識別処理部１３０の機能を有していてもよい。

すなわち、図２に示す薬剤識別装置１２は、撮影装置３０及び照明装置１４０に対応する、主として薬剤群１６の撮影画像を取得する構成要素と、画像処理部１２６及び薬剤識別処理部１３０に対応する、主として信号処理を実施する構成要素とに分割し得る。

撮影装置３０は、スマートフォン等の携帯型の撮影装置を適用してもよい。例えば、薬剤識別装置１２は、携帯型の撮影装置を支持する支持部材及び携帯型の撮影装置とデータ通信を実施する通信インターフェースを備え得る。

〔ネットワークシステムへの適用例〕
図１２はネットワークシステムの適用例に係る薬剤認識システムの全体構成図である。同図に示す薬剤識別システム４００は、薬剤識別装置４０２、ディスプレイ装置４０４、サーバ装置４０６、マスター画像データベース４０８を備える。なお、符号４０５はディスプレイ装置４０４の画面を示す。薬剤識別装置４０２は、ネットワーク４１０を介してサーバ装置４０６及びマスター画像データベース４０８と通信可能に接続される。

サーバ装置４０６は、図６に示す画像処理部１２６の機能を有していてもよい。サーバ装置４０６は、薬剤識別処理部１３０の機能を備えてもよい。サーバ装置４０６はクラウドコンピューティングを適用してもよい。

ネットワーク４１０は、医療機関の内部に適用される小規模ネットワークを適用してもよいし、インターネット等の大規模ネットワークを適用してもよい。ネットワーク４１０は、複数のネットワークを含んで構成されてもよい。

［各処理部及び制御部のハードウェア構成］
図６に示す各種の処理を実施する処理部のハードウェアは、各種のプロセッサを適用し得る。なお、処理部はprocessing unitと呼ばれる場合があり得る。各種のプロセッサには、ＣＰＵ（Central Processing Unit）、ＰＬＤ（Programmable Logic Device）及びＡＳＩＣ（Application Specific Integrated Circuit）等が含まれる。

ＣＰＵは、プログラムを実行して各種の処理部として機能する汎用的なプロセッサである。ＰＬＤは、製造後に回路構成を変更可能なプロセッサである。ＰＬＤの例として、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。ＡＳＩＣは、特定の処理を実施させるために専用に設計された回路構成を有する専用電気回路である。

一つの処理部は、これら各種のプロセッサのうちの一つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、一つの処理部は、複数のＦＰＧＡ等を用いて構成されてもよい。一つの処理部は、一つ以上のＦＰＧＡ及び一つ以上のＣＰＵを組み合わせて構成されてもよい。

また、一つのプロセッサを用いて複数の処理部を構成してもよい。一つのプロセッサを用いて複数の処理部を構成する例として、一つ以上のＣＰＵとソフトウェアとを組み合わせて一つのプロセッサを構成し、一つプロセッサが複数の処理部として機能する形態がある。かかる形態は、クライアント端末装置及びサーバ装置等のコンピュータに代表される。

他の構成例として。複数の処理部を含むシステム全体の機能を一つのＩＣチップを用いて実現するプロセッサを使用する形態が挙げられる。かかる形態は、システムオンチップ（System On Chip）などに代表される。なお、ＩＣはIntegrated Circuitの省略語である。また、システムオンチップは、System On Chipの省略語を用いてＳｏＣと記載される場合がある。

このように、各種の処理部は、ハードウェア的な構造として、上記した各種のプロセッサを一つ以上用いて構成される。更に、各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

［プログラムへの適用例］
図２に示す薬剤識別装置１２、図６に示す画像処理部１２６及び図７に手順を示す薬剤監査方法に対応するプログラムを構成し得る。すなわち、図６に示す各種の処理部の機能及び図７に示す各工程をコンピュータに実現させるプログラムを構成し得る。

以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。また、実施形態、変形例及び応用例は適宜組み合わせて実施してもよい。

１ 薬剤を表面の側から見た模式図
２ 薬剤の表示画像
３ 薬剤群を表面の側から見た模式図
５Ａ 薬剤
５Ｂ 薬剤
６ 撮影領域
１０ 薬剤識別システム
１２ 薬剤識別装置
１４ ディスプレイ装置
１６ 薬剤群
１７ 薬剤
１８ 分包袋
２０ 筐体
２２ 載置台
２４ 薬剤載置面
２６ カバー
２８ 撮影面
３０ 撮影装置
３１ 光軸
３２ 第一照明装置
３４ 第二照明装置
３６ 第三照明装置
３８ 第四照明装置
４０ 薬剤群
４２ 容器
４４ 底面
５０ 入力装置
６０ マスター画像データベース
１００ プロセッサ
１０２ メモリ
１０４ 入力インターフェース
１０６ 入出力ポート
１２０ システム制御部
１２２ 照明制御部
１２４ 撮影制御部
１２６ 画像処理部
１２８ 薬剤情報取得部
１３０ 薬剤識別処理部
１３２ ディスプレイドライバー
１４０ 照明装置
２００ ウインドウ
２００Ａ ウインドウ
２０２ 第一表示領域
２０２Ａ 第一表示領域
２０４ 第二表示領域
２０６ 第三表示領域
２１０ ボタン
２２０ 反転画像
２２２ 撮影画像
２２４ 第一拡大画像
２２５ バウンディングボックス
２２６ 第二拡大画像
２２８ マスター画像
２３０ 確定ボタン
３００ 薬剤監査システム
３０２ 薬剤識別装置
３０４ 画像処理装置
３０６ ディスプレイ装置
３０７ 画面
３０８ キーボード
３１０ マウス
４００ 薬剤識別システム
４０２ 薬剤識別装置
４０４ ディスプレイ装置
４０５ 画面
４０６ サーバ装置
４０８ マスター画像データベース
４１０ ネットワーク
Ｓ１０からＳ３４ 薬剤識別処理方法の各工程

Claims (18)

1. 一以上のプロセッサを備えた画像処理装置であって、
   前記プロセッサは、
   支持台の第一面に載置される薬剤を、前記支持台の第一面の反対側の第二面の側の位置
   に配置される撮影装置を用いて、前記支持台の前記第二面の側から前記薬剤を撮影して得られた第一画像を取得し、
   前記撮影装置の撮影範囲に対して前記薬剤の位置を調整する際に前記薬剤を移動させる薬剤移動方向について前記第一画像を反転させた第二画像を生成し、
   前記第二画像に含まれる薬剤の画像を検出し、
   前記第二画像から検出された薬剤の画像を前記第二画像から抽出し、前記薬剤の画像を前記薬剤移動方向について反転させ、
   ディスプレイ装置に表示される画面の第一領域へ、前記第二画像を表示させ、かつ、前記薬剤移動方向について反転させた前記薬剤の画像を前記画面の第三領域へ表示させる表示信号を生成し、
   前記表示信号を出力する画像処理装置。
2. 前記プロセッサは、
   前記薬剤移動方向について反転させた前記薬剤の画像を拡大させ、
   前記拡大させた薬剤の画像を前記第三領域へ表示させる表示信号を生成する請求項１に記載の画像処理装置。
3. 前記プロセッサは、
   前記第二画像を縮小させ、
   前記縮小させた薬剤の画像を前記第一領域へ表示させ、かつ、前記第二画像から抽出され、前記反転させた薬剤の非縮小の画像を前記第三領域へ表示させる表示信号を生成する 請求項１に記載の画像処理装置。
4. 前記プロセッサは、前記第一画像及び前記第二画像を前記第一領域へ表示させる表示信号を生成する請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記プロセッサは、
   前記第一画像に含まれる薬剤の画像を検出し、
   前記第一画像から検出された薬剤の画像を前記第一画像から抽出し、
   前記抽出された薬剤の画像を前記画面の第二領域へ表示させる表示信号を生成する請求 項１から４のいずれか一項に記載の画像処理装置。
6. 前記プロセッサは、
   前記第一画像から抽出された薬剤の画像を拡大させ、
   前記拡大させた薬剤の画像を前記第二領域へ表示させる表示信号を生成する請求項５に記載の画像処理装置。
7. 前記プロセッサは、
   前記第一画像を縮小させ、
   前記縮小させた前記第一画像を前記第一領域へ表示させ、かつ、前記第一画像から抽出された薬剤の非縮小の画像を前記第二領域へ表示させる表示信号を生成する請求項５に記載の画像処理装置。
8. 前記プロセッサは、
   前記第二領域へ表示される画像の解像度が、前記第一領域へ表示させる画像の解像度を超える表示信号を生成する請求項５から７のいずれか一項に記載の画像処理装置。
9. 一以上のプロセッサを備え、支持台の第一面に載置される薬剤を、前記支持台の第一面の反対側の第二面の側の位置に配置される撮影装置を用いて取得した薬剤の撮影画像から前記薬剤を識別する薬剤識別装置であって、
   前記プロセッサは、
   前記撮影装置を用いて、前記支持台の前記第二面の側から前記薬剤を撮影して得られた第一画像を取得し、
   前記第一画像に含まれる薬剤の画像を検出し、
   前記第一画像から検出された薬剤の画像を前記第一画像から抽出し、
   前記抽出された薬剤の画像に基づき、前記抽出された薬剤の画像に対応する薬剤を識別 し、
   前記撮影装置の撮影範囲に対して前記薬剤の位置を調整する際に前記薬剤を移動させる薬剤移動方向について前記第一画像を反転させた第二画像を生成し、
   前記第二画像に含まれる薬剤の画像を検出し、
   前記第二画像から検出された薬剤の画像を前記第二画像から抽出し、前記第二画像から抽出された前記薬剤の画像を前記薬剤移動方向について反転させ、
   前記薬剤移動方向について反転させた前記薬剤の画像に基づき、前記第二画像から抽出された前記薬剤の画像に対応する薬剤を識別し、
   ディスプレイ装置に表示される画面の第一領域へ、前記第二画像を表示させる表示信号を生成し、
   前記表示信号を出力する薬剤識別装置。
10. 前記プロセッサは、識別対象の薬剤の画像が選択された場合に、候補となる薬剤の情報を前記画面へ表示させる表示信号を生成する請求項９に記載の薬剤識別装置。
11. 前記支持台の第一面に載置される前記薬剤に対して、互いに異なる方向から照明光を照射する複数の照明装置を備え、
    前記プロセッサは、
    前記複数の照明装置のうち、二以上の前記照明装置を用いて前記薬剤に対して照明光を照射させる第一照明条件を適用し、前記撮影装置を用いて前記第一画像を取得し、かつ、前記第一照明条件よりも少ない数の前記照明装置を用いて前記薬剤に対して照明光を照射させる第二照明条件を適用し、前記撮影装置を用いて前記第一画像を取得し、
    前記第一照明条件が適用され取得された前記第一画像及び前記第二照明条件が適用され取得された前記第一画像の少なくともいずれかを用いて、前記薬剤を識別する請求項９又は１０に記載の薬剤識別装置。
12. 前記プロセッサは、前記第二照明条件を適用して複数の前記第一画像を取得する請求項１１に記載の薬剤識別装置。
13. 前記複数の照明装置は、前記撮影装置の光軸と直交する面内において前記撮影装置の光軸を中心として９０度ずつ位置をずらして配置される第一照明装置、第二照明装置、第三照明装置及び第四照明装置を備え、
    前記プロセッサは、前記第一照明条件として第一照明装置、第二照明装置、第三照明装置及び第四照明装置を用いて前記薬剤に対して照明光を照射させ前記第一画像を取得し、かつ、前記第二照明条件として、第一照明装置、第二照明装置、第三照明装置及び第四照明装置のそれぞれから前記薬剤に対して照明光を照射させて、四つの前記第一画像を取得する請求項１１又は１２に記載の薬剤識別装置。
14. 前記プロセッサは、前記第二照明条件を適用して取得した複数の前記第一画像の少なくとも一つを用いて前記薬剤を識別する請求項１１又は１２に記載の薬剤識別装置。
15. コンピュータが、
    支持台の第一面に載置される薬剤を、前記支持台の第一面の反対側の第二面の側の位置に配置される撮影装置を用いて、前記支持台の前記第二面の側から前記薬剤を撮影して得られた第一画像を取得し、
    前記撮影装置の撮影範囲に対して前記薬剤の位置を調整する際に前記薬剤を移動させる薬剤移動方向について前記第一画像を反転させた第二画像を生成し、
    前記第二画像に含まれる薬剤の画像を検出し、
    前記第二画像から検出された薬剤の画像を前記第二画像から抽出し、前記薬剤の画像を 前記薬剤移動方向について反転させ、
    ディスプレイ装置に表示される画面の第一領域へ、前記第二画像を表示させ、かつ、前記薬剤移動方向について反転させた前記薬剤の画像を前記画面の第三領域へ表示させる表示信号を生成し、
    前記表示信号を出力する画像処理方法。
16. 前記コンピュータが実施する処理は、オペレータの操作に応じて入力された情報に基づき前記コンピュータが実施する処理が含まれる請求項１５に記載の画像処理方法。
17. コンピュータが、
    支持台の第一面に載置される薬剤を、前記支持台の第一面の反対側の第二面の側の位置に配置される撮影装置を用いて、前記支持台の前記第二面の側から前記薬剤を撮影して得られた第一画像を取得し、
    前記第一画像に含まれる薬剤の画像を検出し、
    前記第一画像から検出された薬剤の画像を前記第一画像から抽出し、
    前記抽出された薬剤の画像に基づき、前記抽出された薬剤の画像に対応する薬剤を識別 し、
    前記撮影装置の撮影範囲に対して前記薬剤の位置を調整する際に前記薬剤を移動させる薬剤移動方向について前記第一画像を反転させた第二画像を生成し、
    前記第二画像に含まれる薬剤の画像を検出し、
    前記第二画像から検出された薬剤の画像を前記第二画像から抽出し、前記第二画像から抽出された前記薬剤の画像を前記薬剤移動方向について反転させ、
    前記薬剤移動方向について反転させた前記薬剤の画像に基づき、前記第二画像から抽出された前記薬剤の画像に対応する薬剤を識別し、
    ディスプレイ装置に表示される画面の第一領域へ、前記第二画像を表示させる表示信号を生成し、
    前記表示信号を出力する薬剤識別方法。
18. 前記コンピュータが実施する処理は、オペレータの操作に応じて入力された情報に基づき前記コンピュータが実施する処理が含まれる請求項１７に記載の薬剤識別方法。

Images