JP7374869B2 - 薬剤候補表示方法及びプログラム、薬剤識別装置、薬剤識別システム - Google Patents

Description

本発明は薬剤候補表示方法及びプログラム、薬剤識別装置、薬剤識別システムに係り、特に識別する薬剤と候補となる薬剤とを比較する技術に関する。

複数の錠剤を撮影した画像から錠剤を識別し、識別された錠剤のうち鑑別する錠剤の画像を解析して候補となる錠剤を抽出し、抽出された候補錠剤を一覧表にして表示する装置が知られている。

特許文献１～３には、錠剤画像鑑別ウィンドウの第１の部分に表示された薬剤のうち、鑑別がまだ完了していない薬剤が選択されると、選択された薬剤が第２の部分に拡大表示され、選択された薬剤の候補薬が第３の部分にリスト表示される装置が記載されている。

特許文献４には、撮影された薬剤の画像に基づいて薬剤の識別情報を認識する際に、画像中に異常がある場合に、画像中の異常がある部分を識別する識別マークを画像に重ね合わせて表示する装置が記載されている。

特許文献５には、持参薬の鑑別処理において、必要事項を入力して検索ボタンを操作すると、薬剤に関するデータベースを検索して検索結果である薬剤の一覧を薬品検索結果欄に表示する装置が記載されている。

特開２０２０－０１１１２２号公報 特開２０１９－０７６７８７号公報 国際公開ＷＯ２０１７／１８３５３３号公報 特開２０１７－１５８７４３号公報 特開２０１３－１３７７７５号公報

従来の装置では、表示画面上において、鑑別する錠剤の表示位置と候補となる錠剤の表示位置とが離れているため、視線の移動量が多くなり効率が悪いという問題点があった。また、表示画面上に候補錠剤を表示するための表示領域が必要となるため、限られた表示スペースを圧迫するという問題点があった。

本発明はこのような事情に鑑みてなされたもので、表示スペースを圧迫することなく識別する薬剤と候補となる薬剤とをユーザに容易に比較させることができる薬剤候補表示方法及びプログラム、薬剤識別装置、薬剤識別システムを提供することを目的とする。

上記目的を達成するための薬剤候補表示方法の一の態様は、薬剤を撮影して画像を取得する撮影工程と、薬剤が撮影された画像をディスプレイに表示する画像表示工程と、表示された画像から薬剤が表示されている位置を特定する表示位置特定工程と、表示位置特定工程により特定された薬剤の位置情報に基づいて表示された画像に含まれる薬剤のうちユーザから指定された指定薬剤を特定する指定薬剤特定工程と、指定薬剤特定工程により特定された指定薬剤の正解薬剤を確定するための複数の候補薬剤の情報を薬剤情報データベースから取得する薬剤候補情報取得工程と、薬剤候補情報取得工程により取得された複数の候補薬剤の情報を、ディスプレイの指定薬剤と同時に観察できる位置にポップアップ表示するポップアップ表示工程と、を備える薬剤候補表示方法である。

本態様によれば、複数の候補薬剤の情報を、ディスプレイの指定薬剤と同時に観察できる位置にポップアップ表示するようにしたので、表示スペースを圧迫することなく識別する指定薬剤と候補薬剤とをユーザに容易に比較させることができる。

ポップアップ表示工程は、複数の候補薬剤の情報を、画像に含まれる薬剤のうちポップアップ表示と重なる薬剤を除いて指定薬剤に最も近い位置にポップアップ表示することが好ましい。これにより、視線の移動量を少なくすることができる。

ポップアップ表示工程は、複数の候補薬剤の情報を第１の方向に並べ、複数の候補薬剤の情報のうち最も確定の確率の高い候補薬剤の情報を指定薬剤の表示位置の第１の方向に直交する第２の方向の位置にポップアップ表示することが好ましい。これにより、複数の候補薬剤の情報を確定の確率の高いほど見やすい位置に表示することができる。

ポップアップ表示工程は、複数の候補の情報を、指定された薬剤の表示位置に対して相対的に同一の位置にポップアップ表示することが好ましい。これにより、視線の移動量及び移動方向を一定にすることができる。

画像表示工程は、指定薬剤について指定薬剤であること明示することが好ましい。これにより、画像に複数の薬剤が含まれる場合であっても、指定薬剤をユーザに認識させることができる。

複数の候補薬剤のうちユーザから選択された候補薬剤を指定薬剤の正解薬剤として確定する確定工程と、正解薬剤の情報をディスプレイの画像が表示された領域とは異なる領域に表示する薬剤情報表示工程と、を備え、ポップアップ表示工程は、確定工程において指定薬剤の正解薬剤を確定するとポップアップ表示を消去することが好ましい。これにより、不要な候補薬剤の情報が表示され続けることを防止することができる。

画像表示工程は、画像に含まれる薬剤のうち正解薬剤が確定された薬剤の表示位置の近傍に確定済みであることを示す情報を表示することが好ましい。これにより、正解薬剤が確定された薬剤がユーザにより再び指定薬剤に指定されることを防止することができる。

確定済みであることを示す情報は、正解薬剤と関連付けられた情報を含み、薬剤情報表示工程は、正解薬剤の情報とともに関連付けられた情報を表示することが好ましい。これにより、画像に含まれる薬剤のうち正解薬剤が確定された薬剤と正解薬剤の情報との関連をユーザに認識させることができる。

確定済みであることを示す情報は、確定した順番を示すマークを含むことが好ましい。これにより、確定した順番をユーザに認識させることができる。

複数の候補の情報は、薬剤の名称、薬剤のマスタ画像、及び薬剤のＰＴＰ（Press Through Package）シートの画像のうちの少なくとも１つを含むことが好ましい。これにより、指定薬剤と候補薬剤とをユーザに容易に比較させることができる。

上記に記載の薬剤候補表示方法をコンピュータに実行させるためのプログラムも本態様に含まれる。このプログラムが記録された、コンピュータが読み取り可能な非一時的記憶媒体も本態様に含んでよい。

上記目的を達成するための薬剤識別装置の一の態様は、プロセッサに実行させるための命令を記憶するメモリと、メモリに記憶された命令を実行するプロセッサと、を備え、プロセッサは、薬剤が撮影された画像をディスプレイに表示し、表示された画像から薬剤が表示されている位置を特定し、特定された薬剤の位置情報に基づいて表示された画像に含まれる薬剤のうちユーザから指定された指定薬剤を特定し、特定された指定薬剤の正解薬剤を確定するための複数の候補薬剤の情報を薬剤情報データベースから取得し、取得された複数の候補薬剤の情報を、ディスプレイの指定薬剤と同時に観察できる位置にポップアップ表示する、薬剤識別装置である。

本態様によれば、複数の候補薬剤の情報を、ディスプレイの指定薬剤と同時に観察できる位置にポップアップ表示するようにしたので、表示スペースを圧迫することなく識別する指定薬剤と候補薬剤とをユーザに容易に比較させることができる。

上記目的を達成するための薬剤識別システムの一の態様は、上記に記載の薬剤識別装置と、薬剤を撮影して画像を取得するカメラと、薬剤が撮影された画像を表示するディスプレイと、表示された画像に含まれる薬剤をユーザが指定する入力装置と、指定された薬剤の正解薬剤を確定するための複数の候補薬剤の情報を記憶する薬剤情報データベースと、を備える薬剤識別システムである。

本態様によれば、複数の候補薬剤の情報を、ディスプレイの指定薬剤と同時に観察できる位置にポップアップ表示するようにしたので、表示スペースを圧迫することなく識別する指定薬剤と候補薬剤とをユーザに容易に比較させることができる。

本発明によれば、表示スペースを圧迫することなく識別する薬剤と候補となる薬剤とをユーザに容易に比較させることができる。

図１は、薬剤識別システムのハードウェア構成の一例を示すブロック図である。 図２は、３つの薬包を示す平面図である。 図３は、撮影装置の概略構成を示す平面図である。 図４は、撮影装置の概略構成を示す側面図である。 図５は、薬剤識別方法の工程を示すフローチャートである。 図６は、ディスプレイに表示される画面の一例である。 図７は、ディスプレイに表示される画面の一例である。 図８は、ディスプレイに表示される画面の一例である。 図９は、ディスプレイに表示される画面の一例である。 図１０は、ディスプレイに表示される画面の一例である。 図１１は、ディスプレイに表示される画面の一例である。 図１２は、ディスプレイに表示される画面の一例である。 図１３は、ディスプレイに表示される画面の一例である。 図１４は、ディスプレイに表示される画面の一例である。 図１５は、ディスプレイに表示される画面の一例である。 図１６は、ディスプレイに表示される画面の一例である。 図１７は、ディスプレイに表示される画面の一例である。 図１８は、ディスプレイに表示される画面の一例である。 図１９は、ディスプレイに表示される画面の一例である。 図２０は、ディスプレイに表示される画面の一例である。 図２１は、ディスプレイに表示される画面の一例である。 図２２は、ディスプレイに表示される画面の一例である。

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

〔薬剤識別システムの構成〕
薬剤識別システム１０は、撮影対象物である薬剤を撮影し、撮影した画像内の薬剤の正解薬剤を確定するシステムである。薬剤識別システム１０は、薬剤を鑑別するシステムであってもよいし、薬剤を鑑査するシステムであってもよい。薬剤の鑑別とは、薬剤の外観からその薬剤の種別を特定することを指す。また、薬剤の鑑査とは、薬剤が処方通りに調剤されていることを確認することを指す。ここでは、識別とは鑑別及び鑑査を含む概念である。

図１は、薬剤識別システム１０のハードウェア構成の一例を示すブロック図である。図１に示すように、薬剤識別システム１０は、撮影装置１２、入力装置２０、ディスプレイ２２、薬剤情報データベース２４、及び薬剤識別装置２６を備える。

撮影装置１２は、カメラ１４、及び光源１６を備える。カメラ１４は、不図示の対物レンズ及び不図示の撮像素子を有するいわゆるデジタルカメラであり、撮影対象物のカラー画像を撮影する。撮像素子は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。また、カメラ１４は、撮像素子から読み出した画素毎のアナログ信号からデジタルの画像データを生成するデータ処理回路を備える。カメラ１４は、静止画を撮影してもよいし、一定のフレームレートの動画を撮影してもよい。

光源１６は、４つの光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄを含む。光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄは、それぞれＬＥＤ（Light Emitting Diode）光源である。光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄは、それぞれ異なる方向から撮影対象物に可視光の照明光を照射する。

入力装置２０は、ユーザが薬剤識別装置２６に各種の情報及び所望の指示を入力するための入力インターフェースである。入力装置２０は、マウス等のポインティングデバイス、及びキーボード等の入力デバイスを含む。

ディスプレイ２２は、画像データ等の情報をユーザに視認させるための表示装置である。ディスプレイ２２は、入力装置２０での操作に必要な画面を表示し、ＧＵＩ（Graphical User Interface）を実現する部分として機能する。また、ディスプレイ２２は、薬剤の認識結果等を表示する。入力装置２０とディスプレイ２２とを一体化したタッチパネルディスプレイを適用してもよい。

薬剤情報データベース２４は、大容量ストレージ装置によって構成されるデータベースである。薬剤情報データベース２４は、薬剤毎の詳細情報である薬剤情報を管理する。薬剤情報は、ＧＳ１コード、薬剤の名称、薬剤のマスタ画像、及び薬剤のＰＴＰ（Press Through Package）シートの画像を含む。

薬剤識別装置２６は、例えば汎用のコンピュータによって構成される。薬剤識別装置２６は、撮影装置１２から画像データを取得する。薬剤識別装置２６は、入力装置２０からユーザが入力した指示等を取得する。また、薬剤識別装置２６は、画像データ等の情報をディスプレイ２２に表示させる。さらに、薬剤識別装置２６は、薬剤情報データベース２４から所望の薬剤情報を取得する。

薬剤識別装置２６は、プロセッサ２８、及びメモリ３０を備える。プロセッサ２８は、メモリ３０に記憶された命令を実行する。

プロセッサ２８のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の機能部として作用する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、又はＣＰＵとＦＰＧＡの組み合わせ、あるいはＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の機能部を１つのプロセッサで構成してもよい。複数の機能部を１つのプロセッサで構成する例としては、第１に、クライアント又はサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第２に、ＳｏＣ（System On Chip）等に代表されるように、複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

メモリ３０は、プロセッサ２８に実行させるための命令を記憶する。メモリ３０は、不図示のＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。プロセッサ２８は、ＲＡＭを作業領域とし、ＲＯＭに記憶された薬剤識別プログラムを含む各種のプログラム及びパラメータを使用してソフトウェアを実行し、かつＲＯＭ等に記憶されたパラメータを使用することで、薬剤識別装置２６の各種の処理を実行する。

〔撮影装置の構成〕
撮影装置１２により撮影される撮影対象物は、例えば服用１回分の複数の薬剤である。複数の薬剤は、薬包に入っていてもよいし、薬包に入っていなくてもよい。

図２は、複数の薬剤が一包化された３つの薬包を示す平面図である。図２に示す各薬包ＴＰには、一例としてそれぞれ６個の薬剤Ｔが分包されている。各薬包ＴＰは、帯状に連結されており、各薬包ＴＰを切り離し可能にする切取線が入っている。ここでは、撮影装置１２は、薬包ＴＰ毎に薬剤Ｔを撮影する。

図３は、撮影装置１２の概略構成を示す平面図である。また、図４は、撮影装置１２の概略構成を示す側面図である。撮影装置１２は、薬包ＴＰを載置するためのステージ１８を備える。ステージ１８は、平坦な載置面１８Ａを水平面（ＸＹ平面）と平行にして不図示の支持部材により支持される。薬包ＴＰは、ステージ１８の載置面１８Ａの上に載置される。

カメラ１４は、ステージ１８の載置面１８Ａの中心から＋Ｚ方向に一定量離れた位置に、光軸を載置面１８Ａに向けて不図示の支持部材により支持される。

光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄは、それぞれステージ１８から＋Ｚ方向に一定量離れた位置に、不図示の支持部材により支持される。光源１６Ａは、ステージ１８の中心から－Ｘ方向に一定量離れた位置に配置される。光源１６Ｂは、ステージ１８の中心から＋Ｙ方向に一定量離れた位置に配置される。光源１６Ｃは、ステージ１８の中心から＋Ｘ方向に一定量離れた位置に配置される。光源１６Ｄは、ステージ１８の中心から－Ｙ方向に一定量離れた位置に配置される。

光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄは、それぞれ＋Ｚ方向に対して傾斜した方向からステージ１８に向かって照明光を照射する。光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄの発光は、薬剤識別装置２６により個別に制御される。

撮影は、次のように行われる。まず、撮影装置１２は、カメラ１４によって薬包ＴＰの第１の面を撮影する。撮影装置１２は、光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄを順次発光させ、光源１６Ａのみが発光している状態の画像、光源１６Ｂのみが発光している状態の画像、光源１６Ｃのみが発光している状態の画像、及び光源１６Ｄのみが発光している状態の画像の撮影をカメラ１４において行う。続いて、撮影装置１２は、光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄを同時に発光させた状態の画像の撮影をカメラ１４により行う。

次に、撮影装置１２は、カメラ１４によって薬包ＴＰの第１の面とは反対面である第２の面を撮影する。このために、ユーザは、薬包ＴＰの表裏を反転させて、薬包ＴＰを再びステージ１８の載置面１８Ａに載置する。表裏の反転は、不図示の自動反転機構によって行ってもよい。カメラ１４による撮影は、第１の面の場合と同様である。

光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄを順次発光させて撮影される４枚の画像は、それぞれ照明方向が異なっている。このため、薬剤Ｔの表面に刻印（凹凸）がある場合に刻印による影の出方が異なるものとなる。これらの４枚の撮影画像は、薬剤の表面の刻印を強調した刻印画像を生成するために使用される。４枚の撮影画像は、薬剤の表面の印刷を強調した画像を生成するために使用されてもよい。

なお、刻印とは、薬剤Ｔの表面の陥没領域である溝であり、薬剤Ｔの識別情報を示している。溝は、表面を掘って形成されたものに限定されず、表面を押圧することで形成されたものであってもよい。また、刻印は、割線等の識別機能を伴わないものも含んでもよい。

光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄを同時に発光させて撮影される１枚の画像は、輝度ムラのない画像である。このため、薬剤Ｔの表面の画像（薬剤画像）を切り出す場合に使用され、刻印画像が重畳される。

なお、１つの薬包ＴＰに対する撮影の順番、撮影枚数は上記の例に限定されない。また、撮影は暗室の状態で行われ、撮影の際に薬包ＴＰに照射される光は、光源１６からの照明光のみである。したがって、上記のようにして撮影される撮影画像は、背景は黒であり、各薬剤Ｔの領域は薬剤Ｔの色である。

〔薬剤識別方法〕
薬剤識別システム１０を用いた薬剤識別方法について説明する。薬剤識別方法は、プロセッサ２８がメモリ３０に記憶された薬剤識別プログラムを実行することで実現される。薬剤識別プログラムは、コンピュータが読み取り可能な非一時的記憶媒体によって提供されてもよい。この場合、薬剤識別装置２６は、非一時的記憶媒体から薬剤識別プログラムを読み取り、メモリ３０に記憶させてもよい。

図５は、薬剤識別方法の工程を示すフローチャートである。また、図６～図２２は、ディスプレイ２２に表示される画面の一例である。ここでは、複数の薬剤Ｔを含む薬包ＴＰについて撮影を行い、複数の薬剤Ｔの識別を行う例を説明する。

図６は、薬剤識別方法を開始した時点におけるディスプレイ２２の画面ＳＣ１を示す図である。図６に示すように、薬剤識別装置２６は、画面ＳＣ１の上部左側を第１の領域Ａ１、上部右側を第２の領域Ａ２として分割している。また、薬剤識別装置２６は、第１の領域Ａ１の下部にボタンＢ１を配置している。ボタンＢ１は、薬包ＴＰの撮影を開始するためのボタンである。

ユーザは、撮影する薬包ＴＰを、薬包ＴＰの第１の面を＋Ｚ方向に向けてステージ１８の載置面１８Ａに載置する。その後、ユーザが入力装置２０を用いてボタンＢ１を操作すると、薬剤識別装置２６は、カメラ１４によって薬剤Ｔを含む薬包ＴＰを撮影し、撮影された画像を取得する（ステップＳ１：撮影工程の一例）。

ここでは、カメラ１４は、薬剤識別装置２６の制御に従って、光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄを順次発光させて４枚の画像を撮影し、かつ光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄを同時に発光させて１枚の画像を撮影する。薬剤識別装置２６は、これらの計５枚の画像を取得する。

次に、薬剤識別装置２６は、薬剤Ｔが撮影された画像をディスプレイ２２に表示する（ステップＳ２：画像表示工程）。ここでは、薬剤識別装置２６は、光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄを同時に発光させて撮影した画像をディスプレイ２２の第１の領域Ａ１に表示する。図７は、ステップＳ２の工程が終了した時点におけるディスプレイ２２の画面ＳＣ２を示す図である。図７に示すように、ここでは薬剤Ｔとして、７つの錠剤Ｔ１～Ｔ７及び１つのカプセル剤ＴＣが撮影された画像が第１の領域Ａ１に表示されている。

薬剤識別装置２６は、第１の領域Ａ１の下部に、ボタンＢ１に代えてボタンＢ２及びボタンＢ３を配置している。ボタンＢ２は、薬包ＴＰの撮影を再度実行するためのボタンである。ユーザが入力装置２０を用いてボタンＢ２を操作すると、薬剤識別装置２６は、ステップＳ１の処理に戻る。

ボタンＢ３は、ディスプレイ２２に表示された画像から薬剤が表示されている位置を特定するためのボタンである。ユーザが入力装置２０を用いてボタンＢ３を操作すると、薬剤識別装置２６は、ディスプレイ２２に表示された画像から薬剤Ｔが表示されている位置を特定する（ステップＳ３：表示位置特定工程）。薬剤Ｔが表示されている位置は、ディスプレイ２２の画面内の座標位置として特定される。また、薬剤識別装置２６は、位置を特定した薬剤Ｔの領域をそれぞれ囲う矩形の枠をディスプレイ２２に表示する。さらに、薬剤識別装置２６は、ステップＳ１で撮影された光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄを順次発光させた４枚の画像から各薬剤Ｔの刻印画像を生成し、生成した刻印画像を第１の領域に表示された画像の各薬剤Ｔの領域にそれぞれ重畳させる。薬剤識別装置２６は、光源１６Ａ、１６Ｂ、１６Ｃ、及び１６Ｄを同時に発光させて撮影した画像に基づいて薬剤の印刷部分を強調する処理を行う。

図８は、ステップＳ３の工程が終了した時点におけるディスプレイ２２の画面ＳＣ３を示す図である。図８に示すように、ここでは７つの錠剤Ｔ１～Ｔ７及び１つのカプセル剤ＴＣに対してそれぞれの領域を囲う矩形の枠Ｆ１が表示されている。また、錠剤Ｔ１～Ｔ７の刻印及びカプセル剤ＴＣの印刷は、強調されて表示されている。

薬剤識別装置２６は、第１の領域Ａ１の下部に、ボタンＢ３に代えてボタンＢ４を配置している。ボタンＢ４は、正解薬剤の確定を完了するためのボタンである。

次に、薬剤識別装置２６は、ステップＳ３において特定された薬剤Ｔの位置情報に基づいてディスプレイ２２に表示された画像に含まれる薬剤Ｔのうちユーザから指定された指定薬剤を特定する（ステップＳ４：指定薬剤特定工程）。例えば、ユーザは、入力装置２０のポインティングデバイスを用いて薬剤Ｔを指定する。薬剤識別装置２６は、ポインティングデバイスによって指定された位置情報に基づいて、指定薬剤を特定する。

続いて、薬剤識別装置２６は、ステップＳ４において特定された指定薬剤の正解薬剤を確定するための複数の候補薬剤の情報を薬剤情報データベース２４から取得する（ステップＳ５：薬剤候補情報取得工程）。薬剤識別装置２６は、指定薬剤に対する複数の候補薬剤を、指定薬剤と薬剤情報データベース２４に記憶されたマスタ画像とのテンプレートマッチングによって抽出する。薬剤識別装置２６は、指定薬剤に対する複数の候補薬剤を、指定薬剤の画像を入力とする薬剤識別ＡＩ（Artificial Intelligence）によって抽出してもよい。ここでは、薬剤識別装置２６は、３つの候補薬剤を抽出し、抽出した３つの候補薬剤の情報を薬剤情報データベース２４から取得する。

さらに、薬剤識別装置２６は、ステップＳ５において取得された複数の候補薬剤の情報を、ディスプレイ２２の指定薬剤と同時に観察できる位置にポップアップ表示する（ステップＳ６：ポップアップ表示工程）。ここで、複数の候補薬剤の情報をポップアップ表示するとは、ディスプレイ２２のレイヤの最前に複数の候補薬剤の情報を表示することをいう。ポップアップ表示された複数の候補薬剤の情報は、ディスプレイ２２の第１の領域Ａ１、第２の領域Ａ２、及びそれ以外の領域の少なくとも１つの領域に重畳して表示される。ここで、複数の候補薬剤の情報が表示された範囲の背面となる部分は、複数の候補の情報に隠れて視認できない状態となる。なお、複数の候補薬剤の情報と指定薬剤とが同時に観察できる位置とは、複数の候補薬剤の情報と指定薬剤とがユーザの視界に同時に入る位置であればよい。

図９は、ステップＳ６の工程が終了した時点におけるディスプレイ２２の画面ＳＣ４を示す図である。図９に示すように、ここではユーザにより錠剤Ｔ１が指定されており、錠剤Ｔ１に対する候補薬剤の情報がポップアップＰ１としてポップアップ表示されている。ポップアップＰ１には、候補薬剤の情報として、候補薬剤Ｃ１、Ｃ２、及びＣ３の情報が含まれている。

ここで、指定薬剤である錠剤Ｔ１の領域を囲む枠Ｆ１は、指定薬剤であることをユーザに対して明示するために、その他の薬剤Ｔの領域を囲む枠Ｆ１とは異なる太さで表示される。例えば、錠剤Ｔ１の領域を囲む枠Ｆ１の線を相対的に太くし、錠剤Ｔ１以外の薬剤Ｔの領域を囲む枠Ｆ１の線を相対的に細くする。枠の線の太さを異ならせるのではなく、枠の形状、枠の色等を異ならせて表示させてもよい。また、枠Ｆ１を異ならせるのではなく、ポップアップＰ１から指定薬剤に向けて矢印線を表示する等の方法で明示してもよい。

図１０は、矢印Ｆ２を用いて指定薬剤を明示する場合のディスプレイ２２の画面ＳＣ４Ａを示す図である。また、図１１は、吹出しＦ３を用いて指定薬剤を明示する場合のディスプレイ２２の画面ＳＣ４Ｂを示す図である。

図９の説明に戻り、この画面ＳＣ４において、ユーザは、入力装置２０のポインティングデバイスを用いてポップアップＰ１に含まれる３つの候補薬剤Ｃ１、Ｃ２、及びＣ３の情報のうちの１つを選択することができる。ここで、選択とは、例えばマウスカーソルを候補薬剤Ｃ１、Ｃ２、及びＣ３のいずれかの位置に移動させることを指す。図１２は、ユーザが候補薬剤を選択した時点におけるディスプレイ２２の画面ＳＣ５を示す図である。図１２に示すように、画面ＳＣ５では、マウスカーソルＭＣを用いてユーザに選択された候補薬剤Ｃ１の薬剤名の領域の色が変更され、候補薬剤Ｃ１が選択された薬剤であることが明示されている。

ユーザが、複数の候補薬剤のうちのいずれかの候補薬剤を選択した状態で例えばマウスボタンをクリック操作すると、選択された候補薬剤が正解薬剤として確定される。すなわち、薬剤識別装置２６は、複数の候補薬剤のうちユーザから選択された後にクリック操作された候補薬剤を指定薬剤の正解薬剤として確定する（ステップＳ７：確定工程）。また、薬剤識別装置２６は、確定した正解薬剤の情報をディスプレイの画像が表示された領域とは異なる領域に表示し（ステップＳ８：薬剤情報表示工程）、ポップアップ表示されたポップアップＰ１を消去する（ポップアップ表示工程の一例）。

さらに、薬剤識別装置２６は、画像に含まれる薬剤のうち正解薬剤が確定された薬剤の表示位置の近傍に確定済みであることを示す情報を表示する（画像表示工程の一例）。確定済みであることを示す情報は、正解薬剤と関連付けられた情報を含む。薬剤識別装置２６は、正解薬剤の情報とともに関連付けられた情報を表示する（薬剤情報表示工程の一例）。確定済みであることを示す情報は、確定した順番を示すマークを含む。確定済みであることを示す情報は、正解薬剤が確定された薬剤の表示位置の近傍にチェックマーク（日本では「レ点」ともいう）を付与してもよいし、正解薬剤が確定された薬剤の枠Ｆ１の内側を半透明グレーの表示にしてもよい。

図１３は、この時点におけるディスプレイ２２の画面ＳＣ６を示す図である。図１３に示すように、画面ＳＣ６では、ディスプレイ２２の第２の領域Ａ２に、ユーザに選択されてクリック操作された候補薬剤Ｃ１が正解薬剤Ｄ１として表示され、ポップアップＰ１は消去されている。正解薬剤Ｄ１の情報は、薬剤の名称、薬剤のマスタ画像、及び薬剤のＰＴＰ（Press Through Package）シートの画像のうちの少なくとも１つを含む。薬剤のマスタ画像は、表側の画像及び裏側の画像を含むことが好ましい。ここでは、正解薬剤Ｄ１の情報として、さらに錠数を表示している。したがって、ユーザに正解薬剤の薬剤数を認識させることができる。

また、画面ＳＣ６では、第１の領域Ａ１の錠剤Ｔ１の領域の近傍に確定した順番を示すマークＭ１が表示され、第２の領域Ａ２の正解薬剤Ｄ１には確定した順番を示すマークＮ１が表示されている。マークＭ１及びマークＮ１は、錠剤Ｔ１が確定済みであり、錠剤Ｔ１と正解薬剤Ｄ１とが関連付けられており、かつ確定した順番が１番目であることを示している。

この後、ユーザが入力装置２０を用いてボタンＢ４を操作すると、薬剤識別装置２６は、本フローチャートの処理を終了する。

なお、ユーザが錠剤Ｔ１以外の薬剤Ｔについて正解薬剤を確定させる場合は、ステップＳ４～Ｓ８の工程を再度実行すればよい。

〔複数の薬剤について正解薬剤を確定する場合〕
図１４は、画面ＳＣ６が表示された状態からユーザが錠剤Ｔ２を２つ目の指定薬剤として指定した時点におけるディスプレイ２２の画面ＳＣ７を示す図である。図１４に示すように、指定された錠剤Ｔ２に対する候補薬剤の情報がポップアップＰ２としてポップアップ表示されている。ポップアップＰ２には、候補薬剤の情報として、候補薬剤Ｃ４、Ｃ５、及びＣ６の情報が含まれている。また、指定薬剤である錠剤Ｔ２の領域を囲む枠Ｆ１は、錠剤Ｔ２以外の薬剤Ｔの領域を囲む枠Ｆ１より相対的に太い線で表示される。

図１５は、画面ＳＣ７が表示された状態からユーザが候補薬剤Ｃ４を選択した時点におけるディスプレイ２２の画面ＳＣ８を示す図である。図１５に示すように、画面ＳＣ８では、マウスカーソルＭＣを用いてユーザに選択された候補薬剤Ｃ４の薬剤名の領域の色が変更されている。

図１６は、画面ＳＣ８が表示された状態から錠剤Ｔ２の正解薬剤が確定された時点でのディスプレイ２２の画面ＳＣ９を示す図である。図１６に示すように、画面ＳＣ９では、ディスプレイ２２の第２の領域Ａ２に、ユーザに選択されてクリック操作された候補薬剤Ｃ４が正解薬剤Ｄ２として表示され、ポップアップＰ２は消去されている。また、画面ＳＣ９では、第１の領域Ａ１の錠剤Ｔ２の領域の近傍に確定した順番を示すマークＭ２が表示され、第２の領域Ａ２の正解薬剤Ｄ２には確定した順番を示すマークＮ２が表示されている。マークＭ２及びマークＮ２は、錠剤Ｔ２が確定済みであり、錠剤Ｔ２と正解薬剤Ｄ２とが関連付けられており、かつ確定した順番が２番目であることを示している。

〔同じ薬包の第２の面を続けて撮影する場合〕
図１７は、ユーザが薬包ＴＰの第１の面の撮影画像から錠剤Ｔ１～Ｔ４の正解薬剤を確定させた時点でのディスプレイ２２の画面ＳＣ１０を示す図である。図１７に示すように、画面ＳＣ１０では、ディスプレイ２２の第２の領域Ａ２に、錠剤Ｔ１～Ｔ４に対する正解薬剤Ｄ１～Ｄ４が表示されている。また、画面ＳＣ１０は、第１の領域Ａ１にボタンＢ１が配置されている。

ユーザは、ステージ１８の載置面１８Ａに載置された薬包ＴＰの表裏を反転させ、薬包ＴＰの第１の面とは反対の第２の面を＋Ｚ方向に向けて再び載置面１８Ａに載置する。図１８は、画面ＳＣ１０が表示された状態でユーザが入力装置２０を用いてボタンＢ１を操作することで、薬包ＴＰの第２の面が撮影され、撮影された画像が第１の領域Ａ１に表示された時点でのディスプレイ２２の画面ＳＣ１１を示す図である。

また、図１９は、画面ＳＣ１１が表示された状態から薬剤識別装置２６がディスプレイ２２に表示された画像の薬剤が表示されている位置を特定した時点でのディスプレイ２２の画面ＳＣ１２を示す図である。図１９に示すように、画面ＳＣ１２は、錠剤Ｔ１～Ｔ７に対してそれぞれの領域を囲う矩形の枠Ｆ１が表示されている。また、画面ＳＣ１２は、錠剤Ｔ１～Ｔ７の刻印が強調されて表示されている。

画面ＳＣ１２では、第１の領域Ａ１の錠剤Ｔ１～Ｔ４の領域の近傍にそれぞれ確定した順番を示すマークＭ１～Ｍ４が表示され、第２の領域Ａ２の正解薬剤Ｄ１～Ｄ４にはそれぞれ確定した順番を示すマークＮ１～Ｎ４が表示されている。このように、薬剤識別装置２６は、薬包ＴＰの第２の面を撮影した画像から、正解薬剤がすでに確定された薬剤を認識できる場合には、第２の面を撮影した画像の各薬剤の領域の近傍にそれぞれ確定した順番を示すマークを表示する。

図２０は、画面ＳＣ１２が表示された状態からユーザが錠剤Ｔ５を５つ目の指定薬剤として指定した時点でのディスプレイ２２の画面ＳＣ１３を示す図である。図２０に示すように、指定された錠剤Ｔ５に対する候補薬剤の情報がポップアップＰ５としてポップアップ表示されている。ポップアップＰ５には、候補薬剤の情報として、候補薬剤Ｃ７、Ｃ８、及びＣ９の情報が含まれている。また、指定薬剤である錠剤Ｔ５の領域を囲む枠Ｆ１は、錠剤Ｔ５以外の薬剤Ｔの領域を囲む枠Ｆ１より相対的に太い線で表示される。

図２１は、画面ＳＣ１３が表示された状態からユーザが候補薬剤Ｃ７を選択した時点でのディスプレイ２２の画面ＳＣ１４を示す図である。図２１に示すように、画面ＳＣ１４では、ユーザに選択された候補薬剤Ｃ７の薬剤名の領域の色が変更されている。

図２２は、画面ＳＣ１４が表示された状態から錠剤Ｔ５の正解薬剤が確定された時点でのディスプレイ２２の画面ＳＣ１５を示す図である。図２２に示すように、画面ＳＣ１５では、ディスプレイ２２の第２の領域Ａ２に、ユーザに選択されてクリック操作された候補薬剤Ｃ７が正解薬剤Ｄ５として表示され、ポップアップＰ５は消去されている。また、画面ＳＣ１５では、第１の領域Ａ１の錠剤Ｔ５の領域の近傍に確定した順番を示すマークＭ５が表示され、第２の領域Ａ２の正解薬剤Ｄ５には確定した順番を示すマークＮ５が表示されている。マークＭ５及びマークＮ５は、錠剤Ｔ５が確定済みであり、錠剤Ｔ５と正解薬剤Ｄ５とが関連付けられており、かつ確定した順番が５番目であることを示している。

このように、薬包ＴＰの第１の面を撮影した画像から正解薬剤を確定できなかった薬剤についても、第１の面とは反対の第２の面を撮影した画像から正解薬剤を確定することができる。

薬剤識別方法の各工程のうち、ステップＳ１～ステップＳ６の工程が薬剤候補表示方法を構成する。

〔ポップアップの表示タイミング〕
候補薬剤の情報を含むポップアップがポップアップ表示されるタイミングは、薬剤識別装置２６がユーザから指定された指定薬剤を特定し、指定薬剤の正解薬剤を確定するための複数の候補薬剤の情報を薬剤情報データベースから取得したタイミングである。

〔ポップアップの消去タイミング〕
候補薬剤の情報を含むポップアップが消去されるタイミングは、指定薬剤の正解薬剤が確定したタイミングである。

〔ポップアップの表示位置〕
薬剤識別装置２６は、複数の候補薬剤の情報を含むポップアップを、ディスプレイ２２の第１の領域Ａ１に表示された画像内の指定薬剤と同時に観察できる位置にポップアップ表示する。ユーザが指定薬剤と複数の候補薬剤の情報とを同時に観察できるためには、画像内の指定薬剤の領域とが重畳しない位置に候補薬剤の情報を含むポップアップがポップアップ表示される必要がある。このようにポップアップ表示することで、表示スペースを圧迫することなく識別する指定薬剤と候補薬剤とをユーザに容易に比較させることができる。

薬剤識別装置２６は、複数の候補薬剤の情報を含むポップアップを、画像に含まれる薬剤のうちポップアップと重なる薬剤を除いて指定薬剤に最も近い位置にポップアップ表示する。例えば、図１４に示すポップアップＰ２は、ポップアップＰ２と重なるカプセル剤ＴＣ、錠剤Ｔ３、及び錠剤Ｔ５を除き、指定薬剤である錠剤Ｔ２に最も近い位置にポップアップ表示されている。このようにポップアップ表示することで、正解薬剤を確定する際の視線の移動量を少なくすることができる。

なお、薬剤とポップアップの距離は、ポップアップを指定薬剤の右側に表示する場合であれば、薬剤領域の右端とポップアップの左端との間の距離とすることができる。

また、薬剤識別装置２６は、ポップアップ内に複数の候補薬剤の情報を第１の方向に並べ、複数の候補薬剤の情報のうち最も確定の確率（照合率）の高い候補薬剤の情報を指定薬剤の表示位置の第１の方向に直交する第２の方向の位置に配置してポップアップ表示する。例えば、第１の方向はディスプレイ２２の縦方向であり、第２の方向はディスプレイ２２の横方向である。

確定の確率は、マスタ画像とのテンプレートマッチングによって候補薬剤を抽出した場合であれば、マスタ画像と指定薬剤の画像との合致率を表すスコアを用いればよい。また、薬剤識別ＡＩによって抽出した場合であれば、薬剤識別ＡＩのスコアを用いれよい。

さらに、薬剤識別装置２６は、複数の候補薬剤の情報のうち、最も確定の確率の高い薬剤の情報が指定薬剤の領域画像に近い位置に配置するようにポップアップ表示する。

例えば、図１４に示すポップアップＰ２は、複数の候補薬剤Ｃ４、Ｃ５、及びＣ６の情報が縦方向に並べられ、最も確定の確率の高い候補薬剤Ｃ４の情報が指定薬剤である錠剤Ｔ２の表示位置の右側の真横の位置に表示されている。

このようにポップアップ表示することで、指定薬剤と複数の薬剤候補の情報とをユーザが比較しやすくなる。また、視線と操作とが特定エリアに集まることで、ユーザの作業の効率化を図ることができる。

さらに、薬剤識別装置２６は、複数の候補の情報を含むポップアップを、指定薬剤の表示位置に対して相対的に同一の位置にポップアップ表示する。すなわち、図１２に示す指定薬剤である錠剤Ｔ１とポップアップＰ１、図１４に示す指定薬剤である錠剤Ｔ２とポップアップＰ２、及び図２０に示す指定薬剤である錠剤Ｔ５とポップアップＰ５は、相対的に同一の位置関係を有している。相対的に同一の位置とは、指定薬剤の位置に対するポップアップの位置が、上下左右の方向と距離とが固定された位置であることをいう。

このように複数の候補の情報を含むポップアップを、指定薬剤の表示位置に対して常に相対的に同一の位置にポップアップ表示することで、ポインティングデバイスによるカーソルの移動パターンが固定され、ポインティングデバイスの操作が迅速かつ容易になる。

〔ポップアップの表示内容〕
ポップアップに含まれる複数の候補の情報は、薬剤の名称、薬剤のマスタ画像、及び薬剤のＰＴＰ（Press Through Package）シートの画像のうちの少なくとも１つを含む。薬剤のマスタ画像は、表側の画像及び裏側の画像を含むことが好ましい。これにより、候補薬剤の情報をユーザに報知することができる。

また、ポップアップに含まれる複数の候補の情報がマスタ画像を含む場合は、指定薬剤と最も近い位置にマスタ画像を表示させることが好ましい。これにより、指定薬剤の画像とマスタ画像との比較が容易になる。

また、ポップアップに含まれる複数の候補の情報は、確定の確率の高い順に配置することが好ましい。例えば、複数の候補の情報をディスプレイ２２の縦方向に並べる場合、照合率の高い順に上から表示する。図１４に示すポップアップＰ２の場合であれば、照合率の高い順に候補薬剤Ｃ４、Ｃ５、及びＣ６である。

〔その他〕
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。

１０…薬剤識別システム
１２…撮影装置
１４…カメラ
１６、１６Ａ～１６Ｄ…光源
１８…ステージ
１８Ａ…載置面
２０…入力装置
２２…ディスプレイ
２４…薬剤情報データベース
２６…薬剤識別装置
２８…プロセッサ
３０…メモリ
Ａ１…第１の領域
Ａ２…第２の領域
Ｂ１～Ｂ４…ボタン
Ｃ１～Ｃ９…候補薬剤
Ｄ１～Ｄ５…正解薬剤
Ｆ１…枠
Ｆ２…矢印
Ｆ３…吹出し
ＭＣ…マウスカーソル
Ｍ１～Ｍ５…マーク
Ｎ１～Ｎ５…マーク
Ｐ１、Ｐ２、Ｐ５…ポップアップ
ＳＣ１～ＳＣ１５…画面
Ｔ…薬剤
Ｔ１～Ｔ７…錠剤
ＴＣ…カプセル剤
ＴＰ…薬包
Ｓ１～Ｓ８…薬剤識別方法の各工程

Claims (11)

1. 薬剤を撮影して画像を取得する撮影工程と、
   前記薬剤が撮影された画像をディスプレイに表示する画像表示工程と、
   前記表示された画像から前記薬剤が表示されている位置を特定する表示位置特定工程と、
   前記表示位置特定工程により特定された薬剤の位置情報に基づいて前記表示された画像に含まれる薬剤のうちユーザから指定された指定薬剤を特定する指定薬剤特定工程と、
   前記指定薬剤特定工程により特定された前記指定薬剤の正解薬剤を確定するための複数の候補薬剤の情報を薬剤情報データベースから取得する薬剤候補情報取得工程と、
   前記薬剤候補情報取得工程により取得された前記複数の候補薬剤の情報を、前記ディスプレイの前記指定薬剤と同時に観察できる位置にポップアップ表示するポップアップ表示工程と、
   を備え、
   前記ポップアップ表示工程は、前記複数の候補薬剤の情報を、前記画像に含まれる薬剤のうち前記ポップアップ表示と重なる薬剤を除いて前記指定薬剤に最も近い位置にポップアップ表示し、
   前記ポップアップ表示工程は、前記複数の候補薬剤の情報を第１の方向に並べ、前記複数の候補薬剤の情報のうち最も確定の確率の高い候補薬剤の情報を前記指定薬剤の表示位置の前記第１の方向に直交する第２の方向の位置にポップアップ表示する、
   薬剤候補表示方法。
2. 前記ポップアップ表示工程は、前記複数の候補薬剤の情報を、前記指定された薬剤の表示位置に対して相対的に同一の位置にポップアップ表示する、
   請求項１に記載の薬剤候補表示方法。
3. 前記画像表示工程は、前記指定薬剤について前記指定薬剤であることを明示する請求項１又は２に記載の薬剤候補表示方法。
4. 前記複数の候補薬剤のうちユーザから選択された候補薬剤を前記指定薬剤の正解薬剤として確定する確定工程と、
   前記正解薬剤の情報を前記ディスプレイの前記画像が表示された領域とは異なる領域に表示する薬剤情報表示工程と、
   を備え、
   前記ポップアップ表示工程は、前記確定工程において前記指定薬剤の正解薬剤を確定すると前記ポップアップ表示を消去する請求項１から３のいずれか１項に記載の薬剤候補表示方法。
5. 前記画像表示工程は、前記画像に含まれる薬剤のうち正解薬剤が確定された薬剤の表示位置の近傍に確定済みであることを示す情報を表示する請求項４に記載の薬剤候補表示方法。
6. 前記確定済みであることを示す情報は、前記正解薬剤と関連付けられた情報を含み、
   前記薬剤情報表示工程は、前記正解薬剤の情報とともに前記関連付けられた情報を表示する請求項５に記載の薬剤候補表示方法。
7. 前記確定済みであることを示す情報は、確定した順番を示すマークを含む請求項５又は６に記載の薬剤候補表示方法。
8. 前記複数の候補薬剤の情報は、薬剤の名称、薬剤のマスタ画像、及び薬剤のＰＴＰ（Press Through Package）シートの画像のうちの少なくとも１つを含む請求項１から７のいずれか１項に記載の薬剤候補表示方法。
9. 請求項１から８のいずれか１項に記載の薬剤候補表示方法をコンピュータに実行させためのプログラム。
10. プロセッサに実行させるための命令を記憶するメモリと、
    メモリに記憶された命令を実行するプロセッサと、
    を備え、
    前記プロセッサは、
    薬剤が撮影された画像をディスプレイに表示し、
    前記表示された画像から前記薬剤が表示されている位置を特定し、
    前記特定された薬剤の位置情報に基づいて前記表示された画像に含まれる薬剤のうちユーザから指定された指定薬剤を特定し、
    前記特定された前記指定薬剤の正解薬剤を確定するための複数の候補薬剤の情報を薬剤情報データベースから取得し、
    前記取得された前記複数の候補薬剤の情報を、前記ディスプレイの前記指定薬剤と同時に観察できる位置にポップアップ表示し、
    前記複数の候補薬剤の情報を、前記画像に含まれる薬剤のうち前記ポップアップ表示と重なる薬剤を除いて前記指定薬剤に最も近い位置にポップアップ表示し、
    前記複数の候補薬剤の情報を第１の方向に並べ、前記複数の候補薬剤の情報のうち最も確定の確率の高い候補薬剤の情報を前記指定薬剤の表示位置の前記第１の方向に直交する第２の方向の位置にポップアップ表示する、
    薬剤識別装置。
11. 請求項１０に記載の薬剤識別装置と、
    前記薬剤を撮影して画像を取得するカメラと、
    前記薬剤が撮影された画像を表示するディスプレイと、
    前記表示された画像に含まれる薬剤をユーザが指定する入力装置と、
    前記指定された薬剤の正解薬剤を確定するための複数の候補薬剤の情報を記憶する薬剤情報データベースと、
    を備える薬剤識別システム。

Images