JP6820886B2 - 薬剤のラベルおよび／またはパッケージによって、その薬剤を区分けし識別するための方法およびシステム - Google Patents

Description

本開示は、一般に調薬管理システムの分野に関する。さらに具体的には、本開示は、薬剤のラベルおよび／またはパッケージによって、当薬剤を区分けし識別するための方法およびシステムに関する。

医療用品および製剤製品の効率的な保存および管理のシステムおよび／または方法は、病院システムの円滑なオペレーションならびに高品質の患者介護を提供するための重要な必要条件である。このような場合、全ての医療機関にとって、処方調合の正確さは最重要事項である。自動払い出しキャビネット（ＡＤＣ：ａｕｔｏｍａｔｅｄ ｄｉｓｐｅｎｓｉｎｇ ｃａｂｉｎｅｔ）が病院に導入されてから２０年を超えるが、調薬過誤はまだ存在する。ＡＤＣによる投薬管理は、臨床スタッフが標準プロトコルを正しく順守することに大きく依存しており、しかして最終的な人的エラーを完全に排除することは不可能である。例えば、薬局が間違った薬剤を所与の薬品キャビネットに置くことがあり、または臨床担当者が「よく似た」薬剤を隣の薬品引き出しから選び取ることもある。したがって、人間の目で薬剤をその外観で識別するのは信頼性がなく、これを薬剤管理システムに適用することもできない。

ディープラーニング手法は、多重レベルの学習データ表現に基づく機械学習手法の幅広いファミリの１つであり、この多重レベルは、各々が１つのレベルの表現をより高位のわずかに抽象性の高いレベルの表現に変換する、単純だが非線型のモジュールを構成することによって得られる。十分量のかかる変換の構成によって、分類タスクなどの複雑な機能を学習することができる。上記により、ディープラーニングは、長年に亘って人口知能コミュニティに存在する問題の解決に大きな進展をもたらし、多くの技術分野で応用されている。調薬管理に関して、対象体の外観を識別する上でのディープラーニングの優れたパフォーマンスは、現在の薬品払い出し技術の欠点に対する有望な解決法のように見える。しかしながら、特定の外観類似性を伴う薬剤パッケージの多大な種類を鑑みれば、単にディープラーニングを実行するだけでは、望ましい成果を生み出すことはできなかった。

前述の見地から、関連技術において、薬剤管理のためのより改良された（例えば、薬剤をそのラベルおよび／またはパッケージによって区分けし識別する）方法およびシステムが必要とされている。

読者に基本的な理解を提供するため、以下に本開示の簡単な要約を提示する。この要約は、本開示の広範な概観ではなく、本発明の主要／重要要素を識別するものでも、または本発明の範囲を叙述するものでもない。その唯一の目的は、本明細書に開示されるいくつかの概念を、後記で提示されるより詳細な説明の導入部として簡潔な形で提示することである。

本概要で具現化され概括的に説明されるように、本開示の目的は、薬剤の払い出しの効率性および正確さが大幅に改良されるように、臨床薬品を識別するためのシステムによって実装される、改良された調薬管理システムおよび方法を提供することにある。

一態様において、本開示は、薬剤ライブラリを構築するためのコンピュータ実装方法を対象とする。いくつかの実施形態において、本方法は、（ａ）薬剤のパッケージの複数の生画像を受信するステップと、（ｂ）組合せ画像を生成するために複数の生画像のうちの２つを並置するステップであって、これら２つの並置生画像は相互に異なる、ステップと、（ｃ）基準画像を生成するために組合せ画像を処理するステップと、（ｄ）基準画像を用いて薬剤ライブラリを確立するステップと、を含む。

いくつかのオプションの実施形態において、本方法は、上記ステップ（ａ）の前に、薬剤のパッケージの複数の生画像を同時に取り込むステップをさらに含む。

本開示の特定の実施形態によれば、好ましくは、薬剤は、ブリスターパッケージされた形である。

本開示の特定の実施形態によれば、上記ステップ（ｂ）は、（ｂ−１）それぞれが画定された輪郭を有する複数の第一処理画像を生成するために、複数の生画像をそれぞれ処理するステップと、（ｂ−２）第一処理画像の各画定された輪郭のコーナーの座標位置を算定するためにそれらコーナーを識別するステップと、（ｂ−３）複数の第二処理画像を生成するために、ステップ（ｂ−２）で算定された座標位置に基づいて、ステップ（ｂ−１）の第一処理画像の各々を回転するステップと、（ｂ−４）上記ステップ（ｂ）の組合せ画像を生成するために、第二処理画像の何れか２つを組み合せるステップと、を含む。

本開示の特定の実施形態によれば、ステップ（ｂ−１）の複数の生画像の各々は、（ｉ）グレースケール変換処理、（ｉｉ）ノイズ低減処理、（ｉｉｉ）エッジ識別処理、（ｉｖ）凸包処理、および（ｖ）輪郭形成処理の処理に付される。

本開示の実施形態によれば、（ｉ）〜（ｖ）の各処理は、任意の順序で別々に行ってよく、（ｉ）〜（ｖ）の各処理では、ステップ（ｂ−１）の生画像、または前記処理（ｉ）〜（ｖ）の現在の処理以外の何れによって処理された画像でも用いられる。

本開示のいくつかの実施形態において、ステップ（ｂ−２）は、ライン変換アルゴリズムまたはセントロイドアルゴリズムによって実行される。

好ましくは、前述の組合せ画像は、薬剤のブリスターパッケージの両面の画像を備える。

本開示のいくつかの実施形態によれば、上記ステップ（ｃ）は、機械学習アルゴリズムによって実行される。

別の態様において、本開示は、ブリスターパッケージによって薬剤を識別するためのコンピュータ実装方法に関する。本方法は、（ａ）薬剤のブリスターパッケージの前面および背面の画像を同時に取得するステップと、（ｂ）候補画像を生成するために、ステップ（ａ）からの前面および背面の画像を並置するステップと、（ｃ）候補画像を、前述の方法によって確立された薬剤ライブラリの基準画像と比較するステップと、（ｄ）上記ステップ（ｃ）の結果を出力するステップと、を含む。

本開示の特定の実施形態によれば、上記ステップ（ｂ）は、（ｂ−１）それぞれが画定された輪郭を有する２つの第一処理画像を生成するために、前面および背面画像をそれぞれ処理するステップと、（ｂ−２）該２つの第一処理画像の各画定された輪郭のコーナーの座標位置を算定するためにそれらコーナーを識別するステップと、（ｂ−３）２つの第二処理画像を生成するために、ステップ（ｂ−２）の算定された座標位置に基づいて、ステップ（ｂ−１）の２つの第一処理画像の各々を回転するステップと、（ｂ−４）上記ステップ（ｂ）の候補画像を生成するために、ステップ（ｂ−３）の２つの第二処理画像を組み合せるステップと、を含む。

本開示の特定の実施形態によれば、ステップ（ｂ−１）の前面および背面の画像は、それぞれ、（ｉ）グレースケール変換処理、（ｉｉ）ノイズ低減処理、（ｉｉｉ）エッジ識別処理、（ｉｖ）凸包処理、および（ｖ）輪郭形成処理の処理に付される。

いくつかの実施形態おいて、（ｉ）〜（ｖ）の各処理は、任意の順序で別々に行ってよく、（ｉ）〜（ｖ）の各処理では、ステップ（ｂ−１）の前面および背面の画像、または前記処理（ｉ）〜（ｖ）の現在の処理以外の何れによって処理された画像でも用いられる。

いくつかのオプションの実施形態において、ステップ（ｂ−２）は、ライン変換アルゴリズムまたはセントロイドアルゴリズムによって実行される。

いくつかのオプションの実施形態では、上記ステップ（ｄ）は、機械学習アルゴリズムによって実行される。

いくつかのオプションの実施形態では、本方法は、上記ステップ（ｃ）の前に、候補画像を薬剤ライブラリ中に移送するステップをさらに含む。

さらに別の態様において、本開示は調薬管理システムを対象とし、該システムは、上記方法を実装するように構成された、画像取込デバイスと、画像プロセッサと、機械学習プロセッサとを含む。

さらに具体的には、画像取込デバイスは、薬剤のパッケージの複数の画像を取り込むように構成される。画像プロセッサは、候補画像を生成するための方法を実行する命令によってプログラムされ、この方法は、（１）それぞれが画定された輪郭を有する複数の第一処理画像を生成するために、薬剤のパッケージの複数の画像をそれぞれ処理するステップと、（２）第一処理画像の各画定された輪郭のコーナーの座標位置を算定するためにそれらコーナーを識別するステップと、（３）複数の第二処理画像を生成するために、ステップ（２）で識別された座標位置に基づいて、第一処理画像の各々を回転するステップと、（４）互いに異なる２つの第二処理画像による候補画像を生成するために、ステップ（３）の第二処理画像の２つを並置するステップと、を含む。さらに、機械学習プロセッサは、候補画像と、前述の薬剤ライブラリの基準画像とを比較するための方法を実行する命令をプログラムされる。機械学習プロセッサによって生成された結果は、引き続いて、薬剤払い出し先の担当者に通知するため出力することが可能である。

本開示のいくつかの実施形態において、画像取込デバイスは、その上に薬剤が置かれる透明ボード、および該透明ボードの各々の側の上下方に別々に配置された２つの画像取込ユニットを含む。

本開示のいくつかの実施形態において、上記ステップ（１）の複数の画像の各々は、（ｉ）グレースケール変換処理、（ｉｉ）ノイズ低減処理、（ｉｉｉ）エッジ識別処理、（ｉｖ）凸包処理、および（ｖ）輪郭形成処理の処理に付される。

いくつかの実施形態では、（ｉ）〜（ｖ）の各処理は、任意の順序で別々に行ってよく、（ｉ）〜（ｖ）の各処理では、上記ステップ（１）の複数の画像、または前記処理（ｉ）〜（ｖ）の現在の処理以外の何れによって処理された画像でも用いられる。

加えてまたは代わりに、前記ステップ（２）は、ライン変換アルゴリズムまたはセントロイドアルゴリズムによって実行されてもよい。

いくつかのオプションの実施形態において、候補画像と前述の薬剤ライブラリの基準画像とを比較するための方法は、機械学習アルゴリズムによって実行される。

上記の構成によって、区分けおよび識別のための薬剤管理方法およびシステムは、リアルタイム方式で実行することが可能で、これにより、薬品払い出し過程で、薬剤の方位の如何にかかわらず画像分類の全体的処理時間が短縮される。

さらに、薬品の外観および／またはブリスターパッケージを用いて、その識別の正確さを向上することができ、薬剤払い出し過程での人的過誤を大きく低下することができる。これによって薬剤使用の安全性を改善することができよう。

本開示に伴う多くの特徴および利点は、以下の詳細な説明を、添付の図面と関連付けて考慮しながら参照することにより良く理解されよう。

本明細書は、添付の図面を踏まえ、以下の詳細な説明を読むことによってより良く理解されよう。

本開示の一実施形態による、方法１００を表すフローチャートである。 本開示の一実施形態による、方法２００を表すフローチャートである。 本開示の別の実施形態による、調薬管理システム３００を表す図である。 本開示の一例による、パッケージのコーナーが、セントロイドアルゴリズムの使用によってどのように識別されるかを示す概略図である。

一般的慣行によって、説明される様々な特徴／要素は縮尺通りに描かれていないが、代わりに、本発明に関連する特定の特徴／要素を最良に表すように描かれている。また、様々な図面中で、同様な要素／部分を示すために、同様な参照符号および呼称が用いられる。

添付の図面と関連させて以下に提供される詳細な説明は、提示の例の説明として意図されたものであり、提示例が構築または利用可能な形態だけを表すことを意図したものではない。本説明は、例の機能およびその例を構築し動作するためのステップのシーケンスを述べている。但し、これと異なる例によっても、同一のまたは等価の機能およびシーケンスを達成することが可能である。

Ｉ．定義
便宜上、本明細書、諸例、および添付の特許請求の範囲中で用いられる特定の用語を本段落にまとめる。本明細書中で別途に定義されている場合を除き、本開示中で用いられる科学および技術用語は、一般的に理解され、当業者によって使われている意味を有するものとする。また、文脈上別途に要求されていなければ、単数用語はその複数形を含み、複数用語は単数形をも含むものとして理解することとする。具体的に、本明細書および特許請求の範囲中で用いられる、単数形「或る（ａおよびａｎ）」は、文脈が明瞭に別途に示している場合を除き、複数への言及も含む。また、本明細書および特許請求の範囲で用いられる、用語「少なくとも１つ」と「１つ以上」とは同じ意味を有し、１つ、２つ、３つ、またはそれ以上を含む。

本発明の広義の範囲を述べる数値範囲およびパラメータは近似値であるが、具体例を述べる数値は、できるだけ精度よく記載している。但し、一切の数値は、それぞれの測定に存在する標準偏差から必然的に生じる一定の誤差を本質的に包含する。また、本明細書で使用する用語「約」は、一般に、所与の値または範囲の１０％、５％、１％、または０．５％以内であることを意味する。あるいは、用語「約」は、当業者がそう見なす場合、平均値の受容可能な標準誤差以内であることを意味する。動作／作業の例でない場合または明示で別途に特定されている場合を除き、材料の量、経過時間、温度、動作条件、量の比率など、本明細書で開示される全ての数値範囲、量、数値、およびパーセントは、全ての例において用語「約」で修飾されていると理解すべきである。したがって、そうでないことが示されている場合を除き、本開示および添付の特許請求の範囲中で述べられる数値パラメータは、必要により変わり得る近似値である。最低限でも、各数値パラメータは、少なくとも、記載された有効数字の桁数を考慮し、一般的丸め技法を適用して解釈すべきである。本明細書では、範囲は、１つの終端点から別の終端点まで、または２つの終端点の間として表すことができる。本明細書で開示される全ての範囲は、別途に指定されている場合を除き、これらの終端点を含む。

本明細書で用いる用語「ブリスターパック」または「ブリスターパッケージ」は、材料のシートの間に内包された製品を含む任意の種類の層状パッケージを包含し、これらのシートは、例えば、シートが熱および／または圧力で接着活性化されることによりシールされるなど、当業者に既知の方法で併せ接着またはシールされる。シート材は、個別のシートとして（手作業包装用）、または好ましくは、ロール体の連続ウェブシートとして（機械包装用）市販品が入手可能である。ブリスターパッケージの主構成部分は、通常は熱成形プラスチックの、成形用巻材で作製されたキャビティまたはポケットである。このキャビティまたはポケットは、ブリスターパッケージ中に収納される商品を内包するのに十分な大きさである。用途に依っては、ブリスターパッケージに熱成形材料の裏打ち材を備えてもよい。調剤分野では、「ブリスターパッケージ」は、一般に医薬錠剤の単位服用量パッケージとして使われ、その背面に印刷された薬品情報を含んでいる。さらに、これらのシートは様々な厚さのものが利用可能である。

ＩＩ．本発明の説明
患者介護における最大関心事は薬剤使用の安全性である。正しく処方を満たし薬剤を払い出すことは、患者介護の最重要事項である。ＡＤＣなどの従来型自動払い出しシステムは、まだ改良の余地があり、本発明は、前述の問題を取り扱うための、改良されハイライトされたディープラーニング法を提供することを目的としている。さらに、本発明は、臨床スタッフの作業量を低減するため、リアルタイムでの動作システムによる、自動薬剤検証（ＡＭＶ：ａｕｔｏｍａｔｉｃ ｍｅｄｉｃａｔｉｏｎ ｖｅｒｉｆｉｃａｔｉｏｎ）装置を開発することも目的としている。

さらに具体的には、「ハイライトされた」ディープラーニング法とは、特徴または画像をアルゴリズムに入力する前に、特徴の情報がより強調されて学習できるように、それらを処理し強調する方法をいう。一般に、識別されたターゲットをよりうまく分類し固有の記述的特徴を摘出するために、この特徴処理は、一定のシグネチャーテンプレート中でブリスターパッケージ外観の両方のトリミング写真の接合をもたらす、様々な画像処理ステップによって達成され、これにより学習ネットワーク中での後の分類処理を容易化する。

１．薬剤ライブラリ構築の方法
本開示の第一態様は、コンピュータ可読ストレージ媒体中に実装された薬剤ライブラリを構築するための方法を対象とする。図１を参照することとする。

図１を参照すると、この図は、本開示の一実施形態による、コンピュータ上に実装された方法１００のフローチャートである。本方法は、少なくとも、
（Ｓ１１０）薬剤のパッケージの複数の生画像を受信するステップと、
（Ｓ１２０）組合せ画像を生成するために複数の生画像のうちの２つを並置するステップであって、これら２つの生画像は相互に異なる、ステップと、
（Ｓ１３０）基準画像を生成するために組合せ画像を処理するステップと、
（Ｓ１４０）基準画像を用いて薬剤ライブラリを確立するステップと、
を含む。

方法１００が実施される前に、画像取込デバイス（例えばビデオカメラ）など、任意の周知の方式によって、薬剤パッケージ（例えばブリスターパッケージ）の複数の生画像が取り込まれる。次いで、本方法のステップＳ１１０で、取り込まれた画像は、本方法１００を実行するために内蔵された命令を有するデバイスおよび／またはシステム（例えばコンピュータ）に自動的に転送される。次のステップＳ１２０で、上記のデバイスおよび／またはシステムによって受信された複数の生画像のうちの２つが、組み合わせ画像を生成するため相互に並置される。なお、これら２つの並置生画像が互に異なっている。一例示的な実施形態において、薬剤はブリスターパッケージの形であり、しかして、画像取込デバイスによって撮られたこれら複数の生画像は、ブリスターパッケージの両面を包含することができる。言い換えれば、組み合わせ画像を生成するため、それぞれブリスターパッケージの前面と背面とを示す２つの画像が相互に対し並置される。後で行う機械学習プロセスに対する外観認識の正確さを向上するために、生画像は、所定の特徴（例えば、所定の画素サイズなど）を有する適切な画像を得るためにハイライトされ処理され、主被写体（すなわち、ブリスターパッケージおよび／またはラベルの画像）以外の全ての背景部分は完全に除去される。

ステップＳ１３０において、この組み合わせ画像は、次いで、基準画像を生成するために、コンピュータ（例えばプロセッサ）中に内蔵された機械学習アルゴリズムを訓練するために用いられる。ステップＳ１１０〜Ｓ１３０は、回ごとに前のものとは異なる薬剤パッケージを使って何回でも繰り返すことができる。最終的に、この基準画像を用いて薬剤ライブラリを確立することが可能である（ステップＳ１４０）。

ステップＳ１２０に戻って、該ステップは、通常、
（Ｓ１２１）それぞれが画定された輪郭を有する複数の第一処理画像を生成するために、複数の生画像をそれぞれ処理するステップと、
（Ｓ１２２）第一処理画像の各画定された輪郭のコーナーの座標位置を算定するためにそれらコーナーを識別するステップと、
（Ｓ１２３）複数の第二処理画像を生成するために、ステップＳ１２２で算定された座標位置に基づいて、ステップＳ１２１の第一処理画像の各々を回転するステップと、
（Ｓ１２４）上記ステップＳ１２０の組合せ画像を生成するために、第二処理画像の何れか２つを組み合せるステップと、
を含む。

ステップ１２１において、それぞれが良好に画定された輪郭を有する複数の第一処理画像を最終的に生成するために、複数の生画像が、画像プロセッサによってそれぞれ処理される。この画像プロセッサは、バックグラウンドノイズを除去し、画像からターゲットとなる特徴を抽出するため、いくつかのアルゴリズムを用いる。具体的には、ステップＳ１２１の複数の生画像の各々は、それぞれ、（ｉ）グレースケール変換処理、（ｉｉ）ノイズ低減処理、（ｉｉｉ）エッジ識別処理、（ｉｖ）凸包処理、および（ｖ）輪郭形成処理の処理に付される。なお、各処理（ｉ）〜（ｖ）は個別的に任意の順序で行われる。

さらに具体的には、（ｉ）グレースケール変換処理は、ＢＧＲ色をグレースケールに変更するため、色変換アルゴリズムを使って実行され（Ｓ１２１１）、（ｉｉ）ノイズ低減処理は、バックグラウンドノイズを最小化するために、フィルタアルゴリズムを使って実行され（Ｓ１２１２）、（ｉｉｉ）エッジ識別処理は、画像中のブリスターパッケージの各エッジの座標位置を算定するために、エッジ識別アルゴリズムを使って実行され（Ｓ１２１３）、（ｉｖ）凸包処理は、画像中の薬剤のブリスターパッケージの実際の面積を計算するために、凸包アルゴリズムを使って実行され（Ｓ１２１４）、および（ｖ）輪郭形成処理は、ブリスターパッケージの主要部分を抽出してハイライトするために、輪郭画定アルゴリズム使って実行される（Ｓ１２１５）。

特定の実施形態によれば、ステップＳ１２１中の生画像は、ステップＳ１２２に進む前に、処理（ｉ）〜（ｖ）の全てに付される。前述のように、これらの処理は、個別的に任意の順序で実行することができ、したがって、ステップＳ１２１からの生画像を除き、１つの処理から得られた画像は、次の処理における生画像とすることができる。例えば、ステップＳ１２１の生画像は、最初に処理（ｉ）またはステップＳ１２１１に付され、このステップで、生画像のＢＧＲ色はグレースケールに変換され、これによりグレースケール画像が生成される。処理（ｉ）から得られたグレースケール画像は、全ての処理（ｉ）〜（ｖ）が成功裏に適用されるまで、引き続き処理（ｉｉ）〜（ｖ）の何れによって処理されてもよく、これにより、画定された輪郭を有する第一処理画像が生成される。

代わりにまたはオプションとして、ステップＳ１２１の生画像は、最初に処理（ｉｖ）またはステップＳ１２１４に付され、このステップで画像に凸包アルゴリズムが適用される。この凸包アルゴリズムは、平面中の点の有限集合の凸包、または他の低次元のユークリッド空間を見出すためのものである。本開示において、凸包は、画像中の薬剤のブリスターパッケージの実際の面積を計算することによって画定される。処理（ｉｖ）またはステップＳ１２１４から得られた画像は、次いで、全ての処理（ｉ）〜（ｖ）が成功裏に適用されるまで、（ｉ）、（ｉｉ）、（ｉｉｉ）または（ｖ）のどの処理によって処理されてもよく、これにより、画定された輪郭を有する第一処理画像が生成される。

なお、前述の処理（ｉ）〜（ｖ）またはステップＳ１２１１〜１２１５は、順次的にも、ランダムにも、および／または繰り返しても行うことができ（例えば、処理（ｉｉｉ）は１回以上繰り返すことができる）が、好ましくは、（ｉ）から（ｖ）へ、またはＳ１２１１からＳ１２１５への順序で行われる。

前述のステップＳ１２１１〜Ｓ１２１５を実行することによって、複数の生画像から、各々が画定された輪郭を有する複数の第一処理画像が生成され、これら画像では、生画像中のバックグラウンドノイズが排除され、さらなる画像処理手順のため、ブリスターパッケージの主要部分が抽出されハイライトされている。

ステップＳ１２２に進んで、該ステップでは、第一処理画像の各々中のコーナーが識別される（図１）。このステップでは、ブリスターパッケージのプロフィール形状の如何にかかわらず、第一処理画像の各々の少なくとも１つのコーナーの座標位置が算定される。好ましくは、ステップＳ１２１から得られた第一処理画像の各々の４つのコーナーの座標位置が識別される。このステップの目標は、ブリスターパッケージのプロフィールのエッジから少なくとも３つの直線を投影し、次いで、幾何学的推定によって、最近似の四角形およびそのコーナーの座標位置を導出することである。ブリスターパッケージは、様々な形状および／またはプロファイルで入って来ると思われ、しかして、薬剤パッケージの第一処理画像のコーナー（複数可）を識別するためにいろいろなアルゴリズムを用いてよい。例えば、第一処理画像中の薬剤パッケージの輪郭形状が正四角形（例えば長方形）である場合、４つのコーナーを識別するためにライン変換アルゴリズムが適用される。他方、第一処理画像中の薬剤パッケージが、３つの直線辺と１つの湾曲辺を有する不定多角形など、不規則四角形状である場合、コーナー識別のためセントロイドアルゴリズムが適用される。上記の構成によって、薬剤パッケージの方位および形状の如何にかかわらず、各コーナーの座標位置を算定することが可能である。

ステップＳ１２２において、各処理画像のコーナーを識別することは、その後の回転ステップ（Ｓ１２３）および組み合せステップ（Ｓ１２４）の実行のためのアンカー点設定の目的を果たすだけでなく、さらなる分析のため、パッケージ全体が第一処理画像中に包含されていることを確実にする目的も果たす。なお、上記で算定されたブリスターパッケージ画像の４つのコーナーは、４つのコーナーの算定された座標位置に基づいて、第一処理画像が所定の位置に回転できるように、時計回りまたは反時計回り方式で整える必要がある（Ｓ１２３）。この所定位置は、実施上の必要に基づいて変えてよい。いくつかの例において、この所定位置とは、ブリスターパッケージの短辺および長辺が、それぞれデカルト座標系中のＸおよびＹ軸に平行となる位置をいう。好ましくは、ブリスターパッケージは、その短辺および長辺を、それぞれデカルト座標系中のＸおよびＹ軸に平行にさせるために、画像の回転の必要が一回だけでよいような仕方で方向付けられる。実施において、第一処理画像を回転させるためにいくつかの透視変換アルゴリズムを使うことができ、これは所定の画素サイズ（例えば４４８×２２４画素）を有するように設定されており、これにより、所定位置を有する第二処理（回転）画像が生成される。

次に、ステップＳ１２４で、薬剤の第二処理画像の何れか２つが並べて置かれ（または相互に並置され）これにより組み合せ画像が生成される。なお、このステップで得られた組み合せ画像には多様な並べ換えを含めることができ、これはできるだけ多くのライブラリデータベースを構築する上での利点がある。第二処理画像の２つは、ブリスターパッケージが表裏どちらに向いていたかどうかにかわらず、その両側面であればよい。好ましくは、同じ方位を有する薬剤パッケージの各々の面をそれぞれ示している第二処理画像の２つが選択され、相互に並置されて、そのパッケージ中の最大の特徴的情報を包含する組み合せ画像が生成される。

ステップＳ１３０およびＳ１４０において、この組み合せ画像は、薬剤ライブラリを確立するための基準画像を生成すべくコンピュータ中に内蔵された機械学習アルゴリズムを訓練するために用いられる。薬剤情報を含むこの組み合せ画像は、薬剤ライブラリ中に参照情報として格納されたその特徴によって分類され、将来、候補パッケージを識別するために読み出すことができる。いくつかの実施形態において、少なくとも１つの組み合せ画像が、機械学習アルゴリズムに入力される。例示的な実施形態において、１０、１００、２００、３００、４００、５００、１０００、１，１００、１，２００、１，３００、１，４００、１，５００、２，０００、２，５００、３，０００、３，５００、４，０００、４，５００、５，０００、５，５００、１０，０００、１１，０００、１２，０００、１３，０００、１４，０００、１５，０００、１６，０００、１７，０００、１８，０００、１９，０００、および２０，０００の組み合せ画像など、１０〜２０，０００より多い組み合せ画像が、薬剤ライブラリを確立すべく機械学習アルゴリズムを訓練するため入力される。画像情報を参照情報に変換すべく機械学習システムを訓練するためあらゆる画像を使うことができ、引き続いてこの参照情報は、デバイスおよび／またはシステム中の組み込みライブラリ中に格納される。

なお、本開示で使用するのに適した機械学習プログラミングシステムは、任意の周知の視認物体検出モデルであってよく、これには、以下に限らないが、実務上の必要性よって特定の基準で最適化されているものもいないものも含め、ｄｅｆｏｒｍａｂｌｅ ｐａｒｔｓ ｍｏｄｅｌ（ＤＰＭ）、ｒｅｇｉｏｎ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｔｒａｌ ｎｅｔｗｏｒｋ（Ｒ−ＣＮＮ）、高速Ｒ−ＣＮＮ、超高速Ｒ−ＣＮＮ、マスクＲ−ＣＮＮ、およびＹＯＬＯが含まれる。好ましくは、本開示の学習ステップを訓練するのに適した当該視認物体検出モデルは、少なくとも、入力画像の画素、境界ボックスの数およびサイズ、ならびにアンカーボックスのようなパラメータについて最適化される。本開示によれば、前述のステップによって処理され、次いで学習システム中に入力される組み合せ画像は、「フルブリード画像」で（例えば、一定数の画素を備えた）所定のサイズでなければならない。これにより、オペレーションのためのアンカーボックスの数およびサイズは、コンピューティングの速度と効率とを向上するために、最小化（例えば、１つだけのアンカーボックスに最小化）することができる。言い換えれば、２つの画像を１つに並置するための前述のステップによって、機械学習システムは、多大な種類の薬剤パッケージの膨大な量のデータを処理するときにあっても、円滑に且つより高速で実行することが可能となる。さらに、全体的な処理時間が短縮され、これが薬剤ライブラリの生成における効用性をさらに向上させる。

前述のステップＳ１３０およびＳ１４０を実行することによって、薬剤ライブラリが実施される際の分類モデルとして、各個別の薬剤についての訓練結果を出力することができる。

２．薬剤を識別するための方法
本開示の第二態様は、薬剤のパッケージ（例えばブリスターパッケージ）によって当該薬剤を識別するための方法を対象とする。図２を参照することとする。

図２を参照すると、この図は、本開示の一実施形態による、方法２００を表すフローチャートである。方法２００は、
（Ｓ２１０）薬剤のブリスターパッケージの前面および背面の画像を同時に取得するステップと、
（Ｓ２２０）候補画像を生成するために、ステップＳ２１０からの前面および背面の画像を並置するステップと、
（Ｓ２３０）オプションとして候補画像を薬剤ライブラリ中に移送するステップと、
（Ｓ２４０）候補画像を、前述の方法によって確立された薬剤ライブラリの基準画像と比較するステップと、
（Ｓ２５０）ステップＳ２４０の結果を出力するステップと、
を含む。

好ましくは、方法２００は、本方法のステップを実行するための命令、および薬剤ライブラリを内蔵するプロセッサ可読の非一時的ストレージ媒体によって実装することが可能である。薬剤ライブラリは、前述の方法１００によって、当初に格納し組み込むことができ、または確立することができる。

画像受信ステップ（Ｓ２１０）において、薬剤の２つの生画像を同時に取り込まれる。これら２つの生画像は、好ましくは、それぞれ薬剤のブリスターパッケージ各側面（すなわち、前面および背面画像）である。これら生画像は、任意の周知の手法で、好ましくは少なくとも１つの画像取込デバイス（例えばビデオカメラ）によって取得することができる。一例示的な実施形態において、これらブリスターパッケージの２つの生画像は、薬剤の両面（例えば、薬剤の前面および背面）上下方に配置された２つの画像取込デバイスによって同時に取り込まれ、これにより、これら２つの生画像はブリスターパッケージの両面上の薬剤情報を包含することになる。後時の機械学習プロセスのための外観認識の正確さを向上するために、ステップＳ２１０で得られた２つの生画像は、候補画像を生成するために、相互にきちんと隣接して並置される（ステップＳ２２０）。方法１００と同様、目標は、主被写体以外の情報のない（すなわち、ブリスターパッケージおよび／またはラベルの画像だけの）、所定の特徴（例えば、並べて配置された前面および背面の所定の画素サイズの画像など）を有する適切な画像を生成することである。

ステップＳ２２０で生成された候補画像は、次いで、薬剤ライブラリに格納された基準画像と比較され（Ｓ２４０）、その結果（すなわち、特定の薬剤に対する薬品情報）がユーザに出力される（Ｓ２５０）。ステップＳ２２０は、ステップＳ２１０、Ｓ２４０、およびＳ２５０を実行するためのコンピューティングデバイスと同じでもまたは異なったデバイスで行われてもよい。本開示のオプションの実施形態によれば、ステップＳ２２０は、ステップＳ２１０、Ｓ２４０、およびＳ２５０を実行するためのものとは異なるコンピューティングデバイスで実行され、このため、オプションのステップＳ２３０が行われ、このステップでは、ステップ２２０で生成された処理画像または候補画像が、ステップＳ２４０およびＳ２５０が行われる予定のコンピューティングデバイスに転送される。

ステップＳ２２０に戻って、これは方法１００のステップＳ１２０と類似であり、通常、
（Ｓ２２１）それぞれが画定された輪郭を有する２つの第一処理画像を生成するために、前面および背面画像を処理するステップと、
（Ｓ２２２）２つの第一処理画像の各画定された輪郭のコーナーの座標位置を算定するためにそれらコーナーを識別するステップと、
（Ｓ２２３）２つの第二処理画像を生成するために、ステップＳ２２２で算定された座標位置に基づいて、ステップＳ２２１の２つの第一処理画像の各々を回転するステップと、
（Ｓ２２４）候補画像を生成するために、ステップＳ２２３の２つの第二処理画像を組み合せるステップと、
を含む。

ステップＳ２２１において、複数の第一処理画像を生成するために、画像プロセッサによって前面および背面画像がそれぞれ処理され、各処理画像は良好に区画された輪郭を有する。このために、ステップＳ２２１の前面および背面画像は、それぞれ、（ｉ）グレースケール変換処理、（ｉｉ）ノイズ低減処理、（ｉｉｉ）エッジ識別処理、（ｉｖ）凸包処理、および（ｖ）輪郭形成処理の処理に付される。なお、（ｉ）〜（ｖ）の各処理は、任意の順序で個別的に行われる。実施において、２つの生画像からバックグラウンドノイズを除去し、ターゲットの特徴を抽出するためにいくつかの周知のアルゴリズムが使われてよい。

さらに具体的には、（ｉ）グレースケール変換処理は、色変換アルゴリズムを使って実行され（Ｓ２２１１）、（ｉｉ）ノイズ低減処理は、バックグラウンドノイズを最小化するために、フィルタアルゴリズムを使って実行され（Ｓ２２１２）、（ｉｉｉ）エッジ識別処理は、画像中のブリスターパッケージの各エッジの座標位置を算定するために、エッジ識別アルゴリズムを使って実行され（Ｓ２２１３）、（ｉｖ）凸包処理は、画像中の薬剤のブリスターパッケージの実際の面積を計算するために、凸包アルゴリズムを使って実行され（Ｓ２２１４）、および（ｖ）輪郭形成処理は、ブリスターパッケージの主要部分を抽出してハイライトするために、輪郭画定アルゴリズム使って実行される（Ｓ２２１５）。

実施において、ステップＳ２２１中の生画像は、方法がステップＳ２２２に進む前に、（ｉ）〜（ｖ）の全ての処理に付される。前述のように、これらの処理は、個別的に任意の順序で実行することができ、したがって、ステップＳ２２１で得られた生画像、または１つの処理から得られた画像は、次の処理に用いられる。例えば、ステップＳ２２１の生画像は、最初に処理（ｉ）またはステップＳ２２１１に付され、このステップで、生画像のＢＧＲ色はグレースケールに変換され、これによりグレースケール画像が生成される。この処理（ｉ）から得られたグレースケール画像は、全ての処理（ｉ）〜（ｖ）が成功裏に適用されるまで、引き続き処理（ｉｉ）〜（ｖ）の何れによって処理されてもよく、これにより、画定された輪郭を有する第一処理画像が生成される。

代わりにまたはオプションとして、ステップＳ２２１の生画像は、最初に処理（ｉｖ）またはステップＳ２２１４に付され、これに対し凸包アルゴリズムが適用される。この凸包アルゴリズムは、平面中の点の有限集合の凸包、または他の低次元のユークリッド空間を見出すためのものである。本開示において、凸包は、画像中の薬剤のブリスターパッケージの実際の面積を計算することによって画定される。処理（ｉｖ）またはステップＳ２２１４から得られた画像は、次いで、全ての処理（ｉ）〜（ｖ）が成功裏に適用されるまで、（ｉ）、（ｉｉ）、（ｉｉｉ）または（ｖ）のどの処理によって処理されてもよく、これにより、画定された輪郭を有する第一処理画像が生成される。

１つの好適な実施形態において、処理はステップＳ２２１１からステップＳ２２１５まで順次的に行われる。ステップＳ２２１１〜Ｓ２２１５に用いられた方策およびアルゴリズムはステップＳ１２１で説明したものと類似であり、したがって簡潔化のためここでは繰り返さない。

当然のことながら、Ｓ２２１２〜Ｓ２２１５の各ステップは、当該アルゴリズムが前述したのと同じ結果を達成する限りにおいて、当該技術分野で周知の任意の別のアルゴリズムによって実行されてよい。

ステップＳ２２１１〜Ｓ２２１５を実行することによって、２つの生画像（すなわち、１つの薬剤のブリスターパッケージから撮られた前面および背面の画像）から、それぞれが画定された輪郭を有する２つの第一処理画像が生成され、該画像では、生画像中のバックグラウンドノイズが除去され、さらなる画像処理手順のため、ブリスターパッケージの主要部分が抽出されハイライトされている。

ステップＳ２２２〜Ｓ２２４に進んで、これらのステップの目標は、ステップＳ１２２〜Ｓ１２４の目標と同じである。ステップＳ２２２において、ブリスターパッケージのプロフィールのエッジの少なくとも３つの直線が算定され、次いで、幾何学的推定によって、最近似の四角形およびそのコーナーの座標位置が導出される。コーナーを識別するためのステップＳ２２２が達成されたならば、一定のシグネチャーテンプレートの中で処理されハイライトされた２つの画像を生成するために、算定された座標位置に基づいて、ステップＳ２２３を実行することができよう。ステップＳ２２４において、これら２つの処理画像は並べて並置され、薬剤のパッケージの両面上の情報を包含する候補画像を生成するため１つの画像に組み合される。Ｓ２２０で用いられる方策は、方法１００の中で説明したものと類似であり、したがって簡潔化のためここでは繰り返さない。

ステップＳ２４０において、組み合せ画像または候補画像は、次いで、薬剤の識別情報を判断するために、薬剤ライブラリ中に格納された基準画像と比較される。いくつかの実施形態において、この薬剤ライブラリは、ステップＳ２２０を実行するための命令を有するのと同じコンピューティングデバイスに、またはそれと異なる他のプロセッサ可読ストレージ媒体に格納される。本開示のオプションの実施形態によれば、候補画像は、ステップＳ２２０を実行するための命令を内蔵する第一処理ユニット中で生成され、次いで、処理された画像は、第二処理ユニットに配置された薬剤ライブラリ（例えば、前述の方法１００によって構築された薬剤ライブラリ）に移送される。候補画像を薬剤ライブラリの基準画像と比較するため、ストレージ媒体中に内蔵された機械学習命令の下で、ステップＳ２４０が実行され、次いでその結果（一致もしくは不一致）がユーザに出力される。この比較によって、候補画像が、薬剤ライブラリ中の或る特定の基準画像に一致するか、または最高度の類似性を有することが示された場合、その特定の基準画像に対応する薬剤の情報が出力される。この比較が、候補画像と、ライブラリ中の全ての基準画像との間で一致結果を出すことができなかった場合、「一致結果なし」を示す見解が出力される。

前述のように、この機械学習アルゴリズムの目的は、薬剤の視認を向上させることである。いくつかの実施形態において、代表的なアルゴリズムは、実務上の必要により特定の基準で最適化されているものもいないものも含め、任意の周知の視認物体検出モデルの下で実行されるディープラーニングアルゴリズムとすることができる。一例示的な実施形態において、このディープラーニングは、最適化された検出モデルの下で実行される。別の例示的な実施形態では、本方法によって処理された候補画像は、「フルブリード画像」で所定の画素サイズ（例えば、４４８×２２４画素）でなければならず、これにより、機械学習のオペレーションのためのパラメータを最少レベルに保つことが可能で、これにより、コンピューティングの速度および効率が向上する。

なお、２つの処理画像を、「組み合せ画像」と名付けられた１つの画像に並置することによって、本機械学習システムおよび／または方法は、多大な種類の薬剤パッケージに対する膨大な量のデータを処理するときにあっても、円滑に且つより高速で実行することが可能である。言い換えれば、処理されハイライトされた画像は、実際上コンピューティングの効率と正確さとを増大する。上記の技術特徴のおかげで、ブリスターパッケージによって薬剤を識別することを意図する本方法２００は、薬剤識別の正確さを向上し、薬剤払い出し過程での人的エラーを大幅に排除し、これにより薬剤使用の安全性および患者介護の品質を向上する。

本明細書に記載の主題は、格納されたプロセッサ可読命令を有する非一時的で有形のプロセッサ可読ストレージ媒体を使用して実装できよう。これらの命令は、プログラム可能デバイスのプロセッサによって実行されると、本開示の実施形態による方法を実行するように、当該プログラム可能デバイスを制御する。本明細書に記載の主題を実装するのに適した例示的なプロセッサ可読ストレージ媒体は、以下に限らないが、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のソリッドステートメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ、または他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気ストレージデバイス、および所望の情報を格納するために使用することができ、プロセッサによるアクセスが可能な任意の他の媒体を含む。さらに、本明細書に記載の主題を実装するプロセッサ可読ストレージ媒体は、単一のデバイスまたはコンピューティングプラットフォームに配置されてもよく、あるいは複数のデバイスまたはコンピューティングプラットフォームに亘って分散されてもよい。いくつかの実施形態において、このコンピューティングプラットフォームは、リアルタイムコンピューティング制約を内蔵されたシステムである。

３．調薬管理システム
本明細書に記載された主題の別の態様において、調薬管理システムが提供される。図３を参照すると、システム３００が示され、これは、画像取込デバイス３１０と、画像プロセッサ３２０と、機械学習プロセッサ３３０とを含み、この図では、画像取込デバイス３１０および機械学習プロセッサ３３０は、それぞれ画像プロセッサ３２０に連結されている。画像取込デバイス３１０は、薬剤のパッケージの複数の画像を取り込むように構成される。いくつかの実施形態において、画像取込デバイス３１０は、その構造中に、透明ボード３１０１、および透明ボードの各々の側の上下方に別個に配置された２つの画像取込ユニット３１０２を含み、このボードはガラスまたはアクリレート系ポリマーで作製することができる。実施において、薬剤は、透明ボード３１０１の上に置かれ、薬剤パッケージの両面の画像が２つの画像取込ユニット３１０２によって同時に取り込まれる。典型的には、これら２つの画像取込ユニット３１０２は、リアルタイムデジタルカメラである。

本開示によれば、別途に示されている場合を除き、画像プロセッサ３２０および機械学習プロセッサ３３０は、それぞれ、これらプロセッサに本方法を実施させるための複数の命令を格納するメモリを包含する。いくつかの実施形態において、画像プロセッサ３２０および機械学習プロセッサ３３０は、２つの別個のデバイスとして別々に配置されるが、それに換えて、これらは同一のハードウェアの中に配置されてもよい。いくつかの実施形態では、画像プロセッサ３２０および機械学習プロセッサ３３０は、相互に通信可能に接続される。さらに具体的には、画像プロセッサ３２０は、画像取込デバイス３１０によって取り込まれた画像を受信するため、画像取込デバイス３１０と通信可能に接続され、本方法の（ステップＳ１２０およびＳ２２０などの）画像処理ステップを実行し、これによりさらなる識別のための候補画像を生成するように構成される。機械学習プロセッサ３３０は、画像プロセッサ３２０と通信可能に接続され、薬剤識別のための本方法の（ステップＳ２４０などの）画像比較を実施するように構成される。上記のステップは、候補画像を、本方法によって確立された薬剤ライブラリ中の基準画像と比較するステップを含む。この薬剤ライブラリは、機械学習プロセッサ３３０と通信可能に接続される。図３に示された例示的な実施形態において、本薬剤ライブラリ３３０１は、機械学習プロセッサ３３０中に格納される。代わりにまたはオプションとして、薬剤ライブラリは、ケーブル接続またはワイヤレスネットワークによって機械学習プロセッサ３３０に接続されたストレージデバイス中に格納されてもよい。

いくつかの実施形態において、システム３００は、薬剤識別の結果を出力し、外部のユーザから命令を受信し、ユーザ入力を、画像プロセッサ３２０および機械学習プロセッサ３３０に返送するように構成されたユーザインターフェース（図示せず）をさらに含む。

画像取込デバイス３１０と、画像プロセッサ３２０と、機械学習プロセッサ３３０との間の通信は、様々な技法を使って具現化することが可能である。例えば、本システム３００は、（ローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、広域ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、インターネット、またはワイヤレスネットワークなどの）ネットワークを介して、画像取込デバイス３１０と、画像プロセッサ３２０と、機械学習プロセッサ３３０との間の通信を可能にするためのネットワークインターフェースを含んでよい。別の例では、本システムは、画像取込デバイス３１０から画像プロセッサ３２０までを含め、様々なシステムコンポーネントを連結するシステムバスを有してよい。

以下の実施例は、本発明の特定の態様を明らかにし、当業者が本発明を実践するのを援助するために提供される。これらの実施例は、いかなる形においても本発明の範囲を限定すると決して見なされるべきではない。詳述されていなくても、当業者は、本明細書の説明に基づいて、最大範囲で本発明を利用できると考えられる。本明細書で引用された全ての公表物は、参照することによりそれらの全体が組み込まれる。

実施例１ 薬剤ライブラリを構築する
修正両面画像（ＲＴＩ：Ｒｅｃｔｉｆｉｅｄ Ｔｗｏ−ｓｉｄｅｄ Ｉｍａｇｅ）を作成する
現在市販されている２５０を超える薬剤をマッケイメモリアル病院（台湾、台北）の病院薬局から収集した。薬剤ライブラリのデータベースを構築するために、全薬剤のブリスターパッケージの、できるだけ多くの写真を撮った。画像を、バックグラウンドノイズを最小化するためにトリミングし、画像プロセッサ中にプログラムされたオープンソースコンピュータービジョンライブラリバージョン２（ＯｐｅｎＣＶ２：Ｏｐｅｎ Ｓｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ２）機能を用いて、各薬剤に対する複数の組み合せ画像（「修正両面画像（ＲＴＩ）」とも言う）を生成するため処理した。各ＲＴＩを、所定のテンプレート（以下、修正両面テンプレートＲＴＴ（ｒｅｃｔｉｆｉｅｄ ｔｗｏ−ｓｉｄｅｄ ｔｅｍｐｌａｔｅ））に合わせ、これに１つの薬剤のブリスターパッケージの両面が包含された。ＣＮＮモデルを用いるさらなるディープラーニングプロセスのため、合計１８，０００のＲＴＩを取得した。

不規則四角形状の薬剤パッケージのコーナーを検出するための方策
検出対象の薬剤パッケージが、３つの直線辺と１つの湾曲辺によって構成される不規則四角形状の場合、幾何学的推測によって、湾曲辺および未画定のコーナーを算定するためにセントロイドアルゴリズム（表１）を用いた。

図４を参照すると、この図は、不規則四角形状を有する薬剤パッケージに対し、どのようにコーナー識別を行うかを例示的に示している。図４に描かれているように、３つの直線辺（Ｌ_１、Ｌ_２、Ｌ_３）および１つの湾曲辺（Ｃ_１）を有するブリスターパッケージはランダム方位であり、Ｌ_１とＬ_２との交点はＰ_１と称され、Ｌ_２とＬ_３との交点はＰ_４と称された。目標は、４つの点（Ｐ_１、Ｐ_２、Ｐ_３、およびＰ_４）と４つの辺（Ｌ_１、Ｌ_２、Ｌ_３、およびＣ_１）とに囲まれた面積がパッケージ全体の画像を包含するように、Ｐ_２およびＰ_３の座標位置を決めることであった。辺Ｌ_２上の、Ｐ_１とＰ_４との間の中心点Ｍを最初に求め、アルゴリズムｃｖ２．モーメント（ＯｐｅｎＣＶ２）によってブリスターパッケージの面積のセントロイドＢが算定した。次いで、中心（ｍｉ−ｐｏｉｎｔ）点ＭおよびセントロイドＢの座標位置に基づいて、変位ベクトルνを計算した。最後に、Ｐ_２およびＰ_３の座標位置を、それぞれ、Ｐ_１およびＰ_４から距離νの２倍の位置として算定した。上記の手順によって、Ｐ_１、Ｐ_２、Ｐ_３、およびＰ_４の４つの点またはコーナーは、時計回りまたは反時計周りの仕方で、自動的に方位付けされることになろう。

機械学習能力を最適化する
この例において、機械学習の目標は、畳み込みニューラルネットワーク（ＣＮＮ）によって達成された。このために、グラフィックス処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）によって実行された最小構成バージョンＹＯＬＯｖ２（Ｔｉｎｙ ＹＯＬＯとしても知られる）ニューラルを、各ＲＴＩの視認を訓練するために用いた。従来型のＹＯＬＯｖ２の一般的な概念は、１つの画像を複数の格子セルに分割し、境界ボックスを予測するためにアンカーボックスを使用するものである。簡単に言えば、各々が４１６×４１６画素サイズを有するＲＴＩ画像がネットワークに入力され、次いで該ネットワークで、Ｔｉｎｙ ＹＯＬＯｖ２ニューラルが各画像中に奇数の格子セルを生成した。これにより、中央には１つだけの格子セル（すなわち、中央格子セル）があることになる。次いで、各格子セルおよびその隣接格子セルが、それらが何らかの特徴的情報を包含しているかどうかを判定するために分析した。例えば、入力画像は１３×１３の格子セルに分割することができ、これでは５サイズの境界ボックスを予測することができ、各格子セルから返された信頼性スコアを用いて格子セルが分析対象の被写体を包含していたかどうかを判定する。本例では、入力画像は前もってハイライトされ輪郭取りされていて、しかして、従来型Ｔｉｎｙ ＹＯＬＯは最適化されており、これにより識別の効率が向上され、作業コストの低減につながった。詳しくは、各ＲＴＩの入力画像は、「フルブリード画像」になるように且つ所定の画素サイズになるように処理していたので、作業のためのアンカーボックスの数は１つに最少化し、アンカーボックスのサイズは７×７格子セルに設定した。これらにより、当機械学習ネットワークは、入力画像のフルサイズの１つの境界ボックスを予測することが必要なだけであった。Ｔｉｎｙ ＹＯＬＯを最適化するための詳細パラメータを表２にリストする。

実施において、最適化Ｔｉｎｙ ＹＯＬＯは、高解像度グラフィックカード、ＧＥＦＯＲＣＥ（登録商標）ＧＴＸ１０８０（ＮＶＩＤＩＡ、米国）を備えた機械学習プロセッサ中にプログラムした。この機械学習プロセッサは、最適化されたＴｉｎｙ ＹＯＬＯの訓練モデルによって、ディープラーニングプロセスを実行した。この最適化Ｔｉｎｙ ＹＯＬＯに対する訓練基準を表３にリストする。

実施例２ 実施例１の薬剤ライブラリに基づく機械学習を実装した調薬管理システムの薬剤区分け効率を評価する
処理され組み合された画像
本開示のＲＴＩに対する視認効率を検証するために、（無処理で組み合わせられていない）薬剤の生画像および（処理され組み合わせられた）ＲＴＩの両方を、ディープラーニングのための訓練モデル（最適化Ｔｉｎｙ ＹＯＬＯ）に入力した。訓練の結果を表４に要約する。表４中のデータによれば、本開示の「ハイライトされた」画像は、処理のなかった生画像に比べて、視認の訓練において非常に効率的であった。訓練のＦ１スコアが高いほど、パッケージ画像の視認におけるディープラーニングネットワークの効率が高い。また、ＲＴＴに処理されたＲＴＩは、処理のなかった画像に比べて、その訓練効率が大幅に増大した。

最適化学習モデル
本訓練モデルの効果性を検証するために別の比較を行った。２つの従来型ディープラーニングモデル、ＲｅｓＮｅｔ１０１およびＳＥ−ＲｅｓＮｅｔ１０１を用いてＲＴＩによる訓練モデルを構築した。これらの比較結果を表５に要約する。

表４および５中の結果の比較は、ＲＴＴに合わせる本方法によって処理されたＲＴＩは、特に画像が最適化Ｔｉｎｙ ＹＯＬＯモデルによって処理されたときに、訓練効率を向上させるであろうことを立証しており、このモデルでは訓練時間が大幅に減少した。全１８，０００のＲＴＩは、本開示の薬剤ライブラリが、最適化Ｔｉｎｙ ＹＯＬＯモデルを実行することによって構築されるようにし、この訓練モデルに入力した。この薬剤ライブラリおよびディープラーニングネットワークを、今後の応用のため内蔵のシステムの中にさらに格納した。

リアルタイム薬剤識別のための応用
実施において、ランダムな薬剤を選び、ガラスで作製された透明ボードを備えた設計されたチャンバ中に置いた。照明のため、透明ボードの周りに光源が配置され、２つのＢＲＩＯウェブカメラ（Ｌｏｇｉｔｅｃｈ、米国）を、それらの視野が透明ボードの全域が包含されるのが確実になるようにして該ボードの上下方に別々に配置した。他方で、構築された薬剤ライブラリが、リアルタイムの組み込みコンピューティングデバイス、ＪＥＴＳＯＮ（商標）ＴＸ２（ＮＶＩＤＩＡ、米国）に前もって格納しておいた。「開発者キット」と称されるＪＥＴＳＯＮ（商標）ＴＸ２は、メモリ、ＣＰＵ、ＧＰＵ、ＵＳＢポート、ウェブアンテナ、およびいくつかの他のコンピューティング要素を含み、これにより、同一のデバイス中で画像処理および機械学習ステップを行うことが可能であった。作動中、ウェブカメラは、ＵＳＢケーブルによってＪＥＴＳＯＮ（商標）ＴＸ２に、選択された薬剤の両側面の画像が、リアルタイムで同時にプロセッサに転送されるように接続した。選ばれた薬剤のブリスターパッケージの２つの生画像は１つのＲＴＩに処理し、その後、ＲＴＩは、視認の速度が最高約２００ＦＰＳのＪＥＴＳＯＮ（商標）ＴＸ２中にプログラムされた学習モデルＴｉｎｙ ＹＯＬＯにかけた。全体の手順（すなわち、画像取込から視認識別まで）に対する時間コストは約６．２３ＦＰＳである。この識別の結果は、コンピュータ画面または携帯のユーザインターフェースなど、外部の表示デバイス上にリアルタイムで提示されることになる。これにより、外部のユーザは、薬剤がチャンバの中に投入されるのとほぼ同時に識別結果を得ることができる。

さらに加えて、本システムが、薬剤払い出しの過程における人的エラーの可能性を低減することを検証するために、別の比較を行なった。例えば、抗不安薬のロラゼパムは、他の薬品との高い外観類似性に起因して、払い出し時に最も識別ミスの多い薬品である。最初に、ライブラリ中の全ての薬剤と比較するために、ロラゼパムのＲＴＩを、本システム中に入力した。コンピューティングの後、学習モデルは、該学習モデルによって分析された外観類似性に基づいて、ミス識別される可能性があり得るいくつかの候補薬剤を提起した。この候補リストは、臨床スタッフが選ばれた薬剤が正しいかどうかダブルチェックするのを助力することができる。したがって、本開示の薬剤管理システムによって、薬品払い出しの正確さを改良することが可能で、患者の安全を確実にするため人的なエラーを最小化することができる。

要約すれば、本開示による薬剤管理のための方法およびシステムは、リアルタイム方式で、画像を１つに組み合せるための画像処理ステップおよびディープラーニングモデルを適用することによって、前述の目的を達成することができる。本開示の利点は、被写体（すなわち薬剤）の方位にかかわらず、生画像を効率的に処理できるだけでなく、薬剤の外観を介したそれらの分類に対する正確さを増大することにもある。

当然のことながら、前述の諸実施形態の説明は例示のためだけのものであり、当業者は様々な修改を加えることができよう。前述の明細書、諸例、およびデータは、本発明の例示的な実施形態の構造および使用の完全な説明を提供する。本発明の様々な実施形態を、ある程度の特殊性を持って、または１つ以上の個別の実施形態を参照しながら、説明してきたが、当業者は、本発明の趣意および範囲から逸脱することなく、開示された実施形態に数多くの変形を加えることが可能であろう。

Claims (8)

1. 薬剤ライブラリを構築するための、コンピュータが実施する方法であって、
   （ａ）薬剤のブリスターパッケージの複数の生画像を受信するステップであって、前記複数の生画像は、前記薬剤のブリスターパッケージの前面の画像および背面の画像を含む、受信するステップと、
   （ｂ）前記ブリスターパッケージの前面の画像および背面の画像を示す並置画像を生成するために、前記複数の生画像のうちの２つを並置するステップと、
   （ｃ）機械学習アルゴリズムを実行することによって、基準画像を生成するために前記並置画像を処理するステップと、
   （ｄ）前記基準画像を用いて、前記薬剤ライブラリを構築するステップと、
   を含み、
   前記ステップ（ｂ）は、
   （ｂ−１）複数の第一処理画像を生成するために、前記ステップ（ａ）の前記複数の生画像をそれぞれ処理するステップであって、前記第一処理画像の各々は前記ブリスターパッケージの画定された輪郭を有し、前記画定された輪郭は４つのコーナーを有する、処理するステップと、
   （ｂ−２）前記第一処理画像の各々に幾何学的推定を適用することによって、前記ステップ（ｂ−１）の前記画定された輪郭の４つのコーナーを識別して、前記４つのコーナーの座標位置を導出するステップと、
   （ｂ−３）複数の第二処理画像を生成するために、前記ステップ（ｂ−２）の前記導出された座標位置に基づいて、前記ステップ（ｂ−１）の前記第一処理画像の各々を回転するステップと、
   （ｂ−４）前記ステップ（ｂ）の前記並置画像を生成するために、前記ブリスターパッケージの前面の画像および背面の画像をそれぞれ示す前記第二処理画像のうちの２つを並置するステップであって、前記並置画像は、固定テンプレートに適合する、ステップと、
   を含む、
   コンピュータが実施する方法。
2. ステップ（ｂ−１）の前記複数の生画像の各々は、（ｉ）グレースケール変換処理、（ｉｉ）ノイズ低減処理、（ｉｉｉ）エッジ識別処理、（ｉｖ）凸包処理、および（ｖ）輪郭形成処理の処理に付される、請求項１に記載のコンピュータが実施する方法。
3. 前記ステップ（ｂ−２）は、ライン変換アルゴリズムまたはセントロイドアルゴリズムによって実行される、請求項１に記載のコンピュータが実施する方法。
4. 薬剤のブリスターパッケージによって薬剤を識別するための、コンピュータが実施する方法であって、
   （ａ）前記薬剤の前記ブリスターパッケージの前面および背面の画像を同時に取得するステップと、
   （ｂ）候補画像を生成するために、前記ステップ（ａ）の前記前面および背面の画像を並置するステップと、
   （ｃ）前記候補画像を、請求項１に記載の方法によって構築された薬剤ライブラリの基準画像と比較するステップと、
   （ｄ）前記ステップ（ｃ）の結果を出力するステップと、
   を含み、
   前記ステップ（ｂ）は、
   （ｂ−１）２つの第一処理画像を生成するために、前記ステップ（ａ）の前記前面および背面の画像をそれぞれ処理するステップであって、前記２つの第一処理画像の各々は前記ブリスターパッケージの画定された輪郭を有し、前記画定された輪郭は４つのコーナーを有する、処理するステップと、
   （ｂ−２）前記２つの第一処理画像の各々に幾何学的推定を適用することによって、前記ステップ（ｂ−１）の前記画定された輪郭の４つのコーナーを識別して、前記４つのコーナーの座標位置を導出するステップと、
   （ｂ−３）２つの第二処理画像を生成するために、前記ステップ（ｂ−２）の前記導出された座標位置に基づいて、前記ステップ（ｂ−１）の前記２つの第一処理画像の各々を回転するステップと、
   （ｂ−４）前記ステップ（ｂ）の前記候補画像を生成するために、前記ステップ（ｂ−３）の前記２つの第二処理画像を並置するステップであって、前記候補画像は、固定テンプレートに適合する、ステップと、
   を含む、
   コンピュータが実施する方法。
5. 前記ステップ（ｂ−１）の前記前面および背面の画像は、それぞれ、（ｉ）グレースケール変換処理、（ｉｉ）ノイズ低減処理、（ｉｉｉ）エッジ識別処理、（ｉｖ）凸包処理、および（ｖ）輪郭形成処理の処理に付される、請求項４に記載のコンピュータが実施する方法。
6. 前記ステップ（ｃ）の前に、前記候補画像を前記薬剤ライブラリ中に移送するステップをさらに含む、請求項４に記載のコンピュータが実施する方法。
7. 薬剤のブリスターパッケージの複数の画像を取り込むように構成された画像取込デバイスと、
   固定テンプレートに適合する候補画像を生成するための方法を実行する命令をプログラムされた画像プロセッサであって、前記方法は、
   （１）複数の第一処理画像を生成するために、前記薬剤の前記ブリスターパッケージの前記複数の画像をそれぞれ処理するステップであって、前記第一処理画像の各々は前記ブリスターパッケージの画定された輪郭を有し、前記画定された輪郭は４つのコーナーを有する、処理するステップと、
   （２）前記第一処理画像の各々に幾何学的推定を適用することによって、前記ステップ（１）の前記画定された輪郭の４つのコーナーを識別して、前記４つのコーナーの座標位置を導出するステップと、
   （３）複数の第二処理画像を生成するために、前記ステップ（２）の前記導出された座標位置に基づいて、前記ステップ（１）の前記第一処理画像の各々を回転するステップと、
   （４）前記候補画像を生成するために、前記ステップ（３）の前記第二処理画像のうちの互いに異なる２つを並置するステップと、
   を含む、前記画像プロセッサと、
   前記候補画像と、請求項１に記載の方法によって構築された薬剤ライブラリの基準画像とを比較するための方法を実行する命令をプログラムされた機械学習プロセッサと、
   を含む、調薬管理システム。
8. 前記画像取込デバイスは、
   前記薬剤が置かれる透明ボードと、
   前記透明ボードの各々の側の上方に別々に配置された２つの画像取込ユニットと、
   を含む、請求項７に記載のシステム。

Images