JP2024090299A - 薬剤計数システム、薬剤監査装置、および薬剤計数方法 - Google Patents

Abstract

【課題】ひとまとまりで包装された複数の薬剤の数量を正しく数えることができる薬剤計数システムを提供する。【解決手段】薬剤計数システム１００は、撮像装置１と、計数装置２とを備える。計数装置２は、識別部２０と、抽出部２１と、第１算出部２３と、測定部２４と、第２算出部２５と、包装体データ記憶部２６とを有する。識別部２０は、薬剤の種類を画像Ｇから識別する。抽出部２１は、特徴量を画像Ｇから抽出する。第１算出部２３は、特徴量に基づいて画像Ｇに含まれる薬剤の数量を算出する。測定部２４は、包装体の寸法を測定する。包装体データ記憶部２６は、基本データＢＤを記憶している。第２算出部２５は、薬剤の種類、包装体の寸法、および、基本データＢＤに基づいて画像Ｇに含まれる薬剤の数量を算出する。計数装置２は、第１算出部２３または第２算出部２５の少なくとも何れか一方によって画像Ｇに含まれる薬剤の数量を算出する。【選択図】図２

Description

本発明は、薬剤の数量を数える薬剤計数システム、薬剤を取り扱う業務を補助する薬剤監査装置、および薬剤の数量を数える薬剤計数方法に関する。

薬局などの薬剤を取り扱う施設では、医師の作成した処方箋に基づいた薬剤が患者に提供される。近年では、薬剤を提供する薬剤師など（作業者）による薬剤を提供する作業の負担を軽減する目的で、患者に提供される薬剤が処方箋に記載された通りであるか否かを監査する業務を補助する薬剤監査装置を導入する施設が増えている。こうした装置を用いることにより、患者に対する薬剤の交付における作業ミスを防止できる。

特許文献１には、コンベア上の錠剤等を撮像し、その撮像画像から錠剤等の表面の印刷内容を認識する錠剤等識別装置が記載されている。この錠剤等識別装置では、錠剤やカプセル剤がコンベアで搬送されている間に、その搬送されている錠剤等の種別を、表面の印刷内容からシステムが自動的に認識できるようになっている。

特開２０１５－０５４１１５号公報

特許文献１に開示されている錠剤等識別装置において、錠剤等の種別の認識が正しく行われるためには、認識対象の錠剤等が包装などを行われていない単体（裸錠）で搬送されている必要がある。しかしながら、既製品の薬剤の多くは包装された状態で薬局等へ納入される。

特に、錠剤であれば１０単位（１０錠）ほどの錠剤が１枚のＰＴＰ（Ｐｒｅｓｓ Ｔｈｒｏｕｇｈ Ｐａｃｋ）シートに包装された状態で流通しているものが多い。また、散剤や顆粒剤（粉薬）では、粉末や顆粒が包装されたＳＰ（Ｓｔｒｉｐ Ｐａｃｋａｇｅ）包装を１単位（１包）とする薬剤が、複数単位つながって１枚のシート状になったものが販売されていることも多い。

しかしながら、ＰＴＰシート、またはＳＰ包装などの包装体により複数単位の薬剤がひとまとまりで包装されていれば、従来の方法で画像認識を行うと、ひとまとまりに包装された複数の薬剤を１単位の薬剤として認識してしまい、薬剤の数量を正しく数えることができない場合がある。

そこで本発明は、ひとまとまりで包装された複数の薬剤の数量を正しく数えることができる薬剤計数システム、前記薬剤計数システムを備える薬剤監査装置、および薬剤計数方法を提供することを目的とする。

上記課題を解決するため、本発明に係る薬剤計数システムは、包装体によってひとまとまりで包装された複数の薬剤を撮像する撮像装置と、前記撮像装置の撮像した画像に含まれる前記包装体に包装された薬剤の数量を算出する計数装置とを備え、前記計数装置は、薬剤の種類を前記画像から識別する識別部と、前記画像がデータとして入力されると、前記画像のデータに対応する特徴量を出力するＡＩモデルを用いて、前記特徴量を前記画像から抽出する抽出部と、前記特徴量に基づいて前記画像に含まれる薬剤の数量を算出する第１算出部と、前記特徴量を用いて、前記包装体の寸法を測定する測定部と、前記包装体の幾何学的特性を示す基本データを薬剤の種類ごとに記憶している包装体データ記憶部と、前記識別部が識別した薬剤の種類、前記包装体の寸法、および、前記基本データに基づいて前記画像に含まれる薬剤の数量を算出する第２算出部とを有し、前記計数装置が、前記第１算出部または前記第２算出部の少なくとも何れか一方によって、前記画像に含まれる薬剤の数量を算出することを特徴とする。この薬剤計数システムによれば、薬剤の数量は、画像から抽出される特徴量、または、薬剤を包装している包装体の寸法の少なくとも一方に基づいて算出される。したがって、計数装置は、特徴量、または包装体の寸法の何れか一方の要素に基づいて薬剤の数量を正しく算出できない場合でも、残りの要素に基づいて薬剤の数量を算出できる。

好ましくは、本発明に係る薬剤計数システムにおいて、前記測定部は、前記特徴量を用いて前記包装体の輪郭部分を特定して、前記輪郭部分の寸法を測定することを特徴とする。この薬剤計数システムによれば、薬剤の数量は、包装体の輪郭部分の寸法に基づいて計数装置によって算出される。

好ましくは、本発明に係る薬剤計数システムにおいて、前記基本データに、前記薬剤の種類ごとに定められた包装体のアスペクト比が含まれており、前記第２算出部は、前記識別部が識別した薬剤の種類と、前記基本データと、前記包装体の寸法に基づいて算出される、前記画像に含まれる包装体のアスペクト比と、に基づいて、前記画像に含まれる薬剤の数量を算出することを特徴とする。この薬剤計数システムによれば、薬剤の数量は、包装体のアスペクト比に基づいて計数装置によって算出される。したがって、包装体の輪郭部分の寸法に基づいて、計数装置が薬剤の数量を算出できない場合でも、計数装置は、薬剤の数量を算出できる。

好ましくは、本発明に係る薬剤計数システムにおいて、前記基本データに、前記薬剤の種類ごとに定められた包装体の面積が含まれており、前記第２算出部は、前記識別部が識別した薬剤の種類と、前記基本データと、前記包装体の寸法に基づいて算出される、前記画像に含まれる包装体の面積と、に基づいて、前記画像に含まれる薬剤の数量を算出することを特徴とする。この薬剤計数システムによれば、薬剤の数量は、包装体の面積に基づいて算出される。したがって、包装体のアスペクト比に基づいて、計数装置が薬剤の数量を算出できない場合でも、計数装置は、薬剤の数量を算出できる。

好ましくは、本発明に係る薬剤計数システムにおいて、前記計数装置は、前記画像のデータと、前記画像に含まれる包装体の寸法のデータと、前記画像に含まれる薬剤の数量のデータとが紐づけられたデータのセットを蓄積し、包装体によって包装された薬剤の数量と、前記包装体の寸法との関係を前記蓄積されたデータのセットから学習する学習部をさらに有し、前記学習部は、包装体によって包装された前記薬剤の数量と、前記包装体の寸法との関係に基づいて、前記包装体データ記憶部に記憶されている前記基本データを更新することを特徴とする。この薬剤計数システムによれば、包装体の寸法が変更された場合でも、薬剤の数量は、寸法が変更された後の包装体の基本データに基づいて計数装置によって算出される。

好ましくは、本発明に係る薬剤計数システムにおいて、前記計数装置は、前記抽出部が前記画像から抽出した前記特徴量が、前記包装体によって包装される薬剤の、前記包装体内における位置に対応する特徴量であるか否かを判定する判定部をさらに備え、前記特徴量が、前記薬剤の、前記包装体内における位置に対応する特徴量でないと前記判定部により判定された場合には、前記第２算出部によって、前記画像に含まれる薬剤の数量を算出することを特徴とする。この薬剤計数システムによれば、画像から抽出された特徴量が、薬剤の数量を算出するのに適していない場合でも、包装体の寸法に基づいて薬剤の数量を計数装置によって算出できる。

好ましくは、本発明に係る薬剤計数システムにおいて、前記計数装置は、前記特徴量が、前記薬剤の、前記包装体内における位置に対応する特徴量であるか否かを前記判定部が判定できなかった場合、前記第１算出部によって算出される薬剤の第１数量と、前記第２算出部によって算出される薬剤の第２数量とを比較して、あらかじめ定められた基準を満たす方を薬剤の数量とする比較部をさらに有することを特徴とする。この薬剤計数システムによれば、画像から抽出された特徴量が、包装体内における位置に対応する特徴量であるか判定できない場合でも、第１数量または第２数量に基づいて薬剤の数量が計数装置によって算出される。

好ましくは、本発明に係る薬剤計数システムにおいて、前記計数装置は、前記第１算出部または前記第２数量によって前記薬剤の数量が算出されたか否かを判定する算出判定部をさらに有し、薬剤の数量が算出されていないと前記算出判定部が判定した場合、前記薬剤の数量が算出されるようにするための方法を案内する案内装置をさらに備えることを特徴とする。この薬剤計数システムによれば、薬剤の数量が計数装置によって算出されない場合に、薬剤の数量を算出できるようにするための処置を作業者が行うことができる。したがって、作業者が前記処置を行うことで、計数装置は、薬剤の数量を正しく算出できるようになる。

また、上記課題を解決するために、本発明に係る薬剤監査装置は、本発明に係る薬剤計数システムを備え、消費者に提供される薬剤が、医師の発行した処方箋に記載された通りの薬剤であるか否かを、前記消費者に提供される薬剤の画像に基づいて識別して、前記処方箋に記載された通りの薬剤が前記消費者に提供されているか否かの監査を補助するとともに、前記薬剤の画像を記録することを特徴とする。この薬剤監査装置は、撮像した画像に含まれる薬剤の数量を正しく算出できる。

さらに、上記課題を解決するため、本発明に係る薬剤計数方法は、包装体によってひとまとまりで包装された複数の薬剤を撮像するステップと、撮像した画像に含まれる前記包装体に包装された薬剤の数量を算出するステップとを備える薬剤計数方法であって、前記薬剤の数量を算出するステップは、薬剤の種類を前記画像から識別するステップと、前記画像がデータとして入力されると、前記画像のデータに対応する特徴量を出力するＡＩモデルを用いて、前記特徴量を前記画像から抽出するステップと、前記特徴量に基づいて前記画像に含まれる薬剤の数量を算出する第１算出ステップと、前記特徴量を用いて、前記包装体の寸法を測定するステップと、前記画像から識別された薬剤の種類と、前記包装体の寸法、および、薬剤の種類ごとにあらかじめ記憶された、前記包装体の幾何学的特性を示す基本データに基づいて前記画像に含まれる薬剤の数量を算出する第２算出ステップと、前記第１算出ステップ、または、前記第２算出ステップの少なくとも一方によって、前記画像に含まれる薬剤の数量を算出するステップとを有することを特徴とする。この薬剤計数方法によれば、薬画像から抽出される特徴量、または、薬剤を包装している包装体寸法の少なくとも一方に基づいて、薬剤の数量を算出できる。したがって、薬剤の数量を算出するステップでは、特徴量、または包装体の寸法の何れか一方の要素に基づいて薬剤の数量を正しく算出できない場合でも、残りの要素に基づいて薬剤の数量を算出できる。

好ましくは、本発明に係る薬剤計数方法は、前記第１算出ステップおよび前記第２算出ステップで薬剤の数量を算出されない場合、前記薬剤の数量を算出されるようにするための方法を案内するステップをさらに備えることを特徴とする。この薬剤計数方法によれば、薬剤の数量を算出されない場合に、薬剤の数量を算出されるようにするための処置を作業者が行うことができる。したがって、作業者が前記処置を行うことで、薬剤の数量を正しく算出できるようになる。

本発明に係る薬剤計数システム、前記薬剤計数システムを備える薬剤監査装置、および薬剤計数方法によれば、ひとまとまりで包装された複数の薬剤の数量を正しく数えることができる。

本発明の実施形態に係る薬剤計数システムの概略を示すブロック図である。 図１に示す計数装置を示すブロック図である。 図１に示す撮像装置が、ＰＴＰシートを、そのＰＴＰシートの表面側から撮像した場合に、抽出部が抽出する特徴量を示す図である。 １単位毎にＳＰ包装に包装された粉薬を示す図であり、横一列に並んでつながった３袋のＳＰ包装を示す図である。 複数の薬剤を包装したＰＴＰシートの裏面側から見た図であって、１単位の薬剤がＰＴＰシートの一部とともに切り離された図である。 実施形態に係る薬剤計数システムの処理の前段を示すフローチャートである。 実施形態に係る薬剤計数システムの処理の後段を示すフローチャートである。

以下、本発明の実施形態に係る薬剤計数システム１００の概略について、図１および図２を参照して説明する。この薬剤計数システム１００は例えば、薬剤監査装置に備えられる。

薬剤監査装置は、薬局などの、薬剤を取り扱う施設に設けられる装置である。薬剤監査装置は、患者などの消費者に薬剤が提供される際に、適切な薬剤、例えば、医師の処方した処方箋に基づいた種類および数量の薬剤が消費者に提供されているか否かを監査する監査業務を補助する。監査業務の補助のために、薬剤監査装置は、薬剤の種類を識別するとともに、消費者に提供される薬剤の数量を数える第１の機能を備える。また、薬剤監査装置は、消費者に提供される薬剤を画像などの形式で記録する第２の機能も備える。図１に示す実施形態の薬剤計数システム１００は、消費者に提供される薬剤の数量を数える機能を発揮する。

薬剤計数システム１００は、包装体によってひとまとまりで包装された複数の薬剤を撮像して、撮像した画像Ｇに含まれる薬剤の数量を算出することで、薬剤の数量を数える。薬剤計数システム１００は、２通りの手段の少なくとも一方を用いることにより、撮像した画像Ｇに含まれる薬剤の数量を正しく算出できる。第１に、薬剤計数システム１００は、撮像した画像Ｇに含まれる特徴量を抽出し、抽出した特徴量に基づいて薬剤の数量を算出する。第２に、薬剤計数システム１００は、包装体の寸法を測定して、その測定した寸法から演算される演算値ＦＲに基づいて、撮像した薬剤の数量を算出する。したがって、薬剤計数システム１００は、画像Ｇから抽出した特徴量に基づいて薬剤の数量を算出できなくても、包装体の寸法に基づいて、薬剤の数量を算出できる。よって、薬剤計数システム１００は、特徴量、または包装体の寸法の何れか一方の要素に基づいて薬剤の数量を正しく算出できない場合でも、残りの要素に基づいて薬剤の数量を算出できる。

本発明の実施形態に係る薬剤計数システム１００の詳細な構成を説明する前に、複数の薬剤をひとまとまりで包装する包装体と、その包装体に包装される薬剤について具体的に説明する。

ひとまとまりで複数の薬剤を包装する包装体には、図１に示すように、ＰＴＰシート９１、またはＳＰ包装９２などがある。図１には、２枚のＰＴＰシート９１が示されている。各ＰＴＰシート９１は、１０錠の錠剤８１（薬剤の一種）を包装している。ＰＴＰシート９１には、錠剤８１の１つをドーム状に取り囲むように収容するポケット部９１３が突出する表面９１１と、表面９１１の反対側のフラットな面である裏面９１２とがある。ポケット部９１３は、透明な素材で形成されている場合が多い。したがって、ポケット部９１３が光を透過するため、複数の錠剤８１をＰＴＰシート９１の表面９１１側から撮像すると、画像Ｇには、錠剤８１の形状、または錠剤８１の色彩などが含まれる。また、図１には、横一列につながった３袋のＳＰ包装９２が示されている。各ＳＰ包装９２には、薬剤の一種である粉薬８２が包装されている。

ひとまとまりで複数の薬剤を包装する包装体は、その一部と一緒に包装された薬剤を分離できる。例えば、作業者または消費者は、図１に示すＰＴＰシート９１における、所望する錠剤８１の周囲の部分を切断することによって、その錠剤８１をＰＴＰシート９１の一部と一緒に、ＰＴＰシート９１から分離できる。また、横一列に並んでつながった３袋のＳＰ包装９２の場合、ＳＰ包装９２の使用単位（１袋）ごとの境界部分に切り取り線が設けられることが多い。作業者または消費者はＳＰ包装９２の使用単位（１袋）ごとの境界に設けられた切り取り線に沿って切断することで所望する数量、すなわち使用単位のＳＰ包装９２を他のＳＰ包装９２から分離できる。

なお、薬剤計数システム１００は、ひとまとまりで包装された複数の薬剤以外の薬剤の数量を数えることもできる。具体的には、チューブのような包装体に入った軟膏薬８３などの複数回分の使用量が単独で包装される種類の薬剤の数量も数えることができる。

薬剤計数システム１００の具体的な構成について、図１から図５を参照して説明する。

薬剤計数システム１００は、図１に示すように、撮像装置１と、撮像装置１の撮像した画像Ｇが出力されることによって画像Ｇに含まれる薬剤の数量を算出する計数装置２と、画像Ｇ、および、その画像Ｇに含まれる薬剤の数量が表示される表示装置３と、薬剤の数量が計数装置２によって算出されない場合に、その旨を作業者に知らせる案内装置４とを備える。撮像装置１、計数装置２、表示装置３、および案内装置４は、１台の機器にまとめて組み込まれてもよいし、複数の機器に分かれて配置されていてもよい。

撮像装置１は様々な種類の薬剤をまとめて撮影できるが、以下においては説明のため、図１に示すように、撮像装置１の撮像できる撮像領域ＧＡにあるＰＴＰシート９１が裏面９１２側から撮像された場合について主に記述する。撮像装置１は、具体的には、カメラなどである。撮像装置１の撮像した画像Ｇは、計数装置２に出力される。

計数装置２は、撮像装置１から入力された画像Ｇから特徴量を抽出して、その特徴量に基づいて薬剤の数量を算出する。また、計数装置２が、抽出した特徴量に基づいて薬剤の数量を算出できない場合、計数装置２は、画像Ｇに含まれる包装体の寸法に基づいて薬剤の数量を算出する。計数装置２は、例えば、画像Ｇを処理できる電子計算機である。

図１および図２に示すように、計数装置２は、画像Ｇから薬剤の種類を識別する識別部２０と、特徴量を画像Ｇから抽出する抽出部２１と、画像Ｇから抽出した特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１であるか否かを判定する判定部２２と、特徴量に基づいて画像Ｇに含まれる薬剤の数量を算出する第１算出部２３と、画像Ｇに含まれる包装体の寸法を測定する測定部２４と、包装体の寸法に基づいて薬剤の数量を算出する第２算出部２５と、包装体のデータを記憶している包装体データ記憶部２６とを有する。なお、識別部２０、抽出部２１、判定部２２、第１算出部２３、測定部２４、第２算出部２５、包装体データ記憶部２６、および、これ以降で説明する計数装置２の構成は、それぞれの機能を概念的に示したものであり、ハードウェアまたはソフトウェアの何れの形式で電子計算機に実装されてもよいし、複数の異なる電子計算機に分散して実装されていてもよい。例えば、それぞれの機能を実現するモジュールが別々に設けられてもよいし、電子計算機の実行するプログラムの中に、それぞれの機能を実現する処理が含まれていてもよい。

識別部２０は、画像認識による処理、または、画像Ｇから抽出した特徴量に基づく処理の少なくとも何れか一方の処理により薬剤の種類を識別する。

画像認識による、薬剤の種類を識別する処理では、識別部２０は、入力された画像Ｇに含まれる、薬剤または包装体に記されている識別符号９３（図１参照）を読み取る。識別符号９３とは、薬剤の種類の情報を含む、薬剤の識別情報（薬剤が何であるか）を示すものである。具体例としては、図１に示すように、識別符号９３には、薬剤または包装体に記されたバーコードや二次元コードのような光学マーク（光の屈折率、反射スペクトルなどの光学的性質の異なる複数の部分の組み合わせによって、符号化された情報を表示するもの）がある。ＰＴＰシート９１およびＳＰ包装９２には、日本工業規格Ｘ０５０９に規定するＧＳ１データバーなどのバーコードが記されている。識別部２０は、薬剤の種類と、識別符号９３の示す識別情報とを紐づけたデータが記憶されているデータベース（図示せず）にアクセスして、読み取った識別符号９３に対応する薬剤の種類の情報を取得する。

画像Ｇから抽出した特徴量に基づいて薬剤の種類を識別する処理について説明する。識別部２０は、後述するＡＩモデル（ＡＩ：人工知能、Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を格納しており、そのＡＩモデルを用いて薬剤の種類を識別できる。ＡＩモデルは、データとして入力された画像Ｇから特徴量を抽出する。入力された画像Ｇに含まれる薬剤または包装体に記されている特徴符号９４に対応する特徴量をＡＩモデルが抽出できれば、識別部２０は、薬剤の種類と、特徴符号９４の示す情報とを紐づけたデータが記憶されているデータベースにアクセスして、薬剤または包装体に記されている特徴符号９４に対応する薬剤の種類を照合して薬剤の種類を識別する。特徴符号９４とは、薬剤または包装体に記された、薬剤の種類を特定可能な表示であり、例えば文字および／または図形である。具体例としては、特徴符号９４には、製品名そのものを表す文字列や識別コード（例えば製薬会社の会社コードとその会社が定める製品コードからなる記号列）を表す文字列／記号列などがある。図１に示すＰＴＰシート９１には、ＰＴＰシート９１で包装されている薬剤の製品名である「ＥｘａｍｐｌｅＡ」が記されており、ＳＰ包装９２には、ＳＰ包装９２で包装されている薬剤の製品名である「ＥｘａｍｐｌｅＢ」が記されている。

抽出部２１も、ＡＩモデルを格納しており、ＡＩモデルを用いて、撮像装置１の撮像した画像Ｇから特徴量を抽出する。ここで、この薬剤計数システム１００において用いられるＡＩモデルとは、何らかの入力データを受け取ると、その入力データに対応した出力データを返すという、入出力関係を記述したモデルであり、いわば一種の関数のような働きを持つ。ＡＩモデルを用いて画像Ｇから特徴量を抽出するとは、画像ＧのデータがＡＩモデルに入力されると、ＡＩモデルが画像Ｇに対応する特徴量を出力するという意味を含む。また、特徴量には、特徴符号９４に対応する情報、包装体内における薬剤の位置に対応する情報、および包装体の輪郭に対応する情報が含まれる。

図３には、視覚的に説明するための一例として、１０錠の錠剤８１が包装されたＰＴＰシート９１を、表面９１１側から撮像した画像Ｇを、抽出部２１に入力したときに抽出される特徴量に対応する情報として、包装体内における薬剤の位置（例えばポケット部９１３の位置）を示している。例えば特徴量が画像Ｇ内の平面座標と、座標に対応する値の組み合わせデータの形で出力されるとする。画像Ｇ内で包装体の輪郭ＳＨでも、薬剤の位置でもない座標には、何もないことを示す値（例えば「０」）が対応する。一方、包装体の輪郭ＳＨまたは薬剤の位置の座標には、輪郭の存在を示す値（例えば「１」）が対応する。例えば、画像Ｇ内で色彩の変化率の大きい部分が、輪郭の存在を示す値に対応付けられる。

ＡＩモデルは、ＡＩモデル構築用の電子計算機が、機械学習を行うことによって構築される。ＡＩモデル構築用の電子計算機は、薬剤の画像と、その画像に含まれる薬剤の情報とを紐づけたデータを、画像を撮像する条件を変えて蓄積し、その蓄積されたデータを用いて機械学習を行う。ＡＩモデルを構築する基となる画像は、多数用意される。多数の画像はそれぞれ、薬剤の位置、薬剤から撮像装置１までの距離、薬剤を撮像する角度、薬剤の包装の状態、撮像するときの照明条件、画像の解像度などの画像を撮像する条件が異なっている。このような様々な条件で撮像された画像のデータを用いて、ＡＩモデルを構築することで、このＡＩモデルは、様々な条件で撮像された画像から特徴量を抽出できるようになる。なお、抽出部２１は、ＡＩモデルを格納するだけでなく、ＡＩモデルを構築するための機械学習を行うことも可能なＡＩモデル構築用の電子計算機であってもよい。また、識別部２０、抽出部２１、および後述する測定部２４（図２参照）が同じＡＩモデルを用いる場合、そのＡＩモデルのデータが記憶装置に記憶され、その記憶装置へ識別部２０、抽出部２１、および測定部２４がアクセスできれば、識別部２０、抽出部２１、および測定部２４のそれぞれがＡＩモデルを格納しておかなくともよい。一方で、識別部２０、抽出部２１、および測定部２４のそれぞれは、異なるＡＩモデルを用いてもよい。具体的には、抽出部２１が用いるＡＩモデルに画像Ｇを入力したときに抽出される特徴量と、測定部２４が用いるＡＩモデルに画像Ｇを入力したときに抽出される特徴量とが異なっていてもよい。以降では、識別部２０、抽出部２１、および測定部２４のそれぞれが、異なるＡＩモデルを用いる場合について説明する。

判定部２２は、抽出部２１の抽出した特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１であるか否かを識別部２０の識別した薬剤の種類の情報に基づいて判定する。

特徴量Ｆ１について説明する。特徴量が画像Ｇ内の平面座標と、座標に対応する値の組み合わせデータの形で出力される場合、薬剤の包装体内における位置に対応する特徴量Ｆ１（図３参照）は、包装体の輪郭で囲まれた領域内に存在する、輪郭を示す値（例えば「１」）のかたまりとして現れる。薬剤の包装体内における位置に対応する特徴量Ｆ１は、１単位の薬剤を個別に包装する包装体の一部分の位置に対応する。薬剤の包装体内における位置に対応する特徴量Ｆ１は、例えばＰＴＰシート９１のポケット部９１３の形状に対応して現れる。１つのポケット部９１３につき１つの薬剤が包装されるため、包装体の輪郭ＳＨで囲まれた領域内に存在する、輪郭を示す値のかたまりの数が、薬剤の数量に対応する。

図３に示すように、包装体の輪郭で囲まれた領域内に、輪郭を示す値のかたまりが存在し、抽出部２１の画像Ｇから抽出した特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１であると判定された場合、判定部２２は、後述する第１算出部２３に薬剤の数量を算出させる。

一方で、図１に示すように、例えばＰＴＰシート９１が裏面９１２側から撮影された場合、ポケット部９１３が画像Ｇに含まれないため、包装体の輪郭で囲まれた領域内には、輪郭を示す値のかたまりが存在しない。このような場合、図２に示す判定部２２は、抽出部２１の画像Ｇから抽出した特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１でないと判定する。このような判定がされた場合、判定部２２は、測定部２４に包装体の寸法を測定させるとともに、第２算出部２５に薬剤の数量を算出させる。

また、判定部２２は、包装体によってひとまとまりで複数単位が包装される種類の薬剤が、画像Ｇに含まれているか否かを判定することが好ましい。包装体によってひとまとまりで複数単位が包装される薬剤とは、ＰＴＰシート９１で包装される錠剤８１やＳＰ包装９２で包装される粉薬８２のように、薬剤の使用単位（１錠または１袋など）ごとに包装体によって包装された薬剤が、複数連なっている種類の薬剤である。また、包装体によってひとまとまりで包装される薬剤以外の薬剤は、例えばチューブ入りの薬剤やビン入りの薬剤のように、１つの容器に複数回の使用量が封入された種類の薬剤である。例えば、判定部２２は、薬剤の種類と、薬剤の剤形の情報とを紐づけたデータが記憶されているデータベースにアクセスして、画像Ｇに含まれる薬剤がひとまとまりで包装される種類の薬剤であるか否かを判定する。

具体的に、判定部２２がアクセスするデータベースには、薬剤が、錠剤、粉剤、または軟膏剤その他の薬剤の剤形が、その薬剤の種類に紐づけられて記憶されている。例えば、識別部２０が、薬剤の種類を「ＥｘａｍｐｌｅＡ」と識別した場合、判定部２２は、データベースからＥｘａｍｐｌｅＡの剤形は錠剤であるという情報を取得して、包装体（ここではＰＴＰシート９１）によってひとまとまりで複数単位が包装される種類の薬剤が画像Ｇに含まれていると判定する。一方で、識別された種類の薬剤の剤形が、例えば図１に示されているようなチューブ入りの軟膏薬８３であった場合、判定部２２は、包装体によってひとまとまりで複数単位が包装される種類の薬剤が画像Ｇに含まれていないと判定する。包装体によってひとまとまりで複数単位が包装される種類の薬剤ではない場合、その薬剤の数量は、容器（チューブや缶）の数がそのまま数量として取り扱われる。したがって、判定部２２がひとまとまりで包装させる種類の薬剤ではないと判定した場合に、後述する第１算出部２３または第２算出部２５による薬剤の数量の算出を省略できる。

第１算出部２３は、画像Ｇから抽出部２１が抽出した特徴量に基づいて画像Ｇに含まれる薬剤の数量を算出する。第１算出部２３は、あらかじめ定められた特徴量基準を用いて、抽出部２１の抽出した特徴量が特徴量基準を満たすか否かを判定する。特徴量基準には、薬剤の包装体内における位置に対応する特徴量とみなされるための基準や、抽出された部分が画像Ｇに占める大きさなどがある。第１算出部２３は、抽出部２１の抽出した特徴量が特徴量基準を満たすか判定して、特徴量基準を満たす特徴量が抽出部２１によって抽出された回数を数えることで、薬剤の数量を算出する。例えば、図３に示す抽出部２１には、薬剤の包装体内における位置に対応する特徴量Ｆ１が１０単位抽出されている。第１算出部２３は、抽出部２１の抽出した特徴量から、「包装体の輪郭ＳＨで囲まれた、輪郭を示す値のかたまり」という、薬剤の包装体内における位置に対応する特徴量とみなされるデータの集まりを１０単位発見する。さらに、１０単位のデータの集まりのそれぞれが特徴量基準（例えば大きさ）を満たすか否かを判定する。この結果として、１０単位のデータの集まりの全てが特徴量基準を満たすと判定された場合には、第１算出部２３は、薬剤の数量が１０単位であると算出する。

測定部２４も、ＡＩモデルを用いて、撮像装置１の撮像した画像Ｇから特徴量を抽出する。そして、測定部２４は、画像Ｇから抽出された特徴量を用いて、包装体の寸法を測定する。具体的には、測定部２４の用いるＡＩモデルは、包装体の輪郭に対応する情報を特徴量（包装体特徴量Ｆ２）として画像Ｇから抽出する。加えて、測定部２４は、包装体特徴量Ｆ２から包装体の輪郭部分を特定して、輪郭部分から包装体の寸法を測定するときに基準となる部分（基準部Ｐ）を複数特定する。

基準部Ｐの具体例について、図２を参照して説明する。図２に示す測定部２４には、図１に示す撮像領域ＧＡに含まれるＰＴＰシート９１の画像Ｇから、測定部２４の用いるＡＩモデルが抽出した特徴量として、ＰＴＰシート９１の輪郭が示されている。このＰＴＰシート９１の輪郭を、以下、包装体特徴量Ｆ２と呼ぶ。そして、測定部２４は、包装体の基準部Ｐとして、ＰＴＰシート９１の輪郭の縁部の交差する部分を特定する。縁部の交差する部分（交差部）は、角、または丸みを帯びていてもよい。図２では、交差部が４つ特定されている。

複数の基準部Ｐを特定した測定部２４は、特定した複数の基準部Ｐの中から２つの基準部Ｐを選択して、選択した２つの基準部Ｐの間の実際の長さを測定する。実際の長さとは、画像Ｇにおける長さではなく、包装体の特定の部分の長さをメジャーなどの計測器で測定したときに、計測器から読み取れる値を意味する。実際の長さを測定するためには、画像Ｇが撮影されたときの撮像装置１と撮影対象との位置関係の情報が必要であるが、撮像装置１に取り付けられたジャイロセンサその他の様々な種類のセンサから得られる情報と、画像Ｇの情報とを組み合わせて画像処理を行う従来の方法により、実際の長さを測定できる。この実際の長さの測定には、ＡＲ技術（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実）で用いられる画像処理が利用できる。

包装体の基準部Ｐが複数特定されるため、各基準部Ｐの間の長さを１つ以上測定できる。図２に示す測定部２４は、紙面に向かって左下の基準部Ｐ１から、紙面に向かって右下の基準部Ｐ２までの間にある縁部（横縁部）の基準部Ｐ１から基準部Ｐ２への方向に沿った長さ（横寸法）Ｗを測定している。加えて、図２に示す測定部２４は、基準部Ｐ１から、紙面に向かって左上の基準部Ｐ３までの間にある縁部（縦縁部）の基準部Ｐ１から基準部Ｐ３への方向に沿った長さ（縦寸法）Ｌを測定している。

第２算出部２５は、測定部２４の包装体の寸法、および、包装体データ記憶部２６に記憶している基本データＢＤ（後述する）に基づいて画像Ｇに含まれる薬剤の数量を算出する。

薬剤の数量を算出するにあたって、第２算出部２５は、画像Ｇに含まれる包装体の幾何学的特性を表す演算値ＦＲを、測定部２４の測定した包装体の寸法に基づいて算出する。例えば、測定部２４が、２か所の長さを測定した場合、第２算出部２５は、測定された２か所の長さに基づいて、画像Ｇに含まれる包装体の面における面積またはアスペクト比などの、包装体の幾何学的な特性を表す演算値ＦＲを算出する。具体的には、図２に示す測定部２４は、横寸法Ｗおよび縦寸法Ｌを測定している。横縁部は、縦縁部に直交しているため、第２算出部２５は、横寸法Ｗと縦寸法Ｌとの積（Ｗ×Ｌ）を演算することにより、画像Ｇに含まれる包装体の面における面積を算出できる。また、第２算出部２５は、横寸法Ｗと縦寸法Ｌとの比（Ｗ／Ｌ）を演算することにより、画像Ｇに含まれる包装体の面におけるアスペクト比を算出できる。なお、第２算出部２５は、包装体の幾何学的特性を表す演算値ＦＲとして、包装体の面における面積またはアスペクト比を算出すると説明したが、演算値ＦＲは、包装体の幾何学的特性を表す値であれば、例えば、単に測定部２４の測定した長さでもよい。

第２算出部２５は、包装体データ記憶部２６にアクセスして、記憶されている基本データＢＤを取得する。包装体データ記憶部２６は、包装体の幾何学的特性を示す基本データＢＤを薬剤の種類ごとに記憶する部分であり、具体的にはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などである。基本データＢＤには、包装体が製造された時点での幾何学的特性、すなわち欠けがない状態での本来の包装体の面における面積、または、包装体の面におけるアスペクト比などが含まれる。また、薬剤の使用単位（１錠または１袋など）に対応する、包装体１単位の幾何学的特性が基本データＢＤに含まれていてもよい。例えば、基本データＢＤには、図１に示すＥｘａｍｐｌｅＡの薬剤の包装するＰＴＰシート９１の裏面９１２の面積が含まれる。

第２算出部２５にアクセスされた包装体データ記憶部２６は、演算値ＦＲに対応する基本データＢＤを第２算出部２５に出力する。演算値ＦＲに対応する基本データＢＤとは、演算値ＦＲの表す幾何学的特性と同種類の幾何学的特性を表すデータである。例えば、包装体データ記憶部２６に入力された演算値ＦＲが錠剤８１のＰＴＰシート９１の裏面９１２における面積であった場合、記憶部２４２は、錠剤８１を包装するＰＴＰシートの、本来の裏面における面積の情報を第２算出部２５に出力する。

第２算出部２５は、演算値ＦＲおよび基本データＢＤに基づく演算を行うことで、薬剤の数量を算出する。したがって、計数装置２は、抽出部２１の抽出した特徴量に基づいて第１算出部２３が薬剤の数量を正しく算出できない場合でも、第２算出部２５によって、包装体の寸法に基づいて薬剤の数量を正しく算出できる。第２算出部２５が、演算値ＦＲおよび基本データＢＤに基づく演算を行って、薬剤の数量を算出する具体例を、以下に２例挙げて説明する。

第２算出部２５が薬剤の数量を演算する例の１例目は、例えば、図４に示すように、３袋のＳＰ包装９２が横一例につながる３単位の粉薬８２の数量を算出する場合である。この場合、測定部２４は、各ＳＰ包装９２がつながる方向（連結方向Ｄ１）に沿った、３袋のＳＰ包装９２の横縁部の寸法を足し合わせた横寸法Ｗ１と、連結方向Ｄ１に垂直な方向（垂直方向Ｄ２）に沿った、ＳＰ包装９２の縦縁部の縦寸法Ｌ１とを測定する。第２算出部２５は、横寸法Ｗ１を縦寸法Ｌ１で除する演算を行って、画像Ｇに含まれる３単位のＳＰ包装９２のアスペクト比を演算値ＦＲとして算出する。この演算値ＦＲに対応する基本データＢＤとして、包装体データ記憶部２６は、１単位の粉薬８２を包装する１袋（１単位）のＳＰ包装９２のアスペクト比のデータを記憶している。以降、便宜上、基本データＢＤについて、紙面に向かって左端のＳＰ包装９２を用いて説明する。１袋のＳＰ包装のアスペクト比は、１袋のＳＰ包装の連結方向Ｄ１に沿った縁部の横寸法ＷＳ１を、垂直方向Ｄ２に沿った縁部の寸法ＬＳ１で除することで計算される値である。第２算出部２５は、横一列につながる３袋のＳＰ包装９２のアスペクト比である演算値ＦＲ（Ｗ１／Ｌ１＝３ＷＳ１／ＬＳ１）を、１袋のＳＰ包装に対応する基本データＢＤであるアスペクト比（ＷＳ１／ＬＳ１）で除する（ＦＲ／ＢＤ）ことにより、粉薬８２の数量が３単位である旨を算出する。したがって、第１算出部２３が薬剤の数量を算出できない場合でも、第２算出部２５が、包装体のアスペクト比と基本データＢＤに基づいて演算することによって、薬剤の数量を算出できる。

第２算出部２５が薬剤の数量を算出する例の２例目は、例えば、図５に示すように、１錠分の部分が切り離されたＰＴＰシート９５に包装された薬剤（錠剤８１）の数量を算出する場合である。この場合、測定部２４は、図５に示すような、画像Ｇに含まれるＰＴＰシート９５の各角部を基準部Ｐとして、そのＰＴＰシート９５の各縁部の長さを測定する。第２算出部２５は、各縁部の長さに基づく演算を行って、画像Ｇに含まれるＰＴＰシート９５における面９１４の面積Ａ１を演算値ＦＲとして算出する。この演算値ＦＲに対応する基本データＢＤとして、包装体データ記憶部２６は、錠剤８１（画像Ｇに含まれる薬剤と同一種類の薬剤）を包装するＰＴＰシートの、欠けがない状態での本来の裏面の面積の情報、および、数量を算出するための係数（欠けがない状態でのＰＴＰシートによって包装される錠剤８１の数量、ここでは１０錠）を記憶している。第２算出部２５は算出された面積Ａ１を、錠剤８１を包装するＰＴＰシートにおける裏面の本来の面積（基本データＢＤ）で除して（ＦＲ／ＢＤ）、その除算結果（９／１０）を、数量を算出するための係数（１０）との積を演算することで、錠剤８１の数量が９錠である旨を出力する。したがって、第２算出部２５は、画像Ｇに含まれる包装体の面における面積を演算することでも、薬剤の数量を算出できる。

なお、ＰＴＰシート、またはＳＰ包装その他の包装体には、それぞれの製造誤差であったり、例えば、図５に示すＰＴＰシート９５の端部９１５のように薬剤を直接包装しない部分が有ったりするので、第２算出部２５が演算したことで出力される薬剤の数量が整数にならない場合がある。したがって、実用的には、第２算出部２５は、出力される薬剤の数量が整数にならない場合に、算出される薬剤の数量が整数となるように端数部分を丸めるなどの処理をさらに行う。

上記にて、図２に示す計数装置２は、判定部２２の判定結果に応じて、第１算出部２３または第２算出部２５により画像Ｇに含まれる薬剤の種類を算出すると説明した。一方で、抽出部２１の抽出した特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１（図３参照）であるか否かを判定部２２が判定できない場合がある。例えば、識別された薬剤の種類が散剤（粉薬）の場合、散剤は、ＳＰ包装の中で、一か所に集まったり、散らばったりできる。すなわち、薬剤の包装体内における位置が一定していない。したがって、撮影条件に応じて、画像Ｇから抽出される特徴量が、薬剤の包装体内における位置に対応する特徴量とみなされるための特徴量基準に合致する場合と、合致しない場合とがある。そして、特徴量基準に合致する特徴量と、合致しない特徴量の両方が抽出される場合もある。また、例えば、ＰＴＰシートの裏面に、そのＰＴＰシートが包装している薬剤に類似した模様が記されていた場合に、撮像条件に応じて、画像Ｇから抽出される特徴量が、特徴量基準に合致する場合と、合致しない場合とがある。そして、特徴量基準に合致する特徴量と、合致しない特徴量の両方が抽出される場合もある。このように、特徴量基準に合致する特徴量と、特徴量基準に合致しない特徴量が両方抽出された場合、判定部２２は、抽出された特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１であるか否か判定できない。

抽出部２１の抽出した特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１であるか否かを判定部２２が判定できない場合に薬剤の数量を正しく算出するため、判定部２２は、第１算出部２３、および、第２算出部２５の両方に薬剤の数量を算出させることが好ましい。そして、計数装置２は、第１算出部２３の算出した薬剤の第１数量と、第２算出部２５の算出した薬剤の第２数量とを比較する比較部２７をさらに有することが好ましい。

比較部２７は、第１数量と、第２数量とのうちの一方をあらかじめ定められた基準にしたがって選択して薬剤の数量とする。あらかじめ定められた基準には、例えば、第１数量と、第２数量とのうち、より少ない数量を出力した方を薬剤の数量とするような基準がある。このような基準は例えば、散剤のように、ＳＰ包装の中で散らばる薬剤の場合に用いられる。このような場合、特徴量基準に合致する特徴量がＳＰ包装の数量よりも多く抽出される可能性が高いためである。このように、比較部２７の採用する基準は、薬剤の取り扱いにおいて想定される状況に応じて、適宜決められる。比較部２７が、第１数量または第２数量のうち、基準に合致する方を選択する、すなわち、実際の薬剤の数量としての可能性が高い方を選択することで、計数装置２は、薬剤の数量を正しく算出できる。

上記にて説明した薬剤の包装体の大きさや形状は、一定期間が経過すると変更される場合がある。包装体の大きさや形状が変更されても薬剤の数量を正しく算出できるようにするために、包装体の大きさや形状の変更を学習して、基本データＢＤを更新する学習部２８（図２参照）を計数装置２がさらに有することが好ましい。

学習部２８は、画像Ｇのデータと、その画像Ｇに含まれる包装体の寸法のデータと、その画像Ｇに含まれる薬剤の数量のデータとが紐づけられたデータのセットを蓄積する。データのセットは、第２算出部２５により作成されて学習部２８に入力される。そして、学習部２８は、包装体に含まれる薬剤の数量と、包装体の寸法との関係を、蓄積されたデータのセットから学習する。

学習部２８は、包装体に含まれる薬剤の数量と、包装体の寸法との関係に基づいて、基本データＢＤを作成して、包装体データ記憶部２６に出力する。これにより、包装体データ記憶部２６に記憶されていた基本データＢＤは、学習部２８が出力した基本データＢＤに更新される。ここで、更新には、包装体データ記憶部２６に記憶されていた基本データＢＤを修正するという意味、および、包装体データ記憶部２６に新たな基本データＢＤを追加するという意味を含む。このようにして、学習部２８が基本データＢＤを更新することで、包装体の大きさや形状が変更されても、第２算出部２５は、薬剤の数量を正しく算出できる。

以上にて説明したように、計数装置２は、薬剤の数量を算出する。算出された薬剤の数量は、計数装置２から表示装置３（図１参照）に出力される。

表示装置３には、計数装置２が薬剤の数量を算出した結果ＮＲと、薬剤の種類の情報と、画像Ｇとが入力される。表示装置３は、薬剤の画像Ｇ、画像Ｇに含まれる薬剤の種類、および画像Ｇに含まれる薬剤の数量を表示する。表示装置３は、具体的には、画像Ｇを表示するモニタなどの画面である。図１に示す表示装置３には、紙面に向かって下側の位置に薬剤の数量として「（１０）」が示されており、薬剤の種類として「ＥｘａｍｐｌｅＡ １ｍｇ」が示されている。言い換えると、表示装置３は、撮像された画像Ｇに「ＥｘａｍｐｌｅＡ １ｍｇ」の錠剤８１が１０錠含まれることを示している。なお、表示装置３は、画像Ｇに含まれる薬剤の種類、および画像Ｇに含まれる薬剤の数量を作業者に知らせることができれば、例えば、画像Ｇに含まれる薬剤の種類、および画像Ｇに含まれる薬剤の数量を音として発するスピーカであってもよい。

上記にて、計数装置２によって薬剤の数量が算出される場合について説明した。一方で、薬剤の数量が計数装置２によって算出されない場合がある。例えば、画像Ｇから薬剤の種類を識別できない場合、画像Ｇから特徴量が抽出されない場合、または、第１算出部２３もしくは第２算出部２５により算出した薬剤の数量が１単位よりも小さい場合などがある。具体例としては、撮像装置１が薬剤の存在しない空間を撮像している場合や、包装体の縁部のみを撮像している場合などが挙げられる。このような場合を判別するために、計数装置２は、第１算出部２３または第２算出部２５によって薬剤の数量が算出されたか否かを判定する算出判定部２９（図２参照）をさらに有することが好ましい。薬剤の数量が算出されていないと算出判定部２９が判定した場合、計数装置２は、薬剤の数量を算出されていない旨のエラーを示すエラー信号ＮＡを案内装置４に出力する。案内装置４は、薬剤の数量を算出されていない旨を作業者に知らせる報知部４１と、薬剤の数量が算出されるようにするための方法の候補を案内する案内部４２とを有する。

報知部４１は、作業者に情報を表示する装置、例えばモニタまたはスピーカである。報知部４１は、撮像装置１で撮像された画像Ｇでは、薬剤の数量が算出されていない旨をモニタに表示するなどして、作業者にその旨を知らせる。したがって、作業者は、薬剤を再度撮像するなどの、薬剤の数量を計数装置２に算出させるために必要な処置をとることができる。

案内部４２も、記憶した情報を作業者に案内する装置、例えばモニタを有する電子計算機またはスピーカを有する電子計算機である。案内部４２は、薬剤の数量が算出されるようにするための方法の候補をモニタで表示するなどして作業者に案内する。作業者に案内される内容は、あらかじめ定められて案内部４２に記憶されている。詳細には、薬剤の数量を算出するのに適さない画像Ｇが撮像される状況と、その状況において、薬剤の数量が算出されるようにする方法をあらかじめ想定しておいて、この想定された方法が案内部４２に記憶されている。案内部４２にエラー信号ＮＡが入力された際に、あらかじめ想定しておいた方法を表示することで、作業者は、表示された方法にしたがって処置をとることができる。あらかじめ想定したおいた方法の一例としては、撮影対象となっている薬剤を、数量の算出に適した画像Ｇが得られる姿勢に置きなおすという方法がある。例えば、図１に示すようにＰＴＰシート９１が裏面９１２側から撮像された場合に、案内部４２は、表面９１１側から撮像が行われるように、ＰＴＰシート９１をひっくり返すことを作業者に案内するとよい。案内部４２の示す方法にしたがって作業者が作業することで、薬剤の数量が計数装置２によって算出されるようになる。

以下、本発明の実施形態に係る薬剤計数システム１００の処理について、図１、図２、図３、図６および図７を参照して説明する。

図１に示すように、数量を数える対象の薬剤は、撮像装置１で撮像できる状態にある。図６に示すように、薬剤計数システム１００の処理が開始（ＳＴＡＲＴ）されると、まずステップＳ１において、撮像装置１は、包装体によって包装された複数の薬剤を撮像する。図１では、撮像装置１は、ＰＴＰシート９１で包装された１０錠の錠剤を、ＰＴＰシート９１の裏面９１２側から撮像している。撮像装置１が撮像した画像Ｇは、計数装置２に入力される。

ステップＳ２において、図２に示す識別部２０は、画像Ｇに基づいて、画像Ｇに含まれる薬剤の種類を識別する。

ステップＳ３において、判定部２２は、画像Ｇに含まれる薬剤が、ひとまとまりで包装される薬剤であるか否かを判定する。ステップＳ３において、画像Ｇに含まれる薬剤が、ひとまとまりで包装される薬剤でないと判定部２２によって判定された場合（ＮＯの場合）、処理はステップＳ４に進む。ステップＳ４において、判定部２２は、画像認識などの従来の処理により薬剤の数量を算出する。算出された薬剤の数量は、図１に示す表示装置３に出力される。ステップＳ４の後、処理は後述するステップＳ１７に進む。

一方で、画像Ｇに含まれる薬剤が、ひとまとまりで包装される薬剤であると判定部２２によって判定された場合（ＹＥＳの場合）、処理は、ステップＳ５に進む。

ステップＳ５において、撮像装置１から画像Ｇを入力された抽出部２１は、特徴量を画像Ｇから抽出する。抽出部２１は、画像Ｇから抽出した特徴量を判定部２２に出力する。

ステップＳ６において、判定部２２は、特徴量が画像Ｇから抽出されたか否かを判定する。特徴量が画像Ｇから抽出されなかったと判定部２２によって判定された場合（ＮＯの場合）、処理はステップＳ１８に進む。

ステップＳ１８において、計数装置２は、エラー信号ＮＡを案内装置４に出力する。案内装置４は、薬剤の数量が算出されない旨を報知部４１によって作業者に知らせる。したがって、作業者は、薬剤の数量が計数装置２によって算出されていないことを認識する。また、案内装置４は、薬剤の数量が計数装置２によって算出されるようにするための方法の候補を案内部４２（例えば、モニタ）で案内する。したがって、薬剤の数量が計数装置２によって算出されるようにするための方法の候補の何れかを作業者が実施することで、薬剤の数量が、計数装置２によって算出されるようになる。この後、処理は、ステップＳ１に戻って、作業者は、包装体によって包装された複数の薬剤を撮像する。

一方で、ステップＳ６において、特徴量が画像Ｇから抽出されたと判定部２２によって判定された場合（ＹＥＳの場合）、処理は、ステップＳ７に進む。ステップＳ７において、判定部２２は、特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１（図３参照）であると判定できるか否かを判定する。

ステップＳ７において、特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１であると判定できる場合（ＹＥＳの場合）、処理は、図７のステップＳ８に進む。ステップＳ８において、判定部２２は、特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１であるか否かを判定する。ステップＳ８において、特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１であると判定された場合（ＹＥＳの場合）、処理は、ステップＳ９に進む。ステップＳ９において、第１算出部２３は、抽出部２１から抽出された薬剤の包装体内における位置に対応する特徴量Ｆ１に基づいて薬剤の数量を算出する。第１算出部２３の算出した薬剤の数量は、算出判定部２９に出力される。そして、処理は、後述するステップＳ１６に進む。

一方で、ステップＳ８において、特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１でないと判定された場合（ＮＯの場合）、処理は、ステップＳ１０に進む。ステップＳ１０において、図２に示す測定部２４は、包装体の寸法を測定して、その測定結果を第２算出部２５に出力する。ステップＳ１１において、第２算出部２５は、包装体の寸法に基づいて薬剤の数量を算出する。このようにすると、抽出部２１の抽出した特徴量が、画像Ｇに含まれる薬剤の数量を算出するのに適していなくとも、薬剤を包装している包装体の寸法に基づいて、薬剤の数量を算出できる。したがって、計数装置２は、抽出部２１が画像Ｇから抽出した特徴量に基づいて薬剤の数量を算出できなくとも、包装体の寸法に基づいて薬剤の数量を算出できる。第２算出部２５の算出した薬剤の数量は、算出判定部２９に出力される。ステップＳ１１の後、処理はステップＳ１６に進む。

一方で、図６のステップＳ７において、特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１であると判定できない場合（ＮＯの場合）、処理は、図７のステップＳ１２に進む。ステップＳ１２において、第１算出部２３は、抽出部２１の抽出した特徴量に基づいて薬剤の第１数量を算出する。第１数量は、比較部２７に出力される。ステップＳ１３において、測定部２４は、ステップＳ１０と同じ処理を行う。ステップＳ１４において、第２算出部２５は、包装体の寸法に基づいて薬剤の第２数量を算出する。第２数量は、比較部２７に出力される。

ステップＳ１５において、比較部２７は、第１数量と、第２数量とを比較する。そして、比較部２７は、第１数量と、第２数量とのうちの一方をあらかじめ定められた基準にしたがって選択して薬剤の数量とする。したがって、特徴量が、薬剤の包装体内における位置に対応する特徴量Ｆ１であるか否かを、判定部２２が判定できない場合であっても、第１数量および第２数量から薬剤の数量を算出できる。比較部２７の選択した薬剤の数量は、算出判定部２９に出力される。

ステップＳ１６において、算出判定部２９は、第１算出部２３または第２算出部２５によって薬剤の数量が算出されたか否かを判定する。ここで、算出判定部２９が判定する対象は、比較部２７から出力された、薬剤の数量を含む。薬剤の数量が算出されていないと算出判定部２９によって判定された場合（ＮＯの場合）、処理は、図６に示すステップＳ１８に進む。一方で、薬剤の数量が算出されたと算出判定部２９によって判定された場合（ＹＥＳの場合）、処理は、図７に示すステップＳ１７に進む

ステップＳ１７において、図１に示す表示装置３は、計数装置２から入力された薬剤の種類、薬剤の数量、および画像Ｇを表示する。したがって、作業者は、撮像した薬剤の種類および数量を画像Ｇとともに参照できる。これにより、消費者へ提供される予定の薬剤の種類および数量が処方箋に記された薬剤と一致しているかどうかが作業者によって確認される。これにより、作業者による薬剤の監査作業が補助される。また、薬剤を取り扱う施設（薬局など）において、画面に表示される画像Ｇと、薬剤の種類および数量が記録されることにより、消費者に提供された薬剤に関する情報が保存される。

１ 撮像装置
２ 計数装置
３ 表示装置
４ 案内装置
２０ 識別部
２１ 抽出部
２２ 判定部
２３ 第１算出部
２４ 測定部
２５ 第２算出部
２６ 包装体データ記憶部
２７ 比較部
２８ 学習部
２９ 算出判定部
４１ 報知部
４２ 案内部
Ｇ 画像
Ｆ１ 薬剤の包装体内における位置に対応する特徴量
Ｆ２ 包装体特徴量

Claims (11)

1. 包装体によってひとまとまりで包装された複数の薬剤を撮像する撮像装置と、
   前記撮像装置の撮像した画像に含まれる前記包装体に包装された薬剤の数量を算出する計数装置とを備え、
   前記計数装置は、
   薬剤の種類を前記画像から識別する識別部と、
   前記画像がデータとして入力されると、前記画像のデータに対応する特徴量を出力するＡＩモデルを用いて、前記特徴量を前記画像から抽出する抽出部と、
   前記特徴量に基づいて前記画像に含まれる薬剤の数量を算出する第１算出部と、
   前記特徴量を用いて、前記包装体の寸法を測定する測定部と、
   前記包装体の幾何学的特性を示す基本データを薬剤の種類ごとに記憶している包装体データ記憶部と、
   前記識別部が識別した薬剤の種類、前記包装体の寸法、および、前記基本データに基づいて前記画像に含まれる薬剤の数量を算出する第２算出部とを有し、
   前記計数装置が、前記第１算出部または前記第２算出部の少なくとも何れか一方によって、前記画像に含まれる薬剤の数量を算出することを特徴とする薬剤計数システム。
2. 前記測定部は、前記特徴量を用いて前記包装体の輪郭部分を特定して、前記輪郭部分の寸法を測定することを特徴とする請求項１に記載の薬剤計数システム。
3. 前記基本データに、前記薬剤の種類ごとに定められた包装体のアスペクト比が含まれており、
   前記第２算出部は、前記識別部が識別した薬剤の種類と、前記基本データと、前記包装体の寸法に基づいて算出される、前記画像に含まれる包装体のアスペクト比と、に基づいて、前記画像に含まれる薬剤の数量を算出することを特徴とする請求項１に記載の薬剤計数システム。
4. 前記基本データに、前記薬剤の種類ごとに定められた包装体の面積が含まれており、
   前記第２算出部は、前記識別部が識別した薬剤の種類と、前記基本データと、前記包装体の寸法に基づいて算出される、前記画像に含まれる包装体の面積と、に基づいて、前記画像に含まれる薬剤の数量を算出することを特徴とする請求項１に記載の薬剤計数システム。
5. 前記計数装置は、
   前記画像のデータと、前記画像に含まれる包装体の寸法のデータと、前記画像に含まれる薬剤の数量のデータとが紐づけられたデータのセットを蓄積し、包装体によって包装された薬剤の数量と、前記包装体の寸法との関係を前記蓄積されたデータのセットから学習する学習部をさらに有し、
   前記学習部は、包装体によって包装された前記薬剤の数量と、前記包装体の寸法との関係に基づいて、前記包装体データ記憶部に記憶されている前記基本データを更新することを特徴とする請求項１に記載の薬剤計数システム。
6. 前記計数装置は、
   前記抽出部が前記画像から抽出した前記特徴量が、前記包装体によって包装される薬剤の、前記包装体内における位置に対応する特徴量であるか否かを判定する判定部をさらに備え、
   前記特徴量が、前記薬剤の、前記包装体内における位置に対応する特徴量でないと前記判定部により判定された場合には、前記第２算出部によって、前記画像に含まれる薬剤の数量を算出することを特徴とする請求項１に記載の薬剤計数システム。
7. 前記計数装置は、
   前記特徴量が、前記薬剤の、前記包装体内における位置に対応する特徴量であるか否かを前記判定部が判定できなかった場合、前記第１算出部によって算出される薬剤の第１数量と、前記第２算出部によって算出される薬剤の第２数量とを比較して、あらかじめ定められた基準を満たす方を薬剤の数量とする比較部をさらに有することを特徴とする請求項１に記載の薬剤計数システム。
8. 前記計数装置は、
   前記第１算出部または前記第２数量によって前記薬剤の数量が算出されたか否かを判定する算出判定部をさらに有し、
   薬剤の数量が算出されていないと前記算出判定部が判定した場合、前記薬剤の数量が算出されるようにするための方法を案内する案内装置をさらに備えることを特徴とする請求項１に記載の薬剤計数システム。
9. 請求項１から請求項８の何れか一項に記載の薬剤計数システムを備える薬剤監査装置であって、
   消費者に提供される薬剤が、医師の発行した処方箋に記載された通りの薬剤であるか否かを、前記消費者に提供される薬剤の画像に基づいて識別して、前記処方箋に記載された通りの薬剤が前記消費者に提供されているか否かの監査を補助するとともに、前記薬剤の画像を記録することを特徴とする薬剤監査装置。
10. 包装体によってひとまとまりで包装された複数の薬剤を撮像するステップと、
    撮像した画像に含まれる前記包装体に包装された薬剤の数量を算出するステップとを備える薬剤計数方法であって、
    前記薬剤の数量を算出するステップは、
    薬剤の種類を前記画像から識別するステップと、
    前記画像がデータとして入力されると、前記画像のデータに対応する特徴量を出力するＡＩモデルを用いて、前記特徴量を前記画像から抽出するステップと、
    前記特徴量に基づいて前記画像に含まれる薬剤の数量を算出する第１算出ステップと、
    前記特徴量を用いて、前記包装体の寸法を測定するステップと、
    前記画像から識別された薬剤の種類と、前記包装体の寸法、および、薬剤の種類ごとにあらかじめ記憶された、前記包装体の幾何学的特性を示す基本データに基づいて前記画像に含まれる薬剤の数量を算出する第２算出ステップと、
    前記第１算出ステップ、または、前記第２算出ステップの少なくとも一方によって、前記画像に含まれる薬剤の数量を算出するステップとを有することを特徴とする薬剤計数方法。
11. 前記第１算出ステップおよび前記第２算出ステップで薬剤の数量を算出されない場合、前記薬剤の数量を算出されるようにするための方法を案内するステップをさらに備えることを特徴とする請求項１０に記載の薬剤計数方法。

Images