JP7105164B2 - 服薬管理システム - Google Patents

Description

この発明は、服薬支援と服薬管理とを行う服薬管理システムに関するものである。

例えば、病気や怪我等を受けて病院等に関わったとき、医師等は対象とする人物（患者等）の病気や怪我等を治療するために、当該患者等の状態に応じて複数の薬剤等の医薬品を処方する場合がある。このような場合に、医師は処方箋と呼ばれる書類を発行する。

通常の場合、当該処方箋には、薬剤等の種類，量，服薬方法等、各種の情報が記載されている。患者等が、この処方箋を薬局に持ち込むと、これを受けて薬局の薬剤師は、受領した処方箋に基いて適切な薬剤を調製する（調剤）。これと同時に、薬剤師は、調剤した薬剤等の説明等を記載した薬の説明書（薬剤提供文書）を発行すると共に、患者に対して服薬指導を行う。この服薬指導は、的確に行われる必要があると同時に、患者等は服薬指導に忠実に服薬する必要がある。

しかしながら、近年、薬剤等の種類は多様化しているので、これら多くの薬剤等の種類に応じて、かつ、患者個々人の状態に応じて、薬剤等の用法，用量は異なってくる。そのために、例えば、高齢者等にとっては、複数種類の薬剤等のそれぞれを、適切な量，適切なタイミングで確実に服薬することは難しくなっている。それゆえに、近年、例えば服薬を忘れてしまったり、服薬量を誤ったり、服薬種類を間違える等、服薬指導通りに服薬が行われないケースが多く発生している。さらに、高齢化や少子化が、個人の判断能力の低下や補助者の限界などを通して、こうした問題を深刻化している。

そこで、誰もが的確に服薬指導通りの服薬を行うことができるようにするための服薬支援を行うと共に、服薬を管理するための各種の服薬管理システムが、例えば特開２０１５－１９５９５１号公報等によって、種々提案されている。

上記特開２０１５－１９５９５１号公報等によって開示されている服薬管理システムは、服薬情報コードや服薬プログラムなどの複雑なシステムを用いることなく薬の飲み忘れや飲み間違いを防止するというものである。そのために、当該服薬管理システムは、カメラで撮影した画像データ（服薬対象の薬群を撮影した薬画像のデータ）と所定の情報（服薬タイミング，服薬量，服薬履歴等を含む服薬指導情報）とを関連付けて記憶すると共に、記憶された画像データ（薬画像）と当該画像データに関連付けられた所定の情報（服薬指導情報）とを合わせて表示し、さらに、予め入力された服薬タイミング情報と計時手段とに基づいて、服薬タイミングを報知する装置群からなるシステムとして構成されている。

特開２０１５－１９５９５１号公報

ところが、上記特開２０１５－１９５９５１号公報等によって開示されている服薬管理システムは、使用者（ユーザ）が服薬前にカメラを意図的に操作して画像データ（薬画像）を取得する必要がある。そのために、服薬前の薬画像の撮影忘れ等が発生することもあり得るという問題点がある。

本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、服薬支援を行うことができると共に、使用者が確実かつ的確に服薬したことを表すエビデンス情報を自動的にかつ容易に取得することができ、よって確実な服薬管理を行うことができる服薬管理システムを提供することである。

上記目的を達成するために、本発明の一態様の服薬管理システムは、服薬支援及び服薬管理を行う服薬管理システムにおいて、画像データを取得する撮像部と、服薬情報提供文書に記載された特定の服薬情報を読み取る情報読取部と、上記画像データから得られた情報と上記情報読取部によって読み取られた上記特定の服薬情報とを関連付けて記録するエビデンス記録部と、を具備し、上記撮像部は、作業者の視界と略同等の撮像範囲の画像データを取得する眼鏡型情報端末装置である。

本発明によれば、服薬支援を行うことができると共に、使用者が確実かつ的確に服薬したことを表す画像データを含むエビデンス情報を自動的にかつ容易に取得することができ、よって確実な服薬管理を行うことができる服薬管理システムを提供することができる。

本発明の一実施形態の服薬管理システムの概略構成を示すブロック構成図 図１の服薬管理システムの一部を構成する情報端末装置（眼鏡型情報端末装置）の概略構成を示す概念図 図２の情報端末装置（眼鏡型情報端末装置）を使用者（ユーザ）が装着したときの使用者の顔の正面を概念的に示す図 図３で示す使用者の両眼の視界をより詳細に示す概念図 図１の服薬管理システムによって取り扱われる各種の情報が記載された薬剤提供文書の一形態を示す図 図１の服薬管理システムにおいて、情報端末装置（眼鏡型情報端末装置）と服薬管理装置との連携の下に情報端末装置が服薬タイミング時に服薬タイミングである旨の告知アラームを発している様子を示す概念図 図１の服薬管理システムにおいて、図６の後、患者が情報端末装置を装着した状態で服薬の準備をしている様子を示す概念図 図１の服薬管理システムにおいて、情報端末装置の撮像部によって取得される画像データに基く表示画像（全体画像及び切出画像）を概念的に示す図 図１の服薬管理システムにおいて、情報端末装置の撮像部によって取得される動画像データの概念図 図１の服薬管理システムにおいて、介護者等が情報端末装置（眼鏡型情報端末装置）を装着した場合に取得される動画像データの概念図 図１の服薬管理システムにおいて、情報端末装置（スマートスピーカ）と服薬管理装置との連携の下に情報端末装置が服薬タイミング時に服薬タイミングである旨の告知アラームを発している様子を示す概念図 図１１の服薬管理システムにおいて、図１１の後、患者が情報端末装置（スマートスピーカ）の撮像範囲内で服薬の準備をしている様子を示す概念図 図１１の服薬管理システムにおいて、情報端末装置の撮像部によって取得される画像データに基く表示画像を概念的に示す図 図１１の服薬管理システムにおいて、情報端末装置の撮像部によって取得される動画像データの概念図 図１の服薬管理システムにおける服薬管理装置の作用の流れを示すフローチャート（前半部） 図１の服薬管理システムにおける服薬管理装置の作用の流れを示すフローチャート（後半部） 図１の服薬管理システムにおける情報端末装置（眼鏡型の場合）の作用の流れを示すフローチャート 図１の服薬管理システムにおける画像判定切出処理を示すフローチャート 図１の服薬管理システムにおいて、服薬管理装置と情報端末装置とをスマートスピーカによって兼用させて構成した場合の作用の流れを示すフローチャート（前半部） 図１の服薬管理システムにおいて、服薬管理装置と情報端末装置とをスマートスピーカによって兼用させて構成した場合の作用の流れを示すフローチャート（後半部） スマートスピーカによる機械学習又は深層学習の概念を示す図（静止画像） スマートスピーカによる機械学習又は深層学習の概念を示す図（服薬前後セット画像） 図１の服薬管理システムにおいて、第１構成例の服薬管理専用端末装置を展開して示す概略構成斜視図 図２３の服薬管理専用端末装置を畳んだ状態を示す概略構成斜視図 図２３の服薬管理専用端末装置を用いて使用者が服薬行為をしているようすを示す概念図 図２３の服薬管理専用端末装置を用いて行う服薬準備行為の一例を示す概念図 図１の服薬管理システムにおいて、第２構成例の服薬管理専用端末装置を展開して示す概略構成斜視図 図２７の服薬管理専用端末装置を畳んだ状態を示す概略構成斜視図 図１の服薬管理システムにおいて、第３構成例の服薬管理専用端末装置を展開して示す概略構成斜視図

以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識できる程度の大きさで示すために、各部材の寸法関係や縮尺等を構成要素毎に異ならせて示している場合がある。したがって、本発明は、各図面に記載された各構成要素の数量や各構成要素の形状や各構成要素の大きさの比率や各構成要素の相対的な位置関係等に関して、図示の形態のみに限定されるものではない。

［第一実施形態］
本発明の一実施形態の服薬管理システムの概略構成を、以下に説明する。図１は本発明の一実施形態の服薬管理システムの概略構成を示すブロック構成図である。図２は本実施形態の服薬管理システムの一部を構成する情報端末装置（眼鏡型情報端末装置）の概略構成を示す概念図である。なお、図２は、使用者（ユーザ）が当該情報端末装置（眼鏡型情報端末）を装着した状態を想定して図示している。図３は使用者（ユーザ）が情報端末装置（眼鏡型情報端末装置）を装着したときの使用者（ユーザ）の顔の正面を概念的に示し、同時に使用者の両眼の視界範囲を示す点線で示す概念図である。図４は図３で示す使用者の両眼の視界をより詳細に示す概念図である。なお、図４では使用者にとっての視界を示している。

本実施形態の服薬管理システム１は、図１に示すように、服薬管理装置１０と、情報端末装置２０と、データベース４０等によって構成されている。

データベース４０は、複数の服薬情報を蓄積した服薬データベース４１ａと、複数の薬画像データを蓄積した画像データベース４１ｂとを有するストレージ装置である。このデータベース４０は、服薬管理装置１０や情報端末装置２０との間で、無線又は有線接続されており、各装置相互間での画像データを含む各種の情報の送受信ができるように構成されている。

なお、データベース４０は、図１の実線で示すように、服薬管理装置１０に含めて構成される形態であってもよいし、これとは別の形態（図１の点線で示す形態服）として、服薬管理装置１０とは別体の装置として構成される形態であってもよい。

ここで、データベース４０を服薬管理装置１０とは別体の装置として構成した場合、当該データベース４０は、服薬管理装置１０や情報端末装置２０との間でデータ通信を行うための通信部４１ｃ（図１参照）をさらに備える。

上記服薬データベース４１ａに蓄積されている服薬情報とは、例えば処方箋や薬剤提供文書等に記載される各種の情報、例えば患者の特定情報と、薬剤等の情報等の各種の情報を指すものである。

ここで、患者の特定情報としては、例えば、保険者番号，氏名，生年月日，性別，医療機関名，連絡先，処方医の氏名等である。

また、薬剤等の情報としては、例えば、薬剤名，薬剤の提供形態（包装形態や形状（錠剤，カプセル剤，粉末等）等の情報（画像を含む），服薬方法（薬の飲み方；用法）及び服薬量（用量），薬の効能（効果），副作用等の注意事項，後発医薬品（generic medicine）の有無等である。

上記画像データベース４１ｂに蓄積されている薬画像データとは、服薬対象となる各種の薬剤等の医薬品の薬包装シートやパッケージ等や、薬剤自体の画像データ等を指すものである。

情報端末装置２０は、使用者（ユーザ）の服薬対象とする薬剤等に関する画像データ（以下、薬画像データという）を取得して、服薬管理装置１０と連携することにより、当該取得した薬画像データに基づく所定の判定を行って、使用者の服薬支援を行うと共に、使用者の服薬行為に関するエビデンス情報（画像データ）を取得する電子機器である。

ここで、エビデンス情報は、使用者が、服薬指導に基づいて確実にかつ的確に服薬を行ったことを証明するための情報をいう。

服薬管理装置１０は、情報端末装置２０と連携することにより、情報端末装置２０によって取得された画像データ等の各種の情報を受けて、エビデンス情報として管理する電子機器である。

また、当該服薬管理装置１０は、情報端末装置２０を用いて取得された画像データ等の情報を受けて、それらの画像データ等に含まれる情報が、服薬指導に応じた情報であるか否か等の判定を行って、その判定結果に従って、上記情報端末装置２０の使用者が確実かつ的確に服薬できるよう支援し管理する装置でもある。

この服薬管理装置１０の具体的な形態としては、例えば、スマートホン，タブレット端末等の携帯型電子機器のほか、据え置き型の小型コンピュータ等の小型電子機器等を含む汎用情報端末装置が相当する。詳細構成は後述するが、当該服薬管理装置１０の所定の機能は、各種ソフトウエアプログラム等によって実現される。

なお、本実施形態では、１台の情報端末装置２０と１台の服薬管理装置１０とによって本実施形態の服薬管理システム１を構成した例を示している。しかし、このような例示に限られることはなく、本発明の服薬管理システム１は、複数の情報端末装置を用いて構成することもできる。その場合には、服薬管理装置１０は、複数の情報端末装置を連携させて制御し、これら複数の情報端末装置によって取得された複数種の画像データ等の各種情報を管理する。

このような構成により、本実施形態の服薬管理システム１は、使用者が服薬対象とする薬剤等を服薬する際の支援を行うと共に、当該使用者が確実かつ的確に服薬したことを表す画像データ等の各種の情報をエビデンス情報として取得して、服薬管理を行うものである。

上述したように、服薬管理装置１０は、情報端末装置２０の制御を行うと共に、情報端末装置２０によって取得された画像データ等の情報を受信して、エビデンス情報として管理する。

そのために、服薬管理装置１０は、制御部１１と、通信部１２と、表示部１３と、エビデンス記録部１４と、時計部１５等を有して構成されている。また、上述したように、当該服薬管理装置１０には、上記データベース４０を含むように構成してもよい。

なお、本実施形態の服薬管理装置１０においては、図示を省略しているが、上述した各構成要素のほかにも、例えば操作部等、汎用情報端末装置が具備する構成要素を有している。図示を省略したこれら各種の構成要素については、本発明に直接関連しない部分であるので、その詳細説明は省略する。

服薬管理装置１０における制御部１１は、本実施形態の服薬管理システム１の全体を統括的に制御する複数の制御回路及びソフトウエアプログラム等を含む構成部である。この制御部１１は、例えば、ＣＰＵ（Central Processing Unit）等を用いたプロセッサ（processor；処理装置）によって構成されている。そして、制御部１１は、メモリ（不図示）に記憶されたプログラムにしたがって動作することにより、各構成部の制御を行う。当該制御部１１に含まれる複数の制御回路等としては、特に、対象物判定部１１ａと、表示制御部１１ｂと、ガイド部１１ｃと、タイミング判定部１１ｄ等がある。

対象物判定部１１ａは、情報端末装置２０によって取得された画像データ等の情報と、データベース４０に予め蓄積されている情報（服薬情報，薬画像データ等）とに基づいて、情報端末装置２０によって取得された画像データ等から、撮像対象とされた対象物（即ち薬剤包装又は薬剤等）の種類，形状，個数，状態等を検出して判定し、対象物を特定する電子回路及びソフトウエアプログラム等を含む構成部である。

そのために、当該対象物判定部１１ａは、例えば、文字判定部１１ａａと、色判定部１１ａｂと、手のひら又は薬包装シート判定部１１ａｃ等の電子回路等を有している。これらのほか、対象物判定部１１ａは、撮像部（情報端末装置２０に含まれる）によって取得された画像データのうちの所定の画像領域において、時間変化に基いて当該画像領域に含まれる対象物の変化を判定するような機能があってもよい。また、これらの機能の一部は必ずしも、当該服薬管理装置１０において具備されておらずともよく、これらの機能を、他の装置若しくは他の構成ユニット部との連携によって同様の機能を実現するような構成としてもよい。さらに、対象物判定部１１ａは、人工知能による推論エンジンの機能を有してもよい。

手のひら又は薬包装シート判定部１１ａｃは、情報端末装置２０にて取得され当該服薬管理装置１０へと送信された画像データによって表される画像のうちから使用者の手のひら又は薬包装シートの写っている画像領域を判定する判定回路及びソフトウエアプログラム等を含む構成部である。

文字判定部１１ａａは、手のひら又は薬包装シート判定部１１ａｃによって判定された画像領域を対象として、当該画像領域内に撮像対象の対象物である薬剤等の薬包装シートやパッケージ等、若しくは薬剤そのものに記載された文字等（文字，絵文字等の識別記号等も含む）の有無の判定や識別を行う判定回路及びソフトウエアプログラム等を含む構成部である。

色判定部１１ａｂは、文字判定部１１ａａと同様に、手のひら又は薬包装シート判定部１１ａｃによって判定された画像領域を対象として、撮像対象の対象物である薬剤等の薬包装シートやパッケージ等、若しくは薬剤そのものに記載された色等（文字，絵文字等の識別記号等も含む）の有無の判定や識別を行う判定回路及びソフトウエアプログラム等を含む構成部である。

なお、制御部１１の対象物判定部１１ａに含まれる手のひら又は薬包装シート判定部１１ａｃは、後述する情報端末装置２０の制御部２１の画像領域選択部２１ａに含まれる手のひら又は薬包装シート判定部２１ｃと同様の構成部である。この画像領域選択部２１ａは、撮像部（情報端末装置２０に含まれる）によって取得された画像データのうちの所定の画像領域において、時間変化に基いて当該画像領域に含まれる対象物の変化を判定するような機能があってもよい。また、これらの機能の一部は必ずしも、当該服薬管理装置１０において具備されておらずともよく、これらの機能を、他の装置若しくは他の構成ユニット部との連携によって同様の機能を実現するような構成としてもよい。さらに、対象物判定部１１ａは、人工知能による推論エンジンの機能を有してもよい。

ここで、手のひら又は薬包装シート判定部（１１ａｃ，２１ｃ）は、服薬管理装置１０と情報端末装置２０のいずれか一方に設けられていればよい。

服薬管理装置１０に手のひら又は薬包装シート判定部１１ａｃを設けて構成した場合には、当該手のひら又は薬包装シート判定部１１ａｃは、情報端末装置２０から送信されてくる画像データに基づいて使用者の手のひら又は薬包装シートの写っている画像領域を判定する。これにより判定された画像領域について、文字判定部１１ａａ，色判定部１１ａｂによって対象物の判定を行う。服薬管理装置１０の制御部１１の方が、情報端末装置２０の制御部２１よりも処理能力，処理速度が高いので、判定処理のような重たい処理を、服薬管理装置１０にて行うことで、より効率的に信号処理を行うことができる。

一方、情報端末装置２０に手のひら又は薬包装シート判定部２１ｃを設けて構成した場合には、当該手のひら又は薬包装シート判定部２１ｃは、撮像部２４によって取得された画像データに基づいて使用者の手のひら又は薬包装シートの写っている画像領域を判定し、判定された画像領域の画像データを切り出して（後述する切出画像データ）これを服薬管理装置１０へと送信する。これを受けて、服薬管理装置１０は、受信した画像データに基づいて文字判定部１１ａａ，色判定部１１ａｂによる対象物の判定を行う。このようにすることで、服薬管理装置１０における処理を簡素化し、より高速に処理することができる。

他方、情報端末装置２０に手のひら又は薬包装シート判定部２１ｃを設けて構成する場合には、文字判定部１１ａａ，色判定部１１ａｂをも、情報端末装置２０の制御部２１に設けて構成してもよい。情報端末装置２０の制御部２１による処理能力が向上すれば、そのような構成も可能である。そして、そのような構成が採れれば、情報端末装置２０にて判定処理を行うことができるので、より高速に、かつ他の装置との通信を行わずとも、情報端末装置２０のみで処理を完結させることができるようになる。

表示制御部１１ｂは、服薬管理装置１０に含まれる表示部１３若しくは当該服薬管理装置１０と連携して動作する情報端末装置２０に含まれる表示部２５等を制御して、所定の表示（画像データに基く画像表示のほか、これに関連する情報表示や、各種の警告表示又はガイド表示等）を実行するための制御回路及びソフトウエアプログラム等を含む構成部である。

ガイド部１１ｃは、情報端末装置２０によって取得された画像データ等の情報と、データベース４０に予め蓄積されている情報（服薬情報，薬画像データ等）とに基づいて、取得された薬画像データに関するガイド表示等を行うためのガイド情報を生成する制御回路及びソフトウエアプログラム等を含む構成部である。

また、ガイド部１１ｃは、情報端末装置２０によって取得された画像データ等の情報が、例えば特定の条件を満たしていないと（対象物判定部１１ａによって）判定された場合に、特定の条件を満たしていない旨の警告情報や、特定の条件を満たす情報を取得するためのガイド情報等を作成するガイド情報作成部としても機能する。ここで、特定の条件とは、例えば取得画像データに写っている薬包装シートや薬剤が、対応する処方箋や薬剤提供文書等に記載されている各種の情報に合致しない場合等である。即ち、間違った薬剤や薬包装シートを取り出して撮像しているような場合が想定される。この場合には、当該ガイド部１１ｃは、間違った薬を出している旨の警告表示や正しい薬を出すように案内するガイド表示等を出すようにする。

タイミング判定部１１ｄは、時計部１５を参照して得られる現在時刻情報と、使用者（対象患者）に出された薬剤提供文書等に記載されている服薬タイミング情報とに基づいて、服薬タイミングを判定する判定回路及びソフトウエアプログラム等を含む構成部である。

ここでいう時刻情報は、一般的に昼食時間が正午になるということを考慮しており、例えば、食後３０分などという薬剤提供文書の指示（処方の情報）がある場合、服薬のための時刻情報として「１２時３０分から１３時」とするといった判定の仕方がある。また、対象とする患者（ユーザ）の生活パターン情報（食事終了時間など）をあらかじめ入力し、記録しておくようにして、個人別のカスタマイズを行うことができるようにして、精度を向上させる工夫を行ってもよい。さらに、監視カメラや家電製品の利用状況（例えば炊飯器など）を監視して得られる生活情報などから、当該対象患者の個人的なの行動パターンを判別するようにしてもよい。このようにして、当該対象患者についての、その日その日の正しい食後タイミング（食後３０分などの服薬時刻）を検出するようにしてもよい。もちろん、食後開始時刻や食後タイミング等を、対象患者（ユーザ）などが、その都度、入力操作を行う専用の操作手段を設け、その操作手段からの入力信号を検知して、服薬タイミング（服薬時刻情報）を設定するようなシステムとすることも考えられる。

通信部１２は、情報端末装置２０の通信部２２や、データベース４０の通信部４１ｃ（データベース４０が別体で存在する場合）との間で相互にデータ通信（情報の送受信）を行う制御回路及びソフトウエアプログラム等を含む構成部（送信部及び受信部）である。なお、通信部１２は、無線通信を用いる構成であってよいし、有線通信を用いる構成であってもよい。

表示部１３は、情報端末装置２０によって取得された画像データ等の情報や、その他各種の情報等のほか、各種アプリケーションの選択画面などを表示する表示用デバイスである。表示部１３としては、例えば液晶表示ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機エレクトロルミネッセンス（Organic Electro-Luminescence：ＯＥＬ；有機ＥＬ）ディスプレイ等が適用される。

なお、図示は省略しているが、当該服薬管理装置１０においては、表示部１３の表示面上に、例えばタッチパネル等の操作部を設けて構成した形態としてもよい。

エビデンス記録部１４は、情報端末装置２０によって取得された画像データ等の情報と、これに対応する服薬情報とを関連付けて記録する制御回路及びソフトウエアプログラム等と、記録媒体とその駆動回路部及びそのソフトウエアプログラム等を含む構成部である。

時計部１５は、リアルタイムクロック（Real-Time Clock；ＲＴＣ）などと呼ばれる内部時計回路である。この時計部１５は、例えば出力データに付随させる日時情報を出力したり、制御処理中における所定の指示タイミング間の計時を行う等、時間制御等の際に利用される回路部である。

情報読取部１６は、薬剤提供文書等に記載された情報を読み取る読取回路及びソフトウエアプログラム等を含む構成部である。薬剤提供文書等に記載された情報は、例えば薬剤提供文書等に附された二次元コード等によって読み取ることができる。なお、薬剤提供文書等に記載された情報についての詳細は後述する（図５参照）。

一方、本実施形態で例示する情報端末装置２０は、例えば、図２に示すように、使用者（患者若しくは介護者等）が身体の一部（例えば顔面近傍等）に装着することによって、両手を自在とすることができると同時に、使用者の手元近傍の様子を常に撮像することができるような形態の眼鏡型情報端末装置である。

即ち、本実施形態において一例として示す情報端末装置２０は、使用者の目線相当の情報を取得することができる形態の情報端末装置である。この情報端末装置２０は、主に静止画像データ及び動画像データを取得することができる。

したがって、例えば使用者が患者自身の場合に、当該情報端末装置２０を装着して服薬を行う行為、即ち、所定の薬剤を薬包装シートから取り出して服薬の準備をする動作や、取り出した薬剤を服薬する動作等、服薬行為に関わる一連の動作を継続して動画像データとして記録することができる。また、当該服薬時の一連の動作中において、動作の要所要所における所定のタイミングで必要な静止画像データを取得することができる。

また、例えば使用者が患者の介護者とした場合には、当該情報端末装置２０を装着して患者に付き添いつつ服薬行為の補助、例えば、所定の薬剤を薬包装シートから取り出して服薬の準備をする動作や、取り出した薬剤を患者に手渡す動作等の一連の経過を動画像データとして記録できる。さらに、介護者は患者が服薬している様子を見守ることになることから、そのときの実際の服薬行為（患者が薬を口に運んで嚥下するまでの行為）をも動画像データとして記録できる。したがって、患者が確実に服薬したことを動画像データとして記録することができる。また、これら一連の動作中において、動作の要所要所における所定のタイミングで必要な静止画像データを取得することができる。

本実施形態において、情報端末装置２０は、主に図１に示すように、制御部２１と、通信部２２と、操作部２３と、撮像部２４と、表示部２５と、記録部２６と、音声入力部２７と、音声出力部２８と、支持部２０ａ（図２参照）と、時計部２９等を有して構成されている。

情報端末装置２０は、制御部２１の制御下において単独で動作すると同時に、服薬管理装置１０との間で通信を行うことによって、当該服薬管理装置１０の制御部１１の制御下においても動作する電子機器である。

なお、本実施形態における情報端末装置２０は、主に動画像データ等の情報を取得する情報端末装置としているが、これに限られることはない。例えば、当該情報端末装置２０は、使用者による所定の操作や所定の行為をトリガーとして、任意に若しくは自動的に静止画像データを動画像データと同時に又は静止画像データを単独で取得し得るような機能をも有する。

制御部２１は、情報端末装置２０の全体を統括的に制御する制御回路等を含む構成部である。この制御部２１は、例えば、ＣＰＵ（Central Processing Unit）等を用いたプロセッサ（processor；処理装置）によって構成されている。そして、制御部２１は、メモリ（不図示）に記憶されたプログラムにしたがって動作することにより、各構成部の制御を行う。

制御部２１は、通信部２２を制御して服薬管理装置１０やデータベース４０（データベース４０が別体で存在する場合）との間で相互に各種の情報の送受信（データ通信）を行う。制御部２１は、操作部２３からの操作入力を受けて各構成部の制御を行う。制御部２１は、撮像部２４を制御して画像データ等の情報を取得する。制御部２１は、表示部２５を制御して表示パネル２５ｂ（後述する；図２，図３参照）の表示画面に各種の情報表示を行う。制御部２１は、記録部２６を制御して画像データ等の情報を記録する。制御部２１は、音声入力部２７を制御して音声情報の入力を受ける。制御部２１は、音声出力部２８を制御して音声情報の出力を行う。制御部２１は、時計部２９を制御して、時間情報や計時処理等を行う。制御部２１は、これら各種の制御を実行する。

これらの各種の制御に加えて、制御部２１は、服薬管理装置１０の制御部１１からの制御信号を受けて上記服薬管理装置１０と連携して当該情報端末装置２０を制御する。

制御部２１は、画像領域選択部２１ａ（画像選択部）と、表示制御部２１ｂ等の複数の回路部等を有して構成されている。

画像領域選択部２１ａは、撮像部２４によって取得された画像データに基づいて所定の画像領域を判定し、当該画像領域を選択する画像処理回路及びソフトウエアプログラム等を含む構成部である。

即ち、この画像領域選択部２１ａは、手のひら又は薬包装シート判定部２１ｃを有している。この手のひら又は薬包装シート判定部２１ｃは、撮像部２４によって取得した画像データの中から所定の画像領域、即ち使用者の手のひら又は薬包装シートの写っている画像領域を判定する。そして、当該画像領域選択部２１ａは、使用者の手のひら又は薬包装シートが写っていると判定した画像領域を切り出す機能（画像切り出し部）有している。

即ち、この画像領域選択部２１ａは、服薬管理装置１０の制御部１１に含まれる対象物判定部１１ａと略同等の機能を有する簡易的な回路部として設けられている。したがって、服薬管理装置１０の制御部１１の対象物判定部１１ａに手のひら又は薬包装シート判定部２１ｃを設けた構成とした場合は、当該画像領域選択部２１ａは省略することも可能である。

上述したように、当該情報端末装置２０の画像領域選択部２１ａに手のひら又は薬包装シート判定部２１ｃを設けて構成した場合には、当該画像領域選択部２１ａによる判定結果（画像領域データ）のみを通信部（２２，１２）を介して服薬管理装置１０の制御部１１の対象物判定部１１ａへと送信すればよい。これを受けて、服薬管理装置１０の制御部１１の対象物判定部１１ａでは、受信した判定結果情報（画像領域）に基づく判定処理を行う。したがって、この構成の場合、撮像データの一部の画像領域データを送信するのみでよいので、通信負荷を軽減させることができるという利点がある。

なお、手のひら又は薬包装シート判定部２１ｃの構成としては、その他の形態として、例えばＡＩ（人工知能）を搭載し、機械学習機能を備えたＡＩ判定部として構成してもよい。この場合には、画像データに基づいて所定の判定（薬包装シート）を明確に行うことなく、また、データベース４０の薬画像データと完全一致を得られずとも、所望の判定結果を的確に得ることができるようになる。

同様に、服薬管理装置１０側に手のひら又は薬包装シート判定部１１ａｃを設ける場合にも、これをＡＩ判定部として構成してもよい。

表示制御部２１ｂは、表示部２５を制御して表示パネル２５ｂ（図２参照）に所定の表示を行うための制御回路部である。

通信部２２は、服薬管理装置１０とのデータ通信（情報の送受信）を司る制御回路及びソフトウエアプログラム等を含む構成部である（送信部及び受信部）。通信部２２は、無線若しくは有線による所定の通信手段が適用される。なお、データベース４０を別体構成とした場合には、当該情報端末装置２０の通信部２２は、データベース４０の通信部４１ｃと直接データ通信を行って、当該データベース４０の各種情報を参照するようにしてもよい。

操作部２３は、当該情報端末装置２０を操作するための複数の操作部材と、これら複数の操作部材に対応し各所定の操作入力信号を発生させる複数の電気部品等によって構成される構成部である（その詳細構成は不図示）。

撮像部２４は、複数の画像データ等の情報を取得する情報取得部である。この撮像部２４は、撮像光学系２４ａ（図２，図３参照）や図示しない撮像素子及びその駆動回路及びソフトウエアプログラム等を含む構成部である。

撮像部２４は、撮像光学系２４ａによって結像された撮像対象物の光学像を撮像素子によって順次光電変換して画像信号を取得し、取得した画像信号を所定の形態の画像データ（例えば静止画像又は動画像を表わすデジタル画像データ）に変換する機能を有する構成部である。これによって得られた画像データは、表示部２５へと伝送されて表示パネル２５ｂに順次表示される。また、同画像データは、記録部２６の記録媒体（不図示）に記録される。さらに、動画像データは、通信部２２，１２を介して服薬管理装置１０へと伝送される。

撮像部２４に適用される撮像素子は、例えばＣＣＤ（Charge Coupled Device；電荷結合素子）イメージセンサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor；相補性金属酸化膜半導体）型イメージセンサー等の光電変換素子が適用される。このような機能を有する撮像部２４自体の構成は、従来一般的な情報端末装置における撮像部と略同様である。したがって、その詳細な構成及び図示は省略する。

なお、本実施形態では情報端末装置２０は、眼鏡型情報端末装置としている。したがって、当該情報端末装置２０の撮像部２４によって取得される画像データは、使用者目線（視界，視野）に近い画像を取得することができる。つまり、使用者の手元で行われる詳細作業、例えば取り扱う薬剤のパッケージ等が明確に把握し得る画像データを得られると共に、使用者が薬剤を取り分ける作業（即ち薬剤の個数等）等を確認しやすいという利点がある。

表示部２５は、撮像部２４によって取得された画像データに基づいて静止画像又は動画像を再生表示するほか、当該画像データに関連する各種の情報等を合わせて表示したり、表示画像に重畳させて各種の警告表示若しくは各種所定のメッセージ表示又はガイド表示等を表示することができる。さらに、表示部２５は、適宜、所定の動作モードの切り換えを行うことによって、当該情報端末装置２０における各種の設定等のためのメニュー表示等を行う機能をも有する。

そのために、当該表示部２５は、例えば液晶表示ディスプレイ（ＬＣＤ）や有機エレクトロルミネッセンス（ＯＥＬ）ディスプレイ等の表示パネルを含む電子回路及びこれらを駆動するソフトウエアプログラム等を含む構成部である。

表示部２５は、図２に示すように、導光部２５ａと、表示パネル２５ｂ等を有して構成されている。表示パネル２５ｂは、各種の表示を行うための表示画面と、その表示を実現するための表示制御回路等を含んで構成される構成部である。導光部２５ａは、表示パネル２５ｂに表示される画像を所定の表示面へと導く構成部である。

ここで、本実施形態の情報端末装置２０における表示パネル２５ｂは、図２に示すように、例えば使用者の視線方向（図２の矢印Ｘ１方向）に正対する正対面とは異なる方向に向けて設置されている。

具体的には、例えば、図２において、使用者の視線方向を矢印Ｘ１で示し、表示パネル２５ｂの表示面の向く方向を矢印Ｘ２で示している。この場合において、導光部２５ａの長軸方向は、図２の矢印Ｘ２方向と一致するように設けている。したがって、表示パネル２５ｂの表示面の画像を形成する光は、導光部２５ａによって矢印Ｘ２方向へと導かれる。

そして、導光部２５ａの内部において、一方の端部（符号２５ｘ参照）には、当該導光部２５ａによって上記矢印Ｘ２方向に導かれた光を、矢印Ｘ１方向へと折り曲げて導く光屈曲部材（プリズム等）が配設されている。したがって、表示パネル２５ｂの表示面から発した光は、導光部２５ａを矢印Ｘ２方向へと導かれ、上記プリズム等を介して使用者の一方の眼によって視認可能な位置（図３の符号２５ｃ参照）に表示されるように構成されている。

記録部２６は、情報端末装置２０によって取得された画像データを含む各種の情報を記録する記録媒体と、この記憶媒体を駆動する駆動回路等及びソフトウエアプログラム等を含む構成部である。この記録部２６には、当該情報端末装置２０が対象とする特定の患者の情報（薬剤提供文書等に含まれる情報）が一時的に記憶されるようにしてもよい。当該情報は、通信部（２２，１２）を介して服薬管理装置１０側から取得されるものである。

なお、この記録部２６自体は、従来一般に普及している電子機器に適用されているものと同様のものが適用される。したがって、その詳細構成の説明及び図示は省略する。

音声入力部２７は、音声情報を入力する電気部品と、これを駆動する駆動回路及びソフトウエアプログラム等を含んで構成される構成部である。音声入力部２７は、制御部２１によって制御されて、所定のタイミングで周囲環境下における音声情報を収集する。音声入力部２７としては、例えばマイクロフォン等が適用される。

音声入力部２７の配置は、例えば情報端末装置２０を使用者が装着したとき、使用者の口の近傍に配置されているのが望ましい（図２参照）。このような配置とすることにより、使用者は、音声入力部２７への音声入力を確実に行うことができる。

音声出力部２８は、音声情報を出力する電気部品と、これを駆動する駆動回路及びソフトウエアプログラム等を含んで構成される構成部である。音声出力部２８は、制御部２１によって制御されて、所定のタイミングで音声情報（例えば警告，メッセージ等の音声情報や音声ガイド等）を出力する。音声出力部２８としては、例えばスピーカ等の発音装置が適用される。

音声出力部２８の配置は、例えば情報端末装置２０を使用者が装着したとき、使用者の耳の近傍に配置されているのが望ましい（図２参照）。このような配置とすることにより、使用者は、音声出力部２８からの音声出力を確実に聞き取ることができる。

時計部２９は、服薬管理装置１０に設けられる時計部１５と同様の内部時計回路である。この時計部２９も、例えば出力データに付随させる日時情報を出力したり、制御処理中における所定の指示タイミング間の計時を行う等、時間制御等の際に利用される。

支持部２０ａ（図２参照）は、本情報端末装置２０の各構成部を指示すると共に、使用者の身体の一部（例えば顔面近傍等）に装着し得るように構成されたフレーム部材である。図２に示す支持部２０ａの構成例は、いわゆる眼鏡フレーム形状に構成されている場合の例示である。

なお、図示を省略しているが、本実施形態における情報端末装置２０は、電源供給源となるバッテリを有している。このバッテリは、当該情報端末装置２０を駆動するために必要な電力を発生し、制御部２１によって制御されることによって、各構成部への電力供給が行われる。

このように構成された情報端末装置２０を、使用者が装着したときの様子は、例えば図２，図３に示すようになる。

なお、図２において、使用者１００の右眼を符号１０１Ｒで示し、左眼を符号１０１Ｌで示している。また、同図２において、右眼１０１Ｒによる右眼視野を符号１１０Ｒで示す点線で示し、左眼１０１Ｌによる左眼視野を符号１１０Ｌで示している。

この場合において、使用者１００は、情報端末装置２０の支持部２０ａを、例えば（使用者１００自身にとっての）右耳近傍に装着するものとする。

このようにして情報端末装置２０を装着状態としたとき、撮像部２４の撮像光学系２４ａは、使用者の視線方向（矢印Ｘ１方向）と略一致する方向に向けられる。そして、情報端末装置２０を装着した状態で、使用者１００が頭を巡らせる等により視線方向を変更すると、撮像部２４の撮像光学系２４ａが向く方向も、視線方向に追随して変更される。したがって、使用者１００が当該情報端末装置２０を装着した状態で撮像部２４によって取得される画像データは、使用者が見ている方向（視線方向）を含む所定の領域となる。

ここで、撮像部２４によって取得される画像データの撮像領域を、図２，図３において示す符号２４ｃの枠線とする。この撮像領域２４ｃは、撮像光学系２４ａの画角によって任意に設定することができる。本実施形態においては、撮像領域２４ｃは、使用者１００の右眼視野１１０Ｒと左眼視野１１０Ｌとを含む領域となるように設定されている。

さらに、使用者１００が情報端末装置２０を装着した状態では、表示部２５の表示パネル２５ｂによる表示は、導光部２５ａを介して使用者１００の右眼視野１１０Ｒ内において、図２，図３の符号２５ｃで示す所定の領域に表示される。この表示領域２５ｃは、使用者１００の左右両眼の全視野（１１０Ｒ，１１０Ｌ）のうちの一部に視認可能な形態で、かつ使用者１００の視野を阻害しない程度の領域である。使用者１００は、通常状態では、左右両眼の全視野（１１０Ｒ，１１０Ｌ）を視認できると共に、視線移動を行うことで表示領域２５ｃを注視して表示部２５の表示内容を視認することができるように構成されている。

このように構成される本実施形態の情報端末装置２０は、簡略にいうと、撮像素子等を含む撮像部２４を備え、この撮像部２４によって画像データ等の情報を取得し、取得した画像データ等を記録及び再生表示する機能を備えて構成される電子機器である。

情報端末装置２０の具体的な形態としては、例えば、デジタルカメラ等の撮像装置であってもよいし、撮像機能付きスマートホンや撮像機能付きタブレット端末等のほか、撮像機能付き眼鏡型情報端末装置等が相当する。本実施形態においては、情報端末装置２０の一形態として、再三明示しているように、眼鏡型情報端末装置を例示している。

次に、薬剤提供文書に記載される各種の情報について詳述する。図５は、本実施形態の服薬管理システム１によって取り扱われる各種の情報が記載された薬剤提供文書の一形態を示す図である。

薬剤提供文書は、例えば、医師が発行した処方箋に基づいて薬剤師が調剤した薬剤等についての詳細な説明を記載した薬の説明書である。

図５に示すように、薬剤提供文書１２０には、処方や調剤の日付情報１２１，１２２のほか、患者の特定情報として、例えば、患者氏名１２３，医療機関名（病院名）１２４，処方医氏名１２５等が記載されている。

また、薬剤等の情報として、例えば、薬剤名１２６，薬剤の提供形態１２７（包装形態や形状又は状態（錠剤，カプセル剤，粉末等）等の情報（画像情報を含む）），服薬方法１２８（薬の飲み方；用法），服薬量１２９（用量），薬の効能（効果）１３０，副作用等の注意事項１３１，後発医薬品（generic medicine）の有無１３２，薬価情報１３３等である。

さらに、当該薬剤提供文書１２０には、これら全ての情報を含んでコード化された二次元コード１３４が記載されている。

このように構成された本実施形態の服薬管理システム１を運用する際の作用の概略を、図６～図９を用いて以下に説明する。図６～図９は本実施形態の服薬管理システムを運用する際の作用の概略を説明する図である。

このうち、図６は本実施形態の服薬管理システムにおいて、情報端末装置（眼鏡型情報端末装置）と服薬管理装置との連携の下に情報端末装置が服薬タイミング時に服薬タイミングである旨の告知アラームを発している様子を示す概念図である。図７は図６の後、患者が情報端末装置を装着した状態で服薬の準備をしている様子を示す概念図である。図８は情報端末装置の撮像部によって取得される画像データに基く表示画像（全体画像及び切出画像）を概念的に示す図である。図９は情報端末装置の撮像部によって取得される動画像データの概念図である。

まず、図６に示す患者１００は、本実施形態の服薬管理システム１を用いて、日常的に服薬管理を行っているものとする。

当該患者１００は、医師から処方され薬剤師により調剤された薬剤の薬剤包装２００と共に、服薬管理システム１に含まれる情報端末装置２０（眼鏡型情報端末装置）を、例えば自宅の自室等の机上等に保管しているものとする。

この場合において、薬剤の保管は、通常、例えばピルケース，引き出し等に厳密に保管されるものであるが、図６においては、図面の煩雑化を避ける共に、図示の簡略化のために薬剤を机上に載置した状態を図示している。また、一般には、複数種類の薬剤が処方されるのが普通であるところ、図６に示す例では、図面の煩雑化を避けるために、一種の薬剤のみを図示している。ここで、図６では、薬剤包装の一形態として、ＰＴＰ（press through pack）による錠剤の包装形態を図示しているが、薬剤包装の形態は、これ以外にもさまざまな形態のものがある。図６に示す薬剤包装形態は単なる一例である。

さらに、当該患者１００は、自宅の他の部屋等に、本実施形態の服薬管理システム１に含まれる服薬管理装置１０を備えている。図６に示す例では、服薬管理装置１０の形態として、据え置き型（デスクトップタイプ）の小型コンピュータを適用した場合の例を示している。

このような環境下において、患者１００は、自分に対して処方され調剤された薬剤の特定の服薬情報（以下、特定服薬情報という）を、予め服薬管理装置１０に対して入力し記憶させておく。ここで、服薬管理装置１０に対する特定服薬情報の入力は、例えば薬剤提供文書１２０の二次元コード１３４を情報読取部１６によって読み取ることでなされる。服薬管理装置１０は、こうして読み取った特定服薬情報に基づいて服薬管理を行う。

即ち、まず、服薬管理装置１０の制御部１１は、タイミング判定部１１ｄにより時計部１５の時計を参照して、特定服薬情報に基く服薬タイミング（服薬時刻）を判定する。そして、所定の服薬タイミングが到来すると、その旨の告知情報を、通信部１２を介して情報端末装置２０に向けて送信する。

これを受けて、情報端末装置２０の制御部２１は、ガイド部２１ｄを制御して、所定の服薬タイミングが到来した旨の告知情報を告知する。ここでなされる告知情報の告知の手段としては、例えば情報端末装置２０における音声出力部２８からの告知アラームを発生させる等である。図６は、この告知アラームが発生している様子を示している。即ち、図６において、符号Ｓは、情報端末装置２０から発する告知アラームを表している。

情報端末装置２０から告知アラームＳが発生すると、これを受けて、患者１００は、服薬タイミングが到来したことを知ることができる。図６の符号Ｋは患者１００が告知アラームＳを認知したようすを示している。

なお、患者１００自身は、当該情報端末装置２０の近く、例えば同室内に常にいるとは限らず、在宅中であっても他の部屋にいる場合もあり得る。そのような状況下では、情報端末装置２０の告知アラームＳを認知することができない。

そこで、服薬管理装置１０は、服薬タイミングの告知情報を情報端末装置２０への送信を行うと同時に、患者１００が常に携帯している携帯型小型電子機器、例えばスマートホン（不図示）などへも同告知情報を送信するといったことを行うようにしてもよい。

この場合、患者１００自身が携帯するスマートホンには、予め服薬管理装置１０との連携を実現するためのアプリケーションソフトウエアを導入しておき、これを稼働させて、待ち受け状態にしておくといった準備をしておけばよい。

こうして、患者１００は、服薬タイミング（服薬時刻）が到来したことを的確に知ることができる。

次に、服薬タイミングを認知した患者１００は、図７に示すように、情報端末装置２０を装着し、例えば椅子１５１に座り、薬剤包装２００の保管場所である机１５０に向かって服薬の準備を行う。図７では、患者１００が薬剤包装２００を手に取っている様子を示している。

この状態における患者１００の視野の様子は、図８に示すようになる。図８において、符号Ｆ１は患者１００の視野範囲を概念的に示している。このとき、患者１００は、手元付近を見ているものとする。したがって、患者１００の視野範囲Ｆ１内には、自身の両手と、薬剤包装２００が見えている状態である。同時に、当該視野範囲Ｆ１内の所定の一部の領域には、情報端末装置２０の表示部２５の表示が見える（図８の符号２５ｃ）。

ここで、表示領域２５ｃには、特定服薬情報に基づく所定の情報が表示されている。ここに表示される情報は、情報端末装置２０の撮像部２４によって取得された画像データに基づいて判定された薬剤に応じて適宜、服薬管理装置１０から送信されてくる情報である（詳細後述）。図８に示す例では「一錠です」との表示例を示している。これは、現在手に取っている薬剤包装２００の薬剤は、今回の服薬タイミング時には「一錠服薬する」という情報を表すと同時に、薬剤包装２００から「一錠取り出す」ことをガイドする情報を表すものである。

図８の状態において、情報端末装置２０の撮像部２４は、視野範囲Ｆ１に略合致する領域を撮像して、画像データを連続的に取得する（例えば動画像データ）。こうして取得された画像データに基づいて、制御部２１の画像領域選択部２１ａの手のひら又は薬包装シート判定部２１ｃは、撮像された画像全体（視野範囲Ｆ１と同等範囲）から所定の領域、即ち手のひら又は薬包装シートの写っている画像領域（図８の符号Ｆ２で示す領域）を判定し、当該判定画像領域Ｆ２を切り出して、これに対応する切出画像データを生成する。そして、当該切出画像データを服薬管理装置１０へと送信する。

これを受けて、服薬管理装置１０の制御部１１は、対象物判定部１１ａを制御して、受信した切出画像データと、データベース４０の蓄積データ及び予め読み取っておいた特定服薬情報等に基づいて、当該切出画像データに基く切出領域Ｆ２内に写っている薬剤の種類や服薬タイミング，用法，用量等の各種情報を取得する。その後、エビデンス記録部１４において、当該切出画像データと服薬情報とを関連付けた形態の画像データとして記録する。

同時に、取得した服薬情報は、情報端末装置２０へと送信される。これを受けて、情報端末装置２０の制御部２１は、表示制御部２１ｂを制御して表示部２５に対し、受信した服薬情報のうち切出画像データに対応する薬剤に関連する服薬情報を表示する。

情報端末装置２０は、患者１００が、これ（情報端末装置２０）を装着した状態で、服薬の準備から服薬を行った後までの一連の動作を動画像データとして記録する。

その場合の様子は図９に示すようになる。図９は、動画像データとして記録された一連の動作の流れのうちの要所の画像を取り出して示している。

即ち、図９の符号Ｆ１Ａは、服薬準備の際に、情報端末装置２０を装着した人物（患者１００）が特定の薬剤包装２００Ａを手に取った際の手元の様子が示されている（図８の符号Ｆ１に相当する）。

図９の符号Ｆ１Ｂは、服薬準備の際に、情報端末装置２０を装着した人物（患者１００）が特定の薬剤包装２００Ａから薬剤２００Ａａを１錠だけ取り出して、その薬剤２００Ａａを自身の手のひらに載せた状態（服薬前の状態）が示されている。

図９の符号Ｆ１Ｃは、符号Ｆ１Ｂの状態の後に、情報端末装置２０を装着した人物（患者１００）が服薬行為を行い、その後に、再度、手のひらを示した状態（服薬後の状態）が示されている。この状態は服薬後であるので、手のひらからは薬剤２００Ａａが無くなっている。

図９の符号Ｆ１Ｄは、符号Ｆ１Ｃの状態の後に情報端末装置２０を装着した人物（患者１００）が、再度、同じ薬剤包装２００Ａを手に取った際の手元の様子が示されている。この状態は、当該薬剤２００Ａａを一錠を服薬した後であるので、薬剤包装２００Ａからは１錠分の薬剤２００Ａａが無くなっている。

情報端末装置２０は、こうした一連の動作を動画像データとして記録する。そして、その動画像データは、通信部２２，１２を介して服薬管理装置１０へと送信される。これを受けて、服薬管理装置１０のエビデンス記録部１４は、受信した動画像データを、対応する服薬情報を関連付けた形態で記録する。これにより、正しい処方通りの薬剤提供文書に従った服薬が確実になされたことのエビデンス記録がなされる。

上述の説明においては、患者１００自身が情報端末装置２０（眼鏡型情報端末装置）を装着して、服薬に関わる一連の行為を行う場合の例示である。

これに対し、情報端末装置２０（眼鏡型情報端末装置）は、患者１００の服薬を支援する際に、患者１００の家族等の介護者等（以下、介護者等と略記する）が装着してもよい。

この場合においては、上述の図６，図７で説明した場合と同様の状況において、患者１００を介護者に置き換えて考えればよい。この場合に、患者１００も介護者の近くにいるものとする。

そして、情報端末装置２０は、介護者が、これ（情報端末装置２０）を装着した状態で、服薬の準備から服薬を行った後までの一連の動作を動画像データとして記録する。

その場合の様子は図１０に示すようになる。図１０は、介護者等が情報端末装置（眼鏡型情報端末装置）を装着した場合に取得される動画像データの概念図である。この図１０は、動画像データとして記録された一連の動作の流れのうちの要所の画像を取り出して示している。

即ち、図１０の符号Ｆ３Ａは、情報端末装置２０を装着した人物（介護者）が、患者１００に対して向き合った位置におり、患者１００に服薬準備によって得た薬剤２００Ａａを手渡した後の様子を示している。このとき患者１００は介護者から受け取り、自身の手のひらに載せた薬剤２００Ａａを介護者（情報端末装置２０の撮像部２４）に向けて見えるように示している。このとき、介護者は患者１００に相対する位置にて、患者１００に向き合っているものとする。したがって、情報端末装置２０の撮像部２４は、患者１００の手のひらを含む略全身像が撮像されている。

図１０の符号Ｆ３Ｂは、情報端末装置２０を装着した人物（介護者）に相対する位置にいる患者１００が、手のひらの薬を口元まで運び、服薬している様子が示されている。

図１０の符号Ｆ３Ｃは、患者１００が服薬行為を行った後の様子が示されている。

図１０の符号Ｆ３Ｄは、符号Ｆ３Ｃの状態の後に患者１００が、再度、手のひらを介護者（情報端末装置２０の撮像部２４）に向けて見えるように示している。このとき、介護者は患者１００に相対する位置にて、患者１００に向き合っているものとする。そして、患者１００は介護者に対して手のひらを向けている。したがって、情報端末装置２０の撮像部２４は、介護者の手のひらを含む略全身像が撮像されている、この状態は服薬後であるので、手のひらからは薬剤２００Ａａが無くなっている。

これによっても、情報端末装置２０は、こうした一連の動作を動画像データとして記録される。そして、その動画像データは、上述の場合と同様に、通信部２２，１２を介して服薬管理装置１０へと送信される。これを受けて、服薬管理装置１０のエビデンス記録部１４は、受信した動画像データを、対応する服薬情報を関連付けた形態で記録する。これにより、正しい服薬が確実になされたことのエビデンス記録がなされる。

なお、図１０において符号Ｆ２（二点鎖線）で示す枠は、手のひらの写っている画像領域を示している。この画像領域Ｆ２は、画像領域選択部２１ａ又は対象物判定部１１ａに寄って選択され判定される画像領域である。この画像領域Ｆ２の範囲の切出画像データが服薬管理装置１０へと送信されエビデンス情報として記録される。

このように、情報端末装置２０を介護者が装着した場合には、介護者が行う服薬の準備動作に関する一連の画像データを得られる。これに加えて、患者１００を見守る介護者の視点からの画像データを得られるので、患者１００が確実に服薬したことのエビデンス情報とすることができる。

ところで、ここまでの説明では、情報端末装置２０の形態として、眼鏡型情報端末装置を採用した場合の構成例を示したが、情報端末装置２０の形態は、この構成例に限られることはなく、別の形態の情報端末装置を採用することもできる。

次に説明する服薬管理システムの変形例は、情報端末装置の形態として、撮像機能を有し音声対話型で据え置き型のスマートスピーカを採用した場合の例示である。

図１１～図１４は、本実施形態の服薬管理システムの変形例における作用の概略を説明する図である。このうち、図１１は本実施形態の服薬管理システムにおいて、情報端末装置（スマートスピーカ）と服薬管理装置との連携の下に情報端末装置が服薬タイミング時に服薬タイミングである旨の告知アラームを発している様子を示す概念図である（図６に対応する図）。図１２は図１１の後、患者が情報端末装置（スマートスピーカ）の撮像範囲内で服薬の準備をしている様子を示す概念図である（図７に対応する図）。図１３は情報端末装置の撮像部によって取得される画像データに基く表示画像を概念的に示す図である。図１４は情報端末装置の撮像部によって取得される動画像データの概念図である。

本変形例においては、図６，図７を用いて上述説明した眼鏡型の情報端末装置２０に代えて、図１１，図１２に示すように，スマートスピーカ形態の情報端末装置２０Ａを用いて構成した点が異なる。

図１１においては、図６で説明したのと同様に、患者１００は、医師から処方され薬剤師により調剤された薬剤の薬剤包装２００と共に、服薬管理システム１に含まれる情報端末装置２０Ａ（スマートスピーカ）を、例えば自宅の自室等の机上等に保管しているものとしている。また、患者１００は、自宅の他の部屋等に、本実施形態の服薬管理システム１に含まれる服薬管理装置１０を備えているのは、上述の一実施形態と同様である。

このような環境下において、患者１００が服薬管理を行う際の作用は、上述の一実施形態と略同様である。この場合における作用の流れを以下に簡単に示す。

即ち、
（１）処方され調剤された薬剤の特定服薬情報を、予め服薬管理装置１０に入力しておく。

（２）服薬管理装置１０は、特定服薬情報に基く服薬タイミング（服薬時刻）が到来すると、その旨の告知情報を、通信部１２を介して情報端末装置２０Ａに送信する。

（３）情報端末装置２０Ａは、所定の服薬タイミングが到来した旨の告知情報を告知する。ここで、図１１は告知アラームが発生している様子を示す（図１１の符号Ｓ）。

（４）患者１００が告知アラームにより服薬タイミングが到来したことを認識する。ここで、図１１は患者１００が告知アラームＳを認知したようすを示す（図１１の符号Ｋ）。

（５）服薬タイミングを認知した患者１００は、情報端末装置２０Ａを装着し、服薬の準備を行う。ここで、図１２は、患者１００が薬剤包装２００から二錠の薬剤２００ａを取り出して手のひらに載せた様子を示す。また、このとき、情報端末装置２０Ａの撮像部２４による撮像範囲Ｆ１（当該撮像部２４によって取得される画像データの画像）を図１３に示す。この図１３で示す状態は、患者１００が薬剤２００ａを載せた手のひらを、撮像部２４の撮像範囲Ｆ１内に入るようにかざしている状態である。

この図１３の状態で、情報端末装置２０Ａの撮像部２４は、撮像範囲Ｆ１に略合致する領域を撮像し画像データを連続的に取得する（例えば動画像データ）。こうして取得された画像データに基づいて、制御部２１の画像領域選択部２１ａの手のひら又は薬包装シート判定部２１ｃは、撮像された画像全体（撮像範囲Ｆ１と同等範囲）から所定の領域、即ち手のひらの写っている画像領域（図１３の符号Ｆ２で示す領域）を判定し、当該判定画像領域Ｆ２を切り出して、これに対応する切出画像データを生成する。そして、当該切出画像データを服薬管理装置１０へと送信する。

（６）服薬管理装置１０は、上記切出画像データを受信し、当該切出画像データと、データベース４０の蓄積データ及び予め読み取っておいた特定服薬情報等に基づいて、当該切出画像データに基く切出領域Ｆ２内に写っている薬剤の種類や服薬タイミング，用法，用量等の各種情報を取得する。その後、エビデンス記録部１４において、当該切出画像データと服薬情報とを関連付けた形態の画像データとして記録する。なお、ここで読み取る、とあるのは、情報を取得するという意味であって、光学的に読み取るもの（画像情報など）であってもよい。

（７）これと同時に、取得した服薬情報を、情報端末装置２０Ａへと送信する。

（８）情報端末装置２０Ａは、受信した服薬情報のうち切出画像データに対応する薬剤に関連する服薬情報を、表示部２５に表示する。なお、当該情報端末装置２０Ａにおいては表示部２５として、所定の情報を視覚的に表示する表示パネル等からなる表示装置とした構成例を例示しているが、この形態に限ることはない。例えば、所定の情報を音声等によって表示するスピーカ等の音声出力装置を適用した構成とすることもできる。

情報端末装置２０Ａは、患者１００が、情報端末装置２０Ａを載置した机上で行う服薬準備動作から服薬を行う様子と、服薬後までの一連の動作を動画像データとして記録する。その場合の様子は図１４に示すようになる。図１４は、動画像データとして記録された一連の動作の流れのうちの要所の画像を取り出して示している。

即ち、図１４の符号Ｆ１Ａは、服薬準備の際に、情報端末装置２０Ａに対面している人物（患者１００）が服薬しようとする薬剤２００ａを手のひらに載せた様子が示されている（図１３の符号Ｆ１に相当する）。

図１４の符号Ｆ１Ｂは、符号Ｆ１Ａの状態の後、情報端末装置２０Ａに対面している人物（患者１００）が薬剤２００ａを載せた手のひらを撮像部２４の近傍にかざしている状態（服薬前の状態）が示されている。このとき、服薬前であるので、手のひらには薬剤２００ａが載っている。

図１４の符号Ｆ１Ｃは、符号Ｆ１Ｂの状態の後に、情報端末装置２０Ａに対面している人物（患者１００）が服薬行為を行った後に、手のひらを、再度、撮像部２４の近傍にかざしている状態（服薬後の状態）を示す。この状態は服薬後であるので、手のひらからは薬剤２００ａが無くなっている。

図１４の符号Ｆ１Ｄは、符号Ｆ１Ｃの状態の後に、情報端末装置２０Ａに対面している人物（患者１００）が、手のひらを自分の手元に戻した状態を示す。

情報端末装置２０Ａは、こうした一連の動作を動画像データとして記録する。そして、その動画像データは、通信部２２，１２を介して服薬管理装置１０へと送信される。これを受けて、服薬管理装置１０のエビデンス記録部１４は、受信した動画像データを、対応する服薬情報を関連付けた形態で記録する。これにより、正しい処方通りの薬剤提供文書に従った服薬が確実になされたことのエビデンス記録がなされる。

なお、図１４に示す例では、情報端末装置２０Ａの撮像部２４による撮像範囲Ｆ１（Ａ～Ｄ）は、当該情報端末装置２０Ａに対面している人物（患者１００）の手元となる例を示している。しかし、撮像部２４の撮像範囲Ｆ１は、このような例示に限られることは内。例えば、撮像部２４による撮像範囲Ｆ１は、当該情報端末装置２０Ａに対面している人物（患者１００）全体が収まるような広範囲として設定することもできる。その場合には、例えば、上述の一実施形態において図１０で説明したような形態の同画像データを取得することができるようになる。

なお、上述の一例では、服薬管理システムにおいて、服薬管理装置と情報端末装置とを連携させて構成する場合の構成例を示し、かつ情報端末装置としてスマートスピーカを採用した場合を例示している。

この構成例とは別に、例えば、服薬管理システムにおいて、服薬管理装置と情報端末装置とをスマートスピーカが兼ねる構成例も考えられる。その場合の構成図は特に示さないが、その作用については後述する（図１９，図２０参照）。

次に、上述した本発明の一実施形態の服薬管理システムの作用の流れを、図１５～図２０のフローチャートによって以下に説明する。図１５，図１６は本実施形態の服薬管理システムにおける服薬管理装置１０の作用の流れを示すフローチャートである。図１７は本実施形態の服薬管理システムにおける情報端末装置（眼鏡型の場合）の作用の流れを示すフローチャートである。また、図１８は本実施形態の服薬管理システムにおける画像判定切出処理を示すフローチャートである。

まず、本実施形態の服薬管理システムにおける服薬管理装置１０の作用の流れを、図１５，図１６のフローチャートによって説明する。

まず、本実施形態の服薬管理システム１を運用するのに際しては、服薬管理装置１０には、医師から処方され薬剤師より調剤された薬剤の特定服薬情報（図５参照）が、当該使用者（ユーザ；患者又は介護者；以下、単に使用者という）によって予め入力され記憶されている状態にあるものとする。そして、当該服薬管理システム１を構成する各機器、即ち服薬管理装置１０及び情報端末装置２０が、使用可能な状態の待機状態とされているものとする。

このような状態において、服薬管理装置１０の制御部１１は、図１５のステップＳ１０１において、服薬タイミングが到来したか否かの確認を行う。この服薬タイミングは、タイミング判定部１１ｄにより時計部１５の時計と、予め記憶されている特定服薬情報とを参照して判定する。ここで、服薬タイミングが到来していることが確認された場合には、次のステップＳ１０２の処理に進む。また、服薬タイミングが到来していない場合は、図１６のステップＳ１２１の処理に進む（図１５，図１６の丸符号１６）。

なお、ここで、服薬タイミングが到来していない場合に行われるステップＳ１２１以降の処理ステップ（詳細後述）は、次のような処理である。例えば、情報端末装置２０による告知アラームが発生される以前に、使用者が服薬タイミングに近い時刻であることを認識して自発的に服薬を行うような場合の処理や、使用者が服薬タイミング時刻以外の時間に服薬に関する補足的な情報を要求した場合等に対応する処理等である。

次に、ステップＳ１０２において、服薬管理装置１０の制御部１１は、アラーム要求処理，撮像要求処理，結果受信処理等を実行する。

ここで、アラーム要求処理は、服薬タイミングが到来している旨の告知情報を通信部１２を介して情報端末装置２０へ向けて送信する処理である。

撮像要求処理は、情報端末装置２０の撮像部２４による撮像動作を開始する旨の要求信号を通信部１２を介して情報端末装置２０へ向けて送信する処理である。

結果受信処理は、情報端末装置２０の撮像部２４によって取得された画像データ（切り出し画像データや動画像データ等；詳細後述）等の撮像結果を、通信部１２を介して情報端末装置２０から受信する処理である。

続いて、ステップＳ１０３において、服薬管理装置１０の制御部１１は、上述のステップＳ１０２の処理にて受信した画像データに基づいて、所定の画像判定処理を行って、当該画像データに薬剤が写っているか否かの判定を行う。そして、その判定の結果、所望の画像データ（薬剤の写っている画像）が得られたか否かの確認を行う。ここで、所望の画像が得られたことが確認された（ＯＫである）場合には、次のステップＳ１１１の処理に進む。また、所望の画像が得られていない（ＮＧである）場合には、ステップＳ１０４の処理に進む。

ステップＳ１０４において、服薬管理装置１０の制御部１１は、既に服薬を済ませている旨の服薬済み情報があるか否かの確認を行う。ここで、服薬済み情報とは、後述するステップＳ１３３の処理にて付加されるエビデンス情報に含まれる情報である。したがって、このステップＳ１０４の処理にて制御部１１は、エビデンス記録部１４に記録済みの情報を参照して、現在の服薬タイミングに対応する服薬済み情報が存在するか否かの確認を行う。

このステップＳ１０４にて、服薬済み情報が確認された場合には、ステップＳ１１１の処理に進む。また、服薬済み情報が確認されない場合には、ステップＳ１０５の処理に進む。

ステップＳ１０５において、服薬管理装置１０の制御部１１は、所定の警告情報若しくはガイド情報等を作成し、通信部１２を介して情報端末装置２０へと送信する。ここで、作成される警告情報は、例えば、撮像結果が良好ではなかった（薬剤が写っていなかった）等の警告を発する情報等である。また、ここで作成されるガイド情報としては、例えば、薬剤判定のための再度の撮像動作を行うように促す案内情報等である。その後、ステップＳ１０２の処理に戻る。

次に、ステップＳ１１１において、服薬管理装置１０の制御部１１は、服薬判定処理を行う。この服薬判定処理は、情報端末装置２０によって取得された画像データ（例えば一連の動画像データ等）に基づいて、制御部１１の制御部１１の文字判定部１１ａａや色判定部１１ａｂによる対象物の判定処理である。さらに、この対象物判定処理の結果が、予め記憶されている特定服薬情報に記載された薬剤に合致しているか否かの確認、即ち、服用しようとしている又は服用した薬剤の種類，回数，量等についての判定を行って、正しく服薬情報通りであるか否か、また正しく服薬行為が行われたか否か（服薬ＯＫか否か）の判定確認処理である。つまり、ここで行われる服薬判定処理は、これから服用しようとしている又は既に服用した薬剤が、特定服薬情報に記載の薬剤と同じものであるか否かの確認である。

この場合において、服薬の判定は、人間が文字を文字として判断し、色を色として判断し、大きさや形などを無意識に確認しながら、個別の要素として判定しているところを、画像として総合的に判断する方法が有用である。このような判断方式であれば、個々の薬剤のみならず、複数の薬剤を一括して、その内容や量を判定することが出来る。

医薬品の画像認識に関しては、法規制に則るものとして、包装シートに印刷されたＧＳ１バーコード（ＧＳ１データバー）などがある。ここで問題となるのが、一粒毎にバーコードが印刷されているものとＰＴＰシート単位で一箇所に印刷されているものが有るということである。後者（シート単位）の場合では、取り出す錠剤の所にはバーコード印刷がされていない場合がある。この場合、例えば、機械学習による推論エンジンでは識別しにくい大きさや色、形の情報であっても、画像によって判定することが可能となる。

また、他の解決策としては、薬をもらってきたときに、最初にシート全体の映像とバーコード読取の紐付けを行っておくことで、シートの映像から薬剤を判定させるなどが考えられる。また、包装シートのＧＳ１データバーを読むことで医薬品の認識を行い、そこから連続した動画のワンシーンとして何粒取り出したのかの判定を行うという方法もある。

ここで、正しい服薬行為が確認された場合には、次のステップＳ１１２の処理に進む。また、正しい服薬行為が確認されなかった場合には、ステップＳ１１４の処理に進む。

なお、上述のステップＳ１０４の処理にて服薬済み情報が確認されて上述のステップＳ１１１の処理に移行した場合は、制御部１１は、後述するステップＳ１３３の処理にて付加されるエビデンス情報を参照して、服薬判定処理を行う。

ステップＳ１１２において、服薬管理装置１０の制御部１１は、ＯＫガイド処理を実行する。このＯＫガイド処理とは、今回の服薬タイミングにおける服薬行為が正しく行われた旨のガイド情報を作成し、作成したガイド情報を通信部１２を介して情報端末装置２０へと送信する処理である。その後、ステップＳ１１３の処理に進む。

続いて、ステップＳ１１３において、服薬管理装置１０の制御部１１は、エビデンス情報化処理を実行する。このエビデンス情報化処理は、取得した各画像データに、服薬情報を関連付けた形態のエビデンス画像データとして記録する処理である。その後、ステップＳ１０１の処理に戻る。

一方、上述のステップＳ１１１の処理にて、服薬判定処理の結果、正しい服薬行為が確認されずに、ステップＳ１１４の処理に進むと、このステップＳ１１４において、服薬管理装置１０の制御部１１は、所定の警告情報若しくはガイド情報等を作成し、通信部１２を介して情報端末装置２０へと送信する。ここで、作成される警告情報は、例えば、現在の服薬タイミングで服用しようとしている薬剤が間違っている旨を警告する情報や、飲み過ぎた（服薬量が多かった）ような場合に、その旨の警告を告知する情報等である。また、ここで作成されるガイド情報としては、例えば、現在の服薬タイミングで服用しなければならない正しい薬剤の種類や量等を案内する情報等である。

続いて、ステップＳ１１５において、服薬管理装置１０の制御部１１は、情報取得処理を実行する。ここで情報取得処理とは、例えば使用者からの入力情報、具体的には例えば、服薬しなかった理由等の情報を取得する処理である。

さらに詳しく言えば、この情報取得処理は、まず、使用者に対して入力情報を促すための情報を情報端末装置２０へと送信する。これを受けた情報端末装置２０は、表示部２５又は音声出力部２８等を用いて、使用者に対して入力情報を促す情報を表示する。これを見て、使用者は所定の情報を入力する。この場合に情報端末装置２０において入力される情報は、例えば使用者の音声による情報等である。この音声情報等は、音声入力部２７（具体的にはマイクロフォン等）を用いて音声データ等の形態で取得される。こうして取得された入力情報データは、服薬管理装置１０へと送信される。これにより服薬管理装置１０は、当該情報を取得する。その後、ステップＳ１１３の処理に進む。

上述のステップＳ１０１の処理にて服薬タイミングが到来したことが確認されない場合に、図１６のステップＳ１２１に進むと、このステップＳ１２１において、服薬管理装置１０の制御部１１は、情報端末装置２０に対する所定の操作が行われたか否かの確認を行う。この確認は、服薬管理装置１０と情報端末装置２０とが相互通信を行ってなされる。なお、ここで確認される所定の操作とは、例えば情報端末装置２０を装着する際に、服薬行為を開始する旨のトリガーとなる所定の操作などである。

ここで、情報端末装置２０に対する所定の操作が行われたことが確認された場合には、次のステップＳ１２２の処理に進む。また、情報端末装置２０に対する操作が確認されない場合には、ステップＳ１４１の処理に進む。

ステップＳ１２２において、服薬管理装置１０の制御部１１は、撮像要求処理，結果受信処理等を実行する。これらの処理は、上述のステップＳ１０２の処理にて行われる各処理と同様である。

続いてステップＳ１２３において、服薬管理装置１０の制御部１１は、上述のステップＳ１２２の処理にて受信した画像データに基づいて、所定の画像判定処理を行って当該画像データに薬剤が写っているか否かの判定を行う。そして、その判定の結果、所望の画像データ（薬剤の写っている画像）が得られたか否かの確認を行う。これらの処理は、上述のステップＳ１０３の処理にて行われる各処理と同様である。

ここで、所望の画像が得られたことが確認された（ＯＫである）場合には、次のステップＳ１３１の処理に進む。また、所望の画像が得られていない（ＮＧである）場合には、ステップＳ１２４の処理に進む。

ステップＳ１２４において、服薬管理装置１０の制御部１１は、補足情報要求処理を実行する。この補足情報要求処理は、例えば、使用者からの入力情報等を要求する処理である。つまり、当該ステップＳ１２４の処理にて、服薬管理装置１０は情報端末装置２０に対して補足情報要求処理を行うと、この補足情報要求処理に応じて、情報端末装置２０は、表示部２５又は音声出力部２８等を用いて使用者に対し、何らかの情報入力を促す表示を行う。これを見た使用者は情報端末装置２０に対して所定の情報を入力する。こうして入力された情報はデータ化された後に、服薬管理装置１０へと送信される。これらの処理は、上述のステップＳ１１５の処理と略同様の処理である。

続いて、ステップＳ１２５において、服薬管理装置１０の制御部１１は、上述のステップＳ１２４の処理にて送信されてきた情報データ（取得情報）に応じて、所定の警告情報若しくはガイド情報等を作成し、通信部１２を介して情報端末装置２０へと送信する。その後、ステップＳ１２２の処理に戻る。

ステップＳ１３１において、服薬管理装置１０の制御部１１は、上述のステップＳ１１１の処理と同様に服薬判定処理を行うと共に、当該服薬判定（対象物判定処理）の結果についての確認を行う。なお、ここでは、服用しようとしている又は服用した薬剤の種類，回数，量等についての各確認のほかに、服薬タイミングについての確認も行う。

ここで、正しい服薬行為が確認された場合には、次のステップＳ１３２の処理に進む。また、正しい服薬行為が確認されなかった場合には、ステップＳ１３４の処理に進む。

ステップＳ１３２において、服薬管理装置１０の制御部１１は、ＯＫガイド処理を実行する。このＯＫガイド処理は、上述のステップＳ１１２の処理と同様の処理である。その後、ステップＳ１３３の処理に進む。

続いて、ステップＳ１３３において、服薬管理装置１０の制御部１１は、エビデンス情報化処理を実行する。このエビデンス情報化処理は、上述のステップＳ１１３の処理と同様である。その後、ステップＳ１０１の処理に戻る。

一方、ステップＳ１３４において、服薬管理装置１０の制御部１１は、所定の警告情報若しくはガイド情報等を作成し、通信部１２を介して情報端末装置２０へと送信する。この警告ガイド処理は、上述のステップＳ１１４の処理と同様である。

ステップＳ１３５において、服薬管理装置１０の制御部１１は、情報取得処理を実行する。この情報取得処理は、上述のステップＳ１１５の処理と略同様である。その後、ステップＳ１３３の処理に進む。

上述のステップＳ１２１の処理にて、情報端末装置２０に対する操作が確認されなかったことにより、ステップＳ１４１の処理に進んだ場合、このステップＳ１４１において、服薬管理装置１０の制御部１１は、確認ページに記載処理，期待効果情報作成処理，医師への連絡処理等、その他各種の様々な処理を行う処理ステップとしてまとめて記載している。これらの処理は、本実施形態とは直接関連しない部分であるので、簡単な記述にとどめる。

上記確認ページに記載処理は、例えば、記録済みのエビデンス情報を対応する患者の電子カルテに関連付けて記載する処理等である。

上記期待効果情報作成処理は、例えば、使用者に対する期待効果情報等を作成して、情報端末装置２０へ送信する処理等である。これを受けた情報端末装置２０は、対応する情報を表示部２５や音声出力部２８等を用いて表示する。ここで、期待効果情報とは、例えば、服薬による効果や効能を説明する情報や、服薬した薬を使用して治癒したユーザーの声等の情報等である。このような期待効果情報を、服薬の度に表示するようにした場合、これを見た使用者（患者）は、服薬の動機付けや目的意識を向上させることができるといった効果を期待できる。

上記医師への連絡処理は、使用者（患者）から受けた質問等（情報取得ステップや補足情報要求ステップに対する取得情報等によって得られた情報に含まれる）について、かかりつけ医師若しくは掛かり付け病院の主治医又は病院担当者若しくは介護者等の専門家への電子メール等を発信したり、医師からの回答の電子メールを受信したりする処理等である。このようにして、本服薬管理システム１は、患者が在宅していながら、常時、医師と患者とを結びつけて、手厚い看護を実現し得るようにしている。

次に、本実施形態の服薬管理システムにおける情報端末装置（眼鏡型の場合）の作用の流れを、図１７のフローチャートによって説明する。

ステップＳ２０１において、情報端末装置２０の制御部２１は、服薬管理装置１０からの要求（図１５のステップＳ１０２の処理参照）又は使用者による当該情報端末装置２０への操作（図１６のステップＳ１２１の処理参照）がなされたか否かの確認を行う。ここで、上記要求又は上記操作が確認された場合には、次のステップＳ２０２の処理に進む。また、上記要求又は上記操作が確認されない場合は、確認されるまで待機する。即ち、ステップＳ２０１の処理を繰り返す。

次に、ステップＳ２０２において、情報端末装置２０の制御部２１は、撮像処理や音声情報取得処理等を実行する。ここで、撮像処理は、撮像部２４を駆動して行う通常の撮像処理である。音声情報取得処理は、音声入力部２７を駆動して行う通常の集音処理である。

続いて、ステップＳ２０３において、情報端末装置２０の制御部２１は、撮像処理により取得された画像データに基づいて、薬剤が写っているか否かの画像判定処理（切り出し処理を含む）や、使用者からの音声入力情報の判定処理等を行う。ここで行われる画像判定処理においては、薬剤包装や薬剤についての文字判定まで行うようにしてもよい。

続いて、ステップＳ２０４において、情報端末装置２０の制御部２１は、取得された画像データや切り出し画像データ等に基づいて、写っている薬剤の形状や色の判定処理（薬剤判定処理）を行う。

次に、ステップＳ２０５において、情報端末装置２０の制御部２１は、取得された画像データや切り出し画像データに基づいて服薬判定処理を行う。この服薬判定処理は、実際に服薬行為が行われたか否かの判定処理である。

ステップＳ２０６において、情報端末装置２０の制御部２１は、判定結果セットが完了したか否かの確認を行う。ここで、判定結果セットとは、今回の服薬タイミングにおいて服薬すべき１セット分の服薬をいう。例えば、一度の服薬タイミングにおいて、複数種類の薬剤の服用が義務づけされている場合がある。この場合に、全ての種類の薬剤についての各判定（薬剤判定及び服薬判定）を完了して、初めて今回の服用タイミングでの服薬が完了したことになる。つまり、今回の服薬タイミングで服用すべき複数種類の薬剤のうちの一種でも服薬判定がされていなければ、１セットの服薬が完了したとは言えない。したがって、判定結果セットの完了を待って、次の処理ステップに進み得る。

このステップＳ２０６の処理にて、判定結果セットが完了したことを確認した場合には、次のステップＳ２０７の処理に進む。また、判定結果セットが完了していない場合には、上述のステップＳ２０２の処理に戻る。

次に、ステップＳ２０７において、情報端末装置２０の制御部２１は、服薬結果送信処理を実行する。この服薬結果送信処理は、今回の服薬タイミングにおける一連の判定結果を一つのセット（一単位）として服薬管理装置１０へと送信する処理である。これを受けて服薬管理装置１０では、所定の服薬判定処理（図１５のステップＳ１１１の処理又は図１６のステップＳ１３１の処理参照）を行う。

ステップＳ２０８において、情報端末装置２０の制御部２１は、服薬管理装置１０からＯＫガイド情報又はＮＧガイド情報の取得を確認する（図１５のステップＳ１１２，Ｓ１１４，Ｓ１１５の各処理又は図１６のステップＳ１３２，Ｓ１３４，Ｓ１３５の各処理参照）。ここで、ＯＫ又はＮＧガイド情報を確認したら、次のステップＳ２０９の処理に進む。また、確認できなければステップＳ２１１の処理に進む。

ステップＳ２０９において、情報端末装置２０の制御部２１は、上述のステップＳ２０８の処理にて取得したＯＫガイド情報又はＮＧガイド情報を表示する。その後、ステップＳ２１３の処理に進む。

また、ステップＳ２１１において、情報端末装置２０の制御部２１は、使用者（患者）からの入力情報の有無を確認する。この使用者（患者）からの入力情報は、例えば使用者（患者）が音声により入力する情報（具体的には例えば、患者からの質問事項等の情報）である。ここで、入力情報が確認された場合には、次のステップＳ２１２の処理に進む。また、入力情報が確認されない場合には、ステップＳ２１３の処理に進む。

ステップＳ２１２において、情報端末装置２０の制御部２１は、上述の入力情報を服薬管理装置１０へと送信して、必要となる情報の送信を依頼する。これを受けて、服薬管理装置１０は、上記入力譲歩に対応する必要情報を作成し、これを情報端末装置２０へと送信する。したがって、情報端末装置２０は、この必要情報を受信して、その受信結果を表示する。その後、ステップＳ２１３の処理に進む。

ステップＳ２１３において、情報端末装置２０の制御部２１は、電源のオフ操作が成されたか又は所定時間が経過しかた否かの確認を行う。ここで、電源のオフ操作は、使用者が装着していた情報端末装置２０を取り外して机上等に載置し保管する動作に伴って、当該情報端末装置２０を待機状態とするためのオフ操作である。ここで、電源のオフ操作は、当該情報端末装置２０の電源状態を完全にオフ状態とすることではなく、例えば稼働中の撮像動作をオフ状態とする操作である。情報端末装置２０を待機状態とするのは、次の服薬タイミングの告知アラーム情報を受信する等のための措置である。

また、ここで待機する所定時間とは、例えばＯＫ情報又はＮＧ情報の表示開始からの所定の時間等である。いつまでも、当該表示を継続させておくのは、電力の無駄であるため、表示開始から所定の時間が経過したら、当該情報端末装置２０を自動的に待機状態に移行させるための処理を行っている。なお、所定時間の計時は、時計部２９によって行われている。このようにして、情報端末装置２０は、再度、待機状態となる。

次に、本実施形態の服薬管理システムにおける画像判定切出処理を、図１８のフローチャートによって説明する。

本実施形態の服薬管理システム１において行われる画像判定切出処理は、上述したように、服薬管理装置１０の制御部１１において行うように構成することもできるし、情報端末装置２０の制御部２１において行うように構成することもできる。また、服薬管理装置１０の制御部１１と情報端末装置２０の制御部２１とを連携させて行うように構成することもできる。以下に説明する画像判定切出処理は、どの処理回路で行われるのかを特に明示していないが、服薬管理装置１０の制御部１１又は情報端末装置２０の制御部２１のいずれかにおいて行われるものとして説明する。

ステップＳ３０１において、制御部（１１又は２１）は、手のひら又は薬包装シート判定部（１１ａｃ又は２１ｃ）を制御して、情報端末装置２０の撮像部２４によって取得された服薬前の画像データに基づいて所望の対象物（即ち使用者の手のひら又は薬包装シート）が写っているか否かを判定する。ここで、所望の対象物が判定された場合には、ステップＳ３０２の処理に進む。また、所望の対象物が判定されない場合には、ステップＳ３０３の処理に進む。

ステップＳ３０３において、制御部（１１又は２１）は、対象物検出中である旨の表示や、「対象物（手のひら等）が検出できないので検出可能なように撮像部の前に対象物（手のひら等）をかざしてください」等の警告表示を行う。ここで行う表示とは、情報端末装置の表示部２５又は音声出力部２８を用いて行う視覚的表示又は音声表示である。その後、ステップＳ３０１の処理に戻る。

ステップＳ３０２において、制御部（１１又は２１）は、情報端末装置２０の撮像部２４によって取得された画像データのうちから所望の対象物（手のひら等）が写っている領域を含む所定の範囲の画像領域を切り出す切出処理を行って切出画像データを取得する。この切出画像データは、例えば、これから服薬しようとしている薬剤包装を手に持っている状態又は手のひらに薬剤を載せた状態を示す画像等である（図８，図１３の領域Ｆ２参照）。

続いて、ステップＳ３０４において、制御部（１１又は２１）は、上述のステップＳ３０２の処理にて取得した切出画像データに基づいて、服薬前の薬剤の検出を行う。その後、ステップＳ３１１の処理に進む。

ここで、使用者は服薬を行う。つまり、現在手のひらに載っている薬剤包装シートから薬剤を取り出して、その薬剤を服薬する。又は、既に手のひらに載っている薬剤の服薬を行う。

そして、次のステップＳ３１１において、制御部（１１又は２１）は、再度、手のひら又は薬包装シート判定処理を行う。この判定処理は、上述のステップＳ３０１の処理と同様の処理である。ただし、この時点では、服薬後の手のひら等を撮像した画像データを対象としていることになる。

ここで、所望の対象物（手のひら等）が判定された場合には、ステップＳ３１２の処理に進む。また、所望の対象物（手のひら等）が判定されない場合には、ステップＳ３１３の処理に進む。

ステップＳ３１３において、制御部（１１又は２１）は、検出中表示や所定の警告表示を行う。この処理は、上述のステップＳ３０３の処理と同様の処理である。その後、ステップＳ３１１の処理に戻る。

ステップＳ３１２において、制御部（１１又は２１）は、再度取得された画像データのうちから所望の対象物（手のひら等）が写っている領域を含む所定の範囲の画像領域を切り出す切出処理を行って切出画像データを取得する。この切出画像データは、例えば、服薬後の手のひら等を示す画像等である（図９の画像Ｆ１Ｃ，図１０の画像Ｆ３Ｄの領域Ｆ２，図１４の画像Ｆ１Ｃの領域Ｆ２参照）。この処理は、上述のステップＳ３０２の処理と同様の処理である。

ステップＳ３１４において、制御部（１１又は２１）は、上述のステップＳ３１２の処理にて取得した切出画像データに基づいて、服薬後の薬剤の検出を行う。その後、ステップＳ３２１の処理に進む。

次に、ステップＳ３２１において、制御部（１１又は２１）は、上述のステップＳ３０２で取得した服薬前の切出画像データと、上述のステップＳ３１２で取得した服薬後の切出画像データに基づいて検出処理を行って、服薬後の切出画像データにおいて、特定の薬のみが検出されないことを確認する。ここで、特定の薬が検出されない場合には、ステップＳ３２２の処理に進む。また、特定の薬が検出された場合には、ステップＳ３２３の処理に進む。

これは、服薬をしたかどうかを判定する方法として簡単であるが、どこかに薬を落としたなどという可能性も考えられる。しかしながら、そこまでの状況を詳細に分析するには、より広い画角、または、そのほかの撮像手段（装置）を用いて他のアングル（方向）からの画像をさらに取得して、薬剤を口に入れて、こぼさないで、飲み込まれるまでの様子を検出して判定するようにしてもよい。

こうした判定は本発明の服薬支援及び服薬管理を行う服薬管理システム１においては、対象物判定部１１ａで行ってもよい。つまり、対象物判定部１１ａは、撮像部によって取得された画像データのうち所定の画像領域を選択する画像選択部２１ａと連携し、上記所定の領域の画像の時間変化に基いて画像領域に含まれる対象物を判定する機能を有する。このように画像データから得られた情報が、薬剤服用前後の画像変化であることで、服用したかどうかの信頼性を向上させている。

ステップＳ３２２において、制御部（１１又は２１）は、ＯＫ判定を表示する。このＯＫ判定表示処理は、今回の服薬行為が正しく行われたことを表示する処理である。その後、元の処理（メインシーケンス；不図示）に戻る（リターン）。

一方、ステップＳ３２３において、制御部（１１又は２１）は、ＮＧ判定を表示する。このＮＧ判定表示処理は、今回の服薬行為が正しく行われなかったことを表示する処理である。その後、元の処理（メインシーケンス；不図示）に戻る（リターン）。

［別の変形例］
ところで、上述したように、本実施形態の服薬管理システムにおいては、服薬管理装置と情報端末装置とをスマートスピーカによって兼用させて構成することもできる。そのような場合（服薬管理装置と情報端末装置とをスマートスピーカによって兼用するように構成した場合）の作用の流れを、図１９，図２０のフローチャートによって説明する。

図１９，図２０は本実施形態の服薬管理システムにおいて、服薬管理装置と情報端末装置とをスマートスピーカによって兼用させて構成した場合の作用の流れを示すフローチャートである。

このような構成とした場合における作用は、服薬管理装置と情報端末装置とを別体で構成した場合と、基本的には略同様であり、一部の処理ステップのみが異なるものとなる。したがって、上述の構成例で既に説明済みの処理ステップと同じ処理ステップについては、同じステップ番号を付して、その説明は省略し、異なる処理ステップのみについて、以下に詳述する。

図１９のステップＳ１０１において、スマートスピーカの制御部は、服薬タイミングが到来したか否かの確認を行う。この服薬タイミング確認処理は、図１５のステップＳ１０１の処理と略同様である。ここで、服薬タイミングが確認された場合には、次のステップＳ１０２Ａの処理に進む。また、服薬タイミングが到来していない場合は、図２０のステップＳ１２１の処理に進む（図１９，図２０の丸符号２０）。

次に、ステップＳ１０２Ａにおいて、スマートスピーカの制御部は、アラーム処理，撮像処理等を実行する。ここで、アラーム処理は、服薬タイミングが到来している旨の告知アラームを発生させる処理である。撮像処理は、撮像部を駆動して撮像動作を開始する処理である。

次のステップＳ１０３～Ｓ１０５の処理、ステップＳ１１１，Ｓ１１２，Ｓ１１４，Ｓ１１５の各処理は、上述の一実施形態と同様である（図１５参照）。

即ち、ステップＳ１０３において、スマートスピーカの制御部は、取得した画像データに基づく画像判定処理及びその判定結果確認処理を行う。ここで、ＯＫの場合はステップＳ１１１の処理に進む。また、ＮＧの場合はステップＳ１０４の処理に進む。

ステップＳ１０４において、スマートスピーカの制御部は、服薬済み情報の有無を確認する。服薬済み情報が確認された場合はステップＳ１１１の処理に進む。また、服薬済み情報が確認されない場合はステップＳ１０５の処理に進む。

ステップＳ１０５において、スマートスピーカの制御部は、警告情報若しくはガイド情報等を表示する。その後、ステップＳ１０２の処理に戻る。

次に、ステップＳ１１１において、スマートスピーカの制御部は服薬判定処理を行う。ここで正しい服薬行為が確認された場合はステップＳ１１２の処理に進む。また、正しい服薬行為が確認されなかった場合はステップＳ１１４の処理に進む。

ステップＳ１１２において、スマートスピーカの制御部はＯＫガイド処理を実行する。その後、ステップＳ１１３Ａの処理に進む。

続いて、ステップＳ１１３Ａにおいて、スマートスピーカの制御部は、取得した画像データに服薬情報を関連付けた形態のエビデンス情報を、外部装置へと送信する処理を実行する。その後、ステップＳ１０１の処理に戻る。

なお、上述の一実施形態においては、服薬管理装置１０がエビデンス記録部１４を有する構成としたが、本構成例の場合は、スマートスピーカとは別のストレージ装置を設け、そのストレージ装置においてエビデンス情報を記録するように構成している。

これ以外の構成として、スマートスピーカにエビデンス情報を記録するためのエビデンス記録部としてのストレージ装置を設ける構成としてもよい。

一方、上述のステップＳ１１１の処理にて、服薬判定処理の結果、正しい服薬行為が確認されずに、ステップＳ１１４の処理に進むと、このステップＳ１１４において、スマートスピーカの制御部は、所定の警告情報若しくはガイド情報を表示する。

続いて、ステップＳ１１５において、スマートスピーカの制御部は、情報取得処理を実行する。その後、ステップＳ１１３Ａの処理に進む。

上述のステップＳ１０１の処理にて服薬タイミングが確認されない場合に、図２０のステップＳ１２１に進むと、このステップＳ１２１において、スマートスピーカの制御部は、所定の操作が行われたか否かの確認を行う。ここで、所定の操作が確認された場合はステップＳ１２２Ａの処理に進む。また、所定の操作が確認されない場合はステップＳ１４１の処理に進む。

ステップＳ１２２Ａにおいて、スマートスピーカの制御部は、撮像処理等を実行する。

続いてステップＳ１２３において、スマートスピーカの制御部は、上述のステップＳ１２２Ａの処理にて取得した画像データに基づく画像判定処理を行い、所望の画像データ（薬剤の写っている画像）が得られたか否かの確認を行う。ここで、所望の画像が得られた場合はステップＳ１３１の処理に進む。また、所望の画像が得られない場合はステップＳ１２４の処理に進む。

ステップＳ１２４において、スマートスピーカの制御部は補足情報処理を実行する。この補足情報処理は、例えば、使用者に対し情報の入力を促す旨の表示を行う処理である。

続いて、ステップＳ１２５において、スマートスピーカの制御部は、上述のステップＳ１２４にて取得した情報データ（取得情報）に応じて、所定の警告情報若しくはガイド情報等を表示する。その後、ステップＳ１２２Ａの処理に戻る。

ステップＳ１３１において、スマートスピーカの制御部は、服薬判定処理を行うと共に、当該服薬判定結果（服用しようとしている又は服用した薬剤の種類，回数，量，服薬タイミング等）についての確認を行う。

ここで、正しい服薬行為が確認された場合はステップＳ１３２の処理に進む。また、正しい服薬行為が確認されない場合はステップＳ１３４の処理に進む。

ステップＳ１３２において、スマートスピーカの制御部は、ＯＫガイド処理を実行する。このＯＫガイド処理は、上述のステップＳ１１２の処理と同様の処理である。その後、ステップＳ１３３Ａの処理に進む。

続いて、ステップＳ１３３Ａにおいて、スマートスピーカの制御部は、取得した画像データに服薬情報を関連付けた形態のエビデンス情報を、外部装置へと送信する処理を実行する。この処理は、上述のステップＳ１１３Ａの処理と同様である。その後、ステップＳ１０１の処理に戻る。

一方、ステップＳ１３４において、スマートスピーカの制御部は、所定の警告情報若しくはガイド情報等を表示する。この警告ガイド処理は、上述のステップＳ１１４の処理と同様である。

ステップＳ１３５において、スマートスピーカの制御部は、情報取得処理を実行する。この情報取得処理は、上述のステップＳ１１５の処理と略同様である。その後、ステップＳ１３３Ａの処理に進む。

上述のステップＳ１２１の処理にて、情報端末装置２０に対する操作が確認されなかったことにより、ステップＳ１４１Ａの処理に進んだ場合、このステップＳ１４１Ａにおいて、スマートスピーカの制御部は、確認ページに記載処理，期待効果情報作成処理，医師への連絡処理等、その他各種の様々な処理を行う。これらの処理は、本実施形態とは直接関連しない部分であるので、簡単な記述にとどめることとし、一つの処理ステップとしてまとめて記載している。その後、図１９のステップＳ１０１の処理に戻る（図１９，図２０の丸符号１９）。

なお、本実施形態の服薬管理システムにおけるスマートスピーカの制御部が行う判定処理については、撮像部によって取得された画像データ（切出画像データ）に基づいて各種の判定を行うようにしている。この場合において、各種の判定処理の結果がＯＫである場合の画像（以下、ＯＫ画像という）、例えば服薬情報に合致する薬剤が判定されている画像等を大量に収集し、収集されたそれらの画像に基づいて、人工知能（ＡＩ）による機械学習や深層学習を行うようにすれば、判定処理の精度を向上させることができるようになる。例えば、図２１，図２２にスマートスピーカによる機械学習又は深層学習の概念を示す。

図２１は、大量のＯＫ画像１５０（静止画像）を用いて機械学習又は深層学習を行う際の概念を示している。

ここで、ＯＫ画像１５０は、特定の薬剤についての判定を行う際に参照するための画像であって、「特定薬剤Ａを手のひら上に載せた状態」を表す複数の切出画像である。この場合において、特定薬剤Ａは錠剤の場合の例示である。

そして、これら大量のＯＫ画像１５０には、手のひらの大きさが異なったり、手のひら上に載せられた薬剤の配置具合や重なり具合がそれぞれ異なる複数の画像が含まれている。

スマートスピーカの制御部は、これら大量のＯＫ画像１５０に基づいて、写っている薬剤の種類や量を確実に判定するための学習を行う。

図２２は、大量のＯＫ画像データセット（服薬前後の静止画像セット）を用いて機械学習又は深層学習を行う際の概念を示している。なお、「大量」としているが、図面の煩雑かを避けるために、図示の例示では二種類（符号１５１ａ，１５１ｂ）の例を示している。

ここで、ＯＫ画像データセット１５１ａは、特定の薬剤についての判定を行う際に参照するための画像であって、「特定薬剤ＡＢＣの薬剤包装（ＰＴＰ）を手に持った状態」の服薬前後をそれぞれ表す切出画像を示している。この場合において、特定薬剤ＡＢＣは錠剤の場合の例示である。

また、ＯＫ画像データセット１５１ｂは、特定の薬剤についての判定を行う際に参照するための画像であって、「特定薬剤ＤＥＦの薬剤包装（袋）を手に持った状態」の服薬前後をそれぞれ表す切出画像を示している。この場合において、特定薬剤ＤＥＦは粉末剤の場合の例示である。

スマートスピーカの制御部は、これら大量のＯＫ画像データセット（１５１ａ，１５ａｂ）に基づいて、写っている薬剤の種類や量を確実に判定する推論エンジンを得るための学習を行う。

推論エンジンは、最も簡単な方法では、処方に基づく正しい薬剤を撮像した結果を教師データとした機械学習によって得られる。この時、例えば、処方通りの薬剤が検出できない場合を不正解とするような学習結果が得られるまで教師データを変えたりネットワークの構成や重みづけを変えたりして学習を繰り返す。また、ここで、複数の画像やその変化などを含めて情報量を増やして精度を向上させてもよい。これによって、画像データから得られた推論情報が、薬剤服用前後の画像変化となり、時間的な画像変化の情報も含めて正常に服用したかどうかを判定してもよい。このようにして得られた推論エンジンは、対象物判定部１１ａや画像選択部２１ａに設ければよい。つまり、これはスマートスピーカと連携する他の装置や、図３のような形態の眼鏡型端末装置に内蔵するように構成してもよい。このような構成にすることで、例えば、手のひらの上に乗せられた様子を撮像した画像データを取得する撮像部２４と、撮像部によって取得された画像データに含まれる対象物が、特定の薬剤であるかどうかを学習した推論エンジンによって判定する対象物判定部１１ａと、撮像部によって取得された画像データ又は画像選択部によって選択された画像領域の画像データと特定の服薬情報とを関連付けて記録するエビデンス記録部１４とを具備する服薬管理システム１が構成できる。推論エンジンの中に、画像領域判定の機能を内蔵する設計も可能である。

「深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。
これは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。
そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。
簡単な判別なら３層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。
近年では、９層～１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。
また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い「畳み込み型ニューラル・ネットワーク」や、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。
これらの技術の実現のためには、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）といったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（ＴＰＵ）と呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。
ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するもので、他には、ロジスティック回帰処理を利用する手法もある。
機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、ここでは画像の判定を、機械学習により導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。

カメラや携帯機器等の情報端末製品に搭載するコンパクトタイプの推論エンジンは、少ない層で高精度判断するための学習は困難であり、また時間がかかるため、正確なアノテーションや学習のさせ方に工夫することが望まれる。推論モデルを生成する時、学習に使用した画像によって推論モデルの仕様が変わるので、学習時の情報と連携して効率的な学習を行ってもよい。そこで、どのような学習をさせたかを示す情報をアノテーション作業時に設定し、この情報を情報取得装置の記録部に推論情報の一部として記録しておいてもよい。

例えば、一般の撮影画像によって取得した水平・垂直が揃った画像だけを用いて学習して生成された推論モデルによって推論を行う場合、上下左右の差異がある画像に対しては、正しい推論が出来ない可能性がある。そこで、推論情報から上述の情報を読み出し、撮像時に、姿勢センサからの水平または垂直の情報を加味して取得画像に対して、推論を行うことにより、正しい測定部位判定が可能となる。推論モデルを用いた推論を行う前に水平垂直の情報を入れて画像を判定させるような工夫は有効であり、この条件の情報や、画像を補正するためのセンサを有するようにすることが好ましい。学習時にこのような制約を入れるかどうかで、推論エンジンの仕様や性能が変わるので、アノテーション作業を進めながら、このような試行錯誤ができてもよいし、その試行錯誤を表示させてもよい。

同様に、対象物に対して特定の距離から得た画像ばかりを用いて学習を行うと、特定の距離以外で撮影された画像については、正しい推論が出来ない。このような画像で生成された推論モデルを用いて推論する場合は、距離の差異を打ち消すように遠い画像は拡大して、擬似的に近い画像にして推論モデルを用いて推論する等の工夫によって精度を向上させることができる。この場合、距離センサなどを併用して、画像を推論する時に、画像の拡大縮小の実際と学習データの差異を補う補正を行う。どのような学習データを使って作られたモデルであるかを示す情報を記憶するためのメモリを備えておき、推論モデルを用いて推論するときには、上述の情報を利用して、推論モデルが正しい推論ができるように画像を補正するような工夫を行うとよい。このような補正が必要かどうかを、アノテーション作業時に気づくことがあり、本実施形態のようなアノテーション作業時に、仮の学習を検証可能にする工夫は有意義である。

もちろん、撮影現場で起こる様々な撮影条件の差異に対応して、予め撮影現場での状況を加味、あるいは未知の状況までを対処できるように学習データも様々な状況を含むようなものを用意し、特定の報酬も与えて学習させる強化学習の手法で学習させてもよい。強化学習とは、試行錯誤を通じて「価値や効果を最大化するような行動」を学習するもので与えられた正解の出力をそのまま学習するのではなく、さらに良い回答が得られるよう学習させるものある。
このような強化学習など教師なし学習を行うべきかどうかを判断することもアノテーション途中の仮学習反映表示にて早期の判断が可能となり、開発時の手間を減らすことが可能となる。
本発明では、以上のように、アノテーション作業途中における仮学習（あらかじめ決められた仮のルールによる学習）の反映によって、推論エンジン生成時の効率を高める効果もある。特に、本実施形態において示すような現場で端末機器において、使用されるような携帯型のコンパクトサイズの推論エンジンを作成する時には、レイヤーの数、消費電流など消費エネルギーを考慮して、非常に手間のかかる学習を行って対処する必要がある。したがって、この学習時の報酬の与え方などもアノテーション作業時に考察することができ、早めの対応ができる。仮学習の結果を確認しながら、仕様の見直しなどを前倒しで行うフィードバックが可能となり、優れた性能の推論エンジンを得るのに時間短縮を含め総合的に寄与することができる。

［他の変形例］
上述の各構成例では、服薬管理装置や情報端末装置若しくはスマートスピーカ等は、いわゆる汎用品を用いた例を示している。そして、これらの装置においては、服薬管理に適した専用のソフトウエアプログラムを導入し、各装置において動作させて、服薬管理のための各処理を実現している。もちろん、特定の機能はクラウド連携して制御される。スマートスピーカは対話型のユーザーインターフェースを搭載している場合が多いが、それを搭載しなくともよい。

このような構成例とは別に、例えば服薬管理システムに適用する情報端末装置として、服薬管理に適した専用の装置を構成することもできる。

図２３～図２６は服薬管理専用端末装置（第１構成例）を示す図である。このうち、図２３は第１構成例の服薬管理専用端末装置を展開して示す概略構成斜視図である。図２４は第１構成例の服薬管理専用端末装置を畳んだ状態を示す概略構成斜視図である。図２５は使用者が第１構成例の服薬管理専用端末装置を用いて服薬行為をしているようすを示す概念図である。図２６は第１構成例の服薬管理専用端末装置を用いて行う服薬準備行為の一例を示す概念図である。

服薬管理専用端末装置２０Ｂは、携帯するのに至便なように小型で軽量に構成される端末装置である。そのために、服薬管理専用端末装置２０Ｂは、本体部２０Ｂａと、この本体部２０Ｂａに取り付けられた複数の主要構成部材（撮像部２４Ｂ，表示部２５Ｂ，音声出力部２８Ｂ）等によって構成されている。

本体部２０Ｂａは、折り畳み可能に形成され、かつ薄型フレームを有して構成されている。そして、当該本体部２０Ｂａを折り畳んだ状態とした時には、略三角形状の薄板が二枚合わさった状態となるように構成されている。

本体部２０Ｂａを折り畳んだ状態とした時の二枚の薄板のそれぞれの合わせ面には、上記各構成部材がそれぞれ所定の位置に配置されている。例えて言うと、従来の薬包紙などに類似する形態に形成されている。したがって、当該服薬管理専用端末装置２０Ｂは、その形状から「デジタル薬包紙」といった呼び方もなし得る。

撮像部２４Ｂは、広角視野の映像を取得可能な光学レンズと、この光学レンズによって結像された光学像を受光して画像データを生成する撮像素子及び当該撮像素子を駆動する駆動回路及びソフトウエアプログラム等を含む構成部である。

表示部２５Ｂは、例えば発光ダイオード（light emitting diode；ＬＥＤ）と、その駆動回路及びソフトウエアプログラム等を含む構成部である。この表示部２５Ｂは、発光ダイオードの点灯若しくは点滅制御を行うことによって、当該服薬管理専用端末装置２０Ｂにおける各種の状態表示を行うことができる。

音声出力部２８Ｂは、例えば発音装置（スピーカ）と、その駆動回路及びソフトウエアプログラム等を含む構成部である。この音声出力部２８Ｂは、予め設定された音声情報を適宜発生制御することで、各種の状態表示や警告情報若しくはガイド情報等を表示することができる。なお、図２３，図２４では、当該服薬管理専用端末装置２０Ｂの概念を説明するものとして、主要な構成部材を示すのみに留めているが、実際には、当該装置を稼働させるためのその他の構成部材を具備しているのは当然である。例えば、図示を省略しているがバッテリー等も当然具備しているものとする。それらの構成は、従来の一般的な電子機器で適用されるものと同様のものが適用されているものとする。

また、当該服薬管理専用端末装置２０Ｂは、できるだけ小型軽量に構成するようにしているので、各種の制御は判定処理は、服薬管理装置１０と連携することにより実現するように構成されている。そのために、当該服薬管理専用端末装置２０Ｂは、服薬管理装置１０等の外部機器との間でデータ通信を行うための通信部等も具備している（不図示）。さらに、簡易的な制御回路を実装した電気基板等（不図示）も備わっている。

なお、本体部２０Ｂａには、折り畳んだ状態とした時に、撮像部２４Ｂの突出部分が収納されるように凹形状に形成されたカメラ収納部Ｃ１が形成されている。

このように構成された服薬管理専用端末装置２０Ｂにおいては、図２３に示すような展開状態としたときに、図２３の符号Ｍで示される折り曲げ部位近傍に、服用しようとする薬剤を配置する。図２１に示す例では、例えば錠剤形態の薬剤２００ａや、粉末形態の薬剤２００ｂを配置した場合を図示している。

このように、服薬管理専用端末装置２０Ｂの折り曲げ部位Ｍに配置された薬剤（２００ａ，２００ｂ）は、撮像部２４Ｂによって撮像され画像データが取得される。このとき、取得される画像データと、予め入力された服薬情報に基づいて、服用しようとしている薬剤が服薬情報に合致したものかどうかの判定などが行われる。

そして、折り曲げ部位Ｍに薬剤（２００ａ，２００ｂ）を配置した状態で、当該服薬管理専用端末装置２０Ｂを折り曲げて、図２４に示すような状態とする。

使用者（患者）１００は、この状態で服薬行為を行う。即ち、使用者（患者）１００は、当該服薬管理専用端末装置２０Ｂを、図２５に示すような状態で、自身の口に添えて服薬を行う。このような服薬行為は、従来の薬包紙を用いて行う服薬行為と略同様の動作で実現できる。

この服薬行為の間も、撮像部２４Ｂは撮像動作を継続して動画像データを種得し続ける。これにより、撮像部２４Ｂによって取得される動画像データは、服薬準備の行為から、服薬行為を行って服薬が完了するまでの行為までが記録される。

換言すると、服薬管理専用端末装置２０Ｂの折り曲げ部位Ｍに服薬しようとする薬剤２００ａ，２００ｂを配置する行為（服薬準備行為）から、薬剤２００ａ，２００ｂを載せた状態で服薬管理専用端末装置２０Ｂを所定の形態にする行為（折り曲げ部位Ｍで折り曲げて）、当該服薬管理専用端末装置２０Ｂを口の近くまで寄せる行為、さらに、薬剤２００ａ，２００ｂが口１００ａに入っていくようすまで、連続的な動画像データとして記録される。

なお、本構成例の服薬管理専用端末装置２０Ｂにおいても、服薬の準備を行う際に、図２６に示すように折り曲げ部位Ｍの近傍に、薬剤包装２００Ｂを配置して、その画像データを取得すれば、上述の一実施形態の服薬管理システムと同様の薬剤判定処理の手順を踏襲することができる。

次に、服薬管理専用端末装置の第２構成例について、以下に説明する。図２７，図２８は服薬管理専用端末装置（第２構成例）を示す図である。このうち、図２７は第２構成例の服薬管理専用端末装置を展開して示す概略構成斜視図である。図２８は第２構成例の服薬管理専用端末装置を畳んだ状態を示す概略構成斜視図である。

第２構成例の服薬管理専用端末装置は、上述の第１構成例の服薬管理専用端末装置と基本的には同様構成からなる。本構成例の服薬管理専用端末装置２０Ｃにおいては、撮像部２４Ｃの形態が異なるのみである。したがって、上述の第１構成例と同じ構成部材については、同じ符号を付してその説明は省略し、異なる部分のみ以下に詳述する。

本構成例の服薬管理専用端末装置２０Ｃにおいては、図２７，図２８は、撮像部２４Ｃの形態が異なる。当該撮像部２４Ｃは、機能面では上述の第１構成例と全く同じである。

本構成例においては、撮像部２４Ｃは、本体部２０Ｂａを折り畳んだ状態とした時に、二枚の薄板のそれぞれの合わせ面上において、折り曲げ部位Ｍから離れた位置において、当該合わせ面に対して直立するように軸支されるカメラ支軸２０Ｂｂが設けられている。このカメラ支軸２０Ｂｂの一端は本体部２０Ｂａに対して固設されている。また、このカメラ支軸２０Ｂｂの他端は、本体部２０Ｂａを折り曲げた状態としたとき。収納部Ｃ１に収納されるように構成されている。そして、カメラ支軸２０Ｂｂの略中央部分に撮像部２４Ｃが固設されている。

このような構成を採用することにより、本構成例の服薬管理専用端末装置２０Ｃにおいては、服薬行為を行う際の形態、即ち本体部２０Ｂａを折り畳んだ状態としたとき、当該本体部２０Ｂａの向かい合う面の略中央部分に撮像部２４Ｃを配置することができる。したがって、当該服薬管理専用端末装置２０Ｃを用いて服薬行為を行う際に、薬剤２００ａ，２００ｂが使用者（患者）の口に向けて入っていく様子を、より確実に撮像することができるようになる。

次に、服薬管理専用端末装置の第３構成例について、以下に説明する。図２９は第３構成例の服薬管理専用端末装置を展開して示す概略構成斜視図である。

第３構成例の服薬管理専用端末装置は、上述の第１構成例の服薬管理専用端末装置と基本的には同様構成からなる。本構成例の服薬管理専用端末装置２０Ｄにおいては、本体部２０Ｄａの折り曲げ部Ｍの近傍に、凹形状の薬剤収納部Ｃ２を設けて構成した点が異なるのみである。したがって、上述の第１構成例と同じ構成部材については、同じ符号を付してその説明は省略する。

このように、本構成例の服薬管理専用端末装置２０Ｄにおいては、本体部２０Ｄａの折り曲げ部Ｍの近傍に凹形状の薬剤収納部Ｃ２を設けたので、薬剤の形態、例えば、錠剤，カプセル等の固形形態のみに限らず、粉末状又は顆粒状であっても、さらに液体状であっても、容易に服薬行為を行うことができる。

以上説明したように上記一実施形態及び各変形例及び各構成例によれば、

簡単な構成で服薬支援を行うことができると共に、使用者が確実かつ的確に服薬したことを表す画像データを含むエビデンス情報として自動的にかつ容易に取得することができ、よって確実な服薬管理を行うことができる。

これによって、老眼などの視覚的な問題で細かいものが識別できないユーザやその家族等の服薬による治療や、その補助などを簡易化し、効率的な生活を助けることができる。また、医師にとっては、処置の正しい効果の判断材料となり、無駄な処方などを減らして経済的な負担を減らすことが可能となる。

また、情報端末装置の形態として、眼鏡型情報端末装置やスマートスピーカの形態を採用すれば、使用者（患者若しくは介護者）は、服薬準備や服薬行為を行う際に、常に両手を自由に使うことができると共に、所望の画像データ（動画像データ及び静止画像データ）を適宜自動的に取得することができる。

また、情報端末装置の形態として、スマートスピーカの形態を採用した場合には、机に据え置いて使用することから、装置の機能を充実させることが容易になると共に、使用者（患者若しくは介護者）の手元の様子のみならず全体像をも撮像することができるようになる。したがって、服薬行為のエビデンス情報の取得を、より容易に行うことができる。

このような機器は、家庭内で普及したクラウド連携機器で、機能を内蔵したり外部機器と連携したりして実現するのが容易であり、かつ、バージョンアップやカスタマイズが容易というメリットがある。室内の個々人の行動の判別する能力などにもすぐれ、携帯端末と連携すれば室外における個々人の行動も判定可能である。

なお、プログラムで構成した部分を適宜、回路に置き換えることも可能である。上述の一実施形態の説明中において、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥース（登録商標）やＷｉＦｉ（登録商標）、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。機械的に位置制御される部位（例えば移動部など）は、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイコンやＡＳＩＣなどが制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われても良い。

また、上述の一実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。即ち、特許請求の範囲，明細書及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップにおいては、発明の本質に影響しない部分について適宜省略することもできることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがソフトウエアプログラムにより設定できることが多くあり、そのソフトウエアプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのソフトウエアプログラムは、コンピュータプログラム製品として、予め製品製造過程において上記記憶媒体や記憶部等、具体的には例えばフレキシブルディスク ＣＤ－ＲＯＭ等 不揮発性メモリ等の可搬媒体やハードディスク 揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記録されている電子データである。また、これとは別に、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供ができるものである。利用者は、製品出荷後であっても、自ら通信ネットワークやインターネット等を介して、それらのソフトウエアプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールすることで、動作させるようにすることができ、これによって容易に本実施形態の服薬管理システムを実現することができる。

本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施することができることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。この発明は、添付のクレームによって限定される以外にはそれの特定の実施態様によって制約されない。

１……服薬管理システム
１０……服薬管理装置
１１……制御部
１１ａ……対象物判定部
１１ａａ……文字判定部
１１ａｂ……色判定部
１１ａｃ……薬包装シート判定部
１１ｂ……表示制御部
１１ｃ……ガイド部
１１ｄ……タイミング判定部
１２……通信部
１３……表示部
１４……エビデンス記録部
１５……時計部
１６……情報読取部
２０，２０Ａ……情報端末装置
２０ａ……支持部
２０Ｂ，２０Ｃ，２０Ｄ……服薬管理専用端末装置
２０Ｂａ，２０Ｄａ……本体部
２０Ｂｂ……カメラ支軸
２１……制御部
２１ａ……画像領域選択部
２１ｂ……表示制御部
２１ｃ……薬包装シート判定部
２１ｄ……ガイド部
２２……通信部
２３……操作部
２４，２４Ｂ，２４Ｃ……撮像部
２４ａ……撮像光学系
２５，２５Ｂ……表示部
２６……記録部
２７……音声入力部
２８，２８Ｂ……音声出力部
２９……時計部
４０……データベース
４１ａ……服薬データベース
４１ｂ……画像データベース
４１ｃ……通信部
１００……使用者（患者，介護者）
１２０……薬剤提供文書
１３４……二次元コード
２００，２００Ａ，２００Ｂ……薬剤包装
２００ａ，２００Ａａ，２００ｂ……薬剤

Claims (5)

1. 服薬支援及び服薬管理を行う服薬管理システムにおいて、
   画像データを取得する撮像部と、
   服薬情報提供文書に記載された特定の服薬情報を読み取る情報読取部と、
   上記画像データから得られた情報と上記情報読取部によって読み取られた上記特定の服薬情報とを関連付けて記録するエビデンス記録部と、
   を具備し、
   上記撮像部は、作業者の視界と略同等の撮像範囲の画像データを取得する眼鏡型情報端末装置であることを特徴とする服薬管理システム。
2. 上記画像データから得られた情報が、薬剤服用前後の画像変化であることを特徴とする請求項１に記載の服薬管理システム。
3. 上記服薬管理システムは、処方に基づく正しい薬剤を撮像した結果を教師データとした機械学習によって得られた人工知能（ＡＩ）を搭載した、または、そのような人工知能（ＡＩ）と連携したことを特徴とする請求項１または請求項２に記載の服薬管理システム。
4. 上記撮像部によって取得された画像データと、上記情報読取部によって読み取られた上記特定の服薬情報とに基いて薬剤を判定する対象物判定部をさらに具備することを特徴とする請求項１に記載の服薬管理システム。
5. 上記撮 像部によって取得された画像データに基づいて所定の画像領域を選択する画像選択部を、さらに具備し、
   上記対象物判定部は、上記画像選択部によって選択された上記所定の画像領域と、上記特定の服薬情報とに基いて薬剤を判定することを特徴とする請求項４に記載の服薬管理システム。

Images