JP7353605B2 - 吸入動作推定装置、コンピュータプログラム及び吸入動作推定方法 - Google Patents

Description

本発明は、吸入動作推定装置、コンピュータプログラム及び吸入動作推定方法に関する。

気管支喘息やＣＯＰＤ（慢性閉塞性肺疾患）の治療には吸入薬が必要不可欠であり、医師による処方の際には吸入薬の説明、吸入容器（吸入器具）の取り扱いや吸入動作などの説明が患者に対して行われる。処方された薬を決められた通りに服用することは疾患の治療には重要なことである。

特許文献１には、サーバが薬の服用予定時刻になった場合に患者が保持する端末に対して薬の服用を促す情報を送信し、患者の入力操作に応じて、端末は薬の服用を知らせる情報をサーバに送信することにより、患者に薬の適切な服用を促す医療情報処理システムが開示されている。

実用新案登録第３２０８２５７号公報

しかし、吸入薬の場合、一般的な飲み薬と違って吸入容器を使った吸入動作が必要である。患者は吸入薬の処方の際に吸入動作の正しいやり方の指導を受けたとしても、吸入容器に不慣れな患者や高齢の患者などにとっては、正しい吸入動作の習得が容易ではなく、処方通りの吸入が実施されないおそれがある。

本発明は、斯かる事情に鑑みてなされたものであり、吸入薬の吸入動作が正しく行われているかを推定することができる吸入動作推定装置、コンピュータプログラム及び吸入動作推定方法を提供することを目的とする。

本発明の実施の形態に係る吸入動作推定装置は、対象者を撮像して得られた画像を取得する取得部と、前記取得部で取得した画像に基づいて、前記対象者の姿勢及び／又は前記対象者の人体の所定部位を判定する姿勢判定部と、前記姿勢判定部で判定した姿勢、前記対象者の所定部位の特徴量又は動きの変化量の少なくともいずれか１つに基づいて前記対象者による吸入薬の吸入動作を推定する動作推定部とを備える。

本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、対象者を撮像して得られた画像を取得する処理と、取得した画像に基づいて、前記対象者の姿勢及び／又は前記対象者の人体の所定部位を判定する処理と、判定した姿勢、前記対象者の所定部位の特徴量又は動きの変化量の少なくともいずれか１つに基づいて前記対象者による吸入薬の吸入動作を推定する処理とを実行させる。

本発明の実施の形態に係る吸入動作推定方法は、対象者を撮像して得られた画像を取得し、取得された画像に基づいて、前記対象者の姿勢及び／又は前記対象者の人体の所定部位を判定し、判定された姿勢、前記対象者の所定部位の特徴量又は動きの変化量の少なくともいずれか１つに基づいて前記対象者による吸入薬の吸入動作を推定する。

本発明によれば、吸入薬の吸入動作が正しく行われているかを推定することができる。

本実施の形態の吸入動作推定システムの構成の一例を示す模式図である。 対象者装置の構成の一例を示すブロック図である。 サーバの構成の一例を示すブロック図である。 対象者装置の処理手順の一例を示すフローチャートである。 吸入容器の種類の一例を示す説明図である。 音声案内の一例を示す説明図である。 音声案内に基づく吸入容器のトラッキングの様子の一例を示す模式図である。 音声案内に基づく姿勢判定の様子の一例を示す模式図である。 サーバによる吸入動作推定の処理手順の一例を示すフローチャートである。 サーバによる吸入動作推定における特徴判定の処理手順の一例を示すフローチャートである。 胸鎖乳突筋周辺の陰影判定の処理の一例を示す模式図である。 切出画像の一例を示す模式図である。 判定対象フレームの抽出例を示す説明図である。 肩の移動量判定の処理の一例を示す模式図である。 上体の移動量判定の処理の一例を示す模式図である。 評価指標の算出時の重み付け係数の第１例を示す説明図である。

以下、本発明の実施の形態を図面に基づいて説明する。図１は本実施の形態の吸入動作推定システムの構成の一例を示す模式図である。吸入動作推定システムは、吸入動作推定装置としてのサーバ５０を備える。吸入動作推定システムは、対象者が使用する対象者装置１０、医師や薬剤師などの医療指導者が使用する指導者装置２０、指導者装置２０に接続されるカメラ（動画を撮影可能）などを備えて、指導者装置２０で吸入動作の撮影を行ってもよい。対象者装置１０は、動画を撮影できる内蔵カメラ（不図示）を備える。指導者装置２０及びカメラ２１は、病院や診療所などに設置されている。サーバ５０、対象者装置１０及び指導者装置２０は、通信ネットワーク１を介して接続されている。図１では、対象者装置１０を２台図示しているが、対象者装置１０の数は２台に限定されない。

対象者装置１０及び指導者装置２０それぞれは、例えば、スマートフォン、タブレット端末、ノート型パーソナルコンピュータ等で構成することができる。指導者装置２０は、デスクトップ型のパーソナルコンピュータでもよい。サーバ５０、対象者装置１０及び指導者装置２０との間の情報の授受を制御し、管理することができる。

図２は対象者装置１０の構成の一例を示すブロック図である。対象者装置１０は、対象者装置１０全体を制御する制御部１１、通信部１２、記憶部１３、出力部１４を備える。

制御部１１は、ＣＰＵ、ＲＯＭ及びＲＡＭなどで構成することができる。制御部１１は、吸入動作推定ソフトウエアを実行することができる。

通信部１２は、通信ネットワーク１を介して対象者装置１０とサーバ５０との間の通信機能を提供する。通信部１２は、例えば、対象者を撮像して得られた複数のフレームを含む画像（動画）をサーバ５０へ送信できる。

記憶部１３は、カメラ２１から取得した対象者の画像（動画）、アプリの使用履歴などを記憶することができる。

出力部１４は、表示パネル、スピーカなどで構成され、ガイダンス動画、音声案内などを出力することができる。

図３はサーバ５０の構成の一例を示すブロック図である。サーバ５０は、サーバ５０全体を制御する制御部５１、通信部５２、姿勢判定部５３、動作推定部５４、支援情報提供部５５、対象者ＤＢ５６、記憶部５７、特徴判定部５８及び評価指標算出部５９を備える。特徴判定部５８は、画像切出部５８１、陰影判定部５８２、肩移動量判定部５８３及び上体移動量判定部５８４を備える。サーバ５０は、吸入動作の成否判定結果を推定し、対象者装置１０に送信する機能、指導者装置２０から吸入動作の成否判定結果を記録したレポートの要求信号を取得する機能、吸入動作の成否判定結果を記録したレポートを指導者装置２０に送信する機能などを有する。

制御部５１は、ＣＰＵ、ＲＯＭ及びＲＡＭなどで構成することができる。制御部５１は、吸入動作推定ソフトウエアを実行することができる。

通信部５２は、通信ネットワーク１を介して対象者装置１０及び指導者装置２０との間の通信機能を提供する。通信部５２を介して取得した情報（例えば、対象者を撮像して得られた複数のフレームを含む画像（動画））は、記憶部５７に保存される。対象者の撮像には、対象者装置１０を使用することができる。より具体的には、対象者装置１０の内蔵カメラが対象者の方を向くようにし、かつ、対象者の吸入動作時の姿勢を判定しやすくするため、対象者の右側や左側（対象者から見て横方向９０°程度）に対象者装置１０を設置することができる。

姿勢判定部５３は、通信部５２を介して取得した画像に基づいて対象者の姿勢を判定することができる。より具体的には、姿勢判定部５３は、通信部５２で取得した画像に基づいて対象者の人体の所定部位の位置を判定することができる。所定部位は、例えば、右目、左目、鼻、右耳、左耳、首、右肩、左肩、右手首、左手首、右肘、左肘、右腰、左腰、右膝、左膝、右足首、左足首とすることができる。なお、所定部位は、これらの部位の一部でもよい。

姿勢判定には、例えば、２Ｄ画像（動画像）に基づいて人体の姿勢の特徴点をディープラーニングに利用して検知する技術（例えば、ＯｐｅｎＰｏｓｅ）を用いることができる。取得した画像に基づいて人体の複数の所定部位（関節など）の位置を推定し、推定した所定部位の位置に基づいて対象者の姿勢を判定することができる。

動作推定部５４は、姿勢判定部５３で判定した姿勢に基づいて対象者による吸入薬の吸入動作を推定することができる。通信部５２を介して取得した画像に基づく対象者の姿勢と、予め定められた吸入動作時の正しい姿勢とを比較することにより、吸入動作を推定することができる。吸入動作の推定には、例えば、吸入動作を行っていることの確からしさを示す評価値を用いることができる。この場合、評価値が大きいほど、吸入動作を行っていると推定できる確率が高い。これにより、吸入薬の吸入動作を推定することができる。

より具体的には、動作推定部５４は、姿勢判定部５３で判定した所定部位の位置に基づいて吸入動作を推定することができる。例えば、鼻の位置と手首（右手首又は左手首）の位置との距離が所定範囲内であれば、対象者が吸入容器を手で掴み、吸入容器を口で咥えたと判定できるので、対象者が吸入動作をしようとしている、あるいは吸入動作を行っていると推定できる。また、例えば、鼻の位置と腰（右腰又は左腰）の位置とを結ぶ直線と水平線とのなす角度が所定範囲内であれば、対象者が吸入動作を行うときの正しい姿勢になっていると判定できるので、対象者が吸入動作をしようとしている、あるいは吸入動作を行っていると推定できる。

支援情報提供部５５は、提供部としての機能を有し、対象者の対象者装置１０からの要求に基づいて吸入動作を支援する支援情報を対象者装置１０へ提供することができる。支援情報は、通信部５２を介して対象者装置１０へ送信することができる。支援情報は、例えば、吸入動作のやり方を説明するガイダンス動画や音声案内などを含む。これにより、対象者が吸入容器の取り扱いに不慣れであっても、正しい吸引動作を行えるように支援することができる。

対象者ＤＢ５６は、対象者毎に、対象者名、対象者の属性、対象者のカルテ情報、対象者の吸入動作を行った日時や吸入動作の評価結果などを記録している。対象者の属性は、例えば、対象者の体型や年齢とすることができるが、これに限定されるものではなく、例えば、性別、身長、体重、胸囲、筋力、筋肉量、体脂肪率、血圧、肥満度、運動能力など様々な特性を含めてもよい。カルテ情報は、吸入薬の処方箋（吸入薬の使用条件を含む）を含む。対象者ＤＢ５６に記録される情報は、対象者装置１０や指導者装置２０などから入力することができる。

記憶部５７は、通信部５２を介して取得した対象者の画像（動画）、支援情報提供部５５で提供する支援情報、吸入動作推定結果（レポートを含む）などの所要の情報を記憶することができる。

特徴判定部５８は、通信部５２を介して取得した画像に基づいて対象者の所定筋肉周辺の特徴、対象者の肩の動きの特徴及び上体の動きの特徴を判定することができる。所定筋肉は、例えば、補助吸気筋（胸鎖乳突筋や斜角筋等）とすることができ、本明細書では所定筋肉は頸部にある胸鎖乳突筋として説明する。胸鎖乳突筋は、吸入動作を行うと、吸気動作で収縮し浮き出て胸鎖乳突筋の周辺に陰影が現れる。吸入動作を行うと、肩の位置が移動する。また、姿勢によって肩の上がり方に特徴があり、姿勢が良いとややそるような動きで肩が上がる傾向がある。上体の動きは、例えば、上半身全体の動きとすることができ、対象者が椅子などに座って吸入動作を行うと、上半身全体が移動する。特徴判定部５８の詳細は後述する。

評価指標算出部５９は、特徴判定部５８で判定した陰影、肩の移動量及び上体の移動量それぞれを表す評価値に所要の重み付け係数を付与して評価指標を算出する。評価指標算出の詳細は後述する。

次に、対象者装置１０が実行する処理について説明する。

図４は対象者装置１０の処理手順の一例を示すフローチャートである。以下では、便宜上、処理の主体を制御部１１として説明する。制御部１１は、対象者が予め設定されている時刻（例えば毎日２０時等）になるとアプリ（吸入動作推定アプリ）の利用を開始したか否か、すなわち、対象者が吸入を忘れているか否かを判定する（Ｓ１１）。アプリの利用を忘れていないか否かの判定は、例えば、処方箋に基づいて対象者が設定されたタイミングでアプリを起動したり、入力を行ったか否かによって判定できる。例えば、対象者に対する指示が、朝、昼、夜の３回吸入薬を吸入することである場合に、昼を過ぎてもアプリが起動されない場合には、対象者は吸入を忘れていると判定することができる。

吸入を忘れたと判定された場合（Ｓ１１でＹＥＳ）、制御部１１は、警告を出力し（Ｓ１２）、吸入動作が行われるまで待機する。対象者が吸入動作を忘れていると判定される場合、出力部１４は、警告音を出力（送信）することができる。これにより、対象者に指示通りの吸入動作を行うように注意喚起することができる。

吸入を忘れていない場合（Ｓ１１でＮＯ）、制御部１１は、アプリの使用履歴の有無を判定することができる（Ｓ１３）。なお、対象者が初めてアプリを利用する場合、ユーザ情報（例えば、氏名、年齢、体型、メールアドレスなどを含む）を登録するようにしてもよい。アプリの使用履歴がある場合（Ｓ１３でＹＥＳ）、対象者は過去に吸入動作を行っているので、制御部１１は、通信部１２を介してサーバ５０と通信を行い、サーバ５０の記憶部５７に記憶した吸入動作推定結果を参照して、前回の吸入動作の評価を出力し（Ｓ１４）、後述のステップＳ１７の処理を行う。出力する評価は、例えば、前回の吸入動作が失敗していた時は、「今回は前回より強く吸ってみましょう」の如く内容を音声で出力又は文字で表示することができ、前回の吸入動作が成功していた時は、「前回と同じように吸ってみましょう」の如く内容を音声で出力又は文字で表示することができる。

アプリの使用履歴がない場合（Ｓ１３でＮＯ）、制御部１１は、対象者装置１０に内蔵されたカメラを用いて吸入容器を撮影する（Ｓ１５）。吸入容器を撮影した画像は、通信部１２を介してサーバ５０に送信され、吸入容器の種類を判定する（Ｓ１６）。この場合、容器情報は、例えば、吸入容器のタイプ（種類）を含む。例えば、対象者が対象者装置１０に内蔵されたカメラで吸入容器を撮像し、撮像して得られた画像を、通信部１２を介してサーバ５０に送信する。サーバ５０は画像を取得し、取得した画像に対して所定の画像処理を行って吸入容器のタイプをディープラーニング等の認識技術を用いて判定することができる。あるいは、対象者が吸入容器のタイプを示す文字や記号などを対象者装置１０で入力し、入力した情報をサーバ５０に送信することで対応する文字列等を有する容器を特定することが可能である。なお、対象者装置１０の記憶部１３に特徴量を含む各種容器の情報を備える場合は、サーバに問い合わせることなく、容器の判定が可能である。容器の判定結果は記憶部１３に記憶することができる。

制御部１１は、ガイダンス動画の要求の有無を判定することができる（Ｓ１７）。ガイダンス動画の要求がある場合（Ｓ１７でＹＥＳ）、制御部１１は、出力部１４を介してガイダンス動画を出力し（Ｓ１８）、後述のステップＳ１９の処理を行う。ガイダンス動画は、吸入動作のやり方を説明する動画であり、対象者の吸入動作を撮像するため、対象者装置のカメラの向きや対象者装置の設置方法などの説明も含まれる。これにより、対象者は、自身をほぼ真横（９０°）から撮像できるように対象者装置１０を机上等に設置することができる。ガイダンス動画は、サーバ５０へアクセスして対象者毎に予め設定された対象動画をストリーミング配信して出力することもできるし、予め対象者装置１０の記憶部１３にダウンロードしておいた動画を出力することもできる。なお、対象動画は予め対象者と対応付けて決められていてもよいし、後述の吸入容器の判定結果から対応する動画を決定し出力することもできる。

ガイダンス動画の要求がない場合（Ｓ１７でＮＯ）、制御部１１は、ステップＳ１６で特定した吸入容器の種類に応じた音声案内を、出力部１４を介して出力し（Ｓ１９）、撮像部を用いて画像（動画）を取得し（Ｓ２０）、処理を終了する。

図５は吸入容器の種類の一例を示す説明図である。吸入容器のＡ、Ｂ、Ｃ、…とする。吸入容器Ａは、ドライパウダー吸入器であり、対象者は使用する吸入容器がＡである場合、音声案内Ａを出力する。吸入容器Ｂは、噴霧吸入器であり、対象者は使用する吸入容器がＢである場合、音声案内Ｂを出力する。吸入容器Ｃは、ミスト吸入器であり、対象者は使用する吸入容器がＣである場合、音声案内Ｃを出力する。このように、支援情報提供部５５は、通信部５２で取得した容器情報に応じた音声案内を対象者装置１０へ提供することができる。これにより、吸入容器のタイプに応じて吸入容器の取り扱い方が異なる場合でも、対象者が使用する吸入容器に合わせて最適な支援情報を提供することができる。

図６は音声案内の一例を示す説明図である。音声案内は、例えば、以下に示すＧ１からＧ５の音声ガイダンスで構成することができるが、これに限定されない。Ｇ１では、例えば、「吸入容器を持って口元に持っていき、咥えて下さい」という音声ガイドを流す。その際、実際に吸入動作が音声ガイダンスとともに行われているかを判定するために吸入容器のトラッキングを行ってもよい。

図７は音声案内に基づく吸入容器のトラッキングの様子の一例を示す模式図である。図中、符号Ｐ１は鼻の位置を示し、符号Ｐ２は手首（又は吸入容器でもよい）の位置を示す。吸入容器の位置の特定は、一般的な画像認識処理を用いればよい。音声ガイドＧ１を流す前においては、左図に示すように対象者は手首を膝の上に置いているとする。音声ガイドＧ１を流すことにより、右図に示すように、対象者は吸入容器を持って口元に持っていき、咥えるので、鼻の位置と手首（又は吸入容器）の位置とは近づく。

音声ガイドＧ１によって、対象者は、吸入容器を咥える。対象者を撮像して得られた画像に対して姿勢判定部５３及び動作推定部５４が所定の処理を行い、鼻の位置と手首の位置との距離が所定範囲内であれば、対象者が吸入容器を口で咥えたと判定できるので、対象者が吸入動作をしようとしている、あるいは吸入動作を行っていると推定できる。

Ｇ２では、例えば、「咥えたまま姿勢を画面に表示されているガイドに合わせてください」という音声ガイド及び画像ガイドを流す。これにより、対象者の姿勢を正しい姿勢に誘導することができる。

図８は音声案内に基づく姿勢判定の様子の一例を示す模式図である。図中、符号Ｐ１、Ｐ２、Ｐ３は、それぞれ鼻、手首（又は吸入容器）、腰の位置を示す。左図は、正しい姿勢を示し、右図は、対象者を撮像して得られた現在の姿勢を示す。図８では、便宜上、正しい姿勢と現在の姿勢とを分けて表示しているが、両方の姿勢を同じ画面上で重ねて表示してもよい。重ねて表示する場合には、正しい姿勢と現在の姿勢とが明瞭に区別できるように、例えば、正しい姿勢をスケルトン表示で表示するなど表示態様を異ならせて表示することができる。

左図に示すように、正しい姿勢では、鼻の位置Ｐ１と腰の位置Ｐ３とを結ぶ直線と水平線とのなす角度をαとする。なお、角度αは、一の数値でもよく、ある数値範囲でもよい。右図に示すように、対象者の現在の姿勢では、鼻の位置Ｐ１と腰の位置Ｐ３とを結ぶ直線と水平線とのなす角度をα′とする。この場合にも、姿勢判定部５３及び動作推定部５４による処理によって、角度α′と角度αとの差が所定範囲内であれば、対象者が吸入動作を行うときの正しい姿勢になっていると判定し、対象者が吸入動作をしようとしている、あるいは吸入動作を行っていると推定してもよい。

図８の右図に示すように、対象者の体が前に傾いている場合、背筋を伸ばすように、画面上で、あるいは音声で誘導することができる。また、図示していないが、対象者の体が後ろに傾いている場合、背筋を丸めるように、画面上で、あるいは音声で誘導することができる。

Ｇ３では、例えば、「大きく息を吐いてから息を吸い込んでください」という音声ガイドを流し、Ｇ４では、「そのまま５秒間息を止めてください」という音声ガイドを流し、５秒経過後に、Ｇ５では、「楽にしてください。吸入動作は終了です」という音声ガイドを流す。音声案内が出力されている間、対象者装置１０のカメラは、対象者の吸入動作を撮像することができる。なお、音声ガイドＧ３の発声から所定時間の間、対象者装置１０のカメラで撮像した画像（動画）を用いて吸入動作の推定を行うことができ、各部の認識や推定は、対象者装置１０でもサーバ５０でもそれぞれに認識や推定用のデータを保有させることで適宜処理を行わせることが可能である。また、吸入動作の推定を行った後に、正しい吸入動作が行われたと推定される場合には、「次回もこの調子で吸入してください」の如く音声ガイドを流すことができ、逆に、正しい吸入動作ができなかったと推定される場合には、「次回はもう少し強めに吸入してみましょう」の如く音声ガイドを流すことができる。

次に、サーバ５０による処理について説明する。

図９はサーバ５０による吸入動作推定の処理手順の一例を示すフローチャートである。以下では、便宜上、処理の主体を制御部５１として説明する。なお、システム構成はこれに限ることなく、各種プログラム等を対象者装置１０に保持することによって本処理を対象者装置１０にて実行することも可能である。制御部５１は、対象者の人体の所定部位の位置を判定し（Ｓ３１）、吸入容器の位置を判定する（Ｓ３２）。所定部位の位置の判定は、例えば、ＯｐｅｎＰｏｓｅなどを用いることができ、吸入容器の位置の判定は、通常の画像認識処理を用いることができる。なお、ステップＳ３１において、所定部位として手首の位置を含めて判定する場合、ステップＳ３２の処理は不要であるが、ステップＳ３１において、所定部位として手首の位置を含めない場合には、ステップＳ３２の処理は必要である。

制御部５１は、対象者は吸入容器を咥えたか否かを判定し（Ｓ３３）、吸入容器を咥えていない場合（Ｓ３３でＮＯ）、ステップＳ３３の処理を続ける。吸入容器を咥えたか否かは、鼻の位置と手首（又は吸入容器）の位置との距離が所定範囲内であるか否かに応じて判定できる。

吸入容器を咥えた場合（Ｓ３３でＹＥＳ）、制御部５１は、対象者の姿勢が正しい吸入動作姿勢であるか否かを判定し（Ｓ３４）、正しい吸入動作姿勢でない場合（Ｓ３４でＮＯ）、姿勢の修正を案内し（Ｓ３５）、ステップＳ３４の処理を続ける。ステップＳ３５の姿勢の修正の案内は、前述の音声ガイドＧ２に加えることができる。なお、ステップＳ３５の処理を行わずに、正しい吸入動作姿勢でない場合、ステップＳ３４の処理を続けてもよい。

正しい吸入動作姿勢である場合（Ｓ３４でＹＥＳ）、制御部５１は、吸入動作を推定し（Ｓ３６）、推定結果を出力し（Ｓ３７）、処理を終了する。吸入動作推定の特徴判定の詳細は後述する。推定結果は、対象者装置１０、指導者装置２０へ出力（送信）することができる。また、推定結果は、対象者ＤＢ５６に記録することができる。

図１０はサーバ５０による吸入動作推定における特徴判定の処理手順の一例を示すフローチャートである。制御部５１は、対象者の画像（動画）を取得し（Ｓ４１）、取得した画像に基づいて対象者の人体の所定部位の位置を判定する（Ｓ４２）。なお、ステップＳ４２の処理は、図９のステップ３１の処理で代用することができる。

制御部５１は、胸鎖乳突筋を含む所定領域を特定し（Ｓ４３）、特定した所定領域を切出画像として抽出し（Ｓ４４）、胸鎖乳突筋周辺の陰影を判定する（Ｓ４５）。ステップＳ４３からＳ４５の処理は、胸鎖乳突筋周辺の陰影を特徴として判定する処理であり、以下、当該処理の詳細について説明する。

図１１は胸鎖乳突筋周辺の陰影判定の処理の一例を示す模式図であり、図１２は切出画像の一例を示す模式図である。図１１に示すように、対象者が吸入動作を行っているときに撮像して得られた画像（撮像画像）の各フレームを、フレーム１、２、…、ｉ、…、Ｎとする。

画像切出部５８１は、抽出部としての機能を有し、取得した画像に基づいて所定筋肉を含む領域の切出画像（領域画像）を抽出する。図１１の例では、取得した画像のフレーム１、２、…、Ｎそれぞれに対応して、Ｎ個の切出画像が抽出されている。本明細書では、所定筋肉を胸鎖乳突筋として説明する。切出画像は、図１１に示すように、例えば、胸鎖乳突筋を含む所定の大きさの画像とすることができる。胸鎖乳突筋の位置は、例えば、所定部位としての首、耳などの位置から胸鎖乳突筋の位置を推定することができる。所定部位の判定は、例えば、ＯｐｅｎＰｏｓｅなどを用いることができ、胸鎖乳突筋の位置は所定部位の直線で結んだ中心点を中心とした任意の領域を切出画像とすることができる。

陰影判定部５８２（特徴判定部）は、画像切出部５８１で抽出した切出画像の輝度又は色相等、各種特徴量に基づいて胸鎖乳突筋周辺の陰影を特徴として判定する。陰影の特徴は、陰影の有無でもよく、陰影の程度でもよい。陰影の特徴は指標として表すことができ、例えば、陰影なしと判定した場合には、指標＝０とし、陰影ありと判定した場合には、指標＝１とすることができる。図１１の例では、ケース１として、切出画像１、２、…、Ｎのうち、切出画像ｉは、陰影ありと判定され、指標＝１がセットされ、その他の切出画像については、陰影なしと判定され、指標＝０がセットされている。この場合、指標（スコア）＝１がセットされた切出画像ｉに陰影ありと判定することができる。

また、陰影を程度で判定する場合には、陰影の程度に応じて、指標を０から１の範囲の数値で表すことができる。図１１の例では、ケース２として、切出画像１、２、…、Ｎのうち、切出画像（ｉ－１）は、指標＝０．７がセットされ、切出画像（ｉ）は、指標＝０．９がセットされ、切出画像（ｉ＋１）は、指標＝０．６がセットされ、その他の切出画像については、指標＝０がセットされている。この場合、値が最も大きい指標（０．９）がセットされた切出画像ｉに陰影ありと判定することができる。

吸入動作を行うと、胸鎖乳突筋が浮き出て胸鎖乳突筋の周辺に陰影が現れる。陰影の有無や程度は、例えば、領域画像内の所要領域間や画素間の輝度又は色相の差として捉えることができる。これにより、所定筋肉周辺の陰影を特徴として判定することができる。

制御部５１は、ＯｐｅｎＰｏｓｅなどを用いて取得したボーンから手首と鼻の特徴点が一定の距離以内にあるフレームを判定対象フレームとして抽出し（Ｓ４６）、判定対象フレームの所要フレーム間での肩の移動量を判定する（Ｓ４７）。ステップＳ４６からＳ４７の処理は、肩の移動量を特徴として判定する処理であり、以下、当該処理の詳細について説明する。

図１３は判定対象フレームの抽出例を示す説明図であり、図１４は肩の移動量判定の処理の一例を示す模式図である。図１３に示すように、ＯｐｅｎＰｏｓｅなどを用いて取得したボーンから手首と鼻の特徴点が一定の距離以内にあるフレームを判定対象フレームとする。例えば、手首と鼻の特徴点の距離が１００ピクセル以内のフレームを判定対象としたとき、フレーム１～７は判定対象フレームである。なお、手首と鼻の特徴点の距離は１００に限定されるものではなく、他の数でもよい。

肩移動量判定部５８３（特徴判定部）は、ＯｐｅｎＰｏｓｅなどを用いて取得したボーンから手首と鼻の特徴点が一定の距離以内にあるフレームを含む画像に基づいて、所要のフレーム間での肩の移動量を特徴として判定する。判定対象フレーム（図ではフレーム１～７）では、吸入動作が行われていると推定できるので、当該フレーム内では、吸入動作に伴う肩の動きがあると考えられる。図１４では、フレーム１～７それぞれの撮像画像上で、肩の位置を符号Ｓ１～Ｓ７で示す。所要のフレーム間とは、ある基準のフレームと他の複数のフレームそれぞれとの間でもよく、時間的に隣り合うフレーム間でもよい。

図１４のケース１では、フレーム１を基準のフレームとし、フレーム１と２との間での肩の移動ベクトルを＜Ｌ１２＞とし、フレーム１と３との間での肩の移動ベクトルを＜Ｌ１３＞とし、以下、同様にして、フレーム１と７との間での肩の移動ベクトルを＜Ｌ１７＞としている。なお、図面では、ベクトルを矢印で表記するが、明細書では、便宜上、ベクトルをかっこ（＜＞）で表す。肩の移動ベクトルのベクトル成分は、画像内の座標値の距離（例えば、ユークリッド距離等）及び移動の向き（例えば、ラジアン又は角度等）を使用する。これらを肩の移動量判定の入力値（移動量ベクトル）として扱う。移動量ベクトル＜Ｌ＞は、＜Ｌ＞＝（＜Ｌ１２＞＜Ｌ１３＞…＜Ｌ１７＞で表すことができる。肩の移動量をスカラで表す場合には、画像内の座標値の距離又は移動の向きの最大値又は平均値で算出することができる。

図１４のケース２は、時間的に隣り合うフレーム間での移動量を求める場合であり、フレーム１と２との間での肩の移動ベクトルを＜Ｌ１２＞とし、フレーム２と３との間での肩の移動ベクトルを＜Ｌ２３＞とし、以下、同様にして、フレーム６と７との間での肩の移動移動ベクトルを＜Ｌ６７＞としている。肩の移動ベクトルのベクトル成分は、画像内の座標値の距離（例えば、ユークリッド距離等）及び移動の向き（例えば、ラジアン又は角度等）を使用する。これらを肩の移動量判定の入力値（移動量ベクトル）として扱う。
移動量ベクトル＜Ｌ＞は、＜Ｌ＞＝（＜Ｌ１２＞＜Ｌ２３＞…＜Ｌ６７＞）で表すことができる。肩の移動量をスカラで表す場合には、画像内の座標値の距離又は移動の向きの最大値又は平均値で算出することができる。なお、図１４において、フレーム数が多い場合には、一部のフレームを間引いて移動量を求めてもよい。

なお、肩の移動量ベクトルに代えて、スカラを用いる場合には、分類器５８３ａに代えて、ルールベースの判別器を用いることができる。この場合、肩の移動量スカラと所定の閾値との差に応じて指標を算出することができる。

制御部５１は、判定対象フレームの所要フレーム間での上体の移動量を判定する（Ｓ４８）。ステップＳ４８の処理は、腰の角度の変化量を特徴として判定する処理であり、以下、当該処理の詳細について説明する。

図１５は上体の移動量判定の処理の一例を示す模式図である。図１４の場合と同様、フレーム１～７は判定対象フレームである。上体移動量判定部５８４（特徴判定部）は、ＯｐｅｎＰｏｓｅなどを用いて取得したボーンから手首と鼻の特徴点が一定の距離以内にあるフレームを含む画像に基づいて、所要のフレーム間での腰の角度の変化量を特徴として判定する。

所要のフレーム間とは、時間的に隣り合うフレーム間とすることができるが、フレーム数が多い場合には、一部のフレームを間引いて変化量を求めてもよい。

腰の変化量は、腰の角度の変化量とすることができる。例えば、判定対象フレーム内でＯｐｅｎＰｏｓｅなどを用いて取得したボーンから首と腰の特徴点を直線で結んだ際、水平と直線の角度を腰の角度とする。上体の移動量は、腰の角度の変化量として捉えることができる。

図１５に示すように、フレーム１を基準のフレームとし、フレーム１と２との間での腰の角度の変化量をΔＡ１２とし、フレーム１と３の間での腰の角度の変化量をΔＡ１３とし、以下、同様にしてフレーム１と７の間で腰の角度の変化量をΔＡ１７としている。腰の角度の変化量をベクトルで表す場合には変化量ベクトル＜Ａ＞は、＜Ａ＞＝（ΔＡ１２、ΔＡ１３、…、ΔＡ１７）で表すことができ、腰の角度の移動量をスカラで表す場合には、例えば、腰の角度の変化量の最大値又は平均値で表すことができる。

動作推定部５４は、特徴判定部５８で判定した特徴に基づいて吸入動作を推定することができる。吸入動作が行われると、胸鎖乳突筋の周辺の陰影、肩の動き、上体の動きなどが特徴として表れるので、当該特徴に基づいて吸入動作を推定することができる。

制御部５１は、陰影、肩の移動量及び上体の移動量それぞれに所要の重み付け係数を付与して評価指標を算出し（Ｓ４９）、吸入動作を推定し（Ｓ５０）、処理を終了する。以下、評価指標の算出の詳細について説明する。

動作推定部５４は、評価指標算出部５９で算出した評価指標に基づいて吸入動作を推定する。例えば、評価指標Ｅの値が大きいほど、吸入動作をしている可能性が高いと推定でき、逆に、評価指標Ｅの値が小さいほど、吸入動作をしている可能性が低いと推定できる。医師は、評価指標Ｅの値に基づいて、対象者が吸入動作を行っているか否かの判断を行うことができる。

図１６は評価指標の算出時の重み付け係数の第１例を示す説明図である。評価指標算出部５９は、対象者の体型を含む属性に応じて異なる重み付け係数を付与して評価指標を算出することができる。例えば、肥満型の人よりもやせ型の人の方が、吸入動作時に胸鎖乳突筋の周辺に陰影が現れやすい傾向があり、また、やせ型の人よりも肥満型の人方が、吸入動作時に肩の動きが大きくなる傾向がある。そこで、図１６に示すように、対象者がやせ型である場合、陰影のスコアに対する重み付け係数ｗ１を大きい値とし、肩の移動量のスコアに対する重み付け係数ｗ２を小さい値とし、上体の移動量のスコアに対する重み付け係数ｗ３を中くらいの値とする。また、対象者が肥満型である場合、陰影のスコアに対する重み付け係数ｗ１を小さい値とし、肩の移動量のスコアに対する重み付け係数ｗ２を大きい値とし、上体の移動量のスコアに対する重み付け係数ｗ３を中くらいの値とする。属性には、体型だけでなく、年齢などを含めることができる。これにより、対象者の属性に応じて精度よく吸引動作を推定することができる。

評価指標算出部５９は、設定部としての機能を有し、医師の指導に基づいて吸入動作を行ったとき等の正しい吸入動作が行われていると客観的に判断可能な際の動作を予め記憶しておくことで、対象者を撮像して得られた複数のフレームを含む画像に基づいてガイドの指標に用いることや、特徴判定部５８が判定した特徴を用いて所要の重み付け係数を設定することができる。対象者の属性は、体型や年齢だけでなく、性別、身長、体重、筋力、血圧、肥満度、運動能力など様々な特性が考えられ、一律に数値で表せない場合もある。そこで、医師による吸引動作の指導の際に対象者の吸引動作を撮影し、判定した特徴（胸鎖乳突筋の周辺の陰影、肩の移動量、上体の移動量）を表す個々の指標Ｅ１、Ｅ２、Ｅ３にどのような重み付け係数ｗ１、ｗ２、ｗ３を付与すれば、正しい吸引動作を表す評価指標Ｅとなるかを逆算して、重み付け係数ｗ１、ｗ２、ｗ３を設定することができる。

評価指標算出部５９は、自宅などで処方箋に基づいて吸入動作を行う際に撮像した画像に基づいて得られた指標Ｅ１、Ｅ２、Ｅ３に、設定した重み付け係数を付与して評価指標を算出することができる。重み付け係数は、対象者が医師の指導の下、正しい吸引動作を行ったときの評価指標が得られるように設定されているので、評価指標が大きい場合には、正しい吸引動作が行われていると精度よく推定でき、逆に、評価指標が小さい場合には、誤った吸引動作が行われていると精度よく推定できる。

対象者ＤＢ５６は、記憶部としての機能を有し、対象者に対して指示された吸入薬の使用条件を記憶することができる。使用条件は、例えば、１日の吸入回数、次の吸入までの時間間隔などの医師による処方箋に基づく吸入薬の使用条件である。

制御部５１は、出力部としての機能を有し、動作推定部５４で吸入動作が推定されない場合、または推定した吸入動作が使用条件と一致しない場合、通信部５２を介して対象者装置１０へ警告を出力することができる。例えば、対象者が吸入動作を忘れていると判定される場合、あるいは指示された１日の吸入回数や、次の吸入までの時間間隔を守っていないと判定される場合には、警告を出力することにより、対象者に指示通りの吸入動作を行うように注意喚起することができる。

サーバ５０は、ＣＰＵ（プロセッサ）、ＲＡＭなどを備えたコンピュータを用いて実現することもできる。図９及び図１０に示すような処理の手順を定めたコンピュータプログラム（記録媒体に記録可能）をコンピュータに備えられた記録媒体読取部で読み取り、読み取ったコンピュータプログラムをＲＡＭにロードし、コンピュータプログラムをＣＰＵ（プロセッサ）で実行することにより、コンピュータ上でサーバ５０を実現することができる。

本実施の形態の吸入動作推定装置は、対象者を撮像して得られた画像を取得する取得部と、前記取得部で取得した画像に基づいて、前記対象者の姿勢及び／又は前記対象者の人体の所定部位を判定する姿勢判定部と、前記姿勢判定部で判定した姿勢、前記対象者の所定部位の特徴量又は動きの変化量の少なくともいずれか１つに基づいて前記対象者による吸入薬の吸入動作を推定する動作推定部とを備える。

本実施の形態のコンピュータプログラムは、コンピュータに、対象者を撮像して得られた画像を取得する処理と、取得した画像に基づいて、前記対象者の姿勢及び／又は前記対象者の人体の所定部位を判定する処理と、判定した姿勢、前記対象者の所定部位の特徴量又は動きの変化量の少なくともいずれか１つに基づいて前記対象者による吸入薬の吸入動作を推定する処理とを実行させる。

本実施の形態の吸入動作推定方法は、対象者を撮像して得られた画像を取得し、取得された画像に基づいて、前記対象者の姿勢及び／又は前記対象者の人体の所定部位を判定し、判定された姿勢、前記対象者の所定部位の特徴量又は動きの変化量の少なくともいずれか１つに基づいて前記対象者による吸入薬の吸入動作を推定する。

取得部は、対象者を撮像して得られた画像を取得する。対象者の撮像には、例えば、カメラ等の動画像を撮像できる対象者装置を使用することができる。対象者を撮像する場合、対象者の吸入動作時の姿勢を判定しやすくするため、対象者の右側面や左側面から撮影することができる。

姿勢判定部は、取得部で取得した画像に基づいて対象者の姿勢及び／又は前記対象者の人体の所定部位を判定する。姿勢判定には、例えば、２Ｄ画像に基づいて人体の姿勢の特徴点をディープラーニングに利用して検知する技術（例えば、ＯｐｅｎＰｏｓｅ）を用いることができる。取得した画像に基づいて人体の複数の関節の位置を推定し、推定した関節の位置に基づいて対象者の姿勢を判定することができる。

姿勢判定部は、取得部で取得した画像に基づいて対象者の人体の所定部位を判定する。所定部位は、例えば、鼻、手首、腰などを含むことができる。

動作推定部は、姿勢判定部で判定した姿勢、対象者の所定部位の特徴量又は動きの変化量の少なくともいずれか１つに基づいて対象者による吸入薬の吸入動作を推定する。取得した画像に基づく対象者の姿勢と、予め定められた吸入動作時の正しい姿勢とを比較することにより、吸入動作を推定することができる。吸入動作の推定には、例えば、吸入動作を行っていることの確からしさを示す評価値を用いることができる。例えば、評価値が大きいほど、吸入動作を行っていると推定できる確率が高い。

所定部位は、例えば、鼻、手首、腰などを含む。例えば、鼻の位置と手首の位置との距離が所定範囲内であれば、対象者が吸入容器を手で掴み、吸入容器を口で咥えたと判定できるので、対象者が吸入動作をしようとしている、あるいは吸入動作を行っていると推定できる。また、例えば、鼻の位置と腰の位置とを結ぶ直線と水平線とのなす角度が所定範囲内であれば、対象者が吸入動作を行うときの正しい姿勢になっていると判定できるので、対象者が吸入動作をしようとしている、あるいは吸入動作を行っていると推定できる。

上述の構成により、吸入薬の吸入動作を推定することができる。

本実施の形態の吸入動作推定装置は、前記取得部で取得した画像に基づいて前記対象者の所定筋肉周辺の特徴、前記対象者の肩の動きの特徴及び上体の動きの特徴を判定する特徴判定部を備え、前記動作推定部は、前記特徴判定部で判定した特徴に基づいて吸入動作を推定する。

特徴判定部は、取得部で取得した画像に基づいて対象者の所定筋肉周辺の特徴、対象者の肩の動きの特徴及び上体の動きの特徴を判定する。所定筋肉は、例えば、頸部にある胸鎖乳突筋とすることができ、吸入動作を行うと、胸鎖乳突筋が浮き出て胸鎖乳突筋の周辺に陰影が現れる。吸入動作を行うと、肩の位置が移動する。対象者が椅子などに座って吸入動作を行うと、上体が移動する。上体の動きは、例えば、腰の角度の変化量として捉えることができる。

動作推定部は、特徴判定部で判定した特徴に基づいて吸入動作を推定する。吸入動作が行われると、胸鎖乳突筋の周辺の陰影、肩の動き、上体の動きなどが特徴として表れるので、当該特徴に基づいて吸入動作を推定することができる。

本実施の形態の吸入動作推定装置は、前記取得部で取得した画像に基づいて前記所定筋肉を含む領域の領域画像を抽出する抽出部を備え、前記特徴判定部は、前記抽出部で抽出した領域画像の輝度又は色相に基づいて前記所定筋肉周辺の陰影を前記特徴として判定する。

抽出部は、取得部で取得した画像に基づいて所定筋肉を含む領域の領域画像を抽出する。領域画像は、例えば、胸鎖乳突筋を含む所定の大きさの画像とすることができる。胸鎖乳突筋の位置は、例えば、所定部位としての首、耳などの位置から胸鎖乳突筋の位置を推定することができる。

特徴判定部は、抽出部で抽出した領域画像の輝度又は色相に基づいて所定筋肉周辺の陰影を特徴として判定する。陰影の特徴は、陰影の有無でもよく、陰影の程度でもよい。陰影の特徴は指標として表すことができ、例えば、陰影なしと判定した場合には、指標＝０とし、陰影ありと判定した場合には、指標＝１とすることができる。また、陰影を程度で判定する場合には、陰影の程度に応じて、指標を０から１の範囲の数値で表すことができる。吸入動作を行うと、胸鎖乳突筋が浮き出て胸鎖乳突筋の周辺に陰影が現れる。陰影の有無や程度は、例えば、領域画像内の所要領域間や画素間の輝度又は色相の差として捉えることができる。これにより、所定筋肉周辺の陰影を特徴として判定することができる。

本実施の形態の吸入動作推定装置において、吸入の初期動作を検知した際の複数の吸入動作判定対象フレームを含む画像に基づいて、所要のフレーム間での前記肩の移動量を前記特徴として判定する。

吸入の初期動作を検知した際に、例えば、ＯｐｅｎＰｏｓｅなどを用いて取得したボーンから手首と鼻の特徴点が一定の距離以内にあるフレームを吸入動作判定対象フレーム（判定対象フレーム）として抽出できる。特徴判定部は、判定対象フレームを含む画像に基づいて、所要のフレーム間での肩の移動量を特徴として判定する。移動量に応じて、指標を０から１の範囲の数値で表すことができる。判定対象フレームでは、吸入動作が行われていると推定できるので、当該フレーム内のフレームでは、吸入動作に伴う肩の動きがあると考えられる。所要のフレーム間とは、ある基準のフレームと他の複数のフレームそれぞれとの間でもよく、時間的に隣り合うフレーム間でもよい。これにより、当該フレームの前後それぞれの複数のフレームでの肩の位置を特定して得られた肩の移動量を特徴として判定することができる。

本実施の形態の吸入動作推定装置において、前記特徴判定部は、吸入の初期動作を検知した際の複数の吸入動作判定対象フレームを含む画像に基づいて、所要のフレーム間での前記上体の移動量を前記特徴として判定する。

吸入の初期動作を検知した際に、例えば、ＯｐｅｎＰｏｓｅなどを用いて取得したボーンから手首と鼻の特徴点が一定の距離以内にあるフレームを吸入動作判定対象フレーム（判定対象フレーム）として抽出できる。特徴判定部は、判定対象フレーム含む画像に基づいて、所要のフレーム間での上体の移動量を特徴として判定する。上体の移動量は、腰の角度の変化量として捉えることができる。腰の角度の変化量に応じて、指標を０から１の範囲の数値で表すことができる。判定対象フレームでは、吸入動作が行われていると推定できるので、当該フレーム内のフレームでは、吸入動作に伴う上体の移動（例えば、腰の角度の変化）があると考えられる。所要のフレーム間とは、時間的に隣り合うフレーム間とすることができる。これにより、当該フレーム内の複数のフレームでの上体の位置を特定して得られた腰の角度の変化量を特徴として判定することができる。

本実施の形態の吸入動作推定装置は、前記特徴判定部で判定した陰影、肩の移動量及び上体の移動量それぞれに所要の重み付け係数を付与して評価指標を算出する評価指標算出部を備え、前記動作推定部は、前記評価指標算出部で算出した評価指標に基づいて吸入動作を推定する。

評価指標算出部は、特徴判定部で判定した陰影、肩の移動量及び上体の移動量それぞれに所要の重み付け係数を付与して評価指標を算出する。例えば、陰影の特徴を指標Ｅ１で表し、肩の移動量の特徴を指標Ｅ２で表し、上体の移動量の特徴を指標Ｅ３で表すとする。陰影、肩の移動量及び上体の移動量それぞれに対する重み付け係数をｗ１、ｗ２、ｗ３とする。評価指標Ｅは、Ｅ＝ｗ１×Ｅ１＋ｗ２×Ｅ２＋ｗ３×Ｅ３という式で算出することができる。重み付け係数ｗ１、ｗ２、ｗ３は、予め決定しておくことができる。

動作推定部は、評価指標算出部で算出した評価指標に基づいて吸入動作を推定する。例えば、評価指標Ｅの値が大きいほど、吸入動作をしている可能性が高いと推定でき、逆に、評価指標Ｅの値が小さいほど、吸入動作をしている可能性が低いと推定できる。医師は、評価指標Ｅの値に基づいて、対象者が吸入動作を行っているか否かの判断を行うことができる。

本実施の形態の吸入動作推定装置は、前記評価指標算出部は、前記対象者の体型を含む属性に応じて異なる重み付け係数を付与して評価指標を算出する。

評価指標算出部は、対象者の体型を含む属性に応じて異なる重み付け係数を付与して評価指標を算出する。例えば、肥満型の人よりもやせ型の人の方が、吸入動作時に胸鎖乳突筋の周辺に陰影が現れやすい傾向があり、また、やせ型の人よりも肥満型の人方が、吸入動作時に肩の動きが大きくなる傾向がある。そこで、対象者がやせ型である場合、重み付け係数ｗ１、ｗ２、ｗ３を、それぞれ大きい値、小さい値、中くらいの値とし、対象者が肥満型である場合、重み付け係数ｗ１、ｗ２、ｗ３を、それぞれ小さい値、大きい値、中くらいの値とすることができる。属性には、体型だけでなく、年齢などを含めることができる。これにより、対象者の属性に応じて、精度よく吸引動作を推定することができる。

本実施の形態の吸入動作推定装置は、医師の指導に基づいて吸入動作を行ったときの前記対象者を撮像して得られた複数のフレームを含む画像に基づいて前記特徴判定部が判定した特徴を用いて所要の重み付け係数を設定する設定部を備え、前記評価指標算出部は、前記設定部で設定した重み付け係数を付与して評価指標を算出する。

設定部は、医師の指導に基づいて吸入動作を行ったときの対象者を撮像して得られた複数のフレームを含む画像に基づいて特徴判定部が判定した特徴を用いて所要の重み付け係数を設定する。対象者の属性は、体型や年齢だけでなく、性別、身長、体重、筋力、血圧、肥満度、運動能力など様々な特性が考えられ、一律に数値で表せない場合もある。そこで、医師による吸引動作の指導の際に対象者の吸引動作を撮影し、判定した特徴（胸鎖乳突筋の周辺の陰影、肩の移動量、上体の移動量）を表す個々の指標にどのような重み付け係数ｗ１、ｗ２、ｗ３を付与すれば、正しい吸引動作を表す評価指標となるかを逆算して、重み付け係数ｗ１、ｗ２、ｗ３を設定することができる。

評価指標算出部は、設定部で設定した重み付け係数を付与して評価指標を算出する。重み付け係数は、対象者が医師の指導の下、正しい吸引動作を行ったときの評価指標が得られるように設定されているので、評価指標が大きい場合には、正しい吸引動作が行われていると精度よく推定でき、逆に、評価指標が小さい場合には、誤った吸引動作が行われていると精度よく推定できる。

本実施の形態の吸入動作推定装置は、前記対象者に対して指示された吸入薬の使用条件を記憶する記憶部と、前記動作推定部で吸入動作が推定されない場合、または推定した吸入動作が前記使用条件と一致しない場合、警告を出力する出力部とを備える。

記憶部は、対象者に対して指示された吸入薬の使用条件を記憶する。使用条件は、例えば、１日の吸入回数、次の吸入までの時間間隔などの医師による処方箋に基づく吸入薬の使用条件である。

出力部は、動作推定部で吸入動作が推定されない場合、または推定した吸入動作が使用条件と一致しない場合、警告を出力する。例えば、対象者が吸入動作を忘れていると判定される場合、あるいは指示された１日の吸入回数や、次の吸入までの時間間隔を守っていないと判定される場合には、警告を出力することにより、対象者に指示通りの吸入動作を行うように注意喚起することができる。

本実施の形態の吸入動作推定装置は、前記対象者の対象者装置からの要求に基づいて吸入動作を支援する支援情報を前記対象者装置へ提供する提供部を備える。

提供部は、対象者の対象者装置からの要求に基づいて吸入動作を支援する支援情報を対象者装置へ提供する。支援情報は、例えば、吸入動作のやり方を説明するガイダンス動画や音声案内などを含む。これにより、対象者が吸入容器の取り扱いに不慣れであっても、正しい吸引動作を行えるように支援することができる。

本実施の形態の吸入動作推定装置は、前記対象者が使用する吸入容器に関する容器情報を取得する容器情報取得部を備え、前記提供部は、前記容器情報取得部で取得した容器情報に応じた支援情報を提供する。

容器情報取得部は、対象者が使用する吸入容器に関する容器情報を取得する。容器情報は、例えば、吸入容器のタイプ（種類）を含む。容器情報の取得は、例えば、対象者が吸入容器をカメラで撮像して得られた画像に基づいて、吸入容器のタイプを判定して取得してもよく、あるいは対象者が吸入容器のタイプを入力して得られた情報に基づいて、吸入容器のタイプを判定して取得してもよい。

提供部は、容器情報取得部で取得した容器情報に応じた支援情報を提供する。これにより、吸入容器のタイプに応じて吸入容器の取り扱い方が異なる場合でも、対象者が使用する吸入容器に合わせて最適な支援情報を提供することができる。

１ 通信ネットワーク
１０ 対象者装置
１１ 制御部
１２ 通信部
１３ 記憶部
１４ 出力部
２０ 指導者装置
２１ カメラ
５０ サーバ
５１ 制御部
５２ 通信部
５３ 姿勢判定部
５４ 動作推定部
５５ 支援情報提供部
５６ 対象者ＤＢ
５７ 記憶部
５８ 特徴判定部
５８１ 画像切出部
５８２ 陰影判定部
５８３ 肩移動量判定部
５８３ａ 分類器
５８４ 上体移動量判定部
５８４ａ 分類器
５９ 評価指標算出部

Claims (12)

1. 対象者を撮像して得られた画像を取得する取得部と、
   前記取得部で取得した画像に基づいて、前記対象者の姿勢及び／又は前記対象者の人体の所定部位を判定する姿勢判定部と、
   前記姿勢判定部で判定した姿勢、前記対象者の所定部位の特徴量又は動きの変化量の少なくともいずれか１つに基づいて前記対象者による吸入薬の吸入動作を推定する動作推定部と、
   前記取得部で取得した画像に基づいて前記対象者の所定筋肉周辺の特徴、前記対象者の肩の動きの特徴及び上体の動きの特徴を判定する特徴判定部と
   を備え、
   前記動作推定部は、
   前記特徴判定部で判定した特徴に基づいて吸入動作を推定する吸入動作推定装置。
2. 前記取得部で取得した画像に基づいて前記所定筋肉を含む領域の領域画像を抽出する抽出部を備え、
   前記特徴判定部は、
   前記抽出部で抽出した領域画像の輝度又は色相に基づいて前記所定筋肉周辺の陰影を前記特徴として判定する請求項１に記載の吸入動作推定装置。
3. 前記特徴判定部は、
   吸入の初期動作を検知した際の複数の吸入動作判定対象フレームを含む画像に基づいて、所要のフレーム間での前記肩の移動量を前記特徴として判定する請求項２に記載の吸入動作推定装置。
4. 前記特徴判定部は、
   吸入の初期動作を検知した際の複数の吸入動作判定対象フレームを含む画像に基づいて、所要のフレーム間での前記上体の移動量を前記特徴として判定する請求項２又は請求項３に記載の吸入動作推定装置。
5. 前記特徴判定部で判定した陰影、肩の移動量及び上体の移動量それぞれに所要の重み付け係数を付与して評価指標を算出する評価指標算出部を備え、
   前記動作推定部は、
   前記評価指標算出部で算出した評価指標に基づいて吸入動作を推定する請求項２から請求項４のいずれか一項に記載の吸入動作推定装置。
6. 前記評価指標算出部は、
   前記対象者の体型を含む属性に応じて異なる重み付け係数を付与して評価指標を算出する請求項５に記載の吸入動作推定装置。
7. 医師の指導に基づいて吸入動作を行ったときの前記対象者を撮像して得られた複数のフレームを含む画像に基づいて前記特徴判定部が判定した特徴を用いて所要の重み付け係数を設定する設定部を備え、
   前記評価指標算出部は、
   前記設定部で設定した重み付け係数を付与して評価指標を算出する請求項５に記載の吸入動作推定装置。
8. 前記対象者に対して指示された吸入薬の使用条件を記憶する記憶部と、
   前記動作推定部で吸入動作が推定されない場合、または推定した吸入動作が前記使用条件と一致しない場合、警告を出力する出力部と
   を備える請求項１から請求項７のいずれか一項に記載の吸入動作推定装置。
9. 前記対象者の対象者装置からの要求に基づいて吸入動作を支援する支援情報を前記対象者装置へ提供する提供部を備える請求項１から請求項８のいずれか一項に記載の吸入動作推定装置。
10. 前記対象者が使用する吸入容器に関する容器情報を取得する容器情報取得部を備え、
    前記提供部は、
    前記容器情報取得部で取得した容器情報に応じた支援情報を提供する請求項９に記載の吸入動作推定装置。
11. コンピュータに、
    対象者を撮像して得られた画像を取得する処理と、
    取得した画像に基づいて、前記対象者の姿勢及び／又は前記対象者の人体の所定部位を判定する処理と、
    判定した姿勢、前記対象者の所定部位の特徴量又は動きの変化量の少なくともいずれか１つに基づいて前記対象者による吸入薬の吸入動作を推定する処理と、
    取得した画像に基づいて前記対象者の所定筋肉周辺の特徴、前記対象者の肩の動きの特徴及び上体の動きの特徴を判定する処理と、
    判定した特徴に基づいて吸入動作を推定する処理と
    を実行させるコンピュータプログラム。
12. 対象者を撮像して得られた画像を取得し、
    取得された画像に基づいて、前記対象者の姿勢及び／又は前記対象者の人体の所定部位を判定し、
    判定された姿勢、前記対象者の所定部位の特徴量又は動きの変化量の少なくともいずれか１つに基づいて前記対象者による吸入薬の吸入動作を推定し、
    取得された画像に基づいて前記対象者の所定筋肉周辺の特徴、前記対象者の肩の動きの特徴及び上体の動きの特徴を判定し、
    判定された特徴に基づいて吸入動作を推定する吸入動作推定方法。

Images