JP6621127B1 - 医療用装身器具の自己抜去監視システム及び医療用装身器具の自己抜去監視方法 - Google Patents

Abstract

【課題】監視画像から監視対象者を適切に特定して自己抜去に関連する動作を自動的に認識し、対応が必要な場合には、監視者に迅速且つ正確な通知を自動的に行うこと。【解決手段】撮影部１１０と、監視対象者を特定する監視対象特定部１２３と、監視対象者の身体に装着されている医療用装身器具の装着位置を特定する装着位置特定部１２４と、監視対象者の動作を認識する動作認識部１２５と、医療用装身器具の装着位置と、監視対象者の動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定部１２７と、対応要求通知を出力する対応要求通知出力部１３０と、を備え、装着位置特定部１２４は、ニューラルネットワークを有する機械学習型の画像認識手段によって、監視画像中の医療用装身器具１１を認識して、その装着位置を特定する、医療用装身器具の自己抜去監視システム１００とする。【選択図】図１

Description

本発明は、カテーテル等、医療現場において患者の身体に装着して用いられる各種の医療デバイス（本明細書においては、これらを「医療用装身器具」と総称する）の自己抜去に起因する医療事故を防止することを目的とする「医療用装身器具の自己抜去監視システム」又は「医療用装身器具の自己抜去防止用監視方法」に関する。

従来、医療現場では、生命維持に関わるような医療用装身器具の自己抜去による医療事故がしばしば発生していた。これを回避するために、やむを得ず、抑制帯を用いて患者の両手をベッドに縛り付け抑制する対処も行われていた。このような抑制は、患者に精神的苦痛を強いるのみならず、過度の運動制限による機能低下を引き起こしやすいという観点からも望ましい対処手段ではなかった。又、実際に、様々な状態にある全ての患者を、一律に物理的な拘束手段によって拘束することは現実に許容される対応ではなく、自己抜去防止を目的とした患者の監視作業が、多くの医療現場において、必須且つ見落としの許されない作業として大きな負担となっていた。

そこで、自己抜去防止を目的とした患者の監視作業の負担を軽減する手段として、カテーテルや気管切開チューブ等の「医療用装身器具」が無断で抜去された場合に、様々な仕組みで警報が発せられる各種の自己抜去防止用の警報装置が提案されている。

自己抜去防止を目的とした装置の一例として、特許文献１には、カテーテルに接続して用いられる装置であって、カテーテルの抜去を感知可能なセンサーが内蔵されていることにより、自己抜去事故が起こると、警報音が発生する警報装置が開示されている。

又、特許文献２には、患者の指等と気管切開チューブの双方に磁気等を発する検出部を予め装着することにより、患者の手と気管切開チューブとの距離を検出し、この距離が一定以下となったときに警報を発するが開示されている。

しかしながら、特許文献１に開示されている警報装置は、カテーテル等が完全に引き抜かれた後にしか警報が発生されないので、自己抜去事故の早期発見には寄与しうるが、これを未然に防止することはできなかった。

又、特許文献２に開示されている警報装置は、全ての患者に対して指輪状等の検出部を間違いなく装着させる作業自体が煩雑であり、又、患者の身体に装着した検出部が故意或いは偶然に装着位置から離脱してしまうことによる誤認知を十分に防ぐことも難しかった。

このように、従来の何れの監視手段においても、自己抜去防止を目的とした監視の精度は未だ不十分であり、監視画像から監視対象者を適切に特定して自己抜去に関連する動作を自動的に認識し、対応が必要な場合には、監視者に迅速且つ正確な通知を自動的に行うことができる監視手段が多くの医療機関において切実に求められていた。

登録実用新案公報第３１３１８４９号公報 特開２０１８−１３８０９４号公報

本発明は、以上の状況に鑑みてなされたものであり、監視画像から監視対象者を適切に特定して自己抜去に関連する動作を自動的に認識し、対応が必要な場合には、監視者に迅速且つ正確な通知を自動的に行うことができる医療用装身器具の自己抜去監視手段を提供することを目的とする。

本発明は、以下の解決手段により、上述の課題を解決する。

（１） 医療用装身器具の自己抜去監視システムであって、監視対象者を撮影する撮影部と、前記撮影部が撮影した監視画像中の監視対象者を特定する監視対象特定部と、前記監視対象特定部によって特定された監視対象者の身体に装着されている前記医療用装身器具の装着位置を特定する装着位置特定部と、前記監視対象特定部によって特定された監視対象者の動作を認識する動作認識部と、前記装着位置と、前記動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定部と、前記対応要否判定部によって対応が必要であると判定された場合に、対応要求通知を出力する対応要求通知出力部と、を備え、前記装着位置特定部は、ニューラルネットワークを有する機械学習型の画像認識手段によって、前記監視画像中の前記医療用装身器具を認識して、その装着位置を特定する、自己抜去監視システム。

（１）の発明は、監視対象特定部、装着位置特定部、動作認識部、及び対応要否判定部と、備える自己抜去監視システムにおいて、装着位置特定部による医療用装身器具の装着位置の特定を、ニューラルネットワークを有する機械学習型の画像認識手段によって、監視画像中の医療用装身器具を認識することによって行うこととした。。これにより「自己抜去」の発生若しくは発生リスクの認識精度を維持したまま、自己抜去監視システムの自動化・省力化を更に進めることが可能となり、監視者の監視作業に係る負担を軽減することができる。

又、（１）の発明においては、各病院等において用いられる医療用装身器具の種類、形状、使用態様を、ニューラルネットワークを有する機械学習型の画像認識手段に必要に応じて追加学習させることにより、使用場所毎の個別の実態に即して、認識率を暫時更に高水準に向上させていくことができる。

（２） 前記監視画像に設定されている座標軸を３６０°逐次回転させて座標変換を行う座標変換部を、更に備え、前記動作認識部は、前記座標軸が監視対象者の姿勢に応じた適切な角度に回転されたときに前記監視画像中の監視対象者の動作を認識する、（１）に記載の自己抜去監視システム。

（２）の発明は、（１）の自己抜去監視システムにおいて、更に、監視画像に設定されている座標軸を回転させる座標変換を行う座標変換部をも備える構成とすることにより、横臥状態にある患者等、正立状態にない監視対象者の動作の認識精度を向上させることができる。これにより、病院等において、「自己抜去」の発生若しくは発生リスクを、十分な精度で迅速に認識して監視者に通知することができ、監視者の監視負担を軽減することができる。

（３） 前記動作認識部は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部と、前記骨格抽出部が抽出した前記特徴点の監視対象領域を構成する３次元空間内における位置を特定する特徴点位置特定部と、を含んでなり、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象者の動作を認識する、（１）又は（２）に記載の自己抜去監視システム。

（３）の発明は、（１）又は（２）の自己抜去監視システムにおいて、動作認識部を、例えば、後述の「ＯｐｅｎＰｏｓｅ」等の画像解析手段を用いることにより、監視対象者の複数の特徴点が連接されてなる骨格を抽出し、これら各特徴点の位置や速度を解析することによって、監視対象者の動作を認識することができる構成とした。これによれば、監視者が認識すべき各種の動作等を、監視対象者の体形等に関わらずより高い精度でもれなく認識することができ、又、監視画像の表示を骨格情報のみによる表示とすることにより、監視対象者のプライバシーに配慮した監視態様とすることもできる。

（４） 前記動作認識部は、前記監視画像中における前記監視対象者の視線方向を検知する、視線方向検知部を、更に備え、前記対応要否判定部は、前記視線方向の前記装着位置を目視する方向に対する相対的変動量及び変動速度が、所定の変動量及び変動速度である場合に対応が必要であると判定する、（１）から（３）の何れかに記載の自己抜去監視システム。

（４）の発明は、（１）から（３）の何れかの自己抜去監視システムにおいて、更に、監視対象者の視線方向を検知することができる手段を更に備えるものとした。これにより、監視対象者の体幹や四肢の動作解析のみによっては事前の認識が困難な抜去事故につながる可能性の高い事前動作を検知して自己抜去の発生リスクにかかる情報を監視者に通知することができる。

（５） 前記監視画像中における前記装着位置の周辺の色の変化から血液の流出を検知する出血検知部を、更に備え、前記対応要否判定部は、前記出血検知部が所定量以上の血液の流出を検知した場合にも、対応が必要であると判定する、（１）から（４）の何れかに記載の自己抜去監視システム。

（５）の発明は、（１）から（４）の何れかの自己抜去監視システムにおいて、更に、医療用装身器具の装着位置の周辺での出血も検知できる手段を更に備えるものとした。これにより、監視対象者の動作解析のみによっては事前の認識が困難な抜去事故も含めて、あらゆる抜去事故を遅滞なく監視者に通知することができる。

（６） 医療用装身器具の自己抜去監視方法であって、撮影部が監視対象者を撮影する監視撮影ステップと、監視対象特定部が、前記監視撮影ステップにおいて撮影した監視画像中の監視対象者を特定する監視対象特定ステップと、装着位置特定部が、前記監視対象特定ステップにおいて特定された監視対象者の身体に装着されている医療用装身器具の装着位置を特定する装着位置特定ステップと、動作認識部が、前記監視対象特定ステップにおいて特定された前記監視対象者の動作を認識する動作認識ステップと、対応要否判定部が、前記装着位置と、前記動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定ステップと、対応要求通知出力部が、前記対応要否判定ステップにおいて対応が必要であると判定された場合に対応要求通知を出力する対応要求通知出力ステップと、を含んでなり、装着位置特定ステップにおいては、前記装着位置特定部は、ニューラルネットワークを有する機械学習型の画像認識手段によって、前記監視画像中の前記医療用装身器具を認識して、その装着位置を特定する、自己抜去監視方法。

（６）の発明は、監視撮影ステップ、監視対象特定ステップ、装着位置特定ステップ、動作認識ステップ、対応要否判定ステップ、及び、対応要求出力ステップ備える自己抜去監視方法において、装着位置特定ステップにおける医療用装身器具の装着位置の特定を、ニューラルネットワークを有する機械学習型の画像認識手段によって、監視画像中の医療用装身器具を認識することによって行うこととした。これにより「自己抜去」の発生若しくは発生リスクの認識精度を維持したまま、自己抜去監視システムの自動化・省力化を更に進めることが可能となり、監視者の監視作業に係る負担を軽減することができる。

又、（６）の発明においては、各病院等において用いられる医療用装身器具の種類、形状、使用態様を、ニューラルネットワークを有する機械学習型の画像認識手段に必要に応じて追加学習させることにより、使用場所毎の個別の実態に即して、認識率を暫時更に高水準に向上させていくことができる。

（７） 前記監視対象特定ステップに先行して、前記監視画像に設定される座標軸を３６０°逐次回転させて座標変換を行う座標変換ステップが行われ、前記動作認識ステップにおいては、前記座標軸が監視対象者の姿勢に応じた適切な角度に回転されたときに前記監視画像中の監視対象者の動作を認識する、（６）に記載の自己抜去監視方法。

（７）の発明は、（６）の自己抜去監視方法において、更に、監視対象特定ステップにおいて、監視画像中の座標を回転させることにより、横臥状態による患者等の動作の認識精度を向上させてることができる。これにより、病院等において、「自己抜去」の発生若しくは発生リスクを、十分な精度で迅速に認識して監視者に通知することができ、監視者の監視負担を軽減することができる。

（８） 前記動作認識ステップにおいては、複数の特徴点を連接する骨格線で構成される前記監視対象者の骨格を抽出する骨格抽出処理と、前記骨格抽出処理によって抽出された前記特徴点の監視対象領域を構成する３次元空間内における位置を特定する特徴点位置特定処理とが行われ、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象者の動作を認識する、（６）又は（７）に記載の自己抜去監視方法。

（８）の発明は、（６）又は（７）の自己抜去監視方法において、動作認識ステップを、例えば、後述の「ＯｐｅｎＰｏｓｅ」等の画像解析手段を用いることにより、監視対象者の複数の特徴点が連接されてなる骨格を抽出し、これら各特徴点の位置や速度を解析することによって、監視対象者の動作を認識することができるプロセスとしたものである。これによれば、監視者が認識すべき各種の動作等を、監視対象者の体形等に関わらずより高い精度でもれなく認識することができ、又、監視画像の表示を骨格情報のみによる表示とすることにより、監視対象者のプライバシーに配慮した監視態様とすることもできる。

（９） 前記動作認識ステップにおいては、前記監視画像中における前記監視対象者の視線方向を検知する、視線方向検知処理が、更に行われ、前記対応要否判定ステップにおいては、前記視線方向の前記装着位置を目視する方向に対する相対的変動量及び変動速度が、所定の変動量及び変動速度である場合に対応が必要であると判定される、（６）から（８）の何れかに記載の自己抜去監視方法。

（９）の発明は、（６）から（８）の何れかの自己抜去監視方法において、更に、監視対象者の視線方向を検知する処理を行うプロセスとした。これにより、監視対象者の体幹や四肢の動作解析のみによっては事前の認識が困難な抜去事故につながる可能性の高い事前動作を検知して自己抜去の発生リスクにかかる情報を監視者に通知することができる。

（１０） 前記動作認識ステップにおいては、前記監視画像中における前記装着位置の周辺の色の変化から血液の流出を検知する出血検知処理が、更に行われ、前記対応要否判定ステップにおいては、前記動作認識部が所定量以上の血液の流出を検知した場合に、対応が必要であると判定される、（６）から（９）の何れかに記載の自己抜去監視方法。

（１０）の発明は、（６）から（９）の何れかの自己抜去監視方法において、更に、医療用装身器具の装着位置の周辺での出血も検知できる処理を更に行うプロセスとした。これにより、監視対象者の動作解析のみによっては事前の認識が困難な抜去事故も含めて、あらゆる抜去事故を遅滞なく監視者に通知することができる。

本発明によれば、監視画像から監視対象者を適切に特定して自己抜去に関連する動作を自動的に認識し、対応が必要な場合には、監視者に迅速且つ正確な通知を自動的に行うことができる医療用装身器具の自己抜去監視手段を提供することができる。

医療用装身器具の自己抜去監視システムの構成及び動作の概略を模式的に示す図である。 医療用装身器具の自己抜去監視システムの基本構成の説明に供するブロック図である。 医療用装身器具の自己抜去監視方法の動作の流れを示すフローチャートである。 医療用装身器具の自己抜去監視システム及び監視方法における座標変換処理の動作説明に供する模式図である。 医療用装身器具の自己抜去監視システム及び監視方法における装着位置特定処理の動作説明に供する模式図である。 医療用装身器具の自己抜去監視システム及び監視方法における装着位置特定処理の動作説明に供する模式図である。 本発明の医療用装身器具の自己抜去監視システムを構成する動作認識部によって認識される監視対象者の動作と視線方向の検知の態様の一例を模式的に示す図面である。 医療用装身器具の自己抜去監視システムを構成する対応要否判定部において、対応の要否の判定を行うために参照される評価基準を記憶するための記憶装置内の記憶用のテーブルの一例を示す図面である。

＜自己抜去監視システム＞
［全体構成］
図１に示す通り、本発明の自己抜去監視システム（自己抜去監視システム１００）においては、先ず、病院等における、監視対象者（患者）１０の滞在している監視対象者滞在エリア（病室）２１０等の監視対象領域内が撮影部（監視カメラ）１１０により撮影され、撮影された監視画像の解析により、監視対象者（患者）１１０による、医療用装身器具の装着位置Ｐに対する特定の動作（例えば、図１中における監視対象者１０の動作）が認識される。そして、医療用装身器具の装着位置Ｐに係る位置情報と特定の動作（例えば、図１中における監視対象者１０Ａの動作）との組合せが、特定の組合せであるか否かによって対応の要否が判定される。この結果、対応が必要であると判定された場合には、監視者滞在エリア２２０等、監視者２０の携帯する携帯情報処理端末等の対応要求通知出力部１３０に、対応要求通知が出力される。そして、対応要求通知を受信した監視者２０Ａは、必要な対応に速やかに着手することにより、自己抜去に起因する医療事故の発生の多くを未然に防止することができる。

図２は、自己抜去監視システム１００の構成を示すブロック図である。自己抜去監視システム１００は、図２に示す通り、少なくとも、撮影部１１０と、演算処理部１２０と、対応要求通知出力部１３０と、を含んで構成される。

又、演算処理部１２０は、少なくとも、監視対象特定部１２３、装着位置特定部１２４、動作認識部１２５、対応要否判定部１２７と、を含んで構成される。

又、演算処理部１２０は、少なくとも、監視対象特定部１２３、装着位置特定部１２４、動作認識部１２５、対応要否判定部１２７と、を含んで構成される。

自己抜去監視システム１００の演算処理部１２０は、上記各部のうち、特に、装着位置特定部１２４が、ニューラルネットワークを有する機械学習型の画像認識手段を備えていることによって、監視画像中の医療用装身器具を自動的に高い精度で認識して、その位置を特定する機能を有する点を主たる特徴とする。装着位置特定部１２４の構成、動作の詳細は後述する。

又、演算処理部１２０は、必要に応じて、更に、座標設定部１２１を含んで構成されることが好ましい。

又、演算処理部１２０は、必要に応じて、更に、座標変換部１２２を含んで構成されることが好ましい。但し、座標変換部１２２を、撮影部１１０の一部として自己抜去監視システム１００を構成することもできる。この場合は、演算処理部１２０に座標変換部１２２を備えさせることなく、座標変換処理を行うことができる。

自己抜去監視システム１００は、例えば、図４に示すように、座標変換部１２２によって、監視画像中の座標軸を９０°回転させる座標変換ステップ（Ｓ１５）を行うことにより、監視画像中において頭Ｈ、体幹Ｂ、脚部Ｌが水平方向（ｘ軸方向）に沿って位置していること（横臥状態にあること）により、監視画像中から「人」としての動作を認識することが難しい非正立状態の監視対象者１０についても、頭Ｈ、体幹Ｂ、脚部Ｌが、鉛直方向（ｙ軸方向）沿ってこの順で位置する正立状態にある「人」と同様にその動作を認識して、高い精度で、その動作を特定することができる。

尚、自己抜去監視システム１００は、撮影部１１０と演算処理部１２０と、対応要求通知出力部１３０を、それぞれ適切な離れた位置に配置して構成することができる。但し、本発明の自己抜去監視システムの構成は、このような配置からなる構成に限定されない。例えば、撮影部１１０と演算処理部１２０とが一体化されている装置とした構成、或いは、演算処理部１２０の一部を撮影部１１０内に搭載した構成とすることもできる。

［撮影部］
撮影部１１０は、所謂、監視カメラである。そして、この撮影部１１０は、監視対象領域を連続的に撮影する監視撮影ステップ（Ｓ１２）を行う。

尚、撮影部１１０を構成する監視カメラは、例えば、演算処理部１２０内に、後述する座標設定部１２１を備えさせることにより、監視対象領域を構成する３次元空間を２次元の画像として撮影する単眼のカメラで構成することができる。この場合、高価な３Ｄカメラを導入する必要はなく、自己抜去監視システム１００の導入コストを大幅に低減させることができる。

又、撮影部１１０は、撮像素子１１１と、撮影レンズ１１２と、画像処理部１１３とを備えるカメラで構成することができる。撮像素子１１１は、撮影レンズ１１２が結像する像を撮像して、画像処理部１１３へ送る。画像処理部１１３は、撮像素子１１１から出力されるデータを処理して画像データ化して、演算処理部１２０へ送信する。

上述の通り、撮影部１１０は、座標変換部１２２を備える構成とすることもできる。この場合、撮影部１１０は、座標変換ステップ（Ｓ１５）を行うための機構として、カメラ本体を回転させる回転機構、撮像素子１１１のみを回転させる回転機構、或いは、画像処理部１１３における演算処理として座標変換ステップ（Ｓ１３）を行うためのプログラムの何れかを備えるものとすればよい。

［演算処理部］
演算処理部１２０は、撮影部１１０から送信された画像データに対して、監視に必要な演算処理を行う。演算処理部１２０は、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成することができる。或いは、演算処理部１２０は、監視動作に特化した専用の装置として構成することもできる。これらの何れの構成においても、演算処理部１２０は、ＣＰＵ、メモリ、通信部等のハードウェアを備えている。そして、このような構成からなる演算処理部１２０は、コンピュータプログラム（監視プログラム）を実行することにより、以下に説明する各種動作、及び、監視方法を具体的に実行することができる。

演算処理部１２０は、撮影部１１０から画像データを受信することができるように撮影部１１０と接続されている。この接続は、専用の通信ケーブルを利用した有線接続、或いは、有線ＬＡＮによる接続とすることができる。又、有線接続に限らず、無線ＬＡＮや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続としてもよい。尚、演算処理部１２０は、撮影部１１０の近傍に配置せずに、撮影部１１０から離れた遠隔地に配置してもよい。

（座標設定部）
座標設定部１２１は、撮影部１１０が撮影した監視画像中の床面又は地面に相当する位置を監視対象領域３次元空間内における実寸法と関連付けて特定可能な座標を設定する座標設定ステップ（Ｓ１１）を行う。尚、撮影部１１０に３Ｄカメラや各種の距離センサー等を備えさせ、これにより監視対象領域内の奥行情報を得ることによっても上記座標を設定することもできる。

（座標変換部）
座標変換部１２２は、上述の座標変換ステップ（Ｓ１５）を行う。この座標変換は、監視画像に係る画像データに対する演算処理として行うことができる。

（監視対象特定部）
監視対象特定部１２３は、監視動作中に、撮影部１１０が撮影した監視画像中の任意の患者等を自動的に検出して、これを監視対象者として特定する監視対象特定ステップ（Ｓ１３）を行う。又、監視対象特定部１２３は、複数の監視対象者を同時に並行して個別に特定する機能を有するものであることがより好ましい。

監視対象特定部１２３は、従来公知の各種の画像解析方法のうちでも、特に、ニューラルネットワークを有する機械学習型の画像認識装置（所謂「ディープラーニング技術を用いた画像認識装置」）を用いて構成することが好ましい。「ディープラーニング技術を用いた画像認識装置」の代表的な例として、画像認識のアルゴリズムとして「Ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ （ＹＯＬＯ）」を用いた画像解析装置を挙げることができる。

（装着位置特定部）
装着位置特定部１２４は、監視画像を解析することによって、監視対象特定部１２３によって特定された監視対象者１０（１０ａ、１０ｂ、１０ｃ）の身体に装着されている医療用装身器具１１の装着位置Ｐ（Ｐａ、Ｐｂ、Ｐｃ）（図５参照）を、特定する装着位置特定ステップ（Ｓ１４）を行う。

自己抜去監視システム１００においては、装着位置特定部１２４を、ニューラルネットワークを有する機械学習型の画像認識装置（所謂「ディープラーニング技術を用いた画像認識装置」）を用いて構成する。「ディープラーニング技術を用いた画像認識装置」の代表的な例として、画像認識のアルゴリズムとして「Ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ （ＹＯＬＯ）」を用いた画像解析装置を挙げることができる。

装着位置特定部１２４を、このような「ディープラーニング技術を用いた画像認識装置」によって構成することにより、自己抜去監視システム１００においては、各病院等において用いられる医療用装身器具の種類、形状、使用態様を、ニューラルネットワークを有する機械学習型の画像認識手段に必要に応じて追加学習させることにより、使用場所毎の個別の実態に即して、認識率を暫時更に高水準に向上させていくことができる。

「ディープラーニング技術を用いた画像認識装置」によって構成される装着位置特定部１２４よれば、例えば、図６に示すように、監視画像中において、任意の特定形状からなる医療用装身器具１１の先端部１２を検出することも可能である。検出精度は、機械学習により十分に向上させることができる。或いは、医療用装身器具１１を患者の皮膚等に固定する粘着テープ１３を特定のサイズ・形状・色を有するものに特定し、これを装着位置特定部１２４に学習させることによっても、医療用装身器具の装着位置を高い精度で自動的に特定することができる。

（動作認識部）
動作認識部１２５は、監視対象特定部１２３によって特定された監視対象者の動作を認識する動作認識ステップ（Ｓ１６）を行う。ここで、監視対象者の「動作」とは、身体各部の位置及び動きのことを言う。又、「身体各部の位置及び動き」には、監視対象者の位置変動、位置変動を伴わない姿勢の変化等、骨格の特徴点の位置変動によって把握することが可能な監視対象者のあらゆる「身体各部の位置及び動き」が含まれる。これらの「動作」の特定は、従来公知の様々な画像解析方法によることができる。

又、動作認識部１２５は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部（図示せず）と、この骨格抽出部が抽出した特徴点の位置を特定する特徴点位置特定部（図示せず）と、を更に備えることが好ましい。骨格抽出部は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する（図７参照）。

図７に示すような、監視対象者の骨格の抽出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。一例として、下記文献に開示されている「ＯｐｅｎＰｏｓｅ」と称される技術を用いることにより、２次元の監視画像から「人」の骨格を抽出することができる。この場合において、動作認識部１２５は、上記の特徴点の「監視対象領域３次元空間内における位置」の変動に係る情報に基づいて、監視対象者の「動作」を認識することができる。
「Ｚｈｅ Ｃａｏ 他 Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ−Ｐｅｒｓｏｎ ２Ｄ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ， ＣＶＰＲ ２０１７」

但し、通常、「ＯｐｅｎＰｏｓｅ」等の公知の画像認識のアルゴリズムを用いた画像認識処理においては、頭部Ｈ（図４参照）が、身体各部の中で相対的に鉛直上方にある状態（正立状態）にはない「人」を、「人」として検知することができない場合が多く、ベッドに寝ている患者等、「横臥状態」にあって身体各部の相対位置が変化している監視対象者の動作の特定が十分な精度で行えない場合があった。自己抜去監視システム１００においては、監視画像に設定されるＸＹ座標等の座標軸を任意の角度で回転させる座標変換ステップ（Ｓ１５）を、このステップに先行して行うことにより、監視画像中において正立状態にない監視対象者も、高い精度で特定することができるようにしている。具体的に、自己抜去監視システム１００においては、座標変換部１２２によって監視画像の座標軸を任意の角度に回転させることにより、ＸＹ座標軸のＹ軸方向を監視対象の正立方向に合わせることによって、監視画像中において非正立状態にある監視対象の動作認識の精度の低下を防ぐことができる。

又、動作認識部１２５は、監視画像中における監視対象者の視線方向を検知する、視線方向検知部（図示せず）を、更に備えることがより好ましい。視線方向を検知するための具体的手段は特に限定されないが、例えば、図７に示すように、骨格抽出部及び特徴点位置特定部によっても、「監視対象者」の両耳と鼻の位置に対応する３か所の視線方向検知用の「特徴点」を結んで形成される三角形において、両耳の位置に対応する点を結んでなる底辺の中点から、鼻の位置に対応する点である頂点に向かう方向を、監視対象者の視線方向ｅとして検知することができる。

（出血検知部）
又、演算処理部１２０は、監視画像中における装着位置Ｐの周辺の色の変化から血液の流出を検知する出血検知部１２６を、更に備えることが好ましい。出血を検知する機能を有する限り、出血検知部１２６の具体的構成は特に限定されないが、例えば、特定位置（装着位置Ｐ）周辺に特定の色（赤色）が出現したことを判別して判別結果に係る情報を対応要否判定部１２７に出力することができる画像解析プログラム等により出血検知部１２６を構成することができる。

（対応要否判定部）
対応要否判定部１２７は、装着位置Ｐと監視対象者の動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定ステップ（Ｓ１７）を行う。又、演算処理部１２０が出血検知部１２６を備える場合には、対応要否判定部１２７は、出血に係る情報を要否判定の判断材料とすることができる。

対応要否判定部１２７は、装着位置特定部１２４及び動作認識部１２５によって取得した装着位置Ｐと監視対象者の動作との組合せについて、予め各種の記憶手段に登録されている評価基準と照合することによって、当該監視対象者に対する対応の要否を判定する。対応要否判定部１２７は、このような簡単な情報のマッチング解析が可能な各種の情報処理装置やプログラム等により構成することができる。

図８は、装着位置Ｐと監視対象者の動作との組合せに係る取得情報に加えて、更に、出血に係る取得情報を評価するための評価基準を記憶するための記憶装置内の記憶用のテーブルの一例である。図８に例示するように、視線方向、手の動き、出血、それぞれに係る取得情報から、自己抜去の発生を未然に若しくは速やかに認知して対応の要否を判定することができる。

［対応要求通知出力部］
対応要求通知出力部１３０は、監視画像を表示する監視画面を有し、又、対応要否判定部１２７によって対応が必要であると判定された場合には、対応要否判定部１２７の判定結果を対応要求通知として監視者２０が認知可能な形式で出力することができる情報出力手段を備える。

対応要求通知出力部１３０は、モニター付きのパーソナルコンピュータ、或いは、監視者が容易に持ち運ぶことができる小型の携帯情報処理端末等のように、対応要否判定部１２７が出力する判定結果に係る情報を、監視者が、認知可能な映像・文字・音声等で適宜表示することができる各種の情報処理端末、或いは、そのような要求に対応可能なモニター等を含む各種の情報表示装置によって構成することができる。

＜自己抜去監視方法＞
［全体構成］
図３は、自己抜去監視システム１００を用いて実行することができる本発明の自己抜去監視方法の流れを示すフローチャートである。

（座標設定ステップ）
座標設定ステップ（Ｓ１１）では、座標設定部１２１が、座標設定処理を行う。この座標設定ステップ（Ｓ１１）で行われる座標設定処理とは、好ましくは、座標設定部１２１が、撮影部１１０が撮影した監視画像中の床面又は地面に相当する位置を監視対象領域３次元空間内における実寸法と関連付けて特定可能な座標、即ち、監視対象領域についての奥行き情報も有する３次元座標を設定する処理である。

尚、この座標設定ステップ（Ｓ１１）は、監視領域を監視するための事前準備であって、これ以降のステップにより本稼働としての実際の監視が開始される。換言すると、座標設定ステップ（Ｓ１１）は、監視の本稼働の開始に先行して、撮影部１１０の設置後に少なくとも１回行われればよい。例えば、自己抜去監視システム１００を設置したときに適切に上記の座標を設定しておけば、その後、撮影部１１０の配置の変更等、監視画像の撮影条件に特段の変更がない限り、システム稼働中における再度の座標設定を不要とすることができる。

尚、撮影部１１０が、赤外線等を照射して距離測定を行う距離測定部、又はこれに相当する構成を有する場合においては、距離測定部によって撮影部から監視画像の背景に対応する実際の各点までの距離を実測し、この実測値に基づいて、上記同様、監視対象領域３次元空間内における実際の位置（実寸法、実距離）と関連付けられている座標を設定することができる。

（監視撮影ステップ）
監視撮影ステップ（Ｓ１２）では、撮影部１１０が、監視撮影を行う。ここで、監視撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることもできる。

（監視対象特定ステップ）
監視対象特定ステップ（Ｓ１３）では、監視対象特定部１２３が、撮影部１１０によって撮影された監視画像中の監視対象者を検出して特定したか否かについて判定を行う。監視対象者を検出して特定した場合（Ｓ１３、Ｙｅｓ）には、装着位置特定ステップ（Ｓ１４）へ進み、監視対象者が検出されていない場合（Ｓ１３、Ｎｏ）には、監視撮影ステップ（Ｓ１２）へ戻り、監視動作を継続する。

監視対象者の検出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。例えば、背景差分によって監視領域内の「人」を抽出することができる。この背景差分は公知の技術であり、監視カメラ２４で取得された画像データと、事前に取得しておいた監視領域Ａの背景画像との差分をとることで、動きのある監視対象を抽出する技術である。

又、検出した監視対象者の特定については、近年、画像認識分野において、認識率の飛躍的向上が注目を集めているディープラーニングを用いた画像認識技術と本発明との組合せが有効である。このような画像認識技術と組合せることにより、監視画像中の個別の監視対象者を自動的に、且つ、極めて高い認識正解率で検出して特定することができる。又、多数の監視対象を例えば、性別や年代別に分類認識して、同時並行的に検出して特定することもできる。

尚、ディープランニングを用いた画像認識技術については、例えば、下記に公開されている。
「ディープラーニングと画像認識、オペレーションズ・リサーチ」
（ｈｔｔｐ：／／ｗｗｗ．ｏｒｓｊ．ｏ．ｊｐ／ａｒｃｈｉｖｅ２／ｏｒ６０−４／ｏｒ６０＿４＿１９８．ｐｄｆ）

（装着位置特定ステップ）
装着位置特定ステップ（Ｓ１４）では、装着位置特定部１２４が、前記監視対象特定ステップ（Ｓ１３）において特定された監視対象者の身体に装着されている医療用装身器具の装着位置を自動的に特定する。具体的には、例えば、図５に示されるように、監視対象者１０（１０ａ、１０ｂ、１０ｃ）の身体に装着されている医療用装身器具１１の装着位置Ｐ（Ｐａ、Ｐｂ、Ｐｃ）を特定する装着位置の特定を、上述の通り、ニューラルネットワークを有する機械学習型の画像認識装置（所謂「ディープラーニング技術を用いた画像認識装置」）によって監視画像を解析することによって行う。

（座標変換ステップ）
座標変換ステップ（Ｓ１５）では、座標変換部１２２が、撮影部１１０が撮影した監視画像に設定されている座標軸を回転させる座標変換を行う。この座標変換は、ソフトウエアにおける処理として、演算処理として座標軸を回転させることによって行うことができる。又、座標軸は固定したまま、監視画像自体を回転させることによっても座標変換ステップ（Ｓ１５）を行うことができる。この監視画像の回転は、ソフトウエアにおける処理として、演算処理として画像データを変換することによって行うこともできるし、より簡易的な実施方法としては、撮影部１１０を構成する監視カメラ若しくはこれを構成する撮像素子を実際に回転させることによっても行うことができる。

座標変換ステップ（Ｓ１５）において、監視画像を３６０°逐次回転させ続けることにより、監視対象特定ステップ（Ｓ１３）において、立位、坐位・横臥状態等、あらゆる姿勢状態にある監視画像中の「人」の動作を、等しく高精度で抽出することができる。例えば、座標変換部１２２によって、監視画像中の座標軸を３６０°逐次回転させていく座標変換を連続的に行うことにより、図４（ａ）に示すような非正立状態の監視対象者１０についても、座標軸が９０°回転した時点で、正立状態にある「人」（図４（ｂ）参照）と同様に、高い精度で特定することができる。

（動作認識ステップ）
動作認識ステップ（Ｓ１６）では、動作認識部１２５が、監視対象特定ステップ（Ｓ１３）において特定した監視対象者の動作を認識する。この動作認識は、公知の各種の画像解析方法によることができる。動作認識ステップＳ１６を行うための画像解析方法は特定の方法に限定されないが、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部と、骨格抽出部が抽出した特徴点の３次元空間内における位置を特定する特徴点位置特定部と、を備えなる動作認識部１２５によって行われる動作認識方法によることが好ましい。以下、動作認識ステップＳ１６が、上記の骨格抽出部及び特徴点位置特定部を備える動作認識部１２５によって行われる場合の実施形態について、具体的に説明する。

図７は、骨格抽出部及び特徴点位置特定部を備える動作認識部１２５によって、監視対象領域空間内での監視対象者の動作（身体各部の位置及び動き）が認識されている状態を示す図である。ここでは、ベッドに横臥している監視対象者１０の姿勢や視線方向ｅが、動作認識部１２５によって認識されている。このように、骨格抽出部を備える動作認識部１２５は、監視対象者１０の骨格１０´を抽出することができる。ここで、本明細書における、監視対象者の「骨格」とは、監視対象者の複数の特徴点とこれらを連接してなる線状の図形である。

図７に示すような、監視対象者の骨格の抽出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。一例として、下記文献に開示されている「ＯｐｅｎＰｏｓｅ」と称される技術を用いることにより、２次元の監視画像から「人」の骨格を抽出することができる。
「Ｚｈｅ Ｃａｏ 他 Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ−Ｐｅｒｓｏｎ ２Ｄ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ， ＣＶＰＲ ２０１７」

例えば、上述の「ＯｐｅｎＰｏｓｅ」を用いることにより、監視対象者の複数の特徴点が連接されてなる骨格を抽出することが可能である。そして、これら各特徴点の「監視対象領域空間内における位置」を、例えば、上記の座標設定ステップによって予め設定されている座標を用いることによって特定し、特定された全ての特徴点の位置、速度を解析することによって、視線方向等も含めた監視対象者のあらゆる動作（身体各部の位置及び動き）を認識することができる。

尚、自己抜去監視システム１００においては、監視対象者がベッド等に寝ている状態での監視が必要となる場合が多い。従来の各種の画像認識プログラム及び同プログラムを用いた画像認識装置においては、多くの場合、正立状態、即ち、直立した状態の人間における身体各部の位置関係を認識のための特徴点としている。よって監視対象者が非正立状態、即ち、頭部の胴部と脚部の位置関係（上下関係）が直立した状態とは位置関係が異なる場合に、動作認識の精度が著しく低下する場合がある。しかしながら、座標変換ステップ（Ｓ１５）において、座標軸を適切に回転させることにより、ベッドに寝ている状態にある監視対象者であっても直立した状態の人間と同様に高い精度で動作を認識することができる。

（対応要否判定ステップ）
対応要否判定ステップ（Ｓ１７）では、対応要否判定部１２７が、監視対象者における医療用装身器具の装着位置と、当該監視対象者の動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定を行う。又、演算処理部１２０が出血検知部１２６を備える場合には、対応要否判定部１２７は、出血に係る情報を要否判定の判断材料とすることができる。

対応要否判定は、装着位置特定部１２４及び動作認識部１２５によって取得した装着位置Ｐと監視対象者の動作との組合せについて、予め各種の記憶手段に登録されている評価基準と照合することによって行われる。図８に例示するように、視線方向、手の動き、出血、それぞれに係る取得情報から、自己抜去の発生を未然に若しくは速やかに認知して対応の要否を判定することができる。

対応要否判定ステップ（Ｓ１７）において、対応要否判定部１２７が、監視対象者の動作等から対応が必要であると判定した場合（Ｓ１７、Ｙｅｓ）には、対応要求通知出力ステップ（Ｓ１８）へ進み、監視対象者の動作等から対応が必要ではないと判定した場合（Ｓ１７、Ｎｏ）には、監視撮影ステップ（Ｓ１２）へ戻る。

（対応要求通知出力ステップ）
対応要求通知出力ステップ（Ｓ１８）では、演算処理部１２０が、監視対象者に対する対応が必要であると判定した場合に、対応要求通知を対応要求通知出力部１３０に出力する。対応要求通知の形式は監視者２０がどの監視対象者に対して対応が必要であるのかを識別できる形式であれば特定の形式に限定されない。監視対象者を他の対象から区別する特定の色の囲み枠線、動作の状態を認識可能な当該監視対象者の骨格情報、対応を必要としていることを示すサイン（光の点滅や警告音等）等が監視者２０の保持する、対応要求通知出力部１３０から出力されることが好ましい。

尚、対応要求通知出力ステップ（Ｓ１８）では、演算処理部１２０が、監視を終了するか否かを判定する。監視終了は、例えば、監視終了の命令が入力された場合に終了と判定される。終了する場合（Ｓ１９、Ｙｅｓ）には、監視動作を終了し、それ以外の場合（Ｓ１９、Ｎｏ）には、監視撮影ステップ（Ｓ１２）へ戻り、監視を継続する。

１００ 自己抜去監視システム
１１０ 撮影部（監視カメラ）
１１１ 撮像素子
１１２ 撮影レンズ
１１３ 画像処理部
１２０ 演算処理部
１２１ 座標設定部
１２２ 座標変換部
１２３ 監視対象特定部
１２４ 装着位置特定部
１２５ 動作認識部
１２６ 出血検知部
１２７ 対応要否判定部
１３０ 対応要求通知出力部（携帯端末）
２１０ 監視対象者滞在エリア（病室）
２２０ 監視者滞在エリア
１０（１０Ａ） 監視対象者
１１ 医療用装身器具
１２ 先端部
１３ 粘着テープ
Ｐ 装着位置
２０ 監視者
Ｓ１１ 座標設定ステップ
Ｓ１２ 監視撮影ステップ
Ｓ１３ 監視対象特定ステップ
Ｓ１４ 装着位置特定ステップ
Ｓ１５ 座標変換ステップ
Ｓ１６ 動作認識ステップ
Ｓ１７ 対応要否判定ステップ
Ｓ１８ 対応要求通知出力ステップ

Claims (8)

1. 医療用装身器具の自己抜去監視システムであって、
   監視対象者を撮影する撮影部と、
   前記撮影部が撮影した監視画像中の監視対象者を特定する監視対象特定部と、
   前記監視対象特定部によって特定された監視対象者の身体に装着されている前記医療用装身器具の装着位置を特定する装着位置特定部と、
   前記監視対象特定部によって特定された監視対象者の動作を認識する動作認識部と、
   前記装着位置と、前記動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定部と、
   前記対応要否判定部によって対応が必要であると判定された場合に、対応要求通知を出力する対応要求通知出力部と、を備え、
   前記装着位置特定部は、ニューラルネットワークを有する機械学習型の画像認識手段によって、前記監視画像中の前記医療用装身器具を認識して、その位置を特定し、
   前記動作認識部は、前記監視画像中における前記監視対象者の視線方向を検知する、視線方向検知部を、更に備え、
   前記対応要否判定部は、前記視線方向の前記装着位置を目視する方向に対する相対的変動量及び変動速度が、所定の変動量及び変動速度である場合に対応が必要であると判定する、
   自己抜去監視システム。
2. 医療用装身器具の自己抜去監視システムであって、
   監視対象者を撮影する撮影部と、
   前記撮影部が撮影した監視画像中の監視対象者を特定する監視対象特定部と、
   前記監視対象特定部によって特定された監視対象者の身体に装着されている前記医療用装身器具の装着位置を特定する装着位置特定部と、
   前記監視対象特定部によって特定された監視対象者の動作を認識する動作認識部と、
   前記装着位置と、前記動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定部と、
   前記対応要否判定部によって対応が必要であると判定された場合に、対応要求通知を出力する対応要求通知出力部と、
   前記監視画像中における前記装着位置の周辺の色の変化から血液の流出を検知する出血検知部と、を備え、
   前記装着位置特定部は、ニューラルネットワークを有する機械学習型の画像認識手段によって、前記監視画像中の前記医療用装身器具を認識して、その位置を特定し、
   前記対応要否判定部は、前記出血検知部が所定量以上の血液の流出を検知した場合にも、対応が必要であると判定する、
   自己抜去監視システム。
3. 前記監視画像に設定されている座標軸を３６０°逐次回転させて座標変換を行う座標変換部を、更に備え、
   前記動作認識部は、前記座標軸が監視対象者の姿勢に応じた適切な角度に回転されたときに前記監視画像中の監視対象者の動作を認識する、
   請求項１又は２に記載の自己抜去監視システム。
4. 前記動作認識部は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部と、前記骨格抽出部が抽出した前記特徴点の監視対象領域を構成する３次元空間内における位置を特定する特徴点位置特定部と、を含んでなり、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象者の動作を認識する、
   請求項１から３の何れかに記載の自己抜去監視システム。
5. 医療用装身器具の自己抜去監視方法であって、
   撮影部が監視対象者を撮影する監視撮影ステップと、
   監視対象特定部が、前記監視撮影ステップにおいて撮影した監視画像中の監視対象者を特定する監視対象特定ステップと、
   装着位置特定部が、前記監視対象特定ステップにおいて特定された監視対象者の身体に装着されている医療用装身器具の装着位置を特定する装着位置特定ステップと、
   動作認識部が、前記監視対象特定ステップにおいて特定された前記監視対象者の動作を認識する動作認識ステップと、
   対応要否判定部が、前記装着位置と、前記動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定ステップと、
   対応要求通知出力部が、前記対応要否判定ステップにおいて対応が必要であると判定された場合に対応要求通知を出力する対応要求通知出力ステップと、
   を含んでなり、
   装着位置特定ステップにおいては、前記装着位置特定部は、ニューラルネットワークを有する機械学習型の画像認識手段によって、前記監視画像中の前記医療用装身器具を認識して、その位置を特定し、
   前記動作認識ステップにおいては、前記監視画像中における前記監視対象者の視線方向を検知する、視線方向検知処理が、更に行われ、
   前記対応要否判定ステップにおいては、前記視線方向の前記装着位置を目視する方向に対する相対的変動量及び変動速度が、所定の変動量及び変動速度である場合に対応が必要であると判定される、
   自己抜去監視方法。
6. 医療用装身器具の自己抜去監視方法であって、
   撮影部が監視対象者を撮影する監視撮影ステップと、
   監視対象特定部が、前記監視撮影ステップにおいて撮影した監視画像中の監視対象者を特定する監視対象特定ステップと、
   装着位置特定部が、前記監視対象特定ステップにおいて特定された監視対象者の身体に装着されている医療用装身器具の装着位置を特定する装着位置特定ステップと、
   動作認識部が、前記監視対象特定ステップにおいて特定された前記監視対象者の動作を認識する動作認識ステップと、
   対応要否判定部が、前記装着位置と、前記動作との組合せが、特定の組合せであるか否かによって対応の要否を判定する対応要否判定ステップと、
   対応要求通知出力部が、前記対応要否判定ステップにおいて対応が必要であると判定された場合に対応要求通知を出力する対応要求通知出力ステップと、
   を含んでなり、
   装着位置特定ステップにおいては、前記装着位置特定部は、ニューラルネットワークを有する機械学習型の画像認識手段によって、前記監視画像中の前記医療用装身器具を認識して、その位置を特定し、
   前記動作認識ステップにおいては、前記監視画像中における前記装着位置の周辺の色の変化から血液の流出を検知する出血検知処理が、更に行われ、
   前記対応要否判定ステップにおいては、前記動作認識部が所定量以上の血液の流出を検知した場合に、対応が必要であると判定される、
   自己抜去監視方法。
7. 前記監視対象特定ステップに先行して、前記監視画像に設定される座標軸を任意の角度で回転させる座標変換ステップが行われ、
   前記監視対象特定ステップにおいては、前記座標軸の回転中に前記監視画像中において正立状態にない監視対象を特定する、請求項５又は６に記載の自己抜去監視方法。
8. 前記動作認識ステップにおいては、複数の特徴点を連接する骨格線で構成される前記監視対象者の骨格を抽出する骨格抽出処理と、前記骨格抽出処理によって抽出された前記特徴点の監視対象領域を構成する３次元空間内における位置を特定する特徴点位置特定処理とが行われ、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象者の動作を認識する、
   請求項５から７の何れかに記載の自己抜去監視方法。

Images