JP6915421B2 - 見守り支援システム及びその制御方法 - Google Patents

見守り支援システム及びその制御方法 Download PDF

Info

Publication number
JP6915421B2
JP6915421B2 JP2017138405A JP2017138405A JP6915421B2 JP 6915421 B2 JP6915421 B2 JP 6915421B2 JP 2017138405 A JP2017138405 A JP 2017138405A JP 2017138405 A JP2017138405 A JP 2017138405A JP 6915421 B2 JP6915421 B2 JP 6915421B2
Authority
JP
Japan
Prior art keywords
motion
unit
image
bed
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017138405A
Other languages
English (en)
Other versions
JP2019020993A (ja
Inventor
達哉 村上
達哉 村上
信二 高橋
信二 高橋
田中 清明
清明 田中
純平 松永
純平 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2017138405A priority Critical patent/JP6915421B2/ja
Priority to PCT/JP2018/026210 priority patent/WO2019013257A1/ja
Publication of JP2019020993A publication Critical patent/JP2019020993A/ja
Application granted granted Critical
Publication of JP6915421B2 publication Critical patent/JP6915421B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G7/00Beds specially adapted for nursing; Devices for lifting patients or disabled persons
    • A61G7/05Parts, details or accessories of beds
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nursing (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Alarm Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)

Description

本発明は、ベッド上の対象者の見守りを支援するための技術に関する。
介護施設や病院等では、介護士や看護師などによる見守りの負担を減らすために、要介護者や患者の動作を検知して報知するセンサのニーズが増している。特許文献1には、患者の動作を検知し、患者の動作と容態に応じた報知を行う、見守り支援システムが開示されている。
特開2012−071004号公報
特許文献1のシステムでは、カメラで撮影した画像に基づき、患者の起床動作(ベッド上での起き上がり)や離床動作(ベッドから降りること)などの所定の動作を検知し、報知を行っている。しかしながら、実際の動き方には個人差があるため、患者によっては動作の検知に失敗したり検知精度が低下する可能性がある。また、同じ動き方でも、ある患者にとっては通常の動作であるが、別の患者にとっては異常な動作(あるいは危険な動作)である可能性もある。したがって、従来システムでは、「報知すべき動作を見過ごし報知しない」、「報知の必要がないにもかかわらず報知してしまう」などの問題が発生している。このような誤検知や過検知の発生は、システムの信頼性を低下させるため、望ましくない。
本発明は、上記実情に鑑みなされたものであって、動きの個人差にかかわらず、高精度かつ高信頼の報知を行うための技術を提供することを目的とする。
上記目的を達成するために、本発明では、対象者自身の通常の動作をあらかじめ学習し、通常の動作と比較することで対象者の動作の異常の有無を判定する、という方法を採用する。
具体的には、本発明の第一態様は、ベッド上の対象者の見守りを支援する見守り支援システムであって、前記対象者を撮影するように設置された撮像装置から画像を取得する画像取得部と、前記画像取得部により得られた画像から、前記対象者が所定の動作を行うときの特徴を動作特徴として抽出する特徴抽出部と、過去の所定期間に撮影された前記対象者の画像から前記特徴抽出部により抽出された動作特徴を基に、前記対象者の通常動作特徴を表すデータを生成する学習部と、前記学習部により生成された前記対象者の通常動作特徴を表すデータを記憶する記憶部と、現在撮影された前記対象者の画像から前記特徴抽出部により抽出された動作特徴を、前記記憶部に記憶されている前記通常動作特徴と比べることにより、現在の前記対象者の動作が通常の動作か異常な動作かを判定する判定部と、前記判定部により異常な動作と判定された場合に、報知を行う報知部と、を有することを特徴とする見守り支援システムを提供する。
この構成によれば、見守りの対象者自身の通常の動作を学習(記憶)し、その通常の動作と比較することで対象者の動作が異常であるか否かを判定するので、動きの個人差にか
かわらず、異常な動作を精度良く検知することができる。したがって、従来のような誤検知や過検知を減らすことができ、システムの信頼性を向上することができる。
前記所定期間に前記対象者が前記所定の動作を複数回行っている場合に、前記学習部は、複数回分の動作特徴を基に平均的な動作特徴を生成し、前記平均的な動作特徴を前記対象者の通常動作特徴とすることが好ましい。同じ人でも動作のたびに特徴のばらつきが生じる可能性があるところ、複数回分の動作特徴を基に平均的な動作特徴を生成することで、通常動作特徴の信頼性を向上することができる。
前記所定の動作は、起床動作、離床動作、又は、就床動作を含むとよい。これらの動作は個人差が大きいため、従来技術では検知精度の向上が難しいが、本発明によれば、個人差を考慮した高精度な異常判定を実現することができる。
前記特徴抽出部は、前記動作特徴として、頭部位置の軌跡、体重のかけ方、ベッドの柵の使用有無、及び、動作に要した時間のうち少なくとも1つを含むとよい。これらの動作特徴に個人差が現れやすいため、通常動作特徴の学習や通常動作特徴と現在の動作特徴との比較を行いやすく、高精度な異常判定を実現することができる。
なお、本発明は、上記構成ないし機能の少なくとも一部を有する見守り支援システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、見守り支援方法又は見守り支援システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
本発明によれば、ベッド上の対象者の状態ないし行動を高精度かつ高信頼に検知することができる。
図1は見守り支援システムのハードウェア構成および機能構成を模式的に示すブロック図である。 図2は撮像装置の設置例を示す図である。 図3Aは時系列画像データの模式図であり、図3Bは7項目の動作の開始と終了の判断ロジックの例を示す図である。 図4は7項目の動作の動作特徴の例を示す図である。 図5Aは起床動作の時系列画像の例を示す図であり、図5Bは時系列画像から抽出された頭部位置の軌跡の例を示す図であり、図5Cは時系列画像から抽出された体重のかけ方の例を示す図である。は回帰器の機械学習を模式的に示す図である。 図6は対象者の通常動作の学習処理のフローチャートである。 図7は対象者の動作の監視処理のフローチャートである。
本発明は、ベッド上の対象者の見守りを支援するための技術に関する。この技術は、病院や介護施設などにおいて、患者や要介護者などの離床・起床行動を自動で検知し、危険な状態が発生した場合などに必要な通知を行うシステムに適用することができる。このシステムは、例えば、高齢者、認知症患者、子供などの見守り支援に好ましく利用することができる。
以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし
、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
(システム構成)
図1と図2を参照して、本発明の実施形態に係る見守り支援システムの構成を説明する。図1は、見守り支援システム1のハードウェア構成および機能構成を模式的に示すブロック図であり、図2は、撮像装置の設置例を示す図である。
見守り支援システム1は、主なハードウェア構成として、撮像装置10と情報処理装置11を有している。撮像装置10と情報処理装置11の間は有線又は無線により接続されている。図1では、1つの撮像装置10のみ示しているが、複数台の撮像装置10を情報処理装置11に接続してもよい。
撮像装置10は、ベッド上の対象者を撮影して画像データを取り込むためのデバイスである。撮像装置10としては、モノクロ又はカラーの可視光カメラ、赤外線カメラ、三次元カメラなどを用いることができる。本実施形態では、夜間でも(部屋内が暗い場合でも)対象者の見守りを可能とするため、赤外線LED照明100と近赤外線カメラ101で構成される撮像装置10を採用する。撮像装置10は、図2に示すように、ベッド20の頭側上方から足側に向かって、ベッド20の全体を俯瞰するように設置される。撮像装置10は所定の時間間隔(例えば、30fps)で撮影を行い、その画像データは情報処理装置11に順次取り込まれる。
情報処理装置11は、撮像装置10から取り込まれる画像データをリアルタイムに分析し、ベッド20上の対象者21の状態や行動を自動で検知し、必要な場合に通知を行う機能を備える装置である。情報処理装置11は、具体的な機能モジュールとして、画像取得部110、動作検出部111、動作特徴抽出部112、学習部113、記憶部114、判定部115、報知部116を有している。
本実施形態の情報処理装置11は、CPU(プロセッサ)、メモリ、ストレージ(HDD、SSDなど)、入力デバイス(キーボード、マウス、タッチパネルなど)、通信インタフェースなどを具備する汎用のコンピュータにより構成され、上述した情報処理装置11の各モジュールは、ストレージ又はメモリに格納されたプログラムをCPUが実行することにより実現される。ただし、情報処理装置11の構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記モジュールの一部をクラウドサーバにより実行してもよいし、上記モジュールの一部をASICやFPGAのような回路で構成してもよい。
画像取得部110は、撮像装置10により撮影された画像を取得するためのモジュールである。画像取得部110より入力された画像データは一時的にメモリ又はストレージに記憶され、後述する動作検出、動作特徴の抽出、通常動作の学習、動作の監視などの各種処理に供される。
動作検出部111は、画像取得部110により取得された画像(動画像データないし時系列の画像データ)を分析し、見守り対象者21の所定の動作を検出するモジュールである。「所定の動作」は、本システムが監視の対象とする動作である。どのような動作を「所定の動作」に設定しても構わないが、見守り対象者21が一日の生活のなかで必ず行う動作を「所定の動作」に設定するとよい。必ず行う動作を日々監視することで、見守り対象者21の異常や異常の兆候を精度良く検知できると期待できるからである。動作検出部111は、画像取得部110により取得される画像のみから動作を検出してもよいが、他のセンサの検知結果を動作検出に利用してもよい。
動作特徴抽出部112は、画像取得部110により得られた画像から、見守り対象者21が所定の動作を行うときの特徴を「動作特徴」として抽出するモジュールである。「動作特徴」にはどのような特徴(特徴量とも称す)を用いてもよいが、個人差の現れやすい特徴を用いることが好ましい。1つの動作について1つの特徴だけでなく複数の特徴を抽出してもよい。動作特徴には、1フレームの画像から抽出される特徴を用いてもよいし、複数フレームの画像から抽出される特徴を用いてもよいし、画像の撮影時刻や動作の開始から終了までの時間などのように時間に関する特徴を用いてもよい。また、画像取得部110により得られた画像から抽出した特徴だけでなく、他のセンサの検知結果から抽出した特徴を動作特徴に加えてもよい。
学習部113は、過去の所定期間に撮影された見守り対象者21自身の画像から抽出された動作特徴を基に、その見守り対象者21の通常動作特徴を表すデータを生成するモジュールである。「所定期間」は任意に設定できるが、少なくとも1日間、好ましくは数日間であるとよい。また、学習部113の目的は、見守り対象者21の通常時の動作特徴(いつもの動き方)を学習することにあるため、見守り対象者21に異常が発生したときの画像は学習用の画像から除外するとよい。学習部113により生成された通常動作特徴を表すデータは記憶部114に格納される。
記憶部114は、見守り支援システム1が処理に用いる各種のデータを記憶するモジュールである。記憶部114には、少なくとも、動作検出、動作特徴の抽出、通常動作の学習、動作の監視などの各種処理で用いられるパラメータ、監視領域の設定情報、過去複数フレームの画像データ又は検出結果、見守り対象者21の通常動作特徴を表すデータを記憶するための記憶エリアが設けられる。
判定部115は、見守り対象者21の動作を監視し、異常な動作を検知するモジュールである。具体的には、判定部115は、現在撮影された見守り対象者21の画像(つまり、画像取得部110により取り込まれるリアルタイムの監視画像)から抽出された動作特徴を、記憶部114に記憶されている見守り対象者21の通常動作特徴と比べることにより、現在の見守り対象者21の動作が通常の動作か異常な動作かを判定する。すなわち、現在の動作特徴が通常動作特徴と同じか実質的に同じものであれば、見守り対象者21の動作は「通常の動作」と判定でき、現在の動作特徴が通常動作特徴と明らかに異なるものであれば、見守り対象者21の動作は「異常な動作」と判定できる。異常な動作(通常とは異なる動作)を見守り対象者21がとった場合、見守り対象者21に何らかの異常が発生した可能性がある。このように、このように、本システムでは、見守り対象者21自身の通常の動作と比較することで異常の有無を判定するので、動きの個人差にかかわらず、異常な動作を精度良く検知することができる。
報知部116は、判定部115により見守り対象者21の異常な動作が検知された場合に、必要な報知を行うモジュールである。報知部116は、見守り対象者21の動作の危険度合いに応じて、通知の要否(例えば、危険な状態の場合のみ通知を行う)、通知の内容(例えばメッセージの内容)、通知手段(例えば音声、メール、ブザー、警告灯)、通知先(例えば看護師、医師)、通知の頻度などを切り替えることができる。
(動作検出)
動作検出部111による動作検出処理の一例を説明する。本実施形態では、見守り対象者21の動作として、(1)朝の覚醒(睡眠状態から覚醒状態になること)、(2)起床(ベッド上で体を起こすこと)、(3)離床(ベッドから離れること)、(4)歩行(ベッドの周囲を歩くこと)、(5)食事、(6)就床(ベッドに寝た状態となること)、(7)夜の入眠(覚醒状態から睡眠状態になること)、の7項目の所定の動作を監視の対象
とする。以下、見守り対象者21を単に対象者21とも呼ぶ。
図3Aに示すように、画像取得部110から取得される時系列画像データには、対象者21が上記の所定の動作を行うシーンが含まれている。ただし、対象者21が各々の動作をいつ行うかは不明であるし、日によって異なる。そこで本システムでは、動作検出部111によって各動作の「開始」と「終了」を自動で検知することにより、時系列画像データから各動作に対応するパート(フレーム群)を特定する。
図3Bは、7項目の動作それぞれの開始判断ロジックと終了判断ロジックの一例を示している。なお、「起床」や「食事」のようにある程度の時間続く動作については「開始」と「終了」を判断するが、「朝の覚醒」や「夜の入眠」のように継続しない動作については「開始」のみ判断する。
(1)朝の覚醒
動作検出部111は、「目が開いたこと」及び/又は「身体が動いたこと」が検知された場合に、覚醒動作の「開始」と判断する。「目が開いたこと」は例えば公知の画像認識(顔器官検出など)により検知可能である。また「身体が動いたこと」は例えば公知の画像認識(人体検出など)により検知してもよいし、対象者21又はベッドに装着した加速度センサにより体動を検知してもよいし、ベッドサイドに設置した電波センサにより体動を検知してもよい。
(2)起床
動作検出部111は、「頭が枕又はベッドから離れたこと」が検知された場合に、起床動作の「開始」と判断する。「頭が枕又はベッドから離れたこと」は例えば公知の画像認識(頭部検出など)により検知してもよいし、枕又はベッドに設置した荷重センサにより検知してもよい。動作検出部111は、「頭がベッド中央位置に移動したこと」及び/又は「ベッド上に上半身が起立したこと」が検知された場合に、起床動作の「終了」と判断する。頭や上半身の位置・状態は例えば公知の画像認識により検知してもよいし、ベッドに設置した荷重センサにより検知してもよい。
(3)離床
動作検出部111は、「身体がベッドの降り口方向に移動したこと」が検知された場合に、離床動作の「開始」と判断する。身体の移動は例えば公知の画像認識により検知してもよいし、ベッドに設置した荷重センサにより検知してもよい。動作検出部111は、「身体がベッドから離れたこと」が検知された場合に、離床動作の「終了」と判断する。「身体がベッドから離れたこと」は例えば公知の画像認識により検知してもよいし、ベッドに設置した荷重センサにより検知してもよいし、人感センサにより検知してもよい。
(4)歩行
動作検出部111は、「身体がベッドから離れたこと」が検知された場合に、歩行動作の「開始」と判断する。「身体がベッドから離れたこと」は例えば公知の画像認識により検知してもよいし、ベッドに設置した荷重センサにより検知してもよいし、人感センサにより検知してもよい。動作検出部111は、「身体がベッドに戻ったこと」又は「身体が監視領域外へ移動したこと」が検知された場合に、歩行動作の「終了」と判断する。「身体がベッドに戻ったこと」は例えば公知の画像認識により検知してもよいし、ベッドに設置した荷重センサにより検知してもよいし、人感センサにより検知してもよい。「身体が監視領域外へ移動したこと」は例えば公知の画像認識により検知してもよいし、人感センサにより検知してもよい。
(5)食事
動作検出部111は、「配膳」及び/又は「口に食べ物を運んだこと」が検知された場合に、食事動作の「開始」と判断する。「配膳」や「口に食べ物を運んだこと」は例えば公知の画像認識により検知可能である。動作検出部111は、「下げ膳」及び/又は「食べ物が無くなったこと」が検知された場合に、食事動作の「終了」と判断する。「下げ膳」及び/又は「食べ物が無くなったこと」は例えば公知の画像認識により検知可能である。なお、病院や施設において配膳と下げ膳の時刻が予め決まっている場合には、その時刻をそのまま食事動作の開始時刻・終了時刻としてもよい。
(6)就床
動作検出部111は、「頭がベッドの中央位置から枕の方向に移動したこと」が検知された場合に、就床動作の「開始」と判断する。動作検出部111は、「頭が枕又はベッドに着いたこと」が検知された場合に、就床動作の「終了」と判断する。頭の位置・状態は例えば公知の画像認識により検知してもよいし、ベッド又は枕に設置した荷重センサにより検知してもよい。
(7)夜の入眠
動作検出部111は、「目が閉じたこと」及び/又は「身体の動きが停止したこと」が検知された場合に、入眠動作の「開始」と判断する。「目が閉じたこと」は例えば公知の画像認識(顔器官検出など)により検知可能である。また「身体の動きが停止したこと」は例えば公知の画像認識(人体検出など)により検知してもよいし、対象者21又はベッドに装着した加速度センサにより体動を検知してもよいし、ベッドサイドに設置した電波センサにより体動を検知してもよい。
(動作特徴の抽出)
動作特徴抽出部112による動作特徴抽出処理の一例を説明する。図4は、7項目の動作それぞれについて抽出する動作特徴の一例示している。
(1)朝の覚醒
動作特徴抽出部112は、例えば「目が開いた時刻」を覚醒動作の特徴として抽出する。時間情報については、画像データのタイムスタンプ又は本システムの内蔵時計から取得すればよい(以後同様である)。
(2)起床
動作特徴抽出部112は、例えば「頭部位置の軌跡」、「体重のかけ方(体重移動)」、「柵の使用有無」、「起床動作に要した時間」を起床動作の特徴として抽出する。図5Aは、起床動作の開始から終了までの時系列画像の一例を示している。動作検出部111により起床動作の開始が検出されると、動作特徴抽出部112が、画像から頭部を検出し、以後、起床動作の終了まで、頭部位置の追跡を行う。頭部検出及び追跡の方法については、公知の物体認識及び物体追跡アルゴリズムを用いればよい。図5Aの矩形枠は頭部の検出結果を示している。起床動作が終了したら、動作特徴抽出部112は、起床動作の開始から終了までのフレーム毎の頭部位置(例えば、矩形枠の中心座標)のデータを、「頭部位置の軌跡」として記録する。図5Bは、図5Aの時系列画像から抽出された頭部位置の軌跡を模式的に示している。この対象者21は、起き上がるときに頭部が身体の中心よりも左側を通る特徴(動きの癖)を有していることがわかる。
また図5Cは、図5Aの時系列画像から抽出された体重のかけ方(体重移動)を模式的に示している。図5Cにも、起き上がるときに上体を左側に傾けるという特徴が現れていることがわかる。「体重のかけ方」の特徴抽出はどのような方法でもよい。例えば、動作特徴抽出部112は、ベッドに設置した荷重センサの計測結果から対象者21の体圧分布を抽出してもよいし、画像から対象者21の姿勢、シルエット、頭部と体の位置などを検
出することで体圧分布や重心などを大まかに推定してもよい。
「柵の使用有無」は、対象者21がベッドから起き上がるときにベッド脇の柵を使用するか(掴むか)否かを示す情報である。動作特徴抽出部112は、例えば、画像から対象者21の手を検出し、手の位置とベッド脇の柵との位置関係に基づいて、対象者21が柵に手をかけているか否かを判定することができる。あるいは、柵に設置したタッチセンサにより対象者21が柵に触れていることを検知してもよい。「起床動作に要した時間」は、起床動作の終了時刻と開始時刻の差である。柵の使用有無や起床動作に要した時間なども個人差が現れやすい特徴である。
(3)離床
動作特徴抽出部112は、例えば「頭部位置の軌跡」、「体重のかけ方(体重移動)」、「柵の使用有無」、「離床動作に要した時間」を離床動作の特徴として抽出する。「頭部位置の軌跡」、「体重のかけ方(体重移動)」、「柵の使用有無」については、起床動作の特徴と同じ方法で抽出することができる。「離床動作に要した時間」は、離床動作の終了時刻と開始時刻の差である。
(4)歩行
動作特徴抽出部112は、例えば「移動速度」、「歩き方」を歩行動作の特徴として抽出する。動作特徴抽出部112は、複数フレーム間での対象者21の位置の変化に基づいて「移動速度」を求めることができる。「歩き方」としては、例えば、身体の折り曲げ具合(腹痛などの異常がある場合は身体を折り曲げる傾向にある)、歩幅、移動軌跡の揺れ、体幹の揺れなどの特徴を捉えてもよい。動作特徴抽出部112は、複数フレームの画像を分析することによりこれらの特徴を抽出することができる。
(5)食事
動作特徴抽出部112は、例えば「食事に要した時間」、「動きの量」を食事動作の特徴として抽出する。「食事に要した時間」は食事の終了時刻と開始時刻の差である。「動きの量」は、例えば、食事中に手を口に運んだ回数、咀嚼回数などの情報である。動作特徴抽出部112は、複数フレームの画像を分析することによりこれらの特徴とを抽出することができる。
(6)就床
動作特徴抽出部112は、例えば「頭部位置の軌跡」、「体重のかけ方(体重移動)」、「柵の使用有無」、「就床動作に要した時間」を就床動作の特徴として抽出する。「頭部位置の軌跡」、「体重のかけ方(体重移動)」、「柵の使用有無」については、起床動作の特徴と同じ方法で抽出することができる。「就床動作に要した時間」は、就床動作の終了時刻と開始時刻の差である。
(7)夜の入眠
動作特徴抽出部112は、例えば「目が閉じた時刻」を入眠動作の特徴として抽出する。まばたきとの誤認を防ぐため、動作特徴抽出部112は、目を閉じた状態が所定時間(例えば30秒)続いた場合に入眠と判断してもよい。
(通常動作の学習)
図6に、学習部113による対象者21の通常動作の学習処理のフローを示す。このフローは、システムの設置時や見守り対象者の変更時など、新しい対象者の動作の監視を開始する前に実行される。
学習処理がスタートすると、画像取得部110が所定期間分(例えば1日〜数日間分)
の画像データを取得する(ステップS60)。このとき、画像取得部110は撮像装置からリアルタイムに画像を取り込んでもよいし、撮影済みの画像データを記憶部118から読み込んでもよい。次に、動作検出部111が、ステップS60で取得した画像データから前述した7項目の動作を検出し(ステップS61)、動作特徴抽出部112が検出された動作それぞれの特徴を抽出する(ステップS62)。これにより、7項目の動作のそれぞれについて、1回〜複数回分の動作特徴が抽出される。
続いて、学習部113が、ステップS62で得られた1回〜複数回分の動作特徴に基づいて、当該対象者21の通常動作特徴を生成する(ステップS63)。学習用のデータとして1回分の動作特徴しか無い場合は、その動作特徴をそのまま通常動作特徴とすればよい。複数回分の動作特徴が存在する場合は、学習部113は、複数回分の動作特徴を基に平均的な動作特徴を生成する。具体的には、複数回分の動作特徴の平均、加重平均、最頻値、中間値などを計算すればよい。学習部113は、7項目の動作それぞれについて通常動作特徴を生成し、そのデータを記憶部114に登録する(ステップS64)。
以上述べた通常動作の学習処理が完了すると、本システムは対象者21の動作の監視を開始可能となる。なお、本実施形態では、システムの本稼働前に学習を完了する所謂オフライン学習の例を説明したが、システムの稼働中(対象者21の動作の監視中)に学習を継続する所謂オンライン学習を実行してもよい。その場合は、例えば、新しい対象者21の監視開始時は、通常動作特徴の初期値(工場設定値やユーザー設定値など)を用いて監視処理を行い、監視を続けながらオンライン学習を行うことで、通常動作特徴を対象者21本人の情報に置き換えていくとよい。
(動作の監視)
図7に、見守り対象者の動作の監視処理のフローを示す。このフローは、見守り対象者の通常動作の学習完了後に開始される。
まず、画像取得部110が撮像装置10から現在の画像データを取得する(ステップS70)。次に、動作検出部111が、現在の画像データ(又は直近複数フレームの画像データ)を用いて7項目のうちのいずれかの動作を検出する(ステップS71)。以後、ここで検出された動作を検出動作と呼ぶ。次に、動作特徴抽出部112が検出動作の動作特徴を抽出する(ステップS72)。動作特徴の種類及び抽出方法は前述のとおりである。
次に、判定部115が、記憶部114から検出動作の通常動作特徴を読み込み(ステップS73)、通常動作特徴とステップS72で抽出した現在の動作特徴とを比較する(ステップS74)。通常動作特徴と現在の動作特徴との差が閾値以下であれば、判定部115は、対象者21の現在の動作が通常の動作であると判定し(ステップS75)、(報知を行わずに)監視を継続する。他方、通常動作特徴と現在の動作特徴との差が閾値を超えていた場合は、判定部115は、対象者21の現在の動作に異常ありと判定し、報知部116から必要な報知を行った後(ステップS76)、監視を継続する。
以上述べた本実施形態によれば、見守りの対象者21自身の通常の動作を学習(記憶)し、その通常の動作と比較することで対象者21の動作が異常であるか否かを判定するので、動きの個人差にかかわらず、異常な動作を精度良く検知することができる。したがって、従来のような誤検知や過検知を減らすことができ、システムの信頼性を向上することができる。
<その他>
上記の各実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能
である。
例えば、上記実施形態では、7項目の動作について学習・監視を行ったが、この7項目の動作はあくまで一例であり、学習・監視の対象となる動作はこれらに限られない。また項目数は1つでもよいし複数でもよい。また上記の動作特徴もあくまで一例であり、画像や他のセンサの結果から抽出可能な情報であり、かつ、動作の個人差を把握可能な情報であれば、どのような情報を動作特徴として利用してもよい。
1:見守り支援システム
10:撮像装置、11:情報処理装置
100:照明、101:近赤外線カメラ、110:画像取得部、111:動作検出部、112:動作特徴抽出部、113:学習部、114:記憶部、115:判定部、116:報知部
20:ベッド、21:対象者

Claims (6)

  1. ベッド上の対象者の見守りを支援する見守り支援システムであって、
    前記対象者を撮影するように設置された撮像装置から画像を取得する画像取得部と、
    前記画像取得部により得られた画像から、前記対象者が所定の動作を行うときの特徴を動作特徴として抽出する特徴抽出部と、
    過去の所定期間に撮影された前記対象者の画像から前記特徴抽出部により抽出された動作特徴を基に、前記対象者の通常動作特徴を表すデータを生成する学習部と、
    前記学習部により生成された前記対象者の通常動作特徴を表すデータを記憶する記憶部と、
    現在撮影された前記対象者の画像から前記特徴抽出部により抽出された動作特徴を、前記記憶部に記憶されている前記通常動作特徴と比べることにより、現在の前記対象者の動作が通常の動作か異常な動作かを判定する判定部と、
    前記判定部により異常な動作と判定された場合に、報知を行う報知部と、
    を有し、
    前記動作特徴は、少なくとも、ベッドの柵の使用有無を含むことを特徴とする見守り支援システム。
  2. 前記所定期間に前記対象者が前記所定の動作を複数回行っている場合に、
    前記学習部は、複数回分の動作特徴を基に平均的な動作特徴を生成し、前記平均的な動作特徴を前記対象者の通常動作特徴とする
    ことを特徴とする請求項1に記載の見守り支援システム。
  3. 前記所定の動作は、起床動作、離床動作、又は、就床動作を含む
    ことを特徴とする請求項1又は2に記載の見守り支援システム。
  4. 記動作特徴は、さらに、頭部位置の軌跡、体重のかけ方、及び、動作に要した時間のうち少なくとも1つを含む
    ことを特徴とする請求項3に記載の見守り支援システム。
  5. ベッド上の対象者の見守りを支援する見守り支援システムの制御方法であって、
    前記対象者を撮影するように設置された撮像装置から画像を取得するステップと、
    取得された画像から、前記対象者が所定の動作を行うときの特徴を動作特徴として抽出するステップと、
    過去の所定期間に撮影された前記対象者の画像から抽出された動作特徴を基に、前記対象者の通常動作特徴を表すデータを生成するステップと、
    前記生成された前記対象者の通常動作特徴を表すデータを記憶部に記憶するステップと、
    現在撮影された前記対象者の画像から抽出された動作特徴を、前記記憶部に記憶されている前記通常動作特徴と比べることにより、現在の前記対象者の動作が通常の動作か異常な動作かを判定するステップと、
    異常な動作と判定された場合に、報知を行うステップと、
    を有し、
    前記動作特徴は、少なくとも、ベッドの柵の使用有無を含むことを特徴とする見守り支援システムの制御方法。
  6. 請求項5に記載の見守り支援システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。
JP2017138405A 2017-07-14 2017-07-14 見守り支援システム及びその制御方法 Active JP6915421B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017138405A JP6915421B2 (ja) 2017-07-14 2017-07-14 見守り支援システム及びその制御方法
PCT/JP2018/026210 WO2019013257A1 (ja) 2017-07-14 2018-07-11 見守り支援システム及びその制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017138405A JP6915421B2 (ja) 2017-07-14 2017-07-14 見守り支援システム及びその制御方法

Publications (2)

Publication Number Publication Date
JP2019020993A JP2019020993A (ja) 2019-02-07
JP6915421B2 true JP6915421B2 (ja) 2021-08-04

Family

ID=65002460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017138405A Active JP6915421B2 (ja) 2017-07-14 2017-07-14 見守り支援システム及びその制御方法

Country Status (2)

Country Link
JP (1) JP6915421B2 (ja)
WO (1) WO2019013257A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020190889A (ja) * 2019-05-21 2020-11-26 新生電子株式会社 要介護者見守りシステム
JP6583953B1 (ja) * 2019-06-27 2019-10-02 アースアイズ株式会社 医療用装身器具の自己抜去監視システム及び医療用装身器具の自己抜去監視方法
JP2021106319A (ja) * 2019-12-26 2021-07-26 キヤノン株式会社 人体検出装置、人体検出装置の処理方法およびプログラム
JP7388200B2 (ja) * 2020-01-16 2023-11-29 コニカミノルタ株式会社 リハビリテーションを支援する情報の提供の方法およびリハビリテーション支援システム
JP6828838B1 (ja) * 2020-03-10 2021-02-10 株式会社リコー 情報処理装置、情報処理システム、情報提供方法、及びプログラム
JP7518699B2 (ja) 2020-08-28 2024-07-18 京セラ株式会社 システム、電子機器、電子機器の制御方法、及びプログラム
WO2022163016A1 (ja) * 2021-01-29 2022-08-04 株式会社ナインアワーズ 睡眠監視カプセル及び睡眠監視システム
JP2023013078A (ja) * 2021-07-15 2023-01-26 パナソニックIpマネジメント株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7237382B1 (ja) 2021-12-24 2023-03-13 知能技術株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP7161812B1 (ja) 2022-07-25 2022-10-27 株式会社Cross Sync 意識状態解析装置及びプログラム、並びに観察システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230555A (ja) * 2001-02-01 2002-08-16 Noa Syst:Kk 動きを検知する検知装置及び方法
JP2007072964A (ja) * 2005-09-09 2007-03-22 Ishihara Sangyo:Kk 離床予測自動感知通報方法と同自動感知通報システム
JP6413310B2 (ja) * 2014-04-10 2018-10-31 富士通株式会社 見守り装置、表示方法及びプログラム
JP6699000B2 (ja) * 2015-11-27 2020-05-27 株式会社レイトロン 照明装置

Also Published As

Publication number Publication date
WO2019013257A1 (ja) 2019-01-17
JP2019020993A (ja) 2019-02-07

Similar Documents

Publication Publication Date Title
JP6915421B2 (ja) 見守り支援システム及びその制御方法
US20230222887A1 (en) Machine learning based monitoring system
US9375142B2 (en) Learning patient monitoring and intervention system
JP6588978B2 (ja) 人の向き及び/又は位置の自動検出のための装置、システム、及び方法
JP6822328B2 (ja) 見守り支援システム及びその制御方法
EP3432772B1 (en) Using visual context to timely trigger measuring physiological parameters
US20210219873A1 (en) Machine vision to predict clinical patient parameters
US10463294B2 (en) Video monitoring to detect sleep apnea
JP6952299B2 (ja) 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法
WO2020145380A1 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
JP6292283B2 (ja) 行動検知装置および行動検知方法ならびに被監視者監視装置
KR20190006670A (ko) 동영상 기반 발작 추적감시 방법 및 장치
JP6822326B2 (ja) 見守り支援システム及びその制御方法
CN113384247A (zh) 照护系统与自动照护方法
JP6611871B1 (ja) 監視装置
Ianculescu et al. Improving the Elderly’s Fall Management through Innovative Personalized Remote Monitoring Solution
Martinez et al. A vision-based system for breathing disorder identification: A deep learning perspective
JP7314939B2 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
JP7310327B2 (ja) 行動検知装置、それを備えるシステム、行動検知方法、および、プログラム
JP2005004787A (ja) 行動計測装置、電子的装置及び記録媒体
WO2020003951A1 (ja) コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
WO2020137061A1 (ja) 情報表示方法、プログラムおよび情報表示装置
JP6729512B2 (ja) 見守り支援システム及びその制御方法
WO2020003953A1 (ja) コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
JP2023105966A (ja) 入居者の状態の変化を検知するためにコンピューターによって実行される方法、プログラム、および、入居者の状態変化検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200305

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20201027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210628

R150 Certificate of patent or registration of utility model

Ref document number: 6915421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250