JP6406371B2 - 見守り支援システム及びその制御方法 - Google Patents

見守り支援システム及びその制御方法 Download PDF

Info

Publication number
JP6406371B2
JP6406371B2 JP2017039401A JP2017039401A JP6406371B2 JP 6406371 B2 JP6406371 B2 JP 6406371B2 JP 2017039401 A JP2017039401 A JP 2017039401A JP 2017039401 A JP2017039401 A JP 2017039401A JP 6406371 B2 JP6406371 B2 JP 6406371B2
Authority
JP
Japan
Prior art keywords
area
bed
subject
wake
reclining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017039401A
Other languages
English (en)
Other versions
JP2018147089A (ja
Inventor
田中 清明
清明 田中
純平 松永
純平 松永
信二 高橋
信二 高橋
達哉 村上
達哉 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2017039401A priority Critical patent/JP6406371B2/ja
Priority to CN201780071107.7A priority patent/CN109964248A/zh
Priority to PCT/JP2017/042579 priority patent/WO2018159039A1/ja
Priority to US16/462,289 priority patent/US10762761B2/en
Priority to DE112017007158.5T priority patent/DE112017007158B4/de
Publication of JP2018147089A publication Critical patent/JP2018147089A/ja
Application granted granted Critical
Publication of JP6406371B2 publication Critical patent/JP6406371B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/006Alarm destination chosen according to type of event, e.g. in case of fire phone the fire service, in case of medical emergency phone the ambulance
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G7/00Beds specially adapted for nursing; Devices for lifting patients or disabled persons
    • A61G7/002Beds specially adapted for nursing; Devices for lifting patients or disabled persons having adjustable mattress frame
    • A61G7/012Beds specially adapted for nursing; Devices for lifting patients or disabled persons having adjustable mattress frame raising or lowering of the whole mattress frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)

Description

本発明は、ベッド上の対象者の見守りを支援するための技術に関する。
ベッドからの転落事故などを未然に防ぐため、病院や介護施設などにおける患者の見守りを支援するシステムが知られている。特許文献1には、ベッドの斜め上方に設置したカメラで撮影した画像から患者の頭部を検出し、ベッド上に設定した境界線を頭部が超えたことをもって起床動作と判定するシステムが提案されている。特許文献2には、カメラ映像から患者の移動方向を検出し、患者の移動方向と過去の状態(着床状態/起床状態/離床状態/不在状態)の組み合わせに基づき、患者の現在の状態を判別するシステムが提案されている。
特開2012−071003号公報 特開2012−170483号公報
上述のように、カメラ映像から人の動きや状態を検出し見守り支援に役立てるという試みは従来からなされている。しかしながら、特許文献1のように頭部位置が境界線を超えたかどうかで起床判定を行う方法では、境界線上にちょうど頭部が存在するような姿勢を患者がとっていた場合に、頭部位置が頻繁に境界線を横切り、何度も起床通知が発報される可能性がある。このような現象は、例えば、ベッドのリクライニング機能により上体をやや起こした姿勢にしたときなどに発生し得る。起床通知の誤報が続くと、看護師等の手間を不必要に煩わせるとともに、システムの信頼性を著しく低下させてしまうため、好ましくない。
本発明は、上記実情に鑑みなされたものであって、ベッド上の対象者の起床判定の信頼性を向上し、起床通知の誤報を抑制するための技術を提供することを目的とする。
上記目的を達成するために、本発明では、就床領域と起床領域を間隔を空けて配置し、且つ、就床領域内で対象者が検出された後、起床領域内で対象者が検出される、という条件が満たされた場合に起床通知を行う、という方法を採用する。
具体的には、本発明の第一態様は、ベッド上の対象者の見守りを支援する見守り支援システムであって、撮像装置により撮影された画像を取得する画像取得部と、前記画像取得部により取得された前記画像から前記対象者の所定部位の位置を検出する検出部と、前記対象者の所定部位が検出された位置に基づいて前記対象者が起床したか否かを判定する判定部と、前記判定部により前記対象者が起床したと判定された場合に通知を行う出力部と、を有し、画像内のベッドの領域を基準として、就床時の所定部位の存在範囲に就床領域が設定されると共に、起床時の所定部位の存在範囲に起床領域が設定され、前記就床領域と前記起床領域は、間隔を空けて配置されており、前記判定部は、前記就床領域内で前記対象者の所定部位が検出された後、前記起床領域内で前記対象者の所定部位が検出される、という条件が満たされた場合に、前記対象者が起床したと判定することを特徴とする見守り支援システムを提供する。
この構成によれば、就床領域と起床領域の間にマージンが設けられているので、従来システムで問題となっていた、頭部位置が就床領域と起床領域を頻繁に行き来することによる起床通知の誤報や頻発を抑制することができる。したがって、起床判定の信頼性を向上することができる。
本発明の見守り支援システムが、前記ベッドのリクライニング角度が変更されたことを検知するリクライニング検知部と、前記リクライニング検知部によりリクライニング角度の変更を検知した場合に、変更後のベッドの領域にあわせて、前記就床領域と前記起床領域の設定を変更する領域設定部と、をさらに有するとよい。
これにより、ベッドのリクライニング角度が変わったことが自動で検出され、就床領域及び起床領域の設定が適応的に変更される。したがって、ベッドのリクライニングの状態によらず、信頼性の高い起床判定を行うことができるとともに、リクライニングに起因して生じる起床通知の誤報を抑制することが可能となる。
ここで、前記リクライニング検知部は、前記対象者の所定部位の移動が所定の条件を満たす場合に、リクライニング角度が変更されたと判断してもよい。あるいは、前記リクライニング検知部は、前記ベッドの輪郭形状が変化した場合に、リクライニング角度が変更されたと判断してもよい。
なお、本発明は、上記構成ないし機能の少なくとも一部を有する見守り支援システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、見守り支援方法又は見守り支援システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
本発明によれば、ベッド上の対象者の起床判定の信頼性を向上し、起床通知の誤報を抑制することができる。
図1は第1実施形態の見守り支援システムのハードウェア構成および機能構成を模式的に示すブロック図である。 図2は撮像装置の設置例を示す図である。 図3は判定領域の設定処理のフローチャートである。 図4A〜図4Cは画像に対し設定された判定領域の例である。 図5は第1実施形態の起床判定処理のフローチャートである。 図6は第2実施形態の見守り支援システムのハードウェア構成および機能構成を模式的に示すブロック図である。 図7は第2実施形態の起床判定処理のフローチャートである。 図8は第2実施形態のリクライニング補正処理のフローチャートである。 図9は第3実施形態のリクライニング補正処理のフローチャートである。 図10Aはベッドがフラットな状態の画像の例であり、図10Bはベッドの背もたれを起こした状態の画像の例である。
本発明は、ベッド上の対象者の見守りを支援するための技術に関する。この技術は、病院や介護施設などにおいて、患者や要介護者などの離床・起床行動を自動で検知し、危険
な状態が発生した場合などに必要な通知を行うシステムに適用することができる。このシステムは、例えば、高齢者、認知症患者、子供などの見守り支援に好ましく利用することができる。
以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
<第1実施形態>
(システム構成)
図1と図2を参照して、本発明の第1実施形態に係る見守り支援システムの構成を説明する。図1は、見守り支援システム1のハードウェア構成および機能構成を模式的に示すブロック図であり、図2は、撮像装置の設置例を示す図である。
見守り支援システム1は、主なハードウェア構成として、撮像装置10と情報処理装置11を有している。撮像装置10と情報処理装置11の間は有線又は無線により接続されている。図1では、1つの撮像装置10のみ示しているが、複数台の撮像装置10を情報処理装置11に接続してもよい。
撮像装置10は、ベッド上の対象者を撮影して画像データを取り込むためのデバイスである。撮像装置10としては、モノクロ又はカラーの可視光カメラ、赤外線カメラなどを用いることができる。本実施形態では、夜間でも(部屋内が暗い場合でも)対象者の見守りを可能とするため、赤外線LED照明100と近赤外線カメラ101で構成される撮像装置10を採用する。撮像装置10は、図2に示すように、ベッド20の頭側上方から足側に向かって、ベッド20の全体を俯瞰するように設置される。撮像装置10は所定の時間間隔(例えば、10fps)で撮影を行い、その画像データは情報処理装置11に順次取り込まれる。
情報処理装置11は、撮像装置10から取り込まれる画像データをリアルタイムに分析し、ベッド20上の対象者21の起床動作や離床動作を自動で検知し、必要な場合に通知を行う機能を備える装置である。情報処理装置11は、具体的な機能として、画像取得部110、検出部111、判定部112、出力部113、領域設定部114、記憶部115を有している。本実施形態の情報処理装置11は、CPU(プロセッサ)、メモリ、ストレージ(HDD、SSDなど)、入力デバイス(キーボード、マウス、タッチパネルなど)、出力デバイス(ディスプレイ、スピーカなど)、通信インタフェースなどを具備する汎用のコンピュータにより構成され、上述した情報処理装置11の各機能は、ストレージ又はメモリに格納されたプログラムをCPUが実行することにより実現される。ただし、情報処理装置11の構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記機能の一部をクラウドサーバにより実行してもよいし、上記機能の一部をASICやFPGAのような回路で実行してもよい。
画像取得部110は、撮像装置10により撮影された画像を取得する機能である。画像取得部110より入力された画像データは一時的にメモリ又はストレージに記憶され、検出部111や判定部112の処理に供される。
検出部111は、画像取得部110により取得された画像を分析し、当該画像から、見守り対象者21の所定部位(例えば、頭部、顔、上半身など)を検出する機能である。画像から所定部位を検出する方法としてはいかなる方法を用いてもよい。例えば、古典的なHaar−like特徴量やHoG特徴量を用いた識別器による手法や、近年のFaster R−CNNによる手法を用いた物体検出アルゴリズムを好ましく用いることができ
る。本実施形態の検出部111は、Haar−like特徴量を用いた識別器により対象者21の頭部(首より上の部分)22を検出し、検出結果として、頭部22の位置(x,y)及びサイズ(縦横のピクセル数)を出力する。頭部22の位置(x,y)は、例えば、頭部22を囲む矩形枠の中心点の画像座標で表される。なお、本実施形態の検出部111は検出結果を画像座標系の位置・サイズで出力するが、検出部111が画像座標系を空間座標系に換算し、対象者21の空間座標系における3次元位置や3次元的なサイズを出力してもよい。
判定部112は、検出部111の検出結果を用いて対象者21の起床判定、離床判定などを行う機能である。具体的には、判定部112は、頭部22の検出位置に基づいて対象者21が起床したか否か、離床したか否かなどを判定する。判定部112の判定アルゴリズムについては後ほど詳しく説明する。
出力部113は、判定部112により対象者21の起床動作ないし離床動作が検知された場合に、必要な通知を行う機能である。出力部113は、対象者21の動作の危険度合いに応じて、通知の要否(例えば、危険な状態の場合のみ通知を行う)、通知の内容(例えばメッセージの内容)、通知手段(例えば音声、メール、ブザー、警告灯)、通知先(例えば看護師、医師)、通知の頻度などを切り替えることができる。
領域設定部114は、撮像装置10により撮影される画像に対し判定領域を設定するための機能である。見守り支援システム1はベッド20上の対象者21の状態監視を目的とするため、画像内のベッド20の領域に基づき判定領域が設定される。ベッド領域の設定は、手動で行ってもよいし自動で行ってもよい。手動設定の場合、領域設定部114は、画像内のベッド領域ないし判定領域そのものをユーザに入力させるためのユーザインタフェースを提供するとよい。自動設定の場合、領域設定部114は、物体認識処理により画像からベッド領域を検出するとよい。
記憶部115は、見守り支援システム1が処理に用いる各種のデータを記憶する機能である。記憶部115には、少なくとも、起床判定や離床判定で用いる各種パラメータ(閾値など)、判定領域の設定情報、過去複数フレームの画像データ又は検出結果(移動速度や移動方向の計算のため)を記憶するための記憶エリアが設けられる。
(判定領域の設定)
図3と図4A〜図4Cを参照して、判定領域の設定処理の一例について説明する。図3は、情報処理装置11により実行される判定領域の設定処理のフローチャートであり、図4A〜図4Cは、画像に対し設定された判定領域の例である。判定領域の設定処理は、判定領域が未設定の場合(例えば、見守り支援システム1の設置時など)、又は、ベッドや撮像装置10の移動に伴い判定領域を更新する必要がある場合に実行される。
ステップS30において、画像取得部110が、撮像装置10から画像を取得する(図4A)。ステップS31では、領域設定部114が、ベッドの四隅の点40〜43をユーザに入力させ、又は、自動で検出し、その4点40〜43で囲まれた四角形をベッド領域44に設定する(図4B)。ステップS32では、領域設定部114が、ベッド領域44を基準として判定領域A1〜A4を設定する(図4C)。
判定領域A1は、ベッド20の頭側に設定される領域であり、就床時(対象者21がベッド20に寝ている時)に対象者21の頭部22が存在し得る範囲に対応する(以後、就床領域A1と呼ぶ)。判定領域A2は、就床領域A1よりも足側に設定される領域であり、起床時(対象者21が上半身を起こした姿勢の時)に対象者21の頭部22が存在し得る範囲に対応する(以後、起床領域A2と呼ぶ)。ここで、就床領域A1と起床領域A2
は、所定の間隔A3を空けて配置される。この間隔A3は、対象者21の頭部22が就床領域A1と起床領域A2の間に位置する場合の誤報を抑制するために設けられたマージンである(以後、マージン領域A3と呼ぶ)。本実施形態において、ベッド領域44に対する各領域A1〜A3の相対的な位置・サイズが予め決められており、ベッド領域44が特定されれば各領域A1〜A3の範囲は計算で定まるものとする。領域A4は、領域A1〜A3以外の領域である。離床時(対象者21がベッドから離れた状態の時)は、対象者21の頭部22は領域A4内に存在する(以後、離床領域A4と呼ぶ)。
その後、ステップS33で、領域設定部114が、ベッド領域44の情報(ベッド領域44の四隅の座標など)と各領域A1〜A4の情報(各領域の頂点の座標など)を記憶部115に格納し、設定処理を終了する。
(起床判定処理)
図5を参照して第1実施形態の起床判定処理の一例を説明する。図5は、情報処理装置11により実行される第1実施形態の起床判定処理のフローチャートである。図5の処理フローは、撮像装置10から1フレームの画像が取り込まれる度に実行される。
ステップS50において、画像取得部110が、撮像装置10から1フレームの画像を取り込む。取得された画像は記憶部115に一時的に記憶される。次に検出部111が、ステップS50で取得された画像から対象者の頭部を検出する(ステップS51)。検出された頭部の位置(xy座標)の情報は、当該画像の時刻情報又はフレーム番号に対応付けて記憶部115に記憶される。
判定部112は、頭部の検出位置が領域A1〜A4のいずれに属するかを判定し、対象者の状態を分類する(ステップS52)。ここでは、頭部が就床領域A1内で検出された場合を「就床状態」、起床領域A2内で検出された場合を「起床状態」、マージン領域A3内で検出された場合を「移行状態」、離床領域A4内で検出された場合を「離床状態」と呼ぶ。
次に判定部112は、起床フラグがONかOFFかを調べ(ステップS53)、OFFの場合はステップS54へ、ONの場合はステップS56へ処理を進める。起床フラグは起床判定機能のON/OFFを切り替えるためのフラグであり、初期値(システム起動時)はOFFである。
起床フラグがOFFの場合(ステップS53;NO)、判定部112は、ステップS52で判定された対象者の状態が「就床状態」か否かを調べ(ステップS54)、「就床状態」の場合に起床フラグをONにセットする(ステップS55)。すなわち、就床領域A1内で対象者の頭部が検出されたことをトリガとして、起床判定機能がONになる仕組みである。その後、ステップS59に進む。
一方、ステップS53の判断において起床フラグがONであった場合、判定部112は、ステップS52で判定された対象者の状態が「起床状態」か否かを調べる(ステップS56)。「起床状態」でない場合(ステップS56;NO)、つまり、対象者の頭部が就床領域A1内にあるか、就床領域A1と起床領域A2の間にある場合には、起床判定はスルーされ、ステップS59に進む。「起床状態」である場合(ステップS56;YES)、つまり、対象者の頭部が起床領域A2内にある場合には、対象者が起床動作を行ったと判断し、出力部113による起床通知を行う(ステップS57)。起床通知を行ったら、判定部112は、起床フラグをOFFにリセットして起床判定機能をOFFにした後(ステップS58)、ステップS59に進む。ステップS59では、見守り処理を継続するか終了するかが判断され、見守り継続の場合(ステップS59;NO)はステップS50に
戻って次フレームの処理を行い、見守り終了の場合(ステップS59;YES)は処理を終了する。
以上述べた本実施形態によれば、就床領域A1と起床領域A2の間にマージン領域A3を設け、且つ、就床領域A1内で対象者の頭部が検出された後、起床領域A2内で頭部が検出される、という条件が満たされた場合にのみ起床通知を行うようにしたので、不必要な起床通知の発生を抑制できる。例えば、就床領域A1の境界線上にちょうど頭部が存在し、頭部位置が就床領域A1とマージン領域A3の間を頻繁に行き来する現象が発生したとしても、これだけでは起床動作と判定されないため、起床通知は発生しない。そして、頭部位置が起床領域A2内に入り起床通知が行われると、起床フラグがOFFとなるため、対象者が再び就床状態にならない限り(頭部位置が就床領域A1に戻らない限り)、起床判定機能が作動しない。よって、従来システムに比べて、起床通知の誤報を抑制することができ、起床判定の信頼性を向上することができる。
<第2実施形態>
図6に、本発明の第2実施形態の見守り支援システム1の構成を示す。基本的な構成は第1実施形態のもの(図1参照)と同じであるが、リクライニング検知部116が追加されている点が異なる。リクライニング検知部116は、ベッドのリクライニング角度が変更されたことを検知する機能である。本実施形態のシステム1は、ベッドのリクライニングに応じて判定領域A1〜A4の設定を変更する機能(以後「リクライニング補正」と呼ぶ)を有する点が特徴である。
図7及び図8を参照して第2実施形態の起床判定処理の一例を説明する。図7は、第2実施形態の起床判定処理のフローチャートである。第1実施形態の起床判定処理(図5参照)との違いは、リクライニング補正処理(ステップS70)が追加されている点である。図8に、第2実施形態のリクライニング補正処理の詳細フローを示す。
まず、リクライニング検知部116は、所定時間前(例えば数フレーム前)の画像における頭部の位置の情報を記憶部115から読み出す(ステップS80)。次に、リクライニング検知部116は、所定時間前の頭部の位置とステップS51で検出した現在の頭部の位置に基づき、上方向(起き上がる方向)への頭部の移動速度を算出する(ステップS81)。
頭部が上方向に移動するケースとして、対象者の起床動作(起き上がる動作)と、ベッドのリクライニング角度の変更とが想定される。起床動作の場合は、頭部の移動速度は比較的速く、また移動速度や移動方向は一定でない。一方、リクライニング角度の変更の場合は、頭部の移動速度は比較的遅く、また移動速度や移動方向はほぼ一定である。このような点に着目し、本実施形態のリクライニング検知部116は、頭部の移動速度が所定の閾値より小さい場合に、リクライニング角度が変更されたと判断し(ステップS82;YES)、ステップS83へ進む。
ステップS83では、領域設定部114が、角度変更後のベッドの領域にあわせて各領域A1〜A4の再設定を行う。再設定はどのような方法により行ってもよい。例えば、領域設定部114は、現在の画像からベッド領域を検出し(ベッドの背もたれを起こした場合はベッドの縦幅が小さくなる)、現在のベッド領域を基準として就床領域A1、起床領域A2、マージン領域A3の位置及びサイズを設定してもよい。あるいは、領域設定部114は、頭部の移動量にあわせて、各領域A1〜A4を移動ないし変形してもよい。例えば、就床領域A1の上側の境界線と起床領域A3の下側の境界線を、互いの間隔を保ったまま、頭部の移動量と同じだけ画像の上方向に平行移動させてもよい。このように各領域A1〜A4の再設定を行った後、ステップS52の処理へと進む。
以上述べた本実施形態の方法によれば、ベッドのリクライニング角度が変わったことが自動で検出され、就床領域A1、起床領域A2、マージン領域A3などが適切な位置・サイズに再設定される。したがって、ベッドのリクライニングの状態によらず、信頼性の高い起床判定を行うことができるとともに、リクライニングに起因して生じる起床通知の誤報を抑制することが可能となる。
なお、本実施形態では、頭部の移動速度が閾値より小さいという条件を満たす場合にリクライニング角度の変更と判断したが、他の条件判定によりリクライニングを検知してもよい。例えば、頭部の移動速度及び/又は移動方向がほぼ一定である場合にリクライニング角度の変更と判断してもよい。
<第3実施形態>
上記第2実施形態では、頭部の移動速度や移動方向に基づきリクライニング検知を行ったのに対し、第3実施形態では、画像から検出したベッドの輪郭形状に基づきリクライニング検知を行う。システムの基本構成は第2実施形態のもの(図6参照)と同じであるが、リクライニング検知部116の動作が異なる。
図9、図10A、図10Bを参照して本実施形態のリクライニング補正処理を説明する。図9は第3実施形態のリクライニング補正処理の詳細フローであり、図7の起床判定処理のステップS70の処理に該当する。図10Aはベッドがフラットな状態の画像の例であり、図10Bはベッドの背もたれを起こした状態の画像の例である。
図9のフローにおいて、まずリクライニング検知部116は、現在の画像からベッドの四隅の点P1〜点P4を検出する(ステップS90)。四隅の検出方法としては、例えば、テンプレートマッチングや、ベッドの隅部分の画像により学習した識別器を用いた画像認識など、どのような方法を用いてもよい。次に、リクライニング検知部116は、画像からベッドの側端の輪郭を検出する(ステップS91)。例えば、リクライニング検知部116は、ベッドの足側の点P1、P2からそれぞれ画像の下方向に向かって延びる線分L1、L2を検出するとともに、ベッドの頭側の点P3、P4からそれぞれ画像の上方向に向かって延びる線分L3、L4を検出する。線分の検出方法としては、例えば、ハフ変換などを用いることができる。
次に、リクライニング検知部116は、線分L1とL3のなす角度、及び、線分L2とL4のなす角度を計算する(ステップS92)。図10Aに示すようにベッドがフラットな状態の場合は、角度は概ね180度となり、図10Bに示すようにベッドの背もたれを起こした場合は、角度は180度よりも小さくなる。そこで、リクライニング検知部116は、ステップS92で計算した角度のうち少なくとも一方が所定の閾値(例えば170度)より小さい場合に、リクライニング角度が変更されたと判断し(ステップS93;YES)、ステップS94へ進む。
ステップS94では、領域設定部114が、角度変更後のベッドの領域にあわせて各領域A1〜A4の再設定を行う。再設定の具体的な方法は第2実施形態のステップS84と同様である。各領域A1〜A4の再設定を行った後は、ステップS52の処理へと進む。
以上述べた本実施形態の方法によれば、ベッドのリクライニング角度が変わったことが自動で検出され、就床領域A1、起床領域A2、マージン領域A3などが適切な位置・サイズに再設定される。したがって、ベッドのリクライニングの状態によらず、信頼性の高い起床判定を行うことができるとともに、リクライニングに起因して生じる起床通知の誤報を抑制することが可能となる。
なお、本実施形態では、リクライニング角度が閾値より小さいという条件を満たす場合にリクライニング角度の変更あり(つまり、デフォルトのフラット状態とはリクライニング角度が異なる)と判断したが、他の条件判定によりリクライニングを検知してもよい。例えば、判定領域を設定した時の角度と、最新の画像から検知した角度との差が、所定の閾値より大きい場合に、リクライニング角度の変更あり、と判断してもよい。
<その他>
上記の各実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、就床領域A1や起床領域A2の形状は矩形でなくてもよい。また、上記実施形態では頭部を検出対象としたが、頭部以外の部位(例えば、顔、顔の一部(顔器官)、上半身など)を検出対象としてもよい。
1:見守り支援システム、10:撮像装置、11:情報処理装置、110:画像取得部、111:検出部、112:判定部、113:出力部、114:領域設定部、115:記憶部、116:リクライニング検知部
100:照明、101:近赤外線カメラ、20:ベッド、21:対象者、22:頭部
40〜43:ベッドの四隅の点、44:ベッド領域、A1:就床領域、A2:起床領域、A3:マージン領域、A4:離床領域

Claims (6)

  1. ベッド上の対象者の見守りを支援する見守り支援システムであって、
    撮像装置により撮影された画像を取得する画像取得部と、
    前記画像取得部により取得された前記画像から前記対象者の所定部位の位置を検出する検出部と、
    前記対象者の所定部位が検出された位置に基づいて前記対象者が起床したか否かを判定する判定部と、
    前記判定部により前記対象者が起床したと判定された場合に通知を行う出力部と、
    を有し、
    画像内のベッドの領域を基準として、就床時の所定部位の存在範囲に就床領域が設定されると共に、起床時の所定部位の存在範囲に起床領域が設定され、
    前記就床領域と前記起床領域は、間隔を空けて配置されており、
    前記判定部は、前記就床領域内で前記対象者の所定部位が検出された後、前記起床領域内で前記対象者の所定部位が検出される、という条件が満たされた場合に、前記対象者が起床したと判定する
    ことを特徴とする見守り支援システム。
  2. 前記ベッドのリクライニング角度が変更されたことを検知するリクライニング検知部と、
    前記リクライニング検知部によりリクライニング角度の変更を検知した場合に、変更後のベッドの領域にあわせて、前記就床領域と前記起床領域の設定を変更する領域設定部と、をさらに有する
    ことを特徴とする請求項1に記載の見守り支援システム。
  3. 前記リクライニング検知部は、前記対象者の所定部位の移動が所定の条件を満たす場合に、リクライニング角度が変更されたと判断する
    ことを特徴とする請求項2に記載の見守り支援システム。
  4. 前記リクライニング検知部は、前記ベッドの輪郭形状が変化した場合に、リクライニング角度が変更されたと判断する
    ことを特徴とする請求項2に記載の見守り支援システム。
  5. ベッド上の対象者の見守りを支援する見守り支援システムの制御方法であって、
    撮像装置により撮影された画像を取得するステップと、
    前記取得された前記画像から前記対象者の所定部位の位置を検出するステップと、
    前記対象者の所定部位が検出された位置に基づいて前記対象者が起床したか否かを判定するステップと、
    前記対象者が起床したと判定された場合に通知を行うステップと、
    を有し、
    画像内のベッドの領域を基準として、就床時の所定部位の存在範囲に就床領域が設定されると共に、起床時の所定部位の存在範囲に起床領域が設定され、
    前記就床領域と前記起床領域は、間隔を空けて配置されており、
    前記判定するステップでは、前記就床領域内で前記対象者の所定部位が検出された後、前記起床領域内で前記対象者の所定部位が検出される、という条件が満たされた場合に、前記対象者が起床したと判定する
    ことを特徴とする見守り支援システムの制御方法。
  6. 請求項5に記載の見守り支援システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。
JP2017039401A 2017-03-02 2017-03-02 見守り支援システム及びその制御方法 Active JP6406371B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017039401A JP6406371B2 (ja) 2017-03-02 2017-03-02 見守り支援システム及びその制御方法
CN201780071107.7A CN109964248A (zh) 2017-03-02 2017-11-28 看护辅助系统及其控制方法、以及程序
PCT/JP2017/042579 WO2018159039A1 (ja) 2017-03-02 2017-11-28 見守り支援システム及びその制御方法、並びにプログラム
US16/462,289 US10762761B2 (en) 2017-03-02 2017-11-28 Monitoring assistance system, control method thereof, and program
DE112017007158.5T DE112017007158B4 (de) 2017-03-02 2017-11-28 Überwachungshilfssystem, Steuerverfahren dafür und Programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017039401A JP6406371B2 (ja) 2017-03-02 2017-03-02 見守り支援システム及びその制御方法

Publications (2)

Publication Number Publication Date
JP2018147089A JP2018147089A (ja) 2018-09-20
JP6406371B2 true JP6406371B2 (ja) 2018-10-17

Family

ID=63370607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017039401A Active JP6406371B2 (ja) 2017-03-02 2017-03-02 見守り支援システム及びその制御方法

Country Status (5)

Country Link
US (1) US10762761B2 (ja)
JP (1) JP6406371B2 (ja)
CN (1) CN109964248A (ja)
DE (1) DE112017007158B4 (ja)
WO (1) WO2018159039A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657189B (zh) * 2021-07-26 2024-02-09 浙江大华技术股份有限公司 行为检测方法、电子装置和计算机可读存储介质
WO2023042310A1 (ja) * 2021-09-15 2023-03-23 三菱電機株式会社 見守りシステム及び見守り方法
CN115429581B (zh) * 2022-08-02 2024-06-07 合肥工业大学 重症卧床患者面部状态记录仪器

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4579865B2 (ja) * 2006-06-05 2010-11-10 日本電信電話株式会社 起き上がり検知装置
JP5771778B2 (ja) 2010-06-30 2015-09-02 パナソニックIpマネジメント株式会社 監視装置、プログラム
JP5682204B2 (ja) * 2010-09-29 2015-03-11 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
JP5682203B2 (ja) * 2010-09-29 2015-03-11 オムロンヘルスケア株式会社 安全看護システム、および、安全看護システムの制御方法
JP5782737B2 (ja) * 2011-02-17 2015-09-24 富士通株式会社 状態検知装置、状態検知方法および状態検知プログラム
JP6115335B2 (ja) * 2013-06-10 2017-04-19 ノーリツプレシジョン株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2015118953A1 (ja) * 2014-02-07 2015-08-13 Nkワークス株式会社 情報処理装置、情報処理方法、及び、プログラム
JP6217471B2 (ja) * 2014-03-12 2017-10-25 富士通株式会社 検出装置、検出方法、及びプログラム
JP6264181B2 (ja) * 2014-05-07 2018-01-24 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2015174228A1 (ja) * 2014-05-13 2015-11-19 オムロン株式会社 姿勢推定装置、姿勢推定システム、姿勢推定方法、姿勢推定プログラム、および姿勢推定プログラムを記録したコンピュータ読み取り可能な記録媒体
US10121062B2 (en) * 2014-11-03 2018-11-06 Koninklijke Philips N.V. Device, system and method for automated detection of orientation and/or location of a person
JP6375920B2 (ja) * 2014-12-11 2018-08-22 富士通株式会社 ベッド領域抽出方法、ベッド領域抽出装置及びベッド領域抽出プログラム
JP6455234B2 (ja) * 2015-03-03 2019-01-23 富士通株式会社 行動検出方法及び行動検出装置
JP2016192998A (ja) 2015-03-31 2016-11-17 株式会社デンソー 報知装置
JP6115692B1 (ja) * 2015-06-11 2017-04-19 コニカミノルタ株式会社 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
US10321856B2 (en) * 2017-01-12 2019-06-18 Hill-Rom Services, Inc. Bed exit monitoring system

Also Published As

Publication number Publication date
US20190318600A1 (en) 2019-10-17
CN109964248A (zh) 2019-07-02
WO2018159039A1 (ja) 2018-09-07
US10762761B2 (en) 2020-09-01
DE112017007158B4 (de) 2024-05-16
DE112017007158T5 (de) 2019-11-21
JP2018147089A (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
JP6717235B2 (ja) 見守り支援システム及びその制御方法
JP6137425B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP6406371B2 (ja) 見守り支援システム及びその制御方法
JP6119938B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP6417670B2 (ja) 監視装置、監視システム、監視方法、監視プログラム、および監視プログラムを記録したコンピュータ読み取り可能な記録媒体
JP6958560B2 (ja) 見守りシステム、見守り装置、見守り方法、および見守りプログラム
US10509967B2 (en) Occupancy detection
JP6870514B2 (ja) 見守り支援システム及びその制御方法
JP6729510B2 (ja) 見守り支援システム及びその制御方法
JP2019008515A (ja) 見守り支援システム及びその制御方法
JP6311809B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP6729512B2 (ja) 見守り支援システム及びその制御方法
TWI697869B (zh) 姿態判斷方法、電子系統以及非暫態電腦可讀取記錄媒體
JP6635074B2 (ja) 見守り支援システム及びその制御方法
US20220054046A1 (en) Assessing patient out-of-bed and out-of-chair activities using embedded infrared thermal cameras

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180903

R150 Certificate of patent or registration of utility model

Ref document number: 6406371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150