JP7438847B2 - 監視システム、監視装置、監視方法、及びプログラム - Google Patents

監視システム、監視装置、監視方法、及びプログラム Download PDF

Info

Publication number
JP7438847B2
JP7438847B2 JP2020083881A JP2020083881A JP7438847B2 JP 7438847 B2 JP7438847 B2 JP 7438847B2 JP 2020083881 A JP2020083881 A JP 2020083881A JP 2020083881 A JP2020083881 A JP 2020083881A JP 7438847 B2 JP7438847 B2 JP 7438847B2
Authority
JP
Japan
Prior art keywords
monitored
action
monitored object
movement
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020083881A
Other languages
English (en)
Other versions
JP2021179723A (ja
Inventor
賢也 小林
健宏 馬渕
智子 浅野
裕 香島
久尚 高橋
永勲 高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2020083881A priority Critical patent/JP7438847B2/ja
Publication of JP2021179723A publication Critical patent/JP2021179723A/ja
Priority to JP2024020325A priority patent/JP2024069214A/ja
Application granted granted Critical
Publication of JP7438847B2 publication Critical patent/JP7438847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本開示は、監視システム、監視装置、監視方法、及びプログラムに関する。
例えば介護施設のような現場において、要看護者又は要介護者などのような被監視者の行動を監視する装置が提案されている。例えば、特許文献1は、撮像装置で得られた画像に基づいて、被監視者における所定の行動を検知する被監視者監視システムを開示している。特許文献2は、対象者の足に検出装置を装着することにより、対象者が歩行中に転倒するのを予防する転倒予防システムを開示している。また、特許文献3は、温度分布を検出することにより、人体の体位を判定する見守り支援装置を開示している。また、引用文献4は、在宅、又は老人ホーム若しくは介護施設における老年精神病患者を監視するための医療システムを開示している。
特開2017-91552号公報 特開2017-221502号公報 特開2014-106636号公報 特開2003-91790号公報
被監視対象を監視することにより、被監視対象の安全に供することができれば、有益である。
本開示の目的は、被監視対象の安全に供し得る監視システム、監視装置、監視方法、及びプログラムを提供することにある。
一実施形態に係る監視システムは、
被監視対象を撮像する撮像部と、
前記撮像部によって撮像された画像から、前記被監視対象の特徴点の動きを抽出する抽出部と、
前記抽出部によって抽出された前記被監視対象の特徴点の動きにおいて、
前記被監視対象が足を後方に引く第1動作と、
前記被監視対象が前傾姿勢をとる第2動作と、
前記被監視対象が手を前に出す第3動作と、
からなる動作が、前記第1動作の開始から所定の時間経過時点で完了していない場合、所定の警告信号を出力するコントローラと、
前記コントローラから出力される前記所定の警告信号に基づいて、所定の警告を発する警告部と、
を備える。
また、一実施形態に係る監視システムは、
被監視対象を撮像する撮像部と、
前記撮像部によって撮像された画像から、前記被監視対象の特徴点の動きを抽出する抽出部と、
前記抽出部によって抽出された前記被監視対象の特徴点の動きにおいて、
前記被監視対象が足を後方に引く第1動作と、
前記被監視対象が前傾姿勢をとる第2動作と、
前記被監視対象が手を前に出す第3動作と、
の少なくともいずれかの開始から所定の時間経過時点において、前記第1動作から前記第3動作までの少なくともいずれかが完了していない場合、所定の警告信号を出力するコントローラと、
前記コントローラから出力される前記所定の警告信号に基づいて、所定の警告を発する警告部と、
を備える。
一実施形態に係る監視装置は、
被監視対象の画像から前記被監視対象の特徴点の動きを抽出する抽出部と、
前記抽出部によって抽出された前記被監視対象の特徴点の動きにおいて、
前記被監視対象が足を後方に引く第1動作と、
前記被監視対象が前傾姿勢をとる第2動作と、
前記被監視対象が手を前に出す第3動作と、
からなる動作が、前記第1動作の開始から所定の時間経過時点で完了していない場合、所定の警告信号を出力するコントローラと、
を備える。
一実施形態に係る監視方法は、
被監視対象の画像から前記被監視対象の特徴点の動きを抽出するステップと、
前記抽出部によって抽出された前記被監視対象の特徴点の動きにおいて、
前記被監視対象が足を後方に引く第1動作と、
前記被監視対象が前傾姿勢をとる第2動作と、
前記被監視対象が手を前に出す第3動作と、
からなる動作が、前記第1動作の開始から所定の時間経過時点で完了しているか否か判定するステップと、
前記判定するステップにおいて、前記第1動作乃至前記第3動作からなる動作が前記第1動作の開始から所定の時間経過時点で完了していない場合、所定の警告信号を出力するステップと、
を含む。
一実施形態に係るプログラムは、
コンピュータに、
被監視対象の画像から前記被監視対象の特徴点の動きを抽出するステップと、
前記抽出部によって抽出された前記被監視対象の特徴点の動きにおいて、
前記被監視対象が足を後方に引く第1動作と、
前記被監視対象が前傾姿勢をとる第2動作と、
前記被監視対象が手を前に出す第3動作と、
からなる動作が、前記第1動作の開始から所定の時間経過時点で完了しているか否か判定するステップと、
前記判定するステップにおいて、前記第1動作乃至前記第3動作からなる動作が前記第1動作の開始から所定の時間経過時点で完了していない場合、所定の警告信号を出力するステップと、
を実行させる。
一実施形態によれば、被監視対象の安全に供し得る監視システム、監視装置、監視方法、及びプログラムを提供することができる。
一実施形態に係る監視システムの概略構成を示す機能ブロック図である。 一実施形態に係る監視システムの動作の一例を示すフローチャートである。 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。 一実施形態に係る監視システムにおいて抽出される特徴点の例について説明する図である。
本開示において、「監視装置」とは、電力により駆動する機器としてよい。また、「監視システム」とは、電力により駆動する機器を含むものとしてよい。また、「ユーザ」とは、一実施形態に係る監視システム及び/又は監視装置を使用する者(典型的には人間)としてよい。ユーザは、一実施形態に係る監視システム及び/又は監視装置を用いることで、被監視対象の監視を行う者を含んでもよい。また、「被監視対象」とは、一実施形態に係る監視システム及び/又は監視装置によって監視される対象となる者(例えば人間又は動物)としてよい。
一実施形態に係る監視システムが利用される場面として想定されるのは、例えば、会社、病院、老人ホーム、学校、スポーツジム、及び介護施設などのような、社会活動を行う者が使用する特定の施設などとしてよい。例えば、会社であれば従業員などの健康状態の把握及び/又は管理は、極めて重要である。同様に、病院であれば患者及び医療従事者など、また老人ホームであれば入居者及びスタッフなどの健康状態の把握及び/又は管理は、極めて重要である。一実施形態に係る監視システムが利用される場面は、上述の、会社、病院、及び老人ホームなどの施設に限定されず、被監視対象の健康状態の把握及び/又は管理などが望まれる任意の施設としてよい。任意の施設は、例えば、ユーザの自宅などの非商業施設も含んでもよい。また、一実施形態に係る監視システムが利用される場面は、例えば、電車、バス、及び飛行機などの移動体内、並びに、駅及び乗り場などとしてもよい。
一実施形態に係る監視システムは、例えば、介護施設などにおいて、要看護者又は要介護者などのような被監視対象の行動を監視する用途で用いられてよい。一実施形態に係る監視システムは、例えば要看護者又は要介護者などのような被監視対象の立ち上がり動作を監視することができる。ここで、被監視対象の立ち上がり動作とは、例えば被監視対象者が座っている状態又は横たわっている状態から立ち上がる動作としてよい。
特に、一実施形態に係る監視システムは、例えば要看護者又は要介護者などのような被監視者が、立ち上がり動作をする前、例えば立ち上がり動作を完了する前に、所定の警告を発することができる。したがって、一実施形態に係る監視システムによれば、例えば介護施設などのスタッフは、例えば要看護者又は要介護者などのような被監視者が、立ち上がり動作を完了する前に、立ち上がり動作をしようとしていることを把握し得る。
また、一実施形態に係る監視システムは、要看護者又は要介護者などのような被監視者が危険な立ち上がり動作をする前、例えば危険な立ち上がり動作を完了する前に、所定の警告を発することもできる。また、一実施形態に係る監視システムは、特定の被監視者が立ち上がり動作をする前、例えば立ち上がり動作を完了する前に、所定の警告を発することもできる。
以下、一実施形態に係る監視システムについて、図面を参照して詳細に説明する。
図1は、一実施形態に係る監視システムの概略構成を示す図である。図1に示すように、一実施形態に係る監視システム1は、監視装置10及び撮像部20を含んで構成されてよい。監視装置10と撮像部20とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。一実施形態に係る監視システム1は、図1に示す機能部の一部を含まなくてもよいし、図1に示す以外の機能部を含んでもよい。例えば、一実施形態に係る監視システム1は、警告部17及び通信部19の少なくとも一方を備えなくてもよい。
図1に示す撮像部20は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部20は、CCD(Charge Coupled Device Image Sensor)又はCMOS(Complementary Metal Oxide Semiconductor)センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部20は、例えば図1に示すように、被監視対象Tを撮像してよい。ここで、被監視対象Tは、例えば人間としてよい。撮像部20は、撮像した画像を信号に変換して、監視装置10に送信してよい。例えば、撮像部20は、撮像した画像に基づく信号を、監視装置10の抽出部11、記憶部13、及び/又は、コントローラ15などに送信してよい。撮像部20は、被監視対象Tを撮像するものであれば、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。
一実施形態において、撮像部20は、例えば被監視対象Tを所定時間ごと(例えば0.5秒おき)の静止画として撮像してもよい。また、一実施形態において、撮像部20は、例えば被監視対象Tを連続した動画として撮像してもよい。
図1に示すように、一実施形態に係る監視装置10は、抽出部11、記憶部13、コントローラ15、警告部17、及び通信部19を備えてよい。一実施形態に係る監視装置10は、図1に示す機能部の一部を備えなくてもよいし、図1に示す以外の機能部を備えてもよい。
抽出部11は、撮像部20によって撮像された画像から、所定の特徴点を抽出する機能を有してよい。例えば、抽出部11は、撮像部20によって撮像された被監視対象Tの画像から、当該被監視対象Tの特徴点の動きを抽出してもよい。ここで、特徴点については、さらに後述する。一実施形態において、抽出部11は、撮像部20によって撮像された被監視対象Tの画像から、当該被監視対象Tの頭部、体幹、四肢、及び/又は各関節などの各部の動きを抽出してもよい。抽出部11は、専用のハードウェアとして構成されてもよいし、少なくとも一部にソフトウェアを含めて構成されてもよいし、全てソフトウェアで構成されているとしてもよい。このように、抽出部11は、撮像部20によって撮像された画像から、被監視対象Tの特徴点の動きを抽出してよい。
記憶部13は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部13は、例えばコントローラ15において実行されるプログラム、及び、コントローラ15において実行された処理の結果などを記憶してよい。また、記憶部13は、コントローラ15のワークメモリとして機能してよい。記憶部13は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部13は、一実施形態に係る監視装置10に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部13は、後述のコントローラ15として用いられるCPUの内部メモリであってもよいし、コントローラ15に別体として接続されるものとしてもよい。
特に、一実施形態において、記憶部13は、被監視対象Tが立ち上がり動作をする際の特徴点の動きについて、コントローラ15が判定処理を行うための種々のアルゴリズムなどを記憶してよい。コントローラ15が判定処理を行うための種々のアルゴリズムについては、さらに後述する。
コントローラ15は、監視装置10を構成する各機能部をはじめとして、監視装置10の全体を制御及び/又は管理する。コントローラ15は、種々の機能を実行するための制御及び処理能力を提供するために、例えばCPU(Central Processing Unit)のような、少なくとも1つのプロセッサを含んでよい。コントローラ15は、まとめて1つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、IC(Integrated Circuit)ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
一実施形態において、コントローラ15は、例えばCPU及び当該CPUで実行されるプログラムとして構成されてよい。コントローラ15において実行されるプログラム、及び、コントローラ15において実行された処理の結果などは、例えば記憶部13に記憶されてよい。コントローラ15は、コントローラ15の動作に必要なメモリを適宜含んでもよい。一実施形態に係る監視装置10のコントローラ15の動作については、さらに後述する。
警告部17は、コントローラ15から出力される所定の警告信号に基づいて、監視システム1又は監視装置10のユーザなどに注意を促すための所定の警告を発してよい。警告部17は、所定の警告として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、警告部17は、例えばブザー又はスピーカのような音声出力部、LEDのような発光部、LCDのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかとしてよい。このように、警告部17は、コントローラ15から出力される所定の警告信号に基づいて、所定の警告を発してよい。一実施形態において、警告部17は、所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として発してもよい。
一実施形態において、警告部17は、例えば被監視対象Tが立ち上がり動作をする前に、被監視対象Tが立ち上がり動作をする旨の警告を発してよい。また、一実施形態において、警告部17は、例えば被監視対象Tが危険な立ち上がり動作をする前に、被監視対象Tが危険な立ち上がり動作をする旨の警告を発してもよい。さらに、一実施形態において、警告部17は、例えば特定の人物が立ち上がり動作をする旨の警告を発してもよい。例えば、一実施形態において、視覚情報を出力する警告部17は、被監視対象Tが立ち上がり動作をする旨が検出されると、その旨を発光又は所定の表示などによってユーザに警告してよい。また、一実施形態において、聴覚情報を出力する警告部17は、被監視対象Tが立ち上がり動作をする旨が検出されると、その旨を所定の音又は音声などによってユーザに警告してよい。本実施形態では、上記警告は、発光又は所定の表示、及び所定の音又は音声を組み合わせてもよい。
図1に示す監視装置10は、警告部17を内蔵している。しかしながら、一実施形態に監視システム1において、警告部17は、監視装置10の外部に設けられてもよい。この場合、警告部17と監視装置10とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。
通信部19は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部19によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は2G、3G、4G、及び5G等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、LTE(Long Term Evolution)、W-CDMA(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile communications)、及びPHS(Personal Handy-phone System)等を含む。例えば、無線通信規格は、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、WiFi、Bluetooth(登録商標)、IrDA(Infrared Data Association)、及びNFC(Near Field Communication)等を含む。通信部19は、上記の通信規格の1つ又は複数をサポートすることができる。通信部19は、例えば電波を送受信するアンテナ及び適当なRF部などを含めて構成してよい。また、通信部19は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してもよい。通信部19は、無線通信を行うための既知の技術により構成することができるため、より詳細なハードウェアの説明は省略する。
通信部19が受信する各種の情報は、例えば記憶部13及び/又はコントローラ15に供給されてよい。通信部19が受信する各種の情報は、例えば記憶部13及び/又はコントローラ15に内蔵されたメモリに記憶してもよい。また、通信部19は、例えばコントローラ15による処理結果、抽出部11による抽出結果、及び/又は、記憶部13に記憶された情報などを外部に送信してもよい。
図1に示すような、一実施形態に係る監視装置10を構成する各機能部の少なくとも一部は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。
次に、一実施形態に係る監視システム1の動作について説明する。
図2は、一実施形態に係る監視システム1の動作の一例を示すフローチャートである。図2に示す動作は、例えば病院又は介護施設などにおいて、被監視対象Tの立ち上がり動作の監視を行う際に開始してよい。例えば介護施設又は病院などにおいて、お年寄り又は負傷者のように、足腰が弱くなっているため自力で立ち上がろうとすると転倒するリスクが高い者が存在し得る。また、例えば認知症を発症している患者などは、自力で立ち上がると、徘徊したり行方不明になったりするリスクもある。このような被監視対象Tを監視システム1によって監視することで、例えば介護施設又は病院などのスタッフは、被監視対象Tが自力で立ち上がろうとしていることを、被監視対象Tが実際に立ち上がり動作をする前に認識することができる。
図2に示す動作が開始すると、一実施形態に係る監視システム1において、撮像部20は、被監視対象Tを撮像する(ステップS1)。ステップS1において、撮像部20は、被監視対象Tの画像を撮像してよい。ステップS1において、撮像部20は、この時点で被監視対象Tの撮像を開始してもよいし、すでに開始していた被監視対象Tの撮像を継続してもよい。また、ステップS1において、撮像部20は、被監視対象Tを例えば所定時間ごと(例えば0.5秒おき)の静止画として撮像してもよい。また、ステップS1において、撮像部20は、例えば被監視対象Tを連続した動画として撮像してもよい。ステップS1において撮像部20によって撮像された被監視対象Tの画像は、監視装置10の抽出部11に供給される。また、撮像部20は、例えば被監視対象Tを、例えば所定時間ごと(例えば0.5秒おき)の静止画及び連続した動画との組合せで撮像してもよい。本実施形態は、動画の撮像モードから静止画のモードに移行して画像データの容量を削減してもよい。本実施形態は、被監視対象Tの動作が少ない、例えば夜間などの場合に、動画の撮像モードから静止画のモードに移行して画像データの容量を削減してもよい。
ステップS1において被監視対象Tが撮像されたら、監視装置10の抽出部11は、撮像部20によって撮像された画像から、被監視対象Tの特徴点の動きを抽出する(ステップS2)。
図3以降は、撮像部20によって撮像された被監視対象Tの画像に基づいて、抽出部11によって抽出される被監視対象Tの特徴点の例を模式的に示す図である。図3は、椅子C1に座っている状態の被監視対象Tが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。
一実施形態において、抽出部11によって抽出される被監視対象Tの特徴点は、例えば図3以降に示すように、次のような特徴点としてよい。
特徴点P1は、被監視対象Tの例えば頭部としてよい。
特徴点P2は、被監視対象Tの例えば頭部と首との接続部としてよい。
特徴点P3は、被監視対象Tの例えば首と体幹との接続部としてよい。
特徴点P4は、被監視対象Tの例えば体幹と脚との接続部としてよい。
特徴点P5は、被監視対象Tの例えば肩としてよい。
特徴点P6は、被監視対象Tの例えば肘としてよい。
特徴点P7は、被監視対象Tの例えば手としてよい。
特徴点P8は、被監視対象Tの例えば膝としてよい。
特徴点P9は、被監視対象Tの例えば足としてよい。
図2の説明に戻り、ステップS2において、抽出部11は、既存の画像認識などの技術を用いて特徴点の抽出を行ってよい。また、ステップS2において、抽出部11は、例えばAIなどに基づく技術を用いて特徴点の抽出を行ってもよい。
ステップS2において、抽出部11は、撮像部20によって撮像された被監視対象Tの連続する複数の静止画から、特徴点の動きを抽出してもよい。また、ステップS2において、抽出部11は、撮像部20によって撮像された被監視対象Tの動画から、特徴点の動きを抽出してもよい。
ステップS2において特徴点の動きが抽出されたら、監視装置10のコントローラ15は、抽出された特徴点の動きが所定の条件を満たすか否かを判定する(ステップS3及びステップS4)。この判定の際、コントローラ15は、特徴点の動きについて判定処理を行うためのアルゴリズムを読み出してもよい。ステップS3及びステップS4において、コントローラ15は、記憶部13から前記アルゴリズムを読み出してもよい。また、必要なアルゴリズムが記憶部13に記憶されていない場合、コントローラ15は、必要なアルゴリズムを例えば外部サーバなどから取得してもよい。この場合、コントローラ15は、通信部19を介して、必要なアルゴリズムを受信してもよい。このようにして受信されたアルゴリズムは、例えば記憶部13又はコントローラ15の内部メモリなどに記憶されてもよい。以下、コントローラ15が判定処理を行うためのアルゴリズムについて、さらに説明する。
上述のように、一実施形態に係る監視装置10は、被監視対象Tの特徴点の動きに基づいて、被監視対象Tが立ち上がり動作をする前に、被監視対象Tが立ち上がり動作をすると判定してよい。本実施形態では、被監視対象Tが立ち上がり動作をする前とは、例えば立ち上がり動作を完了する前としてよい。このため、一実施形態に係る監視装置10において、コントローラ15は、撮像された被監視対象Tの画像から抽出された特徴点の動きを監視してよい。具体的には、コントローラ15は、被監視対象Tの画像から抽出された複数の特徴点の所定のタイミングにおける位置を、それぞれ監視してよい。また、コントローラ15は、被監視対象Tの画像から抽出された複数の特徴点が所定の位置に到来するタイミングを、それぞれ監視してもよい。
一実施形態において、被監視対象Tの画像から抽出された特徴点の動きと対比することにより所定の判定処理を行うアルゴリズムを使用してよい。ここで、一実施形態において、被監視対象Tが立ち上がり動作をする際の特徴点の動きを予めサンプリングした結果に基づくアルゴリズムを用いてよい。例えば、アルゴリズムは、これまでに被監視対象Tが実際に行った立ち上がり動作から抽出した特徴点の動きに基づくデータとしてよい。特に、アルゴリズムは、例えば、これまでに被監視対象Tが実際に行った立ち上がり動作の成功例から抽出した特徴点の動きに基づくデータとしてもよい。このようなアルゴリズムは、例えば被監視対象Tが複数回の立ち上がり動作をした際の特徴点の動きに基づくデータとしてもよい。このようなアルゴリズムと、抽出部11によって抽出された特徴点の動きを対比させることによって、コントローラ15は、被監視対象Tが立ち上がり動作を行うか否かを判定することができる。
後述のように、被監視対象Tが行う立ち上がり動作は、座っている状態から立ち上がり動作が完了するまでの一連の動作において、少なくとも1以上の部分的な動作を含む。したがって、座っている状態から立ち上がるまでの一連の動作に含まれる少なくとも1以上の部分的な動作の少なくとも一部が行われたことが判定できれば、被監視対象Tが立ち上がり動作をする若しくは被監視対象Tが立ち上がり動作をしようとしていると推定できる。このような推定は、被監視対象Tが立ち上がり動作を完了する前に行うことができる。したがって、一実施形態に係る監視装置10によれば、被監視対象Tが立ち上がり動作を完了する前に、被監視対象Tが立ち上がり動作を行うことを察知して、所定の警告を発することができる。すなわち、監視装置10は、アルゴリズムを用いた判定処理によって、被監視対象Tが立ち上がり動作をする前に、所定の警告を発することができる。
また、例えば、上述のアルゴリズムは、これまでに被監視対象Tが実際に行った立ち上がり動作の成功例から抽出した特徴点の動きに基づくデータに限定されない。すなわち、アルゴリズムは、これまでに被監視対象Tが実際に行った立ち上がり動作の失敗例などから抽出した特徴点の動きに基づくデータとしてもよい。例えば、アルゴリズムは、被監視対象Tが立ち上がり動作をしようとしたが失敗(例えば転倒)した場合又は失敗しかけた場合の動作から抽出した特徴点の動きに基づくデータとしてもよい。このようなアルゴリズムを用いて、監視装置10は、被監視対象Tの立ち上がり動作が成功する(すなわち失敗しない)確率が所定以上の場合には、所定の警告を発しないようにしてもよい。一方、このようなアルゴリズムを用いて、監視装置10は、被監視対象Tの立ち上がり動作が成功しない(すなわち失敗する)確率が所定以上の場合には、所定の警告を発するようにしてもよい。
さらに、上述のアルゴリズムは、被監視対象Tとして特定の人物(例えば被監視対象T1など)が立ち上がり動作をする際の特徴点の動きに基づくデータであってもよい。このようなアルゴリズムを用いて、監視装置10は、被監視対象T1のような特定の人物が立ち上がり動作をする前に、所定の警告を発することができる。
また、例えば、上述のアルゴリズムは、被監視対象T1のような特定の人物が実際に行った立ち上がり動作の成功例から抽出した特徴点の動きに基づくデータに限定されない。すなわち、アルゴリズムは、被監視対象T1のような特定の人物が実際に行った立ち上がり動作の失敗例などから抽出した特徴点の動きに基づくデータとしてもよい。このようなアルゴリズムを用いて、監視装置10は、被監視対象T1のような特定の人物の立ち上がり動作が成功する(すなわち失敗しない)確率が所定以上の場合には、所定の警告を発しないようにしてもよい。一方、このようなアルゴリズムを用いて、監視装置10は、被監視対象T1のような特定の人物の立ち上がり動作が成功しない(すなわち失敗する)確率が所定以上の場合には、所定の警告を発するようにしてもよい。
ステップS3(及びステップS4)の動作として、コントローラ15は、被監視対象Tの特徴点の動きにおいて所定の条件が満たされたか否かに応じて、被監視対象Tが立ち上がりの動作が行われるか否かを判定する処理としてよい。ここで、所定の条件が満たされる場合とは、例えば、所定の動作が所定のタイミングで行われた場合としてよい。例えば、ステップS3及びステップS4において、コントローラ15は、所定のいくつかの動作、所定のタイミングにおいて完了した場合としてもよい。
例えば、コントローラ15は、所定の第1動作、所定の第2動作、及び所定の第3動作の少なくともいずれかが開始したか否か判定してもよい(ステップS3)。所定の第1動作、所定の第2動作、及び所定の第3動作については、さらに後述する。ステップS3において第1動作乃至第3動作のいずれも開始していないと判定された場合、コントローラ15は、図2に示す動作を終了してよい。コントローラ15が判定する開始動作は3つに限定するものではなく、少なくとも1以上の任意の数でもよい。
一方、ステップS3において第1動作乃至第3動作のいずれかが開始したと判定された場合、コントローラ15は、所定の第1動作、所定の第2動作、及び所定の第3動作の全てを合わせた動作が1秒以内に完了したか否か判定してよい(ステップS4)。
ステップS4において所定の第1動作、所定の第2動作、及び所定の第3動作の全てを合わせた動作が1秒以内に完了したと判定された場合、コントローラ15は、図2に示す動作を終了する。図2に示す動作を終了したら、コントローラ15は、連続して、又は所定の時間間隔ごとに、図2に示す動作を再び開始してもよい。また、コントローラ15は、例えば不規則的な時間間隔など、任意の時間間隔ごとに、図2に示す動作を再び開始してもよい。
一方、ステップS4において所定の第1動作、所定の第2動作、及び所定の第3動作の全てを合わせた動作が1秒以内に完了しなかったと判定された場合、コントローラ15は、所定の警告信号を出力してよい(ステップS5)。ステップS5において、コントローラ15は、所定の警告信号を警告部17に出力してよい。ステップS5においてコントローラ15から出力された所定の警告信号に基づいて、警告部17は、所定の警告をユーザ発してよい。
このように、コントローラ15は、抽出部11によって抽出された被監視対象Tの特徴点の動きにおいて、所定の条件が満たされる場合、所定の警告信号を出力してよい。一実施形態において、所定の条件とは、第1動作、第2動作、及び第3動作の少なくともいずれかの開始から1秒経過時点において、第1動作から第3動作までの少なくともいずれかが完了していないこととしてもよい。
また、一実施形態において、所定の条件とは、第1動作、第2動作、及び第3動作の少なくともいずれかの開始から1秒経過時点において、第1動作から第3動作までのいずれもが完了していないこととしてもよい。さらに、一実施形態において、所定の条件とは、第1動作と、第2動作と、第3動作と、からなる動作が、第1動作の開始から1秒経過時点で完了していないこととしてもよい。
図2に示すステップS3及びステップS4において、コントローラ15は、被監視対象Tが立ち上がり動作の初動をするか否かを判定した。これにより、監視装置10は、被監視対象Tが立ち上がり動作をする前、例えば立ち上がり動作を完了する前に、所定の警告を発することができる。
これに対し、上述したように、コントローラ15は、被監視対象Tが成功の可能性が比較的高い(すなわち安全な)立ち上がり動作の初動をするか、又は失敗の可能性が比較的高い(すなわち危険な)立ち上がり動作の初動をするか判定してもよい。この場合、コントローラ15が行う判定処理に用いるアルゴリズムは、被監視対象T1のような特定の人物が実際に行った立ち上がり動作の成功例から抽出した特徴点の動きに基づくものとしてもよい。また、この場合、アルゴリズムは、被監視対象T1のような特定の人物が実際に行った立ち上がり動作の失敗例などから抽出した特徴点の動きに基づくものとしてもよい。
以下、コントローラ15が行う判定処理に用いられるアルゴリズムについて、さらに説明する。ここでは、抽出部11によって抽出される被監視対象Tの特徴点の動きにおける判定処理を行うためのアルゴリズムについて、実証実験から得られた知見のいくつかに基づいて説明する。
(アームレストのない椅子から立ち上がる場合)
図3乃至図6は、被監視対象Tがアームレストのない椅子から立ち上がる動作の特徴点を抽出する例を説明する図である。図3から図6までは、アームレストのない椅子C1に座っている被監視対象Tが、徐々に立ち上がる際の特徴点の動きを示している。図3乃至図6は、被監視対象Tが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。ここで、椅子C1は、図3乃至図6に示すように、アームレスト又は肘掛けなどのない構造の椅子としてよい。
図3から図6までに示すように、被監視対象Tが椅子C1に座っている状態から立ち上がる動作一連の動作には、いくつかの部分的な動作が含まれる。例えば、図3は、上述したように、椅子C1に座っている状態の被監視対象Tが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。
図3に示した状態から図4に示す状態までに、被監視対象Tが行う一例の立ち上がり動作に含まれる部分的な動作は、例えば以下のような動作としてよい。
(1)足を後ろに引く動作(特徴点P9の移動(図4に示す距離d1及び角度a1))
このように、被監視対象Tが足を後方に引く動作は、上述の第1動作としてよい。
(2)前傾姿勢を取る動作(特徴点P1,P2,又はP3の移動(図4に示す角度a2))
このように、被監視対象Tが前傾姿勢をとる動作は、上述の第2動作としてよい。
(3)手を前に出す動作(特徴点P7及び/又はP6の移動(図4に示す距離d2))
このように、被監視対象Tが手を前に出す動作は、上述の第3動作としてよい。
また、図3乃至図6に示すように、第1動作乃至第3動作の少なくともいずれかは、被監視対象Tが例えば椅子などに座っている体勢から開始される動作としてもよい。また、本実施形態において、第1動作、第2の動作及び第3動作はこの順序で行われる場合に限定されず、第1動作、第2の動作、第3動作の順序は任意の順序であってよい。本実施形態では、第1動作、第2の動作及び第3動作のいずれかの動作がこの3つの動作の最初の動作となってもよい。
ここで、被監視対象Tの通常の(安全な)立ち上がり動作において、上記(1)の距離d1は約10cm、角度a1は約70°になる傾向にある。一方、被監視対象Tの危険な立ち上がり動作において、上記(1)の距離d1は約20cm、角度a1は約50°になる傾向にある。したがって、第1動作は、被監視対象Tが足を床面上において被監視対象Tの後方に10cm又は20cmの長さまで動かす動作としてもよい。また、第1動作は、被監視対象Tが膝を70°又は50°の角度になるまで曲げる動作としてもよい。以下、通常の(安全な)立ち上がり動作とは、例えば立ち上がり動作が成功する(すなわち失敗しない)確率が所定以上になる動作としてよい。また、危険な立ち上がり動作とは、例えば転倒するなど、立ち上がり動作が成功しない(すなわち失敗する)確率が所定以上になる動作としてよい。
また、監視対象Tの通常の立ち上がり動作において、上記(2)の角度a2は約40°になる傾向にある。一方、被監視対象Tの危険な立ち上がり動作において、上記(2)の角度a2は約70°になる傾向にある。したがって、第2動作は、被監視対象Tが上半身の少なくとも一部を床面に垂直な方向から40°又は70度の角度になるまで前傾させる姿勢をとる動作としてもよい。
また、上記(3)の距離d2は、監視対象Tの通常の立ち上がり動作においても、危険な立ち上がり動作においても、約10cmになる傾向にある。したがって、第3動作は、被監視対象Tが手を前方に10cmの長さまで動かす動作としてもよい。
次に、図4に示した状態から図5に示す状態を経て図6に示す状態までに、被監視対象Tが行う一例の立ち上がり動作に含まれる部分的な動作は、例えば以下のような動作としてよい。図4及び図5は、被監視対象Tが行う一例の立ち上がり動作の途中の状態の画像から抽出された特徴点の例を模式的に示している。また、図6は、被監視対象Tが一例の立ち上がり動作を完了した状態の画像から抽出された特徴点の例を模式的に示している。
(4)お尻を持ち上げる動作(特徴点P4の移動(図5に示す距離d3))
(5)膝を伸ばす動作(特徴点P4及び/又はP9の移動(図5に示す角度a3))
(6)頭を持ち上げる動作(特徴点P1の移動(図5に示す距離d4))
(7)腕を伸ばす動作(特徴点P7の移動(図5に示す角度a4))
(8)背筋を伸ばす動作(特徴点P1,P2,又はP3の移動(図5に示す角度a5))
ここで、被監視対象Tの通常の立ち上がり動作において、上記(5)の角度a3は約70°から約180°に変化する傾向にある。一方、被監視対象Tの危険な立ち上がり動作において、上記(5)の角度a3は約50°から約150°に変化する傾向にある。
また、被監視対象Tの通常の立ち上がり動作において、上記(6)の距離d4は、図5に示すP1の位置から図6に示すP1の位置まで変化する傾向にある。一方、被監視対象Tの危険な立ち上がり動作において、上記(6)の距離d4は、図5に示すP1の位置から図6に示すP1の位置までの距離に約20cm満たない位置まで変化する傾向にある。
また、被監視対象Tの通常の立ち上がり動作において、上記(7)の角度a4は約90°から約170°に変化する傾向にある。一方、被監視対象Tの危険な立ち上がり動作において、上記(5)の角度a4は約90°から約160°に変化する傾向にある。
さらに、被監視対象Tの通常の立ち上がり動作において、上記(8)の角度a5は約0°になる傾向にある。一方、被監視対象Tの危険な立ち上がり動作において、上記(8)の角度a5は約20°になる傾向にある。
ここまで、被監視対象Tの立ち上がり動作における特徴点の動きについて説明した。以下、被監視対象Tの立ち上がり動作における特徴点の動くタイミングについて、さらに説明する。
実証実験の結果、被監視対象Tの通常の立ち上がり動作において、上記(1)から(3)までの動作は、約0.6秒の間に行われる傾向にある。また、被監視対象Tの通常の立ち上がり動作において、上記(4)から(8)までの動作は、約1.2秒の間に行われる傾向にある。すなわち、被監視対象Tの通常の立ち上がり動作は、全体として約2秒の間に行われる傾向にある。
一方、被監視対象Tの危険な立ち上がり動作において、上記(1)から(3)までの動作は、約3秒の間に行われる傾向にある。また、被監視対象Tの危険な立ち上がり動作において、上記(4)から(8)までの動作は、約3秒の間に行われる傾向にある。すなわち、被監視対象Tの危険な立ち上がり動作は、全体として約6秒の間に行われる傾向にある。言い換えると、被監視対象Tの危険な立ち上がり動作は、全体として、被監視対象Tの通常の立ち上がり動作のように約2秒の間には行われない傾向にある。
以上から、例えば、監視装置10のコントローラ15は、被監視対象Tが立ち上がり動作を開始してから3秒経過しても立ち上がり動作を完了していない場合、危険な立ち上がりである旨を示す警告信号を出力してもよい。このようにすれば、監視装置10は、被監視対象Tが危険な立ち上がりを完了する前に、被監視対象Tが危険な立ち上がり動作をしている旨の警告をユーザに発することができる。
また、上記(1)から(8)までの動作は、被監視対象Tが行う一連の立ち上がり動作に含まれる。したがって、例えば上記(1)から(3)までの動作が行われると、その後引き続き上記(4)から(8)までの動作が行われるものと想定することができる。そこで、例えば、コントローラ15は、被監視対象Tが上記(1)から(3)までの動作を行うのに3秒以上かかった時点で、危険な立ち上がりである旨を示す警告信号を出力してもよい。このようにすれば、監視装置10は、被監視対象Tが危険な立ち上がりを完了する所定時間前(例えば3秒前)に、被監視対象Tが危険な立ち上がり動作をしている旨の警告をユーザに発することができる。このように、コントローラ15は、被監視対象Tが立ち上がり動作を完了する所定時間前に、所定の警告信号を出力してもよい。
さらに、本実施形態において、被監視対象Tの動作において、コントローラ15は、被監視対象Tが立ち上がり動作を開始してから1秒以内に上記(1)から(3)までの動作を完了していなかった場合に、立ち上がり動作を行っている旨を示す警告信号を出力してもよい。さらに、被監視対象Tの動作において、コントローラ15は、被監視対象Tが立ち上がり動作を開始してから1秒以内に上記(1)から(3)までの動作を完了していた場合に、立ち上がり動作を行っている旨を示す警告信号を出力しないとしてもよい。このようにすれば、監視装置10は、被監視対象Tが危険な立ち上がりを行う完了する所定時間前(例えば1秒前)に、被監視対象Tが危険な立ち上がり動作をしている旨の警告をユーザに発することができる。また、この場合、本実施形態では、警告をするか否かを、上記(1)から(3)までの動作を完了が1秒かかったか否かとしたため、通常の立ち上がりが可能な者の立ち上がりは警告せず、危険な立ち上がりを行う者の立ち上がりを警告できる。このため、本実施形態では、警告の信頼性や有用性を向上させることができる。また、本実施形態において、所定の警告信号を出力するか否かを判定するための経過時間は、上述のように1秒に限定されるものではない。つまり、通常の立ち上がり動作の動作時間T1と、危険な立ち上がり動作の動作時間をT2とした場合、所定の警告信号を出力するか否かを判定するための経過時間Tthは、T2≧Tth≧T1としてよい。経過時間TthをT1とした場合、本実施形態は、警告を迅速に出力することができる。経過時間TthをT2とした場合、本実施形態は、通常の立ち上がり動作を危険な立ち上がり動作と誤認識する確率を減らすことができる。経過時間TthをT2>Tth>T1とした場合、本実施形態は、警告出力の迅速性と誤認識の低減とをバランスよく設定することができる。また、本実施形態において、通常の立ち上がり動作の動作時間T1を0.6秒とし、危険な立ち上がり動作の動作時間T2を3秒とする場合を例にしたが、本実施形態は、T1、T2としてこのような値ではなく、被監視対象Tの年齢、体格、健康状態、心身の障害状態、時刻、例えば運動した後などのシチュエーションなどに基づいて適宜他の値を設定してもよい。
以上のような動作を、被監視対象Tの通常の立ち上がり動作において行ってもよい。例えば、被監視対象Tの通常の立ち上がり動作において、上記(1)から(3)までの動作が0.6秒の間に行われると、その後引き続き上記(4)から(8)までの動作が1.2秒の間に行われるものと想定することができる。
そこで、コントローラ15は、被監視対象Tが立ち上がり動作を開始してから1秒以内に上記(1)から(3)までの動作を完了した場合に、立ち上がり動作を行っている旨を示す警告信号を出力してもよい。このようにすれば、監視装置10は、被監視対象Tが通常の立ち上がりを完了する所定時間前(例えば約1秒前)に、被監視対象Tが立ち上がり動作を開始している旨の警告をユーザに発することができる。このように、コントローラ15は、被監視対象Tが立ち上がり動作をする所定時間前に、所定の警告信号を出力してもよい。
したがって、一実施形態において、コントローラ15は、第1動作、第2動作、及び第3動作の少なくともいずれかの開始から1秒経過時点において、第1動作から第3動作までの少なくともいずれかが完了していない場合、所定の警告信号を出力してもよい。また、一実施形態において、コントローラ15は、第1動作、第2動作、及び第3動作の少なくともいずれかの開始から1秒経過時点において、第1動作から第3動作までのいずれもが完了していない場合、所定の警告信号を出力してもよい。また、一実施形態において、コントローラ15は、第1動作と、第2動作と、第3動作と、からなる動作が、第1動作の開始から1秒経過時点で完了していない場合、所定の警告信号を出力してもよい。すなわち、本実施形態では、コントローラ15は、第1動作、第2動作、及び第3動作の少なくともいずれかの開始から1秒経過時点において、第1動作から第3動作までの少なくともいずれかが完了していない場合、所定の警告信号を出力するとしたので、危険な立ち上がり動作となり得る被監視対象Tが立ち上ろうとしている場合に警告を発し、危険ではない通常の立ち上がり動作となり得る被監視対象Tが立ち上ろうとしている場合には警告を発しないため、立ち上がり警告を適切に発することができる。ここで、本実施形態において、所定の警告信号を出力するか否かを判定するための経過時間は、上述のように1秒に限定されるものではない。つまり、通常の立ち上がり動作の動作時間T1と、危険な立ち上がり動作の動作時間をT2とした場合、所定の警告信号を出力するか否かを判定するための経過時間Tthは、T2≧Tth≧T1としてよい。経過時間TthをT1とした場合、本実施形態は、警告を迅速に出力することができる。経過時間TthをT2とした場合、本実施形態は、通常の立ち上がり動作を危険な立ち上がり動作と誤認識する確率を減らすことができる。経過時間TthをT2>Tth>T1とした場合、本実施形態は、警告出力の迅速性と誤認識の低減とをバランスよく設定することができる。また、本実施形態において、通常の立ち上がり動作の動作時間T1を0.6秒とし、危険な立ち上がり動作の動作時間T2を3秒とする場合を例にしたが、本実施形態は、T1、T2としてこのような値ではなく、被監視対象Tの年齢、体格、健康状態、心身の障害状態、時刻、例えば運動した後などのシチュエーションなどに基づいて適宜他の値を設定してもよい。
いずれの場合も、監視装置10は、被監視対象Tが立ち上がり動作を完了する前に、被監視対象Tが立ち上がり動作を開始している旨の警告をユーザに発してよい。このように、コントローラ15は、被監視対象Tが立ち上がり動作を完了する前に、所定の警告信号を出力してもよい。
一実施形態に係る監視システム1によれば、被監視対象Tが例えば危険な立ち上がりを行おうとしている場合などに、危険な立ち上がり動作をする前に、ユーザに警告を発することができる。したがって、一実施形態に係る監視システム1によれば、被監視対象の安全に供し得る。
(アームレスト付きの椅子から立ち上がる場合)
図7乃至図9は、被監視対象Tがアームレスト付きの椅子から立ち上がる動作の特徴点を抽出する例を説明する図である。図7乃至図9は、アームレスト付きの椅子C2に座っている被監視対象Tが立ち上がる際の特徴点の動きを示している。図7乃至図9は、被監視対象Tが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。ここで、椅子C2は、図7乃至図9に示すように、アームレスト又は肘掛けなどの付いた構造の椅子としてよい。以下、上述した「アームレストのない椅子から立ち上がる場合」とは異なる点について、主に説明する。
図7は、図3と同様に、椅子C2に座っている状態の被監視対象Tが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。
図7に示した状態から図8に示す状態までに、被監視対象Tが行う一例の通常の立ち上がり動作に含まれる部分的な動作は、上述のように、例えば以下のような動作としてよい。
(1)足を後ろに引く動作(特徴点P9の移動)
この動作を、上述の第1動作としてもよい。
(2)前傾姿勢を取る動作(特徴点P1,P2,又はP3の移動)
この動作を、上述の第2動作としてもよい。
(3)手を前に出す動作(特徴点P7及び/又はP6の移動(図8に示す距離d5))
この動作を、上述の第3動作としてもよい。
ここで、被監視対象Tの通常の立ち上がり動作において、上記(3)の距離d5は、図4に示した場合と同様に、約10cmになる傾向にある。
一方、被監視対象Tの危険な立ち上がり動作において、上記の「(3)手を前に出す動作」は、図9に示すように、「(3’)腕を後方に引き上げる動作(特徴点P7及びP6の移動)」に代わる傾向にある。「(3’)腕を後方に引き上げる動作」は、図9に示すように、特徴点P7の移動(図9に示す距離d6)及び特徴点P6の移動(図9に示す距離d7)を含んでよい。ここで、被監視対象Tの危険な立ち上がり動作において、上記の距離d6は約10cm、距離d7は約10cmになる傾向にある。
すなわち、被監視対象Tの特徴点の動きを抽出する際に、被監視対象Tが上記(1)から(3)までの動作を完了した場合に図8のような特徴点になっていれば、被監視対象Tの通常の立ち上がり動作になる傾向にある。一方、被監視対象Tの特徴点の動きを抽出する際に、被監視対象Tが上記(1)から(3)までの動作を完了した場合に図9のような特徴点になっていれば、被監視対象Tの危険な立ち上がり動作になる傾向にある。
(デスクとともに使用していた椅子から立ち上がる場合)
図10及び図11は、被監視対象Tがデスクとともに使用していた椅子から立ち上がる動作の特徴点を抽出する例を説明する図である。図10及び図11は、デスクD1とともに用いられる椅子C1に座っている被監視対象Tが立ち上がる際の特徴点の動きを示している。図10及び図11は、被監視対象Tが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。ここで、椅子C1は、図3乃至図6に示したのと同様に、アームレスト又は肘掛けなどのない構造の椅子としてよい。以下、上述した説明とは異なる点について、主に説明する。
図10は、図4とほぼ同様に、椅子C1に座っている状態から立ち上がろうとしている被監視対象Tが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。
上述したように、図4に示した状態までに、被監視対象Tが行う一例の通常の立ち上がり動作に含まれる部分的な動作は、例えば以下のような動作としてよい。
(1)足を後ろに引く動作(特徴点P9の移動)
この動作を、上述の第1動作としてもよい。
(2)前傾姿勢を取る動作(特徴点P1,P2,又はP3の移動)
この動作を、上述の第2動作としてもよい。
(3)手を前に出す動作(特徴点P7及び/又はP6の移動)
この動作を、上述の第3動作としてもよい。
これに対し、図10に示す状態までに、被監視対象Tが行う一例の通常の立ち上がり動作に含まれる部分的な動作のうち、上記(1)及び(2)は、図4に示した状態と同様に含まれるものとしてよい。一方、上記の「(3)手を前に出す動作」は、図10に示す状態において、「(3”)手で机を押す動作、及び/又は、椅子を引く動作(特徴点P7及びP6の移動)」に代わる傾向にある。「(3”)手で机を押す動作、及び/又は、椅子を引く動作」は、図11に示すように、特徴点P7及び/又は特徴点P6の移動(図11に示す角度a6)を含んでよい。上記(3”)の動作における角度a6は、監視対象Tの通常の立ち上がり動作においても、危険な立ち上がり動作においても、約70°から約170°に変化する傾向にある。
以上のように、被監視対象Tの立ち上がり動作において、椅子のタイプ及び/又はデスクの有無に応じて、抽出される特徴点の動きは異なり得る。このため、各状況において抽出される特徴点に基づくアルゴリズムを用いることにより、監視システム1は、各状況に応じて被監視対象Tが立ち上がり動作をする前に所定の警告を発することができる。
また、被監視対象Tの立ち上がり動作において、椅子のタイプ及び/又はデスクの有無に応じて、抽出される特徴点の動きは異なり得るが、共通して抽出される特徴点の動きも存在し得る。このため、異なる各状況において共通して抽出される特徴点に基づくアルゴリズムを用いることにより、監視システム1は、異なる各状況に依存せずに、被監視対象Tが立ち上がり動作をする前に所定の警告を発することができる。
(半身麻痺がある被監視対象が立ち上がる場合)
図12及び図13は、例えば半身麻痺がある被監視対象Tが椅子から立ち上がる動作の特徴点を抽出する例を説明する図である。図12及び図13は、椅子C1に座っている被監視対象Tが立ち上がる際の特徴点の動きを示している。図12及び図13は、被監視対象Tが前方から撮像された画像から抽出された特徴点の例を模式的に示している。ここで、椅子C1は、図3乃至図6に示したのと同様に、アームレスト又は肘掛けなどのない構造の椅子としてよい。以下、上述した説明とは異なる点について、主に説明する。ここで、図12及び図13は、左半身の麻痺の被監視対象Tの図である。図13は、被監視対象Tの肩が下がっている側に麻痺がある例を示す。例えば、脳卒中の後遺症として、半身が麻痺になる(片麻痺)症状がある。半身麻痺は、左半身の上半身及び下半身の麻痺のケースと、左半身の上半身の麻痺のケースがある。図13の半身麻痺がある被監視対象Tは、左半身の上半身の麻痺のケースとしてよい。麻痺している側の左半身には力が入らないので、左側の上半身は下方に下がりがちになる。また、この場合、足は地面に接しているため、左側の下半身は下に下がらない。したがって、この場合、左側の下半身が麻痺していない場合と変わらない体勢になる。
図12は、図3とほぼ同様に、椅子C1に座っている状態の被監視対象Tが撮像された画像から抽出された特徴点の例を模式的に示している。図3は、椅子C1に座っている状態の被監視対象Tが左側方から撮像された画像から抽出された特徴点の例を模式的に示している。これに対し、図12は、椅子C1に座っている状態の被監視対象Tが前方正面から撮像された画像から抽出された特徴点の例を模式的に示している。
上述したように、図4に示した状態までに、被監視対象Tが行う一例の通常の立ち上がり動作に含まれる部分的な動作は、例えば以下のような動作としてよい。
(1)足を後ろに引く動作(特徴点P9の移動)
この動作を、上述の第1動作としてもよい。
(2)前傾姿勢を取る動作(特徴点P1,P2,又はP3の移動)
この動作を、上述の第2動作としてもよい。
(3)手を前に出す動作(特徴点P7及び/又はP6の移動)
この動作を、上述の第3動作としてもよい。
ここで、図13に示すように、半身麻痺がある被監視対象Tが行う一例の立ち上がり動作に含まれる部分的な動作のうち、上記「(2)前傾姿勢を取る動作」は、図4に示した状態とは異なる動作に代わる傾向にある。したがって、この場合、上記「(2)前傾姿勢を取る動作」は、左右非対称な動きを含む「(2’)前傾姿勢を取る動作」に代えてよい。この場合、「(2’)前傾姿勢を取る動作」において、上述した特徴点P1,P2,又はP3の移動については、図4において説明した「(2)前傾姿勢を取る動作」の場合と同様にしてよい。一方、「(2’)前傾姿勢を取る動作」は、左右非対称な動きとして、例えば特徴点P5L及び/又はP5Rの移動(図13に示す角度a7)を含むものとしてよい。
以上のように、被監視対象Tの立ち上がり動作において、被監視対象Tの身体的特徴及び/又は障がいなどに応じて、抽出される特徴点の動きは異なり得る。このため、各被監視対象Tにおいて抽出される特徴点に基づくアルゴリズムを用いることにより、監視システム1は、各被監視対象Tが立ち上がり動作をする前に所定の警告を発することができる。
また、被監視対象Tの立ち上がり動作において、被監視対象Tの身体的特徴及び/又は障がいなどに応じて、抽出される特徴点の動きは異なり得るが、共通して抽出される特徴点の動きも存在し得る。このため、異なる各被監視対象Tにおいて共通して抽出される特徴点に基づくアルゴリズムを用いることにより、監視システム1は、異なる各被監視対象Tに依存せずに、被監視対象Tが立ち上がり動作をする前に所定の警告を発することができる。
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを1つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
上述した実施形態は、監視システム1としての実施のみに限定されるものではない。例えば、上述した実施形態は、監視システム1に含まれる監視装置10として実施してもよい。また、上述した実施形態は、例えば、監視装置10のような機器による監視方法として実施してもよい。さらに、上述した実施形態は、例えば、監視装置10のような機器又は情報処理装置(例えばコンピュータ)が実行するプログラムとして実施してもよい。
1 監視システム
10 監視装置
11 抽出部
13 記憶部
15 コントローラ
17 警告部
19 通信部
20 撮像部

Claims (11)

  1. 被監視対象を撮像する撮像部と、
    前記撮像部によって撮像された画像から、前記被監視対象の特徴点の動きを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の特徴点の動きにおいて、
    前記被監視対象が足を後方に引く第1動作と、
    前記被監視対象が前傾姿勢をとる第2動作と、
    前記被監視対象が手を前に出す第3動作と、
    からなる動作が、前記第1動作の開始から所定の時間経過時点で完了していない場合、所定の警告信号を出力するコントローラと、
    前記コントローラから出力される前記所定の警告信号に基づいて、所定の警告を発する警告部と、
    を備える、監視システム。
  2. 被監視対象を撮像する撮像部と、
    前記撮像部によって撮像された画像から、前記被監視対象の特徴点の動きを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の特徴点の動きにおいて、
    前記被監視対象が足を後方に引く第1動作と、
    前記被監視対象が前傾姿勢をとる第2動作と、
    前記被監視対象が手を前に出す第3動作と、
    の少なくともいずれかの開始から所定の時間経過時点において、前記第1動作から前記第3動作までの少なくともいずれかが完了していない場合、所定の警告信号を出力するコントローラと、
    前記コントローラから出力される前記所定の警告信号に基づいて、所定の警告を発する警告部と、
    を備える、監視システム。
  3. 前記第1動作乃至前記第3動作の少なくともいずれかは、前記被監視対象が座っている体勢から開始される動作とする、請求項1又は2に記載の監視システム。
  4. 前記第1動作は、前記被監視対象が足を床面上において前記被監視対象の後方に10cm又は20cmの長さまで動かす動作とする、請求項1から3のいずれかに記載の監視システム。
  5. 前記第1動作は、前記被監視対象が膝を70°又は50°の角度になるまで曲げる動作とする、請求項1から4のいずれかに記載の監視システム。
  6. 前記第2動作は、前記被監視対象が上半身の少なくとも一部を床面に垂直な方向から40°又は70度の角度になるまで前傾させる姿勢をとる動作とする、請求項1から5のいずれかに記載の監視システム。
  7. 前記第3動作は、前記被監視対象が手を前方に10cmの長さまで動かす動作とする、請求項1から6のいずれかに記載の監視システム。
  8. 前記警告部は、前記所定の警告を、人体の聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として発する、請求項1から7のいずれかに記載の監視システム。
  9. 被監視対象の画像から前記被監視対象の特徴点の動きを抽出する抽出部と、
    前記抽出部によって抽出された前記被監視対象の特徴点の動きにおいて、
    前記被監視対象が足を後方に引く第1動作と、
    前記被監視対象が前傾姿勢をとる第2動作と、
    前記被監視対象が手を前に出す第3動作と、
    からなる動作が、前記第1動作の開始から所定の時間経過時点で完了していない場合、所定の警告信号を出力するコントローラと、
    を備える、監視装置。
  10. 被監視対象の画像から前記被監視対象の特徴点の動きを抽出するステップと、
    前記抽出するステップにおいて抽出された前記被監視対象の特徴点の動きにおいて、
    前記被監視対象が足を後方に引く第1動作と、
    前記被監視対象が前傾姿勢をとる第2動作と、
    前記被監視対象が手を前に出す第3動作と、
    からなる動作が、前記第1動作の開始から所定の時間経過時点で完了しているか否か判定するステップと、
    前記判定するステップにおいて、前記第1動作乃至前記第3動作からなる動作が前記第1動作の開始から所定の時間経過時点で完了していない場合、所定の警告信号を出力するステップと、
    を含む、監視方法。
  11. コンピュータに、
    被監視対象の画像から前記被監視対象の特徴点の動きを抽出するステップと、
    前記抽出するステップにおいて抽出された前記被監視対象の特徴点の動きにおいて、
    前記被監視対象が足を後方に引く第1動作と、
    前記被監視対象が前傾姿勢をとる第2動作と、
    前記被監視対象が手を前に出す第3動作と、
    からなる動作が、前記第1動作の開始から所定の時間経過時点で完了しているか否か判定するステップと、
    前記判定するステップにおいて、前記第1動作乃至前記第3動作からなる動作が前記第1動作の開始から所定の時間経過時点で完了していない場合、所定の警告信号を出力するステップと、
    を実行させる、プログラム。
JP2020083881A 2020-05-12 2020-05-12 監視システム、監視装置、監視方法、及びプログラム Active JP7438847B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020083881A JP7438847B2 (ja) 2020-05-12 2020-05-12 監視システム、監視装置、監視方法、及びプログラム
JP2024020325A JP2024069214A (ja) 2020-05-12 2024-02-14 監視システム、監視方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020083881A JP7438847B2 (ja) 2020-05-12 2020-05-12 監視システム、監視装置、監視方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024020325A Division JP2024069214A (ja) 2020-05-12 2024-02-14 監視システム、監視方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021179723A JP2021179723A (ja) 2021-11-18
JP7438847B2 true JP7438847B2 (ja) 2024-02-27

Family

ID=78511461

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020083881A Active JP7438847B2 (ja) 2020-05-12 2020-05-12 監視システム、監視装置、監視方法、及びプログラム
JP2024020325A Pending JP2024069214A (ja) 2020-05-12 2024-02-14 監視システム、監視方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024020325A Pending JP2024069214A (ja) 2020-05-12 2024-02-14 監視システム、監視方法、及びプログラム

Country Status (1)

Country Link
JP (2) JP7438847B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010246635A (ja) 2009-04-13 2010-11-04 Araya Industrial Co Ltd 立ち上がり支援装置及び立ち上がり支援方法
JP2015138427A (ja) 2014-01-23 2015-07-30 シャープ株式会社 監視装置
JP2016158952A (ja) 2015-03-03 2016-09-05 富士通株式会社 行動検出方法及び行動検出装置
JP2020052867A (ja) 2018-09-28 2020-04-02 株式会社Axive 姿勢解析装置、姿勢解析方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010246635A (ja) 2009-04-13 2010-11-04 Araya Industrial Co Ltd 立ち上がり支援装置及び立ち上がり支援方法
JP2015138427A (ja) 2014-01-23 2015-07-30 シャープ株式会社 監視装置
JP2016158952A (ja) 2015-03-03 2016-09-05 富士通株式会社 行動検出方法及び行動検出装置
JP2020052867A (ja) 2018-09-28 2020-04-02 株式会社Axive 姿勢解析装置、姿勢解析方法、及びプログラム

Also Published As

Publication number Publication date
JP2024069214A (ja) 2024-05-21
JP2021179723A (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
US10004430B2 (en) Apparatus and method for detecting a fall
JP7271915B2 (ja) 画像処理プログラムおよび画像処理装置
JP7438847B2 (ja) 監視システム、監視装置、監視方法、及びプログラム
TWI474291B (zh) 體感偵測跌倒方法
JP6056107B2 (ja) 運動補助装置、運動補助方法、プログラム
WO2018012432A1 (ja) 行動判定装置及び行動判定方法
JP2019118763A (ja) 動作獲得支援装置、動作獲得支援システム、及び、動作獲得支援装置の制御方法
WO2020250492A1 (ja) 支援装置、支援方法およびプログラム
JP7483486B2 (ja) 監視システム、監視装置、監視方法、及びプログラム
WO2020008726A1 (ja) 対象物体検出プログラム、および対象物体検出装置
CN108846996B (zh) 一种摔倒侦测系统及方法
JP2020052808A (ja) 見守り装置、見守りシステム、見守りプログラム、および見守り方法
Safarzadeh et al. Real-time fall detection and alert system using pose estimation
JP7449211B2 (ja) システム、電子機器、電子機器の制御方法、及びプログラム
JP7449212B2 (ja) システム、電子機器、電子機器の制御方法、及びプログラム
Alejandro et al. ICFY (I Care For You): An IOT Based Fall Detection and Monitoring Device using ESP32-CAM and MPU 6050 Sensors
JP7515358B2 (ja) システム、電子機器、電子機器の制御方法、及びプログラム
WO2021033597A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2022055253A (ja) システム、電子機器、電子機器の制御方法、及びプログラム
JP2022055251A (ja) システム、電子機器、電子機器の制御方法、及びプログラム
JP2019204366A (ja) 行動監視装置及び行動監視方法
JP2022055252A (ja) システム、電子機器、電子機器の制御方法、及びプログラム
JP2022050271A (ja) システム、電子機器、電子機器の制御方法、及びプログラム
JP2022039814A (ja) システム、電子機器、電子機器の制御方法、及びプログラム
JP2022055248A (ja) システム、電子機器、電子機器の制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240214

R150 Certificate of patent or registration of utility model

Ref document number: 7438847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150