JP6725411B2 - 行動評価装置、行動評価方法 - Google Patents

行動評価装置、行動評価方法 Download PDF

Info

Publication number
JP6725411B2
JP6725411B2 JP2016252355A JP2016252355A JP6725411B2 JP 6725411 B2 JP6725411 B2 JP 6725411B2 JP 2016252355 A JP2016252355 A JP 2016252355A JP 2016252355 A JP2016252355 A JP 2016252355A JP 6725411 B2 JP6725411 B2 JP 6725411B2
Authority
JP
Japan
Prior art keywords
evaluation
action
unit
reference value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016252355A
Other languages
English (en)
Other versions
JP2018106437A (ja
Inventor
菅原 康博
康博 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sekisui Chemical Co Ltd
Original Assignee
Sekisui Chemical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sekisui Chemical Co Ltd filed Critical Sekisui Chemical Co Ltd
Priority to JP2016252355A priority Critical patent/JP6725411B2/ja
Publication of JP2018106437A publication Critical patent/JP2018106437A/ja
Application granted granted Critical
Publication of JP6725411B2 publication Critical patent/JP6725411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Selective Calling Equipment (AREA)
  • Image Analysis (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Description

本発明は、生活環境評価に係り、特に居住空間内において、利用者毎に不安全行動が発生する状況の評価を行う行動評価装置、行動評価方法に関する。
居住空間内には、その居住空間を利用する利用者にとって、必ずしも使用し易い状況にあるとは限らない。例えば廊下と部屋の間の段差、玄関や浴室の段差、滑りやすい床材等がある場合、利用者によっては移動する際に障害と感じる場合がある。
また、居住空間内における物理的な構造だけではなく、照度の不足や急激な温度の変化、風といった利用者にとって不適切な環境による身体への影響によるものもある。特に、身体や認知機能に障害のある人や、高齢や疾病による機能の低下した人にとっては、障害となる状況は多様であり、またその程度も異なる。
これらの問題を軽減する為に、バリアフリー設計を実施した住居を提供したり、またリフォームにより居住空間の物理的な障害を軽減,除外することが行われている。
また一方で、FIM(機能的自立度評価表)と呼ばれる評価法を用いる等によって、介護が必要な度合を評価することも行なわれている。このような評価を行なうためには、介護を行ってきた経験の差によって判断の仕方にバラツキも生じる。
現状の居住空間における、利用者の移動に関する物理的な障害の検知に関しての技術がある。
特許文献1は、自動走行ロボットの障害物を検知するセンサと画像モニタを用いて居住空間における障害となる箇所を特定するものである。
この方法では、生活環境内に障害があるか否かを判定することができるが、障害と判定する基準を、使用者の特性(身体における認知能力や運動能力)に対応しているとは限らない。
また、特許文献2は、センサを備えたロボットが空間を移動して生活環境を評価するものである。ロボットの持つ視覚認識能力、聴覚認識能力、および各種運動能力が測定可能かつ調整可能となっており、実際の使用者の身体や認知機能の程度において生活環境が評価でき、特に物理的な障害個所の評価を簡単にしている。
特開2016−134145号公報 特開2004−219848号公報
A Torch Library for Action Recognition and Detection Using CNNs and LSTMs、Gary Thung and Helen Jiang、Stanford University、[online]、[平成28年12月8日検索]、インターネット〈URL:cs231n.stanford.edu/reports2016/221_Report.pdf〉 Deep Visual-Semantic Alignments for Generating Image Descriptions、Andrej Karpathy Li Fei-Fei、Department of Computer Science, Stanford University、[online]、[平成28年12月8日検索]、インターネット〈URL:cs.stanford.edu/people/karpathy/cvpr2015.pdf〉
しかしながら、特許文献2においては、実際の利用者ではなく想定した利用者の能力(身体における認知能力や運動能力)に対して判断を行なうものである。そのため、実際の利用者の日常生活の生活場面における能力に基づく判断をすることができない。また、居住空間内においては、物理的な障害について問題ないと思われる状況であっても、気温等の環境に左右される結果、障害と感じられる場合も考えられる。
本発明は、このような事情に鑑みてなされたもので、その目的は、居住空間内の様々な環境を判断のバラツキを低減して評価し、障害となっている可能性がある要因を抽出することができる行動評価装置、行動評価方法を提供することにある。
本発明は、上述した課題を解決するために、評価対象領域内を撮像する撮像部と、前記撮像結果に含まれる評価対象者の動作を検出し評価項目に応じた行動を検出する画像処理部と、前記検出された行動に応じた評価値を付与する評価値付与部と、前記撮像部の撮像範囲における環境に関する測定を行なう測定部と、前記評価項目における行動の基準を表す行動基準値と前記評価項目に対応した環境の基準を表す環境基準値と含む判定ルールを記憶する判定ルール記憶部と、前記付与された評価値と前記行動基準値とを比較し、前記評価値が前記行動基準値を満たさない場合に、前記測定された測定結果と前記環境基準値とを比較し、比較結果に基づいて、行動の障害となる要因が個人特性要因であるか環境特性要因であるかを判定する判定部と、前記判定結果に基づくメッセージを送信する送信部と、を有する。
また、本発明は、行動評価装置における行動評価方法であって、撮像部が、評価対象領域内を撮像し、画像処理部が、前記撮像結果に含まれる評価対象者の動作を検出し評価項目に応じた行動を検出し、評価値付与部が、前記検出された行動に応じた評価値を付与し、測定部が、前記撮像部の撮像範囲における環境に関する測定を行ない、判定部が、前記評価項目における行動の基準を表す行動基準値と前記評価項目に対応した環境の基準を表す環境基準値と含む判定ルールを記憶する判定ルール記憶部を参照し、前記付与された評価値と前記行動基準値とを比較し、前記評価値が前記行動基準値を満たさない場合に、記測定された測定結果と前記環境基準値とを比較し、比較結果に基づいて、行動の障害となる要因が個人特性要因であるか環境特性要因であるかを判定し、送信部が、前記判定結果に基づくメッセージを送信する行動評価方法である。
以上説明したように、この発明によれば、居住空間内における環境を判断のバラツキを低減して評価し、障害となっている可能性がある要因を、個人特性要因であるか環境特性要因であるかについて抽出することができる。
この発明の一実施形態による生活環境評価システムの構成を示す概略ブロック図である。 生活環境評価装置140の構成を示す機能ブロック図である。 記憶部1453に記憶される判定ルールの一例を表す図である。 記憶部1453に記憶される行動情報データの一例を表す図である。 生活環境評価装置140の初期設定動作を説明するフローチャートである。 生活環境評価装置140の日常時における動作を表すフローチャートである。 生活環境評価装置140における、学習モデル・トレーニング動作を表すフローチャートである。 生活環境評価装置140の処理を説明するフローチャートである。 居住空間内の各部位にセンサとカメラを配置について説明する図である。 居住空間内の各部位にセンサとカメラを配置について説明する図である。
以下、本発明の一実施形態による行動評価装置を用いた生活環境評価システムについて図面を参照して説明する。図1は、この発明の一実施形態による生活環境評価システムの構成を示す概略ブロック図である。
<第1の実施形態>
図1において、生活環境評価システム1は、宅内サブシステム10において、生活者の行動を複数のカメラ100によって撮像するともにセンサ(例えば、圧力センサ110、温度・湿度センサ120、照度センサ130)によって計測する。そして、各カメラ100によって得られた画像に基づいて、対象者を識別するとともに、対象者の行動を識別し、これらの識別結果と、各センサ(圧力センサ110、温度・湿度センサ120、照度センサ130)から得られた測定結果であるセンサ情報とを同時に記録するものである。
このセンサとしては、温度、湿度、照度、圧力を測定する他に、音響を測定する音響センサ(例えばマイクロフォン)、振動センサ、接触センサなどであってもよい。
対象者の行動の識別結果に基づいて、あらかじめ登録した行動と同じ行動がなされていると判定された場合に、カメラ画像のフレーム間に基づいて移動速度を算出し、動作速度を判断し、その動作速度が設定された範囲(基準値)を超えた場合に、アラームによって報知する。
設定された範囲(基準値)は、同時に記録されるセンサデータの状態によって自動的に変更することもできる。
例えば、関節リウマチの症状がある場合には、季節によって平均的な室温が下がってくると、関節の動きが悪くなり、動作を遅くなる傾向がある。日常の動作速度が、温度データに相関している場合には、温度が低い場合には基準値が自動的に下方に修正される(別の基準値を用いる)。これは、特定された疾患を考慮しなくても、データだけで修正されるもので、疾患に至らない状況でも個人の特性に対応できる。
宅内サブシステム10は、1または複数のカメラ100(この実施形態においては、一例として3台)、圧力センサ110、温度・湿度センサ120、照度センサ130、生活環境評価装置140、報知端末150を含んで構成される。
カメラ100は、有線LAN(ローカルエリアネットワーク)または無線LAN等を介して生活環境評価装置140に接続される。これらカメラ100は、リビング、玄関、寝室、台所、浴室、トイレ、階段等の各部位に配置され、評価対象領域内を撮像する。評価対象領域としては、居住空間内の一部の空間であり、例えば、階段、廊下、玄関、リビング、和室、台所等がある。1つのカメラ100の撮像可能領域が1つの評価対象領域全てを撮像できない場合には、複数のカメラ100によって1つの評価対象領域を撮像するようにしてもよい。
圧力センサ110、温度・湿度センサ120、照度センサ130は、カメラ100の撮像範囲における環境に関する測定を行なう。例えば、圧力センサ110、温度・湿度センサ120、照度センサ130は、各カメラ100の配置された空間毎に設置され、有線または無線によって生活環境評価装置140に接続される。
温度・湿度センサ120、照度センサ130は、カメラ100と一体となった1つの装置として構成するようにしてもよいし、より体感に近い場所、例えば、床面から1m程度の高さの壁面に取り付けるようにしてもよい。
圧力センサ110は、移動経路上の床面に設置され、その検出結果から、歩行状態の検出や移動ルートの検出を行なうことが可能である。評価対象領域が階段である場合、圧力センサ110は、階段の踏面に設置され、評価対象領域が玄関である場合には、上がり框や、ポーチの床面に設置される。この検出結果を用いることで、框に設置した圧力センサ110の検出結果から、靴の着脱における体への負担について評価したり、ポーチに設置した圧力センサ110の検出結果から、ポーチを移動する際の足への負担を計測、評価をすることが可能となる。また、圧力センサ110は、階段や廊下に設けられた手すりに設置することもできる。
報知端末150は、画面上に情報を出力したり、スピーカから音声を出力することで、視覚と音声とのうち少なくともいずれか一方により利用者に対するメッセージを出力することで、注意を喚起する機能を有する。また、報知端末150は、カメラ100の撮像対象となる評価対象領域に配置することで、その評価対象領域においてメッセージを出力して注意を喚起することもできる。例えば、良好な位置としては、天井面であれば階段灯の付近であり、壁面であれば、踊り場のある壁の天井近くの位置があげられる。報知端末150は、有線または無線によって接続される。
生活環境評価装置140は、各カメラ100による「対象者の推定」、「行動の推定」、「対象者の行動に関与する物の推定」を行い、所定の行動がなされたことが推定された場合には、その行動速度を内部に有する記憶部に記録し、その行動速度が所定の範囲を逸脱した場合に、報知端末150や、生活環境評価サーバ20に警報を発する。また、生活環境評価装置140は、内部の記憶部に記録した情報の少なくとも一部をネットワーク40を介して生活環境評価サーバ20に送信して記録させたり、警報に関する情報を生活環境評価サーバ20に送信して生活環境評価サーバ20から警報を行なわせる機能を有する。
所定の行動がなされたか否かに関する記録は、生活環境評価装置140がセンサデータ(カメラ100、圧力センサ110、温度・湿度センサ120、照度センサ130等からの得られる結果)とともに内部の記憶部に記録する。
生活環境評価サーバ20は、ネットワーク40を介して生活環境評価装置140に接続され、また、ネットワーク40を介して報知端末30に接続される。生活環境評価サーバ20は、生活環境評価装置140からメッセージを受信するとともに当該メッセージの送信の要求があると、メッセージの送信先となる報知端末30に対してメッセージを送信する。また、生活環境評価サーバ20は、生活環境評価装置140から送信される各種情報を記憶することもできる。ここで、生活環境評価サーバ20は、宅内サブシステム10から得られるセンサデータのうち、画像データは、収集せず、記憶しないようにすることで、対象者のプライバシーを確保することができる。ただし、必要に応じて、外部の所定の端末装置からの指示等にしたがって宅内サブシステム10にアクセスし、カメラ100の撮像画像を収集し、利用者に関連性のあるユーザが利用する報知端末30等に送信する機能を設けるようにしてもよい。この場合、セキュリティを確保したうえで、報知端末30に対して当該カメラ画像を提供することが好ましい。
図2は、生活環境評価装置140の構成を示す機能ブロック図である。生活環境評価装置140において、カメラインタフェース部141は、各カメラ100から得られる画像データ等を取得する。センサインタフェース部142は、各センサから得られる検出結果を受信する。広域通信モジュール143は、ネットワーク40を介して生活環境評価サーバ20と各種情報の送受信を行なう。宅内通信モジュール144は、報知端末150と通信を行なう。
情報処理モジュール145は、生活環境評価装置140内の各部の制御や各種情報処理を行なう。
画像処理部1451は、カメラ100の撮像結果に含まれる評価対象者の動作を検出し、評価項目に応じた行動を検出する。画像処理部1451は、撮像結果を基に評価対象者の移動速度を検出する。
また、画像処理部1451は、カメラ100撮像結果に含まれる評価対象者の所定の範囲内にある物品を検出する。例えば、画像処理部1451は、評価対象者を特定し、その評価対象者の右手または左手の位置を特定し、その位置近傍に手とは異なる物体が検出され、手の動きと連動して移動している場合には、手に荷物を持っているとして判定する。この場合、物体としては、評価対象者が携帯しうる物品(例えば手提げ鞄等)を撮影してその特徴データを登録しておくことで、その特徴データに対して所定値以上のマッチング結果が得られた場合には、その物品であることを特定するようにしてもよい。
また、例えば、画像処理部1451は、評価対象者と特定し、その評価対象者の右足または左足の位置を特定し、その位置近傍において予め登録されていたスリッパの画像の特徴データと所定値以上のマッチング結果が得られた場合には、スリッパがあることを検出する。そして、その評価対象者の右足または左足の位置の動きと連動して当該スリッパがあることが検出された場合には、スリッパを履いているとして判定する。このスリッパ等の検出対象物については、予め撮像して特徴データを記憶しておくことで、検出対象物があるか否かを検出することができる。
評価値付与部1452は、検出された行動に応じた評価値を付与する。
記憶部1453は、評価項目における行動の基準を表す行動基準値と評価項目に対応した環境の基準を表す環境基準値とが対応付けられた判定ルールを記憶する。
判定部1454は、付与された評価値と測定された測定結果と判定ルールとに基づいて、評価値と測定結果が判定ルールの行動基準値と環境基準値の範囲内であるか否かを判定する。
送信部1456は、判定結果に基づくメッセージを送信する。
送信部1456は、判定結果が環境特性要因である場合には、評価対象領域内における環境を改善させることに関する情報を含むメッセージを前記評価対象者に関連するユーザの端末装置に送信する。
送信部1456は、判定結果が個人特性要因である場合には、評価対象領域内において評価対象者が行動基準値の範囲内ではない行動があったことを表すメッセージを評価対象者に関連するユーザの端末装置に送信する。
書き込み指示部1457は、評価値が行動基準値内ではない場合において撮像された撮像結果を記憶部1453に書き込みを行なう。
また、書き込み指示部1457は、評価値が行動基準値内ではない場合において撮像された撮像結果を広域通信モジュール143によってネットワーク40を介して生活環境評価サーバ20に送信させることで書き込みを行なわせる。
制御部1458は、情報処理モジュール145内の各部を制御する。
図3は、記憶部1453に記憶される判定ルールの一例を表す図である。
判定ルールは、評価項目における行動の基準を表す行動基準値と評価項目に対応した環境の基準を表す環境基準値が対応付けられた情報であり、ここではさらに、評価対象領域識別情報、カメラID、検出物が対応付けられている。
評価対象領域識別情報は、居住空間を構成する少なくとも一部の領域を特定可能な情報であり、例えば、階段、玄関、廊下、リビング、洗面所、台所等のうちいずれかの情報である。カメラIDは、評価対象領域識別情報が表す評価対象領域を撮像するカメラ100を識別する情報である。1つの評価対象領域を撮像するために複数のカメラ100が用いられる場合には、1つの評価対象領域識別情報に対し、それぞれのカメラ100のIDが別の行における情報として対応づけて記憶される。
行動基準値は、評価項目における行動の基準を表す情報である。評価対象領域のそれぞれには、評価する対象の行動が割り当てられており、その割り当てられた行動に対する基準値が行動基準値として記憶される。ここでは、行動基準値としては、「s1からs2」のように、値に対して判定条件も付与されている。例えば、評価対象領域が「階段」である場合には、「階段の移動」が行動として割り当てられて評価項目として設定されており、その行動基準値として、「階段を移動する速度」の基準値が記憶される。この基準値は、上限値であってもよいし、下限値であってもよいし、ある範囲を表す値であってもよい。
環境基準値は、評価項目に対応した環境の基準を表す情報である。例えば、環境基準値としては、温度の基準値、湿度の基準値、圧力の基準値、照度基準値、音響基準値、振動基準値等の、センサによって得られるセンサデータと比較することが可能なデータである。ここでは、環境基準値としては、「e1℃からe2℃」のように、範囲が示されるようにしていてもよい。
ここでは、例えば、階段に設置されたカメラIDが1001であるカメラ100から得られた撮像結果に基づいて、「階段の移動」があったことが画像処理部1451によって検出され、その移動速度に対応した評価値(例えば、速度に応じたレベル)が付与される。さらに、各種センサからセンサデータを得て、移動速度の評価値が行動基準値の「s1未満」(移動速度がs1からs2の範囲に収まらずに、s1よりも遅い場合)であり、環境基準値が「e1℃からe2℃」である場合(例えば、温度が22℃から26℃)であり、検出物がない場合には、利用者が階段を移動する速度が遅くなった要因については、個人特性要因の可能性があるとして判定することができる。
また、例えば、階段に設置されたカメラIDが1001であるカメラ100から得られた撮像結果に基づいて、「階段の移動」があったことが画像処理部1451によって検出され、その移動速度に対応した評価値(例えば、速度に応じたレベル)が付与される。さらに、各種センサからセンサデータを得て、移動速度の評価値が行動基準値の「s1未満」(移動速度が基準値よりも遅いことを表す)であり、環境基準値が「e1℃からe2℃」である場合(例えば、温度が22℃から26℃)であって、検出物が「スリッパ」である場合には、利用者が階段を移動する速度が遅くなった要因については、環境特性要因、特にスリッパの利用による可能性があるとして判定することができる。
図4は、記憶部1453に記憶される行動情報データの一例を表す図である。
行動情報データは、カメラ100や各種センサによって得られたセンサデータ、情報処理モジュール145において用いられた各種情報が含まれる時系列の情報である。
日時は、各種センサから検出結果が得られた日付と時刻を表す情報である。
場所は、センサが設置された場所を表す情報であり、評価対象領域識別情報が表す場所に対応している。すなわち、センサが評価対象領域識別情報の表すどの場所に設置されたかを特定可能である。
対象者は、センサによって得られた情報を基に特定された人物(利用者)を表す情報である。
行動は、カメラ100によって撮像され、画像処理部1451によって検出された、評価対象者の行動の種別を情報であり、撮像されたカメラ100と、そのカメラが設置された場所(評価対象領域識別情報)との組み合わせから決まる情報である。例えば、階段では、行動として「移動」があるが、移動にも「上る」と「下る」がある。そのような場合には、撮像された画像から、移動方向を特定し、予め決められた第1の方向(画像の変化領域が撮像領域の下側から上側に向かう場合)であれば、「階段を上る」行動であるとして特定され、予め決められた第2の方向(画像の変化領域が撮像領域の上側から下側に向かう場合)であれば、「階段を下る」行動であるとして特定される。この行動の特定は、画像処理部1451によって行なわれ、その検出結果が記憶される。
動作速度は、画像処理部1451によって検出された行動であって画像処理部1451によって測定された速度を表す。この動作速度は、例えば、場所が「廊下」である場合は、廊下を歩く速度であり、場所が「階段」である場合には、階段を上る速度、あるいは階段を下りる速度である。また、動作速度としては、速度そのものを用いることもできるが、時間を用いるようにしてもよい。
センサは、動作速度の測定が行なわれている時点における各種センサによって得られたセンサデータであり、例えば、温度データや湿度データ、圧力データ等が用いられる。
検出物は、画像処理部1451によって検出対象物が検出されたか否かを表す情報であり、検出対象物が検出された場合には、その対象物の名称も記憶される。
次に、生活環境評価システム1における各種動作を説明する。
図5は、生活環境評価装置140の初期設定動作を説明するフローチャートである。生活環境評価装置140は、設置時に初期設定を行い、所定のトレーニング期間の後に必要な補正を行ってから日常運用に入る。
カメラ100が設置された場所を示す設置位置情報の登録と、配置場所に応じレンズや焦点距離の調整を行い、必要により画像の歪補正の調整を行い、これら調整した後の設定値とを登録する(ステップS101)。これらの調整は、カメラ100において自動で行われることが望ましいが、設置作業者が手動にて行ない、その設定値を登録するようにしてもよい。手動にて調整した場合には、設置作業者が実際の撮影情報を確認しながら調整するため、調整結果が望ましい状態になる多いため、より確実である。設置位置情報は、生活環境評価装置140に接続される入力装置(キーボードやマウスやタッチパネル等)を介して入力することができ、また、調整結果の設定値は、カメラ100からカメラインタフェースを介して受信して情報処理モジュール145が、内部の記憶部に記憶するようにしてもよい。
情報処理モジュール145は、対象者の顔画像および、身体全体の画像を登録する(ステップS102)。ここでは、あらかじめ対象者の顔画像や全身を撮影しておく方法と、設置されたカメラ100を利用して対象者が撮影された画像データから取得して登録してもよい。この登録は画像認識アルゴリズムによって機械学習が行なわれることで学習モデルとして登録される。この機械学習は、生活環境評価装置140で行ってもよいし、他の装置で行い学習データの登録を行ってもよい。
あらかじめ、登録された動作、例えば、歩行、階段の上り、階段の下り、着衣、脱衣等について所定の動作であるとして、その認識された数または、所定の日数が経過した時点で動作の検証を行う(ステップS103)。生活環境評価装置140は、所定の動作を検出した場合に、その検出された際に用いられた画像の取得を行う。この画像と検出結果が正しいかどうかの評価を行う。すなわち、階段に設置されたカメラ100から得られた映像から画像処理部1451によって「階段を上る」行動が検出された場合、実際にシステム管理者がその検出結果と画像とを見比べて、カメラ画像において評価対象者が階段を上る動作をしていることが確認され、画像処理部1451においても階段を上ることが検出されている場合には、正常であるとし、そうではない場合には、カメラの撮像領域、画角、明るさ等の設定値を調整したり、画像処理部1451の判定処理の判定基準値等を調整することで、検出精度を所定の精度に到達するように調整する。
また、階段、床に設置された圧力センサの反応の記録と検出の記録からも一致度を確認し、必要に応じて、検出レベルの調整を行なう。
そして、所定数の認識ができた場合には(ステップS104−YES)、登録補正を行ない(ステップS106)、所定数の認識ができなかった場合には(ステップS104−NO)、所定日数が経過したか否かを判定し(ステップS105)、所定日数が経過していなければ(ステップS105−NO)、ステップS103に戻り、所定日数が経過していれば(ステップS105−YES)、ステップS106において登録補正を行なう。
次に、図6は、生活環境評価装置140の日常時における動作を表すフローチャートである。
各カメラ100は、撮像が開始されると、常時撮像を行ない、撮像結果としての画像データを得る。この撮像は、例えば、1秒間30枚の静止画を取り込んだ時系列で連続する画像情報である。画像処理部1451は、画像のサンプリングを行い、静止画と、静止画間の差異データの解析(フレーム間の画像の差分の検出)を行なう。この処理には通常、CPU(Central Processing Unit)とGPU(Graphics Processing Unit)の処理を適切に組み合わせて行われる。映像に対して学習済みのモデルを用いて、写っている人物とその動作を畳み込みニューラルネットワーク(convolutional neural network, CNN)と、回帰結合ニューラルネットワーク(recurrent convolutional neural network, RNN)の手法によって実行する。これらの手法を用いた人物および行動の推定については、例えば非特許文献1、2に記載されている。
画像処理部1451は、予め学習済みの学習モデルに基づいて、撮像画像から対象者を検出するか(ステップS201−YES)、または撮像画像から所定の動作を検出するかした場合(ステップS202−YES)には、動作速度の計測モードに入る(ステップS203)。画像処理部1451は、対象者を検出していない場合には(ステップS201−NO)、ステップS202に移行し、ステップS202において登録動作を検出しない場合には、ステップS201に移行する。
ここで、所定の動作とは、例えば、歩行、階段の上り、階段の下り、着衣、脱衣等であり、カメラ100毎に、検出対象となる動作が設定されているため、そのカメラ100から得られた画像のフレーム間の差分を基に、所定の動作を検出し、その速度を検出する。ここでは、それぞれの動作により計測の対象が異なる。例えば歩行であれば検出した身体全体の移動速度の測定であり、着衣、脱衣であれば、動作そのものの継続時間を計測する。評価値付与部1452は、静止画間の対象の差異から計測を行い、計測結果を評価値として付与する。ここでの計測は、速度そのものであってもよいし、検出されるフレーム間の画像の差分に基づいて速度に対応したレベルである速度レベルがいずれであるかを判定し、判定結果を評価値として付与してもよい。なお、このモードの期間であってもCNNとRNNよる推定は継続されている。この計測は動作を継続している間実行される。画像処理部1451が検出対象の動作について、その動作が終了したことを検出すると(ステップS204−YES)、その動作の計測時におけるセンサ情報を取得し(ステップS205)、動作の終了を検出していない場合には、ステップS203に移行する。ここで、動作時間が所定時間以上である場合には、センサ情報は、1度だけ取得するのではなく、所定の動作の速度の測定開始時、中間時、測定終了時等、複数回計測することが望ましい。
次に、判定部1454は、対象者毎に所定の行動について判定ルールに基づく判定を行ない、検出された所定の行動が正常範囲であるかどうかを判定する(S206)。この時に判断は、画像のみによるものと、センサ情報との相関にも基づいて判断するものがある。制御部1458は、判定結果や、撮像された画像、各種センサデータ等を生活環境評価装置140内の記憶部1453に記録し(ステップS207)、必要に応じて報知端末150、生活環境評価サーバ20に情報を送信する(ステップS208)。なお、対象者に関する画像データは、生活環境評価サーバ20には送信されなくてもよい。
図7は、生活環境評価装置140における、学習モデル・トレーニング動作を表すフローチャートである。ここでは、システム管理者は、生活環境評価装置140における各種判定処理において、誤判定があるか否かを確認し(ステップS301)、誤判定が無ければ処理を終了し、誤判定がある場合には、追加学習を行なわせる指示を入力することで生活環境評価装置140に追加学習を行なわせ(ステップS302)、誤判定場面におけるシミュレーションを行ない(ステップS303)、正答率が向上している場合(ステップS304−YES)には処理を終了し、正答率が向上していない場合には、モデル復元を行なう(ステップS305)。
ここでの、ステップS301の誤判定指摘作業は、判定した場面の画像データを本人、家族、介護専門職が視認することで撮像内容と、生活環境評価装置140における各種判定結果が正しいかを確認することで、誤り判定に関して指摘することで実施する。
このように、生活環境評価サーバ20に記録されたデータや、生活環境評価装置140に記録されたデータから、行動の判定結果を再評価することもできる。誤判定と指摘されるデータを指摘してフローに従って再学習することによって、より検出率を高めることができる。
図8は、生活環境評価装置140について、図3における日常動作のより具体的な処理を説明するフローチャートである。図9は、カメラ100によって撮像された画像であって評価対象領域内の様子を表す図である。
ここでは、一例として階段において評価対象者が移動(上るまたは下る)場合について説明する。
例えば、図9に示すように居住空間内の各部位にセンサとカメラを配置する。ここでは、例えば、圧力センサ110は、階段の各段においてユーザが踏むことが想定される領域内に複数設けられ、ここでは、階段の踊場よりも低い位置にある階段の各段の踏面には、圧力センサ111としてそれぞれ設けられ、階段の踊場には圧力センサ112として設けられ、階段の踊場よりも高い位置にある階段の各段の踏面には圧力センサ113がそれぞれ設けられる。また、階段の外側の壁(階段を上る場合の向きを基準にした場合の左側の壁)の手すりには、圧力センサ115として設けられ、階段の内側の壁(階段を下る場合の向きを基準とした場合の左側の壁)の手すりには、圧力センサ116として設けられている。このように、圧力センサ110は、階段の手すりや階段の踏面において、ユーザが触れることが想定される領域内に複数設けられる。
また、温度・湿度センサ120は、階段の最下段と最上段の間のいずれかの位置(例えば、階段の踊場よりも低い位置にある階段の中段あたりと、階段の踊場よりも高い位置にある階段の中段あたり)であって床面から所定の高さ(例えば50cm等)に、温度・湿度センサ121、温度・湿度センサ122として設けられる。この場合、カメラ100は、階段の天井か天井近傍であって、階段を昇降するユーザを撮像可能な位置に設置される。
カメラ100によって撮像が行なわれると、画像処理部1451は、撮像画像の中に評価対象者の画像が含まれているか否か、すなわち、評価対象者が撮像されたか否かを検出する(ステップS401)。撮像結果に評価対象者が含まれていない場合には(ステップS401−NO)、所定時間後にステップS401の処理を再度行なう。一方、画像処理部1451は、撮像画像の中に評価対象者の画像が含まれている場合には(ステップS401−YES)、評価値付与部1452に対して、速度測定を行なわせる指示を出力する。評価値付与部1452は、この指示に基づき、カメラ100の撮像結果に基づいて、評価対象者の行動についての速度を測定する(ステップS402)。例えば、カメラ100によって階段が撮像されている場合には、撮像されたフレーム間の画像の差分から、評価対象者が階段を上っているか下っているかを判定するとともに、その移動速度を測定し、測定結果に応じた評価値を付与する。この評価値は移動速度そのものであってもよいし、移動速度に応じたレベルであってもよい。評価値付与部1452は、評価対象以外の行動が行なわれている場合には、評価対象以外の行動が行なわれていることを検知することもできる。
次に、制御部1458は、各種センサからセンサデータを取得する(ステップS403)。ここでは、例えば、階段の近傍に設けられた温度・湿度センサ121、温度・湿度センサ122から温度を取得するとともに、階段の踏面に設置された圧力センサ111、圧力センサ112、圧力センサ113から、評価対象者が踏面を踏んだ際の圧力を取得するとともに、階段の手すりに設けられた圧力センサ115、圧力センサ116から、評価対象者が手すりを掴んだ際の圧力を取得する。ここでは、階段のセンサの場合、各段の圧力センサ111、圧力センサ112、圧力センサ113が反応する毎(評価対象者が触れることに応じて所定値以上の検出値が得られる毎に)に1つのデータが測定され、その都度、センサの検出値と移動速度と温度・湿度センサ121の検出値と、照度センサ130(図9には不図示)からの検出値が取得され、これらが対応付けて記憶部1453に記憶される。この時、足が前に出ず躊躇するような行動や、ふみ外してふらつく状況では、速度が異常に遅くなったり、早くなったりする。
次に、画像処理部1451は、対象者以外であって、検出対象物の検出をする(ステップS404)。ここでは、画像処理部1451は、記憶部1453に記憶された判定ルールに基づいて、検出対象物の画像がカメラ100によって撮像された画像の中に含まれているか否かに基づいて、検出対象物を検出する。例えば、評価対象領域として階段を撮像するカメラ100から得られた画像については、判定ルールにおいて、検出物としてスリッパが登録されている場合には、画像処理部1451は、このカメラ100から得られた画像の中にスリッパに対応した画像が含まれているか否かを検出する。画像処理部1451は、スリッパに対応する画像が含まれていない場合には、「検出物なし」の検出結果が得られ、スリッパに対応する画像が含まれている場合には「スリッパ」が検出される。
制御部1458は、検出物に対する検出結果が得られると、その検出結果についても、ステップS403において記憶されたセンサデータとともに記憶部1453に記憶する。
次に、判定部1454は、記憶部1453に記憶された判定ルールと、評価値、センサデータ等に基づいて、評価値と測定結果が判定ルールの行動基準値と環境基準値の範囲内であるか否かを判定する(ステップS405)。例えば、「階段の下り」の行動が検出されている場合には、階段の上階から下階までの全体の移動速度についての評価値が得られる。判定部1454は、この評価値(移動速度あるいは行動にかかった時間)が行動基準値の示す範囲に収まっているか否かを判定する。評価値が行動基準値の範囲に収まっている場合、判定部1454は、問題ない行動であると判定し(ステップS405−YES)、測定された各種データを記憶部1453に記憶してログを残す(ステップS406)。例えば、評価値として得られた速度(階段を移動する速度)がs1である場合には、行動基準値のs1からs2の範囲内に収まるため、この場合には問題ない行動であると判定される。
一方、判定部1454は、評価値が行動基準値の範囲に収まっていない場合には(ステップS405−NO)、各種センサから得られたセンサデータと環境基準値とを比較し、センサデータが環境基準値に収まっているか否かを判定する(ステップS407)。例えば、環境基準値が「e1℃からe2℃」のように、温度データの範囲である場合、判定部1454は、センサデータのうち、温度・湿度センサ121または温度・湿度センサ122によって検出された検出結果と比較する。いずれの温度・湿度センサの検出結果を用いるかについては、例えば、設置位置が評価対象者の位置に近い方の温度・湿度センサの検出結果を用いる。設置位置が評価対象者の位置に近いか否かについては、評価対象者の位置をカメラ100の画像から、または、圧力センサのうち評価対象者が触れていることが検出された圧力センサの位置を基に、いずれが近いかに基づいて判定する。センサの位置関係については、記憶部1453に予め登録されていればよい。
そして、判定部1454は、温度・湿度センサから得られた検出結果が環境基準値の範囲内である場合には(ステップS407−YES)、ステップS404において検出対象物が検出されていたか否かを判定する(ステップS408)。ここでは、検出対象物として「鞄」が検出されている場合には(ステップS408−YES)、評価対象者が鞄を持っていることから、所定の行動が出来ていない要因が検出物の影響である可能性があること、また、個人の能力の変化が生じている可能性がある(個人特性要因)として判定し(ステップS409)、その判定結果を受けて、送信部1456は、それら要因を伝えるためのメッセージを生成し(ステップS411)、広域通信モジュール143を介して、報知端末30にメッセージを送信する(ステップS412)。その後、制御部1458は、各種センサデータや要因等をログとして記憶部1453に記憶する(ステップS406)。例えば、階段の周囲の温度が寒すぎる、あるいは暑すぎるといった要因は関係ない可能性があるとして判断することができ、かつ、評価対象者が、手に鞄を持ちながら階段を下りたため、鞄を持っていない場合に比べてスムーズな行動ができなかった可能性があるとして要因を絞りこむことができる。また、この場合、評価対象者の身体における認知能力や運動能力に変化が生じたためにスムーズな行動ができなかった可能性もあり得るため、その要因もあり得ると判定することができる。この場合に送信されるメッセージとしては、例えば、「階段カメラによって、階段の昇降動作について不安定な動作が検出されました。鞄または運動能力が要因と考えられます」との内容であり、文章によって画面上に出力されたり、音声によってスピーカから出力される。このメッセージを受けることで、評価対象者を介護する介護者等は、鞄の持ち方に原因があるか、または鞄のサイズや重さに原因があるか等を検討したり、階段の1段あたりの高さ等が評価対象者の身体能力に合わない可能性があるかを検討することができる。
一方、ステップS408において、検出物がないと判定された場合、判定部1454は、要因が個人の能力の変化が生じている可能性がある(個人特性要因)として判定する(ステップS410)。この判定結果を受け、送信部1456は、この要因を伝えるためのメッセージを生成し(ステップS411)、報知端末30にメッセージを送信する(ステップS412)。その後、制御部1458は、各種センサデータや要因等をログとして記憶部1453に記憶する(ステップS406)。例えば、階段の周囲の温度が寒すぎる、あるいは暑すぎるといった要因は関係ない可能性があるとして判断することができるため、評価対象者の身体における認知能力や運動能力に変化が生じたためにスムーズな行動ができなかった可能性があるとして、要因を絞りこむことができる。この場合に送信されるメッセージとしては、例えば、「階段カメラによって、階段の昇降動作について不安定な動作が検出されました。運動能力が要因と考えられます」との内容であり、文章によって画面上に出力されたり、音声によってスピーカから出力される。このメッセージを受けることで、評価対象者を介護する介護者等は、階段の1段あたりの高さ等が評価対象者の身体能力に合わない可能性があるかを検討することができる。
また、ステップS407において、環境基準値の範囲内ではない場合、判定部1454は、ステップS404において検出対象物が検出されていたか否かを判定する(ステップS413)。ここでは、検出対象物として「鞄」が検出されている場合には(ステップS413−YES)、評価対象者が鞄を持っていることから、所定の行動が出来ていない要因が検出物の影響である可能性があること、また、環境の影響を受けている可能性がある(環境特性要因)として判定し(ステップS414)、その判定結果を受けて、送信部1456は、それら要因を伝えるためのメッセージを生成し(ステップS411)、広域通信モジュール143を介して、報知端末30にメッセージを送信する(ステップS412)。その後、制御部1458は、各種センサデータや要因等をログとして記憶部1453に記憶する(ステップS406)。例えば、要因としては、階段の周囲の温度が寒すぎる、あるいは暑すぎるといった可能性があるとして判断することができ、また、評価対象者が、手に鞄を持ちながら階段を下りたため、鞄を持っていない場合に比べてスムーズな行動ができなかった可能性があるとして要因を絞りこむことができる。この場合に送信されるメッセージとしては、例えば、「階段カメラによって、階段の昇降動作について不安定な動作が検出されました。鞄または室温が要因と考えられます」との内容であり、文章によって画面上に出力されたり、音声によってスピーカから出力される。このメッセージを受けることで、評価対象者を介護する介護者等は、鞄の持ち方に原因があるか、または鞄のサイズや重さに原因があるか等を検討したり、階段周辺の室温が低かったあるいは高かったために運動しにくくなってしまっていたか等を検討し、必要に応じて空調を利用して適温にする等の検討をすることができる。
一方、ステップS413において、検出物がないと判定された場合、判定部1454は、要因が環境の影響を受けている可能性がある(環境特性要因)として判定する(ステップS415)。この判定結果を受け、送信部1456は、この要因を伝えるためのメッセージを生成し(ステップS411)、報知端末30にメッセージを送信する(ステップS412)。その後、制御部1458は、各種センサデータや要因等をログとして記憶部1453に記憶する(ステップS406)。例えば、要因としては、階段の周囲の温度が寒すぎる、あるいは暑すぎるといった可能性があるとして判断することができ、また、評価対象者が、手に鞄等は持っていないことから、検出物が要因である可能性は低いとして要因を絞り込むことができる。この場合に送信されるメッセージとしては、例えば、「階段カメラによって、階段の昇降動作について不安定な動作が検出されました。室温が適切でないことが要因と考えられます」との内容であり、文章によって画面上に出力されたり、音声によってスピーカから出力される。このメッセージを受けることで、評価対象者を介護する介護者等は、階段周辺の室温が低かったあるいは高かったために運動しにくくなってしまっていたか等を検討し、必要に応じて空調を利用して適温にする等の検討をすることができる。
以上説明した実施形態において、「階段の移動」について説明したが、他の行動を検出するようにすることもできる。例えば、「立位姿勢」を行動として検出するようにすることができる。この場合、評価対象者が立位姿勢をとった場合における画像を予め撮像しておき、その画像特徴データを記憶しておくことで、画像処理部1451は、その特徴データと撮像された画像とのマッチングを行ない、所定以上の度合においてマッチングした場合には、立位姿勢をとっていると判定することができる。
そして、立位姿勢をとったことが検出された場合には、その検出時において、体の各部位(頭部、四伎、胴部)の移動速度を評価することで、ふらつきを評価することができる。例えば、立位姿勢をとった場合における頭部、四肢、胴部に該当する位置を特徴データとして含むモデルを予め登録しておき、そのモデルに基づいて、部位のそれぞれについて移動速度を測定する。ここでは、行動基準値としては、行動「立位姿勢」について、各部位における行動基準値が記憶部1453に予め記憶される。そして、判定部1454は、この行動基準値と測定された各部位の速度とを比較し、いずれかの部位における速度が標準値から外れたと判定された場合には、行動基準値の範囲外であると判定することができる。
そして、例えば、センサデータは環境基準値の範囲に収まっており、検出物として「スリッパ」が検出された場合には、「階段カメラで立位姿勢のふらつきが検出されました。スリッパが要因と考えられます」とのメッセージが報知端末30に送信され、検出物として「携帯電話」が検出された場合には、「階段カメラで階段下り行動の異常が検出されました。右手に携帯した鞄が要因と考えられます。」等のメッセージが報知端末30に送信される。また、ここでは、単に移動が遅くなったということではなく、ふらつきやすい状況になっていることが把握できる。
また、例えば、温度データのみではなく、別のセンサデータも用いて判定するようにしてもよい。例えば、「階段下り」の行動に関して、環境基準値として階段の手すりに設けられた圧力センサのセンサデータの基準値を環境基準値として記憶しておき、評価対象者の階段を移動する際の圧力センサの値を環境基準値と比較することができる。この場合、圧力センサの検出結果が、環境基準値を超えている場合には、例えば、「階段の下り動作で、異常が検出されました。下部右側の手すりに大きな力がかかっています。」とのメッセージが送信される。これにより、手すりの位置が評価対象者にとって適切か否か、階段を移動する際に不安定な姿勢になってしまっていないかを検討することができる。
図10は、評価対象領域が玄関である場合について説明する図である。この場合、カメラ100は、例えば玄関の天井付近に設けられ、上がり框、式台、玄関土間、玄関ホールの床を含むように、図10に示すような領域を撮像する。ここでは、圧力センサ110は、玄関ホールに設けられた2箇所に手すりにそれぞれ圧力センサ117として設けられる。また、圧力センサ110は、上がり框、式台、玄関土間のそれぞれに、圧力センサ118として設けられる。
そして、玄関が映った評価対象領域に評価対象者が存在することが検出されると、画像処理部1451は、画像から「評価対象者」と「移動行動」、「立位姿勢」、「座位姿勢」、「座位からの立ち上がり行動」、「靴脱」、「靴履き」の行動を検出する。この評価対象者が検出されている間において、カメラ画像から各行動の移動速度や動作にかかる時間が測定される。この測定が行なわれるとともに、圧力センサ117、圧力センサ118によって圧力検出値を得て、順次記憶部1453に記憶される。圧力センサ117や圧力センサ118によって圧力が検出される毎に、1つのデータが測定され、その都度、センサの値と測定された移動速度と、他のセンサデータ(照度データや温度データ等)が対応付けられて記憶される。そして、画像処理部1451は、それぞれの行動にかかる時間を計測し、計測された時間と行動基準値との比較を行ない、判定部1454が、行動基準値の範囲内であるか否かを判定する。
これらの行動検出項目に対して、同時に検出された検出物も同時に記録されるため、ハンドバッグが検出され記録される。そして、画像処理部1451が評価対象者の存在することを認識すると「立位姿勢」と「移動行動」の行動をともに認識する。「立位姿勢」の評価値付与においては、各検出時において、体の各部位(頭部、四伎、胴部)の移動速度が評価され、ふらつきとして評価することができる。判定部1454によって移動速度が行動基準値から外れたと判定された場合には、同時に検出された検出物、例えば評価対象者が鞄を持っているか否か、手すりの圧力データ、階段の圧力データ、温度データ、湿度データについて環境基準値に基づく判定が行なわれる。ここで、検出物の対象として、手袋や靴下、スリッパ等の着衣や履物を加えておいてもよい。
例えば、立位姿勢においてふらつきが評価された場合は、「玄関カメラで立位姿勢のふらつきが検出されました。スリッパが要因と考えられます」や、「玄関カメラで立位姿勢のふらつきが検出されました。右手に携帯したハンドバッグが要因と考えられます」とのメッセージを出力することができる。
「移動行動」の評価では、対象者を認識した時点での位置と移動行動から「座位姿勢」を検出した時点までの時間から移動速度が評価される。速度が標準値から外れたと検出されると、同時に検出された物、例えば手に携帯したハンドバッグや、手すりの圧力データ、温度データ、湿度データによる差があるかどうかが評価される。相関が検出されない場合には、「玄関カメラで移動行動に変化が検出されました。付随する情報はありません。」等のメッセージが出力される。
「座位姿勢」については、玄関の座位姿勢おいて、例えば靴を履き終えてから立ち上がるまでの継続時間(かかる時間)が評価される。このように、行動と場所との組み合わせで評価項目が設定することができる。これらの評価項目の設定はケアマネージャ等の専門職により事前に設定しておくことが望ましい。「靴履き」についても同様に、靴を履く動作を開始してから靴を履き終えるまでの継続時間(かかる時間)が評価される。この場合も、行動基準値から外れたと検出されると、同時に検出されたハンドバッグがあればその検出物や、上がり框、式台、玄関土間(式台を使用していない場合に検出される)と手すりの圧力センサとの相関が評価される。
また、「座位からの立ち上がり行動」においては、姿勢のふらつきが評価され、床面圧力や手すり圧力との相関が評価される。何れの場合も温度、湿度、照度との相関も評価される。以下、画面から対象者が消えるまで、「立位姿勢」「移動行動」が同様に評価される。
上述した実施形態において、記憶部1453に記憶される行動基準値や環境基準値は、予め記憶しておくことができるが、評価対象者の過去の履歴に基づいて更新するようにしてもよい。例えば、制御部1458は、評価対象者の日常の行動が正常ではあるが、数ヶ月や1年程度前の評価対象者の平均的な歩行速度と比べて現在の平均的な歩行速度が遅くなってきた等の変化があった場合には、その歩行速度に応じて、行動基準値を現在の設定値よりも下げるように更新してもよい。これにより、評価対象者の個人の運動能力等の変化に合わせて運動能力の評価をすることができる。
また、上述した実施形態において、「座位からの立ち上がり」の行動に関して検出し、その動作時間での特定要因として「座布団」や「背の低い椅子」が検出された場合や、「背の高い椅子」では検出されなかった場合については、これらの検出物名をそのまま示すようにしてもよい。例えば、「座位からの立ち上がり時には、「座布団」、「背の低い椅子」では遅くなるが、「背の高い椅子」では正常です。」と示す。この例のように検出された場合には、同時に場所として「居間」が問題であると示唆されるが、これらは同時に出力されてもよい。
また、上述した実施形態において、検出対象の行動としては、座位からの立ち上がり行動、ベッドからの起き上がり動作などであってもよいし、食事の場面においては、飲食時のむせ、食事の準備、食事の片づけ、口に運ぶ動作、咀嚼、嚥下、食事の内容(材質、大きさ、硬さ等)等の動作を検出するようにしてもよいし、整容に関する行動としては、口腔ケア、整髪、手洗い、洗顔、髭剃り、化粧等の動作であってもよい。また、必要に応じて、入浴、更衣、トイレ動作、排尿、排便の内容等の動作であってもよい。
また、検出対象の行動としては、高次行動から、プリミティブな動作単位に階層的に分解してもよく、各階層において下位階層評価されたものを、重複して評価してもよい。「収納」、「掃除」、等の日常行動や、「モノの移動」、「移動行動」等の異なった視点での行動定義を行って、重複して評価されても問題ない。例えば、「掃除」の行動を認識した場合には、同時に「移動行動」が検出される。また、「モノの移動」も検出される場合がある。この場合、「掃除」行動を階層化して「モノの移動」「拭き掃除」「掃除機作業」等と分解すると同時に、独立して「モノの移動」を評価してもよい。何れの評価においても、同時に検出される「モノ」と時間及び、付随するセンサデータが同一形式で時系列に記録されていればよい。
上述した実施形態において、カメラ100によって撮像する場合について説明したが、浴室やトイレなどにおいては画像を撮像せず、人感センサや赤外線センサによって、評価対象者の動作を検出するようにしてもよい。
以上説明した実施形態によれば、利用者に負担をかけることなく、また、特別な非日常的な計測作業を行うことなく、常時計測を行い、長期的な常時計測により状態の変化を把握し、その利用者のその時点における能力を基に生活環境を評価することができる。
また、本実施形態によれば、日常生活動作を、人手をかけずに、常時、連続的に計測できるために、対象者の身体状況、日常生活動作、生活状況が、効率的にモニタすることができ以下のような効果がある。
(1)福祉住環境の整備の一環として実施される住宅の改築に際しては、専門職による観察や対象者や家族へのヒヤリングによって「身体状況と日常生活動作」のアセスメントを行いケアプランを作成するが、この際のアセスメントの精度向上につながる。
(2)また、住宅改築後の効果の確認が客観的に行える。
(3)介護保険制度のもとで、予防給付を行う介護予防サービスのケアプラン作成時のチェックリストをより客観的に作成することができ、適切なサービスを実施することができる。また、継続的なモニタリングが可能となる。
(4)カメラとセンサを用いた観察を自動化することにより、家族、介護専門職が、より客観的な視点で心情を持って総合的な判断を行う時間を多く取ることができるようになり、介護予防や介護の支援の質を向上させることが可能となる。
上述した実施形態における生活環境評価装置140または生活環境評価サーバ20の各機能をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1 生活環境評価システム
10 宅内サブシステム
20 生活環境評価サーバ
30、150 報知端末
40 ネットワーク
100 カメラ
110 圧力センサ
120 温度・湿度センサ
130 照度センサ
140 生活環境評価装置

Claims (8)

  1. 評価対象領域内を撮像する撮像部と、
    前記撮像部の撮像結果に含まれる評価対象者の動作を検出し評価項目に応じた行動を検出する画像処理部と、
    前記検出された行動に応じた評価値を付与する評価値付与部と、
    前記撮像部の撮像範囲における環境に関する測定を行なう測定部と、
    前記評価項目における行動の基準を表す行動基準値と前記評価項目に対応した環境の基準を表す環境基準値と含む判定ルールを記憶する判定ルール記憶部と、
    前記付与された評価値と前記行動基準値とを比較し、前記評価値が前記行動基準値を満たさない場合に、前記測定された測定結果と前記環境基準値とを比較し、比較結果に基づいて、行動の障害となる要因が個人特性要因であるか環境特性要因であるかを判定する判定部と、
    前記判定部の判定結果に基づくメッセージを送信する送信部と、
    を有する行動評価装置。
  2. 前記送信部は、前記判定結果が環境特性要因である場合には、前記評価対象領域内における環境を改善させることに関する情報を含むメッセージを前記評価対象者に関連する端末装置に送信する
    請求項1に記載の行動評価装置。
  3. 前記送信部は、前記判定結果が個人特性要因である場合には、前記評価対象領域内において評価対象者が行動基準値の範囲内ではない行動があったことを表すメッセージを前記評価対象者に関連する端末装置に送信する
    請求項1または請求項2に記載の行動評価装置。
  4. 前記測定部は、温度、湿度、照度、音響、振動、接触のうち少なくともいずれか1つを測定するセンサである
    請求項1から請求項3のうちいずれか1項に記載の行動評価装置。
  5. 前記画像処理部は、前記撮像結果を基に前記評価対象者の移動速度を検出する
    請求項1から請求項4のうちいずれか1項に記載の行動評価装置。
  6. 前記評価値が行動基準値内ではない場合において撮像された撮像結果を記憶装置に書き込みを行なわせる書き込み指示部
    を有する請求項1から請求項5のうちいずれか1項に記載の行動評価装置。
  7. 前記撮像部の撮像結果から所定の検出対象物があるか否かを検出する画像処理部を有し、
    前記判定部は、前記評価値が前記行動基準値を満たさない場合に、前記測定された測定結果と前記環境基準値との比較結果と前記検出対象物が検出されたか否かに基づいて、個人特性要因であるか環境特性要因であるかを判定する
    請求項1から請求項6のうちいずれか1項に記載の行動評価装置。
  8. 行動評価装置における行動評価方法であって、
    撮像部が、評価対象領域内を撮像し、
    画像処理部が、前記撮像結果に含まれる評価対象者の動作を検出し評価項目に応じた行動を検出し、
    評価値付与部が、前記検出された行動に応じた評価値を付与し、
    測定部が、前記撮像部の撮像範囲における環境に関する測定を行ない、
    判定部が、前記評価項目における行動の基準を表す行動基準値と前記評価項目に対応した環境の基準を表す環境基準値と含む判定ルールを記憶する判定ルール記憶部を参照し、前記付与された評価値と前記行動基準値とを比較し、前記評価値が前記行動基準値を満たさない場合に、記測定された測定結果と前記環境基準値とを比較し、比較結果に基づいて、行動の障害となる要因が個人特性要因であるか環境特性要因であるかを判定し、
    送信部が、前記判定された判定結果に基づくメッセージを送信する
    行動評価方法。
JP2016252355A 2016-12-27 2016-12-27 行動評価装置、行動評価方法 Active JP6725411B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016252355A JP6725411B2 (ja) 2016-12-27 2016-12-27 行動評価装置、行動評価方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016252355A JP6725411B2 (ja) 2016-12-27 2016-12-27 行動評価装置、行動評価方法

Publications (2)

Publication Number Publication Date
JP2018106437A JP2018106437A (ja) 2018-07-05
JP6725411B2 true JP6725411B2 (ja) 2020-07-15

Family

ID=62788171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016252355A Active JP6725411B2 (ja) 2016-12-27 2016-12-27 行動評価装置、行動評価方法

Country Status (1)

Country Link
JP (1) JP6725411B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202019001159U1 (de) * 2019-03-12 2019-04-04 Blue Star Gmbh Treppensystemvorrichtung
US11151412B2 (en) * 2019-07-01 2021-10-19 Everseen Limited Systems and methods for determining actions performed by objects within images
WO2021033453A1 (ja) * 2019-08-21 2021-02-25 コニカミノルタ株式会社 画像処理システム、画像処理プログラム、および画像処理方法
WO2021229800A1 (ja) * 2020-05-15 2021-11-18 日本電気株式会社 処理装置、推定装置、監視システム、処理方法及びプログラム
JP6971448B1 (ja) * 2020-08-24 2021-11-24 株式会社エクサウィザーズ 情報処理方法、情報処理装置及びコンピュータプログラム
WO2022080293A1 (ja) * 2020-10-16 2022-04-21 日本電気株式会社 認証システム、認証方法およびプログラム記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3776741B2 (ja) * 2001-03-29 2006-05-17 株式会社東芝 地図情報取得方法、地図情報取得システム及びプログラム
SE0203483D0 (sv) * 2002-11-21 2002-11-21 Wespot Ab Method and device for fall detection
US9047751B2 (en) * 2010-01-07 2015-06-02 Nikon Corporation Image determining device to determine the state of a subject
CA3177719A1 (en) * 2011-04-04 2012-10-04 Alarm.Com Incorporated Fall detection and reporting technology
JP2016024651A (ja) * 2014-07-22 2016-02-08 沖電気工業株式会社 状態判定システム、状態判定方法及びプログラム
JP2016067641A (ja) * 2014-09-30 2016-05-09 東京エレクトロンデバイス株式会社 転倒検知処理装置及び転倒検知システム
WO2016186160A1 (ja) * 2015-05-21 2016-11-24 コニカミノルタ株式会社 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム

Also Published As

Publication number Publication date
JP2018106437A (ja) 2018-07-05

Similar Documents

Publication Publication Date Title
JP6725411B2 (ja) 行動評価装置、行動評価方法
US20240081748A1 (en) Systems for automatic assessment of fall risk
Stone et al. Fall detection in homes of older adults using the Microsoft Kinect
EP3525673B1 (en) Method and apparatus for determining a fall risk
Werner et al. Fall detection with distributed floor-mounted accelerometers: An overview of the development and evaluation of a fall detection system within the project eHome
JP6720909B2 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
Ariani et al. Software simulation of unobtrusive falls detection at night-time using passive infrared and pressure mat sensors
JP2018094242A (ja) 健康支援システム
JP7403132B2 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
Alzahrani et al. FallFree: Multiple fall scenario dataset of cane users for monitoring applications using kinect
JP7183788B2 (ja) 行動判定装置及び行動判定方法
WO2021014718A1 (ja) 情報提供装置及び情報提供プログラム
JP5473750B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2018173763A (ja) 行動支援システム、行動支援方法
JP2020187389A (ja) 移動体軌跡分析装置、移動体軌跡分析プログラム、および移動体軌跡分析方法
AU2021106898A4 (en) Network-based smart alert system for hospitals and aged care facilities
Dimitrov et al. A cyber physical system testbed for assistive robotics technologies in the home
JP7351339B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2021190051A (ja) 行動体特定システム
JP2021033379A (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP5945030B1 (ja) 安全監視システム
JPWO2020003952A1 (ja) コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
JP7314939B2 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
JP2021197072A (ja) 制御プログラム、演算装置、制御システム、および制御方法
JP7388440B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200625

R151 Written notification of patent or utility model registration

Ref document number: 6725411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151