JP7111418B2 - 生活活動特定装置、生活活動特定装置の制御方法、及びプログラム - Google Patents
生活活動特定装置、生活活動特定装置の制御方法、及びプログラム Download PDFInfo
- Publication number
- JP7111418B2 JP7111418B2 JP2018070153A JP2018070153A JP7111418B2 JP 7111418 B2 JP7111418 B2 JP 7111418B2 JP 2018070153 A JP2018070153 A JP 2018070153A JP 2018070153 A JP2018070153 A JP 2018070153A JP 7111418 B2 JP7111418 B2 JP 7111418B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- behavior
- database
- action pattern
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
このような見守りシステムとしては、たとえば居住空間内にとりつけられた活動検知センサにより、対象者がどの部屋にいるか、その場所の環境状態(温度、湿度、照度など)はどの程度かをマップ化し、遠隔地の家族等が確認することで対象者の生活状態を見守るシステムが提案されている(特許文献1)。
なお、対象者の行動を観察して学習し、予測結果に基づいて対象者に代わって機器を制御する情報処理装置が提案されている(特許文献4)。
また、検出できるイベントが限られているという課題もあった。
なお、特許文献4の装置では、個々の行動を問題としており、特定の行動の組合せである行動パターンを問題としたものではなかった。
<生活活動特定装置>
以下、本発明の第1の実施形態による生活活動特定装置1を図面を参照して説明する。図1に示すように、本実施形態の生活活動特定装置1は、受信手段2と、行動パターン特定手段3と、データベース4から概略構成されている。
データベース4には、各種のセンサ5aの検知内容をもとに特定の行動パターンが登録されている。例えば、椅子のセンサが対象者が椅子から降りたことを検知し、冷蔵庫のセンサが開閉したことを検知し、電子レンジのセンサが使用されたことを検知し、椅子のセンサが対象者が椅子に乗る(座る)ことを検知したことを、食事という行動パターンとして予め登録されている。
次に、本実施形態の生活活動特定装置3を用いた制御方法について説明する。
例えば、居住空間内にいる対象者が、椅子から降りて冷蔵庫を開閉して冷蔵庫内のお弁当を取り出し、当該お弁当を電子レンジを使用して温め、椅子に戻って座り食事をした場合を例とする。
<生活活動特定装置>
次に、本発明の第2の実施形態による生活活動特定装置21を図面を参照して説明する。本実施形態の生活活動特定装置21は、図2に示すように、受信手段22と、行動パターン特定手段23と、記録手段24と、表示手段25と、撮像手段26とを備えている。
なお、家具や壁などによって死角になる場合やカメラレンズの画角により、1台のカメラ111では対象空間である居住空間全体をとらえきれない場合には、複数のカメラ111を設置しても構わない。
ディスプレイ113は、食卓等の対象者である本人が生活するうえで画面を確認しやすい場所に設置することが好ましい。
「行動」とは、各種の対象装置27のセンサ27a、及びカメラ111によって認識された情報によって特定される対象者の動きを指し、これらの「行動」の組合せが「行動パターン」に該当する。行動の例としては、椅子101から降りるといった個別の動作を挙げることができ、行動パターンの例としては、椅子101から降りて冷蔵庫104を開けて電子レンジ105を使用して椅子101に座った、というような一連の動作を挙げることができる。
このように生活活動については、事前に、記録及び表示したい生活活動を定め、その生活活動を行ったと分類できる行動パターンを決め、そのうえで、当該行動パターンを認識することのできるセンサ27aの情報及びカメラ111の組み合わせを決める必要がある。
また、第三者が訪問してきた場合であっても、入場から退場までの間、当該第三者の行動追尾を行うことが好ましい。後述するように、訪問も一つの生活活動として管理し、第三者に対しては、その訪問活動の下で別の複数の生活活動を認識することが好ましい。
行動パターンデータベース31に登録されている例を図4~図8に示す。
行動パターンデータベース31には、各行動パターンについて、どのセンサでどの情報を検知するかに関する情報が含まれている。
対象者である本人について、「食事」という生活活動を設定する場合(図4の食事参照)、椅子から降りる→冷蔵庫から食料(宅配弁当かヘルパーが作った食べ物)を取り出す→電子レンジで過熱→椅子に戻る、という行動パターンを決める。
この場合、「人物訪問」がメイン活動となり、「弁当宅配」がサブ活動となる。
これを認識するために、「人物の入場」については、出入口103の開閉センサ103aで検知し、カメラの画像で顔認識及び行動追尾を行い、「人物の退場」については出入口103の開閉センサ103aで検知する。
但し、人物情報データベース32に登録されたサブ活動が一つの場合は、サブ活動が完了し、メイン活動が完了することで、初めて生活活動が全て完了したものとして把握するようにしても構わない。すなわち、宅配弁当業者による「弁当宅配」については、冷蔵庫104の開閉センサ104aが検知した時点で、「弁当宅配」が完了したと検知するのではなく、出入口103の開閉センサ103aによって、人物の退場を検知した時点で「弁当宅配」が完了したと検知しても構わない。
但し、人物データベース32に複数のサブ活動が登録されている場合は、人物訪問配下で複数の生活活動が行われる可能性がある(図6のデータベースの「ヘルパー」には、洗濯、食べ物の準備、掃除の活動が登録されている)。この場合は、サブ活動の完了毎に生活活動が完了したと判断するのが好ましい。
また、「洗濯」という活動を設定する場合、洗濯機で洗濯→物干し台で干す、という行動パターンを決める。そして、「洗濯機で洗濯」については洗濯機108の使用のセンサ108aで検知し、「物干し台で干す」については、カメラ111の画像による行動追尾でヘルパーが物干し台114へ移動したことで検知する。
そして、ヘルパーの訪問活動配下で洗濯活動のサブ活動を認識した場合に、「洗濯」の活動が行われたものと判断する。
制御コンピュータ112はセンサ27aの情報とカメラ画像を常時監視しており、何らかの変化が発生した場合に行動を検知するように構成されている。
同時に、そのデータは、記録手段24によって、制御コンピュータ112内のストレージに保存される。そして、活動記録は過去に遡って表示することができる。
また、人物データベース32(図9参照)に登録の無い第三者が訪問してきた場合は、顔認識情報を記録し、人物訪問の活動と同じように記録・表示を行う。この未登録の第三者は、この訪問記録から新たに人物情報データベース32への登録を行うことができる。
画面の上部801には現在の日付・曜日・時刻を表示する。そして、その下に活動のあった日付・時刻と活動内容を表示する。
各項目の先頭には本人の活動なのか第三者のものなのかを判別できるマークを付けることが好ましい。図10の例では、各項目左端に「●」マーク802が付いたものが本人の活動を示している。
人物データベース32に未登録の場合は「その他訪問者」として、入場時に撮影・記録した顔画像803を表示するのが好ましい。また、この未登録者に対しては、ディスプレイ113上の顔画像をタップするなど簡単な操作で人物データベース32への登録が行えるようにするのが好ましい。
次に、本実施形態の生活活動特定装置21を用いた制御方法について説明する。
制御コンピュータ112は、対象機器27のセンサ27aの情報およびカメラ111の画像を常時監視している。そして、制御コンピュータ112のストレージ内には、行動パターンデータベース31と人物データベース32が保存されている。
また、各センサ27aで検出した情報やカメラ111で認識した情報はひとつのイベント(行動)として保持する。
行動パターンが一致すると、該当する生活活動をディスプレイ113に表示する。同時に記録手段24によって、この情報を制御コンピュータ112内のストレージに保存する。保存後、保持されていたイベントは全て破棄するようにしても構わない。
出入口103のセンサ103aで出入口103が開いたことを検知すると、カメラ111の画像で入ってきた人の顔認識を行う。この際、制御コンピュータ112に組み込まれている人物特定手段33が、当該認識された顔が人物データベース32に登録されているかどうか比較し、人物を判別する。そしてその人物の行動追尾を開始する。追尾は退出した時点で終了する。退出は出入口103のセンサ103aで検出する。
例えば、ヘルパーが訪問し「洗濯」という活動をしたと検出した場合は、ヘルパー訪問の後に「洗濯」と表示する。
これにより、生活活動の行動パターンと人物情報を登録し、居住空間内にいる人物の行動と比較することで、容易に生活活動の履歴をとることが可能となる。
特に、居住者である対象者本人の履歴のみでなく、第三者の履歴もとることができるため、自分の周りで行われた活動も記録することができる。例えば、第三者が訪問してきた際、当該第三者がどのような活動を行ったのか対象者本人も把握していない場合があるが、本実施形態によれば、第三者の生活行動を対象者本人が直接見ていなかったとしても、確認し把握することができる。
生活活動特定装置41は少なくとも受信手段42と、行動パターン特定手段43とを備える。
受信手段42は、居住空間内に配置された対象機器に取り付けられたセンサからの情報を受信する機能部である。
また、行動パターン特定手段43は、受信手段42によって受信されたセンサからの情報によって特定される対象者の行動と、予めデータベースに登録されている行動パターンとを照合する機能部である。
例えば、行動パターン特定手段の機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより生活活動特定装置の制御を行ってもよい。また、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
Claims (6)
- 居住空間内に配置された各種の対象機器に取り付けられた各種のセンサからの情報を受信する受信手段と、
撮像手段により撮像された前記居住空間内にいる人物の顔を、予めデータベースに登録されている人物の顔と照合して対象者を特定する人物特定手段と、
前記受信手段によって受信された前記センサからの情報によって特定される前記対象者の行動と、前記対象者の情報に紐づいて予めデータベースに登録されている行動パターンとを照合する行動パターン特定手段と、
を備え、
各前記センサで検出した前記情報を一つのイベントとして検出した順に保持し、
前記行動パターン特定手段は、前記イベントを検出するたびに、当該検出した順に保持している前記イベントの組合せと前記データベースに登録されている各前記行動パターンとの比較を行い、
保持している前記イベントの組合せに一致する前記行動パターンがない場合、一致するまで前記行動パターンに関するイベントの最大数を上限に前記イベントを順に保持する生活活動特定装置。 - 前記行動パターン特定手段によって、前記対象者の行動が予めデータベースに登録されている行動パターンと一致すると判断されたときに、前記対象者の行動を記録する記録手段を備える請求項1に記載の生活活動特定装置。
- 前記記録手段によって記録された前記対象者の行動を表示する表示手段を備える請求項2に記載の生活活動特定装置。
- 前記人物特定手段によって、前記居住空間内の人物の顔が予めデータベースに登録されている人物の顔と一致すると判断されたときに、行動パターン特定手段が、前記受信手段によって受信された前記センサからの情報によって特定される当該人物の行動も含めて、予めデータベースに登録されている行動パターンと一致するか照合することを特徴とする請求項1から請求項3の何れか一項に記載の生活活動特定装置。
- 居住空間内に配置された各種の対象機器に取り付けられた各種のセンサからの情報を受信する受信手段と、人物特定手段と、行動パターン特定手段と、を備えた生活活動特定装置の制御方法であって、
撮像手段により撮像された前記居住空間内にいる人物の顔を、予めデータベースに登録されている人物の顔と照合して対象者を特定するように前記人物特定手段を制御し、
前記受信手段によって受信された前記センサからの情報によって特定される前記対象者の行動と、前記対象者の情報に紐づいて予めデータベースに登録されている行動パターンとを照合するように前記行動パターン特定手段を制御し、
各前記センサで検出した前記情報を一つのイベントとして検出した順に保持し、
前記行動パターン特定手段は、前記イベントを検出するたびに、当該検出した順に保持している前記イベントの組合せと前記データベースに登録されている各前記行動パターンとの比較を行い、
保持している前記イベントの組合せに一致する前記行動パターンがない場合、一致するまで前記行動パターンに関するイベントの最大数を上限に前記イベントを順に保持する生活活動特定装置の制御方法。 - 居住空間内に配置された各種の対象機器に取り付けられた各種のセンサからの情報を受信する受信手段と、人物特定手段と、行動パターン特定手段と、を備えた生活活動特定装置のコンピュータを、
撮像手段により撮像された前記居住空間内にいる人物の顔を、予めデータベースに登録されている人物の顔と照合して対象者を特定するように前記人物特定手段を制御し、前記受信手段によって受信された前記センサからの情報によって特定される対象者の行動と、予めデータベースに登録されている行動パターンとを照合するように前記行動パターン特定手段を制御する制御手段として機能させ、
各前記センサで検出した前記情報を一つのイベントとして検出した順に保持し、
前記行動パターン特定手段は、前記イベントを検出するたびに、当該検出した順に保持している前記イベントの組合せと前記データベースに登録されている各前記行動パターンとの比較を行い、
保持している前記イベントの組合せに一致する前記行動パターンがない場合、一致するまで前記行動パターンに関するイベントの最大数を上限に前記イベントを順に保持することを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018070153A JP7111418B2 (ja) | 2018-03-30 | 2018-03-30 | 生活活動特定装置、生活活動特定装置の制御方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018070153A JP7111418B2 (ja) | 2018-03-30 | 2018-03-30 | 生活活動特定装置、生活活動特定装置の制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019179520A JP2019179520A (ja) | 2019-10-17 |
JP7111418B2 true JP7111418B2 (ja) | 2022-08-02 |
Family
ID=68278814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018070153A Active JP7111418B2 (ja) | 2018-03-30 | 2018-03-30 | 生活活動特定装置、生活活動特定装置の制御方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7111418B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272440A (ja) | 2006-03-30 | 2007-10-18 | Toshiba Corp | 行動アドバイス提供システム及び行動アドバイス提供装置 |
JP2008228751A (ja) | 2007-03-16 | 2008-10-02 | Seiko Epson Corp | 行動パターン測定装置、行動パターン測定方法及び健康状態推測装置 |
JP2009134596A (ja) | 2007-11-30 | 2009-06-18 | Toshiba Corp | 行動評価装置および方法 |
JP2014186402A (ja) | 2013-03-21 | 2014-10-02 | Toshiba Corp | 生活見守り支援装置 |
JP2017182531A (ja) | 2016-03-31 | 2017-10-05 | 大日本印刷株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044504A (ja) * | 2001-07-27 | 2003-02-14 | Fujitsu Ltd | 情報配信方法及びそのシステム |
JP5994389B2 (ja) * | 2012-05-24 | 2016-09-21 | 日本電気株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
-
2018
- 2018-03-30 JP JP2018070153A patent/JP7111418B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272440A (ja) | 2006-03-30 | 2007-10-18 | Toshiba Corp | 行動アドバイス提供システム及び行動アドバイス提供装置 |
JP2008228751A (ja) | 2007-03-16 | 2008-10-02 | Seiko Epson Corp | 行動パターン測定装置、行動パターン測定方法及び健康状態推測装置 |
JP2009134596A (ja) | 2007-11-30 | 2009-06-18 | Toshiba Corp | 行動評価装置および方法 |
JP2014186402A (ja) | 2013-03-21 | 2014-10-02 | Toshiba Corp | 生活見守り支援装置 |
JP2017182531A (ja) | 2016-03-31 | 2017-10-05 | 大日本印刷株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Non-Patent Citations (1)
Title |
---|
鈴木 他,「日常行動推定を用いた話題提供システムの提案」,情報処理学会研究報告 2011(平成23)年度 6 [DVD-ROM],一般社団法人情報処理学会,2012年4月15日,ISSN:2186-2583 |
Also Published As
Publication number | Publication date |
---|---|
JP2019179520A (ja) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220101710A1 (en) | Method and system to improve accuracy of fall detection using multi-sensor fusion | |
US10311694B2 (en) | System and method for adaptive indirect monitoring of subject for well-being in unattended setting | |
US20190051144A1 (en) | Social Network for Responding to Event-Driven Notifications | |
US7244231B2 (en) | System and method for assessing the functional ability or medical condition of an actor | |
US20130150686A1 (en) | Human Care Sentry System | |
CN109935316A (zh) | 医疗辅助系统、信息终端装置、患者图像数据取得方法 | |
US10848711B2 (en) | Communication system for use with protected persons | |
JP6609818B2 (ja) | 在宅管理システム及びそれに用いる在不在判定端末とコンピュータプログラム | |
Schwiegelshohn et al. | Tackling the new health-care paradigm through service robotics: Unobtrusive, efficient, reliable, and modular solutions for assisted-living environments | |
CN105373697B (zh) | 睡眠模式开启方法及装置 | |
JP2020071503A (ja) | ケアシステム、その管理方法、およびプログラム | |
WO2018152365A1 (en) | Activity monitoring system | |
WO2016057564A1 (en) | System and method for adaptive indirect monitoring of subject for well-being in unattended setting | |
WO2018142451A1 (ja) | 介護補助サーバ及び介護補助システム | |
JP7111418B2 (ja) | 生活活動特定装置、生活活動特定装置の制御方法、及びプログラム | |
JP6805621B2 (ja) | 被監視者監視システムの中央処理装置および中央処理方法ならびに被監視者監視システム | |
CA3104823C (en) | Network activity validation | |
WO2020075675A1 (ja) | ケアシステムの管理方法および管理装置、ならびにプログラム | |
US20190371455A1 (en) | Assistance Method and Assistance System | |
JP2021174189A (ja) | サービスのメニューの作成を支援する方法、サービスの利用者の評価を支援する方法、当該方法をコンピューターに実行させるプログラム、および、情報提供装置 | |
JP7255359B2 (ja) | 情報を通知するためのプログラム、情報通知装置、および、情報を通知するためにコンピューターで実行される方法 | |
Wilhelm | Activity-monitoring in Private Households for Emergency Detection: A Survey of Common Methods and Existing Disaggregable Data Sources. | |
JP2021114021A (ja) | リハビリテーションを支援する情報の提供の方法およびリハビリテーション支援システム | |
JP6887146B2 (ja) | 作業支援装置、作業支援方法、およびプログラム | |
JP2021015497A (ja) | 制御装置、制御プログラム、および制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190708 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200831 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210315 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210315 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210322 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210323 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20210528 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210601 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210706 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220412 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220510 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220524 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220621 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220714 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7111418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |