JP7111418B2 - 生活活動特定装置、生活活動特定装置の制御方法、及びプログラム - Google Patents

生活活動特定装置、生活活動特定装置の制御方法、及びプログラム Download PDF

Info

Publication number
JP7111418B2
JP7111418B2 JP2018070153A JP2018070153A JP7111418B2 JP 7111418 B2 JP7111418 B2 JP 7111418B2 JP 2018070153 A JP2018070153 A JP 2018070153A JP 2018070153 A JP2018070153 A JP 2018070153A JP 7111418 B2 JP7111418 B2 JP 7111418B2
Authority
JP
Japan
Prior art keywords
person
behavior
database
action pattern
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018070153A
Other languages
English (en)
Other versions
JP2019179520A (ja
Inventor
聡 海野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2018070153A priority Critical patent/JP7111418B2/ja
Publication of JP2019179520A publication Critical patent/JP2019179520A/ja
Application granted granted Critical
Publication of JP7111418B2 publication Critical patent/JP7111418B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、生活活動特定装置、生活活動特定装置の制御方法、及びプログラムに関する。
近年、日常の生活活動を記録する手段として、いわゆる見守りシステムについて開発が進められている。
このような見守りシステムとしては、たとえば居住空間内にとりつけられた活動検知センサにより、対象者がどの部屋にいるか、その場所の環境状態(温度、湿度、照度など)はどの程度かをマップ化し、遠隔地の家族等が確認することで対象者の生活状態を見守るシステムが提案されている(特許文献1)。
他に、対象者がメガネ状のセンサ部を装着し、そこから得られた映像、音声、骨伝導センサ等の情報から4つのイベント(「食事」「会話」「薬の摂取」「笑い」)を検出し、記録した映像を再生装置で効率よく確認できる装置も提案されている(特許文献2)。
また、対象者が携帯する、GPSやジャイロセンサを備えた携帯端末から得られた位置情報から対象者の行動を解析し、あらかじめ登録された行動パターンに一致する場合は対応する定型文をワープロに送る日記作成装置がある(特許文献3)。
なお、対象者の行動を観察して学習し、予測結果に基づいて対象者に代わって機器を制御する情報処理装置が提案されている(特許文献4)。
特開2017-10182号公報 特開2015-119352号公報 特開2002-215611号公報 特開2017-182531号公報
しかし、特許文献1のシステムでは、対象者がどの部屋にいるかまでは分かるが、そこでどのような生活行動を行っているかまでは判別できないという課題があった。
また、特許文献2の装置では、対象者が特別な機器(センサ部)の装着が必要なため、センサ部を装着し忘れた場合に目的を果たせないという課題があった。
また、検出できるイベントが限られているという課題もあった。
また、特許文献3の装置では、対象者の所在地を記録し、行動の履歴とそれに該当する定型文を出力するものであるため、行動パターンから生活活動を分類することはできないという課題があった。またGPSでは電波強度と精度の点から主に室外での位置を特定することを目的とし、居住空間内における行動を検出することは困難であり、また携帯端末を所持し忘れた場合に目的を果たせないといった課題もあった。
なお、特許文献4の装置では、個々の行動を問題としており、特定の行動の組合せである行動パターンを問題としたものではなかった。
そこで、この発明は、上述の課題を解決する生活活動特定装置等を提供することを目的としている。
本発明は、上述の課題を解決すべくなされたもので、上記目的を達成するために、本発明は、居住空間内に配置された各種の対象機器に取り付けられた各種のセンサからの情報を受信する受信手段と、撮像手段により撮像された前記居住空間内にいる人物の顔を、予めデータベースに登録されている人物の顔と照合して対象者を特定する人物特定手段と、前記受信手段によって受信された前記センサからの情報によって特定される前記対象者の行動と、前記対象者の情報に紐づいて予めデータベースに登録されている行動パターンとを照合する行動パターン特定手段と、を備え、各前記センサで検出した前記情報を一つのイベントとして検出した順に保持し、前記行動パターン特定手段は、前記イベントを検出するたびに、当該検出した順に保持している前記イベントの組合せと前記データベースに登録されている各前記行動パターンとの比較を行い、保持している前記イベントの組合せに一致する前記行動パターンがない場合、一致するまで前記行動パターンに関するイベントの最大数を上限に前記イベントを順に保持する生活活動特定装置である。
また本発明は、居住空間内に配置された各種の対象機器に取り付けられた各種のセンサからの情報を受信する受信手段と、人物特定手段と、行動パターン特定手段と、を備えた生活活動特定装置の制御方法であって、撮像手段により撮像された前記居住空間内にいる人物の顔を、予めデータベースに登録されている人物の顔と照合して対象者を特定するように前記人物特定手段を制御し、前記受信手段によって受信された前記センサからの情報によって特定される前記対象者の行動と、前記対象者の情報に紐づいて予めデータベースに登録されている行動パターンとを照合するように前記行動パターン特定手段を制御し、各前記センサで検出した前記情報を一つのイベントとして検出した順に保持し、前記行動パターン特定手段は、前記イベントを検出するたびに、当該検出した順に保持している前記イベントの組合せと前記データベースに登録されている各前記行動パターンとの比較を行い、保持している前記イベントの組合せに一致する前記行動パターンがない場合、一致するまで前記行動パターンに関するイベントの最大数を上限に前記イベントを順に保持する生活活動特定装置の制御方法である。
また本発明は、居住空間内に配置された各種の対象機器に取り付けられた各種のセンサからの情報を受信する受信手段と、人物特定手段と、行動パターン特定手段と、を備えた生活活動特定装置のコンピュータを、撮像手段により撮像された前記居住空間内にいる人物の顔を、予めデータベースに登録されている人物の顔と照合して対象者を特定するように前記人物特定手段を制御し、前記受信手段によって受信された前記センサからの情報によって特定される対象者の行動と、予めデータベースに登録されている行動パターンとを照合するように前記行動パターン特定手段を制御する制御手段として機能させ、各前記センサで検出した前記情報を一つのイベントとして検出した順に保持し、前記行動パターン特定手段は、前記イベントを検出するたびに、当該検出した順に保持している前記イベントの組合せと前記データベースに登録されている各前記行動パターンとの比較を行い、保持している前記イベントの組合せに一致する前記行動パターンがない場合、一致するまで前記行動パターンに関するイベントの最大数を上限に前記イベントを順に保持することを特徴とするプログラムである。
本発明によれば、居室空間内に配置された対象機器に取り付けられたセンサからの情報によって、対象者の行動を特定するので、対象者が携帯端末等の特別な機器を所有する必要がない。加えて、センサからの情報によって特定される対象者の行動から、行動パターンを特定することにより、対象者の生活行動を把握することができるという効果が得られる。
本発明の第1の実施形態の構成を示す図である。 本発明の第2の実施形態の構成を示す図である。 本発明の第2の実施形態の構成を示す図である。 本発明の第2の実施形態の行動パターンデータベースの一例を示す図である。 本発明の第2の実施形態の行動パターンデータベースの一例を示す図である。 本発明の第2の実施形態の行動パターンデータベースの一例を示す図である。 本発明の第2の実施形態の行動パターンデータベースの一例を示す図である。 本発明の第2の実施形態の行動パターンデータベースの一例を示す図である。 本発明の第2の実施形態の人物データベースの一例を示す図である。 本発明の第2の実施形態のディスプレイの表示の一例を示す図である。 本発明の最小構成を示す図である。
[第1の実施形態]
<生活活動特定装置>
以下、本発明の第1の実施形態による生活活動特定装置1を図面を参照して説明する。図1に示すように、本実施形態の生活活動特定装置1は、受信手段2と、行動パターン特定手段3と、データベース4から概略構成されている。
受信手段2は、居住空間内に配置された対象機器5に取り付けられたセンサ5aからの情報を受信する機能部である。対象機器5としては、例えば、出入口、冷蔵庫、電子レンジ、椅子等が例示される。
行動パターン特定手段3は、各種のセンサ5aからの情報によって特定される対象者の行動と、予めデータベース4に登録されている行動パターンとを照合する機能部である。
データベース4には、各種のセンサ5aの検知内容をもとに特定の行動パターンが登録されている。例えば、椅子のセンサが対象者が椅子から降りたことを検知し、冷蔵庫のセンサが開閉したことを検知し、電子レンジのセンサが使用されたことを検知し、椅子のセンサが対象者が椅子に乗る(座る)ことを検知したことを、食事という行動パターンとして予め登録されている。
<生活活動特定装置の制御方法>
次に、本実施形態の生活活動特定装置3を用いた制御方法について説明する。
例えば、居住空間内にいる対象者が、椅子から降りて冷蔵庫を開閉して冷蔵庫内のお弁当を取り出し、当該お弁当を電子レンジを使用して温め、椅子に戻って座り食事をした場合を例とする。
この場合、椅子のセンサが対象者が椅子から降りたことを検知し、冷蔵庫のセンサが開閉したことを検知し、電子レンジのセンサが使用されたことを検知し、椅子のセンサが対象者が椅子に乗る(座る)ことを検知する。
そして、行動パターン特定手段3は、これらのセンサからの情報によって特定される対象者の行動が、データベース4に登録されている行動と一致するか否かについて照合する。上述の例の場合、データベース4に「食事」として登録されている行動パターンと一致することから、行動パターン特定手段3は、対象者が食事を行ったと判断する。
以上述べたとおり、本実施形態によれば、居室空間内に配置された対象機器5に取り付けられたセンサ5aからの情報によって、対象者の行動を特定するので、対象者が携帯端末等の特別な機器を所有する必要がない。加えて、センサ5aからの情報によって特定される対象者の行動から、行動パターンを特定することにより、例えば対象者本人が自らの行動内容を思い出せない際も、対象者の生活行動を対象者本人が確認し把握することができるという効果が得られる。
[第2の実施形態]
<生活活動特定装置>
次に、本発明の第2の実施形態による生活活動特定装置21を図面を参照して説明する。本実施形態の生活活動特定装置21は、図2に示すように、受信手段22と、行動パターン特定手段23と、記録手段24と、表示手段25と、撮像手段26とを備えている。
受信手段22は、第1の実施形態と同様に、居住空間内に配置された対象機器27に取り付けられた各種のセンサ27a(図3参照)からの情報を受信する機能部である。
対象機器27としては、図3に示すように、椅子101、ベッド102、出入口103、冷蔵庫104、電子レンジ105、ガスコンロ106、掃除機107、洗濯機108、トイレ109、台所の流し110を例示することができる。
各対象機器27に設けられるセンサ27aとしては、椅子101及びベッド102については圧力センサ101a,102a、出入口103及び冷蔵庫104については開閉センサ103a,104a、電子レンジ105、ガスコンロ106、掃除機107及び洗濯機108については使用を知らせるセンサ105a,106a,107a,108a、トイレ109及び台所の流し110については流水センサ109a,110aを例示することができるが、これらの対象機器27の動作や状態を検知することができるものであれば、いずれでも構わない。
また、居住空間内には、居住空間内を撮影する撮像手段26であるカメラ111が設置されている。カメラ111は、制御コンピュータ112からの指示により、撮影した画像から人物の顔認識を行うとともに、当該人物の行動を追尾することが可能なように構成されている。
なお、家具や壁などによって死角になる場合やカメラレンズの画角により、1台のカメラ111では対象空間である居住空間全体をとらえきれない場合には、複数のカメラ111を設置しても構わない。
また、居住空間内には制御コンピュータ112が設置されている。制御コンピュータ112には、各種の対象機器27のセンサ27aと、カメラ111と、表示手段25であるディスプレイ113が接続されており、各種のセンサ27aより受信した情報を収集し記憶する。なお、センサ27aなど外部機器との接続には有線通信・無線通信のどちらも可能である。但し、掃除機107は移動体なので無線接続されていることが好ましい。
また制御コンピュータ112は、カメラ111によって撮像されたカメラ画像から、あらかじめ定められた方法により人物の顔認識を行うとともに、当該人物の行動追尾を行うように処理を行う。
ディスプレイ113は、食卓等の対象者である本人が生活するうえで画面を確認しやすい場所に設置することが好ましい。
また、行動パターン特定手段23(図2参照)は、第1の実施形態と同様に、各種のセンサ27aからの情報によって特定される対象者の行動と、予め行動パターンデータベース31に登録されている行動パターンとを照合する機能部であり、制御コンピュータ112内に組み込まれている。
ここで、「行動」及び「行動パターン」について説明する。
「行動」とは、各種の対象装置27のセンサ27a、及びカメラ111によって認識された情報によって特定される対象者の動きを指し、これらの「行動」の組合せが「行動パターン」に該当する。行動の例としては、椅子101から降りるといった個別の動作を挙げることができ、行動パターンの例としては、椅子101から降りて冷蔵庫104を開けて電子レンジ105を使用して椅子101に座った、というような一連の動作を挙げることができる。
そして、「行動パターン」のうち、特定のものを「生活活動」と定義する。例えば、上述のように、椅子101から降りて冷蔵庫104を開けて電子レンジ105を使用して椅子101に座る、というような一連の動作からなる行動パターンを、食事として定義することができる。
このように生活活動については、事前に、記録及び表示したい生活活動を定め、その生活活動を行ったと分類できる行動パターンを決め、そのうえで、当該行動パターンを認識することのできるセンサ27aの情報及びカメラ111の組み合わせを決める必要がある。
なお、行動パターンは人物と紐付けされており、ある人物が紐付けされた行動パターンを行った場合に、当該生活活動が行われたものと判断する。例えば、対象者が出入口103を開閉するのと、外部の第三者が出入口103を開閉するのでは、その行動の意味合いが異なるように、同一の行動パターンであっても紐付けされた対象者が異なる場合は、異なる生活活動となることがあり、また該当する生活活動がない場合もある。
このように、誰が行った行動パターンかを判断するために、カメラ111によって撮像されたカメラ画像から居住空間内にいる人物の行動追尾を行うことが望ましい。
対象者である本人は、常に居住空間内にいるので、常時行動追尾を行うことが好ましい。
また、第三者が訪問してきた場合であっても、入場から退場までの間、当該第三者の行動追尾を行うことが好ましい。後述するように、訪問も一つの生活活動として管理し、第三者に対しては、その訪問活動の下で別の複数の生活活動を認識することが好ましい。
これら生活活動、行動パターン、人物の紐付け情報は、制御コンピュータ112内の行動パターンデータベース31に予め登録する。
行動パターンデータベース31に登録されている例を図4~図8に示す。
図4は、対象者である本人に関するものであり、食事、トイレ及び睡眠の3つの生活活動と行動パターンを示している。
行動パターンデータベース31には、各行動パターンについて、どのセンサでどの情報を検知するかに関する情報が含まれている。
また、図5は宅配弁当に関するもので、後述するメイン活動としての人物訪問と、サブ活動としての弁当宅配が含まれている。図6はヘルパーに関するもので、同じく後述するメイン活動としての人物訪問と、サブ活動としての洗濯・食べ物準備・掃除が含まれている。図7は訪問医師に関するもので、同じく後述するメイン活動としての人物訪問と、サブ活動としてのマッサージが含まれている。図8は訪問のみが行われる場合に関するもので、知り合い、あるいは見知らぬ人との訪問のみが含まれている。
また、図9に示すように、人物情報も人物データベース32(図2参照)として制御コンピュータ112に登録されている。人物データベース32には、名前、属性(居住者本人、宅配弁当業者、ヘルパーなど)、顔認識情報、対応する生活活動の情報が含まれている。
また、対象者である本人及び第三者に対して、複数の生活活動を登録することができる。例えば本人については食事、トイレ、睡眠など、ヘルパーについては訪問、洗濯、食事の準備、掃除などである。第三者に対しては訪問のみの生活活動を登録することも可能である。
次に、生活活動と行動パターンの例について説明する。
対象者である本人について、「食事」という生活活動を設定する場合(図4の食事参照)、椅子から降りる→冷蔵庫から食料(宅配弁当かヘルパーが作った食べ物)を取り出す→電子レンジで過熱→椅子に戻る、という行動パターンを決める。
これを認識するためには、「椅子から降りる」については椅子101の圧力センサ101aで検知し、「冷蔵庫から食料を取り出す」については冷蔵庫104の開閉センサ104aで検知し、「電子レンジで加熱」については電子レンジ105の使用のセンサ105aで検知し、「椅子に戻る」については椅子101の圧力センサ101aで検知するように定める。
宅配弁当業者が弁当を宅配する場合は(図5参照)、人物訪問(宅配弁当業者の認識)と、冷蔵庫に弁当を入れるという二つの生活活動を設定して管理する。そして、「人物訪問」活動の配下で「弁当宅配」を行うという活動が行われているものとして扱う。
この場合、「人物訪問」がメイン活動となり、「弁当宅配」がサブ活動となる。
「人物訪問」は、人物の入場→カメラの画像で顔認識→カメラの画像で行動追尾→人物の退場、という行動パターンを決める。
これを認識するために、「人物の入場」については、出入口103の開閉センサ103aで検知し、カメラの画像で顔認識及び行動追尾を行い、「人物の退場」については出入口103の開閉センサ103aで検知する。
「弁当宅配」を行ったことは、カメラの画像で顔認識された人物が宅配弁当業者であることを前提に、冷蔵庫104の開閉センサ104aで検知する。
但し、人物情報データベース32に登録されたサブ活動が一つの場合は、サブ活動が完了し、メイン活動が完了することで、初めて生活活動が全て完了したものとして把握するようにしても構わない。すなわち、宅配弁当業者による「弁当宅配」については、冷蔵庫104の開閉センサ104aが検知した時点で、「弁当宅配」が完了したと検知するのではなく、出入口103の開閉センサ103aによって、人物の退場を検知した時点で「弁当宅配」が完了したと検知しても構わない。
次に、ヘルパーが「洗濯」をしたという生活活動を設定する場合は(図6参照)、人物訪問(ヘルパーを認識)と洗濯という2つの生活活動で管理する。
但し、人物データベース32に複数のサブ活動が登録されている場合は、人物訪問配下で複数の生活活動が行われる可能性がある(図6のデータベースの「ヘルパー」には、洗濯、食べ物の準備、掃除の活動が登録されている)。この場合は、サブ活動の完了毎に生活活動が完了したと判断するのが好ましい。
ヘルパーの訪問は、上記宅配弁当業者の訪問と同じ処理である。
また、「洗濯」という活動を設定する場合、洗濯機で洗濯→物干し台で干す、という行動パターンを決める。そして、「洗濯機で洗濯」については洗濯機108の使用のセンサ108aで検知し、「物干し台で干す」については、カメラ111の画像による行動追尾でヘルパーが物干し台114へ移動したことで検知する。
そして、ヘルパーの訪問活動配下で洗濯活動のサブ活動を認識した場合に、「洗濯」の活動が行われたものと判断する。
なお、居住空間内に複数の人物がいる場合は、それぞれの行動を特定することができる。
制御コンピュータ112はセンサ27aの情報とカメラ画像を常時監視しており、何らかの変化が発生した場合に行動を検知するように構成されている。
また、制御コンピュータ112に含まれる行動パターン特定手段23は、図2に示すように、受信手段22によって受信された各種のセンサ27aからの情報によって特定される対象者の行動を、行動パターンデータベース31に登録されている行動パターンと照合する。
そして、制御コンピュータ112は、行動パターン特定手段23によって、対象者の行動が予め登録されている行動パターン一致した場合には、生活活動として分類し、食卓上などに置かれたディスプレイ113に日付、時間とともにその活動を表示する。
ディスプレイ113には、行動パターンが一致するたびに表示が行われ、本人が特別な操作をする必要はない。
同時に、そのデータは、記録手段24によって、制御コンピュータ112内のストレージに保存される。そして、活動記録は過去に遡って表示することができる。
第三者の訪問活動(図8参照)に対しては、入場を検知した時点でその時間を表示し、退場を検知した時点にも帰宅時間を表示する(何時から何時まで訪問があったかが分かるようにする)。
また、人物データベース32(図9参照)に登録の無い第三者が訪問してきた場合は、顔認識情報を記録し、人物訪問の活動と同じように記録・表示を行う。この未登録の第三者は、この訪問記録から新たに人物情報データベース32への登録を行うことができる。
行動パターンや人物情報は随時追加・削除・変更が可能である。行動パターンは表示・記録したい活動を選んで設定すればよく、全ての活動を設定する必要はない。対象機器27のセンサ27aやカメラ111は、分類したい生活活動に応じて追加・削除が可能である。
図10は、ディスプレイ113での表示例を示すものである。
画面の上部801には現在の日付・曜日・時刻を表示する。そして、その下に活動のあった日付・時刻と活動内容を表示する。
各項目の先頭には本人の活動なのか第三者のものなのかを判別できるマークを付けることが好ましい。図10の例では、各項目左端に「●」マーク802が付いたものが本人の活動を示している。
第三者の場合は名前と顔画像を表示する。人物データベース32に登録されている場合はその情報を使用する。
人物データベース32に未登録の場合は「その他訪問者」として、入場時に撮影・記録した顔画像803を表示するのが好ましい。また、この未登録者に対しては、ディスプレイ113上の顔画像をタップするなど簡単な操作で人物データベース32への登録が行えるようにするのが好ましい。
ディスプレイ113での表示は、一番下が最新の情報だが、上下を入れ替えることも可能である。ディスプレイ113に表示しきれなくなったら古い情報から順に画面から消えていくが、ディスプレイ113上を指先でなぞるなどの簡単な操作により過去の情報を表示することができる。
<生活活動特定装置の制御方法>
次に、本実施形態の生活活動特定装置21を用いた制御方法について説明する。
制御コンピュータ112は、対象機器27のセンサ27aの情報およびカメラ111の画像を常時監視している。そして、制御コンピュータ112のストレージ内には、行動パターンデータベース31と人物データベース32が保存されている。
また、各センサ27aで検出した情報やカメラ111で認識した情報はひとつのイベント(行動)として保持する。
行動パターン特定手段23は、制御コンピュータ112がイベントを検出するたびに、行動パターンデータベース31の各行動パターンと比較を行う。一致するものがないと、一致するまでイベントは順に保持される。保持されるイベント数は、行動パターンデータベース31に登録された行動パターンの内の最大イベント数と同数である。最大数を超えた場合は古いイベントから破棄していく。
例えば、行動パターンデータベース31にある行動パターンの最大イベント数が4つとして、居住者本人が(1)椅子を降りる→(2)冷蔵庫を開閉する→(3)椅子に座る→(4)椅子を降りる→(5)洗濯機を使用する→(6)椅子に座る→(7)椅子を降りる→(8)トイレを使用する→(9)椅子に座るという行動を行った場合、(9)のイベントを検出した時点で「トイレ」という活動を行ったと認識する。
「トイレ」という行動パターンは(7)~(9)の3つのイベント(行動)で検出されるが、保持数が4つであるため、この時点で保持しているイベントは(6)~(9)の4つである。この時点で(1)~(5)は既に破棄されている。
行動パターンが一致すると、該当する生活活動をディスプレイ113に表示する。同時に記録手段24によって、この情報を制御コンピュータ112内のストレージに保存する。保存後、保持されていたイベントは全て破棄するようにしても構わない。
イベントの保持は対象人物ごとに行う。居住空間内に本人と第三者がいる場合は、それぞれ別々にイベントを保持する。
第三者の訪問があった場合の処理は次のようになる。
出入口103のセンサ103aで出入口103が開いたことを検知すると、カメラ111の画像で入ってきた人の顔認識を行う。この際、制御コンピュータ112に組み込まれている人物特定手段33が、当該認識された顔が人物データベース32に登録されているかどうか比較し、人物を判別する。そしてその人物の行動追尾を開始する。追尾は退出した時点で終了する。退出は出入口103のセンサ103aで検出する。
その人物が人物データベース32に登録されており、訪問の他に生活活動が登録されている場合、居住空間内で別の活動を行うことが想定される。別の活動を行った場合は、人物と活動を紐付けしてディスプレイ113に表示する。
例えば、ヘルパーが訪問し「洗濯」という活動をしたと検出した場合は、ヘルパー訪問の後に「洗濯」と表示する。
第三者の訪問において、顔認識で人物データベース32の登録がなかった場合、顔情報(画像および顔認識情報)を別に保持しておく。その後その人物の行動追尾を行い、退出すると「その他の訪問者」として保持していた顔画像とともにディスプレイ113に表示する。顔情報はその後も保持しておき、後で人物データベース32に登録したくなった時に、ディスプレイ113上の顔画像をタップすることで新規登録することができる。
ディスプレイ113を指先でなぞることで画面をスクロールさせて過去の履歴を見ることができる。過去の履歴は制御コンピュータ112内のストレージから取り出して表示する。
以上述べたとおり、本実施形態によれば、第1の実施形態と同様に、居室空間内に配置された対象機器27に取り付けられたセンサ27aからの情報によって、対象者の行動を特定するので、対象者が携帯端末等の特別な機器を所有する必要がない。加えて、センサ27aからの情報によって特定される対象者の行動から、行動パターンを特定することにより、例えば対象者本人が自らの行動内容を思い出せない際も、対象者の生活行動を対象者本人が確認し把握することができるという効果が得られる。
また、本実施形態では、対象機器27に取り付けられたセンサ27aからの情報によって特定される行動と、行動パターンが一致すると、該当する生活活動を記録手段24によって記録するとともに、ディスプレイ113に表示する。
これにより、生活活動の行動パターンと人物情報を登録し、居住空間内にいる人物の行動と比較することで、容易に生活活動の履歴をとることが可能となる。
特に、居住者である対象者本人の履歴のみでなく、第三者の履歴もとることができるため、自分の周りで行われた活動も記録することができる。例えば、第三者が訪問してきた際、当該第三者がどのような活動を行ったのか対象者本人も把握していない場合があるが、本実施形態によれば、第三者の生活行動を対象者本人が直接見ていなかったとしても、確認し把握することができる。
また、従来の高齢者を見守るシステムでは、行動監視は外部の家族や事業者が行うことを前提としており、本人自身が確認するシステムにはなっていなかった。これに対し、本実施形態では、ディスプレイ113が居住空間内に配置されることにより、高齢者等が物忘れにより自分がいつ・何をしたか、誰が来て何をしてもらったか等の生活活動の記録を画面で再確認できるようになり、生活の不安が減少し日常生活の支援が行えるようになる。あるいは日々の生活の日記をとることができるようになる。
図11は、生活活動特定装置41の最小構成を示す図である。
生活活動特定装置41は少なくとも受信手段42と、行動パターン特定手段43とを備える。
受信手段42は、居住空間内に配置された対象機器に取り付けられたセンサからの情報を受信する機能部である。
また、行動パターン特定手段43は、受信手段42によって受信されたセンサからの情報によって特定される対象者の行動と、予めデータベースに登録されている行動パターンとを照合する機能部である。
以上、本発明を実施形態に基づいて説明したが、本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
例えば、行動パターン特定手段の機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより生活活動特定装置の制御を行ってもよい。また、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
1,21,41・・・生活活動特定装置、2,22,42・・・受信手段、3,23,43・・・行動パターン特定手段、4・・・データベース、5,27・・・対象機器、5a,27a・・・センサ、24・・・記録手段、25・・・表示手段、26・・・撮像手段、31・・・行動パターンデータベース、32・・・人物データベース、33・・・人物特定手段

Claims (6)

  1. 居住空間内に配置された各種の対象機器に取り付けられた各種のセンサからの情報を受信する受信手段と、
    撮像手段により撮像された前記居住空間内にいる人物の顔を、予めデータベースに登録されている人物の顔と照合して対象者を特定する人物特定手段と、
    前記受信手段によって受信された前記センサからの情報によって特定される前記対象者の行動と、前記対象者の情報に紐づいて予めデータベースに登録されている行動パターンとを照合する行動パターン特定手段と、
    を備え、
    各前記センサで検出した前記情報を一つのイベントとして検出した順に保持し、
    前記行動パターン特定手段は、前記イベントを検出するたびに、当該検出した順に保持している前記イベントの組合せと前記データベースに登録されている各前記行動パターンとの比較を行い、
    保持している前記イベントの組合せに一致する前記行動パターンがない場合、一致するまで前記行動パターンに関するイベントの最大数を上限に前記イベントを順に保持する生活活動特定装置。
  2. 前記行動パターン特定手段によって、前記対象者の行動が予めデータベースに登録されている行動パターンと一致すると判断されたときに、前記対象者の行動を記録する記録手段を備える請求項1に記載の生活活動特定装置。
  3. 前記記録手段によって記録された前記対象者の行動を表示する表示手段を備える請求項2に記載の生活活動特定装置。
  4. 前記人物特定手段によって、前記居住空間内の人物の顔が予めデータベースに登録されている人物の顔と一致すると判断されたときに、行動パターン特定手段が、前記受信手段によって受信された前記センサからの情報によって特定される当該人物の行動も含めて、予めデータベースに登録されている行動パターンと一致するか照合することを特徴とする請求項1から請求項3の何れか一項に記載の生活活動特定装置。
  5. 居住空間内に配置された各種の対象機器に取り付けられた各種のセンサからの情報を受信する受信手段と、人物特定手段と、行動パターン特定手段と、を備えた生活活動特定装置の制御方法であって、
    撮像手段により撮像された前記居住空間内にいる人物の顔を、予めデータベースに登録されている人物の顔と照合して対象者を特定するように前記人物特定手段を制御し、
    前記受信手段によって受信された前記センサからの情報によって特定される前記対象者の行動と、前記対象者の情報に紐づいて予めデータベースに登録されている行動パターンとを照合するように前記行動パターン特定手段を制御し、
    各前記センサで検出した前記情報を一つのイベントとして検出した順に保持し、
    前記行動パターン特定手段は、前記イベントを検出するたびに、当該検出した順に保持している前記イベントの組合せと前記データベースに登録されている各前記行動パターンとの比較を行い、
    保持している前記イベントの組合せに一致する前記行動パターンがない場合、一致するまで前記行動パターンに関するイベントの最大数を上限に前記イベントを順に保持する生活活動特定装置の制御方法。
  6. 居住空間内に配置された各種の対象機器に取り付けられた各種のセンサからの情報を受信する受信手段と、人物特定手段と、行動パターン特定手段と、を備えた生活活動特定装置のコンピュータを、
    撮像手段により撮像された前記居住空間内にいる人物の顔を、予めデータベースに登録されている人物の顔と照合して対象者を特定するように前記人物特定手段を制御し、前記受信手段によって受信された前記センサからの情報によって特定される対象者の行動と、予めデータベースに登録されている行動パターンとを照合するように前記行動パターン特定手段を制御する制御手段として機能させ、
    各前記センサで検出した前記情報を一つのイベントとして検出した順に保持し、
    前記行動パターン特定手段は、前記イベントを検出するたびに、当該検出した順に保持している前記イベントの組合せと前記データベースに登録されている各前記行動パターンとの比較を行い、
    保持している前記イベントの組合せに一致する前記行動パターンがない場合、一致するまで前記行動パターンに関するイベントの最大数を上限に前記イベントを順に保持することを特徴とするプログラム。
JP2018070153A 2018-03-30 2018-03-30 生活活動特定装置、生活活動特定装置の制御方法、及びプログラム Active JP7111418B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018070153A JP7111418B2 (ja) 2018-03-30 2018-03-30 生活活動特定装置、生活活動特定装置の制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018070153A JP7111418B2 (ja) 2018-03-30 2018-03-30 生活活動特定装置、生活活動特定装置の制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019179520A JP2019179520A (ja) 2019-10-17
JP7111418B2 true JP7111418B2 (ja) 2022-08-02

Family

ID=68278814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018070153A Active JP7111418B2 (ja) 2018-03-30 2018-03-30 生活活動特定装置、生活活動特定装置の制御方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7111418B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272440A (ja) 2006-03-30 2007-10-18 Toshiba Corp 行動アドバイス提供システム及び行動アドバイス提供装置
JP2008228751A (ja) 2007-03-16 2008-10-02 Seiko Epson Corp 行動パターン測定装置、行動パターン測定方法及び健康状態推測装置
JP2009134596A (ja) 2007-11-30 2009-06-18 Toshiba Corp 行動評価装置および方法
JP2014186402A (ja) 2013-03-21 2014-10-02 Toshiba Corp 生活見守り支援装置
JP2017182531A (ja) 2016-03-31 2017-10-05 大日本印刷株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044504A (ja) * 2001-07-27 2003-02-14 Fujitsu Ltd 情報配信方法及びそのシステム
JP5994389B2 (ja) * 2012-05-24 2016-09-21 日本電気株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272440A (ja) 2006-03-30 2007-10-18 Toshiba Corp 行動アドバイス提供システム及び行動アドバイス提供装置
JP2008228751A (ja) 2007-03-16 2008-10-02 Seiko Epson Corp 行動パターン測定装置、行動パターン測定方法及び健康状態推測装置
JP2009134596A (ja) 2007-11-30 2009-06-18 Toshiba Corp 行動評価装置および方法
JP2014186402A (ja) 2013-03-21 2014-10-02 Toshiba Corp 生活見守り支援装置
JP2017182531A (ja) 2016-03-31 2017-10-05 大日本印刷株式会社 情報処理装置、情報処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鈴木 他,「日常行動推定を用いた話題提供システムの提案」,情報処理学会研究報告 2011(平成23)年度 6 [DVD-ROM],一般社団法人情報処理学会,2012年4月15日,ISSN:2186-2583

Also Published As

Publication number Publication date
JP2019179520A (ja) 2019-10-17

Similar Documents

Publication Publication Date Title
US20220101710A1 (en) Method and system to improve accuracy of fall detection using multi-sensor fusion
US10311694B2 (en) System and method for adaptive indirect monitoring of subject for well-being in unattended setting
US20190051144A1 (en) Social Network for Responding to Event-Driven Notifications
US7244231B2 (en) System and method for assessing the functional ability or medical condition of an actor
US20130150686A1 (en) Human Care Sentry System
CN109935316A (zh) 医疗辅助系统、信息终端装置、患者图像数据取得方法
US10848711B2 (en) Communication system for use with protected persons
JP6609818B2 (ja) 在宅管理システム及びそれに用いる在不在判定端末とコンピュータプログラム
Schwiegelshohn et al. Tackling the new health-care paradigm through service robotics: Unobtrusive, efficient, reliable, and modular solutions for assisted-living environments
CN105373697B (zh) 睡眠模式开启方法及装置
JP2020071503A (ja) ケアシステム、その管理方法、およびプログラム
WO2018152365A1 (en) Activity monitoring system
WO2016057564A1 (en) System and method for adaptive indirect monitoring of subject for well-being in unattended setting
WO2018142451A1 (ja) 介護補助サーバ及び介護補助システム
JP7111418B2 (ja) 生活活動特定装置、生活活動特定装置の制御方法、及びプログラム
JP6805621B2 (ja) 被監視者監視システムの中央処理装置および中央処理方法ならびに被監視者監視システム
CA3104823C (en) Network activity validation
WO2020075675A1 (ja) ケアシステムの管理方法および管理装置、ならびにプログラム
US20190371455A1 (en) Assistance Method and Assistance System
JP2021174189A (ja) サービスのメニューの作成を支援する方法、サービスの利用者の評価を支援する方法、当該方法をコンピューターに実行させるプログラム、および、情報提供装置
JP7255359B2 (ja) 情報を通知するためのプログラム、情報通知装置、および、情報を通知するためにコンピューターで実行される方法
Wilhelm Activity-monitoring in Private Households for Emergency Detection: A Survey of Common Methods and Existing Disaggregable Data Sources.
JP2021114021A (ja) リハビリテーションを支援する情報の提供の方法およびリハビリテーション支援システム
JP6887146B2 (ja) 作業支援装置、作業支援方法、およびプログラム
JP2021015497A (ja) 制御装置、制御プログラム、および制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200831

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210315

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210315

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210322

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210323

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210528

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210601

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210706

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220412

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220510

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220524

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220621

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220714

R150 Certificate of patent or registration of utility model

Ref document number: 7111418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150