JP7090796B2 - 見守りシステム、見守り方法、冷蔵庫、及び通信端末 - Google Patents

見守りシステム、見守り方法、冷蔵庫、及び通信端末 Download PDF

Info

Publication number
JP7090796B2
JP7090796B2 JP2021504745A JP2021504745A JP7090796B2 JP 7090796 B2 JP7090796 B2 JP 7090796B2 JP 2021504745 A JP2021504745 A JP 2021504745A JP 2021504745 A JP2021504745 A JP 2021504745A JP 7090796 B2 JP7090796 B2 JP 7090796B2
Authority
JP
Japan
Prior art keywords
amount
foodstuff
food
data
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021504745A
Other languages
English (en)
Other versions
JPWO2020183692A1 (ja
Inventor
由佳 津田
昌鷹 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020183692A1 publication Critical patent/JPWO2020183692A1/ja
Application granted granted Critical
Publication of JP7090796B2 publication Critical patent/JP7090796B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00General constructional features
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、見守りシステム、見守り方法、冷蔵庫、及び通信端末に関する。
少子高齢化と核家族化の進展に伴い、高齢者だけからなる世帯が増加している。そのため、互いに離れて生活する高齢者とその親族の双方に安心感を与えるための見守りシステムの需要が高まっている。従来の見守りシステムは、対象者(例えば、高齢者)の居住空間の各所に取り付けられたセンサの検出信号に基づいて、対象者の生活状況を見守る者(例えば、親族)に通知する。この見守りシステムでは、対象者の行動が各所に取り付けられたセンサによって常時監視されているため、居住空間の全域で対象者のプライバシーは保護されておらず、対象者は常に監視されているという不快感を抱く。この点に着目して、対象者が抱く不快感を緩和することが可能なシステム及び装置が提案されている(例えば、特許文献1及び2参照)。
特許文献1は、対象者であるユーザによって使用される容器(冷蔵庫を含む)の中身を撮影し、撮影情報をサーバに送信するユーザ側の装置と、容器の中身の現在の撮影情報と過去の撮影情報との差分に基づいてユーザの安否を判定するサーバと、を有するシステムを提案している。
特許文献2は、所定のエリア内にある機器のエネルギー使用量に基づいて、対象者であるユーザの在・不在を判定し、判定結果を外部機関に送信する装置を提案している。
特開2014-038374号公報 特開2015-139066号公報
しかしながら、特許文献1に記載のシステムは、容器の中身の撮影情報をサーバに送信するため、容器の中身が他人に見られるおそれがあり、プライバシーが適切に保護されないという課題がある。
また、特許文献2の装置は、エネルギー使用量に基づいてユーザの在・不在を判定するだけであり、ユーザの生活状況を適切に判定することができないという課題がある。
本発明は、上記課題を解決するためになされたものであり、食材保管庫を使用する人のプライバシーを保護しつつ生活状況を判定することができる見守りシステム、見守り方法、及び通信端末、並びに、冷蔵庫を使用する人のプライバシーを保護しつつ生活状況を判定することができる冷蔵庫を提供することを目的とする。
本発明の一態様に係る見守りシステムは、食材保管庫内に保管されている食材の量である食材量を検知し、前記食材量と前記食材量を検知した時刻とを含む食材量データを生成する食材量センシング部と、前記食材保管庫の周辺に人が存在することを検知し、前記人が存在した時刻を含む人検知データを生成する人センシング部と、前記食材量データを蓄積することで生成された食材量履歴データ及び前記人検知データを蓄積することで生成された人検知履歴データを保存する保存部と、前記食材量履歴データ及び前記人検知履歴データの少なくとも一方に基づいて生活パターンを推定する推定部と、前記食材量履歴データのうちの現時点に近い側の1つ以上の食材量データである判定対象の食材量データと、前記人検知履歴データのうちの現時点に近い側の1つ以上の人検知データである判定対象の人検知データと、前記生活パターンとに基づいて、前記人の生活状況を監視し、前記監視の結果に基づく判定情報を生成する判定部と、前記食材量データ、前記人検知データ、前記生活パターン、及び前記判定情報のうちの1つ以上を予め決められた送信先に送信する通信部とを備えたことを特徴とする。
本発明の他の態様に係る冷蔵庫は、食材保管庫と、前記食材保管庫内に保管されている食材の量である食材量を検知し、前記食材量と前記食材量を検知した時刻とを含む食材量データを生成する食材量センシング部と、前記食材保管庫の周辺に人が存在することを検知し、前記人が存在した時刻を含む人検知データを生成する人センシング部と、前記食材量データを蓄積することで生成された食材量履歴データ及び前記人検知データを蓄積することで生成された人検知履歴データを保存する保存部と、前記食材量履歴データ及び前記人検知履歴データの少なくとも一方に基づいて生活パターンを推定する推定部と、前記食材量履歴データのうちの現時点に近い側の1つ以上の食材量データである判定対象の食材量データと、前記人検知履歴データのうちの現時点に近い側の1つ以上の人検知データである判定対象の人検知データと、前記生活パターンとに基づいて、前記人の生活状況を監視し、前記監視の結果に基づく判定情報を生成する判定部と、前記判定情報を予め決められた送信先に送信する通信部とを備えたことを特徴とする。
本発明の他の態様に係る通信端末は、食材保管庫内に保管されている食材の量である食材量を検知し、前記食材量と前記食材量を検知した時刻とを含む食材量データを生成する食材量センシング部と、前記食材保管庫の周辺に人が存在することを検知し、前記人が存在した時刻を含む人検知データを生成する人センシング部と、を備えた前記食材保管庫から前記食材量データ及び前記人検知データを受信する通信部と、前記食材量データを蓄積することで生成された食材量履歴データ及び前記人検知データを蓄積することで生成された人検知履歴データを保存する保存部と、前記食材量履歴データ及び前記人検知履歴データの少なくとも一方に基づいて生活パターンを推定する推定部と、前記食材量履歴データのうちの現時点に近い側の1つ以上の食材量データである判定対象の食材量データと、前記人検知履歴データのうちの現時点に近い側の1つ以上の人検知データである判定対象の人検知データと、前記生活パターンとに基づいて、前記人の生活状況を監視し、前記監視の結果に基づく判定情報を生成する判定部とを備えたことを特徴とする。
本発明によれば、人のプライバシーの保護に配慮しつつ、人の生活状況を予め決められた送信先に送信することができる。
本発明の実施の形態1に係る見守りシステムの構成を概略的に示すブロック図である。 (a)は、実施の形態1に係る冷蔵庫の構造を概略的に示す縦断面図であり、(b)は、扉が開いている冷蔵室内にある食材の例を示す正面図であり、(c)は、庫内照明の光が正面から見える明部領域と庫内照明の光が食材によって遮られる暗部領域とを示す図である。 (a)から(c)は、冷蔵室の明部領域と暗部領域とを示す図であり、(d)は、冷蔵室内にある食材の量と照度センサによって検出される照度レベルとの関係をグラフで示す図である。 (a)から(c)は、食材量センサが照度センサである場合、食材量センサが重量センサである場合、及び食材量センサがカメラを有する装置である場合における、冷蔵庫内にある食材の量と食材量センサによって生成されるセンサ値との関係をグラフで示す図である。 (a)及び(b)は、人センサが冷蔵庫の扉の開閉を検知する開閉検知センサを有する装置である場合における、人センサによってセンサ値との関係を説明する図である。 (a)及び(b)は、実施の形態1に係る冷蔵庫の扉の開閉回数の例を示す図である。 (a)及び(b)は、実施の形態1に係る冷蔵庫内の食材の量の時間変化の例を示す図である。 (a)は、冷蔵室内にある食材の量の時間変化の3周期の例をグラフで示す図であり、(b)は、食材の量の3周期の時間変化を増加の時点を一致させて描いた図であり、(c)は、食材の量の3周期の時間変化から算出された平均値である食生活パターンと許容範囲の上限と下限を示す図である。 実施の形態1に係る見守りシステムの判定部の処理を示すフローチャートである。 実施の形態1に係る見守りシステムの判定部の処理を示す図(その1)である。 実施の形態1に係る見守りシステムの判定部の処理を示す図(その2)である。 本発明の実施の形態2に係る見守りシステムの構成を概略的に示すブロック図である。 本発明の実施の形態3に係る見守りシステムの構成を概略的に示すブロック図である。 本発明の実施の形態4に係る見守りシステムの構成を概略的に示すブロック図である。 本発明の実施の形態5に係る見守りシステムの構成を概略的に示すブロック図である。 実施の形態1から5の変形例に係る見守りシステムのハードウェア構成の例を示す図である。
以下に、本発明の実施の形態に係る見守りシステム、見守りシステムによって実施される見守り方法、冷蔵庫、及び通信端末を、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《1》実施の形態1
《1-1》実施の形態1の構成
図1は、本発明の実施の形態1に係る見守りシステムの構成を概略的に示すブロック図である。図1に示されるように、実施の形態1では、見守りシステムの主要な構成は、冷蔵庫10に備えられている。冷蔵庫10は、収納物としての食材を低温で保管する食材保管庫と、食材保管庫内(「庫内」ともいう。)を冷却する冷却機構とを有している。食材保管庫の代表例は、冷蔵室である。冷却機構は、モータ、コンプレッサ、ファン、冷風路、及び制御回路、などを有している。
実施の形態1に係る見守りシステムは、冷蔵庫10に備えられている。また、実施の形態1に係る見守りシステムの一部は、インターネットなどのネットワーク40を介して冷蔵庫10の通信部17から送信された情報を受信することができる通信端末50に備えられてもよい。さらに、実施の形態1に係る見守りシステムの一部は、見守りサービス企業60のサーバコンピュータ(単に「サーバ」ともいう。)61に備えられてもよい。サーバ61は、冷蔵庫10の通信部17からネットワーク40を介して送信された情報を受信し、この情報を見守り者の通信端末50に送信する。
本出願において、食材は、食品を意味する。食材は、食材そのものだけでなく、食材を収納する容器及び包装なども含む。また、本出願は、見守りシステムによって見守られる対象者が、通常の生活において、ある程度の規則性を備えた周期で食材を購入して冷蔵庫10に入れる(すなわち、補充する)行為及びある程度の規則性を備えた周期で冷蔵庫10から食材を取り出して消費する行為を繰り返し行う、ということを前提としている。
図1に示されるように、冷蔵庫10は、食材量センシング部12と、人センシング部13と、センサ制御部11と、メモリなどの記憶装置である保存部14と、対象者の生活パターンを推定する推定部15と、対象者の生活状況が正常であるか異常であるかを判定する判定部16と、通信部17とを有している。対象者は、冷蔵庫10のユーザである。また、対象者は、通常は、冷蔵庫10が置かれている家の住人である。本出願において、対象者は、「住人」又は「人」とも記される。
食材量センシング部12は、食材保管庫内に保管されている食材の量である食材量を検知し、食材量と食材量を検知した時刻とを含む食材量データを生成する。図1では、食材量センシング部12は、食材保管庫内に保管されている食材の量を検知する食材量センサ12aと、食材量センサ12aによって検知された食材量と食材量を検知した時刻とを含む食材量データを生成する食材量データ生成部12bとを有している。なお、時刻は、例えば、センサ制御部11に内蔵されている時計から提供される。また、一定時間間隔おきに食材量を検知する場合、時刻は、時分秒で示される情報ではなく、食材量を検知した順番を示す情報であってもよい。食材量センシング部12の詳細については、後述する。
センサ制御部11は、或るタイミングで庫内の食材の量を検知させるための食材量センサ用のセンシング制御信号を発生する。例えば、センサ制御部11は、予め決められた一定の時間間隔ごとにセンシング制御信号を発生することで、食材量センシング部12に庫内の食材量を検知させる。
人センシング部13は、冷蔵庫10の周辺に人が存在することを検知し、検知された人が存在した時刻を含む人検知データを生成する。図1では、人センシング部13は、食材保管庫の周囲に存在する人を検知する人センサ13aと、人センサ13aによって人が検知された時刻を含む人検知データを生成する。つまり、人センシング部13は、予め決められた時間帯ごとの人検知の頻度(例えば、単位時間当たりの人検知の回数)を人検知データとして生成する。人センサ13aは、例えば、センサ制御部11によって生成されたセンシング制御信号に基づいて冷蔵庫10の前又は横に人がいるか否かを検知する人感センサ(例えば、図2(b)における162)である。また、人センサ13aは、冷蔵庫10の扉の開閉を検知する開閉センサ(例えば、図2(b)における161)であってもよい。また、人センサ13aは、人がいるか否かを検知するセンサと冷蔵庫10の開閉センサとの両方であってもよい。さらに、人センサ13aは、対象者の在・不在を検知する他のセンサを有してもよい。人センシング部13の詳細については、後述する。
センサ制御部11は、或るタイミングで冷蔵庫10の周辺における人の有無を検知させるための人センサ用のセンシング制御信号を発生する。例えば、センサ制御部11は、予め決められた一定の時間間隔ごとにセンシング制御信号を発生することで、人センシング部13に人の有無を検知させる。
保存部14は、食材量データを蓄積することで生成された食材量履歴データ及び人検知データを蓄積することで生成された人検知履歴データを予め決められた期間分、保存する。
推定部15は、食材量履歴データ及び人検知履歴データの少なくとも一方に基づいて対象者の生活パターンを推定する。例えば、推定部15は、保存部14に蓄積された食材量履歴データが示す過去の食材量を読み出し、過去の食材量の時間変化の規則性を利用して、対象者に特有の規則性を備えた食材量の変化パターンである食生活パターンを推定する。食生活パターンは、生活パターンの一例である。食生活パターンは、例えば、後述の図7(a)及び(b)に示される。ここで、「食材量の時間変化の規則性」とは、冷蔵庫10のユーザである対象者に特有の周期(例えば、第1の周期)で食材量が増加し(すなわち、食材を購入して冷蔵庫10に入れ)、この対象者に特有のペースで冷蔵庫10内の食材が徐々に(例えば、第2の周期で)減少する(すなわち、食材を消費するために冷蔵庫10から食材を取り出す)ことである。例えば、推定部15は、保存部14に蓄積された食材量履歴データと人検知データを読み出し、食材量の変化と人検知データの変化に基づいて、対象者の起床時刻、就寝時刻、夜間における冷蔵庫へのアクセスの回数、対象者が未検出である時間、などを推定する。言い換えれば、推定部15は、食材量履歴データに基づいて食材量が増加する周期である第1の周期及び食材量が減少する周期である第2の周期を算出し、第1の周期、第2の周期、及び人検知データに基づいて、人の起床時刻、就寝時刻、及び人の未検出時間を推定する。
また、推定部15は、保存部14に蓄積された人検知履歴データが示す過去の人検知データを読み出し、人検知の回数の時間変化の規則性を利用して、対象者に特有の規則性を備えた対象者の行動パターンを推定する。行動パターンは、生活パターンの一例である。行動パターンは、例えば、後述の図5(a)及び(b)に示される。
判定部16は、保存部14に保存されている食材量履歴データのうちの現時点に近い側の1つ以上の食材量データである判定対象の食材量データと、保存部14に保存されている人検知履歴データのうちの現時点に近い側の1つ以上の人検知データである判定対象の人検知データと、推定部15によって推定された生活パターンとに基づいて、対象者の生活状況を監視し、監視の結果に基づく判定情報を生成する。判定情報は、例えば、対象者の生活状況が異常な状態であることを示す情報である。異常な状態とは、例えば、「対象者は在宅であるが、食材が減っていない状況」又は「食材の取り出し又は補充がされておらず、対象者の動きが検知されていない状況」などである。また、判定情報は、対象者の生活状況が異常な状態になっていないが、異常な状態に近いことを示す情報又は異常な状態になる可能性があることを示す情報を含んでもよい。
「現時点に近い側の1つ以上の食材量データ」は、例えば、1番新しい食材量データからN番目に新しい食材量データまでのデータである。ここで、Nは、1以上の整数である。例えば、判定部16は、推定部15によって推定された食生活パターンに基づいて決められた許容範囲内に、最新の(すなわち、現在の)食材量が収まっているか否かの判定をN回繰り返し行うことによって、現時点に近い側のN個の食材量データに基づく判定情報を生成することができる。
また、「現時点に近い側の1つ以上の人検知データ」は、例えば、1番新しい人検知データからM番目に新しい人検知データまでのデータである。ここで、Mは、1以上の整数である。例えば、判定部16は、推定部15によって推定された行動パターンに基づいて決められた許容範囲内に、最新の(すなわち、現在の)人検知データが収まっているか否かの判定をM回繰り返し行うことによって、現時点に近い側のM個の人検知データに基づく判定情報を生成することができる。
判定部16の動作の一例は、後述の図9から図11を用いて説明される。判定部16は、対象者に異常が発生していると判定した際に、通信部17に、異常である旨を出力する。
通信部17は、判定情報を予め決められた送信先に送信する。予め決められた送信先は、例えば、対象者の親族である見守り者が所有する通信端末50である。通信端末50は、スマートフォン、携帯電話、パーソナルコンピュータ、などである。予め決められた送信先は、例えば、見守りサービスを提供する見守りサービス企業60のサーバ61であってもよい。なお、通信部17は、食材量データ、人検知データ、及び生活パターンを送信してもよい。通信部17は、判定情報の送信を、例えば、生活状況が異常な状態であるとき、又は、予め決められた周期で、又は、予め決められた時刻に、又は、通信端末50からの要求信号に応じて行うことができる。通信部17は、判定部16の判定結果を、ネットワーク40から見守りサービス企業60のサーバ61を経由して通信端末50に送信してもよい。
《1-2》実施の形態1の動作
先ず、食材量センサ12aが照度センサ151であり、照度センサ151によって検出される照度レベルから庫内にある食材の量を示す食材量を生成する動作を説明する。図2(a)は、冷蔵庫10の構造を概略的に示す縦断面図である。図2(a)は、図2(b)をS2a-S2a線で切る断面を示す。図2(b)は、扉104が開いている冷蔵室101内にある食材の例を示す正面図である。図2(c)は、庫内照明108の光が正面から見える明部領域と庫内照明108の光が食材によって遮られる暗部領域(すなわち、影領域)とを示す図である。冷蔵室101は、食材の収納室である。「冷蔵室101内」は、庫内と同義である。冷蔵室101以外の収納室である野菜室106及び冷凍室105内にある食材の量に基づいて、対象者の食生活パターンを生成することも可能である。センサ制御部11は、予め決められた時間間隔ごとに、庫内照明108を点灯させると共に、照度センサ151により照度レベルを検出させる。照度センサ151は、照度レベルなどのセンサ情報を食材量データ生成部12bに提供する。
図2(a)に示されるように、冷蔵室101内には、食材が載せられる棚板102が備えられており、冷蔵室101内を照らす庫内照明108が冷蔵室101の奥側(例えば、図2(a)における左側)に配置されている。庫内照明108から放出された光は、直接的に又は壁面と食材の表面で反射されて間接的に、扉104の内面の位置まで到達する。扉104の内面には、照度センサ151が配置されており、庫内照明108から放出された光が直接的に又は間接的に照度センサ151に到達する。
図2(b)は、冷蔵庫10を正面から見た図であり、冷蔵庫10の扉104が開いた状態を示している。冷蔵室101内には、各種の食材が棚板102の上に載せられている。
図2(c)は、図2(b)の冷蔵庫10の扉104を閉じて、庫内照明108を点灯した状態での冷蔵室101の内部が正面(すなわち、扉104側)から、どのように見えるかを示している。冷蔵室101の奥側にある庫内照明108から照射された光の一部は、庫内の壁面及び食材の表面で反射される。しかし、扉104側から見れば、食材は庫内照明108から照射された光を遮っている。このため、図2(c)に示されるように、冷蔵室101内の食材が無い領域が明部領域を形成し、食材が有る領域が暗部領域を形成する。
なお、冷蔵庫10の仕様によっては、庫内照明が冷蔵室101の側壁の内面の前寄りの位置に設置される場合がある。この場合には、照度センサ151は、食材を挟んで対角方向の側壁の内面の奥側(すなわち、庫内照明に向かい合う内面の奥側)に配置されることが望ましい。
また、図2(a)から(c)には、1個の照度センサ151が示されているが、冷蔵室101内において、庫内照明108の設置位置と反対側の壁面に複数の照度センサ151を備え、複数の照度センサ151の検出値に基づいて食材量データ値が生成されてもよい。この場合、検出値は、例えば、照度レベルの合計値、平均値、などである。
図3(a)から(c)は、庫内照明108の光が正面(すなわち、扉104の内面の位置)から見える明部領域と庫内照明108の光が食材によって遮られる暗部領域とを示す図である。図3(d)は、冷蔵室101内にある食材の量と照度センサ151によって検出される照度レベルとの関係をグラフで示す図である。図3(a)の状態SAは、冷蔵室101内にある食材の量が多い場合である。図3(b)の状態SBは、冷蔵室101内にある食材の量が中間程度である場合である。図3(c)の状態SCは、冷蔵室101内にある食材の量が少ない場合である。図3(d)のグラフは、食材の量が多い状態SAでは照度センサ151に到達する光の量が少ないので照度レベルが低い。また、食材の量が中間である状態SBでは照度センサ151に到達する光の量が中間程度であるので照度レベルが中間程度である。また、食材の量が少ない状態SCでは照度センサ151に到達する光の量が多いので照度レベルが高くなることを示している。このように、照度センサ151によって検出される照度レベルと、冷蔵室101内の食材の量との間には負の相関関係がある。
図4(a)から(c)は、実施の形態1に係る冷蔵庫10内にある食材量と食材量センサ12aによって検知されるセンサ値との関係をグラフで示す図である。図4(a)は、食材量センサ12aが、冷蔵庫10内の各収納室に設置された照度センサ151である場合の照度レベルと食材量との関係を示している。図4(b)は、食材量センサ12aが冷蔵庫10内の各棚板102に設置された重量センサ(例えば、図2(a)の153)である場合の重量センサ値の総和と食材量の関係を示している。図4(c)は、食材量センサ12aが冷蔵庫10内を撮影する庫内撮像装置としての庫内カメラ(例えば、図2(a)の152)である場合の撮影画像の画像変化量と食材量との関係を示している。画像変化量は、冷蔵庫10内が空である場合の撮影画像の画素数に対する変化があった画素数の割合、又は画像全体に対する変化領域の割合で示される。
図4(a)に示されるように、食材量が多いほど冷蔵庫10内の照度レベルは、低くなる。また、図4(b)に示されるように、食材量と重量の関係は、概ね比例する。図4(c)に示されるように、食材がある程度の量になるまでは、食材量に応じて画像変化量は、増加する。しかし、食材量がある程度の量を超えると、画像には、映らない方向に重ねて収納されるため、増加量は、緩やかになる。食材量データ生成部12bは、図4(a)から(c)のうちの1つ以上の関係を利用して、野菜室、冷凍室、冷蔵室などの収納室ごとに食材量を算出し、それらの総和を食材量データとして生成する。食材量データは、保存部14と判定部16とに提供される。
一方、センサ制御部11は、センシング制御信号を、人センサ13aに送る。センシング制御信号は、例えば、予め決められた基準の時間間隔ごとに人検知をするために人センサ13aを動作させる信号である。基準の時間間隔は、例えば、5分、10分、又は15分、などである。後述する推定部15が推定する行動は、対象者の食生活に関する行動であり、人が食事をする時間が10分~30分程度、料理をする時間は、20分~60分程度であるため、これらの行動を推定するために必要な粒度でセンシングした人センサ13aのセンサ値が必要である。人センサ13aは、冷蔵庫10の扉104の開閉を検知する開閉センサ(例えば、図2(b)における161)、冷蔵庫10の前面又は側面に設置された人感センサ(例えば、図2(a)における162)、及び冷蔵庫10の前面又は側面に設置された撮像装置としてのカメラ(例えば、熱画像センサ)のうちのいずれか1つ以上である。
人センサ13aは、冷蔵庫10の前に人がいるか否かを検知する。人センサ13aは、センシング制御信号に基づき動作し、センサ値を人検知データ生成部13bに提供する。冷蔵庫10は、対象者が居住する家の中にある物の中で、対象者の嗜好又は食生活に密接に関係する食べ物を収納するプライベートな物である。このため、冷蔵庫10にアクセスする人は、住人であるケースが大半である。人センサ13aが開閉センサである場合、センサ値は、扉104が開けられた動作又は扉104が閉じられた動作を検知した時刻情報である。人センサ13aが人感センサである場合、センサ値は、人がいることを検知した時刻情報である。人センサ13aが熱画像センサである場合、センサ値は、熱画像そのものであり、熱画像から人の有無を検知する処理は、人検知データ生成部13bで実行される。ただし、人センサ13aは、人の在・不在を検知できるセンサであれば、上記開閉センサ、人感センサ、及び熱画像センサに限定されない。
人検知データ生成部13bは、人センサ13aから入力されたセンサ値に基づき、人検知データを生成する。図5(a)及び(b)は、人検知データと人センサ13aから入力されたセンサ値との関係の例を示す図である。
図5(a)は、人センサ13aが開閉センサである場合を示す。この場合、人検知データは、予め決められた基準時間ごとの扉104の開閉回数である。人検知データ生成部13bは、扉104の開操作又は閉操作の基準時間ごとの回数(すなわち、予め決められた各時間帯における人検知データの発生回数)を算出し、基準時間ごとの回数を保存部14及び判定部16に出力する。基準時間は、例えば、5分、10分、又は15分、などである。
図5(b)は、人センサ13aが人感センサ又は熱画像センサである場合を示す。人センサ13aが熱画像センサである場合は、人検知データ生成部13bは、人センサ13aから入力された熱画像から人の有無を検知する。人検知データ生成部13bは、例えば、熱画像から人の表面温度(例えば、22℃~35℃)に該当する領域を抽出し、抽出された領域の形又は大きさ又はこれらの両方に基づいて、人を検知することができる。人を検知した時刻を示す時刻情報は、人が検知された熱画像の撮影時刻を示す情報である。図5(b)に示されるように、人検知データ生成部13bは、人を検知した時刻を示す時刻情報から、人を検知した時間帯と、人を検知しない時間帯とを算出する。図5(b)の例では、人を検知した時間帯は、6時から8時までの時間帯である。また、人を検知しない時間帯は、18時から23時までの時間帯である。人検知データ生成部13bは、例えば、人を検知した時間帯の開始時刻と人が冷蔵庫10の前に滞在した時間とを、保存部14及び判定部16に提供する。
保存部14は、食材量データ生成部12bから提供された食材量データを一定期間分保存する。また、保存部14は、人検知データ生成部13bから提供された基準時間ごとの扉104の開閉回数、又は、人を検知した時間帯の開始時刻及び人が冷蔵庫10の前に滞在した時間、を一定期間分保存する。一定期間は、1週間以上であることが望ましい。一定期間が、1年以上である場合には、推定部15による各季節における生活パターンの変動を推定することが可能である。
推定部15は、保存部14に保存されたデータを読み出し、対象者の行動のうち、特に食生活に関する生活パターンを推定する。図6(a)及び(b)を用いて、推定部15が人検知データ生成部13bによって生成された扉104の開閉回数に基づいて、生活パターンを推定する動作を説明する。図6(a)及び(b)は、生活パターンが異なる人の1日における扉104の開閉回数を示す。また、同じ人の場合であっても、曜日又は体調によって、扉104の開閉回数の分布は、大きく異なる。対象者が家にいて、起きている時間帯では、料理又は食事をしている時間以外の時間帯においても、冷蔵庫10の扉104は、開閉される。料理をしている時間帯では、扉104の開閉回数が多い。ただし、冷蔵庫10には、料理の材料となる食材以外の食材であって、そのまま飲食可能な飲料及び食べ物又は薬なども保存されている。このため、それらを取り出す際に、冷蔵庫10の扉104は、開閉される。扉104が全く開閉されない日は、対象者は、外出中であるか、又は、健康上の理由などで動くことができない状態にあるか、のいずれかの日である。このような日が、何日も続く場合は、対象者は、旅行などによって長期不在である可能性が高い。
推定部15は、扉104の開閉回数と時間帯から対象者の行動を推定する。例えば、朝6時から10時までの間であって、扉104の開閉回数が多い時間帯は、朝食の時間帯であると考えられる。11時から14時までの間であって、扉104の開閉回数が多い時間帯は、昼食の時間帯であると考えられる。17時から22時までの間であって、扉104の開閉回数が多い時間帯は、夕食の時間帯であると考えられる。1時から5時までの間であって、扉104の開閉回数が0の時間帯は、就寝中の時間帯であると考えられる。扉104の開閉回数が多いか否かの判断基準は、例えば、対象者の1日の最大の扉104の開閉回数の半分とする。
図6(a)の場合、0時から6時までの時間帯T1では、冷蔵庫10の扉104は開閉されていない。時間帯T1では、対象者は、就寝中であると推定される。6時から8時までの時間帯T2では、冷蔵庫10の扉104は、頻繁に開閉されている。時間帯T2では、対象者は、朝食の準備中又は朝食の喫食中であると推定される。9時から18時までの時間帯T3では、冷蔵庫10の扉104は、開閉されていない。時間帯T3では、対象者は、外出中であると推定される。18時から0時までの時間帯T4の前半では、冷蔵庫10の扉104は、非常に頻繁に開閉されている。時間帯T4の前半では、対象者は、夕食の準備中又は夕食の喫食中であると推定される。時間帯T4の後半では、冷蔵庫10の扉104は、比較的少ない回数開閉されている。時間帯T4の後半では、対象者は、夕食後から就寝までの時間を過ごしていると推定される。
一方、図6(b)の場合、冷蔵庫10の扉104の開閉回数と時間帯との間に、はっきりとした規則性が見られない。対象者は、1日中、冷蔵庫10の扉104を開閉している。図6(b)の場合、対象者が1日中頻繁に飲食している、と推定される。特に、2時から6時までの時間帯T5で、冷蔵庫10の扉104の開閉が検知されている。この場合、対象者が夜中に何度も起きている、と推定される。つまり、就寝中であることが望ましい時間帯T5に、対象者が起きており、生活が乱れている又は体調不良であると、推定される。このようにして、推定部15は、扉104の開閉回数によって対象者の起床時刻、就寝時刻、夜中に起きているかどうか、長期不在中かどうか、を推定する。
また、推定部15は、保存部14に保存された食材量履歴データから、食材量データが示す食材量の変化を計算する。図7(a)及び(b)は、食材量の変化の例を示す図である。図7(a)及び(b)は、食材量を、予め決められたサンプリング間隔でデータ化することで得られた食材量データ値を示している。サンプリング間隔(図7(a)及び図7(b)の横軸の隣り合う目盛りの間隔)は、食材が取り出される時間間隔と判定結果の送信の時間間隔とを考慮して、過剰なデータ生成が行われないように、例えば、数十分から数時間の間の適切な時間に設定される。サンプリング間隔は、後述の図8(a)の横軸の隣り合う目盛りの間隔である。
食材量データ値は、時系列データであるので、時間軸方向に図示すれば図7(a)及び(b)のようになる。食材量データ値は、食材量データ生成部12bから、サンプリングごとのデータ値として順次出力される。
図7(a)及び(b)は、別の人物の食材量の変化である。冷蔵庫10に収納された食材の量は、買い物に行き、冷蔵庫10に食材が収納されると増加し、料理又は食事をするために食材を取り出すと減少する。買い物の頻度は、対象者の生活パターンと密接に関係しており、図7(a)に示されるように、食材量が変化する対象者は、冷蔵庫10の中が空になる前に頻繁に買い物に行く人である。一方、図7(b)に示されるように、食材量が変化する対象者は、基本的に1週間で食材を使いきり、途中で、不足した食材を買い足しはするが、週末に食材を纏め買いをする人である。推定部15は、食材量が急激に増加してから、食材量が徐々に減少し、次に食材量が急激に増加するまでの1周期を、食生活パターンとして把握する。
冷蔵庫10内の食材の量の増加及び減少(すなわち、食材量の変化)は、対象者に特有のある程度の規則性を備えている。ただし、実際には、朝食、昼食、夕食以外のタイミングで、冷蔵庫10内の食材が消費される場合、又は対象者の食生活が、1日3食以外の食事を含むものである場合がある。対象者に特有の規則性を備えた食生活パターンは、推定部15によって導出される。
保存部14には、食材量データ生成部12bから出力された食材量データ値が蓄積される。食材量データ値は、例えば、時刻と関連付けられた食材量データとして、又は、データの順番を示す数値と関連付けられた食材歴データとして保存される。
推定部15は、保存部14からある一定期間の食材量データ値を読み出し(すなわち、過去の食材量データ値から)、食材量データ値の時間変化のパターン、すなわち、対象者に特有の規則性を備えた食生活パターンを導出する。
図8(a)は、冷蔵室内にある食材の量の時間変化の3周期の例をグラフで示す図であり、図8(b)は、食材の量の3周期の時間変化を増加の時点を一致させて描いた図であり、図8(c)は、食材の量の3周期の時間変化から算出された平均値である食生活パターンと許容範囲の上限と下限を示す図である。推定部15は、保存部14からある一定期間の食材量データ値を読み出し(すなわち、過去の食材量データ値から)、食材量データ値の時間変化のパターン、すなわち、対象者に特有の規則性を備えた食生活パターンを導出する。図8(a)は、冷蔵室101内にある食材の量の3周期PT1~PT3の時間変化をグラフで示す図である。周期PT1~PT3の各々は、増加の時点から次の増加の時点までの周期である。図8(b)は、食材の量の3周期の時間変化を増加の時点(すなわち、起点)を一致させて描いた図である。図8(c)は、食材の量の3周期PT1~PT3の時間変化から算出された平均値(すなわち、対象者に特有の規則性を備えた食生活パターンの例)と、食生活パターンのマージン(すなわち、許容範囲)の上限と下限を示す図である。
図8(a)において、食材量データ値が大きく増加している部分は、食材の購入(すなわち、食材の補充)の時点を示しており、この時点から次の食材の購入(すなわち、次の食材の補充)の時点までを1周期としている。時間軸に付した目盛りは、サンプリングの時点を示しており、食材量データ値は、数回のサンプリングごとに値が変化している。これは、庫内から食材を取り出す周期より短い周期でサンプリングが行われるように設定されているからである。
図8(b)では、複数周期の食材量データ値の変化を、食材量データ値が増加している時点(すなわち、食材を購入し補充する時点)を一致させて、重ねて示されている。食材の消費の量と消費の時間間隔は、対象者が同じであったとしても、ある程度のばらつきがある。このばらつきは、図8(b)に示されるように、「食材量データ値の変化のばらつき」と「周期のばらつき」として現すことができる。図8(b)に示されるように、「食材量データ値の変化のばらつき」は、あるサンプリング時における複数周期の食材量データ値の差分で表すことができる。図8(b)に示されるように、「周期のばらつき」は、複数周期の食材量データ値の変化の周期の差分で表すことができる。
図8(c)には、複数周期の食材量データ値の平均値が、実線の曲線で示されている。図8(c)の実線の曲線は、複数周期の食材量データ値の平均値であるので、対象者の平均的な食生活パターンを示す。この食材の量の変化は、対象者の日々の生活においてばらつくものである。このため、図8(c)に2本の破線の曲線で示されるように、推定部15は、食生活パターンを「食材量データ値の変化マージン」と「周期マージン」を加味した形で出力する。
食生活パターンは、季節に応じて変化することがある。例えば、水分摂取の多い季節(例えば、夏)と少ない季節(例えば、冬)、市場に出回る食材の鮮度が長く維持できる季節(例えば、冬)と長く維持できない季節(例えば、夏)、食材の購入のための外出が楽な季節(例えば、春及び秋)と辛い季節(例えば、夏及び冬)など、季節によって食生活パターンに現れる特徴が変化する。このため、季節ごとに食生活パターンを切り替えることによって、対象者の生活状況の異常の有無の判定の信頼性を向上させることが可能である。
なお、曜日の要因に対応した食生活パターンを用いるためには、予め曜日の要因に対応した1週間を1周期とする食生活パターンを導出するための食材量データ値を保存部14に蓄積しておく必要がある。また、季節の要因に対応した食生活パターンを用いるためには、予め季節の要因に対応した食生活パターンを導出するための各季節の食材量データ値を保存部14に蓄積しておく必要がある。
さらに、推定部15が複数種類の食生活パターンを求め、判定部16が、複数種類の食生活パターンの許容範囲を用いて、対象者の生活状況が異常な状態であるか否かの判定を行うようにしてもよい。この場合には、食生活パターンの個人差に適切に対処することができ、判定の信頼性を向上させることができる。
判定部16では、推定部15から入力される対象者の生活パターンに対して、食材量データ生成部12bから入力される最新の食材量と、人検知データ生成部13bから入力される最新の人検知データとが、妥当な範囲に収まっているか否か繰り返し判定し、対象者に異常が発生しているか否かを判定する。
図9は、実施の形態1に係る見守りシステムの判定部16の処理を示すフローチャートである。また、図10及び図11は、実施の形態1に係る見守りシステムの判定部16の処理を示す図(その1及び2)である。図9から図11を用いて、判定部16の処理を説明する。判定部16は、対象者の現在の生活状況が、CASE1からCASE8のいずれであるかを判定する。
ステップS1において、判定部16は、最新の食材量Aが食生活パターンに基づく許容範囲内にあるか否かを判定する。許容範囲は、例えば、図8(c)に示される食材量データ値の変化マージンの範囲である。最新の食材量Aが食生活パターンに基づく許容範囲内にある場合には、処理はステップS2に進む。最新の食材量Aが食生活パターンに基づく許容範囲内にない場合には、処理はステップS7に進む。
ステップS2において、判定部16は、例えば、最新の食材量Aを検知する1つ前に検知した食材量A0に比べて最新の食材量Aが変化しない場合には、連続回数Dをカウントアップし(すなわち、1を加算し)、最新の食材量Aが変化する場合には、連続回数Dを0にリセットする。
次のステップS3において、判定部16は、連続回数Dが予め決められた連続回数の閾値(例えば、5回)を超えたか否かを判定する。連続回数Dが閾値を超えた場合は、処理はステップS4に進む。連続回数Dが閾値以下である場合には、判定部16は、対象者の生活状況はCASE5であると判定する。図11に示されるように、CASE5は、対象者が、通常の食生活をしている場合であり、対象者の生活状況が正常である場合である。
ステップS4において、判定部16は、最新の食材量Aが食材量パターンの極小値Cに等しいか否かを判定する。最新の食材量Aが極小値Cに等しい場合は、処理はステップS5に進む。最新の食材量Aが極小値Cに等しくない場合は、処理はステップS6に進む。
ステップS5において、判定部16は、人検知データ生成部13bから受け取った人検知データに基づいて人が検知されたか否かを判定する。判定部16は、人が検知された場合には、対象者の生活状況は、CASE1であると判定する。図10に示されるように、CASE1は、対象者は、料理をしていないが、動くことができる状態であり、生活状況は、正常である場合である。判定部16は、人が検知されなかった場合には、対象者の生活状況は、CASE2であると判定する。図10に示されるように、CASE2は、対象者は、在宅であるが、食事をしておらず、動くことができない状態であり、生活状況が異常である場合である。
また、ステップS6において、判定部16は、人検知データ生成部13bから受け取った人検知データに基づいて人が検知されたか否かを判定する。判定部16は、人が検知された場合には、対象者の生活状況は、CASE3であると判定する。図10に示されるように、CASE3は、対象者は、料理をしていないが、動くことができる状態であり、生活状況が正常である場合である。判定部16は、人が検知されなかった場合には、対象者の生活状況は、CASE4であると判定する。図10に示されるように、CASE4は、対象者は、在宅の予定であるが、食事をしておらず、動くことができない状態であり、生活状況が異常である場合である。
処理がステップS1からステップS7に進んだ場合、判定部16は、最新の食材量Aが期待値Bより少ないか否かを判定する。最新の食材量Aが期待値Bより少ない場合は、処理はステップS8に進む。最新の食材量Aが期待値B以上である場合は、処理はステップS9に進む。食材量の期待値Bは、例えば、図10に破線で示される。予め決められた閾値は、例えば、期待値に対する一定割合(例えば、20%)の値又は予め決められた値、などである。
ステップS8において、判定部16は、食材量の期待値Bを最新の食材量Aに更新し、連続回数Dを0にリセットし、対象者の生活状況がCASE6であると判定する。図11に示されるように、CASE6は、対象者が、冷蔵庫内を整理して、不要な食材を廃棄し、長期不在の予定があり、正常である場合である。
ステップS9において、判定部16は、最新の食材量Aが食材量パターンの最大値E以下であるか否かを判定する。最新の食材量Aが最大値E以下である場合は、処理はステップS10に進み、最新の食材量Aが最大値Eより大きい場合は、対象者の生活状況はCASE8であると判定する。図11に示されるように、CASE8は、対象者は、買い物をして、大量の食材を補充し、正常である場合である。
ステップS10において、判定部16は、食材量の期待値Bを最新の食材量Aに更新し、連続回数Dを0にリセットし、対象者の生活状況はCASE7であると判定する。図11に示されるように、CASE7は、対象者が買い物をして、少量の食材を補充し、正常である場合である。
人検知データを用いない場合には、食材量の変化が通常の食生活パターンの許容範囲から逸脱したCASE1からCASE4の全てにおいて、対象者は、異常であると判定される。しかし、実施の形態1の場合には、人検知データを用いているので、食材量の変化が通常の食生活パターンの許容範囲から逸脱しても、CASE1及びCASE3の場合は対象者は正常であると判定される。
なお、CASE2の場合は、長期不在中である場合も対象者が異常であると判定される。これは、人検知ができない場所、例えば、冷蔵庫10のない寝室など、で倒れている場合、人がいるにも関わらず、冷蔵庫10に搭載した人センサ13aでは、対象者を検知できないためである。この場合の対策として、宅内のどこにいても対象者の在・不在を検知できるセンサを追加で設置し、そのセンサ情報を用いて人検知データを生成すると在宅か長期不在中であるかを判定することが可能になり、より正確な見守りシステムを実現することが可能になる。
図9から図11に示される判定部16の処理は、一例に過ぎず、判定部16の処理はこの例に限定されない。図9から図11の例では、人検知データは、ステップS5及びS6で用いられているだけである。しかし、推定部15によって人検知データから求められた行動パターンと最新の人検知データと比較の結果を用いて、対象者の生活状況が正常であるか異常であるかを判定してもよい。例えば、判定部16は、判定対象の人検知データが行動パターンに基づいて決められた判定条件を満たさない場合に、対象者の生活状況が異常であることを示す判定情報を生成してもよい。ここで、行動パターンに基づいて決められた判定条件を満たさない場合は、予め決められた各時間帯における人検知データの発生回数が、行動パターンが示す予め決められた各時間帯の人検知の回数を含むように設定された人検知の回数の許容範囲内にない場合である。また、予め決められた各時間帯における人検知データの発生回数は、例えば、予め決められた時間帯ごとの冷蔵室101の扉104の開閉回数である。
《1-3》効果
実施の形態1に係る見守りシステムを用いれば、画像データを通信部17から送信しないので、少ないデータ量でプライバシーを保護しつつ、監視されている感覚を対象者に与えない見守りサービスを、低コストで実現することができるという効果がある。
また、実施の形態1に係る見守りシステムを用いれば、対象者のプライバシーを保護しつつ、安価に生活パターンを生成することができるという効果がある。
また、実施の形態1に係る見守りシステムを用いれば、食材量データと人検知データの両方を用いるので、対象者のプライバシーを保護しつつ、正確に生活パターンを生成することができるという効果がある。
また、実施の形態1に係る見守りシステムによって対象者の食生活パターンと対象者の行動パターンの両方を用いる場合には、対象者の異常を正確に判定できるという効果がある。
また、実施の形態1に係る見守りシステムを用いれば、対象者の食生活が、食生活パターンから乖離しているかどうかを適切に判断することができるという効果がある。
《2》実施の形態2.
図12は、本発明の実施の形態2に係る見守りシステムの構成を概略的に示すブロック図である。実施の形態2に係る見守りシステムは、冷蔵庫20と、家庭電化製品などの電気機器30と、サーバ65とから構成されている。実施の形態2に係る見守りシステムは、実施の形態1において冷蔵庫10に搭載されていた構成要素が冷蔵庫20と電気機器30とサーバ65とに分けて備えられている点が、実施の形態1に係る見守りシステムと異なる。
冷蔵庫20は、食材量センシング部22と、食材量センサ用のセンシング制御信号を出力するセンサ制御部21と、通信部27とを有している。食材量センシング部22は、食材量センサ22aと、食材量データ生成部22bとを有している。食材量センシング部22は、実施の形態1における食材量センシング部12と同様の構成を備えている。電気機器30は、人センシング部33と、人センサ用のセンシング制御信号を出力するセンサ制御部31と、通信部37とを有している。人センシング部33は、人センサ33aと、人検知データ生成部33bとを有している。人センシング部33は、実施の形態1における人センシング部13と同様の構成を備えている。サーバ65は、保存部14と、推定部15と、判定部16と、通信部19とを有している。サーバ65の保存部14、推定部15、及び判定部16は、実施の形態1におけるものと、同様の構成を有している。
人センサ33aは、冷蔵庫20の周辺に人がいることを検知できる位置に設置される必要がある。設置位置は、冷蔵庫20の周辺を俯瞰できる天井又は壁の高い位置であることが望ましい。電気機器30は、例えば、エアコン又は照明機器などである。また、電気機器30は、家電の機能を持っている必要はなく、センサ制御部31、人センシング部33、及び通信部37のみから構成されてもよい。
通信部27は、食材量データ生成部22bで生成された食材量データを、ネットワーク40を介してサーバ65に備えられた通信部19に送信する。通信部37は、人検知データ生成部13bで生成された人検知データを、ネットワーク40を介してサーバ65に備えられた通信部19に送信する。通信部19は、通信部27から送信された食材量データを保存部14と判定部16とに提供し、通信部37から送信された人検知データを保存部14と判定部16とに提供する。また、通信部19は、判定部16から受け取った判定情報を、ネットワーク40を介して通信端末50に送信する。
実施の形態2に係る見守りシステムを用いれば、人センサ33aが冷蔵庫20以外の電気機器30に搭載されるので、冷蔵庫20が人センサ33aを持たない場合であっても、見守りシステムを実現できるという効果が得られる。
また、実施の形態2に係る見守りシステムを用いれば、人検知データ生成部33bと、保存部14と、推定部15と、判定部16が、冷蔵庫20に搭載されていない。このため、負荷が高いこれらの処理を実行するための高性能なマイコンを冷蔵庫20に搭載する必要がないという効果が得られる。
《3》実施の形態3
図13は、本発明の実施の形態3に係る見守りシステムの構成を概略的に示すブロック図である。図13において、図1に示される構成要素と同一又は対応する構成要素には、図1に示される符号と同じ符号が付される。実施の形態3に係る見守りシステムは、冷蔵庫70と、サーバ111とから構成されている。実施の形態3に係る見守りシステムは、実施の形態1において冷蔵庫10に搭載されていた構成要素が冷蔵庫70とサーバ111とに分けて備えられている点が、実施の形態1に係る見守りシステムと異なる。つまり、実施の形態3に係る見守りシステムは、判定部116を見守りサービス企業110のサーバ111に備えている。この点を除いて、実施の形態3は、実施の形態1と同じである。
図13に示されるように、実施の形態3において、見守りサービス企業110は、インターネットなどのネットワーク40を介して冷蔵庫70の通信部17と通信する通信部112と、通信端末50と直接又はネットワークを介して通信する通信部113とを備えている。
通信部17は、食材量データ生成部12bから提供された最新の食材量データと、人検知データ生成部13bから提供された人検知データと、推定部15から提供された生活パターンとを、見守りサービス企業110の通信部112に送信する。
サーバ111に備えられた判定部116は、通信部112から食材量データ、人検知データ、生活パターンを受け取る。冷蔵庫70とサーバ111との間のデータ通信のタイミングは、新たに食材量データを生成する度に送信するのが妥当であるが、生活パターンの導出結果についてはその変化が頻繁に起こることはなく、食材量データの送信よりも広い間隔で送信するように構成してもよい。
判定部116は、最新の(すなわち、現状の)食材量データ、最新の(すなわち、現状の)人検知データ、推定部15から提供された生活パターンに基づいて、判定情報を生成する。判定部116の動作は、実施の形態1の判定部16のものと同じである。
通信部113は、例えば、対象者の生活状況が異常な状態にあるときには、見守り者の通信端末50に状況を通知する。
《4》実施の形態4
図14は、本発明の実施の形態4に係る見守りシステムの構成を概略的に示すブロック図である。図14において、図1に示される構成要素と同一又は対応する構成要素には、図1に示される符号と同じ符号が付される。実施の形態4に係る見守りシステムは、冷蔵庫70と、通信端末120とから構成されている。実施の形態4に係る見守りシステムは、実施の形態1において冷蔵庫10に搭載されていた構成要素が冷蔵庫70と通信端末120とに分けて備えられている点が、実施の形態1に係る見守りシステムと異なる。つまり、実施の形態4に係る見守りシステムは、判定部126を通信端末120に備えている。この点を除いて、実施の形態4は、実施の形態1と同じである。
図14に示されるように、実施の形態4において、通信端末120は、インターネットなどのネットワーク40を介して冷蔵庫70の通信部17と通信する通信部121と、判定部126とを備えている。
通信部17は、食材量データ生成部12bから提供された最新の食材量データと、人検知データ生成部13bから提供された人検知データと、推定部15から提供された生活パターンとを、通信端末120の通信部121に送信する。
通信端末120に備えられた判定部126は、通信部121から食材量データ、人検知データ、及び生活パターンを受け取る。冷蔵庫70と通信端末120との間のデータ通信のタイミングは、新たに食材量データを生成する度に送信するのが妥当であるが、生活パターンの導出結果についてはその変化が頻繁に起こることはなく、食材量データの送信よりも広い間隔で送信するように構成してもよい。
判定部126は、最新の(すなわち、現状の)食材量データ、最新の(すなわち、現状の)人検知データ、推定部15から提供された生活パターンに基づいて、判定情報を生成する。判定部126の動作は、実施の形態1の判定部16のものと同じである。
《5》実施の形態5
図15は、本発明の実施の形態5に係る見守りシステムの構成を概略的に示すブロック図である。図15に示されるように、見守りシステムは、見守りサービス企業を利用せずに、通信端末140上で対象者の生活状況についての判定を行ってもよい。図15に示されるように、実施の形態5に係る見守りシステムは、見守りサービス企業の代わりに通信端末140がネットワーク40を介して冷蔵庫80の通信部17から送信された情報を受信する点が、図14に示される見守りシステムと異なる。通信端末140は、通信部141と、保存部144と、推定部145と、判定部146とを備えている。通信端末140は、例えば、スマートフォンである。推定部145及び判定部146は、通信端末140にインストールされたアプリケーションによって実現される。推定部145及び判定部146の動作は、図1に示される推定部15及び判定部16の動作と同じである。
以上に説明したように、実施の形態5に係る見守りシステム、見守り方法、及び通信端末140では、画像データのようなサイズの大きいデータを冷蔵庫80から通信端末140に送信する必要がないので、通信端末140のコストの上昇を抑制することができる。
また、実施の形態5に係る見守りシステム、見守り方法、及び通信端末140では、画像データを外部に送信していないので、冷蔵庫80を使用する対象者のプライバシーを適切に保護することができる。
また、対象者の日常の食生活に密接に関係している冷蔵庫80内の食材の量に基づいて、対象者の生活状況を監視し、生活状況が異常な状態であるか否かを判定するので、判定の信頼性を向上させることができる。
《6》変形例
図16は、実施の形態1から5の変形例に係る見守りシステムのハードウェア構成の例を示す図である。実施の形態1から5における見守りシステムの構成の全体又は一部は、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ91と、メモリ91に格納されたプログラムを実行する情報処理部としてのプロセッサ92とを用いて実現することができる。このプログラムは、メモリ91に予めインストールされている。また、プログラムは、ダウンロードによりインストールされてもよい。また、プログラムは、プログラムを記憶した半導体メモリなどの記憶媒体によって提供されてもよい。
実施の形態1の変形例の見守りシステムの主要な構成は、冷蔵庫10に備えられている。実施の形態1の変形例の場合、図1に示される冷蔵庫10の各構成は、図16のメモリ91及びプロセッサ92によって実現されることができる。
実施の形態2の変形例の見守りシステムの主要な構成は、サーバ65に備えられている。実施の形態2の変形例の場合、図12に示されるサーバ65の各構成は、図16のメモリ91及びプロセッサ92によって実現されることができる。
実施の形態3の変形例の見守りシステムの主要な構成は、冷蔵庫70とサーバ111に備えられている。実施の形態3の変形例の場合、図13に示される冷蔵庫70の各構成は、図16のメモリ91及びプロセッサ92によって実現されることができる。また、サーバ111の判定部116は、図16の構成と同様のメモリ及びプロセッサによって実現されることができる。
実施の形態4の変形例の見守りシステムの主要な構成は、冷蔵庫70と通信端末120に備えられている。実施の形態4の変形例の場合、図14に示される冷蔵庫70の各構成は、図16のメモリ91及びプロセッサ92によって実現されることができる。また、通信端末120の判定部126は、図16の構成と同様のメモリ及びプロセッサによって実現されることができる。
実施の形態5の変形例の見守りシステムの主要な構成は、通信端末140に備えられている。実施の形態5の変形例の場合、図15に示される通信端末140の各構成は、図16のメモリ91及びプロセッサ92によって実現されることができる。
なお、上記説明では、食材を保管する食材保管庫が冷蔵庫の冷蔵室などである場合を説明したが、見守りシステムは、冷蔵機能を持たない食材貯蔵装置に備えることも可能である。
10,20,70,80 冷蔵庫、 11,21,31 センサ制御部、 12 食材量センシング部、 12a,22a 食材量センサ、 12b,22b 食材量データ生成部、 13 人センシング部、 13a,33a 人センサ、 13b,33b 人検知データ生成部、 14,144 保存部、 15,145 推定部、 16,116,126,146 判定部、 17,27,37 通信部、 19,112 通信部、 30 電気機器、 40 ネットワーク、 50,120,140 通信端末、 60,110 見守りサービス企業、 61,65,111 サーバ、 101 冷蔵室、 102 棚板、 104 扉、 108 庫内照明、 121,141 通信部、 151 照度センサ、 152 庫内カメラ、 153 重量センサ、 161 開閉センサ、 162 人感センサ。

Claims (19)

  1. 食材保管庫内に保管されている食材の量である食材量を検知し、前記食材量と前記食材量を検知した時刻とを含む食材量データを生成する食材量センシング部と、
    前記食材保管庫の周辺に人が存在することを検知し、前記人が存在した時刻を含む人検知データを生成する人センシング部と、
    前記食材量データを蓄積することで生成された食材量履歴データ及び前記人検知データを蓄積することで生成された人検知履歴データを保存する保存部と、
    前記食材量履歴データ及び前記人検知履歴データの少なくとも一方に基づいて生活パターンを推定する推定部と、
    前記食材量履歴データのうちの現時点に近い側の1つ以上の食材量データである判定対象の食材量データと、前記人検知履歴データのうちの現時点に近い側の1つ以上の人検知データである判定対象の人検知データと、前記生活パターンとに基づいて、前記人の生活状況を監視し、前記監視の結果に基づく判定情報を生成する判定部と、
    前記食材量データ、前記人検知データ、前記生活パターン、及び前記判定情報のうちの1つ以上を予め決められた送信先に送信する通信部と
    を備えたことを特徴とする見守りシステム。
  2. 前記人センシング部は、予め決められた時間帯ごとの人検知の頻度を前記人検知データとして生成することを特徴とする請求項1に記載の見守りシステム。
  3. 前記生活パターンは、前記食材量履歴データに基づく食生活パターンを含み、
    前記判定部は、前記判定対象の食材量データが前記食生活パターンに基づいて決められた判定条件を満たさず且つ前記判定対象の人検知データが人検知なしを示す場合に、前記人の生活状況が異常であることを示す前記判定情報を生成する
    ことを特徴とする請求項1又は2に記載の見守りシステム。
  4. 前記食生活パターンに基づいて決められた前記判定条件を満たさない場合は、前記判定対象の食材量データが、前記食生活パターンが示す食材量を含むように設定された食材量の許容範囲内にない場合であることを特徴とする請求項3に記載の見守りシステム。
  5. 前記生活パターンは、前記人検知履歴データに基づく行動パターンを含み、
    前記判定部は、前記判定対象の人検知データが前記行動パターンに基づいて決められた判定条件を満たさない場合に、前記人の生活状況が異常であることを示す前記判定情報を生成する
    ことを特徴とする請求項1に記載の見守りシステム。
  6. 前記行動パターンに基づいて決められた判定条件を満たさない場合は、予め決められた各時間帯における人検知データの発生回数が、前記行動パターンが示す予め決められた各時間帯の人検知の回数を含むように設定された人検知の回数の許容範囲内にない場合であることを特徴とする請求項5に記載の見守りシステム。
  7. 前記人センシング部は、
    前記食材保管庫の周辺に前記人が存在することを検知する人センサと、
    前記人センサによって前記人の存在が検知された時刻を含む人検知データを生成する人検知データ生成部と、
    を有することを特徴とする請求項1から6のいずれか1項に記載の見守りシステム。
  8. 前記人センサは撮像装置、人感センサ、及び前記食材保管庫の扉の開閉を検知する開閉センサ、のうちの少なくとも一つを有することを特徴とする請求項7に記載の見守りシステム。
  9. 前記推定部は、
    前記食材量履歴データに基づいて前記食材量が増加する周期である第1の周期及び前記食材量が減少する周期である第2の周期を算出し、
    前記第1の周期、前記第2の周期、及び前記人検知データに基づいて、前記人の起床時刻、就寝時刻、及び前記人の未検出時間を推定する
    ことを特徴とする請求項1から8のいずれか1項に記載の見守りシステム。
  10. 前記食材量センシング部は、
    前記食材量を検知する食材量センサと、
    前記食材量と前記食材量を検知した時刻とを含む食材量データを生成する食材量データ生成部と、
    を有することを特徴とする請求項1から9のいずれか1項に記載の見守りシステム。
  11. 前記食材量センサは、前記食材保管庫内の照度を測定する照度センサ、前記食材保管庫内を撮影する庫内撮像装置、及び前記食材保管庫内の食材の重量を測定する重量センサ、のうちの1つ以上を有することを特徴とする請求項10に記載の見守りシステム。
  12. ネットワークを介して前記通信部と通信するサーバをさらに備え、
    前記サーバは、前記保存部、前記推定部、及び前記判定部を含む
    ことを特徴とする請求項1から11のいずれか1項に記載の見守りシステム。
  13. ネットワークを介して前記通信部と通信するサーバをさらに備え、
    前記サーバは、前記判定部を含む
    ことを特徴とする請求項1から11のいずれか1項に記載の見守りシステム。
  14. ネットワークを介して前記通信部と通信する通信端末をさらに備え、
    前記通信端末は、前記保存部、前記推定部、及び前記判定部を含む
    ことを特徴とする請求項1から11のいずれか1項に記載の見守りシステム。
  15. ネットワークを介して前記通信部と通信する通信端末をさらに備え、
    前記通信端末は、前記判定部を含む
    ことを特徴とする請求項1から11のいずれか1項に記載の見守りシステム。
  16. 電気機器をさらに備え、
    前記電気機器は、前記人センシング部を含む
    ことを特徴とする請求項1から15のいずれか1項に記載の見守りシステム。
  17. 食材保管庫と、
    前記食材保管庫内に保管されている食材の量である食材量を検知し、前記食材量と前記食材量を検知した時刻とを含む食材量データを生成するステップと、
    前記食材保管庫の周辺に人が存在することを検知し、前記人が存在した時刻を含む人検知データを生成するステップと、
    前記食材量データを蓄積することで生成された食材量履歴データ及び前記人検知データを蓄積することで生成された人検知履歴データを保存部に保存するステップと、
    前記食材量履歴データ及び前記人検知履歴データの少なくとも一方に基づいて生活パターンを推定するステップと、
    前記食材量履歴データのうちの現時点に近い側の1つ以上の食材量データである判定対象の食材量データと、前記人検知履歴データのうちの現時点に近い側の1つ以上の人検知データである判定対象の人検知データと、前記生活パターンとに基づいて、前記人の生活状況を監視し、前記監視の結果に基づく判定情報を生成するステップと、
    前記食材量データ、前記人検知データ、前記生活パターン、及び前記判定情報のうちの1つ以上を予め決められた送信先に送信するステップと、
    を備えたことを特徴とする見守り方法。
  18. 食材保管庫内に保管されている食材の量である食材量を検知し、前記食材量と前記食材量を検知した時刻とを含む食材量データを生成する食材量センシング部と、
    前記食材保管庫の周辺に人が存在することを検知し、前記人が存在した時刻を含む人検知データを生成する人センシング部と、
    前記食材量データを蓄積することで生成された食材量履歴データ及び前記人検知データを蓄積することで生成された人検知履歴データを保存する保存部と、
    前記食材量履歴データ及び前記人検知履歴データの少なくとも一方に基づいて生活パターンを推定する推定部と、
    前記食材量履歴データのうちの現時点に近い側の1つ以上の食材量データである判定対象の食材量データと、前記人検知履歴データのうちの現時点に近い側の1つ以上の人検知データである判定対象の人検知データと、前記生活パターンとに基づいて、前記人の生活状況を監視し、前記監視の結果に基づく判定情報を生成する判定部と、
    前記判定情報を予め決められた送信先に送信する通信部と
    を備えたことを特徴とする冷蔵庫。
  19. 食材保管庫内に保管されている食材の量である食材量を検知し、前記食材量と前記食材量を検知した時刻とを含む食材量データを生成する食材量センシング部と、前記食材保管庫の周辺に人が存在することを検知し、前記人が存在した時刻を含む人検知データを生成する人センシング部と、を備えた前記食材保管庫から前記食材量データ及び前記人検知データを受信する通信部と、
    前記食材量データを蓄積することで生成された食材量履歴データ及び前記人検知データを蓄積することで生成された人検知履歴データを保存する保存部と、
    前記食材量履歴データ及び前記人検知履歴データの少なくとも一方に基づいて生活パターンを推定する推定部と、
    前記食材量履歴データのうちの現時点に近い側の1つ以上の食材量データである判定対象の食材量データと、前記人検知履歴データのうちの現時点に近い側の1つ以上の人検知データである判定対象の人検知データと、前記生活パターンとに基づいて、前記人の生活状況を監視し、前記監視の結果に基づく判定情報を生成する判定部と
    を備えたことを特徴とする通信端末。
JP2021504745A 2019-03-14 2019-03-14 見守りシステム、見守り方法、冷蔵庫、及び通信端末 Active JP7090796B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010501 WO2020183692A1 (ja) 2019-03-14 2019-03-14 見守りシステム、見守り方法、冷蔵庫、及び通信端末

Publications (2)

Publication Number Publication Date
JPWO2020183692A1 JPWO2020183692A1 (ja) 2021-11-18
JP7090796B2 true JP7090796B2 (ja) 2022-06-24

Family

ID=72426701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021504745A Active JP7090796B2 (ja) 2019-03-14 2019-03-14 見守りシステム、見守り方法、冷蔵庫、及び通信端末

Country Status (2)

Country Link
JP (1) JP7090796B2 (ja)
WO (1) WO2020183692A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6932281B1 (ja) * 2021-04-22 2021-09-08 株式会社三陽電設 見守り端末および見守りシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014038374A (ja) 2012-08-10 2014-02-27 Sharp Corp 見守りシステム、サーバ、容器、情報端末、プログラム、および記録媒体
WO2017179188A1 (ja) 2016-04-15 2017-10-19 三菱電機株式会社 冷蔵庫及びそれを含むネットワークシステム
WO2019058590A1 (ja) 2017-09-20 2019-03-28 三菱電機株式会社 見守りシステム、見守り方法、冷蔵庫、及び通信端末

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014038374A (ja) 2012-08-10 2014-02-27 Sharp Corp 見守りシステム、サーバ、容器、情報端末、プログラム、および記録媒体
WO2017179188A1 (ja) 2016-04-15 2017-10-19 三菱電機株式会社 冷蔵庫及びそれを含むネットワークシステム
WO2019058590A1 (ja) 2017-09-20 2019-03-28 三菱電機株式会社 見守りシステム、見守り方法、冷蔵庫、及び通信端末

Also Published As

Publication number Publication date
JPWO2020183692A1 (ja) 2021-11-18
WO2020183692A1 (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
JP5058504B2 (ja) 住居の中の人物の遠隔人物追跡方法とその装置
JP6745872B2 (ja) 冷蔵庫及びそれを含むネットワークシステム
TWI751977B (zh) 冰箱、具有該冰箱之網路系統、生活狀況之通報方法以及生活狀況之通報程式
CN107869874B (zh) 冰箱和具有冰箱的家庭自动化系统
CN105444504B (zh) 一种可分类监控的智能冰箱
US7058477B1 (en) Thermostat system with remote data averaging
US20130257626A1 (en) Building management system with privacy-guarded assistance mechanism and method of operation thereof
JP6447334B2 (ja) 冷蔵庫及びネットワークシステム
WO2013163612A1 (en) Environmental monitoring
JP7386459B2 (ja) 冷蔵庫
JP6584178B2 (ja) 制御装置、冷蔵庫およびプログラム
JP6939412B2 (ja) 冷蔵庫システム
CN111336652A (zh) 信息处理方法以及信息处理装置
JP7090796B2 (ja) 見守りシステム、見守り方法、冷蔵庫、及び通信端末
CN107463154A (zh) 一种智能酒店节能控制方法和系统
US20190049139A1 (en) System and method for hotel room guest detection
Ahmed et al. Implementation of smart refrigerator based on internet of things
JP6710344B2 (ja) 見守りシステム、見守り方法、冷蔵庫、及び通信端末
JPWO2017104044A1 (ja) 遠隔健康管理装置、遠隔健康管理方法、および遠隔健康管理システム
WO2014010186A1 (ja) 空調制御装置、空調制御システム、空調システムおよびプログラム
JP7573245B2 (ja) 冷蔵庫及び評価処理システム
EP3637028A1 (en) System for controlling access through a door of a refrigerator
WO2021261152A1 (ja) 冷蔵庫、評価処理システム及び評価システム
CN113669983B (zh) 信息处理系统
US11768031B1 (en) Refrigerator appliance and methods for responding to ambient humidity levels

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220614

R150 Certificate of patent or registration of utility model

Ref document number: 7090796

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150