JPWO2019058590A1 - 見守りシステム、見守り方法、冷蔵庫、及び通信端末 - Google Patents

見守りシステム、見守り方法、冷蔵庫、及び通信端末 Download PDF

Info

Publication number
JPWO2019058590A1
JPWO2019058590A1 JP2019542970A JP2019542970A JPWO2019058590A1 JP WO2019058590 A1 JPWO2019058590 A1 JP WO2019058590A1 JP 2019542970 A JP2019542970 A JP 2019542970A JP 2019542970 A JP2019542970 A JP 2019542970A JP WO2019058590 A1 JPWO2019058590 A1 JP WO2019058590A1
Authority
JP
Japan
Prior art keywords
food
amount data
data value
amount
watching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019542970A
Other languages
English (en)
Other versions
JP6710344B2 (ja
Inventor
昌鷹 馬場
昌鷹 馬場
由佳 津田
由佳 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019058590A1 publication Critical patent/JPWO2019058590A1/ja
Application granted granted Critical
Publication of JP6710344B2 publication Critical patent/JP6710344B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D11/00Self-contained movable devices, e.g. domestic refrigerators
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00General constructional features
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Devices That Are Associated With Refrigeration Equipment (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

見守りシステムは、コストの上昇を抑制しつつ、食品保管庫を使用する見守り対象者のプライバシーを適切に保護し、見守り対象者の生活状況を適切に判定する。見守りシステムは、食品保管庫である冷蔵庫(10)内に保管されている食材の量に対応する照度レベルを検出する照度センサ(12)と、照度レベルから食材の量を示す食材量データ値を生成する食材量データ生成部(13)と、食材量データ値を食材量データ履歴として保存するデータ保存部(14)と、食材量データ履歴から食材量データ値の時間変化に対応する食材量変化パターンを導出するパターン導出部(15)と、最新の食材量データ値が、食材量変化パターンに基づく許容範囲内にあるか否かを監視し、前記監視結果に基づく判定情報を出力する判定部(16)と、判定情報を見守り者の通信端末(50)に送信する通信部(17)とを備える。

Description

本発明は、見守り対象者の生活状況を見守り者に通知する見守りシステム、見守り方法、冷蔵庫、及び通信端末に関する。
少子高齢化と核家族化の進展に伴い、高齢者だけからなる世帯が増加している。そのため、互いに離れて生活する高齢者とその親族の双方に安心感を与えるための見守りシステムの需要が高まっている。従来の見守りシステムは、見守り対象者(例えば、高齢者)の居住空間の各所に取り付けられたセンサの検出信号に基づいて、見守り対象者の生活状況を見守り者(例えば、親族)に通知する。この見守りシステムでは、見守り対象者の行動が各所に取り付けられたセンサによって常時監視されているため、居住空間の全域で見守り対象者のプライバシーは保護されておらず、見守り対象者は常に監視されているという不快感を抱く。この点に着目して、見守り対象者が抱く不快感を緩和することが可能なシステム及び装置が提案されている(例えば、特許文献1、2、及び3参照)。
特許文献1は、見守り対象者であるユーザーによって使用される容器(冷蔵庫を含む)の中身を撮影し、撮影情報を外部サーバに送信するユーザー側の装置と、容器の中身の現在の撮影情報と過去の撮影情報との差分に基づいてユーザーの安否を判定する外部サーバと、を有するシステムを提案している。
特許文献2は、見守り対象者であるユーザーによって使用される冷蔵庫を提案している。この冷蔵庫は、庫外の音声を取得する音声取得手段又は庫外を撮像する撮像手段と、通信手段とを有し、庫外の音声又は映像に基づく音声情報又は映像情報を、通信手段からネットワークを介して外部装置に送信する。
特許文献3は、所定のエリア内にある機器のエネルギー使用量に基づいて、見守り対象者であるユーザーの在・不在を判定し、判定結果を外部機関に送信する装置を提案している。
特開2014−038374号公報 特開2014−070739号公報 特開2015−139066号公報
しかしながら、特許文献1のシステムは、容器の中身の撮影情報を外部サーバに送信するため、容器の中身が他人に見られるおそれがあり、プライバシーが適切に保護されないという課題がある。また、データサイズが大きい画像データを送信するので、大きな記憶容量を持つメモリと高い処理能力を持つ演算処理部とが必要になり、低コスト化が難しいという課題がある。
また、特許文献2の装置は、冷蔵庫の周辺で取得された音声又は映像に基づく音声情報又は映像情報が外部装置に送信されるため、プライバシーが適切に保護されないという課題がある。また、映像情報を送信する場合は、低コスト化が難しいという課題がある。
また、特許文献3の装置は、エネルギー使用量に基づいてユーザーの在・不在を判定するだけであり、ユーザーの生活状況を適切に判定することができないという課題がある。
本発明は、上記課題を解決するためになされたものであり、コストの上昇を抑制しつつ、食品保管庫を使用する見守り対象者のプライバシーを適切に保護し、生活状況を適切に判定することができる見守りシステム、見守り方法、及び通信端末、並びに、コストの上昇を抑制しつつ、見守り対象者のプライバシーを適切に保護し、生活状況の適切な判定を可能にする冷蔵庫を提供することを目的とする。
本発明に係る見守りシステムは、見守り対象者の生活状況を見守り者に通知する見守りシステムであって、前記見守り対象者が使用する食品保管庫内に保管されている食材の量を検出し、前記食材の量を示す食材量データ値を生成するセンシング手段と、前記センシング手段で生成された前記食材量データ値を食材量データ履歴として保存するデータ保存部と、前記食材量データ履歴から前記食材量データ値の時間変化に対応する食材量変化パターンを導出するパターン導出部と、前記センシング手段によって生成された最新の食材量データ値が、前記食材量変化パターンに基づく許容範囲内にあるか否かを監視し、監視結果に基づく判定情報を出力する判定部と、前記判定情報を前記見守り者の通信端末に送信する通信部とを備えたことを特徴とする。
本発明に係る冷蔵庫は、見守り対象者の生活状況を見守り者に通知する冷蔵庫であって、前記冷蔵庫内に保管されている食材の量を検出し、前記食材の量を示す食材量データ値を生成するセンシング手段と、前記センシング手段で生成された前記食材量データ値を食材量データ履歴として保存するデータ保存部と、前記食材量データ履歴から前記食材量データ値の時間変化に対応する食材量変化パターンを導出するパターン導出部と、前記センシング手段によって生成された最新の食材量データ値が、前記食材量変化パターンに基づく許容範囲内にあるか否かを監視し、監視結果に基づく判定情報を出力する判定部と、前記判定情報を前記見守り者の通信端末に送信する通信部とを備えたことを特徴とする。
本発明によれば、コストの上昇を抑制しつつ、食品保管庫又は冷蔵庫を使用する見守り対象者のプライバシーを適切に保護し、生活状況を適切に判定することができるという効果が得られる。
本発明の実施の形態1に係る見守りシステムの構成を概略的に示すブロック図である。 (a)は、実施の形態1に係る冷蔵庫の構造を概略的に示す縦断面図であり、(b)は、扉が開いている冷蔵室内にある食材の例を示す正面図であり、(c)は、庫内照明の光が正面(扉の内面の位置)から見える明部領域と庫内照明の光が食材によって遮られる暗部領域とを示す図である。 (a)から(c)は、庫内照明の光が正面から見える明部領域と庫内照明の光が食材によって遮られる暗部領域とを示す図であり、(d)は、冷蔵室内にある食材の量と照度センサによって検出される照度レベルとの関係をグラフで示す図である。 (a)から(c)は、庫内照明の光が正面から見える明部領域と庫内照明の光が食材によって遮られる暗部領域とを示す図であり、(d)は、照度センサによって検出される照度レベルと経過時間との関係をグラフで示す図であり、(e)は、冷蔵室内にある食材の量と経過時間との関係をグラフで示す図である。 (a)は、冷蔵室内にある食材の量の時間変化の例(3日に1度、食材を購入して補充する例)をグラフで示す図であり、(b)は、冷蔵室内にある食材の量の時間変化の他の例(1週間に3度、食材を購入して補充する例)をグラフで示す図である。 (a)は、冷蔵室内にある食材の量の時間変化の例(3日に1度、食材を購入して補充する例)をグラフで示す図であり、(b)は、食材量データ生成部によって生成された同図(a)の食材の量に対応する食材量データ値を点(丸印)で示す図である。 (a)は、冷蔵室内にある食材の量の時間変化の3周期(増加の時点から次の増加の時点までを1周期とする)の例をグラフで示す図であり、(b)は、食材の量の3周期の時間変化を増加の時点(起点)を一致させて描いた図であり、(c)は、食材の量の3周期の時間変化から算出された平均値(食材量変化パターン)とマージン(許容範囲)の上限と下限を示す図である。 (a)から(d)は、食材量変化パターンのマージンの設定方法を示す図である。 (a)から(d)は、実際の食材量データ値の時間変化から、見守り対象者の生活状況が異常な状態であるか否かを判定する方法を示す図である。 (a)から(c)は、実際の食材量データ値の時間変化から、見守り対象者の生活状況が異常な状態であるか否かを判定する方法を示す図である。 (a)から(c)は、実際の食材量データ値の時間変化から、見守り対象者の生活状況が異常な状態であるか否かを判定する他の方法を示す図である。 (a)及び(b)は、食材量データ値の時間変化における週単位の特徴を示す図である。 (a)から(c)は、食材量データ値の時間変化における季節毎の特徴を示す図である。 本発明の実施の形態2に係る見守りシステムの構成を概略的に示すブロック図である。 (a)から(c)は、実施の形態2に係る冷蔵庫のセンシング手段の重量センサを示す図である。 本発明の実施の形態3に係る見守りシステムの構成を概略的に示すブロック図である。 (a)から(c)は、実施の形態3に係る冷蔵庫のセンシング手段のカメラの撮影画像データから食材量を取得する方法を示す図である。 実施の形態1から3の変形例の見守りシステム又は冷蔵庫の構成を示すハードウェア構成図である。 本発明の実施の形態4に係る見守りシステムの構成を概略的に示すブロック図である。 本発明の実施の形態4に係る見守りシステムの別の構成を概略的に示すブロック図である。 本発明の実施の形態5に係る見守りシステムの構成を概略的に示すブロック図である。 本発明の実施の形態5に係る見守りシステムの別の構成を概略的に示すブロック図である。
以下に、本発明の実施の形態に係る見守りシステム、見守り方法、冷蔵庫、及び通信端末を、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《1》実施の形態1
《1−1》実施の形態1の構成
図1は、本発明の実施の形態1に係る見守りシステムの構成を概略的に示すブロック図である。図1に示される見守りシステムは、食品保管庫としての冷蔵庫10のユーザーである見守り対象者の生活状況を冷蔵庫10内(「庫内」ともいう)にある食材の量の変化に基づいて監視し、監視結果に基づく判定情報を見守り者の通信端末50に送信するシステムである。また、この見守りシステムは、実施の形態1に係る見守り方法を実施することができる。なお、見守り対象者は、例えば、高齢者などであり、見守り者は、例えば、見守り対象者の親族又は見守りサービスを行う企業などである。本実施の形態では、見守り者を見守りサービスセンタ60として説明する。
図1に示されるように、実施の形態1に係る見守りシステムは、食材を収納する収納装置としての冷蔵庫10と、インターネットなどのネットワーク40を介して冷蔵庫10の通信部17から送信された情報を受信することができる通信端末(例えば、受信端末)50とを備えている。この見守りシステムは、見守りサービスセンタ60のサーバコンピュータ(外部サーバ)61を備えてもよい。外部サーバ61は、冷蔵庫10の通信部17からネットワーク40を介して送信された情報を受信し、この情報を見守り者の通信端末50にネットワークを介して送信する。なお、本出願において「食材」は、食品全般を含む。また、「食材」は、食品そのものだけでなく、食品を収納する容器及び包装なども含む。また、本実施の形態では、ユーザーが、正常な生活状況において、ある程度の規則性を備えた周期で食材を購入して冷蔵庫10内に入れる(補充する)ことを前提としている。また、ユーザーは、通常の生活状況において、冷蔵庫10内から食材を取り出して消費する行為を繰り返し行う。なお、本出願において、「食材の購入」は、冷蔵庫への食材の補充を伴う行為であるので、「食材の補充」と同じ意味で用いられる。また、本出願において、「食材の消費」は、冷蔵庫からの食材の取り出しを伴う行為であるので、「食材の取り出し」と同じ意味で用いられる。
図1に示されるように、冷蔵庫10は、センサ制御部11と、庫内照明18と、照度センサ12と、食材量データ生成部13と、メモリなどの情報記憶手段であるデータ保存部14と、パターン導出部15と、判定部16と、通信部17とを備えている。実施の形態1において、庫内照明18、照度センサ12、及び食材量データ生成部13によって、冷蔵庫10内に収納されている食材の量を検出するセンシング手段が構成される。冷蔵庫10は、収納物としての食材を低温で保管する機能を実現するための冷却機構(例えば、モータ、コンプレッサ、ファン、冷風路、制御回路など)を持つが、冷却機構自体は、公知技術であるため図示していない。
冷蔵庫10のセンサ制御部11は、予め決められたタイミングで庫内の食材の量を検出させるための制御信号を発生する。例えば、センサ制御部11は、予め決められた一定の時間間隔ごとに、庫内照明18を点灯させるための制御信号を発生すると共に、照度センサ12に庫内の照度レベルを検出させるための制御信号を送る。
庫内照明18は、センサ制御部11から送信された制御信号に基づいて点灯して、庫内を照明する照明装置である。
照度センサ12は、センサ制御部11から送信された制御信号に基づいて、庫内照明18が点灯しているときの、庫内の照度レベルを検出する。この照度レベルは、庫内の食材の量と負の相関関係(後述の図3(d)に示される)を持つ。したがって、照度レベルの検出によって、庫内の食材の量を測定することが可能である。
食材量データ生成部13は、照度センサ12によって検出された照度レベルを受け取り、照度レベルに基づいて、庫内にある食材の量を表わす数値である食材量データ値を生成し、食材量データ値を食材量データ履歴としてデータ保存部14に保存する。
パターン導出部15は、データ保存部14に蓄積された食材量データ履歴である過去の食材量データ値を読み込み、食材量データ値の時間変化の規則性を利用して、ユーザーに特有の規則性を備えた食材の量の変化パターンである食材量変化パターン(一例が、後述の図7(c)に実線の曲線で示される)を導出する。食材量変化パターンは、ユーザーの食生活パターンである。ここで、「食材量データ値の時間変化の規則性」とは、冷蔵庫10のユーザーに特有の周期で庫内の食材の量が増加し(即ち、食材を購入し)、このユーザーに特有のペースで庫内の食材が徐々に減少する(即ち、食材を消費する)ことである。
判定部16は、食材量変化パターンに基づいて決められた許容範囲内に、最新の(実際の)食材量データ値が収まっている場合又は許容範囲から外れた時間が許容値以内であるか否かを判断し、この判断の結果から見守り対象者であるユーザーの生活状況が異常な状態にあるか否かを監視し、監視結果に基づく判定情報を出力する。判定部16の動作の一例は、後述の図9(a)から(d)、及び後述の図10(a)から(c)を用いて説明される。また、判定部16の動作の他の例は、後述の図11(a)から(c)を用いて説明される。
通信部17は、判定部16から提供された判定情報を受けて、ネットワーク40を経由して見守り者の通信端末50にユーザーの生活状況に関する判定情報を送信する。通信端末50への判定情報の送信は、例えば、生活状況が異常な状態であるとき、又は、予め決められた周期で、又は、予め決められた時刻に、又は、通信端末50からの要求信号に応じて行われる。通信部17は、判定部16の判定結果を、ネットワーク40から見守りサービスセンタ60の外部サーバ61を経由して見守り者の通信端末50に送信してもよい。
《1−2》実施の形態1の動作
〈照度センサ12、庫内照明18〉
次に、照度センサ12によって検出される照度レベルから庫内にある食材の量を示す食材量データ値を生成する動作を説明する。図2(a)は、実施の形態1に係る冷蔵庫10の構造(同図(b)のS2a−S2a線で切る断面構造)を概略的に示す縦断面図である。図2(b)は、扉104が開いている冷蔵室101内にある食材の例を示す正面図である。図2(c)は、庫内照明18の光が正面(扉104の内面の位置)から見える明部領域と庫内照明18の光が食材によって遮られる暗部領域(影領域)とを示す図である。
なお、以下の説明では、冷蔵庫10の貯蔵室が冷蔵室101である場合を説明する。したがって、実施の形態において、「庫内」と「冷蔵室101内」とは同じ意味で用いられる。ただし、冷蔵室101以外の貯蔵室(例えば、野菜室106、冷凍室105)内にある食材の量に基づいて、ユーザーの食材量変化パターンを生成し、これを判定部16の判定に用いることも可能である。
図2(a)に示されるように、冷蔵室101内には、食材が載せられる棚板102が備えられており、冷蔵室101内を照らす庫内照明18が冷蔵室101の奥側(図2(a)における左側)に配置されている。庫内照明18から照射された光は、直接的に又は壁面と食材の表面で反射されて間接的に、扉104の内面の位置まで到達する。扉104の内面には、照度センサ12が配置されており、庫内照明18から照射された光が直接的に又は間接的に照度センサ12に到達する。
図2(b)は、冷蔵庫10を正面から見た図であり、冷蔵室101の扉104が開いた状態を示している。冷蔵室101内には、各種の食材が棚板102の上に載せられている。
図2(c)は、図2(b)の冷蔵室101の扉104を閉じて、庫内照明18を点灯した状態での冷蔵室101の内部が正面(扉104側)から、どのように見えるかを示している。冷蔵室101の奥側にある庫内照明18から照射された光の一部は、庫内の壁面及び食材の表面で反射されるが、扉104側から見れば、食材は庫内照明18から照射された光を遮っている。このため、図2(c)に示されるように、冷蔵室101内の食材が無い領域が明部領域(白領域として描かれている)を形成し、食材が有る領域が暗部領域(グレー領域として描かれている)を形成する。
なお、冷蔵庫10の仕様によっては、庫内照明が冷蔵室101の側壁の内面の前寄りの位置に設置される場合がある。この場合には、照度センサ12は、食材を挟んで対角方向の側壁の内面の奥側(即ち、庫内照明に向かい合う内面の奥側)に配置されることが望ましい。
また、図2(a)から(c)には、1個の照度センサ12が示されているが、冷蔵室101内において、庫内照明18の設置位置と反対側の壁面に複数の照度センサを備え、複数の照度センサの検出値(例えば、照度レベルの合計値、平均値、など)に基づいて食材量データ値が生成されてもよい。
図3(a)から(c)は、庫内照明18の光が正面(扉104の内面の位置)から見える明部領域と庫内照明18の光が食材によって遮られる暗部領域とを示す図である。図3(d)は、冷蔵室101内にある食材の量と照度センサ12によって検出される照度レベルとの関係をグラフで示す図である。
図3(a)の状態SAは、冷蔵室101内にある食材の量が多い場合である。図3(b)の状態SBは、冷蔵室101内にある食材の量が中間程度である場合である。図3(c)の状態SCは、冷蔵室101内にある食材の量が少ない場合である。図3(d)のグラフは、食材の量が多い状態SAでは照度センサ12に到達する光の量が少ない(食材によって遮られる光の量が多い)ので照度レベルが低い。また、食材の量が中間である状態SBでは照度センサ12に到達する光の量が中間程度である(食材によって遮られる光の量が中間程度である)ので照度レベルが中間程度である。また、食材の量が少ない状態SCでは照度センサ12に到達する光の量が多い(食材によって遮られる光の量が少ない)ので照度レベルが高くなることを示している。このように、照度センサ12によって検出される照度レベルと、冷蔵室101内の食材の量との間には負の相関関係がある。
図4(a)から(c)は、庫内照明18の光が正面(扉104の内面の位置)から見える明部領域と庫内照明18の光が食材によって遮られる暗部領域とを示す図である。図4(d)は、照度センサ12によって検出される照度レベルと経過時間との関係をグラフで示す図である。図4(e)は、冷蔵室101内にある食材の量と経過時間との関係をグラフで示す図である。
図4(a)から(c)に示されるように、冷蔵室101内にある食材は、時間の経過に伴って消費される。具体的に言えば、図4(a)は、食材を購入し、その食材を冷蔵室101内に入れた直後(補充した直後)の状態SAを示す。図4(b)は、日常生活の中で冷蔵室101内にある食材を取り出して消費したときの状態SBを示す。図4(c)は、日常生活の中で冷蔵室101内にある食材をさらに取り出して消費されたときの状態SCを示す。つまり、冷蔵室101内に食材を補充した直後は、図4(a)に状態SAとして示されるように、冷蔵室101内にある食材の量は多い。時間が経過すると、図4(b)に状態SBと示されるように、冷蔵室101内の食材の量は減少する。さらに時間が経過すると、図4(c)に状態SCとして示されるように、冷蔵室101内の食材の量はさらに減少する。このように、状態SA、SB、SCの各々は、冷蔵室101内の状態の変化過程の中の、ある一場面を示している。
図4(d)には、図4(a)、(b)、(c)の順の冷蔵室101内の状態の変化、すなわち、状態SA、SB、SCの順の変化が、照度センサ12によって検出される照度レベルと経過時間の関係のグラフとして示されている。つまり、図4(d)のグラフは、時間の経過に伴って(食材の取り出しによって)冷蔵室101内にある食材の量が減少する場合には、照度レベルが上昇することを示している。冷蔵室101内の照度レベルの変化は、ユーザーによる食材の取り出し(食材の消費)により生じるので、照度レベルは、食材の取り出しのタイミングごとにステップ状に上昇する。
図4(e)には、図4(a)、(b)、(c)の順の冷蔵室101内の状態の変化、すなわち、状態SA、SB、SCの順の変化が、冷蔵室101内にある食材の量と経過時間の関係のグラフとして示されている。つまり、図4(e)のグラフは、時間の経過に伴って(食材の取り出しによって)冷蔵室101内にある食材の量が減少することを示している。冷蔵室101内の食材の量の変化は、ユーザーによる食材の取り出し(食材の消費)により生じるので、食材の量は、食材の取り出しのタイミングごとにステップ状に減少する。
〈食材量データ生成部13〉
図5(a)は、冷蔵室101内にある食材の量の時間変化の例(3日に1度、食材を購入して補充する例)をグラフで示す図である。図5(b)は、冷蔵室101内にある食材の量の時間変化の他の例(1週間に3度、食材を購入して補充する例)をグラフで示す図である。図5(a)及び(b)に示される食材の量の変化は、典型的な例に過ぎず、異なる食材の量の変化も起こりうる。
図5(a)及び(b)における横軸において、数字「1」から「7」は経過日数を示し、「B」は朝食の時刻を示し、「L」は昼食の時刻を示し、「D」は夕食の時刻を示している。即ち、図5(a)及び(b)の例では、朝食B、昼食L、夕食Dの時点で、冷蔵室101内にある食材の量が減る。数字「1」から「7」が付された目盛りは、昼食Lと夕食Dの間に位置しており、1日単位の区切りの時点を示している。このことは、ユーザーが、昼食Lと夕食Dの間に食材を購入し、冷蔵室101に食材を補充することを意味する。
図5(a)及び(b)に示されるように、冷蔵室101内の食材の量の増加及び減少(即ち、食材の量の変化)は、ユーザーに特有のある程度の規則性を備えている。ただし、実際には、朝食B、昼食L、夕食D以外のタイミングで冷蔵庫10の食材が消費されたり、ユーザーの食生活が、1日3食以外の食事を含むものであったりすることがある。ユーザーに特有の規則性を備えた食材量変化パターンは、後述するパターン導出部15によって導出される。
図6(a)は、冷蔵室101内にある食材の量の時間変化の例(3日に1度、食材を購入して補充する例)をグラフで示す図である。図6(b)は、食材量データ生成部13によって生成された図6(a)の食材の量に対応する食材量データ値を点(丸印)で示す図である。
図6(a)は、図5(a)と同じ食材の量と経過日の関係を示している。図6(b)は、図6(a)に示される食材の量を、予め決められたサンプリングの間隔でデータ化することで得られた食材量データ値を示している。サンプリングの間隔(図6(b)の横軸の隣り合う目盛りの間隔)は、食材が取り出される時間間隔と判定結果の送信の時間間隔とを考慮して、過剰なデータ生成が行われないように、例えば、数十分から数時間の間の適切な時間に設定される。
食材量データ値は、時系列データであるので、時間軸方向に図示すれば図6(b)のようになる。食材量データ値は、食材量データ生成部13から、サンプリングごとのデータ値として順次出力される。
データ保存部14には、食材量データ生成部13から出力された食材量データ値が蓄積される。食材量データ値は、例えば、時刻と関連付けられた食材量データ履歴として、又は、データの順番を示す数値と関連付けられた食材量データ履歴として保存されることが望ましい。
〈パターン導出部15〉
パターン導出部15は、データ保存部14からある一定期間の食材量データ値を読み出し(即ち、過去の食材量データ値から)、食材量データ値の時間変化のパターン、即ち、ユーザーに特有の規則性を備えた食材量変化パターンを導出する。図7(a)は、冷蔵室101内にある食材の量の3周期PT1〜PT3(増加の時点から次の増加の時点までを1周期とする)の時間変化をグラフで示す図である。図7(b)は、食材の量の3周期の時間変化を増加の時点(起点)を一致させて描いた図である。図7(c)は、食材の量の3周期PT1〜PT3の時間変化から算出された平均値(すなわち、ユーザーに特有の規則性を備えた食材量変化パターンの例)と、食材量変化パターンのマージン(許容範囲)の上限と下限を示す図である。
図7(a)において、食材量データ値が大きく増加している部分は、食材の購入(即ち、食材の補充)の時点を示しており、この時点から次の食材の購入(即ち、次の食材の補充)の時点までを1周期としている。時間軸に付した目盛りは、サンプリングの時点を示しており、食材量データ値は、数回のサンプリングごとに値が変化している。これは、庫内から食材を取り出す周期より短い周期でサンプリングが行われるように設定されているからである。
図7(b)では、複数周期の食材量データ値の変化を、食材量データ値が増加している時点(すなわち、食材を購入し補充する時点)を一致させて、重ねて示されている。食材の消費の量(取り出し量)と消費(取り出し)の時間間隔は、冷蔵庫10のユーザーが同じであったとしても、ある程度のばらつきがある。このばらつきは、図7(b)に示されるように、「食材量データ値の変化のばらつき」と「周期のばらつき」として現すことができる。図7(b)に示されるように、「食材量データ値の変化のばらつき」は、あるサンプリング時における複数周期の食材量データ値の差分で表すことができる。図7(b)に示されるように、「周期のばらつき」は、複数周期の食材量データ値の変化の周期の差分で表すことができる。
図7(c)には、複数周期の食材量データ値の平均値が、実線の曲線で示されている。図7(c)の実線の曲線は、複数周期の食材量データ値の平均値であるので、冷蔵庫10のユーザーの平均的な食材量変化パターンを示す。この食材の量の変化は、ユーザーの日々の生活においてばらつくものである。このため、図7(c)に2本の破線の曲線で示されるように、パターン導出部15は、食材量変化パターンを「食材量データ値の変化マージン」と「周期マージン」を加味した形で出力する。
図8(a)から(d)は、食材量変化パターンのマージンの設定方法を示す図である。パターン導出部15は、図8(d)に示される平均値、即ち、食材量変化パターンにマージンを加味することで「食材量データ値の変化マージン」と「周期マージン」を設定する。
図8(a)は、図7(b)の食材量データ値の時間変化、即ち、食材を購入し補充することによって食材量データ値が大きく増加する時点を一致させた、複数周期の食材量データ値のグラフを重ね描きしたものである。図8(b)に示されるように、食材量データ値の変化の分布が正規分布であると仮定した場合、分布の中心は平均値に相当する。したがって、食材量データ値の時間変化の平均値は、図8(d)に実線の曲線で示されるように変化する。同様に、図8(c)に示されるように、食材量データ値の時間変化の周期が正規分布になると仮定した場合、分布の中心は平均値に相当する。したがって、食材量データ値の時間変化の平均値は、図8(d)に示される実線の曲線の右側の端部のようになる。さらに、分布の標準偏差σを求めて、例えば、「食材量データ値の変化マージン」と「周期マージン」を±2σの範囲と設定すると、食材量変化パターンの元になった食材量データ値の95%が、「食材量データ値の変化マージン」と「周期マージン」の範囲内、即ち、図8(d)の2本の破線の曲線の間に収まる。なお、図8(d)の食材量変化パターンのマージンは、あくまで一例であり、「食材量データ値の変化マージン」と「周期マージン」は、±2σの範囲に限定されない。
〈判定部16〉
判定部16は、食材量データ生成部13から出力される最新の(現状の)食材量データ値の変化が、パターン導出部15から出力される食材量変化パターンの「食材量データ値の変化マージン」及び「周期マージン」の範囲から、予め決められた判断基準以上に乖離しているか否かを監視(判断)し、この監視結果に基づく判定情報を生成する。
図9(a)から(d)は、実際の食材量データ値の時間変化から、見守り対象者の生活状況が異常な状態であるか否かを判定する方法を示す図である。
図9(a)は、見守り対象者の生活状況が正常な状態であるときの例を示している。2本の破線の曲線は、食材量変化パターンの許容範囲の上限と下限を示している。また、食材の購入(食材の補充)と次の食材の購入(次の食材の補充)の間の期間を1周期とする。判定部16は、図9(a)に示されるように、実際の食材量データ値(実線)が、食材量変化パターンの許容範囲内で時間と共に推移する状況である場合には、生活状況が異常な状態ではない、即ち、正常な状態であると判定する。
図9(b)は、見守り対象者の生活状況が正常な状態であるときの他の例を示している。図9(b)の例では、実際の食材量データ値(実線)が、食材量変化パターンの許容範囲から一時的にはずれている。しかし、予め決められた許容時間以内に、実際の食材量データ値(実線)が、食材量変化パターンの許容範囲内に復帰している。判定部16は、このような状況の場合、生活状況が異常な状態であると判定せず、正常な状態であると判定する。
図9(c)は、見守り対象者の生活状況が異常な状態であるときの例を示している。図9(c)の例では、実際の食材量データ値が食材量変化パターンの許容範囲からはずれ、予め決められた許容時間を越えて食材量変化パターンの許容範囲外にある。判定部16は、このような状況の場合、生活状況が異常な状態であると判定する。
図9(d)は、見守り対象者の生活状況が異常な状態であるときの他の例を示している。図9(d)の例では、実際の食材量データ値が食材量変化パターンの許容範囲からはずれ、次の食材の購入のタイミングまでの期間が予め決められた許容時間を超えている。判定部16は、このような状況の場合、生活状況が異常な状態であると判定する。
図10(a)から(c)は、実際の食材量データ値の時間変化から、見守り対象者の生活状況が異常な状態であるか否かを判定する方法を示す図である。
図10(a)は、見守り対象者の生活状況が正常な状態であるときの例を示している。図10(a)の例では、実際の食材量データ値(実線)の減少が早く、食材量変化パターンの許容範囲よりも時間的に早い側にはずれている。しかし、予め決められた許容時間以内に、実際の食材量データ値(実線)が、食材量変化パターンの許容範囲内に復帰している。判定部16は、このような状況の場合、生活状況が異常な状態であると判定せず、正常な状態であると判定する。
図10(b)は、見守り対象者の生活状況が異常であるときの例を示している。図10(b)の例では、実際の食材量データ値の減少が早くて食材量変化パターンの許容範囲からはずれ、予め決められた許容時間を越えて食材量変化パターンの許容範囲外にある。判定部16は、このような状況の場合、ユーザーの生活状況が異常であると判定する。
図10(c)は、見守り対象者の生活状況が異常であるときの他の例を示している。図10(c)の例では、実際の食材量データ値は、食材量変化パターンの許容範囲からはずれることなく推移するが、次の食材の購入のタイミングが早く、予め決められた許容時間を超えて周期はずれが継続している。判定部16は、このような状況の場合、ユーザーの生活状況が異常な状態であると判定する。
図11(a)から(c)は、実際の食材量データ値の時間変化から、見守り対象者の生活状況が異常な状態であるか否かを判定する他の方法を示す図である。
図11(a)は、食材量データ値の時間変化の複数周期PT1〜PT3分を重ね描きしたものであり、パターン導出部15は、これらに基づいて平均値を求めて食材量変化パターン(図11(b)及び(c)の平均値)を導出する。判定部16では、予めユーザーの生活状況の異常の有無の判定の基準とする乖離率(許容乖離率)を決めておき、それに基づいてユーザーの生活状況の異常の有無の判定を行う。
図11(b)は、見守り対象者の生活状況が異常であるときの例を示している。図11(b)の例では、実際の食材量データ値の変化が、平均値に対して許容乖離率を超える値はずれている。判定部16は、このような状況の場合、ユーザーの生活状況が異常な状態であると判定する。
図11(c)は、見守り対象者の生活状況が異常であるときの他の例を示している。図11(b)の例では、実際の食材量データ値の変化が、平均値に対して許容乖離率以内で推移しているが、次の食材の購入のタイミングが遅くなり、周期が許容乖離率を超える周期はずれが生じている。判定部16は、このような状況の場合、ユーザーの生活状況が異常な状態であると判定する。
乖離率は、最新の食材量データ値、即ち、実際の食材量データ値から、以下の式によって算出される。
Figure 2019058590
図12(a)及び(b)は、食材量データ値の時間変化における週単位の特徴を示す図である。
以上の例では、食材量データ値の増加のタイミング(「食材の購入」のタイミング)を一致させて複数周期の食材量データ値から食材量変化パターンを求める方法を用いたが、食材量変化パターンとしては、1週間単位の特徴(1週間単位の規則性)が生じる場合がある。例えば、食品を販売するスーパーマーケットでは、曜日ごとに特売の食品を設定している事例が多く、このことが、ユーザーの行動パターンに影響することが推測される。図12(a)及び(b)は、1週間に3度の食材の購入を行う場合を示している。図12(a)及び(b)に示されるように、食材量変化パターンの1周期を1週間とし、ユーザーの生活状況の判定を、図12(b)の食材量変化パターンの許容範囲に基づいて行ってもよい。この場合には、曜日による偏りを考慮した判定ができるので、ユーザーの生活状況が異常な状態であるか否かの判定の信頼性を向上させることが可能である。
図13(a)から(c)は、食材量データ値の時間変化における季節毎の特徴を示す図である。
食材量変化パターンは、季節に応じて変化することがある。例えば、水分摂取の多い季節(例えば、夏)と少ない季節(例えば、冬)、市場に出回る食材の鮮度が長く維持できる季節(例えば、冬)と長く維持できない季節(例えば、夏)、食材の購入のための外出が楽な季節(例えば、春及び秋)と辛い季節(例えば、夏及び冬)など、季節によって食材量変化パターンに現れる特徴が変化する。このため、季節ごとに食材量変化パターンを切り替えることによって、ユーザーの生活状況の異常の有無の判定の信頼性を向上させることが可能である。
図13(a)は、食材量変化パターンの1周期が長く、食材の量の変化が小さい季節である季節#1の食材量変化パターンの許容範囲を示している。図13(b)は、食材量変化パターンの1周期が短く、食材の量の変化が大きい季節である季節#2の食材量変化パターンの許容範囲を示している。図13(c)は、食材量変化パターンの1周期が中間的であり、食材の量の変化が中間的である季節である季節#3の食材量変化パターンの許容範囲を示している。
季節#1から季節#2に移行する途中に中間的な季節#3、季節#2から季節#1に移行する途中に中間的な季節#3の食材量変化パターンが現れる場合には、季節に合わせて複数の食材量変化パターンを順次切り替えることにより、食材量変化パターンの変化に対応可能になる。この場合には、ユーザーの生活状況の異常の有無の判定の信頼性を向上させることが可能である。
なお、図12(a)及び(b)に示される曜日の要因に対応した食材量変化パターンを用いるためには、予め曜日の要因に対応した1週間を1周期とする食材量変化パターンを導出するための食材量データ値をデータ保存部14に蓄積しておく必要がある。また、図13(a)から(c)に示される季節の要因に対応した食材量変化パターンを用いるためには、予め季節の要因に対応した食材量変化パターンを導出するための各季節の食材量データ値をデータ保存部14に蓄積しておく必要がある。
さらに、パターン導出部15が複数種類の食材量変化パターンを求め、判定部16が、複数種類の食材量変化パターンの許容範囲を用いて、ユーザーの生活状況が異常な状態であるか否かの判定を行うようにしてもよい。この場合には、食材量変化パターンの個人差に適切に対処することができ、判定の信頼性を向上させることができる。
〈通信部17〉
通信部17は、例えば、ユーザーの生活状況が異常な状態にあるときには、ネットワーク40を介して見守り者の通信端末50に状況を通知する。
本実施の形態1では、照度から食材量データ値に変換して、食材量の変化から食生活パターンを抽出し、そのパターンからのはずれの有無を検出することにより、ユーザーの生活状況の異常の判定を行っているが、照度データそのものを利用して同様の判定を行っても良い。
《1−3》実施の形態1の効果
以上に説明したように、実施の形態1に係る見守りシステム、見守り方法、及び冷蔵庫10では、食材の量を食材量データ値に変換して、食材量データ値の増加及び減少の履歴から冷蔵庫10のユーザーの食材量変化パターンを導出し、最新の食材量データ値が食材量変化パターンに準じた変化(概ね許容範囲内の変化)をするか否かに基づいて、冷蔵庫10のユーザーの生活状況が異常な状態であるか否かを判定する。この場合には、画像データのようなサイズの大きいデータを送信する必要がないので、装置のコストの上昇を抑制することができる。また、画像データを送信していないので、冷蔵庫10を使用する見守り対象者のプライバシーを適切に保護することができる。また、ユーザーの日常の食生活に密接に関係している冷蔵庫10内の食材の量に基づいて、ユーザーの生活状況を監視し、生活状況が異常な状態であるか否かを判定するので、判定の信頼性を向上させることができる。
また、実施の形態1に係る見守りシステム、見守り方法、及び冷蔵庫10では、食材の量を、庫内照明18と照度センサ12によって検出しており、カメラを必要としていないので、ユーザーのプライバシーは確実に保護される。
また、実施の形態1に係る見守りシステム、見守り方法、及び冷蔵庫10では、食材量データ値の増加及び減少の履歴から冷蔵庫10のユーザーの食材量変化パターンを導出する際に、食材量データ値の増加のタイミングを起点とし、起点と次の起点の間を1周期とするように構成したので、適切な食材量変化パターンが取得可能であり、判定部の判定の信頼性を向上させることができる。
また、実施の形態1に係る見守りシステム、見守り方法、及び冷蔵庫10では、起点を揃えた食材量データ値の時間変化の1周期分について、起点から同じ時間ごとに平均値及び標準偏差を求め、食材量データ値の時間変化の中心を平均値により定義し、許容範囲(余裕範囲)を標準偏差により定義するように構成している。このため、ユーザーの食材量変化パターンとして統計的に妥当な許容範囲(余裕範囲)を定義することができる。
また、実施の形態1に係る見守りシステム、見守り方法、及び冷蔵庫10では、食材量データ値の最新の変化が食材量変化パターンの余裕範囲の外に、予め決められた許容時間を超えてはずれたときに、ユーザーの生活状況が異常な状態であると判断するように構成した。このため、ユーザーの食材量変化パターンに対する乖離状況を適切に判断することができ、生活状況が正常な状態であるにもかかわらず、異常な状態であると判定する誤判定を減らすことができる。
また、実施の形態1に係る見守りシステム、見守り方法、及び冷蔵庫10では、食材量データ値の最新の変化が食材量変化パターンとしての平均値に対して、予め決められた許容乖離率を超えたときにユーザーの生活状況が異常な状態であると判断するように構成できる。この場合には、ユーザーの食材量変化パターンに対する乖離状況に基づいて生活状況の異常の有無を判定することができる。
また、実施の形態1に係る見守りシステム、見守り方法、及び冷蔵庫10では、食材量データ値の増加及び減少の履歴から冷蔵庫10のユーザーの食材量変化パターンを導出する際に、1週間単位で食材量データ値の増減の規則性を示す食材量変化パターンを導出するように構成することが可能である。この場合には、曜日による食材量データ値の増減の偏り傾向に適切に対応することができ、生活状況の異常の有無の判定の信頼性を向上させることができる。
また、実施の形態1に係る見守りシステム、見守り方法、及び冷蔵庫10では、食材量データ値の増加及び減少の履歴から冷蔵庫10のユーザーの食材量変化パターンを導出する際に、現在の季節に応じて食材量データ値の増減の規則性を示す食材量変化パターンを導出するように構成することができる。この場合には、季節による食材量データ値の増減の偏り傾向に適切に対応することができ、生活状況の異常の有無の判定の信頼性を向上させることができる。
また、実施の形態1に係る見守りシステム、見守り方法、及び冷蔵庫10では、食材量データ値の増加及び減少の履歴から、複数種類の食材量変化パターンを導出し、複数種類の食材量変化パターンを用いて、ユーザーの生活状況の異常の有無の判定を行うことができる。この場合には、食材量変化パターンの個人差に対処し易くなり、生活状況の異常の有無の判定の信頼性を向上させることができる。
《2》実施の形態2
図14は、本発明の実施の形態2に係る見守りシステムの構成を概略的に示すブロック図である。図14において、図1に示される構成要素と同一又は対応する構成要素には、図1に示される符号と同じ符号が付される。図14に示されるように、実施の形態2に係る見守りシステムは、食品保管庫としての冷蔵庫20の庫内にある食材の量を検出するセンシング手段が、重量センサ22a及び22bと重量センサ22a及び22bの出力から庫内の食材の量を示す食材量データ値を生成する食材量データ生成部23とを有する点が、実施の形態1に係る見守りシステムと異なる。この点を除いて、実施の形態2は、実施の形態1と同じである。
図15(a)は、冷蔵庫20の縦断面図である。図15(b)及び(c)は、冷蔵庫20のセンシング手段の重量センサ22a及び22bを示す断面図である。
図15(a)において、図2(a)に示される構成要素と同一又は対応する構成要素には、図2(a)に示される符号と同じ符号が付される。冷蔵庫20の冷蔵室101内には、食材を載せるための棚板108が備えられており、冷凍室105内及び野菜室106内にはケース109が備えられている。
図15(b)には、棚板108の断面が示されており、図15(c)には、ケース109の底部の断面が示されている。棚板108は、棚板本体108aと、計量板108bと、重量センサ22aとにより構成されている。ケース109は、ケース本体109aと、計量板109bと、重量センサ22bとにより構成されている。食材は、計量板108b及び109bの上に置かれ、重量センサ22a及び22bにより食材の重量が測定される。重量センサ22a及び22bとしては、例えば、接触部分に作用する圧力の大きさに応じて抵抗値が変化する感圧センサ又は歪ゲージなどを採用することができる。1枚の計量板108b又は109bを複数の重量センサ22a又は22bで支持する場合には、複数の重量センサ22a又は22bの出力を加算することで、重量を算出することができる。
食材の量の変化は、直接的に重量の変化で表すことが可能であるので、実施の形態2の冷蔵庫20は、実施の形態1の冷蔵庫10に比べ、食材の量を高精度に測定することが可能である。
また、実施の形態2では、冷蔵室101内の複数の棚板108の各々に載置された食材の量の変化を検出することができ、さらに、冷凍室105又は野菜室106の各ケース109に収納された食材の量の変化を検出することができる。このように、食材の量の変化を、詳細に検出できるので、見守り対象者の生活状況の判定の信頼性を向上させることが可能である。
以上に説明したように、実施の形態2に係る見守りシステム、見守り方法、及び冷蔵庫20では、画像データのようなサイズの大きいデータを外部に送信する必要がないので、装置のコストの上昇を抑制することができる。また、画像データを外部に送信していないので、冷蔵庫20を使用する見守り対象者のプライバシーを適切に保護することができる。また、ユーザーの日常の食生活に密接に関係している冷蔵庫20内の食材の量に基づいて、ユーザーの生活状況を監視し、生活状況が異常な状態であるか否かを判定するので、判定の信頼性を向上させることができる。
さらに、実施の形態2に係る見守りシステム、見守り方法、及び冷蔵庫20では、食材の量の増加及び減少の検出に、重量センサ22a及び22bの検出値を用いるので、コストの上昇を抑制しつつ、冷蔵庫20を使用する見守り対象者のプライバシーを適切に保護し、生活状況を適切に判定することができる。
《3》実施の形態3
図16は、本発明の実施の形態3に係る見守りシステムの構成を概略的に示すブロック図である。図16において、図1に示される構成要素と同一又は対応する構成要素には、図1に示される符号と同じ符号が付される。図16に示されるように、実施の形態3に係る見守りシステムは、食品保管庫としての冷蔵庫30の冷蔵室101内にある食材の量を検出するセンシング手段が、冷蔵室101内を撮影するカメラ32と、カメラ32によって取得された画像に基づいて冷蔵室101内の食材の量を示す食材量データ値を生成する食材量データ生成部33とを有する点が、実施の形態1に係る見守りシステムと異なる。この点を除いて、実施の形態3は、実施の形態1と同じである。
図17(a)は、冷蔵庫30の縦断面図である。図17(b)及び(c)は、冷蔵庫30のセンシング手段のカメラ32の撮影画像から食材の量を示す食材量データ値を生成する方法を示す図である。カメラ32は、扉104の内面に備えられているが、他の位置に供えられてもよい。また、カメラの台数は1台に限らず、2台以上であってもよい。
図17(a)において、図2(a)に示される構成要素と同一又は対応する構成要素には、図2(a)に示される符号と同じ符号が付される。冷蔵庫30の冷蔵室101内には、カメラ32が備えられており、図17(b)に示されるような撮影画像が得られる。
図17(b)は、カメラ32による冷蔵室101の撮影画像を示しており、庫内照明18に照らされて、食材の位置又は表面のディテールに応じて色々な諧調で表現されている。図17(c)は、撮像画像に対して閾値処理をした後の画像を、2値化して表示している。
実施の形態3においては、例えば、撮影画像の全画面から画素値の平均値を算出し、画素値の平均値を閾値として、閾値以上の明るさの画素と、閾値未満の明るさの画素とからなる、2値化された画像データ(図17(c))を取得し、2値化された画像データから照度レベルを取得してもよい。以降の処理は、実施の形態1の場合と同様である。この場合には、平均的明るさを求める際の演算量を削減することができる。
以上に説明したように、実施の形態3に係る見守りシステム、見守り方法、及び冷蔵庫30では、画像データのようなサイズの大きいデータを外部に送信する必要がないので、装置のコストの上昇を抑制することができる。また、画像データを外部に送信していないので、冷蔵庫30を使用する見守り対象者のプライバシーを適切に保護することができる。また、ユーザーの日常の食生活に密接に関係している冷蔵庫30内の食材の量に基づいて、ユーザーの生活状況を監視し、生活状況が異常な状態であるか否かを判定するので、判定の信頼性を向上させることができる。
さらに、実施の形態3に係る見守りシステム、見守り方法、及び冷蔵庫30では、食材の量を食材量データ値に変換する方法として、カメラ32による撮影画像を数値化して用いるので、ユーザーのプライバシーを保護しつつ正確に食材の量の変化を把握することができる。このため、生活状況が異常な状態であるか否かの判定の信頼性を向上させることができる。
《4》変形例
図18は、実施の形態1から3の変形例の見守りシステムの外部サーバ61又は冷蔵庫10,20,30の構成を示すハードウェア構成図である。
実施の形態1から3におけるセンサ制御部11、食材量データ生成部13,23,33、パターン導出部15、及び判定部16の全体又は一部は、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ91と、メモリ91に格納されたプログラムを実行する情報処理部としてのプロセッサ92とを用いて(例えば、コンピュータにより)実現することができる。
また、実施の形態1から3及びそれらの変形例の見守りシステムのプロセッサ92は、
見守り対象者が使用する冷蔵庫10,20,30内に保管されている食材の量を検出し、食材の量を示す食材量データ値を生成するステップと、
食材量データ値を食材量データ履歴としてデータ保存部14に保存するステップと、
食材量データ履歴から食材量データ値の時間変化に対応する食材量変化パターンを導出するステップと、
冷蔵庫10,20,30内に保管されている食材の量を検出して得られた最新の(現状の)食材量データ値が、食材量変化パターンに基づく許容範囲内にあるか否かを監視し、監視結果に基づく判定情報を出力するステップと、
判定情報を見守り者の通信端末50に送信するステップと
を有する見守り方法を実施することができる。
この見守り方法によれば、画像データのようなサイズの大きいデータを送信する必要がないので、装置のコストの上昇を抑制することができる。また、画像データを送信していないので、冷蔵庫を使用する見守り対象者のプライバシーを適切に保護することができる。また、ユーザーの日常の食生活に密接に関係している冷蔵庫内の食材の量に基づいて、ユーザーの生活状況を監視し、生活状況が異常な状態であるか否かを判定するので、判定の信頼性を向上させることができる。
《5》実施の形態4
図1の冷蔵庫10、図14の冷蔵庫20、図16の冷蔵庫30では、それぞれ食材量の検出から許容範囲内又は許容範囲外の判定までを行い、判定結果のみをネットワーク40を介して通信端末50及び見守りサービスセンタ60に送信する構成を示している。しかしながら、この形態に限定されるわけではなく、食材量の検出とパターン導出までを冷蔵庫で行い、食材量の検出結果とパターン導出結果を見守りサービスセンタ60に送付する構成としても良い。
図19は、本発明の実施の形態4に係る見守りシステムの構成を概略的に示すブロック図である。図19において、図1に示される構成要素と同一又は対応する構成要素には、図1に示される符号と同じ符号が付される。実施の形態4に係る見守りシステムは、判定部116を見守りサービスセンタ110の外部サーバ111に備えている点が、実施の形態1に係る見守りシステムと異なる。この点を除いて、実施の形態4は、実施の形態1と同じである。
図19に示されるように、実施の形態4に係る見守りシステムは、食材を収納する食品保管庫としての冷蔵庫70と、インターネットなどのネットワーク40を介して冷蔵庫70の通信部17から送信された情報を受信することができる見守りサービスセンタ110と、見守りサービスセンタ110の通信部113から送信された情報を受信することができる通信端末50とを備えている。
冷蔵庫70は、センサ制御部11と、庫内照明18と、照度センサ12と、食材量データ生成部13と、データ保存部14と、パターン導出部15と、通信部17とを備えている。見守りサービスセンタ110は、通信部112,113、外部サーバ111とを備えている。外部サーバ111には判定部116が備えられている。
食材量データ生成部13から出力される最新の(現状の)食材量データ値が通信部17に出力される。また、パターン導出部15から出力される食材量変化パターンの「食材量データ値の変化マージン」及び「周期マージン」が通信部17に出力される。通信部17は、食材量データ値、食材量データ値の変化マージン、及び食材量データ値の周期マージンを、ネットワーク40を介して見守りサービスセンタ110の通信部112に送信する。
見守りサービスセンタ110の外部サーバ111に備えられた判定部116は、通信部112から食材量データ値、食材量データ値の変化マージン、及び食材量データ値の周期マージンを受け取る。冷蔵庫70と外部サーバ111との間のデータ送信のタイミングとしては、新たに食材量データ値を生成する度に送信するのが妥当であるが、パターン導出結果についてはその変化が頻繁に起こることはなく、食材量データ値の送信よりも疎らな間隔で送信するように構成しても良い。
判定部116は、食材量データ生成部13から出力される最新の(現状の)食材量データ値の変化が、パターン導出部15から出力される食材量変化パターンの「食材量データ値の変化マージン」及び「周期マージン」の範囲から、予め決められた判断基準以上に乖離しているか否かを監視(判断)し、この監視結果に基づく判定情報を生成する。
通信部113は、例えば、ユーザーの生活状況が異常な状態にあるときには、見守り者の通信端末50に状況を通知する。
また、見守りサービスセンタを利用せず、通信端末上でユーザーの生活状況が異常であるか否かの判定を行ってもよい。図20は、本発明の実施の形態4に係る見守りシステムの別の構成を概略的に示すブロック図である。図20において、見守りサービスセンタの代わりに通信端末120がネットワーク40を介して冷蔵庫70の通信部17から送信された情報を受信することができる点が図19に示す見守りシステムと異なる。通信端末120には通信部121及び判定部126が備えられている。この場合の通信端末50上に判定部126を備える形態としては、スマートフォンのアプリをインストールするような方法が考えられる。判定部126の動作については前述と同様である。
なお、実施の形態2及び実施の形態3で説明した見守りシステム、見守り方法、及び冷蔵庫においても、判定部を見守りサービスセンタに設置したり、判定部を通信端末に備えたりしてもよい。
以上に説明したように、実施の形態4に係る見守りシステム、見守り方法では、画像データのようなサイズの大きいデータを外部に送信する必要がないので、装置のコストの上昇を抑制することができる。また、画像データを外部に送信していないので、冷蔵庫70を使用する見守り対象者のプライバシーを適切に保護することができる。また、ユーザーの日常の食生活に密接に関係している冷蔵庫70内の食材の量に基づいて、ユーザーの生活状況を監視し、生活状況が異常な状態であるか否かを判定するので、判定の信頼性を向上させることができる。
また、実施の形態4に係る見守りシステム、見守り方法では、冷蔵庫70の外部でユーザーの生活状況が異常な状態であるか否かを判定するので、他の家電機器の使用状況や天候などの生活環境の情報を加えて判定することができるようになる。
《6》実施の形態5
図1の冷蔵庫10、図14の冷蔵庫20、図16の冷蔵庫30では、それぞれ食材量の検出から許容範囲内又は許容範囲外の判定までを行い、判定結果のみをネットワーク40を介して通信端末50及び見守りサービスセンタ60に送信する構成を示しているが、この形態に限定されるわけではなく、食材量の検出までを冷蔵庫で行い、検出結果を見守りサービスセンタ60に送付する構成としても良い。
図21は、本発明の実施の形態5に係る見守りシステムの構成を概略的に示すブロック図である。図21において、図1に示される構成要素と同一又は対応する構成要素には、図1に示される符号と同じ符号が付される。実施の形態5に係る見守りシステムは、データ保存部134、パターン導出部135、及び判定部136を見守りサービスセンタ130の外部サーバ131に配置する点が、実施の形態1に係る見守りシステムと異なる。この点を除いて、実施の形態5は、実施の形態1と同じである。
図21に示されるように、実施の形態5に係る見守りシステムは、食材を収納する食品保管庫としての冷蔵庫80と、インターネットなどのネットワーク40を介して冷蔵庫80の通信部17から送信された情報を受信することができる見守りサービスセンタ130と、見守りサービスセンタ130の通信部133から送信された情報を受信することができる通信端末50とを備えている。
冷蔵庫80は、センサ制御部11と、庫内照明18と、照度センサ12と、食材量データ生成部13と、通信部17とを備えている。見守りサービスセンタ130は、通信部132、133、外部サーバ131とを備えている。外部サーバ131には、データ保存部134と、パターン導出部135と、判定部136とが備えられている。
食材量データ生成部13から出力される最新の(現状の)食材量データ値が通信部17に出力される。通信部17は、食材量データ値を、ネットワーク40を介して見守りサービスセンタ130の通信部132に送信する。
見守りサービスセンタ130の外部サーバ131に備えられたデータ保存部134及び判定部136は、通信部132から食材量データ値を受け取る。冷蔵庫80と外部サーバ131との間のデータ送信のタイミングとしては、新たに食材量データ値を生成する度に送信するのが妥当である。
データ保存部134と、パターン導出部135と、判定部136の動作については実施の形態1で説明した動作と同じである。判定部136は、食材量データ値の変化が、パターン導出部135から出力される食材量変化パターンの「食材量データ値の変化マージン」及び「周期マージン」の範囲から、予め決められた判断基準以上に乖離しているか否かを監視(判断)し、この監視結果に基づく判定情報を生成する。
通信部133は、例えば、ユーザーの生活状況が異常な状態にあるときには、見守り者の通信端末50に状況を通知する。
また、見守りサービスセンタを利用せず、通信端末上でユーザーの生活状況が異常であるか否かの判定を行ってよい。図22は、本発明の実施の形態5に係る見守りシステムの別の構成を概略的に示すブロック図である。図22において、見守りサービスセンタの代わりに通信端末140がネットワーク40を介して冷蔵庫80の通信部17から送信された情報を受信することができる点が図21に示す見守りシステムと異なる。通信端末140には、通信部141、データ保存部144、パターン導出部145と、及び判定部146が備えられている。この場合の通信端末140上に判定部146を備える形態としては、スマートフォンのアプリをインストールするような方法が考えられる。判定部146の動作については前述と同様である。
なお、実施の形態2及び実施の形態3で説明した見守りシステム、見守り方法、及び冷蔵庫においても、データ保存部、パターン導出部及び判定部を見守りサービスセンタに設置したり、データ保存部、パターン導出部及び判定部を通信端末に備えたりしてもよい。
以上に説明したように、実施の形態5に係る見守りシステム、見守り方法では、画像データのようなサイズの大きいデータを外部に送信する必要がないので、装置のコストの上昇を抑制することができる。また、画像データを外部に送信していないので、冷蔵庫80を使用する見守り対象者のプライバシーを適切に保護することができる。また、ユーザーの日常の食生活に密接に関係している冷蔵庫80内の食材の量に基づいて、ユーザーの生活状況を監視し、生活状況が異常な状態であるか否かを判定するので、判定の信頼性を向上させることができる。
また、実施の形態5に係る見守りシステム、見守り方法では、冷蔵庫80の外部でユーザーの生活状況が異常な状態であるか否かを判定するので、他の家電機器の使用状況や天候などの生活環境の情報を加えて判定することができるようになる。また、見守りサービスセンタ又は通信端末が有する食材量変化パターン、食材量データ値の変化マージン及び周期マージンのデータベースを利用することがきるので、食材量変化パターンの導出や食材量データ値の変化マージン、周期マージンの設定を最適に行うことができる。
なお、全ての実施の形態において、食品を保管する食品保管庫を冷蔵庫として説明したが、本発明を冷蔵庫以外の保管庫に食品を保管する場合にも適用してよい。食品保管庫としては、冷蔵・冷凍機能を有しない食品保管庫、屋内に設置する食品保管室や食品保管棚などがある。これらの食品保管庫に保存する食品は、保存期間が長いため、冷蔵庫に保管する場合に比べて食材量データの時間変化の周期が長くなるが、用途に合わせて食材量データの変化パターンを導出する。
10,20,30,70,80 冷蔵庫、 11 センサ制御部、 12 照度センサ、 13,23,33 食材量データ生成部、 14,134,144 データ保存部、 15,135,145 パターン導出部、 16,116,126,136,146 判定部、 17,112,113,121,132,133,141 通信部、 18 庫内照明、 22a,22b 重量センサ、 32 カメラ、 40 ネットワーク、 50,120,140 通信端末、 60,110,130 見守りサービスセンタ、 61,111,131 外部サーバ、 101 冷蔵室、 102 棚板、 104 扉。

Claims (15)

  1. 見守り対象者の生活状況を見守り者に通知する見守りシステムであって、
    前記見守り対象者が使用する食品保管庫内に保管されている食材の量を検出し、前記食材の量を示す食材量データ値を生成するセンシング手段と、
    前記センシング手段で生成された前記食材量データ値を食材量データ履歴として保存するデータ保存部と、
    前記食材量データ履歴から前記食材量データ値の時間変化に対応する食材量変化パターンを導出するパターン導出部と、
    前記センシング手段によって生成された最新の食材量データ値が、前記食材量変化パターンに基づく許容範囲内にあるか否かを監視し、監視結果に基づく判定情報を出力する判定部と、
    前記判定情報を前記見守り者の通信端末に送信する通信部と
    を備えたことを特徴とする見守りシステム。
  2. 前記センシング手段は、
    前記食品保管庫内を照らす庫内照明と、
    前記食品保管庫内の照度レベルを検出する照度センサと、
    前記照度レベルから前記食材量データ値を生成する食材量データ生成部と、
    を有することを特徴とする請求項1に記載の見守りシステム。
  3. 前記センシング手段は、
    前記食品保管庫内を撮影し、撮影画像データを生成するカメラと、
    前記撮影画像データから前記食材量データ値を生成する食材量データ生成部と、
    を有することを特徴とする請求項1に記載の見守りシステム。
  4. 前記食材量データ生成部は、前記撮影画像データから前記食品保管庫内の照度レベルを算出し、前記照度レベルから前記食材量データ値を生成する
    ことを特徴とする請求項3に記載の見守りシステム。
  5. 前記センシング手段は、
    前記食品保管庫内にある食材の重量を検出して重量データを出力する重量センサと、
    前記重量データから前記食材量データ値を生成する食材量データ生成部と、
    を有することを特徴とする請求項1に記載の見守りシステム。
  6. 前記パターン導出部は、
    前記食材量データ値の増加の時点を起点とし前記増加の次の増加の時点を終点とする期間を1周期とし、
    複数周期の前記食材量データ値から前記食材量変化パターンを導出する
    ことを特徴とする請求項1から5のいずれか1項に記載の見守りシステム。
  7. 前記パターン導出部は、
    前記食材量データ値の増加の時点を起点とし前記起点から1週間の期間を1周期とし、
    複数周期の前記食材量データ値から前記食材量変化パターンを導出する
    ことを特徴とする請求項1から5のいずれか1項に記載の見守りシステム。
  8. 前記パターン導出部は、
    前記食材量データ値の増加の時点を起点とし前記起点から予め決められた期間を1周期とし、
    現在の季節に基づいて前記予め決められた期間を切り換え、
    複数周期の前記食材量データ値から前記食材量変化パターンを導出する
    ことを特徴とする請求項1から5のいずれか1項に記載の見守りシステム。
  9. 前記パターン導出部は、前記複数周期の前記食材量データ値の平均値から前記食材量変化パターンを導出する
    ことを特徴とする請求項6から8のいずれか1項に記載の見守りシステム。
  10. 前記パターン導出部は、前記複数周期の前記食材量データ値の標準偏差値から前記食材量変化パターンに基づく前記許容範囲を導出する
    ことを特徴とする請求項6から9のいずれか1項に記載の見守りシステム。
  11. 前記判定部は、前記最新の食材量データ値が前記パターン導出部により求められた前記許容範囲外にある時間が予め決められた許容時間以上であるときに、前記見守り対象者の生活状況が異常な状態であると判定する
    ことを特徴とする請求項1から10のいずれか1項に記載の見守りシステム。
  12. 前記パターン導出部は、前記平均値から前記食材量変化パターンに対する許容乖離率を導出し、前記許容範囲を前記許容乖離率以内の範囲とし、
    前記判定部は、前記最新の食材量データ値が前記許容乖離率以上の乖離率である時間が予め決められた許容時間以上であるときに、前記見守り対象者の生活状況が異常な状態であると判定する
    ことを特徴とする請求項9に記載の見守りシステム。
  13. 見守り対象者の生活状況を見守り者に通知する見守り方法であって、
    前記見守り対象者が使用する食品保管庫内に保管されている食材の量を検出し、前記食材の量を示す食材量データ値を生成するステップと、
    前記食材量データ値を食材量データ履歴としてデータ保存部に保存するステップと、
    前記食材量データ履歴から前記食材量データ値の時間変化に対応する食材量変化パターンを導出するステップと、
    前記食品保管庫内に保管されている食材の量を検出して得られた最新の食材量データ値が、前記食材量変化パターンに基づく許容範囲内にあるか否かを監視し、監視結果に基づく判定情報を出力するステップと、
    前記判定情報を前記見守り者の通信端末に送信するステップと
    を有することを特徴とする見守り方法。
  14. 見守り対象者の生活状況を見守り者に通知する冷蔵庫であって、
    前記冷蔵庫内に保管されている食材の量を検出し、前記食材の量を示す食材量データ値を生成するセンシング手段と、
    前記センシング手段で生成された前記食材量データ値を食材量データ履歴として保存するデータ保存部と、
    前記食材量データ履歴から前記食材量データ値の時間変化に対応する食材量変化パターンを導出するパターン導出部と、
    前記センシング手段によって生成された最新の食材量データ値が、前記食材量変化パターンに基づく許容範囲内にあるか否かを監視し、監視結果に基づく判定情報を出力する判定部と、
    前記判定情報を前記見守り者の通信端末に送信する通信部と
    を備えたことを特徴とする冷蔵庫。
  15. 見守り対象者が使用する食品保管庫と通信する通信端末であって、
    前記食品保管庫内に保管されている食材の量を示す食材量データ値を前記食品保管庫から受信する通信部と、
    前記食材量データ値を食材量データ履歴として保存するデータ保存部と、
    前記食材量データ履歴から前記食材量データ値の時間変化に対応する食材量変化パターンを導出するパターン導出部と、
    前記食品保管庫から受信する最新の食材量データ値が、前記食材量変化パターンに基づく許容範囲内にあるか否かを監視し、監視結果に基づく判定情報を出力する判定部と、
    を備えたことを特徴とする通信端末。
JP2019542970A 2017-09-20 2018-03-02 見守りシステム、見守り方法、冷蔵庫、及び通信端末 Active JP6710344B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017179843 2017-09-20
JP2017179843 2017-09-20
PCT/JP2018/007932 WO2019058590A1 (ja) 2017-09-20 2018-03-02 見守りシステム、見守り方法、冷蔵庫、及び通信端末

Publications (2)

Publication Number Publication Date
JPWO2019058590A1 true JPWO2019058590A1 (ja) 2020-01-23
JP6710344B2 JP6710344B2 (ja) 2020-06-17

Family

ID=65810692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019542970A Active JP6710344B2 (ja) 2017-09-20 2018-03-02 見守りシステム、見守り方法、冷蔵庫、及び通信端末

Country Status (2)

Country Link
JP (1) JP6710344B2 (ja)
WO (1) WO2019058590A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020183692A1 (ja) * 2019-03-14 2020-09-17 三菱電機株式会社 見守りシステム、見守り方法、冷蔵庫、及び通信端末
CN114111203A (zh) * 2021-11-24 2022-03-01 广西成电智能制造产业技术有限责任公司 食材移动识别系统、方法、设备及电路

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008112267A (ja) * 2006-10-30 2008-05-15 Hitachi Ltd 電力使用量による生活見守り方法およびシステム
JP2014038374A (ja) * 2012-08-10 2014-02-27 Sharp Corp 見守りシステム、サーバ、容器、情報端末、プログラム、および記録媒体
JP2014070739A (ja) * 2012-09-27 2014-04-21 Toshiba Corp 冷蔵庫
JP2015065630A (ja) * 2013-08-27 2015-04-09 株式会社東芝 カメラシステム、冷蔵庫
WO2015097845A1 (ja) * 2013-12-27 2015-07-02 インフォメティス株式会社 信号処理システム、信号処理方法および信号処理プログラム
JP2015139066A (ja) * 2014-01-21 2015-07-30 株式会社デンソー 在不在判定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008112267A (ja) * 2006-10-30 2008-05-15 Hitachi Ltd 電力使用量による生活見守り方法およびシステム
JP2014038374A (ja) * 2012-08-10 2014-02-27 Sharp Corp 見守りシステム、サーバ、容器、情報端末、プログラム、および記録媒体
JP2014070739A (ja) * 2012-09-27 2014-04-21 Toshiba Corp 冷蔵庫
JP2015065630A (ja) * 2013-08-27 2015-04-09 株式会社東芝 カメラシステム、冷蔵庫
WO2015097845A1 (ja) * 2013-12-27 2015-07-02 インフォメティス株式会社 信号処理システム、信号処理方法および信号処理プログラム
JP2015139066A (ja) * 2014-01-21 2015-07-30 株式会社デンソー 在不在判定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
古田和浩: "スマート家電"家電コンシェルジュ"サービス", 東芝レビュー, vol. 第69巻第4号, JPN6020014878, 1 April 2014 (2014-04-01), pages 56 - 30, ISSN: 0004256731 *

Also Published As

Publication number Publication date
WO2019058590A1 (ja) 2019-03-28
JP6710344B2 (ja) 2020-06-17

Similar Documents

Publication Publication Date Title
CN105444504B (zh) 一种可分类监控的智能冰箱
CN105491147B (zh) 冰箱食材保鲜的提醒方法、系统、冰箱和云服务器
US8549334B2 (en) Electric power control support device and electric power control support method
JP4851997B2 (ja) 生活状況推定方法及びシステム
JP6745872B2 (ja) 冷蔵庫及びそれを含むネットワークシステム
US20110288793A1 (en) Event identification
EP2581677A1 (en) Energy management apparatus
JP6710344B2 (ja) 見守りシステム、見守り方法、冷蔵庫、及び通信端末
KR20160112736A (ko) 가전기기 소비전력 패턴과 소셜 정보를 이용한 독거노인 안전관리 시스템 및 방법
KR101185406B1 (ko) 소비 전력 감시 장치 및 감시 방법
US11340273B2 (en) Presence-in-house determination system and presence-in-house determination method
CN101447042A (zh) 活动评价装置及方法
US20200116541A1 (en) Gas meter
US11176798B2 (en) Anomaly notification system and anomaly notification method
WO2017104044A1 (ja) 遠隔健康管理装置、遠隔健康管理方法、および遠隔健康管理システム
JP7090796B2 (ja) 見守りシステム、見守り方法、冷蔵庫、及び通信端末
JP2006146827A5 (ja)
JP5538454B2 (ja) 安否確認装置及び安否確認システム
CN106885439A (zh) 智能监控装置、方法及保鲜设备
JP2015089163A (ja) 行動評価装置、行動評価システム、行動評価方法、プログラム
WO2022084154A1 (fr) Capteur multifonctions pour la surveillance de locaux et procédés utilisant un tel capteur
JP5920933B2 (ja) 独居者見守りシステム、独居者見守り方法及びプログラム
TWI587251B (zh) The refrigerator uses a state detection system
Harish et al. Smart refrigerator and vegetable identification system using image processing and IOT
US10797980B2 (en) Information notifying apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200526

R150 Certificate of patent or registration of utility model

Ref document number: 6710344

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250