JP6745872B2 - 冷蔵庫及びそれを含むネットワークシステム - Google Patents

冷蔵庫及びそれを含むネットワークシステム Download PDF

Info

Publication number
JP6745872B2
JP6745872B2 JP2018511850A JP2018511850A JP6745872B2 JP 6745872 B2 JP6745872 B2 JP 6745872B2 JP 2018511850 A JP2018511850 A JP 2018511850A JP 2018511850 A JP2018511850 A JP 2018511850A JP 6745872 B2 JP6745872 B2 JP 6745872B2
Authority
JP
Japan
Prior art keywords
information
food
refrigerator
unit
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018511850A
Other languages
English (en)
Other versions
JPWO2017179188A1 (ja
Inventor
毅 内田
毅 内田
永田 滋之
滋之 永田
伊藤 敬
敬 伊藤
誠 岡部
誠 岡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2017179188A1 publication Critical patent/JPWO2017179188A1/ja
Application granted granted Critical
Publication of JP6745872B2 publication Critical patent/JP6745872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25DREFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D11/00Self-contained movable devices, e.g. domestic refrigerators
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Thermal Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Telephonic Communication Services (AREA)
  • Devices That Are Associated With Refrigeration Equipment (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、通信機能を備えた冷蔵庫、及び冷蔵庫を含むネットワークシステムに関する。
近年、日本において、全人口に占める高齢者(65歳以上の者)の割合が増加している。また、1世帯を構成する人の数が少なくなっており、1人世帯(1人暮らし)が増加する傾向にある。このため、1人暮らしの高齢者の安否の確認及び介護の要否の確認が必要になっている。ところで、人の生活状況は、その人(ユーザ)の冷蔵庫の使用状況から、推測することが可能である。その理由は、冷蔵庫の使用状況は、冷蔵庫のユーザの生活の一部である食生活と密接に関係しているからである。
特許文献1は、収納室(貯蔵室)の内部を撮影することによって得られた画像データから収納室の空き容量及び空きスペースを演算し、演算結果及び収納室画像データ(庫内画像データ)を表示端末に送信する冷蔵庫を記載している。
また、特許文献2は、庫内及び庫外を撮像することによって得られた画像データを、サーバを介して携帯電話機(携帯端末)に送信し、遠隔地から庫内及び庫外を監視することを可能にした物品保存庫としての冷蔵庫を記載している。
特開2014−209048号公報(例えば、段落0041−0049、0062−0078、図7、図8、図15) 特開2007−46833号公報(例えば、段落0021−0025、図1)
しかしながら、特許文献1に記載の冷蔵庫は、収納室の内部の画像などを表示端末の表示部に表示させることはできるが、冷蔵庫の使用状況(例えば、使用履歴)を推測する機能を有しておらず、冷蔵庫の使用状況に基づく判断(例えば、ユーザの生活状況に関する判断)をすることはできない、という課題があった。
また、特許文献2に記載の冷蔵庫は、冷蔵庫の内外の画像データをユーザの携帯端末に送信して、ユーザの携帯端末の表示部に冷蔵庫の内外の画像を表示させることはできるが、冷蔵庫の使用状況に基づく判断(例えば、ユーザの生活状況に関する判断)をすることはできない、という課題があった。
さらに、特許文献1及び2のいずれも、ユーザ以外の第三者である管理者に報知情報を報知する技術を記載していない。
本発明は、上述のような課題を解決するためになされたものであり、ある期間におけるユーザ操作等の第1の情報の検知の結果から取得された冷蔵庫の使用状況を示す第2の情報に基づいて、冷蔵庫のユーザの生活状況が要報知状況であるか否かを判断し、生活状況が要報知状況であると判断した場合に、ユーザの生活状況を端末装置に報知することができる冷蔵庫及びそれを含むネットワークシステムを提供することを目的とする。
本発明に係る冷蔵庫は、食品を収納する貯蔵室と、管理者によって使用される端末装置と通信を行う通信部と、を有する冷蔵庫であって、記貯蔵室内における食品の状態関する第1の情報を検知する状況検知部と、ある期間における前記第1の情報から前記冷蔵庫の使用状況を示す第2の情報を取得する状況取得部と、平日における予め決められた時間帯の判断基準と前記第2の情報とから又は真夜中における予め決められた時間帯の判断基準と前記第2の情報とから、前記冷蔵庫のユーザの生活状況が前記管理者に報知されるべきであると判断した場合に、前記生活状況を前記端末装置に報知する生活管理部と、を有するものである。
本発明に係るネットワークシステムは、前記冷蔵庫と、前記冷蔵庫と通信可能に接続された端末装置とを備えている。
本発明によれば、冷蔵庫のユーザ操作、貯蔵室内の空気の温度、及び貯蔵室内における食品の状態、の内の少なくとも1つに関する第1の情報の検知の結果から取得された冷蔵庫の使用状況に基づいて、冷蔵庫のユーザの生活状況が管理者に報知されるべき要報知状況であるか否かを判断し、生活状況が要報知状況であると判断した場合に、ユーザの生活状況を、端末装置に報知することができる。このため、ユーザの生活状況を受け取った管理者は、ユーザに対する適切な対処を講じることができる。
本発明の実施の形態1に係る冷蔵庫の概略構造を示す正面図である。 実施の形態1に係る冷蔵庫の冷蔵室の概略構造(図1を線分II−IIで切る断面構造)を示す断面図である。 実施の形態1に係る冷蔵庫の制御系の構成を概略的に示すブロック図である。 図3の制御部の構成を概略的に示すブロック図である。 (a)及び(b)は、実施の形態1に係る冷蔵庫の冷蔵室における扉の開閉履歴の例を示す図である。 本発明の実施の形態2に係る冷蔵庫の冷蔵室の概略構造(図1を線分II−IIで切る断面構造)を示す断面図である。 実施の形態2に係る冷蔵庫の制御系の構成を概略的に示すブロック図である。 図7の制御部の構成を概略的に示すブロック図である。 (a)から(c)は、実施の形態2に係る冷蔵庫の冷蔵室における温度履歴の例を示す図である。 本発明の実施の形態3に係る冷蔵庫の冷蔵室の概略構造(図1を線分II−IIで切る断面構造)を示す断面図である。 実施の形態3に係る冷蔵庫の制御系の構成を概略的に示すブロック図である。 図11の制御部の構成を概略的に示すブロック図である。 実施の形態3に係る冷蔵庫の動作を示すフローチャートである。 (a)から(d)は、実施の形態に係る冷蔵庫の冷蔵室内の撮影画像(貯蔵室内画像)、撮影画像から抽出された食品画像、及び食品画像の付帯情報の例を示す図である。 (a)及び(b)は、実施の形態3に係る冷蔵庫の冷蔵室内の撮影画像(貯蔵室内画像)から抽出された食品画像の、携帯端末における表示画面の例を示す図である。 実施の形態3に係る冷蔵庫の冷蔵室内の撮影画像(貯蔵室内画像)から抽出された食品画像の、携帯端末における表示画面の例を示す図である。 本発明の実施の形態4に係る冷蔵庫の冷蔵室の概略構造(図1を線分II−IIで切る断面構造)を示す断面図である。 実施の形態4に係る冷蔵庫の制御系の構成を概略的に示すブロック図である。 図18の制御部の構成を概略的に示すブロック図である。 実施の形態4に係る冷蔵庫の食品識別部が参照する、食品画像データベースの内容の例を表形式で示す図である。 実施の形態4に係る冷蔵庫の動作を示すフローチャートである。 本発明の実施の形態5に係るネットワークシステムの構成を概略的に示す図である。
《1》実施の形態1
《1−1》構成
図1は、本発明の実施の形態1に係る冷蔵庫1の概略構造を示す正面図である。図1に示されるように、実施の形態1に係る冷蔵庫1は、食品を収納するための複数の貯蔵室を備えている。複数の貯蔵室は、例えば、冷蔵室11、製氷室12、切替室13、冷凍室14、及び野菜室15を含む。図1に示される例では、上から冷蔵室11、製氷室12と切替室13、冷凍室14、及び野菜室15が、この順で配置されている。また、製氷室12と切替室13とは、水平方向の左右に並んで配置されている。冷蔵庫1は、貯蔵室を冷却する冷却装置を備えている。冷却装置は、例えば、圧縮機、凝縮器、膨張弁、及び蒸発器を有する冷凍サイクル回路を備えている。複数の貯蔵室は、冷凍サイクル回路によって冷却される。なお、図1は、実施の形態2(図6)、実施の形態3(図10)、及び実施の形態4(図17)においても参照される。冷蔵庫1は、実施の形態2、3、4、及び5において、冷蔵庫2、3、4、及び5とそれぞれ表記される。
冷蔵室11の扉(冷蔵室扉)20の前面(正面)には、表示装置としての表示部(表示画面)を有する操作パネル21が備えられてもよい。操作パネル21の表示画面には、各貯蔵室の設定温度及び現在温度などの冷蔵庫1に関する情報である貯蔵室情報(庫内情報)を表示させることができる。操作パネル21は、例えば、ユーザの入力を受け付けるタッチパネルを有している。操作パネル21の設置位置は、冷蔵室11の扉20に限るものではなく、他の貯蔵室の扉の外面又は冷蔵庫1の側面などのような他の位置に設置されてもよい。また、製氷室12、切替室13、冷凍室14、及び野菜室15は、例えば、それらの前面に備えられた扉と共に、冷蔵庫1の手前側にスライドさせて引き出すことができるように構成されている。図1は、本発明が適用可能な冷蔵庫の一例を示しているが、本発明が適用可能な冷蔵庫は、図1に示されるものに限定されない。
図2は、実施の形態1に係る冷蔵庫1の冷蔵室11の概略構造(図1を線分II−IIで切る断面構造)を示す断面図である。図2に示されるように、冷蔵庫1は、冷蔵室11の前面側(図2における左側)の開口部を開閉する扉20を有している。冷蔵室11は、内部に配置された複数の棚板(棚)16によって、複数の空間に仕切られている。最下段の棚板16の下側の空間は、チルド室17である。チルド室17の内部には、レールなどの案内部材(図示せず)に沿って、前方(図2における左方向)へ引き出すことができるチルドケース18が設置されている。また、冷蔵室11の背面側(図2における右側)には、冷凍サイクル回路によって冷却された空気を貯蔵室に導く通路としての冷却風路19が設けられている。
扉20と接する冷蔵庫1の本体には、扉20の開閉を検出する開閉検出装置としての開閉検出部22が備えられている。開閉検出部22は、例えば、扉20に埋め込まれたマグネット(永久磁石)の近接を、冷蔵庫1の本体に設置された1対のリードスイッチが検出するマグネット方式の装置である。ただし、開閉検出部22は、機械式のスイッチ又は光学式のスイッチなどのような他の検出方式を採用する検出装置であってもよい。
また、冷蔵庫1は、冷蔵庫1を動作させるための制御回路を有する制御基板110を備えている。制御基板110は、例えば、冷蔵庫1の背面に取り付けられる。
図3は、実施の形態1に係る冷蔵庫1の制御系の構成を概略的に示すブロック図である。図3に示されるように、冷蔵庫1の制御系は、例えば、操作パネル21と、扉20の開状態及び閉状態を検出する開閉検出部22と、外部装置としての端末装置と有線又は無線で通信することができる通信装置としての通信部23と、情報を記憶する半導体メモリなどのような記憶部24と、時刻情報を提供する時刻提供部25と、冷蔵庫1の全体の動作を制御する制御部100とを備えている。また、冷蔵庫1の制御系は、例えば、冷凍サイクル回路の一部を構成する圧縮機(コンプレッサ)32を駆動させるコンプレッサ駆動回路31と、冷蔵庫1の貯蔵室内に空気を流すファン(モータ)34を駆動させるファン駆動回路33とを備えている。冷蔵庫1の制御系の主要部である回路は、制御基板110に備えることができる。ただし、図3の回路の一部を、他の制御基板に備えてもよい。
通信部23は、例えば、Wi−Fi(登録商標)又はBluetooth(登録商標)などの通信モジュールを具備している。冷蔵庫1は、通信部23を用いることによって、例えば、ルータ(後述の図22に示されるブロードバンドルータ506)及びインターネット(後述の図22に示されるインターネット601)のうちの少なくとも一方を経由して、宅内又は宅外に存在する、スマートフォン、携帯タブレット、携帯電話、パーソナルコンピュータなどのような端末装置(例えば、冷蔵庫1のユーザ以外の第三者である管理者が使用する端末装置70)と通信することができる。したがって、冷蔵庫1は、冷蔵庫1に関する各種情報を端末装置70の表示部71に表示させることができる。
時刻提供部25が提供する時刻情報は、時、分、秒だけでなく、日にち(月日又は年月日)の情報も含むことができる。時刻提供部25は、例えば、時計、又は、時刻信号の提供者が送信する時刻信号を受信する時刻受信装置であってもよい。
制御部100は、記憶部24に記憶されているソフトウェアとしてのプログラムを実行する情報処理装置としてのプロセッサを有してもよい。この場合には、制御部100の機能は、このプログラムを実行することによって、実現される。
図4は、図3の制御部100の構成を概略的に示すブロック図である。図4に示されるように、制御部100は、冷蔵庫1の第1の情報(貯蔵室の状況)の検知を行う状況検知部101と、ユーザによる冷蔵庫1の使用状況を示す第2の情報を取得する状況取得部(使用推定部)102と、取得された第2情報からユーザの生活状況が管理者に報知されるべき要報知状況であるか否かを判断する生活管理部103とを備えている。また、通信部23、記憶部24、及び時刻提供部25は、制御部100の一部であってもよい。状況検知部101は、冷蔵庫1の本体に設置された開閉検出部22及び状況取得部102と接続されている。
状況検知部101は、例えば、冷蔵庫1のユーザ操作、貯蔵室内の空気の状態の一例である空気の温度(または湿度)、及び貯蔵室内における食品の状況、の内の少なくとも1つを含む第1の情報の検知を行う。実施の形態1においては、状況検知部101は、冷蔵庫1のユーザ(被管理者)によるユーザ操作である扉20の開閉を、第1の情報として検知する。なお、貯蔵室内の空気の温度については、実施の形態2で説明され、貯蔵室内における食品の状況については、実施の形態3及び4で説明される。実施の形態1においては、状況検知部101は、開閉検出部22によって検出された扉20の開閉情報を受信し、開閉情報を扉20の開閉が実施された時刻を示す時刻情報とともに、貯蔵室情報として状況取得部102に送信する。また、状況検知部101は、扉20の開閉情報と時刻情報とを互いに関連付けて、記憶部24などに記憶させてもよい。
状況取得部102は、ある期間における第1の情報の検知の結果から冷蔵庫1の使用状況を取得する。例えば、状況取得部102は、状況検知部101から、扉20の開閉情報と時刻情報とを含む、冷蔵室11の貯蔵室情報を受信する。状況取得部102は、予め決められた期間ごと(時間帯ごと)の扉20の開閉回数Nを算出する。状況取得部102は、1時間から数時間までの短期的な使用状況を取得することができる。また、状況取得部102は、月日又は年月日などの時刻情報に基づいて、1日単位、1月単位、季節(3ヶ月)単位、及び1年単位などのような長期的な使用状況も取得することができる。このように、実施の形態1における状況取得部102は、扉20の開閉情報(開閉履歴)に基づいて、ユーザによる冷蔵庫1の使用状況を取得し、その取得の結果を生活管理部103に送信する。
生活管理部103は、状況取得部102によって取得された使用状況に基づいて、冷蔵庫1のユーザ(被管理者)の生活状況が要報知状況であるか否かを判断し、生活状況が要報知状況である場合に、冷蔵庫1のユーザの生活状況を示す報知情報を、通信部23を介して管理者が使用する装置(例えば、管理者が使用権限を有する装置)(図3における端末装置70)に報知する。例えば、生活管理部103は、状況取得部102から、扉20の開閉情報(開閉履歴)に基づくユーザによる冷蔵庫の使用状況を受信し、例えば、ユーザの自宅における在宅又は不在の傾向、ユーザの食生活における自炊と外食の割合などのような、ユーザの生活状況を取得する。また、生活管理部103は、ユーザの生活状況が要報知状況である場合には、管理者に報知すべき報知情報(例えば、ユーザの安否に関連する情報又はユーザ宅の防犯に関連する情報など)を、通信部23に送る。
通信部23は、制御部100の生活管理部103と接続され、また、端末装置70とは有線又は無線で通信可能な通信装置である。通信部23は、生活管理部103から、扉20の開閉履歴に基づいて取得された生活状況の中で管理者に報知すべき報知情報を受信し、報知情報を端末装置70に送信する。
端末装置70は、有線又は無線にて、直接、又は、インターネットを介して、通信可能に通信部23と接続される。端末装置70は、通信部23から送信された報知情報を受信し、端末装置70の表示部71に報知情報に基づく画像を表示させる。
《1−2》動作
次に、実施の形態1に係る冷蔵庫1の動作の一例について、図を参照して説明する。
冷蔵庫1に食品を収納する場合、冷蔵庫1から食品を取り出す場合、又は、冷蔵庫1内の食品の在庫状況を確認する場合などのように、ユーザが冷蔵庫1を使用する際には、ユーザは冷蔵庫1の扉(例えば、扉20)を開閉する。したがって、冷蔵庫1の扉の開閉動作は、ユーザが冷蔵庫1を使用していることを示すエビデンス(証拠)となる。
図2から図4に示される冷蔵庫1の例では、冷蔵室11の扉20が開閉される度に、開閉検出部22が、開動作及び閉動作を検出し、開動作を示す開信号及び閉動作を示す閉信号を状況検知部101に送信する。状況検知部101は、受け取った開信号又は閉信号を時刻情報と照合することにより、開時刻、閉時刻、及び開時間(開状態の時間)を検知する。これらの検知は、扉20が開閉される度に実施されるため、開時刻と関連付けられた開信号及び閉時刻と関連付けられた閉信号は、扉20の開閉履歴を示す時系列データとして、状況取得部102に送信される。
状況取得部102は、状況検知部101から送信された、扉20の開閉履歴を示す時系列データから、扉20の開閉状況を、冷蔵室11の使用状況を示す第2の情報として取得する。具体的には、状況取得部102は、扉20の開閉履歴を示す時系列データから、例えば、時間帯ごとの扉20の開閉回数Nを算出し、例えば、短期的な使用状況及び長期的な使用状況の少なくとも一方を取得する。短期的な使用状況は、例えば、1日中継続して(短い時間間隔で)扉20の開閉が行われている状況、1日の内の朝及び晩の限られた時間帯においてのみ扉20が開閉されている状況などである。長期的な使用状況は、今月の開閉回数が先月の開閉回数よりも減っている状況、夏季の開閉回数が他の季節の開閉回数よりも多い状況などである。
図5(a)及び(b)は、実施の形態1に係る冷蔵庫1の冷蔵室11における扉20の開閉履歴の例を示す図である。図5(a)及び(b)の例では、9月23日から9月25日までの3日間について、所定時間(ここでは、6時間)あたりの扉20の開閉回数Nの算出結果がそれぞれ示されている。図5(a)及び(b)の例では、9月25日(金曜日)の扉20の開閉回数Nの履歴が互いに異なる。
状況取得部102は、例えば、図5(a)及び(b)に示されるような扉20の開閉情報(開閉履歴)からユーザによる冷蔵庫の使用状況を示す第2の情報を取得する。図5(a)及び(b)のいずれの例においても、9月23日(祝日)においては、「真夜中」(0時から6時)と「夜」(18時から24時)の各々における開閉回数Nは3回であり(若干の開閉があり)、「日中の午前」(6時から12時)における開閉回数Nは4回であり(若干多くの開閉があり)、「日中の午後」(12時から18時)における開閉回数Nは0回(開閉なし)である。9月23日(祝日)の使用状況から、「日中の午前」と「夜間(夜と真夜中)」には、冷蔵庫1が使用されているが、「日中の午後」には冷蔵庫1が使用されない、という使用状況を示す第2の情報が取得される。
図5(a)及び(b)のいずれの例においても、9月24日(木曜日)においては、9月23日(祝日)に比べて、「日中の午前」(6時から12時)と「夜」(18時から24時)における開閉回数Nが増加し、「日中の午後」(12時から18時)における開閉回数Nが3回であり、ユーザにより1日中継続して冷蔵庫1が使用されていた、という使用状況を示す第2の情報が取得される。
また、9月25日(金曜日)においては、図5(a)の例では、1日中継続して冷蔵庫1が使用されており、且つ、「日中の午前」(6時から12時)と「夜」(18時から24時)における開閉回数Nが他の日の開閉回数に比べて増加している。しかし、図5(b)の例では、「真夜中」(0時から6時)における開閉回数Nは1回であり、その後は、冷蔵庫1は全く使用されていないという状況が示されている。
次に、生活管理部103では、状況取得部102において取得されたユーザによる冷蔵庫の使用状況を受信し、その使用状況に基づいて生活状況を取得する。図5(a)及び(b)の例では、9月23日(祝日)は、「真夜中」、「日中の午前」、及び「夜」のみに冷蔵庫1を使用したという使用状況から、ユーザは朝食を家で摂ったが、昼食と夕食は外食であり、「夜」に飲料などを取り出すために冷蔵庫1の扉を開閉したという生活状況が取得される。また、9月24日(木曜日)は、1日中継続して冷蔵庫1が使用されていたという使用状況から、ほぼ終日在宅していたという生活状況が取得される。
また、図5(a)の例では、9月25日(金曜日)の「夜」における開閉回数が増加した使用状況から、夕食に普段以上の食材を使用し、夜遅くまでパーティーのように長時間の間、食事を続けていたなどの生活状況(要報知状況ではない生活状況)が考えられる。しかし、図5(b)の例では、9月25日(金曜日)は、午前6時以降、全く冷蔵庫1が使用されていない生活状況であり、ユーザが早朝から外出した可能性、又は、ユーザに何らかの問題(要報知状況)が発生した可能性が考えられる。
また、生活管理部103は、取得された(推定された)ユーザの生活状況が、管理者に報知すべき要報知状況であるか否かを判断する。図5(a)の例では、9月23日(祝日)、9月24日(木曜日)及び9月25日(金曜日)における生活状況は、外食の有無及び在宅情報、また、夕食の質及び時間に関する情報から、ユーザの生活状況は緊急を要さない(要報知状況ではない)と判断することができる。しかし、図5(b)の例では、9月25日(金曜日)における生活状況は、ほぼ1日の間、全く扉20が開閉されない使用状況を要報知状況(例えば、ユーザに健康上の問題が発生した状況、又は、犯罪に関連した状況が発生した状況)と判断することが可能である。この場合には、冷蔵庫1は、通信部23を介して、端末装置70に安否関連情報としての報知情報を報知する。
生活管理部103は、取得されたユーザの生活状況が要報知状況であるか否かの判断をするために、要報知状況の判断基準を予め保持している(又は、記憶部24に格納しておく)必要がある。生活管理部103は、図5(b)に示される9月25日(金曜日)の例において、冷蔵庫1が全く使用されていない状況が、予め決められた基準時間(例えば、18時間又は24時間などの閾値時間)以上継続した場合に、端末装置70に報知情報を報知するように設定することができる。ただし、ユーザが旅行などで上記基準時間よりも長い期間、自宅を留守にする場合には、ユーザの操作によって、その閾値の解除をすることができるようにしておくことで、無駄な報知情報の送信を回避し、必要なタイミングで端末装置70に報知情報を報知することができる。
また、生活管理部103が、要報知状況が発生したと判断したときに、端末装置70に報知する報知情報は、図5(a)及び(b)の例で示されたような安否関連情報に限るものではない。例えば、生活管理部103は、ユーザが旅行中の場合、及び、ユーザが職場又は学校にいる平日の昼間などの時間帯に、扉20の開閉動作が発生した場合には、ユーザの許可を得ていない人物による冷蔵庫1の使用が考えられるので、端末装置70に対して報知情報として防犯関連情報を報知することも可能である。この場合には、端末装置70で報知情報を見た管理者は、迅速に警察又はセキュリティ会社への通報を行うことができるので、犯罪を未然に防ぐことを期待することができる。
また、扉20の開閉の頻度(例えば、「真夜中」に扉20の開閉の頻度が高い状況)が発生した場合には、ユーザの不摂生を報知情報として端末装置70に報知することが可能である。また、冷蔵室11内のチルド室17の扉の開閉が頻繁に発生した場合(チルド室17の扉にも開閉検出部が備えられている場合)には、生鮮食品への偏食を端末装置70に報知することが可能である。これらの報知情報によれば、1人暮らしの子供又は単身赴任の夫の健康状態を、管理者である母又は妻が遠隔地からそれぞれ管理することが可能になる。
また、端末装置70を使用する管理者は、予め認証された管理者に限定して設定することが望ましい。端末装置70に送信される報知情報の内の生活関連情報は、個人情報ではあるが、不特定の管理者に開示してもセキュリティ上は特に大きな問題にはならないと考えられる。しかし、報知情報の内の安否関連情報又は防犯関連情報は、ユーザの健康情報又はユーザの在宅及び不在情報を含むため、家族、近親者、又は、ユーザが委託したヘルパーなどの管理者に制限することが望ましい。なお、端末装置70を使用する管理者の認証方法については、実施の形態5で説明する。
《1−3》効果
以上に説明したように、実施の形態1に係る冷蔵庫1によれば、冷蔵庫1の第1の情報である扉20の開閉回数Nの検知の結果から取得された冷蔵庫1の使用状況(第2の情報)に基づいて、冷蔵庫1のユーザの生活状況が要報知状況であるか否かを判断し、生活状況が要報知状況であると判断した場合に、ユーザの生活状況を示す報知情報(安否に関する情報、防犯に関する情報、不適切な食生活に関する情報など)を、端末装置70に報知することができる。このため、報知情報を受け取った管理者(例えば、1人暮らしのユーザの家族、専門の介護機関、専門の警備会社、公共機関など)は、ユーザに対する適切な対処を講じることができる。
《1−4》変形例
上記説明では、開閉検出部22を冷蔵室11に設けた場合を説明したが、冷蔵室11以外の貯蔵室に開閉検出部を設けてもよく、又は、複数の貯蔵室に扉の開閉検出部を設置してもよい。例えば、比較的頻繁に購入される(購入の間隔が短い)野菜が収納される野菜室15に開閉検出部を設置すれば、野菜室15の扉の開閉情報(開閉履歴)から、ユーザの生活状況の内の買い物の頻度を把握することができ、野菜室15の扉の開閉履歴を利用すれば、ユーザの安否状況の確認の精度を高めることができる。また、例えば、冷凍室14に開閉検出部を設置すれば、冷凍室14の使用状況からユーザの偏食の程度(冷凍食品への依存度)を取得することが可能である。
《2》実施の形態2
《2−1》構成
図6は、本発明の実施の形態2に係る冷蔵庫2の冷蔵室11の概略構造(図1を線分II−IIで切る断面構造)を示す断面図である。図6において、図2に示される構成要素と同一又は対応する構成要素には、図2に示される符号と同じ符号が付される。図6に示される冷蔵庫2は、冷蔵室11の内部の温度を検出する温度検出装置である温度検出部26を有する点、及び制御部(図7における200)による制御の内容の点において、図2に示される冷蔵庫1と異なる。
また、図7は、実施の形態2に係る冷蔵庫2の制御系の構成を概略的に示すブロック図である。図7において、図3に示される構成要素と同一又は対応する構成要素には、図3に示される符号と同じ符号が付される。図7に示される冷蔵庫2の制御系は、温度検出部26を有する点、及び、制御部200による制御の内容において、図3に示される冷蔵庫1の制御系と異なる。他の点については、実施の形態2に係る冷蔵庫2は、実施の形態1に係る冷蔵庫1と同じである。
また、図8は、図7の制御部200の構成を概略的に示すブロック図である。図8に示されるように、制御部200は、冷蔵庫2の第1の情報の検知を行う状況検知部201と、ユーザによる冷蔵庫2の使用状況を示す第2の情報を取得する状況取得部202と、取得された使用状況から取得されるユーザの生活状況が要報知状況であるか否かを判断する生活管理部203とを備えている。また、通信部23、記憶部24、及び時刻提供部25は、制御部200の一部であってもよい。状況検知部201は、冷蔵庫2の本体に設置された開閉検出部22、温度検出部26、及び状況取得部202と接続されている。
実施の形態2においては、状況検知部201は、開閉検出部22によって検出された扉20の開閉情報(開閉履歴)と、温度検出部26によって検出された冷蔵室11内の温度履歴とを受信し、扉20の開閉が実施された時刻と、温度変動が発生した時刻情報とを状況取得部202に送信する。すなわち、実施の形態2においては、状況検知部201は、食品が収納されている冷蔵室11に関する第1の情報として、温度検出部26によって検出された温度情報を直接的に検知して、状況取得部202に送信する。
実施の形態2においては、状況検知部201と接続されている状況取得部202は、状況検知部201から、扉20の開閉情報(開閉履歴)と時刻情報及び冷蔵室11内の温度情報(温度履歴)と時刻情報で構成される、冷蔵室11内の空気の状態の一例である空気の温度(貯蔵室内の状態)を第1の情報として受信し、扉20の開閉履歴に基づくユーザによる冷蔵庫の使用状況だけでなく、ユーザによる設定温度変更などの使用状況、扉20の開閉に起因する温度上昇及び扉20の開閉時の負荷変動などの貯蔵室内の空気の温度への影響因子も取得することができる。このように、実施の形態2における状況取得部202は、扉20の開閉履歴と庫内(貯蔵室内)の空気の温度履歴とに基づいて、ユーザによる冷蔵庫2の使用状況を取得し、その取得結果を生活管理部203に送信する。
実施の形態2においては、生活管理部203は、状況取得部202から、扉20の開閉履歴と貯蔵室内の温度履歴とに基づくユーザによる冷蔵庫の使用状況の取得結果を受信し、例えば、ユーザの設定温度の状況、負荷変動に基づく買い物の傾向など、ユーザの生活状況を取得する。その後の処理は、実施の形態1の場合と同様に、生活管理部203が、取得されたユーザの生活状況の中で管理者に報知すべき情報を分類して、報知情報を通信部23を介して冷蔵庫2を使用するユーザ以外の者(第三者である管理者)が使用する端末装置70に送信し、報知情報を表示部71に表示させる。
制御部200は、記憶部24に記憶されているソフトウェアとしてのプログラムを実行する情報処理装置としてのプロセッサを有してもよい。この場合には、制御部200の機能は、このプログラムを実行することによって、実現される。
《2−2》動作
次に、実施の形態2に係る冷蔵庫2の動作の一例について、図6から図8を参照して説明する。なお、以下の説明は、実施の形態1との相違点を中心に行われる。
ユーザが冷蔵庫2を使用する際には、扉20を開閉する動作が発生し、また、この扉20の開閉に伴って、貯蔵室内の空気の一部が庫外の空気と入れ換わるため、貯蔵室内の温度は変化する(一般的に上昇する)。このとき、温度の変動幅は、扉20の開閉時のユーザの動作によって変動する。例えば、扉20の開時間が長いほど、また、収納した食品の熱負荷が大きいほど、貯蔵室内の温度は上昇する。したがって、扉20の開閉とともに貯蔵室内の温度を検出することにより、冷蔵庫2が使用されているときの動作内容をより正確に取得することができる。
図6に示される冷蔵室11の例では、扉20が開閉されると、開閉検出部22によって検出された扉20の開信号又は閉信号が状況検知部201に送信され、状況検知部201において、時系列データとして扉20の開閉履歴が生成される。このとき、扉20の開閉の有無に関係なく、温度検出部26によって検出された冷蔵室11内の空気の温度は、状況検知部201に送信されており、状況検知部201において時刻情報と合わせることにより、時系列データとして温度履歴が生成される。したがって、扉20が開閉されたときには、扉20の開閉を示す信号と貯蔵室内温度を示す信号の両方が状況取得部202に送信される。
状況取得部202は、状況検知部201から送信された、扉20の開閉履歴と冷蔵室11内の温度履歴の時系列データから、冷蔵室11の使用状況を示す第2の情報を取得する。具体的には、状況取得部202は、開閉履歴から検出された扉20の開閉動作において、温度履歴においてどの程度の温度上昇が発生したか、すなわち、ユーザが与えた冷却負荷に関する使用状況を取得し、且つ、温度履歴から検出された温度上昇が、扉20の開閉動作によるものなのか、或いは、ユーザの設定温度変更によるものなのかを判断するなど、ユーザの温度設定に関する使用状況を取得する。
図9(a)から(c)は、実施の形態2に係る冷蔵庫2の冷蔵室11(貯蔵室内)における温度履歴(温度変化)の例を示す図である。図9(a)から(c)は、図5(b)で示される扉20の開閉履歴のように開閉動作が発生した際の、9月23日から9月25日までの3日間連続して測定した温度履歴35を示している。図9(a)は、9月23日の貯蔵室の温度変化を示し、図9(b)は、9月24日の貯蔵室の温度変化を示し、図9(c)は、9月25日の貯蔵室の温度変化を示している。
実施の形態2における状況取得部202は、図5(b)に示される扉20の開閉回数Nの履歴と、図9(a)から(c)に示される温度履歴35から、ユーザによる冷蔵庫の使用状況を取得する。例えば、図5(b)において、9月23日(祝日)の「真夜中」(0時から6時)、「日中の午前」(6時から12時)、及び「日中の午後」(12時から18時)に検出された扉20の開閉に対応した温度上昇が、それぞれ図9(a)の温度履歴35において、それぞれを0時から1時付近、6時から8時付近、及び18時から21時付近にて検出されている。同様に、9月24日(木曜日)において全日にわたって検出された扉20の開閉に対しては、3時付近、6時から8時付近、及び19時から22時付近に、明確な温度上昇が検出されている。しかし、9月24日(木曜日)の「日中の午後」(12時から18時)、及び9月25日(金曜日)の「真夜中」(0時から6時)に検出された扉20の開閉に対しては、図9(b)及び(c)の温度履歴35には特に大きな温度上昇は見られず、短時間(一瞬)の扉20の開閉であったことが考えられる。また、扉20の開閉が検出されていない9月25日(金曜日)の6時以降については、図9(c)の温度履歴35においても温度上昇は見られず、むしろ温度が低下し、12時以降には0℃以下にまで到達していることが示されている。
このように扉20の開閉回数Nの履歴と温度履歴35とを比較することにより、実施の形態2における状況取得部202は、ユーザによる冷蔵庫の使用状況を取得することができる。すなわち、温度履歴35から扉20の開閉動作の正確な実施時刻又は扉開時間が取得することができ、扉20の開閉動作の内容を取得するのに必要な情報を抽出することができる。また、図9(c)の温度履歴35に示された温度低下のように、冷蔵室11内の保管温度も含む使用状況を取得することができる。
次に、実施の形態2における生活管理部203は、扉20の開閉履歴と温度履歴とに基づいて、状況取得部202において取得されたユーザによる冷蔵庫1の使用状況を受信し、その使用状況に基づいて生活状況を取得(推定)する。図5(a)及び(b)の扉20の開閉履歴と図9(a)から(c)の温度履歴を組み合わせた例では、9月23日(祝日)は、扉20の開閉履歴からは、昼食と夕食とは外食であったという生活状況が取得される。しかし、図9(a)の温度履歴から「夜」に頻繁に扉20が開閉されていることが示されているので、図9(a)からは、夕食は家で摂ったという状況が取得される。
また、扉20の開閉履歴により、ほぼ終日在宅していたと推定される9月24日(木曜日)については、図9(b)の温度履歴から、昼間の12時付近における扉20の開閉は一瞬のものであり、昼食の調理はしていない、或いは、外食した可能性もあるということが推定される。扉20の開閉履歴により、朝6時以降全く冷蔵庫1が使用されていない9月25日(金曜日)については、温度が徐々に低下しているという状況から、ユーザが設定温度を下げたか、或いは、設定温度に対して庫内負荷が小さすぎるという、新たな状況が発生した可能性も考えられる。
生活管理部203は、実施の形態1と同様に、開閉履歴から取得したユーザの生活状況の中で、貯蔵室の温度履歴を参照して、生活状況が管理者に報知すべきと要報知状況であるか否かを判断(分類)する。図5(b)の扉20の開閉履歴のみの例では、9月25日(金曜日)における、ほぼ1日の間、全く扉20の開閉されない使用状況を、ユーザの健康上の問題又は犯罪に関連した状況と判断した場合に、通信部23を介して、冷蔵庫2を使用するユーザ以外の管理者が使用する端末装置70に安否関連情報として報知する。しかし、実施の形態2においては、生活管理部203は、図9(c)に示される温度履歴と組み合わせることにより、扉20の開閉がなくても、ユーザが設定温度を変更したと判断した場合などの報知情報を送信しないことができる。また、生活管理部203は、冷却負荷に対して設定温度が低すぎると判断した場合には、食生活関連情報として、食品が凍結するかも知れないことを通知する凍結リスクの報知を行うことができる。
《2−3》効果
以上に説明したように、実施の形態2に係る冷蔵庫2によれば、冷蔵庫2の第1の情報である扉の開閉回数の検知の結果と温度検出部26によって検出された冷蔵室11の温度履歴とから取得された冷蔵庫2の使用状況に基づいて、冷蔵庫2のユーザの生活状況が管理者に報知されるべき要報知状況であるか否かを判断し、生活状況が要報知状況であると判断した場合に、ユーザの生活状況を示す報知情報(安否に関する情報、防犯に関する情報、不適切な食生活に関する情報など)を、端末装置70に報知することができる。このため、報知情報を受け取った管理者(例えば、1人暮らしのユーザの家族、専門の介護機関、専門の警備会社、公共機関など)は、ユーザに対する適切な対処を講じることができる。
また、温度履歴を状況検知部201において検知される第1の情報に反映することにより、扉20の開閉履歴のみで生活状況を取得する場合に比べ、扉20の開閉時の動作内容、ユーザによる設定温度変更動作、及び貯蔵室の負荷状況なども含むより多くの情報に基づいて、冷蔵庫2のユーザの生活状況を取得することができる。その結果、管理者に報知される、ユーザの安否情報、防犯関連情報、食生活関連情報などの生活状況についての推定の精度が向上し、管理者への報知が必要ではない状況であるにもかかわらず、報知情報を送信するといった事態を回避することができる。
《2−4》変形例
上記説明では、状況検知部201において、開閉検出部22による扉20の開閉履歴と温度検出部26による温度履歴の両方の情報に基づいて、冷蔵室11内の貯蔵室内の空気の温度を検知する例を説明したが、状況検知部201は、温度検出部26による温度履歴の情報のみにより、冷蔵室11内の第1の情報を検知してもよい。図9(a)から(c)に示されるように、温度履歴35には扉20の開閉による温度上昇の情報も含まれるため、温度検出部26にて開閉検出部22を代用することにより、装置として温度検出部26を追加するだけで、開閉検出部22を追加する場合と比較し、より多くのユーザの生活状況を取得することが可能となる。
また、上記説明では、温度検出部26を冷蔵室11に備えた場合を例示したが、他の貯蔵室に温度検出部を備え、この温度検出部の検出結果に基づいて、冷蔵庫2の制御を行ってもよい。
《3》実施の形態3
《3−1》構成
図10は、本発明の実施の形態3に係る冷蔵庫3の冷蔵室11の概略構造(図1を線分II−IIで切る断面構造)を示す断面図である。図10において、図2及び図6に示される構成要素と同一又は対応する構成要素には、図2及び図6に示される符号と同じ符号が付される。図10に示される冷蔵庫3は、冷蔵室11の内部を撮影するカメラである撮影装置27を有する点において、図6に示される冷蔵庫2と異なる。
また、図11は、実施の形態3に係る冷蔵庫3の制御系の構成を概略的に示すブロック図である。図11において、図3及び図7に示される構成要素と同一又は対応する構成要素には、図3及び図7に示される符号と同じ符号が付される。図11に示される冷蔵庫3の制御系は、撮影装置27を有する点、及び、制御部300の制御の内容の点において、図7に示される冷蔵庫2の制御系と異なる。他の点については、実施の形態3に係る冷蔵庫3は、実施の形態2に係る冷蔵庫2と同じである。
また、図12は、図11の制御部300の構成を概略的に示すブロック図である。図12に示されるように、制御部300は、撮影装置27によって生成された画像データを管理する食品管理部304と、冷蔵庫3の第1の情報の検知を行う状況検知部301と、ユーザによる冷蔵庫3の使用状況を取得する状況取得部302と、取得された使用状況からユーザの生活状況が要報知状況であるか否かを判断する生活管理部303とを備えている。また、通信部23、記憶部24、及び時刻提供部25は、制御部300の一部であってもよい。状況検知部301は、冷蔵庫3の本体に設置された開閉検出部22、温度検出部26、及び状況取得部302と接続されている。状況取得部302は、状況検知部301及び生活管理部303と接続されている。生活管理部303は、状況取得部302及び通信部23と接続されている。
図10に示されるように、実施の形態3に係る冷蔵庫3は、扉20の内面に画像を撮影する撮影装置27が設置されている。撮影装置27は、冷蔵室11の天井面からチルド室17までの冷蔵室11の内部の全域を視野範囲とし、ユーザの視点と同じく、扉20の側から(冷蔵室11の全面の開口部位置から)冷蔵室11の内部を撮影することができる構成であることが望ましい。したがって、撮影装置27から出力される画像データは、冷蔵室11の内部の全体を含む全体画像データであることが望ましい。
なお、撮影装置27の設置位置は、扉20の内面に限られない。撮影装置27は、冷蔵室11の棚板16に載置される食品などの収納物を広範囲に撮影することができる位置であれば、他の位置に設置されてもよい。また、冷蔵室11の棚板16に視野を遮られることを考慮して、より多くの収納物を撮影することができるように、冷蔵室11の内部を撮影する複数の撮影装置27を設置してもよい。
また、冷蔵庫3の背面に設置された制御基板310には、制御部300が実装されており、食品管理部304は、撮影装置27、及び状況検知部301に接続されている。食品管理部304は、撮影装置27によって撮影された冷蔵室11内の画像(貯蔵室内画像)から食品画像を抽出し、抽出された食品画像から、食品の入庫又は出庫を判別したうえで、食品の入庫及び出庫の情報(食品画像を含む)を時系列に記憶する。記憶された食品画像は、状況検知部301に送信されるので、制御部300は、冷蔵室11内に収納された食品の画像と、その入出庫履歴を含む食品画像情報を、状況検知部301において検知する第1の情報に反映させることができる。なお、食品管理部304に記憶される食品画像のデータは、他の記憶部(例えば、記憶部24)に記憶してもよい。
したがって、実施の形態3における状況検知部301は、開閉検出部22によって検出された扉20の開閉履歴、温度検出部26によって検出された冷蔵室11内の温度履歴、及び撮影装置27によって撮影された貯蔵室内画像から抽出され記憶された入出庫履歴を含む食品画像情報を受信し、扉20の開閉履歴及び温度履歴とともに、冷蔵室11内に収納されている食品に関する画像情報を状況取得部302に送信する。このように、実施の形態3における状況検知部301は、食品が収納されている冷蔵室11内の空気の温度だけでなく、収納されている食品そのものの情報も検知して送信する。
実施の形態3における状況取得部302は、状況検知部301から、扉20の開閉履歴と時刻情報及び冷蔵室11内の温度履歴と時刻情報で構成される、冷蔵室11内における空気の温度と、収納されている食品そのものの情報とを、第1の情報として受信し、冷蔵室11内の空気の温度だけでなく、保管されている食品の状況から、ユーザによる冷蔵庫3の使用状況を取得することができる。このように、実施の形態3における状況取得部302は、扉20の開閉履歴と貯蔵室温度履歴だけでなく、保管されている食品の状況に基づいてユーザによる冷蔵庫3の使用状況を取得し、その取得結果を生活管理部303に送信する。
実施の形態3における生活管理部303は、状況取得部302から、扉20の開閉履歴と貯蔵室温度履歴、及び保管されている食品の状態に基づいたユーザによる冷蔵庫3の使用状況の取得結果を受信し、例えば、時間帯による食品の出し入れ傾向、扉20の開閉時の収納量(負荷)変動の要因となる買い物の傾向、温度変動と収納状態の相関などのような、ユーザの生活状況を取得する。その後、生活管理部303は、実施の形態1及び2の場合と同様に、取得したユーザの生活状況が管理者に報知すべき要報知状況を含んでいるか否かを判断し、要報知状況を含んでいる場合には、報知情報を通信部23を介して冷蔵庫3を使用するユーザ以外の管理者に使用権限が与えられている端末装置70に送信し、報知情報を表示部71に表示させる。
なお、制御部300は、記憶部24に記憶されているソフトウェアとしてのプログラムを実行する情報処理装置としてのプロセッサを有してもよい。この場合には、制御部300の機能は、このプログラムを実行することによって、実現される。
《3−2》動作
次に、実施の形態3に係る冷蔵庫3の動作の一例について、図10から図13を参照して説明する。図13は、冷蔵庫3の扉20が開閉される毎に行われる動作を示すフローチャートである。
実施の形態1において説明したように、ユーザが冷蔵庫3を使用する際には、扉を開閉するという動作が発生し、また、扉20の開閉に伴って第1の情報の変化、すなわち貯蔵室の温度及び貯蔵室に収納された食品の状態が変化する。したがって、扉20の開閉をトリガ(契機)として第1の情報を検知し、この検知結果に基づいてユーザによる冷蔵庫の使用状況を取得し、この使用状況から生活状況を取得することができる。
図13に示される動作は、扉20の開閉によって開始される。扉20の開閉が検知されると(ステップS11においてYES)、撮影装置27が、冷蔵室11の貯蔵室を撮影する(ステップS12)。
撮影装置27は、撮影した冷蔵室11の貯蔵室内画像(望ましくは、貯蔵室全体の画像)を、食品管理部304に送信する(ステップS13)。したがって、食品管理部304は、扉20が開閉される毎(すなわち、冷蔵室11内の収納状態が変化する可能性がある毎)に、撮影装置27から貯蔵室内画像を受信する。以下の説明では、今回(最新)の扉20の開閉時を「今回の扉20の開閉時」と称し、前回(1回前)の扉20の開閉時を「前回の扉20の開閉時」と称する。
食品管理部304は、前回の扉20の開閉時に撮影装置27から受信した貯蔵室内画像を記憶しており、今回の扉20の開閉時に撮影装置27から受信した貯蔵室内画像を新たに記憶する。そして、前回と今回の扉20の開閉時の貯蔵室内画像の差分を演算することにより、庫内画像の変化部分の画像を抽出する(ステップS14)。庫内画像の変化部分の画像とは、入庫又は出庫された食品の画像である。
例えば、前回の扉20の開閉時の貯蔵室内画像では、冷蔵室11の棚板16にビールが置かれており、今回の扉20の開閉時の貯蔵室内画像では、同じ場所にビールが置かれていない棚板16のみである場合には、2つの貯蔵室内画像の差分により、ビールの食品画像が抽出される。食品管理部304は、このようにして抽出した食品画像を、その抽出を行った時点での現在時刻である時刻情報に基づいて時系列に並び換え、時刻情報を付帯情報とし、食品画像とともに保存する(ステップS15)。
このとき、食品管理部304は、食品の入庫又は出庫の判断を行う。具体的には、食品管理部304は、食品画像を抽出する際に差分により変化した部分を分析し、例えば、エッジ処理して得られたエッジの変化量、及び、予め記憶した空状態(冷蔵室11内に食品が全く収容されていない状態)の貯蔵室内画像との比較により、食品の入庫又は出庫を判断する。そして、食品管理部304は、入庫又は出庫の判断結果(入出庫識別情報)を食品画像の付帯情報に追加して保存する(ステップS16)。
さらに、食品管理部304は、食品画像及び付帯情報(時刻情報及び入出庫識別情報)を、状況検知部301に送信する(ステップS17)。ここで、ステップS12からステップS17の、冷蔵室11の貯蔵室内画像を撮影してから、食品画像及び付帯情報を状況検知部301に送信するまでの一連の動作は、ステップS11にて扉20の開閉が検知される度に実施される。
図14(a)から(d)は、実施の形態3に係る冷蔵庫3の冷蔵室11の撮影画像、撮影画像から抽出された食品画像、及び食品画像の付帯情報の一例を示す図である。図14(a)から(d)には、扉20の開閉時に、撮影装置27によって撮影されて食品管理部304に送信される撮影データ(貯蔵室内画像)と、貯蔵室内画像から抽出された食品画像と、その付帯情報(時刻情報及び入出庫識別情報)とが示されている。
図14(a)は、時刻Aにおいて、撮影装置27で撮影されて食品管理部304に送信される貯蔵室内画像を示す。時刻Aでは、扉20は開閉されたが、食品の入庫及び出庫は行われていない。時刻Aとそれ以前とでは、貯蔵室内画像に変化がないため、食品管理部304では、差分画像(食品画像)が生成されない。
図14(b)は、時刻Bにおいて、撮影装置27で撮影されて食品管理部304に送信される貯蔵室内画像と、貯蔵室内画像から抽出された食品画像と、その付帯情報とを示す。時刻Bでは、冷蔵室11の最上段の冷蔵室棚板からビールが出庫している。食品管理部304は、時刻A,Bの貯蔵室内画像の差分により食品画像(ビール)82bを抽出し、また、入庫又は出庫の判断結果に基づき、食品画像と共に、時刻情報(時刻B)83b及び「出庫」という入出識別情報84bを保存する。なお、図示の便宜上、図14(b)に示される食品画像(差分画像)には冷蔵室棚板も示されているが、実際の食品画像には冷蔵庫棚は無く、ビールのみである。
図14(c)は、時刻Cにおいて、撮影装置27で撮影されて食品管理部304に送信される貯蔵室内画像と、貯蔵室内画像から抽出された食品画像と、その付帯情報とを示す。時刻Cでは、冷蔵室11の最下段の冷蔵室棚板からサラダが出庫している。食品管理部304は、時刻B,Cの貯蔵室内画像の差分により食品画像(サラダ)82cを抽出し、また、入庫又は出庫の判断結果に基づき、食品画像と共に、時刻情報(時刻C)83c及び「出庫」という入出識別情報84cを保存する。
図14(d)は、時刻Dにおいて、撮影装置27で撮影されて食品管理部304に送信される貯蔵室内画像と、貯蔵室内画像から抽出された食品画像と、その付帯情報とを示す。時刻Dでは、冷蔵室11の最上段の冷蔵室棚板上に牛乳が入庫し、さらに、最下段の冷蔵室棚板上にケーキが入庫している。食品管理部304は、時刻C,Dの貯蔵室内画像の差分により食品画像(牛乳及びケーキ)82d1,82d2を抽出し、また、入庫又は出庫の判断結果に基づき、食品画像と共に、時刻情報(時刻D)83d1,83d2及び「入庫」という入出識別情報84d1,84d2を保存する。
このように、食品管理部304は、食品画像を、時刻情報及び入出庫識別情報と共に保存しているため、扉20の開閉動作の度に、冷蔵室11内の食品の収納状況、及び冷蔵室11における出し入れの状況を把握することができ、それらの情報を画像情報として状況検知部301に送信する。
実施の形態3においては、状況検知部301は、食品管理部304から受信した食品画像情報を、扉20の開閉履歴及び温度履歴とともに状況取得部302に送信する。状況取得部302では、実施の形態3において、扉20の開閉履歴及び温度履歴に関する情報に加え、収納されている食品そのものの画像情報を得られるため、例えば、扉20の開閉及び温度履歴の少なくとも一方に変化があった際に、同時に入庫又は出庫した食品の画像も、使用状況として確認することができる。
生活管理部303は、状況取得部302において取得された、扉20の開閉履歴と温度履歴に食品画像情報を組み合わせたユーザによる冷蔵庫の使用状況により、例えば、調理に使用した食品を画像情報として確認し、生活状況を取得することができる。また、生活管理部303は、扉20の開閉履歴と温度履歴からは、温度が徐々に低下しているという状況が、ユーザが設定温度を下げたことに起因する状況であるのか、設定温度に対して貯蔵室負荷が小さ過ぎることに起因する状況であるのかを判断することができない。しかし、生活管理部303は、食品画像から貯蔵室負荷を取得することができるので、食生活関連情報として、食品が凍結する可能性があること(凍結リスク)などの報知を端末装置70に実施する必要性を判断することができる。
また、実施の形態3においては、冷蔵室11内に収納されている食品について、食品管理部304は、付帯情報(時刻情報及び入出庫識別情報)と共に保存した食品画像のデータを、時系列に、或いは、入庫又は出庫に分割して保存している。このため、ユーザ本人の端末だけでなく、端末装置70も同じ情報を送信することができるので、ユーザだけでなく管理者も表示画面を視認することにより、冷蔵室11内に収納されている食品の状況を把握することができる。
図15(a)及び(b)は、実施の形態3に係る冷蔵庫3の携帯端末における、撮影画像から抽出された食品画像の表示画面の一例を示す図である。図15(a)に示される表示画面(タイムライン表示画面)では、扉20が開閉される毎に貯蔵室内画像から抽出された食品画像42と、その食品画像に付帯する時刻情報43及び入出庫識別情報44とを、時系列に並べて表示している。この例では、画面中央に、時刻情報(撮影時刻情報)43が新しいものから順に、食品画像42が上から並べられており、それぞれの食品画像の左側に時刻情報43、右側に入出庫識別情報44を表示している。また、画面上側には対象とする貯蔵室(この例では、冷蔵室)とその設定温度、及び現在時刻も表示されている。
図15(a)に示されるタイムライン表示画面では、例えば、対象とする食品について時間を遡って検索し、消費期限又は賞味期限を取得することができるので、食生活関連情報として、当該食品の消費期限又は賞味期限を報知して消費を促すことにより、食品を無駄に廃棄することを防止することができる。
図15(b)に示される表示画面(入出庫リスト表示画面)は、入庫と出庫とで左右の欄に分割し、それぞれの欄に食品画像と時刻情報とを時系列に表示(リスト表示)している。すなわち、左側の欄には、入出庫識別情報54が「入庫」となっている食品画像52及びその時刻情報(すなわち、入庫時刻)53を、入庫時刻53が新しいものから順に上から並べて表示している。右側の欄には、入出庫識別情報54が「出庫」となっている食品画像52及びその時刻情報(すなわち、出庫時刻)53を、出庫時刻53が新しいものから順に並べて表示している。
図15(b)に示される入出庫リスト表示画面では、対象とする食品の入庫及び出庫の履歴から、その食品の現在の残量を取得することができるので、食生活関連情報として、端末装置70に食品の残量を報知することにより、遠隔地、例えば、買い物先において、家族又はヘルパーが表示部71を確認することにより、無駄な食材の購入、食材の買い過ぎ、及び食材の買い忘れを防止することが可能となる。
図16は、実施の形態3に係る冷蔵庫3の携帯端末における、撮影画像から抽出された食品画像の表示画面の別の例を示す図である。食品管理部304は、自ら保存している食品画像(すなわち、扉20の開閉毎に抽出された食品画像)62と、その付帯情報である時刻情報及び入出庫識別情報とから、ある時点で冷蔵室11内に収納されている(入出庫識別情報が「出庫」でない)食品画像を特定し、図16に示されるように、在庫食品画像の一覧を、在庫食品一覧表示画面として表示する。なお、この例では、図15(a)及び(b)とは異なり、時刻情報を基に、入庫時刻が古いものから順に、食品画像が上から並べられている。
図16に示される在庫食品一覧表示画面では、ある時点での在庫食品画像の一覧が表示されるため、図15(b)で示されるリスト表示よりもさらに明確に、食生活関連情報として食品の残量一覧が報知されることにより、冷蔵室11内に収納されている食品を把握することができるため、無駄な食材の購入、食材の買い過ぎ、及び食材の買い忘れを防止できるという効果が一層期待できる。また、入庫時刻が古いものから順に、上から食品画像が並べられているので、古い食品、すなわち「早期に消費する必要がある」食品を発見しやすくなり、食品の廃棄を抑制することが可能となる。
なお、図15(a)及び(b)及び図16に示される、表示部71の画面上側には、対象とする貯蔵室(この例では、冷蔵室)とその設定温度、及び現在時刻が表示されているが、設定温度の他に、開閉検出部22によって検出された、所定期間における扉20の開閉回数、又は、温度検出部26によって検出された、冷蔵室11内の温度を表示してもよい。
《3−3》効果
以上に説明したように、実施の形態3に係る冷蔵庫3よれば、撮影装置27によって撮影された貯蔵室内画像から抽出された食品画像と、その入出庫履歴を含む食品画像情報を、状況検知部301において検知される第1の情報に反映することにより、扉20の開閉履歴及び温度履歴によって取得される、貯蔵室内の空気の温度に基づいた生活状況だけでなく、食品画像情報から取得される食品そのものの保管状態に基づいた生活状況を取得することができるという効果が得られる。その結果、特に食品の使用期限又は残量などの食生活関連情報に関する生活状況について、管理者に報知することができる情報が増加するという効果が得られる。
なお、状況検知部301は、開閉検出部22による扉20の開閉履歴及び温度検出部26による温度履歴に、撮影装置27によって撮影された貯蔵室内画像から抽出された食品画像情報を追加して、冷蔵室11の第1の情報を検知する例を説明した。しかし、状況検知部301は、撮影装置27に基づく食品画像情報のみにより、第1の情報を検知してもよい。食品画像情報のみによっても、食品そのものの保管状態に基づいた生活状況を取得することができるので、食品の使用期限又は残量などの食生活関連情報を報知することが可能であり、また、図15(a)及び(b)に示されるような入出庫履歴を検知することができれば、ユーザの使用履歴、すなわち安否関連情報も報知することが可能である。また、状況検知部301は、撮影装置27に基づく食品画像情報と開閉履歴のみにより、第1の情報を検知してもよいし、又は、撮影装置27に基づく食品画像情報と温度履歴のみにより、第1の情報を検知してもよい。
《4》実施の形態4
《4−1》構成
図17は、本発明の実施の形態4に係る冷蔵庫4の冷蔵室11の概略構造(図1を線分II−IIで切る断面構造)を示す断面図である。図17において、図2、図6、及び図10に示される構成要素と同一又は対応する構成要素には、図2、図6、及び図10に示される符号と同じ符号が付される。図17に示される冷蔵庫4は、制御基板410の制御部400の点において、図10に示される冷蔵庫3と異なる。
また、図18は、実施の形態4に係る冷蔵庫4の制御系の構成を概略的に示すブロック図である。図18において、図3、図7、及び図11に示される構成要素と同一又は対応する構成要素には、図3、図7、及び図11に示される符号と同じ符号が付される。図18に示される冷蔵庫4の制御系は、制御部400の制御の内容において、図11に示される冷蔵庫3の制御系と異なる。他の点については、実施の形態4に係る冷蔵庫4は、実施の形態3に係る冷蔵庫3と同じである。
また、図19は、図18の制御部400の構成を概略的に示すブロック図である。図19に示されるように、制御部400は、撮影装置27によって生成された画像データを管理する食品管理部404と、冷蔵庫4内の食品の状況を示す第1の情報の検知を行う状況検知部401と、ユーザによる冷蔵庫4の使用状況を示す第2の情報を取得する状況取得部402と、取得された第2の情報が示す使用状況から、ユーザの生活状況が要報知状況であるか否かを判断する生活管理部403とを備えている。さらに、制御部400は、食品識別部405と情報記憶部406とを備えている。
食品識別部405は、状況検知部401、食品管理部404及び情報記憶部406と接続されている。食品識別部405は、食品管理部404において抽出された食品画像及び付帯情報(時刻情報及び入出庫識別情報)を受信し、貯蔵室(ここでは、冷蔵室11)内に収納されている食品の種類及び量を識別する。このとき、食品識別部405は、食品の種類などを識別するために、情報記憶部406に記憶されている情報を参照する。食品識別部405は、食品管理部404から受信した、それぞれの食品画像についての時刻情報及び入出庫識別情報に、識別結果(食品の種類及び量情報)を付帯情報として追加し、状況検知部401に送信する。
情報記憶部406は、食品識別部405と接続されている。情報記憶部406は、食品の種類のそれぞれについて、当該食品の種類を他の食品の種類と区別することができるための特徴的な属性、例えば、食品の形状、大きさ、色及び外装ラベルの少なくとも1つを、食品の種類のそれぞれに対応付けた参照情報として記憶している。
図20は、情報記憶部406に記憶されている、具体的な情報の一例(食品画像データベース)を示す図である。ここでは、当該食品の種類に属する食品自体又は当該食品が入った容器の特徴量を、当該食品の種類に対応付けて記憶しており、具体的には、各食品の種類について、形状(輪郭)、長軸の大きさ、代表色(赤緑青(RGB)値)、及びラベル(文字)などの情報を特徴量としている。
なお、情報記憶部406に記憶する食品の種類毎の形状としては、ここで例に挙げた輪郭の他、例えば、当該食品の外形に最も近い幾何学的形状(例えば、円柱、台形など)としてもよい。この場合、食品識別部405による識別においては、例えば、パターンマッチングなどの手法により情報記憶部406に記憶されている形状との照合を行う。また、色については、代表色のRGB値の他、例えば、明度、彩度などの他の指標値を用いるようにしてもよい。
制御部400は、記憶部24に記憶されているソフトウェアとしてのプログラムを実行する情報処理装置としてのプロセッサを有してもよい。この場合には、制御部400の機能は、このプログラムを実行することによって、実現される。
《4−2》動作
次に、実施の形態4の冷蔵庫4の動作の一例について、図17から図21を参照して説明する。図21は、冷蔵庫4の扉20が開閉される毎に行われる動作を説明するためのフローチャートである。図21において、図13に示されるステップと同一又は対応するステップには、図13に示されるステップ番号と同じステップ番号が付される。
図21に示される動作において、扉20の開閉から開始し、食品管理部404が、前回と今回の扉20の開閉時の貯蔵室内画像の差分を演算することにより、貯蔵室内画像の変化部分の画像を食品画像として抽出し、また、食品の入庫又は出庫を判断し、食品画像と共に、時刻情報及び入出庫識別情報を付帯情報として保存する(ステップS16)までは、図13に示される実施の形態3の動作と同一である。実施の形態3においては、食品管理部404は、これら食品画像及び付帯情報を状況検知部401に送信したが、実施の形態4においては、まず食品識別部405に送信する(ステップS21)。
食品識別部405は、図20の例に示されるような情報記憶部406に記憶されている情報を参照しながら、食品管理部404から受信した食品画像に基づいて、貯蔵室(ここでは、冷蔵室11)内に収納されている食品の種類及び量を識別する(ステップS22)。この識別においては、食品識別部405は、食品管理部404により抽出された個々の食品の画像について、情報記憶部406に記憶されている食品の種類のうち、どの食品の種類の特徴量と合致するかを照合する。
そして、個々の食品の画像と合致する情報記憶部406に記憶されている特徴量があった場合、当該画像の食品の種類は、情報記憶部406においてこの合致した特徴量に対応付けられている種類であると、食品識別部405は判断する。なお、情報記憶部406に特徴量が合致するデータがない場合、当該画像の食品の種類を、最も類似する食品の種類で代替するか、或いは、当該画像の食品は種類不明の収納物として大きさだけを識別するようにしてもよい。
食品識別部405は、食品管理部404から受信した食品画像、及びそれぞれの食品画像についての時刻情報及び入出庫識別情報に、このようにして識別した食品の種類及び量情報を付帯情報として追加し(ステップS23)、実施の形態3と同様に状況検知部401に送信する(ステップS17)。
状況検知部401で受信する食品画像情報には、実施の形態4においては、実施の形態3と比較して、付帯情報として食品の種類及び量情報が追加されている。したがって、状況取得部402では、実施の形態4において、収納されている食品そのものの画像だけではなく、その種類及び量の情報も得られるため、例えば、扉20の開閉及び温度履歴の少なくとも一方に変化があった際に、同時に入庫又は出庫した食品の種類又は量も、使用状況として確認することができる。
生活管理部403では、実施の形態4において、状況取得部402において、食品画像情報に食品の種類及び量情報を追加して取得されたユーザによる冷蔵庫の使用状況により、例えば、調理に使用した食品の種類又は量を確認し、生活状況を取得することができる。したがって、冷蔵庫4を所有するユーザ以外の管理者が、ユーザの消費傾向を確認することができ、また、予め設定しておくことにより、食生活関連情報として、ユーザの偏食傾向などの情報を受信することが可能となる。
また、冷蔵室11内に収納されている食品について、食品画像だけでなく、食品の種類及び量情報も保存しているので、実施の形態3と同様に、ユーザ本人の端末装置の表示部にはもちろんのこと、ユーザ以外の者(第三者である管理者)の端末装置70の表示部71にも出力することができ、表示画面を視認することにより、冷蔵室11内に収納されている食品の種類及び量を含む在庫状況を把握することができる。
《4−3》効果
以上に説明したように、実施の形態4に係る冷蔵庫4よれば、撮影装置27によって撮影された貯蔵室内画像から抽出された食品画像に、さらにその食品の種類と量の情報を追加して、状況検知部401において検知される食品の状況(第1の情報)に反映し、ユーザによる冷蔵庫の使用状況(第2の情報)を取得することにより、食品そのものの種類及び量の少なくとも一方に基づいて、食生活関連情報として、ユーザの消費傾向を確認し、管理することができるという効果が得られる。また、特に食品の在庫状況及び残量などの食生活関連情報に関する生活状況について、実施の形態3における画像情報よりもさらに詳細に管理者に報知することができるという効果が得られる。
《5》実施の形態5
本発明の実施の形態5においては、実施の形態1から4に係る冷蔵庫のいずれかを含むネットワークシステムを説明する。図22は、実施の形態5に係るネットワークシステムの概略構成を示す図である。図22において、実施の形態1から4で説明された構成要素と同一の構成要素には、実施の形態1から4で用いられた符号と同じ符号が付される。図22に示されるように、実施の形態5に係るネットワークシステムは、宅内システム500と、インターネットによって宅内システム500と通信を行うことができる宅外システム600とを有している。宅内システム500は、冷蔵庫5を有する。冷蔵庫5は、実施の形態1,2,3,4の冷蔵庫1,2,3,4のいずれかである。
図22に示されるように、宅内システム500は、冷蔵庫5、ルームエアコン、給湯器、IH(Induction Heating)クッキングヒータ、電子レンジなどのような家電機器を有している。これらの家電機器及び電力計測装置503は、電灯線502によって系統電源501と接続され、系統電源501から電力が供給される。宅内システム500は、系統電源501から電灯線502を通して各家電機器に供給される電力を計測するための電力計測装置503及び電力計測端子504と、宅内コントローラ505と、ブロードバンドルータ506と、通信装置としての機器通信部515とを有している。
電力計測装置503は、各家電機器に供給される電力(すなわち、各家電機器の消費電力)、並びに、系統電源501から家電機器全体及び電力計測装置503に供給される全電力を計測し、この計測の結果(履歴)を保存することができる。電力計測装置503は、例えば、CT(Current Transformer)などの電力計測端子504によって供給電力を測定する。
家電機器及び電力計測装置503のそれぞれには、通信ネットワークを介して、宅内コントローラ505と通信するための機器通信部515が備えられている。通信ネットワークは、例えば、有線又は無線のLAN(ローカルエリアネットワーク)である。冷蔵庫5などのような家電機器及び電力計測装置503は、それぞれの機器通信部515を介して、宅内コントローラ505と有線又は無線で双方向通信することができる。なお、冷蔵庫5に接続された機器通信部515は、実施の形態1から4で説明された、通信装置としての通信部23と同一の役割を果たす。したがって、冷蔵庫5の通信部23が宅内コントローラ505と直接、有線又は無線で通信可能である場合には、冷蔵庫5についての機器通信部515を備える必要はない。
機器通信部515が有線で通信する機能を有する場合には、機器通信部515は、例えば、シリアルインターフェース又はドライバなどの有線通信モジュールを具備している。機器通信部515が無線で通信する機能を有する場合には、機器通信部515は、Wi−Fi(登録商標)又はBluetooth(登録商標)などの無線通信モジュールを具備している。なお、機器通信部515は、家電機器及び電力計測装置503のそれぞれに内蔵されていてもよいし、家電機器及び電力計測装置503の外部に備えられてもよい。
宅内コントローラ505は、電力計測装置503が計測した家電機器の消費電力及び系統電源501の供給電力の情報を、通信ネットワークを介して電力計測装置503から取得することができる。また、宅内コントローラ505は、家電機器の運転状態の情報を、通信ネットワークを介して取得することができる。そして、宅内コントローラ505は、取得した消費電力及び供給電力並びに運転状態の情報を管理し、必要に応じて、家電機器に対して通信ネットワークを介して制御変更指示(例えば、運転状態の変更の指示)を送信することも可能な構成となっている。
また、宅内コントローラ505は、ブロードバンドルータ506を経由して、宅外システム600のインターネット601に接続される。
インターネット601は、各種電力情報及び天気予報などの環境情報が格納されているクラウドサーバ602に接続される。また、インターネット601は、端末装置70にも接続される。端末装置70は、実施の形態1で説明したものと同様、冷蔵庫5のユーザと異なる管理者に使用権限が与えられている、例えば、スマートフォン、携帯タブレット、携帯電話、パーソナルコンピュータなどのような端末装置である。
クラウドサーバ602は、インターネット601を介して冷蔵庫5及び端末装置70と通信可能に接続された外部サーバである。クラウドサーバ602は、端末装置70について冷蔵庫5への接続権限の有無を認証する個人認証手段603を備えていることが望ましい。
例えば、クラウドサーバ602は、冷蔵庫5のID(識別子)に対して、当該冷蔵庫5への接続権限を有する端末装置70の携帯端末IDを予め記憶している。ここで、冷蔵庫5のIDとは、インターネット601に接続され得る複数の冷蔵庫の各々を一意に識別可能な情報である。また、携帯端末IDとは、インターネット601に接続された複数の携帯端末の各々を一意に識別可能な情報である。
そして、個人認証手段603は、端末装置70の携帯端末IDが、冷蔵庫5に対して当該冷蔵庫5への接続権限を有するものとして記憶されているか否かを確認することで、端末装置70について冷蔵庫5への接続権限の有無を認証する。
外部サーバであるクラウドサーバ602は、個人認証手段603により冷蔵庫5への接続権限を有することを認証した端末装置70が、インターネット601を介して冷蔵庫5へと接続することを許可する。すなわち、クラウドサーバ602は、個人認証手段603により冷蔵庫5への接続権限を有することが認証されていない携帯端末が、インターネット601を介して冷蔵庫5へと接続することを禁止する。
宅内コントローラ505は、宅内システム500において電力計測装置503から家電機器の消費電力又は系統電源501の供給電力を入手し、また、家電機器から運転状態又は周囲環境の情報を入手する。さらに、宅内コントローラ505は、ブロードバンドルータ506を経由してインターネット601に接続しており、クラウドサーバ602から各種電力情報又は環境情報を入手することが可能である。
例えば、宅内システム500の宅内コントローラ505は、宅外システム600のクラウドサーバ602から電力情報として宅内システム500が載置されている地域に関する電力の需給状況を入手することができる。そして、地域の消費電力が供給電力の上限値に迫っている場合には、宅内コントローラ505は、特に消費電力の大きい家電機器に対して節電指示を送信することができる。また、そのような場合に、冷蔵庫5については、貯蔵室の設定温度と実際の温度履歴とから冷却過剰と判断された場合に、宅内コントローラ505から設定温度の上昇を指示することができる。
例えば、宅内システム500の宅内コントローラ505は、宅外システム600のクラウドサーバ602から電力情報として宅内システム500が載置されている地域に関する電力の需給状況を入手することができる。そして、地域の消費電力が供給電力の上限値に迫っている場合には、宅内コントローラ505は、特に消費電力の大きい家電機器に対して節電指示を送信することができる。また、そのような場合に、冷蔵庫5については、貯蔵室の設定温度と実際の温度履歴とから冷却過剰と判断された場合に、宅内コントローラ505から設定温度を上げることを指示することができる。
また、端末装置70からインターネット601を経由し、宅内コントローラ505を介して直接的又は間接的に冷蔵庫5に接続することもできる。この際、クラウドサーバ602の個人認証手段603により、冷蔵庫5への接続権限を有することが認証された端末装置70のみが、冷蔵庫5への接続を許可される。
したがって、例えば、家族又はヘルパーが管理者である場合には、端末装置70の携帯端末IDを登録しておけば、セキュリティを維持したうえで、冷蔵庫5のユーザの生活状況に関する情報を共有することが可能となる。また、例えば、スーパーマーケットなどのような買い物先において、冷蔵庫5の貯蔵室内の食品の在庫状態を確認することが可能となるため、家族同士で同じ食材を重複して買ったり、必要な食材を買い忘れたりすることなどを防ぐことができる。
実施の形態5においては、食品識別部が参照する情報記憶部の全部又は一部を、外部サーバであるクラウドサーバ602に設けるようにしてもよい。情報記憶部406をクラウドサーバ602に保存するようにすることで、食品の種類に関する膨大なデータを、例えば、他のユーザなどと共有することが可能である。
なお、以上で説明した個人認証手段603はIDを用いて接続権限を認証するものであった。認証方法については、これに限定されない。IDの他に、例えば、指紋、静脈、目の虹彩などの生体認証、或いは、パスワードによる認証、もしくは、これらの認証方法の組み合わせによって、接続権限を認証するようにしてもよい。
1,2,3,4,5 冷蔵庫、 11 冷蔵室(貯蔵室)、 12 製氷室(貯蔵室)、 13 切替室(貯蔵室)、 14 冷凍室(貯蔵室)、 15 野菜室(貯蔵室)、 16 棚板、 17 チルド室(貯蔵室)、 18 チルドケース、 19 冷却風路、 20 扉、 21 操作パネル、 22 開閉検出部、 23 通信部、 24 記憶部、 25 時刻提供部、 26 温度検出部、 27 撮影装置、 70 管理者装置(端末装置)、 71 表示部、 100,200,300,400 制御部、 101,201,301,401 状況検知部、 102,202,302,402 状況取得部、 103,203,303,403 生活管理部、 110,210,310,410 制御基板、 304,404 食品管理部、 405 食品識別部、 406 情報記憶部、 500 宅内システム、 501 系統電源、 502 電灯線、 503 電力計測装置、 504 電力計測端子、 505 宅内コントローラ、 506 ブロードバンドルータ、 600 宅外システム、 601 インターネット、 602 クラウドサーバ、 603 個人認証手段。

Claims (11)

  1. 食品を収納する貯蔵室と、管理者によって使用される端末装置と通信を行う通信部と、を有する冷蔵庫であって、
    記貯蔵室内における食品の状態関する第1の情報を検知する状況検知部と、
    ある期間における前記第1の情報から前記冷蔵庫の使用状況を示す第2の情報を取得する状況取得部と、
    平日における予め決められた時間帯の判断基準と前記第2の情報とから又は真夜中における予め決められた時間帯の判断基準と前記第2の情報とから、前記冷蔵庫のユーザの生活状況が前記管理者に報知されるべきであると判断した場合に、前記生活状況を前記端末装置に報知する生活管理部と、
    を有する冷蔵庫。
  2. 情報を記憶する記憶部と、
    時刻情報を提供する時刻提供部と、
    をさらに備え、
    前記状況検知部は、前記時刻提供部から前記第1の情報の前記検知の時刻を取得し、前記第1の情報と前記検知の時刻とを前記記憶部に記憶させ、
    前記状況取得部は、前記記憶部に記憶されている前記第1の情報と前記検知の時刻とを含む前記第2の情報を取得する
    請求項1に記載の冷蔵庫。
  3. 前記貯蔵室内を撮影することによって前記貯蔵室内の画像を取得する撮影装置と、
    前記撮影装置によって取得された前記画像から前記貯蔵室内に保存されている食品の食品画像を抽出し、前記貯蔵室における食品の入庫及び出庫に関する入出庫情報を前記第1の情報として保存する食品管理部と、
    をさらに備え、
    前記状況検知部によって検知される前記第1の情報は、前記食品管理部によって保存される前記入出庫情報を含む
    請求項1又は2に記載の冷蔵庫。
  4. 前記食品管理部によって抽出された前記食品画像に対応する食品の種類及び量を識別する食品識別部をさらに備え、
    前記状況検知部によって検知される前記第1の情報は、前記食品識別部によって識別された前記食品の種類及び量を含む
    請求項に記載の冷蔵庫。
  5. 前記食品識別部は、食品の種類に、食品の形状、大きさ、色、及び外装ラベルの内の少なくとも1つを対応付けた情報を参照情報として記憶する情報記憶部を有し、
    前記食品識別部は、前記参照情報を参照して前記食品画像に対応する食品の種類及び量を識別する
    請求項に記載の冷蔵庫。
  6. 前記生活管理部は、前記第2の情報によって示される前記使用状況に変化がない状況が予め決められた期間以上継続した場合に、前記通信部を介して前記端末装置に前記生活状況を示す報知情報を報知する
    請求項1からまでのいずれか1項に記載の冷蔵庫。
  7. 前記生活管理部は、前記ユーザが不在であることを示す情報を受け取ったときから前記ユーザが在宅であることを示す情報を受け取るまでの期間に、前記第2の情報によって示される前記使用状況に変化があると判断した場合に、前記通信部を介して前記端末装置に前記生活状況を示す報知情報を報知する
    請求項1からまでのいずれか1項に記載の冷蔵庫。
  8. 前記生活管理部は、前記第2の情報によって示される前記使用状況に関する基準情報を予め記憶する情報記憶部を有し、
    前記生活管理部は、前記基準情報を参照して前記使用状況に予め決められた特徴があると判断した場合に、前記通信部を介して前記端末装置に前記生活状況を示す報知情報を報知する
    請求項1からまでのいずれか1項に記載の冷蔵庫。
  9. 請求項1からまでのいずれか1項に記載の冷蔵庫と、
    前記冷蔵庫と通信可能に接続された端末装置と、
    を備えたネットワークシステム。
  10. インターネットを介して、前記冷蔵庫及び前記端末装置と通信可能に接続されるサーバをさらに備え、
    前記サーバは、前記端末装置が前記冷蔵庫との通信が許可された端末であることを認証する個人認証手段を有する
    請求項に記載のネットワークシステム。
  11. 前記サーバは情報記憶部を有し、
    前記冷蔵庫は、前記情報記憶部に記憶されている情報を参照して、前記貯蔵室内に保存されている食品の食品画像に対応する食品の種類及び量を識別する
    請求項10に記載のネットワークシステム。
JP2018511850A 2016-04-15 2016-04-15 冷蔵庫及びそれを含むネットワークシステム Active JP6745872B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/062102 WO2017179188A1 (ja) 2016-04-15 2016-04-15 冷蔵庫及びそれを含むネットワークシステム

Publications (2)

Publication Number Publication Date
JPWO2017179188A1 JPWO2017179188A1 (ja) 2018-09-20
JP6745872B2 true JP6745872B2 (ja) 2020-08-26

Family

ID=60042429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018511850A Active JP6745872B2 (ja) 2016-04-15 2016-04-15 冷蔵庫及びそれを含むネットワークシステム

Country Status (3)

Country Link
JP (1) JP6745872B2 (ja)
TW (1) TWI693370B (ja)
WO (1) WO2017179188A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7081157B2 (ja) * 2018-01-10 2022-06-07 富士電機株式会社 物品庫および物品管理システム
CN109612199B (zh) * 2018-11-20 2019-12-06 珠海格力电器股份有限公司 一种冰箱中异物信息提醒方法及装置
JPWO2020152760A1 (ja) * 2019-01-21 2021-12-16 株式会社tsumug.lab 許可制御システム
JP7101130B2 (ja) * 2019-01-22 2022-07-14 日立グローバルライフソリューションズ株式会社 冷蔵庫用遠隔制御装置、冷蔵庫用遠隔制御装置の制御方法およびプログラム
JP7203350B2 (ja) * 2019-01-30 2023-01-13 パナソニックIpマネジメント株式会社 情報処理システム、及び、情報処理方法
JP2020126288A (ja) * 2019-02-01 2020-08-20 シャープ株式会社 ネットワークシステム、情報処理方法、およびサーバ
WO2020183692A1 (ja) * 2019-03-14 2020-09-17 三菱電機株式会社 見守りシステム、見守り方法、冷蔵庫、及び通信端末
JP7477316B2 (ja) 2020-02-20 2024-05-01 東芝ライフスタイル株式会社 見守りシステム、及びプログラム
CN115668973A (zh) * 2020-05-27 2023-01-31 三菱电机株式会社 冰箱通信系统
US11936489B2 (en) * 2021-02-02 2024-03-19 True Manufacturing Co., Inc. Systems, methods, and appliances that enable regional control of refrigeration appliances

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207386A (ja) * 1999-01-01 2000-07-28 Matsushita Electric Ind Co Ltd 食生活支援装置及びそれを用いた冷蔵庫
JP2000357146A (ja) * 1999-03-31 2000-12-26 Sony Corp 情報処理装置および情報処理方法、並びに記録媒体
SE522000C2 (sv) * 2000-08-18 2004-01-07 Rutger Roseen Förfarande och anordning för att hålla reda på lagringstiden för i ett utrymme förvarade varor
JP2003078525A (ja) * 2001-08-30 2003-03-14 Sanyo Electric Co Ltd 家庭電器製品の情報通知装置
JP2003185315A (ja) * 2001-12-17 2003-07-03 Hitachi Ltd 冷蔵庫安否確認装置
JP2003228784A (ja) * 2002-02-01 2003-08-15 Toshiba Corp 生活モニタ方法、生活モニタシステム、冷蔵庫、通信端末、サーバ及び生活モニタプログラム
KR20040017978A (ko) * 2002-08-23 2004-03-02 삼성전자주식회사 냉장고 및 그 제어방법
JP2005086477A (ja) * 2003-09-09 2005-03-31 Matsushita Electric Ind Co Ltd 情報機器、制御方法およびそのプログラム
JP2005164054A (ja) * 2003-11-28 2005-06-23 Toshiba Corp 健康管理冷蔵庫、および健康管理システム
JP2006300386A (ja) * 2005-04-19 2006-11-02 Hitachi Home & Life Solutions Inc 冷蔵庫
JP2007046833A (ja) * 2005-08-09 2007-02-22 Funai Electric Co Ltd 物品保存庫、物品保存庫監視システム及び冷蔵庫監視システム
JP4404829B2 (ja) * 2005-09-28 2010-01-27 日本電気株式会社 摂取カロリー管理システム、摂取カロリー管理方法、保管庫、及びプログラム
JP5315855B2 (ja) * 2008-08-20 2013-10-16 パナソニック株式会社 冷蔵庫、冷蔵庫システム及び冷蔵庫の制御方法
JP2009002644A (ja) * 2008-09-25 2009-01-08 Panasonic Corp 冷蔵庫の使い方比較システム、およびその制御方法
TWI513947B (zh) * 2008-12-24 2015-12-21 Panasonic Corp Refrigerators and compressors
JP2010181066A (ja) * 2009-02-04 2010-08-19 Panasonic Corp 冷蔵庫
CN101963431B (zh) * 2010-06-29 2015-05-27 海尔集团公司 利用无线射频识别技术的冰箱
JP2012014598A (ja) * 2010-07-02 2012-01-19 Nec System Technologies Ltd 独居者見守りシステム、独居者見守り方法及びプログラム
JP2012193873A (ja) * 2011-03-15 2012-10-11 Nikon Corp 収納装置
JP2013190130A (ja) * 2012-03-13 2013-09-26 Panasonic Corp 冷蔵庫
KR102003938B1 (ko) * 2012-08-10 2019-07-25 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9875450B1 (en) * 2012-08-29 2018-01-23 James Robert Hendrick, III System and method of automated healthcare assessments and event inferences
JP6139837B2 (ja) * 2012-09-25 2017-05-31 東芝ライフスタイル株式会社 冷蔵庫
JP6099921B2 (ja) * 2012-09-27 2017-03-22 東芝ライフスタイル株式会社 冷蔵庫
JP6229142B2 (ja) * 2013-03-29 2017-11-15 パナソニックIpマネジメント株式会社 冷蔵庫及び冷蔵庫システム
MY171560A (en) * 2013-04-18 2019-10-18 Sun Patent Trust Method for providing data using fridge?s log information
JP6313014B2 (ja) * 2013-08-27 2018-04-18 東芝ライフスタイル株式会社 カメラシステム、冷蔵庫
JP6095551B2 (ja) * 2013-10-24 2017-03-15 三菱電機株式会社 冷蔵庫
JP2015145732A (ja) * 2014-01-31 2015-08-13 三菱電機株式会社 冷凍冷蔵庫
JP6305207B2 (ja) * 2014-05-22 2018-04-04 三菱電機株式会社 冷蔵庫及びネットワークシステム
JP6550696B2 (ja) * 2014-07-18 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 判定装置、および、判定方法
JP2015008004A (ja) * 2014-08-27 2015-01-15 シャープ株式会社 見守りシステム、通信端末装置、及びコンピュータプログラム
CN104896868A (zh) * 2015-06-18 2015-09-09 合肥美菱股份有限公司 一种根据远程图像识别管理冰箱食品列表的方法

Also Published As

Publication number Publication date
TWI693370B (zh) 2020-05-11
TW201738519A (zh) 2017-11-01
WO2017179188A1 (ja) 2017-10-19
JPWO2017179188A1 (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
JP6745872B2 (ja) 冷蔵庫及びそれを含むネットワークシステム
JP6576560B2 (ja) 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム
JP6324360B2 (ja) 冷蔵庫及びそれを含むネットワークシステム
US11521391B2 (en) Refrigerator, server and method of controlling thereof
JP6305122B2 (ja) 冷蔵庫及び冷蔵庫を備えたネットワークシステム
JP6486111B2 (ja) 冷蔵庫
KR20170087705A (ko) 보관장치 및 그 제어방법
JP6447334B2 (ja) 冷蔵庫及びネットワークシステム
JP2015222138A (ja) 冷蔵庫及びネットワークシステム
JP6584178B2 (ja) 制御装置、冷蔵庫およびプログラム
JP7386459B2 (ja) 冷蔵庫
JP6410550B2 (ja) 冷蔵庫及びそれを備えたネットワークシステム
JP6335847B2 (ja) 冷蔵庫
JP7467897B2 (ja) 食材管理システム
CN109631453B (zh) 冰箱
JP7090796B2 (ja) 見守りシステム、見守り方法、冷蔵庫、及び通信端末
KR102595649B1 (ko) 인공지능 냉장고 및 이를 이용하는 물품 구매 방법
WO2021210132A1 (ja) 冷蔵庫
JP7456844B2 (ja) 情報処理システム
KR20230020276A (ko) 냉장고 및 냉장고의 제어 방법
JP2019175025A (ja) サーバ、並びに、サーバ、機器、及び表示部を含む機器システム
CN112506144A (zh) 电气设备及设备控制系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200804

R150 Certificate of patent or registration of utility model

Ref document number: 6745872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250