JP6576560B2 - 冷蔵庫、それを備えたネットワークシステム、生活状況の報知方法、及び生活状況の報知プログラム - Google Patents

Description

本発明は、通信機能を備えた冷蔵庫、冷蔵庫を含むネットワークシステム、冷蔵庫のユーザの生活状況の報知方法、及びコンピュータに報知方法を実行させる生活状況の報知プログラムに関する。

近年、日本において、全人口に占める高齢者（６５歳以上の者）の割合が増加している。また、１世帯を構成する人の数が少なくなっており、１人世帯（１人暮らし）が増加する傾向にある。このため、１人暮らしの高齢者の安否の確認及び介護の要否の確認が必要になっている。ところで、人の生活状況は、その人（ユーザ）の冷蔵庫の使用状況から、推測することが可能である。その理由は、冷蔵庫の使用状況は、冷蔵庫のユーザの生活の一部である食生活と密接に関係しているからである。

特許文献１は、食品に無線タグを取り付け、無線タグから送られる情報と冷蔵庫内の温度センサから送られる温度情報とに基づいて、保存可能期間−保存温度−品質耐性（ＴＴＴ）理論から、食品の品質劣化特性を推定する技術を開示している。

また、特許文献２は、庫内及び庫外を撮影することによって得られた画像データを、サーバを介して携帯電話機（携帯端末）に送信し、遠隔地から庫内及び庫外を監視することを可能にした物品保存庫としての冷蔵庫を記載している。

特開２００６−３１７１０９号公報（例えば、段落００２７−００４２、図５） 特開２００７−０４６８３３号公報（例えば、段落００２１−００２５、図１）

しかしながら、特許文献１に記載された技術では、冷蔵庫の使用状況を示す情報を取得するために食品に貼付された無線タグ用のリーダー及びライターなどの専用の装置が必要であり、システム全体のコストが増加するという課題がある。

特許文献２に記載された冷蔵庫は、リーダー及びライターなどの専用の装置を必要とせず、冷蔵庫の内外の画像データをユーザの携帯端末に送信して、ユーザの携帯端末の表示部に冷蔵庫の内外の画像を表示させることができる。しかし、この冷蔵庫は、冷蔵庫の使用状況に基づく判断（例えば、ユーザの生活状況に関する判断）をすることはできない、という課題があった。

さらに、特許文献１及び２のいずれも、ユーザ以外の者（第三者）である他のユーザが使用する端末装置（第２ユーザ端末）に冷蔵庫のユーザの生活状況を報知する技術を記載していない。

本発明は、上記課題を解決するためになされたものであり、貯蔵室内に保存されている食品の画像情報から取得された冷蔵庫の第１ユーザの生活状況を、冷蔵庫の第１ユーザ以外の者である第２ユーザが使用する端末装置に報知することが可能な冷蔵庫、それを備えたネットワークシステム、冷蔵庫のユーザの生活状況の報知方法、及びコンピュータに報知方法を実行させる生活状況の報知プログラムを提供することを目的とする。

本発明の一態様に係る冷蔵庫は、食品を収納する貯蔵室と、通信を行う通信部とを備え、第１ユーザによって使用される冷蔵庫であって、前記貯蔵室内の画像を取得する撮影装置と、前記撮影装置によって取得された前記画像から食品画像を抽出する画像管理部と、ある期間における前記食品画像から、前記貯蔵室内に収納されている食品の状況の変化を検出する食品状況検出部と、前記食品状況検出部によって検出された前記食品の状況の変化から、前記第１ユーザによる前記冷蔵庫の使用状況を示す第１情報を取得する使用状況取得部と、前記第１情報から前記第１ユーザの生活状況が前記第１ユーザとは異なる第２ユーザに報知されるべき状況であると判断した場合に、前記通信部を介して前記生活状況を示す第２情報を前記第２ユーザが使用する端末装置に報知する生活管理部と、を備え、前記食品状況検出部は、予め食品の色分布に基づくカラーサンプルを記憶する記憶部を有し、前記食品画像から前記カラーサンプルに対応する前記食品の色毎の面積占有率の変化を検出し、前記面積占有率の変化に基づいて前記食品の状況の判定を行うものである。

本発明の他の態様に係るネットワークシステムは、前記冷蔵庫と、前記冷蔵庫と通信可能に接続され、前記第２ユーザが使用する前記端末装置とを備えている。

本発明の他の態様に係る生活状況の報知方法は、予め食品の色分布に基づくカラーサンプルを記憶する記憶部を有する冷蔵庫を使用する第１ユーザの生活状況の報知方法であって、前記冷蔵庫の貯蔵室内を撮影することによって前記貯蔵室内の画像を取得するステップと、取得された前記画像から食品画像を抽出するステップと、ある期間における前記食品画像から、前記貯蔵室内に収納されている食品の状況の変化を検出するステップと、検出された前記食品の状況の変化から、前記第１ユーザによる前記冷蔵庫の使用状況を示す第１情報を取得するステップと、前記第１情報から前記第１ユーザの生活状況が前記第１ユーザとは異なる第２ユーザに報知されるべき状況であると判断した場合に、前記生活状況を示す第２情報を前記第２ユーザが使用する端末装置に報知するステップと、を有し、前記食品の状況の変化を検出するステップにおいて、前記食品画像から前記カラーサンプルに対応する前記食品の色毎の面積占有率の変化を検出し、前記面積占有率の変化に基づいて前記食品の状況の判定を行うものである。

本発明によれば、食品画像から検出された食品の状況の変化から第１ユーザによる冷蔵庫の使用状況を示す第１情報を取得し、第１情報から第１ユーザの生活状況が第２ユーザに報知されるべき状況であると判断した場合に、生活状況を示す第２情報を第２ユーザが使用する端末装置（別ユーザ端末）に報知することができる。このため、第１ユーザの生活状況を示す第２情報を受け取った第２ユーザは、第１ユーザに対する適切な対処を講じることができる。

本発明の実施の形態１に係る冷蔵庫の概略構造を示す正面図である。 実施の形態１に係る冷蔵庫の冷蔵室の概略構造（図１を線分ＩＩ−ＩＩで切る断面構造）を示す断面図である。 実施の形態１に係る冷蔵庫の制御系の構成を概略的に示すブロック図である。 実施の形態１に係る冷蔵庫の動作を示すフローチャートである。 （ａ）から（ｄ）は、実施の形態１に係る冷蔵庫の冷蔵室の撮影画像、撮影画像から抽出された食品画像、及び食品画像の付帯情報の例を示す図である。 （ａ）及び（ｂ）は、実施の形態１に係る冷蔵庫の冷蔵室の撮影画像から抽出された食品画像の、携帯端末における表示画面の例を示す図である。 実施の形態１に係る冷蔵庫の冷蔵室の撮影画像から抽出された食品画像の、携帯端末における表示画面の一例を示す図である。 （ａ）及び（ｂ）は、実施の形態１に係る冷蔵庫の変化検出部における、食品画像の時間変化検出方法を説明するための模式図である。 （ａ）及び（ｂ）は、実施の形態１に係る冷蔵庫の食品画像の、携帯端末における表示画面の例を示す図である。 本発明の実施の形態２に係る冷蔵庫の冷蔵室の概略構造（図１を線分ＩＩ−ＩＩで切る断面構造）を示す断面図である。 実施の形態２に係る冷蔵庫の制御系の構成を概略的に示すブロック図である。 実施の形態２に係る冷蔵庫の食品情報記憶部に記憶される内容の例を示す図である。 実施の形態２に係る冷蔵庫の動作を説明するためのフローチャートである。 本発明の実施の形態３に係る冷蔵庫の冷蔵室の概略構造（図１を線分ＩＩ−ＩＩで切る断面構造）を示す断面図である。 実施の形態３に係る冷蔵庫の制御系の構成を概略的に示すブロック図である。 実施の形態３に係る冷蔵庫の操作パネル（スケジュール設定部）におけるスケジュール表示画面（１ヶ月表示）の例を示す図である。 実施の形態３に係る冷蔵庫の操作パネル（スケジュール設定部）におけるスケジュール表示画面（１週間表示）の例を示す図である。 実施の形態３に係る冷蔵庫の操作パネル（スケジュール設定部）におけるスケジュール表示画面（１日表示）の例を示す図である。 本発明の実施の形態４に係る冷蔵庫を備えたネットワークシステムが適用された宅内システム及び宅外システムの全体構成を示す図である。

《１》実施の形態１
《１−１》構成
図１は、本発明の実施の形態１に係る冷蔵庫１の概略構造を示す正面図である。図１に示されるように、実施の形態１に係る冷蔵庫１は、食品を収納するための複数の貯蔵室を備えている。複数の貯蔵室は、例えば、冷蔵室１１、製氷室１２、切替室１３、冷凍室１４、及び野菜室１５を含む。図１に示される例では、上から冷蔵室１１、製氷室１２と切替室１３、冷凍室１４、及び野菜室１５が、この順で配置されている。また、製氷室１２と切替室１３とは、水平方向の左右に並んで配置されている。冷蔵庫１は、貯蔵室を冷却する冷却装置を備えている。冷却装置は、例えば、圧縮機、凝縮器、膨張弁、及び蒸発器を有する冷凍サイクル回路を備えている。複数の貯蔵室は、冷凍サイクル回路によって冷却される。なお、図１は、実施の形態２（図１０）及び実施の形態３（図１４）においても参照される。冷蔵庫１は、実施の形態２、３、及び４において、冷蔵庫２、３、及び４とそれぞれ表記される。

冷蔵室１１の扉（冷蔵室扉）２０の前面（正面）には、表示装置としての表示部（表示画面）を有する操作パネル２１が備えられてもよい。操作パネル２１の表示画面には、各貯蔵室の設定温度及び現在温度などの冷蔵庫１に関する情報である貯蔵室情報（庫内情報）を表示させることができる。操作パネル２１は、例えば、ユーザの入力を受け付けるタッチパネルを有している。操作パネル２１の設置位置は、冷蔵室１１の扉２０に限るものではなく、他の貯蔵室の扉の外面又は冷蔵庫１の側面などのような他の位置に設置されてもよい。また、製氷室１２、切替室１３、冷凍室１４、及び野菜室１５は、例えば、それらの前面に備えられた扉と共に、冷蔵庫１の手前側にスライドさせて引き出すことができるように構成されている。図１は、本発明が適用可能な冷蔵庫の一例を示しているが、本発明が適用可能な冷蔵庫は、図１に示されるものに限定されない。

図２は、実施の形態１に係る冷蔵庫１の冷蔵室１１の概略構造（図１を線分ＩＩ−ＩＩで切る断面構造）を示す断面図である。図２に示されるように、冷蔵庫１は、冷蔵室１１の前面側（図２における左側）の開口部を開閉する扉２０を有している。冷蔵室１１は、内部に配置された複数の棚板（棚）１６によって、複数の空間に仕切られている。最下段の棚板１６の下側の空間は、チルド室１７である。チルド室１７の内部には、レールなどの案内部材（図示せず）に沿って、前方（図２における左方向）へ引き出すことができるチルドケース１８が設置されている。また、冷蔵室１１の背面側（図２における右側）には、冷凍サイクル回路によって冷却された空気を貯蔵室に導く通路としての冷却風路１９が設けられている。

扉２０と接する冷蔵庫１の本体には、扉２０の開閉を検出する開閉検出装置としての開閉検出部２２が備えられている。開閉検出部２２は、例えば、扉２０に埋め込まれたマグネット（永久磁石）の近接を、冷蔵庫１の本体に設置された１対のリードスイッチが検出するマグネット方式の装置である。ただし、開閉検出部２２は、機械式のスイッチ又は光学式のスイッチなどのような他の検出方式を採用する検出装置であってもよい。

また、冷蔵庫１は、冷蔵庫１を動作させるための制御回路（制御部）を有する制御基板１１０を備えている。制御基板１１０は、例えば、冷蔵庫１の背面に備えられる。

扉２０の内側の面には、撮影装置２７が設置されている。図２の例では、撮影装置２７は、冷蔵室１１の天井面からチルド室１７までを視野範囲とし、ユーザの視点と同じ側である扉２０側から冷蔵室１１内を撮影することが可能な構成となっている。なお、撮影装置２７の設置位置は、扉２０の内面に限られない。撮影装置２７は、棚板１６上に載置される食品等の収納物を広範囲に撮影できる位置であれば、どの位置に設置されてもよい。また、棚板１６に視野を遮られることを考慮して、より多くの収納物を撮影できるようにするため、複数の撮影装置２７を設置してもよい。また、撮影装置２７は、冷蔵室１１以外の貯蔵室を撮影する位置に備えてもよい。

また、冷蔵庫１は、冷蔵庫１を動作させるための制御回路を有する制御基板１１０を備えている。制御基板１１０は、例えば、冷蔵庫１の背面に取り付けられる。

図３は、実施の形態１に係る冷蔵庫１の制御系の構成を概略的に示すブロック図である。図３に示されるように、冷蔵庫１の制御系は、例えば、操作パネル２１と、扉２０の開状態及び閉状態を検出する開閉検出部２２と、外部装置としての携帯端末（端末装置）と有線又は無線で通信することができる通信装置としての通信部２３と、情報を記憶する半導体メモリなどのような記憶部２４と、時刻情報を提供する時刻提供部２５と、冷蔵庫１の全体の動作を制御する制御部１００とを備えている。また、冷蔵庫１の制御系は、例えば、冷凍サイクル回路の一部を構成する圧縮機（コンプレッサ）３２を駆動させるコンプレッサ駆動回路３１と、冷蔵庫１の貯蔵室内に空気を流すファン（モータ）３４を駆動させるファン駆動回路３３とを備えている。冷蔵庫１の制御系の主要部である回路は、制御基板１１０に備えることができる。ただし、図３の回路の一部を、他の制御基板（図示せず）に備えてもよい。

通信部２３は、例えば、Ｗｉ−Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）などの通信モジュールを具備している。冷蔵庫１は、通信部２３を用いることによって、例えば、ルータ（後述の図１９に示されるブロードバンドルータ５０６）及びインターネット（後述の図１９に示されるインターネット６０１）のうちの少なくとも一方を経由して、宅内又は宅外に存在する、スマートフォン、携帯タブレット、携帯電話、パーソナルコンピュータなどのような端末装置と通信することができる。この端末装置は、例えば、冷蔵庫１のユーザ（以下「第１ユーザ」又は「被管理者」とも言う）が使用する端末装置（以下「第１ユーザ端末」とも言う）と、第１ユーザ以外の第三者であるユーザ（以下「第２ユーザ」又は「管理者」とも言う）が使用する端末装置（以下「第２ユーザ端末」又は「別ユーザ端末」とも言う）７０とを含む。冷蔵庫１の制御部１００は、冷蔵庫１に関する各種情報を、第１ユーザ端末の表示部と第２ユーザ装置７０の表示部７１とのいずれかに又は両方に表示させるための情報の送信を行うことができる。

時刻提供部２５が提供する時刻情報は、時、分、秒だけでなく、日にち（月日又は年月日）の情報も含むことができる。時刻提供部２５は、例えば、時計、又は、時刻信号の提供者が送信する時刻信号を受信する時刻受信装置であってもよい。

制御部１００は、電気回路によって構成されてもよく、又は、記憶部２４に記憶されているソフトウェアとしてのプログラムを実行する情報処理装置としてのプロセッサによって構成されてもよい。制御部１００がプロセッサで構成される場合には、制御部１００の機能は、記憶部２４に記憶されているプログラムを実行することによって、実現される。このように、制御部１００の機能は、冷蔵庫１（又は２〜４）内のプロセッサによって実行されるプログラム（生活状況の報知方法又は報知プログラム）によって実現可能である。また、制御部１００の機能は、冷蔵庫１と通信可能なコンピュータ（ネットワーク上のサーバであってもよい）によって実行されるプログラム（生活状況の報知方法又は報知プログラム）によっても実現可能である。生活状況の報知プログラムは、食品を収納する貯蔵室１１と、通信を行う通信部２３と、貯蔵室１１内の画像を取得する撮影装置２７とを備えた冷蔵庫１（又は２〜４）を使用する第１ユーザの生活状況の報知プログラムであって、撮影装置２７によって冷蔵庫１（又は２〜４）の貯蔵室１１内を撮影させることによって貯蔵室１１内の画像を取得する処理と、取得された画像から食品画像を抽出する処理と、ある期間における食品画像から、貯蔵室１１内に収納されている食品の状況の変化を検出する処理と、検出された食品の状況の変化から、第１ユーザによる冷蔵庫１（又は２〜４）の使用状況を示す第１情報を取得する処理と、第１情報から第１ユーザの生活状況が第１ユーザとは異なる第２ユーザに報知されるべき状況であると判断した場合に、生活状況を示す第２情報を第２ユーザが使用する端末装置に報知する処理と、をコンピュータ（制御部１００又は外部のコンピュータ又はネットワーク上のサーバなどの情報処理装置）に実行させることができる。

図３に示されるように、制御部１００は、画像管理部１０１と、変化検出部１０２と、劣化検出部１０３と、使用状況取得部１０４と、生活管理部１０５とを有している。また、制御部１００は、制御部１００の全体の動作を制御する主制御部（図示せず）を含んでもよい。また、変化検出部１０２と劣化検出部１０３とは、食品状況検出部１０３ａを構成する。また、図３において、記憶部２４は、画像管理部１０１と別個の構成として示されているが、記憶部２４は、画像管理部１０１の一部（又は制御部１００の一部）であってもよく、他の構成の一部であってもよい。例えば、記憶部２４は、冷蔵庫１の外部に接続された記憶装置又はネットワークを経由して通信可能に接続された装置（例えば、サーバ）の記憶装置であってもよい。

画像管理部１０１は、撮影装置２７、変化検出部１０２、及び通信部２３と接続されている。画像管理部１０１は、例えば、扉２０の開閉時に、撮影装置２７による冷蔵室１１内の撮影によって取得された冷蔵室１１内の全体画像（画像データ）を受け取り、受信した全体画像（以下「庫内画像」又は「貯蔵室画像」とも言う）から食品部分の画像（食品画像）を抽出する。さらに、画像管理部１０１は、取得された全体画像から抽出された食品画像に時刻情報（例えば、撮影時刻情報）を付帯情報として追加して、画像管理部１０１内の記憶部（記憶部２４と異なる記憶部であってもよく、又は、記憶部２４であってもよい）に保存する。画像管理部１０１は、時刻情報に基づいて食品画像を時系列に並び換えて保存してもよい。画像管理部１０１は、食品画像及び付帯情報（時刻情報及び入出庫識別情報を含んでもよい）を変化検出部１０２及び通信部２３に与える。

変化検出部１０２は、画像管理部１０１、劣化検出部１０３、及び通信部２３と接続されている。変化検出部１０２は、画像管理部１０１から食品画像及び付帯情報を受け取り、食品画像の色及び大きさ（実際の食品の色及び大きさに対応する）の時間変化を検出して変化検出部１０２内の記憶部（記憶部２４と異なる記憶部であってもよく、又は、記憶部２４であってもよい）に保存する。また、変化検出部１０２は、検出した食品画像の色及び大きさの時間変化を示す情報を、劣化検出部１０３及び通信部２３に与える。

劣化検出部１０３は、変化検出部１０２、使用状況取得部１０４、及び通信部２３と接続されている。劣化検出部１０３は、変化検出部１０２から食品画像の色及び大きさの時間変化を受け取り、その時間変化に基づいて食品の劣化状態を検出（推定）し、劣化状態の検出結果を使用状況取得部１０４及び通信部２３に与える。したがって、変化検出部１０２及び劣化検出部１０３を有する食品状況検出部１０３ａは、貯蔵室画像から抽出された食品画像から、収納された食品の保管状態を検出することができる。

使用状況取得部１０４は、食品状況検出部１０３ａの劣化検出部１０３、生活管理部１０５、及び通信部２３と接続されている。使用状況取得部１０４は、劣化検出部１０３から、冷蔵室１１内に収納された食品の保管状態として、食品画像単位の食品の劣化状態を受け取り、この劣化状態を示す情報から、例えば、「現在収納されている食品は劣化していない。」などの短期的な使用状況、又は、月日若しくは年月日などの時刻情報と組み合わせて「劣化した食品が数日間放置されている。」などの長期的な使用状況を検出（推定）する。このように、使用状況取得部１０４は、貯蔵室内における食品の劣化状態に基いて、冷蔵庫１の第１ユーザによる使用状況を検出し、この使用状況を示す情報（以下「第１情報」とも言う）を生活管理部１０５に与える。

生活管理部１０５は、使用状況取得部１０４及び通信部２３と接続されている。生活管理部１０５は、使用状況取得部１０４から、食品の劣化状態に基づく第１ユーザの使用状況の示す第１情報を受け取り、この第１情報から第１ユーザの生活状況を示す情報（以下「第２情報」とも言う）を取得する。第１ユーザの生活状況を示す第２情報は、例えば、第１ユーザの自宅における第１ユーザの在宅若しくは不在の傾向、又は、第１ユーザが買い物に行く頻度などである。また、生活管理部１０５は、生活状況を示す第２情報の中で、第２ユーザ端末７０に報知すべきである情報（要報知情報）、例えば、冷蔵庫１の第１ユーザの安否に関する情報、又は、第１ユーザ宅の防犯に関する情報などを分類し、報知すべき生活状況を示す第２情報として通信部２３に送る。

通信部２３は、画像管理部１０１、変化検出部１０２、劣化検出部１０３、使用状況取得部１０４、及び生活管理部１０５と接続され、また、第２ユーザ端末７０とは無線又は有線で接続される。通信部２３は、画像管理部１０１から食品画像及び付帯情報を受け取り、変化検出部１０２から食品画像の色及び大きさの時間変化を示す情報を受け取り、劣化検出部１０３から食品の劣化状態を示す情報を受け取り、使用状況取得部１０４から第１ユーザの使用状況を示す第１情報を受け取り、生活管理部１０５から生活状況の中の第２ユーザに報知すべきである情報（第２情報）を受け取る。それぞれの情報は、例えば、無線通信によって、冷蔵庫１を使用する第１ユーザ以外の第２ユーザが使用する第２ユーザ端末７０に送信することができる。なお、第２情報の送信先である第２ユーザ端末７０は、例えば、第１ユーザなどによって、冷蔵庫１内の記憶部に、又は、ネットワーク上の管理装置としてのサーバに予め登録されていてもよい。

第２ユーザ端末７０は、通信部２３と無線通信可能に接続されている。第２ユーザ端末７０は、通信部２３から送信された、食品画像及び付帯情報、食品画像の色及び大きさの時間変化を示す情報、食品の劣化状態を示す情報、第１ユーザの冷蔵庫１の使用状況を示す第１情報、及び生活状況を示す第２情報の中で第２ユーザに報知すべき情報を受信し、受信内容を第２ユーザ端末７０の表示部７１に表示させることができる。

《１−２》動作
次に、実施の形態１に係る冷蔵庫１の動作の一例について、図２から図４を参照して説明する。図４は、冷蔵庫１の扉２０が開閉される毎に行われる動作を説明するためのフローチャートである。

図４に示される動作は、扉２０の開閉によって開始される。扉２０の開閉が開閉検出部２２によって検出されると（ステップＳ１１においてＹＥＳ）、撮影装置２７が、冷蔵室１１内を撮影する（ステップＳ１２）。撮影装置２７は、例えば、扉２０が閉じられた後、冷蔵室１１内の照明が点灯している間に撮影を行う。これは、扉２０の開閉が検出されると、冷蔵室１１内の食品が出し入れされた可能性があるためである。

撮影装置２７は、撮影によって得られた冷蔵室１１内の貯蔵室画像（望ましくは、貯蔵室全体の画像）を、画像管理部１０１に与える（ステップＳ１３）。したがって、画像管理部１０１は、扉２０が開閉される毎（すなわち、冷蔵室１１内の収納状態が変化する可能性がある毎）に、撮影装置２７から貯蔵室画像を受け取る。以下の説明では、今回（最新）の扉２０の開閉時を「今回の扉開閉時」と称し、前回（１回前）の扉２０の開閉時を「前回の扉開閉時」と称する。

画像管理部１０１は、前回の扉開閉時に撮影装置２７から受け取った貯蔵室画像（画像データ）を（例えば、記憶部２４に）保存しており、今回の扉開閉時に撮影装置２７から受け取った貯蔵室画像を（例えば、記憶部２４に）新たに保存する。そして、画像管理部１０１は、前回の扉開閉時の貯蔵室画像と今回の扉開閉時の貯蔵室画像との差分を演算することにより、貯蔵室画像の変化部分の画像を食品画像として抽出する（ステップＳ１４）。つまり、貯蔵室画像の変化部分の画像とは、入庫又は出庫された食品の画像である。

例えば、前回の扉開閉時の貯蔵室画像では、冷蔵室１１の棚板１６にビールが置かれており、今回の扉開閉時の貯蔵室画像では、同じ場所にビールが置かれていない棚板１６のみである場合には、２つの貯蔵室画像の差分により、ビールの食品画像が抽出される。

画像管理部１０１は、このようにして抽出した食品画像に、その抽出を行った時点での現在時刻（又は、撮影を行った時刻）である時刻情報を付帯情報として追加し、これら食品画像及び付帯情報を、時刻情報に基づいて時系列に並び換えて保存する（ステップＳ１５）。

このとき、画像管理部１０１は、食品の入庫又は出庫の判断を行う。具体的には、画像管理部１０１は、食品画像を抽出する際に、差分により変化した部分を分析し、例えば、エッジ処理して得られたエッジの変化量、及び、撮影時の貯蔵室画像と食品画像と予め記憶した空状態（冷蔵室１１内に食品が全く収容されていない状態）の貯蔵室画像との比較により、食品の入庫又は出庫を判断する。そして、画像管理部１０１は、入庫又は出庫の判断結果（入出庫識別情報）を食品画像の付帯情報に追加して保存する。

さらに、画像管理部１０１は、食品画像及び付帯情報（時刻情報及び入出庫識別情報）を、変化検出部１０２及び通信部２３に与える（ステップＳ１６）。

続くステップＳ１７では、変化検出部１０２が、画像管理部１０１から食品画像及び付帯情報を受け取り、食品画像の色及び大きさの時間変化を検出して保存するが、これについては後述する。ステップＳ１２からＳ１７の、冷蔵室１１の貯蔵室画像を取得してから、食品画像及び付帯情報を食品状況検出部１０３ａに与えるまでの一連の動作は、ステップＳ１１にて扉２０の開閉が検出される度に実施される。

図５（ａ）から（ｄ）は、実施の形態１に係る冷蔵庫１の冷蔵室１１の撮影画像８１ａ〜８１ｄ、撮影画像から抽出された食品画像８２ｂ，８２ｃ，８２ｄ１，８２ｄ２、及び食品画像の付帯情報８３ｄ１，８４ｄ１，８３ｄ２，８４ｄ２の例を示す図である。図５（ａ）から（ｄ）には、扉２０の開閉時に、撮影装置２７による撮影によって取得されて画像管理部１０１に送られる撮影データである貯蔵室画像と、貯蔵室画像から抽出された画像データである食品画像と、その付帯情報（時刻情報及び入出庫識別情報）とが示されている。

図５（ａ）は、時刻Ａにおいて、撮影装置２７の撮影で取得されて画像管理部１０１に送信される貯蔵室画像８１ａを示す。時刻Ａでは、扉２０は開閉されたが、食品の入庫及び出庫は行われていない。時刻Ａとそれ以前とでは、貯蔵室画像に変化がないため、画像管理部１０１は、差分画像（食品画像）を生成しない。

図５（ｂ）は、時刻Ａの後の時刻Ｂにおいて、撮影装置２７の撮影によって取得されて画像管理部１０１に送られる貯蔵室画像８１ｂと、貯蔵室画像８１ｂから抽出された食品画像８２ｂと、その付帯情報８３ｂ，８４ｂとを示す。時刻Ｂでは、冷蔵室１１の最上段の冷蔵室棚板から缶飲料であるビールが出庫している。画像管理部１０１は、時刻Ａの貯蔵室画像と時刻Ｂの貯蔵室画像との差分により食品画像（ビール）８２ｂを抽出し、また、入庫又は出庫の判断結果に基づき、食品画像と共に、付帯情報である時刻情報「時刻Ｂ」８３ｂ及び「出庫」という入出庫識別情報８４ｂを保存する。

図５（ｃ）は、時刻Ｂの後の時刻Ｃにおいて、撮影装置２７の撮影によって取得されて画像管理部１０１に送信される貯蔵室画像８１ｃと、貯蔵室画像８１ｃから抽出された食品画像８２ｃと、その付帯情報８３ｃ，８４ｃとを示す。時刻Ｃでは、冷蔵室１１の最下段の冷蔵室棚板から容器内の食品であるサラダが出庫している。画像管理部１０１は、時刻Ｂの貯蔵室画像と時刻Ｃの貯蔵室画像との差分により食品画像（サラダ）８２ｃを抽出し、また、入庫又は出庫の判断結果に基づき、食品画像と共に、付帯情報である時刻情報「時刻Ｃ」８３ｃ及び「出庫」という入出庫識別情報８４ｃを保存する。

図５（ｄ）は、時刻Ｃの後の時刻Ｄにおいて、撮影装置２７で撮影されて画像管理部１０１に送信される貯蔵室画像８１ｄと、貯蔵室画像８１ｄから抽出された食品画像８２ｄ１，８２ｄ２と、その付帯情報８３ｄ１，８４ｄ１，８３ｄ２，８４ｄ２とを示す。時刻Ｄでは、冷蔵室１１の最上段の冷蔵室棚板上に紙パックの牛乳が入庫し、さらに、最下段の冷蔵室棚板上にケーキが入庫している。画像管理部１０１は、時刻Ｃの貯蔵室画像と時刻Ｄの貯蔵室画像との差分により食品画像（牛乳及びケーキ）８２ｄ１，８２ｄ２を抽出し、また、入庫又は出庫の判断結果（この場合は、牛乳、ケーキともに「入庫」）に基づき、食品画像と共に、付帯情報である時刻情報「時刻Ｄ」８３ｄ１，８３ｄ２及び「入庫」という入出庫識別情報８４ｄ１，８４ｄ２を保存する。

このように、画像管理部１０１は、食品画像を、時刻情報及び入出庫識別情報と共に保存しているため、食品の入庫時刻を把握することができ、入庫時刻に基づいて劣化状態を検出することができる。すなわち、画像管理部１０１は、冷蔵室１１に収納されている食品（在庫食品）を画像として把握すると共に、在庫食品の劣化状態の検出に必要な情報を保持している。

ここで、画像管理部１０１が保存する画像データは、前回の画像データとの差分によって抽出された食品画像（貯蔵室画像の変化部分）と、その差分の基準となる最新の貯蔵室画像（冷蔵室１１の全体画像）のみであってもよい。すなわち、画像管理部１０１は、食品画像を抽出した後、最新の貯蔵室画像のみを保存し、それ以外の貯蔵室画像を消去してもよい。

このように、画像管理部１０１は、保存される画像データ量を低減しているため、記憶部のメモリ容量及びデータの通信負荷を低減することができる。また、撮影装置２７による撮影、画像管理部１０１における食品画像の抽出及び画像データの保存は、扉２０が開閉されたとき（食品が入出庫された可能性があるとき）に限定して行われてもよく、冷蔵室１１内に収納された食品を管理する上で必要なデータのみを保存している。そのため、必要最小限の動作（撮影、画像処理及び保存）で、冷蔵室１１内の食品の収納状態及び劣化状態を取得することができる。

ここで、食品の収納状態とは、冷蔵室１１内に、どの時点でどの食品が収納されているか示す情報を言う。また、食品の劣化状態とは、食品の劣化がどの程度まで進んだか（例えば、早期に消費する必要があるか否か）を示す情報を言う。

画像管理部１０１は、保存されている付帯情報（時刻情報及び入出庫識別情報）と共に保存されている食品画像のデータを、時系列に、あるいは、入庫又は出庫に分けて、通信部２３を経由して、冷蔵庫１を使用する第１ユーザが使用する第１ユーザ端末だけでなく、第１ユーザ以外の第２ユーザが使用する第２ユーザ端末７０の表示部７１に出力することができる。第２ユーザ（例えば、冷蔵庫１を使用する第１ユーザの家族又は同居人など）は、第２ユーザ端末７０の表示部７１の表示画面を視認することにより、冷蔵室１１内に収納されている食品を把握することができる。

図６（ａ）及び（ｂ）は、実施の形態１に係る冷蔵庫１の撮影画像から抽出された食品画像の、携帯端末における表示画面の一例を示す図である。図６（ａ）に示される表示画面（タイムライン表示画面）では、扉２０が開閉される毎に貯蔵室画像から抽出された食品画像４２と、その食品画像４２に付帯する時刻情報４３及び入出庫識別情報４４とが、時系列に並べて表示されている。この例では、画面中央に食品画像４２が上から並べられており（時刻情報としての撮影時刻情報が新しいものから順に）、それぞれの食品画像の左側に時刻情報４３、右側に入出庫識別情報４４が表示されている。また、画面上側には対象とする貯蔵室（この例では、冷蔵室１１）とその設定温度、及び現在時刻も表示されている。

図６（ａ）に示されるタイムライン表示画面では、消費期限又は賞味期限の目視による確認を、画面を上から下に（対象とする食品について時間を遡って）検索して行うことが可能である。このため、食生活関連情報として、食品の消費期限又は賞味期限を報知して消費を促すことにより、食費を無駄に廃棄することを防止することができる。

図６（ｂ）に示される表示画面（入出庫リスト表示画面）は、入庫と出庫とで左右の欄に分けて、それぞれの欄に食品画像と時刻情報とを時系列に表示（リスト表示）している。すなわち、左側の欄には、入出庫識別情報５４が「入庫」となっている食品画像及びその時刻情報（すなわち入庫時刻）５３を、入庫時刻５３が新しいものから順に上から並べて表示している。右側の欄には、入出庫識別情報５４が「出庫」となっている食品画像５２及びその時刻情報（すなわち出庫時刻）５３を、出庫時刻５３が新しいものから順に並べて表示している。

図６（ｂ）に示される入出庫リスト表示画面では、対象とする食品の入庫及び出庫の履歴から、その食品の現在の残量を取得することができるので、食生活関連情報として、別ユーザ端末７０に食品の残量を報知することにより、遠隔地、例えば、買い物先において、家族又はヘルパーが別ユーザ端末７０の表示部７１を確認することにより、食品の買い過ぎ、又は、食品の買い忘れを防止することが可能となる。

図７は、実施の形態１に係る冷蔵庫１の撮影画像から抽出された食品画像の、携帯端末における表示画面の別の例を示す図である。画像管理部１０１は、保存されている食品画像（すなわち、扉２０の開閉毎に抽出された食品画像）と、その付帯情報である時刻情報及び入出庫識別情報とから、ある時点で冷蔵室１１内に収納されている（入出庫識別情報が「出庫」ではない）食品画像を特定する。そして、通信部２３を経由して、図７に示されるように、在庫食品画像の一覧を、在庫食品一覧表示画面６２として表示する。なお、図７の例では、図６（ａ）及び（ｂ）とは異なり、時刻情報を基に、入庫時刻が古いものから順に食品画像が上から並べられている。

図７に示される在庫食品一覧表示画面６２では、ある時点での在庫食品画像の一覧が表示されるため、図６（ｂ）に示されるリスト表示よりもさらに明確に、食生活関連情報として食品の残量一覧が報知される。このため、冷蔵室１１内にどの食品が収納されているかを把握することができ、食品の買い過ぎ、及び、食品の買い忘れを防止することができるという効果が一層期待できる。また、入庫時刻が古いものから順に、上から食品画像が並べられているので、古い食品、すなわち「早期に消費する必要がある」食品を発見しやすくなり、消費期限切れによる食品の廃棄を抑制することが可能となる。

なお、第２ユーザ端末７０の表示部７１には、図６（ａ）の「入出庫タイムライン」、図６（ｂ）の「入出庫リスト」、及び図７の「在庫食品一覧」という、３つの種類の食品画像表示画面を説明したが、これらのいずれかを常時、表示するようにしてもよいし、第１ユーザの操作（例えば、タッチパネルに触れる等）に応じて表示するようにしてもよい。また、食品画像表示画面の切換は、それぞれの表示画面へリンクするボタンの操作によって切り換えてもよいし、水平方向のスワイプ動作などによって切り換えてもよい。

また、第２ユーザ端末７０の表示部７１の画面上側には、対象とする貯蔵室（この例では、冷蔵室１１）とその設定温度、及び現在時刻が表示されているが、設定温度の他に、貯蔵室の測定温度を表示してもよい。

次に、変化検出部１０２及び劣化検出部１０３の処理について説明する。図４に示されるステップＳ１７では、変化検出部１０２が、画像管理部１０１から受け取った食品画像（すなわち、扉２０の開閉毎に貯蔵室画像から抽出された食品画像）の色及び大きさの時間変化を検出して（例えば、記憶部２４に）保存する。

冷蔵室１１に収納されている食品は徐々に劣化し、特に、食品の色又は食品の大きさ（或いは形状）に変化が現れる。例えば、肉及び魚などの生鮮食品は、酸化（メト化）により色が褐色に変化する。野菜について言えば、ブロッコリーは、明るい緑色が徐々に退色して黄色の部分が多くなり、劣化がさらに進行すると腐敗又はカビにより灰褐色に変化する。ホウレン草などの葉物野菜は、蒸散によって萎れ又は縮みが発生して、大きさも変化する。

そこで、変化検出部１０２は、画像管理部１０１から食品画像を受け取る毎に、受け取った食品画像の色及び大きさの時間変化を検出して保存する。変化検出部１０２に保存された食品画像の色及び大きさの時間変化に基づいて、劣化検出部１０３が劣化状態の検出（推定）を行う。

食品の色の変化を検出するための指標として、例えば、一般的な色指標であるＬ^＊ａ^＊ｂ^＊表色系を用いる場合、上述した生鮮食品の酸化はａ^＊値の減少（赤の退色）、ブロッコリーの退色はＬ^＊値又はｂ^＊値の増加（明るさの増加及び黄色の増加）、腐敗はＬ^＊値の減少（明るさの減少）として数値化される。そのため、変化検出部１０２は、画像管理部１０１から食品画像を受け取る毎に、ａ^＊値、ｂ^＊値、及びＬ^＊値を検出して（例えば、記憶部２４に）保存する。

また、色指標はＬ^＊ａ^＊ｂ^＊表色系に限られず、原色をＲ（赤）、Ｇ（緑）、Ｂ（青）とする表色系であるＲＧＢ表色系、又は、マンセル表色系等のような他の表色系を用いても、色の変化（赤の退色、黄色の増加等）及び明るさの変化を数値化することができる。

変化検出部１０２は、色分布の変化を記憶部（例えば、記憶部２４）に保存してもよい。この場合、変化検出部１０２は、予め多数のカラーサンプルをデータベースとして記憶部（例えば、記憶部２４）に保存しており、画像管理部１０１から受け取った食品画像から検出した色をカラーサンプルと比較して類似度を算出する。そして、食品画像全体を、最も類似しているカラーサンプルに対応する色毎に分類して、色毎の面積占有率を算出する。

図８（ａ）及び（ｂ）は、変化検出部１０２における食品画像の時間変化の一例を示す図である。図８（ａ）には、食品（肉）の入庫時の食品画像と、その食品画像に基づいて検出した色分布を示す。図８（ｂ）は、食品が酸化するのに十分な時間（Ｔ時間）が経過した後の食品画像と、その食品画像に基づいて検出した色分布を示す。Ｔは、０以上の値である。図８（ａ）及び（ｂ）では、食品画像における、カラーサンプルに対応する色毎（横軸）の面積占有率（縦軸）を棒グラフで示している。変化検出部１０２は、画像管理部１０１から食品画像を受信する毎に、新たに受け取った食品画像の色分布のデータを算出して保存する。

また、変化検出部１０２は、大きさの変化を検出する指標として、例えば、投影面積、周囲長、及び最長軸の長さなどを保存する。また、変化検出部１０２は、食品の輪郭形状からパターンを抽出し、そのパターンを保存してもよい。ここでは、変化検出部１０２は、食品画像の色及び大きさの変化を検出して保存するが、色の変化のみ、又は、大きさの変化のみを検出して保存するようにしてもよい。

このようにして、変化検出部１０２が検出して保存した色及び大きさの時間変化に基づいて、劣化検出部１０３が食品の劣化状態を検出する。劣化検出部１０３による食品劣化状態の検出は、扉２０の開閉毎ではなく、一定時間毎に行うことが好ましい。

食品の劣化の状態は、食品の種別（肉、魚又は野菜等）によって異なる。したがって、劣化検出部１０３は、食品の種別に適した判断基準を用いて、食品の劣化状態の判断を行うことが望ましい。ただし、劣化検出部１０３は、食品の種別は問わずに、同じ判断基準を用いて食品の劣化状態の判断を行ってもよい。そのため、劣化検出部１０３は、１つの食品画像について複数の指標に基づく判断を行い、少なくとも１つの指標が基準値を超えた場合には、「早期に消費する必要がある」と判断する。

例えば、色指標としてＬ^＊ａ^＊ｂ^＊表色系を用いる場合には、劣化検出部１０３は、変化検出部１０２に保存したａ^＊値、ｂ^＊値、及びＬ^＊値のうちの少なくとも１つが基準値を超えた場合に、当該食品画像に対応する食品について「早期に消費する必要がある」と判断する。

また、図８（ａ）及び（ｂ）に示される色分布を用いる場合には、変化検出部１０２が保持する色分布（カラーサンプルに対応する色毎の面積占有率）の変化に基づいて、特定の色の面積占有率が基準値を超えた場合に、例えば、対象の食品画像に対応する食品について「早期に消費する必要がある」と判断する。

図８（ａ）及び（ｂ）に示される例では、食品の入庫時の図８（ａ）と比較して、Ｔ時間後の図８（ｂ）では、酸化によって食品（肉）の色が濃く（実際には褐色に）変化しており、また、濃い色の面積占有率が大きくなっている。褐色は、酸化すなわちメト化によってメトミオグロビンが呈する色である。

そこで、例えば、「メト化が進むと１０番のカラーサンプルに対応する色が増加する」、「腐敗が進むと２０番のカラーサンプルに対応する色が増加する」等の知識（情報）に基づき、劣化検出部１０３に、劣化を反映する色毎に基準値を予め登録しておく。

そして、劣化検出部１０３は、予め登録された複数の色（例えば、１０番、２０番等の複数のカラーサンプルに対応する色）の面積占有率のうちの少なくとも１つが基準値を超えた場合に、この食品画像に対応する食品について「食品の劣化が進んでいる可能性がある」と判断する。

また、食品は劣化によって萎れ又は縮みを呈するため、食品画像に含まれている食品の大きさの変化に基づいて、劣化状態を判断することもできる。この場合、変化検出部１０２が検出して保存した食品の大きさ（例えば、投影面積、周囲長、又は最長軸の長さ等）の変化に基づき、劣化検出部１０３が、食品の大きさの入庫時からの減少率が基準値を超えた場合には、その食品について「早期に消費する必要がある」と判断することができる。

あるいは、変化検出部１０２が検出して保存した食品の輪郭形状のパターンに基づき、劣化検出部１０３が、入庫時の食品の輪郭形状のパターンと検出時の食品の輪郭形状のパターンとのパターンマッチングを行い、その誤差が基準時を超えた場合に、その食品について「早期に消費する必要がある」と判断してもよい。

また、図８（ａ）及び（ｂ）を参照して説明した色分布に基づく判断において、カラーサンプルに対応する色毎の面積占有率を求める代わりに、絶対的な面積値を求めれば、色の変化と同時に大きさの変化も反映させた判断が可能になる。

劣化検出部１０３は、変化検出部１０２に保存された各食品画像について、それぞれ劣化状態の判断を行う。第２ユーザ端末７０の表示部７１には、画像管理部１０１によって保存された食品画像と共に、劣化検出部１０３による劣化状態の検出結果が表示される。

図９（ａ）及び（ｂ）は、携帯端末における食品の劣化状態の表示例を示す図である。図９（ａ）に示される表示例では、図７で説明した在庫食品一覧表示画面６２に表示される食品画像のうち、劣化検出部１０３が「早期に消費する必要がある」と判断した食品画像に、アラート（ここでは、感嘆符）を重ねて表示している。これにより、第１ユーザが使用する端末装置だけでなく、第２ユーザ端末７０の表示部７１を見た第２ユーザも、アラートが表示された食品画像の食品が、早期に消費すべき食品であることを把握することができる。すなわち、冷蔵室１１内に収納された複数の食品のうち、どの食品を早期に消費すべきかが一目瞭然になる。その結果、消費期限又は賞味期限の経過により食品を無駄に破棄することを抑制することができる。

したがって、例えば、冷蔵室１１内に消費期限又は賞味期限が経過した食品が収納されていて、第１ユーザ、又は、第２ユーザ（例えば、第１ユーザのヘルパー若しくは第１ユーザの家族など）が買い物先においてその食品を購入するかどうか迷った際に、冷蔵室１１内の収納状況だけでなく、目的とする食品の消費期限又は賞味期限も確認することができる。このため、冷蔵庫１に収納されているが、消費期限が過ぎていて使用することができない食品を、買い忘れることを防止することが可能となる。

図９（ａ）に示される表示例では、食品画像にアラートを重ねて示しているが、このような例に限らず、劣化検出部１０３の検出結果に基づき、早期に消費すべき食品を第１ユーザ又は第２ユーザに知らせることができれば、他の表示であってもよい。

第２ユーザ端末７０の表示部７１には、また、図９（ｂ）に模式的に示されるように、変化検出部１０２によって検出した食品画像の色又は大きさの変化を示す食品画像を表示してもよい。この場合、例えば、図７に示されるような在庫食品一覧表示画面６３上で１つの食品画像を選択する（例えば、指を画面に接触させて選択する）と、その食品画像の時間毎の色又は大きさの変化を表示する食品変化表示画面６４が表示される（図９（ｂ）では、食品として生肉を想定しているため、チルド室を表示例としている）。これにより、第１ユーザ及び第２ユーザは、食品の劣化状態を画像により把握することができる。

なお、扉２０が長期間に亘って開閉されない場合も想定される。そのため、例えば、扉２０の開閉の最新の時点では、食品の劣化の兆候（例えば、褐色への変化）が僅かであっても、時間の経過により食品の劣化が進行する可能性がある。そこで、劣化検出部１０３は、一定時間毎に、変化検出部１０２に保存されている各食品画像の色及び大きさの変化に基づいて食品の劣化状態を検出し、その検出結果に基づいて第１ユーザ又は第２ユーザに食品の消費を促すべき時刻（第１ユーザ又は第２ユーザへの報知時刻）を予測し、予測時刻に達した段階で携帯端末の表示部にアラートを表示することが望ましい。

次に、使用状況取得部１０４及び生活管理部１０５の処理について説明する。

使用状況取得部１０４は、劣化検出部１０３から送信された、食品画像単位の劣化状態の情報から、冷蔵室１１内に収納された食品の保管状態、すなわち、その食品を保管する第１ユーザの使用状況を検出（取得）する。具体的には、現在保管されている食品に全く劣化が見られなければ、食品は常に入れ換えられ適切に保管されているという使用状況が検出され、全体的に食品の移動はあるものの、特定の食品が劣化していれば、その食品の存在が忘れられているという使用状況、さらに、多くの食品が劣化したまま数日間放置されていれば、冷蔵室１１そのものが使用されていないという使用状況が検出される。

次に、生活管理部１０５では、使用状況取得部１０４において検出された第１ユーザの使用状況を示す第１情報を受け取り、その使用状況を示す第１情報に基づいて生活状況を検出する。例えば、食品が常に入れ換えられていれば、第１ユーザが頻繁に買い物に行き、家で食事をしているという生活状況、貯蔵室内に特定の食品の存在が忘れられている場合には、単に存在を忘れているという以外に、その食品を使用しない生活、すなわち偏った食生活を行っている可能性があるという生活状況も検出することができる。また、使用状況として、冷蔵室１１そのものが使用されていないという状況が検出される場合には、第１ユーザが長期間外出しているか、あるいは何か安否上の問題が発生したという可能性も想定される。

また、生活管理部１０５では、検出した第１ユーザの生活状況を示す第２情報の中で、第２ユーザに報知すべきであると判断された情報を分類する。上記の例では、貯蔵室内の食品が常に入れ換えられ、第１ユーザが買い物及び食事のいずれをも適切に行っていると想定される生活状況では全く問題ない。しかし、食生活が偏っている可能性があるという食生活関連情報、又は、特に冷蔵室１１そのものが使用されていない使用状況を、第１ユーザの健康上の問題又は犯罪に関連した状況と判断した場合には、通信部２３を介して、冷蔵庫１を使用する第１ユーザとは異なる第２ユーザの保有する第２ユーザ端末７０に安否関連情報として報知する。

ここで、生活管理部１０５において、検出した第１ユーザの生活状況を示す第２情報の中で、第２ユーザに報知すべきであると判断する条件は、予め設定されている。上記の冷蔵室１１が全く使用されていない状況が、何時間以上継続したならば、第２ユーザに報知するかを決定する閾値を予め設定し、旅行などで留守にする場合には、その閾値を解除するようにすれば、無駄な報知を防ぎ、適切なタイミングで第２ユーザに安否関連情報を報知することができ、第２のユーザは第１のユーザに対する適切な対処を行うことが可能である。

また、生活管理部１０５において取得され、第２ユーザに報知される生活状況を示す第２情報は、安否関連情報に限られない。例えば、報知される第２情報は、例えば、旅行中又は仕事又は学校のある平日の昼間等において（家に誰もいないはずの時間帯に）、貯蔵室内の食品の入れ換えが発生した場合に、第１ユーザ以外の想定外の人物による使用を考慮に入れて、防犯関連情報を第２ユーザに報知してもよい。この場合には、第２ユーザによって、警察又はセキュリティ会社への迅速な通報が可能であり、犯罪を未然に防ぐことが可能になる。さらに、貯蔵室内に、劣化した食品が放置されている状況に対して、第１ユーザが気づかない状況も考慮して、使用の警告を食生活関連情報として第２ユーザに報知することもできる。このような報知は、１人暮らしの子供又は単身赴任の夫の健康状態を、遠隔地から管理する親又は妻にとって役立つ情報である。

また、第２ユーザ端末７０を保有する第２ユーザは、予め認証された第２ユーザであってもよい。上記食生活関連情報は個人情報ではあるが、不特定の第三者に開示してもセキュリティ上は、大きな問題にはならないと想定される。しかし、安否関連情報又は防犯関連情報は、第１ユーザの健康情報又は第１ユーザの在宅又は不在情報を含むため、家族又は近親者、また、第１ユーザが高齢者である場合にはヘルパー等を含めて、第１ユーザの生活状況を示す第２情報を受信することができる第２ユーザ端末７０を予め設定しておく。なお、第２ユーザ端末７０を保有する第２ユーザの認証方法については、実施の形態４で説明する。

《１−３》効果
以上説明したように、実施の形態１に係る冷蔵庫１によれば、撮影装置２７により撮影した冷蔵室１１内の画像から食品画像を抽出して管理し、第２ユーザ端末７０の表示部７１に、食品画像と、食品の劣化に関する情報（例えば、劣化状態を示す情報）とを共に表示する。そのため、第１ユーザだけでなく第２ユーザも、遠隔地（例えば、買い物先）でも冷蔵室１１に収納されている食品を把握し、その中で特に早期に消費すべき食品を把握することができる。

その結果、第２ユーザに食品を消費期限までに消費することを促し、食品の無駄な廃棄を抑制することができる。また、冷蔵室１１内に食品を長期間放置することによるスペース及びエネルギーの無駄を低減することができる。また、扉２０を閉じた状態でも、携帯端末にて食品の在庫状況又は劣化状態を確認することができるため、扉２０の開閉による冷蔵室１１内の温度上昇を抑制し、電力消費量を低減することができる。

また、携帯端末に、食品画像と共に入出庫識別情報及び時刻情報を表示することにより、第１ユーザ及び第２ユーザは、ある食品が冷蔵室１１内にどの程度の期間収納されているかを容易に把握することができ、特に買い物先から確認した場合には、在庫食品の消費期限又は賞味期限も考慮したうえで、食品の購入を判断することができる。

また、食品画像を入出庫識別情報及び時刻情報と共に保存し、これらに基づいて食品の劣化状態を検出するようにしたため、食品画像の変化及び入庫してからの時間経過等を考慮して、食品の劣化状態を高い精度で検出することができる。

また、扉２０が開閉される毎に撮影装置２７が貯蔵室画像を撮影し、画像管理部１０１が貯蔵室画像から食品画像を抽出するようにしたため、冷蔵室１１内の食品に変化がある可能性がある毎に情報が更新される。そのため、第１ユーザ及び第２ユーザは在庫食品とその劣化状態をより正確に知ることができる。

また、劣化検出部１０３が、食品画像の色又は大きさ（又はその両方）の変化に基づいて食品の劣化状態を検出するため、酸化（メト化）及び腐敗等の劣化の検出精度を高めることができる。

さらに、冷蔵室１１内における食品の在庫状況又は劣化状態から、冷蔵庫１を所有する第１ユーザの生活状況を示す第２情報を検出することができ、その生活状況として、第１ユーザの安否関連情報、防犯関連情報、又は食生活関連情報などが限られた第２ユーザに報知される。このため、高齢の両親の安否状況、又は、留守宅の防犯状況、離れて暮らす家族の健康状況などを遠隔地から確認することができ、それぞれ適切な対処方法を講じることができるという効果が得られる。

《１−４》変形例
上記の説明では、画像管理部１０１が食品の入庫又は出庫を識別したが、食品の入庫及び出庫に加えて、冷蔵室１１内における食品の移動を識別するようにしてもよい。

食品の移動は、例えば、以下の方法で識別する。すなわち、画像管理部１０１が、上述したように前回及び今回の扉開閉時における貯蔵室画像の差分画像を得る。さらに、前々回及び前回の扉開閉時における貯蔵室画像の差分画像の中に、前回及び今回の扉開閉時における貯蔵室画像の差分画像と一致するものがあるか否かを、マッチング処理により判断する。マッチング処理の結果、前々回及び前回の扉開閉時における貯蔵室画像の差分画像の中に、前回及び今回の扉開閉時における貯蔵室画像の差分画像と一致するものがある場合には、食品が冷蔵室１１内で移動したものと判断する。

劣化検出部１０３が食品の入庫からの経過時間（すなわち在庫期間）を計算する際に、食品が冷蔵室１１内で移動する前の在庫期間も算入することで、食品の劣化状態の検出及び第２ユーザへの報知の精度を向上することができる。

また、上記の説明では、各種の情報（冷蔵室１１の画像又は抽出された食品画像、食品画像の色及び大きさの時間変化、食品の劣化状態、第１ユーザの使用状況を示す第１情報）を、通信部２３を介して第２ユーザ端末７０に送信される場合を説明したが、生活管理部１０５において、検出した第１ユーザの生活状況を示す第２情報の中で、生活状況が第２ユーザに報知すべき状況であると判断された場合にのみ、上記各種の情報を第２ユーザ端末７０に送信してもよい。これにより無駄な送信を防ぐことができ、第２ユーザへの負担を軽減することができる。

なお、上記の説明では、撮影装置２７を冷蔵室１１に設けたが、冷蔵室１１以外の貯蔵室に設けてもよく、複数の貯蔵室に同時に設置してもよい。例えば、比較的購入のサイクルが短く劣化しやすい野菜が収納される野菜室１５に、撮影装置２７を設置すれば、より短期間で劣化の発生又は生活状況として買い物の頻度を把握することができ、また、冷凍室１４にも追加して設ければ、食生活関連情報として、冷凍した肉又はご飯、及び冷凍食品の使用状況も検出することが可能となる。

《２》実施の形態２
《２−１》構成
図１０は、本発明の実施の形態２に係る冷蔵庫２の冷蔵室１１の概略構造（図１を線分ＩＩ−ＩＩで切る断面構造）を示す断面図である。図１０において、図２に示される構成要素と同一又は対応する構成要素には、図２に示される符号と同じ符号が付される。図１１は、実施の形態２に係る冷蔵庫２の制御系の構成を概略的に示すブロック図である。図１１において、図３に示される構成要素と同一又は対応する構成要素には、図３に示される符号と同じ符号が付される。

図１０及び図１１に示されるように、実施の形態２に係る冷蔵庫２は、制御部２００が食品情報記憶部１０６及び食品識別部１０７を備えた点において、実施の形態１に係る冷蔵庫１と相違する。制御部２００は、例えば、制御基板２１０に備えられる。食品情報記憶部１０６と記憶部２４とは、別個の記憶装置であってもよく、又は、同じ記憶装置の異なる記憶領域であってもよい。また、食品情報記憶部１０６は、ネットワークを経由して通信可能な外部装置（例えば、サーバ）の情報記憶部の記憶領域であってもよい。

図１１に示されるように、食品識別部１０７は、画像管理部１０１、変化検出部１０２、及び食品情報記憶部１０６と接続されている。食品識別部１０７は、画像管理部１０１において抽出された食品画像を受け取り、貯蔵室（ここでは、冷蔵室１１）内に収納されている食品（例えば、食品の種類及び量）を識別する。食品識別部１０７は、食品の種類を識別するために、食品情報記憶部１０６に記憶されている情報を参照する。食品識別部１０７は、画像管理部１０１から受け取った、食品画像のそれぞれの付帯情報（時刻情報及び入出庫識別情報）に、識別結果を示す識別情報（食品の種類及び量に関する情報）を付加し、食品画像と、識別情報が付加された付帯情報とを、変化検出部１０２に与える。

食品情報記憶部１０６は、食品識別部１０７と接続されている。食品情報記憶部１０６は、食品の種類のそれぞれについて、食品の種類を他の食品の種類と区別するための特徴的な属性（例えば、食品の形状、大きさ、色、及び外装ラベルの少なくとも１つ）を、食品の種類に対応付けた参照情報として記憶している。

図１２は、食品情報記憶部１０６に記憶されている、具体的な情報の一例（食品画像データベース）を示す図である。ここでは、食品情報記憶部１０６は、食品の種類に属する食品自体の特徴量、又は、食品が入った容器の特徴量を、食品の種類に対応付けて記憶している。具体的には、食品情報記憶部１０６は、食品の種類毎に、形状（輪郭）、長軸の大きさ、代表色（赤緑青（ＲＧＢ）値）、及びラベル（文字）などの情報を特徴量として記憶している。

なお、食品情報記憶部１０６に保存する食品の種類毎の形状としては、輪郭に代えて、食品の外形に最も近い幾何学的形状（例えば、円柱、台形など）を用いてもよい。この場合、食品識別部１０７は、例えば、パターンマッチングなどの手法により、取得された食品画像の食品形状と、食品情報記憶部１０６に記憶されている食品形状との照合を行う。また、食品識別部１０７は、食品画像の色について、代表色のＲＧＢ値の他に、例えば、明度又は彩度などの他の指標値を用いるようにしてもよい。

また、制御部２００は、電気回路によって構成されてもよく、又は、記憶部２４に記憶されているソフトウェアとしてのプログラムを実行する情報処理装置としてのプロセッサによって構成されてもよい。制御部２００がプロセッサで構成される場合には、制御部２００の機能は、記憶部２４に記憶されているプログラムを実行することによって、実現される。

《２−２》動作
次に、実施の形態２に係る冷蔵庫２の動作の一例について、図１０から図１３を参照して説明する。図１３は、冷蔵庫２の扉２０が開閉される毎に行われる動作を説明するためのフローチャートである。図１３において、図４（実施の形態１）に示されるステップと同一又は対応するステップには、図４に示されるステップ番号と同じステップ番号が付される。

図１３に示される動作において、扉２０の開閉から開始し、画像管理部１０１が、前回と今回の扉２０の開閉時の貯蔵室画像の差分を演算することにより、貯蔵室画像の変化部分の画像を食品画像として抽出し、この抽出を行った時刻情報、及びその食品画像から食品の入庫又は出庫を判断し、食品画像と共に、入出庫識別情報を、付帯情報として画像管理部１０１に保存する（ステップＳ１５）までは、図４に示される実施の形態１の動作と同一である。実施の形態１では、画像管理部１０１は、抽出した食品画像と付帯情報を変化検出部１０２に送信したが、実施の形態２では、画像管理部１０１は、抽出した食品画像と付帯情報を食品識別部１０７に与える（ステップＳ２１）。

食品識別部１０７は、食品情報記憶部１０６に記憶されている情報（例えば、図１２に示される情報）を参照しながら、画像管理部１０１から受け取った食品画像に基づいて、貯蔵室（ここでは、冷蔵室１１）内に収納されている食品の種類及び量を識別する（ステップＳ２２）。この識別においては、食品識別部１０７は、画像管理部１０１により抽出された個々の食品の画像について、食品情報記憶部１０６に記憶されている食品の種類のうち、どの食品の種類の特徴量と合致するかを照合する。

そして、食品情報記憶部１０６に、抽出された食品の画像に合致する特徴量（食品情報記憶部１０６に記憶されている食品の種類の特徴量）が存在する場合、食品識別部１０７は、画像管理部１０１により抽出された画像の食品の種類が、合致した特徴量に対応付けられている種類であると、判断する。なお、食品情報記憶部１０６に、抽出された食品の画像に合致する特徴量（食品情報記憶部１０６に記憶されている食品の種類の特徴量）が存在しない場合、食品識別部１０７は、画像管理部１０１により抽出された画像の食品の種類を、最も類似する食品の種類で代替するか、あるいは、この画像の食品は種類不明の収納物として大きさだけを識別するように構成されてもよい。

食品識別部１０７は、画像管理部１０１から受け取った食品画像、及び、それぞれの食品画像についての付帯情報（時刻情報及び入出庫識別情報）に、このようにして識別した食品の種類及び量を示す情報を付帯情報として追加し（ステップＳ２３）、実施の形態１の場合と同様に、食品画像及び付帯情報を変化検出部１０２に与える（ステップＳ２４）。

続くステップＳ２４では、食品識別部１０７から受け取った、食品画像及び付帯情報（時刻情報、食品の種類及び量を示す情報及び入出庫識別情報）をもとに、実施の形態１と同様に、変化検出部１０２が、食品画像の色及び大きさの時間変化を検出して保存する。

ここで、実施の形態１では、変化検出部１０２が検出した色及び大きさの時間変化に基づいて、劣化検出部１０３が、食品の種別は問わずに、一律な判断基準を用いて食品の劣化状態を検出していた。すなわち、劣化検出部１０３は、１つの食品画像について複数の指標に基づく判断を行い、少なくとも１つの指標が、決められた基準値を超えた場合には、対象の食品は、「早期に消費する必要がある」と判断する。

しかし、食品の劣化状態は、食品の種類（肉、魚又は野菜等）によって差異がある。例えば、同じ生鮮食品である肉と魚において、同じように酸化（メト化）によって色が赤から褐色に変化しても、刺身として生で食べる魚には厳しい劣化でも、一般的に加熱調理する肉には問題ないレベルの劣化であり、また野菜又は果物においても、ブロッコリーでは、明るい緑色が退色して黄色になるが、みかんでは、緑が黄色になるのは、熟れて食べ頃になっていることを示すこともある。さらに、大きさについては、葉物野菜は蒸散によって萎れ又は縮みが発生して小さくなるが、牛乳又はドレッシング等、容器に入っているものは、いくら劣化しても大きさは変化しない。

そこで、実施の形態２では、劣化検出部１０３が食品の劣化状態を検出する際に、食品識別部１０７にて識別された、食品の種類及び量を示す情報を反映し、劣化を判断する基準値を変更している。これにより、食品の劣化状態の検出精度を向上させることができる。

例えば、図８（ａ）及び（ｂ）に示される色分布を用いる場合には、「メト化が進むと１０番のカラーサンプルに対応する色が増加する」、「腐敗が進むと２０番のカラーサンプルに対応する色が増加する」等の知見に基づいて、劣化を判断する基準値を予め登録しておくが、食品の種類によってそれぞれ基準値を変更し、メト化又は腐敗により同じように色が変化する魚（例えば、マグロ）より、色変化の基準値を大きく設定する。

また、同じ食品、例えば、ほぼ全体が撮影できる薄切り肉と、表面しか撮影できないブロック肉では、メト化又は腐敗によって色が変化している面積占有率が同じでも、ブロック肉は内部の劣化も進行している可能性があるため、その量を示す情報を反映して、基準値を小さく設定することにより、劣化を事前に検出することができる。

また、大きさの時間的変化については、食品の種類を示す情報を反映し、容器に入っている食品については、劣化の判断基準から除外することにより、食品の劣化状態の検出精度を向上することができる。

《２−３》効果
以上説明したように、実施の形態２に係る冷蔵庫２によれば、食品の種類及び量を示す情報を反映することにより、劣化検出部１０３における食品の劣化状態の検出精度が向上する。このため、食品の劣化状態をもとに、使用状況取得部１０４にて検出される冷蔵室１１の使用状況を示す第１情報及び生活管理部１０５にて検出される第１ユーザの生活状況を示す第２情報の精度を向上させることができる。

例えば、劣化した食品が放置されている状況が検出された場合においても、その食品が、牛乳又は卵のように日常的に使用される種類のものであれば、生活管理部１０５は、第１ユーザに健康上又は安否上の問題が発生したと判断し、通信部２３を介して第２ユーザが使用する第２ユーザ端末７０に安否関連情報を報知する。一方、劣化した食品が、特定の料理でしか使用されない調味料又は嗜好品などである場合には、第１ユーザが単に使用を忘れて放置している可能性が高いので、緊急度を下げ、無駄な報知を抑制することが可能となる。

《３》実施の形態３
《３−１》構成
図１４は、本発明の実施の形態３に係る冷蔵庫３の冷蔵室１１の概略構造（図１を線分ＩＩ−ＩＩで切る断面構造）を示す断面図である。図１４において、図２及び図１０に示される構成要素と同一又は対応する構成要素には、図２及び図１０に示される符号と同じ符号が付される。図１５は、実施の形態３に係る冷蔵庫３の制御系の構成を概略的に示すブロック図である。図１５において、図３及び図１１に示される構成要素と同一又は対応する構成要素には、図３及び図１１に示される符号と同じ符号が付される。

図１４及び図１５に示されるように、実施の形態３に係る冷蔵庫３は、スケジュール管理部１０８及びスケジュール設定部１０９を備えた点において、実施の形態２に係る冷蔵庫２と相違する。より具体的に言えば、実施の形態３に係る冷蔵庫３は、冷蔵室１１の扉２０に設置された操作部又は操作表示部としての操作パネル２１ａに、冷蔵庫３を実際に使用するユーザである第１ユーザの行動計画であるスケジュールを、入力及び表示可能なスケジュール設定部１０９が内蔵され、また、冷蔵庫３の背面に取り付けられている制御装置としての制御基板３１０に、スケジュール設定部１０９で入力されたスケジュールを管理するスケジュール管理部１０８が実装されている点において、実施の形態２に係る冷蔵庫２と相違する。操作パネル２１ａは、例えば、画像表示機能と情報入力機能とを有するタッチパネルである。スケジュール設定部１０９は、例えば、操作パネル２１ａに表示されたスケジュール入力ボタンを有する。スケジュール設定部１０９のスケジュール入力ボタンは、冷蔵庫３と通信可能な、第１ユーザの携帯端末の表示部（タッチパネル）であってもよい。スケジュール管理部１０８は、入力されたスケジュールを用いて、操作パネル２１ａに、第１ユーザのスケジュール管理に有用な情報を表示させることができる。

冷蔵庫３の第１ユーザは、操作パネル２１ａから、冷蔵庫３が設置される住居の居住者（すなわち、冷蔵庫３の第１ユーザ）がその住居に在宅中か不在中かの予定（在否予定）、第１ユーザの生活パターン（例えば、起床時刻、就寝時刻、出勤時刻、帰宅時刻、食事時刻などのパターン）、第１ユーザの買い物パターン（例えば、１週間における買い物の周期のパターン、冷蔵庫に補充される食品の種類及び量のパターン）のようなスケジュール情報を入力する。スケジュール情報は、後述する図１６から図１８に示されるように、操作パネル２１ａに表示される。なお、実施の形態３に係る冷蔵庫３においては、冷蔵庫３の第１ユーザのスケジュール情報は、冷蔵庫３において管理される。ただし、冷蔵庫３の制御部３００における機能の一部を、ネットワーク上のサーバ（後述する図１９におけるクラウドサーバ６０２）に実行させることも可能である。

スケジュール管理部１０８は、操作パネル２１ａ内のスケジュール設定部１０９及び生活管理部１０５と接続されており、操作パネル２１ａからスケジュール設定部１０９に入力された、冷蔵庫３の第１ユーザのスケジュール情報を受け取って、このスケジュール情報をスケジュール設定部１０９に所定の形式（後述する図１６から図１８に示される）で表示させるとともに、生活管理部１０５に与える。

図１６から図１８は、実施の形態３に係る冷蔵庫３のスケジュール設定部１０９によって設定されたスケジュール情報を示すスケジュール表示画面の例を示す図である。図１６から図１８は、入力された第１ユーザのスケジュール情報を、スケジュール管理部１０８にて管理し、操作パネル２１ａに改めて表示させた画面の例を示す。図１６は、１ヶ月間のスケジュール表示の例を示し、図１７は、１週間のスケジュール表示の例を示し、図１８は、１日のスケジュール表示の例を示す。

実施の形態３において、冷蔵庫３の第１ユーザは、４人家族、すなわち、父「太郎」（ＴＡＲＯ）、母「花子」（ＨＡＮＡＫＯ）、長女「和美」（ＴＯＭＯＭＩ）、長男「一夫」（ＫＡＺＵＯ）である。図１６の１ヶ月間のスケジュール表示には、予定有りマーク９１（９１ａ〜９１ｅ）が示されている。予定有りマーク９１ａ“全”（ＡＬＬ）は、家族全員に予定があることを示し、予定有りマーク９１ｂ“太”（ＴＡ）は「太郎」に予定があることを示し、予定有りマーク９１ｃ“花”（ＨＡＮＡ）は「花子」に予定があることを示し、予定有りマーク９１ｄ“和”（ＴＯＭＯ）は「和美」に予定があることを示し、予定有りマーク９１ｅ“一”（ＫＡＺＵ）は「一夫」に予定があることを示している。

また、図１７の１週間のスケジュール表示には、予定内容マーク９２（９２ａ〜９２ｇ）が示されている。例として、予定内容マーク９２ａは旅行の予定があることを示し、予定内容マーク９２ｂは出張の予定があることを示し、予定内容マーク９２ｃはゴルフの予定があることを示し、予定内容マーク９２ｄは外食の予定があることを示し、予定内容マーク９２ｅは水泳（習い事）の予定があることを示し、予定内容マーク９２ｆはピアノ（習い事）の予定があることを示し、予定内容マーク９２ｇはサッカー（習い事）の予定があることを示している。

また、図１８の１日のスケジュール表示（横軸は１日の時刻）には、現在時刻９３、平常期間（すなわち、規則的に繰り返される行動パターンが存在する期間）において予定された外出期間（時間帯）９４ａ，９４ｂ、平常期間以外の期間（すなわち、規則的に繰り返される行動パターンが存在しない期間）において予定された外出期間９５ａ，９５ｂ、就寝期間９６が示されている。例として、平常期間以外の期間において予定された外出期間９５ａは、出張の予定がある（又はあった）ことを示し、平常期間以外の期間において予定された外出期間９５ｂは、外食の予定がある（又はあった）ことを示す。また、平常期間において予定された外出期間９４ａは、仕事の予定がある（又はあった）ことを示し、平常期間において予定された外出期間９４ｂは、学校の予定がある（又はあった）ことを示している。

《３−２》動作
次に、実施の形態３に係る冷蔵庫３の動作の一例について、図１４及び図１６を参照して実施の形態１及び２との相違点を中心に説明する。

実施の形態１及び２の説明において説明したように、生活管理部１０５は、貯蔵室内の食品の収納状況又は劣化状態から取得された冷蔵室１１の使用状況に基づいて、冷蔵庫３を使用する第１ユーザの生活状況を示す第２情報を検出（取得）している。しかし、冷蔵庫の貯蔵室内の食品の状況からだけでは、冷蔵庫３の第１ユーザの習慣又は突発的な予定変更などを知ることはできず、生活管理部１０５は、第１ユーザの生活状況を示す第２情報が第２ユーザに報知すべき情報であるか否かの判断を誤る（すなわち、適切な判断をすることができない）可能性がある。

例えば、牛乳及び卵のように日常的に使用される食品が、劣化した状態のまま貯蔵室内に放置されていた場合においても、第１ユーザに長期的な旅行の予定が入っていれば、冷蔵庫３を使用する第１ユーザとは異なる第２ユーザに、安否関連情報を報知する必要はない。また、ケーキなどの嗜好品の消費期限が迫っていることが検出された場合は、食品の種類を考慮に入れて判断した場合は、嗜好品であり緊急性がないため、第２ユーザに報知する必要はない。

そこで、実施の形態３では、図１４に示されるように、操作パネル２１ａ（すなわち、操作パネル２１ａのスケジュール設定部１０９）によって入力された第１ユーザのスケジュール情報をスケジュール管理部１０８が管理し、スケジュール設定部１０９によって操作パネル２１ａにスケジュールを表示するとともに、このスケジュールを示すスケジュール情報を生活管理部１０５に与える。このため、実施の形態３における生活管理部１０５は、実施の形態１及び２で説明した、使用状況取得部１０４にて食品の劣化状態に基づいて検出される使用状況を示す第１情報に加え、第１ユーザのスケジュール情報を反映して第１ユーザの生活状況を示す第２情報を検出し、管理することが可能である。

具体的なスケジュール情報の反映方法として、図１６から図１８に示される第１ユーザのスケジュールに対して、まず数日単位の制御例としては、図１６の１ヶ月間のスケジュール表示と、図１７の１週間のスケジュール表示とから、１２月１９日から１２月２１日までの間は、旅行により第１ユーザの全員（家族全員）が不在であり、貯蔵室内の収納食品が劣化しても放置されることが確実である。このため、食品の劣化状態から、使用状況取得部１０４において冷蔵室１１が全く使用されていないような状況が検出された場合であっても、生活管理部１０５は、旅行中で不在であるというスケジュール情報を反映することにより、遠方に住んでいる家族等の第２ユーザに、不必要な安否関連情報を報知しないことが可能である。

また、１日単位のスケジュール情報を反映する例としては、図１８の１日のスケジュール表示に示される１２月２５日は、平常期間において予定された外出時間帯９４ａ、９４ｂに加え、平常期間以外の期間において予定された外出期間９５ａ，９５ｂがあり、ほぼ１日中第１ユーザの全員が自宅にいない不在状態である。さらに、出張９５ａ及び外食９５ｂの予定により、夕食を家で摂る者がいないことが想定される。このような状況で、使用状況取得部１０４において、消費期限が迫っている食品、例えば、刺身又はケーキなどが使用されていない状況が検出された場合に、生活管理部１０５が、今夜は第１ユーザ全員（家族全員）が外食であるというスケジュール情報を反映することにより、近所に住む家族等である第２ユーザに、期限が迫っている食品が冷蔵庫３内に有ることを報知して、それらの食品を第２ユーザに使用してもらうことができる。このようにして、食品の無駄な廃棄を防ぐことが可能となる。

《３−３》効果
以上説明したように、実施の形態３に係る冷蔵庫３によれば、生活管理部１０５は、第１ユーザのスケジュール情報を用いて、第１ユーザの生活状況を示す第２情報が、第２ユーザに報知すべき情報であるか否かの判断を行うので、第２ユーザに報知する必要のない情報の第２情報の報知（すなわち、第２情報の過剰な報知）による通信ロス、及び、第２ユーザに報知する必要のある第２情報の報知漏れ（すなわち、報知不足）による食品ロスを防ぐことができる。

また、食品の劣化状態と第１ユーザのスケジュール情報とに基づいて第１ユーザの生活状況を検出する場合、貯蔵室における食品の継続的な収納パターン、又は、第１ユーザの買い物のパターン等も想定することが可能となる。例えば、食品の劣化状態が週末に近づくほど進行し、平日の昼間のスケジュールが、図１８に示される平常期間において予定された外出期間９４ａ，９４ｂでほぼ埋まっている場合、第１ユーザは共働き家庭であり、週末に食品をまとめ買いする買い物パターンを持つ家庭であることが想定される。このとき、特に、平常期間以外の期間において予定されるスケジュール情報が入力されることなく、劣化状態に変化が生じた場合には、食品そのものの劣化以外に、冷蔵庫３の故障の可能性が想定される。このため、生活管理部１０５は、冷蔵庫３を使用する第１ユーザとは異なる第２ユーザ（例えば、長年の取引きのある電器店、又は、その電器店のサービス担当者）に、冷蔵庫３の第１ユーザの生活状況を示す第２情報を報知することができる。

図１５では、操作パネル２１ａのスケジュール設定部１０９で入力され、スケジュール管理部１０８にて整理された第１ユーザのスケジュール情報を、生活状況を検出する際に反映させるために、生活管理部１０５に送る形態が示されている。しかし、スケジュール情報の送信先は、生活管理部１０５より前段に配置されている劣化検出部１０３又は使用状況取得部１０４であってもよい。いずれの場合であっても、第１ユーザの生活状況の検出にスケジュール情報を反映することができるうえ、特にスケジュール情報を劣化検出部１０３に送った場合には、発生した食品の劣化状態が、偶発的なものなのか、第１ユーザのスケジュール変更に伴う必然的なものなのか等を事前に判断することができる。このため、第１ユーザの生活状況を示す第２情報を、通信部２３を経由して第２ユーザに適切に報知することができる。

《４》実施の形態４
本発明の実施の形態４においては、実施の形態１から３に係る冷蔵庫のいずれかを含むネットワークシステムを説明する。図１９は、実施の形態４に係るネットワークシステムの概略構成を示す図である。図１９において、実施の形態１から３で説明された構成要素と同一の構成要素には、実施の形態１から３で用いられた符号と同じ符号が付される。図１９に示されるように、実施の形態４に係るネットワークシステムは、宅内システム５００と、インターネットによって宅内システム５００と通信を行うことができる宅外システム６００とを有している。宅内システム５００は、冷蔵庫４を有する。冷蔵庫４は、実施の形態１，２，及び３の冷蔵庫１，２，及び３のいずれかである。

図１９に示されるように、宅内システム５００は、冷蔵庫４、ルームエアコン、給湯器、ＩＨ（Ｉｎｄｕｃｔｉｏｎ Ｈｅａｔｉｎｇ）クッキングヒータ、電子レンジなどのような家電機器を有している。これらの家電機器及び電力計測装置５０３は、電灯線５０２によって系統電源５０１と接続され、系統電源５０１から電力が供給される。宅内システム５００は、系統電源５０１から電灯線５０２を通して各家電機器に供給される電力を計測するための電力計測装置５０３及び電力計測端子５０４と、宅内コントローラ５０５と、ブロードバンドルータ５０６と、通信装置としての機器通信部５１５とを有している。

電力計測装置５０３は、各家電機器に供給される電力（すなわち、各家電機器の消費電力）、並びに、系統電源５０１から家電機器全体及び電力計測装置５０３に供給される全電力を計測し、この計測の結果（履歴）を保存することができる。電力計測装置５０３は、例えば、ＣＴ（Ｃｕｒｒｅｎｔ Ｔｒａｎｓｆｏｒｍｅｒ）などの電力計測端子５０４によって供給電力を測定する。

家電機器及び電力計測装置５０３のそれぞれには、通信ネットワークを介して、宅内コントローラ５０５と通信するための機器通信部５１５が備えられている。通信ネットワークは、例えば、有線又は無線のＬＡＮ（ローカルエリアネットワーク）である。冷蔵庫４などのような家電機器及び電力計測装置５０３は、それぞれの機器通信部５１５を介して、宅内コントローラ５０５と有線又は無線で双方向通信することができる。なお、冷蔵庫４に接続された機器通信部５１５は、実施の形態１から３で説明された、通信装置としての通信部２３と同一の役割を果たす。したがって、冷蔵庫４の通信部２３が宅内コントローラ５０５と直接、有線又は無線で通信可能である場合には、冷蔵庫４についての機器通信部５１５を備える必要はない。

機器通信部５１５が有線で通信する機能を有する場合には、機器通信部５１５は、例えば、シリアルインターフェース又はドライバなどの有線通信モジュールを具備している。機器通信部５１５が無線で通信する機能を有する場合には、機器通信部５１５は、Ｗｉ−Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信モジュールを具備している。なお、機器通信部５１５は、家電機器及び電力計測装置５０３のそれぞれに内蔵されていてもよいし、家電機器及び電力計測装置５０３の外部に備えられてもよい。

宅内コントローラ５０５は、電力計測装置５０３が計測した家電機器の消費電力及び系統電源５０１の供給電力の情報を、通信ネットワークを介して電力計測装置５０３から取得することができる。また、宅内コントローラ５０５は、家電機器の運転状態の情報を、通信ネットワークを介して取得することができる。そして、宅内コントローラ５０５は、取得した消費電力及び供給電力並びに運転状態の情報を管理し、必要に応じて、家電機器に対して通信ネットワークを介して制御変更指示（例えば、運転状態の変更の指示）を送信することも可能な構成となっている。

また、宅内コントローラ５０５は、ブロードバンドルータ５０６を経由して、宅外システム６００のインターネット６０１に接続される。

インターネット６０１は、各種電力情報及び天気予報などの環境情報が格納されているクラウドサーバ６０２に接続される。また、インターネット６０１は、第２ユーザ端末７０にも接続される。第２ユーザ端末７０は、実施の形態１で説明したものと同様、冷蔵庫４の第１ユーザと異なる第２ユーザが使用する装置である。第２ユーザ端末７０は、例えば、第２ユーザ（家族、親戚、友人、知人、警備会社、公共機関、又は介護会社のような管理者）に使用権限が与えられている、スマートフォン、携帯タブレット、携帯電話、パーソナルコンピュータなどのような通信機能を備えた装置である。

クラウドサーバ６０２は、インターネット６０１を介して冷蔵庫４及び第２ユーザ端末７０と通信可能に接続された外部サーバである。クラウドサーバ６０２は、第２ユーザ端末７０について冷蔵庫４への接続権限の有無を認証する個人認証部６０３を備えていることが望ましい。

例えば、クラウドサーバ６０２は、内蔵する又は外部接続された記憶部に、冷蔵庫４のＩＤ（識別子）に対して、冷蔵庫４への接続権限を有する第２ユーザ端末７０の携帯端末ＩＤを予め記憶している。ここで、冷蔵庫４のＩＤとは、インターネット６０１に接続され得る複数の冷蔵庫の各々を一意に識別可能な情報である。また、携帯端末ＩＤとは、インターネット６０１に接続された複数の携帯端末の各々を一意に識別可能な情報である。

そして、個人認証部６０３は、第２ユーザ端末７０の携帯端末ＩＤが、冷蔵庫４に対して冷蔵庫４への接続権限を有するものとして記憶されているか否か（登録された第２ユーザの端末であるか否か）を確認することで、第２ユーザ端末７０について冷蔵庫４への接続権限の有無を認証する。

外部サーバであるクラウドサーバ６０２は、個人認証部６０３により冷蔵庫４への接続権限を有することを認証した第２ユーザ端末７０が、インターネット６０１を介して冷蔵庫４へと接続する（通信する）ことを許可する。すなわち、クラウドサーバ６０２は、個人認証部６０３により冷蔵庫４への接続権限を有することが認証されていない携帯端末が、インターネット６０１を介して冷蔵庫４へと接続することを禁止する。

宅内コントローラ５０５は、宅内システム５００において電力計測装置５０３から家電機器の消費電力又は系統電源５０１の供給電力を入手し、また、家電機器から運転状態又は周囲環境の情報を入手する。さらに、宅内コントローラ５０５は、ブロードバンドルータ５０６を経由してインターネット６０１に接続しており、クラウドサーバ６０２から各種の電力情報又は各種の環境情報を入手することが可能である。

例えば、宅内システム５００の宅内コントローラ５０５は、宅外システム６００のクラウドサーバ６０２から電力情報として宅内システム５００が設置されている地域に関する電力の需給状況を入手することができる。そして、地域の消費電力が供給電力の上限値に迫っている場合には、宅内コントローラ５０５は、特に消費電力の大きい家電機器に対して節電指示を送信することができる。また、そのような場合に、冷蔵庫４については、貯蔵室の設定温度と実際の温度履歴とから冷却過剰と判断された場合に、宅内コントローラ５０５から設定温度の上昇を指示することができる。

また、第２ユーザ端末７０は、インターネット６０１を経由し、宅内コントローラ５０５を介して直接的又は間接的に冷蔵庫４に接続することもできる。この際、クラウドサーバ６０２の個人認証部６０３により、冷蔵庫４への接続権限を有することが認証された第２ユーザ端末７０のみが、冷蔵庫４への接続を許可される。

したがって、例えば、家族又はヘルパーが管理者である場合には、第２ユーザ端末７０の携帯端末ＩＤを登録しておけば、セキュリティを維持したうえで、冷蔵庫４の第１ユーザの生活状況を示す第２情報を共有することが可能となる。また、第１ユーザだけでなく、第２ユーザも、スーパーマーケットなどのような買い物先において、冷蔵庫４の貯蔵室内の食品の在庫状態を確認することが可能となるため、同じ食品を重複して買ったり、必要な食品を買い忘れたりすることを防ぐことができる。

実施の形態４においては、食品識別部（図１１における構成１０７）が参照する参照情報の全部又は一部を、外部サーバであるクラウドサーバ６０２に保存するようにしてもよい。食品情報記憶部（図１１における構成１０６）の参照情報をクラウドサーバ６０２に保存するようにすることで、食品の種類に関する膨大なデータを、例えば、第１ユーザ及び第２ユーザ以外のユーザと共有することが可能である。

なお、以上で説明した個人認証部６０３はＩＤを用いて接続権限を認証するものであったが、認証方法は、これに限定されない。個人認証部６０３は、ＩＤを用いた認証に代えて又はＩＤを用いた認証に加えて、例えば、指紋、静脈、目の虹彩などの生体認証、又は、パスワードによる認証、又は、これらの認証方法の組み合わせによって、接続権限を認証してもよい。

以上説明したように、実施の形態４に係るネットワークシステムによれば、実施の形態１から３に係る冷蔵庫１から３によって得られる効果に加えて、第２ユーザが使用する第２端末装置７０が、冷蔵庫と通信する権限を有する者の携帯端末であるかどうかを、厳密に認証することができる。このため、第１ユーザの個人情報である、冷蔵庫の使用状況及び第１ユーザの生活状況が、権限を有していない者に漏れることを確実に防止することができる。

１，２，３，４ 冷蔵庫、 １１ 冷蔵室、 １２ 製氷室、 １３ 切替室、 １４ 冷凍室、 １５ 野菜室、 １６ 冷蔵室棚板、 １７ チルド室、 １８ チルドケース、 １９ 冷却風路、 ２０ 扉、 ２１，２１ａ 操作パネル、 ２２ 開閉検出部、 ２３ 通信部、 ２４ 記憶部、 ２５ 時刻提供部、 ２７ 撮影装置、 ６２ 在庫食品一覧表示画面、 ７０ 第２ユーザ端末（別ユーザ端末、端末装置）、 ７１ 表示部、 ９１，９１ａ〜９１ｅ 予定有りマーク、 ９２，９２ａ〜９２ｇ 予定内容マーク、 ９３ 現在時刻、 ９４，９４ａ，９４ｂ 平常期間において予定された外出時間帯、 ９５，９５ａ，９５ｂ 平常期間以外の期間において予定された外出時間帯、 ９６ 就寝時間帯、 １００，２００，３００ 制御部、 １０１ 画像管理部、 １０２ 変化検出部、 １０３ 劣化検出部、 １０３ａ 食品状況検出部、 １０４ 使用状況取得部、 １０５ 生活管理部、 １０６ 食品情報記憶部、 １０７ 食品識別部、 １０８ スケジュール管理部、 １０９ スケジュール設定部、 １１０，２１０，３１０ 制御基板、 ５００ 宅内システム、 ５０１ 系統電源、 ５０２ 電灯線、 ５０３ 電力計測装置、 ５０４ 電力計測端子、 ５０５ 宅内コントローラ、 ５０６ ブロードバンドルータ、 ５１５ 機器通信部、 ６００ 宅外システム、 ６０１ インターネット、 ６０２ クラウドサーバ、 ６０３ 個人認証部。

Claims (19)

1. 食品を収納する貯蔵室と、通信を行う通信部とを備え、第１ユーザによって使用される冷蔵庫であって、
   前記貯蔵室内の画像を取得する撮影装置と、
   前記撮影装置によって取得された前記画像から食品画像を抽出する画像管理部と、
   ある期間における前記食品画像から、前記貯蔵室内に収納されている食品の状況の変化を検出する食品状況検出部と、
   前記食品状況検出部によって検出された前記食品の状況の変化から、前記第１ユーザによる前記冷蔵庫の使用状況を示す第１情報を取得する使用状況取得部と、
   前記第１情報から前記第１ユーザの生活状況が前記第１ユーザとは異なる第２ユーザに報知されるべき状況であると判断した場合に、前記通信部を介して前記生活状況を示す第２情報を前記第２ユーザが使用する端末装置に報知する生活管理部と、
   を備え、
   前記食品状況検出部は、予め食品の色分布に基づくカラーサンプルを記憶する記憶部を有し、前記食品画像から前記カラーサンプルに対応する前記食品の色毎の面積占有率の変化を検出し、前記面積占有率の変化に基づいて前記食品の状況の判定を行う
   冷蔵庫。
2. 前記画像管理部は、前記撮影装置によって取得された前記画像から前記食品の前記貯蔵室への入庫及び前記食品の前記貯蔵室内における移動を検出し、
   前記食品状況検出部は、
   前記食品が前記貯蔵室に入庫されたときには、前記食品の入庫時からの前記食品の状況の変化の検出を開始し、
   前記食品が前記貯蔵室内において移動されたときには、前記食品の入庫時からの前記食品の状況の変化の検出を継続する
   請求項１に記載の冷蔵庫。
3. 情報を記憶する記憶部と、
   時刻情報を提供する時刻提供部と、
   をさらに備え、
   前記画像管理部は、前記時刻提供部から時刻情報を取得し、前記食品画像と前記時刻情報とを関連付けて前記記憶部に記憶させる
   請求項２に記載の冷蔵庫。
4. 前記画像管理部は、
   前記食品が前記貯蔵室に入庫された時刻を、当該食品と関連付けて前記記憶部に記憶させ、
   前記食品が前記貯蔵室内において移動されたときには、前記貯蔵室に入庫された時刻を変更しない
   請求項３に記載の冷蔵庫。
5. 前記食品状況検出部は、
   前記食品画像の時間変化を検出する変化検出部と、
   前記変化検出部によって検出された前記食品画像の時間変化から食品の劣化状態を検出する劣化検出部と、
   を備える請求項２に記載の冷蔵庫。
6. 前記変化検出部は、前記食品画像の色及び大きさの時間変化を検出する
   請求項５に記載の冷蔵庫。
7. 前記食品画像に対応する食品の種類及び量を識別する食品識別部をさらに備え、
   前記使用状況取得部は、前記食品識別部によって識別された前記食品の種類及び量に基づいて、前記第１ユーザの使用状況を検出する
   請求項１から６のいずれか１項に記載の冷蔵庫。
8. 食品の種類に、前記食品の形状、大きさ、色、及び外装ラベルの少なくとも１つを対応付けて予め記憶する食品情報記憶部をさらに備え、
   前記食品識別部は、前記食品情報記憶部に記憶されている情報を参照して、前記食品画像に対応する食品の種類及び量を識別する
   請求項７に記載の冷蔵庫。
9. 前記食品画像に対応する食品の種類及び量を識別する食品識別部をさらに備え、
   前記食品状況検出部は、前記食品識別部によって識別された食品の種類及び量に基づいて、前記食品状況検出部が行う前記食品の状況についての判断の基準を変更する
   請求項１から６のいずれか１項に記載の冷蔵庫。
10. 前記第１ユーザのスケジュールを管理するスケジュール管理部をさらに備え、
    前記生活管理部は、前記使用状況取得部によって取得された前記第１情報と前記スケジュール管理部によって受け取られた前記第１ユーザのスケジュール情報とから、前記第１ユーザの生活状況が前記第２ユーザに報知されるべき状況であるか否かを判断する
    請求項１から９のいずれか１項に記載の冷蔵庫。
11. 前記生活管理部は、前記食品の保管状態又は前記第１ユーザの使用状況に変化がないと判断される状況が、予め決められた期間以上継続したと識別された際に、前記通信部を介して前記端末装置に安否関連情報を報知する
    請求項１から１０のいずれか１項に記載の冷蔵庫。
12. 前記生活管理部は、前記第１ユーザが不在であるにもかかわらず、前記食品の保管状態又は前記第１ユーザの使用状況に変化があると想定される状況が、少なくとも１回発生したと識別された場合、前記通信部を介して前記端末装置に防犯関連情報を報知する
    請求項１０に記載の冷蔵庫。
13. 前記生活管理部は、
    前記第１ユーザの生活状況として、前記食品の保管状態又は前記第１ユーザの使用状況に、所定の特徴があると識別された際に、
    前記通信部を介して前記端末装置に食生活関連情報を報知する
    請求項１から１０のいずれか１項に記載の冷蔵庫。
14. 請求項１から１３のいずれか１項に記載の冷蔵庫と、
    前記冷蔵庫と通信可能に接続され、前記第２ユーザが使用する前記端末装置と、
    を備えたネットワークシステム。
15. インターネットを介して、前記冷蔵庫及び前記端末装置と通信可能に接続されたサーバをさらに備え、
    前記サーバは、前記端末装置が前記冷蔵庫との通信が許可された端末であることを認証する個人認証部を有する
    請求項１４に記載のネットワークシステム。
16. 前記サーバは、
    食品の種類に、前記食品の形状、大きさ、色、及び外装ラベルの少なくとも１つを対応付けて予め記憶し、
    前記貯蔵室内の食品の種類及び量に基づいて、前記第１ユーザの使用状況を示す前記第１情報を取得する
    請求項１５に記載のネットワークシステム。
17. 前記サーバは、
    前記第１ユーザのスケジュールを管理し、
    前記第１ユーザによる前記冷蔵庫の使用状況を示す第１情報と前記第１ユーザのスケジュール情報とから、前記第１ユーザの生活状況が前記第２ユーザに報知されるべき状況であるか否かを判断する
    請求項１５又は１６に記載のネットワークシステム。
18. 予め食品の色分布に基づくカラーサンプルを記憶する記憶部を有する冷蔵庫を使用する第１ユーザの生活状況の報知方法であって、
    前記冷蔵庫の貯蔵室内を撮影することによって前記貯蔵室内の画像を取得するステップと、
    取得された前記画像から食品画像を抽出するステップと、
    ある期間における前記食品画像から、前記貯蔵室内に収納されている食品の状況の変化を検出するステップと、
    検出された前記食品の状況の変化から、前記第１ユーザによる前記冷蔵庫の使用状況を示す第１情報を取得するステップと、
    前記第１情報から前記第１ユーザの生活状況が前記第１ユーザとは異なる第２ユーザに報知されるべき状況であると判断した場合に、前記生活状況を示す第２情報を前記第２ユーザが使用する端末装置に報知するステップと、
    を有し、
    前記食品の状況の変化を検出するステップにおいて、前記食品画像から前記カラーサンプルに対応する前記食品の色毎の面積占有率の変化を検出し、前記面積占有率の変化に基づいて前記食品の状況の判定を行う
    生活状況の報知方法。
19. 予め食品の色分布に基づくカラーサンプルを記憶する記憶部と、食品を収納する貯蔵室と、通信を行う通信部と、前記貯蔵室内の画像を取得する撮影装置とを備えた冷蔵庫を使用する第１ユーザの生活状況の報知プログラムであって、
    前記撮影装置によって前記冷蔵庫の貯蔵室内を撮影させることによって前記貯蔵室内の画像を取得する処理と、
    取得された前記画像から食品画像を抽出する処理と、
    ある期間における前記食品画像から、前記貯蔵室内に収納されている食品の状況の変化を検出する処理であって、前記食品画像から前記カラーサンプルに対応する前記食品の色毎の面積占有率の変化を検出し、前記面積占有率の変化に基づいて前記食品の状況の判定を行う処理と、
    検出された前記食品の状況の変化から、前記第１ユーザによる前記冷蔵庫の使用状況を示す第１情報を取得する処理と、
    前記第１情報から前記第１ユーザの生活状況が前記第１ユーザとは異なる第２ユーザに報知されるべき状況であると判断した場合に、前記生活状況を示す第２情報を前記第２ユーザが使用する端末装置に報知する処理と、
    をコンピュータに実行させる生活状況の報知プログラム。

Images