JP6892014B2 - 冷蔵庫及び冷蔵庫システム - Google Patents

Description

この発明は、冷蔵庫システムに関するものである。

冷蔵庫内の画像を検知するカメラを備えた冷蔵庫において、移動範囲の上端から下端へ、予め定められた一定の速度でカメラを移動させながら撮影を行い、異なる時点で撮影した画像の相違を検出するとともに、撮影された画像を通信回線を介して端末装置へ送信するものが知られている（例えば、特許文献１参照）。

日本特開２０１６−１４８５０３号公報

しかしながら、特許文献１に示されるような冷蔵庫においては、一定の速度でカメラを移動させながら撮影した複数の画像を通信回線を介して送信することで、送信データ量が大きくなり、通信負荷が増大してしまう。また、移動中のカメラが撮影するタイミングによっては、貯蔵室内の棚板上の食品が大きく歪んでしまったり、棚板の奥にある食品が手前の食品又は棚板に隠れてしまったりする可能性がある。このため、得られた画像では異なる時点での相違、すなわち、貯蔵室内の食品収納状態の変化の検出精度が低下してしまう懸念がある。

この発明は、このような課題を解決するためになされたものである。その目的は、貯蔵室内の食品収納状態の変化の検出精度の低下を抑制できるとともに、複数視点から撮影された貯蔵室内の画像を冷蔵庫の外部に送信する際の通信負荷の軽減を図ることが可能である冷蔵庫システムを得ることにある。

この発明に係る冷蔵庫は、食品を収納する貯蔵室が形成された本体と、前記貯蔵室内に設けられ、前記食品が載置される１以上の棚と、前記貯蔵室の一側を開閉する扉と、前記扉の内側の面に設けられ、前記貯蔵室内の画像を撮影するカメラと、前記カメラを少なくとも上下方向に移動させるカメラ移動装置と、前記カメラが撮影した画像を前記本体の外部に送信する通信装置と、前記カメラが撮影した画像に基づいて、前記棚のそれぞれについての食品収納状態の変化を検出する変化検出装置と、を備え、前記カメラは、前記棚のそれぞれについて、第１の視点と前記第１の視点とは異なる１以上の第２の視点とから撮影し、前記変化検出装置は、前記第１の視点から撮影された画像に基づいて、それぞれの前記棚の食品収納状態の変化を検出し、前記通信装置は、食品収納状態の変化を前記変化検出装置が検出した前記棚について、前記第１の視点から撮影された画像と前記第２の視点から撮影された画像の両方を前記本体の外部に送信する。
また、この発明に係る冷蔵庫システムは、上記のように構成された冷蔵庫と、前記通信装置が前記本体の外部に送信した画像を表示可能な端末装置と、を備え、前記端末装置は、前記第１の視点から撮影された画像及び１以上の前記第２の視点から撮影された画像のうちのどれを表示するのか変更可能である。

この発明に係る冷蔵庫及び冷蔵庫システムによれば、貯蔵室内の食品収納状態の変化の検出精度の低下を抑制できるとともに、複数視点から撮影された貯蔵室内の画像を冷蔵庫の外部に送信する際の通信負荷の軽減を図ることが可能であるという効果を奏する。

この発明の実施の形態１に係る冷蔵庫システムが備える冷蔵庫の正面図である。 この発明の実施の形態１に係る冷蔵庫の断面図である。 この発明の実施の形態１に係る冷蔵庫のカメラ移動装置の斜視図である。 この発明の実施の形態１に係るカメラ移動装置の要部を透視して示す拡大斜視図である。 この発明の実施の形態１に係るカメラ移動装置の別例の要部を透視して示す拡大斜視図である。 この発明の実施の形態１に係るカメラ移動装置の最下部での動きを説明する図である。 この発明の実施の形態１に係るカメラ移動装置の最下部での動きを説明する図である。 この発明の実施の形態１に係るカメラ移動装置の最下部での動きを説明する図である。 この発明の実施の形態１に係る冷蔵庫のカメラの撮影位置の一例を示す要部断面図である。 この発明の実施の形態１に係るカメラが撮影した貯蔵室内の画像の一例を示す図である。 この発明の実施の形態１に係るカメラが撮影した貯蔵室内の画像の一例を示す図である。 この発明の実施の形態１に係るカメラが撮影した貯蔵室内の画像の一例を示す図である。 この発明の実施の形態１に係るカメラが撮影した貯蔵室内の画像の一例を示す図である。 この発明の実施の形態１に係るカメラが撮影した貯蔵室内の画像の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムの構成を示すブロック図である。 この発明の実施の形態１に係る冷蔵庫システムの全体構成を示す図である。 この発明の実施の形態１に係る冷蔵庫の食品画像データベースに記憶される内容の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムの端末装置の表示例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムの端末装置の表示例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムの端末装置の表示例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムの端末装置の表示例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムの動作例を示すフロー図である。 この発明の実施の形態１に係る冷蔵庫システムの構成の別例を示すブロック図である。 この発明の実施の形態１に係る冷蔵庫のカメラ移動装置の別例を示す斜視図である。 この発明の実施の形態２に係る冷蔵庫の断面図である。 この発明の実施の形態２に係る冷蔵庫システムの構成を示すブロック図である。

この発明を実施するための形態について添付の図面を参照しながら説明する。各図において、同一又は相当する部分には同一の符号を付して、重複する説明は適宜に簡略化又は省略する。なお、本発明は以下の実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲で種々変形することが可能である。

実施の形態１．
図１から図２４は、この発明の実施の形態１に係るものである。図１は冷蔵庫システムが備える冷蔵庫の正面図である。図２は冷蔵庫の断面図である。図３は冷蔵庫のカメラ移動装置の斜視図である。図４はカメラ移動装置の要部を透視して示す拡大斜視図である。図５はカメラ移動装置の別例の要部を透視して示す拡大斜視図である。図６から図８はカメラ移動装置の最下部での動きを説明する図である。図９は冷蔵庫のカメラの撮影位置の一例を示す要部断面図である。図１０から図１４はカメラが撮影した貯蔵室内の画像の一例を示す図である。図１５は冷蔵庫システムの構成を示すブロック図である。図１６は冷蔵庫システムの全体構成を示す図である。図１７は冷蔵庫の食品画像データベースに記憶される内容の一例を示す図である。図１８から図２１は冷蔵庫システムの端末装置の表示例を示す図である。図２２は冷蔵庫システムの動作例を示すフロー図である。図２３は冷蔵庫システムの構成の別例を示すブロック図である。そして、図２４は冷蔵庫のカメラ移動装置の別例を示す斜視図である。

なお、各図では各構成部材の寸法の関係や形状等が実際のものとは異なる場合がある。また、明細書中における各構成部材同士の位置関係（例えば、上下関係等）は、原則として、冷凍冷蔵庫を使用可能な状態に設置したときのものである。

この発明の実施の形態１に係る冷蔵庫システムは、図１に示す冷蔵庫本体１０００を備えている。この実施の形態１においては、冷蔵庫本体１０００には、冷蔵室１００、製氷室２００、切替室３００、冷凍室４００及び野菜室５００が形成されている。これらの冷蔵室１００、製氷室２００、切替室３００、冷凍室４００及び野菜室５００は、食品を収納する貯蔵室である。

これらの貯蔵室は、図１に示すように、上から冷蔵室１００、製氷室２００及び切替室３００、冷凍室４００、野菜室５００の順で配置されている。製氷室２００と切替室３００とは、同じ上下位置において左右に並んで配置されている。冷蔵室１００の前面には、冷蔵室１００を開閉する冷蔵室扉１０１が設けられている。冷蔵室扉１０１は、貯蔵室の一側を開閉する扉の一例である。また、製氷室２００、切替室３００、冷凍室４００及び野菜室５００は、それぞれの前面に設けられた扉とともに、冷蔵庫本体１０００の手前側に引き出すことができるように構成されている。

冷蔵室扉１０１の前面には、操作パネル１が設けられている。操作パネル１は、パネル表示部１ａを備えている。パネル表示部１ａは、情報を表示可能な本体表示部である。パネル表示部１ａには、例えば、各貯蔵室の設定温度及び現在の温度等の庫内情報を表示可能である。パネル表示部１ａは、例えば液晶ディスプレイ等を備えている。操作パネル１は、例えばタッチパネル、ボタン、スイッチ等の操作部を備えている。ユーザは、操作パネル１の操作部を操作することにより、必要な情報を入力することができるようになっている。なお、操作パネル１の設置位置は、冷蔵室１００の扉に限るものではなく、他の貯蔵室の扉、冷蔵庫本体１０００の側面等であってもよい。

図２に示すように、冷蔵室１００は、前面側（同図に向かって左側）を冷蔵室扉１０１によって塞がれている。なお、図２に示す断面図は、図１中の断面Ａ−Ａ’によるものである。冷蔵室１００の内部には、１以上の冷蔵室棚板１０２が設けられている。ここでは、冷蔵室棚板１０２が複数設けられている場合を例に挙げている。冷蔵室１００の内部は、これらの冷蔵室棚板１０２によって、上下方向に複数の空間（棚）に仕切られている。冷蔵室棚板１０２の上には、食品が載置される。このようにして、貯蔵室である冷蔵室１００内には、食品が載置される１以上の棚が設けられている。

それぞれの冷蔵室棚板１０２は、棚板支持部１０３によって、冷蔵室１００内の予め定められた位置で支持されている。棚板支持部１０３は、冷蔵室１００の側壁内面から冷蔵室１００の内側に突出して形成されている。なお、冷蔵室棚板１０２の上下位置を変更できるように棚板支持部１０３を構成してもよい。

最下段の冷蔵室棚板１０２の下側の空間は、チルド室１１０である。チルド室１１０の内部には、チルドケース１１１が設置されている。チルドケース１１１は、レール等の案内部材（図示せず）に沿って、前方へ引き出すことができる。また、冷蔵室扉１０１の内側の面には、ドアポケット１０４が設けられている。このドアポケット１０４にも食品を載置、収納することができる。

冷蔵室扉１０１の内側の面には、カメラ２が設置されている。カメラ２は、冷蔵室扉１０１の側から貯蔵室（ここでは冷蔵室１００）の内部の画像を撮影し、貯蔵室画像として出力する。この発明の実施の形態１に係る冷蔵庫本体１０００は、カメラ移動装置２０を備えている。カメラ移動装置２０は、カメラ２を上下方向に移動させる装置である。カメラ移動装置２０は、冷蔵室扉１０１の内側の面に設けられている。

カメラ移動装置２０は、カメラ２を可動範囲内で上下方向に移動させる。可動範囲は、予め設定された範囲である。ここでは、可動範囲の上端は、冷蔵室１００内の上端部である。また、可動範囲の下端は、最も下にあるドアポケット１０４の直上の位置である。

次に、図３から図５を参照しながら、カメラ移動装置２０の構成について説明する。カメラ移動装置２０は、図３及び図４に示すように、ステッピングモータ２１、ウォームギヤ２２、ピニオン２３、ラック２４、ガイド部２５及びカメラ支持部２８を備えている。カメラ２は、カメラ支持部２８に固定されている。ガイド部２５は、冷蔵室扉１０１に固定されている。カメラ支持部２８は、ガイド部２５に対して移動可能である。ガイド部２５は、少なくとも前述した可動範囲にわたって上下方向に沿って配置されている。ガイド部２５は、前述した可動範囲にわたるカメラ２及びカメラ支持部２８の移動を案内する。

図４に示すように、カメラ支持部２８には、ステッピングモータ２１、ウォームギヤ２２及びピニオン２３が取り付けられている。ガイド部２５には、ラック２４が取り付けられている。ラック２４は、前述した可動範囲にわたって上下方向に沿って配置されている。また、ガイド部２５には、溝部２９が形成されている。溝部２９は、前述した可動範囲にわたって配置されている。

ステッピングモータ２１は、カメラ２の移動を駆動する。ステッピングモータ２１の駆動軸には、ウォームギヤ２２が固定されている。ピニオン２３は、大ギヤと小ギヤとが一体に構成されている。ピニオン２３の大ギヤと小ギヤとは回転軸が同一となるように固定されている。ピニオン２３の大ギヤは、ウォームギヤ２２と噛み合っている。ピニオン２３の小ギヤは、ラック２４と噛み合っている。

ステッピングモータ２１によりウォームギヤ２２を回転させると、ピニオン２３が回転する。ラック２４と噛み合った状態のピニオン２３が回転することで、ピニオン２３の回転軸がラック２４に沿って直線状に移動する。ピニオン２３の回転軸は、カメラ支持部２８に回転可能に支持されている。したがって、このようなラック・アンド・ピニオン機構により、カメラ移動装置２０は、ステッピングモータ２１の回転運動をガイド部２５に対するカメラ支持部２８の直線運転に変換し、冷蔵室扉１０１に対してカメラ２を上下方向に移動させる。

なお、カメラ２の移動量はステッピングモータ２１の回転量に比例する。そして、ステッピングモータ２１の回転量は、ステップ数を用いて制御することができる。したがって、カメラ移動装置２０は、ステッピングモータ２１のステップ数を用いてカメラ２の移動量を制御することができる。

図５に示すのは、カメラ移動装置２０の構成の別例である。この別例では、送りねじ機構によりカメラ２を移動させる。この別例では、カメラ移動装置２０は、ステッピングモータ２１、ウォームギヤ２２、ウォームホイール２６、送りねじ２７及びカメラ支持部２８を備えている。

ステッピングモータ２１の駆動軸には、ウォームギヤ２２が固定されている。ウォームギヤ２２には、ウォームホイール２６が噛み合っている。ウォームホイール２６には、回転軸が同一となるように送りねじ２７が連結されている。送りねじ２７は、前述の可動範囲にわたって上下方向に沿って配置されている。送りねじ２７には、カメラ支持部２８が取り付けられている。カメラ支持部２８には、送りねじ２７のねじ山と係合するめねじが切られている。カメラ支持部２８には、カメラ２が固定されている。

ステッピングモータ２１によりウォームギヤ２２を回転させると、ウォームホイール２６及び送りねじ２７が回転する。送りねじ２７が回転することで、ねじ作用によりカメラ支持部２８が送りねじ２７の回転軸に沿って直線状に移動する。このような送りねじ機構により、カメラ移動装置２０は、ステッピングモータ２１の回転運動をカメラ支持部２８の直線運転に変換し、冷蔵室扉１０１に対してカメラ２を上下方向に移動させる。

次に、図６から図８を参照しながら、カメラ移動装置２０の前述した可動範囲の下端部分の構成、及び、カメラ移動装置２０がカメラ２を前述した可動範囲の下端に移動させた時の動作について説明する。前述したように、ガイド部２５には溝部２９が前述の可動範囲にわたって形成されている。これらの図に示すように、この溝部２９は、前述した可動範囲の下端部分において、上下方向から冷蔵室扉１０１側の方向へと滑らかに曲がっている。この他の部分では、溝部２９は上下方向に沿っている。

溝部２９内には、カメラ支持部２８に形成された図示しない突起部が挿入されている。この突起部はピニオン２３よりも冷蔵室扉１０１側に配置されている。ラック２４上をピニオン２３が回転した際、カメラ支持部２８の突起部が溝部２９内に規制された状態で溝部２９内を移動することで、カメラ支持部２８の向き、すなわち、カメラ２の向きが決められる。

図６に示すように、溝部２９は上下方向に沿っている部分では、カメラ支持部２８が移動してもカメラ２の向きが冷蔵室扉１０１とは反対側の状態が保たれる。カメラ２が下降を続けてカメラ支持部２８の突起部が溝部２９のカーブにさしかかると、カメラ支持部２８のピニオン２３はそのまま下降を続けようとするのに対し、カメラ支持部２８の突起部は、溝部２９に案内されて下降をやめて冷蔵室扉１０１側へと移動を始める。このため、図７に示すようにカメラ支持部２８が傾き始め、カメラ２が下に向き始める。

そして、カメラ２が前述した可動範囲の下端にくると、図８に示すように、カメラ２は真下を向く。前述したように、可動範囲の下端はドアポケット１０４の直上の位置である。このため、可動範囲の下端にあるカメラ２は、ドアポケット１０４の内部を上方から撮影できる。このように、カメラ移動装置２０は、ドアポケット１０４の内部を上方から撮影できる位置及び向きにカメラ２を移動可能である。

カメラ２は、例えば、冷蔵室扉１０１が開閉された時に冷蔵室１００内を撮影する。冷蔵室扉１０１が開閉されると、冷蔵室１００内の食品が出し入れされ、冷蔵室１００内の収納状態が変化する可能性があるためである。冷蔵庫本体１０００は、扉の開閉を検知可能なセンサを備えている。このセンサは、例えば、一般的なマグネット方式のセンサである。すなわち、このセンサは、例えば、冷蔵室扉１０１に埋め込まれた磁石の近接を、冷蔵庫本体１０００側に設置された一対のリードスイッチによって検出する。カメラ２は、例えば、開かれていた冷蔵室扉１０１が閉じられたことを検知した後、冷蔵室１００内が照明されている間に撮影を行う。

このカメラ２による冷蔵室１００内の撮影は、カメラ移動装置２０によるカメラ２の移動と連係して行われる。次に、カメラ２とカメラ移動装置２０との連係した撮影動作について説明する。冷蔵室１００内の撮影を行う際、カメラ移動装置２０は、前述の可動範囲の一端から他端までカメラ２を移動させる。そして、カメラ２は、この移動中において特定の位置を通過する時に撮影を行う。または、カメラ移動装置２０は、前述の可動範囲の一端から他端までカメラ２を移動させる際に、特定の位置でカメラ２を停止させ、カメラ２は、この停止中に撮影を行うようにしてもよい。

例えば、カメラ移動装置２０は、カメラ２を前述の可動範囲の上端から下端まで下方向に移動させる。そして、この移動中においては、カメラ２は、前述した棚のそれぞれについて、例えば図９に示すように、複数の視点から撮影する。カメラ２が撮影を行う複数の視点は、第１の視点と第２の視点とに区分される。第１の視点は基本的に各棚につき１つだけ設定される。第２の視点は、第１の視点とは異なる視点である。第２の視点は、各棚につき１以上設定される。

このようにして、カメラ２が前述の可動範囲の下端にまで達すると、前述したように、ドアポケット１０４の内部を上方から撮影できる位置及び向きにカメラ２がくる。そして、この位置で停止している間にカメラ２は画像を撮影する。この時にカメラ２が撮影した画像は、最下部のドアポケット１０４の収納状況を示すものである。

以上のようにして、カメラ２は、冷蔵室１００内の棚のそれぞれについて、第１の視点と、この第１の視点とは異なる１以上の第２の視点とから撮影する。また、この実施の形態１では、カメラ２は、ドアポケット１０４の内部を上方から撮影する。なお、カメラ移動装置２０は、カメラ２を前述の可動範囲の下端から上端までカメラ２を上方向に移動させてもよい。

図１０に示すのは、冷蔵室１００内の棚を前述した第１の視点からカメラ２で撮影した画像の一例である。この例では、第１の視点は、棚を正面から見る視点である。また、図１１から図１４に示すのは、冷蔵室１００内の棚を前述した第２の視点からカメラ２で撮影した画像の一例である。図１１は、第２の視点の１つが棚を見下げる視点である場合の例である。この例では、第２の視点は、前述した第１の視点である棚の正面よりも上方に位置している。図１２は、第２の視点の１つが棚をやや見下げる視点である場合の例である。この例では、第２の視点は、前述した第１の視点である棚の正面よりも上方で、かつ、図１１の見下げる視点より下方に位置している。図１４は、第２の視点の１つが棚を見上げる視点である場合の例である。この例では、第２の視点は、前述した第１の視点である棚の正面よりも下方に位置している。そして、図１３は、第２の視点の１つが棚をやや見上げる視点である場合の例である。この例では、第２の視点は、前述した第１の視点である棚の正面よりも下方で、かつ、図１４の見上げる視点より上方に位置している。

この実施の形態１では、カメラ移動装置２０は、前述の可動範囲内におけるカメラ２の位置をステッピングモータ２１のステップ数を用いて制御する。すなわち、カメラ移動装置２０は、カメラ２が撮影を行う位置を、ステッピングモータ２１のステップ数を計数することで特定する。

ここで、冷蔵室棚板１０２の位置が固定されていて変更できない場合、カメラ２が撮影する前述した第１の視点及び第２の視点も固定できる。したがって、例えば、カメラ２は、前述した第１の視点及び第２の視点となる位置についての情報、例えばステッピングモータ２１のステップ数を予め記憶しておく。そして、ステッピングモータ２１のステップ数が、予め記憶していた値になったときにカメラ２は撮影を行う。

また、冷蔵室棚板１０２の位置を変更可能な場合は、次のようにして現在の冷蔵室棚板１０２の位置を特定し、カメラ２が撮影を行う位置を決定することが考えられる。まず、１つめの例は、棚板支持部１０３に冷蔵室棚板１０２の位置を検出する手段を設ける方法である。冷蔵室棚板１０２の位置を検出する手段としては、具体的に例えば、マイクロスイッチ等を用いることが考えられる。この場合、冷蔵室棚板１０２を棚板支持部１０３の適切な位置に配置した時に、当該冷蔵室棚板１０２により押されるようにマイクロスイッチを設置しておく。そして、どのマイクロスイッチが押されているかによって、冷蔵室棚板１０２の位置を検出することができる。

２つめの例は、カメラ２の撮影した画像を用いて冷蔵室棚板１０２の位置を特定する方法である。この方法では、まず、最初にカメラ移動装置２０で前述の可動範囲の全体にカメラ２を移動させながら、カメラ２で画像を撮影する。この際の撮影位置は、最終的にカメラ２で撮影可能な冷蔵室１００の全範囲を網羅できれば、特に限定されない。そして、こうして撮影した画像を解析し、現在の冷蔵室棚板１０２の位置を特定することができる。

なお、カメラ移動装置２０は、冷蔵室扉１０１の開閉を検知するセンサが冷蔵室扉１０１の閉動作を検知した場合に、前述の可動範囲の一端にカメラ２を移動させてステッピングモータ２１のゼロ点補正を行うようにするとよい。すなわち、センサが冷蔵室扉１０１の閉動作を検知した場合、カメラ移動装置２０は、最初にカメラ２を前述の可動範囲の例えば上端に移動させる。そして、カメラ移動装置２０は、ステッピングモータ２１のステップ数の計数値を０にする。このようにすることで、ステッピングモータ２１のステップ数と実際のカメラ２の位置とのずれを修正することができる。

再び図２を参照しながら説明を続ける。冷蔵庫本体１０００は、制御基板１００１を備えている。制御基板１００１は、例えば、冷蔵庫本体１０００の背面側の上部に収容されている。制御基板１００１には、冷蔵庫本体１０００の動作に必要な各種の制御を実施するための制御回路等が備えられている。制御基板１００１は、例えばマイクロコンピュータを備えており、すなわち、プロセッサ及びメモリを備えている。制御基板１００１は、メモリに記憶されたプログラムをプロセッサが実行することにより、予め設定された処理を実行し、冷蔵庫本体１０００を制御する。

この発明の実施の形態１に係る冷蔵庫システムは、以上のように構成された冷蔵庫本体１０００をまず備えている。また、この冷蔵庫システムは、さらに画像サーバ３を備えている。画像サーバ３は、貯蔵室画像の保存、管理及び外部への送信を行うためのものである。画像サーバ３は、冷蔵庫本体１０００が設置された宅内（以下、単に「宅内」という）であって、かつ、冷蔵庫本体１０００の貯蔵室の外側に設置される。図１及び図２に示すのは、画像サーバ３を冷蔵庫本体１０００の天井部の外面部に配置した例である。なお、画像サーバ３の設置位置は、冷蔵庫本体１０００の天井部に限られない。画像サーバ３を、冷蔵庫本体１０００の貯蔵室の外であれば、冷蔵庫本体１０００の側面、背面又は貯蔵室の扉に設置してもよい。また、制御基板１００１に画像サーバ３を実装してもよい。

画像サーバ３は、前述した制御基板１００１と同様に例えばマイクロコンピュータを備えており、すなわち、プロセッサ及びメモリを備えている。また、画像サーバ３は、図１５に示すように、画像処理装置３２、変化検出装置３３、在庫管理装置３４及び通信装置３１を備えている。これらの各部の機能は、例えば、画像サーバ３のマイクロコンピュータにおいて、メモリに記憶されたプログラムをプロセッサが実行し、予め設定された処理を行うことで実現される。なお、画像サーバ３は、例えば、制御基板１００１と接続され、制御基板１００１から電力の供給を受けて動作する。

画像処理装置３２は、カメラ２から出力された貯蔵室画像を記憶する。前述したように、冷蔵室扉１０１の開閉が検知されると、カメラ２は、カメラ移動装置２０と連係して、冷蔵室１００内のそれぞれの棚板及び最下部のドアポケット１０４の収納状況を撮影する。カメラ２は、撮影した画像を、画像処理装置３２に出力する。カメラ２から出力された画像は、画像処理装置３２に入力される。

したがって、画像処理装置３２には、冷蔵室扉１０１が開閉される毎（すなわち、冷蔵室１００内の収納状態が変化する可能性がある毎）に、カメラ２から出力された画像が入力されることになる。こうして、画像処理装置３２には常に最新の状態の冷蔵室１００内の画像が入力される。

画像処理装置３２は、入力された最新の貯蔵室画像を一時的に記憶する。この際、画像処理装置３２は、貯蔵室画像が画像処理装置３２に入力された時刻を、撮影時刻情報として当該貯蔵室画像とともに一時的に記憶する。なお、撮影時刻情報には、撮影された日にち（月日又は年月日）の情報も含まれている。

ただし、画像処理装置３２に記憶されている貯蔵室画像にも、カメラ２のレンズの特性上の理由によりわずかに歪みが生じる可能性がある。また、冷蔵室１００内の照明及び収納状態によっては、各画像間で明るさにばらつきがある場合も考えられる。そこで、必要に応じて、画像処理装置３２は、カメラ２が撮影した画像の明るさ及び歪みの一方又は両方を補正してから記憶してもよい。さらに、画像処理装置３２は、補正後の各棚の画像を合成して冷蔵室１００の全体画像を生成してもよい。

このようにして、画像処理装置３２には、冷蔵室１００内の各棚について、少なくとも、前述した第１の視点から撮影された最新の画像と、１以上の前述した第２の視点から撮影された最新の画像とが記憶される。

変化検出装置３３は、画像処理装置３２に記憶されている前述した第１の視点から撮影された各棚の画像を、画像処理装置３２から取得する。そして、変化検出装置３３は、前述した第１の視点から撮影された画像に基づいて、それぞれの棚の食品収納状態の変化を検出する。例えば、変化検出装置３３は、前回に画像処理装置３２から取得した第１の視点からの画像を保持している。そして、この前回の画像と今回取得した画像とを各棚について比較することで、各棚の食品収納状態の変化を検出する。食品収納状態が変化したことを変化検出装置３３が検出した棚については、当該棚を前述した第１の視点から撮影した画像が、変化検出装置３３から在庫管理装置３４へと送られる。

在庫管理装置３４は、カメラ２が撮影した画像から個々の食品の画像を抽出する。そして、在庫管理装置３４は、抽出した食品の画像を、当該食品が置かれた棚を一意に特定する棚特定情報と対応付けて記憶する。ここで、棚特定情報は、例えば、それぞれの棚に上から順に割り振った番号等である。

例えば、在庫管理装置３４は、まず、カメラ２により撮影された画像から、個々の食品の画像を抽出する。次に、在庫管理装置３４は、連続する２つの時点においてカメラ２により撮影された画像から抽出された個々の食品の画像を比較することにより、個々の食品について冷蔵室１００に入庫されたのか出庫されたのかを判別する。この際、入庫及び出庫の判別に用いた２つの画像の撮影日時から、おおよその入庫日時及び出庫日時を特定することができる。こうして、在庫管理装置３４は、カメラ２により撮影された画像に基づいて、個々の食品の画像について、入庫日時及び出庫日時を特定する。

より詳しくは、在庫管理装置３４は、変化検出装置３３から在庫管理装置３４へと送られた画像から、個々の食品の画像を抽出する。すなわち、在庫管理装置３４は、食品収納状態の変化を変化検出装置３３が検出した棚について、前述した第１の視点から撮影された画像から個々の食品の画像を抽出する。そして、在庫管理装置３４は、抽出した個々の食品の画像について入出庫の有無を判定する。また、入出庫があった場合、在庫管理装置３４は、入出庫があった棚の棚特定情報を特定する。

通信装置３１は、外部と通信可能な装置である。通信装置３１は、例えば周知の無線通信技術を用いて、冷蔵庫本体１０００の画像サーバ３とルータ装置７との間で情報の相互通信を行う。なお、画像サーバ３とルータ装置７との通信は無線方式に限られず、有線方式であってもよい。

図１６に示すのは、この発明の実施の形態１に係る冷蔵庫システムの全体構成である。同図に示すように、この発明の実施の形態１に係る冷蔵庫システムは、端末装置１０を備えている。端末装置１０は、通信装置３１と通信可能に設けられている。端末装置１０は、具体的に例えば、ＰＣ、スマートフォン、タブレット端末等である。なお、端末装置１０は、１以上設けられ、望ましくは複数設けられる。

端末装置１０は、図示しない端末表示部を備えている。端末表示部は、例えば、液晶ディスプレイ等を備えている。また、端末表示部をタッチパネルで構成し、情報を表示するとともに、ユーザからの操作を受け付けることができるようにしてもよい。端末装置１０の端末表示部は、貯蔵室画像及び撮影時刻情報を含む各種の情報を表示可能である。

図１６に示すように、冷蔵庫本体１０００、画像サーバ３及びルータ装置７は、宅内に設置されている。ルータ装置７は、例えばインターネット８を介して、外部サーバ９０と通信可能に接続されている。同図では外部サーバとして、インターネット８に接続された複数のサーバ（サーバ群）からなるクラウドサーバを用いた場合を例示している。しかしながら、外部サーバ９０はクラウドサーバに限られず、１台のサーバであってもよい。インターネット８及び外部サーバ９０は、冷蔵庫本体１０００が設置された宅内の外側の宅外（以下、単に「宅外」という）にある。

通信装置３１は、画像処理装置３２及び在庫管理装置３４に記憶されている画像及び情報を、ルータ装置７及びインターネット８を介して、宅外の外部サーバ９０へと送信する。そして、外部サーバ９０は、受信した画像及び情報を記憶する。特に、通信装置３１は、食品収納状態の変化を変化検出装置３３が検出した棚について撮影された画像を外部サーバ９０に送信する。この際、通信装置３１は、前述した第１の視点から撮影された画像と前述した第２の視点から撮影された画像の両方を外部に送信する。

なお、外部サーバ９０への通信が混雑し、貯蔵室画像を１回でアップロード（送信）できない場合を想定して、通信装置３１から外部サーバ９０への貯蔵室画像のアップロードの最大リトライ数を設定するようにしてもよい。そして、通信装置３１は、最大リトライ数に到達した場合には、即時にアップロードするようにしてもよい。

宅外の端末装置１０は、インターネット８を介して外部サーバ９０へとアクセスする。ユーザが、端末装置１０において冷蔵庫本体１０００に係る画像及び情報の表示操作を行うと、端末装置１０は送信要求を送信する。送信要求を受信した外部サーバ９０は、自身に記憶している画像及び情報を端末装置１０へと送信する。端末装置１０は、外部サーバ９０からインターネット８を介して画像及び情報を受信する。そして、端末装置１０は、受信した冷蔵庫本体１０００に係る画像及び情報を端末表示部に表示する。このように、端末装置１０は、通信装置３１が外部に送信した画像を表示可能である。

なお、端末装置１０は、外部サーバ９０を介することなく、通信装置３１から送信された冷蔵庫本体１０００に係る画像及び情報を、ルータ装置７及びインターネット８を通じて受信してもよい。また、在庫管理装置３４が冷蔵室１００への入出庫があったと判定した場合、通信装置３１は、その旨をルータ装置７及びインターネット８を通じて端末装置１０に通知してもよい。

図１７から図２０は、端末装置１０に表示される画面の例である。図１７に示すのは、「入出庫タイムライン」の表示例である。前述したように、画像サーバ３の在庫管理装置３４は、カメラ２が撮影した冷蔵室１００内の画像に基づいて、入出庫日時、入出庫の区別、入出庫された食品の画像及び食品が入出庫された棚の棚特定情報を記憶している。入出庫タイムラインは、これらの画像及び情報を時系列で並べて表示する画面である。

図１８に示すのは、「入出庫リスト」の表示例である。この入出庫リストも、入出庫タイムラインと同じく、画像サーバ３の在庫管理装置３４に記憶されている、入出庫日時、入出庫の区別、入出庫された食品の画像及び食品が入出庫された棚の棚特定情報を表示する。ただし、この入出庫リストと入出庫タイムラインとでは、表示形式が異なっている。この入出庫リストは、入出庫日時、入出庫された食品の画像及び食品が入出庫された棚の棚特定情報を、「入庫」の列と「出庫」の列とに分けてリスト状に表示する画面である。

図１９に示すのは、「在庫食品一覧」の表示例である。前述したように、画像サーバ３の在庫管理装置３４は、カメラ２が撮影した冷蔵室１００内の画像から、個々の食品の画像を抽出して記憶している。この在庫食品一覧は、ある時刻において冷蔵室１００内に収納されている個々の食品の画像を一覧形式で表示する画面である。

図２０に示すのは、「在庫食品一覧」の他の表示例である。この表示例では、ある時刻において冷蔵室１００内に収納されている個々の食品の画像を、それぞれの棚毎に分けて一覧形式で表示する画面である。

以上のように、食品画像を棚特定情報とともに表示したり、それぞれの棚毎に分けて食品画像を表示したりすることで、使用者は目的の食品を容易に見つけることができる。

なお、端末装置１０は、食品収納状態の変化を変化検出装置３３が検出した棚の画像を優先的に表示するようにしてもよい。具体的に例えば、図２０に示す「在庫食品一覧」の画面において、食品収納状態の変化が検出された棚の画像を、最上位に表示するようにしてもよい。

さらに、端末装置１０は、前述した第１の視点から撮影された画像及び１以上の前述した第２の視点から撮影された画像をそのまま表示してもよい。また、この際には、第１の視点から撮影された画像及び１以上の第２の視点から撮影された画像のうちのどれを表示するのか変更可能であるようにするとよい。具体的に例えば、ある視点からの画像が表示されている状態で、使用者がタッチパネルをスワイプ操作すると、当該スワイプ操作の向き及び量に応じて、表示される視点が変更されるようにするとよい。

また、以上の「入出庫タイムライン」、「入出庫リスト」及び「在庫食品一覧」の各画面は、操作パネル１のパネル表示部１ａにも表示可能である。また、パネル表示部１ａには、これらの画面の他に、在庫管理装置３４において管理及び記憶されている各種の画像及び情報、並びに、画像処理装置３２に記憶されている画像等を表示できるようにしてもよい。

在庫管理装置３４は、カメラ２が撮影した画像から冷蔵室１００内の個々の食品の画像を抽出するだけでなく、カメラ２が撮影した画像から冷蔵室１００内の個々の食品の種類及び量を判定してもよい。この判定のため、在庫管理装置３４は、食品画像データベースを予め記憶している。食品画像データベースは、食品の種類のそれぞれに、当該食品の形状、大きさ、色及び外装ラベルの少なくとも１つを対応付けられたデータの集合である。この意味で、在庫管理装置３４には、食品の種類のそれぞれに、当該食品の形状、大きさ、色及び外装ラベルの少なくとも１つを対応付けて予め記憶する食品情報記憶部を備えている。

食品画像データベースに記憶されている情報の具体例を図２１を参照しながら説明する。食品画像データベースは、食品種類のそれぞれについて、当該食品種類を他の食品種類と区別することができる特徴的な属性を記憶している。ここでは、当該食品種類に属する食品自体又は当該食品が入った容器の特徴量を、当該食品種類に対応付けて記憶している。具体的には、各食品種類について、形状（輪郭）、長軸の大きさ、代表色（ＲＧＢ値）及びラベル（文字）等の情報を特徴量としている。

なお、食品画像データベースに記憶する食品種類毎の形状としては、ここで例に挙げた輪郭の他、例えば、当該食品の外形に最も近い幾何学的形状（例えば、円柱、台形等）としてもよい。この場合、在庫管理装置３４による判定においては、例えば、パターンマッチング等の手法により食品画像データベースに記憶されている形状との照合を行う。また、色については、代表色のＲＧＢ値の他、例えば明度、彩度等の他の指標値を用いるようにしてもよい。

在庫管理装置３４は、以上のような食品画像データベースに記憶されている情報を参照しながら、在庫管理装置３４が保存、管理している画像に基づいて、貯蔵室（ここでは冷蔵室１００）内の食品の種類及び量を判定する。この判定においては、在庫管理装置３４は、カメラ２が撮影した画像から抽出した個々の食品の画像について、食品画像データベースに記憶されている食品の種類のうち、どの食品の種類の特徴量と合致するかを照合する。

そして、個々の食品の画像と合致する食品画像データベースに記憶されている特徴量があった場合、当該画像の食品の種類は、食品画像データベースにおいてこの合致した特徴量に対応付けられている種類であると、在庫管理装置３４は判定する。なお、食品画像データベースに特徴量が合致するデータがない場合、当該画像の食品の種類を、最も類似する食品の種類で代替するか、あるいは、当該画像の食品は種類不明の収納物として大きさだけを識別するようにしてもよい。

このようにして、在庫管理装置３４は、カメラ２が撮影した画像から抽出した食品の画像と、食品画像データベースに記憶されている特徴量とを比較することにより、冷蔵室１００内に収納されている食品について、種類及びその量を特定することができる。

次に、以上のように構成された冷蔵庫システムにおいて、カメラ２による冷蔵室１００内の撮影と画像サーバ３での処理の流れの一例について、図２２を参照しながら説明する。まず、ステップＳ１１において、制御基板１００１のカメラ２及びカメラ移動装置２０の制御回路は、開かれていた冷蔵室扉１０１が閉じられたことを検知されたか否かを確認する。冷蔵室扉１０１の開閉が検知されていない場合、冷蔵室扉１０１の開閉が検知されるまでステップＳ１１の処理を繰り返す。そして、冷蔵室扉１０１の開閉が検知されれば、処理はステップＳ１２へと進む。

ステップＳ１２においては、カメラ移動装置２０は、カメラ２を移動させる。そして、カメラ２は、冷蔵室１００内の各棚において、前述した第１の視点から画像を撮影する。ステップＳ１２の後、処理はステップＳ１３へと進む。ステップＳ１３においては、ステップＳ１２で撮影された各棚における第１の視点から画像を、前回撮影時の画像と比較する。続くステップＳ１４において、変化検出装置３３は、ステップＳ１２で撮影された各棚の画像と前回撮影時の画像とで差異があるか否かを確認する。これらの画像に差異がない場合、処理はステップＳ１１へと戻る。

一方、ステップＳ１４において、ステップＳ１２で撮影された各棚の画像と前回撮影時の画像とで差異がある場合、処理はステップＳ１５へと進む。ステップＳ１５においては、カメラ移動装置２０は再びカメラ２を移動させ、ステップＳ１２で撮影された画像と前回撮影時の画像とで差異があると判定された棚についてだけ、カメラ２は、今度は前述した第２の視点から画像を撮影する。ステップＳ１５の後、処理はステップＳ１６へと進む。

ステップＳ１６においては、ステップＳ１２で撮影された画像と前回撮影時の画像とで差異があると判定された棚について、前述した第１の視点から撮影された画像及び前述した第２の視点から撮影された画像から個々の食品の画像を抽出する。そして、在庫管理装置３４は、抽出した個々の食品の画像を食品情報データベースと照合し、食品の種類を特定する。

なお、前に述べた説明では、在庫管理装置３４は、第１の視点から撮影された画像から個々の食品の画像を抽出するとしていた。しかしながら、この点については、第１の視点から撮影された画像のみならず、第２の視点から撮影された画像からも個々の食品の画像を抽出してもよい。複数視点からの画像を使用することで、食品の種類の特定精度向上を図ることができる。ステップＳ１６の後、処理はステップＳ１７へと進む。

ステップＳ１７においては、ステップＳ１６で種類を特定した食品について、入庫、出庫、移動の区別を判定する。なお、ここでいう移動とは、異なる棚間での食品の移動のことである。すなわち、移動というのは、ある棚から出庫されたと判定されたものと同一の食品が、直後に別の棚に入庫されたと判定されることを指している。ステップＳ１７の処理が完了すると、処理はステップＳ１１へと戻る。

図２３に別例として示すように、前述した食品画像データベースである食品情報記憶部９１を画像サーバ３（在庫管理装置３４）でなく、外部サーバ９０に設けるようにしてもよい。そして、在庫管理装置３４は、外部サーバ９０の食品情報記憶部９１に記載された食品画像データベースの情報を参照して、前述した第１の視点から撮影された画像から冷蔵室１００内の個々の食品の種類及び量を判定するようにしてもよい。この構成によれば、外部サーバ９０にアクセスすることで、食品画像データベースを随時更新できる。

また、図２４に示すように、カメラ移動装置２０は、カメラ２を水平方向にも移動できるようにしてもよい。同図に示す例では、カメラ移動装置２０は、前述の可動範囲の上端及び下端において、水平方向に移動可能である。そして、カメラ移動装置２０は、水平方向に異なる位置においてカメラ２を上下方向に移動させることができる。この際、カメラ移動装置２０は、カメラ２の水平方向の向きを変えることができるようにしてもよい。

具体的に例えば、カメラ２は、上昇時に庫内右半分と右扉ポケットを撮影し、下降時に庫内左半分と左扉ポケットを撮影し、上下に往復することで扉ポケットを含む冷蔵室１００内の全体を撮影する。この構成においては、冷蔵室１００内の全体を撮影すると、カメラ２は撮影開始地点に戻る。このようにすることで、扉ポケットを含む冷蔵室１００内の全体を広角レンズを使用せずに撮影できるため、画像の解像度を向上するとともに画像の歪みを抑制し、食品の画像認識精度を向上できる。

なお、カメラ２及びカメラ移動装置２０を、冷蔵室扉１０１に対し着脱可能としてもよい。また、カメラ２及びカメラ移動装置２０と、制御基板１００１等の通信は、無線又は非接触方式とするとよい。このようにすることで、カメラ２のレンズ及びカメラ移動装置２０のメンテナンス性を向上できる。

以上のように構成された冷蔵庫システムは、貯蔵室内の各棚について、収納状態の変化を検出するために用いる画像を、第１の視点から撮影する。この第１の視点は、画像から収納状態の変化を検出するのに適したものとすることができる。具体的に例えば、第１の視点は各棚の正面であるが、これに限られない。そして、第１の視点から撮影した画像により、収納状態の変化が検出された棚については、カメラ２は、第１の視点とは異なる第２の視点からも撮影を行う。そして、通信装置３１は、収納状態の変化が検出された棚について、第１の視点と第２の視点の両方から撮影した画像を冷蔵庫本体１０００の外部の例えば外部サーバ９０又は端末装置１０に送信する。

このため、カメラ２による撮影回数を低減しつつ、第１の視点を、画像から収納状態の変化を検出するのに適したものとすることで、貯蔵室内の食品収納状態の変化の検出精度の低下を抑制できる。そして、収納状態の変化が検出された棚についてのみ、第１の視点と第２の視点の両方から撮影した画像を送信することで、端末装置１０からは、複数視点から撮影された貯蔵室内の画像を確認できる。そして、複数視点から撮影された貯蔵室内の画像を冷蔵庫の外部に送信する際の通信負荷の軽減を図ることが可能である。

実施の形態２．
図２５及び図２６は、この発明の実施の形態２に係るものである。図２５は、実施の形態１の図２に相当する冷蔵庫の断面図である。そして、図２６は冷蔵庫システムの構成を示すブロック図である。

以下、この実施の形態２に係る冷蔵庫システムについて、実施の形態１との相違点を中心に説明する。説明を省略した構成については実施の形態１と基本的に同様である。

この実施の形態に係る冷蔵庫システムは、図２５及び図２６に示すように、収納量検出装置３５、風量変更装置４１及び棚板移動装置４２を備えている。収納量検出装置３５は、在庫管理装置３４が記憶する棚特定情報と個々の食品の画像とに基づいて、それぞれの棚毎について、食品の収納量及び食品の最大高さを検出する。ここで、食品の最大高さとは、１つの棚に収納されている食品のそれぞれの高さのうちで最大のものを指している。

収納量検出装置３５は、例えば、在庫管理装置３４が記憶する食品画像から、食品の位置、大きさ、数等を検出する。そして、これらの情報から、それぞれの棚毎に、食品の収納量及び食品の最大高さを求める。この際、前述した第１の視点及び第２の視点の複数視点から撮影された画像も併用することで、より正確に食品の最大高さ等を検出できる。

冷蔵室１００内の背面部には、図示しない冷却空気の吹出口が形成されている。吹出口は、各棚に冷却空気が行きわたるように、それぞれの棚に対応して配置されている。風量変更装置４１は、例えば、それぞれの棚に対応する吹出口に設けられたダンパである。風量変更装置４１のダンパの開度を変更することで、それぞれの棚に供給する冷却空気の風量を個別に調節可能である。

風量変更装置４１は、収納量検出装置３５により検出されたそれぞれの棚毎の食品の収納量に応じて、それぞれの棚に供給する冷却空気の風量を変更する。このようにすることで、それぞれの棚の収納量に対応した風量バランスを実現できる。このため、冷蔵室１００の全体としての冷却効率を向上し、消費エネルギー量の削減を図ることができる。

棚板移動装置４２は、冷蔵室１００内の各棚を構成する冷蔵室棚板１０２のそれぞれを、上下方向に移動させる。具体的に例えば、棚板移動装置４２は、ラック・アンド・ピニオン機構により、冷蔵室棚板１０２を上下に移動させる。

棚板移動装置４２は、収納量検出装置３５により検出されたそれぞれの棚毎の食品の収納量及び食品の最大高さに応じて、それぞれの棚の上下方向の位置を変更する。具体的に例えば、棚板移動装置４２は、それぞれの棚毎の食品の収納量に応じて、収納量の多い棚の空間が広くなるように、棚の間隔等を調節する。この際、棚板移動装置４２は、それぞれの棚の空間の高さが、当該棚の食品の最大高さを下回ることがないように、必要に応じて複数の冷蔵室棚板１０２の位置を同時に移動させる。このようにすることで、それぞれの棚の収納量に応じた空間が確保できるので、冷却効率を向上できる。この際、複数視点から撮影した食品画像により三次元的に食品の形状等を把握できるため、冷蔵室棚板１０２と食品の接触を確実に回避できる。

以上のように構成された冷蔵庫システムも、実施の形態１と同様の効果を奏することができる。さらに、前述した第１の視点及び第２の視点から撮影された貯蔵室内の画像を活用して、それぞれの棚の収納量を検出することで、より精度よくそれぞれの棚の収納量を検出できる。

なお、カメラ２を赤外線カメラとして、熱画像を取得できるようにしてもよい。取得した熱画像を用いて、それぞれの棚毎について、収納されている食品の冷却負荷を求めることができる。そして、棚毎の冷却負荷に応じて、棚板移動装置４２により冷蔵室棚板１０２を移動させたり、風量変更装置４１により各棚の風量を変更したりすることで、冷蔵室１００内の食品をさらに効率的に冷却できる。

この発明は、貯蔵室内の画像を撮影するカメラを備え、貯蔵室内の画像を冷蔵庫の外部に送信する冷蔵庫システムに利用できる。

１ 操作パネル
１ａ パネル表示部
２ カメラ
３ 画像サーバ
７ ルータ装置
８ インターネット
１０ 端末装置
２０ カメラ移動装置
２１ ステッピングモータ
２２ ウォームギヤ
２３ ピニオン
２４ ラック
２５ ガイド部
２６ ウォームホイール
２７ 送りねじ
２８ カメラ支持部
２９ 溝部
３０ 食品
３１ 通信装置
３２ 画像処理装置
３３ 変化検出装置
３４ 在庫管理装置
３５ 収納量検出装置
４１ 風量変更装置
４２ 棚板移動装置
９０ 外部サーバ
９１ 食品情報記憶部
１００ 冷蔵室
１０１ 冷蔵室扉
１０２ 冷蔵室棚板
１０３ 棚板支持部
１０４ ドアポケット
１１０ チルド室
１１１ チルドケース
２００ 製氷室
３００ 切替室
４００ 冷凍室
５００ 野菜室
１０００ 冷蔵庫本体
１００１ 制御基板

Claims (16)

1. 食品を収納する貯蔵室が形成された本体と、
   前記貯蔵室内に設けられ、前記食品が載置される１以上の棚と、
   前記貯蔵室の一側を開閉する扉と、
   前記扉の内側の面に設けられ、前記貯蔵室内の画像を撮影するカメラと、
   前記カメラを少なくとも上下方向に移動させるカメラ移動装置と、
   前記カメラが撮影した画像を前記本体の外部に送信する通信装置と、
   前記カメラが撮影した画像に基づいて、前記棚のそれぞれについての食品収納状態の変化を検出する変化検出装置と、を備え、
   前記カメラは、前記棚のそれぞれについて、第１の視点と前記第１の視点とは異なる１以上の第２の視点とから撮影し、
   前記変化検出装置は、前記第１の視点から撮影された画像に基づいて、それぞれの前記棚の食品収納状態の変化を検出し、
   前記通信装置は、食品収納状態の変化を前記変化検出装置が検出した前記棚について、前記第１の視点から撮影された画像と前記第２の視点から撮影された画像の両方を前記本体の外部に送信する冷蔵庫。
2. 請求項１に記載の冷蔵庫と、
   前記通信装置が前記本体の外部に送信した画像を表示可能な端末装置と、を備え、
   前記端末装置は、前記第１の視点から撮影された画像及び１以上の前記第２の視点から撮影された画像のうちのどれを表示するのか変更可能である冷蔵庫システム。
3. 前記端末装置は、食品収納状態の変化を前記変化検出装置が検出した前記棚の画像を優先的に表示する請求項２に記載の冷蔵庫システム。
4. それぞれの前記棚毎に、前記カメラが撮影した画像の明るさ及び歪みの一方又は両方を補正した後、合成して前記貯蔵室の全体画像を生成する画像処理装置をさらに備えた請求項２又は請求項３に記載の冷蔵庫システム。
5. 前記カメラが撮影した画像から個々の前記食品の画像を抽出し、抽出した前記食品の画像を、当該食品が置かれた前記棚を一意に特定する棚特定情報と対応付けて記憶する在庫管理装置をさらに備えた請求項２から請求項４のいずれか一項に記載の冷蔵庫システム。
6. 前記在庫管理装置は、食品収納状態の変化を前記変化検出装置が検出した前記棚について、前記第１の視点から撮影された画像から個々の前記食品の画像を抽出し、抽出した個々の前記食品の画像について、入出庫の有無を判定する請求項５に記載の冷蔵庫システム。
7. 前記在庫管理装置は、前記食品の種類に、当該食品の形状、大きさ、色及び外装ラベルの少なくとも１つを対応付けて予め記憶するとともに、当該記憶した情報を参照して、前記第１の視点から撮影された画像から前記貯蔵室内の個々の前記食品の種類及び量を判定する請求項６の冷蔵庫システム。
8. 前記通信装置と通信可能に設けられた外部サーバをさらに備え、
   前記外部サーバは、前記食品の種類に、当該食品の形状、大きさ、色及び外装ラベルの少なくとも１つを対応付けて予め記憶し、
   前記在庫管理装置は、前記外部サーバに記憶された情報を参照して、前記第１の視点から撮影された画像から前記貯蔵室内の個々の前記食品の種類及び量を判定する請求項６の冷蔵庫システム。
9. 前記通信装置は、前記貯蔵室への入出庫があったと前記在庫管理装置が判定した場合、その旨を前記端末装置に通知する請求項５から請求項８のいずれか一項に記載の冷蔵庫システム。
10. 前記端末装置は、入出庫があった前記食品の画像と、入出庫の区別と、前記棚特定情報とを、時系列で表示可能である請求項５から請求項９のいずれか一項に記載の冷蔵庫システム。
11. 前記端末装置は、入出庫があった前記食品の画像と、入出庫の区別と、前記棚特定情報とを、入庫と出庫とに分けて表示可能である請求項５から請求項１０のいずれか一項に記載の冷蔵庫システム。
12. 前記端末装置は、それぞれの前記棚毎に分けて収納されている前記食品の画像を表示可能である請求項５から請求項１１のいずれか一項に記載の冷蔵庫システム。
13. 前記在庫管理装置が記憶する前記棚特定情報と個々の前記食品の画像とに基づいて、それぞれの前記棚毎について、前記食品の収納量及び前記食品の最大高さを検出する収納量検出装置をさらに備えた請求項５から請求項１２のいずれか一項に記載の冷蔵庫システム。
14. それぞれの前記棚毎の前記食品の収納量及び前記食品の最大高さに応じて、それぞれの前記棚の上下方向の位置を変更する棚板移動装置をさらに備えた請求項１３に記載の冷蔵庫システム。
15. それぞれの前記棚毎の前記食品の収納量に応じて、それぞれの前記棚に供給する冷却空気の風量を変更する風量変更装置をさらに備えた請求項１３又は請求項１４に記載の冷蔵庫システム。
16. 前記カメラ移動装置は、前記カメラを水平方向にも移動可能である請求項２から請求項１５のいずれか一項に記載の冷蔵庫システム。

Images