JP7092794B2 - 冷蔵庫及び冷蔵庫システム - Google Patents

Description

この発明は、冷蔵庫及び冷蔵庫システムに関するものである。

冷蔵庫内の画像を検知するカメラを備えた冷蔵庫において、移動範囲の上端から下端へ、予め定められた一定の速度でカメラを移動させながら撮影を行うものが知られている（例えば、特許文献１参照）。

日本特開２０１６－１４８５０３号公報

しかしながら、特許文献１に示されるような冷蔵庫においては、一定の速度でカメラを移動させながら撮影を行うため、撮影された画像にぶれが生じる。また、カメラが撮影したタイミングによっては、撮影された画像のうち、貯蔵室内の棚板上の食品が写っている部分が大きく歪んでしまう可能性がある。また、カメラが撮影したタイミングによっては、棚板の奥にある食品が、手前の食品又は棚板に隠れてしまう可能性がある。そして、以上のことから、得られた画像が画像認識に適さないものとなり、画像認識に使用した場合に、貯蔵室内の収納状況の判定精度が低下してしまう。

この発明は、このような課題を解決するためになされたものである。その目的は、画像のぶれ及び歪みを抑制し、それぞれの棚板の奥まで写った、より鮮明な貯蔵室画像をより少ないカメラの数で得ることができる冷蔵庫及び冷蔵庫システムを得ることにある。

この発明に係る冷蔵庫は、食品を収納する貯蔵室が形成された本体と、前記貯蔵室内に設置され、食品が載置される１以上の棚板と、前記貯蔵室の一側を開閉する扉と、前記扉の内側の面に設けられ、前記貯蔵室内の画像を撮影するカメラと、前記カメラを上下方向に移動させるカメラ移動装置と、を備え、前記カメラ移動装置は、隣り合う前記棚板同士の間、及び、前記貯蔵室の上端内面と前記上端内面の隣の前記棚板との間のそれぞれの少なくとも２箇所以上で前記カメラを停止させ、前記カメラは、前記カメラ移動装置が前記カメラの移動を停止させる毎に撮影し、前記扉の内側に設けられたドアポケットをさらに備え、前記カメラ移動装置は、前記カメラを下方向に移動させつつ前記カメラの向きを下向きに変えることで、前記ドアポケットの直上から前記ドアポケットの内部を撮影できる位置及び向きに前記カメラを移動可能である。

この発明に係る冷蔵庫は、上記のように構成された冷蔵庫と、前記カメラが撮影した画像を送信する通信装置と、前記通信装置と通信可能に設けられ、通信装置が送信した前記カメラが撮影した画像を受信可能な端末装置と、を備える。

この発明に係る冷蔵庫及び冷蔵庫システムによれば、画像のぶれ及び歪みを抑制し、それぞれの棚板の奥まで写った、より鮮明な貯蔵室画像をより少ないカメラの数で得ることができるという効果を奏する。

この発明の実施の形態１に係る冷蔵庫の正面図である。 この発明の実施の形態１に係る冷蔵庫の断面図である。 この発明の実施の形態１に係る冷蔵庫のカメラ移動装置の斜視図である。 この発明の実施の形態１に係るカメラ移動装置の要部を透視して示す拡大斜視図である。 この発明の実施の形態１に係るカメラ移動装置の別例の要部を透視して示す拡大斜視図である。 この発明の実施の形態１に係るカメラ移動装置の最下部での動きを説明する図である。 この発明の実施の形態１に係るカメラ移動装置の最下部での動きを説明する図である。 この発明の実施の形態１に係るカメラ移動装置の最下部での動きを説明する図である。 この発明の実施の形態１に係る冷蔵庫の貯蔵室内の画像の一例を比較例とともに示す図である。 この発明の実施の形態１に係る冷蔵庫の時刻Ａにおける貯蔵室内の画像の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫の時刻Ｂにおける貯蔵室内の画像の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫の時刻Ｃにおける貯蔵室内の画像の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫の時刻Ｄにおける貯蔵室内の画像の一例を示す図である。 この発明の実施の形態１に係る冷蔵庫を備えた冷蔵庫システムの構成を示す図である。 この発明の実施の形態１に係る冷蔵庫システムのユーザ端末の表示例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムのユーザ端末の表示例を示す図である。 この発明の実施の形態１に係る冷蔵庫システムのユーザ端末の表示例を示す図である。 この発明の実施の形態１に係る冷蔵庫の食品画像データベースに記憶される内容の一例を示す図である。 この発明の実施の形態２に係る冷蔵庫のカメラの撮影位置の一例を示す要部断面図である。

この発明を実施するための形態について添付の図面を参照しながら説明する。各図において、同一又は相当する部分には同一の符号を付して、重複する説明は適宜に簡略化又は省略する。なお、本発明は以下の実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲で種々変形することが可能である。

実施の形態１．
図１から図１８は、この発明の実施の形態１に係るもので、図１は冷蔵庫の正面図、図２は冷蔵庫の断面図、図３は冷蔵庫のカメラ移動装置の斜視図、図４はカメラ移動装置の要部を透視して示す拡大斜視図、図５はカメラ移動装置の別例の要部を透視して示す拡大斜視図、図６から図８はカメラ移動装置の最下部での動きを説明する図、図９は冷蔵庫の貯蔵室内の画像の一例を比較例とともに示す図、図１０は冷蔵庫の時刻Ａにおける貯蔵室内の画像の一例を示す図、図１１は冷蔵庫の時刻Ｂにおける貯蔵室内の画像の一例を示す図、図１２は冷蔵庫の時刻Ｃにおける貯蔵室内の画像の一例を示す図、図１３は冷蔵庫の時刻Ｄにおける貯蔵室内の画像の一例を示す図、図１４は冷蔵庫を備えた冷蔵庫システムの構成を示す図、図１５から図１７は冷蔵庫システムのユーザ端末の表示例を示す図、図１８は冷蔵庫の食品画像データベースに記憶される内容の一例を示す図である。

なお、各図では各構成部材の寸法の関係や形状等が実際のものとは異なる場合がある。また、明細書中における各構成部材同士の位置関係（例えば、上下関係等）は、原則として、冷凍冷蔵庫を使用可能な状態に設置したときのものである。

この発明の実施の形態１に係る冷蔵庫は、図１に示す冷蔵庫本体１０００を備えている。この実施の形態１においては、冷蔵庫本体１０００には、冷蔵室１００、製氷室２００、切替室３００、冷凍室４００及び野菜室５００が形成されている。これらの冷蔵室１００、製氷室２００、切替室３００、冷凍室４００及び野菜室５００は、食品を収納する貯蔵室である。

これらの貯蔵室は、図１に示すように、上から冷蔵室１００、製氷室２００及び切替室３００、冷凍室４００、野菜室５００の順で配置されている。製氷室２００と切替室３００とは、同じ上下位置において左右に並んで配置されている。冷蔵室１００の前面には、冷蔵室１００を開閉する冷蔵室扉１０１が設けられている。冷蔵室扉１０１は、貯蔵室の一側を開閉する扉の一例である。また、製氷室２００、切替室３００、冷凍室４００及び野菜室５００は、それぞれの前面に設けられた扉と共に、冷蔵庫本体１０００の手前側に引き出すことができるように構成されている。

冷蔵室扉１０１の前面には、操作パネル１が設けられている。操作パネル１は、パネル表示部１ａを備えている。パネル表示部１ａは、情報を表示可能な本体表示部である。パネル表示部１ａには、例えば、各貯蔵室の設定温度及び現在の温度等の庫内情報を表示可能である。パネル表示部１ａは、例えば液晶ディスプレイ等を備えている。操作パネル１は、例えばタッチパネル、ボタン、スイッチ等の操作部を備えている。ユーザは、操作パネル１の操作部を操作することにより、必要な情報を入力することができるようになっている。なお、操作パネル１の設置位置は、冷蔵室１００の扉に限るものではなく、他の貯蔵室の扉、冷蔵庫本体１０００の側面等であってもよい。

図２に示すように、冷蔵室１００は、前面側（同図に向かって左側）を冷蔵室扉１０１によって塞がれている。なお、図２に示す断面図は、図１中の断面Ａ－Ａ’によるものである。冷蔵室１００の内部には、１以上の冷蔵室棚板１０２が設けられている。ここでは、冷蔵室棚板１０２が複数設けられている場合を例に挙げている。冷蔵室１００の内部は、これらの冷蔵室棚板１０２によって、上下方向に複数の空間（棚）に仕切られている。冷蔵室棚板１０２の上には、食品が載置される。

それぞれの冷蔵室棚板１０２は、棚板支持部１０３によって、冷蔵室１００内の予め定められた位置で支持されている。棚板支持部１０３は、冷蔵室１００の側壁内面から冷蔵室１００の内側に突出して形成されている。なお、１つの冷蔵室棚板１０２の上下位置を変更できるように棚板支持部１０３を構成してもよい。

最下段の冷蔵室棚板１０２の下側の空間は、チルド室１１０である。チルド室１１０の内部には、チルドケース１１１が設置されている。チルドケース１１１は、レール等の案内部材（図示せず）に沿って、前方へ引き出すことができる。また、冷蔵室扉１０１の内側の面には、ドアポケット１０４が設けられている。このドアポケット１０４にも食品を載置、収納することができる。

冷蔵室扉１０１の内側の面には、カメラ２が設置されている。カメラ２は、冷蔵室扉１０１の側から貯蔵室（ここでは冷蔵室１００）の内部の画像を撮影し、貯蔵室画像として出力する。この発明の実施の形態１に係る冷蔵庫本体１０００は、カメラ移動装置２０を備えている。カメラ移動装置２０は、カメラ２を上下方向に移動させる装置である。カメラ移動装置２０は、冷蔵室扉１０１の内側の面に設けられている。

カメラ移動装置２０は、カメラ２を可動範囲内で上下方向に移動させる。可動範囲は、予め設定された範囲である。ここでは、可動範囲の上端は、冷蔵室１００内の上端部である。また、可動範囲の下端は、最も下にあるドアポケット１０４の直上の位置である。

次に、図３から図５を参照しながら、カメラ移動装置２０の構成について説明する。カメラ移動装置２０は、図３及び図４に示すように、ステッピングモータ２１、ウォームギヤ２２、ピニオン２３、ラック２４、ガイド部２５及びカメラ支持部２８を備えている。カメラ２は、カメラ支持部２８に固定されている。ガイド部２５は、冷蔵室扉１０１に固定されている。カメラ支持部２８は、ガイド部２５に対して移動可能である。ガイド部２５は、少なくとも前述した可動範囲にわたって上下方向に沿って配置されている。ガイド部２５は、前述した可動範囲にわたるカメラ２及びカメラ支持部２８の移動を案内する。

図４に示すように、カメラ支持部２８には、ステッピングモータ２１、ウォームギヤ２２及びピニオン２３が取り付けられている。ガイド部２５には、ラック２４が取り付けられている。ラック２４は、前述した可動範囲にわたって上下方向に沿って配置されている。また、ガイド部２５には、溝部２９が形成されている。溝部２９は、前述した可動範囲にわたって配置されている。

ステッピングモータ２１は、カメラ２の移動を駆動する。ステッピングモータ２１の駆動軸には、ウォームギヤ２２が固定されている。ピニオン２３は、大ギヤと小ギヤとが一体に構成されている。ピニオン２３の大ギヤと小ギヤとは回転軸が同一となるように固定されている。ピニオン２３の大ギヤは、ウォームギヤ２２と噛み合っている。ピニオン２３の小ギヤは、ラック２４と噛み合っている。

ステッピングモータ２１によりウォームギヤ２２を回転させると、ピニオン２３が回転する。ラック２４と噛み合った状態のピニオン２３が回転することで、ピニオン２３の回転軸がラック２４に沿って直線状に移動する。ピニオン２３の回転軸は、カメラ支持部２８に回転可能に支持されている。したがって、このようなラック・アンド・ピニオン機構により、カメラ移動装置２０は、ステッピングモータ２１の回転運動をガイド部２５に対するカメラ支持部２８の直線運転に変換し、冷蔵室扉１０１に対してカメラ２を上下方向に移動させる。

なお、カメラ２の移動量はステッピングモータ２１の回転量に比例する。そして、ステッピングモータ２１の回転量は、ステップ数を用いて制御することができる。したがって、カメラ移動装置２０は、ステッピングモータ２１のステップ数を用いてカメラ２の移動量を制御することができる。

図５に示すのは、カメラ移動装置２０の構成の別例である。この別例では、送りねじ機構によりカメラ２を移動させる。この別例では、カメラ移動装置２０は、ステッピングモータ２１、ウォームギヤ２２、ウォームホイール２６、送りねじ２７及びカメラ支持部２８を備えている。

ステッピングモータ２１の駆動軸には、ウォームギヤ２２が固定されている。ウォームギヤ２２には、ウォームホイール２６が噛み合っている。ウォームホイール２６には、回転軸が同一となるように送りねじ２７が連結されている。送りねじ２７は、前述の可動範囲にわたって上下方向に沿って配置されている。送りねじ２７には、カメラ支持部２８が取り付けられている。カメラ支持部２８には、送りねじ２７のねじ山と係合するめねじが切られている。カメラ支持部２８には、カメラ２が固定されている。

ステッピングモータ２１によりウォームギヤ２２を回転させると、ウォームホイール２６及び送りねじ２７が回転する。送りねじ２７が回転することで、ねじ作用によりカメラ支持部２８が送りねじ２７の回転軸に沿って直線状に移動する。このような送りねじ機構により、カメラ移動装置２０は、ステッピングモータ２１の回転運動をカメラ支持部２８の直線運転に変換し、冷蔵室扉１０１に対してカメラ２を上下方向に移動させる。

次に、図６から図８を参照しながら、カメラ移動装置２０の前述した可動範囲の下端部分の構成、及び、カメラ移動装置２０がカメラ２を前述した可動範囲の下端に移動させた時の動作について説明する。前述したように、ガイド部２５には溝部２９が前述の可動範囲にわたって形成されている。これらの図に示すように、この溝部２９は、前述した可動範囲の下端部分において、上下方向から冷蔵室扉１０１側の方向へと滑らかに曲がっている。この他の部分では、溝部２９は上下方向に沿っている。

溝部２９内には、カメラ支持部２８に形成された図示しない突起部が挿入されている。この突起部はピニオン２３よりも冷蔵室扉１０１側に配置されている。ラック２４上をピニオン２３が回転した際、カメラ支持部２８の突起部が溝部２９内に規制された状態で溝部２９内を移動することで、カメラ支持部２８の向き、すなわち、カメラ２の向きが決められる。

図６に示すように、溝部２９は上下方向に沿っている部分では、カメラ支持部２８が移動してもカメラ２の向きが冷蔵室扉１０１とは反対側の状態が保たれる。カメラ２が下降を続けてカメラ支持部２８の突起部が溝部２９のカーブにさしかかると、カメラ支持部２８のピニオン２３はそのまま下降を続けようとするのに対し、カメラ支持部２８の突起部は、溝部２９に案内されて下降をやめて冷蔵室扉１０１側へと移動を始める。このため、図７に示すようにカメラ支持部２８が傾き始め、カメラ２が下に向き始める。

そして、カメラ２が前述した可動範囲の下端にくると、図８に示すように、カメラ２は真下を向く。前述したように、可動範囲の下端はドアポケット１０４の直上の位置である。このため、可動範囲の下端にあるカメラ２は、ドアポケット１０４の内部を上方から撮影できる。このように、カメラ移動装置２０は、ドアポケット１０４の内部を上方から撮影できる位置及び向きにカメラ２を移動可能である。

カメラ２は、例えば、冷蔵室扉１０１が開閉された時に冷蔵室１００内を撮影する。冷蔵室扉１０１が開閉されると、冷蔵室１００内の食品が出し入れされ、冷蔵室１００内の収納状態が変化する可能性があるためである。冷蔵庫本体１０００は、扉の開閉を検知可能なセンサを備えている。このセンサは、例えば、一般的なマグネット方式のセンサである。すなわち、このセンサは、例えば、冷蔵室扉１０１に埋め込まれた磁石の近接を、冷蔵庫本体１０００側に設置された一対のリードスイッチによって検出する。カメラ２は、例えば、開かれていた冷蔵室扉１０１が閉じられたことを検知した後、冷蔵室１００内が照明されている間に撮影を行う。

このカメラ２による冷蔵室１００内の撮影は、カメラ移動装置２０によるカメラ２の移動と連係して行われる。次に、カメラ２とカメラ移動装置２０との連係した撮影動作について説明する。冷蔵室１００内の撮影を行う際、カメラ移動装置２０は、途中でカメラ２の移動を停止させながら、前述の可動範囲の一端から他端までカメラ２を移動させる。そして、カメラ２は、カメラ移動装置２０がカメラ２の移動を停止させる毎に撮影を行う。

例えば、カメラ移動装置２０は、カメラ２を前述の可動範囲の上端から下端までカメラ２を下方向に移動させる。この際、カメラ移動装置２０は、冷蔵室１００の上端内面と、この上端内面の隣の冷蔵室棚板１０２との間における少なくとも１箇所でカメラ２を停止させる。そして、この位置で停止している間にカメラ２は画像を撮影する。この時にカメラ２が撮影した画像は、冷蔵室１００の上端内面の隣の冷蔵室棚板１０２すなわち最上段の冷蔵室棚板１０２の収納状況を示すものである。カメラ２が画像を撮影したら、カメラ移動装置２０は、カメラ２の下降を再開する。

また、カメラ移動装置２０は、隣り合う冷蔵室棚板１０２同士の間のそれぞれの少なくとも１箇所でカメラ２を停止させる。そして、この位置で停止している間にカメラ２は画像を撮影する。この時にカメラ２が撮影した画像は、カメラ２の位置のすぐ下にある冷蔵室棚板１０２の収納状況を示すものである。カメラ２が画像を撮影したら、カメラ移動装置２０は、カメラ２の下降を再開する。

このようにして、カメラ２が前述の可動範囲の下端にまで達すると、前述したように、ドアポケット１０４の内部を上方から撮影できる位置及び向きにカメラ２がくる。そして、この位置で停止している間にカメラ２は画像を撮影する。この時にカメラ２が撮影した画像は、最下部のドアポケット１０４の収納状況を示すものである。

以上のようにして、カメラ２が隣り合う冷蔵室棚板１０２同士の間の位置にある時にカメラ２は撮影を行う。また、カメラ２が冷蔵室１００の上端内面と、この上端内面の隣の冷蔵室棚板１０２との間の位置にある時にも、カメラ２は撮影を行う。さらに、この実施の形態１では、カメラ２は、ドアポケット１０４の内部を上方から撮影する。なお、カメラ移動装置２０は、カメラ２を前述の可動範囲の下端から上端までカメラ２を上方向に移動させてもよい。

この実施の形態１では、カメラ移動装置２０は、前述の可動範囲内におけるカメラ２の位置をステッピングモータ２１のステップ数を用いて制御する。すなわち、カメラ移動装置２０は、カメラ２を停止させる位置を、ステッピングモータ２１のステップ数を計数することで特定する。

ここで、冷蔵室棚板１０２の位置が固定されていて変更できない場合、カメラ２を停止させる位置も固定できる。したがって、例えば、カメラ移動装置２０は、カメラ２を停止させる位置についての情報、例えばステッピングモータ２１のステップ数を予め記憶しておく。そして、ステッピングモータ２１のステップ数が、予め記憶していた値になったときにカメラ移動装置２０はカメラ２を停止させることが考えられる。

また、冷蔵室棚板１０２の位置を変更可能な場合は、次のようにして現在の冷蔵室棚板１０２の位置を特定し、カメラ２の停止位置を決定することが考えられる。まず、１つめの例は、棚板支持部１０３に冷蔵室棚板１０２の位置を検出する手段を設ける方法である。冷蔵室棚板１０２の位置を検出する手段としては、具体的に例えば、マイクロスイッチ等を用いることが考えられる。この場合、冷蔵室棚板１０２を棚板支持部１０３の適切な位置に配置した時に、当該冷蔵室棚板１０２により押されるようにマイクロスイッチを設置しておく。そして、どのマイクロスイッチが押されているかによって、冷蔵室棚板１０２の位置を検出することができる。

２つめの例は、カメラ２の撮影した画像を用いて冷蔵室棚板１０２の位置を特定する方法である。この方法では、まず、最初にカメラ移動装置２０で前述の可動範囲の全体にカメラ２を移動させながら、カメラ２で画像を撮影する。この際の撮影位置は、最終的にカメラ２で撮影可能な冷蔵室１００の全範囲を網羅できれば、特に限定されない。そして、こうして撮影した画像を解析し、現在の冷蔵室棚板１０２の位置を特定することができる。

なお、カメラ移動装置２０は、冷蔵室扉１０１の開閉を検知するセンサが冷蔵室扉１０１の閉動作を検知した場合に、前述の可動範囲の一端にカメラ２を移動させてステッピングモータ２１のゼロ点補正を行うようにするとよい。すなわち、センサが冷蔵室扉１０１の閉動作を検知した場合、カメラ移動装置２０は、最初にカメラ２を前述の可動範囲の例えば上端に移動させる。そして、カメラ移動装置２０は、ステッピングモータ２１のステップ数の計数値を０にする。このようにすることで、ステッピングモータ２１のステップ数と実際のカメラ２の位置とのずれを修正することができる。

再び図２を参照しながら説明を続ける。冷蔵庫本体１０００は、制御基板１００１を備えている。制御基板１００１は、例えば、冷蔵庫本体１０００の背面側の上部に収容されている。制御基板１００１には、冷蔵庫本体１０００の動作に必要な各種の制御を実施するための制御回路等が備えられている。制御基板１００１は、例えばマイクロコンピュータを備えており、すなわち、プロセッサ及びメモリを備えている。制御基板１００１は、メモリに記憶されたプログラムをプロセッサが実行することにより、予め設定された処理を実行し、冷蔵庫本体１０００を制御する。

この発明の実施の形態１に係る冷蔵庫システムは、以上のように構成された冷蔵庫本体１０００をまず備えている。また、この冷蔵庫システムは、さらに画像サーバ３を備えている。画像サーバ３は、貯蔵室画像の保存、管理及び外部への送信を行うためのものである。画像サーバ３は、冷蔵庫本体１０００が設置された宅内（以下、単に「宅内」という）であって、かつ、冷蔵庫本体１０００の貯蔵室の外側に設置される。図１及び図２に示すのは、画像サーバ３を冷蔵庫本体１０００の天井部の外面部に配置した例である。なお、画像サーバ３の設置位置は、冷蔵庫本体１０００の天井部に限られない。画像サーバ３を、冷蔵庫本体１０００の貯蔵室の外であれば、冷蔵庫本体１０００の側面、背面又は貯蔵室の扉に設置してもよい。また、制御基板１００１に画像サーバ３を実装してもよい。

画像サーバ３は、前述した制御基板１００１と同様に例えばマイクロコンピュータを備えており、すなわち、プロセッサ及びメモリを備えている。また、画像サーバ３は、図２に示すように、貯蔵室画像記憶部４、貯蔵室画像管理部５及び無線通信部６を備えている。これらの各部の機能は、例えば、画像サーバ３のマイクロコンピュータにおいて、メモリに記憶されたプログラムをプロセッサが実行し、予め設定された処理を行うことで実現される。なお、画像サーバ３は、例えば、制御基板１００１と接続され、制御基板１００１から電力の供給を受けて動作する。

貯蔵室画像記憶部４は、カメラ２から出力された貯蔵室画像を記憶する。前述したように、冷蔵室扉１０１の開閉が検知されると、カメラ２は、カメラ移動装置２０と連係して、冷蔵室１００内のそれぞれの冷蔵室棚板１０２及び最下部のドアポケット１０４の収納状況を撮影する。カメラ２は、撮影した画像を、貯蔵室画像記憶部４に出力する。カメラ２から出力された画像は、貯蔵室画像記憶部４に入力される。

したがって、貯蔵室画像記憶部４には、冷蔵室扉１０１が開閉される毎（すなわち、冷蔵室１００内の収納状態が変化する可能性がある毎）に、カメラ２から出力された画像が入力されることになる。こうして、貯蔵室画像記憶部４には常に最新の状態の冷蔵室１００内の画像が入力される。

貯蔵室画像記憶部４は、入力された最新の貯蔵室画像を一時的に記憶する。この際、貯蔵室画像記憶部４は、貯蔵室画像が貯蔵室画像記憶部４に入力された時刻を、撮影時刻情報として当該貯蔵室画像とともに一時的に記憶する。なお、撮影時刻情報には、撮影された日にち（月日又は年月日）の情報も含まれている。

ここで、図９を参照しながら、この発明の実施の形態１の冷蔵庫本体１０００により撮影された画像の特徴について、比較例と対比しながら説明する。図９の紙面に向かって右側の５つの画像が、この発明の実施の形態１の冷蔵庫本体１０００により撮影された、各冷蔵室棚板１０２及び最下部のドアポケット１０４の収納状況の画像例である。

また、向かって左側の５つの画像が、比較例における各冷蔵室棚板１０２及び最下部のドアポケット１０４の収納状況の画像例である。この比較例では、２個のカメラが固定された位置に設けられている。２個のカメラで全ての冷蔵室棚板１０２と最下部のドアポケット１０４の収納状況を撮影できるようにするため、各カメラには魚眼レンズが用いられている。

この比較例では、カメラの正面から外れた冷蔵室棚板１０２が存在してしまう。このため、図９の例では特に最上段と上から３つめの画像で歪みが大きくなってしまう。また、これらの画像では冷蔵室棚板１０２の下から見上げる視点からの画像になってしまう。このため、画像から奥の収納状況を確認することが困難である。また、収納状況を判定するための画像認識には不適である。

これに対し、この発明の実施の形態１の冷蔵庫本体１０００により撮影された画像では、全ての冷蔵室棚板１０２の画像において、比較例よりも歪みが少ない。そして、奥の収納状況の確認も容易である。このため、画像認識に使用することで、収納状況をより正確に判定できるようになる。

このように、この発明の実施の形態１の冷蔵庫本体１０００では、カメラ２を上下方向に移動させるカメラ移動装置２０は、隣り合う棚板同士の間、及び、貯蔵室の上端内面とこの上端内面の隣の棚板との間のそれぞれの少なくとも１箇所でカメラ２を停止させる。そして、カメラ２は、カメラ移動装置２０がカメラ２の移動を停止させる毎に撮影する。このため、より少ないカメラの数で、画像のぶれ及び歪みを抑制し、それぞれの棚板の奥まで写った、より鮮明な貯蔵室画像を得ることができる。そして、このようにして得られた画像を画像認識に使用することで、貯蔵室内の収納状況をより正確に判定できる。

再び図２を参照しながら説明を続ける。貯蔵室画像記憶部４には、以上で説明したような各冷蔵室棚板１０２及び最下部のドアポケット１０４の収納状況の最新画像が記憶されている。貯蔵室画像管理部５は、貯蔵室画像記憶部４に記憶されているこれらの貯蔵室画像及び撮影時刻情報を、貯蔵室画像記憶部４から取得する。

ただし、貯蔵室画像記憶部４に記憶されている貯蔵室画像にも、カメラ２のレンズの特性上の理由によりわずかに歪みが生じる可能性がある。また、冷蔵室１００内の照明及び収納状態によっては、各画像間で明るさにばらつきがある場合も考えられる。そこで、必要に応じて、貯蔵室画像管理部５は、カメラ２が撮影した画像の明るさ及び歪みの一方又は両方を補正する。すなわち、この意味で、貯蔵室画像管理部５は、カメラ２が撮影した画像の明るさ及び歪みの一方又は両方を補正する画像処理部である。

貯蔵室画像管理部５は、必要に応じて補正した各冷蔵室棚板１０２の収納状況の最新画像から、冷蔵室１００内の全体の最新画像を合成する。そして、貯蔵室画像管理部５は、合成後の貯蔵室画像を撮影時刻情報に基づいて撮影時刻順に並び替えて記憶する。このようにして、カメラ２により撮影された貯蔵室画像は、貯蔵室画像記憶部４に一時的に記憶された後、貯蔵室画像管理部５へと移動されて、管理される。

さらに、貯蔵室画像管理部５は、カメラ２により撮影された食品の画像を、入庫及び出庫を判別した上で時系列で保存して管理する。例えば、貯蔵室画像管理部５は、まず、カメラ２により撮影された画像から、個々の食品の画像を抽出する。次に、貯蔵室画像管理部５は、連続する２つの時点においてカメラ２により撮影された画像から抽出された個々の食品の画像を比較することにより、個々の食品について冷蔵室１００に入庫されたのか出庫されたのかを判別する。この際、入庫及び出庫の判別に用いた２つの画像の撮影日時から、おおよその入庫日時及び出庫日時を特定することができる。こうして、貯蔵室画像管理部５は、カメラ２により撮影された画像に基づいて、個々の食品の画像について、入庫日時及び出庫日時を特定し、それぞれの食品の画像を時系列で保存して管理する。

次に、図１０から図１３を参照して、カメラ２により撮影された画像を用いた食品の入庫及び出庫の判別について具体例を挙げて説明する。図１０に示すのは、時刻Ａにおける冷蔵室１００内の画像の例である。この時刻Ａを入出庫判定の基準時刻とする。

図１１に示すのは、時刻Ｂにおける冷蔵室１００内の画像の例である。時刻Ｂは時刻Ａよりも後の時刻である。貯蔵室画像管理部５は、時刻Ａの冷蔵室１００内の画像と時刻Ｂの冷蔵室１００内の画像との差分をとることにより、１番上の冷蔵室棚板１０２からビール２本が出庫されたと判定する。貯蔵室画像管理部５は、時刻Ａの画像から当該ビール２本の画像を抽出する。そして、貯蔵室画像管理部５は、抽出した画像とともに入出庫の区別、すなわちここでは「出庫」と出庫時刻Ｂとを記憶する。

図１２に示すのは、時刻Ｃにおける冷蔵室１００内の画像の例である。時刻Ｃは時刻Ｂよりも後の時刻である。貯蔵室画像管理部５は、時刻Ｂの冷蔵室１００内の画像と時刻Ｃの冷蔵室１００内の画像との差分をとることにより、下から２段めの冷蔵室棚板１０２からサラダが出庫されたと判定する。貯蔵室画像管理部５は、時刻Ａ又は時刻Ｂの画像から当該サラダの画像を抽出する。そして、貯蔵室画像管理部５は、抽出した画像とともに入出庫の区別、すなわちここでは「出庫」と出庫時刻Ｃとを記憶する。

図１３に示すのは、時刻Ｄにおける冷蔵室１００内の画像の例である。時刻Ｄは時刻Ｃよりも後の時刻である。貯蔵室画像管理部５は、時刻Ｃの冷蔵室１００内の画像と時刻Ｄの冷蔵室１００内の画像との差分をとることにより、１番上の冷蔵室棚板１０２に牛乳２本が入庫され、さらに下から２段めの冷蔵室棚板１０２にケーキが入庫されたと判定する。貯蔵室画像管理部５は、時刻Ｄの画像から当該牛乳２本及び当該ケーキの画像を抽出する。そして、貯蔵室画像管理部５は、抽出した画像とともに入出庫の区別、すなわちここでは「入庫」と入庫時刻Ｄとを記憶する。

このように、貯蔵室画像管理部５は、カメラ２が撮影した画像に基づいて、冷蔵室１００への入出庫の有無を判定することができる。

再び図２を参照しながら説明を続ける。無線通信部６は、外部と通信可能な通信装置である。無線通信部６は、例えば周知の無線通信技術を用いて、冷蔵庫本体１０００の画像サーバ３とルータ装置７との間で情報の相互通信を行う。なお、画像サーバ３とルータ装置７との通信は無線方式に限られず、有線方式であってもよい。

図１４に示すのは、この発明の実施の形態１に係る冷蔵庫システムの全体構成である。同図に示すように、この発明の実施の形態１に係る冷蔵庫システムは、ユーザ端末１０を備えている。ユーザ端末１０は、通信装置である無線通信部６と通信可能に設けられた端末装置である。ユーザ端末１０は、具体的に例えば、ＰＣ、スマートフォン、タブレット端末等である。なお、ユーザ端末１０は、１以上設けられ、望ましくは複数設けられる。

ユーザ端末１０は、図示しない端末表示部を備えている。端末表示部は、例えば、液晶ディスプレイ等を備えている。また、端末表示部をタッチパネルで構成し、情報を表示するとともに、ユーザからの操作を受け付けることができるようにしてもよい。ユーザ端末１０の端末表示部は、貯蔵室画像及び撮影時刻情報を含む各種の情報を表示可能である。

図１４に示すように、冷蔵庫本体１０００、画像サーバ３及びルータ装置７は、宅内に設置されている。ルータ装置７は、例えばインターネット８を介して、クラウドサーバ９と通信可能に接続されている。クラウドサーバ９は、前述した外部サーバである。同図では外部サーバとして、インターネット８に接続された複数のサーバ（サーバ群）からなるクラウドサーバ９を用いた場合を例示している。しかしながら、外部サーバはクラウドサーバ９に限られず、１台のサーバであってもよい。インターネット８及びクラウドサーバ９は、冷蔵庫本体１０００が設置された宅内の外側の宅外（以下、単に「宅外」という）にある。

無線通信部６は、貯蔵室画像記憶部４及び貯蔵室画像管理部５に記憶されている画像及び情報を、ルータ装置７及びインターネット８を介して、宅外のクラウドサーバ９へと送信する。そして、クラウドサーバ９は、受信した画像及び情報を記憶する。

この際、クラウドサーバ９への通信が混雑し、貯蔵室画像を１回でアップロード（送信）できない場合を想定して、無線通信部６からクラウドサーバ９への貯蔵室画像のアップロードの最大リトライ数を設定するようにしてもよい。そして、無線通信部６は、最大リトライ数に到達した場合には、即時にアップロードするようにしてもよい。

宅外のユーザ端末１０は、インターネット８を介してクラウドサーバ９へとアクセスする。ユーザが、ユーザ端末１０において冷蔵庫本体１０００に係る画像及び情報の表示操作を行うと、ユーザ端末１０は送信要求を送信する。送信要求を受信したクラウドサーバ９は、自身に記憶している画像及び情報をユーザ端末１０へと送信する。ユーザ端末１０は、クラウドサーバ９からインターネット８を介して画像及び情報を受信する。そして、ユーザ端末１０は、受信した冷蔵庫本体１０００に係る画像及び情報を端末表示部に表示する。

なお、ユーザ端末１０は、クラウドサーバ９等の外部サーバを介することなく、無線通信部６から送信された冷蔵庫本体１０００に係る画像及び情報を、ルータ装置７及びインターネット８を通じて受信してもよい。また、貯蔵室画像管理部５が冷蔵室１００への入出庫があったと判定した場合、無線通信部６は、その旨をルータ装置７及びインターネット８を通じてユーザ端末１０に通知してもよい。

図１５から図１７は、ユーザ端末１０に表示される画面の例である。図１５に示すのは、「入出庫タイムライン」の表示例である。前述したように、画像サーバ３の貯蔵室画像管理部５は、カメラ２が撮影した冷蔵室１００内の画像に基づいて、入出庫日時、入出庫の区別、入出庫された食品の画像を記憶している。入出庫タイムラインは、これらの画像及び情報を時系列で並べて表示する画面である。

図１６に示すのは、「入出庫リスト」の表示例である。この入出庫リストも、入出庫タイムラインと同じく、画像サーバ３の貯蔵室画像管理部５に記憶されている、入出庫日時、入出庫の区別、入出庫された食品の画像を表示する。ただし、この入出庫リストと入出庫タイムラインとでは、表示形式が異なっている。この入出庫リストは、入出庫日時及び入出庫された食品の画像を、「入庫」の列と「出庫」の列とに分けてリスト状に表示する画面である。

図１７に示すのは、「在庫食品一覧」の表示例である。前述したように、画像サーバ３の貯蔵室画像管理部５は、カメラ２が撮影した冷蔵室１００内の画像から、個々の食品の画像を抽出して記憶している。この在庫食品一覧は、ある時刻において冷蔵室１００内に収納されている個々の食品の画像を一覧形式で表示する画面である。

なお、以上の「入出庫タイムライン」、「入出庫リスト」及び「在庫食品一覧」の各画面は、操作パネル１のパネル表示部１ａにも表示可能である。また、パネル表示部１ａには、これらの画面の他に、貯蔵室画像管理部５において管理及び記憶されている各種の画像及び情報、並びに、貯蔵室画像記憶部４に記憶されている画像等を表示できるようにしてもよい。

貯蔵室画像管理部５は、カメラ２が撮影した画像から冷蔵室１００内の個々の食品の画像を抽出するだけでなく、カメラ２が撮影した画像から冷蔵室１００内の個々の食品の種類及び量を判定してもよい。この判定のため、貯蔵室画像管理部５は、食品画像データベースを予め記憶している。食品画像データベースは、食品の種類のそれぞれに、当該食品の形状、大きさ、色及び外装ラベルの少なくとも１つを対応付けられたデータの集合である。この意味で、貯蔵室画像管理部５には、食品の種類のそれぞれに、当該食品の形状、大きさ、色及び外装ラベルの少なくとも１つを対応付けて予め記憶する食品情報記憶部を備えている。

食品画像データベースに記憶されている情報の具体例を図１８を参照しながら説明する。食品画像データベースは、食品種類のそれぞれについて、当該食品種類を他の食品種類と区別することができる特徴的な属性を記憶している。ここでは、当該食品種類に属する食品自体又は当該食品が入った容器の特徴量を、当該食品種類に対応付けて記憶している。具体的には、各食品種類について、形状（輪郭）、長軸の大きさ、代表色（ＲＧＢ値）及びラベル（文字）等の情報を特徴量としている。

なお、食品画像データベースに記憶する食品種類毎の形状としては、ここで例に挙げた輪郭の他、例えば、当該食品の外形に最も近い幾何学的形状（例えば、円柱、台形等）としてもよい。この場合、貯蔵室画像管理部５による判定においては、例えば、パターンマッチング等の手法により食品画像データベースに記憶されている形状との照合を行う。また、色については、代表色のＲＧＢ値の他、例えば明度、彩度等の他の指標値を用いるようにしてもよい。

貯蔵室画像管理部５は、以上のような食品画像データベースに記憶されている情報を参照しながら、貯蔵室画像管理部５が保存、管理している画像に基づいて、貯蔵室（ここでは冷蔵室１００）内の食品の種類及び量を判定する。この判定においては、貯蔵室画像管理部５は、カメラ２が撮影した画像から抽出した個々の食品の画像について、食品画像データベースに記憶されている食品の種類のうち、どの食品の種類の特徴量と合致するかを照合する。

そして、個々の食品の画像と合致する食品画像データベースに記憶されている特徴量があった場合、当該画像の食品の種類は、食品画像データベースにおいてこの合致した特徴量に対応付けられている種類であると、貯蔵室画像管理部５は判定する。なお、食品画像データベースに特徴量が合致するデータがない場合、当該画像の食品の種類を、最も類似する食品の種類で代替するか、あるいは、当該画像の食品は種類不明の収納物として大きさだけを識別するようにしてもよい。

このようにして、貯蔵室画像管理部５は、カメラ２が撮影した画像から抽出した食品の画像と、食品画像データベースに記憶されている特徴量とを比較することにより、冷蔵室１００内に収納されている食品について、種類及びその量を特定することができる。

実施の形態２．
図１９は、この発明の実施の形態２に係るもので、冷蔵庫のカメラの撮影位置の一例を示す要部断面図である。以下、この実施の形態２に係る冷蔵庫システムについて、実施の形態１の構成を元にした場合を例に挙げ、実施の形態１との相違点を中心に説明する。

ここで説明する実施の形態２は、前述した実施の形態１の構成において、カメラ移動装置２０は、隣り合う冷蔵室棚板１０２同士の間、及び、冷蔵室１００の上端内面とこの上端内面の隣の冷蔵室棚板１０２との間のそれぞれの少なくとも２箇所以上でカメラ２を停止させるようにしたものである。そして、カメラ２は、カメラ移動装置２０がカメラ２の移動を停止させる毎に撮影を行う。

すなわち、隣り合う冷蔵室棚板１０２同士の間の異なる２以上の位置においてカメラ２は撮影を行う。また、カメラ２が冷蔵室１００の上端内面と、この上端内面の隣の冷蔵室棚板１０２との間の異なる２以上の位置においても、カメラ２は撮影を行う。

図１９に示すのは、隣り合う冷蔵室棚板１０２同士の間の３箇所で、カメラ２を停止させて撮影する例である。同図に示すように、隣り合う冷蔵室棚板１０２同士の間の比較的上側の位置でカメラ２を停止させて撮影した場合、冷蔵室棚板１０２の奥にある食品３０を撮影することができる。また、食品３０のパッケージ上面についても鮮明に撮影しやすい。しかし、冷蔵室棚板１０２の手前にある食品３０を前面から撮影することが難しい。

これに対し、隣り合う冷蔵室棚板１０２同士の間の比較的下側の位置でカメラ２を停止させて撮影した場合、冷蔵室棚板１０２の手前にある食品３０を前面から撮影することができる。この一方で、冷蔵室棚板１０２の奥にある食品３０は、手前にある食品３０のかげになってしまう。

そこで、１つの冷蔵室棚板１０２について、上下位置の異なる複数の箇所からカメラ２で撮影することによって、冷蔵室棚板１０２の手前側から奥側まで、より多くの食品を撮影することができる。

この実施の形態２においては、貯蔵室画像管理部５は、それぞれの冷蔵室棚板１０２毎に、当該冷蔵室棚板１０２より上側の２箇所以上の位置にあるカメラ２が撮影した画像の明るさ及び歪みの一方又は両方を補正した後、合成して当該冷蔵室棚板１０２の食品収納状態画像を生成する。そして、貯蔵室画像管理部５は、それぞれの冷蔵室棚板１０２の食品収納状態画像を合成して、冷蔵室１００内全体の画像を生成する。
なお、他の構成については実施の形態１と同様であり、ここでは、その説明を省略する。

以上のように構成された冷蔵庫システムにおいても、実施の形態１と同様の効果を奏することができる。さらに、冷蔵室棚板１０２の手前側から奥側まで、より多くの食品を鮮明に撮影した画像を得ることができるため、収納状況の確認が容易である。また、このようにして得られた画像を画像認識に使用することで、貯蔵室内の収納状況をさらに正確に判定できる。

この発明は、貯蔵室内の画像を撮影するカメラを備えた冷蔵庫に利用できる。また、貯蔵室内の画像を冷蔵庫の外部に送信する冷蔵庫システムに利用できる。

１ 操作パネル
１ａ パネル表示部
２ カメラ
３ 画像サーバ
４ 貯蔵室画像記憶部
５ 貯蔵室画像管理部
６ 無線通信部
７ ルータ装置
８ インターネット
９ クラウドサーバ
１０ ユーザ端末
２０ カメラ移動装置
２１ ステッピングモータ
２２ ウォームギヤ
２３ ピニオン
２４ ラック
２５ ガイド部
２６ ウォームホイール
２７ 送りねじ
２８ カメラ支持部
２９ 溝部
３０ 食品
１００ 冷蔵室
１０１ 冷蔵室扉
１０２ 冷蔵室棚板
１０３ 棚板支持部
１０４ ドアポケット
１１０ チルド室
１１１ チルドケース
２００ 製氷室
３００ 切替室
４００ 冷凍室
５００ 野菜室
１０００ 冷蔵庫本体
１００１ 制御基板

Claims (11)

1. 食品を収納する貯蔵室が形成された本体と、
   前記貯蔵室内に設置され、食品が載置される１以上の棚板と、
   前記貯蔵室の一側を開閉する扉と、
   前記扉の内側の面に設けられ、前記貯蔵室内の画像を撮影するカメラと、
   前記カメラを上下方向に移動させるカメラ移動装置と、を備え、
   前記カメラ移動装置は、隣り合う前記棚板同士の間、及び、前記貯蔵室の上端内面と前記上端内面の隣の前記棚板との間のそれぞれの少なくとも２箇所以上で前記カメラを停止させ、
   前記カメラは、前記カメラ移動装置が前記カメラの移動を停止させる毎に撮影し、
   前記扉の内側に設けられたドアポケットをさらに備え、
   前記カメラ移動装置は、前記カメラを下方向に移動させつつ前記カメラの向きを下向きに変えることで、前記ドアポケットの直上から前記ドアポケットの内部を撮影できる位置及び向きに前記カメラを移動可能である冷蔵庫。
2. それぞれの棚板毎に、当該棚板より上側の２箇所以上の位置にある前記カメラが撮影した画像の明るさ及び歪みの一方又は両方を補正した後、合成して当該棚板の食品収納状態画像を生成する画像処理部をさらに備えた請求項１に記載の冷蔵庫。
3. 前記カメラ移動装置は、
   前記カメラの移動を駆動するステッピングモータを備え、
   前記カメラを予め設定された可動範囲内で上下方向に移動させ、
   前記可動範囲内における前記カメラの位置を前記ステッピングモータのステップ数を用いて制御する請求項１又は請求項２に記載の冷蔵庫。
4. 前記扉の開閉を検知するセンサをさらに備え、
   前記カメラ移動装置は、前記センサが前記扉の閉動作を検知した場合に、前記可動範囲の一端に前記カメラを移動させて前記ステッピングモータのゼロ点補正を行う請求項３に記載の冷蔵庫。
5. 請求項１から請求項４のいずれか一項に記載の冷蔵庫と、
   前記カメラが撮影した画像を送信する通信装置と、
   前記通信装置と通信可能に設けられ、通信装置が送信した前記カメラが撮影した画像を受信可能な端末装置と、を備えた冷蔵庫システム。
6. 前記カメラが撮影した画像に基づいて、前記貯蔵室への入出庫の有無を判定する画像管理部をさらに備え、
   前記通信装置は、前記貯蔵室への入出庫があったと前記画像管理部が判定した場合、その旨を前記端末装置に通知する請求項５に記載の冷蔵庫システム。
7. 前記画像管理部は、前記カメラが撮影した画像から前記貯蔵室への入出庫があった食品の画像を抽出するとともに、入出庫の区別及び入出庫日時を判定し、
   前記通信装置は、前記カメラが撮影した画像から抽出された入出庫があった食品の画像と、入出庫の区別及び入出庫日時の情報とを前記端末装置に送信する請求項６に記載の冷蔵庫システム。
8. 前記端末装置は、入出庫があった食品の画像と、入出庫の区別及び入出庫日時の情報とを、時系列で表示可能である請求項７に記載の冷蔵庫システム。
9. 前記端末装置は、入出庫があった食品の画像と、入出庫の区別及び入出庫日時の情報とを、入庫と出庫とに分けて表示可能である請求項７に記載の冷蔵庫システム。
10. 前記画像管理部は、前記カメラが撮影した画像から前記貯蔵室内の個々の食品の画像を抽出し、
    前記通信装置は、前記カメラが撮影した画像から抽出された前記貯蔵室内の個々の食品の画像を前記端末装置に送信し、
    前記端末装置は、前記貯蔵室内の個々の食品の画像を表示可能である請求項８に記載の冷蔵庫システム。
11. 前記画像管理部は、食品の種類に、当該食品の形状、大きさ、色及び外装ラベルの少なくとも１つを対応付けて予め記憶するとともに、当該記憶した情報を参照して、前記カメラが撮影した画像から前記貯蔵室内の個々の食品の種類及び量を判定する請求項６から請求項１０のいずれか一項に記載の冷蔵庫システム。

Images