JPWO2016151814A1

JPWO2016151814A1 - 冷蔵庫

Info

Publication number: JPWO2016151814A1
Application number: JP2017507257A
Authority: JP
Inventors: 山田　哲也; 哲也山田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-03-25
Filing date: 2015-03-25
Publication date: 2017-06-22
Anticipated expiration: 2035-03-25
Also published as: WO2016151814A1; JP6242537B2

Abstract

無線タグ及び扉の開閉不要で貯蔵品の残量を把握可能とするため、庫内の貯蔵品を撮影するカメラ１１，１１ａ，１１ｂ，１１ｃと、貯蔵品の重量を計測する重量センサ１３ａ，１３ｂ，１３ｃと、カメラ１１，１１ａ，１１ｂ，１１ｃで撮影して取得した画像データを記憶する画像記憶装置１５ａと、画像データから貯蔵品の位置を演算し、貯蔵品の大きさを演算し、重量センサ１３ａ，１３ｂ，１３ｃからの計測データを取得する制御部である冷蔵庫制御基板１５と、を備え、冷蔵庫制御基板１５は、外部端末である無線通信端末２０又は操作基板１６からのアクセスによりカメラ１１，１１ａ，１１ｂ，１１ｃを用いて貯蔵品を撮影して貯蔵品の画像データを取得し、無線通信端末２０又は操作基板１６に画像データを表示させ、無線通信端末２０又は操作基板１６からの要求に応じて貯蔵品の位置、大きさ及び重量データを取得することで貯蔵品の残量を算出する。

Description

本発明は、扉を開閉せずに庫内の貯蔵品の残量を把握可能な冷蔵庫に関する。

従来、冷蔵庫の扉を開閉せずとも庫内の貯蔵品を把握可能な冷蔵庫として、無線タグを利用したものが挙げられる。このような技術の一例である特許文献１には、無線タグの格納データを読み込み、保存した食品の情報を管理し、重量センサで食品の重量を測定することで、食品の残量を把握する冷蔵庫が開示されている。

特開２００３−１８５３２７号公報

しかしながら、上記従来の技術によれば無線タグが必須である。そのため、無線タグが電池切れを起こした場合又は貯蔵品に付された無線タグのデータ形式が異なる場合には貯蔵品の管理を行うことができず、また、無線タグだけでは残量の把握は困難である、という問題があった。

本発明は、上記に鑑みてなされたものであって、無線タグを用いることなく、扉を開閉せずに庫内の貯蔵品の残量を把握可能な冷蔵庫を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る冷蔵庫は、庫内の貯蔵品を撮影するカメラと、前記貯蔵品の重量を計測する重量センサと、前記カメラで撮影して取得した画像データを記憶する画像記憶装置と、前記画像データから前記貯蔵品の位置を演算し、前記貯蔵品の大きさを演算し、前記重量センサからの計測データを取得する制御部と、を備え、前記制御部は、外部端末又は操作基板からのアクセスにより前記カメラを用いて前記貯蔵品を撮影して前記貯蔵品の画像データを取得し、前記アクセスした外部端末又は操作基板に前記画像データを表示させ、前記アクセスした外部端末又は操作基板からの要求に応じて前記貯蔵品の位置、大きさ及び重量データを取得することで前記貯蔵品の残量を算出することを特徴とする。

本発明に係る冷蔵庫は、無線タグを用いることなく、扉を開閉せずに庫内の貯蔵品の残量を把握可能であるという効果を奏する。

実施の形態１に係る冷蔵庫の外観を示す図実施の形態１に係る冷蔵庫の構成を示す断面図実施の形態１に係る冷蔵庫内の棚板を扉側から見た外観図実施の形態１に係る冷蔵庫の構成と、外部の無線通信端末とを示すブロック図実施の形態１に係る冷蔵庫の貯蔵室内の貯蔵品の残量を表示する際の動作の一例を説明する図実施の形態１において、無線通信端末の画面に表示される選択画面の一例を示す図実施の形態１において、無線通信端末の画面に表示される材質選択画面の一例を示す図実施の形態１において、無線通信端末の画面に表示される残量の算出結果の一例を示す図実施の形態２に係る冷蔵庫の貯蔵室内の貯蔵品の残量を表示する際の動作の一例を説明する図実施の形態２において、初期重量登録動作を示す図実施の形態２において、空重量登録動作を示す図実施の形態２において、残容量表示動作を示す図実施の形態２において、貯蔵品の選択画面を示す図実施の形態２において、動作選択画面を示す図実施の形態２において、商品名の入力を要求し、画像認識機能を使用するか否かの選択を要求する画面を示す図実施の形態２において、画像登録を行った旨の表示画面を示す図実施の形態２において、動作選択画面を示す図実施の形態２において、空重量の登録画面を示す図実施の形態２において、登録済みの商品から空重量の登録を行うための商品選択画面を示す図実施の形態２において、空重量の登録を行った旨の表示画面を示す図実施の形態２において、動作選択画面を示す図実施の形態２において、残量の算出結果の一例を示す図実施の形態１において、扉と、収納ポケットとを示す斜視図実施の形態１において、収納ポケットに貯蔵された対象となる食品と、撮像方向との関係を示す図

以下に、本発明の実施の形態に係る冷蔵庫を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、本発明の実施の形態１に係る冷蔵庫の外観を示す図である。図１に示す冷蔵庫１は、扉２ａ，２ｂ，２ｃ，２ｄを備える。扉２ａ，２ｂ，２ｃ，２ｄは、片開きでもよいし、両開きでもよいし、観音開きでもよい。また、扉２ａ，２ｂ，２ｃ，２ｄのうち一つ又は複数が引出しであってもよい。扉２ａには操作基板１６が設けられており、冷蔵庫１の動作設定を行うことが可能である。

図２は、図１のＳ面における冷蔵庫１の構成を示す断面図である。図２に示す冷蔵庫１は、扉２ａにより開閉される貯蔵室３ａと、扉２ｂにより開閉される貯蔵室３ｂと、扉２ｃにより開閉される貯蔵室３ｃと、扉２ｄにより開閉される貯蔵室３ｄとを備える。貯蔵室３ａ，３ｂ，３ｃ，３ｄは、断熱材により覆われ、断熱されている。扉２ａの貯蔵室３ａ側には収納ポケット１２ａ，１２ｂ，１２ｃが設けられ、収納ポケット１２ａの底部には重量センサ１３ａが設けられ、収納ポケット１２ｂの底部には重量センサ１３ｂが設けられ、収納ポケット１２ｃの底部には重量センサ１３ｃが設けられている。貯蔵室３ａには庫内灯１０と、カメラ１１と、棚板１４ａ，１４ｂ，１４ｃが設けられている。庫内灯１０には白色ＬＥＤを例示することができる。庫内灯１０及びカメラ１１は貯蔵室３ａ内の天井に設けられており、カメラ１１は貯蔵室３ａ内を上部から撮影可能なカメラである。また、棚板１４ａには、収納ポケット１２ａ内の収納物を側部から撮影可能なカメラ１１ａが設けられ、棚板１４ｂには、収納ポケット１２ｂ内の収納物を側部から撮影可能なカメラ１１ｂが設けられ、棚板１４ｃには、収納ポケット１２ｃ内の収納物を側部から撮影可能なカメラ１１ｃが設けられている。なお、カメラ１１，１１ａ，１１ｂ，１１ｃは首振り動作可能な構成を有し、カメラ１１は冷蔵庫１の前後左右方向、一例として各４５°方向に首振り動作可能であり、カメラ１１ａ，１１ｂ，１１ｃは冷蔵庫１の上下左右方向、一例として各４５°方向に首振り動作可能である。冷蔵庫制御基板１５は、冷蔵庫１の制御部である。操作基板１６は、ユーザとのインターフェースとして設けられており、外部の無線通信端末と通信可能な通信部を備える。外部の無線通信端末には、スマートフォン及びタブレット端末を例示することができる。なお、操作基板１６の前面にタッチパネルにより操作画面が表示される構成であり、外部の無線通信端末に送信される情報と同じ情報が表示される構成であってもよい。

図３は、冷蔵庫１内の棚板１４ａを扉２ａ側から見た外観図である。図３に示すように、棚板１４ａには、図２のカメラ１１ａに相当する複数のカメラ１１ａ１，１１ａ２及び複数の撮画補助照明１７ａ，１７ｂ，１７ｃ，１７ｄ，１７ｅが設けられている。図３においては、撮画補助照明１７ａと撮画補助照明１７ｂの間にカメラ１１ａ１が配され、撮画補助照明１７ｄと撮画補助照明１７ｅの間にカメラ１１ａ２が配されている。なお、本発明はこれに限定されるものではなく、棚板１４ａに設けられるカメラ及び撮画補助照明の個数は１つであってもよい。撮画補助照明１７ａ，１７ｂ，１７ｃ，１７ｄ，１７ｅには白色ＬＥＤを例示することができ、撮画補助照明１７ａ，１７ｂ，１７ｃ，１７ｄ，１７ｅはカメラ１１ａ１，カメラ１１ａ２の撮影時における光量の不足を補うために設けられている。

図４は、冷蔵庫１の構成と、外部の無線通信端末２０とを示すブロック図である。図４に示す冷蔵庫１において、カメラ１１，１１ａ，１１ｂ，１１ｃで取得した画像データ及び重量センサ１３ａ，１３ｂ，１３ｃが測定した重量データは冷蔵庫制御基板１５に入力される。冷蔵庫制御基板１５は、画像記憶装置１５ａと、画像処理装置１５ｂと、メモリ１５ｃとを備え、カメラ１１，１１ａ，１１ｂ，１１ｃからの画像データは画像記憶装置１５ａに記録され、その他のデータはメモリ１５ｃに記録される。冷蔵庫制御基板１５は、扉２ａが開いているときには庫内灯１０を点灯させ、扉２ａが閉じているときにはカメラ１１，１１ａ，１１ｂ，１１ｃが撮影可能なように、撮画補助照明１７ａ，１７ｂ，１７ｃ，１７ｄ，１７ｅを点灯させる。なお、扉２ａが開いているときに撮画補助照明１７ａ，１７ｂ，１７ｃ，１７ｄ，１７ｅを点灯させてもよいし、カメラ１１，１１ａ，１１ｂ，１１ｃの撮影時には庫内灯１０を点灯させてもよい。操作基板１６と無線通信端末２０は、無線による双方向通信が可能であり、冷蔵庫制御基板１５と操作基板１６は、有線による双方向通信が可能である。ユーザは、冷蔵庫１の前面においては操作基板１６を操作することで、冷蔵庫１の遠隔地においては無線通信端末２０を操作することで、冷蔵庫制御基板１５に動作を指示し、又は冷蔵庫１内部の貯蔵品の情報を得ることができる。また、冷蔵庫制御基板１５は、重量センサ１３ａ，１３ｂ，１３ｃを起動して、重量センサ１３ａ，１３ｂ，１３ｃが測定した重量データを取得する。

図５は、冷蔵庫１の貯蔵室内の貯蔵品の残量を表示する際の動作の一例を説明する図である。まず、処理をスタートすると、操作基板１６は、無線通信端末２０からのアクセスがあるか否かを判定する（Ｓ１）。無線通信端末２０からのアクセスがない場合、すなわちＳ１でＮｏに分岐する場合には、無線通信端末２０からのアクセスがあるか否かの判定を継続する。無線通信端末２０からのアクセスがある場合、すなわちＳ１でＹｅｓに分岐する場合には、無線通信端末２０との通信を開始する（Ｓ２）。無線通信端末２０との通信を開始すると、無線通信端末２０から冷蔵庫１内の情報要求があるか否かを判定する（Ｓ３）。ここで、情報要求は、冷蔵庫１内の貯蔵品の画像データを取得し、無線通信端末２０に送信をすべき旨の要求を含むメッセージである。無線通信端末２０から冷蔵庫１内の情報要求がない場合、すなわちＳ３でＮｏに分岐する場合には、無線通信端末２０から冷蔵庫１内の情報要求があるか否かの判定を継続する。無線通信端末２０から冷蔵庫１内の情報要求がある場合、すなわちＳ３でＹｅｓに分岐する場合には、操作基板１６は冷蔵庫制御基板１５を介して庫内灯１０及び撮画補助照明１７ａ，１７ｂ，１７ｃ，１７ｄ，１７ｅを点灯させ（Ｓ４）、カメラ１１，１１ａ，１１ｂ，１１ｃは、貯蔵品の撮影を行って取得した貯蔵品の画像データを画像記憶装置１５ａに記録する（Ｓ５）。この画像データは、画像記憶装置１５ａから操作基板１６を介して無線通信端末２０に送信される（Ｓ６）。ユーザは、無線通信端末２０に表示された画像データから貯蔵品のうちいずれか一つを選択し（Ｓ７）、選択結果は無線通信端末２０から操作基板１６を介して冷蔵庫制御基板１５に送信される。

図６は、Ｓ７において無線通信端末２０の画面に表示される選択画面の一例を示す図である。図６に示す画面２０ａ１には、プラスチック製の容器入りのスポーツドリンク３０ａと、プラスチック製の容器入りの緑茶３０ｂと、紙パック入りの牛乳３０ｃと、プラスチック製の容器入りのとんかつソース３０ｄと、プラスチック製の容器入りのイタリアンドレッシング３０ｅとが表示されている。ユーザが図６の画面２０ａ１上で牛乳３０ｃを選択すると、この選択結果が無線通信端末２０から操作基板１６を介して冷蔵庫制御基板１５に送信される。

冷蔵庫制御基板１５は、ユーザの選択に従って貯蔵品の一例である食品の位置を画像データから演算し（Ｓ８）、この食品の大きさを画像データから演算し（Ｓ９）、この食品の重量を計測するよう重量センサ１３ａ，１３ｂ，１３ｃに指令を出力し、重量センサ１３ａ，１３ｂ，１３ｃが取得したこの食品の重量データが冷蔵庫制御基板１５に入力される（Ｓ１０）。冷蔵庫制御基板１５は、食品の位置、大きさ及び重量データを、操作基板１６を介して無線通信端末２０に送信する。食品の位置、大きさ及び重量データを受信した無線通信端末２０には、この食品の容器の材質選択画面が表示され、ユーザはこの食品の容器の材質を選択する（Ｓ１１）。

図７は、無線通信端末２０の画面に表示されるこの材質選択画面の一例を示す図である。図７に示す画面２０ａ２には、「プラスチック（ペットボトル）」ボタン３１ａと、「紙」ボタン３１ｂと、「ガラス（ビン）」ボタン３１ｃと、「缶」ボタン３１ｄと、「陶器」ボタン３１ｅとが表示されている。ユーザが図７の画面２０ａ２上で「紙」ボタン３１ｂを選択すると、冷蔵庫制御基板１５はＳ９における食品の大きさの演算結果からこの食品の容器の全体重量を算出して推定し、Ｓ１０において計測した食品の重量と推定した容器の全体の重量との差分から食品の残量を算出する（Ｓ１２）。冷蔵庫制御基板１５は、この残量の算出結果を、操作基板１６を介して無線通信端末２０に送信して（Ｓ１３）処理を終了する。

図８は、無線通信端末２０の画面に表示されるこの残量の算出結果の一例を示す図である。図８に示す画面２０ａ３には、選択された食品のおおよその残量が６００ｍｌであることが表示されている。

ここで、取得した画像データから対象となる食品の大きさを演算する方法について図２３、図２４を参照して説明する。図２３は、扉２ａと、収納ポケット１２ａ，１２ｂ，１２ｃとを示す斜視図である。収納ポケット１２ａの奥行はＤ４であり、収納ポケット１２ｂの奥行はＤ３である。また、収納ポケット１２ｃの奥行の合計はＤ１＋Ｄ２であるが、仕切り板にて区分けされ、区分けされた各々の奥行はＤ１，Ｄ２である。図２４は、収納ポケットに貯蔵された対象となる食品と、撮像方向との関係を示す図である。演算の対象となる食品において、正面の画像データ、右側面の画像データ及び左側面の画像データが取得された場合には、これらの３つの画像データから食品の三次元構造を演算する。また、演算の対象となる食品において、正面の画像データ及び右側面又は左側面の画像データが取得された場合には、取得された右側面及び左側面のいずれか一方の形状と、右側面及び左側面の他方の形状が同一であるとして、食品の三次元構造を演算する。

演算の対象となる食品において、正面の画像データのみが取得された場合には、予め記録された収納ポケットの奥行から食品の奥行を推定する。すなわち、図２３においては、一例として、最下段である収納ポケット１２ｃに収納している食品の奥行が収納ポケット１２ｃの奥行寸法Ｄ１，Ｄ２の９０％であるとし、中段である収納ポケット１２ｂに収納している食品の奥行が収納ポケット１２ｂの奥行寸法Ｄ３の５０％であるとし、最上段である収納ポケット１２ａに収納している食品の奥行は収納ポケット１２ａの奥行寸法Ｄ４の３０％であるとして容器の大きさを演算する。ここで、食品の奥行を収納ポケットの９０％、５０％又は３０％としているが、これは、各収納ポケットに収納されることが多い食品の種類によって決定されるものである。ここでは、最下段である収納ポケット１２ｃには、収納ポケット１２ａ，１２ｂよりも大型の食品、一例としてペットボトル飲料が収納され、このような大型の食品の奥行は収納ポケット１２ｃの奥行の９０％としている。また、収納ポケット１２ａには、小型の食品、一例として小型の調味料が収納され、このような小型の食品の奥行は収納ポケット１２ａの奥行の３０％としている。そして、収納ポケット１２ｂには、中型の食品、一例として５００ｍｌのペットボトルが収納され、このような中型の食品の奥行は収納ポケット１２ｂの奥行の５０％としている。なお、ここで説明した収納ポケットの奥行に対する食品の奥行の割合はこれに限定されるものではない。なお、操作基板１６又は無線通信端末２０を用いることで、各収納ポケットの奥行に対する食品の奥行の割合の設定を可変としてもよい。

このように演算した食品の位置及び大きさから、容器自体の厚さは設定した厚さ、一例として３ｍｍとし、選択された容器の材質から容器自体の重量を算出し、測定した重量から容器自体の重量を減じることで残量を推定する。

なお、対象となる食品の位置は、取得した画像データと、この画像データを取得したカメラとの位置関係から演算される。

以上本実施の形態１にて説明したように、冷蔵庫内の貯蔵品の残量を遠隔地の無線通信端末によって知ることが可能である。そのため、冷蔵庫内の貯蔵品を適切なタイミングで購入することが可能であり、重複購入及び欠品を防止することができる。

なお、ユーザが冷蔵庫の前にいるときには、上記の無線通信端末２０における選択画面を操作基板１６に表示させることで、無線通信端末２０を介することなく上記の動作を行ってもよい。この場合には、冷蔵庫の扉の開閉を行うことなく冷蔵庫内の貯蔵品の残量を知ることが可能である。そのため、扉の開閉による消費電力の増大を抑制することができる。

実施の形態２．
実施の形態１では、冷蔵庫１内の貯蔵品の大きさと、この貯蔵品の容器の材質とから容器の重量を推定して残量を算出したが、本発明はこれに限定されるものではない。本実施の形態２では、貯蔵品の初期重量と、容器の重量を予め登録しておくことで、貯蔵品の残量を実施の形態１よりも正確に算出することが可能な形態について説明する。

図９は、冷蔵庫１の貯蔵室内の貯蔵品の残量を表示する際の動作の一例を説明する図である。まず、処理をスタートし、図５のＳ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７と同様の処理を行い、Ｓ７における貯蔵品の選択結果は操作基板１６を介して冷蔵庫制御基板１５に送信されて、無線通信端末２０には動作選択画面が表示される。ユーザは無線通信端末２０の画面に従って動作選択を行う（Ｓ２０）。Ｓ２０において初期重量登録を選択すると、初期重量登録動作を行い（Ｓ３０）、Ｓ２０に戻る。Ｓ２０において空重量登録を選択すると、空重量登録動作を行い（Ｓ４０）、Ｓ２０に戻る。Ｓ２０において残容量表示を選択すると、残容量表示動作を行い（Ｓ５０）、Ｓ２０に戻る。Ｓ２０において終了を選択すると、動作を終了する。

図１３は、Ｓ７における貯蔵品の選択画面を示す図である。図１３に示す画面２０ａ１には、図６に示す画面２０ａ１と同様に、プラスチック製の容器入りのスポーツドリンク３０ａと、プラスチック製の容器入りの緑茶３０ｂと、紙パック入りの牛乳３０ｃと、プラスチック製の容器入りのとんかつソース３０ｄと、プラスチック製の容器入りのイタリアンドレッシング３０ｅとが表示されている。ここでは、ユーザが図１３の画面２０ａ１上でプラスチック製の容器入りのスポーツドリンク３０ａを選択し、この選択結果が操作基板１６を介して冷蔵庫制御基板１５に送信される。

図１４は、Ｓ２０における動作選択画面を示す図である。画面２０ａ４には、「初期重量登録」ボタン３２ａ、「空重量登録」ボタン３２ｂ、「残容量表示」ボタン３２ｃ及び「終了」ボタン３２ｄが示されている。Ｓ２０において、図１４の画面２０ａ４に示すように「初期重量登録」ボタン３２ａを選択すると、Ｓ３０の初期重量登録動作を行う。なお、「終了」ボタン３２ｄを選択すると動作を終了する。

図１０はＳ３０の初期重量登録動作を示す図である。初期重量登録では、冷蔵庫制御基板１５が、ユーザに選択された貯蔵品である食品の位置を演算し（Ｓ３１）、この食品の大きさを演算し（Ｓ３２）、この食品の重量を計測する（Ｓ３３）。その後、無線通信端末２０の画面上には、商品名の入力を要求し、画像認識機能を使用するか否かの選択を要求する画面が表示される。

図１５は、商品名の入力を要求し、画像認識機能を使用するか否かの選択を要求する画面を示す図である。図１５に示す画面２０ａ５には、テキストボックス３３ａが表示されており、ユーザは無線通信端末２０の入力手段を用いることでテキストボックス３３ａに商品名を入力することが可能である。ここで、無線通信端末２０の入力手段には、無線通信端末２０の画面上に表示されるタッチパネルのキーボードを例示することができる。図１５に示す画面２０ａ５における商品名の入力（Ｓ３４）の後に図１５の画面２０ａ５の下部に表示されている「はい」ボタン３３ｂ又は「いいえ」ボタン３３ｃにより画像認識機能の使用又は不使用の選択を行う（Ｓ３５）。Ｓ３５において「はい」ボタン３３ｂを選択した場合には、画像登録を行い、画像登録を行った旨の画面表示を行う。

図１６は、画像登録を行った旨の表示画面を示す図である。図１６の画面２０ａ６には、登録を行った旨と、今後、選択された食品が、登録された食品と画像認識で一致が確認された場合は、初期重量からの変化量を知らせる旨と、画像認識で一致が確認できない場合は、登録済食品一覧より、該当の食品を選択すべき旨が表示されている。

図１７は、Ｓ２０における動作選択画面を示す図である。Ｓ２０において、図１７の画面２０ａ４に示すように「空重量登録」ボタン３２ｂを選択すると、Ｓ４０の空重量の登録動作を行う。

図１１は、Ｓ４０の空重量登録動作を示す図である。空重量登録では、冷蔵庫制御基板１５が、ユーザに選択された貯蔵品である食品の位置を演算し（Ｓ４１）、この食品の大きさを演算し（Ｓ４２）、この食品の重量を計測する（Ｓ４３）。その後、この食品が登録済みの食品であるか否かを選択する（Ｓ４４）。登録済みである場合、すなわちＳ４４においてＹｅｓに分岐する場合には商品名の選択を要求し、ユーザが商品名の選択を行う（Ｓ４７）。登録済みでない場合、すなわちＳ４４においてＮｏに分岐する場合には無線通信端末２０の画面上には、商品名の入力を要求し（Ｓ４５）、画像認識機能を使用するか否かの選択を要求する画面が表示される（Ｓ４６）。

図１８は、空重量の登録画面を示す図である。図１８に示すように、空重量の登録画面では、登録済みの商品から選択するか否かを選択する（Ｓ４４）。図１８の画面２０ａ７に表示されている「はい」ボタン３４ａ又は「いいえ」ボタン３４ｂにより登録済みの商品から選択するか否かを選択する。ここでは、「はい」ボタン３４ａを選択した場合について説明する。

図１９は、登録済みの商品から空重量の登録を行うための商品選択画面を示す図である。図１９には、登録済みである「イタリアンドレッシング」ボタン３５ａ，「牛乳」ボタン３５ｂ，「スポーツドリンク」ボタン３５ｃ，「とんかつソース」ボタン３５ｄが表示されている。図１９の画面２０ａ８に表示されている「スポーツドリンク」ボタン３５ｃを選択すると、空重量の登録を行った旨が表示される。

図２０は、空重量の登録を行った旨の表示画面を示す図である。図２０の画面２０ａ９には、登録を行った旨と、今後、選択された食品が登録された食品と同じときには、より正確な残量が表示される旨が表示されている。

図２１は、Ｓ２０における動作選択画面を示す図である。Ｓ２０において、図２１の画面２０ａ４に示すように「残容量表示」ボタン３２ｃを選択すると、Ｓ５０の残容量の表示動作を行う。

図１２は、Ｓ５０の残容量表示動作を示す図である。残容量表示では、冷蔵庫制御基板１５が、ユーザに選択された貯蔵品である食品の位置を演算し（Ｓ５１）、この食品の大きさを演算し（Ｓ５２）、この食品の重量を計測する（Ｓ５３）。その後、この食品が画像認識機能使用対象食品であるか否かを判定する（Ｓ５４）。画像認識機能使用対象食品である場合、すなわちＳ５４においてＹｅｓに分岐する場合には空重量登録があるか否かを判定する（Ｓ５５）。空重量登録がある場合、すなわちＳ５５においてＹｅｓに分岐する場合には初期重量と空重量から食品の残量を算出する（Ｓ５６）。空重量登録がない場合、すなわちＳ５５においてＮｏに分岐する場合には初期重量からの変化量により食品の残量を算出する（Ｓ５７）。画像認識機能使用対象食品でない場合、すなわちＳ５４においてＮｏに分岐する場合には食品の容器の材質をユーザに選択させ（Ｓ５８）、選択した容器の材質から食品の残量を算出する（Ｓ５９）。

図２２は、無線通信端末２０の画面に表示されるこの残量の算出結果の一例を示す図である。図２２に示す画面２０ａ１０には、選択された食品のおおよその残量が３５０ｍｌであり、初期容量の３５％であることが表示されている。

なお、本実施の形態２においても、実施の形態１と同様に、取得した画像データから対象となる食品の位置及び大きさを演算すればよい。本実施の形態２では、初期容量から残量の推定を行うため、実施の形態１よりも正確に残量を知ることができ、特に、容器自体の重量が大きく、食品の大きさの演算誤差が大きい場合に有効である。

以上本実施の形態２にて説明したように、貯蔵品の初期重量の登録動作を行い、貯蔵品の容器の空重量の登録動作を行い、残容量の表示動作を行うことができ、表示される残容量の正確性を向上させることができる。

なお、実施の形態１，２においては収納ポケット内の貯蔵品を対象としたが、本発明はこれに限定されず、重量センサを有する棚板を設置して、棚板上の貯蔵品を対象としてもよい。ただし、収納ポケット内に密集して保存されることが多い飲料などには無線タグの利用が適さないため、本発明は収納ポケット内の貯蔵品を対象とした場合にそのメリットが特に大きい。

なお、実施の形態１，２においては冷蔵庫について説明したが、本発明には冷蔵庫のみならず冷凍庫及び冷蔵冷凍庫も含まれる。

以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１冷蔵庫、２ａ，２ｂ，２ｃ，２ｄ扉、３ａ，３ｂ，３ｃ，３ｄ貯蔵室、１０庫内灯、１１，１１ａ，１１ａ１，１１ａ２，１１ｂ，１１ｃカメラ、１２ａ，１２ｂ，１２ｃ収納ポケット、１３ａ，１３ｂ，１３ｃ重量センサ、１４ａ，１４ｂ，１４ｃ棚板、１５冷蔵庫制御基板（制御部）、１５ａ画像記憶装置、１５ｂ画像処理装置、１５ｃメモリ、１６操作基板、１７ａ，１７ｂ，１７ｃ，１７ｄ，１７ｅ撮画補助照明、２０無線通信端末、２０ａ１，２０ａ２，２０ａ３，２０ａ４，２０ａ５，２０ａ６，２０ａ７，２０ａ８，２０ａ９，２０ａ１０画面、３０ａスポーツドリンク、３０ｂ緑茶、３０ｃ牛乳、３０ｄとんかつソース、３０ｅイタリアンドレッシング、３１ａ「プラスチック（ペットボトル）」ボタン、３１ｂ「紙」ボタン、３１ｃ「ガラス（ビン）」ボタン、３１ｄ「缶」ボタン、３１ｅ「陶器」ボタン、３２ａ「初期重量登録」ボタン、３２ｂ「空重量登録」ボタン、３２ｃ「残容量表示」ボタン、３２ｄ「終了」ボタン、３３ａテキストボックス、３３ｂ，３４ａ「はい」ボタン、３３ｃ，３４ｂ「いいえ」ボタン、３５ａ「イタリアンドレッシング」ボタン、３５ｂ「牛乳」ボタン、３５ｃ「スポーツドリンク」ボタン、３５ｄ「とんかつソース」ボタン。

Claims

庫内の貯蔵品を撮影するカメラと、
前記貯蔵品の重量を計測する重量センサと、
前記カメラで撮影して取得した画像データを記憶する画像記憶装置と、
前記画像データから前記貯蔵品の位置を演算し、前記貯蔵品の大きさを演算し、前記重量センサからの計測データを取得する制御部と、を備え、
前記制御部は、外部端末又は操作基板からのアクセスにより前記カメラを用いて前記貯蔵品を撮影して前記貯蔵品の画像データを取得し、前記アクセスした外部端末又は操作基板に前記画像データを表示させ、前記アクセスした外部端末又は操作基板からの要求に応じて前記貯蔵品の位置、大きさ及び重量データを取得することで前記貯蔵品の残量を算出することを特徴とする冷蔵庫。
前記外部端末が無線通信端末であり、
前記制御部と前記無線通信端末との通信を可能とする通信部を備えることを特徴とする請求項１に記載の冷蔵庫。
前記制御部は、前記貯蔵品の位置、大きさ及び重量と、前記貯蔵品の容器の材質とを用いて前記貯蔵品の容器の重量を推定して前記貯蔵品の残量を算出することを特徴とする請求項１に記載の冷蔵庫。
前記制御部は、前記貯蔵品の初期の重量データと、前記貯蔵品の容器の重量データと、前記貯蔵品の現在の重量データとを用いて前記貯蔵品の残量を算出することを特徴とする請求項１に記載の冷蔵庫。