JP6296908B2 - 冷蔵庫及びネットワークシステム - Google Patents

冷蔵庫及びネットワークシステム Download PDF

Info

Publication number
JP6296908B2
JP6296908B2 JP2014118919A JP2014118919A JP6296908B2 JP 6296908 B2 JP6296908 B2 JP 6296908B2 JP 2014118919 A JP2014118919 A JP 2014118919A JP 2014118919 A JP2014118919 A JP 2014118919A JP 6296908 B2 JP6296908 B2 JP 6296908B2
Authority
JP
Japan
Prior art keywords
image
display device
refrigerator
displayed
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014118919A
Other languages
English (en)
Other versions
JP2015232412A (ja
Inventor
永田 滋之
滋之 永田
毅 内田
毅 内田
健彦 石塚
健彦 石塚
英敏 八田
英敏 八田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2014118919A priority Critical patent/JP6296908B2/ja
Publication of JP2015232412A publication Critical patent/JP2015232412A/ja
Application granted granted Critical
Publication of JP6296908B2 publication Critical patent/JP6296908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、携帯端末等に冷蔵庫の収納物を表示する冷蔵庫及びネットワークシステムに関する。
近年、食生活及び生活スタイルの多様化にともない、冷蔵庫には、多種多様な食品が収納及び保存されるようになっている。このような背景のもと、冷蔵庫は大容量化がすすみ、ますます冷蔵庫へ収納及び保存される食品は増えている。かかる環境の中、共働き世帯も含め、家族の帰宅や食事の時間がまちまちである家庭が増えていること等から、使用を予定していた食材が別の家族に食べられてしまったがために、冷蔵庫の中に所望の食材がない等の不便があった。
また、取り出し頻度が少ない食材では存在自体を忘れてしまうものがあり、気付いたときには劣化しており、廃棄するしかなく、環境としてもコストとしても非合理的な対策を取らざるを得ない場合があった。
このような問題点に対して、食材の情報の入出力操作により、実際の冷蔵庫のイメージに合致させることで、冷蔵庫の使い勝手の向上を狙った食材管理システムにおける操作装置が提供されている(例えば、特許文献1)。
特開2003−222460号公報
特許文献1に記載の技術は、食材名一覧表から表示されている食材名を選択した上で、収納する貯蔵室を選択する等の操作により、どの貯蔵室にどの食材が収納されているかを管理することを図っている。
しかしながら、実使用を鑑みた場合、多種多量の食材を購入後、収納する際に1つ1つの食品に対して、前述のような作業をするのは非常に時間と手間がかかることは想像に難くない。
また、入力ミス及び意図的な未入力等を含め、消費した食材が入力した食材と一致しないような場合が非常に多いと推定される。さらに、分類不能な食品については表示アイコン化も難しく、画面上から特定が難しい。このため、特許文献1に記載の技術は、食品管理の精度が低くなってしまうという課題もあった。
本発明は上記のような課題を解決するためになされたものであり、従来よりも手間がかからず、食品管理の精度を向上させることができる冷蔵庫及びネットワークシステムを得ることを目的とする。
本発明に係る冷蔵庫は、少なくとも1つの撮影範囲に区画された複数の貯蔵室と、前記撮影範囲の少なくとも1つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも1つの庫内カメラと、複数の前記撮影範囲の画像を記憶装置に記憶させ、前記画像を表示する操作表示装置と通信する制御装置と、を備え、前記制御装置は、前記操作表示装置に対して、前記画像のうちの1つである第1画像を少なくとも表示させ、前記操作表示装置において前記第1画像の移動を指示する操作が行われた際、前記第1画像を指示方向に移動させ、冷蔵庫の正面側から使用者が前記撮影範囲を観察した観察状態において前記第1画像の前記撮影範囲と反指示方向に位置する前記撮影範囲の前記画像である第2画像を、前記観察状態において前記第1画像及び前記第2画像の前記撮影範囲の位置関係と同じになるように、前記第1画像と連ねて表示させるものである。
また、本発明に係る冷蔵庫は、少なくとも1つの撮影範囲に区画された複数の貯蔵室と、前記撮影範囲の少なくとも1つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも1つの庫内カメラと、複数の前記撮影範囲の画像を記憶装置に記憶させ、前記画像を表示する操作表示装置と通信する制御装置と、を備え、前記制御装置は、前記操作表示装置に対して、前記画像のうちの少なくとも1つを表示させ、前記操作表示装置において表示されている前記画像を上方向に移動させる操作が行われた際、表示されている当該画像の前記撮影範囲の下方に位置する前記撮影範囲の前記画像を表示させ、前記操作表示装置において表示されている前記画像を下方向に移動させる操作が行われた際、表示されている当該画像の前記撮影範囲の上方に位置する前記撮影範囲の前記画像を表示させるものである。
また、本発明に係るネットワークシステムは、冷蔵庫及び操作表示装置を備え、前記冷蔵庫及び前記操作表示装置が電気通信回線を介して接続されるネットワークシステムであって、前記冷蔵庫は、少なくとも1つの撮影範囲に区画された複数の貯蔵室と、前記撮影範囲の少なくとも1つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも1つの庫内カメラと、前記操作表示装置と前記電気通信回線を介して通信する通信手段と、複数の前記撮影範囲の画像に、当該画像の前記撮影範囲及び当該画像の撮影日時を関連づけて、前記通信手段及び前記電気通信回線を介して前記操作表示装置に送信する制御装置と、を備え、前記操作表示装置は、前記冷蔵庫と前記電気通信回線を介して通信する通信装置と、前記冷蔵庫から送信された前記画像を記憶する画像蓄積装置と、前記画像のうちの少なくとも1つを表示する表示装置と、前記表示装置に前記画像を表示させる操作表示装置用制御装置と、使用者によって行われる前記表示装置に表示する前記画像を変更する操作を受け付ける操作装置と、を備え、前記操作表示装置用制御装置は、前記表示装置に対して、前記画像のうちの1つである第1画像を少なくとも表示させ、前記操作装置に対して前記第1画像の移動を指示する操作が行われた際、前記第1画像を指示方向に移動させ、前記冷蔵庫の正面側から使用者が前記撮影範囲を観察した観察状態において前記第1画像の前記撮影範囲と反指示方向に位置する前記撮影範囲の前記画像である第2画像を、前記観察状態において前記第1画像及び前記第2画像の前記撮影範囲の位置関係と同じになるように、前記第1画像と連ねて表示させるものである。
また、本発明に係るネットワークシステムは、冷蔵庫及び操作表示装置を備え、前記冷蔵庫及び前記操作表示装置が電気通信回線を介して接続されるネットワークシステムであって、前記冷蔵庫は、少なくとも1つの撮影範囲に区画された複数の貯蔵室と、前記撮影範囲の少なくとも1つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも1つの庫内カメラと、前記操作表示装置と前記電気通信回線を介して通信する通信手段と、複数の前記撮影範囲の画像に当該画像の前記撮影範囲及び当該画像の撮影日時を関連づけて、前記通信手段及び前記電気通信回線を介して前記操作表示装置に送信する制御装置と、を備え、前記操作表示装置は、前記冷蔵庫と前記電気通信回線を介して通信する通信装置と、前記冷蔵庫から送信された前記画像を記憶する画像蓄積装置と、前記画像のうちの少なくとも1つを表示する表示装置と、前記表示装置に前記画像を表示させる操作表示装置用制御装置と、使用者によって行われる前記表示装置に表示する前記画像を変更する操作を受け付ける操作装置と、を備え、前記操作表示装置用制御装置は、前記表示装置に対して、前記画像のうちの少なくとも1つを表示させ、前記操作装置に対して、表示されている前記画像を上方向に移動させる操作が行われた際、表示されている当該画像の前記撮影範囲の下方に位置する前記撮影範囲の前記画像を表示させ、前記操作装置に対して、表示されている前記画像を下方向に移動させる指示する操作が行われた際、表示されている当該画像の前記撮影範囲の上方に位置する前記撮影範囲の前記画像を表示させるものである。
本発明においては、例えば外出先等で、使用者は、実際に冷蔵庫を使っているような直感的な表示及び操作にて、携帯端末等の操作表示装置に表示された貯蔵室内の画像を視認できる。このため、本発明は、食品毎のデータを自前で入力及び削除する必要がなく、直感的に貯蔵室内に何の食材が保管されているかを確認することができる。
また、本発明は、扉部、及び、上下方向に積層された収納部内等についても、直感的な操作で操作表示装置で視認することができ、くまなく冷蔵庫内を視認でき、見落としが少なくできる効果もある。
さらに、本発明は、外出先等で冷蔵庫の中身を確認することが可能となるため、不足している食材や長期間保存している食材を買い物直前や買い物中に認知しやすくすることができ、買い物忘れや食材廃棄を抑制する効果もある。
したがって、本発明は、従来よりも手間がかからず、食品管理の精度を向上させることができる冷蔵庫及びネットワークシステムを得ることができる。
本発明の実施の形態1に係る冷蔵庫を示す正面図である。 本発明の実施の形態1に係る冷蔵庫における冷蔵室の扉の開いた状態を示す正面図である。 本発明の実施の形態1に係る冷蔵庫を示す側面断面図である。 本発明の実施の形態1に係る冷蔵庫を示す側面断面図である。 本発明の実施の形態1に係る冷蔵庫を示す側面断面図である。 本発明の実施の形態1に係る冷蔵庫を示す側面断面図である。 本発明の実施の形態1に係る冷蔵庫を示す側面断面図である。 本発明の実施の形態1に係る冷蔵庫を示す側面断面図である。 本発明の実施の形態1に係る冷蔵庫の機能ブロック図である。 本発明の実施の形態1に係る冷蔵庫における、撮影及び画像蓄積処理の一例を示すフローチャートである。 本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の一例である。 本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。 本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。 本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。 本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。 本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。 本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させるアラート画面の一例である。 本発明の実施の形態2に係るネットワークシステムの機能ブロック図である。 本発明の実施の形態2に係るネットワークシステムにおける携帯端末での画像表示方法の一例を示すフローチャートである。
実施の形態1.
図1は、本発明の実施の形態1に係る冷蔵庫を示す正面図である。図2は、この冷蔵庫における冷蔵室の扉の開いた状態を示す正面図である。また、図3〜図8は、この冷蔵庫を示す側面断面図である。なお、図3〜図8は、左側が冷蔵庫1の正面側となる。また、図5及び図7は冷凍室400が引き出された状態を示しており、図6及び図8は野菜室500が引き出された状態を示している。
冷蔵庫1は、複数の貯蔵室(冷蔵室100、切替室200、製氷室300、冷凍室400、野菜室500、チルド室600)を備えている。
冷蔵室100は、冷蔵庫1の最上部に設けられており、前面側の開口部が観音開き式の扉8で開閉自在に閉塞されている。また、冷蔵室100の内部にはチルドケース601が収納されており、該チルドケース601の内部がチルド室600となっている。この冷蔵室100の下方には、引出ドアタイプの、つまり、引出ドアを引き出すと貯蔵室が使用者側に引き出される切替室200及び製氷室300が並列に配置されている。切替室200は、冷凍温度帯(−18℃)から冷蔵(3℃)、チルド(0℃)、ソフト冷凍(−7℃)等の各温度帯に切り替えることのできる貯蔵室である。これら切替室200及び製氷室300の下方には冷凍室400が設けられており、冷凍室400の下方には野菜室500が設けられている。これら冷凍室400及び野菜室500も、引出ドアタイプ、つまり、引出ドアを引き出すと貯蔵室が使用者側に引き出される構成となっている。
冷蔵室100の扉8の表面には、各貯蔵室の温度及び設定を調節する操作スイッチ6aと、各貯蔵室の温度等を表示する表示部6b等とから構成される操作パネル6が設けられている(後述の図9も参照)。また、切替室200、冷凍室400及び野菜室500には、それぞれ収納部となる収納ケース201,401,501が設置されており、食品を収納することができる。さらに、冷凍室400及び野菜室500には、それぞれ収納ケース401,501の上部に収納部となる上段トレー402,502が設置されており、食品収納状態における整理性を向上させている。つまり、冷凍室400及び野菜室500は、上下方向に積層された2つの収納部を有している。
冷蔵庫1の背面側には、各貯蔵室を冷却するための冷却機構として、圧縮機2と、冷却器3と、送風ファン4と、風路5と、制御装置7とを備える。制御装置7は、制御回路やその動作プログラムを格納した記憶装置7a等を備え(後述の図9参照)、冷蔵庫1の動作を制御する。圧縮機2及び冷却器3により作り出された冷気は、送風ファン4によって送風され、風路5を通って、冷凍室400、切替室200、製氷室300及び冷蔵室100へと送風され各貯蔵室を冷却する。野菜室500は、冷蔵室100の戻り冷気を冷蔵室用帰還風路より循環させることにより冷却され、野菜室用帰還風路より冷却器3に戻される(帰還風路は図示せず)。各貯蔵室の温度は、各貯蔵室に設置されたサーミスタ(図示せず)により検知され、各貯蔵室があらかじめ設定された温度になるように、風路5に設置されたダンパ(図示せず)の開度や圧縮機2の出力及び送風ファン4の送風量を調整することで制御される。
また、冷蔵室100は、扉8の開閉状態を検知する扉開閉検知スイッチ9、扉8の内側に設けられたドアポケット10a,10b,10c(以後、ドアポケット10と総称する場合がある)、冷蔵室100内を複数に仕切る棚11a,11b,11c,11d(以後、棚11と総称する場合がある)と、製氷用の給水タンク14とを備える。
さらに、本実施の形態1に係る冷蔵庫1には、貯蔵室内を撮影する庫内カメラ12が設けられている。また、貯蔵室内を庫内カメラ12で撮影する際の光源として照明部13も設けられている。
詳しくは、図2及び図3に示すように、冷蔵室100内には、庫内カメラ12a,12b、及び、冷蔵室100全域を照らす照明部13aが設けられている。天井面に設置された庫内カメラ12aは、棚11に配置された収納物を撮影する。棚11a,11b,11c,11dは、庫内カメラ12aの視野内において、それぞれ上段から下段にかけて棚の奥行寸法が長いか同等となる寸法関係となっており、下段まで死角が少なく、撮影しやすい構造となっている。同じく、天井面に設置された庫内カメラ12bは、ドアポケット10側(扉8における冷蔵室100内部と対向する側)の面を撮影する。ドアポケット10a,10b,10cも庫内カメラ12bの視野内において、上段から下段にかけて奥行寸法が長いか同等となる寸法関係になっているため、庫内天井面に設置された庫内カメラ12bでは死角が少ない画像を撮影することが可能となる。つまり、本実施の形態1では、冷蔵室100内を3つの撮影範囲に区画している。より詳しくは、1つの撮影範囲である冷蔵室100の内部を庫内カメラ12aで撮影している。また、観音開き式の扉8は左側の扉8と右側の扉8との2つの撮影範囲に区画されており、これらの撮影範囲を庫内カメラ12bで撮影している。
また、図3に示すように、冷蔵室100の背面側には、冷蔵室100内に設けられたチルド室600を1つの撮影範囲として撮影する庫内カメラ12cが設けられている。なお、チルド室600においては、チルド室600を形成するチルドケース601は透明な樹脂にて構成されているため、照明部13aからの光量で十分撮影は可能である。
同様に、図4に示したとおり、切替室200には、その天井面に、切替室200内を1つの撮影範囲として撮影する庫内カメラ12dと、切替室200内を照らす照明部13bが設けられており、切替室200内の撮影が可能となっている。
また、図5及び図6に示すとおり、冷凍室400及び野菜室500内においても、庫内カメラ12e,12f及び照明部13c,13dがそれぞれ設置されている。冷凍室400及び野菜室500の庫内カメラ12e,12fにおいては、それぞれの貯蔵室の天井面において開口部近くに設置されており、収納ケース401,501が一定の距離以上引き出されたことをトリガーとして撮影することで、略全域を視認できるようになっている。一定の距離以上引き出されたか否かは、引き出し検知装置30により検知が可能である。引き出し検知装置30は、例えばフォトカプラ又は近接センサを用いて構成し、収納ケース401,501の通過を検知することで、収納ケース401,501がどこまで引き出されているかの距離の検知が可能となり、一定距離以上収納ケース401,501が引き出された時点で、任意の位置で撮影することが可能となる。これにより、庫内カメラ12eは、冷凍室400の上段トレー402(上部の収納部)を1つの撮影範囲として撮影することができる。また、庫内カメラ12fは、野菜室500の上段トレー502(上部の収納部)を1つの撮影範囲として撮影することができる。
図5及び図6に示すように、収納ケース401,501が引き出される際には、それぞれ上段トレー402,502も同時に引き出される仕組みとなっている。このため、冷凍室400及び野菜室の下部を形成する収納ケース401,501に食品を置くためには、図7及び図8に示すように、上段トレー402,502をそれぞれ単独で奥へ収納させた後に食品を設置する必要がある。その際、上段トレー402,502用にもそれぞれ引き出し検知装置30が設けられており、上段トレー402,502が一定の距離以上奥へ収納されたことを検知した際に庫内カメラ12e,12fが撮影する。これにより、庫内カメラ12eは、冷凍室400の収納ケース401(下部の収納部)を1つの撮影範囲として撮影することができる。また、庫内カメラ12fは、野菜室500の収納ケース501(下部の収納部)を1つの撮影範囲として撮影することができる。
つまり、冷凍室400は収納ケース401内部と、上段トレー402の両方の撮影が可能であり、同様に野菜室500に関しても収納ケース501内部と、上段トレー502の両方の撮影が可能となるのである。
なお、庫内カメラ12は、透明なカバーで覆われる構成等が採用されており、食品等の収納物が接触しない構成となっており、衝撃や水分から保護されている。また、庫内カメラ12の近くには図示しないヒーター等の加熱手段を設け、庫内カメラ12の結露を防止している。また、庫内カメラ12に上下左右の角度を変化できる駆動部を設け、庫内カメラ12によって角度の異なる画像を撮影できる構造としてもよい。つまり、庫内カメラを首振り式に構成してもよい。このように構成することにより、死角を防止するとともに、収納物をより精度よく検出することが可能となる。また例えば、首振り可能(上下方向の角度を変更して、前後方向に視野が移動可能)な庫内カメラ12を冷蔵室100内に配置することにより、1台の庫内カメラ12で、冷蔵室100の内部の撮影範囲と、扉8の2つの撮影範囲との双方を撮影することもできる。
図9は、本発明の実施の形態1に係る冷蔵庫の機能ブロック図である。図1〜図8と同一の構成要素には同一の符号を付している。
制御装置7は、各貯蔵室に設けられたサーミスタから各貯蔵室内の温度を取得し、各貯蔵室内が設定された温度に維持されるよう、予め記憶されたプログラムにしたがって、圧縮機2、送風ファン4、及び、風路5に設置されたダンパ(図示せず)等の運転状態を制御する。また、制御装置7は、扉8の開閉を扉開閉検知スイッチ9により検知し、また、収納ケース401,501及び上段トレー402,502の引き出し状態を引き出し検知装置30により検知し、照明部13を点灯又は消灯する。
例えば、制御装置7は、扉8が開かれたことを検知すると、照明部13aを点灯し、扉8が閉じられたことを検知すると、照明部13aを点灯したまま、庫内カメラ12a,12b,12cを動作させて、冷蔵室100内及びチルド室600内を撮影する。そして、制御装置7は、撮影動作が終了したら、照明部13aを消灯する。また、制御装置7は、切替室200が引き出された後に、閉じられたことを図示せぬ扉開閉検知スイッチで検出すると、照明部13bを点灯して庫内カメラ12dで切替室200内を撮影する。そして、制御装置7は、撮影動作が終了したら、照明部13bを消灯する。また、制御装置7は、上述した庫内カメラ12e,12fによって収納ケース401,501及び上段トレー402,403を撮影するタイミングで照明部13c,13dを点灯し、撮影動作が終了したら照明部13c,13dを消灯する。
制御装置7は、庫内カメラ12によって撮影された画像に対して歪み補正及び/又は色補正等の演算処理を実施し、当該画像を記憶装置7aに記憶する(なお、本実施の形態1では、歪み補正及び/又は色補正等の演算処理が施された画像も、庫内カメラ12によって撮影された画像と称する)。制御装置7は、操作パネル6と通信して、操作パネル6の表示部6bに、操作スイッチ6aにて選択した収納箇所の画像を表示させることができる。このため、使用者は、扉8等をあけることなく、所望の箇所の画像確認が可能である。
ここで、操作パネル6が、本発明の操作表示装置に相当する。
さらに、制御装置7は、冷蔵庫1の上面に設けられた通信手段15によって電気通信回線16と接続されており、電気通信回線16を介して、タブレット端末18a及び携帯電話18b(スマートフォン)等の携帯端末18に画像データを送信することが可能である。すなわち、使用者が冷蔵庫1のそばにいなくても、外出先等の使用者が好きな場所で、冷蔵庫1の各貯蔵室の収納状況を把握することができ、利便性が向上する。また、使用者は、買い物先等の遠隔地で、冷蔵庫1内の収納可能な空間を確認することができるため、購入する食品等の量が多すぎて冷蔵庫1に入らない等のミスを防止することもできる。
ここで、携帯端末18も、本発明の操作表示装置に相当する。
なお、電気通信回線16とは、電灯線、赤外線、非赤外線、無線、公衆回線、光ケーブル、ISDN、ADSL、インターネット及び衛星等のデジタル又はアナログの信号の通信回線を指す。また、通信手段15とは、デジタル又はアナログの信号を送受信できるインターフェースであり、有線で通信する場合は、例えばシリアルインターフェース又はドライバが具備されているものであり、無線で通信する場合は、例えば、Wi−Fi(登録商標)又はBluetooth(登録商標)等の通信モジュールが具備されているものである。
図10は、本発明の実施の形態1に係る冷蔵庫における、撮影及び画像蓄積処理の一例を示すフローチャートである。制御装置7は、冷蔵室100の扉8が開かれたり、切替室200、冷凍室400及び野菜室500が引き出されたりしたことを検知すると(S101)、記憶装置7aの記憶容量の確認を行う(S102)。記憶装置7aの記憶容量に余裕がある場合、制御装置7は、照明部13を点灯する(S104)。また、記憶装置7aが容量オーバーの場合、制御装置7は、例えば最も古くに記憶又は表示された画像を削除する画像削除処理(S103)を実施した後、照明部13を点灯する(S104)。なお、照明部13を点灯した後に、画像削除処理を行ってもよい。
制御装置7は、照明部13を点灯したまま、庫内カメラ12を動作させて撮影する(S105)。ここで、本実施の形態1に係る冷蔵庫1は例えば制御装置7内に計時装置7bを有している。このため、制御装置7は、撮影箇所と共に撮影日時も関連づけて(タグ付けして)、撮影した画像を記憶装置7a内に記憶する(S106、S107)。撮影終了後、制御装置7は、照明部13を消灯する(S108)。
冷蔵庫1の各貯蔵室内の収納状況が変化する際、つまり、各貯蔵室内に収納物を追加したり、貯蔵室間で収納物を移動させたりする際には、使用者は、冷蔵室100の扉8を開閉したり、切替室200、冷凍室400及び野菜室500の引き出し及び収納を必ず実施する。このため、冷蔵室100の扉8の開閉、並びに、切替室200、冷凍室400及び野菜室500の引き出し及び収納に連動して撮影することは、収納状況を更新した際の撮影画像である可能性が非常に高く、事実上、各貯蔵室内の収納状況に変化があったことを把握できることを意味している。
図11は、本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の一例である。なお、図11は、タブレット端末18a及び携帯電話18b(スマートフォン)等の携帯端末18上に表示されている画像の例を示している。
制御装置7は、携帯端末18に、スタート画像(図11(a))として冷蔵庫1の外観を表示させる。使用者が表示された冷蔵庫1のいずれかの貯蔵室の位置に触れると、制御装置7は、触れられた貯蔵室の画像を携帯端末18に表示させる。なお、本実施の形態1では、直近で変化のあった貯蔵室をゆるやかな点滅で示し、使用者に触れることを促す表示を実施している。
使用者が表示された冷蔵庫1のいずれかの貯蔵室の位置に触れると、各貯蔵室の画像の表示に遷移する。例えば、使用者が冷蔵室100の位置に触れた場合、制御装置7は、図11(b)に示すように、冷蔵室100の内部画像を表示させる。また例えば、使用者が冷凍室400の位置に触れた場合、制御装置7は、図11(c)に示すように、冷凍室400の内部画像を表示させる。また例えば、使用者が野菜室500の位置に触れた場合、制御装置7は、図11(d)に示すように、野菜室500の内部画像を表示させる。
なお、図11(c)は冷蔵室100と冷凍室400を連ねて表示しており、図11(d)は冷蔵室100と野菜室500を連ねて表示している。連ねて表示することで、使用者が各貯蔵室の位置関係を想起しやすくなるとともに、冷蔵庫1内の食品の一覧性を高めることが可能となる。
図12は、本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。なお、この図12は、ドアポケット10に収納してある食品を見る際の操作を示したものである。また、図12(a)は図11(b)と同様であり、図11(b)以後の遷移を示しているものである。
図12(a)の画像に対して、指を触れて左右に動かす(スマートフォンやタブレット端末のタッチパネル上で実施されるいわゆるスワイプ操作やフリック操作)ことで、冷蔵室100内の画像(本発明の第1画像に相当)の移動を指示する動作が行われた際、図12(b),12(c)に示すように、制御装置7は、冷蔵庫1の正面側から使用者が冷蔵室100内を観察した観察状態において冷蔵室100内と反指示方向に位置する扉8のドアポケット10側の画像(本発明の第2画像に相当)を、冷蔵室100内の画像と連ねて表示させる。
例えば、冷蔵室100内の画像を右方向に移動するように指示された場合、制御装置7は、図12(c)に示すように、冷蔵庫1の正面側から使用者が冷蔵室100内を観察した観察状態において左側となる扉8のドアポケット10側の画像を、冷蔵室100内の画像と連ねて表示させる。また例えば、冷蔵室100内の画像を左方向に移動するように指示された場合、制御装置7は、図12(b)に示すように、冷蔵庫1の正面側から使用者が冷蔵室100内を観察した観察状態において右側となる扉8のドアポケット10側の画像を、冷蔵室100内の画像と連ねて表示させる。このとき、図12(b),12(c)に示すように、制御装置7は、冷蔵庫1の正面側から使用者が冷蔵室100内を観察した観察状態における冷蔵室100内と左右の扉8との位置関係と同じになるように、冷蔵室100内の画像と左右の扉8の画像とを連ねて表示させる。
冷蔵室100内の画像の移動を指示する動作が行われた際、反指示方向に位置する扉8のドアポケット10側の画像を表示することにより、実際の冷蔵庫1の扉8を開いた状態と同じ位置関係として、左右の扉8の画像を表示することが可能となる。
また、左右の扉8の画像を表示する際、冷蔵庫1の正面側から使用者が冷蔵室100内を観察した観察状態における冷蔵室100内と左右の扉8との位置関係と同じになるように、冷蔵室100内の画像と左右の扉8の画像とを連ねて表示させることにより、現実感を高めた表示が可能となる。
なお、冷蔵室100内の画像の移動を指示する操作は、指を触れて左右に動かす操作に限定されるものではない。例えば、図12(d)〜図12(f)に示すように、画面上に表示された方向指示表示70をタップすることにより、画像を移動させてもよい。ここで、図12(d),図12(e),図12(f)は、それぞれ図12(a),図12(b),図12(c)に対応している。
また、図12では、冷蔵室100内の画像の下方に冷凍室400を連ねて表示した例を示したが、冷凍室400を表示していなくてもよい。
また、冷蔵室100以外の貯蔵室が観音開き式の扉を有している場合には、当該貯蔵室内及び扉の画像を上記のように表示しても勿論よい。
図13は、本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。なお、この図13は、冷凍室400及び野菜室500の食品を見る際の操作を示したものである。また、図13(a)は図11(c)と同様であり、図11(c)以後の遷移を示しているものである。
図13(a)の画像に対し、指を触れて上に動かす(あるいは方向指示表示70をタップする)ことにより画像を変化させることができる。具体的には、冷凍室400の上段トレー402上を表示している図13(a)に対して画像を1回上に送る操作をすると、冷凍室400の上段トレー402の画像が消え、冷凍室400の下段である収納ケース401(上段トレー402の下方に位置する収納部(撮影範囲))の内部画像が表示される。これは冷凍室400の上段トレー402が冷凍室400奥に引き込まれたことを模擬しており、冷蔵庫1で行なう実際の作業と同じ方向に動くため、直感的に理解しやすい画像の動きとなる。更に図13(b)から画像を1回上に送る操作をすると、冷凍室400の収納ケース401が奥に引き込まれたことが模擬され、図13(c)の様に野菜室500の上段トレー502の画像が表示される。以下同様に、画像を1回上に送る操作をすると、図13(d)の様に野菜室500の下段である収納ケース501の下部が見られる画像となる。
なお、図13では、冷凍室400及び野菜室500の上方に冷蔵室100内の画像を連ねて表示した例を示したが、冷蔵室100内の画像を表示していなくてもよい。
図14は、本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。なお、この図14は、冷凍室400及び野菜室500を表示した状態から、冷蔵室100のみを表示した状態に戻す際の遷移を表している。また、図14(a)は図13(d)と同様であり、図13(d)以後の遷移を示しているものである。
図13を用いて説明したとおり、冷凍室400及び野菜室500に指を触れて動かす(あるいは方向指示表示をタップする)ことにより画像を変化させることが可能であり、図14では図13とは逆に、野菜室500の下段画像(収納ケース501)から冷蔵室100へ戻していく遷移を示している。すなわち、指を下に動かしていくことで、各上段トレー402,502及び収納ケース401,501が引き出されることが模擬されるため、順次各収納箇所の状態を確認することが可能である。
さらに、図14(e)に示すとおり、冷蔵室100部分を下側に例えばスワイプすることにより、冷蔵室100の全景となり、冷凍室400及び野菜室500の表示状態に関わらず、図11(b)に戻すことが可能である。
なお、図13及び図14で示した画像の表示方法は、冷凍室400の上段トレー402と収納ケース401との間のみで実施してもよいし、野菜室500の上段トレー502及び収納ケース501との間のみで実施してもよい。また、冷凍室400及び野菜室500に上段トレー402,502が設けられていない場合、冷凍室400の収納ケース401と野菜室500の収納ケース501との間で、図13及び図14で示した画像の表示方法を実施してもよい。
ここで、図12〜図14に示すように、各貯蔵室(撮影範囲)の画像と共に、制御装置7は、冷蔵庫アイコン80を表示させ、今どの貯蔵室のどの部分(どの撮影範囲)を表示しているかを示してもよい。画像に対応した箇所が色を変えて示されており、一目で表示している箇所が認識可能となる効果がある。なお、図12〜図14に示すように、扉8の開閉状態、収納ケース401,501及び上段トレー402,502の状態(引き出されているのか否か)を表示して認識可能としてもよい。
図15は、本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。なお、この図15は、画像の変化を時系列で表示できる機能を示したものである。
図9の機能ブロック図及び図10のフローチャートで示したとおり、画像は、冷蔵室100の扉8が開かれたり、切替室200、冷凍室400及び野菜室500が引き出されたりしたこと等をトリガーとして撮影されており、撮影日時の情報とともに記憶装置7aに記憶されている。このため、画像と共に撮影日時も表示することで、貯蔵室内の収納物の管理が容易となる。ここで、図15(a)〜図15(f)にいたる画像は、順次撮影日時が新しい順に並んでいる状態であり、例えば携帯端末18において図15(a)の冷蔵室100の表示を選択して下に送る操作を実施すると、1世代前の画像である図15(b)が表示される。
本画像で示すとおり、12/31(12月31日)の18:00に撮影された図15(a)と12/31の16:00に撮影された図15(b)とを比較し、冷蔵室100の中段におかれたケーキ81に着目する。1世代前の画像である図15(b)にはなかったケーキが図15(a)ではあることから、使用者は、18:00のドア開閉時に冷蔵室100に入れられたことが画像から推定可能となる。
また、別の例として、冷蔵室100内に収納されたビール82の管理例が挙げられる。ビール82が十分に冷えているかどうかも、いつ冷蔵室100に入れられたかで判断が可能となる。画像を遡っていくと図15(d)には存在し、図15(e)には存在していない。すなわち、ビール82は12/31の12:00に入れられたことがわかるため、使用者は、現在の時間と照らし合わせ、冷蔵室100の中で6時間程度経っているな、ということが推測可能となる。すなわち、使用者は、ビール82の冷却が十分されているかの判断も可能となる。
以上のように画像を遡っていくことで、撮影日時の履歴画像が残っているために、どのタイミングで食材(収納物)が入ったか、言い換えれば任意の食材がいつから冷蔵庫1内に入れられていたかの食材管理期間の推定が画像から可能となり、食品保存期間と劣化推定の判断ができるのである。
なお、過去に遡るためのタッチパネル上での入力操作は、図15の模擬指で示している通り、特定箇所を画面スクロールしない方向へのスワイプ操作や、遡るための画像遡り表示83のタップ等により実現が可能である。
図16は、本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させる画像の状態遷移の別の一例である。なお、この図16は、画像の時間的変化を利用して、選択された特定箇所における食品等の収納物の保存期間を推測する機能を示すものである。
例えば、図16(a)では存在しないローストチキンが図16(b)では破線で示す通り収納されており、あわせて撮影日時が記憶装置7aに記憶されている。制御装置7は、図16(a)と図16(b)との画像の差分によって、図16(b)の撮影日時にローストチキンが冷蔵室100内に収納されたことの判定が可能である。
一例として、例えば携帯端末18のタッチパネル上での領域選択操作を実施し、保存状態の確認をする箇所を特定する作業(特定箇所を選択する作業)を実施する。制御装置7は、任意の特定箇所が選択されることにより、当該箇所の画像に時間的な変化があったか否かの判定を実施する。例えば、制御装置7は、何世代か前の画像の特定箇所に収納物が収納されている場合、直近に撮影された画像において収納状態が変わった際には、特定箇所から収納物が取り出しされたと判定し、変化がないままの場合には収納物の収納状態が維持されていると判定するのである。また例えば、制御装置7は、直近の画像の特定箇所に収納物が収納されている場合、何世代か前に撮影された画像において収納状態が変わった際には、特定箇所に収納物が収納されたと判定するのである。
画像による判定としては、画像を画素単位に分割して、横方向(x)及び縦方向(y)の位置を表す画素座標(x、y)を与えた上で、同一座標の画素同士の例えば輝度L(x、y)を比較し、その差分があらかじめ設定した閾値以上である場合には変化あり、すなわち収納物に変化があったと判定し、閾値未満である場合には変化なし、すなわち収納物に変化がないと判定する。このように、画素単位で収納物の有無を判定することが可能となる。
図16(c)では、特定箇所を選択する一例として、画像上で気になる食品(領域)をタップしていることを示している。タップ操作により特定箇所が選択されると、制御装置7は、例えば前回と今回の画像の差分を比較した上で変化がないと判断し、図16(d)のように前回撮影画像と今回撮影画像の時間差を保存経過期間として表示する。ここでは1/1の16:00〜1/8の18:00まではローストチキンは動いていないと判定され、保存経過期間は7日と2時間が経過している旨を指示部に表示する。
このように、制御装置7は、収納物の収納後の経過期間の判断及び表示が可能となるため、消費を急ぐ必要がある等、使用者の食材消費に対して有益な情報を与えることが可能となる。このため、収納されている食品を食べずに廃棄する等のリスクが減ることで、環境及び使用者の食品購入コストの抑制に効果を発揮することが可能である。
なお、制御装置7は、画像全体の時間変化を比較して、つまり、撮影日時の異なる同一撮影範囲の画像を比較することにより、収納物の収納後の経過期間等を判断してもよい。
図17は、本発明の実施の形態1に係る冷蔵庫の制御装置が操作表示装置に表示させるアラート画面の一例である。
図16で示したように、制御装置7は、収納物の保存経過期間を推測できることから、冷蔵室100内であれば7日間、冷凍室であれば30日間等、任意に定めた期間を過ぎた食材(領域)がある場合には、使用者に廃棄期限が迫っていることを報知するためのアラート表示を実施する。アラート表示は、保存箇所に近い部分に点滅や赤字等の強調表示を用いる等、保存箇所を指示して注意喚起を実施する。
なお、アラートする保存期間については、貯蔵室、領域、食品毎に使用者が設定してもよいし、冷蔵庫供給メーカ側が推奨する保存期間をデフォルトとして記憶装置7a内に記憶させておいてもよい。
本機能によって、存在を忘れていたような食材を食べずに廃棄する等リスクが減ることとなり、やはり、環境及び使用者の食品購入コストの抑制に効果を発揮することが可能である。
なお、庫内カメラ12は、冷蔵室100、切替室200、冷凍室400及び野菜室500内に限定するものでなく、他の貯蔵室や貯蔵スペースに設けられていても構わない。また、庫内カメラ12は静止画像でなく、動画として撮影しても内部や扉やケースの開閉時の視認が可能である。
実施の形態2.
実施の形態1では、操作表示装置に表示させる画像の表示の仕方を、冷蔵庫1の制御装置7によって制御した。これに限らず、操作表示装置としてタブレット端末18a及び携帯電話18b等の携帯端末18を用いる場合、冷蔵庫1及び携帯端末18を備えた以下のようなネットワークシステムを構築し、携帯端末18に表示させる画像の表示の仕方を、携帯端末18自身によって制御してもよい。なお、本実施の形態2で記載されていない構成は実施の形態1と同様とし、実施の形態1と同様の構成には実施の形態1と同じ符号を付している。
図18は、本発明の実施の形態2に係るネットワークシステムの機能ブロック図である。
本実施の形態2に係るネットワークシステム700は、冷蔵庫1と操作表示装置である携帯端末18(タブレット端末18a及び携帯電話18b等)とが電気通信回線16を介して接続されるものである。そして、このネットワークシステム700においては、冷蔵庫1の制御装置7は、複数の撮影範囲の画像に当該画像の前記撮影範囲及び当該画像の撮影日時を関連づけて(タグ付けして)、通信手段15及び電気通信回線16を介して携帯端末18に送信する構成となっている。また、携帯端末18は、受信した撮影範囲の画像を携帯端末18自身が制御して、実施の形態1の図11〜図17で示したように携帯端末18自身に表示させる構成となっている。
このように構成された携帯端末18は、図18に示すように、通信装置515、画像蓄積装置516、表示装置550、本発明の操作表示装置用制御装置である制御装置507、及び、操作装置506を備えている。
通信装置515は、電気通信回線16を介して、冷蔵庫1の通信手段15と通信するものである。画像蓄積装置516は、冷蔵庫1から送信された撮影範囲の画像(庫内カメラ12で撮影された画像であり、当該画像の前記撮影範囲及び撮影日時を関連づけて送信されてきた画像)を記憶するものである。また、画像蓄積装置516には、図11(a)で示したスタート画像、撮影範囲の画像と共に表示装置550に表示される方向指示表示70及び冷蔵庫アイコン80のデータ等も記憶されている。また、本実施の形態2では、後述のように、冷蔵庫1から送信された画像が制御装置507で合成された後、合成された画像も画像蓄積装置516に記憶される(蓄積される)構成となっている。なお、本実施の形態2では、上記の合成画像も、撮影範囲の画像の一種として扱う。
表示装置550は、冷蔵庫1から送信された撮影範囲の画像の少なくとも1つ(上記の合成された画像も含む)を表示するものである。制御装置507は、表示装置550に、冷蔵庫1から送信された撮影範囲の画像の少なくとも1つ(上記の合成された画像も含む)を表示させるものである。また、操作装置506は、実施の形態1で示したスワイプ操作、フリック操作及び方向指示表示70のタップ操作等、使用者によって携帯端末18に行われる操作(表示装置に表示する画像を変更する操作等)を受け付けるものである。
続いて、本実施の形態2における携帯端末18での画像表示方法の一例について説明する。
図19は、本発明の実施の形態2に係るネットワークシステムにおける携帯端末での画像表示方法の一例を示すフローチャートである。
操作装置506が使用者からの画像表示指示を受け付けると、制御装置507は、通信装置515に冷蔵庫1から画像が送信されているか否かを確認する(S201)。通信装置515に冷蔵庫1から画像が送信されている場合、制御装置507は、画像蓄積装置516の記憶容量の確認を行う(S202)。画像蓄積装置516の記憶容量に余裕がある場合、制御装置507は、冷蔵庫1から送信された画像を画像蓄積装置516に保存(蓄積)する(S204)。また、画像蓄積装置516が容量オーバーの場合、制御装置507は、例えば最も古くに記憶又は表示された画像を削除する画像削除処理(S203)を実施した後、冷蔵庫1から送信された画像を画像蓄積装置516に保存(蓄積)する(S204)。
冷蔵庫1から送信された画像を画像蓄積装置516に保存(蓄積)した後、制御装置507は、冷蔵庫1から送信された画像に関連づけられた(タグ付けされた)撮影範囲及び撮影日時に基づき、冷蔵庫1から送信された画像を合成し、画像蓄積装置516に保存(蓄積)する(S205,206)。例えば、図12で示したような画像を表示装置550に表示させる場合、制御装置507は、直近に撮影された(最も撮影日時が新しい)冷蔵室100内の画像の両側に、直近に撮影された左右の扉8のドアポケット10側の画像を接続した合成画像を作成し、画像蓄積装置516に保存する。また例えば、図13及び図14で示したような画像を表示装置550に表示させる場合、制御装置507は、直近に撮影された冷蔵室100内の画像の下方に直近に撮影された冷凍室400の上段トレー402の画像を接続した合成画像、直近に撮影された冷蔵室100内の画像の下方に直近に撮影された冷凍室400の収納ケース401の画像を接続した合成画像、直近に撮影された冷蔵室100内の画像の下方に直近に撮影された野菜室500の上段トレー502の画像を接続した合成画像、及び、直近に撮影された冷蔵室100内の画像の下方に直近に撮影された野菜室500の収納ケース501の画像を接続した合成画像等を作成し、画像蓄積装置516に保存する。
その後、制御装置507は、操作装置506に入力される使用者からの指示に基づき、画像蓄積装置516に保存された画像等のデータを用いて、例えば図11〜図14で示したような画像表示を表示装置550に行わせる(S207)。ここで、上述のように、画像蓄積装置516に保存されている画像には、撮影日時が関連づけられている。このため、制御装置507は、画像とともに撮影日時も表示装置550に表示させることにより、図15で示したような表示も行うことができる。また、制御装置507は、撮影日時が異なる同一撮影範囲の画像を比較することにより、図16で示したように収納物の収納後の経過期間等も判断できるし、図17で示したようなアラート表示を行うこともできる。
以上、本実施の形態2のようにネットワークシステム700を構成しても、操作表示装置である携帯端末18によって実施の形態1と同様の画像表示を行うことができ、実施の形態1と同様の効果を得ることができる。
1 冷蔵庫、2 圧縮機、3 冷却器、4 送風ファン、5 風路、6 操作パネル、6a 操作スイッチ、6b 表示部、7 制御装置、7a 記憶装置、7b 計時装置、8 扉、9 扉開閉検知スイッチ、10(10a,10b,10c) ドアポケット、11(11a,11b,11c,11d) 棚、12(12a,12b,12c,12d,12e,12f) 庫内カメラ、13(13a,13b,13c,13d) 照明部、14 給水タンク、15 通信手段、16 電気通信回線、18 携帯端末、18a タブレット端末、18b 携帯電話、30 引き出し検知装置、70 方向指示表示、80 冷蔵庫アイコン、81 ケーキ(収納物の一例)、82 ビール(収納物の一例)、83 画像遡り表示、100 冷蔵室、200 切替室、300 製氷室、400 冷凍室、500 野菜室、600 チルド室、601 チルドケース、201,401,501 収納ケース、402,502 上段トレー、506 操作装置、507 制御装置、515 通信装置、516 画像蓄積装置、550 表示装置、700 ネットワークシステム。

Claims (20)

  1. 少なくとも1つの撮影範囲に区画された複数の貯蔵室と、
    前記撮影範囲の少なくとも1つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも1つの庫内カメラと、
    複数の前記撮影範囲の画像を記憶装置に記憶させ、前記画像を表示する操作表示装置と通信する制御装置と、
    を備え、
    前記制御装置は、前記操作表示装置に対して、
    前記画像のうちの1つである第1画像を少なくとも表示させ、
    前記操作表示装置において前記第1画像の移動を指示する操作が行われた際、前記第1画像を指示方向に移動させ、
    冷蔵庫の正面側から使用者が前記撮影範囲を観察した観察状態において前記第1画像の前記撮影範囲と反指示方向に位置する前記撮影範囲の前記画像である第2画像を、前記観察状態において前記第1画像及び前記第2画像の前記撮影範囲の位置関係と同じになるように、前記第1画像と連ねて表示させることを特徴とする冷蔵庫。
  2. 前記貯蔵室の1つは、観音開き式の2枚の扉を備え、
    当該貯蔵室の内部の画像が前記第1画像であり、
    2枚の前記扉における当該貯蔵室の内部と対向する側の画像が前記第2画像であることを特徴とする請求項1に記載の冷蔵庫。
  3. 前記制御装置は、
    前記第2画像の全てを前記操作表示装置に表示させる際、前記第1画像の一部を表示させることを特徴とする請求項1又は請求項2に記載の冷蔵庫。
  4. 少なくとも1つの撮影範囲に区画された複数の貯蔵室と、
    前記撮影範囲の少なくとも1つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも1つの庫内カメラと、
    複数の前記撮影範囲の画像を記憶装置に記憶させ、前記画像を表示する操作表示装置と通信する制御装置と、
    を備え、
    前記制御装置は、前記操作表示装置に対して、
    前記画像のうちの少なくとも1つを表示させ、
    前記操作表示装置において表示されている前記画像を上方向に移動させる操作が行われた際、表示されている当該画像の前記撮影範囲の下方に位置する前記撮影範囲の前記画像を表示させ、
    前記操作表示装置において表示されている前記画像を下方向に移動させる操作が行われた際、表示されている当該画像の前記撮影範囲の上方に位置する前記撮影範囲の前記画像を表示させることを特徴とする冷蔵庫。
  5. 前記貯蔵室の少なくとも1つは、その内部に上下方向に積層された複数の収納部を備え、
    前記制御装置は、前記操作表示装置に対して、上下方向に積層された複数の前記収納部の画像を表示させることを特徴とする請求項4に記載の冷蔵庫。
  6. 日時を計測する計時装置を備え、
    前記制御装置は、
    撮影日時と関連づけて複数の前記画像を保存し、
    撮影日時が異なる同一の前記撮影範囲の前記画像からこれらの画像の差分を抽出し、一定期間差分がない箇所がある場合、食品が一定期間以上保存されていることを報知することを特徴とする請求項1〜請求項5のいずれか一項に記載の冷蔵庫。
  7. 前記制御装置は、
    一定期間差分がない箇所がある場合、前記操作表示装置に、当該箇所を指示した画像を表示させることを特徴とする請求項6に記載の冷蔵庫。
  8. 日時を計測する計時装置を備え、
    前記制御装置は、
    撮影日時と関連づけて複数の前記画像を保存し、
    前記操作表示装置において、表示されている前記画像の特定箇所が選択された場合、
    前記特定箇所が含まれた撮影日時が異なる前記画像からこれらの画像の差分を抽出し、前記特定箇所の食品が保存されている期間、あるいは、前記特定箇所に保存されていた食品が取り出された日時を表示することを特徴とする請求項1〜請求項7のいずれか一項に記載の冷蔵庫。
  9. 前記制御装置は、前記操作表示装置に前記画像を表示させる際、当該画像と共に、当該画像の前記撮影範囲を示す冷蔵庫のアイコンを表示させることを特徴とする請求項1〜請求項8のいずれか一項に記載の冷蔵庫。
  10. 前記操作表示装置は、形態端末又はタブレット端末であることを特徴とする請求項1〜請求項9のいずれか一項に記載の冷蔵庫。
  11. 冷蔵庫及び操作表示装置を備え、前記冷蔵庫及び前記操作表示装置が電気通信回線を介して接続されるネットワークシステムであって、
    前記冷蔵庫は、
    少なくとも1つの撮影範囲に区画された複数の貯蔵室と、
    前記撮影範囲の少なくとも1つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも1つの庫内カメラと、
    前記操作表示装置と前記電気通信回線を介して通信する通信手段と、
    複数の前記撮影範囲の画像に、当該画像の前記撮影範囲及び当該画像の撮影日時を関連づけて、前記通信手段及び前記電気通信回線を介して前記操作表示装置に送信する制御装置と、
    を備え、
    前記操作表示装置は、
    前記冷蔵庫と前記電気通信回線を介して通信する通信装置と、
    前記冷蔵庫から送信された前記画像を記憶する画像蓄積装置と、
    前記画像のうちの少なくとも1つを表示する表示装置と、
    前記表示装置に前記画像を表示させる操作表示装置用制御装置と、
    使用者によって行われる前記表示装置に表示する前記画像を変更する操作を受け付ける操作装置と、
    を備え、
    前記操作表示装置用制御装置は、
    前記表示装置に対して、
    前記画像のうちの1つである第1画像を少なくとも表示させ、
    前記操作装置に対して前記第1画像の移動を指示する操作が行われた際、前記第1画像を指示方向に移動させ、
    前記冷蔵庫の正面側から使用者が前記撮影範囲を観察した観察状態において前記第1画像の前記撮影範囲と反指示方向に位置する前記撮影範囲の前記画像である第2画像を、前記観察状態において前記第1画像及び前記第2画像の前記撮影範囲の位置関係と同じになるように、前記第1画像と連ねて表示させることを特徴とするネットワークシステム。
  12. 前記貯蔵室の1つは、観音開き式の2枚の扉を備え、
    当該貯蔵室の内部の画像が前記第1画像であり、
    2枚の前記扉における当該貯蔵室の内部と対向する側の画像が前記第2画像であることを特徴とする請求項11に記載のネットワークシステム。
  13. 前記操作表示装置用制御装置は、
    前記第2画像の全てを前記表示装置に表示させる際、前記第1画像の一部を表示させることを特徴とする請求項11又は請求項12に記載のネットワークシステム。
  14. 冷蔵庫及び操作表示装置を備え、前記冷蔵庫及び前記操作表示装置が電気通信回線を介して接続されるネットワークシステムであって、
    前記冷蔵庫は、
    少なくとも1つの撮影範囲に区画された複数の貯蔵室と、
    前記撮影範囲の少なくとも1つを撮影する複数の庫内カメラ、あるいは、複数の前記撮影範囲を撮影する少なくとも1つの庫内カメラと、
    前記操作表示装置と前記電気通信回線を介して通信する通信手段と、
    複数の前記撮影範囲の画像に当該画像の前記撮影範囲及び当該画像の撮影日時を関連づけて、前記通信手段及び前記電気通信回線を介して前記操作表示装置に送信する制御装置と、
    を備え、
    前記操作表示装置は、
    前記冷蔵庫と前記電気通信回線を介して通信する通信装置と、
    前記冷蔵庫から送信された前記画像を記憶する画像蓄積装置と、
    前記画像のうちの少なくとも1つを表示する表示装置と、
    前記表示装置に前記画像を表示させる操作表示装置用制御装置と、
    使用者によって行われる前記表示装置に表示する前記画像を変更する操作を受け付ける操作装置と、
    を備え、
    前記操作表示装置用制御装置は、
    前記表示装置に対して、
    前記画像のうちの少なくとも1つを表示させ、
    前記操作装置に対して、表示されている前記画像を上方向に移動させる操作が行われた際、表示されている当該画像の前記撮影範囲の下方に位置する前記撮影範囲の前記画像を表示させ、
    前記操作装置に対して、表示されている前記画像を下方向に移動させる指示する操作が行われた際、表示されている当該画像の前記撮影範囲の上方に位置する前記撮影範囲の前記画像を表示させることを特徴とするネットワークシステム。
  15. 前記貯蔵室の少なくとも1つは、その内部に上下方向に積層された複数の収納部を備え、
    前記操作表示装置用制御装置は、前記表示装置に対して、上下方向に積層された複数の前記収納部の画像を表示させることを特徴とする請求項14に記載のネットワークシステム。
  16. 前記操作表示装置用制御装置は、
    撮影日時が異なる同一の前記撮影範囲の前記画像からこれらの画像の差分を抽出し、一定期間差分がない箇所がある場合、食品が一定期間以上保存されていることを報知することを特徴とする請求項11〜請求項15のいずれか一項に記載のネットワークシステム。
  17. 前記操作表示装置用制御装置は、
    一定期間差分がない箇所がある場合、前記表示装置に、当該箇所を指示した画像を表示させることを特徴とする請求項16に記載のネットワークシステム。
  18. 前記操作装置において、表示されている前記画像の特定箇所が選択された場合、
    前記特定箇所が含まれた撮影日時が異なる前記画像からこれらの画像の差分を抽出し、前記特定箇所の食品が保存されている期間、あるいは、前記特定箇所に保存されていた食品が取り出された日時を表示することを特徴とする請求項11〜請求項17のいずれか一項に記載のネットワークシステム。
  19. 前記操作表示装置用制御装置は、前記表示装置に前記画像を表示させる際、当該画像と共に、当該画像の前記撮影範囲を示す冷蔵庫のアイコンを表示させることを特徴とする請求項11〜請求項18のいずれか一項に記載のネットワークシステム。
  20. 前記操作表示装置は、形態端末又はタブレット端末であることを特徴とする請求項11〜請求項19のいずれか一項に記載のネットワークシステム。
JP2014118919A 2014-06-09 2014-06-09 冷蔵庫及びネットワークシステム Active JP6296908B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014118919A JP6296908B2 (ja) 2014-06-09 2014-06-09 冷蔵庫及びネットワークシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014118919A JP6296908B2 (ja) 2014-06-09 2014-06-09 冷蔵庫及びネットワークシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018027760A Division JP2018124053A (ja) 2018-02-20 2018-02-20 冷蔵庫

Publications (2)

Publication Number Publication Date
JP2015232412A JP2015232412A (ja) 2015-12-24
JP6296908B2 true JP6296908B2 (ja) 2018-03-20

Family

ID=54933960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014118919A Active JP6296908B2 (ja) 2014-06-09 2014-06-09 冷蔵庫及びネットワークシステム

Country Status (1)

Country Link
JP (1) JP6296908B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021057769A1 (zh) * 2019-09-25 2021-04-01 青岛海尔电冰箱有限公司 用于查看并跟踪所储存的物品的方法
US11594019B2 (en) 2018-10-01 2023-02-28 Samsung Electronics Co., Ltd. Refrigerator, server, and object recognition method of refrigerator

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201809324TA (en) * 2016-05-20 2018-12-28 Mitsubishi Electric Corp Refrigerator
WO2017216925A1 (ja) * 2016-06-16 2017-12-21 三菱電機ビルテクノサービス株式会社 工具管理装置および工具管理方法
JP6642713B2 (ja) * 2016-07-21 2020-02-12 三菱電機株式会社 冷蔵庫システム
JP6771563B2 (ja) * 2016-07-27 2020-10-21 三菱電機株式会社 シミュレーションシステム、シミュレーション方法及び冷蔵庫
CN107796168A (zh) * 2016-09-07 2018-03-13 北京京东尚科信息技术有限公司 智能冰箱的食品信息管理方法
JP6202698B1 (ja) 2016-09-28 2017-09-27 Boeジャパン株式会社 筐体及びシステム
JP2020118313A (ja) * 2019-01-21 2020-08-06 パナソニックIpマネジメント株式会社 プログラム、制御方法
JP2022035347A (ja) * 2020-08-20 2022-03-04 日立グローバルライフソリューションズ株式会社 冷蔵庫内の画像データ処理方法および冷蔵庫

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10100826B4 (de) * 2000-02-01 2005-11-10 Lg Electronics Inc. Internet-Kühlschrank und Betriebsverfahren hierfür
JP2003042626A (ja) * 2001-07-26 2003-02-13 Toshiba Corp 冷蔵庫
JP2007046834A (ja) * 2005-08-09 2007-02-22 Funai Electric Co Ltd 物品保存庫、物品保存庫監視システム及び冷蔵庫監視システム
JP2014016967A (ja) * 2012-07-11 2014-01-30 Sony Corp 情報表示プログラム及び情報表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11594019B2 (en) 2018-10-01 2023-02-28 Samsung Electronics Co., Ltd. Refrigerator, server, and object recognition method of refrigerator
WO2021057769A1 (zh) * 2019-09-25 2021-04-01 青岛海尔电冰箱有限公司 用于查看并跟踪所储存的物品的方法

Also Published As

Publication number Publication date
JP2015232412A (ja) 2015-12-24

Similar Documents

Publication Publication Date Title
JP6296908B2 (ja) 冷蔵庫及びネットワークシステム
JP2018124053A (ja) 冷蔵庫
JP2022118243A (ja) 通知方法、システム
JP6095551B2 (ja) 冷蔵庫
JP6229142B2 (ja) 冷蔵庫及び冷蔵庫システム
JP2015068525A (ja) 冷蔵庫
JP6303127B2 (ja) 冷蔵庫
JP6240891B2 (ja) 冷蔵庫
JP2016196981A (ja) 庫内管理システムおよび庫内管理方法
JP2014206320A (ja) 冷蔵庫
JP6167331B2 (ja) 冷蔵庫及び冷蔵庫システム
JP6167330B2 (ja) 冷蔵庫及び冷蔵庫システム
JP6221049B2 (ja) 冷蔵庫
JP6167327B2 (ja) 冷蔵庫
JP6167288B2 (ja) 冷蔵庫
JP6212700B2 (ja) 冷蔵庫及びその冷蔵庫システム
JP6201142B2 (ja) 冷蔵庫
JP2014206319A (ja) 冷蔵庫
JP2017142059A (ja) 冷蔵庫
JP6167329B2 (ja) 冷蔵庫
JP6167328B2 (ja) 冷蔵庫
JP6145701B2 (ja) 冷蔵庫
JP6114916B2 (ja) 冷蔵庫
JP2017106715A (ja) 冷蔵庫
JP6145702B2 (ja) 冷蔵庫

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180220

R150 Certificate of patent or registration of utility model

Ref document number: 6296908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250