JP7164296B2 - 冷蔵庫 - Google Patents

冷蔵庫 Download PDF

Info

Publication number
JP7164296B2
JP7164296B2 JP2017232598A JP2017232598A JP7164296B2 JP 7164296 B2 JP7164296 B2 JP 7164296B2 JP 2017232598 A JP2017232598 A JP 2017232598A JP 2017232598 A JP2017232598 A JP 2017232598A JP 7164296 B2 JP7164296 B2 JP 7164296B2
Authority
JP
Japan
Prior art keywords
image data
refrigerator
camera
image
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017232598A
Other languages
English (en)
Other versions
JP2019100633A (ja
Inventor
光希 槙島
裕樹 丸山
淳一 杉本
将也 金山
庚杓 洪
浩太 渡邊
正史 瀧川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Lifestyle Products and Services Corp
Priority to JP2017232598A priority Critical patent/JP7164296B2/ja
Priority to CN201811363121.7A priority patent/CN109869966A/zh
Publication of JP2019100633A publication Critical patent/JP2019100633A/ja
Application granted granted Critical
Publication of JP7164296B2 publication Critical patent/JP7164296B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施形態は、冷蔵庫に関する。
冷蔵庫内に配設されたカメラにより庫内の棚全体を撮影し、撮影した画像を画像認識することにより、庫内に収納されている物の確認を行なうように構成された冷蔵庫が提案なされている。
特開2017-89913公報
しかし、上記構成の冷蔵庫の場合、棚の奥に収納されてカメラで撮影できない物を、確認することができなかった。このため、庫内に収納されている物の管理、即ち、冷蔵庫の在庫管理を行なう場合、物例えば食材を手動で登録しなければならず、使い勝手がよくないという問題があった。
そこで、冷蔵庫内に収納されている物を確認することができ、庫内の収納物を自動的に管理することができる冷蔵庫を提供する。
本実施形態の冷蔵庫は、冷蔵庫の開口部周辺に配設され、前記開口部を通過する物を撮影するカメラと、前記カメラにより撮影された画像データの変化量に基づいて物の出し入れを検知する検知部とを備えたものであり、前記検知部は、冷蔵庫の開口部が閉じているか否かを判断し、冷蔵庫の開口部が閉じていない場合に、庫内に手を入れてから手を出すまで、前記カメラにより連続的に撮影し、庫内に手を入れてから手を出すまでの期間内に撮影された全画像データに基づいて物の出し入れを検知する。
第1実施形態による冷蔵庫の各扉を開けた状態を正面から見た図 冷蔵庫の電気的構成を示すブロック図 検出制御のフローチャート 物の出し入れと撮影画像との関係を説明する図 物及び手を撮影した画像データの一例を示す図 保存されている画像データの例を示す図 袖の画像を除き、物及び手を別に検出することを説明する図 複数のカメラにより物を撮影するメリットを説明する図 第2実施形態を示すもので、画像データの処理等の計算に使用する画素数を削減することを説明する図 第3実施形態を示すもので、保存されている画像データをパソコンに表示する例を説明する図 保存されている画像データをスマートフォンに表示する例(その1)をを説明する図 保存されている画像データをスマートフォンに表示する例(その2)をを説明する図 保存されている画像データをスマートフォンに表示する例(その3)をを説明する図
以下、複数の実施形態による冷蔵庫を図面に基づいて説明する。尚、各実施形態において実質的に同一の構成部品には同一の符号を付し、説明を省略する。
(第1実施形態)
まず、図1に示すように、本実施形態の冷蔵庫の本体1は、断熱箱体で構成されており、この本体1の内部には、上段から順に冷蔵室2、野菜室3、冷凍室4が設けられている。尚、野菜室3と冷凍室4との間に、製氷室および小冷凍室を左右に並べて設けるように構成しても良い。
冷蔵室2の前面部には、ドアとして例えばヒンジ開閉式(フレンチ型)の冷蔵室用扉7、8が設けられている。尚、冷蔵室用扉7または冷蔵室用扉8の前面には、図示しない操作パネルが設けられており、この操作パネルに例えば各種の設定や選択を行なう操作部、必要な表示を行なう複数の表示部等が配設されている。
また、野菜室3の前側には、ドアとして例えば引出し式の野菜室用扉11が設けられている。野菜室用扉11の背面部には、食品たる青果物つまり野菜や果物などを収納する収納容器が取付けられている。冷凍室4の前側には、ドアとして例えば貯蔵容器が連結された引出し式の冷凍室用扉12が設けられている。
尚、冷蔵室2および野菜室3は、いずれも冷蔵温度帯の貯蔵室であり、例えば、冷蔵室2の維持温度は1~5℃に設定されており、野菜室3の維持温度はそれよりやや高い2~6℃に設定されている。冷凍室4は、冷凍温度帯、例えば-10~-20℃のマイナス温度帯の貯蔵室である。
また、冷蔵室2内には、例えば2枚の棚板14、15が出し入れ可能に配設されている。更に、冷蔵室2内の天井部の前部中央部、即ち、冷蔵庫の開口部の周辺部には、第1カメラ16が配設されている。冷蔵室2内の上部の棚板14の上側における側面部の前部、即ち、冷蔵庫の開口部の周辺部には、第2カメラ17が配設されている。
冷蔵室2内の下部の棚板15の上側における側面部の前部、即ち、冷蔵庫の開口部の周辺部には、第3カメラ18が配設されている。また、冷蔵室2内の下部の棚板15の下側における側面部の前部、即ち、冷蔵庫の開口部の周辺部には、第4カメラ19が配設されている。
また、野菜室3内の天井部の前部中央部、即ち、冷蔵庫の開口部の周辺部には、第5カメラ20が配設されている。また、冷凍室4内の天井部の前部中央部、即ち、冷蔵庫の開口部の周辺部には、第6カメラ21が配設されている。
次に、上記構成の冷蔵庫の電気的構成について、図2を参照して説明する。図2に示すように、冷蔵庫の制御部22には、周知の冷凍サイクル等で構成されている冷蔵用冷却機構23及び冷凍用冷却機構24と、冷蔵室2内を照明する照明部25と、6個のカメラ16~21とが接続されている。そして、制御部22には、冷蔵室用扉7、8の開閉を検知する冷蔵室扉スイッチ26と、野菜室用扉11の開閉を検知する野菜室扉スイッチ27と、冷凍室用扉12の開閉を検知する冷凍室扉スイッチ28と、冷蔵庫の操作パネル等に設けられたディスプレイ29と、他の情報端末30と無線通信する無線通信部31とが接続されている。
制御部22は、冷蔵用冷却機構23及び冷凍用冷却機構24を駆動制御することにより各室2、3、4の庫内温度がそれぞれ設定された温度になるように温度制御する機能を有する。制御部22は、各カメラ16~21により撮影された画像データを入力し、入力した画像データを画像認識処理する機能、即ち、画像処理部22aを有する。そして、制御部22は、画像データに基づいて冷蔵室2内に出し入れされる物を検知する機能を有する。即ち、制御部22は、検知部としての機能を有する。
また、制御部22は、内部に不揮発性のメモリを有しており、上記検知された物の画像データを、検知日時の情報や、検知位置の情報や、例えば画像認識処理により認識した物の名称等の情報と共に上記メモリに記憶して保存するように構成されている。即ち、制御部22は、保存部22bとしての機能を有する。
また、制御部22は、保存している画像データをディスプレイ29に表示する機能を有する。即ち、制御部22は、表示制御部としての機能を有する。更に、制御部22は、保存している画像データを、無線通信部31を介して情報端末30へ送信する機能を有する。即ち、制御部22は、通信制御部としての機能を有する。尚、無線通信部31は、例えば携帯電話網等の通信網やインターネット等を介して通信する機能や、Bluetooth(登録商標)通信する機能や、赤外線通信等の機能を備えている。また、情報端末30は、例えばパソコンやスマートフォンやタブレットや携帯情報端末等で構成されている。
次に、上記構成の冷蔵庫において、庫内に出し入れされる物を検出する検出制御について、図3ないし図8を参照して説明する。図3のフローチャートは、制御部22の制御の中の検出制御の内容を示す。図3に示す検出制御は、冷蔵庫の冷蔵室用扉7、8、野菜室用扉11、冷凍室用扉12のうちの少なくとも1つが開放されたときに、開始される。尚、冷蔵室2、野菜室3、冷凍室4内における各検出制御は、ほぼ同じであるから、冷蔵室2内の検出制御、具体的には、冷蔵室2内の上部の棚板14上側収納空間の検出制御について、以下説明する。
まず、冷蔵室用扉7または8が開放されると、冷蔵室扉スイッチ27により開放が検知され、照明部25により冷蔵室2内が照明され、図3のステップS10に進み、第1カメラ16によって庫内に物を入れていない状態である空の状態、即ち、テンプレート画像が撮影される。そして、制御部22は、第1カメラ16によって撮影されたテンプレート画像を内部の保存部22bに記憶する。
続いて、ステップS20へ進み、冷蔵室扉スイッチ27からの信号に基づいて冷蔵室用扉7、8が閉じているか否かを判断する。ここで、冷蔵室用扉7、8が閉じているときには、「YES」へ進み、本制御を終了する。また、冷蔵室用扉7、8が閉じていないときには(NO)、ステップS30へ進み、第1カメラ16により現在撮影されている画像データの変化量を調べる。この場合、第1カメラ16により現在撮影されている現在の映像と画素の変化量を比較する。
そして、ステップS40へ進み、画素が変化したか否か、即ち、画素の変化量が予め決められた設定値よりも大きいか否かを判断する。ここで、画素が変化しないときには(NO)、ステップS20へ戻り、上述した処理を繰り返し実行する。
また、上記ステップS40において、画素が変化したときには(YES)、即ち、何らかの物が撮影されたときには、ステップS50へ進み、この時点、即ち、連続撮影開始時点から第1カメラ16により連続的に撮影を開始する。続いて、ステップS60へ進み、第1カメラ16により新規の画像を撮影する。そして、ステップS70へ進み、記憶しているテンプレート画像と、撮影された画像データとを比較する。次いで、ステップS80へ進み、画像データの中から手の画像と袖の画像を除いた部分の画像が、テンプレート画像と比べて変化量が最も多い画像データを記録する、即ち、保存部22bに保存する。
ここで、物が庫内に入れられる動作と、第1カメラ16により撮影される画像との関係を、図4に示す。まず、図4(a)に示すように、物が庫内に入れられる前の状態では、第1カメラ16により撮影された画像データ41には、何も撮影されていない。この後、物が庫内に少し入れられた状態では、図4(b)に示すように、第1カメラ16により撮影された画像データ42には、物が半分程度撮影されている。続いて、物が庫内に更に入れられると、図4(c)に示すように、第1カメラ16により撮影された画像データ43には、物の全体が手と共に撮影されている。この図4(c)に示す画像データを、上記ステップS80において、保存部22bに保存する。尚、画像データをメモリに保存する場合、撮影日時の情報、撮影したカメラの設置位置の情報、物の収納位置の情報、物を画像認識処理した認識結果例えば物の種類や形状や色の情報等を加えて保存するように構成されている。
この後、図4(d)に示すように、物が庫内に収納されて手が離れ、手を手前へ戻すと、第1カメラ16により撮影された画像データ44には、手だけが撮影されている。更に、図4(e)に示すように、手を手前へ戻すと、第1カメラ16により撮影された画像データ45には、手の先端側の半部程度が撮影されている状態となる。次いで、図4(f)に示すように、手を庫内から取り出すと、第1カメラ16により撮影された画像データ46には、何も撮影されない状態となる。
そして、上記ステップS80の実行後は、ステップS90へ進み、テンプレート画像と撮影された画像データとがほぼ一致したか否か、即ち、テンプレート画像と撮影された画像の変化した画素数が近似したか否かを判断する。この場合、何も撮影されない状態の画像データとなったか否かを、即ち、撮影された画像データがテンプレート画像と近似したか否かを判断するように構成されている。例えば、図4に示す例の場合、図4(f)の状態になったか否かを判断する。
上記ステップS90において、近似しなかったときには(NO)、ステップS60へ戻り、第1カメラ16による連続的な撮影を続け、前述した処理を繰り返し実行する。また、上記ステップS90において、近似したときには(YES)、連続撮影終了時点となり、ステップS100へ進み、第1カメラ16による連続的な撮影を終了する。
続いて、ステップS110へ進み、庫内に物が入ったか否かを判断する。本実施形態の場合、庫内に手を入れてから手を出すまで、第1カメラ16により連続的に撮影し、撮影された全画像データの中において、物が写っている画像データが、前半に撮影されたものであるときには、物が庫内に入ったと判断し、後半に撮影されたものであるときには、物が庫内から出たと判断するように構成されている。例えば、図4に示すように、庫内に物が入る場合には、物が写っている画像データ、即ち、図4(c)の画像データ43が、前半に撮影されたものである。反対に、物が庫内から出る場合は、物が写っている画像データが、後半に撮影されたものとなる。
上記ステップS110において、物が入ったときには(YES)、ステップS120へ進み、制御部22は、物が写っている画像データを保存部22b内に、即ち、画像データのデータベース内に保存する。この後は、ステップS20へ戻り、前述した処理を繰り返し実行する。
また、ステップS110において、物が入ったときでない場合には(NO)、ステップS130へ進み、庫内から物が出たか否かを判断する。ここで、物が出たときには(YES)、ステップS140へ進み、制御部22は、画像データに写っている物と同じものが写っている画像データを、保存部22b内から捜し、この捜した画像データを保存部22b内から削除する。尚、画像データに写っている物が同じものであるか否かを判断するに際しては、物の形状及び色が同じであるか否かを判断するように構成されている。
例えば、物が出たときに、物が写っている画像データが例えば図5に示すような画像データであったとする。また、制御部22のメモリ内に、即ち、画像データのデータベース内に、例えば図6(a)、(b)、(c)に示すような3個の画像データが保存されているとすると、図6(a)の画像データに写っている物は、図5に示す画像データに写っている物と、形状が異なる。また、図6(b)の画像データに写っている物は、図5に示す画像データに写っている物と、色が異なる。図6(c)の画像データに写っている物は、図5に示す画像データに写っている物と、形状及び色が同じであることから、同じ物であると判定する。そこで、この場合、上記ステップS140では、図6(c)の画像データを保存部22b内から削除する。この後は、ステップS20へ戻り、前述した処理を繰り返し実行する。
また、上記ステップS130において、物が出たときでない場合には(NO)、即ち、ユーザが手を出し入れしただけで、物を出し入れしなかった場合には、ステップS20へ戻り、前述した処理を繰り返し実行する。
また、本実施形態においては、図7(b)に示す画像データの中から、袖32を排除して、物33と手34を別に検知するように構成することが好ましい。尚、物33と手34を別に検知するに際しては、色の違いで検知するように構成されている。このように構成することによって、図7(c)に示すように、物33と手34について、それぞれ画素の変化量を示す画像データ35を作成することができる。この画像データ35によって、物33と手34それぞれで画素の変化量を見ることができる。
また、本実施形態においては、冷蔵室2内の上部の棚板14の上側には、2個のカメラ16、17が配設されている。これら2個のカメラ16、17による撮影のメリットを説明する。図8(a)に示すように、第1カメラ16と物33及び手34との位置関係がずれている場合、第1カメラ16により撮影された画像データには、図8(b)に示すように、物33が途切れて撮影されてしまう。このような場合に、図8(c)に示すように、物33の側方にある第2カメラ17により物33及び手34を撮影すると、撮影された画像データには、図8(d)に示すように、物33の全体像が撮影される。従って、いずれかのカメラ16、17によって物33の全体像を捕らえて撮影することができる。そして、これら2枚の画像データについては、画素数や、写りの程度に応じて、物33の全体像がよく写っているものを、物の画像データとして保存部22bに保存するように構成されている。
このような構成の本実施形態においては、冷蔵庫の開口部周辺に配設され開口部を通過する物を撮影するカメラ16~21を備え、カメラ16~21により撮影された画像データの変化量に基づいて物の出し入れを検知する制御部22を備えるように構成した。この構成によれば、カメラ16~21により撮影された画像データの変化量に基づいて物の出し入れを検知するので、棚の奥に隠れている物を確認できることから、冷蔵室2、野菜室3、冷凍室4内に収納されている物をほとんど漏れなく確認することができる。従って、庫内に出し入れされた物の確認結果に基づいて庫内の収納物を自動的に管理することが可能となる。
また、本実施形態では、検知された物であって庫内に収納された物の画像データを保存部22bに保存するように構成したので、保存した画像データに基づいてデータ処理することができるから、庫内の収納物をきめ細かく管理できる。
上記実施形態では、物を収納していない冷蔵庫のドアを開けたときに、カメラ16~21により撮影された画像データをテンプレート画像として保存し、このテンプレート画像と、カメラ16~21により物を撮影した画像データとを比較することにより、画像データの変化量を抽出するように構成した。この構成によれば、画像データの変化量を正確に検出することができる。
上記実施形態では、庫内に手を入れてから手を出すまで、カメラ16~21により連続的に撮影し、撮影された全画像データの中において、物が写っている画像データが、前半に撮影されたものであるときには、物が庫内に入ったと判断し、後半に撮影されたものであるときには、物が庫内から出たと判断するように構成した。この構成によれば、庫内に物が入れられたか、庫内から物が取り出されたかを正確に判定することができる。
上記実施形態では、画像データの中から手の画像を抽出することにより、手と物を別に検知するように構成したので、庫内への物の出し入れ、即ち、物の移動を正確に検出することができる。
上記実施形態では、画像データの中から手と物を検出するときに、袖部分の画像を排除するように構成したので、不必要な画像情報を排除できることから、手と物を正確に検知できる。
上記実施形態では、冷蔵庫の開口部周辺に複数のカメラ16~21を配設するように構成したので、複数のカメラ16~21により撮影された画像データの中から物の全体像が良好に写っているものを選択して保存することができる。
上記実施形態では、保存部22bに保存されている画像データと、庫内から物を取り出したときの物の画像データを比較し、同じ物が撮影されている画像データを保存部22bから削除するように構成した。この構成によれば、庫内から取り出された物の画像データを自動的に削除することができる。
上記実施形態では、画像処理のための画像データを取得開始する時点は、物や手がカメラ16~21により撮影開始されたときとし、画像データが変化しなくなったときに、画像データの取得を終了するように構成した。この構成によれば、画像データの撮影や取得を必要最小限とすることができ、無駄なデータ処理を無くすことができる。
(第2実施形態)
図9は、第2実施形態を示すものである。尚、第1実施形態と同一構成には同一符号を付している。この第2実施形態では、画像データの画像認識処理等の計算に使用する画素数を削減するように構成した。
具体的には、図9(a)に示すように、第1カメラ16により物33と手34を撮影した場合、図9(b)に示すような画像データが撮影される。第2実施形態では、画像データの画素を処理するときに、図9(c)に示すように、画素の縦列について、1画素分ずつ画素の縦列を飛ばして計算するようにし、また、画素の変化が無いところでは、計算する画素のデータ量を大幅に削減するように構成した。これにより、画素データの計算回数を半分以下に抑えることができるため、画像処理に要する時間を大幅に削減することができる。
尚、上述した以外の第2実施形態の構成は、第1実施形態の構成と同じ構成となっている。従って、第2実施形態においても、第1実施形態とほぼ同じ作用効果を得ることができる。
(第3実施形態)
図10ないし図13は、第3実施形態を示すものである。尚、第1実施形態と同一構成には同一符号を付している。この第3実施形態では、制御部22の保存部22bに保存された複数の画像データを、情報端末30のディスプレイに表示して閲覧可能なように構成した。
図10に示すように、制御部22は、保存部22bに保存された複数の画像データを、無線通信部31及びインターネット等を介して情報端末30である例えばパソコン36に送信するように構成され、パソコン36においては、受信した画像データをディスプレイ37に表示するように構成されている。制御部22は、通信制御部としての機能を有する。尚、上記画像データには、撮影日時の情報、画像を撮影したカメラの設置位置の情報、物の収納位置の情報、物の種類や形状や色等の情報が付属されていることから、パソコン36において、上記各情報毎に画像データを検索したりソートしたりすることができ、ユーザが知りたい画像データを選択して閲覧することが可能なようになっている。
図11ないし図13には、保存部22bに保存された複数の画像データを、無線通信部31及びインターネット等を介して情報端末30である例えばスマートフォン38に送信し、スマートフォン38において受信した画像データをディスプレイ39に表示するように構成した例を示す。
図11においては、画像データを、時間・日付別にグループ分けして表示している。図12においては、画像データを、写っている物の色別にグループ分けして表示している。図13においては、画像データを、画像を撮影したカメラの設置場所別にグループ分けして表示している。
また、本実施形態においては、制御部22は、冷蔵庫の操作パネルに設けられたディスプレイ29に、保存部22bに保存された複数の画像データを表示することが可能なように構成されている。この構成の場合も、画像データに付属する上記各情報毎に画像データを検索したりソートしたりすることができ、ユーザが知りたい画像データを選択して表示することが可能なように構成されている。制御部22は、表示制御部としての機能を有する。
尚、上述した以外の第3実施形態の構成は、第1実施形態の構成と同じ構成となっている。従って、第3実施形態においても、第1実施形態とほぼ同じ作用効果を得ることができる。
(その他の実施形態)
以上説明した複数の実施形態に加えて以下のような構成を加えても良い。
上記各実施形態では、冷蔵室2内の下段の棚板15の上側及び下側の収納空間においては、冷蔵室2の内側面に第3カメラ18、第4カメラ19を設けるように構成したが、各収納空間の天井部にもカメラを配設するように構成しても良い。
また、上記各実施形態では、野菜室3または冷凍室4内においては、各天井部に第5カメラ20、第6カメラ21を設けるように構成したが、野菜室3または冷凍室4の各内側面にもカメラを配設するように構成しても良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
図面中、1は本体、2は冷蔵室、3は野菜室、4は冷凍室、7は冷蔵室用扉、8は冷蔵室用扉、11は野菜室用扉、12は冷凍室用扉、14、15は棚板、16は第1カメラ、17は第2カメラ、18は第3カメラ、19は第4カメラ、20は第5カメラ、21は第6カメラ、22は制御部(検知部、保存部)、23は冷蔵用冷却機構、24は冷凍用冷却機構、25は照明部、26は冷蔵室扉スイッチ、27は野菜室扉スイッチ、28は冷凍室扉スイッチ、29はディスプレイ、30は情報端末、31は無線通信部、32は袖、33は物、34は手である。

Claims (11)

  1. 冷蔵庫の開口部周辺に配設され、前記開口部を通過する物を撮影するカメラと、
    前記カメラにより撮影された画像データの変化量に基づいて物の出し入れを検知する検知部とを備え、
    前記検知部は、冷蔵庫の開口部が閉じているか否かを判断し、冷蔵庫の開口部が閉じていない場合に、庫内に手を入れてから手を出すまで、前記カメラにより連続的に撮影し、庫内に手を入れてから手を出すまでの期間内に撮影された全画像データに基づいて物の出し入れを検知する冷蔵庫。
  2. 前記検知部により検知された物であって庫内に収納された物の画像データを保存する保存部を備えた請求項1記載の冷蔵庫。
  3. 前記検知部は、物を収納していない冷蔵庫のドアを開けたときに、前記カメラにより撮影された画像データをテンプレート画像として保存し、このテンプレート画像と、前記カメラにより物を撮影した画像データとを比較することにより、画像データの変化量を抽出するように構成された請求項2記載の冷蔵庫。
  4. 前記検知部は、撮影された全画像データの中において、物が写っている画像データが、前半に撮影されたものであるときには、物が庫内に入ったと判断し、後半に撮影されたものであるときには、物が庫内から出たと判断するように構成された請求項1記載の冷蔵庫。
  5. 前記検知部は、画像データの中から手の画像を抽出することにより、手と物を別に検知するように構成された請求項1から4のいずれか一項記載の冷蔵庫。
  6. 前記検知部は、画像データの中から手と物を検出するときに、袖部分の画像を排除するように構成された請求項1から5のいずれか一項記載の冷蔵庫。
  7. 前記カメラは、冷蔵庫の開口部周辺に配設された複数のカメラを有するように構成された請求項1から6のいずれか一項記載の冷蔵庫。
  8. 前記保存部に保存されている画像データと、庫内から物を取り出したときの前記物の画像データを比較し、同じ物が撮影されている画像データを前記保存部から削除するように構成された請求項2記載の冷蔵庫。
  9. 前記検知部は、画像処理のための画像データを取得開始する時点は、物や手が前記カメラにより撮影開始されたときとし、画像データが変化しなくなったときに、画像データの取得を終了するように構成された請求項1から8のいずれか一項記載の冷蔵庫。
  10. 前記検知部は、画像データを画像処理するときに、処理に使用する画素数を減らすように構成された請求項1から9のいずれか一項記載の冷蔵庫。
  11. 前記保存部に保存されている画像データを、冷蔵庫に設けられたディスプレイに表示させる表示制御部と、
    前記保存部に保存されている画像データを、情報端末に送信する通信制御部とを備えた請求項2記載の冷蔵庫。
JP2017232598A 2017-12-04 2017-12-04 冷蔵庫 Active JP7164296B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017232598A JP7164296B2 (ja) 2017-12-04 2017-12-04 冷蔵庫
CN201811363121.7A CN109869966A (zh) 2017-12-04 2018-11-15 冰箱

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017232598A JP7164296B2 (ja) 2017-12-04 2017-12-04 冷蔵庫

Publications (2)

Publication Number Publication Date
JP2019100633A JP2019100633A (ja) 2019-06-24
JP7164296B2 true JP7164296B2 (ja) 2022-11-01

Family

ID=66917005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017232598A Active JP7164296B2 (ja) 2017-12-04 2017-12-04 冷蔵庫

Country Status (2)

Country Link
JP (1) JP7164296B2 (ja)
CN (1) CN109869966A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112484387A (zh) * 2019-09-12 2021-03-12 海信(山东)冰箱有限公司 一种食材管理方法和装置及食材存储设备
JP7467897B2 (ja) * 2019-12-04 2024-04-16 三菱電機株式会社 食材管理システム
DE102020202932A1 (de) 2020-03-06 2021-09-09 BSH Hausgeräte GmbH Bevorratungsvorrichtung
TWI747653B (zh) * 2020-12-08 2021-11-21 台灣松下電器股份有限公司 存取物品的判斷方法及智慧冰箱
US20230058922A1 (en) * 2021-08-17 2023-02-23 Haier Us Appliance Solutions, Inc. Appliance with collocated cameras
JP2023122170A (ja) * 2022-02-22 2023-09-01 日立グローバルライフソリューションズ株式会社 画像管理システム、画像管理サーバ、画像管理方法、および、画像管理システムを生産する方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015152211A (ja) 2014-02-13 2015-08-24 三菱電機株式会社 庫内管理装置及び方法
JP2016197809A (ja) 2015-04-03 2016-11-24 三菱電機株式会社 冷蔵庫撮影制御システム、冷蔵庫、および、冷蔵庫撮影制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001294308A (ja) * 2000-04-10 2001-10-23 Matsushita Electric Ind Co Ltd 物品収納庫
JP6095551B2 (ja) * 2013-10-24 2017-03-15 三菱電機株式会社 冷蔵庫
CN104482715B (zh) * 2014-12-31 2016-08-24 合肥华凌股份有限公司 冰箱中食物的管理方法和冰箱
JP6242537B2 (ja) * 2015-03-25 2017-12-06 三菱電機株式会社 冷蔵庫
CN205316806U (zh) * 2015-09-10 2016-06-15 武克易 三开门智能显示冰箱
US9784497B2 (en) * 2016-02-03 2017-10-10 Multimedia Image Solution Limited Smart refrigerator
CN105827954B (zh) * 2016-03-10 2018-12-07 北京京东尚科信息技术有限公司 用于容器的图像获取装置及图像处理系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015152211A (ja) 2014-02-13 2015-08-24 三菱電機株式会社 庫内管理装置及び方法
JP2016197809A (ja) 2015-04-03 2016-11-24 三菱電機株式会社 冷蔵庫撮影制御システム、冷蔵庫、および、冷蔵庫撮影制御方法

Also Published As

Publication number Publication date
JP2019100633A (ja) 2019-06-24
CN109869966A (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
JP7164296B2 (ja) 冷蔵庫
KR102023013B1 (ko) 냉장고 및 그 동작 방법
JP6303125B2 (ja) 冷蔵庫及び冷蔵庫システム
JP6877734B2 (ja) 物品貯蔵庫の在庫管理装置
JP6229142B2 (ja) 冷蔵庫及び冷蔵庫システム
JP6296908B2 (ja) 冷蔵庫及びネットワークシステム
KR20120117464A (ko) 냉장고 및 냉장고의 제어방법
JP2015068525A (ja) 冷蔵庫
JP2016196981A (ja) 庫内管理システムおよび庫内管理方法
CN111051799B (zh) 冷藏库
JP6303127B2 (ja) 冷蔵庫
US11335010B2 (en) Methods for viewing and tracking stored items
JP7012263B2 (ja) 冷蔵庫
JP7281755B2 (ja) 冷蔵庫
US20140168396A1 (en) Method for viewing contents of a refrigerator appliance
JP2018124053A (ja) 冷蔵庫
JP7340766B2 (ja) 冷蔵庫
KR102017980B1 (ko) 인공지능을 이용하여 제품을 식별하고 구분된 이미지를 출력하는 냉장고 및 방법
JP2017020697A (ja) 冷蔵庫
JP7289084B2 (ja) 冷蔵庫
JP7289083B2 (ja) 冷蔵庫
US20230316755A1 (en) Refrigerator appliance and methods for tracking stored items in a freezer chamber
KR20150066708A (ko) 부식 재고 알림 기능을 갖는 냉장고 및 이를 이용한 부식 주문시스템
WO2022073430A1 (zh) 制冷电器和用户识别的方法
JP2023099664A (ja) 冷蔵庫

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211202

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211202

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211217

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211221

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220128

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220201

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220315

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220531

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220713

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220830

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220927

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221020

R150 Certificate of patent or registration of utility model

Ref document number: 7164296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150