JP6850330B2 - 食品管理方法、食品管理システム、冷蔵庫 - Google Patents
食品管理方法、食品管理システム、冷蔵庫 Download PDFInfo
- Publication number
- JP6850330B2 JP6850330B2 JP2019181324A JP2019181324A JP6850330B2 JP 6850330 B2 JP6850330 B2 JP 6850330B2 JP 2019181324 A JP2019181324 A JP 2019181324A JP 2019181324 A JP2019181324 A JP 2019181324A JP 6850330 B2 JP6850330 B2 JP 6850330B2
- Authority
- JP
- Japan
- Prior art keywords
- food
- period
- refrigerator
- inventory
- cloud server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
- Devices That Are Associated With Refrigeration Equipment (AREA)
Description
図1の冷蔵庫1は家屋内に設置されたものであり、断熱性のキャビネット2を有している。このキャビネット2は前面が開口する縦長な箱状をなすものであり、キャビネット1内には上から下に向けて順に冷蔵室3と野菜室4と冷凍室5が形成されている。このキャビネット1にはF扉6が装着されており、冷凍室5の前面はF扉6が操作されることに応じて開閉される。
1)RR扉10の閉鎖状態でLR扉9が開放状態から閉鎖状態とされたこと。
2)LR扉9の閉鎖状態でRR扉10が開放状態から閉鎖状態とされたこと。
3)LR扉9およびRR扉10の双方の開放状態でLR扉9およびRR扉10の双方が閉鎖状態とされたこと。
[1]撮像制御装置25の処理内容
[2]クラウドサーバ28の処理内容
[2−1]画像データ処理1
[2−2]画像データ処理2
図11の画像解析処理1はクラウドサーバ28が画像データ処理1を終えた場合に起動するものであり、クラウドサーバ28は画像解析処理1を起動した場合にはステップS31のキャベツ解析処理とステップS32の長ネギ解析処理とステップS33のキュウリ解析処理へ順に移行する。
クラウドサーバ28はステップS31のキャベツ解析処理へ移行すると、今回記憶領域Vおよび前回記憶領域VのそれぞれにキャベツCAの食品データが記憶されているか否かを判断する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ28は今回記憶領域VのみにキャベツCAの食品データが記憶されていると判断した場合にはキャベツCAの在庫期間CAを(0)にリセットする。即ち、使用者が野菜容器17内にキャベツCAを新たに投入した場合には在庫期間CAがリセットされる。
クラウドサーバ28は図11のステップS32の長ネギ解析処理へ移行すると、今回記憶領域Vおよび前回記憶領域Vのそれぞれに長ネギGの食品データが記憶されているか否かを判断する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ28は今回記憶領域Vのみに長ネギGの食品データが記憶されていると判断した場合には長ネギGの在庫期間Gを(0)にリセットする。即ち、使用者が野菜容器17内に長ネギGを新たに投入した場合には在庫期間Gがリセットされる。
[2−2−3]キュウリ解析処理
図12の画像解析処理2はクラウドサーバ28が画像データ処理2を終えた場合に起動するものであり、クラウドサーバ28は画像解析処理2を起動した場合にはステップS41の納豆解析処理とステップS42の紙パック解析処理とステップS43のビール解析処理とステップS44の卵解析処理へ順に移行する。
クラウドサーバ28は図12のステップS41の納豆解析処理へ移行すると、今回記憶領域Rおよび前回記憶領域Rのそれぞれに納豆Nの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ28は納豆Nの食品データの数を判定した場合には今回記憶領域Rおよび前回記憶領域R間で数の判定結果を比較する。この納豆Nの数は食品の在庫情報に相当する。
クラウドサーバ28は図12のステップS42の紙パック解析処理へ移行すると、今回記憶領域Rおよび前回記憶領域Rのそれぞれに紙パック入り牛乳PMの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ28は紙パック入り牛乳PMの食品データの数を判定した場合には今回記憶領域Rおよび前回記憶領域R間で数の判定結果を比較する。この紙パック入り牛乳PMの数は在庫情報に相当する。
クラウドサーバ28は図12のステップS43のビール解析処理へ移行すると、今回記憶領域Rおよび前回記憶領域RのそれぞれにビールBの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ28はビールBの食品データの数を判定した場合には今回記憶領域Rおよび前回記憶領域R間で数の判定結果を比較する。このビールBの数は食品の在庫情報に相当する。
クラウドサーバ28は図12のステップS44の卵解析処理へ移行すると、今回記憶領域Rおよび前回記憶領域Rのそれぞれに卵EGの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ28は卵EGの食品データの数を判定した場合には今回記憶領域Rおよび前回記憶領域R間で数の判定結果を比較する。この卵EGの数は食品の在庫情報に相当する。
クラウドサーバ28はパソコン29からの情報要求指令を受信した場合にパソコン29に在庫情報を送信するものであり、携帯端末32からの情報要求指令を受信した場合には携帯端末32に在庫情報を送信する。パソコン29はクラウドサーバ28からの在庫情報を受信した場合に在庫情報の受信結果に応じてディスプレイ30に在庫一覧画面を表示するものであり、携帯端末32はクラウドサーバ28からの在庫情報を受信した場合に在庫情報の受信結果に応じてタッチパネルディスプレイ33に在庫一覧画面を表示する。
冷蔵庫1内の撮像結果から冷蔵庫1内に収納された食品の在庫情報として数または大きさまたは長さを検出し、当該食品についての今回の在庫情報の検出結果を前回の検出結果と比較することに応じて当該食品の在庫期間を管理した。従って、使用者が在庫期間を入力する手間とバーコード等を読取らせる手間と食品に専用のICタグを付加する手間が不要になるので、在庫期間の管理が簡単になる。
図14はクラウドサーバ28に予め記憶された紙パック入り牛乳PM用の判定データである。図14の(a)は「未開封」の紙パック入り牛乳PMに関するものであり、図14の(b)は「開封済」の紙パック入り牛乳PMに関するものであり、両者は注ぎ口の形状が相違する。
紙パック入り牛乳PMが「未開封」および「開封済」のいずれであるかを判定し、「未開封」から「開封済」に変化したと判定した場合に在庫期間PMをリセットしたので、紙パック入り牛乳PMが開封されたことを基準に在庫期間PMを正確に管理できる。
クラウドサーバ28は図12のステップS44の卵解析処理を終えると、チューブ解析処理へ移行する。このチューブ解析処理は、図15に示すように、冷蔵室3の左ポケット13内に透明なチューブ入りマヨネーズTBが縦向きに入れられている場合にチューブ入りマヨネーズTBの在庫期間TBを検出するものであり、クラウドサーバ28はチューブ解析処理で今回記憶領域Rおよび前回記憶領域Rのそれぞれにチューブ入りマヨネーズTBの食品データが記憶されているか否かを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較するものであり、チューブの輪郭形状を検出することで行われる。
冷蔵庫1内の撮像結果からチューブ入りマヨネーズTBの在庫情報として残量を検出し、チューブ入りマヨネーズTBについての今回の在庫情報の検出結果が前回の検出結果に比べて多い場合に新たなチューブ入りマヨネーズTBが冷蔵庫1内に入庫されたと判定したので、在庫期間を正確に管理できる。
クラウドサーバ28は図12のステップS44の卵解析処理を終えると、ペットボトル解析処理へ移行する。このペットボトル解析処理は、図16に示すように、冷蔵室3の右ポケット14内に透明なペットボトル入り飲料PEが縦向きに保存されている場合にペットボトル入り飲料PEの在庫期間PEを検出するものであり、クラウドサーバ28は今回記憶領域Rおよび前回記憶領域Rにペットボトル入り飲料PEの食品データが記憶されているか否かを判断する。この処理はペットボトルの輪郭形状を判断することで行われるものである。
上記実施例4によれば次の効果を奏する。
図17はクラウドサーバ28に予め記憶されたペットボトル入り飲料PE用の判定データである。図17の(a)は「未開封」のペットボトル入り飲料PEに関するものであり、図17の(b)は「開封済」のペットボトル入り飲料PEに関するものであり、両者はキャップCPおよびフランジF間に隙間があるか否かで相違する。
ペットボトル入り飲料PEが「未開封」および「開封済」のいずれであるかを判定し、「未開封」から「開封済」に変化したと判定した場合に在庫期間PEをリセットしたので、ペットボトル入り飲料PEが開封されたことを基準に在庫期間PEを管理できる。
クラウドサーバ28は図12のステップS44の卵解析処理を終えると、トレイ解析処理へ移行する。このトレイ解析処理は、図18に示すように、冷蔵室3内に白色のトレイTが保存されている場合にトレイTに盛られた中身Sの種類を判定し、中身Sの在庫期間Sを計測するものであり、クラウドサーバ28はトレイ解析処理へ移行した場合には今回記憶領域Rおよび前回記憶領域RのそれぞれにトレイTの食品データが記憶されているか否かを判断する。
冷蔵庫1内の撮像結果から食品としてトレイTに入れられた中身Sを検出した。従って、中身Sの大きさをトレイTに影響されることなく正確に検出できるので、在庫期間を正確に管理できる。
クラウドサーバ28は図12のステップS44の卵解析処理で今回記憶領域Rの卵EGの食品データの数が前回記憶領域Rの卵EGの食品データの数に比べて多いと判断すると、前回記憶領域Rの卵EGの食品データについて輪郭線および色彩等を個別に今回記憶領域Rの卵EGの食品データと比較する。このクラウドサーバ28は今回記憶領域Rの卵EGの食品データ毎に在庫期間EGを計測するものであり、今回記憶領域Rの卵EGの食品データのうち前回記憶領域Rの卵EGの食品データと同一のものについては在庫期間EGに経過期間Tの算出結果を加算することで在庫期間EGを更新し、今回記憶領域Rの卵EGの食品データのうち前回記憶領域Rの卵EGの食品データと異なるものについては在庫期間EGをリセットする。
複数の卵EGを個別に認識し、卵EG毎に在庫期間EGを管理したので、冷蔵庫1内に卵EGが残っている状態で卵EGが足された場合にどの卵EGが古くてどの卵EGが新しいかを検出できる。従って、古い卵EGを新しい卵EGとは異なる色彩で携帯端末32に表示することができるので、どの卵EGの保存期間が長くて早く消費するべきかを使用者に簡単に知らせることができる。
冷蔵室3内には、図20に示すように、マーキング34が施されている。このマーキング34は使用者に卵EGを置く場所を報知するものであり、最下段の棚板7の左端部に設定されている。
卵EGを冷蔵庫1内のどこに置くかをマーキング34で指定したので、使用者が卵EGをマーキング34上に載せることで画像データRのうち高解像度で処理される領域内に配置できる。従って、卵EGを個別に認識する場合に解像度が高まるので、卵EGの認識精度が向上する。
冷蔵室3内には、図21に示すように、庫内カメラ35が固定されている。この庫内カメラ35は冷蔵室3内を後から前に向けて撮像するものであり、撮像制御装置25は図5のステップS1で主制御装置21からの撮像指令Rを検出した場合に庫内カメラ35を庫内灯15の点灯状態でオンすることに応じて冷蔵室3内を撮像し、庫内カメラ35からの画像データDの検出結果をクラウドサーバ28に送信する。この庫内カメラ35は撮像器に相当する。
冷蔵庫1の冷蔵室3内をRカメラ23および庫内カメラ35によって複数の位置から撮像し、Rカメラ23の撮像結果および庫内カメラ35の撮像結果から食品の在庫情報を検出した。従って、食品を複数のアングルで撮像できるので、食品の在庫情報を正確に検出できる。
図22の在庫変動画面は携帯端末32のタッチパネルディスプレイ33に表示されるであり、携帯端末32がクラウドサーバ28からの画像データに応じて表示する。この画像データはクラウドサーバ28が作成するものであり、クラウドサーバ28は携帯端末32からの画像要求指令を受信することで携帯端末32に画像データを送信する。この在庫変動画面は食品(卵EG)の数の検出結果を在庫期間の更新結果と共に日毎に表示するものであり、タッチパネルディスプレイ33には食品の数の検出結果が少なくなった時点(2個/12/6)で使用者に「残りが少なくなったので、追加して下さい」が表示される。
Claims (9)
- 冷蔵庫内を撮像し、
前記冷蔵庫内の撮像結果から前記冷蔵庫内に収納された食品の在庫情報として食品の種類毎の態様を検出し、
以前の撮像結果よりも今回の撮像結果における前記食品が所定値よりも大きくなっていた場合に新たな食品が投入されたと判断するとともに、以前の撮像結果よりも今回の撮像結果における前記食品が所定値よりも大きくなっていない場合に在庫されていた食品であると判断することで前記食品の在庫期間を管理する食品管理方法。 - 前記冷蔵庫内の撮像結果から前記食品の在庫情報として数を検出し、
前記食品についての在庫情報の検出結果が当該検出結果より前の検出結果に比べて多い場合に前記食品として新たなものが前記冷蔵庫内に入庫されたとする請求項1に記載の食品管理方法。 - 前記冷蔵庫内の撮像結果から前記食品の在庫情報として長さまたは量を検出し、
前記食品についての在庫情報の検出結果が当該検出結果より前の検出結果に比べて長い場合または多い場合に前記食品として新たなものが前記冷蔵庫内に入庫されたとする請求項1に記載の食品管理方法。 - 前記冷蔵庫内の撮像結果から前記食品として容器内に入れられたものを検出する請求項1から3のいずれか一項に記載の食品管理方法。
- 前記食品として複数のものを個別に認識し、個別の前記食品毎に在庫期間を管理する請求項1から4のいずれか一項に記載の食品管理方法。
- 前記冷蔵庫内の所定領域を複数の位置から撮像し、
前記冷蔵庫内の複数の撮像結果から前記食品の在庫情報を検出する請求項1から5のいずれか一項に記載の食品管理方法。 - 前記食品の在庫期間が所定期間に比べて長い場合には、前記冷蔵庫内の撮像結果を表示する場合に在庫期間が所定期間に比べて長いことを報知するための表示をする請求項1から6のいずれか一項に記載の食品管理方法。
- 冷蔵庫内を撮像する撮像器と、
前記撮像器の撮像結果から前記冷蔵庫内に収納された食品の在庫情報として食品の種類毎の態様を検出する在庫情報検出手段と、
以前の撮像結果よりも今回の撮像結果における前記食品が所定値よりも大きくなっていた場合に新たな食品が投入されたと判断するとともに、以前の撮像結果よりも今回の撮像結果における前記食品が所定値よりも大きくなっていない場合に在庫されていた食品であると判断することで前記食品の在庫期間を管理する在庫期間管理手段と、を備えた食品管理システム。 - 冷蔵庫内を撮像する撮像器と、
前記撮像器の撮像結果から前記冷蔵庫内に収納された食品の在庫情報として食品の種類毎の態様を検出する在庫情報検出手段と、
以前の撮像結果よりも今回の撮像結果における前記食品が所定値よりも大きくなっていた場合に新たな食品が投入されたと判断するとともに、以前の撮像結果よりも今回の撮像結果における前記食品が所定値よりも大きくなっていない場合に在庫されていた食品であると判断することで前記食品の在庫期間を管理する在庫期間管理手段と、を備えた冷蔵庫。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019181324A JP6850330B2 (ja) | 2019-10-01 | 2019-10-01 | 食品管理方法、食品管理システム、冷蔵庫 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019181324A JP6850330B2 (ja) | 2019-10-01 | 2019-10-01 | 食品管理方法、食品管理システム、冷蔵庫 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015062538A Division JP6600145B2 (ja) | 2015-03-25 | 2015-03-25 | 食品管理方法および食品管理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021028652A Division JP7084517B2 (ja) | 2021-02-25 | 2021-02-25 | 食品管理方法、食品管理システム、冷蔵庫 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020003207A JP2020003207A (ja) | 2020-01-09 |
JP6850330B2 true JP6850330B2 (ja) | 2021-03-31 |
Family
ID=69099626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019181324A Active JP6850330B2 (ja) | 2019-10-01 | 2019-10-01 | 食品管理方法、食品管理システム、冷蔵庫 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6850330B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112413989B (zh) * | 2020-11-18 | 2022-09-06 | 青岛海尔科技有限公司 | 对象监控方法、冰箱、存储介质及电子装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6303127B2 (ja) * | 2013-03-29 | 2018-04-04 | パナソニックIpマネジメント株式会社 | 冷蔵庫 |
-
2019
- 2019-10-01 JP JP2019181324A patent/JP6850330B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020003207A (ja) | 2020-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018086502A1 (zh) | 冰箱的控制方法及冰箱 | |
JP2019070467A (ja) | 冷蔵庫 | |
JP6600145B2 (ja) | 食品管理方法および食品管理システム | |
JP6324360B2 (ja) | 冷蔵庫及びそれを含むネットワークシステム | |
US10027866B2 (en) | Refrigerators having internal content cameras, and methods of operating the same | |
CN105444511B (zh) | 一种冰箱的智能温控方法、装置及冰箱 | |
US20220284684A1 (en) | Augmented reality feedback of inventory for an appliance | |
CN107423421A (zh) | 菜谱推荐方法、装置和冰箱 | |
EP3719424B1 (en) | Refrigerator and refrigerator system | |
JP6157822B2 (ja) | 冷蔵庫 | |
CN204115391U (zh) | 一种智能调温冰箱 | |
CN104197632A (zh) | 一种智能调温冰箱 | |
CN105222504B (zh) | 冰箱及其控制方法 | |
JP2016196981A (ja) | 庫内管理システムおよび庫内管理方法 | |
CN107763958A (zh) | 一种智能冰箱 | |
CN108224896A (zh) | 冰箱管理设备、系统、冰箱及移动终端 | |
JP2018035983A (ja) | 食品貯蔵庫、庫内撮影システム | |
JP2019070478A (ja) | 冷蔵庫 | |
WO2021027655A1 (zh) | 查看和跟踪储存物品的方法 | |
JP6850330B2 (ja) | 食品管理方法、食品管理システム、冷蔵庫 | |
JP7113281B2 (ja) | 冷蔵庫 | |
WO2019069718A1 (ja) | 冷蔵庫 | |
JP2022003299A (ja) | 冷蔵庫 | |
JP7084517B2 (ja) | 食品管理方法、食品管理システム、冷蔵庫 | |
WO2022073430A1 (zh) | 制冷电器和用户识别的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200818 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210305 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6850330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |