JP6095551B2 - refrigerator - Google Patents
refrigerator Download PDFInfo
- Publication number
- JP6095551B2 JP6095551B2 JP2013221557A JP2013221557A JP6095551B2 JP 6095551 B2 JP6095551 B2 JP 6095551B2 JP 2013221557 A JP2013221557 A JP 2013221557A JP 2013221557 A JP2013221557 A JP 2013221557A JP 6095551 B2 JP6095551 B2 JP 6095551B2
- Authority
- JP
- Japan
- Prior art keywords
- refrigerator
- door
- storage
- inventory information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000005192 partition Methods 0.000 claims description 12
- 238000000638 solvent extraction Methods 0.000 claims 1
- 235000013311 vegetables Nutrition 0.000 description 50
- 235000013305 food Nutrition 0.000 description 35
- 239000013598 vector Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 7
- 238000007710 freezing Methods 0.000 description 7
- 230000008014 freezing Effects 0.000 description 7
- 239000002184 metal Substances 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000009413 insulation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000001816 cooling Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005057 refrigeration Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000006694 eating habits Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Description
本発明は、冷蔵庫に関するものである。 The present invention relates to a refrigerator.
近年、一般家庭における食生活の多様化に伴い、冷蔵庫には、多種多様な食品が収納、保存されるようになっている。このような背景のもと、冷蔵庫の大容量化が進み、ますます冷蔵庫へ収納、保存される食品は増えている。冷蔵庫内は、常に多くの食品などが収納、保存されている状態にある。このため、ユーザは庫内の収納物を全て把握することは難しく、庫内の収納物を確認するだけのために、冷蔵庫の扉を開閉することもある。これにより、結果的に冷蔵庫の扉の開閉時間及び開閉回数が増え、余分なエネルギーを消費してしまう。また、ユーザが庫内の収納物を把握していないために、消費期限切れにより食品を無駄にしてしまうこともある。このように、ユーザが庫内の収納物を把握できないことを理由として、エネルギーや食品を無駄にしてしまうという問題が生じる。 In recent years, with the diversification of eating habits in general households, various kinds of foods are stored and stored in refrigerators. Against this background, the capacity of refrigerators has been increasing, and more and more foods are stored and stored in refrigerators. The refrigerator is always in a state where many foods are stored and stored. For this reason, it is difficult for the user to grasp all the items stored in the warehouse, and the door of the refrigerator may be opened and closed just to confirm the items stored in the warehouse. As a result, the opening / closing time and the number of opening / closing times of the refrigerator door increase, and extra energy is consumed. Moreover, since the user does not grasp the stored items in the warehouse, the food may be wasted due to expiration of the expiration date. Thus, there arises a problem that energy and food are wasted because the user cannot grasp the contents stored in the storage.
以上のような問題に対して、従来から様々な在庫管理機能が提案されている。特許文献1には、ペンタッチ入力用ペンにより入力された品目、数量、賞味期限、保存場所などの食料品の在庫状況を食料品記憶部に記憶し、食料品記憶部のデータを表示装置に出力する食料品在庫管理装置が開示されている。
Conventionally, various inventory management functions have been proposed for the above problems. In
特許文献2には、購入品のレシート若しくはバーコードの読取り、又は入力された音声の認識によって、冷蔵庫に格納される食品の情報を登録する在庫管理冷蔵庫が開示されている。
特許文献3には、食品画像処理手段が食品の画像を取り込んだのち所定時間内に冷凍冷蔵庫の扉の開閉を検知したときその食品が入庫されたと判定し、冷凍冷蔵庫の扉の開閉を検知したのち所定時間内に食品画像を取り込み、かつその食品が在庫食品情報の中から選択できた場合にはその食品が出庫されたと判定する、冷凍冷蔵庫の食品在庫管理装置が開示されている。
In
しかしながら、特許文献1〜特許文献3に開示された技術では、冷蔵庫内に物品を収納する際に、食料品の情報の入力操作、レシート等の読取り操作、及び撮影開始操作など、在庫情報を登録するための特別な操作をユーザが行う必要がある。庫内の在庫管理を行うためには、冷蔵庫内に収納される全ての物品について上記のような操作を行う必要があるため、ユーザの手間が大きくなってしまうという問題点があった。
However, in the techniques disclosed in
上記の問題点を解決し得る技術として、特許文献4には、庫内天井の先端及び各棚の先端に取り付けられた撮影手段により直下の棚面及び庫内底面を撮影し、撮影された画像から各棚及び底面に収納された物品の収納位置情報を生成し、撮影が行われるごとに、新たに生成された収納位置情報と記憶手段に記憶されている収納位置情報とを比較して物品の入出庫を判定し、入庫と判定された物品に対して撮影日時情報と収納位置情報とを在庫情報として生成する、冷蔵庫の在庫管理装置が開示されている。
As a technique that can solve the above-mentioned problem,
しかしながら、特許文献4に開示された冷蔵庫の在庫管理装置では、庫内天井及び各棚のそれぞれに撮影手段を設置する必要がある。これにより、撮影手段の設置スペースを確保するために庫内の有効な収納スペースが減少してしまったり、複数の撮影手段が必要になるため冷蔵庫の製造コストが増加してしまうという新たな問題点が生じる。
However, in the refrigerator inventory management device disclosed in
本発明は、上述のような問題点を解決するためになされたものであり、ユーザの手間を軽減しつつ庫内の在庫管理を行うことができ、かつ庫内の有効な収納スペースの減少や製造コストの増加を抑えることができる冷蔵庫を提供することを目的とする。 The present invention has been made in order to solve the above-described problems, and can manage inventory in the warehouse while reducing the labor of the user, and reduce the effective storage space in the warehouse. It aims at providing the refrigerator which can suppress the increase in manufacturing cost.
本発明に係る冷蔵庫は、貯蔵室と、前記貯蔵室内に設けられた棚と、前記貯蔵室を開閉する扉と、前記貯蔵室の開口部を通過する対象物をあらかじめ設定された時間間隔で撮影して複数の画像を生成する撮影手段と、前記貯蔵室内の在庫情報を記憶する記憶部を有し、前記複数の画像に基づいて前記在庫情報を更新する制御装置と、を備え、前記撮影手段は、前記貯蔵室内であって前記棚よりも前記開口部側に、前記開口部が撮影範囲に含まれるように設けられており、前記撮影手段は、前記扉が開状態になると、前記開口部の手前側に突出するものであり、前記制御装置は、前記複数の画像に基づく演算処理を行って前記対象物の進行方向を検出し、前記進行方向に基づいて前記対象物が前記貯蔵室に入庫されたこと又は前記対象物が前記貯蔵室から出庫されたことを判定する入出庫判定を行い、前記入出庫判定の結果に基づいて前記在庫情報を更新することを特徴とするものである。 The refrigerator according to the present invention photographs a storage room, a shelf provided in the storage room, a door that opens and closes the storage room, and an object passing through the opening of the storage room at predetermined time intervals. An imaging unit that generates a plurality of images, and a control unit that has a storage unit that stores the inventory information in the storage chamber and updates the inventory information based on the plurality of images, and the imaging unit Is provided in the storage chamber and closer to the opening than the shelf so that the opening is included in the photographing range, and the photographing means opens the opening when the door is opened. The control device performs a calculation process based on the plurality of images to detect a traveling direction of the target object, and the target object enters the storage chamber based on the traveling direction. It has been received or the object is Perform goods movements determination determining that it has been left from the storehouse chamber, it is characterized in updating the inventory information based on the previous inlet-outlet of the determination result.
本発明によれば、ユーザが対象物を貯蔵室に対して出し入れするだけで、特別な操作を行うことなく在庫情報を更新することができる。したがって、ユーザの手間を軽減しつつ庫内の在庫管理を行うことができる。 According to the present invention, it is possible to update the inventory information without performing a special operation only by the user putting the object in and out of the storage room. Therefore, inventory management in the warehouse can be performed while reducing the time and effort of the user.
また、貯蔵室の開口部を撮影範囲に含む撮影手段を設けることにより、庫内天井及び各棚のそれぞれに撮影手段を設けるまでもなく貯蔵室の在庫管理を行うことができる。したがって、庫内の有効な収納スペースの減少や冷蔵庫の製造コストの増加を抑えることができる。 In addition, by providing an imaging unit including the opening of the storage room in the imaging range, it is possible to perform inventory management of the storage room without providing an imaging unit on each of the ceiling and each shelf. Therefore, the reduction of the effective storage space in a store | warehouse | chamber and the increase in the manufacturing cost of a refrigerator can be suppressed.
実施の形態1.
本発明の実施の形態1に係る冷蔵庫について図1〜図11を用いて説明する。なお、図1〜図11を含む以下の図面では、各構成部材の寸法の関係や形状等が実際のものとは異なる場合がある。また、明細書中における各構成部材同士の位置関係(例えば、上下関係等)は、原則として、冷蔵庫1を使用可能な状態に設置したときのものである。
The refrigerator which concerns on
(冷蔵庫の構成)
図1は、本実施の形態に係る冷蔵庫1の構成を示す正面図である。図2は、本実施の形態に係る冷蔵庫1の構成を示す縦断面図(側面断面図)である。図1及び図2に示すように、冷蔵庫1は、前面(正面)が開口されて内部に貯蔵空間が形成された断熱箱体90を有している。断熱箱体90は、鋼鉄製の外箱と、樹脂製の内箱と、外箱と内箱との間の空間に充填された断熱材と、を有している。断熱箱体90の内部に形成された貯蔵空間は、1つ又は複数の仕切り部材により、保冷温度帯の異なる複数の貯蔵室に区画されている。本例の冷蔵庫1は、複数の貯蔵室として、最上段に配置された冷蔵室100と、冷蔵室100の下方に配置された切替室200と、切替室200の側方に隣接して切替室200と並列に配置された製氷室300と、切替室200及び製氷室300の下方に配置された冷凍室400と、冷凍室400の下方に配置された最下段の野菜室500と、を備えている。切替室200は、冷凍温度帯(例えば−18℃程度)、冷蔵温度帯(例えば3℃程度)、チルド温度帯(例えば0℃程度)、ソフト冷凍温度帯(例えば−7℃程度)等の各種温度帯に、保冷温度帯を切り替えることができるようになっている。
(Composition of refrigerator)
FIG. 1 is a front view showing the configuration of the
冷蔵室100の前面に形成された開口部には、当該開口部を開閉する回転式の扉8が設けられている。本例の扉8は両開き式(観音開き式)であり、右扉8a及び左扉8bにより構成されている。冷蔵庫1の前面となる扉8(例えば、左扉8b)の外側表面には、操作パネル6が設けられている。操作パネル6は、各貯蔵室の保冷温度等の設定を調節するための操作スイッチ(後述する操作部30)と、各貯蔵室の温度や庫内の在庫情報などを表示する液晶表示部(後述する表示部31)と、を備えている。また、操作パネル6は、操作部と表示部を兼ねるタッチパネルを備えていてもよい。
The opening formed in the front surface of the
冷蔵室100以外の各貯蔵室(切替室200、製氷室300、冷凍室400、野菜室500)は、それぞれ引出し式の扉によって開閉されるようになっている。これらの引出し式の扉は、扉に固定して設けられたフレームを各貯蔵室の左右の内壁面に水平に形成されたレールに対してスライドさせることにより、冷蔵庫1の奥行方向(前後方向)に開閉できるようになっている。野菜室500には、食品等を内部に収納できる収納ケース501が引出し自在に格納されている。収納ケース501は、扉のフレームによって支持されており、扉の開閉に連動して前後方向にスライドするようになっている。同様に、切替室200及び冷凍室400には、食品等を内部に収納できる収納ケース201、401がそれぞれ引出し自在に格納されている。各貯蔵室に設けられる収納ケースの数はそれぞれ1つであってもよいが、冷蔵庫1全体の容量を考慮して整理性などが向上する場合には2つ以上であっても構わない。
Each storage room (the
(冷却機構)
冷蔵庫1の背面側には、各貯蔵室内を冷却する冷却手段の例として、圧縮機2と、冷却器3(蒸発器)と、送風ファン4と、風路5と、が設けられている。圧縮機2及び冷却器3は、不図示の凝縮器及び膨張手段と共に、冷凍サイクルを構成するものである。圧縮機2及び冷却器3により作り出された冷気は、送風ファン4によって送風され、冷蔵庫1の背面の風路5を通って冷凍室400、切替室200、製氷室300及び冷蔵室100に供給される。野菜室500には、冷蔵室100からの戻り冷気が冷蔵室用帰還風路(図示せず)を介して供給される。野菜室500に供給された冷気は、野菜室用帰還風路(図示せず)を通って冷却器3に戻される。各貯蔵室の温度は、各貯蔵室内に設置されたサーミスタ(図示せず)により検知され、あらかじめ設定された温度になるように、風路5に設置されたダンパ(図示せず)の開度、圧縮機2の出力及び送風ファン4の送風量などを調整することで制御される。
(Cooling mechanism)
On the back side of the
制御装置7は、CPU、記憶部、入出力部、タイマ等を備えたマイコンであり、冷蔵庫1の動作を制御するものである。記憶部には、冷蔵庫1の動作プログラム、後述する冷蔵庫1(例えば冷蔵室100)内の在庫情報等が格納されている。
The
(冷蔵室の構成)
冷蔵室100は、扉8の開閉状態を検知する扉開閉検知スイッチ9(扉開閉検知手段の一例)と、扉8の庫内側に設けられた1つ又は複数の扉ポケット10と、冷蔵室100内を複数段の空間に仕切る1つ又は複数の棚11と、冷蔵室100内の下方に設けられたチルドケース12と、を備えている。冷蔵室100の天井には、冷蔵室100内を照明する照明部13と、庫内カメラ14(撮影手段の一例)と、が設けられている。
(Structure of the refrigerator compartment)
The
(庫内カメラ)
図3は、冷蔵庫1の扉8を開いた状態を示す縦断面図である。図3に示すように、庫内カメラ14は、扉8を開いたときの冷蔵室100の開口部付近が撮影可能となるように配置されている。言い換えれば、庫内カメラ14は、扉8を開いたときの冷蔵室100の開口部付近が撮影範囲に含まれるように配置されている。本例では、庫内カメラ14は、冷蔵室100の天井面のうち、棚11よりも開口部側(手前側)となる位置に下向きに設けられている。
(Camera inside)
FIG. 3 is a longitudinal sectional view showing a state where the
図4は、冷蔵庫1の庫内カメラ14で撮影される画像の一例を示す図である。図4に示すように、画像の下部には冷蔵室100の底面の一部が写されており、画像の上部には冷蔵室100外の一部が写されている。このように、冷蔵室100の開口部付近を撮影範囲とすることにより、庫内カメラ14は、冷蔵室100に入出庫される食品等の対象物を必ず撮影することができるようになっている。
FIG. 4 is a diagram illustrating an example of an image captured by the
(機能ブロック)
図5は、冷蔵庫1の構成を示す機能ブロック図である。図1又は図2に示した構成要素と同一の構成要素には同一の符号を付している。図5に示すように、制御装置7は、例えば、サーミスタ32から冷蔵室100内の温度の情報を取得する。制御装置7は、冷蔵室100内の温度が操作パネル6の操作部30で設定された設定温度に維持されるように、記憶部にあらかじめ記憶された動作プログラムに従って、圧縮機2、送風ファン4、ダンパ等の運転状態を制御する。また、制御装置7は、扉8の開閉状態を扉開閉検知スイッチ9により検知し、扉8の開閉状態に基づいて照明部13と庫内カメラ14を動作させる。すなわち、制御装置7は、扉開閉検知スイッチ9からの出力信号に基づいて扉8が開かれたことを検知すると、照明部13を点灯させるとともに、庫内カメラ14を起動させて撮影を開始させる。庫内カメラ14は、冷蔵室100の開口部付近をあらかじめ設定された時間間隔で撮影する。また、制御装置7は、扉開閉検知スイッチ9からの出力信号に基づいて扉8が閉じられたことを検知すると、照明部13を消灯させるとともに、庫内カメラ14での撮影を終了する。制御装置7は、後述するように、庫内カメラ14での撮影により得られた複数の画像を取得し、取得した複数の画像に基づく演算処理を行い、さらに入出庫判定を実施する。制御装置7は、入出庫判定の結果に基づいて冷蔵室100内の在庫情報を更新して記憶し、更新した在庫情報の少なくとも一部を操作パネル6の表示部31に表示させる。
(Function block)
FIG. 5 is a functional block diagram showing the configuration of the
(入出庫判定)
図6は、庫内カメラ14で撮影された一連の画像の例を時系列で示している。図6に示すように、庫内カメラ14では、あらかじめ設定された時間間隔Δt毎に、複数の画像(例えば、静止画像)が得られる。本例では、扉8が開かれたことを検知した直後の時間t0から、扉8が閉じられたことを検知する直前の時間t5まで、時間間隔Δt毎に6枚の画像が得られている。制御装置7は、庫内カメラ14から取得した複数の画像を比較し、画像演算処理を行い、差分をとることにより、動いているものを対象物として抽出する。制御装置7は、複数の画像の差分に基づいて、画像中における対象物の進行方向(進行方向ベクトル)を算出する。制御装置7は、画像中における対象物の進行方向に基づいて、対象物が冷蔵室100に入庫されたこと、又は対象物が冷蔵室100から出庫されたことを判定する。例えば、制御装置7は、対象物の進行方向が画像の下方向、すなわち冷蔵室100の外部から内部に向かう方向であれば、対象物が冷蔵室100に入庫されたと判定する。また、制御装置7は、対象物の進行方向が画像の上方向、すなわち冷蔵室100の内部から外部に向かう方向であれば、対象物が冷蔵室100から出庫されたと判定する。
(Incoming / outgoing judgment)
FIG. 6 shows an example of a series of images taken by the
(画像演算処理)
画像から進行方向を算出する画像演算処理の一例について説明する。図7は、制御装置7で実行される画像演算処理の一例を示す説明図である。図7の(a)列は、時間t0〜時間t5に取得された6枚の画像をそれぞれブロック単位に分割した状態を示している。図7の(b)列は、時間t1〜時間t5の画像のそれぞれにおいて直前(Δt前)の画像から変化があったブロックを示している。図7の(c)列は、時間間隔Δtにおける対象物の進行方向ベクトルを示している。
(Image calculation processing)
An example of image calculation processing for calculating a traveling direction from an image will be described. FIG. 7 is an explanatory diagram showing an example of image calculation processing executed by the
まず制御装置7は、庫内カメラ14から取得した各画像のそれぞれを複数の小さなブロック毎(例えば、画素単位)に分割し、横方向(x方向)及び縦方向(y方向)の位置を表す座標(x,y)を各ブロックに与える(図7の(a)列)。本例では、画像の下方向(冷蔵室100の外部から内部に向かう方向)を+y方向(正方向)としている。
First, the
次に、制御装置7は、時間t1〜時間t5の画像のそれぞれにおいて直前(Δt前)の画像から例えば輝度等に変化があったブロックを判定する。例えば、時間t1の画像と、その直前の時間t0の画像とにおいて、同一座標のブロック同士の輝度L(x,y)を比較して差分をとる。その差分があらかじめ設定された閾値以上である場合には、当該ブロックには変化ありと判定する。ここで、制御装置7は、あらかじめ記憶部に記憶された人間の手や腕の色及び形状の特徴点などの情報に基づき、画像中における人の手及び腕を認識することができるようになっている。制御装置7は、時刻t1の画像において、変化ありと判定したブロックで形成される範囲のうち、人の手及び腕を除いた範囲を対象物のブロック(対象物が動いたブロック)として検出する(図7の(b)列における時間t1の画像のうち「▼」(黒塗りの逆三角形)印を付したブロックの範囲)。同様に、時間t2の画像と、その直前の時間t1の画像とを比較し、対象物が動いたブロックを判定する。時間t2の画像では、動きがあったブロックのうち、直前の時間t1の画像で対象物として検出したブロック(時間t1で動いたブロック)を除いたブロックを、対象物が動いたブロックとして検出する(図7の(b)列における時間t2の画像のうち「▼」(黒塗りの逆三角形)印を付したブロックの範囲)。続いて、時間t3以降の全ての画像について同様の処理を行う。
Next, the
ここで、制御装置7は、動いたブロックのうち、隣り合うブロックは同一物体であると認識し、1枚の画像中に複数の物体が認識される場合には、ブロック数が多い方の物体を対象物として認識する。これにより、影などを対象物として誤認してしまうことを防ぐことができる。なお、直接隣り合うブロックだけでなく、人の手(指、手の甲など)を挟んで間接的に隣り合うブロックを同一物体であると認識するようにしてもよい。
Here, the
次に、制御装置7は、動いたと判定された対象物のブロックの座標から、時間t1〜t2間、時間t2〜t3間、・・・等の各期間における対象物の進行方向ベクトルv1、v2、・・・を算出し(図7の(c)列)、全ての進行方向ベクトルv1、v2、・・・の和である進行方向ベクトルVを算出して記憶部に記憶する。制御装置7は、進行方向ベクトルVのy方向成分が+(正)である場合には対象物が冷蔵室100に入庫されたと判定し、−(負)である場合には対象物が冷蔵室100から出庫されたと判定する。進行方向ベクトルVのy方向成分が0である場合には、対象物が入庫も出庫もされていないと判定する。
Next, the
図8は、制御装置7で実行される画像演算処理の流れの一例を示すフローチャートである。なお、図8に示す画像制御処理は、後述する図11のフローチャートの一部(ステップS110)で呼び出されるサブルーチンである。制御装置7は、時間t0から時間tnまでΔt間隔で撮影されたn+1枚の画像について画像制御処理を実施する。まず、内部変数iに1を代入し(ステップS1101)、時間t1(時間ti)の画像と時間t0(時間ti−1)の画像とを比較し(ステップS1102)、変化ありのブロックを検出する(ステップS1103)。次に、変化ありのブロックで形成される範囲から、人の手及び腕を検出して除外する(ステップS1104)。さらに、変化ありのブロックで形成される範囲から、時間t0で動いたブロックを除外し(ステップS1105)、残りのブロックを時間t1で動いたブロックとして検出する(ステップS1106)。
FIG. 8 is a flowchart illustrating an example of the flow of image calculation processing executed by the
次に、時間t1で動いたブロックのうち隣り合うブロックは同一物体であると認識した上で、時間t1で動いた物体の数mをカウントする(ステップS1107)。物体数mが1である場合(ステップS1108のyes)には、当該物体を対象物とする(ステップS1109)。物体数mが複数である場合(ステップS1110のyes)には、ブロック数が最大の物体を選択し(ステップS1111)、選択した物体を対象物とする(ステップS1109)。物体数mが0である場合(ステップS1110のno)には、対象物がないものとして処理を進める。以上の処理により、時間t1の画像において、動いたと判定された対象物のブロックが特定される。次に、内部変数iに1を加算し(ステップS1112)、ステップS1102〜S1112の処理を繰り返す。 Next, after recognizing that adjacent blocks among the blocks moved at time t1 are the same object, the number m of objects moved at time t1 is counted (step S1107). When the number m of objects is 1 (yes in step S1108), the object is set as a target (step S1109). When the number of objects m is plural (yes in step S1110), the object having the maximum number of blocks is selected (step S1111), and the selected object is set as the target (step S1109). If the number of objects m is 0 (no in step S1110), the process proceeds assuming that there is no object. With the above processing, the block of the object determined to have moved in the image at time t1 is specified. Next, 1 is added to the internal variable i (step S1112), and the processing of steps S1102 to S1112 is repeated.
ステップS1102〜S1112の処理をn回繰り返すと(ステップS1113のyes)、時間t1から時間tnまでの全ての画像において、動いたと判定された対象物のブロックが特定される。次に、ステップS1114の処理に移行し、進行方向ベクトルの算出を行う。 When the processes of steps S1102 to S1112 are repeated n times (yes in step S1113), the block of the object determined to have moved is specified in all the images from time t1 to time tn. Next, the process proceeds to step S1114, and the traveling direction vector is calculated.
まず、内部変数iに2を代入し(ステップS1114)、時間t2(時間ti)の画像と時間t1(時間ti−1)の画像とのそれぞれにおいて、対象物のブロックの代表点座標(例えば、対象物のブロックの中心座標)t2(x2,y2)及びt1(x1,y1)を算出する(ステップS1115)。次に、算出したそれぞれの代表点座標t2(x2,y2)及びt1(x1,y1)に基づき、時間t1から時間t2の間で動いた対象物の進行方向ベクトルv2(v2=(x2−x1,y2−y1))を算出する(ステップS1116)。以上の処理により、時間t2の画像において、対象物の進行方向ベクトルv2が算出される。次に、内部変数iに1を加算し(ステップS1117)、ステップS1115〜S1117の処理を繰り返す。 First, 2 is substituted for the internal variable i (step S1114), and the representative point coordinates of the block of the target object (for example, in the image at time t2 (time ti-1) and the image at time t1 (time ti-1) (for example, The center coordinates of the object block) t2 (x 2 , y 2 ) and t1 (x 1 , y 1 ) are calculated (step S1115). Next, based on the calculated representative point coordinates t2 (x 2 , y 2 ) and t1 (x 1 , y 1 ), the traveling direction vector v 2 (v 2 = (x 2 −x 1 , y 2 −y 1 )) is calculated (step S1116). By the above process, the image of the time t2, the traveling direction vector v 2 of the object is calculated. Next, 1 is added to the internal variable i (step S1117), and the processing of steps S1115 to S1117 is repeated.
ステップS1115〜S1117の処理をn−1回繰り返すと(ステップS1118のyes)、時間t2から時間tnまでの全ての画像において、対象物の進行方向ベクトルviが算出される。 When the processes in steps S1115 to S1117 are repeated n-1 times (yes in step S1118), the traveling direction vectors v i of the objects are calculated in all the images from time t2 to time tn.
次に、ステップS1119の処理に移行し、時間t2から時間tnまでの全ての画像における進行方向ベクトルviを足し合わせて、対象物の進行方向ベクトルV(V=v2+・・・+vn=(Vx,Vy))を算出する。 Then, the process proceeds to the process of step S1119, by adding the traveling direction vector v i in all of the image from the time t2 to the time tn, traveling direction vector V (V = v 2 + ··· + v n of the object = (V x , V y )) is calculated.
図9は、制御装置7で実行される入出庫判定の流れの一例を示すフローチャートである。なお、図9に示す入出庫判定は、後述する図11のフローチャートの一部(ステップS112)で呼び出されるサブルーチンである。まず、ステップS1201では、画像演算処理で算出された進行方向ベクトルV=(Vx,Vy)を取得する。進行方向ベクトルVのy方向成分Vyが0より大きい場合(ステップS1202のyes)には、対象物が入庫されたと判定する(ステップS1203)。進行方向ベクトルVのy方向成分Vyが0より小さい場合(ステップS1204のyes)には、対象物が出庫されたと判定する(ステップS1205)。進行方向ベクトルVのy方向成分Vyが0である場合(ステップS1204のno)には、対象物が入庫も出庫もされていないと判定する(ステップS1206)。
FIG. 9 is a flowchart illustrating an example of a flow of entering / exiting determination executed by the
(在庫情報管理)
対象物が入庫されたと判定した場合、制御装置7は、対象物の画像と当該画像の撮影日時(すなわち、対象物が入庫された日時)とを在庫情報のレコード(1件分のデータ)として記憶部に記憶する。記憶する画像としては、庫内カメラ14により撮影された複数の画像のうち、対象物の位置が画像の中心に最も近い画像が選択される。例えば、制御装置7は、複数の画像のうち、対象物の代表点座標と画像全体の中心座標との間の距離が最も近い画像を選択して記憶する。これにより、複数の画像のうちユーザが対象物を認識しやすい画像のみを記憶することができる。
(Inventory information management)
When it is determined that the object has been received, the
対象物が出庫されたと判定した場合、制御装置7は、当該対象物に対応するレコードを在庫情報から特定し、そのレコードを在庫情報から削除する。例えば、制御装置7は、対象物の画像と、記憶部に記憶されている在庫情報の画像とを比較し、対象物の画像と同一と認識された画像を含むレコードを在庫情報から削除する。
When it determines with the target object having been delivered, the
なお、在庫情報の各レコードには対象物の入庫先の情報が含まれていないが、本例では庫内カメラ14が設けられているのが冷蔵室100のみであるため、在庫情報に含まれる全ての対象物の入庫先は冷蔵室100である。複数の貯蔵室に庫内カメラが設けられている場合には、開状態となっている扉の情報に基づいて対象物の入庫先を判定し、入庫先の貯蔵室の識別情報を在庫情報の各レコードに含めるようにしてもよい。
Note that each record of the inventory information does not include information on the storage destination of the object. However, in this example, only the
(在庫情報の表示)
図10は、冷蔵庫1の表示部31に表示される画面表示の一例を示している。図10に示すように、表示部31は、制御装置7の記憶部に在庫情報として記憶されている画像を、撮影日時が古い順(あるいは新しい順)に並べて表示する。撮影日時、又は撮影日時に基づいて算出した保存日数を画像と共に表示してもよい。また、ユーザが操作部30により任意の画像を選択できるようにし、画像が選択されたときに当該画像の撮影日時又は保存日数などの情報を表示するようにしてもよい。在庫情報の表示に画像を用いることにより、ユーザが在庫品を視覚的に確認できるため、在庫品を認識しやすくすることができる。また、食品の包装、容器、又は蓋などが透明で中身が視認できる場合には、当該食品の使用量及び残量も画像から確認することができる。
(Display inventory information)
FIG. 10 shows an example of a screen display displayed on the
在庫情報の各レコードに入庫先の貯蔵室の情報が含まれている場合、表示部31には貯蔵室毎の在庫情報を表示するようにしてもよい。図10に示す例では、表示部31には貯蔵室の名称(本例では「冷蔵室」)が表示されるとともに、当該貯蔵室内の在庫品の画像のみが選択的に表示されている。
When each record of the inventory information includes information on the storage room at the warehousing destination, the
(冷蔵庫の処理例)
図11は、冷蔵庫1の制御装置7で実行される処理の流れの一例を示すフローチャートである。冷蔵庫1の運転中には、図11に示す処理が所定の時間間隔で繰り返し実行される。制御装置7は、扉開閉検知スイッチ9からの出力信号に基づき扉8が開かれたことを検知すると(ステップS101のyes)、照明部13を点灯させるとともに(ステップS102)、庫内カメラ14を起動させる(ステップS103)。また、制御装置7は、タイマをリセットしてt=0とする(ステップS104)。制御装置7は、あらかじめ設定された時間間隔Δt(例えば、Δt=1秒)が経過してt≧Δtとなったら(ステップS105のyes)、庫内カメラ14での撮影を実施する(ステップS106)。庫内カメラ14での撮影は、扉8が閉じられるまでの間(ステップS107のno)、時間間隔Δt毎に実施される。
(Fridge treatment example)
FIG. 11 is a flowchart illustrating an example of a flow of processing executed by the
制御装置7は、扉開閉検知スイッチ9からの出力信号に基づき扉8が閉じられたことを検知すると(ステップS107のyes)、照明部13を消灯させるとともに(ステップS108)、庫内カメラ14を停止させる(ステップS109)。
When the
次に、制御装置7は、庫内カメラ14で撮影された画像に基づく画像演算処理を実行し(ステップS110、図8)、その結果から進行方向ベクトルVを取得し(ステップS111)、入出庫判定を実施する(ステップS112、図9)。対象物が入庫されたと判定した場合(ステップS113のyes)、制御装置7は、対象物の画像(例えば、複数の画像から選択された1つの画像)及び撮影日時を在庫情報の新たなレコードとして記憶部に記憶し(ステップS114)、在庫情報を更新する。また、制御装置7は、更新された在庫情報を表示部31に表示する(ステップS115)。
Next, the
対象物が出庫されたと判定した場合(ステップ116のyes)、記憶部に記憶されている在庫情報の画像から対象物の画像と同一と認識される画像を検索する(ステップS117)。対象物の画像と同一と認識される画像が特定された場合には、当該画像を含む在庫情報のレコード(画像及び撮影日時の情報)を削除するとともに、表示部31の表示からも削除する(ステップS118)。対象物の画像と同一と認識される画像が特定できなかった場合には、その旨の情報を表示部31に表示するようにしてもよい。入庫も出庫もされていないと判定した場合には(ステップS116のno)、そのまま処理を終了する。
When it is determined that the object has been issued (Yes in step 116), an image recognized as the same as the image of the object is searched from the stock information image stored in the storage unit (step S117). When an image that is recognized to be the same as the image of the object is specified, the inventory information record (image and shooting date / time information) including the image is deleted and also deleted from the display of the display unit 31 ( Step S118). When an image recognized as the same as the image of the object cannot be specified, information to that effect may be displayed on the
以上説明したように、本実施の形態に係る冷蔵庫1は、冷蔵室100(貯蔵室の一例)と、冷蔵室100を開閉する扉8と、冷蔵室100の開口部を通過する対象物をあらかじめ設定された時間間隔で撮影して複数の画像を生成する庫内カメラ14(撮影手段の一例)と、冷蔵室100内の在庫情報を記憶する記憶部を有し、複数の画像に基づいて在庫情報を更新する制御装置7と、を備え、制御装置7は、複数の画像に基づく演算処理(例えば、図8に示す画像演算処理)を行って対象物の進行方向を検出し、進行方向に基づいて対象物が貯蔵室に入庫されたこと又は対象物が貯蔵室から出庫されたことを判定する入出庫判定(例えば、図9に示す入出庫判定)を行い、入出庫判定の結果に基づいて在庫情報を更新することを特徴とするものである。
As described above, the
この構成によれば、ユーザが食品等の対象物を貯蔵室に対して出し入れするだけで、情報を登録又は削除するための特別な操作を行うことなく、貯蔵室の在庫情報を更新することができる。これにより、ユーザの手間を軽減しつつ庫内の在庫管理を行うことができるため、冷蔵庫1の利便性が向上する。また、在庫管理を簡単に行うことができるため、死蔵品や使い忘れなどにより食品を無駄にしてしまうことを防ぐことができる。
According to this configuration, the user can update the stock information of the storage room only by taking in and out an object such as food to and from the storage room without performing a special operation for registering or deleting the information. it can. Thereby, since the inventory management in a warehouse can be performed, reducing a user's effort, the convenience of the
また、本実施の形態に係る冷蔵庫1は、扉8の開閉状態を検知する扉開閉検知スイッチ9(扉開閉検知手段の一例)をさらに備え、庫内カメラ14は、扉開閉検知スイッチ9が扉8の開状態を検知したことに基づいて撮影を開始することを特徴とするものである。
The
この構成によれば、扉8が開かれたことを契機として庫内カメラ14による撮影が開始されるため、冷蔵室100に入出庫される対象物をより確実に撮影することができる。また、扉8の開閉状態を検知することによって、対象物の入庫先となる貯蔵室を容易に特定することができる。
According to this configuration, since shooting by the
また、本実施の形態に係る冷蔵庫1は、制御装置7は、対象物が冷蔵室100に入庫されたと判定した場合、複数の画像のうち対象物の位置が画像の中心に最も近い画像を、在庫情報に含まれるデータ(レコード)として記憶することを特徴とするものである。
In addition, when the
この構成によれば、複数の画像のうちユーザが対象物を認識しやすい画像のみを記憶することができるため、ユーザによる在庫情報の確認が容易となるとともに、在庫情報のデータ容量を削減することができる。 According to this configuration, it is possible to store only an image from which a user can easily recognize an object among a plurality of images, so that the user can easily check inventory information and reduce the data capacity of the inventory information. Can do.
また、本実施の形態に係る冷蔵庫1は、制御装置7は、対象物が冷蔵室100から出庫されたと判定した場合、在庫情報から対象物に対応するデータを特定し、当該データを在庫情報から削除することを特徴とするものである。
Moreover, the
この構成によれば、在庫情報を容易かつ確実に更新することができる。 According to this structure, inventory information can be updated easily and reliably.
また、本実施の形態に係る冷蔵庫1は、扉8の外側表面に設けられた表示部31を含む報知手段をさらに備え、制御装置7は、報知手段に在庫情報を報知(例えば、表示)させることを特徴とするものである。
The
この構成によれば、扉8を開かずに表示部31によって冷蔵室100内の在庫情報を確認することができるため、扉8の開閉頻度を低減でき、冷蔵庫1の省エネルギー化を実現できる。
According to this configuration, since the inventory information in the
本実施の形態では、特許文献4の在庫管理装置のように各棚面及び庫内底面のそれぞれにおける物品の収納位置情報に基づいて在庫管理を行うのではなく、貯蔵室の開口部を通過する対象物を撮影し、撮影画像に基づいて対象物の進行方向を検出し、入出庫判定を行うことにより在庫管理を行っている。したがって、貯蔵室の開口部を撮影範囲に含む撮影手段を設けることにより、庫内天井及び各棚のそれぞれに撮影手段を設けるまでもなく貯蔵室の在庫管理を行うことができる。したがって、本実施の形態によれば、庫内の有効な収納スペースの減少や冷蔵庫の製造コストの増加を抑えることができる。
In the present embodiment, the inventory management is not performed based on the storage position information of the articles on each shelf surface and the bottom surface in the warehouse as in the inventory management device of
なお、本例では、庫内カメラ14が冷蔵室100の天井面に設けられているが、庫内カメラ14は冷蔵室100の他の位置に設けられていてもよい。また、庫内カメラ14が設けられるのは冷蔵室100に限られず、他の貯蔵室であってもよい。
In this example, the in-
実施の形態2.
本発明の実施の形態2に係る冷蔵庫について説明する。図12は、本実施の形態に係る冷蔵庫1の構成を示す縦断面図である。図13は、本実施の形態に係る冷蔵庫1の構成を示す機能ブロック図である。なお、実施の形態1と同一の機能及び作用を有する構成要素については、同一の符号を付してその説明を省略する。
A refrigerator according to
図12及び図13に示すように、本実施の形態に係る冷蔵庫1は、電気通信回線16と接続可能な通信手段15を有している。通信手段15は、例えば冷蔵庫1の上面に設けられており、制御装置7と接続されている。これにより、制御装置7は、電気通信回線16を介して、タブレット端末41又は携帯電話40(スマートフォンを含む)などの携帯端末との間でデータの送受信を行うことができるようになっている。
As shown in FIGS. 12 and 13,
電気通信回線16は、電灯線、赤外線、非赤外線、無線、公衆回線、光ケーブル、ISDN、ADSL、インターネット、衛星等のデジタル又はアナログの信号の通信回線を含む。通信手段15は、デジタル又はアナログの信号を送受信できるインターフェースである。有線による通信を行う場合には、通信手段15は、例えば、シリアルインターフェース又はドライバを備える。無線による通信を行う場合には、通信手段15は、例えば、Wi−Fi(登録商標)又はBluetooth(登録商標)などの通信規格に対応した通信モジュールを備える。
The
図14は、携帯端末(例えば、タブレット端末41)の表示部に表示される画面表示の一例を示している。図14に示すように、携帯端末の表示部には、制御装置7の記憶部に記憶されている在庫情報の画像が一覧となって表示されている。ユーザは、冷蔵室100内の在庫情報を知りたいとき、携帯端末を操作して、電気通信回線16を介して制御装置7に在庫情報の要求を行う。制御装置7は、通信手段15により携帯端末からの在庫情報の要求を受け取ると、記憶部から在庫情報を読み出し、読み出した在庫情報を通信手段15により電気通信回線16を介して携帯端末に送信する。携帯端末側では、受信した在庫情報が、例えば図14に示したように表示部に表示される。これにより、在庫情報は、冷蔵庫1の表示部31だけでなく、携帯端末の表示部にも表示される。
FIG. 14 shows an example of a screen display displayed on the display unit of the mobile terminal (for example, the tablet terminal 41). As shown in FIG. 14, the inventory information images stored in the storage unit of the
図15は、携帯端末(例えば、タブレット端末41)の表示部に表示される画面表示の別の例を示している。図15に示すように、携帯端末の表示部には、制御装置7の記憶部に記憶されている在庫情報が、アイコン化された画像(アイコン画像)の一覧となって表示されている。アイコン画像とは、食品の種類を表す簡略化された画像である。本例において、制御装置7は、庫内カメラ14により撮影された画像に基づいて画像演算処理及び入出庫判定を実行する。入出庫判定において対象物が入庫されたと判定した場合、制御装置7は、対象物の画像と撮影日時とを在庫情報のレコードとして記憶するとともに、撮影された画像内の対象物と、あらかじめ記憶部に記憶された食品の種類毎の形状及び色等の特徴点の情報とを比較し、対象物と一致する食品の種類を判定する。判定した食品の種類の情報は、在庫情報のレコードの一部として対象物と対応付けて記憶される。また、制御装置7の記憶部には、食品の種類毎にあらかじめ設定されたアイコン画像が記憶されている。制御装置7は、携帯端末からの情報の要求を受け取ると、携帯端末に対し、例えば在庫情報のうち各対象物の撮影画像以外の情報と、各対象物に対応付けられたアイコン画像とを通信手段15に送信させる。携帯端末側では、受信した在庫情報が、例えば図15に示したようにアイコン画像の一覧として表示部に表示される。アイコン画像を用いて在庫情報を表示することにより、電気通信回線16を介して送信する情報量を、撮影画像そのものを送信するのに比べて小さくすることができる。また、外出先など他人のいるところで在庫情報を確認するとき、アイコン画像を用いて在庫情報を表示することにより、撮影画像を表示するのに比べてプライバシーを守ることができる。なお、食品の種類毎に設定されたアイコン画像は、あらかじめ携帯端末側に記憶されていてもよい。この場合、電気通信回線16を介して送信する情報量をさらに小さくすることができる。
FIG. 15 shows another example of the screen display displayed on the display unit of the mobile terminal (for example, the tablet terminal 41). As shown in FIG. 15, the inventory information stored in the storage unit of the
本実施の形態では、冷蔵庫1の表示部31と携帯端末の表示部との双方に在庫情報を表示できるようになっているが、ユーザは携帯端末を用いて在庫情報を確認することができるため、冷蔵庫1の表示部31は設けられていなくてもよい。
In the present embodiment, the inventory information can be displayed on both the
以上説明したように、本実施の形態に係る冷蔵庫1は、電気通信回線16に接続可能な通信手段15をさらに備え、制御装置7は、電気通信回線16に接続可能な携帯端末(例えば、携帯電話40、タブレット端末41等)に、前記在庫情報を前記通信手段に送信させることを特徴とするものである。
As described above, the
この構成によれば、携帯端末を所持したユーザは、冷蔵庫1のそばにいなくても、好きな場所で冷蔵室100の在庫情報を把握することができるため、利便性が向上する。また、携帯端末を所持したユーザは、買い物先などの遠隔地で冷蔵室100の在庫情報を把握することができるため、食品を重複して購入したり、食品を補充し忘れたりするミスを防ぐことができる。
According to this configuration, even if the user who has the portable terminal is not near the
実施の形態3.
本発明の実施の形態3に係る冷蔵庫について説明する。図16は、本実施の形態に係る冷蔵庫1の構成を示す縦断面図である。なお、実施の形態1又は2と同一の機能及び作用を有する構成要素については、同一の符号を付してその説明を省略する。
A refrigerator according to
図16に示すように、本実施の形態に係る冷蔵庫1は、冷凍室400を開閉する引出し式の扉402と、冷凍室400内に引出し自在に格納され、扉402の開閉と連動して引き出される収納ケース401と、野菜室500を開閉する引出し式の扉502と、野菜室500内に引出し自在に格納され、扉502の開閉と連動して引き出される収納ケース501と、を備えている。冷凍室400とその上方の切替室200及び製氷室300とを仕切る仕切り部材17には、冷凍室用カメラ18が設けられている。野菜室500とその上方の冷凍室400とを仕切る仕切り部材19には、野菜室用カメラ20が設けられている。冷凍室用カメラ18は、冷凍室400の扉402が閉じられた状態では、仕切り部材17の先端部に形成された格納部内に格納されている。扉402が開かれると、冷凍室用カメラ18は手前側に突出するように移動する。同様に、野菜室用カメラ20は、野菜室500の扉502が閉じられた状態では、仕切り部材19の先端部に形成された格納部内に格納されており、扉502が開かれると手前側に突出するように移動する。野菜室用カメラ20の構成については後述する。
As shown in FIG. 16, the
図17は、図16に示す冷蔵庫1において野菜室500の扉502を開いた状態を示している。図17に示すように、扉502が開かれると、収納ケース501が連動して引き出されるとともに、野菜室用カメラ20が手前側に突出する。これにより、野菜室用カメラ20は、収納ケース501の上面開口部(貯蔵室の開口部の一例)を撮影可能となる。また、制御装置7は、不図示の扉開閉検知スイッチからの出力信号に基づいて、野菜室500の扉502が開かれたことを検知する。
FIG. 17 shows a state where the
図18は、野菜室用カメラ20で撮影される画像の一例を示す図である。図18に示すように、画像の下部には、収納ケース501の底面の一部と、手前側の内側側面のほぼ全体と、左右の内側側面の一部とが写されている。画像の上部には、収納ケース501の外部の一部(例えば、扉502の庫内側表面)が写されている。このように、収納ケース501の上面開口部付近を撮影範囲とすることにより、野菜室用カメラ20は、収納ケース501に入出庫される食品等の対象物を必ず撮影することができるようになっている。
FIG. 18 is a diagram illustrating an example of an image photographed by the
野菜室用カメラ20で撮影される画像を用いた入出庫判定においては、対象物の進行方向が画像の下方向、すなわち収納ケース501の外部から内部に向かう方向であれば、対象物が収納ケース501(野菜室500)に入庫されたと判定し、対象物の進行方向が画像の上方向、すなわち収納ケース501の内部から外部に向かう方向であれば、対象物が収納ケース501(野菜室500)から出庫されたと判定する。
In entry / exit determination using an image taken by the
野菜室用カメラ20の構成について説明する。図19は、野菜室用カメラ20近傍の構成を示す拡大図である。図19では、扉502を開いている途中の状態を示している。図19に示すように、仕切り部材19の先端部には、野菜室用カメラ20を格納する格納部50が形成されている。格納部50の前面側(手前側)には、野菜室用カメラ20の出入りが可能な開口部が形成されている。格納部50の開口部は、扉502が閉じられると扉502によって閉塞される。野菜室用カメラ20は、格納部50内に水平に設けられた支持レール21によって、所定の可動範囲で前後方向にスライド可能に支持されている。野菜室用カメラ20が背面側(奥側)の可動端に位置しているとき、野菜室用カメラ20は格納部50内に格納される。野菜室用カメラ20が手前側の可動端に移動すると、野菜室用カメラ20は、格納部50の開口端、すなわち仕切り部材19の先端部よりも手前側に突出する。図19に示す状態では、野菜室用カメラ20は手前側の可動端付近に位置している。野菜室用カメラ20の手前側の先端部には、金属部22が設けられている。扉502の庫内側には、金属部22に対応する位置にマグネット23が設けられている。支持レール21、金属部22及びマグネット23等は、扉502が開かれたときに野菜室用カメラ20を手前側に突出させる突出機構を構成する。
The configuration of the
扉502が閉じられているときには、野菜室用カメラ20は奥側の可動端付近に位置しており、扉502と干渉せずに格納部50内に格納される。このとき、扉502に設けられたマグネット23と野菜室用カメラ20の金属部22とが接触し、磁力により互いに吸着するようになっている。扉502が開かれると、野菜室用カメラ20は、マグネット23と金属部22との吸着により扉502と連動して引き出され、手前側の可動端に移動する。扉502がさらに開かれると、マグネット23と金属部22とが離れ、野菜室用カメラ20は手前側の可動端に止まる。このとき、野菜室用カメラ20は、扉開口部の手前側に突出しているため、収納ケース501の上面開口部付近が撮影可能となる。扉502が閉じられると、野菜室用カメラ20は、扉502によって押し込まれて奥側の可動端付近に戻り、格納部50内に格納される。
When the
このような構成により、野菜室用カメラ20は、扉502が閉じられているときには、扉502や収納ケース501に干渉することなく格納部50内に格納することができる。また、野菜室用カメラ20は、扉502が開かれたときには、扉開口部の手前側に突出することにより収納ケース501の上面開口部付近の画像を撮影することができる。
With such a configuration, the
ここでは野菜室用カメラ20について説明したが、冷凍室用カメラ18も野菜室用カメラ20と同様の構成を有している。また、野菜室500及び冷凍室400だけでなく、他の貯蔵室にも同様のカメラが設けられるようにしてもよい。
Although the
その他の実施の形態.
本発明は、上記実施の形態に限らず種々の変形が可能である。
例えば、上記実施の形態では、報知手段として、在庫情報を視覚的に表示する冷蔵庫の表示部及び携帯端末の表示部を例に挙げたが、報知手段は、在庫情報を音声出力により報知する音声出力部であってもよい。音声出力部は、冷蔵庫に設けられていてもよいし、携帯端末に設けられていてもよい。
Other embodiments.
The present invention is not limited to the above embodiment, and various modifications can be made.
For example, in the above-described embodiment, the display unit of the refrigerator that visually displays the inventory information and the display unit of the mobile terminal are exemplified as the notification unit. However, the notification unit is a voice that notifies the inventory information by voice output. It may be an output unit. The audio output unit may be provided in the refrigerator or may be provided in the mobile terminal.
また、上記の各実施の形態や変形例は、互いに組み合わせて実施することが可能である。 In addition, the above embodiments and modifications can be implemented in combination with each other.
1 冷蔵庫、2 圧縮機、3 冷却器、4 送風ファン、5 風路、6 操作パネル、7 制御装置、8 扉、8a 右扉、8b 左扉、9 扉開閉検知スイッチ、10 扉ポケット、11 棚、12 チルドケース、13 照明部、14 庫内カメラ、15 通信手段、16 電気通信回線、17、19 仕切り部材、18 冷凍室用カメラ、20 野菜室用カメラ、21 支持レール、22 金属部、23 マグネット、30 操作部、31 表示部、32 サーミスタ、40 携帯電話、41 タブレット端末、50 格納部、90 断熱箱体、100 冷蔵室、200 切替室、201、401、501 収納ケース、300 製氷室、400 冷凍室、401、501 収納ケース、402、502 扉、500 野菜室。
DESCRIPTION OF
Claims (8)
前記貯蔵室内に設けられた棚と、
前記貯蔵室を開閉する扉と、
前記貯蔵室の開口部を通過する対象物をあらかじめ設定された時間間隔で撮影して複数の画像を生成する撮影手段と、
前記貯蔵室内の在庫情報を記憶する記憶部を有し、前記複数の画像に基づいて前記在庫情報を更新する制御装置と、を備え、
前記撮影手段は、前記貯蔵室内であって前記棚よりも前記開口部側に、前記開口部が撮影範囲に含まれるように設けられており、
前記撮影手段は、前記扉が開状態になると、前記開口部の手前側に突出するものであり、
前記制御装置は、前記複数の画像に基づく演算処理を行って前記対象物の進行方向を検出し、前記進行方向に基づいて前記対象物が前記貯蔵室に入庫されたこと又は前記対象物が前記貯蔵室から出庫されたことを判定する入出庫判定を行い、前記入出庫判定の結果に基づいて前記在庫情報を更新することを特徴とする冷蔵庫。 A storage room;
A shelf provided in the storage chamber;
A door for opening and closing the storage room;
Imaging means for imaging a target passing through the opening of the storage room at a preset time interval to generate a plurality of images;
A storage unit that stores inventory information in the storage chamber, and a controller that updates the inventory information based on the plurality of images,
The photographing means is provided in the storage chamber and closer to the opening than the shelf so that the opening is included in the photographing range.
When the door is in an open state, the photographing means protrudes to the near side of the opening,
The control device performs a calculation process based on the plurality of images to detect a traveling direction of the object, and the object is stored in the storage room based on the traveling direction or the object is The refrigerator which performs the entering / exiting determination which determines having been delivered from the storage room, and updates the said inventory information based on the result of the said entering / exiting determination.
前記貯蔵室とその上方とを仕切る仕切り部材と、
前記貯蔵室を開閉する引出し式の扉と、
前記貯蔵室内に引出し自在に格納され、前記扉と連動して前記貯蔵室の開口部から引き出される収納ケースと、
前記収納ケースの上面開口部を通過する対象物をあらかじめ設定された時間間隔で撮影して複数の画像を生成する撮影手段と、
前記貯蔵室内の在庫情報を記憶する記憶部を有し、前記複数の画像に基づいて前記在庫情報を更新する制御装置と、を備え、
前記撮影手段は、前記仕切り部材の先端部に設けられており、
前記撮影手段は、前記扉が開状態になると、前記開口部の手前側に突出するものであり、
前記制御装置は、前記複数の画像に基づく演算処理を行って前記対象物の進行方向を検出し、前記進行方向に基づいて前記対象物が前記貯蔵室に入庫されたこと又は前記対象物が前記貯蔵室から出庫されたことを判定する入出庫判定を行い、前記入出庫判定の結果に基づいて前記在庫情報を更新することを特徴とする冷蔵庫。 A storage room;
A partition member for partitioning the storage chamber and its upper side;
A drawer-type door that opens and closes the storage room;
A storage case that is retractably stored in the storage chamber and that is pulled out from the opening of the storage chamber in conjunction with the door;
Photographing means for photographing a target object passing through the upper surface opening of the storage case at a preset time interval and generating a plurality of images;
A storage unit that stores inventory information in the storage chamber, and a controller that updates the inventory information based on the plurality of images,
The photographing means is provided at the tip of the partition member,
When the door is in an open state, the photographing means protrudes to the near side of the opening,
The control device performs a calculation process based on the plurality of images to detect a traveling direction of the object, and the object is stored in the storage room based on the traveling direction or the object is The refrigerator which performs the entering / exiting determination which determines having been delivered from the storage room, and updates the said inventory information based on the result of the said entering / exiting determination.
前記撮影手段は、前記扉開閉検知手段が前記扉の開状態を検知したことに基づいて撮影を開始することを特徴とする請求項1又は請求項2に記載の冷蔵庫。 Door opening / closing detection means for detecting the opening / closing state of the door;
The imaging means, a refrigerator according to claim 1 or claim 2 wherein the door opening and closing detecting means, characterized in that to start the photographing, based to the detection of the open state of the door.
前記制御装置は、前記報知手段に前記在庫情報を報知させることを特徴とする請求項1〜請求項5のいずれか一項に記載の冷蔵庫。 Further comprising a notification means including a display portion provided on the outer surface of the door;
The said control apparatus makes the said alerting | reporting means alert | report the said inventory information, The refrigerator as described in any one of Claims 1-5 characterized by the above-mentioned.
前記制御装置は、前記電気通信回線に接続可能な携帯端末に、前記在庫情報を前記通信手段に送信させることを特徴とする請求項1〜請求項7のいずれか一項に記載の冷蔵庫。 A communication means connectable to the telecommunication line;
The refrigerator according to any one of claims 1 to 7 , wherein the control device causes a portable terminal connectable to the telecommunication line to transmit the inventory information to the communication unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013221557A JP6095551B2 (en) | 2013-10-24 | 2013-10-24 | refrigerator |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013221557A JP6095551B2 (en) | 2013-10-24 | 2013-10-24 | refrigerator |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015081762A JP2015081762A (en) | 2015-04-27 |
JP6095551B2 true JP6095551B2 (en) | 2017-03-15 |
Family
ID=53012449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013221557A Active JP6095551B2 (en) | 2013-10-24 | 2013-10-24 | refrigerator |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6095551B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110631311A (en) * | 2018-06-21 | 2019-12-31 | 东芝生活电器株式会社 | Refrigerator with a door |
TWI759875B (en) * | 2020-09-22 | 2022-04-01 | 台灣松下電器股份有限公司 | Object warehouse management system |
US11512896B2 (en) | 2020-09-03 | 2022-11-29 | Haier Us Appliance Solutions, Inc. | Refrigerator appliance having a movable camera |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6550696B2 (en) * | 2014-07-18 | 2019-07-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Judgment apparatus and judgment method |
JP6818407B2 (en) * | 2015-12-10 | 2021-01-20 | 三菱電機株式会社 | Refrigerator, image management system and program in the refrigerator |
WO2017179188A1 (en) * | 2016-04-15 | 2017-10-19 | 三菱電機株式会社 | Refrigerator and network system including same |
JP6938116B2 (en) * | 2016-05-30 | 2021-09-22 | シャープ株式会社 | Inventory management device and inventory management method |
WO2018020541A1 (en) * | 2016-07-25 | 2018-02-01 | 三菱電機株式会社 | Refrigerator, network system provided with same, living circumstances reporting method and living circumstance reporting program |
JP2018035983A (en) * | 2016-08-30 | 2018-03-08 | シャープ株式会社 | Food storage compartment and system for imaging inside of compartment |
JP6778949B2 (en) * | 2016-09-14 | 2020-11-04 | アクア株式会社 | Storage management system |
JP6967725B2 (en) * | 2017-10-06 | 2021-11-17 | パナソニックIpマネジメント株式会社 | Refrigerator and refrigerator control method |
JP7012263B2 (en) * | 2017-10-06 | 2022-01-28 | パナソニックIpマネジメント株式会社 | refrigerator |
JP7012261B2 (en) * | 2017-10-06 | 2022-01-28 | パナソニックIpマネジメント株式会社 | refrigerator |
JP7289084B2 (en) * | 2017-10-06 | 2023-06-09 | パナソニックIpマネジメント株式会社 | refrigerator |
JP7012262B2 (en) * | 2017-10-06 | 2022-01-28 | パナソニックIpマネジメント株式会社 | refrigerator |
JP7289083B2 (en) * | 2017-10-06 | 2023-06-09 | パナソニックIpマネジメント株式会社 | refrigerator |
JP7164296B2 (en) * | 2017-12-04 | 2022-11-01 | 東芝ライフスタイル株式会社 | refrigerator |
JP7132044B2 (en) * | 2018-09-11 | 2022-09-06 | 東芝ライフスタイル株式会社 | Refrigerator entry/exit management system and refrigerator |
CN111238115B (en) * | 2018-11-29 | 2022-09-09 | 博西华电器(江苏)有限公司 | Refrigerator with a door |
JP7101130B2 (en) * | 2019-01-22 | 2022-07-14 | 日立グローバルライフソリューションズ株式会社 | Remote control device for refrigerator, control method and program of remote control device for refrigerator |
DE102019204309A1 (en) * | 2019-03-28 | 2020-10-01 | BSH Hausgeräte GmbH | Household refrigeration appliance with a digital camera and method for operating a household appliance comprising a digital camera |
CN111767759A (en) * | 2019-04-01 | 2020-10-13 | 青岛海尔智能技术研发有限公司 | System, method, device and storage medium for food material identification |
WO2020202767A1 (en) * | 2019-04-05 | 2020-10-08 | 株式会社ワコム | Information processing system |
JP2021117920A (en) * | 2020-01-29 | 2021-08-10 | 株式会社コマイ | Storage device |
JP7182139B2 (en) * | 2020-09-03 | 2022-12-02 | パナソニックIpマネジメント株式会社 | Food detection device and food management system |
CN116829888A (en) * | 2021-02-25 | 2023-09-29 | 松下知识产权经营株式会社 | Warehouse-in and warehouse-out management device, warehouse-in and warehouse-out management system and warehouse-in and warehouse-out management method |
US20240233384A9 (en) * | 2021-02-25 | 2024-07-11 | Panasonic Intellectual Property Management Co., Ltd. | Storage-retrieval management device, storage-retrieval management system, and storage-retrieval management method |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0545041A (en) * | 1991-08-09 | 1993-02-23 | Sharp Corp | Device for controlling storage space in freezer-refrigerator |
JPH109753A (en) * | 1996-06-26 | 1998-01-16 | Matsushita Refrig Co Ltd | Food inventory control device for refrigerator-freezer |
JP3639408B2 (en) * | 1997-05-21 | 2005-04-20 | 株式会社日立製作所 | Storehouse |
JP2001317858A (en) * | 2000-05-09 | 2001-11-16 | Matsushita Refrig Co Ltd | Refrigerator |
JP2002267337A (en) * | 2001-03-12 | 2002-09-18 | Matsushita Refrig Co Ltd | Food material control device for refrigerator |
JP2003042626A (en) * | 2001-07-26 | 2003-02-13 | Toshiba Corp | Refrigerator |
JP4205036B2 (en) * | 2004-10-04 | 2009-01-07 | 日本電信電話株式会社 | Article management system, method and program |
JP2009250480A (en) * | 2008-04-03 | 2009-10-29 | Mitsubishi Electric Corp | Storage and refrigerator |
JP2010121784A (en) * | 2008-11-17 | 2010-06-03 | Toshiba Corp | Stock management device of refrigerator |
JP2012251722A (en) * | 2011-06-03 | 2012-12-20 | Panasonic Corp | Refrigerator |
JP2013050300A (en) * | 2012-10-19 | 2013-03-14 | Toshiba Corp | Refrigerator |
-
2013
- 2013-10-24 JP JP2013221557A patent/JP6095551B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110631311A (en) * | 2018-06-21 | 2019-12-31 | 东芝生活电器株式会社 | Refrigerator with a door |
US11512896B2 (en) | 2020-09-03 | 2022-11-29 | Haier Us Appliance Solutions, Inc. | Refrigerator appliance having a movable camera |
TWI759875B (en) * | 2020-09-22 | 2022-04-01 | 台灣松下電器股份有限公司 | Object warehouse management system |
Also Published As
Publication number | Publication date |
---|---|
JP2015081762A (en) | 2015-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6095551B2 (en) | refrigerator | |
JP2019174106A (en) | System, and method | |
JP6229142B2 (en) | Refrigerator and refrigerator system | |
JP6296908B2 (en) | Refrigerator and network system | |
JP6138372B2 (en) | Article information transmission / reception method, apparatus, program, and recording medium | |
KR102023013B1 (en) | Refrigerator and operating method thereof | |
US20120099255A1 (en) | Refrigerator | |
JP2015068525A (en) | Refrigerator | |
JP2018124053A (en) | refrigerator | |
CN114270124B (en) | Method for viewing and tracking stored items | |
JP2014206320A (en) | Refrigerator | |
JP2019100633A (en) | refrigerator | |
JP2014206321A (en) | Refrigerator | |
JP6167331B2 (en) | Refrigerator and refrigerator system | |
JP6221049B2 (en) | refrigerator | |
JP6167327B2 (en) | refrigerator | |
JP2020128854A (en) | refrigerator | |
JP6167329B2 (en) | refrigerator | |
JP2014206318A (en) | Refrigerator | |
JP2014206319A (en) | Refrigerator | |
TWI787765B (en) | refrigerator | |
JP7067312B2 (en) | Refrigerator system | |
JP2011208902A (en) | Refrigerator | |
JP6145702B2 (en) | refrigerator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160414 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161206 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20161214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6095551 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |