第1の発明は、開口部を有する収容室と、開口部を開閉する開閉部と、前記開閉部の開閉状態を検出する開閉センサと、前記開口部を含む撮像範囲を撮像するカメラと、記憶部と、前記開閉センサにより前記開閉部が閉状態から開状態に切り替わったことが検出された時から、前記開閉センサにより前記開閉部が開状態から閉状態に切り替わったことが検出されるまでの間に、前記収容室に入庫される食品が前記開口部を通過する時点を想定して設定された第1撮像時点に前記カメラによる撮像を行って、該第1撮像時点における撮像画像を入庫時画像として前記記憶部に保存し、前記収容室から出庫された食品が前記開口部を通過する時点を想定して設定された第2撮像時点に前記カメラによる撮像を行って、該第2撮像時点における撮像画像を出庫時画像として前記記憶部に保存して、前記入庫時画像及び前記出庫時画像に基づいて、前記収容室に入庫される食品及び前記収容室から出庫される食品の情報を取得する食品情報取得部とを備えている。
第1の発明によれば、食品情報取得部は、収容部に入庫される食品が収容部の開口部を通過する時点を想定した第1撮像時点に撮像した入庫時画像、及び収容室から出庫される食品が開口部を通過する時点を想定した第2撮像時点に撮像した出庫時画像を記憶部に保存する。そして、食品情報取得部は、食品の画像部分が含まれる可能性が高い入庫時画像及び出庫時画像に基づいて、収容室に入庫される食品及び収容室から出庫される食品の情報を、より確実に取得することができる。
第2の発明は、前記収容室内の照度を検出する照度センサと、前記開閉センサにより前記開閉部が閉状態から開状態に切り替わったことが検出された時点における前記照度センサの検出照度に基づいて、第1基準照度及び第2基準照度を設定し、前記照度センサの検出照度が前記第1基準照度以下になった時点に基づいて前記第1撮像時点を設定し、前記照度センサの検出照度が前記第1基準照度以下になった後に前記第2基準照度以上となった時点に基づいて前記第2撮像時点を設定する撮像時点設定部とを備えている。
第2の発明によれば、収容室における物体(食品、ユーザーの手等)の存在状況に応じて、収容室内の照度が変化する。そのため、照度センサにより検出される収容室内の照度の変化に基づいて、収容室に入庫される食品が開口部を通過する時点を想定した第1撮像時点、及び収容室から出庫される食品が開口部を通過する時点を想定した第2撮像時点を適切に設定することができる。
第3の発明は、前記開閉センサにより前記開閉部が閉状態から開状態に切り替わったことが検出された時点から第1所定時間が経過した時点を、前記第1撮像時点として設定し、前記開閉センサにより前記開閉部が開状態から閉状態に切り替わったことが検出された時点よりも第2所定時間前の時点を、前記第2撮像時点として設定する撮像時点設定部を備えている。
第3の発明によれば、ユーザーが収容部の開閉部を開けてから食品を入庫するまでの時間、及びユーザーが収容室から食品を出庫してから開閉部を閉めるまでの時間は、収容室内の保冷状態を維持するするために、比較的短い一定時間になることが期待できる。そこで、第1所定時間及び第2所定時間の設定という簡易な構成により、第1撮像時点及び第2撮像時点を設定することができる。
第4の発明は、前記食品情報取得部は、前記第1撮像時点が経過してから、前記開閉センサにより前記開閉部が開状態から閉状態に切り替わったことが検出されるまでの間、前記カメラによる撮像を繰り返し実行して撮像画像を前記記憶部に保存し、前記開閉センサにより前記開閉部が開状態から閉状態に切り替わったことが検出されたときに、前記開閉センサにより前記開閉部が開状態から閉状態に切り替わったことが検出された時点よりも前記第2所定時間前の時点に撮像して前記記憶部に記憶した撮像画像を、前記出庫時画像として保存する。
第4の発明によれば、食品情報取得部は、第1撮像時点が経過してから、開閉センサにより開閉部が開状態から閉状態に切り替わったことが検出されるまでの間、カメラによる撮像を繰り返し実行して撮像画像を記憶部に保存する。そして、これにより、開閉センサにより開閉部が開状態から閉状態に切り替わったことが検出された時点よりも第2所定時間前の時点での撮像画像を、出庫時画像として保存することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本実施の形態によって本発明が限定されるものではない。
[1.冷蔵庫の使用態様]
図1は、本実施形態の冷蔵庫の使用態様を示している。本実施形態の冷蔵庫1は、家屋Hに設置され、ゲートウェイ500及び通信ネットワーク510を介して管理サーバー520との間で通信を行う機能を有している。また、冷蔵庫1は、端末装置(スマートフォン、タブレット端末等)400との間で通信を行う機能を有している。端末装置400は、ゲートウェイ500及び通信ネットワーク510を介して管理サーバー520との間で通信を行う機能を有している。
冷蔵庫1に備えられた制御ユニット100は、冷蔵庫1の全体的な作動を制御すると共に、冷蔵庫1の収容室に収容されている食品の情報を示す庫内食品リスト131を生成して管理サーバー520に送信する。端末装置400において実行される冷蔵庫の管理用アプリケーションは、管理サーバー520から庫内食品リスト131のデータを取得することにより、或いは冷蔵庫1から庫内食品リスト131のデータを取得することにより、庫内食品リスト131に基づいて、冷蔵庫1に収容されている食品の情報を表示部に表示する。冷蔵庫1のユーザーPは、端末装置400の表示を視認することにより、冷蔵庫1に収容されている食品の状況(食品名、賞味期限、残量等)を確認することができる。
[2.冷蔵庫の構成]
図2~図5を参照して、冷蔵庫1の構成について説明する。図2は冷蔵庫1の外観を示した説明図である。図2に示したように、冷蔵庫1は前面に開口した主箱体2を備え、主箱体2内には、冷蔵室10(本発明の収容室に相当する)、製氷室30、製氷室30に併設されて庫内の温度が変更できる切換室20、冷凍室40、及び野菜室50が形成されている。
冷蔵室10の前面の開口部には、回転式の右ドア11及び左ドア12(本発明の開閉部に相当する)が設けられている。また、切換室20、製氷室30、冷凍室40、及び野菜室50には、それぞれ食品を収容する引き出し21、31、41、51が設けられている。
次に、図3は冷蔵庫1の庫内の構成を右側から見た断面図により示した説明図であり、図4は冷蔵室10の内部構成を正面から見た断面図により示した説明図である。図3、図4を参照して、冷蔵室10には、冷蔵室10をサブエリアに区画する上棚13、中棚14、下棚15が配置されている。また、冷蔵室10には、上棚13に置かれた食品の重量を検出する重量センサ13a,13b、中棚14に置かれた食品の重量を検出する重量センサ14a,14b、及び下棚15に置かれた食品の重量を検出する重量センサ15a,15bが設けられている。さらに、冷蔵室10には、冷蔵室10内を照らす照明部16a~16f、冷蔵室10内の照度を検出する照度センサ17a~17c、及びカメラ60が設けられている。
カメラ60は、冷蔵室10の上部の開口部10a付近に、開口部10aが撮像範囲に含まれるように配置され、開口部10aから各棚13,14,15の前端付近までの範囲を撮像する。また、冷凍サイクルを構成する補機である圧縮機61、冷却ファン62、冷却器63、及び凝縮器64が設けられている。さらに、冷蔵室10の背面には、冷気を流通させるための冷蔵室ダクト70と冷気吐出口71~73が配置されている。
冷蔵室10には、右ドア11の開閉を検出する開閉センサ18bと、左ドア12の開閉を検出する開閉センサ18aとが設けられている。開閉センサ18bは、右ドア11が閉まっているときは閉検出信号を出力し、右ドア11が開いているときには開検出信号を出力する。同様に、開閉センサ18aは、左ドア12が閉まっているときは閉検出信号を出力し、左ドア12が開いているときには開検出信号を出力する。
切換室20には、開口部20aの開閉を検出する開閉センサ22が設けられている。開閉センサ22は、切換室20に引き出し21が収容されているときは閉検出信号を出力し、切換室20から引き出し21が引き出されているときには開検出信号を出力する。
同様に、製氷室30には引き出し31による開口部30aの開閉を検出する開閉センサ32が設けられている。また、冷凍室40には引き出し41による開口部40aの開閉を検出する開閉センサ42が設けられ、野菜室50には引き出し51による開口部50aの開閉を検出する開閉センサ52が設けられている。開閉センサ32,42,52は、開閉センサ22と同様に、閉検出信号と開検出信号を出力する。
次に、図5は制御ユニット100の構成図である。図5を参照して、制御ユニット100は、CPU(Central Processing Unit)110、画像処理部120、記憶部130、無線通信部140、日時認識部141、及び図示しないインターフェース回路等によって構成された電子回路ユニットである。
CPU110は、記憶部130に保存された冷蔵庫1の制御用プログラムを実行することによって、通過物体検出部111、収容量認識部112、入出庫判定部113、食品情報取得部114、食品情報管理部115、及び撮像時点設定部116として機能する。
制御ユニット100は、開閉センサ18a,18b,22,32,42,52、照度センサ17a,17b,17c、重量センサ13a,13b,14a,14b,15a,15b、カメラ60、照明部16a,16b,16c,16d,16e,16f、及び冷凍サイクル補機61,62,63,64と接続されている。
制御ユニット100には、開閉センサ18a,18b,22,32,42,52、照度センサ17a,17b,17c、及び重量センサ13a,13b,14a,14b,15a,15bの検出信号等が入力される。また、制御ユニット100から出力される制御信号によって、照明部16a,16b,16c,16d,16e,16f、及び冷凍サイクル補機61,62,63,64等の作動が制御される。
さらに、制御ユニット100から出力される制御信号により、画像処理部120を介してカメラ60による撮像が制御される。画像処理部120は、カメラ60から出力される映像信号をデジタルの諧調信号に変換して撮像画像を生成し、撮像画像のデータを画像メモリ121に保存する。画像処理部120は、CPU110から出力される制御信号に応じて、画像メモリ121に保存された撮像画像に対する処理を行う。
日時認識部141は、制御ユニット100に備えられたクロック回路(図示しない)から出力されるクロック信号を計時して現在の日時(日付と時刻)を認識する。なお、管理サーバー520との通信により、管理サーバー520から現在の日時の情報を取得して、現在の日時を認識する構成としてもよい。
記憶部130には、庫内食品リスト131のデータの他に、冷蔵室10に入庫された食品の情報が記録された入庫食品情報132、及び冷蔵室10から出庫された食品の情報が記録された出庫食品情報133のデータが保存される。さらに、記憶部130には、種々の食品のサンプル画像134、及び種々の食品の一般的な賞味期限を示す賞味期限リスト135のデータが保存されている。
通過物体検出部111は、照度センサ17a,17b,17cにより検出される冷蔵室10内の照度の変化に基づいて、冷蔵室10の開口部10aを通過する物体を検出する。収容量認識部112は、冷蔵室10の上棚13、中棚14、及び下棚15に収容されている食品の量を、重量センサ13a,13b,14a,14b,15a,15bの検出信号に基づいて、重量により認識する。
収容量認識部112は、上棚13に収容されている食品の重量を、重量センサ13a,13bの検出信号に基づいて認識し、中棚14に収容されている食品の重量を、重量センサ14a,14bの検出信号に基づいて認識する。また、収容量認識部112は、下棚15に収容されている食品の重量を、重量センサ15a,15bの検出信号に基づいて検出する。
入出庫判定部113は、通過物体検出部111により、冷蔵室10の開口部10aを通過する物体が検出された時に、収容量認識部112により認識される各棚13,14,15に置かれた食品の量(重量)の変化に基づいて、冷蔵室10への食品の入庫と冷蔵室10からの食品の出庫とを判定する。
食品情報取得部114は、冷蔵室10の開口部10aを通過した物体をカメラ60によって撮像する。そして、入出庫判定部113により、冷蔵室10への食品の入庫又は冷蔵室からの食品の出庫が判定されたときに、撮像画像から食品の画像部分を抽出する。
食品情報取得部114は、食品の画像部分に含まれる文字を認識することにより、或いは食品の画像部分の特徴を抽出することにより、入庫又は出庫された食品の食品名、内容量、原産地、賞味期限等の情報を取得する。そして、食品情報取得部114は、取得した情報を、入庫と判定された食品(入庫食品)については入庫食品情報132に記録し、出庫と判定された食品(出庫食品)については出庫食品情報133に記録する。
食品情報管理部115は、収容量認識部112により認識された冷蔵室10内の食品の重量、食品情報取得部114により記録された入庫食品情報132及び出庫食品情報133等に基づいて、庫内食品リスト131に記録された食品情報を更新する。
撮像時点設定部116は、開閉センサ18a,18bにより、右ドア11又は左ドア12が閉状態から開状態に切り替わった時から、右ドア11及び左ドア12が共に閉状態になったことが検出されるまでの間に、カメラ60により撮像を行う時点を設定する。撮像時点設定部116は、冷蔵室10に入庫される食品が開口部10aを通過する時点を想定した第1撮像時点と、冷蔵室10から出庫された食品が開口部10aを通過する時点を想定した第2撮像時点とを設定する。
[3.制御ユニットによる処理]
次に、図6~図14を参照して、制御ユニット100により実行される冷蔵室10に収容された食品の管理に関する処理について説明する。
図6は、制御ユニット100により実行される一連の処理の概要を示したフローチャートである。制御ユニット100は、ステップS1で「撮像処理」、ステップS2で「重量情報処理」、ステップS3で「画像分析処理」、ステップS4で「重量センサ補正処理」、ステップS5で「庫内食品管理処理」を、それぞれ実行する。以下、各処理の詳細について説明する。
[3-1.撮像処理]
図7に示したフローチャートに従って、「撮像処理」の実行手順について説明する。「撮像処理」は、通過物体検出部111、食品情報取得部114、及び撮像時点設定部116により実行される。食品情報取得部114は、ステップS10で、開閉センサ18a,18bの検出信号により、冷蔵室10の右ドア11と左ドア12の一方が又は両方が閉状態から開状態に切り替わったことを認識した時から、ステップS15で、右ドア11と左ドア12の両方が閉状態になったことを認識するまでの間に、第1撮像時点及び第2撮像時点でカメラ60による撮像を行う。
食品情報取得部114は、ステップS10で、冷蔵室10の右ドア11と左ドア12の一方又は両方が閉状態から開状態に切り替わったことを認識したときに、ステップS10に処理を進める。ステップS11~S14は、通過物体検出部111及び撮像時点設定部116による処理である。本実施形態では、通過物体検出部111と撮像時点設定部116とを組み合わせた構成により、本発明の撮像時点設定部が構成されている。
ステップS11で、通過物体検出部111は、照度センサ17a,17b,17cにより冷蔵室10の上棚13、中棚14、下棚15の各照度(棚により区画された各スペースの照度)を検出する。そして、通過物体検出部111は、検出した上棚13の照度を上基準照度とし、中棚14の照度を中基準照度とし、下棚15の照度を下基準照度とする。通過物体検出部111は、のデータを記憶部130に保存する。
上基準照度、中基準照度、及び下基準照度は、冷蔵室10の右ドア11と左ドア12の一方又は両方が開けられ、物体(ユーザーの手、食品等)が冷蔵室10の開口部10aを通過する前の状態における各棚13,14,15の照度である。なお、検出照度の誤差や変動を考慮して、上基準照度、中基準照度、及び下基準照度を、各照度センサ17a,17b,17cの検出照度よりも若干低い照度、或いは若干高い照度に設定してもよい。
また、後述するステップS13で使用する上基準照度、中基準照度、及び下基準照度と、ステップS14で使用する上基準照度、中基準照度、及び下基準照度とを、異なる値に設定してもよい。この場合、ステップS13で使用する上基準照度、中基準照度、及び下基準照度は、本発明の第1基準照度に相当し、ステップS14で使用する上基準照度、中基準照度、及び下基準照度は、本発明の第2基準照度に相当する。
続くステップS12で、通過物体検出部111は、照度センサ17a,17b,17cにより上棚13、中棚14、及び下棚15の照度をそれぞれ検出する。そして、通過物体検出部111は、次のステップS13で、検出照度が基準照度よりも所定レベル以上低下した棚があるか否かを判断する。具体的には、通過物体検出部111は、以下の(1)~(3)の各条件の成否を判断する。
(1)照度センサ17aの検出照度が、「上基準照度」から「上基準照度-α」以下に変化した。
(2)照度センサ17bの検出照度が、「中基準照度」から「中基準照度-α」以下に変化した。
(3)照度センサ17cの検出照度が、「下基準照度」から「下基準照度-α」以下に変化した。
但し、α:物体(食品、使用者の手等)が、上棚13、中棚14、又は下棚15内に進入したときに生じる照度の低下を想定して、実験やコンピュータシミュレーション等によって決定された閾値設定用の定数。なお、αは、上基準照度、中基準照度、及び下基準照度に対して共通な値としてもよく、上基準照度、中基準照度、及び下基準照度に対して個別に異なる値に設定してもよい。
通過物体検出部111は、上記(1)~(3)の少なくともいずれか一つが成立したときに、物体が開口部10aを通過したと判断する。ここで、上記(1)~(3)の少なくともいずれか一つが成立したときは、ユーザーが、冷蔵室10に食品を入れるため(入庫)、或いは冷蔵室10から食品を取り出すため(出庫)、又は冷蔵室10の食品の位置の変更等を行うために、冷蔵室10内に手を入れたと想定される。そして、この場合、通過物体検出部111は、物体(ユーザーの手、ユーザーの手が掴んでいる食品等)が、冷蔵室10の開口部10aを通過したと判断することができる。
そこで、撮像時点設定部116は、ステップS13で、通過物体検出部111により上記(1)~(3)の少なくともいずれか一つが成立したと判断された時点を、第1撮像時点として設定し、ステップS20に処理を進める。第1撮像時点は、冷蔵室10に入庫される食品が開口部10aを通過する時点を想定して設定された時点でる。なお、ステップS13で、通過物体検出部111により上記(1)~(3)の少なくともいずれか一つが成立したと判断された時点から所定時間後の時点を、第1撮像時点として設定してもよい。
一方、上記(1)~(3)のいずれも成立していないときには、撮像時点設定部116は、ステップS14に処理を進める。ステップS14は、通過物体検出部111及び撮像時点設定部116による処理である。通過物体検出部111は、検出照度が、「基準照度-β」以下から「基準照度」以上に変化した棚があるか否かを判断する。具体的には、通過物体検出部111は、以下の(4)~(6)の各条件の成否を判断する。
(4)照度センサ17aの検出照度が、「上基準照度-β」以下から「上基準照度」以上に変化した。
(5)照度センサ17bの検出照度が、「中基準照度-β」以下から「中基準照度」以上に変化した。
(6)照度センサ17cの検出照度が、「下基準照度-β」以下から「下基準照度」以上に変化した。
但し、β:上棚13、中棚14、又は下棚15に進入していた物体(食品、使用者の手等)が、開口部10aを通過して冷蔵室10外に出たときに生じる照度の上昇を想定して、実験やコンピュータシミュレーション等により決定された閾値決定用の定数。なお、βは、上基準照度、中基準照度、及び下基準照度に対して共通に設定してもよいし、上基準照度、中基準照度、及び下基準照度に対して個別に異なる値に設定してもよい。
通過物体検出部111は、上記(4)~(6)の少なくともいずれか一つが成立したときに、冷蔵室10内に存在していた物体(食品、ユーザーの手等)が、冷蔵室10から出て開口部10aを通過したと判断する。ここで、上記(4)~(6)の少なくともいずれか一つが成立したときは、ユーザーが、冷蔵室10に食品を入れるため(入庫)、冷蔵室10から食品を取り出すため(出庫)、或いは冷蔵室10に収容されている食品の位置の変更等を行って、冷蔵室10内に入れていた手を抜いたと想定される。そして、この場合、通過物体検出部111は、物体(ユーザーの手、ユーザーの手が掴んでいる食品等)が、冷蔵室10の開口部10aを通過したと判断することができる。
そこで、撮像時点設定部116は、ステップS14で、通過物体検出部111により上記(4)~(6)の少なくともいずれか一つが成立したと判断された時点を、第2撮像時点として設定し、ステップS22に処理を進める。第2撮像時点は、冷蔵室10から出庫される食品が開口部10aを通過する時点を想定して設定された時点である。なお、ステップS14で、ステップS14で、通過物体検出部111により上記(4)~(6)の少なくともいずれか一つが成立したと判断された時点から所定時間後の時点を、第2撮像時点として設定してもよい。
一方、上記(4)~(6)のいずれも成立していないときには、通過物体検出部111はステップS15に処理を進める。ステップS15で、通過物体検出部111は、開閉センサ18a,18bの検出信号から、冷蔵室10の右ドア11と左ドア12が共に閉められたか否かを判断する。そして、通過物体検出部111は、右ドア11と左ドア12が共に閉められたときはステップS15に処理を進めて、「撮像処理」を終了する。一方、右ドア11と左ドア12の少なくともいずれか一方が開いているときには、通過物体検出部111は、ステップS12に処理を進める。
次に、ステップS20~S21、及びステップS22~S23は、食品情報取得部114による処理である。食品情報取得部114は、ステップS20で、画像処理部120を介して、カメラ60により冷蔵室10の開口部10aを含む範囲を撮像する。続くステップS21で、食品情報取得部114は、ステップS20で撮像した画像のデータを「入庫時画像」のデータとして記憶部130に保存し、ステップS15に処理を進める。なお、撮像を複数回行って、複数の画像のデータを「入庫時画像」のデータとして記憶部130に保存するようにしてもよい。
また、ステップS22で、食品情報取得部114は、画像処理部120を介して、カメラ60により冷蔵室10の開口部10aを含む範囲を撮像する。続くステップS23で、食品情報取得部114は、ステップS22で撮像した画像のデータを「出庫時画像」のデータとして記憶部130に保存し、ステップS15に処理を進める。なお、撮像を複数回行って、複数の画像のデータを「出庫時画像」のデータとして記憶部130に保存するようにしてもよい。
図7に示した「撮像処理」によって、通過物体検出部111により、照度センサ17a,7b,17cにより検出される上棚13、中棚14、又は下棚15の照度の変化に基づいて、冷蔵室10の開口部10aを通過する物体が検出される。
また、通過物体検出部111により、開口部10aを通過していずれかの棚13,14,15に入った物体が検出された時点での開口部10a付近の撮像画像である「入庫時画像」が、記憶部130に保存される。さらに、通過物体検出部111により、いずれかの棚13,14,15から出て開口部10aを通過した物体が検出された時点での開口部10a付近の撮像画像である「出庫時画像」とが、記憶部130に保存される。
なお、図7のステップS15で、右ドア11と左ドア12が閉められたことが検出される前に、ステップ13において開口部10aを通過する物体が複数回検出されたときには、ステップS20~S21により、複数の「入庫時画像」の撮像と保存が行われる。そして、後述する「重量情報処理」により入庫が判定された食品の「入庫時画像」について、それぞれ「画像分析処理」が実行される。
同様に、図7のステップS15で、右ドア11と左ドア12が閉められたことが検出される前に、ステップS14において開口部10aを通過する物体が複数回検出されたときには、ステップS22~S23により、複数の「出庫時画像」の撮像と保存が行われる。そして、後述する「重量情報処理」により出庫が判定された食品の「出庫時画像」について、それぞれ「画像分析処理」が実行される。
[3-2.重量情報処理]
次に、図8に示したフローチャートに従って、「重量処理」の実行手順について説明する。「重量情報処理」は、入出庫判定部113、及び食品情報取得部114により実行される。
図8のステップS30~S33及びS40は、入出庫判定部113による処理である。入出庫判定部113は、ステップS30で、収容量認識部112により各棚13,14,15の重量を認識して記憶部130に保存する。続くステップS31で、通過物体検出部111により、図7のステップS13又はステップS14で、冷蔵室10の開口部10aを通過する物体が検出されたとき(冷蔵室10への物体の出入りがあったとき)に、入出庫判定部113は、ステップS32に処理を進める。
ステップS32で、入出庫判定部113は、収容量認識部112により各棚13,14,15の重量を認識する。次のステップS33で、入出庫判定部113は、ステップS30で認識した重量に対して、ステップS32で認識した重量が増加した棚があるか否かを判断する。そして、重量が増加した棚があるとき(この場合は、冷蔵室10に食品が入庫されたと判断できる)は、入出庫判定部113はステップS34に処理を進める。
一方、重量が増加した棚がないときには、入出庫判定部113は、ステップ33からステップS40に処理を進め、ステップS30で認識した重量に対して、ステップS32で認識した重量が減少した棚があるか否かを判断する。そして、重量が減少した棚があるとき(この場合は、冷蔵室10から食品が出庫したと判断できる)は、入出庫判定部113はステップS41に処理を進める。また、重量が増加した棚がないとき(この場合は、冷蔵室10への食品の入庫及び冷蔵室10からの食品の出庫がなかったと判断できる)には、入出庫判定部113は、ステップS36に処理を進めて「重量情報処理」を終了する。
ステップS34~S35及びステップS41は、食品情報取得部114による処理である。食品情報取得部114は、ステップS34で、収容量認識部112により認識された各棚13,14,15の左右の重量から、入庫食品の収容位置を推定する。
次のステップS35で、食品情報取得部114は、入庫食品情報132(図5参照)に、入庫食品の重量と収容位置の情報を記録して、ステップS36に処理を進め、「重量情報処理」を終了する。入庫食品情報132のデータは、庫内食品リスト131への情報の追加、更新等を行うために記憶部130に一時的に保存される。
また、ステップS41で、食品情報取得部114は、出庫食品情報133(図5参照)に、出庫食品の重量の情報を記録してステップS36に処理を進め、「重量情報処理」を終了する。出庫食品情報133のデータは、庫内食品リスト131への食品情報の追加、更新等を行うために記憶部130に一時的に保存される。
[3-3.画像分析処理]
次に、図9、図10に示したフローチャートに従って、「画像分析処理」の実行手順について説明する。「画像分析処理」は、食品情報取得部114により実行される。図9は、冷蔵室10に入庫された食品について、「入庫時画像」から情報を取得する処理である。また、図10は、冷蔵室10から出庫された食品について、「出庫時画像」から情報を取得する処理である。
先ず、図9を参照して、「入庫時画像」に対する「画像分析処理」について説明する。食品情報取得部114は、図9のステップS50で、入庫食品の「入庫時画像」に対して、画像処理部120により文字抽出処理を実行する。ここで、入庫食品とは、図8のステップS33で、入出庫判定部113により冷蔵室10に入庫されたと判定された食品である。また、入庫食品の「入庫時画像」とは、図8のステップS33で入庫と判定された食品について、図7のステップS20,S21で食品情報取得部114により撮像及び保存された「入庫時画像」である。
続くステップS51で、食品情報取得部114は、画像処理部120により「入庫時画像」から文字が抽出されたか否かを判断する。そして、食品情報取得部114は、文字が抽出されたときはステップS52に処理を進め、文字が抽出されなかったときにはステップS60に処理を進める。
ステップS52で、食品情報取得部114は、画像処理部120により抽出された文字の情報を分析する。そして、続くステップS53で、食品情報取得部114は、文字の情報から、食品名、賞味期限、産地、内容量等の入庫食品の情報を取得する。次のステップS54で、食品情報取得部114は、取得した入庫食品の情報を入庫食品情報132に記録して、「画像分析処理」を終了する。
また、ステップS60で、食品情報取得部114は、画像処理部120によって、「入庫時画像」から入庫食品の画像部分を抽出する。続くステップS61で、食品情報取得部114は、抽出した入庫食品の画像部分と、予め記憶部130に保存された種々の食品のサンプル画像134(図5参照)との一致率を算出する。
次のステップS62で、食品情報取得部114は、一致率が最も高いサンプル画像134の食品名を入庫食品の食品名と推定して取得し、ステップS54に処理を進める。ステップS60~S62の処理により、入庫食品の「入庫時画像」から文字が抽出できなかった場合であっても、入庫食品の食品名を推定して入庫食品情報132に記録することができる。
次に、図10を参照して、「出庫時画像」に対する「画像分析処理」について説明する。食品情報取得部114は、図10のステップS70で、出庫食品の「出庫時画像」に対して、画像処理部120により文字抽出処理を実行する。ここで、出庫食品とは、図8のステップS40で、入出庫判定部113により冷蔵室10から出庫されたと判定された食品である。また、出庫食品の「出庫時画像」とは、図8のステップS40で出庫と判定された食品について、図7のステップS22,S23で食品情報取得部114により撮像及び保存された「出庫時画像」である。
続くステップS71で、食品情報取得部114は、画像処理部120により「出庫時画像」から文字が抽出されたか否かを判断する。そして、食品情報取得部114は、文字が抽出されたときはステップS72に処理を進め、文字が抽出されなかったときにはステップS80に処理を進める。
ステップS72で、食品情報取得部114は、画像処理部120により抽出された文字の情報を分析する。そして、続くステップS73で、食品情報取得部114は、文字の情報から、食品名、賞味期限、産地、内容量等の出庫食品の情報を取得する。次のステップS74で、食品情報取得部114は、取得した出庫食品の情報を出庫食品情報133に記録して、「画像分析処理」を終了する。
また、ステップS80で、食品情報取得部114は、画像処理部120によって、「出庫時画像」から出庫食品の画像部分を抽出する。続くステップS81で、食品情報取得部114は、抽出した出庫食品の画像部分と、予め記憶部130に保存された種々の食品のサンプル画像134との一致率を算出する。
次のステップS82で、食品情報取得部114は、一致率が最も高いサンプル画像134の食品名を出庫食品の食品名と推定して取得し、ステップS74に処理を進める。ステップS80~S82の処理により、出庫食品の「出庫時画像」から文字が抽出できなかった場合であっても、出庫食品の食品名を推定して出庫食品情報133に記録することができる。
図9の画像分析処理は、冷蔵室10への入庫が判定された場合の入庫時画像を対象として行われ、図10の画像分析処理は、冷蔵室10からの出庫が判定された場合の出庫時画像を対象として行われる。そのため、食品ではなく、右ドア11又は左ドア12が通過物体検出部111により検出されたときには、入庫又は出庫と判定されないため、画像分析処理は行われない(撮像画像は無効となる)。これにより、右ドア11又は左ドア12の画像部分から、誤った食品情報が取得されることを防止することができる。
[3-4.重量センサ補正処理]
図11に示したフローチャートに従って、重量センサ13a,13b,14a,14b,15a,15bの検出重量を補正するための「重量センサ校正処理」の実行手順について説明する。「重量センサ補正処理」は、収容量認識部112により実行される。「重量センサ補正処理」は、経時変化等によって生じ得る重量センサ13a,13b,14a,14b,15a,15bの検出誤差分を修正(校正)するための処理である。
図11のステップS90で、収容量認識部112は、入出庫判定部113により冷蔵室への食品の入庫ありと判定されたとき(図8のステップS33でYES)に、ステップS91に処理を進める。ステップS91で、収容量認識部112は、入庫食品情報132に入庫食品の内容量の情報が記録(図9のステップS54の処理)されているか否かを判断する。そして、収容量認識部112は、入庫食品情報132に入庫食品の内容量(図9のステップS53で取得した食品の内容量)の情報が記録されているときはステップS92に処理を進める。
ステップS92で、収容量認識部112は、入庫食品情報132に記録された入庫食品の重量と内容量との比を算出する。そして、収容量認識部112は、算出した比を、入庫食品の重量検出に用いられた重量センサの補正係数に設定する。例えば、入庫食品が上棚13に入庫され、重量センサ13a,13bによって重量が検出された場合には、収容量認識部112は、算出した比を重量センサ13a,13bの検出重量の補正係数として設定する。
続くステップS93で、収容量認識部112は、補正係数のデータを記憶部130に保存し、ステップS94に処理を進めて「重量センサ補正処理」を終了する。以後、収容量認識部112は、重量センサ13a,13bの検出重量に補正係数を乗じた値を、検出重量として扱う。同様にして、収容量認識部112は、入庫食品が中棚14に収容されたときは、重量センサ14a,14bの補正係数を設定し、入庫食品が下棚15に収容されたときは、重量センサ15a,15bの補正係数を設定する。
一方、ステップS91で、入庫食品情報132に内容量の情報が記録されていなかった場合には、収容量認識部112は、ステップS94に処理を進めて「重量センサ補正処理」を終了する。この場合は、補正係数の算出及び設定は行われない。
[3-5.庫内食品管理処理]
図12及び図13に示したフローチャートに従って、冷蔵室10に収容された食品の情報を管理するための「庫内食品管理処理」の実行手順について説明する。「庫内食品管理処理」は、食品情報管理部115により実行される。
食品情報管理部115は、冷蔵室10に収容された食品の情報を、庫内食品リスト131(図5参照)により管理する。庫内食品リスト131には、図14に示したように、冷蔵室10に入庫された食品に付された番号(1,2,3,…)と、番号が付された各入庫食品の情報として、食品名、重量(初回、現在、喫食量)、入出庫日時(初回入庫、最新出庫、最新入庫)在庫(1:あり、0:なし)、賞味期限、及び産地とが記録されている。食品情報管理部115は、食品情報取得部114により記録された入庫食品情報132及び出庫食品情報133に基づいて、庫内食品リスト131の生成及び更新を行う。
図12のステップS100で、食品情報管理部115は、入出庫判定部113により、冷蔵室10への食品の入庫又は冷蔵室10からの食品の出庫が判定されたか否かを判断し、入庫又は出庫が判定されたときにステップS101に処理を進める。ステップS101で、食品情報管理部115は、入庫の判定がなされたか否かを判断し、入庫の判定がなされたときはステップS102に処理を進める。一方、入庫の判定がなされなかったとき(出庫の判定がなされたとき)には、食品情報管理部115は、ステップS110に処理を進める。
ステップS102で、食品情報管理部115は、所定時間以内に冷蔵室10からの出庫があったか否かを判断する。そして、所定時間以内に冷蔵室10からの出庫があったときはステップS103に処理を進め、所定時間以内に冷蔵室10からの出庫がなかったときにはステップS111に処理を進める。なお、所定時間以内に冷蔵室10からの出庫があったことは、庫内食品リスト131から認識することができる。また、所定時間は、ユーザーが、冷蔵室10から出庫した食品の一部を使用して冷蔵室10に戻す(再入庫)する場合を想定して、例えば、10分程度に設定される。
ステップS103で、食品情報管理部115は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であるか否かを判断する。ここで、食品情報管理部115は、庫内食品リスト131に記録された前回出庫された商品の情報と、入庫食品情報132に記録された今回入庫された商品と情報とを対比して、食品名、賞味期限、産地等の一致状況から、前回出庫された食品と今回入庫された食品の一致率を算出する。
そして、食品情報管理部115は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であるときはステップS104に処理を進め、前回出庫された食品と今回入庫された食品との一致率が所定値未満であるときには、ステップS112に処理を進める。
ステップS104は、前回出庫された食品と今回入庫された食品との一致率が所定値以上であって、前回出庫された食品と今回入庫された食品とが同一物であると判断できる場合の処理である。ステップS104で、食品情報管理部115は、庫内食品リスト131において、所定時間以前に出庫した食品の現在重量、最新入庫日時、喫食量(初回入庫時と現在の重量の差)を、入庫食品情報132に記録された情報に基づいて更新し、図13のステップS105に処理を進める。
ステップS112は、前記出庫された食品と今回入庫された食品との一致率が所定値未満であって、前回出庫された食品と今回入庫された食品とが異なると判断できる場合の処理である。食品情報管理部115は、ステップS112で、庫内食品リスト131において、入庫食品情報132に記録された情報に基づいて入庫食品を新規登録し、図12のステップS105に処理を進める。
ステップS111は、所定時間以内に出庫がなかった場合の処理である。食品情報管理部115は、ステップS111で、庫内食品リスト131において、入庫食品情報132に記録された情報に基づいて入庫食品を新規登録し、図12のステップS105に処理を進める。
ステップS110は、冷蔵室10から食品が出庫されたと判定された場合の処理である。食品情報管理部115は、ステップS110で、庫内食品リスト131において、該当食品(出庫食品)の現在重量を0に更新する。また、食品情報管理部115は、庫内食品リスト131において、該当食品の喫食量を更新し、出庫食品情報133に記録された情報に基づいて最新出庫時刻を更新して、図13のステップ105に処理を進める。
図13のステップS105で、食品情報管理部115は、ステップS110の処理により現在重量が0グラムになった食品があるか否かを判断する。そして、食品情報管理部115は、現在重量が0グラムになった食品があるときはステップS105に処理を進め、現在重量が0グラムになった食品が無いときにはステップS120に処理を進める。
ステップS106で、食品情報管理部115は、庫内食品リスト131の該当食品(今回、出庫されたと判定された食品)の情報を、‘在庫なし’(在庫0)に更新して、ステップS107に処理を進める。また、ステップS120で、食品情報管理部115は、庫内食品リスト131の該当食品(今回、入庫したと判定された食品)の情報を、‘在庫あり’(在庫1)に更新して、ステップS107に処理を進める。
ステップS107で、食品情報管理部115は、入庫食品情報132に文字認識による賞味期限の情報が記録されているか否かを判断する。そして、食品情報管理部115は、入庫食品情報132に賞味期限の情報が記録されているときはステップS108に処理を進め、賞味期限の情報が記録されていないときにはステップS121に処理を進める。
ステップS108で、食品情報管理部115は、入庫食品情報132に記録された賞味期限の情報に基づいて、庫内食品リスト131に今回入庫された食品の賞味期限を登録し、ステップS109に処理を進める。また、ステップS121で、食品情報管理部115は、記憶部130に保存された賞味期限リスト135を参照して、該当する食品の一般的な賞味期限を検索する。
賞味期限リスト135は、図14に示したように、食品名と食品の賞味期限とを対応付けたリストであり、食品情報管理部115は、今回の入庫食品の食品名に対応付けられた賞味期限を検索する。続くステップS122で、食品情報管理部115は、庫内食品リスト131の該当食品のデータに賞味期限を登録して、ステップS109に処理を進める。
ステップS109で、食品情報管理部115は、更新した庫内食品リスト131のデータを、無線通信部140により、通信ネットワーク510を介して管理サーバー520に送信し、「庫内食品管理処理」を終了する。
管理サーバー520は、冷蔵庫1から受信した庫内食品リスト131のデータを記憶装置(図示しない)に保存し、庫内食品リスト131から認識される各商品の喫食状況、賞味期限までの残日数等を、ユーザーの端末装置400に送信する。これにより、ユーザーは、外出先等においても、端末装置400により冷蔵庫1に収容された商品の状況を確認することができる。
[4.撮像処理の別実施形態]
次に、図15に示したフローチャートに従って、「撮像処理」の別実施形態について説明する。図15に示したフローチャートは、食品情報取得部114及び撮像時点設定部116により実行される。撮像時点設定部116は、冷蔵室10の右ドア11又は左ドア12が開けられてから第1所定時間が経過した時点を第1撮像時点に設定し、冷蔵室10の右ドア11及び左ドア12が閉められた時から第2所定時間前の時点を第2撮像時点に設定する。
食品情報取得部114は、ステップS130で、開閉センサ18a,18bの検出信号から、冷蔵室10の右ドア11と左ドア12の一方又は両方が閉状態から開状態に切り替わったことを認識した時から、ステップS137で、右ドア11と左ドア12の両方が閉状態から開状態に切り替わったことを認識するまでの間に、第1撮像時点及び第2撮像時点でカメラ60による撮像を行う。
食品情報取得部114は、ステップS130で、冷蔵室10の右ドア11と左ドア12の一方又は両方が閉状態から開状態に切り替わったことを認識したときに、ステップS131に処理を進める。ステップS131~S132は、撮像時点設定部116による処理である。
撮像時点設定部116は、ステップS131で、第1所定時間をタイムアップまでの計時時間とするタイマをスタートさせる。そして、続くステップS132で、タイマがタイムアップした時(第1撮像時点になった時)に、ステップS133に処理を進める。
ステップS133~S138は、食品情報取得部114による処理である。食品情報取得部114は、ステップS133で、カメラ60による撮像を複数回実行し、続くステップS134で、撮像した画像のデータを「入庫時画像」のデータとして記憶部130に保存する。
続くステップS135~S137のループにより、食品情報取得部114は、ステップS137で、開閉センサ18a,18bにより、右ドア11及び左ドア12が閉められたことが検出されるまで、ステップS135、S136の処理を繰り返し実行する。食品情報取得部114は、ステップS135で、カメラ60による撮像を行って撮像時刻を記憶部130に記録し、ステップS136で、撮像した画像のデータを出庫時画像候補のデータとして、記憶部130に保存する。これにより、時系列の撮像画像のデータが、記憶部130に順次保存される。
食品情報取得部114は、ステップS137で、開閉センサ18a,18bにより、右ドア11及び左ドア12が閉められたことが検出されたときに、ステップS138に処理を進める。ステップS138で、食品情報取得部114は、記憶部130に保存された出庫時画像候補のデータの中から、ステップS137で右ドア11及び左ドアが共に閉められた状態であることが検出された時点から、第2所定時間前に撮像された画像データを、出庫時画像として記憶部130に保存する。
撮像時点設定部116により第1撮像時点及び第2撮像時点を設定する他の構成として、開口部10aを通過する物体を検出する対物センサ80(図3~図5参照)による物体の検出状況に基づいて、第1撮像時点及び第2撮像時点を設定してもよい。この場合、撮像時点設定部116は、対物センサ80により物体が検出されていない状態から検出された状態に切り替わった時点に基づいて、例えばこの時点から所定時間が経過した時点を第1撮像時点に設定する。また、撮像時点設定部116は、その後、対物センサ80により物体が検出されている状態から物体が検出されていない状態に切りかわった時点に基づいて、例えば、この時点よりも所定時間前の時点を第2撮像時点に設定する。
[5.他の実施形態]
上記実施形態において、通過物体検出部111は、照度センサ17a,17b,17cにより検出される冷蔵室10内の照度の変化によって、冷蔵室10の開口部10aを通過する物体を検出した。通過物体検出部111の他の構成として、図3~図5に示したように、開口部10aを検出範囲に含み、開口部10aを通過する物体を直接検出する対物センサ80(反射型又は透過型の光センサ、超音波センサ、静電容量センサ等)を用いてもよい。この場合、対物センサ80の検出範囲を、開口部10aから冷蔵室10内に向かう方向において、カメラ60の撮像範囲よりも手前側に設定してもよい。これにより、開口部10aを通過する物体が検出された時点から、カメラ60による撮像が実行されるまでの遅れ時間により、入庫される食品の撮像に失敗することを防止することができる。
また、開閉センサ18aにより左ドア12開けられたことが検出されたとき、及び開閉センサ18bにより右ドア11が開けられたことが検出されたときに、カメラ60への通電を開始して、カメラ60による撮像を可能にしてもよい。この構成によれば、左ドア12と右ドアが閉められているときは、カメラ60への通電を遮断して節電することができる。また、右ドア又は左ドア12が開けられたタイミングでカメラ60への通電を開始することによって、カメラ60の起動の遅れにより入庫される食品の撮像に失敗することを防止することができる。
また、食品情報取得部114は、通過物体検出部111により、開口部10aを通過する物体が検出された時から所定時間以内に、開閉センサ18aにより左ドア12が開状態から閉状態に切り替わったことが検出されたとき、又は開閉センサ18bにより右ドア11が開状態から閉状態に切り替わったことが検出されたときには、カメラ60により撮像された画像データを無効にする構成としてもよい。この構成によれば、左ドア12又は右ドア11が閉められる際に、左ドア12又は右ドア11が通過物体検出部111により検出されてカメラ60により撮像されたときに、左ドア12又は右ドア11の画像から、誤った食品の情報が抽出されることを防止することができる。
上記実施形態において、収容量認識部112は、重量センサ13a,13b,14a,14b,15a,15bによる検出重量に基づいて、冷蔵室10の各棚13,14,15に収容されている食品の量を認識した。収容量認識部112の他の構成として、照明部16a,16b,16c,16d,16e,16fを点灯させた状態での照度センサ17a,17b,17cによる検出照度に基づいて、冷蔵室10の各棚13,14,15に収容されている食品の量を認識してよい。或いは、カメラ60又は別に配置したカメラによる冷蔵室10の内部の撮像画像から、食品の画像部分を抽出することによって、冷蔵室10の各棚13,14,15に収容されている食品の量を認識してもよい。
上記実施形態では、カメラ60の撮像画像に対する処理を画像処理部120により行ったが、画像処理部120の機能をCPU110に備えて、CPU110により撮像画像に対する処理を行ってもよい。
上記実施形態では、サンプル画像134と賞味期限リスト135のデータを、記憶部130に保存したが、管理サーバー520に保存して、使用時に管理サーバー520から冷蔵庫1の制御ユニット100にダウンロードするようにしてもよい。
また、サンプル画像134を記憶部130又は管理サーバー520に保存するとしたが、色や形、大きさなどの各々の食品や収納物の特徴を事前に学習した画像認識プログラムをCPU110に実装しておき、入庫食品の画像部分を画像認識プログラムで処理をして一致率を算出し入庫食品の食品名と推定して取得してもよい。これによってサンプル画像134は不要となって記憶部130または管理サーバー520で保存する記憶容量を小さくすることができ、入庫食品の食品名を推定する認識処理時間も早く処理できる。出庫食品の食品名の推定も上記と同様に処理することができる。
上記実施形態では、冷蔵庫1の冷蔵室10について、入出庫判定部113により食品の入庫と出庫を判別して、食品情報取得部114により入庫食品及び出庫食品の情報を取得し、食品情報管理部115により冷蔵室10に収容された食品の情報を管理した。切換室20、冷凍室40、及び野菜室50についても、開口部20a,40a,50aを通過する物体を検出する通過物体検出部と、収容された食品の量を認識する収容量認識部を備えることにより、食品の入庫と出庫を判定することができる。また、開口部20a,40a,50aを含む範囲を撮像するカメラを設けて、撮像画像(入庫時画像及び出庫時画像)から入庫食品及び出庫食品の情報を取得することにより、切換室20、冷凍室40、及び野菜室50に収容された食品の情報を取得して、食品の管理を行うことができる。