請求項1に記載の発明は、断熱壁と断熱扉によって区画され収納物を収納する収納室と、前記収納室に設けられるとともに前記収納室の内部を照らす複数の照明装置と、前記収納室の収納空間を仕切る仕切棚と、前記収納室を冷却するための冷却器と、前記収納室を覆う断熱扉と、前記断熱扉の開閉を検知する扉開閉検知手段と、前記収納室を撮像する撮像装置と、前記撮像装置を制御する制御部と、前記撮像装置により撮像された画像を記憶する記憶手段と、画像を補正する補正手段とを備え、前記制御部は、前記扉開閉検知手段により前記断熱扉が閉扉検知時に前記複数の照明装置の照度を前記断熱扉が開いているときの照度よりも低下させて片方側から照射して前記撮像装置で複数の画像を撮像し、前記記憶手段は、複数の画像を結合する場合には前記補正手段により補正された画像を記憶するものとし、複数の画像を結合しない場合には前記補正手段を用いずに撮像された画像を記憶するものであり、すべての画像を複雑な演算処理する必要がなくなり、使用者の要望に応じて、単一の補正前の画像を見たい場合は速やかに確認することができるので、外部から貯蔵庫内の食品の判別が容易となり、使い勝手のよい冷蔵庫を提供することができる。
請求項2に記載の発明は、請求項1に記載の発明において、前記照明装置は、前記仕切棚よりも前記収納室の開口側に設けられているものであり、前方から奥側に向かって照射することで被写体に影が生じにくく撮像装置での鮮明な画像の撮影が可能となる。
請求項3に記載の発明は、請求項1または2に記載の発明において、前記撮像装置は、前記照明装置からの直接光が入射しないように配置されているものであり、照明装置からの直接光を排除して撮像装置での鮮明な画像を確実に撮影することができる。
以下、本発明の実施の形態1について、図面を用いて説明する。尚、本発明は以下の実施の形態に限定されるものではない。
[実施の形態1]
<1.構成>
1−1.冷蔵庫の構成
1−1−1.フレンチドアタイプの冷蔵庫の構成
図1〜図9を用いてフレンチドアタイプの冷蔵庫の場合の構成例についてまず説明する。
図1〜図3において、冷蔵庫本体1は、前方に開口する金属製(例えば鉄板)の外箱2と、硬質樹脂製(例えばABS)の内箱3と、これら外箱2と内箱3との間に発泡充填した硬質発泡ウレタン等の断熱材4からなる。上記冷蔵庫本体1はその内部に複数の貯蔵庫を仕切形成してある。この貯蔵庫は、冷蔵庫本体1の上部から、冷蔵室5、冷蔵室5の下に位置する切替室6及び切替室6に並設した製氷室7、切替室6及び製氷室7の下部に位置する冷凍室8と、冷凍室8の下部に位置する野菜室9となっている。また、前記冷蔵室5の前面は、観音開き式の扉10により開閉自由に閉塞し、切替室6及び製氷室7と冷凍室8と野菜室9の前面部は引き出し式の扉11,12,13,14(以下、引き出し式扉と称す)によって開閉自由に閉塞してある。
冷蔵庫本体1の背面には冷却室16があり、冷気を生成する冷却器17と、冷気を各室に供給する送風ファン18と、冷蔵室への風量を調整するためのダンパ(風量調整手段)22とが設けてある。また、上記冷蔵庫本体1の本体天面奥部にはコンプレッサ19が設けてあり、コンデンサ(図示せず)と、放熱用の放熱パイプ20と、キャピラリーチューブ21と、前記した冷却器17とを順次環状に接続してなる冷凍サイクルに冷媒を封入し、冷却運転を行うように構成してある。
ここで、上記各扉10〜14は冷蔵庫本体1と同様硬質発泡ウレタンを充填して断熱性を持たせてあり、この冷蔵庫では、上記扉10〜14のうち、冷蔵室となる貯蔵庫5の扉10の一方の前面に表示端末15が装備してある。この表示端末15は図4(a)に示すように液晶パネル等のディスプレイ部とそれを制御する制御部で構成し、扉10に一体的に取付けたり、あるいは、図4(b)に示すようにスマートフォン、タブレットPCで形成し、扉10に着脱自在としてあり、いずれかの方式で装備させればよい。
図5(a)、(b)は扉10に対する表示端末15の装着構成例を示し、図5(a)は表示端末15を一体的に取り付けた場合、図5(b)は表示端末15を着脱自在に装着した場合を示す。
図5(a)、(b)において、扉10は、主に、冷蔵庫の前面側に面する外被パネル10aと、冷蔵庫の庫内側に面する内側板10bと、外被パネル10aと内側板10bとの間に充填した断熱材4とで構成してある。外被パネル10aはカラー鋼板などの金属製の部材或いはガラス板等の透明の部材で構成してあり、内側板10bは真空成型により形成した合成樹脂部材である。内側板10bの周囲部分には、庫内側から見てロの字状で庫内側に突出する隆起壁部10b−1が設けてある。また、断熱材4にはすでに述べたように例えば硬質発泡ウレタンなどが用いてある。
また、表示端末15を一体化した図5(a)の扉10においては、扉10の前面側に、外被パネル10aと連続して断熱材4を覆う樹脂製の収納枠体23が設けてある(外被パネル10aがガラス板である場合はガラス板に一体的に接着して設けてある)。表示端末
15は、端末保持体24を介して収納枠体23に固定されている。また、表示端末15の前面側には、タッチパネル25を設けている。表示端末15とタッチパネル25間は隙間26が設けてあり、表示端末15からのノイズによってタッチパネル25が誤作動を起さないようにしてある。表示端末15、タッチパネル25はその外周縁を覆う枠体27を扉10表面に取り付けて固定してある。また、前記収納枠体23を設けることで、断熱材4が表示端末15に直接ふれることがないため、断熱材4を発泡する際に、表示端末15が高温に曝されたり、変形したりするなどの不具合を防止することができる。一方、表示端末15を着脱自在とした図5(b)の扉10では、扉10の前面部に収納枠体23を設けることで、凹部28を形成し、この凹部28に表示端末15を着脱するように構成してある。
図6(a)、(b)、(c)は、扉10と表示端末15のディスプレイ透視構成の一例を示し、図6(a)、(b)は扉10の外被パネル10aがガラス板10a−1の場合、図3(c)は扉10の外被パネル10aをマジックミラー10a−2で構成した場合を示す。
図6(a)においては、扉10に埋設した表示端末15とガラス板10a−1との間に、表示端末15と対向する部分のみ透明としたスモークシート29が設けてあり、表示端末15がオフで黒っぽく見える時でも、表示端末15以外のガラス板10a−1部分もスモークシート29によって黒っぽく見えて表示端末15との境界が目立つことがなくなり、外観を良好に維持することができる。また、図6(b)においては、表示端末15の表示部として透明液晶表示部を用い全体が黒いスモークシート29aを透明液晶表示部の裏面に沿うように敷設したもので、この形態によっても外観を良好なものとすることができる。更に、図6(c)では図6(a)、(b)のガラス板10a−1をマジックミラー10a−2とし、スモークシート8aを不要としたもので、この場合も外観を良好に維持することができる。いずれも表示端末15を扉10に一体的に取り付けた場合の例を示す。なお、スモークシート29の代わりにガラス板10a−1の背面側に黒っぽく見えるよう塗装を行ってもよい。
図7、図8(a)、(b)は本発明の主要部となるカメラと庫内照明灯の取り付け例を示すもので、図4は扉を閉じた状態の冷蔵庫の縦断面図、図8(a)は同扉を閉じた状態の冷蔵庫における扉内面部を示す横断面図、図8(b)は同扉を開いたときの扉内面部の正面図である。
図7、図8(a)、(b)において、冷蔵庫の貯蔵庫5には上下複数段に棚板30−1〜30−4が設けてある。この棚板30−1〜30−4は周囲の枠を除き、透明な合成樹脂材やガラスなどの透過性を有する材料で形成してある。
31は最下段の棚板30−4の下方に引き出し自在に設けた収納容器である。最下段の棚板30−4は収納容器31の上面を構成することから固定されているものの、棚板30−1〜30−3は、それぞれ貯蔵庫5の両側壁部に設けられた側壁凸部32−1〜32−4に載せられており、脱着自在となっている。特に、最下段の棚板30−4を除いた棚板30−1〜30−3のうち中央の棚板30−2には、対応する側壁凸部32−2が異なる高さに複数、設けられており、棚の高さを調節できるようになっている。
33−1〜33−3は前記貯蔵庫5の開口を開閉する扉10の内面部に設けた扉ポケットで、上下複数段設けてある。この扉ポケット33−1〜33−3も透過性を有する材料で形成してある。
34−1,34−2は庫内照明灯で、前記各棚板30−1〜30−4の前端より前方の
前記貯蔵庫5の前面開口両側壁部と前面開口上面壁面部に設けてある。なお、この庫内照明灯34−1,34−2は省エネの関係から複数のLEDを配置した基板を例えば上下方向に渡り設けて透光性のカバーで覆ってある。
35−1,35−2は前記庫内照明灯34−1,34−2と同様貯蔵庫5の前面側に位置するように設けたカメラで、例えば、CCDカメラやCMOSカメラ等で構成してあり、その種類は特に限定するものではないが、結露等に強いものであるのが好ましい。
この実施の形態では前記カメラは二つ設けてあって、その一方のカメラ35−1は上段扉ポケット33−1の前後方向略中央の下面相当付近に取り付けてあり、もう一つのカメラ35−2は最下段の扉ポケット33−3の上部付近に取り付けてある。ここで、扉ポケット33の前後方向とは、扉10の内側板10bが構成する面に対して垂直方向であり、扉10を閉じた際には貯蔵庫5の前後方向と同一となる方向である。
また、上方のカメラ35−1は最上段の棚板30−1の略前方位置に、下方のカメラ35−2は図中三段目の棚板30−3の前方位置に設けてある。つまり、いずれのカメラも、高さ調節を前提にして設けられている複数の側壁凸部32−2に載せられる棚板30−2ではなく、脱着可能ではあるが高さ調整を前提としていない棚板30−1、棚板30−3の略前方位置に設けてある。
そして更に、いずれのカメラ35−1,35−2も、図7から明らかなように各棚板30−1〜30−4の前端より前方位置であって、かつ、図8(b)に示す様に扉10の軸支部Xとは反対の開放端側端部Y付近、すなわち冷蔵庫51の左右方向の略中央部に位置するように設けて、この二つのカメラ35−1,35−2で庫内のほぼ全域が撮影できるようにしてある。このフレンチドアの例の場合、カメラ35−1,35−2は大きい面積の扉10側に設けて、冷蔵庫51の略中央部に位置するように設定してある。また、この例では、カメラ35−1,35−2はセンターピラー36(図3参照)が設けられていない扉10側に設けて、冷蔵庫51の略中央部に位置するように設定してある。なお、センターピラー36とは、周知の如くフレンチドアの場合に、2枚の扉10のいずれか一方の側面に設けられ、2枚の扉10の間に生じる隙間から貯蔵庫5内の冷気が漏れるのを防止するために設けられた部材である。
なお、カメラ35−1,35−2は、図9の(a)に示すように収納容器内専用のカメラ35−3を追加設置したり、同図(b)のように、下方のカメラ35−2を上下動自在に設けたり、同図(c)のように、下方のカメラ35−2を上下方向に回動自在に設けたりと、設置する冷蔵庫の形態に応じて任意に設定すればよい。
また、前記庫内照明灯34−1,34−2は、図7から明らかなようにカメラ35−1,35−2より貯蔵庫奥側の位置に設け、庫内照明灯34−1,34−2の光が直接カメラ35−1,35−2の撮影部に入り込まないように設けてある。
より具体的には、図8(a)に示すように、カメラ35−1,35−2の撮影部は、庫内照明灯34−1,34−2の照射方向の照射量(最大照射量)に対し照射量が1/2以上となる範囲、この例では、照射角60度の範囲の外に設けてある。
なお、これは、図示しないが、庫内照明灯34−1,34−2のカメラ側に遮光部を設けたり、或いは庫内照明灯34−1,34−2を構成するLED等の光原を斜め後方向きに傾斜配置するなどの構成とすることによって、庫内照明灯34−1,34−2の光が直接カメラ35−1,35−2の撮影部に入り込まないようにしてもよいものであり、カメラの設置条件等に応じて適切に選択すればよい。これは以降説明するシングルドアタイプ
の冷蔵庫の場合も同様である。
1−1−2.シングルドアタイプの冷蔵庫の構成
図10〜図13は扉10が1枚扉の場合におけるカメラと庫内照明灯の取り付け例を示す。なお、このシングルタイプドアの冷蔵庫では、すでに説明したフレンチドアタイプの冷蔵庫と同じ部分については同一番号を付記して説明を省略し、異なる部分のみ説明していく。
まず、図10、図11(a)(b)を用いてその一例を説明する。
図10、図11(a)(b)において、この1枚扉の冷蔵庫の場合には、上方のカメラ35−1は1枚扉において一般的な配置例となっている左右分割扉ポケット33−4、33−5、33−6間に存在する隆起壁部10b−2に設けるとともに、下方のカメラ35−2は扉ポケット33−7と33−8との間の扉内面部に設けてある。上記各カメラ35−1,35−2は前記フレンチドアタイプと同様、脱着可能ではあるが高さ調整を前提としていない棚板30−1、棚板30−3の略前方位置に設けてある。そして、図10に示すように各棚板30−1〜30−4の前端より前方位置であって、かつ、図11(a)(b)で理解できるように扉10の中央部分付近、すなわち冷蔵庫51の左右方向の略中央部に位置するように設けて、この二つのカメラ35−1,35−2で庫内のほぼ全域が撮影できるようにしてある。
また、庫内照明灯34−1,34−2はフレンチドアタイプと同様にして設けてある。すなわち、庫内照明灯34−1,34−2は、前記各棚板30−1〜30−4の前端より前方であって前記貯蔵庫の前面開口両側壁部と前面開口上面壁面部に設けてあり、その光が直接カメラ35−1,35−2の撮影部に入り込まない位置、すなわち、カメラ35−1,35−2の撮影部が、庫内照明灯34−1,34−2の照射方向の照射量(最大照射量)に対し照射量が1/2以上となる範囲、この例では、照射角60度の範囲の外に設けてある。
図12(a)(b)、図13はシングルドアタイプの他の例を示す。
この例の場合、カメラ35−1,35−2は図12(a)(b)に示すように、扉10の軸支部Xとは反対側の扉開放端部Y付近に設けてある。カメラ35−1,35−2の高さ位置は前記の1枚扉の場合と同位置である。この扉開放端部Y付近にカメラ35−1,35−2を設けた場合は、扉10を所定角度、例えば30度開いたときに撮影する。これによって、その撮影は、図13の破線で示すように貯蔵庫5の開口部付近までの広い範囲を撮影することができ、しかも、その画像は使用者が時々わずかに扉を開いて中の状態を確認するときに見る状態と略同一となり、表示端末15で画像を視認したときに違和感がなく自然な形で画像を見ることができる。
1−1−3.カメラ構成
図14は庫内撮影用に用いるカメラの一例を示す。庫内撮影に当たってカメラは前記各例で説明したように上下に離れた位置に設けるのがもっとも好ましいが、図14に示すように上下のカメラ35−1,35−2を近接設置しても庫内の全域を撮影できることが検証の結果確認できた。
よって、このような場合、カメラ35−1,35−2は一体化してカメラモジュール41とすることが考えられ、このようにモジュール化することによって設置の容易化とコストダウンが可能となる。また、魚眼レンズなど更に広角なレンズを用いることでもモジュール化することができる。
1−2.冷蔵庫システムの全体構成
次にこれまでに述べてきたような冷蔵庫を用いた冷蔵庫システム全体について図15〜図31を用いて説明する。
図15は上記した冷蔵庫を用いた冷蔵庫システム50の全体構成を示す。図15に示すように、この冷蔵庫システム50は、表示端末15等によって、冷蔵庫51内の食品状況を確認するシステムである。
この冷蔵庫システム50は、冷蔵庫51と、表示端末15とを備え、さらに、無線アダプタ(通信装置)53、ゲートウェイ装置(中継装置)54、ルーター装置55、インターネット56、サーバ装置57を含む。
冷蔵庫51は、使用者の住居A内に配置され、例えば、住居A内のキッチンルームに配置される。
無線アダプタ(通信装置)53は、冷蔵庫51の後述する制御部に電気的に接続し、ゲートウェイ装置(中継装置)54を介してルーター装置55と通信するように構成される。無線アダプタ53は、ルーター装置55から送信される信号を受信し、受信した信号を冷蔵庫51の制御部に出力する。この信号に基づいて、冷蔵庫51は、対応する動作を実行するように構成される。
無線アダプタ53は、また、冷蔵庫51の識別情報(例えば、製造番号や型番等)や後述する庫内画像データ等を冷蔵庫51の記憶部から取得し、ゲートウェイ装置(中継装置)54を介してルーター装置55に送信するように構成される。なお、無線アダプタ53は、冷蔵庫51に一体に設けてもよいし、着脱可能に構成してもよい。
無線アダプタ53は、「接続」ボタン53aを備える。「接続」ボタン53aは、ゲートウェイ装置(中継装置)54と新規に接続するためのものである。「接続」ボタン53aが使用者によって操作されると、無線アダプタ53は、冷蔵庫51の記憶部から冷蔵庫51の識別情報(例えば製造番号や型番)を取得するように構成される。
表示端末15は、既述した如く、例えば、スマートフォン、タブレットPC(パーソナルコンピュータ)などの汎用の携帯型の端末であって、本実施の形態の場合、すでに述べた冷蔵庫51の扉10に着脱自在に装備可能なもので、インターネット56に接続する機能(手段)と、後述するゲートウェイ装置54と通信する機能(手段)とを備える。
表示端末15(例えばスマートフォン)は、電話回線網(例えば3G回線網)を介して、インターネット56に接続するように構成されている。それに加えてまたは代わりとして、例えば、表示端末15は、Wi−Fi通信機能によって公衆無線LANを介してインターネット56に接続するように構成されている。
インターネット56に接続することにより、例えば、表示端末15は、本発明の対象となる冷蔵庫内の食品の画像データや省エネ運転をさせるためのデータ(例えば扉の開閉回数等のデータ)を取得するプログラムを、インターネット56を介して冷蔵庫51の製造メーカのホームページから取得することができる。この取得したプログラムを表示端末15にインストールし、インストールしたプログラムを起動させることにより、表示端末15は、冷蔵庫内の食品の画像データ等を取得することが可能になる。即ち、表示端末15はそのディスプレイ15aの操作画面を操作することにより、冷蔵庫51の画像データを取得するための操作信号を生成し、送信することが可能になる。詳細については、後述す
る。
表示端末15はまた、例えば、Wi−Fi通信、Bluetooth(登録商標)通信、赤外線通信などのインターネット56を介さない汎用の通信によってルーター装置55と接続し、そのルーター装置55を介してゲートウェイ装置54に通信接続するように構成されている。そのためのデバイス(例えばWi−Fiアンテナ等)が表示端末15に組み込まれている。
ゲートウェイ装置(中継装置)54は、無線アダプタ53と表示端末15との通信を中継する装置であって、例えば、無線アダプタ53と、特定小電力無線特別小型周波数帯(924.0〜928.0MHz)の信号を用いて通信するように構成される。ゲートウェイ装置54と無線アダプタ53間の通信の周波数帯は、遠距離まで届く低周波数帯が好ましく、ルーター装置55とともに冷蔵庫51が設置された使用者の住居A内に設置されている。
ゲートウェイ装置54はまた、表示端末15とルーター装置55を介して通信接続するように構成されている。すなわち、表示端末15とインターネット56を介さずにルーター装置55のみを介して通信(第1の通信)が実行できるように、ゲートウェイ装置54は構成されている。
ゲートウェイ装置54はさらに、ルーター装置55を介してインターネット56に接続可能に構成されている。これにより、ゲートウェイ装置54は、インターネット56およびルーター装置55を介して、表示端末15と通信(第2の通信)することができるとともにサーバ装置57にも通信することができる。
したがって、ゲートウェイ装置54は、表示端末15に対して、インターネット56を介さない通信(すなわちルーター装置55のみを介する第1の通信)と、インターネット56を介する通信(すなわちインターネット56およびルーター装置55を介する第2の通信)とが実行できるように構成されている。このように構成する理由については後述する。
サーバ装置57は、例えば、冷蔵庫51の製造メーカにより用意される。サーバ装置57は、表示端末15、冷蔵庫51、無線アダプタ53に関し、アクセスや認証に必要な情報等を管理する。例えば、サーバ装置57は、通信要求信号に含まれる表示端末15の識別情報と、無線アダプタ53に対応付けされて記憶(登録)されている表示端末15の識別情報とが一致するか否かを認証(判別)する。そして、サーバ装置57は、これらが一致する場合には、アクセスする表示端末15を、正規の表示端末として認証し、住居A内の冷蔵庫51との通信を許可する。
また、サーバ装置57は、前記した、冷蔵庫51より送信される冷蔵庫内の食品の画像データや省エネ運転をさせるためのデータ等を保存する。これらのデータは表示端末15からのデータ呼び出し信号に基づき表示端末15に送信する。すなわち、使用者は表示端末15を操作することによって冷蔵庫内の食品画像データをディスプレイに表示させて確認することができる。
1−3.冷蔵庫のシステム部構成
図16は上記冷蔵システムに用いる冷蔵庫のシステム部構成を示す。
図16において、この冷蔵庫51は、インターフェイス(I/F)58、コントローラ(制御部)59、記憶部60、及び扉開閉検出部61、庫内照明灯34−1,34−2、
カメラ35−1,35−2、ファン駆動回路62、コンプレッサ駆動回路63、送風ファン18、及びコンプレッサ19を備え、例えば住居A内の商用電源等の交流電源64から電力の供給を受ける。
インターフェイス(I/F)58は、無線アダプタ53と冷蔵庫51のコントローラ59との間のデータ等のやり取りを行う。
コントローラ(制御部)59は、冷蔵庫の動作を制御する。また、このコントローラ59は、カメラ35−1,35−2と庫内照明灯34−1,34−2を制御して冷蔵庫内の食品を撮影するとともに、この画像データを記憶部60に一旦記憶し、かつ、インターネット56のサーバ装置57に送信する。更に、表示端末15からサーバ装置57を介して画像データ事前送信の要求信号があれば食品撮影後に直ちにサーバ装置57を介して表示端末15に送信実行するように指示する。その詳細については、後述する。
記憶部60は、識別記号や制御プログラムのほかに、カメラ35−1,35−2で撮影した庫内食品の画像データや省エネ運転をさせるためのデータを書き換え記憶する。
庫内照明灯34−1,34−2は、扉開閉検出部61からの信号に基づきコントローラ59によって点灯・消灯が制御され、扉10が開かれると点灯し、扉10が閉じられると数秒の遅延時間をおいて消灯する。
カメラ35−1,35−2は、扉開閉検出部61からの信号に基づきコントローラ59よって制御され、扉10が閉じられると冷蔵庫内の食品を撮影する。その詳細は後述する。
ファン駆動回路62は、コントローラ59からの制御信号を受け、送風ファン18の回転の駆動を制御する。
コンプレッサ駆動回路63は、コントローラ59からの制御信号を受け、コンプレッサ19の回転数等の駆動を制御する。
送風ファン18は、ファン駆動回路62の制御に従い動作して、冷気を循環させるための気流を発生する。
コンプレッサ19は、コンプレッサ駆動回路63の制御に従い、冷蔵庫51内を循環する冷媒(図示せず)を圧縮する。
1−4.サーバ装置の構成
次に、図17を用い、実施の形態1における冷蔵庫システムのサーバ装置の構成例について説明する。ここでは、前記図15中のサーバ装置57の構成を一例に挙げる。
図17に示すように、このサーバ装置57は、サーバ用インターフェイス65、サーバ制御部66、及びデータ記憶部67を備える。
サーバ用インターフェイス65は、サーバ制御部66の制御に従い、インターネット56を介した表示端末15及びルーター装置55とサーバ装置57との間のデータ等のやり取りを行う通信部である。
サーバ制御部66は、このサーバ装置57の全体の動作を制御する。サーバ制御部66は、また冷蔵庫51から送信される食品の画像データを結合処理し、データ記憶部67に
記憶させるとともに、表示端末15から画像データの事前送信要求の信号があると、データ記憶部67に記憶している画像データの最新画像データを、当該画像データが冷蔵庫51から送信されてくる都度、表示端末15に送信し、表示端末15に書き換え更新させる。もちろん、画像データの事前送信要求の信号がない状態で表示端末15からデータ呼び出し信号が送信されてくると、データ記憶部67に記憶している最新の画像データを表示端末15に送信する。
データ記憶部67は、冷蔵庫システムを実行するための管理プログラムやアプリケーションプログラム等の必要なデータを記憶している。更にデータ記憶部67は、サーバ制御部66の制御に従い、冷蔵庫51より送信されてくる食品画像データの最新データを書き換え記憶する。データ記憶部67は、例えば、HDD(Hard Disc Drive)やSSD(Solid State Drive)等により構成される。
なお、サーバ装置57は単一の大型コンピュータで構成されるサーバ、或いは、多数のコンピュータ群で構成されるクラウド型サーバのいずれでも構築できるものである。
<2.動作>
次に上記構成からなる冷蔵庫及び冷蔵システムの動作について説明する。なお、以下の各説明において同じ動作については同一のステップ番号を付記して説明する。
2−1.食品の撮影動作
2−1−1.扉閉時の撮影
図18は冷蔵庫51の扉10を閉じたときに貯蔵庫内の食品の撮影を行うようにした場合の動作を示すフローチャートである。
食品を出し入れすべく扉10が開かれると(ステップ1のY)、庫内照明灯34−1,34−2を点灯し(ステップ2)、扉10が閉じられると(ステップ3のY)、庫内照明灯34−1,34−2の照度を落とし(ステップ4)、しばらく、例えば数秒経過後にカメラ35−1,35−2を起動させて、庫内の食品を撮影する(ステップ5)。その後、撮影した画像データを冷蔵庫51の記憶部60に記憶させ(ステップ6)、庫内照明灯34−1,34−2を消灯する(ステップ7)。
ここで、上記撮影時に庫内照明灯34−1,34−2の照度を落として撮影すると、食品を鮮明に撮影することができ、好適である。すなわち、庫内照明灯34−1,34−2を点灯して食品を撮影すると、貯蔵庫内面が白色系であることもあってその反射光が貯蔵庫開口部分を除く全周面から食品に強く反射し(照度が低下することなく高い照度のまま食品にはね返る)、食品が白っぽくなって、鮮明な撮影が困難となる。しかしながら、上記した例のように庫内照明灯34−1,34−2の照度を落とすと、貯蔵庫内面からの反射光の影響を大幅に低減することができて鮮明な画像の撮影が可能となるのである。
2−1−2.冷蔵室冷却運転時の撮影
図19は冷蔵庫内の食品を出し入れした後、冷蔵室冷却時に貯蔵室の食品の撮影を行うようにした場合の動作を示すフローチャートである。
食品を出し入れすべく扉10が開かれると(ステップ1のY)、庫内照明34−1、34−2を点灯し(ステップ2)、扉10が閉じられ(ステップ3のY)、冷蔵室の冷却運転状態か否か判断する(ステップ8)。もし、送風ファン18がON、かつダンパ22が開であり、冷蔵室の冷却運転中であれば前記扉閉時と同様、庫内照明灯34−1,34−2の照度を落とし(ステップ4)、カメラ35−1,35−2を起動させて、庫内の食品を撮影する(ステップ5)。その後、撮影した画像データを冷蔵庫51の記憶部60に記憶させ(ステップ6)、庫内照明灯34−1,34−2を消灯する(ステップ7)。
このように、冷蔵室冷却運転中に撮影するようにすることによって、例えば新しく貯蔵庫内に入れた食品の表面に貯蔵庫内外の温度差で結露が生じても、この結露は冷却動作によって解消され、なくなる。よって、カメラ35−1,35−2による撮影は食品包装容器に記載されている文字が読み取れるほど鮮明に行われ、好適である。
なお、前記動作の中で、扉10が閉じられると(ステップ1のY)、一度庫内照明灯34−1,34−2を消灯し、撮影前に再度庫内照明灯34−1,34−2点灯して、その照度を低下させるようにすれば、庫内照明灯34−1,34−2が点灯し続けることによる無駄な電力の消費を抑制することができる。
2−1−2−a.扉開閉動作と連動した撮影
図20は冷蔵庫内の食品を出し入れした後の扉開閉動作と連動して貯蔵庫内の食品の撮影を行うようにした場合の動作を示すフローチャートである。
食品を出し入れすべく扉10が開かれると(ステップ1のY)、庫内照明灯34−1,34−2を点灯し(ステップ2)、扉10が閉じられると(ステップ3のY)、閉扉を検知してから所定時間を計測し(ステップ101)、所定時間経過したと判断するとカメラ35−1,35−2に通電する(ステップ102)。そして、前記扉閉時の撮影と同様、庫内照明灯34−1,34−2の照度を落とし(ステップ4)、カメラ35−1,35−2を起動させて、庫内の食品を撮影する(ステップ5)。その後、カメラ35−1,35−2の通電を終了し(ステップ103)、撮影した画像データを冷蔵庫51の記憶部60に記憶させ(ステップ6)、庫内照明灯34−1,34−2を消灯する(ステップ7)。
このように、閉扉を検知してから所定時間を計測し、所定時間経過したと判断してからカメラ35−1,35−2の撮影を開始することで、開扉時にカメラのレンズが曇ったりしても曇りを取り除く時間を確保することができ、鮮明な画像データを撮影することができる。なお、上記所定時間は、冷蔵庫の周囲温度、湿度、扉の開放時間等により、例えば、周囲温度、湿度は高いほど所定時間を長く、あるいは扉の開放時間が長いほど所定時間を長くするなど、所定時間は条件により変化させてもよい。
なお、カメラ35−1,35−2に通電するタイミングは、閉扉を検知してから所定時間としたが、開扉を検知してから撮影するまでの間であれば、どのタイミングでもよい。開扉を検知してからカメラに通電することで、よりレンズの曇りを防止する効果を高めることができるが、消費電力量とのバランスで適宜設定することができる。
また、上記所定時間を長く設定する場合(例えば、数分の場合など)は、一旦、(ステップ2)での庫内照明を消灯し、撮影の所定時間前に、撮影に適した照度で再度点灯して撮影してもよい。カメラの通電タイミングも撮影の所定時間前に適宜設定し直してもよい。
また、カメラの通電終了(ステップ103)は、画像データの記憶(ステップ6)の前で説明したが、画像データの記憶(ステップ6)の後に行ってもよい。
2−1−2−b.時間と連動した撮影
図21は所定時間周期、あるいは所定時刻に基づいて貯蔵庫内の食品の撮影を行うようにした場合の動作を示すフローチャートである。
前回の撮影から所定時間経過したか、あるいは所定時刻になったかを判断し(ステップ201)、Yesの場合、扉10が閉止状態かどうかを判断し(ステップ202)、扉1
0が閉止状態の時に、カメラ35−1,35−2に通電する(ステップ102)。そして、庫内照明灯34−1,34−2の照度を所定の照度で点灯し(ステップ203)、カメラ35−1,35−2を起動させて、庫内の食品を撮影する(ステップ5)。その後、カメラ35−1,35−2の通電を終了し(ステップ103)、撮影した画像データを冷蔵庫51の記憶部60に記憶させ(ステップ6)、庫内照明灯34−1,34−2を消灯する(ステップ7)。
このように、前回の撮影から所定時間経過したか、あるいは所定時刻になったかを判断し、カメラ35−1,35−2の撮影を開始することで、保存されている食品の定期的な撮像データの取得が可能となる。これにより、例えば、庫内の食品の有無だけでなく、保存食品の状態変化を画像として定期的に取得し監視することができる。
なお、本実施の形態では、所定時間周期、あるいは所定時刻に基づいて貯蔵庫内の食品の撮影を行うようにした場合の動作を説明したが、上述した扉開閉動作と連動して貯蔵庫内の食品の撮影を行う場合(2−1−2−a.扉開閉動作と連動した撮影)と組み合わせてもよい。例えば、扉開閉動作と連動して貯蔵庫内の食品の撮影を行うとともに、所定時間周期、あるいは所定時刻に基づいても、貯蔵庫内の食品の撮影を行ってもよい。また、扉開閉動作と連動して貯蔵庫内の食品の撮影を行うことを基本に、所定時間扉開閉がない場合に、所定時間周期、あるいは所定時刻に基づいて、貯蔵庫内の食品の撮影を行うようにしてもよい。
2−1−2−c.外部からの指令と連動した撮影
図22は外部からの撮影指示に基づいて貯蔵庫内の食品の撮影を行うようにした場合の動作を示すフローチャートである。
外部からの撮影指示があった場合(ステップ301)、扉10が閉止状態かどうかを判断し(ステップ202)、扉10が閉止状態の時に、カメラ35−1,35−2に通電する(ステップ102)。そして、庫内照明灯34−1,34−2の照度を所定の照度で点灯し(ステップ203)、カメラ35−1,35−2を起動させて、庫内の食品を撮影する(ステップ5)。その後、カメラ35−1,35−2の通電を終了し(ステップ103)、撮影した画像データを冷蔵庫51の記憶部60に記憶させ(ステップ6)、庫内照明灯34−1,34−2を消灯する(ステップ7)。その後、画像データを送信する(ステップ302)。
このように、外部からの撮影指示に基づいて貯蔵庫内の食品の撮影を行い、画像データを送信することで、必要な時にリアルタイムで庫内の収納食品を画像で確認することができる。
なお、本実施の形態では、外部からの撮影指示に基づいて貯蔵庫内の食品の撮影を行うようにした場合の動作を説明したが、上述した扉開閉動作と連動して貯蔵庫内の食品の撮影を行う場合(2−1−2−a.扉開閉動作と連動した撮影)や、前回の撮影から所定時間経過したか、あるいは所定時刻になった時に、撮影を行う場合(2−1−2−b.時間と連動した撮影)と組み合わせてもよい。
2−1−2−d.ダンパと連動した撮影
図23は冷蔵室ダンパの開閉動作と連動して貯蔵庫内の食品の撮影を行うようにした場合の動作を示すフローチャートである。
食品を出し入れすべく扉10が開かれると(ステップ1のY)、庫内照明灯34−1,34−2を点灯し(ステップ2)、扉10が閉じられると(ステップ3のY)、閉扉を検
知してから冷蔵室のダンパの開閉を判断し(ステップ401)、冷蔵室のダンパが開状態と判断すると(ステップ401のY)、扉10が閉止してから所定時間経過したかを判断し所定時間経過後に(ステップ101のY)、カメラ35−1,35−2に通電する(ステップ102)。そして庫内照明灯34−1,34−2の照度を落とし(ステップ4)、カメラ35−1,35−2を起動させて、庫内の食品を撮影する(ステップ5)。その後、カメラ35−1,35−2の通電を終了し(ステップ103)、撮影した画像データを冷蔵庫51の記憶部60に記憶させ(ステップ6)、庫内照明灯34−1,34−2を消灯する(ステップ7)。
また、ステップ401で、冷蔵室のダンパが閉状態の場合は(ステップ401のN)、冷蔵室のダンパが開状態となるまで待機し(ステップ402)、冷蔵室のダンパが開を検知すると(ステップ402のY)、ダンパが開を検知してから所定時間経過したかを判断し所定時間経過後に(ステップ403のY)、カメラ35−1,35−2に通電する(ステップ102)。それ以降は、上記と同様の動作を行う。
このように、冷蔵室のダンパが開状態で庫内を撮影することで、冷却器で除湿された冷気の庫内への導入によるカメラ35−1,35−2の曇り、結露を取り除くことができ、鮮明な画像データを取得することができる。さらに、冷蔵室のダンパが開状態で所定時間経過を設定しているので、カメラ35−1,35−2の曇り、結露を確実に取り除くことができる。
なお、本実施の形態では、冷蔵室ダンパの開閉動作と連動して貯蔵庫内の食品の撮影を行う場合の動作を説明したが、除湿冷気の導入の観点から、コンプレッサ19、送風ファン18の動作時が前提となるものである。
また、周囲の温度が低い場合は、コンプレッサ19の運転、あるいは、冷蔵室のダンパの開状態となる時間が短くなるので、周囲の温度が低い場合は前記所定時間の設定を短くするなど、変化させてもよい。また、撮影時に強制的にコンプレッサ19の運転、あるいは、冷蔵室のダンパの開状態を維持するモードを設けてもよい。
2−1−3.扉開時の撮影
図24は1枚扉の場合であって、扉10を所定角度開いた時点で貯蔵庫内の食品の撮影を行うようにした場合の動作を示すフローチャートである。
食品を出し入れすべく扉10が開かれると(ステップ1のY)、庫内照明灯34−1,34−2を点灯し(ステップ2)、上記扉の開き角度が所定角度、例えば図13に示した30度の開き角度になると(ステップ10のY)、庫内照明灯34−1,34−2の照度を落とし(ステップ4)、カメラ35−1,35−2を起動させて、庫内の食品を撮影する(ステップ5)。その後、撮影した画像データを冷蔵庫51の記憶部60に記憶させ(ステップ6)、扉が閉じると(ステップ11のY)、庫内照明灯34−1,34−2を消灯する(ステップ7)。
この例のように扉10を所定角度開いた時点で撮影するようにすると、すでに述べているように貯蔵庫5内を広範囲に撮影でき、しかもその画像は違和感のない自然なものとなって、好適である。
なお、所定角度開時に撮影する場合、扉開動作時と扉閉動作時の少なくとも2回以上撮影を行うことになる。このとき、1回の扉開から閉までの動作時間の中で、最後に撮影した画像データ(扉閉動作時)を記憶部60に記憶させることにより、食品の出し入れを終えた最新の貯蔵庫の食品状態を撮影することができる。
なお、いうまでもないことではあるが、扉10の開き角度が所定角度に達するか否かを検出するステップ10において、扉10が所定角度に達する前に閉じられると庫内照明灯34−1,34−2を消灯し、再び扉10が開かれるのを待つことになる。
以上、撮影動作について代表的なものを例示して説明したが、前記撮影動作以外に例えば、定刻若しくは前回の撮影後所定時間が経過すると撮影する、或いは、表示端末15から撮影指示があると撮影する、等の撮影動作も考えられる。
2−1−3−a.扉開時の撮影の他の実施例
図25は1枚扉の場合であって、扉10を所定角度開いた時点で貯蔵庫内の食品の撮影を行うようにした場合の他の実施例を示すフローチャートである。
食品を出し入れすべく扉10が開かれると(ステップ1のY)、上記扉の開き角度が所定角度、例えば30度以上の開き角度になると(ステップ10のY)、カメラ35−1,35−2に通電する(ステップ102)。そして、扉10が開状態から閉動作に移り、扉10の開き角度が所定角度、例えば30度の開き角度になると(ステップ501のY)、カメラ35−1,35−2を起動させて、庫内の食品を撮影する(ステップ5)。そして、扉10が開き角度が所定角度、例えば30度の開き角度を再度超えることなく(ステップ502のN)、扉10が閉止されると(ステップ503のY)、カメラ35−1,35−2の通電を終了し(ステップ103)、撮影した画像データを冷蔵庫51の記憶部60に記憶させる(ステップ6)。
また、上記扉の開き角度が所定角度、例えば30度以上の開き角度にならない場合は(ステップ10のN)、扉10が開き角度が所定角度、例えば30度の開き角度を超えることなく扉10が閉止されると(ステップ504のY)、撮影せずに(ステップ505)待機状態に戻る。
また、カメラ35−1,35−2を起動させて庫内の食品を撮影した後で(ステップ5)、扉10が開き角度が所定角度、例えば30度の開き角度を再度超えた場合(ステップ502のY)、食品の再投入があると判断し、再撮影が必要と判断し(ステップ506)、扉10が再度、開状態から閉動作に移り、扉10の開き角度が所定角度、例えば30度の開き角度になる場合を判断する(ステップ501)。それ以降は、上記と同様の動作を行う。
このように、扉10を所定角度開いた時点で撮影するようにすると、すでに述べているように貯蔵庫内を広範囲に撮影できる。この時、扉閉時の撮影で説明したような、庫内照明灯34−1,34−2の照度を所定の照度に調整する必要もなく、通常の扉10開状態の庫内照明と外部からの照明とにより、使用者が目視するような自然な状態で撮影した画像データを取得することができる。
さらに、本実施の形態では、食品の再投入などで、扉10が完全に閉止せずに扉10の開き角度が所定角度(例えば30度)を境に、開状態と閉状態の動作を繰り返した場合でも、扉10の閉止直前の撮影した画像データ、すなわち食品の最終保存状態の画像データを取得することができる。
2−1−4.撮影時の照明
撮影時の食品照明は、前記図18、図19、図24ですでに説明したように、庫内照明灯34−1,34−2を点灯させた上でその照度を低下させて照射し撮影する。場合によっては、貯蔵庫両側面の庫内照明灯34−1或いは貯蔵庫上面の庫内照明灯34−2のみ
の点灯として照度を低下させて照射し撮影することも考えられる。この照度を低下させて撮影する理由は後述する。
また、撮影時の食品照射の他の例として次のようにすることも考えられる。すなわち、図26はカメラ35−1,35−2による撮影時の庫内照明灯34−1,34−2の点・消灯の状態を示すフローチャートで、前記した図18、図19、図24の破線部分の動作に相当するものである。
前記した図18、図19、図24での撮影は、庫内照明灯34−1,34−2を点灯させた上でその照度を低下させて撮影する例であるが、この例では貯蔵庫両側面の庫内照明灯34−1の片方づつを消灯、換言すると貯蔵庫両側面の庫内照明灯34−1の片方のみが点灯している状態にして食品を照射し撮影するようにしてある。この場合、貯蔵庫上面の庫内照明灯34−2は点灯、消灯いずれであっても良いが、庫内の照度が撮影に最適になるようにいずれかを適宜選択すればよい。
図26において、カメラ35−1,35−2により撮影を始める前に、すでに点灯している貯蔵庫両側面の庫内照明灯34−1のいずれか一方、例えば右庫内照明灯を消灯し(ステップ12)、左庫内照明灯により照射されている状態の食品を撮影(ステップ13)して記憶する(ステップ14)。その後、右庫内照明灯を点灯し(ステップ15)、次に、左庫内照明灯を消灯(ステップ16)して右庫内照明灯で照射している状態の食品を撮影する(ステップ17)。その画像データを記憶し(ステップ18)、右庫内照明灯を消灯する(ステップ19)。このように食品を片方側から照射して記憶した画像データは合成して一つの画像とし、記憶する。
以上のように庫内照明灯34−1,34−2を片方づつ点灯して食品を撮影し一つに合成する理由は以下の通りである。すなわち、すでに述べたとおり撮影時には庫内照明灯34−1,34−2の照度を低下させて撮影するのであるが、その照度低下はあまり大きくすると写りが暗くなって鮮明さに欠けるようになるため照度低下にも限度がある。そのためある程度の照度を維持しているが、その照度であっても、貯蔵庫内容積が小さい場合等には反射光による影響が残る場合がある。しかしながら、この例で説明したように庫内照明灯34−1の左右の片方づつを点灯して食品を撮影すると、反射光の影響を低減できて、庫内照明灯34−1が点灯している側の面は適度な明るさで撮影できる。よって、この適度の明るさで撮影した食品の左右の画像を結合する合成処理を行えば、全体が鮮明な画像となり、好適なのである。
また、撮像装置により撮像された画像を記憶する記憶部60と、画像を補正する補正手段とを備え、記憶部60は、複数の画像を結合する場合には前記補正手段により補正された画像を記憶するものとし、単一の画像の場合には前記補正手段を用いずに撮像された画像を記憶する仕様としてもよい。これにより、すべての画像を複雑な演算処理する必要がなくなり、使用者の要望に応じて、単一の補正前の画像を見たい場合は速やかに確認することができ、用途に応じた使い勝手の高い冷蔵庫を提供することができる。
2−2.画像の保存と合成
次に前記した各動作によって撮影した画像データの保存と合成について説明する。
2−2−1−サーバで保存と合成
図27はサーバ装置57で画像データを保存と合成する場合を示し、前記図26を含む図18〜図24に示す動作によって庫内が撮影されると、冷蔵庫51は無線アダプタ53からゲートウェイ装置54、ルーター装置55を介してインターネット56に接続し(ステップ20)、各カメラで撮影し記憶した個別の画像データをインターネット56に接続
されたサーバ装置57に送信する(ステップ21)。インターネット56を経由して送信された画像データはサーバ装置57のサーバ制御部66によって個別の画像データを結合する合成処理(ステップ22)を行う。合成処理された画像データはサーバ装置57のデータ記憶部67に保存される(ステップ23)。
この例のようにサーバ装置57で画像を合成し、かつ、記憶保存しておけば、冷蔵庫側のコントローラ59や記憶部60の負荷を低減することができ、インターネット対応型の冷蔵庫を安価に提供することができる。
2−2−2−冷蔵庫側で保存と合成
図28は冷蔵庫側で画像データを保存と合成する場合を示し、前記図26を含む図18〜図24に示す動作によって庫内が撮影されると、冷蔵庫51のコントローラ(制御部)59は記憶部60に記憶した各カメラからの個別の画像データを取り出して結合し合成する(ステップ24)。合成した画像データを記憶し(ステップ25)、冷蔵庫51は無線アダプタ53からゲートウェイ装置54、ルーター装置55を介してインターネット56に接続し(ステップ20)、記憶した画像データをインターネット56に接続されたサーバ装置57に送信する(ステップ21)。インターネット56を経由して送信された合成画像データはサーバ装置57のデータ記憶部67に保存される(ステップ23)。
この例では冷蔵庫側のコントローラ59や記憶部60の負荷は大きくなるが、サーバ装置57のデータ記憶部67を介することなく表示端末15と画像データを送受信することができ、システム運営費を安価にすることができる。
2−2−3.表示端末側で保存と合成
図29は表示端末15側で画像データを保存と合成する場合を示し、前記図26を含む図18〜図24に示す動作によって庫内が撮影されると、冷蔵庫51は無線アダプタ53からゲートウェイ装置54、ルーター装置55を介してインターネット56に接続し(ステップ20)、サーバではなく表示端末15に画像データを送信する(ステップ26)。インターネット56を経由して送信された画像データは表示端末15によって画像データを結合する合成処理(ステップ27)を行う。合成処理された画像データは表示端末15のデータ記憶部に保存される(ステップ28)。
この例の場合も表示端末15の負荷は増大するものの、冷蔵庫側のコントローラ59や記憶部60の負荷を低減することができ、インターネット対応型の冷蔵庫を安価に提供することができる。
以上、画像データの送信と合成動作について代表的なものを例示して説明したが、前記保存と合成箇所は必ずしも同一箇所、例えばサーバ装置57で行わなければならないというものではなく、例えば、冷蔵庫51で画像データを合成し、サーバ装置57で画像データを保存する、等、システムに応じて任意に設定すればよいものである。
2−3.画像データの通常の送受信
2−3−1.サーバ、冷蔵庫に保存の画像データの送受信
図30はサーバ装置57或いは冷蔵庫51と表示端末15との送受信を示すフローチャートで、サーバ装置57或いは冷蔵庫51に記憶している画像データの送受信を示すものである。
まず、使用者は例えば買い物先などで表示端末15のディスプレイに表示されるサーバ接続ボタン(図示せず)を押し、サーバ装置57のデータ記憶部67に記憶された画像データの読み込み要求を行う(ステップ31)。サーバ装置57から画像データを取り込ま
れたかを検出し(ステップ32)、画像データが転送されてこなければ表示端末15からインターネット56に接続を行う(ステップ33)。サーバ装置57のデータ記憶部67或いは冷蔵庫の記憶部60に記憶された画像データを取り出し(ステップ34)、画像データをインターネット56を経由し、データ呼び出し元であるスマートフォン等の表示端末15に画像データを転送する(ステップ35)。サーバ装置57から画像データを取り込まれたかを検出し(ステップ32)、画像データが取り込まれたら表示端末15のディスプレイに画像データを出力する(ステップ36)
その後、表示端末15のディスプレイに表示されている拡大ボタン(図示せず)が押されたかを検知し(ステップ37)、拡大ボタンが押されたことを検知すると、ディスプレイに出力された貯蔵庫内の画像データをデジタル変換で1.1倍以上に拡大した画像データを作成する。拡大変換した画像データを表示端末15のディスプレイに出力する(ステップ36)。
更にその後、ディスプレイに表示されているテンキーボタン(図示せず)が押されたかを検知し(ステップ38)、テンキーボタンが押されたことを検知するとディスプレイに出力された貯蔵庫内の拡大画像データをテンキーボタンで指定された箇所の画像データとし、ディスプレイに出力する(ステップ36)。さらにテンキーボタンが押されたかを検知する(ステップ38)。検知されなかったら終了する。
なお、前記拡大ボタン及び所定箇所の画像データを表示させるテンキーボタンは、ディスプレイの表面を指でスライドする方式とすればよく、このような構成とすることによって使い勝手が向上する。
以上のように、この冷蔵庫システムによれば、買い物先で冷蔵庫51の中身を一目で確認することができ、買い忘れが予防できるとともに、余分な食材を購入してしまう無駄をなくすることができる。また、共働きで働く家庭では、帰る間際に冷蔵庫51の貯蔵庫5内を確認し帰宅途中で食材等を購入することができ使用者にとって時間の短縮ができる。
また、拡大表示や所定箇所表示をさせることによって、表示端末15のように小型化が進んだ表示端末15でも拡大して画像を表示させることで小型の表示端末15では確認しにくい食材も確実に見ることができる。
2−3−2.表示端末に保存の画像データの送受信
図31はすでに表示端末15に画像データを記憶保存している場合を示す。この場合は図29で述べた様に表示端末15に画像データが送信されて保存されており、この画像データの読み込み要求を行う(ステップ31)と、表示端末15の記憶部から画像データを取り込んで表示端末15のディスプレイに画像データを出力する(ステップ36)。その後の拡大表示操作や局所表示は図30で説明した通りである。
2−3−3.画像データの切換受信
カメラ35−1,35−2で撮影した画像は、各カメラ35−1,35−2個々の撮影画像(貯蔵庫内の上半分或いは下半分)と、これらの各撮影画像を結合して合成した合成画像(貯蔵庫内を上から下まで1枚に合成した画像)が記憶保存されており、これらの画像を切換えて送受信し表示端末15に表示することができる例を示す。
図32はこのような場合の動作を示すフローチャートである。
まず、使用者は表示端末15のディスプレイに表示される個別画像/合成画像呼び込みボタン(図示せず)を押し(ステップ41)、個別画像或いは合成画像のいずれかの画像の呼び出しを行う(ステップ42)。以降は図30或いは図31に示すフローによって個
別画像或いは合成画像のいずれかの画像データを取り込み、表示端末15のディスプレイに表示させる。
この例のように表示端末15に表示させる画像を個別画像或いは合成画像のいずれかに切り換えることができるようにすると、通常は合成画像を呼び込んで表示させることにより貯蔵庫内の食品状況を一目で確認し、貯蔵庫隅部にある等によって食品が判別しにくいときなどは個別画像に切り換えて表示させれば確実に判別することができ、使い勝手が向上する。
2−4.画像データ等の事前送信要求時の送受信
図33は表示端末15から画像の事前送信要求があった場合のフローチャートを示す。
まず、使用者が表示端末15を操作し、事前要求信号の要求操作を行う(ステップ51)。サーバ装置57又は冷蔵庫51はこの要求信号を受信し(ステップ52)、データ記憶部67或いは記憶部60に記憶された画像データ(個別画像データ或いは合成画像データ、以下同じ)を読み込み送信する(ステップ53)。表示端末15はサーバ装置57或いは冷蔵庫51からの画像データが取り込まれたかを検出し(ステップ54)、画像データが送信されてこなければ表示端末15からインターネット56に接続を行う(ステップ55)。サーバ装置57類は冷蔵庫51に記憶された画像データを取り出し(ステップ56)、画像データをインターネット56を経由し、表示端末15に画像データを送信する(ステップ57)。サーバ装置57から画像データを取り込まれたかを検出し(ステップ54)、画像データが検出されたら画像データの呼び出しがあるまで待機する(ステップ58のN)。画像データの呼び出しがあれば(ステップ58のY)、表示端末15のディスプレイに画像データを出力する(ステップ59)。
これにより、表示端末15で画像データの要求したとき、サーバ装置57へのアクセスが集中していてサーバ装置57からの画像データの送信が遅くなる場合でも、画像データの要求と同時にリアルタイムに画像データをディスプレイに表示させて画像を確認することができる。したがって、買い物先で画像データが表示されるのを待つような事態を避けることができ、買い物時間を短縮することができる。
また、表示端末15から画像の事前送信要求があれば、サーバ装置57は冷蔵庫51の扉10が閉じられるたびに送信される画像データを都度表示端末15に送信する設定とし、かつ、表示端末15を持っている使用者は画像データが送信されるとこれを放置するように設定しておけば、扉開閉が行われる都度これを知ることができる。よって、使用者は、例えば扉開閉回数が多くなって電力消費量が多くなりそうな場合には自宅に電話して子供等に冷蔵庫51の使用を控えるように話をすることができ、省エネに対する利便性も向上する。
2−5.画像データ等の送受信経路の切換
図34は表示端末15の通信系路選択時のディスプレイ表示を示す。画像データの送受信の流れはすでに述べたとおりであるが、通信の経路を変更して画像データの取得を迅速化するものである。
具体的には使用者が表示端末15を、ルーター装置55を介してゲートウェイ装置54と直接行うか、またはインターネット56を介してサーバ装置57と行うかを選択可能としたものである。
図34において、70、71は表示端末15のディスプレイに表示される通信経路の選択ボタンで、70は表示端末15をルーター装置55、ゲートウェイ装置54を介して冷
蔵庫51に直接接続する「ダイレクト」選択ボタン、71は更にインターネット56を介してサーバ装置57或いは冷蔵庫51に接続する「サーバ」選択ボタンである。72、73は呼び出すデータのデータ選択ボタンで、72が食品の画像データ、73が扉開閉回数等の省エネ関連データのボタンである。74は送信ボタンである。
「ダイレクト」選択ボタン70はこれを選択すると、表示端末15は「ダイレクト」通信が設定される。「ダイレクト」通信が設定されている状態で、使用者が送信ボタン74に触れると、表示端末15の画像データ要求信号が、表示端末15からルーター装置55を介し直接ゲートウェイ装置(中継装置)54に送信される。ゲートウェイ装置54は、受信したデータ要求信号を、冷蔵庫51の無線アダプタ53に送信する。無線アダプタ53は、上記画像データ要求信号を受信すると、冷蔵庫51のコントローラ59にこれを送信する。冷蔵庫51のコントローラ59は画像データ要求信号を受信すると、記憶部60に保存している画像データを読み込み、無線アダプタ53、ルーター装置55を介して表示端末15に画像データを送信する。
したがって、使用者が図15の破線で示すように、住居A内に位置する場合、広義には表示端末15がルーター装置55と直接通信できる位置に存在する場合、表示端末15は、ルーター装置55を介してゲートウェイ装置54と通信し、冷蔵庫51の記憶部60から画像データを直接取得することができる。
これによって、インターネット56へのアクセス集中による回線の混雑等により、表示端末15への使用者の操作に対する画像データの送信レスポンスに遅延が発生するような場合には、使用者が表示端末15を「ダイレクト」通信に切り替えることによって、インターネット56の回線の混雑等を受けずに画像データの取得を行うことができる。よって、使用者は待ち時間なしにリアルタイムに表示端末15のディスプレイに画像を表示させて貯蔵庫5内の食品状況を確認することができる。
一方、使用者が図15の実線に示すように、住居A外に位置する場合、広義には表示端末15がルーター装置55と直接通信できない位置に存在する場合、使用者が「サーバ」選択ボタン71に触れることによって表示端末15は、インターネット56を介してサーバ装置57と通信を行い、冷蔵庫51の画像データを読み込む。すなわち、使用者は、住居A外にいる場合、「サーバ」選択ボタン71に触れて「サーバ」通信を設定すれば、遠隔地に居ても表示端末15によって冷蔵庫の画像データを取得し、食品の収納状況を知ることができる。
このように、この実施の形態における冷蔵庫システムは、使用者が、「ダイレクト」通信または「サーバ」通信のいずれか一方を選択することができ、住居A内に居るような場合には「ダイレクト」通信を選択して、インターネット回線の混雑に影響されることなく快適な状態で画像を見ることができる。
以上、具体的な構成を例示して本発明の冷蔵庫と冷蔵庫システムを説明したが、本発明は上記構成に限定されるものではない。
例えば、前記実施の形態では表示端末15と冷蔵庫51の無線アダプタ53、インターネット56との通信経路にゲートウェイ装置54を介在させるものを例示したが、このゲートウェイ装置54は必ずしも必要でなく、ルーター装置55を介して直接表示端末15及び冷蔵庫51の無線アダプタ53、インターネット56と通信するように構成してもよく、このようにすることによってシステム構成の簡素化が図れる。
また前記実施の形態では使用者が住居A外に居るときにはサーバ装置57から画像デー
タを取得するようにしたが、サーバ装置57を介さずに、表示端末15からインターネット56およびルーター装置55、ゲートウェイ装置54と通信し、冷蔵庫51の記憶部60に記憶されている画像データを冷蔵庫51から直接取り込むように構成してもよい。この場合及び「ダイレクト」通信を行う場合は、冷蔵庫51の記憶部60で画像の結合処理を行い、この結合処理後の画像データを送信するのが好ましい。
更にこの実施の形態では、表示端末15のディスプレイに「ダイレクト」選択ボタン70と「サーバ」選択ボタン71を表示させて、使用者が「ダイレクト」通信と「サーバ」通信の選択を行う場合を例示したが、これは表示端末15にルーター装置55の電波をキャッチすると自動的に「ダイレクト」通信に切り替わる機能を持たせて「ダイレクト」通信が自動的に選択されるようにしても良く、使い勝手を向上させることができる。
<3.作用効果>
以上、具体的な構成を持って説明してきたように本発明の実施の形態における冷蔵庫及び冷蔵庫システムは種々の作用効果を果たすが、本発明の要旨となるカメラと庫内照明灯の設置構成によれば、貯蔵庫内の食品を良好に撮影でき、食品の判別が容易に行える安価な冷蔵庫及び冷蔵システムを提供することができる。
すなわち、この実施の形態の冷蔵庫では、カメラ35−1,35−2は貯蔵庫5の前面側から貯蔵庫5内の食品を撮影するが、このとき庫内照明灯13−0,34−2も貯蔵庫5の前面側に設けてあって、貯蔵庫5内の食品をカメラ35−1,35−2による撮影方向と同じ前面側から照射している。したがって、その撮影画像は庫内照明灯34−1,34−2が貯蔵庫5の奥壁に設けてある場合のような暗さや見にくさはなく、鮮明な画像となる。また、撮影した画像を明るくし、鮮明にする画像処理をサーバ装置57に求める必要もなくなる。
また、上記カメラ35−1,35−2と庫内照明灯34−1,34−2とは前記棚板30−1〜30−4の前端より前方側に位置するように設けてあるから、カメラ35−1,35−2で撮影した貯蔵庫5内の画像は、使用者が冷蔵庫51の扉10を開いて実際に見る状態と同じとなる。したがって、使用者が表示端末15に画像データを表示させてみたときに何ら違和感を持つことなく貯蔵庫5内の食品状況を確認することができる。しかも、庫内照明灯34−1,34−2は棚板30−1〜30−4の前端前方から棚板上の食品を照らすので、棚板30−1〜30−4の前端部に載置されている食品も明るく、かつ、鮮明に撮影することができる。
また、上記カメラ35−1,35−2は、冷蔵庫51の扉10内面部であって貯蔵庫5の左右略中央部に位置するように設けてあるから、当該カメラ35−1,35−2で撮影した画像を使用者が冷蔵庫51の扉10を開いて実際に見る状態により近い形とすることができる。加えて、上記カメラ35−1,35−2と棚板上の食品との間の距離を大きくとって貯蔵庫5内の広い範囲を撮影することができ、より広範囲の食品の収納状況を表示端末15で確認することが可能となる。更に、扉内面部にカメラ35−1,35−2を設けた場合に比較的写りにくくなる貯蔵庫5の最上奥部は、この例ではコンプレッサ19を設けてその最上奥部が前方にせり出すようにしせてあるので、この部分も確実に撮影することができ、コンプレッサ19を本体上部に設けて本体下部の収納容積の向上を図りつつカメラ35−1,35−2による撮影も良好なものとすることができる。
また、カメラ35−1,35−2は扉内面の扉ポケット33−1,33−2の前後方向の略中央部分に位置するように設けてあるから、貯蔵庫5内の食品のみならず扉ポケット33−1,33−2に収納している食品、例えば牛乳パック等をもその一部を撮影することができる。使用者は自分で収納したものであるから、その一部が写っているだけでもそ
れが何であるかを認識することができる。よって、貯蔵庫内のほぼ全ての食品を撮影することが可能となる。
また、カメラは図9(a)に示すように収納容器専用のカメラ14−3を設ければ収納容器31内の食品も鮮明に撮影することができる。更に図9(b)で示すようにカメラ35−2を上下動可能にしたり、図9(c)のように上下回動自在とすることによって収納容器31内の食品も二つのカメラ、すなわち、少ないカメラ数で効率よく撮影することができる。
一方、前記庫内照明灯34−1,34−2は、図7、図10から明らかなようにカメラ35−1,35−2より奥側の位置に設け、庫内照明灯34−1,34−2の光が直接カメラ35−1,35−2の撮影部に入り込まないように設けてあるから、庫内照明灯34−1,34−2の光がカメラ35−1,35−2に入ってカメラ35−1,35−2の写りが悪くなることを防止でき、常に良好な画像を得ることができる。これは、庫内照明灯35−1,35−2のカメラ側に遮光部を設けたり、或いは庫内照明灯34−1,34−2を構成するLED等の光原を斜め後方向きに傾斜配置するなどの構成を採用しても同様の効果が得られる。
また、上記庫内照明灯34−1,34−2は貯蔵庫内の照度が150ルックス〜200ルックスであり、このままの照度で撮影すると、図18の撮影動作の項で説明したように食品が白っぽく写り、判別がしにくいものとなる。そのため、この実施形態では照度を低下させて撮影する構成としてある。これによりCCDカメラやCMOSカメラであっても適度な明るさで鮮明な撮影を可能とする。この庫内照明灯34−1,34−2の照度は、扉10を閉じて、或いは扉10を開いて撮影するときだけ通常時よりも低い照度となるようサーバ制御部66によって制御するようにしても良く、このような制御をすることによって撮影しない通常時はこれまで通りの照度を保って庫内を見やすくしつつ鮮明な撮影を可能とすることができる。上記照度の低下は、例えば庫内照明灯34−1,34−2のいずれか一方或いはその両方の庫内照明灯34−1,34−2の一部を消灯させたり、両方の庫内照明灯34−1,34−2の照度を低下させる等種々考えられ、適宜選択すればよい。
また、上記カメラ35−1,35−2で撮影した貯蔵庫5内の画像は、それぞれのカメラ35−1,35−2の画像をサーバ装置57に送信してサーバ装置57、或いは冷蔵庫51、或いは表示端末15内で結合処理し合成するが、この実施の形態では上記画像の合成処理が容易になる。
すなわち、上記カメラ35−1,35−2は、棚板30−1〜30−4の前端と対応する扉内面部、この例では上段の棚板30−1と3段目の棚板30−3の前端と対応する扉内面部に設けてあるから、それぞれのカメラ35−1,35−2の撮影は図35中の線Zが境界線となる棚板30−1,30−3を中心として撮影することになる。
したがって、二つのカメラ35−1,35−2で撮影した貯蔵庫5内の画像データは、境界線Zとなる棚板30−2部分で結合処理することを可能とする。すなわち、図35の「撮影生画像」に示すように上下それぞれの画像には棚板30−2が共通して写っており、この「撮影生画像」の湾曲を修正して「湾曲修正処理後画像」にした後、前記上下の画像に移っている共通の棚板30−2を合致させれば貯蔵庫全体の撮影画像となる。その結果、画像の結合処理時に棚板の上に置かれている各食品を、各食品ごとに位置合わせして結合するきわめて困難な補正処理をする必要がなくなって、画像の結合処理は容易となる。よって、画像結合のための処理プログラムも簡素なものとすることができ、画像結合処理のためのサーバ装置57、或いは冷蔵庫51、或いは表示端末15の制御部分の容量も
大容量のものを必要としなくなり、処理速度のスピーディ化に貢献できる。
さらに、二つのカメラ35−1,35−2は、高さ調整ができない棚板30−1、棚板30−3の略前方位置に設けてあることから、高さ調節可能な棚板30−2の高さが変更された場合でも、画像の結合処理時に、棚板30−2の高さに応じて結合処理する範囲を調整することで、容易に画像の結合処理が可能となる。