以下、複数の実施形態により、冷蔵庫、カメラ装置、冷蔵庫用ドアポケット、通信端末、家電ネットワークシステム、庫内画像表示プログラムについて説明する。なお、各実施形態にて実質的に共通する部位には共通する符号を付して、その詳細な説明は省略する。
(第1実施形態)
以下、第1実施形態について、図1から図12を参照しながら説明する。
図1に示すように、本実施形態の冷蔵庫1を採用した家電ネットワークシステム100では、冷蔵庫1は、ルータ101を介して外部の通信回線102に通信可能に接続されている。このルータ101は、いわゆる無線アクセスポイントであり、無線通信方式にて冷蔵庫1と通信可能に接続されている。この冷蔵庫1は、通信回線102に接続されている通信端末103およびサーバ104(いずれも外部の装置に相当する)との間で各種の情報をやり取りする。なお、本実施形態の家電ネットワークシステム100では、後述するように、冷蔵庫1の庫内を撮像した画像情報はサーバ104にて記憶され、通信端末103は、サーバ104から庫内の画像を取得する構成となっている。ここで、画像情報とは、庫内の画像を示す情報(データ)であり、例えばビットマップ形式やJPEG形式或いはMPEG形式などの周知のフォーマットの画像データ(静止画、動画)、画像データを圧縮や暗号化あるいは第2実施形態のように画像処理することにより変換したデータ等、通信手段を介した送信が可能であって最終的に庫内の様子を確認できるものであれば、どのような形式のデータであってもよい。また、本実施形態では、通信端末103として、住宅105の外部に携帯可能ないわゆるスマートフォン(高機能携帯電話)やタブレット型パソコン、家電ネットワークシステム100に接続されているテレビ等を想定している。
冷蔵庫1は、図2に示すように、本体2の上部から順に、食材を貯蔵するための貯蔵庫である冷蔵室3、野菜室4、製氷室5、上部冷凍室6、および下部冷凍室7が設けられている。冷蔵室3および野菜室4と、製氷室5および上部冷凍室6との間は、図示しない断熱仕切壁により仕切られている。冷蔵室3は、いわゆる両開き式の左扉3aおよび右扉3bによって開閉され、野菜室4、製氷室5、上部冷凍室6および下部冷凍室7は、引き出し式の扉4a、扉5a、扉6aおよび扉7aによってそれぞれ開閉されるようになっている。
各扉には、その開閉状態を検知するためのセンサが設けられている(図4参照。ただし、図4では、左扉3a用の左ドアセンサ34、右扉3b用の右ドアセンサ35のみを図示している)。なお、図2に示す冷蔵庫1の構成は一例であり、各貯蔵庫の配置順が異なっていたり、例えば上部冷凍室6が冷蔵と冷凍とを切り替え可能な切替室であるような構成でもよい。
冷蔵室3の左扉3aには、上段から順にドアポケット8a、ドアポケット9a、ドアポケット10aが設けられており、右扉3bには、上段から順にドアポケット8b、ドアポケット9b、ドアポケット10bが設けられている。また、冷蔵室3内には、例えばガラス等の透明性材料で形成されている複数の棚板11が設けられているとともに、最下段には、例えば卵室やチルド室のような特定目的室12が配置されている。また、冷蔵室3の上部には、照明手段としての天井ライト13が設けられている。なお、冷蔵室3内には、側面に設けられている側面ライト36(図4参照)も設けられている。このうち、天井ライト13は庫内の上部側、側面ライト36は庫内の中央部や下部等、庫内の特定の位置を照らすために設けられている。
冷蔵室3の左扉3aおよび右扉3bは、その前面が絶縁性のガラス材料で形成されたガラス板3b1で覆われており、その内部には断熱材であるウレタンが充填剤として充填されており、その内側については、周知のように、非金属の樹脂製の内板14および縦板15を備えている。つまり、左扉3aおよび右扉3bの前面側は、電波を透過させる非金属製材料であるガラス板3b1により構成されている。上記したドアポケット8~10は、この内板14に設けられている。縦板15には、上下方向における中央付近であって左右方向における右扉3bの開放端部側(具体的には、後述する撮像カメラ18が設けられている付近)に、凹部16が形成されている。この凹部16は、後述するように、撮像カメラ18の視野を遮らないように設けられている。また、左扉3aには、右扉3bとの隙間を埋めるための回動式の縦仕切り17が設けられている。なお、野菜室4の扉4等も、右扉3bと同様にその前面がガラス板で覆われており、内部にはウレタンが断熱材として充填されている構成となっている。
右扉3bの内板14(縦仕切りを有していない扉)には、図2に示すように、撮像カメラ18および撮像ライト19が設けられている。つまり、本実施形態では、内板14が被取り付け部に相当する。撮像カメラ18は、CCDあるいはCMOS等の撮像素子を有しており、庫内の画像を扉側から撮像する。この撮像カメラ18は、概ね120度程度の視野角を有する広角レンズを備えている。そして、撮像カメラ18は、中段のドアポケット9bに隣接した位置であって、ドアポケット9bよりも左扉3a側となる位置に設けられている。すなわち、撮像カメラ18は、冷蔵室3の上下方向の中央付近、且つ、冷蔵室3の左右方向の中央付近に設けられている。このため、右扉3bが閉鎖された状態において、撮像カメラ18は、その視野が、後述する図7に示すように冷蔵室3の庫内のほぼ全域、且つ、ドアポケット8~10の少なくとも一部を撮像可能となっている。なお、比較例として一般的なWebカメラの場合、その視野角は概ね55度程度である。
撮像カメラ18に隣接するドアポケット9bは、図3に示すように、撮像カメラ18側が斜めに形成されている。すなわち、一般的には収容部が四角形(長方形)に形成されるドアポケット9bには、広角レンズを採用している撮像カメラ18の視野を確保するために、切り欠き部9b1が形成されている。なお、図3等は撮像カメラ18を模式的に示すものであり、撮像カメラ18の実際の大きさや形状とは異なっている。なお、撮像カメラ18は、本実施形態では冷蔵庫1に取り付けられた構造となっているが、後述する第2実施形態のように冷蔵庫1から着脱可能(例えば、冷蔵庫1の購入後に、オプション装置として取り付ける等)としてもよい。
撮像ライト19は、例えば撮像カメラ18の上部側に設けられている。つまり、撮像ライト19は、その照射方向が撮像カメラ18の視野と同じ向きになるように配置されており、照射される光が撮像カメラ18に直接入ることがない位置(対向位置外の位置)、すなわち、撮像カメラ18にとって逆光になりにくい位置或いは逆光とならない位置に配置されている。撮像カメラ18は、特許請求の範囲に記載した撮像手段を構成し、撮像ライト19は、特許請求の範囲に記載した照明手段を構成する。
この冷蔵庫1は、図4に示すように、主制御部30により制御されている。主制御部30は、CPU30a、ROM30bおよびRAM30cなどを有するマイクロコンピュータにより構成されており、例えばROM30bなどに記憶されているコンピュータプログラムを実行することで冷蔵庫1の全体を制御する。
主制御部30は、周知の冷凍サイクル等で構成されている冷蔵用冷却機構31と冷凍用冷却機構32、冷蔵庫1に対する設定操作等を入力するための操作パネル33、左ドアセンサ34、右ドアセンサ35、天井ライト13および側面ライト等に接続されている。なお、冷蔵庫1は、冷蔵室3や下部冷凍室7等の温度を検出する図示しない庫内センサ等も備えている。
操作パネル33は、表示器33a、スイッチ類33b、および庫外センサ33cを有している。表示器33aは、冷蔵庫1の運転状態等の各種の情報を表示する。スイッチ類33bは、冷蔵庫1に対するユーザの設定操作等が入力される。このスイッチ類33bには、ユーザが外出する際に冷蔵庫1の運転状態を切り替えるための外出スイッチも含まれている。この外出スイッチは、例えば、「節電」、「おでかけ」等が設定されており、いずれかが選択されると、該当する省電力モードに移行する。つまり、ユーザが外出すると冷蔵庫1を使用しない状態となるため、冷蔵庫1は、省電力モードに移行して消費電力を削減する。
例えば、「節電」が選択されると、冷蔵庫1は、食材の貯蔵環境に影響が出ない範囲で庫内温度を調節するとともに、結露防止用のヒーターの運転状態を制御することで、通常時よりも約10%程度の消費電力を削減するモードに移行する。あるいは、「おでかけ」が選択されると、冷蔵庫1は、自動製氷の回数を削減し、通常時に比べて消費電力を削減する省電力モードに移行する。より具体的には、冷蔵庫1は、自動製氷の回数を例えば8時間に1回とすることで、通常運転時に比べて約20%程度の消費電力を低減している。
なお、本実施形態では冷蔵庫1に予め設けられている「節電」や「おでかけ」用のスイッチを外出スイッチとして兼用しているが、外出する旨を設定するための専用のスイッチを設けてもよい。
庫外センサ33cは、温度センサや湿度センサにより形成されており、庫外の環境を取得する。庫外センサ33cは、特許請求の範囲に記載した庫外環境取得手段を構成する。
主制御部30は、庫内センサにて取得した庫内の環境、および庫外センサ33cにて取得した庫外の環境に基づいて、また、操作パネル33からの設定に基づいて、冷蔵庫1の運転状態を制御する。また、主制御部30は、左ドアセンサ34や右ドアセンサ35とから、扉の開閉状態を取得する。この主制御部30は、制御部50と通信可能に接続されており、扉の開閉状態を制御部50に送信したり、天井ライト13や側面ライト36の点灯指示を制御部50から受信したりすることができる。
制御部50は、CPU50a、ROM50b、RAM50c、および時刻を取得するためのリアルタイムクロック(以下、RTC50dと称する)を有するマイクロコンピュータで構成されている。この制御部50は、撮像カメラ18、撮像ライト19、レンズヒータ51および通信部52に接続されている。
制御部50は、例えばROM50bなどに記憶されているコンピュータプログラムを実行することにより、撮像カメラ18により庫内を撮像するタイミング、および撮像カメラ18にて庫内を撮像するための撮像環境を制御する。具体的には、主制御部30から受信した扉の開閉状態等に基づいて撮像するタイミングを制御するとともに、撮像環境すなわち撮像のために必要な光源である天井ライト13や撮像ライト19等の点灯状態を制御する。制御部50は、特許請求の範囲に記載した制御手段を構成する。
ここで、撮像するタイミングについて説明する。
庫内を撮像する場合、撮像カメラ18を駆動するとともに、撮像ライト19等を点灯する必要がある。すなわち、庫内を撮像するためには、電力を消費する必要がある。このため、常に撮像可能な状態になっていると、不要な電力を消費してしまうことになる。そこで、冷蔵庫1では、庫内を撮像するタイミングを制御することで、また、そのタイミングに合わせて必要なときだけ撮像環境(つまり、撮像ライト19等の点灯)を制御することで、消費電力の削減を図っている。
庫内を撮像するタイミングは例えば以下の撮像条件1~5のような条件が予め設定されており、制御部50は、いずれかの撮像条件が満たされると、庫内を撮像するタイミングになったと判定する。
・撮像条件1:冷蔵室3のいずれかの扉が一旦開放された後に閉鎖されたタイミング。すなわち、庫内の食材の貯蔵状況が変化した可能性があるタイミング。
・撮像条件2:冷蔵室3のいずれかの扉が開放されたタイミング。すなわち、庫内の食材の貯蔵状況が変化する可能性があるタイミング。
・撮像条件3:通信端末等の外部の装置から指令を受け付けたタイミング。
・撮像条件4:外出スイッチが操作された場合。外出スイッチが操作されたタイミングで撮像してもよいし、外出スイッチが操作されてから所定の待ち時間が経過したタイミングで撮像してもよい。また、いずれのタイミングを採用するかは予め設定しておけばよい。
・撮像条件5:一旦開放された扉が閉鎖された後であって、所定期間が経過したタイミング(本実施形態では、撮像カメラ18の広角レンズの結露が除去されるまでに要すると想定される遅延撮像時間が経過したタイミングを採用している)。すなわち、広角レンズの結露が除去されたタイミング。なお、遅延撮像時間は、予め固定値を設定してもよいし、庫外センサ33cで取得した庫外の湿度や温度に基づいてその都度設定してもよい。
・撮像条件6:一旦開放された扉が閉鎖された後であって、撮像カメラ18の広角レンズの結露がレンズヒータ51により除去されたタイミング。すなわち、広角レンズの結露が除去されたタイミング。
なお、撮像条件としては、上記したもののうちいずれか1つを採用してもよいし、相反しない条件であれば複数を組み合わせて採用してもよい。本実施形態では、判定条件1、判定条件3、判定条件4、判定条件5を採用している。
通信部52は、いわゆる無線LANやBluetooth(登録商標)などの無線通信方式により、ルータ101との間で通信を行う。具体的には、通信部52は、撮像された庫内の画像をルータ101および通信回線102を介してサーバ104にアップロードされる。なお、通信部52は、有線通信方式であってもよい。
レンズヒータ51は、撮像カメラ18の広角レンズを加熱することで、後述する図8に示すようにレンズ面の結露の除去を行う(除去手段に相当する)。このレンズヒータ51は、電熱線等の通電により発熱する発熱部材により構成してもよいし、制御部50を構成するマイクロコンピュータの発熱またはその発熱を伝える伝熱部材により構成してもよい。この場合、マイクロコンピュータの発熱を利用するために、マイクロコンピュータを省電力モードから復帰させるとよい。また、除去手段としてファン等を採用してもよい。具体的には、ファンを駆動してレンズ面に冷気を送風し、結露が除去されると予想される所定時間が経過した後に、撮像すればよい。いずれにしろ、レンズ面の結露を除去することができればどのような構成であってもよい。
通信端末103は、サーバ104にアクセスすることにより、サーバ104に記憶されている庫内の画像を取得して表示する。つまり、本実施形態では、通信端末103は、冷蔵庫1から直接画像を取得するのではなく、一旦サーバ104に記憶された画像を取得する。
サーバ104は、いわゆるコンピュータシステムにより構成されており、アップロードされた画像を時系列且つ複数枚記憶する。また、サーバ104は、通信端末と冷蔵庫1とを対応付けしておくことで、画像を取得する通信端末に対して、該当する冷蔵庫1の画像を提供する。
次に、上記した構成の作用について説明する。なお、以下に説明する処理は主制御部30や制御部50が協同して行っている処理であるが、説明の簡略化のため、冷蔵庫1を主体として説明する。
冷蔵庫1の冷蔵室3には、図5に示すように各種の食材が貯蔵されている。冷蔵庫1は、図6に示す撮像処理を実行しており、撮像カメラ18にて庫内を撮像するための撮像条件が満たされたか否かを判定しており(A1)、上記した判定条件のいずれかが満たされたと判定すると(A1:YES)、すなわち、撮像するタイミングになったと判定すると、ライト(撮像ライト19)を点灯し(A2)、庫内を撮像する(A3)。これにより、図7に示すような庫内の画像が撮像される。
この図7では、上記したように広角レンズにて庫内を撮像していることから、冷蔵室3内のほぼ全体が撮像されている。つまり、それぞれの棚板11に載置されている各種の食材と、ドアポケットに収納されている各種の食材が視認可能に撮像されている。また、棚板11が透明性材料で形成されていることから、例えば最上段の棚板11に載置されている食材S1についても、棚板11を透かして視認可能に撮像されている。
また、撮像ライト19を点灯することで撮像していることから、逆光にならず、ここの食材が視認可能に撮像されている。なお、図示は省略するが、比較例として天井ライト13を点灯した状態で庫内を撮像した場合、天井ライト13からの光が逆光となり、食材S1や2段目の棚板11に載置されている食材は視認が困難な状態で撮像されることになる。つまり、冷蔵庫1は、撮像カメラ18に対して逆光とならない撮像ライト19を点灯することにより、庫内を視認可能に撮像するための撮像環境を整備している。
そして、冷蔵庫1は、撮像した画像情報をサーバ104へ送信する(A4)。このとき、撮像した時刻も同時にサーバ104に送信される。これにより、サーバ104には、庫内の画像が時系列で、且つ複数枚記憶(蓄積)される。
ところで、冷蔵室3の扉を開放した場合、右扉3bの内板14に設けられている撮像カメラ18は、広角レンズごと庫外の環境にさらされる。これは、右扉3bが開放された場合だけでなく、左扉3aが開放された場合も同様である。このため、扉が閉鎖された直後においては、庫外の環境にもよるものの、図8(a)に示すようにレンズ面が結露して曇る可能性がある。なお、図8ではレンズ面に生じた結露をハッチングにて模式的に示しており、図8(a)は結露した状態(扉を閉鎖した直後)を示し、図8(b)は徐々に結露が除去された状態(扉を閉鎖した後、しばらく時間が経過した状態)を示し、図8(c)は結露が除去された状態(遅延撮像時間が経過した状態)を示している。
このように、扉を閉鎖した直後に庫内を撮像すると、結露により視認が困難になるおそれがある。そこで、冷蔵庫1は、上記した判定条件5を採用し、一旦開放された扉が閉鎖された後に遅延撮像時間が経過したタイミングでさらに庫内を撮像する。つまり、判定条件5が成立した場合(A1:YES)、ライトを点灯し(A2)、庫内を撮像し(A3)、撮像した画像情報をサーバ104に送信する(A4)。
より詳細には、図9に示すように、扉が閉扉されており、時刻t1にて開扉され、時刻t2で閉扉されたとすると、時刻t2においてまず画像を撮像し、その後遅延撮像時間が経過した時刻t3において再度画像を撮像する。この場合、時刻t4で閉扉されて撮像した後、遅延撮像時間が経過する前の時刻t5にて再び開扉された場合には、閉扉された時刻t6で一旦撮像した後、遅延撮像時間が経過した時刻t7で再度撮像されることになる。これにより、広角レンズの結露が除去された状態、つまり、庫内を視認可能な画像を撮像することが可能となる。
サーバ104に画像情報を送信すると、制御部50は、待機状態となる。この待機状態では、制御部50をいわゆるスリープモード等の省電力モード(例えば、製氷動作を停止する等)に移行してもよいし、撮像カメラ18等も含む制御部50側への通電を遮断して消費電力をゼロとしてもよい。そして、例えばドアセンサにより扉が開放された等を検知した際に主制御部30から制御部50に対して通常モードに移行する指令を出力したり、通電を開始したりすればよい。これにより、冷蔵庫1の総消費電力を削減することが可能となる。
さて、サーバ104に記憶されている画像は、通信端末103にて表示することができる。通信端末103は、画像を取得するためのアプリケーションが起動されると、図10に示す端末側処理(庫内画像表示プログラムに相当する)を実行して、サーバ104から最新の画像(あるいは画像情報)を取得する(B1)。これにより、通信端末103の画面には、図11に示すような庫内の画像が撮像時刻とともに表示される。なお、通信端末103には、画面に対応したタッチパネルが設けられている。
この画面には、現在の画像を取得するためのボタンM1、アプリケーションを終了するためのボタンM2、表示中の画像よりも過去の画像を表示するためにボタンM3、表示中の画像よりも新しい画像を表示するためのボタンM4等が設けられている。また、通信端末は、所望の領域を拡大して表示することも可能であり、図11に示す領域Rを拡大して図12に示すように表示することで、例えば卵が何個残っているのかをユーザが把握することができる。
また、通信端末103は、ユーザがボタンM1をタッチ操作すると、つまり、最新の画像を取得するための操作が入力されると(B2:YES)、冷蔵庫1に対して庫内を撮像するための指令を送信し(B3)、サーバ104から画像を取得して(B4)、取得した画像を表示する(B5)。なお、ステップB3の後、冷蔵庫1側では、図6にて撮像条件3が成立したことから庫内を撮像し、撮像した画像情報がサーバ104に送信されている。
このように、家電ネットワークシステム100では、冷蔵庫1が庫内を撮像した画像情報をサーバ104に送信し、サーバ104がその画像を記憶し、通信端末103がサーバ104から画像を取得して表示することで、庫内の様子を外出先等の遠隔地にて確認可能としている。
以上説明した本実施形態によれば次のような効果を奏する。
冷蔵庫1は、食品を貯蔵する冷蔵室3等の貯蔵庫の庫内を撮像する撮像カメラ18と、撮像カメラ18で撮像した庫内の画像情報を外部の装置に送信するための通信部52とを備えているので、例えば通信端末103のような外部の装置にて庫内の画像を取得することができる。これにより、外出先等の遠隔地で容易に冷蔵庫の庫内を確認することができる。
この場合、本実施形態では庫内の画像を一旦サーバ104に記憶させているので、冷蔵庫1側には画像を記憶するための記憶手段を設ける必要が無く、製造コストの増加を抑えることができる。なお、冷蔵庫1に記憶部を設け、冷蔵庫1側で画像を記憶する構成としてもよい。
また、制御部50は、サーバ104に画像情報を送信した後は待機状態となる。つまり、撮像時以外では、制御部50側(撮像カメラ18等も含む)の消費電力は、削減された状態あるいはゼロとなる。これにより、冷蔵庫1の総消費電力を削減することが可能となる。
制御部50は、撮像カメラ18により庫内を撮像するタイミングを制御するとともに、そのタイミングに合わせて庫内を撮像するためのライトの点灯等の撮像環境を制御する。庫内を撮像するためには光源が必要であり、常に撮像可能な状態になっていると不要な電力を消費してしまうことになるが、庫内を撮像するタイミングに合わせて撮像するときだけ撮像ライト19等を点灯するように撮像環境を制御することで、不要な電力消費を削減することができる。なお、光源が無い状態でも撮像可能な暗視カメラ(例えば、赤外線カメラ)等を採用してライトが点灯しない状態で撮像してもよい。また、ライトを常時点灯させておいてもよい。
冷蔵庫1は、冷蔵室3の扉が閉鎖された後のタイミングで、撮像カメラ18により庫内を撮像する。冷蔵庫の貯蔵状況が変わっていないにもかかわらず撮像すると、不要な画像が蓄積されるだけでなく、電力消費の増加も招くことになる。そのため、本実施形態では、冷蔵庫は、扉が一旦開放され、その扉が閉鎖された後のタイミングで庫内を撮像する。これにより、庫内の食材の貯蔵状態が変化する可能性のある状態(扉が一旦開放された状態)において、貯蔵状態が確定した状態(扉が閉鎖した後の状態)で庫内を撮像するにより、不要な撮像を抑制して電力消費が増加することを抑制できる。
また、冷蔵庫1は、扉が閉鎖された後であって、撮像カメラ18の広角レンズの結露が除去されるまでに要する遅延撮像時間が経過したタイミングで庫内を撮像する。例えば夏期のように気温が高い場合や湿度が高い場合、扉が開放されて庫外の環境にさらされた撮像カメラは、扉が閉鎖されると、冷蔵室3内の温度が低いことからレンズ面に結露が生じる可能性がある。そこで、その結露が除去されると想定される遅延撮像時間が経過したタイミングで再度庫内を撮像することにより、レンズ面に曇りがない明りょうな画像を撮像することができる。したがって、庫内の様子をより確実に把握することができる。
この場合、遅延撮像時間は、庫外センサ33cにより取得した温度や湿度等の庫外の環境に基づいて設定してもよい。これにより、温度や湿度が低い場合等には結露が生じない(或いは少ない)と想定されるため、遅延撮像時間を短くすることができ、消費電力を削減することができる。具体的には、例えば遅延撮像時間が経過するまで制御部50が待機するような構成の場合、待機時間が短くなることにより、その分の消費電力を削減することができる。
また、撮像カメラ18の広角レンズの結露を除去する場合、レンズヒータ51のような除去手段を用いてもよい。この場合、冷蔵庫1は、レンズヒータ51によりレンズ面の結露を除去した後のタイミングで庫内を撮像することになる。このレンズヒータ51を用いることにより、遅延撮像時間をさらに短くすることができるので、消費電力を削減することができる。この場合、レンズヒータ51を制御部50の自己発熱を伝える伝熱部材で構成すれば、電力を余分に消費することなくレンズ面の結露を除去することができる。また、除去手段としてファンを採用した場合も、遅延撮像時間が短くなることで消費電力を削減することができる。
冷蔵庫1は、例えば通信端末103から庫内を撮像するための指令を受け付けたタイミングで庫内を撮像する。例えば、ユーザが外出中であり、その留守中に家族が冷蔵庫1から食材を取り出した等により貯蔵状況が変化する可能性があるが、ユーザの指令によりその時点での画像を撮像することにより、最新すなわち現時点での冷蔵庫1の庫内の様子を把握することができる。
冷蔵庫1は、外出スイッチが操作された場合に庫内を撮像するので、外出後に冷蔵庫1の中の様子を確認したいような状況に対応することができる。この場合、例えば一人暮らしのユーザが外出する場合、冷蔵庫1の貯蔵状況は、ユーザが外出した時点から変化しないと考えられるので、外出スイッチが操作された場合に撮像した画像を最新の庫内の画像として扱うことができる。
なお、実施形態では採用していないが、撮像条件2を採用して庫内の食材の貯蔵状況が変化する可能性があるタイミングで撮像することにより、最新に近い庫内の画像を取得することができる。この場合、右扉3bの開放中には撮像カメラ18の視野がぶれる可能性はあるものの、例えば右扉3bが開放される瞬間に撮像することで、そのぶれを低減することができるとともに、扉が開放されれば庫内照明が点灯するので、照度を確保することができる。
冷蔵庫1は、撮像カメラ18で庫内を撮像する際、庫内を照らすための撮像ライト19を点灯して撮像環境を制御(整備)する。これにより、扉が閉鎖された状態であっても光源を確保することができ、庫内を視認可能に撮像することができる。
冷蔵庫1は、天井ライト13や撮像ライト19あるいは側面ライト36のように庫内に複数設けられている照明手段のうち、特定の位置(この場合は、特に撮像位置)を照らすための撮像ライト19を点灯する。撮像カメラ18で撮像する場合、庫内に設けられている照明手段との位置関係によっては照明が直接視野に入り込み逆光となる可能性があるが、照明手段の全てを点灯するのではなく、例えば撮像ライト19のように撮像する際に逆光とならない位置等の特定の位置を照らすための照明手段を点灯することにより、画像をより鮮明に撮像することができる。具体的には、例えば撮像カメラ18と対向する背面側に照明手段が設けられている場合は、少なくとも最も逆光となる照明手段を消灯し、他の照明手段(天井ライト13等)などを利用すること等が考えられる。
撮像ライト19は、撮像カメラ18の対向位置外であって、且つ撮像カメラ18の視野と同じ向きを照らすように設けられているので、撮像ライト19からの光が逆光とならず、庫内の様子を詳細に把握することができる。
庫内を撮像する際には撮像カメラ18の視野を確保するためにある程度の距離が必要となるが、撮像カメラ18を冷蔵室3の扉に設けているので、撮像カメラ18と、棚板11等に収納されている食材との距離を確保することができ、視野を大きくすることができる。
撮像カメラ18を右扉3bの内板14に設けているので、扉が閉鎖された状態であっても、庫内を撮像することができる。
この場合、撮像カメラ18を冷蔵室3の上下方向の中央付近、且つ、冷蔵室3の左右方向の中央付近に設けるとともに、広角レンズを採用しているので、撮像カメラ18は、冷蔵室3の庫内のほぼ全域を、庫内の中央部付近から画像(つまり、ユーザが通常冷蔵庫1内を見ている状態と近似した状態での画像)として撮像することができる。このとき、棚板11を透明性材料で形成していることから、例えば最上段の棚板11に載置されている食材についても、棚板11を透かして視認可能に撮像することができる。
撮像カメラ18に隣接するドアポケット9bは、撮像カメラ18側の部位が撮像カメラ18を避ける方向に形成されているので、広角レンズを採用している撮像カメラ18の左右方向の視野を確保することができる。また、ドアポケット9bに隣接した位置に撮像カメラ18を設けているので、上下方向の視野がドアポケット9bにより遮られることも無い。
撮像カメラ18をドアポケット8~10の少なくとも一部を撮像することが可能な位置に配置しているので、ドアポケット8~10に収納されている食材も撮像可能となり、庫内に貯蔵されている食材をより詳細に把握することができる。なお、撮像カメラ18に隣接して設けられている本実施形態のドアポケット9bについては、視野外であっても(撮像できなくても)よい。また、撮像カメラ18をドアポケットの間に設けてもよい。このような撮像カメラ18の設置位置は、後述する第2実施形態で説明する着脱可能なカメラ装置を利用する場合であっても、同様の効果を得ることができる。
通信端末103は、画像を表示する表示部を有し、上記した冷蔵庫1で撮像された庫内の画像をサーバ104から取得して表示部に表示するので、外出先等の遠隔地から庫内の様子を把握することができる。
上記した冷蔵庫1と、上記した通信端末103と、冷蔵庫1で撮像された庫内の画像を記憶する記憶手段を有するサーバ104と、により家電ネットワークシステム100によれば、通信端末103が通信回線102を介してサーバ104に接続し、当該サーバ104に記憶されている庫内の画像を取得して表示するので、外出先等の遠隔地から庫内の様子を把握することができる。この場合、画像の記憶をサーバ104にて行っているため、冷蔵庫1側には大容量の記憶部を設ける必要が無いので、冷蔵庫1のコストが増加することを防止できる。また、通信端末103は、サーバ104から画像を取得するので、冷蔵庫1の制御部50を通信可能なように待機させておく必要が無く、冷蔵庫1側の消費電力が増加することを抑制できる。
また、撮像カメラ18で撮像した貯蔵庫の庫内の画像情報を取得する画像取得処理(図10のステップB1、B4)と、画像取得処理で取得した画像情報を表示する表示処理(図10のステップB5)と、庫内を撮像させるための指令を出力して撮像カメラ撮像手段に庫内を撮像させる撮像処理(ステップB2、B3)と、を実行させる庫内画像表示プログラムを通信端末103にて実行することで、遠隔地等から庫内を確認することができる。
(第2実施形態)
以下、第2実施形態について、図13から図25を参照しながら説明する。なお、冷蔵庫の構成は第1実施形態とほぼ共通するので、図2等も参照しながら説明する。
図13(A)および(B)に示すように、本実施形態によるドアポケット200(冷蔵庫用ドアポケットに相当する)は、物品を収納する収納部201と、カメラ装置300を保持するための保持部202とを備えている。つまり、このドアポケット200は、特許請求の範囲に記載した冷蔵庫用ドアポケットと冷蔵庫用ホルダとの機能を備えている。なお、保持部202は、撮像手段を取り付けるための被取り付け部に相当するとも言える。また、収納部201に注目した場合、ドアポケット200は、保持部202に保持されたカメラ装置300(つまり、撮像手段)に隣接して設けられているとも言える。
収納部201は、保持部202側の壁部203が、保持部202から離間する方向に斜めに形成されている。つまり、ドアポケット200は、保持部202にてカメラ装置300を保持した(取り付けた)場合、そのカメラ装置300の視野を妨げないように、視野の外縁に沿った形状に形成されている。
保持部202は、本実施形態では、上部側(図3(A)の図示上方側)が開口した概ね箱状に形成されており、上部側の開口からカメラ装置300が出し入れ(着脱)される。また、保持部202の前面側(つまり、庫内に向かう側)の壁部204は、カメラ装置300を保持した状態でレンズ301および撮像ランプ302(図15等参照。カメラ側照明手段、照明手段に相当する)に対応する位置に切り込み205が形成されており、カメラ装置300の視野を妨げたり照明が反射したりすることが防止されている。
また、保持部202には、磁石206が設けられている。この磁石206は、カメラ装置300の背面側に対向する側がN極またはS極の何れかとなるように配置されている。なお、磁石206の極性については、後述するカメラ装置300の構成にて詳細に説明する。
このドアポケット200は、図14に示すように、右扉3bの内板14に取り付けられる。このため、右扉3bが閉鎖された状態では、カメラ装置300は、その視野が庫内(冷蔵室3)に対向する配置となる。このとき、保持部202に保持されるカメラ装置300は、そのレンズ301の中心が、冷蔵室3の左右方向の中心線CL1と、冷蔵室3の上下方向の中心線CL2とが交差する位置に対応して保持される。つまり、この状態におけるカメラ装置300は、冷蔵室3の中央部を中心とした視野となるように配置されている。具体的には、ドアポケット200の場合、ドアポケット200の取り付け位置とカメラ装置300の形状とに基づいて、収納部201の底部よりも保持部202の底部の方が若干下方に位置する形状とすることで、中心位置が最適となるような形状となっている。
カメラ装置300は、図15および図16に示すように、概ね直方体の形状に形成された筐体303の表面にレンズ301および撮像ランプ302が露出するように設けられている。なお、レンズ301および撮像ランプ302が直接露出しているのではなく、その表面をカバー等で覆っていてもよい。また、本実施形態でも、レンズ301は広角レンズを採用している。
以下、レンズ301および撮像ランプ302が設けられている側(図16の場合、図示右側)をカメラ装置300の正面とし、反対側を背面として説明する。また、図13に示したように、レンズ301と撮像ランプ302とが冷蔵庫1の上下方向に配置される向きを縦向きと称し、後述する図20のようにレンズ301と撮像ランプ302とが冷蔵庫1の左右方向に配置される向きを横向きと称する。
このカメラ装置300は、図16に示すように、筐体303内に、制御基板304、電池305、通信モジュール306、検知部307が収容されている。制御基板304には、レンズ301や図示しない撮像素子を有する撮像部308(図21参照)、本実施形態では2個の撮像ランプ302、およびそれらを制御するための制御部309(図21参照)等が設けられている。撮像素子は、CCDやCMOS等の周知の撮像素子であり、その形状が長方形となっている。本実施形態の場合、撮像素子の長手方向が上下方向(つまり、筐体の縦方向)となるように配置されている。このため、一般的には縦長に形成されている冷蔵室3を撮像する際には、カメラ装置300を縦置きすることで、撮像素子を縦長の向きに配置することができる。一方、後述するように横長に形成されている野菜室4を撮像する際には、カメラ装置300を横置きすることで、撮像素子を横長の向きに配置することができる。また、撮像ランプ302として、本実施形態ではLEDを採用している。なお、図示は省略するが、カメラ装置300には電源スイッチも設けられている。
電池305は、リチウム電池で構成されており、制御部309や通信モジュール306あるいは検知部307等に電力を供給する。この電池305は、筐体303の最下部側であって、筐体の前後方向(図示左右方向)の概ね全域を占有する配置となっている。筐体303に収納されている各部材のうち比較的重量が大きい電池205をそのような配置とすることで、カメラ装置300を設置した際のバランスがある程度確保されている。また、重心をカメラ装置300の下部(縦置きの場合)にしたことにより、カメラ装置300を右扉3bのドアポケット200に配置した場合において、扉開閉時の遠心力や振動等によりカメラ装置300がドアポケット200から飛び出ること等が防止される。また、リチウム電池を使用することで、冷蔵庫1内のように比較的低温の場所であっても優れた放電特性を示すことになる。
さて、図25に示すように、本実施形態の家電ネットワークシステム500では、冷蔵庫1側に、カメラ装置300の通信モジュール306とは異なる別の通信装置501が設けられており、この通信装置501によって、冷蔵庫1は、外部の装置からの撮像指令を受信する。なお、この通信装置501は冷蔵庫1に取り付けられており、カメラ装置300は冷蔵室3内に配置されている。この通信装置501は、庫内を撮像するための指令(以下、撮像指令とも称する)を外部の装置から受信するための庫側通信手段を構成している。本実施形態では、通信装置501は無線通信用のアダプタとして形成されており、冷蔵庫1に対して着脱可能となっている。このため、冷蔵庫1を購入したユーザが、購入後にオプションとして設置することも可能となっている。この通信装置501は、図21に示すように、冷蔵庫1の主制御部30との間で無線通信方式や有線通信方式により通信可能となっている。そして、冷蔵庫1は、詳細は後述するが、撮像指令を受信すると、カメラ装置300に対して撮像指示(図23参照。本実施形態では光の点滅信号)を報知する。
カメラ装置300の通信モジュール306は、ルータ101との間で通信可能に構成されており、通信端末103やサーバ104に画像情報を送信する。この通信モジュール306は、カメラ装置300で撮像した庫内の画像情報を通信端末103やサーバ104(図1参照)等の外部の装置に送信するためのカメラ側通信手段として機能する。なお、この通信モジュール306は、カメラ装置300の筐体303の背面側(最外縁側)の壁部に沿って設けられている。つまり、通信モジュール306は、内蔵する図示しないアンテナと筐体303との間に他の部品等が存在しないような内部配置とすることで、アンテナによる電波の送受信が阻害されること(通信障害が発生すること)が抑制されている。また、通信モジュール306は電池305に対して垂直向きに配置されており、アンテナと電池305とが対向しないような配置とされている。
そして、冷蔵庫1の右扉3bの前面は上記したようにガラス材料で形成されていることから、庫内に配置されたカメラ装置300から発せられる無線通信用の電波は、金属板等を用いる場合に比べて、扉を透過し易くなっている。また、カメラ装置300は、ドアポケット200の保持部202(つまり、右扉3bの開放端部側)に配置されているので、特に本実施形態のように観音開きの場合には、各扉の隙間から電波を庫外に出すことができる。また、保持部202に配置することで、例えば扉の前面が金属材料で形成されている場合等であっても、カメラ装置300からの電波が庫外に出易くなる。また、扉の内部はウレタンによって充填されているので、電波を遮る可能性が少ない。
ところで、冷蔵庫1には、断熱材として、ウレタンの代わり、あるいはウレタンとともに、真空断熱材が用いられることがある。この真空断熱材は、金属製の箔部材(例えばアルミ箔)と例えば合成樹脂製のフィルム部材とを貼り合わせた(ラミネート加工した)フィルムでガラス繊維等の芯材を包むことにより、例えば長方形の薄板状に形成されて断熱材となる。この真空断熱材は、冷蔵庫1の筐体や扉の内部部材として用いられるものの、例えばカメラ装置300をドアポケット200に配置する場合には保持部202に対応する位置を避けて真空断熱材を設ける等により、電波を外に出し易くすることができる。
この場合、右扉3bについてはカメラ装置300の投影面(特に通信モジュール306の部位)を避けるように真空断熱材を配置したり、左扉3aや下部冷凍室7の扉7a等、カメラ装置300が配置されない扉についてはその全面に真空断熱材を配置したりすること等によって、冷蔵庫1の断熱性を低下させること無く電波を出し易くすることができる。また、上記したガラス板3b1を補強することや後述する図29のように磁石にてカメラ装置300を取り付けのための金属部材を扉に設けることも考えられるが、その場合も、真空断熱材の場合と同様に配置を工夫することで、電波を出し易くすることができる。
このように庫内から電波を出し易くする構造は、本実施形態のように、カメラ装置300に通信モジュール306を設け、そのカメラ装置300を冷蔵庫1の庫内に配置し、撮像した画像情報をカメラ装置300から直接的に外部の装置に伝達する構成(つまり、冷蔵庫1の通信装置501を介さずにカメラ装置300が画像情報を送信する構成)において、特に有意になる。
ここで、上記した磁石206の極性について説明する。
磁石206は、図17に示すように、保持部202において、カメラ装置300の背面つまり検知部307に対応する位置に設けられている。このため、カメラ装置300が保持されている状態では、検知部307が磁石206と対向した状態、且つ、磁石206と接近した状態となる。この場合、磁石206は、カメラ装置300と対向する側がN極となるように配置されている。このため、検知部307は、N極からの磁界の強さを検知することになる。
さて、磁石206の極性をこのような配置にする理由は、カメラ装置300を冷蔵室3以外の例えば野菜室4等に設置することを考慮しているためである。野菜室4は、図18に示すように、扉4aにレール部材4bが取り付けられており、そのレール部材4bに野菜室ボックス4cが取り付けられた構造となっている。このような野菜室4をカメラ装置300で撮像するために、本実施形態では、図19に示す冷蔵庫用ホルダ400を採用している。この冷蔵庫用ホルダ400は、カメラ装置300を保持する保持部401と、保持部401を野菜室ボックス4cに取り付けるための係止部402とを備えている。この保持部401は、カメラ装置300を横置きで保持可能な形状に形成されているとともに、前面側の前壁403は、レンズ301の視野を遮らない高さに形成されている。
そして、保持部401の後壁404には、カメラ装置300の背面側の位置に、磁石405が設けられている。この磁石405は、カメラ装置300側がS極となるように配置されている。このため、図20に示すように冷蔵庫用ホルダ400を野菜室4に取り付け、カメラ装置300を保持部401に保持した状態では、カメラ装置300は、横置きの状態で保持されるとともに、検知部307が、図17と同様に磁石405に対向する。そして、検知部307は、S極からの磁界の強さを検知する。
このように、磁石206および磁石405は、カメラ装置300に対向する側の極性が互いに逆になるように配置されている。このため、カメラ装置300は、冷蔵室3に設置された場合と野菜室4に設置された場合とで、異なる磁界の強さを検知部307で検知する。換言すると、カメラ装置300は、自身がいずれの貯蔵室に設置されたかを検知することが可能となる。また、カメラ装置300は、磁気を検知することで、設置された冷蔵庫1が自身の動作対象であるかを識別することができる。つまり、磁石206および磁石405は、特許請求の範囲に記載した被検知手段としても機能する。
次に、このカメラ装置300の電気的構成等について説明する。
図21に示すように、カメラ装置300は、制御部309を備えている。この制御部309は、CPU309a、ROM309b、RAM309cおよびRTC309d等を有するマイクロコンピュータで構成されており、カメラ装置300の全体を制御するカメラ側制御手段として機能する。具体的には、制御部309は、レンズ301や撮像素子を有する撮像部308による撮像タイミングの制御、撮像ランプ302による撮像する際の撮像環境を整える制御(点灯制御)、通信モジュール306による画像情報の送信および後述する指令の受信等のための制御、検知部307による設置状態を判断・識別するための制御を行う。また、制御部309は、本実施形態では、撮像した画像の補正等を行う画像処理も行っている。
まず、検知部307による設置状態の判断・識別の制御について説明する。検知部307は、温度センサ310、磁気センサ311、加速度センサ312、および照度センサ313を有している。制御部309は、温度センサ310により外部の温度を検知することで、カメラ装置300がいずれ貯蔵庫に設置されているかの設置場所を判断する。以下、具体的な判断について説明する。
温度センサ310は、カメラ装置300が設置された場所の温度を検知する。この温度センサ310は、図22(A)に示すように、温度に比例して出力が大きくなる。そして、一般的には冷蔵室3の温度と下部冷凍室7の温度とは十数℃程度の差があることから、基準となる基準温度を設定しておき、その基準温度より高ければ冷蔵室3に設置されていると判断する一方、基準温度よりも低ければ下部冷凍室7に設置されていると判断する。この場合、下部冷凍室7に設置されていると判断した場合、故障等の虞が懸念されるため、撮像ランプ302を点灯させたり、ブザー等の音声出力手段を設けておいて音声にて設置場所が想定外であることを報知したり、通信モジュール306を介して冷蔵庫1側にその旨を送信して冷蔵庫1の操作パネル33等にてユーザに報知したりする。このように、カメラ装置300は、温度センサ310で検知した温度に基づいて、設置場所を判断する。
磁気センサ311は、上記したように磁石206や磁石405からの磁界を検知する。この磁気センサ311は、図22(B)に示すように、N極またはS極のいずれからの磁界であるかによって出力が正側(N極の場合)と負側(S極の場合)とに変化することから、その正負によって設置場所を判断することができる。つまり、磁気センサ311の出力が正側(0ではない)である場合には、本実施形態においては上記したように冷蔵室3のドアポケット200に設けられている磁石206に対向する位置に設置されたこと、すなわち、カメラ装置300が冷蔵室3に設置されたことを検知できる。
尚、冷蔵室3と野菜室4とに温度差がある場合には、この温度センサ310の出力に基づいて冷蔵室3に設置されたか野菜室4に設置されたかを判断するようにしてもよい。いずれにしろ、温度センサ310の出力に基づいて、カメラ装置300が貯蔵室内に設置されたことを検知することができる。
一方、磁気センサ311の出力が負側(0ではない)である場合には、上記した磁石405に対向する位置に設置されたこと、すなわち、カメラ装置300が野菜室4に設置されたことを検知できる。尚、カメラ装置300を例えば棚板11等に設置する場合(図24(B)参照)を考慮して、本実施形態では、正側基準値を超えた場合に冷蔵室3であると判定し、負側基準値を下回った場合に野菜室4であると判断する構成としている。そして、0付近の出力の場合には、磁石が設置されていない棚板11等であると判断する。尚、上記した温度センサ310と組み合わせて、貯蔵室内であることを判断条件に加えてもよい。
加速度センサ312は、カメラ装置300に加わる加速度(重力加速度)を検知する。この加速度センサ312は、所謂三軸センサとしてX方向、Y方向およびZ方向(図15、図16参照)の三軸方向の加速度を検知する。このため、図22(C)に示すように、縦置きした場合と、縦置き(上下逆向き)した場合と、横置きした場合と、横置き(左右逆向き)した場合とにおいて、その出力が変化する。これにより、カメラ装置300が設置された向きを検知することができる。検知したカメラ装置300の向きは、後述する画像処理にて利用される。なお、設置場所の判断に用いてもよい。
次に、撮像タイミングについて説明する。尚、撮像の流れは、第1実施形態の図6とほぼ共通するので、図6も参照しながら説明する。
カメラ装置300は、予め定められている所定時間が経過した場合、および、外部の装置からの指令を受信した場合のいずれかを判定している。すなわち、撮像条件が満たされか否かを判定している(A1)。この場合、カメラ装置300は、RTC309dにより計時を行うことで、所定期間が経過したかを判定するとともに、指令を受信したか否かを、照度センサ313で検知した照度に基づいて判定する。
検知部307を構成する照度センサ313は、カメラ装置300が設置された場所の照度を検知する。本実施形態の場合、照度センサ313は、庫内照明が点灯された程度の照度になると、その旨を制御部309に通知する。また、カメラ装置300が設置される本実施形態の冷蔵庫1は、外部の装置から撮像するための指令を受信すると、例えば天井ライト13のような庫内照明を所定の点滅パターンで点滅させる。なお、撮像指令は、例えば通信端末103の場合には、第1実施形態の図10の端末側処理のステップB2~B4と同様に行われる。
この点滅パターンは、冷蔵庫1から着脱可能なカメラ装置300に対して撮像タイミングを報知するために予め設定されている。つまり、冷蔵庫1は、庫内照明を点滅させることで、カメラ装置300に対して撮像指示を報知する。これは、上記したように、冷蔵庫1が動作対象であるか(つまり、庫内照明の点滅が可能な冷蔵庫であるか)を判断可能とする構成や、カメラ装置300に動作対象であることを識別させるための構成を設けたことにより実現されている。すなわち、庫内照明を点滅可能であることが、カメラ装置300の動作対象である冷蔵庫1であることを示している。
カメラ装置300は、図23の期間T1に示すように、通常は所謂スリープモード等の省電力状態となっている一方、照度センサは作動している。冷蔵庫1は、外部の装置から指令を受信すると、上記したように所定の点滅パターンにて庫内照明を点滅させる。このとき、庫内照明が点灯されたことから、照度センサ313から制御部309に対して通知(例えば割り込み信号の入力等)が行われ、制御部309が動作状態となる。つまり、庫内照明が所定の点滅パターンで点滅した場合、撮像条件が満たされたと判断する。点滅パターンは、例えば点灯と消灯の周期、その繰り返し回数等、任意に設定することができる。
撮像条件が満たされたと判断すると(A1:YES)、カメラ装置300は、撮像ランプ302を点灯させ(A2)、庫内を撮像し(A3)、その画像情報をサーバ104等へ送信する(A4)。
ところで、冷蔵庫1は、指令を受けた場合以外にも庫内照明が点灯することがある。例えば、図23の期間T2のように、ユーザにより扉が開放されたような場合には、点滅パターンではない態様(この場合、連続点灯)で庫内照明が点灯される。この場合、カメラ装置300は、庫内照明が点灯したことから一旦は動作状態となるものの、所定の点滅パターンではないので、つまり、撮像条件が満たされていないので、再び待機状態になる。
また、カメラ装置300は、図23の期間T3のように、前回(期間T1)の撮像から予め設定されている撮像間隔設定期間が経過した等、所定期間が経過すると、撮像条件が満たされたと判定して(A1:YES)、動作状態となり、撮像ランプ302を点灯させ(A2)、その時点での庫内の画像を撮像し(A3)、画像情報を送信する(A4)。
このように、カメラ装置300は、所定期間が経過したか、および、外部の装置からの指令(ユーザの意思)があったかに基づいて、庫内を撮像する。そして、ユーザは、図24(A)~(C)に示すように、カメラ装置300を設置した場所に応じて、庫内の様子を確認することができる。なお、カメラ装置300を冷蔵室3と野菜室4との双方に設ける等、複数のカメラ装置300を設けてもよい。
さて、本実施形態の場合、カメラ装置300は、単に庫内を撮像するだけでなく、画像の変換等の画像処理も行っている。
カメラ装置300は、上記したように縦置きまたは横置きすることができるが、その場合、画像は、90度(あるいは270度)回転した状態となっている。そのため、カメラ装置300は、サーバ104に送信する前に、画像の変換を行っている。これにより、図24(A)と、(B)又は(C)とに示すように、カメラ装置300の向きが異なっている場合であっても、上下方向が統一された画像、すなわち、ユーザが冷蔵庫1を直接確認するときと同様の状態の画像を通信端末103にて表示させることができる。
また、レンズ301が広角レンズであることから、撮像した画像は、第1実施形態の図7に示したように中央付近が歪んだ画像となる。そのため、カメラ装置300は、その歪みを補正する画像処理を行うことにより、具体的には、中央付近と上下の端部との比率を一致させるような画像処理を行うことにより、図24(A)に示すように、歪みの少ない画像を表示可能としている。なお、画像とカメラ装置300の向きとを合わせて画像情報として送信し、サーバ104あるいは通信端末103にて画像処理を行う構成としてもよい。画像処理を外部の装置側で行うことにより、カメラ装置300の消費電力を削減することができる。これは、本実施形態のように外部からの給電手段を持たないカメラ装置300にとって有意である。
以上説明した本実施形態によれば、第1実施形態で得られる効果に加えて(あるいは代わりに)、次のような効果を奏する。
外出先等の遠隔地で冷蔵庫1の庫内を確認したいと考えるユーザが存在するが、庫内を撮像するための撮像部308(撮像手段)と、撮像部308で撮像した庫内の画像情報をサーバ104等の外部の装置に送信するための通信モジュール306(通信手段)と冷蔵庫1に設けているので、外出先等において、通信端末103により庫内の画像を取得でき、庫内を確認することができる。
庫内の画像を撮像する際、むやみに撮像を繰り返すと電力消費が増加して電池切れを引き起こしたり、サーバ104に不要(同一の画像)が何枚も蓄積されたりする虞があるが、カメラ装置300の制御部309は、により庫内を撮像するタイミングを制御することにより、そのような虞を低減することができる。
具体的には、実施形態のように、所定期間が経過した場合には例えば家族等が冷蔵庫1から食材を取り出す等の行為を行う可能性があるので、所定期間を経過したタイミング、すなわち、貯蔵状況が変化した可能性があるタイミングで庫内を撮像することで、不必要に撮像が繰り返されることを防止できる。
また、ユーザからの指令を受信したタイミングで庫内を撮像することで、最新の貯蔵状況を把握することができる。この場合、上記した所定期間が経過したタイミングで撮像することを行わなければ、換言すると、ユーザの意思表示がされた際だけ撮像するようにすれば、不要な撮像が行われなくなるので、さらに消費電力を削減することができる。なお、実施形態でも説明したが、第1実施形態の各撮像条件と組み合わせることで、貯蔵状況が変化した際の画像を取得するようにしてもよい。
冷蔵庫1の庫内を確認する必要が無いと考えるユーザも存在することが予想されるが、カメラ装置300は、庫内を撮像するための撮像部308と、撮像部308で撮像した庫内の画像情報をサーバ104等の外部の装置に送信するための通信モジュール306とを備え、冷蔵庫1に着脱可能な構成となっているので、確認を不要とするユーザは、カメラ装置300を取り外すことができる。また、購入時には不要と考えていたが、購入後に確認したいと考えるユーザも、カメラ装置300を追加することで、庫内を確認することができるようになる。
この場合、通信装置501も着脱可能な構成としているので、カメラ装置300の場合と同様に、庫内の確認を不要とするユーザは取り外すことで消費電力を低減することができるとともに、後から付け足したいユーザにも対応することができる。
撮像するためには光源が必要であるが、庫内を照らすための撮像ランプ302(カメラ側照明手段)をカメラ装置300に設けているので、カメラ装置300単体で庫内を撮像することができる。なお、冷蔵庫1と連携して、庫内照明を点灯する構成であってもよいことは勿論である。
カメラ装置300を設置する場合、設置位置によっては視野が遮られる等により上手く庫内を撮像できない可能性もあるが、撮像するのに有利な場所もある。そこで、冷蔵庫1にカメラ装置300を取り付けるための被取り付け部(実施形態では、ドアポケット200の保持部202や、冷蔵庫用ホルダ400の保持部401等)を設けることで、例えば冷蔵室3の全域を撮像可能な場所にカメラ装置300を設置することができる。
カメラ装置300の、上記したような庫内照明を点滅させることができないと外部の装置からの撮像指令を実行することができない虞があるが、磁石206や磁石405を設けてその磁気を検知部307にて検知する構成とすることにより、つまり、その冷蔵庫1がカメラ装置300による撮像が可能な(撮像が許可された)動作対象であることを検知させるための被検知手段備えることにより、そのような虞を低減することができる。
この場合、通信モジュール306にて冷蔵庫1側と通信することで、つまり、通信モジュール306を検知手段(この場合、通信装置501が被検知手段となる)として用いてもよい。また、通信モジュール306を、カメラ装置300が該冷蔵庫1用に設計されたもの(例えば、庫内照明を点滅させることで撮像ができるもの)であるかを識別するための識別手段として用いてもよい。
カメラ装置300は、実施形態の場合には電池305により駆動される(つまり、冷蔵庫1に設置されている際には外部からの電源供給が無い状態で駆動される)ことから、可能な限り電力消費を低減することが望ましい。そこで、通信モジュール306は通信装置501と通信するようにすることにより、通信モジュール306で外部の装置と無線通信を行う場合に比べて、無線通信による電力消費を低減することができる。
また、外部の装置から指令を受ける場合、通信手段が常に動作して指令を待機する必要があるが、実施形態のように通信装置501にて指令を受信する構成としたことで、通信モジュール306を常時動作させておく必要が無くなり、電池切れとなるまでの期間をより長くすることができる。この場合、通信装置501には例えばUSB等の有線方式により冷蔵庫1側から給電可能な構成としておけば、通信装置501が無い場合には不要な給電が行われなくなるとともに、通信装置501が有る場合には例えば常時動作させることができるようになる。
カメラ装置300を着脱可能とする場合、無線通信を採用したほうが利便性を向上させることができるものの、上記したような通信装置501にて指令を受信する場合、それを何らかの方法でカメラ装置300に伝達する必要がある。そこで、カメラ装置300に照度センサ313を設け、庫内照明を点滅させることで撮像指令を間接的にカメラ装置300に伝達する構成とすることで、無線通信を採用したカメラ装置300に、撮像タイミングを通知することができる。この場合、カメラ装置300側は照度センサ313を動作状態としておけばよいので、通信モジュール306を動作せる場合に比べて電力消費を削減することができる。
また、カメラ装置300が設けられる右扉3bの前面は、非金属材料で形成されているので、右扉3bによって密閉された冷蔵室3内にカメラ装置300を通信モジュール306ごと配置する場合であっても、電波を庫外に出し易くすることができる。野菜室4にカメラ装置300を配置する場合も同様である。
例えば冷蔵室3は一般的には縦長の形状であり、野菜室4は一般的には横長の形状であることを考慮すると、複数の貯蔵室が存在する場合、貯蔵室に応じてカメラ装置300の視野を切り替えることが望ましい。また、画像が横向きになるとユーザが違和感を覚える可能性もあるので、ユーザが冷蔵庫1を見た場合の状態、つまり、冷蔵庫の上下方向が統一された画像とすることが望ましい。そこで、上記した磁石206や磁石405を設けることにより、さらには、カメラ装置300に対向する側の極性が異なるような配置とすることにより、いずれの位置(この場合、メーカ等が予め設定した取り付け位置。保持部202または保持部401に対応する)に設置されているのかを把握することで、その位置におけるカメラ装置300の向きを判断可能としている。また、冷蔵室3の場合には本実施形態で縦置き、野菜室の場合には横置きとなるように保持部202や保持部401が予め形成されていることにより、貯蔵室に応じた向きでカメラ装置300が設置されるようにしている。これらにより、貯蔵室に応じて適切に視野を確保することができるとともに、画像処理を行う際にどの向きに回転させれば良いか等を判別できるようになる。
この場合、加速度センサ312で検出した加速度の向きからカメラ装置300の向きを判断することもできるし、温度センサ310で検出した温度に基づいて設置場所を判断することもできる。
カメラ装置300が例えば冷凍室に誤って設置されると、動作不良等を引き起こす可能性があるが、温度センサ310で温度を検知することで、また、実施形態のように報知可能とすることで、動作不良等を引き起こす虞を低減することができる。
カメラ装置300で庫内を撮像するためには、庫内に対して正面から、且つ、視野を確保するためにある程度の距離を確保することが望ましいが、冷蔵庫1の場合、その正面側の取り付け位置は、扉により制限される。そこで、少しでも距離を確保するために扉の内板14に取り付けることが考えられるが、その場合、ドアポケットが視野に掛かる可能性がある。そこで、実施形態のドアポケット200は、その壁部203が、保持部202(被取り付け部)を避ける形状に形成されているので、カメラ装置300の視野を遮ることが無い。
また、上記したように庫内を撮像するのに有利な場所が存在することから、その場所をユーザに知らせることが望ましい。そこで、ドアポケット200のように、カメラ装置300を保持する保持部202(取り付けるための被取り付け部)を設けることで、設置場所を明示することができる。また、保持部202に保持された状態では、カメラ装置300の視野が冷蔵室の中心に来るように保持部202が形成されているので、庫内のほぼ全域を撮像することができる。なお、保持部202に設置することでその中心位置が規定されることから、画像の歪みを補正する画像処理において、補正する際の中心位置と画像の中心位置とが一致し、その中心位置を中心として均等に歪み補正を行えばよいので、画像処理の演算負荷の低減を図ることもできる。
また、このドアポケット200には、磁気センサ311の検知対象となる磁石206を設けているので、上記したように、設置場所をカメラ装置300に識別させることができる。
冷蔵庫1場合、野菜室4等も設けられているが、野菜室4には所謂ドアポケットが設けられておらず、また箱状に形成されていることから、単にカメラ装置300を設置すると、収納される野菜等で覆われてしまう虞がある。そこで、冷蔵庫用ホルダ400のように、カメラ装置300を保持する保持部401を有する冷蔵庫用ホルダ400を用いてカメラ装置300を野菜室4に設置することができる。この場合、保持部401を野菜室ボックス4cの縁等に係止する係止部402を備えているので、野菜室4の上部側且つ扉4a側に設置することができ、野菜等に覆われることなく、野菜室を撮像可能とすることができる。また、係止部402にて係止しているので、不要な場合には容易に取り外すことができる。
また、この冷蔵庫用ホルダ400にも磁石405を設けていることで、カメラ装置300は、自身の設置場所を上記したように判断することができる。
また、家電ネットワークシステム500、庫内画像表示プログラムが奏する効果は、第1実施形態と共通する。
(第3実施形態)
次に、第3実施形態について説明する。本実施形態は、庫内に凹部を設け、その凹部に、撮像手段の一例として撮像カメラを設ける構成をベースとする実施形態である。即ち、本実施形態は、詳しくは後述する窪み600のような凹部を展開した実施形態である。また、上述の実施形態では、庫内の側面の一例である扉の内面に撮像手段を設ける構成を例示したが、本実施形態は、庫内の側面の一例である貯蔵庫の内側面に撮像手段を設ける構成を例示する。
即ち、例えば図26および図27に示すように、冷蔵庫700の貯蔵庫701内には、庫外側に窪み、上下方向に延びる縦長の凹部702が設けられている。この場合、凹部702は、貯蔵庫701内の左右の両側面に設けられている。また、例えば図28に示すように、凹部702は、貯蔵庫701内のうち、扉703が閉じられた状態で当該扉703と干渉しない位置に設けられている。従って、扉703が閉じられた状態において、凹部702が扉703の断熱壁704やドアポケット705などによって塞がれないようになっている。
この凹部702には、撮像手段の一例である撮像カメラ706、および、照明手段の一例である照明用LED707が収納されている。この照明用LED707は、撮像カメラ706による貯蔵庫701内の撮像時に、貯蔵庫701内を照明するために設けられたものである。この場合、照明用LED707は、貯蔵庫701内を照明するための庫内灯708とは別の要素として備えられている。
例えば図29に示すように、凹部702の内部には基盤709が設けられている。この基盤709は、基本的には、照明用LED707が実装される照明用の基盤である。本実施形態では、この照明用の基盤709に撮像カメラ706が取り付けられている。即ち、照明用の基盤709は、撮像用の基盤としての機能も兼ね備えている。よって、撮像カメラ706および照明用LED707は、同一の基盤709上に実装されている。なお、例えば図30に示すように、撮像カメラ706は、凹部702内において、照明用LED707よりも庫内側に位置するように設けてもよい。また、図示はしないが、撮像カメラ706は、凹部702内において、照明用LED707よりも庫外側に位置するように設けてもよい。
また、凹部702内には、複数の撮像カメラ706および複数の照明用LED707が備えられている。そして、凹部702内において、1つの撮像カメラ706は、その上下に位置する2つの照明用LED707に挟まれた状態となっている。また、1つの照明用LED707は、その上下に位置する2つの撮像カメラ706に挟まれた状態となっている。
また、凹部702には、当該凹部702を塞ぐ「蓋」としての機能を備える例えば樹脂製の防護カバー710が着脱可能に取り付けられている。この防護カバー710のうち照明用LED707に対向する部分には凹凸が形成されている。この凹凸により、照明用LED707から照射される光が散乱されて庫内に供給されるようになっている。また、この防護カバー710のうち撮像カメラ706に対向する部分には凹凸が形成されていない。従って、撮像カメラ706は、防護カバー710の凹凸に妨害されることなく、庫内をクリアに撮像することが可能となっている。
また、例えば図26に示すように、撮像カメラ706は、貯蔵庫701内に設けられた棚711とは異なる高さ位置に設けるとよい。また、照明用LED707も、棚711とは異なる高さ位置に設けるとよい。この場合、例えば図31に示すように、棚711の前部(前端部)には、光沢Tが施されている。図31では、この光沢Tを網掛けで示している。この光沢Tは、例えば、光沢を有する部材を取り付けることにより、あるいは、光沢塗料を塗布することにより実現されている。この場合、照明用LED707の照射方向D1は、棚711の前部には指向しておらず、従って、照明用LED707から照射される光が光沢Tによって反射されにくい構成が実現されている。
また、例えば図26に示すように、撮像カメラ706は、扉に設けられているドアポケット705と棚711の間に設けられている。また、撮像カメラ706は、庫内に設けられた棚711よりも前側に位置している。この場合、例えば図32に示すように、撮像カメラ706を、棚711に向かって指向させて配置してもよい。
また、例えば図33に示すように、撮像カメラ706は、凹部702の側壁、この場合、特に前側の側壁および後側の側壁が当該撮像カメラ706の視野R内に入らない位置に設けるとよい。また、例えば図34に示すように、撮像カメラ706は、凹部702の側壁、この場合、特に前側の側壁および後側の側壁に指向しない範囲で、その設置角度を適宜調整して設けるとよい。また、凹部702は、その底部となる庫外側が狭く、その開口部となる庫内側が広い形状となるように設けるとよい。この場合、凹部702は、庫内側に向かうほど、その側壁が徐々に広がっていく形態となる。これにより、凹部702の側壁が撮像カメラ706の視野R内に入りにくい構成を実現することができる。
また、例えば図35に示すように、撮像カメラ706は、照明用LED707の照射方向D1と同じ方向に指向するように設けるとよい。
また、例えば図36に示すように、撮像カメラ706の視野角αと照明用LED707の照射角βが異なるように設けてもとよい。また、撮像カメラ706の視野角αは、照明用LED707の照射角βよりも狭い角度で設定するとよい。これにより、撮像カメラ706の視野R全体を、照明用LED707によって照射可能とすることができる。
また、収納部である凹部702内部にある照明用LED707が、凹部702の底面(庫外側の面)または貯蔵室を構成する内箱の側壁の面に対し斜めに指向している場合に、その指向方向を前側または後側の側壁に当たらないようにするとよい。そうすることで、側壁に光が反射してその反射光が撮像カメラ706に入射してしまうこと、つまり、逆光となることを抑えることができる。
また、撮像カメラ706と照明用LED707の指向角度を異ならせるとよい。これにより、仮に反射光が発生した場合でも、撮像カメラ706に光が入りにくくすることができる。また、この場合、撮像カメラ706の傾斜角度は、照明用LED707の傾斜角度よりも小さい角度とするとより効果的である。例えば、照明用LED707は、より庫内奥側に向き、撮像カメラ706は、照明用LED707よりも庫内手前側(扉側)を指向するように配置するとよい。
また、撮像カメラ706と照明用LED707の指向角度を異ならせる場合には、これら撮像カメラ706および照明用LED707を同じ基板に配置しなくともよく、これら撮像カメラ706および照明用LED707を、それぞれ別の基板に配置してもよい。
また、例えば図37に示すように、冷蔵庫700は、貯蔵庫701内のうち、一方の側面(例えば図37では左側の側面)に設けられた撮像カメラ706によって貯蔵庫701内を撮像する際には、その撮像カメラ706に対向する面(この場合、図37では右側の側面)に設けられている照明用LED707を消灯するように設定するとよい。この場合、一方の側面に設けられた撮像カメラ706の指向方向D2(撮像中心となる撮像軸)と他方の側面に設けられた照明用LED707の照射方向D1(照射中心となる光軸、照射軸)とは相互に対向しないよう構成するとよい。これにより、一方の側面に設けられた撮像カメラ706のレンズに、他方の側面に設けられた照明用LED707からの光が入りにくい構成、つまり、逆光となりにくい構成を実現することができる。
また、冷蔵庫700は、貯蔵庫701内のうち、一方の側面(例えば図37では左側の側面)に設けられた撮像カメラ706によって貯蔵庫701内を撮像する際には、その撮像カメラ706と同じ面に設けられている照明用LED707を点灯するように設定するとよい。これにより、一方の側面に設けられた撮像カメラ706によって貯蔵庫701内を撮像する場合には、その撮像カメラ706と同じ面に設けられた照明用LED707によって、逆光となることなく庫内を照射することができる。
また、撮像カメラ706は、扉703の内面に設けられているドアポケット705を撮像可能な位置に設けるとよい。即ち、例えば、撮像カメラ706は、ドアポケット705よりも上方において、当該ドアポケット705とは異なる高さ位置に設け、且つ、ドアポケット705を、上から下に向かって斜めに撮像可能な角度を有して設けるとよい。これにより、撮像カメラ706は、ドアポケット705を斜め上方から撮像することができる。また、例えば図38に示すように、扉703から庫内に延びる断熱用壁部704に切り欠き部704aを設けるとよい。この構成によれば、撮像カメラ706は、断熱用壁部704に覆われることなく、この切り欠き部704aを介してドアポケット705を撮像することができる。
また、例えば図39に示すように、撮像カメラ706は、当該撮像カメラ706が設けられている側とは反対側の扉703が開いた状態において、当該扉703に設けられているドアポケット705を撮像可能な位置に設けるとよい。
また、例えば図40に示すように、凹部702内において、撮像カメラ706の設置位置と照明用LED707の設置位置とを上下方向に沿って列状に配置する構成としてもよい。また。例えば図41に示すように、凹部702内において、撮像カメラ706の設置位置と照明用LED707の設置位置とを横方向にずらしてもよい。
また、例えば図42に示すように、引き出し可能な容器720を庫内に設け、撮像カメラ706は、容器720が引き出された状態(図中、破線で示す)で当該容器720の側面に対向する位置に設ける構成としてもよい。この場合、容器720を撮影するための専用の撮像カメラ706および照明用LED707を設けるようにしてもよい。また、例えば図43に示すように、引き出し可能な複数の容器721,722を庫内に設け、撮像カメラ706は、これら容器721,722の何れも撮像可能な位置に設ける構成としてもよい。この場合、各容器721,722をそれぞれ撮影するための専用の撮像カメラ706および照明用LED707を設けるようにしてもよい。なお、容器の数は2つに限られるものではなく、3つ以上の複数の容器を庫内に設けてもよい。この場合、撮像カメラ706は、全ての容器を撮像可能な位置に設けるとよい。
また、例えば図44に示すように、撮像カメラ706は、庫内に設けられた棚711の前端部よりも後側に設けてもよい。この場合、当然、撮像カメラ706は、扉に設けられているドアポケット705よりも後側に設けられる。この場合、複数の撮像カメラ706は、上下に並ぶ2つの棚711,711の間に設けるとよい。この場合、棚711の上側に位置する撮像カメラ706は、その棚711の上側を撮像可能な上専用撮像カメラ(上専用撮像手段の一例)として機能し、棚711の下側に位置する撮像カメラ706は、その棚711の下側を撮像可能な下専用撮像カメラ(下専用撮像手段の一例)として機能する。
また、容器720の上側に設けられる少なくとも1つの棚711を、例えば透明な樹脂により構成し、透明な透明棚として備える構成としてもよい。この構成によれば、この透明棚よりも上側に位置する少なくとも1つの撮像カメラ706は、この透明棚を介して、容器720の内部を撮像可能となる。
また、凹部702の内部に、庫内の光量を検知する光量検知センサを実装する光量検知用の基盤を備え、撮像カメラ706を、その光量検知用の基盤に実装するように構成してもよい。また、光量検知センサを、庫内の照度を検出する照度センサとして用いることで、光量検知用の基盤を照度検知用の基板とみなすことができる。この場合、撮像カメラ706を、その照度検知用の基盤に実装するように構成してもよい。なお、この種の基板類はカード状あるいは板状をなしている。そして、この種の基板類は、その両端が、例えば凹部702内に設けられたスリット状の被取付部にくわえ込まれることにより、凹部702内に取り付けられている。
また、凹部702の貯蔵室側を覆う防護カバー710には、撮像カメラ706用および図示しない受光部用に、それぞれ個別に撮像用孔部および受光用孔部を設けてもよい。この場合、撮像用孔部は、視野に掛からないように、その壁部を斜めに形成してもよい。また、受光用孔部には集光用のレンズや透明なカバーやカメラ用のレンズを設けたり、撮像用孔部にはカメラ装置を覆う透明なカバーを設けたりするとよい。これらレンズやカバーは、人の手の脂や野菜のカス等の汚れが着かないように、防護カバー710の表面や、貯蔵室を構成する内箱表面に露出しないように防護カバー710の表面よりも奥側の凹部702側に配置するとよい。また、レンズやカバーに湿気により結露した場合に結露した水(水滴)が流れやすく、貯蔵室内に排出できるように各孔部を下方に傾斜させたり、細い溝を設けて毛細管現象により排出できるようにしてもよい。
また、撮像カメラ706は、受光部とは異なる位置であって、照射手段から照射される光量が抑制される扉や側面等の位置に設けられている。そのような位置では、撮像カメラ706に対して照射手段から照射された光の入射が抑制されるので、逆光となるおそれを低減することができる。
また、撮像時における照明用の撮像照明手段と撮像時における照射用の照射手段とを設け、照射手段は、撮像照明手段とは照射する光量および色を異ならせる構成としてもよい。これにより、撮像照明手段が点灯された際に受光部が誤検知するおそれを防止できる。
この場合、色の異なる照射手段は、撮像カメラ706で撮像する際には点灯しないようにするとよい。これにより、画像が青くなるような不自然な状態で撮像されることを防止できる。また、白色と異なる青色LEDなどの第1の発光手段(照射手段)としては、その波長がほぼ400nmの青色の光をフィルタや壁などに施された触媒に照射することで励起させて脱臭・除菌を行う可視光触媒装置や、空気絶縁破壊することにより青白く発光してイオン、ラジカル(活性種)、オゾンを発生させるコロナ放電装置、対向電極と液体を放電電極として高電圧を印加してOHラジカルを含有する帯電微粒子水を発生させて電極が青白く光る静電霧化装置などの空気絶縁破壊装置や、貯蔵室内に備えられ、使用者が冷蔵庫の制御を行う押圧式などの操作部の表示をする緑色や赤、オレンジなどのLED等の表示手段が含まれる。この第1の発光手段は、予めプログラムに記憶された所定条件で発光するものであり、撮像する場合には設定条件で発光する制御を無効にすることで(つまり、カメラの撮像を優先し、カメラで撮像する際には設定条件が成立していたとしても発光しないようにすることで)、画像に無駄な光が入らなくなり、きれいに(鮮明に)撮像することができる。この押圧式の操作部(庫内操作部)は、凹部702内にタクトスイッチを備え、防護カバー710に操作ボタンを設けるとよい。
また、可視光触媒装置、コロナ放電装置、静電霧化装置などを備える構成としてもよい。可視光触媒装置、コロナ放電装置、静電霧化装置などは、所定時間毎に駆動したり、ダンパの開閉に連動して駆動する制御にする条件を設定可能であり、庫内操作部の操作に基づく表示手段の発光は操作のON/OFFを条件として制御することが可能である。また、冷蔵室の底面に備えられた引き出し式のチルドルームなどを照らす第2の発光手段である白色や他の色のLEDは、左右上下の壁や扉と異なる位置であって空間の中央にあるため、左右上下に配置されたカメラの画像に映り込みやすく、逆光になる可能性がある。そのため、同様に、カメラの撮像タイミングには無効あるいはOFFとしたり、撮像中には点灯を一旦中止し、撮像が終了した後に点灯させる等の制御を行うとよい。
また、可視光触媒は、撮像用孔部において撮像カメラ706を覆う透明なカバーや、カメラ装置のレンズ、また凹部702を覆う防護カバー710の表面に塗布して親水化手段として機能させてもよい。カメラのレンズや透明カバーなどは貯蔵室に露出などしている場合は結露などにより曇ってしまい、撮像した画像がぼやけてしまうという課題があるが、青色LEDなどの第1の発光手段である触媒を励起可能な可視光発生手段を凹部702内、又は凹部702外に設けて、光触媒に照射したりすることにより、レンズ、カバー等の表面が空気中の水分と活性してOHラジカル(親水性手段)の作用により親水化する。そうすると、レンズやカバーが結露した場合でも水が結合しやすくなることから表面が水の薄い膜となりやすく、凹凸の水滴ができにくくなることによって光の乱反射を防止することができ、もって表面を曇りにくくすることができる。よって、カメラ装置の撮像方向に位置するレンズや、透明カバーに親水性手段が生成される、また接触することによりカメラにより撮像した画像もぼやけることなく明確に撮像することができる。そして、この光触媒は、特定の波長の光が照射されることによって、空気中の細菌を除菌したり、空気中の臭気成分(有機物質など)を酸化や分解等をして脱臭することができる触媒であり、空気中の成分を活性化(イオン化やラジカル化)し、これに基づいて除菌したり、脱臭したりすることもできる。光触媒としては、酸化銀や酸化チタンが用いることができ、酸化銀(リン酸ジルコニウム銀を含む)には光の波長は約400nm~580nm程度の可視光の青色領域を利用し、酸化チタンには光の波長は380nmを照射可能な発光ダイオードの光源を利用するとよい。
また、上記静電霧化装置としては、放電極の先端はとがっていて、対極との間に-6kV程度の電圧を印加して、放電極に金属製の部材を用いて金属製の部材を冷却することで空気中の水分の結露水を得て、その結露水を静電霧化することにより粒径がナノメートルサイズ(粒子径の分布は3~50nm)の帯電微粒子水を得ることができ、放電極の先端に青白い光が発光し、電圧を印加しながらも発光がON/OFFし、所定間隔(例えば5秒間隔)で断続的に繰り返される。また、静電無化装置の駆動も所定時間毎にON/OFFをくり返す制御とするとよい。また、静電霧化装置は、放電光が映りにくくなるように吹き出し口を備えるカバーの中に収納してもよく、静電霧化装置を天井にダクト形状のカバー内に配置して撮像カメラ706を天井以外の対向しない扉や左右側壁などに配置することにより放電光が映りにくくなる効果がある。また、静電霧化装置が配置された貯蔵室と異なる貯蔵室に撮像カメラ706を配置しても同様な効果がある。また、ミストを発生させると貯蔵室内が霧状となりカメラで撮像した場合に霧で映りにくくなるという課題があるが、ミストの粒径をナノメートルサイズの微粒子水にすることにより霧状とならずクリアな画像を撮像できる。また、ナノメートルサイズの帯電微粒子水(OHラジカル含む)であると、カメラ装置のレンズ、カバーに接触しても結露もしにくく曇りにくい効果もある。
また、例えば図45に示すように、撮像カメラ706は、バッテリ730などとともにユニット化して撮像ユニット731を構成し、この撮像ユニット731を、例えば凹部702に設けた被取付部などに着脱可能に構成してもよい。この場合、撮像ユニット731は、凹部702内に設けられた電源コネクタ732を介して冷蔵庫700の電源系統に接続されるようになっている。なお、図示はしないが、ドアポケット705などに電源コネクタを設け、撮像ユニット731をドアポケット705に着脱可能に設ける構成としてもよい。また、この凹部702に、例えば図13,図14に例示する保持部202や、例えば図19に例示する冷蔵庫用ホルダ400の保持部401などの被取付部を設けることにより、簡単に撮像ユニット731を設置可能となる。そして、電源コネクタは、動かすことが可能な線状のもので構成するとよく、例えば、USB端子などで構成してもよい。また、いわゆるオス型の端子を、カメラに設けたいわゆるメス型の端子に挿入することで、被取付部として挿脱可能に構成してもよい。なお、いわゆるメス型の端子に、カメラに設けたいわゆるオス型の端子を挿入する構成としてもよい。また、給電部としては、移動可能な線状のもので構成してもよいし、固定されて移動不能なもので構成してもよい。
また、例えば図46に示すように、庫内の奥面の左右両側に給風口740を設け、これら給風口740から供給される風が、防護カバー710の表面(庫内側の面)に沿って流れるように構成してもよい。このように風が防護カバー710の表面に沿って流れることにより、当該防護カバー710の結露を防止することができる。
また、例えば、中央に位置する冷気ダクトに左右に向かって開口する吹き出し口を設け、その吹き出し口から防護カバー710に向けて冷気を流す構成としてもよい。
また、例えば図47に示すように、庫内に設けられる棚のうち少なくともいずれか1つを、庫内を上下方向に移動可能な可動棚750として設けてもよい。この場合、可動棚750の左右両端の下部には、当該可動棚750を上下方向に移動させるための移動機構部751が設けられている。この移動機構部751は、例えば、図示しない操作摘みを操作することにより内部のワイヤを移動させ、このワイヤの移動に伴い可動棚750を上下に移動させる構成である。また、可動棚750の少なくとも左右両端部には、移動機構部751を上方から覆って隠す不透明部750aが設けられている。この不透明部750aは、例えば、不透明な部材を取り付けることにより、あるいは、不透明な塗料を塗布することにより実現することができる。
この場合、撮像カメラ706は、可動棚750を上限高さから下限高さまでの何れの位置に移動させた場合であっても、その可動棚750上を撮像可能な位置に設けるとよい。即ち、撮像カメラ706は、少なくとも、可動棚750の上限高さよりも高い位置に設け、且つ、その撮像方向を、上から下に向かって斜めに向かう方向に設定するとよい。
また、例えば図48に示すように、撮像カメラ706を、可動棚750の上方となる庫内の天面に設けてもよい。この構成によれば、可動棚750を上限高さから下限高さまでの何れの位置に移動させた場合であっても、その可動棚750上を、上方から撮像カメラ706によって撮像することができる。また、不透明部750a以外の透明な部分(透明部)を通して、下方の棚の収容物を撮像することも可能である。
なお、本実施形態に例示した構成は、何れの構成も、冷蔵庫に設けられる貯蔵庫、例えば、冷蔵室、冷凍室、野菜室、チルド室などに適用することができる。
(第4実施形態)
以下、第4実施形態について、図53から図64を参照しながら説明する。なお、第1実施形態と共通する部位には同一の符号を付し、その詳細な説明は省略する。また、撮像タイミングについては、上記した各実施形態で例示したものを適宜採用すればよい。
図53に示すように、本実施形態の冷蔵庫1は、撮像手段としてのカメラユニット1000を備えている。この冷蔵庫1は、第1実施形態と同様に、家電ネットワークシステム100(図1参照)に接続されている。この場合、冷蔵庫1は、第1実施形態のように無線通信方式にて家電ネットワークシステム100に接続してもよいし、有線通信方式にて家電ネットワークシステム100に接続してもよい。本実施形態では、有線通信方式として、冷蔵庫1への電力を供給する電力線を利用して通信を行う電力線通信(PLC:Power Line Communication)を採用している。以下、カメラユニット1000の取り付け位置についていくつかの具体例とともに説明する。
<具体例1>
具体例1のカメラユニット1000は、冷蔵庫1の扉に設けられている。このカメラユニット1000は、例えば冷蔵室3の庫内の中央を撮像可能な位置に設けられており、具体的には、撮像対象となる冷蔵室3(貯蔵庫)を開閉する右扉3bにおいて、当該冷蔵室3の上下方向および左右方向における略中央の位置に対応するように設けられている。このカメラユニット1000は、図54(A)、(B)に示すようにその外形が概ね直方体状に形成されており、カメラケース1001(保護ケースに相当する)と底板1002とで囲まれた空間にカメラモジュール1003(撮像モジュールに相当する)が収容された構成となっている。
また、カメラユニット1000には、冷蔵庫1側との間を接続する接続ケーブル1004、およびカメラユニット1000を固定するためのフランジ部1005が設けられている。接続ケーブル1004は、冷蔵庫1側からの電源供給、カメラユニット1000に対する撮像指示の伝達、および撮像された画像データ取得に用いられる。このカメラユニット1000は、フランジ部1005によって扉3bの庫内側に取り付けられている。そのため、具体例1および後述する具体例2~4の場合、接続ケーブル1004は、扉3bの内部に配線され、扉のヒンジ部を経由して冷蔵庫1の主制御部30(図4参照)に接続されている。
カメラモジュール1003は、図55に示すように、CCDセンサやCMOSセンサ等の撮像素子1010およびその周辺回路を構成する回路部品1011等が搭載された基板1012と、その基板1012に取り付けられているレンズユニット1013とから構成されている。本実施形態の撮像素子1010は、長方形に形成されており、その長手方向が、カメラユニット1000の長手方向(図54の図示上下方向)と一致している。この基板1012には、撮像素子1010に対応した位置にレンズホルダ1014が設けられており、そのレンズホルダ1014の内周面は雌ねじとなっている。一方、レンズユニット1013は、基板1012側の端部が雄ねじとなっており、レンズホルダ1014にねじ込まれることで、撮像素子1010までの距離が調整された状態で取り付けられている。
このレンズユニット1013は、複数枚、例えば本実施形態では3枚のレンズ1015を備えており、各レンズ1015は、例えば樹脂材料等で形成された本体部内に保持されている。カメラユニット1000は、これら3枚のレンズ1015によっておよそ120度の視野角が確保されており、庫内を広角で撮像することが可能となっている。また、レンズユニット1013には赤外カットフィルタ1016が設けられており、撮像素子1010で検出する光を概ね可視光の範囲に限定している。このため、カメラユニット1000は、庫内をカラーで撮像する際、鮮明な色彩で撮像することができる。なお、レンズ1015の枚数等は一例であり、必要な視野角に応じて適宜選択すればよい。
また、カメラユニット1000は、図53(B)に示すように、カメラケース1001内が例えばウレタン樹脂やエポキシ樹脂等のポッティング材1017によってカメラモジュール1003ごとポッティングされている。また、図55に示すように、レンズユニット1013にはその外周側にOリング1018が設けられており、そのOリング1018によってレンズユニット1013とカメラケース1001の内面との間が封止されている。なお、図55では、ポッティング材1017の図示を省略している。
このため、レンズユニット1013の前面側から水や湿気がカメラケース1001内に浸入することが防止されている。また、カメラケース1001の底板1002側も、接続ケーブル1004が貫通している部位を含めて封止された状態となっている。つまり、カメラユニット1000は、全体として防水構造あるいは防滴構造となっているとともに、内部のカメラモジュール1003も結露等から保護されている。
このカメラユニット1000は、図56(A)に示すように、右扉3bの内板14に取り付けられている。また、カメラユニット1000は、扉3bが閉鎖された状態における視野が庫内側となるように取り付けられている。このため、カメラユニット1000は、右扉3bが閉鎖された状態では、冷蔵室3を正面から、且つ、上下方向および左右方向のほぼ中央から撮像することが可能となっている。つまり、カメラユニット1000は、ユーザが冷蔵庫1を使用するときと同様の視野にて庫内を撮像することができる。このとき、カメラユニット1000に隣り合って配置されているドアポケット9bは、第一実施形態と同様に切り欠き部9b1が設けられており、カメラユニット1000の視野を大きく遮ることが無いようになっている。
また、カメラユニット1000は、図56(B)に示すように、長手方向が上下となるように縦向きに取り付けられている。このため、カメラユニット1000内の撮像素子1010も、その長手方向が縦向きとなっている。これにより、上下方向と左右方向とにおいてその大きさが異なる略直方体状に形成され、縦長の空間となっている冷蔵室3を、縦長で撮像することができる。つまり、縦長に配置された撮像素子1010の撮像範囲を有効に活用しつつ、庫内を撮像することができる。
<具体例2>
具体例2の場合、カメラユニット1000は、図57に示すように、右扉3bの内板14側に設けられている凹部1020に取り付けられている。なお、具体例2でも、カメラユニット1000は縦向きに取り付けられている。この凹部1020は、カメラユニット1000全体を収容できる程度の大きさに形成されており、その凹部1020に収容されているカメラユニット1000は、内板14よりも庫内側に突出しないようになっている。このため、右扉3bの最下段のドアポケット10b(図53参照)にペットボトル等を出し入れする際、カメラユニット1000に接触することが防止される。
また、カメラユニット1000全体が凹部1020に収容されているため、ユーザが手を触れる可能性が小さくなり、レンズ1015が汚れるおそれを低減することができる。
また、カメラユニット1000は、その位置が上記した具体例1よりも庫外側、つまり、冷蔵庫1の前方側にずれている。このため、冷蔵室3内をより大きい視野で撮像することができる。
この場合、凹部1020の開口側に、例えば内板14と面一となる位置に、例えばアクリル等の透明なカバー部材等を設けてもよい。これにより、レンズ1015等へ汚れが付着することや、凹部1020にほこり等が溜まること等を防止することができる。
<具体例3>
具体例3の場合、カメラユニット1000は、図58に示すように、右扉3bの内板14内に配置されている。なお、具体例3も、カメラユニット1000は縦向きに取り付けられている。この場合、カメラユニット1000は、そのレンズ面だけが冷蔵室3側に露出した状態となっている。このため、具体例2と同様に、ドアポケット10bにペットボトル等を出し入れする際にカメラユニット1000が邪魔になることが防止される。
これら具体例1~3のようにカメラユニット1000を取り付けることで、図59(A)に示すようにユーザが冷蔵庫1を使用する際の視点と同様に冷蔵庫1の正面側から庫内を撮像することができ、家電ネットワークシステム100を介して通信端末103等にて撮像した画像を表示することで、遠隔地から庫内を確認することができる。
<具体例4>
具体例4の場合、カメラユニット1000は、左扉3aに設けられている縦仕切り17(図53参照)に取り付けられている。この縦仕切りは、図60(A)、(B)に示すように、左扉3aのヒンジ部3dと反対側の端部に設けられており、回動機構17aによって、図60(A)に示すように扉3aが開放されている状態と図60(B)に示すように扉3aが閉鎖されている状態とでその向きが変化する。この縦仕切りは、観音開きの扉(いわゆるフレンチドア)の左右方向のほぼ中央、つまりは、冷蔵室3のほぼ中央部に位置している。そして、左扉3aと右扉3bとが閉鎖された状態では、図61(A)に示すように、ガスケット1030によって庫内と庫外とが封止されている。
カメラユニット1000は、図61(A)、(B)に示すように、断熱材1031が充填されている縦仕切り17の内部において、取り付け板1032に縦向きに取り付けられている。このカメラユニット1000は、縦仕切り17の上下方向の略中央に配置されている。このため、具体例4においても、カメラユニット1000は、冷蔵室3の上下方向および左右方向のほぼ中央から庫内を撮像可能となっている。そして、上記したように縦仕切り17が回動することから、左扉3aが開放された状態では、図60(A)に示すように、カメラユニット1000が左扉3aと平行となるように、且つ、開放された側と反対側となる。これにより、左扉3aが開放されたとき、ユーザがカメラユニット1000のレンズ面に触れることが防止されている。
そして、左扉3aが閉鎖された状態では、図60(B)に示すように、カメラユニット1000が庫内側を向くので、図62に示すように、正面側且つほぼ中央付近から庫内を撮像することができる。この場合、ドアポケット9aがカメラユニット1000の視野を遮るようであれば、ドアポケット9bと同様の切り欠き部をドアポケット9aに設けてもよい。
このような具体例4の場合でも、上記した具体例1~3と同様に、図59(A)に示したように庫内を撮像することができる。
<具体例5>
具体例5の場合、図63に示すように、カメラユニット1000は、冷蔵室3の側壁3cに設けられている凹部1040に取り付けられている。具体例5の場合、カメラユニット1000は、左右の側壁3cにそれぞれ取り付けられている。なお、一方の側壁3cにのみカメラユニット1000を取り付ける構成であってもよい。
凹部1040は、側壁3cにおいて前方側つまり扉側に設けられており、カメラユニット1000を取り付けるための取り付け面1041が、側壁3cに対して傾斜した形状に形成されている。具体例5の場合、凹部1040は、断面視にて略三角形に形成されている。これにより、カメラユニット1000を取り付けた際、その視野が冷蔵室3のほぼ中央を向くようになる。
そして、具体例5では左右の2方向から庫内を撮像するため、一方のカメラユニット1000では食材等により遮られた部分を、他方のカメラユニット1000から撮像することができる。これにより、食材等に邪魔されること無く庫内全体を撮像できるようになり、庫内をより詳細に確認することができる。また、2方向から撮像した画像を合成して立体画像を生成することで、庫内を立体的に表示させることもできる。
また、側壁3cにカメラユニット1000を取り付けていることから、有線式のカメラユニット1000において、側壁3cを利用して接続ケーブル1004を配線することが可能となり、例えば冷蔵庫1の背面側に設けられている主制御部30(図4参照)まで容易に配線処理することができる。
<具体例6>
具体例6では、図64(A)に示すように、カメラユニット1000に照明手段としてのLEDライト1050が設けられている。このカメラユニット1000は、前面側が、少なくともLEDライト1050に対応する位置が透明となった保護カバー1051によって覆われている。また、カメラユニット1000は、具体例1~5のカメラユニット1000と同様に、カメラケース1001内がポッティング材1017によりポッティングされている。
このカメラユニット1000は、本実施形態ではその前面に設けられている保護カバー1051と取付面1060とが面一となるように配置されている。つまり、カメラユニット100は、収納部に収納されている。この取付面1060は、例えば扉の内板14、縦仕切り17、側壁3c等に相当する。この状態において、レンズユニット1013の最前面は、取付面1060よりも前方に位置している。
LEDライト1050は、図64(B)に示すように、カメラケース1001内において、撮像素子1010(図55参照)とは前後方向に異なる位置に配置されている。具体的には、LEDライト1050は、撮像素子1010よりも前方に配置されている。本実施形態の場合、基板1012に撮像素子1010を実装し、それよりも前方に配置されたLED基板1052にLEDライト1050を実行することで、その位置を異ならせている。
このLEDライト1050は、カメラユニット1000の前面に近い位置に配置されており、LEDライト1050から照射された光がカメラケース1001内においてレンズユニット1013や撮像素子1010に直接的に入射することが防止されている。また、LEDライト1050は、前方に向かって拡大した開口壁1053に囲まれているとともに、レンズユニット1013の前面よりも後方に位置している。そして、レンズユニット1013の最前面が取付面1060よりも前方に位置していることから、LEDの前面を保護している保護カバー1051に光が反射したとしても、その光がレンズユニット1013に直接的に入射することがない。
このような構成のカメラユニット1000は、具体例1~5で例示した位置に取り付けることで、庫内照明13等を点灯しなくてもLEDライト1050を点灯させることで庫内を撮像できる。
なお、カメラユニット1000は、保護カバー1051が取付面1060よりも内側(後方)に位置するように配置されていてもよい。その場合、レンズユニット1013の最前面が取付面1060と面一となるように配置してもよいし、取付面1060よりも内側に位置するように配置してもよい。また、レンズユニット1013の最前面が保護カバー1051と面一となるように、カメラユニット1000内におけるレンズユニット1013の位置を調整してもよい。つまり、レンズユニット1013の本体部の先端が保護カバー1051と面一となるようにしてもよい。そのような配置にすれば、カメラユニット1000を例えば冷蔵室3の側壁3cや扉の内板14等に取り付ける際、庫内側に突出することがなく、食材の出し入れの邪魔になったりすることを防止できる。また、その場合には、取付面1060にカメラケース1001と同じ大きさの開口を設けてもよいし、レンズユニット1013とLEDライト1050に対応した丸穴の開口を設けてもよい。また、カメラケース1001を取付面1060よりも突出させ、結露によって水滴等が取付面1060をしたたり落ちた際に、その水がレンズ面に流れないようにしてもよい。
(その他の実施形態)
本発明は、上記した実施形態にて例示したものに限定されることなく、次のように変形又は拡張することができる。また、以下に示す変形例及び拡張例の一部または全部は、任意に組み合わせることができる。
第1実施形態では右扉3bに撮像カメラを設けた構成を例示したが、図49に示すように左扉3aに設けられている縦仕切り17に撮像カメラ18を設けてもよい。この縦仕切り17は、左扉3aの開閉状態に応じて回動するため、図49(a)に示すように左扉3aが閉鎖された状態では撮像カメラ18が庫内に向けられて庫内の画像を撮像することができる。一方、図49(b)に示すように左扉3aが開放された状態では、撮像カメラ18が内板側に向くので、ユーザが撮像カメラ18に触れることがなく、レンズ面の汚れを防止することができる。
そして、この縦仕切りに凹状の収納部を設け、その収納部にカメラを収納する構成としてもよい。その場合、縦仕切りは、長尺な矩形状に形成し、その内部に、断熱部およびヒータを有する構成とするとよい。また、縦仕切りに、庫内側から庫外側に向けて凹部を設け、その凹部内にカメラを収容するとよい。この場合、カメラは、庫内に向くように配置する。
第1実施形態では撮像カメラ18および撮像ライト19を1つ設けた構成を例示したが、図50に示すように、複数の撮像手段(上部撮像カメラ60、下部撮像カメラ62、ドア撮像カメラ64)や、複数の照明手段(上部撮像ライト61、下部撮像ライト63)を設けてもよい。この場合、上部撮像カメラ60にて庫内の上部側を撮像し、下部撮像カメラ62にて庫内の下部側を撮像してもよい。すなわち、庫内の特定の位置を撮像する撮像手段を複数設けてもよい。この場合、それぞれの画像を合成すれば、例えば図7に示したような1枚の庫内画像を生成することができる。
また、例えば庫内の上部側や下部側等の特定の位置を撮像できればよいので、広角レンズを採用しなくても庫内の全域を撮像することができる。また、1つの撮像カメラ18で広角に撮像する場合に比べれば上部撮像カメラ60や下部撮像カメラ62の視野を小さくできるので、換言すると、第1実施形態のようにドアポケット9bに切り欠き部9b1を設けなくても視野が遮られる可能性が小さくなるので、ドアポケットの収納量を維持したまま庫内を撮像することもできる。
また、上部撮像カメラ60で撮像する場合には上部撮像ライト61を点灯し、下部撮像カメラ62で撮像する場合には下部撮像ライト63を点灯する等、撮像する位置に応じて適切な照明手段を点灯することで、撮像環境を制御するようにしてもよい。なお、上部側と下部側だけでなく、例えば棚板11ごとに撮像手段を設けてもよい。
また、例えば庫内の上部側を撮像する際には天井ライト13の照度を低く、庫内の下部側を撮像する際には天井ライト13の照度を通常の状態となるように制御し、複数の画像を合成して1枚の庫内画像を生成してもよい。すなわち、撮像ライト19等は、必ずしも撮像専用のものを設ける必要は無い。
第1実施形態では撮像ライト19を点灯することで撮像環境を制御したが、例えば天井ライト13や側面ライト36の照度を低くする等で撮像カメラ18に対する逆光が弱くなるように撮像環境を制御してもよい。
また、ドア撮像カメラ64によりドアポケット側を撮像し、庫内画像と併せて図51に示すように冷蔵庫1の扉を開放した様子を示す合成画像を生成し、通信端末103にて表示するようにしてもよい。この場合、庫内にドア撮像カメラ64を設けてドアポケット側を撮像するようにしもてよいし、扉の内板14にそれぞれドア撮像カメラ64を設け、扉が解放された後のタイミングで他の扉のドアポケットをそれぞれ撮像し、扉が閉鎖された後のタイミングで画像を撮像し、複数の画像を合成して1枚の庫内画像を生成するようにしてもよい。
各実施形態では、撮像した画像をサーバ104に記憶する構成を例示したが、通信端末103に直接送信する構成としてもよい。
各実施形態では撮像した画像をそのままサーバ104に送信したが、広角レンズを用いたことにより生じる画像の歪みを補正した画像をサーバ104に送信してもよい。この場合、サーバ104にて画像の歪みを補正するようにしてもよい。
各実施形態では、通信端末103から庫内を撮像するための指令を受け付けたタイミングで庫内を撮像する例を示したが、遅延撮像時間が経過した後の画像を最新の画像として撮像していれば、指令を受け付けた場合であっても庫内を撮像しない構成としてもよい。つまり、遅延撮像時間が経過した後の画像は冷蔵庫1の扉が閉鎖された後の最新の画像であることから、遅延撮像時間が経過した後の画像が撮像されている状態は、撮像時以降に扉が開放されていない状態(貯蔵状態が変化していない状態)であると言える。そのため、遅延撮像時間が経過した後の画像が最新の画像であれば、撮像しないことで無用な電力の消費を防ぐことができる。この場合、通信端末103がサーバ104から画像を取得する際に、最新の画像である旨を通知する構成としてもよい。
第1実施形態では主制御部30とは別に制御部50を設けているが、主制御部30にて撮像カメラ18の制御等を行う構成としてもよい。これにより、部品点数を削減でき、コストを低減することができる。この場合、実施形態のように撮像した画像をそのままサーバ104に送信する構成とすれば、画像処理のような負荷の掛かる処理が不要であるため、主制御部30だけでも対応することができる。
第1実施形態では撮像カメラ18側に通信手段を設けたが、第2実施形態のように冷蔵庫1側に通信手段を設け、撮像カメラ18側は冷蔵庫1側の通信手段との間で通信を行う構成としてもよい。この場合、冷蔵庫1側に設ける通信手段は、冷蔵庫1の主制御部30に設ける構成としてもよいが、第2実施形態の図25に示す通信装置501のように着脱可能(オプション品)な構成としてもよい。
第1実施形態では貯蔵庫として冷蔵室3を例示したが、第2実施形態のように例えば野菜室4等の他の貯蔵庫を撮像するようにしてもよい。
第1実施形態では撮像カメラ18を予め冷蔵庫1に設けた構成を示したが、撮像カメラ18は、冷蔵庫1から着脱可能な構成としてもよい。具体的には、冷蔵庫1を購入したユーザが、購入後に撮像カメラ18を取り付けることができる構成としてもよい。つまり、第2実施形態のカメラ装置300のように、撮像カメラ18を着脱可能なカメラユニットとする構成としてもよい。
この場合、撮像カメラ18と撮像ライト19とを一体にユニットケースに収納し、冷蔵庫1から着脱可能としてもよい。また、制御部50や通信部52をカメラ装置に一体に設けてもよいし、さらにレンズヒータ51も一体に設けてもよい。あるいは、制御部50や通信部52は冷蔵庫1に予め設けておき、制御部50や通信部52等と通信するための別の通信手段をカメラ装置側に設けてもよい。すなわち、カメラ装置は、少なくとも撮像カメラ18を備えていれば、どの様な構成としてもよい。
そして、このレンズ301やこのレンズを保護するカバーの表面に前述の親水性手段を施してもよい。
このカメラ装置と冷蔵庫1との間は、有線方式にて接続するようにしてもよいし、無線方式にて接続するようにしてもよい。この場合、カメラ装置に対する電源も無線給電方式としてもよい。
また、カメラ装置を着脱可能な構成とする場合、冷蔵庫1のドアポケット8~10、内板14、縦仕切り17あるいは棚板等に被取り付け部を設け、被取り付け部に取り付けるための取り付け部をカメラ装置に設けることで、着脱可能とすることができる。具体的には、取り付け部と被取り付け部とが係合する構成としてもよいし、カメラ装置にクリップを設け、異なる厚みのドアポケットを挟み込むような構成(つまり、任意の位置に撮像手段を取り付け可能な構成)としてもよい。
また、無線方式を採用する場合には、図52に示すように、例えば冷蔵庫1の扉の内板14に、カメラ装置300を取り付ける位置を示す目印となる窪み600を設け、カメラ装置300側に取り付け用の磁石601を設けてもよい。例えば右扉3b等の扉はその内部に金属製の鉄板602が設けられた構造となっているため、磁力によってカメラ装置300を取り付けることができるためである。この窪み600には、磁力以外の取り付け構造(例えば保持構造や係合構造)を設けてもよい。また、第2実施形態の磁石206のような検知用の磁石603を設けてもよい。この場合、なお、扉側に磁石を設け、カメラ装置300側に金属部を設ける構成としてもよい。
また、任意の位置にカメラ装置を取り付け可能な場合には、棚板やドアポケット等によって視野が遮られる可能性が小さい部位など、庫内を適切に撮像できる位置に取り付け位置を示す目印を設けてもよい。なお、カメラ装置を取り付ける位置が予め指定されている場合であっても、取り付け時にユーザが迷わないように目印を設けておいてもよい。
また、ドアポケットにカメラ装置を収納するための専用の部位を形成しておき、その部位にカメラ装置を収納するようにしてもよい。
冷蔵庫1の庫内の特定の場所に、カメラ装置の有無を検出するICチップ等の検知手段を設け、カメラ装置の有無に応じて例えば通信部52の動作を許可する構成としてもよい。この場合、特定の場所は、少なくとも冷蔵庫1の庫内を含んでいる。なお、操作パネル33からカメラ装置を取り付けたこと入力する構成としてもよい。
また、冷蔵庫1にカメラ装置を識別するための識別手段を設け、特定のカメラ装置であると認識した場合のみカメラ装置の動作(通信部52等の動作も含む)を許可する構成としてもよい。これにより、信頼性のあるカメラ装置(例えばメーカ純正品や動作確認済みのカメラ装置)のみを作動させることができる。また、第2実施形態のように、既存の庫内照明を撮像タイミングの通知手段として用いることができ、追加部品等が不要となり、コストの低減を図ることもできる。
また、カメラ装置側にその冷蔵庫1が動作対象であるか否かを検知する検知手段を設け、冷蔵庫1側に検知手段に検知させるための被検知手段を設けるとよい。これら検知手段および被検知手段は、例えばコネクタの形状が適合する等の物理的な手法により構成してもよいし、識別情報をやり取りする等の手法により構成してもよい。
また、例えばカメラ装置300と通信を行うことで、そのカメラ装置300が冷蔵庫1用のものであるか否かを識別する構成としてもよい。この場合、冷蔵庫1の通信装置501が識別手段として機能し、通信モジュール306が、カメラ装置300が冷蔵庫1用のものであることを当該冷蔵庫1に識別させるための被識別手段として機能することになる。
また、識別手段や被識別手段を、上記した検知手段や被検知手段と兼用してもよい。すなわち、例えばカメラ装置300が保持部202に収納可能であれば、そのカメラ装置300は、当該冷蔵庫1用のものであると識別することもできる。この場合、カメラ装置300にて保持部202に設けられている磁石206の極性を検出し、その結果を冷蔵庫1側に通知することで、カメラ装置300が保持部202に収容されたかを判定したり、冷蔵庫1側で庫内照明を点滅させ、それに対してカメラ装置300側から何らかの応答を返すようにしておくこと等により、識別することができるようになる。
また冷蔵庫1の内板14にドアポケットを取り付けるポケット取り付け部を設け、ドアポケット9b(第2実施形態のドアポケット200も同様)そのものを着脱可能としてもよい。つまり、カメラ装置を着脱可能とする場合、カメラ装置を利用しないユーザはドアポケット8のような幅広なドアポケットを取り付けて収納量を増やすことができ、カメラ装置を利用するユーザは、幅狭になるもののドアポケット9b(あるはドアポケット200)を取り付けることで、カメラ装置の視野を遮ること無く、庫内を撮像させることができる。
また、ポケット取り付け部に図3にて撮像カメラ18が取り付けられている部位を覆う幅広な(つまり、右扉3bの幅とほぼ等しい)ドアポケット(あるいは、ドアポケット9bの切り欠き部9b1を補う形状のドアポケット)を取り付け可能とし、カメラ装置を利用しない場合にはカメラ装置の取り付け部がドアポケットにより覆われる構成とすることで、ユーザが誤って取り付け部に触れてしまうこと等を防止できる。
第2実施形態の制御部309による撮像タイミングの制御は、冷蔵庫1との間で通信を行って扉の開閉状態を取得することにより、第1実施形態と同様に撮像条件1~4等を判定する構成としてもよい。この場合、照度センサ313によるタイミングの検出と撮像条件1~4との双方を採用する構成としてもよいし、いずれか一方を採用する構成としてもよい。具体的には、第2実施形態ではユーザが扉を開放した場合には撮像しない構成としたが、庫内照明が連続点灯した時点を扉が開放された時点と判定し、その後、庫内照明が消灯した時点を扉が閉鎖された時点と判定し、庫内照明が消灯した時点で撮像することで、撮像条件1を判定することが可能となる。また、通信モジュール306を利用して、冷蔵庫1の主制御部30から通信により扉の開閉状態を取得する構成とすれば、撮像条件1~4を採用することができる。
第2実施形態のカメラ装置300に、結露を除去するための除去手段を設けてもよい。
第2実施形態の所定期間を、温度や湿度に基づいて結露が除去される期間(あるいは少なくともそれ以上の期間)に設定してもよい。勿論、例えば2時間等の固定期間を設定してもよい。
第2実施形態のカメラ装置300には撮像ランプ302を設けない構成としてもよい。例えば、冷蔵室3であれば天井ライト13等が設けられているので、それらの庫内照明を利用して撮像する構成としてもよい。この場合、通信モジュールを介して冷蔵庫1側に点灯命令を送信すること等が考えられる。また、撮像時に、撮像ランプ302と庫内照明とを利用する構成としてもよい。
各実施形態では庫内を撮像する例を示したが、例えば庫内に設けられている閉鎖空間部(例えば、蓋や引き出し構造で閉鎖あるいは覆われている卵室やチルド室の特定目的室12、密閉された状態となる低気圧保存室等が考えられる)の構造の一部に透明部材を用いて窓部を形成し、その窓部から閉鎖空間部の内部を撮像する構成としてもよい。
カメラ装置300に対して冷蔵庫1側から有線あるは無線による給電を行ってもよい。これにより、電池切れ等が無くなり、利便性を向上させることができる。この場合、冷蔵庫1は基本的に常時給電されていることから、カメラ装置300に給電するための給電回路等を設けても、冷蔵庫1の運転に異常をきたすことは無いと考えられる。この場合、カメラ装置300のように冷蔵庫1からの着脱が可能な構成とすることで、不要な電力供給が行われることも防止できる。
第2実施形態では、2箇所の保持部においてそれぞれカメラ装置300に対向する側の極性が異なるように磁石を配置したが、検知部307に対する相対的な位置関係が変化するように磁石を配置してもよい。この場合、磁石と近ければ磁気センサの出力が大きくなる一方、磁石から遠ければ出力が小さく(但し、磁界の正負は変わらない)なるので、3以上の保持部を設ける構成にも対応することができる。
温度センサ310、磁気センサ311、加速度センサ312、照度センサ313は、必要なものを設ければよく、必ずしも全てのセンサを設ける必要は無い。例えば、磁気センサ311にてカメラの向きを検知する構成とすれば、加速度センサ312は必ずしも必須ではない。
なお、例えば外出先等の遠隔地で冷蔵庫の庫内を確認することには、例えば、庫内の画像情報が送信される外部の装置である通信端末を冷蔵庫本体に着脱可能に取り付け、このように通信端末を取り付けたままの状態で、冷蔵庫の扉を開放することなく、冷蔵庫の外側から、通信端末の表示部の画像で冷蔵庫の内部が確認できることも含まれている。また、冷蔵庫の扉などに着脱不能に表示部を取り付けて、その表示部の画像で冷蔵庫の内部を確認できるようにしてもよい。
なお、本明細書からは、次の課題を抽出することができる。
従来、庫内を撮像して食材を認識することで食材を管理するシステムが提案されている(例えば、特許文献1参照)。
しかしながら、外出先等の遠隔地で冷蔵庫の庫内を確認したいと考えるユーザが存在する。
本発明が解決しようとする課題は、遠隔地において容易に庫内を確認することができる冷蔵庫、カメラ装置を提供することである。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。