JP6655908B2

JP6655908B2 - 冷蔵庫およびプログラム

Info

Publication number: JP6655908B2
Application number: JP2015161968A
Authority: JP
Inventors: 秀満島元
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-08-19
Filing date: 2015-08-19
Publication date: 2020-03-04
Anticipated expiration: 2035-08-19
Also published as: JP2017040425A

Description

本発明は、庫内を撮影するカメラを備え、カメラが撮影した庫内画像を記憶する冷蔵庫およびプログラムに関する。

冷蔵庫内をカメラで撮影し、撮影した庫内画像を携帯端末などで閲覧可能な庫内画像閲覧システムが数多く提案されている。

また、監視カメラの用途やユーザの認識に使用するため、カメラの向きを変えることで１台のカメラで庫内と庫外の両方を撮影できるようにした冷蔵庫や、庫外撮影用のカメラを備えた冷蔵庫なども提案されている。

特許文献１には、庫内を撮影したカメラ画像を記憶装置に記憶し、所定の時間に電気通信回線で接続されたサーバに転送してサーバに記憶し、携帯電話の操作でサーバから画像を取得して携帯電話の表示装置に出力する食品管理装置が開示されている。

特許文献２には、カメラを開閉扉に取り付けて扉が閉じられた時に庫内を撮像し、庫内画像から収納物の変化を検出して、変化があった場合にサーバに送信するとともに携帯端末に通知し、要求に応じて携帯端末に画像データを送信する物品監視システムが開示されている。

特開２００２−２３６７９８号公報特開２００７−０４６８３４号公報

しかしながら、庫内撮影用のカメラは冷蔵庫内に設置されているため、庫内の物品と同様に常時冷却されている。カメラが、例えば開閉扉などの外気に接する位置に取り付けられた場合、扉開放時に外気に接してレンズに曇りが発生する。従来の技術では、撮影時にレンズの曇りが考慮されていないため、閉扉とともに撮影を行うと、レンズの曇りにより鮮明な画像を撮影することができない課題がある。

レンズの曇りは冷蔵庫内外の温湿度差や扉の開放時間によって変化するため閉扉後に庫内の冷気で自然に曇りが解消するのを待つ場合、ワーストケースを考慮して待ち時間を長く設定する必要があるためなかなか撮影できないという課題がある。待ち時間を最適化しようとする場合、冷蔵庫内外の温湿度と扉の開放時間を検出して、これらの検出値から曇り解消時間をあらかじめテーブルとして保持しておく必要がある。余分なセンサやメモリが必要となりコストがかかってしまうとともに、直接レンズの曇りの有無を検出している訳ではないため正確性に欠けるという課題がある。

本発明は、上述のような事情に鑑みてなされたもので、冷蔵庫内を撮影するカメラを備え、カメラが撮影した庫内画像を記憶する冷蔵庫において、余分な待ち時間や、余分なコストをかけることなく、曇りのない鮮明な庫内画像を得ることを目的とする。

上記目的を達成するため、本発明に係る冷蔵庫は、１つ以上のカメラと、曇り判定部と、画像記憶部と、冷蔵庫の閉扉を検知する閉扉検知部とを備える。カメラは、冷蔵庫の庫内を決められた間隔で撮影する。曇り判定部は、カメラが撮影した庫内画像から、カメラのレンズ曇りの有無を判定する。画像記憶部は、曇り判定部がカメラのレンズの曇りがないと判定した最新の庫内画像を保存する。カメラは、閉扉検知部が閉扉を検知したときに、冷蔵庫の庫内を決められた間隔で撮影する。

本発明によれば、冷蔵庫内を撮影するカメラを備え、カメラが撮影した庫内画像を記憶する冷蔵庫において、カメラが撮影した庫内画像からレンズの曇りの有無を判定してレンズの曇りがないと判定した最新の庫内画像を保存することにより、余分な待ち時間や、余分なコストをかけることなく、曇りのない鮮明な庫内画像を得ることができる。

本発明の実施の形態１に係る冷蔵庫の構成例を示す図である。実施の形態１に係る撮影通信モジュールの機能構成の一例を示す図である。実施の形態１に係る撮影通信モジュールのハードウェア構成の一例を示す図である。実施の形態１に係る冷蔵庫の上面図の一例である。実施の形態１に係る庫内画像の画素配列の一例を示す図である。実施の形態１に係る庫内画像の輝度信号の高周波成分の変化の一例を示す図である。実施の形態１に係る庫内画像閲覧システムの構成例を示すブロック図である。実施の形態１に係る画像保存処理の動作の一例を示すフローチャートである。実施の形態１に係る画像転送処理の動作の一例を示すフローチャートである。実施の形態１に係る画像閲覧処理の動作の一例を示すフローチャートである。本発明の実施の形態２に係る冷蔵庫の庫内に配置された濃淡領域の例を示す図である。本発明の実施の形態３に係る撮影通信モジュールの機能構成の一例を示す図である。実施の形態３に係る撮影通信モジュールのハードウェア構成の一例を示す図である。

以下に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、図中同一または相当する部分には同じ符号を付す。

（実施の形態１）
図１は、本発明の実施の形態１に係る冷蔵庫の構成例を示す図である。冷蔵庫１は、例えばコンプレッサや蒸発器、循環ファン、温度センサなど（いずれも図示せず）を備え、庫内の物品を冷却する。冷蔵庫１は、食品などの物品を収納する収納庫として、扉式の冷蔵室１０と引き出し式の冷凍室２０と引き出し式の野菜室３０とを備える。冷蔵庫１は、冷蔵室１０の庫内撮影用のカメラ２と、左扉４および右扉５の開閉を検知する開閉センサ３とを含む撮影通信モジュールを備える。カメラ２は、扉を閉じた状態で庫内が十分に撮影できるように広角のカメラを使用する。

図１の例では、冷蔵庫１は、上から冷蔵室１０、冷凍室２０および野菜室３０の順に３つの収納庫を備えるが、収納庫は１つ以上であればよく、各収納庫の位置もこれに限定されない。冷蔵庫１の冷蔵室１０は、１台のカメラ２を備えるが、カメラ２は２台以上であってもよい。冷蔵室１０は、左扉４および右扉５の２つの扉を備えるが扉は１つでも３つ以上であってもよい。冷蔵室１０は、カメラ２および開閉センサ３を左扉４の中央端部付近に備えるが、カメラ２は冷蔵室１０の庫内の必要な範囲を撮影できる位置に備えればよく、開閉センサ３は、左扉４および右扉５の開閉を検知できる位置に備えればよい。

撮影通信モジュールは、開閉センサ３が左扉４および右扉５の少なくともいずれかの閉扉を検知すると、庫内撮影用のカメラ２を起動し、決められた間隔で（例えば、１秒ごと）冷蔵室１０の庫内を撮影する。決められた間隔は等間隔でなくてもよい。撮影通信モジュールは、カメラ２が決められた間隔で撮影した庫内画像に対し、順次カメラ２のレンズの曇りの有無を判定する。撮影通信モジュールは、レンズの曇りがないと判定すると、カメラ２を停止させ、レンズの曇りがないと判定した最新の庫内画像を保存する。例えば、カメラ２が起動して最初に撮影した庫内画像に対し、レンズの曇りがないと判定されると、カメラ２は１回の撮影で停止する。つまり、「決められた間隔で撮影する」とは、１回の撮影で停止する場合を含む。

撮影通信モジュールは、扉式の冷蔵室１０だけでなく、引き出し式の冷凍室２０や野菜室３０の庫内も撮影する構成にしてもよい。この場合、撮影通信モジュールは、冷凍室２０や野菜室３０にも庫内撮影用のカメラ２と開閉センサ３とを備える。撮影通信モジュールは、開閉センサ３が冷凍室２０や野菜室３０の引き出しが閉められたことを検知すると、冷凍室２０や野菜室３０のカメラ２を起動し、決められた間隔で冷凍室２０や野菜室３０の庫内を撮影する。

図２は、実施の形態１に係る撮影通信モジュールの機能構成の一例を示す図である。冷蔵庫１の撮影通信モジュールは、閉扉検知部１１と、撮影部１２と、曇り判定部１３と、画像記憶部１４と、通信部１５とを備える。閉扉検知部１１は、開閉センサ３を用いて左扉４および右扉５の閉扉を検知する。冷凍室２０および野菜室３０の場合は、閉扉検知部１１は、開閉センサ３を用いて引き出しが閉められたことを検知する。閉扉検知部１１が左扉４および右扉５の少なくともいずれかの閉扉を検知すると、撮影部１２は、カメラ２を用いて冷蔵室１０の庫内を決められた間隔で撮影する。曇り判定部１３は、撮影部１２がカメラ２を用いて決められた間隔で撮影した庫内画像に対し、順次カメラ２のレンズの曇りの有無を判定する。曇り判定部１３が、レンズの曇りがないと判定すると、撮影部１２は、カメラ２を停止させる。画像記憶部１４は、レンズの曇りがないと判定された最新の庫内画像を記憶する。通信部１５は、外部のサーバと接続し、画像記憶部１４が記憶する庫内画像をアップロードする。

図３は、実施の形態１に係る撮影通信モジュールのハードウェア構成の一例を示す図である。冷蔵庫１の撮影通信モジュールは、カメラ２および開閉センサ３以外にプロセッサ１１１、メモリ１１２および通信インターフェース１１３を備える。撮影通信モジュールの各機能は、プロセッサ１１１がメモリ１１２に記憶されたプログラムを実行することにより実現される。メモリ１１２は、画像記憶部１４として機能し、プログラムのほかにカメラ２が撮影した庫内画像を記憶する。図３では、プロセッサ１１１およびメモリ１１２をそれぞれ１つで構成する例を示しているが、複数のプロセッサ１１１および複数のメモリ１１２が連携して各機能を実行してもよい。通信インターフェース１１３は、例えば無線ＬＡＮ通信機能（IEEE802.11b/g/n）を備え、無線ＬＡＮルータに接続して通信を確立させる。プロセッサ１１１はプログラムに従って、開閉センサ３から得た扉の開閉状態を示す情報から閉扉を検知する閉扉検知部１１、カメラ２に撮像制御コマンドを発行する撮影部１２、および、カメラ２から得た庫内画像からカメラ２のレンズの曇りの有無を判定する曇り判定部１３、メモリ１１２に記憶された庫内画像を、通信インターフェース１１３を介して外部のサーバにアップロードする通信部１５の機能を実行する。

図４は、実施の形態１に係る冷蔵庫の上面図の一例である。図４は、冷蔵庫１を天井から俯瞰した図であって、冷蔵庫１の内部の構成は破線で示す。カメラ２および開閉センサ３は、左扉４の中央端部付近に配置され、冷蔵庫１の上端背部に、プロセッサ１１１、メモリ１１２および通信インターフェース１１３が配置されている。カメラ２は、例えばＵＳＢ（Universal Serial Bus）のＵＶＣ（USB Video Class）規格に準拠しており、ＵＳＢ配線８にてプロセッサ１１１、メモリ１１２および通信インターフェース１１３と接続される。ＵＳＢ配線８は、例えば、カメラ２から左扉内部に敷設され、左扉４のヒンジ６を通って、一旦冷蔵庫１の外箱（金属筐体）の下に配線されたのち、配線取り出し穴７を経由して、冷蔵庫１の上端背部のプロセッサ１１１、メモリ１１２および通信インターフェース１１３に接続される。カメラ２は、上記以外にネットワークカメラを用いてもよく、その場合はＵＳＢ配線の代わりにイーサネット（登録商標）の配線を敷設する。開閉センサ３も同様に、プロセッサ１１１、メモリ１１２および通信インターフェース１１３と接続される。プロセッサ１１１、メモリ１１２および通信インターフェース１１３の位置は、図４の例に限らず任意の位置でよい。

カメラ２は冷蔵庫内に設置されているため、常に冷却された状態となっている。ユーザが物品の出し入れのため扉を開放すると、レンズは暖かい外気に接するため曇りが発生する。曇りの程度は外気の温度や湿度、扉を開放している時間により変化する。扉が閉められ再び冷却され始めると、曇りは時間と共に解消される。ここで、カメラ２のレンズの曇りの有無の判定方法について説明する。冷蔵庫１の撮影通信モジュールの曇り判定部１３は、カメラ２が撮影した庫内画像内の画素の輝度信号の空間的変化を示す高周波成分を抽出する高周波成分抽出部と、高周波成分抽出部が抽出した高周波成分の時間変化量を算出する高周波成分差分算出部と、を備え、高周波成分抽出部が抽出した高周波成分と、高周波成分差分算出部が算出した高周波成分の時間変化量とに基づいて、カメラ２のレンズの曇りの有無を判定する。

図５は、実施の形態１に係る庫内画像の画素配列の一例を示す図である。庫内画像３１は、水平画素数Ｈ、垂直画素数Ｖの解像度を有している。Ｙ１１は庫内画像３１の左上の画素、ＹＶＨは右下の画素を表している。画素数は庫内の物品が判別できる解像度とカメラ２のコストから決定すればよく、例えば、Ｈ＝６４０、Ｖ＝４８０である。曇り判定部１３の高周波成分抽出部は、例えば、庫内画像３１の隣接する画素間の輝度信号の差分を画面全体に亘って積算し、画面内の輝度信号の高周波成分を得る。具体的には、庫内画像３１の最上ライン１の水平方向に隣接する画素の差分の絶対値｜Ｙ１２−Ｙ１１｜、｜Ｙ１３−Ｙ１２｜、・・・を演算して、画素Ｙ１Ｈまで積算し、次に１ライン下の｜Ｙ２２−Ｙ２１｜、｜Ｙ２３−Ｙ２２｜、・・・を演算して、画素Ｙ２Ｈまで積算し、最下ラインＶまで演算して積算し、各ラインの積算値を合計して、庫内画像３１の輝度信号の高周波成分とする。次に曇り判定部１３の高周波成分差分算出部は、決められた間隔で撮影された庫内画像３１の輝度信号の高周波成分の時間変化を演算する。

ここでは曇り判定部１３の高周波成分抽出部が庫内画像３１内の水平方向に隣接する画素間の輝度信号の差分を積算して、高周波成分として得る例について説明したが、水平方向の差分に限定するものではなく、垂直方向の隣接画素間の輝度信号の差分を用いてもよいし、水平方向と垂直方向の両方の隣接画素間の輝度信号の差分を用いてもよい。あるいは、隣接画素間の輝度信号の差分に限定せず、庫内画像３１をフーリエ変換して高周波成分を得てもよいし、高周波成分を抽出する帯域フィルタを用いてもよい。

図６は、実施の形態１に係る庫内画像の輝度信号の高周波成分の変化の一例を示す図である。冷蔵庫１の撮影通信モジュールの閉扉検知部１１が閉扉を検知したときに、撮影部１２がカメラ２を用いて撮影した庫内画像３１の輝度信号の高周波成分は、図６に示すように変化する。図６では、横軸が時間、縦軸が輝度信号の高周波成分のパワーを表している。閉扉検知部１１が閉扉を検知して、カメラ２が最初に庫内を撮影した時間を０とすると、最初はレンズが曇っているために庫内画像３１の鮮明度は低く、本来の高周波成分を殆ど再現できないため、高周波成分のパワーは小さくなる。時間が経過して曇りが取れ、庫内画像３１が鮮明になるにつれて、高周波成分のパワーは増加し、曇りが完全に解消した以後は高周波成分のパワーは増加しなくなる。

従って、庫内画像３１の高周波成分の時間変化量がごく小さな増加になれば、ほぼ曇りは解消されていると判断できる。しかしながら庫内画像３１の輝度信号の高周波成分の時間変化量は、閉扉直後の曇りが消え始める前でもある程度小さい。庫内画像３１の輝度信号の高周波成分の時間変化量だけでは曇りがないことが判断できない可能性があるため、曇り判定部１３は、庫内画像３１の輝度信号の高周波成分のパワーも加味して判断する。具体的には、曇り判定部１３は、高周波成分抽出部が抽出した高周波成分が閾値ＴＨ１以上、かつ、高周波成分差分算出部が算出した高周波成分の時間変化量が閾値ＴＨ２未満である場合に、カメラ２のレンズの曇りがないと判定する。あるいは、曇り判定部１３は、高周波成分差分算出部が算出した高周波成分の時間変化量が小さい状態から、大きくなり、再び小さくなって、閾値ＴＨ２より小さくなった場合に、カメラ２のレンズの曇りがないと判定してもよい。つまり、曇り判定部１３は、高周波成分差分算出部が算出した高周波成分の時間変化量が増加する状態から転じて減少する状態になって、閾値ＴＨ２より小さくなった場合に、カメラ２のレンズの曇りがないと判定してもよい。閾値ＴＨ１および閾値ＴＨ２は、閉扉時の実際のカメラ２の高周波成分と高周波成分の時間変化量を算出し、これらに基づいて設定するのが望ましい。

図７は、実施の形態１に係る庫内画像閲覧システムの構成例を示すブロック図である。庫内画像閲覧システム１００は、冷蔵庫１と、ルータ２１と、ネットワーク２２と、サーバ２３と、ストレージ２４と、携帯端末２５とで構成される。冷蔵庫１の撮影通信モジュールの通信インターフェース１１３は、宅内に設けられるルータ２１と接続され、ネットワーク２２を経由してサーバ２３と接続される。撮影通信モジュールのメモリ１１２に記憶された庫内画像は、通信インターフェース１１３を介してサーバ２３にアップロードされ、ストレージ２４に蓄積される。ネットワーク２２にはユーザの携帯端末２５も接続される。

ユーザが携帯端末２５を用いて、サーバ２３に庫内閲覧要求を送信すると、サーバ２３は、庫内閲覧要求に対応してストレージ２４に蓄積された庫内画像を携帯端末２５に転送する。冷蔵庫１とルータ２１との間およびルータ２１とネットワーク２２との間の通信は、無線であっても有線であってもよい。また、冷蔵庫１は、予め定めた通信方式、例えばエコーネットライト（ECHONET Lite）に準じてエネルギーマネージメント等の制御を行うＨＥＭＳ（Home Energy Management System）コントローラと通信する宅内家電機器被制御機能を含んでいてもよい。サーバ２３は、ＨＥＭＳコントローラであってもよい。図７の例では、庫内画像閲覧システム１００は、冷蔵庫１と、ルータ２１と、サーバ２３と、ストレージ２４とを１台ずつ備えるが、冷蔵庫１と、ルータ２１と、サーバ２３と、ストレージ２４とは、それぞれ２台以上であってもよい。

携帯端末２５がネットワーク２２を介して冷蔵庫１に直接アクセスする構成にしてもよい。この場合、ユーザが携帯端末２５を用いて冷蔵庫１に庫内閲覧要求を送信すると、冷蔵庫１のプロセッサ１１１は、通信インターフェース１１３を介して庫内閲覧要求を受信する。プロセッサ１１１は、受信した庫内閲覧要求に対応してメモリ１１２に記憶された庫内画像を読み出し、通信インターフェース１１３を介して携帯端末２５に転送する。この場合、庫内画像閲覧システム１００は、サーバ２３とストレージ２４とを備えなくてもよい。

図８は、実施の形態１に係る画像保存処理の動作の一例を示すフローチャートである。画像保存処理は、冷蔵庫１の撮影通信モジュールが起動すると開始する。撮影通信モジュールの閉扉検知部１１は、開閉センサ３を用いて冷蔵庫１の閉扉を検知する。閉扉検知部１１が冷蔵庫１の閉扉を検知しない場合（ステップＳ１１；ＮＯ）、ステップＳ１１を繰り返し冷蔵庫１の閉扉を待機する。閉扉検知部１１が冷蔵庫１の閉扉を検知すると（ステップＳ１１；ＹＥＳ）、撮影部１２は、カメラ２を用いて冷蔵室１０の庫内を撮影する（ステップＳ１２）。ここで冷蔵庫１の庫内は図示しない照明器具により撮影を行う前に撮影に適した照度に照明され、撮影が完了した後の所定のタイミングで消灯されるものとする。曇り判定部１３の高周波成分抽出部は、撮影部１２がカメラ２を用いて撮影した庫内画像の高周波成分を抽出し（ステップＳ１３）、高周波成分差分算出部は、高周波成分抽出部が抽出した高周波成分の時間変化量を算出する（ステップＳ１４）。曇り判定部１３は、高周波成分抽出部が抽出した高周波成分が閾値ＴＨ１以上、かつ、高周波成分差分算出部が算出した高周波成分の時間変化量が閾値ＴＨ２未満であるか否かを判定する（ステップＳ１５）。

高周波成分が閾値ＴＨ１未満であるか、または、高周波成分の時間変化量が閾値ＴＨ２以上である場合（ステップＳ１５；ＮＯ）、処理はステップＳ１２に戻り、ステップＳ１２〜ステップＳ１５を繰り返す。高周波成分が閾値ＴＨ１以上、かつ、高周波成分の時間変化量が閾値ＴＨ２未満である場合（ステップＳ１５；ＹＥＳ）、曇り判定部１３は、レンズの曇りがないと判定する。画像記憶部１４は、レンズの曇りがないと判定された最新の庫内画像を記憶する（ステップＳ１６）。また、曇り判定部１３が、レンズの曇りがないと判定すると、撮影部１２は、カメラ２を停止させる。撮影通信モジュールの電源がＯＦＦになっていなければ（ステップＳ１７；ＮＯ）、処理はステップＳ１１に戻り、ステップＳ１１〜ステップＳ１７を繰り返す。撮影通信モジュールの電源がＯＦＦになると（ステップＳ１７；ＹＥＳ）、処理を終了する。

図９は、実施の形態１に係る画像転送処理の動作の一例を示すフローチャートである。画像転送処理は、冷蔵庫１の撮影通信モジュールとサーバ２３とが起動すると開始する。撮影通信モジュールの通信部１５は、サーバ２３に庫内画像のアップロードの可否を問い合わせる（ステップＳ２１）。アップロードの可否は、サーバ２３の負荷状況やストレージ２４の空き状況などで決まる。アップロード不可の場合（ステップＳ２２；ＮＯ）、処理はステップＳ２４に移行する。アップロード可の場合（ステップＳ２２；ＹＥＳ）、通信部１５は、画像記憶部１４が記憶する庫内画像をサーバ２３に送信する（ステップＳ２３）。サーバ２３は、冷蔵庫1から受信した庫内画像をストレージ２４に保存する。撮影通信モジュールおよびサーバ２３の電源がＯＦＦになっていなければ（ステップＳ２４；ＮＯ）、処理はステップＳ２１に戻り、ステップＳ２１〜ステップＳ２４を繰り返す。撮影通信モジュールまたはサーバ２３の電源がＯＦＦになると（ステップＳ２４；ＹＥＳ）、処理を終了する。

図１０は、実施の形態１に係る画像閲覧処理の動作の一例を示すフローチャートである。画像閲覧処理は、サーバ２３と携帯端末２５とが起動すると開始する。携帯端末２５は、ユーザによって庫内画像閲覧のためのアプリケーションが起動されると（ステップＳ３１）、サーバ２３に庫内画像のダウンロードの可否を問い合わせる（ステップＳ３２）。ダウンロードの可否は、サーバ２３の負荷状況や庫内画像のダウンロードが許可された携帯端末２５またはユーザであるか否かなどで決まる。ダウンロード不可の場合（ステップＳ３３；ＮＯ）、処理はステップＳ３６に移行する。ダウンロード可の場合（ステップＳ３３；ＹＥＳ）、サーバ２３は、ストレージ２４から庫内画像を読み出して、携帯端末２５に送信する。携帯端末２５は、庫内画像を受信し（ステップＳ３４）、表示画面に庫内画像を表示する（ステップＳ３５）。サーバ２３および携帯端末２５の電源がＯＦＦになっていなければ（ステップＳ３６；ＮＯ）、処理はステップＳ３１に戻り、ステップＳ３１〜ステップＳ３６を繰り返す。撮影通信モジュールまたはサーバ２３の電源がＯＦＦになると（ステップＳ３６；ＹＥＳ）、処理を終了する。

以上説明したように実施の形態１の冷蔵庫１によれば、カメラ２が撮影した庫内画像からレンズの曇りの有無を判定してレンズの曇りがないと判定した最新の庫内画像を保存することにより、余分な待ち時間をかけることなく、曇りのない鮮明な庫内画像を得ることができる。また、冷蔵庫１の内外の温湿度差や扉開放時間を検知することなくカメラ２のレンズの曇りの有無を判定できるので、余分なコストを掛けることなく、曇りのない鮮明な撮影画像を得ることができる。

（実施の形態２）
冷蔵庫１の庫内は物品の量も種類も様々である。例えば物品の量が少なく、庫内画像において物品の占める割合が小さい場合、庫内画像の大部分は冷蔵室１０の壁が占めることになる。一般的に冷蔵室１０の壁は一様に白色などの単色であり、そのため庫内画像から抽出する高周波成分は少なくなる。そこで、実施の形態２では、庫内画像から抽出する高周波成分が多くなるように、冷蔵庫１の庫内のカメラ２の撮影範囲に、高輝度部と低輝度部からなる濃淡領域を配置する。高輝度部と低輝度部とは、決められた値以上の輝度の差があるものとする。

図１１は、本発明の実施の形態２に係る冷蔵庫の庫内に配置された濃淡領域の例を示す図である。図１１（ａ）の冷蔵室１０では、カメラ２で撮影される範囲内の庫内の壁１０１に濃淡領域を設けているので、物品だけの場合より高周波成分の検出を精度よく行うことができる。図１１（ｂ）の冷蔵室１０では、庫内の物品を収納する仕切り棚１０２Ａ、１０２Ｂおよび１０２Ｃの前面に濃淡領域を設けているので、濃淡領域が物品の陰にならずに高周波成分の検出を精度よく行うことができる。その他の構成は、実施の形態１の冷蔵庫１と同様である。また、冷凍室２０や野菜室３０の庫内を撮影する構成の場合には、冷凍室２０や野菜室３０に備えられたカメラ２の撮影範囲に、図１１（ａ）および（ｂ）のような濃淡領域を設けてもよい。

以上説明したように実施の形態２の冷蔵庫１によれば、冷蔵庫１の庫内のカメラ２の撮影範囲に、高輝度部と低輝度部からなる濃淡領域を配置することで、高周波成分の検出を精度よく行うことができる。

（実施の形態３）
実施の形態３では、冷蔵庫１が複数のカメラ２を備え、複数のカメラ２の撮影画像を合成して１つの庫内画像を生成する場合について説明する。

図１２は、本発明の実施の形態３に係る撮影通信モジュールの機能構成の一例を示す図である。実施の形態３の冷蔵庫１の撮影モジュールは、実施の形態１の冷蔵庫１の撮影通信モジュールの機能構成に加え、画像合成部１６を備える。閉扉検知部１１が左扉４および右扉５の少なくともいずれかの閉扉を検知すると、撮影部１２は、複数のカメラ２を用いて冷蔵室１０の庫内を決められた間隔で撮影する。画像合成部１６は、撮影部１２が複数のカメラ２を用いて同じタイミングで撮影した撮影画像を合成して１つの庫内画像を生成する。曇り判定部１３は、画像合成部１６が生成した庫内画像に対し、順次カメラ２のレンズの曇りの有無を判定する。画像記憶部１４は、レンズの曇りがないと判定された最新の庫内画像を記憶する。その他の機能構成は、実施の形態１の冷蔵庫１の撮影通信モジュールと同様である。

図１３は、実施の形態３に係る撮影通信モジュールのハードウェア構成の一例を示す図である。図１３の例では、冷蔵庫１の撮影通信モジュールは、カメラ２Ａおよびカメラ２Ｂの２つのカメラ２を備える。例えば、カメラ２Ａは冷蔵室１０の庫内の上半分を撮影し、カメラ２Ｂは下半分を撮影する。プロセッサ１１１はプログラムに従って、カメラ２Ａおよびカメラ２Ｂからそれぞれ得た同じタイミングで撮影した撮影画像を合成し、冷蔵室１０全体を写した１つの庫内画像を生成する画像合成部１６の機能を実行する。カメラ２は、２つに限らず３つ以上であってもよい。その他のハードウェア構成は、実施の形態１の冷蔵庫１の撮影通信モジュールと同様である。

以上説明したように実施の形態３の冷蔵庫１によれば、撮影画像を合成した後の庫内画像からレンズの曇りの有無を判定することで、カメラ２ごとに曇り判定部１３を設ける場合より撮影通信モジュールの演算量を少なくすることができる。また、カメラ２ごとに曇りの解消具合に差があっても最適なタイミングで画像を保存することができる。さらに、合成後の１枚の画像を用いることでメモリ１１２の使用量を低減することができる。

また、上述の機能を、ＯＳ（Operating System）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合等には、ＯＳ以外の部分のみを媒体に格納してもよい。

さらに、搬送波に各プログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板（BBS、Bulletin Board System）に当該プログラムを掲示し、ネットワークを介して当該プログラムを配信してもよい。そして、これらのプログラムを起動し、オペレーティングシステムの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行できるように構成してもよい。

上記の実施の形態では、冷蔵庫１の撮影通信モジュールは、開閉センサ３が左扉４および右扉５の少なくともいずれかの閉扉を検知すると、庫内撮影用のカメラ２を起動し、決められた間隔で冷蔵室１０の庫内を撮影する。これに限らず、冷蔵庫１の撮影通信モジュールは、定期的に撮影したり、携帯端末２５から庫内閲覧要求を受信したときに撮影したりしてもよい。あるいは、撮影通信モジュールはユーザからの入力を受け付ける入力装置を備え、ユーザによって物品を入庫したことが入力装置に入力されたタイミングで撮影してもよい。この場合、撮影通信モジュールは、開閉センサ３を含まなくてもよいし、機能構成として閉扉検知部１１を備えなくてもよい。

上記の実施の形態では、冷蔵庫１の撮影通信モジュールの曇り判定部１３は、扉の開放によってカメラ２のレンズが暖かい外気に接して発生する曇りの有無を判定するが、これに限らない。例えば、曇り判定部１３は、高周波成分抽出部が抽出した高周波成分の値が、庫内に物品が全くない状態をレンズに曇りがないカメラ２で撮影した時の高周波成分の値より小さく、その値が変化しない状態であれば、カメラ２の故障と判定してもよい。

１冷蔵庫、２，２Ａ，２Ｂカメラ、３開閉センサ、４左扉、５右扉、６ヒンジ、７配線取り出し穴、８ＵＳＢ配線、１０冷蔵室、１１閉扉検知部、１２撮影部、１３曇り判定部、１４画像記憶部、１５通信部、１６画像合成部、２０冷凍室、２１ルータ、２２ネットワーク、２３サーバ、２４ストレージ、２５携帯端末、３０野菜室、３１庫内画像、１００庫内画像閲覧システム、１０１壁、１０２Ａ，１０２Ｂ，１０２Ｃ仕切り棚、１１１プロセッサ、１１２メモリ、１１３通信インターフェース。

Claims

冷蔵庫の庫内を決められた間隔で撮影する１つ以上のカメラと、
前記カメラが撮影した庫内画像から、前記カメラのレンズ曇りの有無を判定する曇り判定部と、
前記曇り判定部が前記カメラのレンズの曇りがないと判定した最新の前記庫内画像を保存する画像記憶部と、
前記冷蔵庫の閉扉を検知する閉扉検知部と、
を備え、
前記カメラは、前記閉扉検知部が閉扉を検知したときに、前記冷蔵庫の庫内を決められた間隔で撮影する冷蔵庫。
冷蔵庫の庫内を決められた間隔で撮影する１つ以上のカメラと、
前記カメラが撮影した庫内画像から、前記カメラのレンズ曇りの有無を判定する曇り判定部と、
前記曇り判定部が前記カメラのレンズの曇りがないと判定した最新の前記庫内画像を保存する画像記憶部と、
を備え、
前記曇り判定部は、
前記庫内画像内の画素の輝度信号の空間的変化を示す高周波成分を抽出する高周波成分抽出部と、
前記高周波成分抽出部が抽出した高周波成分の時間変化量を算出する高周波成分差分算出部と、
を含み、
前記高周波成分抽出部が抽出した高周波成分が第１の閾値以上、かつ、前記高周波成分差分算出部が算出した高周波成分の時間変化量が第２の閾値未満である場合に、前記カメラのレンズの曇りがないと判定する冷蔵庫。
冷蔵庫の庫内を決められた間隔で撮影する１つ以上のカメラと、
前記カメラが撮影した庫内画像から、前記カメラのレンズ曇りの有無を判定する曇り判定部と、
前記曇り判定部が前記カメラのレンズの曇りがないと判定した最新の前記庫内画像を保存する画像記憶部と、
を備え、
前記曇り判定部は、
前記庫内画像内の画素の輝度信号の空間的変化を示す高周波成分を抽出する高周波成分抽出部と、
前記高周波成分抽出部が抽出した高周波成分の時間変化量を算出する高周波成分差分算出部と、
を含み、
前記高周波成分差分算出部が算出した高周波成分の時間変化量が小さい状態から、大きくなり、再び小さくなって、閾値未満となった場合に、前記カメラのレンズの曇りがないと判定する冷蔵庫。
冷蔵庫の庫内を決められた間隔で撮影する１つ以上のカメラと、
前記カメラが撮影した庫内画像から、前記カメラのレンズ曇りの有無を判定する曇り判定部と、
前記曇り判定部が前記カメラのレンズの曇りがないと判定した最新の前記庫内画像を保存する画像記憶部と、
を備え、
前記カメラの撮影範囲に高輝度部と低輝度部からなる濃淡領域を有する冷蔵庫。
前記曇り判定部は、
前記庫内画像内の画素の輝度信号の空間的変化を示す高周波成分を抽出する高周波成分抽出部と、
前記高周波成分抽出部が抽出した高周波成分の時間変化量を算出する高周波成分差分算出部と、
を備え、
前記高周波成分抽出部が抽出した高周波成分が第１の閾値以上、かつ、前記高周波成分差分算出部が算出した高周波成分の時間変化量が第２の閾値未満である場合に、前記カメラのレンズの曇りがないと判定する請求項１に記載の冷蔵庫。
前記曇り判定部は、
前記庫内画像内の画素の輝度信号の空間的変化を示す高周波成分を抽出する高周波成分抽出部と、
前記高周波成分抽出部が抽出した高周波成分の時間変化量を算出する高周波成分差分算出部と、
を備え、
前記高周波成分差分算出部が算出した高周波成分の時間変化量が小さい状態から、大きくなり、再び小さくなって、閾値未満となった場合に、前記カメラのレンズの曇りがないと判定する請求項１に記載の冷蔵庫。
前記カメラの撮影範囲に高輝度部と低輝度部からなる濃淡領域を有する請求項１から３、５、６のいずれか１項に記載の冷蔵庫。
前記濃淡領域は、前記冷蔵庫内の収納庫の壁に設けられている請求項４または７に記載の冷蔵庫。
前記濃淡領域は、前記冷蔵庫内の収納庫の仕切り棚の前面に設けられている請求項４、７、８のいずれか１項に記載の冷蔵庫。
複数の前記カメラが同じタイミングで撮影した撮影画像を合成して１枚の前記庫内画像を生成する画像合成部をさらに備え、
前記曇り判定部は、前記画像合成部が生成した前記庫内画像から、前記カメラのレンズ曇りの有無を判定する請求項１から９のいずれか１項に記載の冷蔵庫。
冷蔵庫の庫内を決められた間隔で撮影する１つ以上のカメラと接続するコンピュータを、
前記カメラが撮影した庫内画像から、前記カメラのレンズ曇りの有無を判定する曇り判定部、
前記曇り判定部が前記カメラのレンズの曇りがないと判定した最新の前記庫内画像を保存する画像記憶部、および、
前記冷蔵庫の閉扉を検知する閉扉検知部、
として機能させ、
前記カメラは、前記閉扉検知部が閉扉を検知したときに、前記冷蔵庫の庫内を決められた間隔で撮影するプログラム。
冷蔵庫の庫内を決められた間隔で撮影する１つ以上のカメラと接続するコンピュータを、
前記カメラが撮影した庫内画像から、前記カメラのレンズ曇りの有無を判定する曇り判定部、および、
前記曇り判定部が前記カメラのレンズの曇りがないと判定した最新の前記庫内画像を保存する画像記憶部、
として機能させ、
前記曇り判定部は、
前記庫内画像内の画素の輝度信号の空間的変化を示す高周波成分を抽出する高周波成分抽出部と、
前記高周波成分抽出部が抽出した高周波成分の時間変化量を算出する高周波成分差分算出部と、
を含み、
前記高周波成分抽出部が抽出した高周波成分が第１の閾値以上、かつ、前記高周波成分差分算出部が算出した高周波成分の時間変化量が第２の閾値未満である場合に、前記カメラのレンズの曇りがないと判定するプログラム。
冷蔵庫の庫内を決められた間隔で撮影する１つ以上のカメラと接続するコンピュータを、
前記カメラが撮影した庫内画像から、前記カメラのレンズ曇りの有無を判定する曇り判定部、および、
前記曇り判定部が前記カメラのレンズの曇りがないと判定した最新の前記庫内画像を保存する画像記憶部、
として機能させ、
前記曇り判定部は、
前記庫内画像内の画素の輝度信号の空間的変化を示す高周波成分を抽出する高周波成分抽出部と、
前記高周波成分抽出部が抽出した高周波成分の時間変化量を算出する高周波成分差分算出部と、
を含み、
前記高周波成分差分算出部が算出した高周波成分の時間変化量が小さい状態から、大きくなり、再び小さくなって、閾値未満となった場合に、前記カメラのレンズの曇りがないと判定するプログラム。