この発明を実施するための形態について添付の図面を参照しながら説明する。各図において、同一又は相当する部分には同一の符号を付して、重複する説明は適宜に簡略化又は省略する。なお、本発明は以下の実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲で種々変形することが可能である。
実施の形態1.
図1から図14は、この発明の実施の形態1に係るものである。図1は冷蔵庫を備えた冷蔵庫システムの構成を示すブロック図である。図2は冷蔵庫の正面図である。図3は冷蔵庫の縦断面図である。図4は冷蔵庫のカメラ移動装置の斜視図である。図5はカメラ移動装置の要部を透視して示す拡大斜視図である。図6は冷蔵庫の制御系統の構成を示すブロック図である。図7は図6の制御装置の構成を示すブロック図である。図8は冷蔵庫システムが備えるサーバ装置の構成を示すブロック図である。図9は冷蔵庫システムが備える表示端末の構成を示すブロック図である。図10及び図11は冷蔵庫の撮影位置と得られる画像の視点を説明する図である。図12は冷蔵庫の撮影動作の一例を示すフロー図である。図13は冷蔵庫の撮影動作の別例を示すフロー図である。そして、図14は冷蔵庫の撮影位置計算処理の一例を示すフロー図である。
なお、各図では各構成部材の寸法の関係や形状等が実際のものとは異なる場合がある。また、明細書中における各構成部材同士の位置関係(例えば、上下関係等)は、原則として、冷蔵庫を使用可能な状態に設置したときのものである。
図1に示すように、この発明の実施の形態1に係る冷蔵庫100を備えた冷蔵庫システムは、冷蔵庫100と、サーバ装置200と、端末装置300とを備えている。冷蔵庫100とサーバ装置200とは、相互に通信可能に接続されている。端末装置300とサーバ装置200とは、相互に通信可能に接続されている。したがって、冷蔵庫100と端末装置300とは、サーバ装置200を介して相互に通信可能に接続されている。なお、冷蔵庫100と端末装置300とを、サーバ装置200を介さず直接相互に通信可能に接続してもよい。
冷蔵庫100は、例えば、冷蔵庫100の使用者の家宅内に設置される。サーバ装置200は、例えば、使用者の家宅内に設置されるコンピュータ等である。サーバ装置200は、使用者の家宅外に設置されていてもよい。端末装置300は、例えば、使用者の家宅内に設置されるパソコン(パーソナル・コンピュータ)等である。他に例えば、端末装置300は、スマートフォン又はタブレット端末等の携帯端末でもよい。
サーバ装置200と通信可能に接続される冷蔵庫100の数は、1つに限られず複数であってもよい。同様に、サーバ装置200と通信可能に接続される端末装置300の数は、1つに限られず複数であってもよい。また、サーバ装置200は、複数のサーバ(サーバ群)からなるクラウドサーバであってもよい。
まず、図2から図6を参照しながら、この発明の実施の形態1に係る冷蔵庫100の構成について説明する。冷蔵庫100の本体は、図3に示すように断熱箱体1を有している。断熱箱体1は、前面(正面)が開口されて内部に貯蔵空間が形成されている。断熱箱体1は、外箱、内箱及び断熱材を有している。外箱は鋼鉄製である。内箱は樹脂製である。内箱は外箱の内側に配置される。断熱材は、例えば発泡ウレタン等であり、外箱と内箱との間の空間に充填されている。断熱箱体1の内部に形成された貯蔵空間は、1つ又は複数の仕切り部材により、食品を収納保存する複数の貯蔵室に区画されている。
図2及び図3に示すように、ここでは、冷蔵庫100の本体は、複数の貯蔵室として、例えば、冷蔵室10、切替室20、製氷室30、冷凍室40及び野菜室50を備えている。これらの貯蔵室は、断熱箱体1において上下方向に4段構成となって配置されている。
冷蔵室10は、断熱箱体1の最上段に配置されている。切替室20は冷蔵室10の下方における左右の一側に配置されている。切替室20の保冷温度帯は、複数の温度帯のうちのいずれかを選択して切り替えることができる。切替室20の保冷温度帯として選択可能な複数の温度帯は、例えば、冷凍温度帯(例えば-18℃程度)、冷蔵温度帯(例えば3℃程度)、チルド温度帯(例えば0℃程度)及びソフト冷凍温度帯(例えば-7℃程度)等である。製氷室30は、切替室20の側方に隣接して切替室20と並列に、すなわち、冷蔵室10の下方における左右の他側に配置されている。
冷凍室40は、切替室20及び製氷室30の下方に配置されている。冷凍室40は、主に貯蔵対象を比較的長期にわたって冷凍保存する際に用いるためのものである。野菜室50は、冷凍室40の下方の最下段に配置されている。野菜室50は、主に野菜や容量の大きな(例えば2L等の)大型ペットボトル等を収納するためのものである。
冷蔵室10の前面に形成された開口部には、当該開口部を開閉する回転式の冷蔵室扉7が設けられている。ここでは、冷蔵室扉7は両開き式(観音開き式)であり、右扉7a及び左扉7bにより構成されている。冷蔵室扉7は、貯蔵室である冷蔵室10の一側を開閉する扉である。冷蔵庫100の前面の冷蔵室扉7(例えば、右扉7a)の外側表面には、操作パネル6が設けられている。
冷蔵室10以外の各貯蔵室(切替室20、製氷室30、冷凍室40及び野菜室50)は、それぞれ引き出し式の扉によって開閉される。これらの引き出し式の扉は、扉に固定して設けられたフレームを各貯蔵室の左右の内壁面に水平に形成されたレールに対してスライドさせることにより、冷蔵庫100の奥行方向(前後方向)に開閉できるようになっている。
図2に示すように、冷蔵室10は、前面側(同図に向かって左側)を冷蔵室扉7によって塞がれている。なお、図3に示す断面図は、図2中の断面A-A’によるものである。冷蔵室10の内部には、1以上の冷蔵室棚板11が設けられている。ここでは、冷蔵室棚板11が複数設けられている場合を例に挙げている。冷蔵室10の内部は、これらの冷蔵室棚板11によって、上下方向に複数の空間(棚)に仕切られている。冷蔵室棚板11の上には、食品が載置される。
それぞれの冷蔵室棚板11は、棚板支持部12によって、冷蔵室10内の予め定められた位置で支持されている。棚板支持部12は、冷蔵室10の側壁内面から冷蔵室10の内側に突出して形成されている。なお、1つの冷蔵室棚板11の上下位置を変更できるように棚板支持部12を構成してもよい。
最下段の冷蔵室棚板11の下側の空間は、チルド室14である。チルド室14の内部には、チルドケース15が設置されている。チルドケース15は、レール等の案内部材(図示せず)に沿って、前方へ引き出すことができる。また、冷蔵室扉7の内側の面には、ドアポケット13が設けられている。このドアポケット13にも食品を載置、収納することができる。
冷蔵室扉7の内側の面には、カメラ9が設置されている。カメラ9は、冷蔵室扉7の側から貯蔵室(ここでは冷蔵室10)の内部の画像を撮影し、貯蔵室画像として出力する。この実施の形態に係る冷蔵庫100は、カメラ移動装置90を備えている。カメラ移動装置90は、カメラ9を上下方向に移動させる装置である。カメラ移動装置90は、例えば、冷蔵室扉7の内側の面に設けられている。
カメラ移動装置90は、カメラ9を可動範囲内で上下方向に移動させる。可動範囲は、予め設定された範囲である。ここでは、可動範囲の上端は、冷蔵室10内の上端部である。また、可動範囲の下端は、最も下にあるドアポケット13の直上の位置である。
次に、図4及び図5を参照しながら、カメラ移動装置90の構成について説明する。カメラ移動装置90は、ステッピングモータ91、ウォームギヤ92、ピニオン93、ラック94、ガイド部95及びカメラ支持部98を備えている。カメラ9は、カメラ支持部98に固定されている。ガイド部95は、冷蔵室扉7に固定されている。カメラ支持部98は、ガイド部95に対して移動可能である。ガイド部95は、少なくとも前述した可動範囲にわたって上下方向に沿って配置されている。ガイド部95は、前述した可動範囲にわたるカメラ9及びカメラ支持部98の移動を案内する。
図4に示すように、カメラ支持部98には、ステッピングモータ91、ウォームギヤ92及びピニオン93が取り付けられている。ガイド部95には、ラック94が取り付けられている。ラック94は、前述した可動範囲にわたって上下方向に沿って配置されている。
ステッピングモータ91は、カメラ9の移動を駆動する。ステッピングモータ91の駆動軸には、ウォームギヤ92が固定されている。ピニオン93は、大ギヤと小ギヤとが一体に構成されている。ピニオン93の大ギヤと小ギヤとは回転軸が同一となるように固定されている。ピニオン93の大ギヤは、ウォームギヤ92と噛み合っている。ピニオン93の小ギヤは、ラック94と噛み合っている。
ステッピングモータ91によりウォームギヤ92を回転させると、ピニオン93が回転する。ラック94と噛み合った状態のピニオン93が回転することで、ピニオン93の回転軸がラック94に沿って直線状に移動する。ピニオン93の回転軸は、カメラ支持部98に回転可能に支持されている。したがって、このようなラック・アンド・ピニオン機構により、カメラ移動装置90は、ステッピングモータ91の回転運動をガイド部95に対するカメラ支持部98の直線運転に変換し、冷蔵室扉7に対してカメラ9を上下方向に移動させる。
図3に示すように、冷蔵庫100は、制御装置8を備えている。制御装置8は、例えば、冷蔵庫100の背面側の上部に収容されている。制御装置8には、冷蔵庫100の動作に必要な各種の制御を実施するための制御回路等が備えられている。
次に、図6を参照しながら、冷蔵庫100の制御系統の構成を説明する。制御装置8は、例えばマイクロコンピュータを備えており、プロセッサ8a及びメモリ8bを備えている。制御装置8は、メモリ8bに記憶されたプログラムをプロセッサ8aが実行することにより、予め設定された処理を実行し、冷蔵庫100を制御する。
冷蔵庫100は、各貯蔵室へ供給する空気を冷却する冷凍サイクル回路を備えている。冷凍サイクル回路は、圧縮機2と、いずれも図示しない凝縮器、絞り装置及び冷却器等とによって構成されている。圧縮機2は、冷凍サイクル回路内の冷媒を圧縮し吐出する。凝縮器は、圧縮機2から吐出された冷媒を凝縮させる。絞り装置は、凝縮器から流出した冷媒を膨張させる。冷却器は、絞り装置で膨張した冷媒によって各貯蔵室へ供給する空気を冷却する。圧縮機2は、例えば、冷蔵庫100の背面側の下部に配置される。
冷蔵庫100には、冷凍サイクル回路によって冷却された空気を各貯蔵室へ供給するための図示しない風路が形成されている。この風路は、主に冷蔵庫100内の背面側に配置されている。冷凍サイクル回路の冷却器は、この風路内に設置される。また、風路内には、冷却器で冷却された空気を各貯蔵室へ送るための送風ファン4も設置されている。
送風ファン4が動作すると、冷却器で冷却された空気(冷気)が風路を通って冷凍室40、切替室20、製氷室30及び冷蔵室10へと送られ、これらの貯蔵室内を冷却する。野菜室50は、冷蔵室10からの戻り冷気を冷蔵室用帰還風路を介して野菜室50内に導入することで冷却される。野菜室50を冷却した冷気は、野菜室用帰還風路を通って冷却器のある風路内へと戻される(これらの帰還風路は図示していない)。そして、冷却器によって再度冷却されて、冷蔵庫100内を冷気が循環される。
風路からそれぞれの貯蔵室へと通じる中途の箇所には、図示しないダンパが設けられている。各ダンパは、風路の各貯蔵室へと通じる箇所を開閉する。ダンパの開閉状態を変化させることで、各貯蔵室へと供給する冷気の送風量を調節することができる。また、冷気の温度は圧縮機2の運転を制御することで調節することができる。
以上のようにして設けられた圧縮機2及び冷却器からなる冷凍サイクル回路、送風ファン4、風路及びダンパは、貯蔵室の内部を冷却する冷却手段を構成している。
操作パネル6は、操作部6a、表示部6b及びスピーカ6cを備えている。操作部6aは、各貯蔵室の保冷温度及び冷蔵庫100の動作モード(解凍モード等)を設定するための操作スイッチである。表示部6bは、各貯蔵室の温度等の各種情報を表示する液晶ディスプレイである。また、操作パネル6は、操作部6aと表示部6bを兼ねるタッチパネルを備えていてもよい。スピーカ6cは、冷蔵庫100の周囲、特に冷蔵室扉7の前に立つ使用者に対して、音声を鳴らすための音声出力装置である。
冷蔵庫100は、サーミスタ81及び扉開閉検知スイッチ82を備えている。サーミスタ81は、各貯蔵室内の温度を検出する。サーミスタ81は、それぞれの貯蔵室に設置される。扉開閉検知スイッチ82は、貯蔵室の扉の開閉を検知する開閉検知手段である。扉開閉検知スイッチ82は、例えば、冷蔵室10の冷蔵室扉7の開閉を検知する。扉開閉検知スイッチ82は、例えば、一般的なマグネット方式のスイッチである。すなわち、扉開閉検知スイッチ82は、例えば、冷蔵室扉7に埋め込まれた磁石の近接を、冷蔵庫100本体側に設置された一対のリードスイッチによって検出する。
制御装置8には、サーミスタ81から各貯蔵室の内部の温度の検知信号が入力される。また、制御装置8には、操作パネル6の操作部6aからの操作信号も入力される。さらに、制御装置8には、扉開閉検知スイッチ82からの検知信号も入力される。
制御装置8は、入力された信号に基づいて、各貯蔵室の内部が設定された温度に維持されるように、圧縮機2及び送風ファン4等の動作を制御する処理を実行する。すなわち、制御装置8は前述した冷却手段等を制御して、冷蔵庫100の動作を制御する。また、制御装置8は、カメラ9の撮影動作及びカメラ移動装置90によるカメラ9の移動についても制御する。カメラ9が撮影した画像データは、制御装置8に入力される。
次に、図6に加えて図7から図9も参照して、以上のように構成された冷蔵庫100を備えた冷蔵庫システムの構成について説明する。前述したように、冷蔵庫システムは、冷蔵庫100、サーバ装置200及び端末装置300を備えている。図7に示すように、冷蔵庫100の制御装置8は、カメラ制御部101、扉開閉検出部102、棚位置検出部103、画像合成部104、画像アップロード部105及び冷蔵庫通信部110を備えている。また、図8に示すように、サーバ装置200は、画像保存部201及びサーバ通信部210を備えている。そして、図9に示すように、端末装置300は、画面表示部301及び端末通信部310を備えている。
冷蔵庫通信部110は、冷蔵庫100とサーバ装置200との間で、データを双方向に通信するためのものである。また、端末通信部310は、端末装置300とサーバ装置200との間で、データを双方向に通信するためのものである。そして、サーバ通信部210は、サーバ装置200と冷蔵庫100との間、及び、サーバ装置200と端末装置300との間のそれぞれで、データを双方向に通信するためのものである。
冷蔵庫100の制御装置8が備えるカメラ制御部101は、カメラ9とカメラ移動装置90の動作を制御する。カメラ制御部101は、例えば、冷蔵室扉7が開閉された時にカメラ9に冷蔵室10内を撮影させる。冷蔵室扉7が開閉されると、冷蔵室10内の食品が出し入れされ、冷蔵室10内の収納状態が変化する可能性があるためである。
扉開閉検出部102は、扉開閉検知スイッチ82から出力された信号に基づいて、冷蔵室扉7の開閉を検出する。扉開閉検出部102は、閉じていた冷蔵室扉7が開かれたこと、及び、開いていた冷蔵室扉7が閉じられたことを検出可能である。このようにして、扉開閉検知スイッチ82及び扉開閉検出部102は、冷蔵室扉7の開閉を検出する扉開閉検出手段を構成している。カメラ制御部101は、例えば、開かれていた冷蔵室扉7が閉じられたことを扉開閉検出部102が検知した後、冷蔵室10内が照明されている間にカメラ9に撮影を行わせる。
カメラ制御部101は、カメラ9による冷蔵室10内の撮影を、カメラ移動装置90によるカメラ9の移動と連係して行わせる。次に、カメラ9とカメラ移動装置90とが連係した撮影動作について説明する。ここでいう「撮影動作」とは、開始位置から終了位置までカメラ9が予め設定された移動方向に沿って移動しながら冷蔵室10内の画像を撮影する動作である。この撮影動作において、カメラ移動装置90は、開始位置から終了位置までカメラ9を移動させる。開始位置は、例えば前述の可動範囲の一端である。終了位置は、例えば前述の可動範囲の他端である。
具体例を挙げると、開始位置を前述の可動範囲の上端とする。そして、終了位置を前述の可動範囲の下端とする。この例では、撮影動作において、カメラ移動装置90は、カメラ9を前述の可動範囲の上端から下端までカメラ9を下方向に移動させる。そして、カメラ9は、この移動中において特定の位置を通過する時に撮影を行う。または、カメラ移動装置90は、特定の位置でカメラ9を停止させ、この停止中にカメラ9が撮影を行うようにしてもよい。カメラ9が撮影を行う特定の位置は、1回の撮影動作により冷蔵室10内の全体が撮影できるように設定される。このような特定の位置は、例えば隣合う冷蔵室棚板11同士の間である。
なお、カメラ9の移動方向は、以上で説明した下方向に限られない。すなわち、カメラ制御部101は、カメラ移動装置90によりカメラ9を前述の可動範囲の下端から上端までカメラ9を上方向に移動させながら、カメラ9による撮影を行ってもよい。この場合には、開始位置を前述の可動範囲の下端とし、終了位置を前述の可動範囲の上端とする。つまり、前述した移動方向とは、ここでは上下方向である。
カメラ9の移動量はステッピングモータ91の回転量に比例する。そして、ステッピングモータ91の回転量は、ステップ数を用いて制御することができる。この実施の形態では、カメラ制御部101は、カメラ移動装置90のステッピングモータ91のステップ数を用いてカメラ9の移動量を制御している。すなわち、カメラ制御部101は、カメラ9による撮影を行う特定の位置を、ステッピングモータ91のステップ数を計数することで特定できる。
以上のようにして構成された制御装置8は、カメラ移動装置90及びカメラ9の動作を制御して、前述の撮影動作を行わせる制御手段を構成している。
棚位置検出部103は、カメラ9が撮影した画像から、貯蔵室すなわちここでは冷蔵室10内の棚の位置を検出する。棚位置検出部103は、カメラ9が撮影した画像を解析し、現在の冷蔵室棚板11の位置を検出する。この際、棚位置検出部103は、当該画像が撮影時のカメラ9の位置に関する情報、例えばステッピングモータ91のステップ数を併せて使用してもよい。
画像合成部104は、カメラ9が撮影した複数の画像から1枚の冷蔵室10の画像を合成する。カメラ9が撮影した1枚の画像は、冷蔵室10内の全体ではなく一部分の画像である。カメラ移動装置90でカメラ9を移動させながら撮影することにより、異なる位置からカメラ9が撮影した画像のそれぞれは、冷蔵室10内の異なる部分範囲の画像となる。画像合成部104は、カメラ9が撮影した複数の画像のそれぞれから一部を切り出し、冷蔵室10内の全体の1枚の画像を合成する画像合成手段である。
ここで、この実施の形態に係る冷蔵庫100では、画像合成部104が合成する画像について、どの視点からカメラ9が撮影したものとするかを指定できる。指定される視点は、例えば、予め制御装置8に記憶しておいてもよいし、使用者が操作パネル6の操作部6aを操作して視点を指定できるようにしてもよい。
この画像の視点について、図10及び図11を参照しながら説明する。まず、カメラ9が撮影した画像は予め設定された一定のサイズを有している。ここでは、画像のサイズを画素数で表現する。そして、カメラ9が撮影した画像の中心部分は、カメラ9が当該画像を撮影した位置から見て正面が写っている。すなわち、カメラ9が撮影した画像の中心部分は、正面視点である(図10)。
一方、カメラ9が撮影した画像の中心からずれた部分は、カメラ9が当該画像を撮影した位置から見て正面でない方向が写っている。すなわち、カメラ9が撮影した画像の中心部分は、正面視点でない。具体的に例えば、図11に示すように、カメラ9が撮影した画像の中心より下側の部分は、カメラ9が当該画像を撮影した位置から下方向に見下げた視点で写っている。また、カメラ9が撮影した画像の中心より上側の部分は、カメラ9が当該画像を撮影した位置から上方向に見上げた視点で写っている。そして、画像の中心から上下に離れるほど、正面から離れた視点からの画像となる。なお、図11におけるカメラ9の向きは、図10と同じく正面向きで固定されている。
画像合成部104が合成する画像の視点は、少なくとも前述した移動方向について、1以上の視点から選択して指定可能である。そして、カメラ9が撮影する画像は、前述した移動方向について、指定可能な視点に応じた第1の画素数のサイズを有している。前述したように、画像の中心から上下に離れるほど、正面から離れた視点からの画像となる。正面からどの程度だけ離れた視点が指定可能であるのかに応じて、指定できる正面から最も離れた視点からの画像が含まれるように、第1の画素数が決定される。
画像合成部104は、カメラ9が撮影した複数の画像のそれぞれについて、前述した移動方向におけるサイズが第2の画素数となるように切り出す。第2の画素数は前述した第1の画素数より小さい。この際に切り出す位置は、指定された前述の視点に応じて決定される。そして、画像合成部104は、切り出したそれぞれの画像を前述の移動方向に沿って並べて合成することで、冷蔵室10内の全体の1枚の画像を合成する。
特に、指定された前述の視点が正面視点である場合、画像合成部104が切り出す画像は、元の画像の中心部分となる。カメラ9が撮影した画像は、カメラ9が有する撮像素子、レンズ等の光学系等の性能により、画像の中心に近い部分ほど歪み等が少なく鮮明で、画像の端に近い部分ほど歪み等が多く不鮮明となる傾向がある。カメラ9が撮影した複数の画像のそれぞれについて、中心部分を切り出して合成することで、より歪み等が少なく鮮明な部分を使用した合成画像を得ることができる。したがって、1台の安価なカメラ9であっても鮮明な貯蔵室全体の画像を得ることが可能である。
画像アップロード部105は、カメラ9が撮影した複数の画像と、画像合成部104が合成した全体画像とをサーバ装置200にアップロードする。画像アップロード部105が、サーバ装置200にアップロードする画像は、冷蔵庫通信部110を介してサーバ装置200へと送信される。このようにして、画像アップロード部105及び冷蔵庫通信部110は、カメラ9が撮影した画像及び画像合成部104が合成した画像を、画像データとしてサーバ装置200に送信する送信部を構成している。
サーバ装置200のサーバ通信部210は、冷蔵庫100から送信された画像データを受信する。画像保存部201は、サーバ通信部210が受信した画像データを記憶して保存する。
また、サーバ通信部210は、例えば端末装置300からの要求に応じて、画像保存部201に記憶されている画像データを、端末装置300へと送信する。端末装置300の端末通信部310は、サーバ装置200から送信された画像データを受信する。端末装置300の画面表示部301は、各種内容の画面を表示可能な表示装置である。画面表示部301は、例えば液晶ディスプレイ等である。端末装置300は、端末通信部310が受信した画像データを画面表示部301に表示できる。すなわち、画面表示部301は、カメラ9が撮影した画像と、画像合成部104が合成した画像とを表示可能な表示手段である。
次に、図12から図14を参照しながら、以上のように構成された冷蔵庫100の主要な動作の例について説明する。まず、図12に示すのは、冷蔵庫100の撮影動作の一例である。この例では、カメラ9を移動させながら撮影し、撮影と並行して画像の切り出しを行う。
ステップS10で庫内撮影動作を開始すると、まず、ステップS11において、カメラ制御部101は、冷蔵室扉7が閉じられたことを扉開閉検出部102が検出したか否かを確認する。冷蔵室扉7が閉じられたことを扉開閉検出部102が検出しない場合、このステップS11の処理を繰り返しながら待機する。そして、冷蔵室扉7が閉じられたことを扉開閉検出部102が検出した場合、処理はステップS12へと進む。
ステップS12においては、カメラ制御部101は、カメラ移動装置90の動作を制御して、カメラ9を移動させる。続くステップS13において、カメラ制御部101は、移動中のカメラ9に冷蔵室10内の画像を撮影させる。ステップS13の後、処理はステップS14へと進む。
ステップS14においては、画像合成部104は、ステップS13でカメラ9が撮影した画像から、指定された前述の視点に応じて決定された部分を切り出す。続くステップS15において、カメラ制御部101は、カメラ9が終端すなわち前述した終了位置まで移動したか否かを確認する。カメラ9が終端まで移動していない場合、処理はステップS12へと戻る。一方、カメラ9が終端まで移動した場合、処理はステップS16へと進む。
ステップS16においては、画像合成部104は、ステップS14で切り出したそれぞれの画像を前述の移動方向に沿って並べて合成することで、冷蔵室10内の全体の1枚の画像を合成する。ステップS16の処理が完了すれば、一連の動作は終了となる。
なお、ステップS12からステップS15までのカメラ9による撮影回数は、例えば操作パネル6の操作部6aを使用者が操作すること等により変更できるようにしてもよい。撮影回数が多ければ、その分、合成後の画像を鮮明にできる。一方、撮影回数を少なくすれば、サーバ装置200及び端末装置300に送信するデータ量を削減できる。また、カメラ9の寿命も長くできる。
次に、図13は、冷蔵庫100の撮影動作の別例に係るものである。この例では、カメラ9を移動させながら撮影した後に、画像の切り出しと合成を行う。図13のフロー図は、カメラ9の移動と撮影の動作例を示している。
ステップS20で庫内撮影動作を開始すると、まず、ステップS21において、カメラ制御部101は、冷蔵室扉7が閉じられたことを扉開閉検出部102が検出したか否かを確認する。冷蔵室扉7が閉じられたことを扉開閉検出部102が検出しない場合、このステップS21の処理を繰り返しながら待機する。そして、冷蔵室扉7が閉じられたことを扉開閉検出部102が検出した場合、処理はステップS22へと進む。
ステップS22においては、カメラ制御部101は、カメラ移動装置90の動作を制御して、カメラ9を移動させる。続くステップS23において、カメラ制御部101は、カメラ9が撮影を行う位置に移動したか否かを確認する。このカメラ9が撮影を行う位置を決定する方法については後述する。カメラ9の位置が撮影位置でない場合、処理はステップS22へと戻る。一方、カメラ9の位置が撮影位置である場合、処理はステップS24へと進む。
ステップS24においては、カメラ制御部101は、カメラ9に冷蔵室10内の画像を撮影させる。続くステップS25において、カメラ制御部101は、カメラ9が終端すなわち前述した終了位置まで移動したか否かを確認する。カメラ9が終端まで移動していない場合、処理はステップS22へと戻る。一方、カメラ9が終端まで移動した場合、一連の撮影動作は終了となる。
このステップS25の撮影動作の終了後、画像合成部104は、ステップS24でカメラ9が撮影したそれぞれの画像から、指定された前述の視点に応じて決定された部分を切り出す。そして、画像合成部104は、切り出したそれぞれの画像を前述の移動方向に沿って並べて合成することで、冷蔵室10内の全体の1枚の画像を合成する。
次に、図14は、図13のステップS23で用いたカメラ9の撮影位置を決定する処理の例である。ステップS30で撮影位置の計算処理を開始すると、まず、ステップS31で、棚位置検出部103は、カメラ9が撮影した画像の解析処理を行い、冷蔵室10内における冷蔵室棚板11の位置を検出する。続くステップS32において、棚位置検出部103は、ステップS31で検出した冷蔵室棚板11の位置をステッピングモータ91のステップ数に換算する。すなわち、当該冷蔵室棚板11の正面位置にまでカメラ9が移動するために必要なステッピングモータ91のステップ数を算出する。ステップS32の後、処理はステップS33へと進む。
ステップS33においては、カメラ制御部101は、指定された前述の視点に合わせて、冷蔵室棚板11の位置からのステップ数を計算する。すなわち、ステップS32で算出した当該冷蔵室棚板11の正面位置から冷蔵室棚板11に対して指定された前述の視点となる位置までの距離に応じたステップ数を計算する。そして、カメラ制御部101は、指定された前述の視点から冷蔵室棚板11を撮影する位置を算出する。ステップS33の処理が完了すれば、一連の処理は終了となる。
以上のように構成された冷蔵庫は、カメラを移動させながら貯蔵室内を撮影可能である。そして、カメラを移動させながら撮影した複数の画像のそれぞれから、指定された視点に応じた一部を切り出し、切り出した画像を合成して貯蔵室内の画像を生成することで、指定された視点からの貯蔵室内の画像を得ることができる。さらに、カメラが撮影した複数の画像の中心付近を切り出して合成することで、比較的安価なカメラであっても、鮮明な貯蔵室内の全体画像を得ることが可能である。
実施の形態2.
図15及び図19は、この発明の実施の形態2に係るものである。図15は冷蔵庫が備える制御装置の構成を示すブロック図である。図16は冷蔵庫システムが備える表示端末の構成を示すブロック図である。図17は表示端末の画像表示切り替えの一例を説明する図である。図18は表示端末の画像表示切り替えの別例を示すフロー図である。そして、図19は表示端末の画像表示動作の一例を示すフロー図である。
ここで説明する実施の形態2は、前述した実施の形態1の構成において、端末装置で貯蔵室内の全体画像と部分画像とを自由に切り替えて表示でき、また、表示する画像の視点も変更できるようにしたものである。以下、この実施の形態2に係る冷蔵庫について、実施の形態1との相違点を中心に説明する。説明を省略した他の構成については実施の形態1と基本的に同様である。
この実施の形態に係る冷蔵庫100においては、端末装置300の画面表示部301は、タッチパネルである。そして、使用者は、タッチパネルである画面表示部301を操作することで、画面表示部301に表示する冷蔵室10内の画像を、全体画像と部分画像とで切り替えたり、画面表示部301に表示する冷蔵室10内の画像の視点を変更したりできる。
この実施の形態においては、図16に示すように、端末装置300は、カメラ位置操作部302、画像視点操作部303、表示切替部304、棚位置情報表示部305及び立体視表示部306を備えている。また、図15に示すように、冷蔵庫100の制御装置8は、カメラ移動命令受付部106を備えている。
カメラ位置操作部302は、使用者がタッチパネルを使用して、カメラ9が冷蔵室10内を撮影する位置を操作できるようにするものである。この際の撮影位置は、例えば、前述した視点を指定することで行う。すなわち、使用者は、撮影時の視点を例えば正面、見下げ、見上げ等のうちから選択して指定できる。また、見下げ視点又は見上げ視点を選択した場合は、正面視点からどの程度離れるのかについても指定できる。
カメラ位置操作部302により指定された視点の情報は、端末通信部310から、サーバ装置200を介して又はサーバ装置200を介さずに直接に、冷蔵庫100へと送信される。送信された視点の情報は、冷蔵庫通信部110により受信される。そして、冷蔵庫通信部110が受信した視点の情報に基づいて、実施の形態1の図14のフロー図で示した処理に従い、カメラ9の撮影位置が決定される。
なお、前述した視点を指定するのではなくカメラ位置操作部302により、カメラ9の位置を直接操作できるようにしてもよい。この場合、カメラ位置操作部302は、使用者によるタッチパネルへの操作に応じて、カメラ9の移動命令信号を出力する。カメラ位置操作部302により出力されたカメラ9の移動命令信号は、端末通信部310から、サーバ装置200を介して又はサーバ装置200を介さずに直接に、冷蔵庫100へと送信される。送信された移動命令信号は、冷蔵庫通信部110により受信される。冷蔵庫通信部110が受信したカメラ9の移動命令信号は、カメラ移動命令受付部106により受け付けられる。カメラ制御部101は、カメラ移動命令受付部106が受け付けたカメラ9の移動命令信号に従って、カメラ9及びカメラ移動装置90の動作を制御し、カメラ9の移動及び撮影が実現される。
表示切替部304は、使用者のタッチパネルへの操作に応じて、端末装置300の画面表示部301に表示する画像を切り替える。この表示の切り替えの例について、図17を参照しながら説明する。図17の向かって左に示すのは、冷蔵室10内の全体画像表示の例である。冷蔵室10内の全体画像表示では、画面表示部301には、画像合成部104が合成した画像が表示される。この際の視点は正面視点が好ましい。
そして、使用者がこの表示中の拡大したい部分をタッチすると、画面表示部301の表示は、図17の向かって右に示す画面に遷移する。すなわち、画面表示部301には、冷蔵室10内の部分拡大画像が表示される。この部分拡大画像は、画像合成部104が合成した画像を拡大したものである。前述したように、正面視点で合成した画像は歪み等が少なく鮮明であり、ある程度の拡大にも耐え得るものである。
ここで、図17の表示例中に示す丸数字は、棚特定情報の一例である。棚特定情報とは、表示されている冷蔵室棚板11を複数の冷蔵室棚板11のうちから一意に特定する情報である。棚特定情報、例えば、それぞれの冷蔵室棚板11に上から順に割り振った番号等である。図17の表示例中の丸数字は、この冷蔵室棚板11に上から順に割り振った番号で画像に写っている冷蔵室棚板11の位置を示している。
図16に示す棚位置情報表示部305は、このような棚特定情報である棚位置の情報を表示するためのものである。まず、冷蔵庫100の棚位置検出部103は、カメラ9が撮影した画像から冷蔵室棚板11の位置を検出する際に、当該冷蔵室棚板11が上から何番めの棚であるのかも特定し、棚特定情報として出力する。棚特定情報は、カメラ9が撮影した画像及び画像合成部104が合成した画像のそれぞれについて存在する。そして、画像アップロード部105は、画像をアップロードする際に、当該画像に写っている冷蔵室棚板11の棚特定情報も併せてサーバ装置200に送信する。
サーバ装置200の画像保存部201には、各画像と棚特定情報とが対応付けられて記憶される。サーバ装置200から端末装置300に画像を送信する際には、当該画像に対応付けられた棚特定情報も併せて送信する。そして、使用者の操作に応じて画面表示部301に冷蔵室10内の画像を表示する際、棚位置情報表示部305は、当該画像に写っている冷蔵室棚板11の棚特定情報を重ね合わせて表示する。このようにして、端末装置300は、表示されている冷蔵室棚板11を一意に特定する棚特定情報を表示可能である。このため、使用者は、特に冷蔵室10内の部分拡大画像が表示されている場合に、どの冷蔵室棚板11が表示されているのかを容易に判別できる。
画像視点操作部303は、使用者がタッチパネルを使用して、画面表示部301に表示される画像の視点を操作できるようにするものである。画面表示部301に表示される画像の視点操作の例について、図18を参照しながら説明する。図17と同じく、図18の向かって左に示すのは、冷蔵室10内の全体画像表示の例である。冷蔵室10内の全体画像表示では、画面表示部301には、画像合成部104が合成した画像が表示される。この際の視点は正面視点が好ましい。
そして、使用者がこの表示中の拡大したい部分をタッチすると、画面表示部301の表示は、図18の向かって右に示す画面に遷移する。すなわち、画面表示部301には、冷蔵室10内の部分拡大画像が表示される。この部分拡大画像では、使用者がタッチした位置を視点とする冷蔵室10内の画像が表示される。
この部分拡大画像には、カメラ9が当該視点から撮影した画像、すなわち、合成前の画像がそのまま用いられる。このように、画面表示部301には、カメラ9が撮影した画像と画像合成部が合成した画像とを切り替えて表示可能である。
この部分拡大画像に複数の冷蔵室棚板11が写っている場合、冷蔵室棚板11毎に異なる視点からの画像となる。図18の例では、2番めの冷蔵室棚板11は見上げ視点、3番めの冷蔵室棚板11は正面視点、4番めの冷蔵室棚板11は見下げ視点となっている。
図18の部分拡大画像が表示されている状態で、例えば、使用者がタッチしている指をスライドさせると、画面表示部301に表示される画像の視点を指の上下方向における位置に応じて変更可能としてもよい。すなわち、画像視点操作部303は、使用者がスライドさせた指の位置の変化に応じて、画面表示部301に表示させる冷蔵室10内の画像を、スライド後の指の位置を視点とする画像に変化させる。このようにすることで、使用者は、容易かつ直感的に所望する視点からの冷蔵室10内の画像を画面表示部301に表示させることができる。
なお、この際の表示に必要になる画像については、冷蔵庫100のカメラ9による撮影を予め行っておき、サーバ装置200の画像保存部201に保存しておくことが考えられる。または、使用者のタッチパネルへの操作に応じてリアルタイムで撮影を行うようにしてもよい。リアルタイムで行う場合、前述したカメラ位置操作部302及びカメラ移動命令受付部106の機能を利用することができる。
また、画面表示部301に現在表示されている視点では、例えば、手前側の食品に隠れて見えない食品が冷蔵室棚板11の奥にある場合、このような隠れて見えない食品が存在することを、使用者に知らせるようにしてもよい。具体的に例えば、隠れて見えない食品の輪郭を点線等で画面表示部301に現在表示に重ねて表示する。または、単に隠れて見えない食品が存在することのみを例えばマーク等の表示により報知してもよい。隠れて見えない食品の有無の判定は、例えば、サーバ装置200から端末装置300にダウンロードした他視点からの画像を、端末装置300で解析することで可能である。
立体視表示部306は、立体視が可能な画像として冷蔵室10内の画像を画面表示部301に表示するためのものである。立体視が可能な画像を得るためには、人の両目に合わせて左右に離れた視点から撮影された画像が必要である。このため、例えば、カメラ移動装置90によりカメラ9の位置を左右に移動できるようにすることが考えられる。また、他に例えば、2つのカメラ9を左右に並べて設けるようにしてもよい。そして、立体視表示部306は、左右に離れた視点から撮影された画像を組み合わせて、例えば裸眼で立体視が可能なように画面表示部301に表示させる。このようにすることで、使用者は冷蔵室10内の様子を立体的に把握できる。
次に、図19のフロー図を参照しながら、以上のように構成された冷蔵庫システムの端末装置300における画面表示部301への画像表示動作の一例について説明する。ステップS40で画像表示動作を開始すると、まず、ステップS41において、端末装置300は、画面表示部301に、画像合成部104が合成した冷蔵室10内の全体画像を表示する。続くステップS42において、表示切替部304は、画面表示部301のタッチパネルがタッチされたか否かを確認する。タッチパネルがタッチされない場合は、タッチパネルがタッチされるまで、全体画像が画面表示部301に表示される。そして、タッチパネルがタッチされた場合、処理はステップS43へと進む。
ステップS43においては、表示切替部304は、タッチされた位置を中心とする冷蔵室10内の部分拡大画像を画面表示部301に表示させる。続くステップS44において、画像視点操作部303は、画面表示部301のタッチパネル上でスライド操作がなされたか否かを確認する。タッチパネルにスライド操作がなされた場合、処理はステップS45へと進む。ステップS45においては、画像視点操作部303は、スライド後の指の位置を視点とする画像を画面表示部301に表示させる。ステップS45の処理が完了すれば、一連の動作は終了となる。
一方、ステップS44でタッチパネルにスライド操作がなされない場合、処理はステップS46へと進む。ステップS46においては、表示切替部304は、タッチパネルから指が離れたか否かを確認する。タッチパネルから指が離れない場合、処理はステップS44へと戻る。タッチパネルから指が離れた場合、処理はステップS47へと進む。ステップS47においては、表示切替部304は、画面表示部301に、画像合成部104が合成した冷蔵室10内の全体画像を表示させる。ステップS47の処理が完了すれば、一連の動作は終了となる。
なお、以上の端末装置300の画面表示部301における冷蔵室10内の画像表示と同様のことを、操作パネル6の表示部6bで行ってもよい。すなわち、操作パネル6の表示部6bを、前述した表示手段としてもよい。
以上のように構成された冷蔵庫においても、実施の形態1と同様の効果を奏することができる。さらに、貯蔵室内の全体画像と部分画像とを自由に切り替えて表示したり、表示する画像の視点を変更したりすることで、画像から使用者がより容易に貯蔵室内の様子を把握でき、利便性を向上することが可能である。