JP6915353B2 - 冷蔵庫及び冷蔵庫システム - Google Patents

Description

この発明は、冷蔵庫及び冷蔵庫システムに関するものである。

扉開閉センサ及び音声入出力手段を備える冷蔵庫と、冷蔵庫にインターネットを介して接続可能な外部機器と、を有し、扉開閉センサにより取得された扉開閉の検知信号の送信を受け、音声入出力手段を介して安否確認の対象者に対する発話制御を行う初期発話手段と、これに応答して対象者が音声入出力手段に入力した音声データを取得する安否情報取得手段と、音声データを解析することにより安否状態を認識し、安否情報を生成する安否状態認識手段と、を有し、安否情報は外部機器に記憶され、外部機器にインターネットを介して接続し、安否情報を閲覧可能な安否情報確認手段を備える安否確認システムが知られている（例えば、特許文献１参照）。また、特許文献１の安否確認システムは、初期発話手段は伝言情報を有しており、初期発話手段による発話内容は伝言情報に対応した発話内容を含むものである。

特開２０１６−１４８９９１号公報

このように、特許文献１に示されるような冷蔵庫及び冷蔵庫を備えた安否確認システムは、安否確認の対象者である冷蔵庫のユーザに対して伝言情報を発話することができる。しかしながら、伝言情報が複数ある場合には、冷蔵庫のユーザの安否を見守る者の意図に沿った伝言情報が発話されないおそれがある。一方、伝言情報を１つだけしか送信しないようにすると、伝言情報が冷蔵庫のユーザに対して発話されるまで、次の伝言情報を送信することができなくなる。このため、冷蔵庫のユーザとその安否を見守る者との間での適切な双方向コミュニケーションを支援することが困難である。

この発明は、このような課題を解決するためになされたものである。その目的は、冷蔵庫のユーザを見守る者から冷蔵庫のユーザに伝えたい音声情報が複数ある場合であっても、冷蔵庫の扉を開閉するという冷蔵庫のユーザの日常的な動作だけで、見守る者の意図に沿った音声情報を冷蔵庫のユーザに対して再生することができ、冷蔵庫のユーザの特別な操作等を必要とすることなく、冷蔵庫のユーザとそれを見守る者との間での適切な双方向コミュニケーションを支援することができる冷蔵庫及び冷蔵庫システムを得ることにある。

この発明に係る冷蔵庫は、貯蔵室の扉の開閉を検知する開閉検知手段と、音声データ及び前記音声データの再生順位指定データを外部から取得するデータ取得手段と、前記再生順位指定データに基づいて、次に前記開閉検知手段が前記扉の開閉を検知した時に再生する前記音声データである次回再生音声データを決定する再生音声決定手段と、前記開閉検知手段が前記扉の開閉を検知した場合に、前記再生音声決定手段が決定した前記次回再生音声データを再生する音声再生手段と、前記開閉検知手段が前記扉の開閉を検知した場合に音声を録音する録音手段と、前記録音手段が録音した音声を対象音声データとして外部に送信するデータ送信手段と、前記録音手段が録音した音声に人の声が含まれているか否かを判定する音声識別手段と、を備え、前記データ送信手段は、前記音声識別手段により前記録音手段が録音した音声に人の声が含まれると判定された場合に、当該音声を前記対象音声データとして送信する。

また、この発明に係る冷蔵庫システムは、上記のように構成された冷蔵庫と、前記冷蔵庫と通信可能に設けられたサーバ装置と、前記サーバ装置と通信可能に設けられた端末装置と、を備え、前記サーバ装置は、前記端末装置で録音された前記音声データ、及び、前記端末装置で生成された前記再生順位指定データを記憶する記憶手段を備え、前記データ取得手段は、前記記憶手段に記憶された前記音声データ及び前記再生順位指定データを前記サーバ装置から取得し、前記記憶手段は、前記データ送信手段が送信した前記対象音声データをさらに記憶し、前記端末装置は、前記記憶手段に記憶された前記対象音声データを取得して再生可能である。

この発明に係る冷蔵庫及び冷蔵庫システムにおいては、冷蔵庫のユーザを見守る者から冷蔵庫のユーザに伝えたい音声情報が複数ある場合であっても、冷蔵庫の扉を開閉するという冷蔵庫のユーザの日常的な動作だけで、見守る者の意図に沿った音声情報を冷蔵庫のユーザに対して再生することができ、冷蔵庫のユーザの特別な操作等を必要とすることなく、冷蔵庫のユーザとそれを見守る者との間での適切な双方向コミュニケーションを支援することができるという効果を奏する。

この発明の実施の形態１に係る冷蔵庫を備えた冷蔵庫システムの構成を示すブロック図である。 この発明の実施の形態１に係る冷蔵庫の正面図である。 この発明の実施の形態１に係る冷蔵庫の縦断面図である。 この発明の実施の形態１に係る冷蔵庫の制御系統の構成を示すブロック図である。 図４の制御装置の構成を示すブロック図である。 この発明の実施の形態１に係る冷蔵庫システムが備える端末装置の構成を示すブロック図である。 この発明の実施の形態１に係る冷蔵庫システムが備えるサーバ装置の構成を示すブロック図である。 この発明の実施の形態１に係る端末装置の画面表示の一例を模式的に示す図である。 この発明の実施の形態１に係る端末装置の画面表示の一例を模式的に示す図である。 この発明の実施の形態１に係る端末装置の画面表示の一例を模式的に示す図である。 この発明の実施の形態１に係る冷蔵庫の音声再生及び録音動作の一例を示すフロー図である。 この発明の実施の形態１に係る冷蔵庫の画像送信動作の一例を示すフロー図である。 この発明の実施の形態１に係る端末装置の音声録音動作の一例を示すフロー図である。

この発明を実施するための形態について添付の図面を参照しながら説明する。各図において、同一又は相当する部分には同一の符号を付して、重複する説明は適宜に簡略化又は省略する。なお、本発明は以下の実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲で種々変形することが可能である。

実施の形態１．
図１から図１３は、この発明の実施の形態１に係るもので、図１は冷蔵庫を備えた冷蔵庫システムの構成を示すブロック図、図２は冷蔵庫の正面図、図３は冷蔵庫の縦断面図、図４は冷蔵庫の制御系統の構成を示すブロック図、図５は図４の制御装置の構成を示すブロック図、図６は冷蔵庫システムが備える端末装置の構成を示すブロック図、図７は冷蔵庫システムが備えるサーバ装置の構成を示すブロック図、図８は端末装置の画面表示の一例を模式的に示す図、図９は端末装置の画面表示の一例を模式的に示す図、図１０は端末装置の画面表示の一例を模式的に示す図、図１１は冷蔵庫の音声再生及び録音動作の一例を示すフロー図、図１２は冷蔵庫の画像送信動作の一例を示すフロー図、図１３は端末装置の音声録音動作の一例を示すフロー図である。

図１に示すように、この発明の実施の形態１に係る冷蔵庫１００を備えた冷蔵庫システムは、冷蔵庫１００と、端末装置２００と、サーバ装置３００とを備えている。冷蔵庫１００とサーバ装置３００とは、相互に通信可能に接続されている。端末装置２００とサーバ装置３００とは、相互に通信可能に接続されている。なお、ここでは図示していないが、冷蔵庫１００と端末装置２００とを、相互に通信可能に接続してもよい。

端末装置２００は、冷蔵庫１００のユーザ（以下、「冷蔵庫ユーザ」という）の生活状況を見守るユーザ（以下、「見守りユーザ」という）に主に使用される。冷蔵庫１００は、例えば、冷蔵庫ユーザの家宅内に設置される。端末装置２００は、例えば、見守りユーザの家宅内に設置されるパソコン（パーソナル・コンピュータ）等である。他に例えば、端末装置２００は、見守りユーザが使用するスマートフォン又はタブレット端末等の携帯端末でもよい。

サーバ装置３００は、例えば、冷蔵庫ユーザの家宅内又は見守りユーザの家宅内に設置されるコンピュータ等である。なお、サーバ装置３００は、冷蔵庫ユーザの家宅内及び見守りユーザの家宅内のいずれでもない場所に設置されていてもよい。

サーバ装置３００と通信可能に接続される冷蔵庫１００の数は、１つに限られず複数であってもよい。同様に、サーバ装置３００と通信可能に接続される端末装置２００の数は、１つに限られず複数であってもよい。また、サーバ装置３００は、複数のサーバ（サーバ群）からなるクラウドサーバであってもよい。

まず、図２から図４を参照しながら、この発明の実施の形態１に係る冷蔵庫１００の構成について説明する。冷蔵庫１００は、図３に示すように断熱箱体１を有している。断熱箱体１は、前面（正面）が開口されて内部に貯蔵空間が形成されている。断熱箱体１は、外箱、内箱及び断熱材を有している。外箱は鋼鉄製である。内箱は樹脂製である。内箱は外箱の内側に配置される。断熱材は、例えば発泡ウレタン等であり、外箱と内箱との間の空間に充填されている。断熱箱体１の内部に形成された貯蔵空間は、１つ又は複数の仕切り部材により、食品を収納保存する複数の貯蔵室に区画されている。

図２及び図３に示すように、ここでは、冷蔵庫１００は、複数の貯蔵室として、例えば、冷蔵室１０、切替室２０、製氷室３０、冷凍室４０及び野菜室５０を備えている。これらの貯蔵室は、断熱箱体１において上下方向に４段構成となって配置されている。

冷蔵室１０は、断熱箱体１の最上段に配置されている。切替室２０は冷蔵室１０の下方における左右の一側に配置されている。切替室２０の保冷温度帯は、複数の温度帯のうちのいずれかを選択して切り替えることができる。切替室２０の保冷温度帯として選択可能な複数の温度帯は、例えば、冷凍温度帯（例えば−１８℃程度）、冷蔵温度帯（例えば３℃程度）、チルド温度帯（例えば０℃程度）及びソフト冷凍温度帯（例えば−７℃程度）等である。製氷室３０は、切替室２０の側方に隣接して切替室２０と並列に、すなわち、冷蔵室１０の下方における左右の他側に配置されている。

冷凍室４０は、切替室２０及び製氷室３０の下方に配置されている。冷凍室４０は、主に貯蔵対象を比較的長期にわたって冷凍保存する際に用いるためのものである。野菜室５０は、冷凍室４０の下方の最下段に配置されている。野菜室５０は、主に野菜や容量の大きな（例えば２Ｌ等）の大型ペットボトル等を収納するためのものである。

冷蔵室１０の前面に形成された開口部には、当該開口部を開閉する回転式の冷蔵室扉７が設けられている。ここでは、冷蔵室扉７は両開き式（観音開き式）であり、右扉７ａ及び左扉７ｂにより構成されている。冷蔵庫１００の前面の冷蔵室扉７（例えば、左扉７ｂ）の外側表面には、操作パネル６が設けられている。

冷蔵室１０以外の各貯蔵室（切替室２０、製氷室３０、冷凍室４０及び野菜室５０）は、それぞれ引き出し式の扉によって開閉される。これらの引き出し式の扉は、扉に固定して設けられたフレームを各貯蔵室の左右の内壁面に水平に形成されたレールに対してスライドさせることにより、冷蔵庫１００の奥行方向（前後方向）に開閉できるようになっている。

冷蔵室扉７の内側の面には、カメラ９が設置されている。カメラ９は、貯蔵室（ここでは冷蔵室１０）の内部を撮影して貯蔵室画像を出力する。カメラ９は、冷蔵室１０の内部の天井面から最下部のチルド室までを視野範囲としている。すなわち、カメラ９は、冷蔵室扉７側から冷蔵室１０の内部を見た冷蔵庫ユーザと同じ視点から、冷蔵室１０の内部を撮影することができる。

なお、カメラ９の設置位置は、図３に示すような冷蔵室扉７の内側の面に限られない。カメラ９は、冷蔵室１０の棚板に載置される食品等の収納物を撮影できる位置であればどこに設置してもよい。また、カメラ９の設置数は１つに限られない。すなわち、複数のカメラ９を設置してもよい。カメラ９を複数設置することで、冷蔵室１０内に収納された食品等により視野が遮られて死角が生じることを抑制することができる。さらに、冷蔵室１０に限らず他の貯蔵室にカメラ９を設置してもよい。

冷蔵庫１００は、各貯蔵室へ供給する空気を冷却する冷凍サイクル回路を備えている。冷凍サイクル回路は、圧縮機２、凝縮器（図示せず）、絞り装置（図示せず）及び冷却器３等によって構成されている。圧縮機２は、冷凍サイクル回路内の冷媒を圧縮し吐出する。凝縮器は、圧縮機２から吐出された冷媒を凝縮させる。絞り装置は、凝縮器から流出した冷媒を膨張させる。冷却器３は、絞り装置で膨張した冷媒によって各貯蔵室へ供給する空気を冷却する。圧縮機２は、例えば、冷蔵庫１００の背面側の下部に配置される。

冷蔵庫１００には、冷凍サイクル回路によって冷却された空気を各貯蔵室へ供給するための風路５が形成されている。この風路５は、主に冷蔵庫１００内の背面側に配置されている。冷凍サイクル回路の冷却器３は、この風路５内に設置される。また、風路５内には、冷却器３で冷却された空気を各貯蔵室へ送るための送風ファン４も設置されている。

送風ファン４が動作すると、冷却器３で冷却された空気（冷気）が風路５を通って冷凍室４０、切替室２０、製氷室３０及び冷蔵室１０へと送られ、これらの貯蔵室内を冷却する。野菜室５０は、冷蔵室１０からの戻り冷気を冷蔵室用帰還風路を介して野菜室５０内に導入することで冷却される。野菜室５０を冷却した冷気は、野菜室用帰還風路を通って冷却器３のある風路５内へと戻される（これらの帰還風路は図示せず）。そして、冷却器３によって再度冷却されて、冷蔵庫１００内を冷気が循環される。

風路５からそれぞれの貯蔵室へと通じる中途の箇所には、図示しないダンパが設けられている。各ダンパは、風路５の各貯蔵室へと通じる箇所を開閉する。ダンパの開閉状態を変化させることで、各貯蔵室へと供給する冷気の送風量を調節することができる。また、冷気の温度は圧縮機２の運転を制御することで調節することができる。

以上のようにして設けられた圧縮機２及び冷却器３からなる冷凍サイクル回路、送風ファン４、風路５及びダンパは、貯蔵室の内部を冷却する冷却手段を構成している。

冷蔵庫１００の例えば背面側の上部には、制御装置８が収容されている。制御装置８には、冷蔵庫１００の動作に必要な各種の制御を実施するための制御回路等が備えられている。

次に、図４を参照しながら、冷蔵庫１００の制御系統の構成を説明する。制御装置８は、例えばマイクロコンピュータを備えており、プロセッサ８ａ及びメモリ８ｂを備えている。制御装置８は、メモリ８ｂに記憶されたプログラムをプロセッサ８ａが実行することにより、予め設定された処理を実行し、冷蔵庫１００を制御する。

操作パネル６は、操作部６ａ、表示部６ｂ、マイク６ｃ及びスピーカ６ｄを備えている。操作部６ａは、各貯蔵室の保冷温度及び冷蔵庫１００の動作モード（解凍モード等）を設定するための操作スイッチである。表示部６ｂは、各貯蔵室の温度等の各種情報を表示する液晶ディスプレイである。また、操作パネル６は、操作部６ａと表示部６ｂを兼ねるタッチパネルを備えていてもよい。

マイク６ｃは、冷蔵庫１００の周囲の音声、特に冷蔵室扉７の前に立つ冷蔵庫ユーザが発した声を入力するための音声入力装置である。スピーカ６ｄは、冷蔵庫１００の周囲、特に冷蔵室扉７の前に立つ冷蔵庫ユーザに対して、音声を鳴らすための音声出力装置である。

冷蔵庫１００は、サーミスタ９１及び扉開閉検知スイッチ９２を備えている。サーミスタ９１は、各貯蔵室内の温度を検出する。サーミスタ９１は、それぞれの貯蔵室に設置される。扉開閉検知スイッチ９２は、貯蔵室の扉の開閉を検知する開閉検知手段である。扉開閉検知スイッチ９２は、例えば、冷蔵室１０の冷蔵室扉７の開閉を検知する。扉開閉検知スイッチ９２は、例えば、一般的なマグネット方式のスイッチである。すなわち、扉開閉検知スイッチ９２は、例えば、冷蔵室扉７に埋め込まれた磁石の近接を、冷蔵庫１００本体側に設置された一対のリードスイッチによって検出する。

制御装置８には、サーミスタ９１から各貯蔵室の内部の温度の検知信号が入力される。また、制御装置８には、操作パネル６の操作部６ａからの操作信号も入力される。さらに、制御装置８には、扉開閉検知スイッチ９２からの検知信号も入力される。

制御装置８は、入力された信号に基づいて、各貯蔵室の内部が設定された温度に維持されるように、圧縮機２及び送風ファン４等の動作を制御する処理を実行する。すなわち、制御装置８は前述した冷却手段等を制御して、冷蔵庫１００の動作を制御する。

次に、図４に加えて図５から図７も参照して、以上のように構成された冷蔵庫１００を備えた冷蔵庫システムの構成について説明する。前述したように、冷蔵庫システムは、冷蔵庫１００と、端末装置２００と、サーバ装置３００とを備えている。図５に示すように、冷蔵庫１００の制御装置８は、再生音声決定部１０１、冷蔵庫音声再生部１０２、冷蔵庫録音部１０３、音声識別部１０４、撮像部１０５及び冷蔵庫通信部１１０を備えている。また、図６に示すように、端末装置２００は、端末録音部２０１、再生順位設定部２０２、端末音声再生部２０３、画像表示部２０４及び端末通信部２１０を備えている。そして、図７に示すように、サーバ装置３００は、記憶部３０１及びサーバ通信部３１０を備えている。

冷蔵庫通信部１１０は、冷蔵庫１００とサーバ装置３００との間で、データを双方向に通信するためのものである。また、端末通信部２１０は、端末装置２００とサーバ装置３００との間で、データを双方向に通信するためのものである。そして、サーバ通信部３１０は、サーバ装置３００と冷蔵庫１００との間、及び、サーバ装置３００と端末装置２００との間のそれぞれで、データを双方向に通信するためのものである。

端末録音部２０１は、端末装置２００の見守りユーザが発した音声を録音するためのものである。端末装置２００には、図示しないマイク等の音声入力装置が備えられ、又は、接続されている。端末録音部２０１は、端末装置２００の音声入力装置に入力された音声を録音し、音声データとして保存する。

再生順位設定部２０２は、端末録音部２０１が録音した音声データについて、再生順位を設定するためのものである。再生順位とは、１以上の音声データについて、冷蔵庫１００の冷蔵庫音声再生部１０２で再生する順位のことである。見守りユーザは端末装置２００を操作して、端末録音部２０１が録音したそれぞれの音声データについて、再生順位を設定することができる。再生順位設定部２０２は、見守りユーザによる端末装置２００への操作内容に従って、端末録音部２０１が録音したそれぞれの音声データについて、再生順位を設定する。

そして、再生順位設定部２０２は、設定された再生順位に基づいて、再生順位指定データを生成する。再生順位指定データには、１以上の音声データについて、再生順位設定部２０２で設定された再生順位を指定する情報が含まれている。

なお、見守りユーザは、再生順位を直接的にではなく間接的に設定できるようにしてもよい。間接的な再生順位の設定とは、具体的に例えば、各音声データに重要度を設定し、各音声データの重要度に基づいて、各音声データの再生順位を設定すること等が挙げられる。この場合には、重要度が高い音声データほど、再生順位は上になる。重要度が同じ音声データが複数あった場合には、例えば、録音時刻が遅い、すなわち、より新しい音声データの再生順位が上になるようにする。なお、音声データが１つしかない場合には、当該音声データの再生順位は最上位に自動的に設定される。

端末通信部２１０は、端末録音部２０１で録音された音声データと、再生順位設定部２０２が生成した再生順位指定データとを、サーバ装置３００へと送信する。

サーバ装置３００のサーバ通信部３１０は、端末装置２００から送信された音声データ及び再生順位指定データを受信する。サーバ装置３００の記憶部３０１は、サーバ通信部３１０が受信した音声データ及び再生順位指定データを記憶する。すなわち、記憶部３０１は、端末装置２００で録音された音声データ、及び、端末装置２００で生成された再生順位指定データを記憶する記憶手段である。また、サーバ通信部３１０は、受信した音声データ及び再生順位指定データを、冷蔵庫１００へと送信する。

冷蔵庫通信部１１０は、サーバ装置３００から送信された音声データ及び再生順位指定データを受信する。すなわち、冷蔵庫通信部１１０は、音声データ及びこの音声データの再生順位指定データを外部から取得するデータ取得手段である。

再生音声決定部１０１は、冷蔵庫通信部１１０が受信した再生順位指定データに基づいて、冷蔵庫通信部１１０が受信した音声データのうちから、次回再生音声データを決定する。すなわち、再生音声決定部１０１は、再生順位指定データに基づいて、次回再生音声データを決定する再生音声決定手段である。ここで、次回再生音声データとは、次に扉開閉検知スイッチ９２が冷蔵室扉７の開閉を検知した時に再生する音声データである。

具体的には、再生音声決定部１０１は、データ取得手段である冷蔵庫通信部１１０が取得した音声データのうちで、再生順位指定データによって最上位の再生順位が指定されている音声データを、次回再生音声データに決定する。この際、再生音声決定部１０１は、冷蔵庫音声再生部１０２及びスピーカ６ｄが未だ再生していない音声データのうちから、次回再生音声データを決定するようにするとよい。また、再生音声決定部１０１は、最後に扉開閉検知スイッチ９２が冷蔵室扉７の開閉を検知した時以降に冷蔵庫通信部１１０が取得した音声データのうちから、次回再生音声データを決定するようにしてもよい。

さらに、再生音声決定部１０１は、再生順位指定データと現在時刻とに基づいて、次回再生音声データを決定するようにしてもよい。具体的に例えば、音声データの内容が冷蔵室１０内の食品の賞味期限等を知らせるものであった場合、現在時刻が当該賞味期限を過ぎているときには、再生音声決定部１０１は、再生順位指定データにかかわらず、当該音声データを次回再生音声データに決定する。

冷蔵庫音声再生部１０２は、扉開閉検知スイッチ９２が冷蔵室扉７の開閉を検知した場合に、再生音声決定部１０１が決定した次回再生音声データをスピーカ６ｄに再生させる。そして、スピーカ６ｄは次回再生音声データを鳴らして、冷蔵庫ユーザに次回再生音声データの内容を音声で知らせる。すなわち、スピーカ６ｄ及び冷蔵庫音声再生部１０２は、開閉検知手段が扉の開閉を検知した場合に、再生音声決定手段が決定した次回再生音声データを再生する音声再生手段を構成している。

冷蔵庫録音部１０３は、冷蔵庫１００のマイク６ｃに入力された音声を録音する。冷蔵庫録音部１０３は、冷蔵庫音声再生部１０２による次回再生音声データのスピーカ６ｄでの再生が終了した後に、音声の録音を開始する。すなわち、冷蔵庫録音部１０３及びマイク６ｃは、音声再生手段が次回再生音声データの再生を終了した後に音声を録音する録音手段を構成している。

冷蔵庫通信部１１０は、冷蔵庫録音部１０３が録音した音声を対象音声データとしてサーバ装置３００へと送信する。したがって、冷蔵庫通信部１１０は、録音手段が録音した音声を対象音声データとして外部に送信するデータ送信手段でもある。

この際、冷蔵庫通信部１１０は、冷蔵庫録音部１０３が録音した音声に人の声が含まれる場合に、当該音声を対象音声データとして送信するようにしてもよい。このために、制御装置８は音声識別部１０４を備えている。音声識別部１０４は、冷蔵庫録音部１０３が録音した音声を解析し、当該音声に人の声が含まれているか否かを判定する。そして、音声識別部１０４によって冷蔵庫録音部１０３が録音した音声に人の声が含まれていると判定された場合には、冷蔵庫通信部１１０は、当該音声を対象音声データとして送信する。

なお、音声識別部１０４による冷蔵庫録音部１０３が録音した音声の解析は、既存の公知技術を用いて行うことができる。そのような既存の公知技術として、具体的に例えば、メル周波数ケプストラム係数（ＭＦＣＣ：Ｍｅｌ−ｆｒｅｑｕｅｎｃｙ ｃｅｐｓｔｒａｌ ｃｏｅｆｆｉｃｉｅｎｔｓ）、隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）等が挙げられる。

サーバ装置３００のサーバ通信部３１０は、冷蔵庫１００から送信された対象音声データを受信する。記憶部３０１は、サーバ通信部３１０が受信した対象音声データを記憶する。すなわち、記憶手段である記憶部３０１は、データ送信手段が送信した対象音声データをさらに記憶する。そして、サーバ通信部３１０は、受信した対象音声データを、端末装置２００へと送信する。

端末装置２００の端末通信部２１０は、サーバ装置３００から送信された対象音声データを受信する。端末音声再生部２０３は、端末通信部２１０が受信した対象音声データを再生し、その内容を見守りユーザに音声で知らせるためのものである。このため、端末装置２００には、図示しないスピーカ等の音声出力装置が備えられ、又は、接続されている。端末音声再生部２０３は、対象音声データを端末装置２００の音声出力装置に再生させる。そして、端末装置２００の音声出力装置は対象音声データを鳴らして、見守りユーザに対象音声データの内容を音声で知らせる。このようにして、端末装置２００は、サーバ装置３００の記憶手段に記憶された対象音声データを取得して再生可能である。

以上のように構成された冷蔵庫１００及びこの冷蔵庫１００を備えた冷蔵庫システムにおいては、冷蔵庫１００の扉を開閉するという冷蔵庫ユーザの日常的な動作をきっかけにして、見守りユーザからの音声データのメッセージを冷蔵庫ユーザに伝えることができる。この際、見守りユーザからの音声データが複数ある場合であっても、再生音声決定部１０１が再生順位指定データに基づいて適切な音声データを選択して次回再生音声データを決定する。このため、冷蔵庫１００の扉を開閉するという冷蔵庫ユーザの日常的な動作だけで、見守りユーザの意図に沿った音声データを冷蔵庫ユーザに対して再生することが可能である。

また、見守りユーザからの音声データを冷蔵庫ユーザに対して再生した後に、自動的に冷蔵庫ユーザの声を録音し、この録音された冷蔵庫ユーザの声を見守りユーザは端末装置２００で確認することができる。したがって、冷蔵庫ユーザの特別な操作等を必要とすることなく、冷蔵庫ユーザと見守りユーザとの間での適切な双方向コミュニケーションを支援することができる。

さらに、見守りユーザによる音声データの録音と冷蔵庫ユーザに対する当該音声データの再生、及び、冷蔵庫ユーザによる対象音声データの録音と見守りユーザによる当該対象音声データの再生は、いずれもリアルタイムで同時に行われる必要がない。このため、時間に縛られることなく、コミュニケーションを図ることが可能である。

なお、以上においては、録音手段である冷蔵庫録音部１０３及びマイク６ｃは、冷蔵庫音声再生部１０２による次回再生音声データの再生が終了した後に、音声の録音を開始する例について説明した。しかし、録音手段が音声の録音を開始するタイミングはこれに限られない。冷蔵庫録音部１０３は、扉開閉検知スイッチ９２が冷蔵室扉７の開閉を検知した場合に録音すれば、次回再生音声データの再生が終了する前に音声の録音を開始しても構わない。

次回再生音声データの再生中に録音を開始する場合、スピーカ６ｄで再生される次回再生音声データの音声がマイク６ｃに入力され、冷蔵庫録音部１０３が録音する音声に、次回再生音声データの音声が重なってしまう可能性がある。そこで、冷蔵庫録音部１０３は、冷蔵庫音声再生部１０２から再生中の次回再生音声データを取得し、マイク６ｃに入力された音声信号から次回再生音声データを除去したものを、録音するようにしてもよい。

次に、図８及び図９を参照しながら、以上のように構成された端末装置２００における画面表示例について説明する。端末装置２００は、前述したようにパソコン、スマートフォン、タブレット端末等である。端末装置２００は、各種の画面を表示可能な表示装置を備えている。表示装置は、例えば液晶ディスプレイ等である。

図８に示すのは、端末装置２００に表示される冷蔵庫ユーザ一覧画面４００の一例である。この冷蔵庫ユーザ一覧画面４００の例では、冷蔵庫ユーザ通し番号４０１、冷蔵庫ユーザ名４０２、冷蔵庫ユーザ年齢４０３、冷蔵庫ユーザ同居情報４０４、冷蔵庫ユーザ住所４０５及び最終確認日４０６等の各種の情報が、当該端末装置２００の見守り対象である冷蔵庫ユーザ毎に一覧で表示されている。なお、最終確認日４０６は、端末装置２００で当該冷蔵庫ユーザの詳細情報を最後に確認した日時である。

また、冷蔵庫ユーザ一覧画面４００には、冷蔵庫ユーザ毎に詳細情報表示ボタン４０７が表示されている。詳細情報表示ボタン４０７を操作すると、当該操作したボタンに対応する冷蔵庫ユーザの詳細情報を表示する冷蔵庫ユーザ詳細画面に遷移する。

図９に示すのは、端末装置２００に表示される冷蔵庫ユーザ詳細画面（音声のみ）５００の一例である。冷蔵庫ユーザ一覧画面４００の詳細情報表示ボタン４０７を操作すると、対応する冷蔵庫ユーザの冷蔵庫ユーザ詳細画面（音声のみ）５００が端末装置２００に表示される。

図９に示す冷蔵庫ユーザ詳細画面（音声のみ）５００の例では、戻るボタン５０１、冷蔵庫ユーザ基本情報５１０、録音開始ボタン５２０、冷蔵庫情報リスト５３０、見守る側の音声情報リスト５４０、見守られる側の音声情報リスト５５０及び再生順位設定選択部５６０が表示されている。

戻るボタン５０１を操作すると、冷蔵庫ユーザ一覧画面４００に戻ることができる。録音開始ボタン５２０を操作すると、端末録音部２０１による録音が開始され、前述の音声データを作成することができる。端末録音部２０１による録音中は、録音開始ボタン５２０が録音停止ボタンに変化する。

冷蔵庫情報リスト５３０には、ドア開閉タイミング情報５３１とドア開時間情報５３２とが含まれている。これらの情報は、冷蔵庫１００の扉開閉検知スイッチ９２の検知結果をもとにして作成される。

見守る側の音声情報リスト５４０には、端末装置２００で録音された音声データの情報のリストが表示されている。見守る側の音声情報リスト５４０には、作成日時５４１、重要度チェックボックス５４２、再生ボタン５４３及び次回再生チェックボックス５４４が含まれている。作成日時５４１は、当該音声データが録音された日時である。見守りユーザが重要度チェックボックス５４２を操作することで、当該音声データの重要度を設定することができる。この例では、重要度チェックボックス５４２にチェックが入っている状態にすると、当該音声データの重要度を「高」に設定することができる。また、重要度チェックボックス５４２のチェックが外れた状態にすると、当該音声データの重要度を「低」に設定することができる。

見守りユーザが再生ボタン５４３を操作すると、端末装置２００で当該音声データを再生し、見守りユーザはその内容を確認することができる。見守りユーザが次回再生チェックボックス５４４を操作することで、当該音声データを冷蔵庫１００側で再生させるか否かを設定することができる。この例では、次回再生チェックボックス５４４にチェックが入っている状態にすると、当該音声データを次回の冷蔵室扉７の開閉時に再生する設定にすることができる。また、次回再生チェックボックス５４４のチェックが外れた状態にすると、当該音声データを次回の冷蔵室扉７の開閉時に再生しない設定にすることができる。

なお、見守る側の音声情報リスト５４０には、当該音声データが冷蔵庫１００で再生されたか否かを示す情報も表示される。図９の例では、冷蔵庫１００で未再生の音声データには、「未再生」マークが表示されている。

見守られる側の音声情報リスト５５０には、冷蔵庫１００で録音された対象音声データの情報のリストが表示されている。見守られる側の音声情報リスト５５０には、作成日時５５１及び再生ボタン５５２が含まれている。作成日時５５１は、当該対象音声データが録音された日時である。見守りユーザが再生ボタン５５２を操作すると、端末音声再生部２０３が当該対象音声データを再生し、見守りユーザはその内容を確認することができる。

再生順位設定選択部５６０は、再生順位設定部２０２が再生順位を設定する際の再生順位設定部２０２の動作内容に関する設定を行うためのものである。再生順位設定選択部５６０を操作することで、例えば、以下についての設定を行うことができる。
・重要度チェックボックス５４２のチェック状態を再生順位に反映するか否か
・特段の指定がない場合の既定の動作として、最新の音声の再生順位を上位にするか否か
・特段の指定がない場合の既定の動作として、未再生の音声を全て再生するか否か

ここで、前述したように、冷蔵庫１００は、貯蔵室（冷蔵室１０）の内部を撮影するカメラ９を備えている。そこで、例えば以下に説明する構成によって、カメラ９が撮影した冷蔵室１０の内部の画像を端末装置２００で確認できるようにしてもよい。すなわち、図５に示すように、冷蔵庫１００の制御装置８は、撮像部１０５を備えている。撮像部１０５は、カメラ９の撮影動作を制御する。そして、撮像部１０５は、カメラ９が撮影した貯蔵室内の画像を取得する。

具体的には、撮像部１０５は、例えば扉開閉検知スイッチ９２が冷蔵室扉７の開閉を検知した時に、カメラ９に冷蔵室１０内を撮影させる。より詳しくは、撮像部１０５は、例えば、開かれていた冷蔵室扉７が閉じられたことを検知した後、冷蔵室１０内が照明されている間にカメラ９に撮影を行わせる。そして、カメラ９が撮影した冷蔵室１０内の画像は、撮像部１０５へと送られる。このようにして、カメラ９及び撮像部１０５は、貯蔵室の内部の画像を撮影する撮像手段を構成している。

冷蔵庫通信部１１０は、カメラ９が撮影した冷蔵室１０内の画像を画像データとしてサーバ装置３００へと送信する。すなわち、データ送信手段である冷蔵庫通信部１１０は、撮像手段が録音した画像を画像データとして外部に送信する。

図７に示すサーバ装置３００のサーバ通信部３１０は、冷蔵庫１００から送信された画像データを受信する。記憶部３０１は、サーバ通信部３１０が受信した画像データを記憶する。すなわち、記憶手段である記憶部３０１は、データ送信手段が送信した画像データをさらに記憶する。そして、サーバ通信部３１０は、受信した画像データを、端末装置２００へと送信する。

図６に示す端末装置２００の端末通信部２１０は、サーバ装置３００から送信された画像データを受信する。図６に示すように、端末装置２００は、画像表示部２０４を備えている。画像表示部２０４は、端末通信部２１０が受信した画像データを、端末装置２００の表示装置に表示させる。そして、見守りユーザは，端末装置２００の表示装置表示された画像データを確認することができる。このようにして、端末装置２００は、サーバ装置３００の記憶手段に記憶された画像データを取得して表示可能である。

以上のように構成された冷蔵庫１００及びこの冷蔵庫１００を備えた冷蔵庫システムにおいては、見守りユーザは、冷蔵庫１００の貯蔵室内の様子を端末装置２００で確認することができる。また、見守りユーザは、冷蔵庫１００の貯蔵室内の状況に合わせた音声データを録音することができ、冷蔵庫ユーザの食生活支援等を容易に行うことも可能である。

図１０に示すのは、カメラ９が撮影した冷蔵室１０の内部の画像を端末装置２００で確認できる構成での、端末装置２００に表示される冷蔵庫ユーザ詳細画面（音声及び画像）６００の一例である。図８の冷蔵庫ユーザ一覧画面４００の詳細情報表示ボタン４０７を操作すると、カメラ９が撮影した冷蔵室１０の内部の画像を端末装置２００で確認できる場合には、対応する冷蔵庫ユーザの冷蔵庫ユーザ詳細画面（音声及び画像）６００が端末装置２００に表示される。

図１０に示す冷蔵庫ユーザ詳細画面（音声及び画像）６００の例では、戻るボタン６０１、冷蔵庫ユーザ基本情報６１０、撮影日時６２１、６２２、６２３、貯蔵室内画像６３１、６３２、６３３、見守る側の音声再生ボタン６４１、６４２、見守られる側の音声再生ボタン６５１、６５２、６５３及び録音開始ボタン６６０が表示されている。

戻るボタン６０１を操作すると、冷蔵庫ユーザ一覧画面４００に戻ることができる。貯蔵室内画像６３１、６３２、６３３は、カメラ９が撮影した冷蔵室１０の内部の画像である。図１０の例では、貯蔵室内画像６３１は撮影日時６２１のものである。また、貯蔵室内画像６３２は撮影日時６２２のものである。そして、貯蔵室内画像６３３は撮影日時６２３のものである。

図１０の例では、貯蔵室内画像６３１に対応して見守る側の音声再生ボタン６４１が表示されている。また、貯蔵室内画像６３２に対応して見守る側の音声再生ボタン６４２が表示されている。そして、最新の貯蔵室内画像６３３については、見守る側の音声再生ボタンではなく録音開始ボタン６６０が対応して表示されている。

見守りユーザが録音開始ボタン６６０を操作すると、端末録音部２０１による録音が開始され、音声データを作成することができる。端末録音部２０１による録音中は、録音開始ボタン６６０が録音停止ボタンに変化する。この録音で作成された音声データは、最新の貯蔵室内画像６３３に対応付けられる。このようにして、それぞれの音声データは、当該音声データの作成時において最新の貯蔵室内画像に対応付けられる。

見守りユーザが見守る側の音声再生ボタン６４１、６４２を操作すると、各ボタンに対応する音声データを端末装置２００で再生し、見守りユーザはその内容を確認することができる。図１０の例では、見守る側の音声再生ボタン６４１を操作すると、貯蔵室内画像６３１に対応する音声データが再生される。また、見守る側の音声再生ボタン６４２を操作すると、貯蔵室内画像６３２に対応する音声データが再生される。

見守りユーザが見守られる側の音声再生ボタン６５１、６５２、６５３を操作すると、各ボタンに対応する対象音声データを端末音声再生部２０３が再生し、見守りユーザはその内容を確認することができる。図１０の例では、見守られる側の音声再生ボタン６５１は、貯蔵室内画像６３１に対応している。したがって、見守られる側の音声再生ボタン６５１で再生される対象音声データは、貯蔵室内画像６３１に対応している。

また、見守られる側の音声再生ボタン６５２は、貯蔵室内画像６３２に対応している。したがって、見守られる側の音声再生ボタン６５２で再生される対象音声データは、貯蔵室内画像６３２に対応している。ただし、図１０の例では、貯蔵室内画像６３２に対応する対象音声データは存在していない。このため、見守られる側の音声再生ボタン６５２を操作しても対象音声データは再生されない。なお、このように、対応する対象音声データが存在しない場合には、対応する見守られる側の音声再生ボタンを操作できないようにするとよい。

そして、見守られる側の音声再生ボタン６５３は、貯蔵室内画像６３３に対応している。したがって、見守られる側の音声再生ボタン６５３で再生される対象音声データは、貯蔵室内画像６３３に対応している。このようにして、それぞれの対象音声データは、当該対象音声データの録音時に撮影された画像データと対応付けられている。

次に、図１１を参照しながら、以上のように構成された冷蔵庫１００の音声再生及び録音動作の一例について説明する。冷蔵庫１００が音声再生及び録音動作を開始すると（ステップＳ１００）、まず、ステップＳ１０１において、制御装置８は、冷蔵室扉７が開いたことを扉開閉検知スイッチ９２が検知したか否かを確認する。冷蔵室扉７が開いたことを扉開閉検知スイッチ９２が検知しない場合、冷蔵室扉７が開いたことを扉開閉検知スイッチ９２が検知するまで、処理はこのステップＳ１０１で待機する。そして、冷蔵室扉７が開いたことを扉開閉検知スイッチ９２が検知すると、処理はステップＳ１０２へと進む。

ステップＳ１０２においては、冷蔵庫音声再生部１０２は、再生音声決定部１０１が決定した次回再生音声データをスピーカ６ｄに再生させる。ステップＳ１０２の後、処理はステップＳ１０３へと進む。

ステップＳ１０３においては、冷蔵庫録音部１０３は、冷蔵庫音声再生部１０２による次回再生音声データの再生が終了した後に、音声の録音を開始する。ステップＳ１０３の後、処理はステップＳ１０４へと進む。

ステップＳ１０４においては、冷蔵庫録音部１０３は、ステップＳ１０３で録音を開始してから、予め設定された一定時間が経過したか否かを確認する。録音開始から一定時間が経過していない場合には、処理はステップＳ１０５へと進む。

ステップＳ１０５においては、冷蔵庫録音部１０３は、冷蔵室扉７が閉まっていることを扉開閉検知スイッチ９２が検知しているか否かを確認する。冷蔵室扉７が閉まっていることを扉開閉検知スイッチ９２が検知していない場合には、処理はステップＳ１０４へと戻る。

一方、ステップＳ１０５で冷蔵室扉７が閉まっていることを扉開閉検知スイッチ９２が検知している場合には、処理はステップＳ１０６へと進む。また、ステップＳ１０４で録音開始から一定時間が経過した場合も、処理はステップＳ１０６へと進む。この場合には、処理はステップＳ１０５を経ることなく、ステップＳ１０４から直接ステップＳ１０６へと進む。ステップＳ１０６においては、冷蔵庫録音部１０３は、音声の録音を停止する。ステップＳ１０６の後、処理はステップＳ１０７へと進む。

ステップＳ１０７においては、音声識別部１０４は、ステップＳ１０３からステップＳ１０６までで冷蔵庫録音部１０３が録音した音声に人の声が含まれているか否かを確認する。冷蔵庫録音部１０３が録音した音声に人の声が含まれている場合、処理はステップＳ１０８へと進む。ステップＳ１０８においては、音声識別部１０４は、冷蔵庫録音部１０３が録音した音声に人の声が含まれていると判定する。

一方、ステップＳ１０７で、冷蔵庫録音部１０３が録音した音声に人の声が含まれていない場合、処理はステップＳ１０９へと進む。ステップＳ１０９においては、制御装置８は、ステップＳ１０３からステップＳ１０６までで冷蔵庫録音部１０３が録音した音声のデータを削除する。ステップＳ１０９の後、処理はステップＳ１１０へと進む。ステップＳ１１０においては、音声識別部１０４は、冷蔵庫録音部１０３が録音した音声に人の声が含まれていないと判定する。ステップＳ１０８又はステップＳ１１０の処理が完了すると、冷蔵庫１００の一連の音声再生及び録音動作は終了となる。

次に、図１２を参照しながら、以上のように構成された冷蔵庫１００の画像送信動作の一例を説明する。図１１に示す冷蔵庫１００の音声再生及び録音動作のフロー中のステップＳ１０１で冷蔵室扉７が開いたことを扉開閉検知スイッチ９２が検知した場合、図１１のフローのステップＳ１０２以降と並行して、図１２に示す画像送信動作が実行される。

冷蔵庫１００が画像送信動作を開始すると（ステップＳ２００）、まず、ステップＳ２０１において、撮像部１０５は、冷蔵室扉７が閉まったことを扉開閉検知スイッチ９２が検知したか否かを確認する。冷蔵室扉７が閉まったことを扉開閉検知スイッチ９２が検知しない場合、冷蔵室扉７が閉まったことを扉開閉検知スイッチ９２が検知するまで、処理はこのステップＳ２０１で待機する。そして、冷蔵室扉７が閉まったことを扉開閉検知スイッチ９２が検知すると、処理はステップＳ２０２へと進む。

ステップＳ２０２においては、撮像部１０５は、ステップＳ２０１で冷蔵室扉７が閉まったことを扉開閉検知スイッチ９２が検知してから、予め設定された一定時間が経過したか否かを確認する。このステップＳ２０２の一定時間は、前述したステップＳ１０４の一定時間とは別個に設定される。冷蔵室扉７が閉まったことを扉開閉検知スイッチ９２が検知してから一定時間が経過していない場合、一定時間が経過するまで、処理はこのステップＳ２０２で待機する。そして、一定時間が経過すると、処理はステップＳ２０３へと進む。

ステップＳ２０３においては、撮像部１０５は、カメラ９に貯蔵室の内部の画像を撮影させる。そして、撮像部１０５は、カメラ９が撮影した貯蔵室の内部の画像を取得する。ステップＳ２０３の後、処理はステップＳ２０４へと進む。

ステップＳ２０４においては、冷蔵庫通信部１１０は、ステップＳ２０３で撮影した貯蔵室の内部の画像の画像データをサーバ装置３００へと送信する。また、このステップＳ２０４では、図１１のステップＳ１０８が実行されて人の声が含まれていると判定された音声が録音されている場合に、冷蔵庫通信部１１０は、人の声が含まれている当該音声を対象音声データとして併せてサーバ装置３００へと送信する。ステップＳ２０４の処理が完了すると、冷蔵庫１００の一連の画像送信動作は終了となる。

次に、図１３を参照しながら、以上のように構成された端末装置２００の音声録音動作の一例を説明する。端末装置２００が音声録音動作を開始すると（ステップＳ３００）、まず、ステップＳ３０１において、端末録音部２０１は、図９に示す冷蔵庫ユーザ詳細画面（音声のみ）５００の録音開始ボタン５２０、又は、図１０に示す冷蔵庫ユーザ詳細画面（音声及び画像）６００の録音開始ボタン６６０が操作されたか否かを確認する。録音開始ボタンが操作されない場合、端末装置２００の音声録音動作は終了する。一方、録音開始ボタンが操作された場合、処理はステップＳ３０２へと進む。

ステップＳ３０２においては、端末録音部２０１は、音声の録音を開始する。ステップＳ３０２の後、処理はステップＳ３０３へと進む。ステップＳ３０３においては、端末録音部２０１は、ステップＳ３０２で録音を開始してから、予め設定された一定時間が経過したか否かを確認する。このステップＳ３０３の一定時間は、前述したステップＳ１０４及びステップＳ２０２の一定時間とは別個に設定される。録音開始から一定時間が経過していない場合には、処理はステップＳ３０４へと進む。

ステップＳ３０４においては、端末録音部２０１は、冷蔵庫ユーザ詳細画面（音声のみ）５００の図示しない録音停止ボタン、又は、冷蔵庫ユーザ詳細画面（音声及び画像）６００の図示しない録音停止ボタンが操作されたか否かを確認する。録音停止ボタンが操作されない場合、処理はステップＳ３０３へと戻る。

一方、ステップＳ３０４で録音停止ボタンが操作された場合には、処理はステップＳ３０５へと進む。また、ステップＳ３０３で録音開始から一定時間が経過した場合も、処理はステップＳ３０５へと進む。この場合には、処理はステップＳ３０４を経ることなく、ステップＳ３０３から直接ステップＳ３０５へと進む。ステップＳ３０５においては、端末録音部２０１は、音声の録音を停止する。ステップＳ３０５の後、処理はステップＳ３０６へと進む。

ステップＳ３０６においては、端末通信部２１０は、ステップＳ３０２からステップＳ３０５までで録音した音声データをサーバ装置３００へと送信する。また、このステップＳ３０６では、端末通信部２１０は、再生順位設定部２０２が生成した再生順位指定データも併せてサーバ装置３００へと送信する。ステップＳ３０６の処理が完了すると、端末装置２００の一連の音声録音動作は終了となる。ステップＳ１１０の処理が完了すると、冷蔵庫１００の一連の音声再生及び録音動作は終了となる。

なお、以上のように構成された冷蔵庫システムにおいて、１つの冷蔵庫１００で録音された対象音声データを複数の端末装置２００で再生できるようにする場合、どの端末装置２００で再生させるかを冷蔵庫ユーザが選択できるようにしてもよい。このような構成の活用場面として、具体的に例えば、冷蔵庫ユーザが高齢者であって、この高齢者の家族と施設スタッフとが見守りユーザとしてそれぞれ別の端末装置２００を使用している場合が考えられる。

この場合、例えば、通常時は施設スタッフの端末装置２００に対象音声データを送信する。そして、特定のボタンを押したときだけ、家族の端末装置２００に対象音声データを送信できるようにする。このようにすることで、冷蔵庫ユーザが施設スタッフに伝えたくないことは、家族にだけ伝えることができ、プライバシーを確保することが可能である。

また、端末装置２００に貯蔵室内の画像データを送信する場合、端末装置２００は、画像データの時間変化から冷蔵庫ユーザによる食材の推定消費量を算出するようにしてもよい。さらに、端末装置２００は、消費された食材の種類を判別し、冷蔵庫ユーザの栄養状態を評価できるようにしてもよい。このようにすることで、見守りユーザは、冷蔵庫ユーザの食生活及び栄養状態について容易に把握することができる。

また、冷蔵庫１００の制御装置８は、端末装置２００で録音された音声データの内容を解析し、音声の内容に合わせて、冷蔵庫１００の動作を制御してもよい。音声データの内容が冷蔵室１０内の特定の食品に関するものであった場合、当該食品の位置が冷蔵庫ユーザに分かるように、例えば当該食品の位置をＬＥＤ等で照らすようにしてもよい。

１ 断熱箱体
２ 圧縮機
３ 冷却器
４ 送風ファン
５ 風路
６ 操作パネル
６ａ 操作部
６ｂ 表示部
６ｃ マイク
６ｄ スピーカ
７ 冷蔵室扉
７ａ 右扉
７ｂ 左扉
８ 制御装置
８ａ プロセッサ（ＣＰＵ）
８ｂ メモリ
９ カメラ
１０ 冷蔵室
２０ 切替室
３０ 製氷室
４０ 冷凍室
５０ 野菜室
９１ サーミスタ
９２ 扉開閉検知スイッチ
１００ 冷蔵庫
１０１ 再生音声決定部
１０２ 冷蔵庫音声再生部
１０３ 冷蔵庫録音部
１０４ 音声識別部
１０５ 撮像部
１１０ 冷蔵庫通信部
２００ 端末装置
２０１ 端末録音部
２０２ 再生順位設定部
２０３ 端末音声再生部
２０４ 画像表示部
２１０ 端末通信部
３００ サーバ装置
３０１ 記憶部
３１０ サーバ通信部
４００ 冷蔵庫ユーザ一覧画面
５００ 冷蔵庫ユーザ詳細画面（音声のみ）
６００ 冷蔵庫ユーザ詳細画面（音声及び画像）

Claims (8)

1. 貯蔵室の扉の開閉を検知する開閉検知手段と、
   音声データ及び前記音声データの再生順位指定データを外部から取得するデータ取得手段と、
   前記再生順位指定データに基づいて、次に前記開閉検知手段が前記扉の開閉を検知した時に再生する前記音声データである次回再生音声データを決定する再生音声決定手段と、
   前記開閉検知手段が前記扉の開閉を検知した場合に、前記再生音声決定手段が決定した前記次回再生音声データを再生する音声再生手段と、
   前記開閉検知手段が前記扉の開閉を検知した場合に音声を録音する録音手段と、
   前記録音手段が録音した音声を対象音声データとして外部に送信するデータ送信手段と、
   前記録音手段が録音した音声に人の声が含まれているか否かを判定する音声識別手段と、を備え、
   前記データ送信手段は、前記音声識別手段により前記録音手段が録音した音声に人の声が含まれると判定された場合に、当該音声を前記対象音声データとして送信する冷蔵庫。
2. 前記再生音声決定手段は、前記データ取得手段が取得した未再生の前記音声データのうちから、前記次回再生音声データを決定する請求項１に記載の冷蔵庫。
3. 前記再生音声決定手段は、最後に前記開閉検知手段が前記扉の開閉を検知した時以降に前記データ取得手段が取得した前記音声データのうちから、前記次回再生音声データを決定する請求項１又は請求項２に記載の冷蔵庫。
4. 前記再生音声決定手段は、前記再生順位指定データと現在時刻とに基づいて、前記次回再生音声データを決定する請求項１から請求項３のいずれか一項に記載の冷蔵庫。
5. 前記録音手段は、前記音声再生手段による前記次回再生音声データの再生終了後に録音を開始する請求項１から請求項４のいずれか一項に記載の冷蔵庫。
6. 前記貯蔵室の内部の画像を撮影する撮像手段をさらに備え、
   前記データ送信手段は、前記撮像手段が撮影した画像を画像データとして外部にさらに送信する請求項１から請求項５のいずれか一項に記載の冷蔵庫。
7. 請求項１から請求項５のいずれか一項に記載の冷蔵庫と、
   前記冷蔵庫と通信可能に設けられたサーバ装置と、
   前記サーバ装置と通信可能に設けられた端末装置と、を備え、
   前記サーバ装置は、前記端末装置で録音された前記音声データ、及び、前記端末装置で生成された前記再生順位指定データを記憶する記憶手段を備え、
   前記データ取得手段は、前記記憶手段に記憶された前記音声データ及び前記再生順位指定データを前記サーバ装置から取得し、
   前記記憶手段は、前記データ送信手段が送信した前記対象音声データをさらに記憶し、
   前記端末装置は、前記記憶手段に記憶された前記対象音声データを取得して再生可能である冷蔵庫システム。
8. 請求項６に記載の冷蔵庫と、
   前記冷蔵庫と通信可能に設けられたサーバ装置と、
   前記サーバ装置と通信可能に設けられた端末装置と、を備え、
   前記サーバ装置は、前記端末装置で録音された前記音声データ、及び、前記端末装置で生成された前記再生順位指定データを記憶する記憶手段を備え、
   前記データ取得手段は、前記記憶手段に記憶された前記音声データ及び前記再生順位指定データを前記サーバ装置から取得し、
   前記記憶手段は、前記データ送信手段が送信した前記対象音声データ及び前記画像データをさらに記憶し、
   前記端末装置は、前記記憶手段に記憶された前記対象音声データを取得して再生可能であり、かつ、前記記憶手段に記憶された前記画像データを取得して表示可能である冷蔵庫システム。

Images