JP6937593B2 - 情報通信装置、冷蔵庫、庫内画像閲覧システム、情報通信方法及びプログラム - Google Patents

Description

本発明は、情報通信装置、情報を通信する機能を有する冷蔵庫、冷蔵庫の庫内画像を閲覧する庫内画像閲覧システム、情報通信方法及びプログラムに関する。

カメラで撮影した画像を携帯端末で閲覧する画像閲覧システムが数多く提案されている。例えば、冷蔵庫内をカメラで撮影し、撮影した庫内画像を携帯端末で閲覧可能にする庫内画像閲覧システムがある（例えば、特許文献１、２）。このようなシステムは、冷蔵庫本体を操作することなく冷蔵庫の情報を表示し、又は制御することを可能にしている。

特許文献１には、庫内を撮影したカメラ画像を記憶装置に記憶し、予め定めた時間に電気通信回線で接続されたサーバに転送してサーバに記憶し、携帯電話の操作でサーバから画像を取得して携帯電話の表示装置に出力する食品管理装置が開示されている。

特許文献２には、ＲＦＩＤ無線通信を用いて携帯端末と冷蔵庫を通信させ、例えば冷蔵庫から扉開閉回数を取得して携帯端末に表示し、又は冷却の設定温度を変更する無線通信システムが開示されている。

特開２００２−２３６７９８号公報 特開２０１３−２３８３４７号公報

冷蔵庫の画像をサーバに転送する場合、冷蔵庫をホームネットワークに接続する必要がある。ホームネットワークに接続するにはネットワーク接続用の操作ボタン、又はＳＳＩＤやパスワードを入力する手段が必要であり、また入力内容や接続状態を確認する手段も必要となる。これらの手段を設けるためにコストが高くなるという課題があった。

ＲＦＩＤ無線通信を行う方法は、ユーザがタッチ操作できる場所にＲＦＩＤタグを配置する必要があり、ＲＦＩＤタグや配線のコストがかかってしまうという課題があった。またＲＦＩＤ無線通信を搭載した携帯端末しか使用できず、またタッチ操作を行うためにその都度冷蔵庫の傍まで近づく必要があるという課題があった。

本発明は、上述のような事情に鑑みてなされたもので、情報を送受信するためのネットワーク接続の操作が容易で、ネットワーク接続のための手段を要しないためコストを低減することができる情報通信装置を提供することを目的とする。

上記目的を達成するため、本発明の情報通信装置は、情報を外部と通信する通信部と、予め定めた特定形状を表示する表示物を含む画像を撮影するカメラと、カメラが撮影した撮影画像に、特定形状が含まれているか否かを判別する形状判別部と、形状判別部が、撮影画像に特定形状が含まれていると判別した場合に、通信部に通信接続を開始させる制御を行う通信接続制御部と、を備える。表示物は、カメラの撮影範囲内に取り付けられ、特定形状が視認可能な開状態及び視認不可能な閉状態のいずれか１つに切り替える開閉機構を備える。通信接続制御部は、表示物が開状態であって形状判別部により特定形状が含まれていると判別されたときに通信接続を開始する制御を行い、表示物が閉状態であって形状判別部により特定形状が含まれていないと判別されたときに通信接続を開始しない制御を行うことを特徴とする。

本発明によれば、カメラが撮影した撮影画像に特定形状が含まれているか否かを判別し、撮影画像に特定形状が含まれていると判別した場合に、通信部に通信接続を開始させる制御を行うため、情報を送受信するためのネットワーク接続の操作は、表示物の特定形状をカメラに向けるという容易な操作であり、ネットワーク接続のための手段を別途要しないためコストを低減することが可能となる。

本発明の実施の形態１に係る冷蔵庫の構成の一例を示す図 実施の形態１に係る撮影通信モジュールの機能構成の一例を示す図 実施の形態１に係る撮影通信モジュールのハードウェア構成の一例を示す図 （ａ）表示物を閉じた閉状態を示した図（ｂ）表示物を開いた開状態を示した図 実施の形態１に係る庫内画像閲覧システムの構成例を示すブロック図 実施の形態１に係る無線接続処理の一例を示すフローチャート 実施の形態１に係る画像送信処理の一例を示すフローチャート 実施の形態１に係る画像閲覧処理の一例を示すフローチャート 本発明の実施の形態２に係る撮影通信モジュールの機能構成の一例を示す図 （ａ）ＱＲコードを示した図（ｂ）文字列を示した図 実施の形態２に係る無線接続処理の一例を示すフローチャート 本発明の実施の形態３に係る冷蔵庫の無線接続処理の一例を示すフローチャート 本発明の実施の形態３に係る携帯端末の無線接続処理の一例を示すフローチャート 本発明の実施例に係る冷蔵庫の登録動作の一例を示すフローチャート 本発明の実施例に係る冷蔵庫の閲覧・操作動作の一例を示すフローチャート

（実施の形態１）
以下に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、図中同一又は相当する部分には同じ符号を付す。

図１は、本発明の実施の形態１に係る冷蔵庫１の構成の一例を示す図である。冷蔵庫１は、例えばコンプレッサや蒸発器、循環ファン、温度センサ、ブザー（いずれも図示せず）を備え、庫内の物品を冷却する。また扉の開時間を計測して開時間が長い場合にブザーを鳴らしてユーザに報知する。

冷蔵庫１は、食品を含む物品を収納する収納庫として、例えば扉式の冷蔵室３０と、引き出し式の冷凍室３５と、引き出し式の野菜室３６とを備える。また、冷蔵室３０は物品を乗せる仕切り棚３３と３４、開閉機構を有する表示物３７を備える。更に、冷蔵庫１は、冷蔵室３０の庫内撮影用のカメラ２１と、左扉３１及び右扉３２の開閉を検知する開閉センサ２２と、を備える。カメラ２１は、扉を閉じた状態で表示物３７を含む庫内が十分に撮影できるような広角のカメラである。

図１の例では、冷蔵庫１は、上から冷蔵室３０、冷凍室３５及び野菜室３６の順に３つの収納庫を備えるとしたが、収納庫は１つ以上であればよく、各収納庫の位置もこれに限定されない。冷蔵庫１の冷蔵室３０は、１台のカメラ２１を備えるとしたが、カメラ２１は２台以上であってもよい。またカメラ２１は、固定された広角のカメラに代えて、狭角のカメラを回転させてもよい。

冷蔵室３０は、２つの仕切り棚３３、３４を備えるとしたが、仕切り棚は１つでも３つ以上でもよい。冷蔵室３０は、左扉３１及び右扉３２の２つの扉を備えるとしたが扉は１つであってもよい。冷蔵室３０は、カメラ２１を左扉３１の中央端部に備えるとしたが、冷蔵室３０の庫内の必要な範囲を撮影できる他の任意の位置に備えてもよい。また、冷蔵室３０は、開閉センサ２２を冷蔵室３０の中央上部付近に備えるとしたが、左扉３１及び右扉３２の開閉を検知できる他の任意の位置に備えてもよい。

冷蔵庫１は、さらに、開閉センサ２２の出力に基づいて、カメラ２１で撮影した画像を含む情報を送信する制御装置１１を備える。カメラ２１と、開閉センサ２２と、制御装置１１と、により、情報通信装置である撮影通信モジュール１０を構成する。撮影通信モジュール１０は、開閉センサ２２が左扉３１及び右扉３２の少なくともいずれか一方の閉扉を検知すると、庫内撮影用のカメラ２１を起動し、予め定められたタイミングで冷蔵室３０の庫内を撮影する。撮影するタイミングは、カメラ２１のレンズの曇りが取れる時間に基づいて定められる。

撮影通信モジュール１０は、扉式の冷蔵室３０だけでなく、引き出し式の冷凍室３５や野菜室３６の庫内も撮影する構成にしてもよい。この場合、撮影通信モジュール１０は、冷凍室３５や野菜室３６にも庫内撮影用のカメラ２１と開閉センサ２２とを備える。撮影通信モジュール１０は、開閉センサ２２が冷凍室３５や野菜室３６の引き出しが閉められたことを検知すると、冷凍室３５や野菜室３６のカメラ２１を起動し、予め定められたタイミングで冷凍室３５や野菜室３６の庫内を撮影する。

図２は、本発明の実施の形態１に係る撮影通信モジュール１０の機能構成の一例を示す図である。撮影通信モジュール１０の制御装置１１は、扉開閉検知部１２と、撮影制御部１３と、記憶部１４と、形状判別部１５と、無線接続制御部１６と、通信部１７と、を備える。

扉開閉検知部１２は、開閉センサ２２を用いて冷蔵室１の開扉又は閉扉を検知する。撮影制御部１３は、扉開閉検知部１２が開扉状態から閉扉されたことを検知すると、その後予め定められたタイミングで扉に取り付けられたカメラ２１を用いて冷蔵室３０の庫内を撮影する制御する。記憶部１４は、カメラ２１が撮影した庫内画像１４１を記憶する。形状判別部１５は、カメラ２１が撮影した庫内画像１４１のうち、接続開始を指示する特定形状が含まれているか否かを判別する。無線接続制御部１６は、形状判別部１５の判別結果に基づいて、通信部１７の無線接続を制御する。

図３は、実施の形態１に係る撮影通信モジュール１０のハードウェア構成の一例を示す図である。撮影通信モジュール１０の制御装置１１は、プロセッサ２３、メモリ２４、無線通信モジュール２５、カメラインターフェース２６、センサインターフェース２７を備える。

制御装置１１の扉開閉検知部１２、撮影制御部１３、形状判別部１５及び無線接続制御部１６の各機能は、プロセッサ２３により実現される。プロセッサ２３は、メモリ２４に格納されるプログラムを実行するＣＰＵ（Central Processing Unit）である。

制御装置１１の記憶部１４はメモリ２４により実現され、メモリ２４には、プロセッサ２３が実行するプログラム及び庫内画像１４１が記憶される。メモリ２４は、例えば、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭを含む、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等である。なお、図３では、プロセッサ２３及びメモリ２４をそれぞれ一つで構成する例を示しているが、複数のプロセッサ及び複数のメモリが連携して上記機能を実現してもよい。

制御装置１１の通信部１７は、無線通信モジュール２５により実現される。無線通信モジュール２５は、例えばＩＥＥＥ８０２．１１ｂ／ｇ／ｎに準拠した無線ＬＡＮ（Local Area Network）通信機能を備え、無線ＬＡＮルータ５１に接続して通信を確立させる。

カメラインターフェース２６にはカメラ２１が接続され、制御信号や撮影画像のデータを通信する。センサインターフェース２７には開閉センサ２２が接続され、制御信号やセンサ出力のデータを通信する。

扉開閉検知部１２、撮影制御部１３、形状判別部１５、無線接続制御部１６の各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリ２４に格納される。プロセッサ２３は、メモリ２４に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。言い換えると、メモリ２４に格納されているプログラムは、扉開閉検知部１２、撮影制御部１３、形状判別部１５、無線接続制御部１６及び通信部１７による手順や方法をコンピュータに実行させるものである。

表示物３７について図４を用いて説明する。図４（ａ）は、表示物３７を閉じた閉状態を示した図であり、（ｂ）は、表示物３７を開いた開状態を示した図である。図４（ａ）は、冷蔵室３０の内壁の、仕切り棚３３と３４との間の側面を示しており、表示物３７は当該側面上に備えられている。表示物３７は、ユーザの操作により通信指示を表すためのものである。表示物３７は、例えば樹脂で成形され、切り欠き部４１と回転部４２を備える。ユーザが切り欠き４１を用いて回転部４２を支柱として回転させることにより開閉可能な機構を有している。

表示物３７は図４（ａ）に示すように、閉状態では冷蔵室３０の内壁の一部を構成し、内壁と同じ色で塗装されている。表示物３７は図４（ｂ）に示すように、開状態では、形状判別部１５が判別可能なシンボルが露出する。

表示物３７に表示されるシンボルは、冷蔵室３０の白色の内壁とのコントラストが明確になり、庫内の物品との判別がつきやすい特定形状を有する。例えば、シンボルの特定形状は、黒の菱形形状である。表示物３７は、閉状態から予め定めた角度で回転した後、表示物３７上の特定形状がカメラ２１により撮影されやすい位置で固定した状態を開状態としてもよい。

図５は、実施の形態１に係る庫内画像閲覧システム１００の構成例を示すブロック図である。庫内画像閲覧システム１００は、冷蔵庫１と、無線ＬＡＮルータ５１と、ネットワーク５２と、サーバ５３と、ストレージ５４と、携帯端末５５と、を備える。

冷蔵庫１の撮影通信モジュール１０の通信部１７である無線通信モジュール２５は、宅内に設けられる無線ＬＡＮルータ５１と接続され、ネットワーク５２を経由してサーバ５３と接続される。撮影通信モジュール１０の記憶部１４であるメモリ２４に記憶された庫内画像１４１は、無線通信モジュール２５を介してサーバ５３にアップロードされ、ストレージ５４に蓄積される。ネットワーク５２にはユーザの携帯端末５５も接続される。

ユーザが携帯端末５５を用いて、サーバ５３に庫内閲覧要求を送信すると、サーバ５３は、庫内閲覧要求に対応してストレージ５４に蓄積された庫内画像１４１を携帯端末５５に転送する。冷蔵庫１は、エコーネットライト（ECHONET Lite）に準拠した通信方式を用いて通信し、エネルギーマネージメントの制御を行うＨＥＭＳ（Home Energy Management System）コントローラと通信する宅内家電機器被制御機能を含んでいてもよい。このとき、サーバ５３が、ＨＥＭＳコントローラであってもよい。図５の例では、庫内画像閲覧システム１００は、冷蔵庫１と、携帯端末５５とを１台ずつ備えるが、それぞれ２台以上であってもよい。

以上のように構成された庫内画像閲覧システム１００の動作について、図６〜８に示すフローチャートを用いて説明する。

図６は、実施の形態１に係る無線接続処理の一例を示すフローチャートである。無線接続処理は、冷蔵庫１の撮影通信モジュール１０を起動すると開始する。撮影通信モジュール１０の扉開閉検知部１２は、開閉センサ２２からのセンサ信号に基づいて、冷蔵庫１が開扉状態から閉扉されたことを検知する。扉開閉検知部１２が冷蔵庫１の閉扉を検知しない場合（ステップＳ１０１；Ｎｏ）、ステップＳ１０１を繰り返し冷蔵庫１の閉扉を検知するまで待機する。

扉開閉検知部１２が冷蔵庫１の閉扉を検知すると（ステップＳ１０１；Ｙｅｓ）、撮影制御部１３は、カメラ２１を制御して冷蔵室３０の庫内の画像を撮影させる（ステップＳ１０２）。ここで冷蔵庫１の庫内は図示しない照明器具により撮影を行う前に撮影に適した照度に照明され、撮影が完了した後の予め定めたタイミングで消灯される。

庫内画像１４１が撮影されると、形状判別部１５は庫内画像１４１から予め定めた領域の特徴量を抽出する（ステップＳ１０３）。カメラ２１及び表示物３７の取付け位置は既知であり、予め庫内画像１４１において表示物３７が撮影される領域は明らかであるため、当該領域の画像ブロックのみを形状判別の対象とすることで判別の精度を向上させることができる。

次に、形状判別部１５は、抽出した特徴量を、記憶部１４に予め記憶していた表示物３７に表示されるシンボルの特定形状の特徴量と比較し、特徴量が一致するか否かを画像認識により判別し（ステップＳ１０４）、撮影画像に特定形状が含まれているか否かを判定する。

形状判別部１５が、特徴量が一致し（ステップＳ１０５；Ｙｅｓ）撮影画像に特定形状が含まれていると判別した場合、無線接続制御部１６は、予め記憶部１４に記憶しておいた設定値を用いて通信部１７を制御する。そして、通信部１７は、無線ＬＡＮルータ５１への無線接続を開始する（ステップＳ１０６）。本動作は無線接続を初めて行う場合の他、無線ＬＡＮルータ５１を更新した場合を含め、再接続が必要となる度に実施される。

無線接続の方法としては、例えば、ＷＰＳ（WiFi Protected Setup）が利用できる。すなわちユーザは冷蔵庫１をネットワーク５２に接続したい場合、無線ＬＡＮルータ５１のＷＰＳボタンを押し、表示物３７を開状態にして冷蔵庫１の扉を閉めるだけで冷蔵庫１をネットワーク５２に接続することができる。

ユーザが表示物３７を閉状態にしていて、形状判別部１５が特定形状と特徴量が一致しないと判別した場合は（ステップＳ１０５；Ｎｏ）、カメラ２１で撮影した庫内画像１４１を記憶部１４に保存して（ステップＳ１０８）ステップＳ１０１に戻る。

接続が成功した場合と、接続に失敗した場合で異なるパターンでブザーを鳴らしユーザに結果を報知する（ステップＳ１０７）。

特徴量は画像の領域全体のヒストグラム、局所領域の輝度やエッジ、色分布、及びこれらの組合せ等、適切なものを使用することができる。記憶部１４の庫内画像１４１は、撮影の都度、上書きしてもよく、枚数を決めて保存することで容量を小さくすることができる。

図７は、実施の形態１に係る画像送信処理の一例を示すフローチャートである。画像送信処理は、冷蔵庫１がネットワーク５２に接続されている状態で実行される。まず、撮影通信モジュール１０の扉開閉検知部１２は、開閉センサ２２からのセンサ信号に基づいて冷蔵庫１が開扉状態から閉扉したことを検知する。扉開閉検知部１２が冷蔵庫１の閉扉を検知しない場合（ステップＳ２０１；Ｎｏ）、ステップＳ２０１を繰り返し冷蔵庫１の閉扉を検知するまで待機する。

扉開閉検知部１２が、冷蔵庫１が開扉状態から閉扉したことを検知すると（ステップＳ２０１；Ｙｅｓ）、撮影制御部１３は、カメラ２１を制御して冷蔵室３０の庫内の画像を撮影させる（ステップＳ２０２）。ここで冷蔵庫１の庫内は図示しない照明器具により撮影を行う前に撮影に適した照度に照明され、撮影が完了した後の予め定めたタイミングで消灯される。その後、ステップＳ２０２で撮影した庫内画像１４１を記憶部１４に保存する（ステップＳ２０３）。

次に、撮影通信モジュール１０の通信部１７は、サーバ５３に庫内画像のアップロードの可否を問い合わせる（ステップＳ２０４）。アップロードの可否は、サーバ５３の負荷状況やストレージ５４の空き状況で決まる。アップロード不可の場合（ステップＳ２０５；Ｎｏ）、処理はステップＳ２０４に戻り、再度アップロードの可否を問い合わせる。アップロード可の場合（ステップＳ２０５；Ｙｅｓ）、通信部１７は、記憶部１４が記憶する最新の庫内画像１４１をサーバ５３に送信し、アップロードする（ステップＳ２０６）。

サーバ５３は、冷蔵庫１から受信した庫内画像１４１をストレージ５４に保存する。アップロード可否の問い合わせは、予め定めた回数又は時間が経過してもアップロード可とならない場合は中止して終了させてもよい。冷蔵庫１がアップロード可否の問い合わせを行うことによりサーバ５３への負荷の集中を避けることができる。

図８は、実施の形態１に係る画像閲覧処理の一例を示すフローチャートである。画像閲覧処理は、携帯端末５５が実行する。携帯端末５５は、ユーザ操作によって庫内画像閲覧のためのアプリケーションが起動されると（ステップＳ３０１）、サーバ５３に庫内画像１４１のダウンロードの可否を問い合わせる（ステップＳ３０２）。ダウンロードの可否は、サーバ５３の負荷状況や庫内画像１４１のダウンロードが許可された携帯端末５５又はユーザであるか否かによって決まる。

ダウンロード不可の場合（ステップＳ３０３；Ｎｏ）、処理はステップＳ３０２に戻り、再度ダウンロードの可否を問い合わせる。ダウンロード可の場合（ステップＳ３０３；Ｙｅｓ）、サーバ５３は、ストレージ５４から庫内画像１４１を読み出して、携帯端末５５に送信する。携帯端末５５は、庫内画像１４１をダウンロードし（ステップＳ３０４）、表示画面に庫内画像１４１の最新画像を表示する（ステップＳ３０５）。

ダウンロード可否の問い合わせは、予め定めた回数又は時間を経過してもダウンロード可とならない場合は中止して終了させてもよい。またダウンロード可否の問い合わせは、携帯端末５５ごとに異なる間隔、例えばユニークなシリアル番号やＭＡＣアドレスに対応して生成した間隔で行うことによりサーバ５３への負荷の集中を避けることができる。

以上説明したように実施の形態１に係る冷蔵庫１によれば、形状判定部１５はカメラ２１が撮影した庫内画像１４１に表示物３７の特定形状が含まれているか否かを判別し、特定形状が含まれていると判別した場合に、無線接続制御部１６は、通信部１７が無線ＬＡＮルータ５１への無線接続を開始する制御を行う。そして、通信部１７は庫内画像１４１をサーバ５３に送信し、携帯端末５５はサーバ５３から庫内画像１４１をダウンロードすることとした。これにより、冷蔵庫１に無線接続を開始するためのボタンを用意する必要が無く、ボタンや配線のコストを削減することができる。また、表示物３７を庫内の壁に開閉可能に設けたので、食品の収納を邪魔することが無く、また表示物３７を紛失することがない。また表示物３７を閉じた状態では壁と同色に塗装されているので美観を損ねることが無い。更に無線接続の結果をブザーによって報知するので無線接続の結果を容易に知ることができる。

（実施の形態２）
図９は、本発明の実施の形態２に係る撮影通信モジュール１０の機能構成の一例を示す図である。冷蔵庫１の構成は実施の形態１と同様であるが、表示物３７を庫内に備えていない。撮影通信モジュール１０の機能構成は、図９に示すように、実施の形態１の構成に加えてＱＲコード（登録商標）読取部１８を備える。

庫内画像閲覧システム１００の構成は実施の形態１と同様である。ただし、実施の形態１では、無線ＬＡＮルータ５１がＷＰＳ機能を使用する構成となっていたが、本実施の形態２では、セキュリティ強化のためにＳＳＩＤ（Service Set Identifier）のブロードキャストを行わず、ユーザが設定したＳＳＩＤとパスワードを含む認証情報を使用して接続する構成とする。この場合、冷蔵庫１の撮影通信モジュール１０にＳＳＩＤとパスワードを入力する必要がある。このＳＳＩＤとパスワードを含む認証情報を格納したＱＲコード６０を作成し、それを用いて無線接続を行う。

撮影通信モジュール１０の構成について、図９を用いて説明する。扉開閉検知部１２は、開閉センサ２２を用いて冷蔵室の開扉及び閉扉を検知する。撮影制御部１３は、扉開閉検知部１２が開扉を検知すると、予め定められたタイミングで扉に取り付けられたカメラ２１を用いてＱＲコード６０を含む画像を撮影する制御を行う。

記憶部１４は、カメラ２１が撮影した画像を記憶する。形状判別部１５は、カメラ２１が撮影した画像に、ＱＲコード６０が含まれているか否かを判別する。形状判別部１５が、ＱＲコード６０を判別すると、ＱＲコード読取部１８はＱＲコード６０を解析し、ＱＲコード６０に含まれる文字列を取得する。無線接続制御部１６はＱＲコード６０に含まれる文字列を用いて通信部１７の無線接続を開始する。

図１０（ａ）はＱＲコード６０を示す図であり、図１０（ｂ）は（ａ）のＱＲコード６０に含まれる文字列６１を示す図である。ＱＲコード６０は、例えば、携帯端末５５で動作するＱＲコード生成アプリケーションを利用して容易に生成することができる。ユーザは、無線ＬＡＮルータ５１に設定しているＳＳＩＤとパスワードを含む文字列６１をＱＲコード生成アプリケーションに入力することでＱＲコード６０を生成し、携帯端末５５の画面に表示させる。つまり、ここでは携帯端末５５が、ＱＲコードという特定形状を表示する表示物として機能する。

図１１は、実施の形態２に係る無線接続処理の一例を示すフローチャートである。無線接続処理は、冷蔵庫１の撮影通信モジュール１０が起動すると開始する。撮影通信モジュール１０の扉開閉検知部１２は、開閉センサ２２を用いて冷蔵庫１の扉の開閉を監視する。扉開閉検知部１２が冷蔵庫１の開扉を検知しない場合（ステップＳ４０１；Ｎｏ）、ステップＳ４０１を繰り返し冷蔵庫１の開扉を待機する。

扉開閉検知部１２が冷蔵庫１の開扉を検知すると（ステップＳ４０１；Ｙｅｓ）、開閉センサ２２を用いて冷蔵庫１の閉扉を監視する。開扉を検知してから一定時間以内に扉開閉検知部１２が冷蔵庫１の閉扉を検知した場合（ステップＳ４０２；Ｙｅｓ）、処理を終了する。扉開閉検知部１２が一定時間以内に冷蔵庫１の閉扉を検知しない場合（ステップＳ４０２；Ｎｏ）、撮影制御部１３は、カメラ２１を用いて画像を撮影する（ステップＳ４０３）。

画像が撮影されると、形状判別部１５は画像から予め定めた領域内の特徴量を抽出する（ステップＳ４０４）。抽出した特徴量を、画像認識により、保存していたＱＲコード６０の特徴量と比較し、形状が一致するか否かを判別する（ステップＳ４０５）。形状が一致しない場合（ステップＳ４０６；Ｎｏ）、ステップ４０２に戻り処理を繰り返す。形状が一致する場合（ステップＳ４０６；Ｙｅｓ）、ＱＲコード読取部１８がＱＲコード６０を解析する（ステップＳ４０７）。解析したＱＲコード６０に特定の文字列６１が含まれない場合（ステップＳ４０８；Ｎｏ）、ステップ４０２に戻り処理を繰り返す。

ＱＲコード６０に特定の文字列６１が含まれる場合（ステップＳ４０８；Ｙｅｓ）、文字列６１に含まれるＳＳＩＤ及びパスワードを用いて無線接続を開始し（ステップＳ４０９）、通信部１７を無線ＬＡＮルータ５１に接続する。接続が成功した場合と、接続に失敗した場合で異なるパターンでブザーを鳴らしユーザに結果を報知する（ステップＳ４１０）。

無線接続をした後は、実施の形態１と同様に、図７に示す画像送信処理を実行し、庫内画像１４１を撮影し、サーバ５３に庫内画像１４１をアップロードする。

以上説明したように実施の形態２の冷蔵庫１によれば、開扉して一定時間以内に閉扉されなかった場合に、ＱＲコード６０を含む画像を撮影し、撮影した画像からＱＲコード６０を判別して読み出し、ＱＲコード６０に含まれる情報を用いて無線接続を開始することとした。これにより、ユーザは冷蔵庫１の扉を開け、カメラ２１にＱＲコード６０が表示された携帯端末５５の画面をかざすだけで無線接続設定を行うことができる。また、無線接続設定を開始するためのボタンを用意する必要が無く、ボタンや配線のコストを削減することができる。さらに、無線ＬＡＮルータ５１がＷＰＳ機能を備えていない場合や、ＳＳＩＤのブロードキャストを行わない場合にも無線接続を行うことができる。

（実施の形態３）
本実施の形態３に係る冷蔵庫１及び庫内画像閲覧システム１００の構成は実施の形態１と同様であるが、無線接続処理の方法が異なる。本実施の形態３では、Ｗｅｂサーバプログラムを利用して冷蔵庫１にＳＳＩＤとパスワードを入力し、無線接続処理を行う。

冷蔵庫１の撮影通信モジュール１０の無線接続処理について図１２を用いて説明する。図１２は、本実施の形態３に係る冷蔵庫１の無線接続処理の一例を示すフローチャートである。無線接続処理は、冷蔵庫１の撮影通信モジュール１０が起動すると開始する。撮影通信モジュール１０の機能構成、及び撮影通信モジュール１０が撮影画像を用いて特定形状の判別を行う動作は実施の形態１と同様である。

冷蔵庫１の撮影通信モジュール１０は、起動するとＷｅｂサーバプログラムを実行して、Ｗｅｂサーバを起動する（ステップＳ５０１）。本ＷｅｂサーバはＷｅｂブラウザにＳＳＩＤとパスワードを入力する画面を操作端末に提供する。形状判別部１５が、カメラ２１が撮影した画像に特定形状が含まれていると判別した場合、無線通信モジュール２５はアクセスポイントモードで動作開始する（ステップＳ５０２）。

操作端末である携帯端末５５へのユーザの操作により、ユーザの携帯端末５５を冷蔵庫１のアクセスポイントに無線接続する（ステップＳ５０３）。この接続動作はＷＰＳを用いてもよいし、あらかじめユーザに開示しておいた当該アクセスポイントのＳＳＩＤとパスワードを用いて携帯端末５５を接続してもよい。

次に、ユーザが携帯端末５５でＷｅｂブラウザプログラムを起動させて表示させた、撮影通信モジュール１０のＷｅｂサーバのＷｅｂページへ入力することにより、冷蔵庫１のＷｅｂサーバは無線ＬＡＮルータ５１のＳＳＩＤとパスワードを取得する（ステップＳ５０４）。無線ＬＡＮルータ５１のＳＳＩＤとパスワードの取得が終わると、冷蔵庫１は無線通信モジュール２５をステーションモードに切り替え、ユーザが入力したＳＳＩＤとパスワードを送信して無線ＬＡＮルータ５１に接続を開始する（ステップＳ５０５）。接続が成功した場合と、接続に失敗した場合とで異なるパターンでブザーを鳴らしユーザに結果を報知する（ステップＳ５０６）。

次に携帯端末５５側の動作について図１２、図１３を用いて説明する。図１３は、本実施の形態３に係る携帯端末５５の無線接続処理の一例を示すフローチャートである。

冷蔵庫１の無線通信モジュール２５がアクセスポイントモードで起動すると（ステップＳ５０２）、携帯端末５５は、このアクセスポイントに無線接続する（ステップＳ６０１）。次に、携帯端末５５はＷｅｂブラウザプログラムを起動し（ステップＳ６０２）、冷蔵庫１のＷｅｂサーバのＷｅｂページにアクセスする（ステップＳ６０３）。その後、ユーザのＷｅｂページへの入力により冷蔵庫１のＷｅｂサーバに無線ＬＡＮルータ５１のＳＳＩＤとパスワードを送信する（ステップＳ６０４）。冷蔵庫１のＷｅｂサーバは携帯端末５５から送信されてきたＳＳＩＤとパスワードを用いて無線ＬＡＮルータ５１に無線接続する。

以上説明したように実施の形態３の冷蔵庫１によれば、冷蔵庫１の撮影通信モジュール１０をＷｅｂサーバとして起動して、携帯端末５５を当該Ｗｅｂサーバに無線接続させ、携帯端末５５が、Ｗｅｂブラウザプログラムを起動し冷蔵庫１のＷｅｂサーバのＷｅｂページにアクセスして、無線ＬＡＮルータ５１のＳＳＩＤとパスワードを撮影通信モジュール１０に送信し、撮影通信モジュール１０の通信部１７は、携帯端末５５から受信したＳＳＩＤとパスワードを用いて無線ＬＡＮルータ５１に無線接続するとした。これにより、無線接続設定を開始するためのボタンを用意する必要が無く、ボタンや配線のコストを削減することができる。さらに、無線ＬＡＮルータ５１がＷＰＳ機能を備えていない場合や、ＳＳＩＤのブロードキャストを行わない場合にも無線接続を行うことができる。

（実施例）
以下、実施の形態１から３のいずれか１つの方法により無線ＬＡＮルータ５１に接続した冷蔵庫１及び携帯端末５５について、携帯端末５５に冷蔵庫１を登録し、携帯端末５５からネットワーク５２を介して、冷蔵庫１の設定を変更し、冷蔵庫１の状態を表示する実施例について説明する。図１４は冷蔵庫１の登録動作の一例を示すフローチャートであり、図１５は冷蔵庫１の閲覧・操作動作の一例を示すフローチャートである。いずれも（ａ）が冷蔵庫１の処理、（ｂ）が携帯端末５５の処理を示している。

まず冷蔵庫１の登録動作について図１４を用いて説明する。冷蔵庫１は、実施の形態１から３のいずれか１つの方法により無線ＬＡＮルータ５１に接続する（ステップＳ７０１）。携帯端末５５も無線ＬＡＮルータ５１に接続すると（ステップＳ７１１）、冷蔵庫１と携帯端末５５が無線ＬＡＮルータ５１を介して宅内のローカルネットワークに接続される。

携帯端末５５から初めて庫内画像１４１を閲覧、操作する場合、携帯端末５５に冷蔵庫１を登録する必要がある。携帯端末５５の画像閲覧操作アプリを起動すると（ステップＳ７１２）、冷蔵庫探索コマンドをブロードキャスト送信する（ステップＳ７１３）。

次に冷蔵庫１の登録応答動作を説明する。冷蔵庫１の通信部１７はローカルネットワークに接続した後、冷蔵庫探索コマンドがないときは（ステップＳ７０２：Ｎｏ）、当該コマンドの受信待ちを行う。通信部１７が冷蔵庫探索コマンドを受信すると（ステップＳ７０２：Ｙｅｓ）、無線接続制御部１６は、個体を識別するためのシリアル番号を含む識別情報を送信元、すなわち携帯端末５５に送信するよう通信部１７を制御する（ステップＳ７０３）。

ここで、シリアル番号はＭＡＣアドレスであってよい。また、識別情報は、冷蔵庫であること、カメラによる画像閲覧機能を有するという情報を含んでもよい。なお、登録動作は無線ＬＡＮルータ５１を介した、宅内のローカルネットワーク内で行うことにより、意図しない第三者の携帯端末が登録され、宅外のネットワーク５２から不正なアクセスにより庫内画像１４１が閲覧されたり、冷蔵庫１が操作されたりすることが無い。

携帯端末５５は、冷蔵庫探索コマンドを送信すると（ステップＳ７１３）、ネットワーク内の冷蔵庫からの識別情報の受信がないときは（ステップＳ７１４：Ｎｏ）、当該識別情報の受信待ちを行う。ローカルネットワークから識別情報を受信すると（ステップＳ７１４：Ｙｅｓ）、画像閲覧操作アプリは冷蔵庫１を登録する（ステップＳ７１５）。

なお、宅外のネットワーク５２から冷蔵庫１にアクセスを行う場合は、携帯端末５５はサーバ５３にログインし、その際に冷蔵庫１のデータを登録しておけば冷蔵庫１と携帯端末５５の関連付けを行うことができる。或いはステップＳ７１５で冷蔵庫１を登録後、冷蔵庫１にログイン情報を送信し、冷蔵庫１から携帯端末５５の情報を送信して関連付けを行ってもよい。この場合、携帯端末５５から冷蔵庫１のデータを登録することなく、すぐにサーバ５３での関連付けを行うことができる。

次に、冷蔵庫１の閲覧・操作動作について、図１５を用いて説明する。冷蔵庫１は携帯端末５５からの閲覧・操作リクエストがないときは（ステップＳ８０１：Ｎｏ）、当該リクエスト待ちを行う。携帯端末５５から閲覧・操作リクエストがあると（ステップＳ８０１：Ｙｅｓ）、リクエストに応じた操作データを冷蔵庫１に設定し（ステップＳ８０２）、冷蔵庫１の主機能部が操作データに従って動作する。また冷蔵庫１の状態データを携帯端末５５に送信する（ステップＳ８０３）。

携帯端末５５は、ユーザからの閲覧・操作リクエストがないときは（ステップＳ８１１：Ｎｏ）、当該リクエスト待ちを行う。ユーザから閲覧・操作リクエストがあると（ステップＳ８１１：Ｙｅｓ）、リクエストに応じた操作データを冷蔵庫１に送信する（ステップＳ８１２）。次に冷蔵庫１からの状態データ受信がないときは（ステップＳ８１３：Ｎｏ）、当該状態データの受信待ちを行い、冷蔵庫１から状態データを受信すると（ステップＳ８１３：Ｙｅｓ）、画像閲覧操作アプリの状態表示を更新する。例えば、操作データは庫内の温度、急速冷凍や省エネ設定であり、状態データは、庫内画像１４１、庫内の現在温度である。

このように本発明は、予め定めた特定形状を表示した表示物を含む画像を撮影し、撮影した画像に、特定形状が含まれているか否かを判別し、表示物の形状が含まれていると判別した場合に外部と通信を開始する制御を行うとした。これにより、情報を送受信するためのネットワーク接続の操作が容易となり、ネットワーク接続のための手段を要しないためコストを低減することが可能となる。

なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。

例えば、上記実施の形態において、冷蔵庫１に備えたカメラ２１によって撮影した撮影画像に基づいて、無線接続を制御するとしたが、他の装置又は空間に備えたカメラ２１によって撮影した撮影画像に基づいて、他の装置又は空間からの無線接続を制御してもよい。例えば、他の装置又は空間は、貯蔵庫、ペットの飼育ケース、居住空間であってもよい。

また、上記実施の形態において、携帯端末５５がネットワーク５２を介して冷蔵庫１にアクセスし、庫内画像１４１を含む情報を取得するとしたが、携帯端末５５が冷蔵庫１に直接アクセスする構成にしてもよい。この場合、ユーザが携帯端末５５を用いて冷蔵庫１に庫内閲覧要求を送信すると、冷蔵庫１のプロセッサ２３は、無線通信モジュール２５を介して庫内閲覧要求を受信する。プロセッサ２３は、受信した庫内閲覧要求に対応して記憶部１４に記憶された庫内画像１４１を読み出し、無線通信モジュール２５を介して携帯端末５５に送信する。この場合、庫内画像閲覧システム１００は、サーバ５３又はストレージ５４を備えなくてもよい。

また、上記実施の形態において、通信部１７は、無線ＬＡＮルータ５１と無線接続をするとしたが、無線ＬＡＮルータ５１に代えて有線のルータを用いて、通信部１７が有線の通信を行ってもよい。このとき無線接続制御部１８に代えて、有線接続制御を含む制御を実行する通信接続制御部が通信部１７を制御する。

また、上記実施の形態１において、冷蔵庫１の表示物３７は庫内の壁に設けるとしたが、例えば仕切り棚３３，３４の一部を回転させて、庫内の構造物の形状を変化させてもよい。

また、上記実施の形態２において、ＱＲコードに含まれる情報を用いて無線制御を行うとしたが、バーコードや他の２次元コードを含む他のデータ格納コードであってもよい。このときＱＲコード読取部１８に代えて、データ格納コード読取部がデータ格納コードから情報を読み取る。

また、上記実施の形態に示したハードウェア構成やフローチャートは一例であり、任意に変更及び修正が可能である。プロセッサ２３、メモリ２４で構成される扉開閉検知部１２、撮影制御部１３、形状判別部１５、無線接続制御部１６及び通信部１７の各機能を実現する部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。

例えば、上記実施の形態の動作を実行するためのプログラムを、コンピュータが読み取り可能なＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、メモリカード等の記録媒体に格納して配布し、プログラムをコンピュータにインストールすることにより、各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Operating System）とアプリケーションとの分担、又はＯＳとアプリケーションとの協同により実現する場合には、ＯＳ以外の部分のみを記録媒体に格納してもよい。

さらに、搬送波に各プログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板（ＢＢＳ，Bulletin Board System）に当該プログラムを掲示し、通信ネットワークを介して当該プログラムを配信してもよい。そして、これらのプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行させてもよい。

１ 冷蔵庫、１０ 撮影通信モジュール、１１ 制御装置、１２ 扉開閉検知部、１３ 撮影制御部、１４ 記憶部、１４１ 庫内画像、１５ 形状判別部、１６ 無線接続制御部、１７ 通信部、１８ ＱＲコード読取部、２１ カメラ、２２ 開閉センサ、２３ プロセッサ、２４ メモリ、２５ 無線通信モジュール、２６ カメラインターフェース、２７ センサインターフェース、３０ 冷蔵室、３１ 左扉、３２ 右扉、３３，３４ 仕切り棚、３５ 冷凍室、３６ 野菜室、３７ 表示物、４１ 切り欠き部、４２ 回転部、５１ 無線ＬＡＮルータ、５２ ネットワーク、５３ サーバ、５４ ストレージ、５５ 携帯端末、６０ ＱＲコード、６１ 文字列、１００ 庫内画像閲覧システム

Claims (9)

1. 情報を外部と通信する通信部と、
   予め定めた特定形状を表示する表示物を含む画像を撮影するカメラと、
   前記カメラが撮影した撮影画像に、前記特定形状が含まれているか否かを判別する形状判別部と、
   前記形状判別部が、前記撮影画像に前記特定形状が含まれていると判別した場合に、前記通信部に通信接続を開始させる制御を行う通信接続制御部と、
   を備え、
   前記表示物は、前記カメラの撮影範囲内に取り付けられ、前記特定形状が視認可能な開状態及び視認不可能な閉状態のいずれか１つに切り替える開閉機構を備え、
   前記通信接続制御部は、前記表示物が前記開状態であって前記形状判別部により前記特定形状が含まれていると判別されたときに通信接続を開始する制御を行い、前記表示物が前記閉状態であって前記形状判別部により前記特定形状が含まれていないと判別されたときに通信接続を開始しない制御を行う、
   情報通信装置。
2. 前記形状判別部が判別する前記特定形状は、前記表示物の一面に表示され、前記開閉機構が前記開状態のときに露出され、前記開閉機構が前記閉状態のときに隠ぺいされる、
   請求項１に記載の情報通信装置。
3. 前記通信部は、無線通信を実行し、
   前記通信接続制御部は、
   前記形状判別部が前記撮影画像に前記特定形状が含まれていると判別すると、前記通信部をアクセスポイントモードで動作するよう制御し、
   前記アクセスポイントモードで動作する前記通信部に無線接続した操作端末からログイン情報を受信すると、前記通信部をステーションモードで動作させて前記ログイン情報を用いて外部と通信するよう制御する、
   請求項１又は２に記載の情報通信装置。
4. ユーザに通信接続状態を報知するブザーを更に備え、
   前記通信部が通信接続に成功した場合と失敗した場合とで異なるパターンで、前記ブザーを鳴動させる、
   請求項１から３のいずれか１項に記載の情報通信装置。
5. 請求項１から４のいずれか１項に記載の情報通信装置を備えた冷蔵庫。
6. 前記通信接続制御部は、前記通信部が操作端末から予め定めた範囲内のネットワークを介して冷蔵庫探索指示を受信すると、当該冷蔵庫の固有の識別情報を前記操作端末に送信するよう前記通信部を制御し、
   前記冷蔵庫は、前記通信部が当該冷蔵庫の前記固有の識別情報を含み、庫内の温度、急速冷凍又は省エネ設定に係る操作リクエストを受信すると、前記操作リクエストにしたがって当該冷蔵庫を動作させる主機能部を、更に備える、
   請求項５に記載の冷蔵庫。
7. 請求項１から４のいずれか１項に記載の情報通信装置を備えた冷蔵庫と、操作端末と、がネットワークを介して接続されており、
   前記冷蔵庫は、前記カメラが撮影した庫内画像を含む情報を送信し、
   前記操作端末は、前記庫内画像を含む情報を受信する、
   庫内画像閲覧システム。
8. 予め定めた特定形状を表示する表示物を含む画像を撮影する撮影ステップと、
   前記撮影ステップで撮影した撮影画像に、前記特定形状が含まれているか否かを判別する形状判別ステップと、
   前記形状判別ステップで前記特定形状が含まれていると判別した場合に、外部との情報通信を開始する制御を行う通信接続制御ステップと、を有する情報通信方法であって、
   前記表示物は、前記撮影ステップで撮影する範囲内に取り付けられ、前記特定形状が視認可能な開状態及び視認不可能な閉状態のいずれか１つに切り替える開閉機構を備え、
   前記通信接続制御ステップは、前記表示物が前記開状態であって前記形状判別ステップで前記特定形状が含まれていると判別されたときに通信接続を開始する制御を行い、前記表示物が前記閉状態であって前記形状判別ステップで前記特定形状が含まれていないと判別されたときに通信接続を開始しない制御を行う、
   情報通信方法。
9. コンピュータを、
   予め定めた特定形状を表示する表示物を含む画像をカメラに撮影させる撮影制御部、
   前記撮影制御部が前記カメラに撮影させた撮影画像に、前記特定形状が含まれているか否かを判別する形状判別部、
   前記形状判別部が、前記特定形状が含まれていると判別した場合に、外部との情報通信を開始する制御を行う通信接続制御部、として機能させるプログラムであって、
   前記表示物は、前記カメラの撮影範囲内に取り付けられ、前記特定形状が視認可能な開状態及び視認不可能な閉状態のいずれか１つに切り替える開閉機構を備え、
   前記通信接続制御部は、前記表示物が前記開状態であって前記形状判別部により前記特定形状が含まれていると判別されたときに通信接続を開始する制御を行い、前記表示物が前記閉状態であって前記形状判別部により前記特定形状が含まれていないと判別されたときに通信接続を開始しない制御を行う、
   プログラム。

Images