JP7010995B2 - 操作端末、操作端末のプログラム - Google Patents

Description

本発明の実施形態は、操作端末、操作端末のプログラムに関する。

従来、例えば冷蔵庫にカメラを設けること等により、遠隔地からでも例えば冷蔵庫内の食材等の情報を取得可能なものが知られている（例えば、特許文献１参照）。

特開２０１２－２２６７４８号公報

本発明は、カメラ装置による良好な撮像を可能にする操作端末、操作端末のプログラムを提供する。

実施形態の操作端末は、通信手段を備えるカメラ装置と、カメラ装置に撮像指令を出力する信号出力手段および通信手段を有する家電製品とに対して通信可能な操作端末であって、カメラ装置および家電製品と通信可能な通信手段と、入力部と、カメラ装置が撮像に適した状態にあるか否かを判定する判定手段と、制御部と、を備え、制御部は、判定手段によりカメラ装置が撮像に適した状態にあることが判定されたときに入力部を有効化し、有効化された入力部が操作されたことに基づいて、家電製品を介して撮像指令をカメラ装置に送信する。

一実施形態の室内撮像システムを模式的に示す図 一実施形態のカメラ装置の外観を模式的に示す図 一実施形態のカメラ装置の内部を模式的に示す図 一実施形態のカメラ装置および室内撮像システムの電気的構成を模式的に示す図 一実施形態の操作端末の電気的構成を摸式的に示す図 一実施形態の操作端末の初期画面を示す図 一実施形態の操作端末の設定画面を示す図 一実施形態における冷蔵庫の処理の流れを示す図 一実施形態におけるカメラ装置の処理の流れを示す図 一実施形態における操作端末の処理の流れを示す図

以下、一実施形態について図１から図１０を参照しながら説明する。
図１に示すように、本実施形態の室内撮像システム１００は、家電製品としての冷蔵庫１、室内を撮像するためのカメラ装置２、冷蔵庫１側との間で通信を行うためのアクセスポイント３、操作端末４等により構成されている。このうち、アクセスポイント３は、通信手段である外部ネットワーク（広域通信網や携帯電話網）５に接続しており、外部ネットワーク５を介して遠隔地の操作端末４やサーバ６等と冷蔵庫１側との間を通信可能に接続している。本実施形態では、冷蔵庫１とアクセスポイント３との間、アクセスポイント３と操作端末４との間、およびカメラ装置２とアクセスポイント３との間は、通信手段である近距離無線通信例えばＢｌｕｅｔｏｏｔｈ（登録商標）による無線通信にて通信が行われる。

操作端末４は、カメラ装置２に室内を撮像させるための撮像指示を入力するものであり、タブレット型のパソコンや、いわゆるスマートフォン（高機能携帯電話）を想定している。この操作端末４は、住宅７内に位置している場合には、アクセスポイント３との間で近距離無線方式により通信可能に接続される。また、操作端末４は、住宅７外に位置している場合には、広域通信により外部ネットワーク５を介してアクセスポイント３との間で通信可能に接続される。また、操作端末４は、住宅７内からであっても広域通信により外部ネットワーク５を介してアクセスポイント３に接続することが可能であるとともに、住宅７内においては、アクセスポイント３を介さずに冷蔵庫１側と直接的に通信可能でもある。

サーバ６は、周知のコンピュータシステムにより構成されており、冷蔵庫１にアクセスするための情報（例えばＩＰアドレス等）等を記憶しているとともに、本実施形態では、カメラ装置２により撮像された撮像データを記憶する。なお、図１では冷蔵庫１のみを図示しているが、図示しないエアコン等、他の家電製品もネットワーク化されている。

このように家電製品をネットワーク化することにより、各家電製品の消費電力をユーザに目に見える形で提供する見える化、夏場の昼間等の電力需要が大きくなる時間帯における電力消費を低減するピークシフト、一般家庭の定格を超えるような電力の瞬間的な使用を回避するピークカット等の電力コントロールや、家電製品の故障診断等、使い勝手や快適性あるいは利便性を提供するためのシステムを提供することが可能となる。また、カメラ装置２を例えば冷蔵室内に設置することにより、冷蔵庫１の室内の様子（物品の貯蔵状態等）を確認すること等も可能となる。そして、これら各種の情報や撮像データ等をサーバ６に記憶することで、遠隔地であっても外部ネットワーク５等を介して操作端末４等によりそれらの情報を参照することが可能となる。

次に、カメラ装置２について説明する。
カメラ装置２は、図２および図３に示すように、概ね直方体の形状に形成された筐体１０の表面に、撮像部（撮像手段）１１（図４参照）のレンズ１２、本実施形態では２個の撮像ライト１３、および光センサ１４（受信手段）が露出するように設けられている。ただし、レンズ１２や撮像ライト１３および光センサ１４は、筐体１０外に露出するのではなく、その表面がカバー等で覆われた態様であってもよい。以下、レンズ１２等が露出している側を（図３の図示右方側）をカメラ装置２の正面とし、反対側（図３の図示左方側）を背面として説明する。

このカメラ装置２は、図３に示すように、筐体１０内に、制御基板１５、電池１６、通信モジュール１７、加速度センサ１９、温度センサ２０等が収容されている。制御基板１５には、レンズ１２や図示しない撮像素子を有する撮像部１１、撮像ライト１３、およびそれらを制御するためのカメラ側制御部１８（図４参照）等が設けられている。撮像素子は、ＣＣＤやＣＭＯＳ等の周知の撮像素子が用いられている。撮像ライト１３は、ＬＥＤを採用している。又、カメラ装置２には電源スイッチ１０ａ（図４参照）、設定情報受け取り開始兼終了用の設定情報受け取りスイッチ１０ｂ（図４参照）が設けられている。但し、このカメラ装置２には、表示部や、細かい設定のための操作スイッチ（入力部）などは備えていない。

電池１６は、制御部や通信モジュール１７、および光センサ１４、加速度センサ１９等に電力を供給する。つまり、カメラ装置２は、内蔵する電池１６により駆動される。このため、カメラ装置２は、電源ケーブル等が不要となり、任意の場所に設置することが可能となる。本実施形態では、上記したようにカメラ装置２は冷蔵室内に設置されている。

通信モジュール１７は、撮像部１１で撮像した庫内の撮像データを、アクセスポイント３を介して操作端末４やサーバ６等に送信する。なお、サーバ６に送信するのは、撮像データをサーバ６に記憶させるためである。ここで、撮像データとは、室内の画像を含むデータであり、例えばビットマップ形式やＪＰＥＧ形式或いはＭＰＥＧ形式などの周知のフォーマットのデータ（静止画、動画）、そのデータを圧縮や暗号化あるいは画像処理することにより変換したデータ等、室内の様子を操作端末４等で確認できるデータであれば、どのような形式のものであってもよい。

図４に示すように、カメラ側制御部１８は、ＣＰＵ１８ａ、ＲＯＭ１８ｂ、ＲＡＭ１８ｃおよび時計部（時計手段）１８ｄ、情報記憶手段としての不揮発性メモリ１８ｅ等を有するマイクロコンピュータで構成されており、カメラ装置２全体を制御する。具体的には、カメラ側制御部１８は、撮像部１１による撮像タイミングの制御、撮像する際の撮像環境を整える制御（撮像ライト１３の点灯制御）、通信モジュール１７による撮像データの送信、光センサ１４による後述する撮像指示の受信（受け付け）等のための制御等を行っている。また、カメラ側制御部１８は、本実施形態では、撮像した画像の補正等を行う画像処理も行っている。カメラ側制御部１８は、スリープ制御、記憶制御手段、撮像制御手段を構成している。

前記時計部１８ｄは、リアルタイムクロックモジュールから構成されており、時刻・カレンダー機能を有し、リアルタイムの時間（時刻、月日、曜日）を計測できる。

カメラ側制御部１８に接続されている光センサ１４は、いわゆる照度センサであり、カメラ装置２の周辺の照度を検出する。より詳細には、光センサ１４は、所定の波長帯域の光エネルギー（本実施形態では、後述する室内照明灯３０、３２から発せられる光エネルギー）を検出する。光センサ１４で検出された光エネルギーは、電気信号に変換されてカメラ側制御部１８に出力される。

前記光センサ１４は、詳細は後述するが、物理的なエネルギー（光エネルギー）を検出するセンサであり、撮像指示を受信する受信手段を構成している。なお、撮像指示を例えば光エネルギーで受信するのでなく、音エネルギーや振動エネルギーで受信する場合には、音センサや振動センサを受信手段として設ける構成としてもよい。

本実施形態の場合、ユーザからの撮像指示の最終的な信号形態は、所定のパターンで発せられた光エネルギー（後述の室内照明灯３０、３２の所定パターンの点滅）により示される構成となっており、カメラ側制御部１８は、光センサ１４により上記所定パターンの点滅を検出したときに、撮像指示であると判断する。
加速度センサ１９は、カメラ装置２の設置姿勢（縦置き、横置き、レンズ１２が下向き、レンズ１２が上向き）を検出する。

温度センサ２０は、カメラ装置２が設置された場所の温度を検知する。カメラ装置２では、この温度センサ２０による検知温度が冷蔵室温度帯の場合には冷蔵室にカメラ装置２が設置されたと判断し、前記検知温度が冷凍室温度帯の場合には冷凍室にカメラ装置２が設置されたと判断する。この場合、冷凍室に設置されていると判断した場合、故障等の虞が懸念されるため、冷蔵庫１側に「冷凍室に置かないでください」などの確認や、アドバイス、警告などの旨を送信して冷蔵庫１の操作パネル２２等にてユーザーに報知する。

このような構成のカメラ装置２は、常には通常動作モードよりも相対的に消費電力が少ない低電力モード（スリープ制御モード）にて待機しており、撮像指示を受信すると、通常動作モードに復帰して室内を撮像する。本実施形態の場合、カメラ装置２は冷蔵室内に設けられていることから、冷蔵室の室内が撮像される。

カメラ装置２が設置される冷蔵庫１は、庫側制御部２１を有している。この庫側制御部２１は、ＣＰＵ２１ａ、ＲＯＭ２１ｂ、ＲＡＭ２１ｃ、タイマ２１ｄ等を有するマイクロコンピュータで構成されており、冷蔵庫１全体を制御する。具体的には、庫側制御部２１は、例えば操作パネル２２から設定された運転状態となるように、温度センサ２３で検出した庫内の温度や扉センサ２４で検出した扉の開閉状態等に基づいて、周知の冷凍サイクルを構成する冷蔵用冷却機構２５や冷凍用冷却機構２６の運転状態を制御する。

操作パネル２２には、パネル表示器２７、パネルＬＥＤ２８、パネルブザー２９が設けられている。パネル表示器２７は、設定値等を表示する。パネルＬＥＤ２８は、操作スイッチや運転状態等を点灯させるために設けられている。パネルブザー２９は、圧電ブザー等で構成され、操作に応じて音声（音エネルギー）を発することで、操作内容を報知する。

室内照明灯３０は、例えば冷蔵室１ａ（図１参照）に当該冷蔵室のほぼ全体を照明するために設けられており、又、室内照明灯３２は例えば冷蔵室１ａ内に設けられた冷蔵容器１ｂ（図１参照）の内部を点灯するために設けられている。この冷蔵容器１ｂは透明な材料から構成されており、カメラ装置２によりこの冷蔵容器１ｂ内を撮像する場合には、カメラ装置２は冷蔵容器１ｂ内でも外でも良い。これら室内照明灯３０、３２は、扉が開放された際に点灯する。つまり、室内照明灯３０、３２は、光エネルギーを発生させる。この室内照明灯３０、３２は、信号出力部も兼用しており、庫側制御部２１からの制御により所定パターンで点滅可能となっている。この所定パターンの点滅は対カメラ装置２用の撮像指令を示す信号である。送風機３１は、通常の動作においては冷蔵庫１内の冷気を循環させるために設けられている。

通信アダプタ３４は、アクセスポイント３や室内の操作端末４等との間で通信を行うものであり、本実施形態では、冷蔵庫１に着脱可能に設けられている。なお、図１には冷蔵庫１だけを図示しているが、通信アダプタ３４は、エアコン等の他の家電製品にも設けられ、家電製品をネットワーク化している。通信アダプタ３４は、通信手段を構成している。また、通信アダプタ３４は、アクセスポイント３を介すること無く、カメラ装置２との間で直接的に通信を行うことも可能な構成となっている。この通信アダプタ３４は、上記したように見える化等にも用いられていることから、冷蔵庫１が動作している状態では基本的に常時作動している。

一方、操作端末４は、端末側制御部４２、表示部４３、入力部４４、広域無線通信部４５、通信モジュール４６などを備えている。
前記端末側制御部４２は、ＣＰＵ４２ａ、ＲＯＭ４２ｂ、ＲＡＭ４２ｃ、情報記憶手段として不揮発性メモリ４２ｄを備えている。端末側制御部４２はカメラ装置２と連携するプログラム（室内撮像アプリケーションソフトなど）をＲＯＭ４２ｂ又は不揮発性メモリ４２ｄに備えている。この端末側制御部４２は制御手段、判定手段、設置箇所名設定手段、異常報知手段に相当する。前記不揮発性メモリ４２ｄは設定情報をバックアップ保存するバックアップ用記憶部としても機能する。

前記表示部４３は、例えば液晶表示器や有機ＥＬ表示器等から構成され、端末側制御部４２から入力する表示指令信号に基づいて各種情報を表示する。入力部４４は、表示部４３の表示画面上に形成されるタッチスイッチである所謂タッチパネル入力部４４Ａや、表示部４３の周囲や近傍に機械的に設けられているスイッチ（図示せず）等を含む各種の操作キーから構成される。前記タッチパネル入力部４４Ａにより後述する撮像指令入力部４４ａ（図６参照）と撮像タイミング入力部４４ｇ（図７参照）とが構成される。
前記広域無線通信部４５は、前記外部ネットワーク５を介してアクセスポイント３やサーバ６と通信する。

又、前記通信モジュール４６は、前記アクセスポイント３と、前述したように通信手段であるＢｌｕｅｔｏｏｔｈ（登録商標）による無線通信にて通信をするためのものである。なお、操作端末４の構成として、携帯電話機能を備えている場合には、音声入力部や音声出力部などが備えられている。

この実施形態では、３個のカメラ装置２が、前記冷蔵室１ａ、冷蔵容器１ｂ、野菜室１ｃ（図１参照）に設けられているものとする。なお、カメラ装置２を個別にいうときには、カメラ装置２Ａ、２Ｂ、２Ｃという。

カメラ装置２の動作について説明する。
カメラ装置２の電源スイッチ１０ａをオンすると、カメラ側制御部１８は図９の制御を行う。まず、設定情報受け取りスイッチ１０ｂが操作されて設定情報受け取りモードとなったか否かを判断し（ステップＳ１）、設定情報受け取りモードであれば、このカメラ装置２と通信が確立している操作端末４からの撮像タイミングの設定情報を受け取ったか否かを判断する（ステップＳ２）。受け取ったことが判断されれば、設定情報を不揮発性メモリ１８ｅに記憶（設定）する（ステップＳ３、記憶制御手段）。

そして設定情報受け取りスイッチ１０ｂが再度操作されて設定情報受け取りモードが終了されると（ステップＳ４）、スリープ制御へ移行する（ステップＳ５、スリープ制御手段）。このスリープ制御状態では、室内照明灯３０或いは３２から撮像指令を受信する機能と、時計部１８ｄが計測する時間が設定撮像タイミングとなったか否かの判断機能とを作動させている以外は、機能停止状態にある。従って、電源である電池１６の電池消費量を抑える。この場合、通信モジュール１７の動作も停止している。この理由は、通信モジュール１７の動作継続は、電池１６の消費速度が速くなるためであり、これに対して、前述した室内照明灯３０或いは３２から撮像指令を受信する機能は、電池１６の消費速度が遅く、より電池消費量を抑えることができる。

このスリープ制御状態において、室内照明灯３０或いは３２から撮像指令を受信するか（ステップＳ６）、計測している時間が設定された撮像タイミングとなるか（ステップＳ７）すれば、通常動作モードに復帰する（ステップＳ８）。そして室内を撮像し（ステップＳ９）、撮像データを送信する（ステップＳ１０）。

次に操作端末４の動作について説明する。操作端末４の室内撮像アプリケーションを起動すると、前記カメラ装置２が設定情報受け取りスイッチ１０ｂが操作されて設定情報受け取りモードである場合には、この操作端末４と前記カメラ装置２との各種設定のための通信が、前記アクセスポイント３を介して又は直接確立する。

操作端末４の端末側制御部４２は、図１０の制御を行う。まず、初期画面表示（ステップＴ１）を行う。この初期画面表示は、図６に示す初期画面を表示部４３に現出させる。このとき、表示部４３上のタッチパネル入力部４４Ａにより撮像指令入力部４４ａと、設定モード開始入力部４４ｂと、第１ないし第４の個別指定入力部４４ｃ～４４ｆが形成される。又、表示部４３には、室内の撮像画像を表示する画像表示部４３ａ、撮像日時履歴や撮像日時予定を表示する撮像日時表示部４３ｂを形成する。前記個別指定入力部４４ｃ～４４ｆの表示名は、冷蔵庫１の冷蔵室名や野菜室名を表しており、例えば「冷蔵室１」は冷蔵室１ａを意味し、「冷蔵室２」は冷蔵容器１ｂを意味し、「野菜室１」は野菜室１ｃを意味する。この表示名は後述するが変更可能である。

ユーザーが設定モード開始スイッチ４４ｂをタッチ操作すると（ステップＴ２で判断）、表示部４３の画面表示を図７の設定用画面を現出させる（ステップＴ３）。この図７では、タッチパネル入力部４４Ａにより、撮像タイミング入力部４４ｇ、「見たいとき」設定入力部４４ｈ、設置箇所名設定入力部４４ｉ、「取り消し」入力部４４ｊ、「戻る」入力部４４ｋ、設定終了入力部４４ｌが形成される。

前記撮像タイミング入力部４４ｇは、撮像タイミング設定確定用の確定入力部４４ｇｓ、時刻ダウン設定入力部４４ｇ１、時刻アップ設定入力部４４ｇ２、分ダウン設定入力部４４ｇ３、分アップ設定入力部４４ｇ４、「毎日」設定入力部４４ｇ５、「平日のみ」設定入力部４４ｇ６、曜日指定入力部４４ｇ７、曜日個別入力部群４４ｇ８、月日設定入力部４４ｇ９、特売日自動設定入力部４４ｇ１０などを有する。
前記ステップＴ３の後、入力操作に応じた処理を行う（ステップＴ４）。

まず、３つのカメラ装置２Ａ、２Ｂ、２Ｃと、これらが設置されている室との関係を前記個別指定入力部４４ｃ～４４ｆを操作して設定する。つまり、操作端末４と３つのカメラ装置２Ａ、２Ｂ、２Ｃとの通信が確立している場合、各カメラを選択指定するカメラ指定入力部（図示せず）を表示し、カメラ指定入力部により任意のカメラ装置２を指定し各個別指定入力部４４ｃ～４４ｆのいずれかを操作することでカメラ装置２の一つと個別指定入力部４４ｃ～４４ｆの一つを関連付けする。この場合の関連付けのやり方についてはこれに限るものではない。

ここで、撮像タイミングを設定する場合の一例について説明する。例えば、「表示名「冷蔵室１」の室を、毎日、○時○分に撮影」する場合、次のように設定する。

まず、ユーザーは、表示名「冷蔵室１」の個別指定入力部４４ｃを操作して表示名「冷蔵室１」の室（カメラ装置２Ａが設置された室）を指定する。そして、「毎日」設定入力部４４ｇ５を操作し、各設定入力部４４ｇ１～４４ｇ４により適宜「時・分」を設定し、確定入力部４４ｇｓを操作して設定を確定する。

そして設定終了入力部４４ｌが操作されると（ステップＴ５で判断）、操作端末４の端末側制御部４２は、「冷蔵室１ａ（カメラ装置２Ａ）について毎日○時○分」の撮像タイミングの設定情報を、一時的に不揮発性メモリ４２ｄに記憶すると共に（ステップＴ６）、カメラ装置２に送信する（ステップＴ６）。この設定情報は、カメラ装置２（２Ａ）が、前述のステップＳ３において不揮発性メモリ１８ｅに記憶する。上記「時・分」（時刻）は、一つの時刻について確定入力部４４ｇｓの操作で確定すれば、これを複数回行うことで、複数の時刻が設定可能である。

上記撮像タイミングの「日」の設定については、上記「毎日」以外、各入力部４４ｇ６～４４ｇ１０の操作に基づいて、平日のみ、月曜日～日曜日の１つ以上６つ以下の曜日、月日（日のみの場合もある）、特売日配信情報に応じた日、の少なくとも一つが設定される。そして、上記「日」についても複数の「日」の設定が可能である。

例えば、前記月日設定入力部４４ｇ９が操作されると、図示はしないが月日を入力するための表示画面（例えばカレンダー表示画面）に切り替わり、月日（日のみの場合もある）を設定入力することが可能となっている。この場合、例えば毎月の給料日直前の日などを入力するのも良い。つまり、毎月の給料日に食品をまとめ買いするような場合には、その前日の日を予め設定しておけば、給料日当日に、遠隔地（食料品販売店など）で冷蔵庫内の撮像画像（食品在庫状況）を知ることができ、ユーザーにとって便利となる。又、食品販売店（スーパーなど）の特売日やサービスポイントデーが決まっている場合（例えば「１」のつく日）にはその直前に日に設定しておくと良い。

又、特売日自動設定入力部４４ｇ１０が操作されると、食料販売店（スーパーなど）がインターネットなどで提供する特売案内サイトから特売日やサービスポイントデーなどの特売日配信情報を自動的に取得して、その直前の日を自動設定することが可能となる。

又、この図７において、個別指定入力部４４ｃ～４４ｆの表示名は、各個別指定入力部４４ｃ～４４ｆを選択操作した上で、設置箇所名設定入力部４４ｉを操作することに基づいて、いくつかの予め定められた表示名の中から選択して設定されるようになっている。このような設定は、ユーザーがカメラ装置２Ａ～２Ｃを設置する室の表示名の設定である。この場合、表示名「冷蔵室１」で指定された冷蔵室１ａと、「冷蔵室２」で指定された冷蔵容器１ｂと、表示名「野菜室１」で指定された野菜室１ｃとに、夫々カメラ装置２Ａ、２Ｂ、２Ｃを設置したことを示している。なお、カメラ装置２が一つのみ設置される場合には、上記表示名は一つ表示すれば良い。又、上記表示名は、例えば文字入力によりユーザーが任意に設定しても良い。

表示名「冷蔵室１」、「冷蔵室２」で夫々指定された冷蔵室には、室内照明灯３０、３２（信号出力手段）が存在する。また、表示名「野菜室１」で指定された野菜室には室内照明灯（信号出力手段）がないものとする。なお、冷凍室にも室内照明灯（信号出力手段）がないものとする。

又、前記「見たいとき」設定入力部４４ｈは、ユーザーが庫内を撮像したいときにカメラ装置２に対して撮像動作をさせるための撮像指令入力部４４ａを通常使う（有効化する）か、或いは通常使わない（無効化するつまり自動撮像のみとする）かを設定するためのものである。

ここで、操作端末４は、前述したように判定手段を備えており、この判定手段は、この設定モード時において、信号出力手段である室内照明灯３０、３２からの撮像指令をカメラ装置２が受信可能か否かを判定する。この場合、判定手段は、設定された設置箇所の名称に基づいてカメラ装置２が室内照明灯３０、３２からの撮像指令を受信可能であるか否かを判定する。つまり、設定された設置箇所の名称（個別指定入力部４４ｃ～４４ｆの表示名称）に「冷蔵」が入っていれば、カメラ装置２が冷蔵室に設けられた室内照明灯３０、３２からの撮像指令（所定パターンの点滅による撮像指令）を受け得ると判定でき、「冷蔵」が入っていなければ（「野菜」や「冷凍」が入っていれば）、カメラ装置２が室内照明灯３０、３２からの撮像指令を受けることができないと判定できる。操作端末４の端末側制御部４２は、図６の状態で、「冷蔵室１」の表示名である個別指定入力部４４ｃ、又は「冷蔵室２」の表示名である個別指定入力部４４ｄが操作されたときには、撮像指令入力部４４ａは表示されたままとし、「野菜室１」の表示名である個別指定入力部４４ｅが操作されたときには、撮像指令入力部４４ａは表示しない。これにより、表示名「野菜室１」の野菜室１ｃについては、ユーザーによる任意の撮像はできない趣旨を、撮像指令入力部４４ａの非表示をもって、ユーザーに知らせることが可能となり、且つ、撮像指令入力部４４ａを操作できなくすることができる。この場合、この野菜室１ｃについては、自動的に撮像タイミングでのみ撮像を行う。

なお、図１０のステップＴ２で「ＮＯ」であるとステップＴ７に移行し、その他の入力が有ったか否かを判断し、何らかの入力があれば、その入力操作に応じた処理を実行する（ステップＴ８）。例えば、図６において、ユーザーが冷蔵室１ａの撮像画像を現時点で見たいという意図で、表示名「冷蔵室１」に対応する個別指定入力部４４ｃを操作した上で、撮像指令入力部４４ａを操作すると（ステップＴ７の「ＹＥＳ」）、端末側制御部４２は、ステップＴ８で表示名「冷蔵室１」情報を関連付けた撮像指令を出力する。

この撮像指令を受けた冷蔵庫１では、図８に示すステップＲ１で撮像指令の受信有りと判断し、撮像対象の室を、関連情報から割出す（ステップＲ２）。そして、割出された撮像対象の室（この場合冷蔵室１ａの室内照明灯３０（信号出力部）を所定のパターンで点滅させることで、撮像指令を光信号の形態でカメラ装置２（２Ａ）に送信する（ステップＲ３）。

すると、カメラ装置２Ａでは、図９のステップＳ６で「ＹＥＳ」と判断し、通常動作モードに復帰し（ステップＳ８）、室内を撮像し（ステップＳ９）、撮像データを送信する（ステップＳ１０）。この場合、この撮像データはサーバ６に送信されて保存され、サーバ６から操作端末４に送信される。そしてユーザーが操作端末４の個別指定入力部４４ｃを選択操作すれば（あるいは既に選択操作されていれば）撮像画像が画像表示部４３ａに表示される。なお、この場合、サーバ６は撮像画像を操作端末４に送信する前に、メールなどで撮像画像取得を操作端末４に通知し、操作端末４から送信要求があったときに撮像画像を操作端末４に送信するようにしても良い。

又、操作端末４は、前記判定手段の判定結果が受信可能であるときにおいて、前記撮像指令入力部４４ａが操作されてもカメラ装置２から撮像画像（又は撮像したことを知らせるメール）が当該操作端末４に送信されない場合には、例えば、画像表示部４３ａに異常を表示を行う（異常報知手段）。なお、このような事態は、庫内の食品によって光センサ１４が塞がれている場合や、当該光センサ１４や室内照明灯３０、３２の故障などが考えられる。上記異常報知としてはブザーや音声などによる報知でも良い。

上記実施形態の室内撮像システム１００において、前述したように、カメラ装置２は設置箇所を自由に選択できるように、電源としては電源線が不要な電池１６を採用している。このような事情から、カメラ装置２では、ユーザーからの撮像指令を待機する機能、及び、設定された撮像タイミングを判断する機能以外の機能を停止するスリープ制御を行う。これにより電池１６の消費量を低減する。

ところが、この室内撮像システム１００では、既述したようにユーザーが希望する撮像タイミングで撮像画像を取得することも行っており、そのためにはユーザーの希望に応じた撮像タイミングをカメラ装置２に設定（記憶）しておく必要がある。しかし、カメラ装置２で、撮像タイミングの設定操作（表示操作や入力操作）を行おうとすると、各種設定スイッチ（入力部）や、表示器、設定操作プログラムが必要で、さらに大きな容量の記憶手段も必要となる。つまりＭＭＩ（Man Machine Interface / マンマシンインターフェース）が必要となる。しかも、ユーザーが行う設定操作は、不慣れなユーザーも多く、設定にかなりの時間がかかってしまうこともある。そうすると、設定時において前記電池１６の電池消費量が多くなって、前記スリープ制御を行うとはいうものの、カメラ装置２の使用時間（稼働時間）が短くなってしまう。

この点、本実施形態によれば、各種表示及び設定入力などのための表示部４３及び入力部４４を有した操作端末４に、撮像タイミング入力部４４ｇと、この撮像タイミング入力部４４ｇが操作されたことに基づいて撮像タイミングを設定して当該撮像タイミングの設定情報をカメラ装置２に送信する端末側制御部４２を設けた。又、電源である電池１６の消費量を低減するためのスリープ制御を行うカメラ装置２に、操作端末４で設定された撮像タイミングの設定情報を記憶する情報記憶手段としての不揮発性メモリ１８ｅと、操作端末４からの撮像タイミングの設定情報を受信したことに基づいて当該撮像タイミングを不揮発性メモリ１８ｅに記憶させる記憶制御手段として機能するカメラ側制御部１８とを設けた。

この実施形態によれば、ユーザーによる任意の電源接続や充電が容易な操作端末４に、撮像タイミングの設定に必要な表示部４３、入力部４４（撮像タイミング入力部４４ｇ）、端末側制御部４２を設けて、この操作端末４側で、ユーザーによる撮像タイミングの設定を行うことができる。そして設定情報をカメラ装置２に送信することで、カメラ装置２では、当該設定情報を不揮発性メモリ１８ｅに記憶させるだけで済む。この結果、カメラ装置２の電力消費を抑制しつつ撮像タイミングを当該カメラ装置２に設定することができる。従って、カメラ装置２を所定の設置箇所に長時間設置しながら、ユーザーが任意に撮像対象の画像を取得し又設定した撮像タイミングで撮像対象の画像を取得する室内撮像システム１００にとって、大いに有効となる。

又、本実施形態によれば、カメラ装置２には、表示部と、撮像タイミングを入力設定するため入力部とを備えていない。このため、電池１６の消費量を少なくできる。

本実施形態によれば、操作端末４に入力される撮像タイミングとして、時刻を含んでいる。これによれば、ユーザーが習慣的に外出する直前の時刻（出勤時刻や買い物をする時刻）などを撮像タイミングとすれば、遠隔地（出勤先、買い物先）で食品の最新の在庫状況を知ることができる。
この場合、本実施形態によれば、撮像タイミングとして、複数の時刻を設定可能であるから、便利である。

又、本実施形態によれば、前記撮像タイミングとして、日を含むから、ユーザーが希望する日を設定できる。この場合、特売日やポイントサービスデーなどに合わせて設定でき、便利である。又、複数の日を設定できるから、さらに便利である。

又、本実施形態によれば、撮像タイミングとして、曜日を含むから、曜日によって食品の買い物の曜日が決まっている場合や、特売曜日などが決まっている場合に便利である。
又、本実施形態によれば、撮像タイミングとして、平日のみを含むから、平日のみに庫内の食品在庫状況を知りたい場合に便利である。
又、本実施形態によれば、カメラ装置２を複数設けたから、別々の設置箇所の撮像画像を取得できて、便利である。

なお、本実施形態では、カメラ装置２を冷蔵庫１内に設置したから冷蔵庫の内部情報を画像情報として取得できるが、カメラ装置２を建物の部屋内に設置すれば、その部屋の室内画像情報を取得できるものである。

又、本実施形態においては、操作端末４からカメラ装置２に与えられる撮像指令を、途中で家電製品である冷蔵庫１に与え、さらに、この冷蔵庫１が有する信号出力手段である室内照明灯３０、３２から前記カメラ装置２に与える構成としている。又、操作端末４における撮像指令入力部４４ａを、表示部４３に表示させると共にタッチパネル入力部４４Ａにより形成している。さらに、操作端末４は、前記室内照明灯３０、３２からの撮像指令をカメラ装置２が受信可能か否かを判定する判定手段を備え、操作端末４の端末側制御部４２は、前記判定手段によりカメラ装置２が室内照明灯３０、３２からの撮像指令を受信可能であることが判定されたときに撮像指令入力部４４ａを表示する。

この実施形態によれば、カメラ装置２が室内照明灯３０、３２からの撮像指令を受信できない場合には、ユーザーによる任意の撮像はできない趣旨を、撮像指令入力部４４ａの非表示をもって、ユーザーに知らせることが可能となり、且つ、撮像指令入力部４４ａを操作できなくすることができる。

この場合、本実施形態においては、操作端末４が、カメラ装置２を設置する設置箇所の名称を設定する設置箇所名設定入力部４４ｉを備え、前記判定手段が、設定された設置箇所の名称に基づいてカメラ装置２が冷蔵庫１の室内照明灯３０、３２からの撮像指令を受信可能であるか否かを判定する。これによれば、カメラ装置２が設置される室が、対カメラ装置用の撮像指令の信号出力手段である室内照明灯３０、３２を備えているかどうかを設置箇所の名称をもって判断できる。そして、カメラ装置２が設置される室が、対カメラ装置用の撮像指令の信号出力手段である室内照明灯３０、３２を備えた室に対応する設置箇所名称であれば、撮像指令の受信が可能であると判定できる。

なお、前述した操作端末４の判定手段は、カメラ装置２自身が、室内照明灯３０、３２からの撮像指令を受けたことを検知して操作端末４に通知する検知手段を備えている場合には、この検知手段の検知結果に基づいてカメラ装置２が室内照明灯３０、３２からの撮像指令を受け得るか否かを判定するようにしても良い。

又、本実施形態においては、操作端末４が、前記判定手段の判定結果が通信可能であるときに撮像指令入力部４４ａが操作されてもカメラ装置２から撮像画像が操作端末４に送信されない場合には、異常報知手段としての画像表示部４３ａに異常報知をさせる。これによれば、庫内の食品によって光センサ１４が塞がれている場合や、当該光センサ１４や室内照明灯３０、３２の故障などの異常を報知できる。

一実施形態では家電製品として冷蔵庫１を例示したが、他の家電製品であってもよい。例えば、受信手段として音センサを用いれば、エアコンやテレビの音声を対カメラ装置用の撮像指令として利用でき、冷蔵庫１の室内だけでなく、カメラ装置２を住宅７の室内を同様の手法にて撮像することができる。又、前記アクセスポイント３に操作端末における設定機能を付加することも可能である。

実施形態には、以下の発明が記載されている。
前記カメラ装置には、表示部を備えていないと共に、撮像タイミングを入力設定するため入力部を備えていない室内撮像システム。
前記操作端末に入力される撮像タイミングには、時刻を含む室内撮像システム。
前記操作端末に入力される撮像タイミングには、複数の時刻を含む室内撮像システム。
前記操作端末に入力される撮像タイミングには、日を含む室内撮像システム。

前記操作端末に入力される撮像タイミングには、複数の日を含む室内撮像システム。
前記操作端末に入力される撮像タイミングには、曜日を含む室内撮像システム。
前記操作端末に入力される撮像タイミングには、平日のみを含む室内撮像システム。
前記カメラ装置は複数ある室内撮像システム。

前記操作端末から前記カメラ装置に与えられる前記撮像指令は、途中で家電製品に与えられ、この家電製品が有する信号出力手段から前記カメラ装置に与えられる構成であり、前記撮像指令入力部は、前記表示部に表示され、前記操作端末は、前記信号出力手段からの撮像指令を前記カメラ装置が受信可能か否かを判定する判定手段を備え、前記操作端末の前記制御手段は、前記判定手段により前記カメラ装置が前記信号出力部からの撮像指令を受信可能であることが判定されたときに前記撮像指令入力部を表示する室内撮像システム。

前記カメラ装置には、当該カメラ装置が前記信号出力手段からの撮像指令を受けたことを検知して前記操作端末に通知する検知手段を備え、前記判定手段は、この検知手段の検知結果に基づいて前記信号出力手段からの撮像指令を前記カメラ装置が受信可能であるか否かを判定する室内撮像システム。

前記操作端末は、前記カメラ装置を設置する設置箇所の名称を設定する設置箇所名設定手段を備え、前記判定手段は、前記設定された設置箇所の名称に基づいて前記カメラ装置が前記信号出力手段からの撮像指令を受信可能であるか否かを判定する室内撮像システム。

前記操作端末は、前記判定手段の判定結果が受信可能であるときに前記撮像指令入力手段が操作されても前記カメラ装置から撮像画像が操作端末に送信されない場合には、異常報知をする異常報知手段を備えている室内撮像システム。
本明細書によれば、以下の課題を抽出できる。

冷蔵庫にカメラを設けること等により、遠隔地からでも例えば冷蔵庫内の食材等の情報を取得可能なものが知られている。しかしながら、いつ遠隔地のユーザから室内の情報を取得するための指示が与えられるかを把握することができないことから、常にその指示を受信可能な状態で作動する必要があり、電力消費が増加する問題があった。特に冷蔵庫などに設置されるカメラは電源が電池であり、電力消費を抑える必要性が高い。このような観点からすると、カメラには電源を消費する部品や制御は少ないほうが好ましい。一方、カメラによる撮像画像は、ユーザーがすぐに欲しい場合や、自動的に定期的に欲しい場合がある。後者の場合には、ユーザーが希望する時間（撮像タイミング）を設定しておく必要がある。そこで、カメラ装置の電力消費を抑制しつつ撮像タイミングを当該カメラ装置に設定することが可能な室内撮像システムを提供する。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

図面中、１は冷蔵庫（家電製品）、２はカメラ装置、４は操作端末、６はサーバ、１１は撮像部（撮像手段）、１４は光センサ、１８はカメラ側制御部（スリープ制御手段、記憶制御手段、撮像制御手段）、３０、３２は室内照明（信号出力手段）、３４は通信アダプタ（通信手段）、４２は端末側制御部（制御手段、判定手段、設置箇所名設定手段、異常報知手段）、４２ｅは不揮発性メモリ（情報記憶手段）、４３は表示部、４４は入力部、４４Ａはタッチパネル入力部、４４ｇは撮像タイミング入力部、１００は室内撮像システムを示す。

Claims (3)

1. 通信手段を備えるカメラ装置と、前記カメラ装置に撮像指令を出力する信号出力手段および通信手段を有する家電製品とに対して通信可能な操作端末であって、
   前記カメラ装置および前記家電製品と通信可能な通信手段と、
   入力部と、
   前記カメラ装置が撮像対象となる設置個所に設置されているか否かを判定する判定手段と、
   制御部と、を備え、
   前記制御部は、前記判定手段により前記カメラ装置が撮像対象となる設置個所に設置されていることが判定されたときに前記入力部を有効化し、有効化された前記入力部が操作されたことに基づいて、前記家電製品を介して撮像指令を前記カメラ装置に送信する操作端末。
2. 前記操作端末の前記通信手段は、前記カメラ装置と前記家電製品とに対して、それぞれ独立して通信可能である請求項１記載の操作端末。
3. 通信手段を備えるカメラ装置と、前記カメラ装置に撮像指令を出力する信号出力手段および通信手段を有する家電製品とに対して通信可能な操作端末の制御部に、
   前記カメラ装置が撮像対象となる設置個所に設置されているか否かを判定する処理と、
   前記カメラ装置が撮像対象となる設置個所に設置されていると判定されたときに、入力部を有効化する処理と、
   有効化された前記入力部が操作されたことに基づいて、前記家電製品を介して前記撮像指令を前記カメラ装置に送信する処理と、
   を実行させる操作端末のプログラム。

Images