JP4742394B2 - 遠隔制御装置、方法、プログラムおよびシステム - Google Patents

Description

本発明は撮像素子により機器固有の情報を取得し、取得した機器固有の情報に基づいて所望の機器を遠隔制御する技術に関する。

従来、複数の機器から所望の機器を単一のコントローラで簡単に制御するための技術が様々開発されている。例えば特許文献１によると、複数の機器の物理的な配置を記述した物理的トポロジマップを予めリモコン内のメモリに蓄積し、ユーザがリモコンの方向ボタンを見た目の配置どおりに操作する。リモコンがその方向ボタンの入力どおりに物理的トポロジマップを参照して辿ることで所望の機器を選択する。これによりユーザがすばやく直感的に所望の機器を選択することができる。リモコンは物理的トポロジマップを作成するために必要な機器の物理的な配置情報を無線やネットワークの特性を利用して自動的に収集するマップ作成部を有している。

また特許文献２によると、リモコン操作対象機器のそれぞれに対応したリモコン操作情報を記憶するサーバ装置を具備し、携帯リモコン端末はサーバ装置に対して無線通信手段もしくは公衆通信回線を介して予め選択したリモコン操作対象機器に対応するリモコン操作情報を要求するリモコン操作情報要求データを送信する送信部を持ち、サーバ装置はリモコン操作情報要求データに基づいて選択したリモコン操作対象機器に対応するリモコン操作情報を携帯リモコン端末に送信するように構成する。

また非特許文献１によると、携帯電話に搭載されたカスタムイメージセンサを用い、通常画像をリアルタイムに撮像しながら、情報家電からＩＤを受信する。受信したＩＤは撮像した背景画像上に重ねてディスプレイ上に表示される。ユーザはディスプレイ上で対象機器を視認しながら操作することができる。
特開２００３−２８４１６８号公報 特開２００２−２９１０７２号公報 「部分領域高速読出し機能をもつ低消費電力ＩＤ受信ＣＭＯＳイメージセンサを用いた情報家電マルチリモコン「オプトナビ」システムの提案」、映像情報メディア学会誌Ｖｏｌ．５９、Ｎｏ１２、ｐｐ．１８３０〜１８４０（２００５）

特許文献１では、機器の配置情報を収集する必要がありトポロジマップの作成が煩雑である。特許文献２では、リモコン操作対象機器を視覚的に簡単に選択できる手段の開示が全くない。また、非特許文献１では、操作対象機器の面前に携帯電話がなければ操作できない。

本発明はこのような問題点に鑑みてなされたもので、操作対象機器の面前にいなくても、遠隔から視覚的に分かりやすく所望の操作対象機器を選択できるようにし、かつ選択した操作対象機器に所望の遠隔制御を行えるようにすることを目的とする。

本発明に係る遠隔制御装置は、遠隔制御の対象となる機器を被写体とする画像と機器から光学的に発信される機器に固有の情報とを撮像素子により取得する取得部と、取得部の取得した機器の画像と機器に固有の情報とを対応づけて記憶する不揮発性の記憶媒体である記憶部と、記憶部に記憶された画像を表示する表示部と、画像と対応づけて固有の情報が記憶部に記憶された機器の内遠隔制御する所望の機器の選択および選択された機器に対する所望の制御内容の選択の指示をユーザから受け付ける指示受付部と、少なくとも機器に遠隔制御信号を送信する通信部と、指示受付部から選択された機器の制御内容に対応する遠隔制御信号を、指示受付部から選択された機器に送信するよう通信部を制御する遠隔制御部と、を備える。

本発明によると、取得部から取得された画像と機器に固有の情報とを対応づけて不揮発性の記憶媒体に記憶しておく。以後は、この記憶媒体に記憶された画像を表示するとともに、記憶媒体に記憶された固有の情報に基づいて所望の機器を選び、その機器についての所望の遠隔制御内容を選んで、選ばれた遠隔制御内容に対応する遠隔制御信号を、選択された機器に送信する。

本発明では、従来技術と異なり、機器を制御したい場合その都度機器の面前で機器を撮像して固有の情報を取得する必要がない。このため、機器に遠隔制御信号を送る経路が確保されていれば、機器の面前であるか否かにかかわらず、画像を見ながら視覚的に分かりやすく簡単に所望の機器を遠隔制御できる。

好ましくは、取得部は機器に固有の情報として機器のアドレスを取得し、遠隔制御部は機器に関する情報の送信を要求する信号を機器のアドレスに送信するよう通信部を制御し、通信部は遠隔制御部の制御に応じて機器に関する情報の送信を要求する信号を機器のアドレスに送信するとともに、機器から機器に関する情報を受信し、表示部は通信部の受信した機器に関する情報を画像と対応づけて表示する。

機器に関する情報は機器の状態または機器の種類のうち少なくともいずれか１つを含む。

機器の種類や状態のような機器に関する静的・動的な情報を受けたい場合は、機器から固有の情報に含めてアドレスを発信し、機器の遠隔制御の必要が生じる都度、そのアドレスにアクセスして情報を取得することもできる。

好ましくは、取得部は機器に固有の情報として機器のアドレスを取得し、遠隔制御部は機器の遠隔制御に関する情報の送信を要求する信号を機器のアドレスに送信するよう通信部を制御し、通信部は遠隔制御部の制御に応じて機器の遠隔制御に関する情報の送信を要求する信号を機器のアドレスに送信するとともに、機器から機器の遠隔制御に関する情報を受信する。

通信部はネットワークを介してサーバと接続しており、遠隔制御部は機器の遠隔制御に関する情報の送信を要求する信号をサーバに送信するよう通信部を制御し、通信部は遠隔制御部の制御に応じて機器の遠隔制御に関する情報の送信を要求する信号をサーバに送信するとともに、サーバから機器の遠隔制御に関する情報を受信する。

取得部は機器に固有の情報としてサーバのアドレスを取得し、遠隔制御部は機器の遠隔制御に関する情報の送信を要求する信号をサーバのアドレスに送信するよう通信部を制御するとよい。

機器の遠隔制御に関する情報は、機器の種類、遠隔制御部が機器の遠隔制御信号の送信を制御するためのプログラムまたは機器の遠隔操作方法のうち少なくともいずれか１つを含む。

機器の種類、制御プログラム、遠隔制御方法のような機器の遠隔制御に関する静的・動的な情報を受けたい場合は、機器から固有の情報に含めて機器あるいはその機器の販売元・製造元の管理するサーバのアドレスを発信し、機器の遠隔制御の必要が生じる都度、そのアドレスにアクセスして最新の情報を取得することもできる。

この装置は、機器の種類または機器の遠隔操作案内を含む機器に関する情報を音声で案内する音声案内部をさらに備えていてもよい。

視覚的な案内だけでは不十分な場合は、補助的に音声を用いて機器の遠隔操作に関する情報を案内すると便利である。

また、指示受付部はユーザの音声を認識することにより指示を受け付けてもよい。

ユーザの手動操作が不便な場合は、音声で遠隔制御の指示が行え、便利である。

本発明に係る遠隔制御方法は、遠隔制御の対象となる機器を被写体とする画像と機器から光学的に発信される機器に固有の情報とを撮像素子により取得するステップと、取得した機器の画像と機器に固有の情報とを対応づけて不揮発性の記憶媒体に記憶するステップと、記憶媒体に記憶された画像を表示するステップと、記憶媒体に画像と対応づけて固有の情報が記憶された機器の内遠隔制御する所望の機器の選択および選択された機器に対する所望の制御内容の選択の指示をユーザから受け付けるステップと、選択された機器の制御内容に対応する遠隔制御信号を、選択された機器に送信するステップと、を含む。

本発明に係るプログラムは、遠隔制御の対象となる機器を被写体とする画像と機器から光学的に発信される機器に固有の情報とを撮像素子により取得するステップと、取得した機器の画像と機器に固有の情報とを対応づけて不揮発性の記憶媒体に記憶するステップと、記憶媒体に記憶された画像を表示するステップと、記憶媒体に画像と対応づけて固有の情報が記憶された機器の内遠隔制御する所望の機器の選択および選択された機器に対する所望の制御内容の選択の指示をユーザから受け付けるステップと、選択された機器の制御内容に対応する遠隔制御信号を、選択された機器に送信するステップと、をコンピュータに実行させる。

本発明に係る遠隔制御システムは、固有の情報を光学的に発信する機器と、遠隔制御の対象となる機器を被写体とする画像と機器から光学的に発信される機器に固有の情報とを撮像素子により取得する取得部と、取得部の取得した機器の画像と機器に固有の情報とを対応づけて記憶する不揮発性の記憶媒体である記憶部と、記憶部に記憶された画像を表示する表示部と、記憶部に画像と対応づけて固有の情報が記憶された機器の内遠隔制御する所望の機器の選択および選択された機器に対する所望の制御内容の選択の指示をユーザから受け付ける指示受付部と、少なくとも機器に遠隔制御信号を送信する通信部と、指示受付部から選択された機器の制御内容に対応する遠隔制御信号を、指示受付部から選択された機器に送信するよう通信部を制御する遠隔制御部と、を備え、機器は通信部から送信された遠隔制御信号を受信し、受信した遠隔制御信号に対応する制御内容に従って動作する。

本発明によると、取得部から取得された画像と機器に固有の情報とを対応づけて不揮発性の記憶媒体に記憶しておく。以後は、この記憶媒体に記憶された画像を表示するとともに、記憶媒体に記憶された固有の情報に基づいて所望の機器を選び、その機器についての所望の遠隔制御内容を選んで、選ばれた遠隔制御内容に対応する遠隔制御信号を、選択された機器に送信する。

本発明では、従来技術と異なり、機器を制御したい場合その都度機器の面前で機器に固有の情報を取得する必要がない。このため、機器に遠隔制御信号を送る経路が確保されていれば、機器の面前であるか否かにかかわらず、画像を見ながら視覚的に分かりやすく簡単に所望の機器を遠隔制御できる。

＜第１実施形態＞
図１は本発明の好ましい第１の実施形態に係る遠隔制御システムの概略構成図である。このシステムは、画像記憶装置１と、画像記憶装置１によって制御されるＡＶ機器、パソコン、調理機器などの各種の機器２とを含む。画像記憶装置１は、基地局８、移動体通信網７、インターネット６およびルータ５を介した外部ネットワークか、無線ステーション４との無線通信を介してＬＡＮ３と接続する。

機器２はＬＡＮ３およびルータ５を介してインターネット６と接続しており、画像記憶装置１は、外部ネットワークまたは無線通信によって機器２と接続することができる。

機器２は自己に固有の情報（機器２の識別番号、ＩＤ、シリアル番号、メーカ番号、型式番号、機種、外部ネットワーク上のアドレスなど機器２に固有の情報であれば何でも可）である機器固有情報を赤外線信号などの光学的信号に重畳して発信する固有情報発信部２１と、画像記憶装置１からの遠隔制御信号（赤外線信号その他の光学的信号あるいはBluetoothその他の電気的信号で発信）を受信する受信部２２とを備える。固有情報発信部２１は発光ダイオードや赤外線ＬＥＤなどで構成される。

図２は、本発明の好ましい実施形態に係る画像記憶装置１の機能ブロック図である。画像記憶装置１は、撮像レンズ、ＣＭＯＳやＣＣＤなどの固体撮像素子、ドライバが固体撮像素子から読み取ったアナログ画像をデジタル信号に処理するためのアナログフロントエンドＩＣ、アナログフロントエンドＩＣからのデジタル画像信号を処理するＤＳＰ（Digital Signal Processor）等の信号処理ＩＣなどを含んだカメラ部２０、ワンチップマイコンなどで構成されカメラ部２０の撮像動作を制御するカメラ制御部２１を含む。

また、画像記憶装置１は、テンキーや十字キーなどで構成された操作部１４への入力操作、リモコン信号送受信部２２が外部から受信した各種の操作信号、カメラ部２０の取得した画像や機器固有情報などに従って表示部１３の表示制御を行う表示制御部２６を備えている。

また、画像記憶装置１は、各部の動作制御を統括するＣＰＵ１０、各種データやプログラムを記憶するＲＯＭ１２、ＣＰＵ１０の処理に必要な各種データを記憶するＲＡＭ１１を備えている。

特にＲＯＭ１２には、ＣＰＵ１０が操作部１４への操作に応じた機器２の制御コードを重畳した遠隔制御信号を発信するようリモコン信号制御部２３または無線制御部１６を制御するための制御プログラムおよび操作部１４の各部の操作とその操作によって重畳される制御コードとの関係を視覚的に表示するリモコンＧＵＩを、複数存在する機器２ごとに格納している。

撮像レンズには、例えば光学２倍ズームレンズが用いられ、操作部１４から入力される倍率変更操作に応じてモータドライバが撮像レンズを望遠（テレ）側又は広角（ワイド）側に進退駆動することで光学ズーム倍率が変更される。撮像レンズの倍率は上記に限定されない。撮像レンズには絞りが設けられており、モータドライバを介して絞りを制御して適正な露光量を得る。

操作部１４によって撮影モードが設定されると、ＣＰＵ１０は、動画（スルー画）を表示部１３に表示させ、撮影画角を確認可能にする。即ち、固体撮像素子は、撮像レンズの受光面に結像された被写体光をその光量に応じた量の信号電荷に変換する。このようにして蓄積された各画素の信号電荷は、ＣＰＵ１０の指令に従いタイミングジェネレータから与えられる駆動パルスに基づき、信号電荷に応じた電圧信号（画像信号）としてドライバによって順次個別に読み出され、アナログフロントエンド回路でデジタル信号に変換されてそれぞれ信号処理回路に加えられる。

信号処理回路は、ゲイン調整回路及びＡ／Ｄ変換器を含み、輝度・色差信号生成回路、ガンマ補正回路、シャープネス補正回路、コントラスト補正回路、ホワイトバランス補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段であり、ＣＰＵ１０からのコマンドに従って画像信号を処理する。

信号処理回路に入力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｌ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、ＶＲＡＭに格納される。

撮影画像を表示部１３にモニタ出力する場合、ＶＲＡＭからＹＣ信号が読み出され、表示制御部２６に送られる。表示制御部２６は、入力されたＹＣ信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部１３に出力する。

所定のフレームレートで処理された各フレームのＹＣ信号は、ＶＲＡＭのＡ領域とＢ領域とに交互に書き込まれ、ＶＲＡＭのＡ領域及びＢ領域のうち、ＹＣ信号が書き込まれている方の領域以外の領域から、書き込まれているＹＣ信号が読み出される。このようにしてＶＲＡＭ内のＹＣ信号が定期的に書き換えられ、そのＹＣ信号から生成される映像信号が表示部１３に供給されることにより、撮像中の映像がリアルタイムに表示部１３に表示される。ユーザは、表示部１３に表示される映像（スルー）によって撮影画角を確認できる。

ここで、操作部１４に設けられた撮影キーが押下されると、記憶用の撮影動作がスタートする。撮影キーの押下に応動して取得された画像データは信号処理回路において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、ＲＡＭ１１に格納される。

ＲＡＭ１１に格納されたＹ／Ｃ信号は、圧縮伸長処理回路によって所定のフォーマットに従って圧縮された後、メモリカード２７にExifファイルなどの所定フォーマットの画像ファイルとして記憶される。画像ファイルはフラッシュメモリ２８に記憶することもできる。

操作部１４によって再生モードが設定されると、メモリカード２８に記憶されている最終の画像ファイル（最後に記憶されたファイル）の圧縮データが読み出される。最後の記憶に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸長処理回路を介して非圧縮のＹＣ信号に伸長され、ＶＲＡＭに保存される。ＶＲＡＭに保存されたＹＣ信号は、表示制御部２６に加えられる。表示制御部２６は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１３に出力する。これにより、表示部１３にはメモリカード２７に記憶されている最終コマのコマ画像が表示される。

その後、操作部１４に設けられた十字キーの右キーが押されると、順方向にコマ送りされ、十字キーの左キーが押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルがメモリカード２７から読み出され、上記と同様にしてコマ画像が表示部１３に再生される。尚、最終コマのコマ画像が表示されている状態で順方向にコマ送りされると、メモリカード２７に記憶されている１コマ目の画像ファイルが読み出され、１コマ目のコマ画像が表示部１３に再生される。

記憶させる画像ファイルの画素数は、例えば、2832×2128（６Ｍ）、2048×1536（３Ｍ）、1280×960（１Ｍ）、640×480（ＶＧＡ）の何れかであり、記憶画質と記憶画素数との組合せによって撮影画像のデータ量（ファイルサイズ）が変化する。

リモコン送受信部２２は、受光素子を備える。図２はカメラ部２０とリモコン信号送受信部２２とは別体で示されているが、実際には、受光素子は、カメラ部２０の固体撮像素子と共通する。このため、カメラ部２０が機器２の固有情報発信部２１を被写体Ｓとして撮像すると、画像と合わせて、各機器２が光学的に発信した機器固有情報が取得できる。

リモコン信号制御部２３は、外部の機器２からリモコン送受信部２２に入射した光学信号に重畳されている機器固有情報をデジタルデータに変換してＣＰＵ１０に出力する。

ＣＰＵ１０は、リモコン信号制御部２３から入力した機器固有情報に応じ、機器固有情報で特定される機器２に固有の制御コードを規定したテーブルをＲＯＭ１２からＲＡＭ１１に読み出す。そして、操作部１４の操作に応じた特定の機器２の制御コードをＲＡＭ１１から読み出して、リモコン信号制御部２３に送る。

リモコン送受信部２２は発光ダイオードや赤外線ＬＥＤなどで構成された光学的信号発信手段を備える。リモコン信号制御部２３は、ＣＰＵ１０から指示された制御コードその他のデータを重畳した光学的信号を機器２に発信する。このように、画像記憶装置１から機器２に光学的な制御信号を送ることで操作部１４による特定の機器２の遠隔操作が可能である。

また、画像記憶装置１は、基地局８あるいは無線ステーション４との間で、移動体通信電波、IrDA、Bluetooth、無線ＬＡＮ、Wireless USBなどの無線信号を送受信する無線送受信部１７と、受信した無線信号をデータに変換してＣＰＵ１０に送信したり、あるいはＣＰＵ１０から指示された遠隔制御信号を無線信号に重畳する無線制御部１６、ＵＳＢその他の規格に従ってパソコンやプリンタなどの各種家電機器と通信する外部インターフェース部１５を備える。

ＣＰＵ１０は、操作部１４の操作に応じた特定の機器２の制御コードをＲＡＭ１１から読み出して、無線制御部１６に送ることもできる。無線制御部１６は、ＣＰＵ１０から入力された制御コードその他のデータを重畳した無線信号を機器２に発信する。この無線信号は無線ステーション４あるいは基地局８で受信されてＬＡＮ３または外部ネットワーク経由で機器２に到達する。機器２は、制御コードを受信すると、制御コードに応じた動作を行う。このように、画像記憶装置１から機器２に無線信号を送ることで操作部１４による特定の機器２の遠隔操作も可能である。

画像記憶装置１は、音声を発するスピーカなどの拡声手段および音声を受けて電気信号に変換するマイクなどの受話手段を含む送受話部１９、拡声手段の発話内容を制御する音声制御部１８を備える。

ＣＰＵ１０は、送受話部１９の受けた音声に応じた特定の機器２の制御コードをＲＡＭ１１から読み出して、リモコン信号制御部２３あるいは無線制御部１６に送ることもできる。すなわち、特定の機器２に光学的信号あるいは無線信号で発信する制御コードの指定は、操作部１４への入力操作に限られず、音声入力でも行える。

また、ＣＰＵ１０は、操作部１４への入力操作や送受話部１９への音声に応じ、制御コードをリモコン信号送受信部２２かまたは無線送受信部１７のいずれから発信するかを選択する。画像記憶装置１が制御対象となる機器２の面前であればリモコン信号送受信部２２から制御コードを発信すればよいが、そうでない場合は、ユーザが無線送受信部１７から制御コードを発信する旨を操作部１４への入力操作や送受話部１９への音声によってＣＰＵ１０に指示する。ＣＰＵ１０はこの指示に応じ、無線送受信部１７から制御コードを発信するよう制御を行う。

図３は画像記憶装置１の操作画像取得処理の流れを示すフローチャートである。

まず、Ｓ１では、ＣＰＵ１０は、操作部１４に入力された撮像指示に応じ、カメラ制御部２１に静止画取得動作の開始を指令する。カメラ制御部２１は、カメラ部２０を制御し、静止画および機器固有情報を取得する。静止画はいったんＲＡＭ１１に記憶される。

Ｓ２では、ＣＰＵ１０は、カメラ部２０の取得した画像および画像中に被写体として配置された各々の機器２を機器固有情報に基づいて識別する。

Ｓ３では、ＣＰＵ１０は、カメラ部２０の取得した画像と機器固有情報と識別した機器２とを対応づけてメモリカード２７、フラッシュメモリ２８などの不揮発性記憶媒体に記憶する。記憶される静止画の数は単数でも複数でもよい。

図４は画像記憶装置１の遠隔操作処理の流れを示すフローチャートである。

Ｓ１１では、ＣＰＵ１０は表示制御部２６に指令して、操作画像取得処理により不揮発性記憶媒体に記憶された静止画をＲＡＭ１１に読み出して表示部１３に表示させる。なお静止画が複数存在する場合は、操作部１４への手動入力あるいは送受話部１９への音声入力により、所望の１つの静止画を選択させ、選択された静止画を表示する。

Ｓ１２では、ＣＰＵ１０は、操作部１４への手動入力あるいは送受話部１９への音声入力によって、画像に対応して不揮発性記憶媒体に記憶された機器２の中から、遠隔制御を希望する機器２を選択するよう表示部１３への表示あるいは送受話部１９の音声案内などで促す。ＣＰＵ１０は、操作部１４への手動入力あるいは送受話部１９への音声入力に応じ、機器２を選択する。

Ｓ１３では、ＣＰＵ１０は選択した機器２に対応する制御プログラムをＲＯＭ１２からＲＡＭ１１に読み出して実行する。ＣＰＵ１０は制御プログラムの指令に従い、選択した機器２に対応するＧＵＩをＲＯＭ１２からＲＡＭ１１に読み出した上、表示制御部２６に指令してＧＵＩを表示部１３に表示させる。ＧＵＩは画像と重ねて表示してもよい。

Ｓ１４では、ＣＰＵ１０はリモコン信号制御部２３に指令して、操作部１４への手動入力あるいは送受話部１９への音声入力に応じ、リモコン信号送受信部２２、無線送受信部１７、あるいは外部インターフェース部１５から、選択した機器２に対し、所望の制御内容を規定する制御コードを送信する。

このように、画像記憶装置１は、カメラ部２０による撮像動作により、機器２を被写体とする静止画と機器２から発信される機器固有情報とを取得する。取得された静止画と機器固有情報で識別される機器２は対応づけられて記憶される。その後、画像記憶装置１は、記憶した静止画を表示するとともに、静止画と対応する機器２の中から所望の機器２を選択するよう促し、選択された機器２に対し所望の制御コードを送って遠隔制御する。

画像記憶装置１が機器２の面前で機器２から機器固有情報を取得しなくても、すでに記憶された画像と機器固有情報に基づいて無線送受信部１７で制御コードを所望の機器２に送り、任意の場所での機器２の遠隔操作を実現できる。

＜第２実施形態＞
図５は本発明の好ましい第２の実施形態に係る遠隔制御システムの概略構成図である。このシステムは、画像記憶装置１と機器２とを備える。このシステムでは、画像記憶装置１は、無線ステーション４との無線通信を介してＬＡＮ３と接続する。その他の構成は第１実施形態と同様であるため詳細は省略する。

図６は画像記憶装置１の操作画像取得処理の流れを示すフローチャートである。

まず、Ｓ２１では、ＣＰＵ１０は、操作部１４に入力された撮像指示に応じ、カメラ制御部２１に静止画取得動作の開始を指令する。カメラ制御部２１は、カメラ部２０を制御し、静止画と機器固有情報を取得する。

Ｓ２２では、ＣＰＵ１０は、カメラ部２０の取得した画像および機器固有情報に基づき、画像中に被写体として配置された各々の機器２を識別する。機器固有情報には、ＬＡＮ３上の機器２のアドレスが含まれている。

Ｓ２３では、ＣＰＵ１０は、各機器２のアドレスに対し、機器２のステータス、制御コードテーブル、制御プログラム、ＧＵＩ、機器２の操作方法を説明するプログラムや文書などの機器２の制御に関する情報を要求し、要求に応じて送信されてきた情報を受信する。

Ｓ２４では、ＣＰＵ１０は、カメラ部２０の取得した画像と、機器固有情報と、機器２の制御に関する情報とを対応づけて不揮発性記憶媒体に記憶する。

このように、画像と機器固有情報取得後に、機器２の制御に関する情報をＬＡＮ３経由で取得し、画像と合わせて記憶しておき、実際の機器２の操作時にその情報を活用することで、機器２の遠隔制御がより容易になる。

＜第３実施形態＞
図７は本発明の好ましい第３の実施形態に係る遠隔制御システムの概略構成図である。このシステムは、画像記憶装置１と、機器２と、機器２のメーカのサーバ３０を含む。画像記憶装置１は、インターネット６を介してサーバ３０と接続する。その他の構成は第１実施形態と同様であるため図示と説明は省略する。

画像記憶装置１は、第２実施形態と同様の操作画像取得処理を行う。ただし、Ｓ２３では、機器２ではなく、サーバ３０に対して機器２の制御に関する情報を要求し、この要求に応じてサーバ３０が機器操作データベース３１から当該機器２の制御に関する情報を抽出して画像記憶装置１に送る。画像記憶装置１は、サーバ３０から機器２の制御に関する情報を受信し、画像および機器固有情報と対応づけて不揮発性記憶媒体に記憶する。

こうすると、機器２自身が機器２の制御に関する情報を保有しておく必要がないし、最新の情報をサーバ３０から送ることができる。

なお、サーバ３０のアドレスは、予め画像記憶装置１のＲＯＭ１２に記憶させておいてもよいし、機器２の固有情報発信部２１が発信する機器固有情報に含めて画像記憶装置１に発信してもよい。

図８は機器２からサーバ３０のアドレスを送信する場合のデータの流れを示す。

Ｓ２３では、機器２の固有情報発信部２１は、サーバ３０のアドレスを機器固有情報に含めて発信する。画像記憶装置１は、機器固有情報からサーバ３０のアドレスを認識する。あるいは、機器固有情報に機器２のアドレスしか含まれていない場合でも、画像記憶装置１は、サーバ３０のアドレスを送信するよう、ＬＡＮ３を介して機器２に要求し、ＬＡＮ３経由でサーバ３０のアドレスを機器２から送信させてもよい。画像記憶装置１は、機器２から送信されたサーバ３０のアドレスにアクセスし、機器２の制御に関する情報を要求する。サーバ３０はこの要求に応じて機器２の制御に関する情報を画像記憶装置１に送る。画像記憶装置１は、サーバ３０から機器２の制御に関する情報を受信する。

こうすると、機器２がサーバ３０のアドレスを送ることができれば、画像記憶装置１はどのような機器２についても対応するメーカのサーバ３０にアクセスして最新情報を取得することができる。

＜第４実施形態＞
第１実施形態の遠隔操作処理において、操作したい所望の機器２の指定は、音声で行うこともできる。

図９は本発明の好ましい第４の実施形態に係る遠隔操作処理の流れを示すフローチャートである。

Ｓ３１では、ＣＰＵ１０は表示制御部２６に指令して、操作画像取得処理により不揮発性記憶媒体に記憶された静止画を表示部１３に表示させる。なお静止画が複数存在する場合は、送受話部１９への音声入力により、所望の１つの静止画を選択させ、選択された静止画を表示する。

Ｓ３２では、ＣＰＵ１０は送受話部１９への音声入力による機器２の選択指示（例えば「ビデオ」のような機器の種類の発声）に応じ、画像に対応する機器２の内ユーザが遠隔操作を希望する機器２を選択する。

Ｓ３３では、ＣＰＵ１０は選択した機器２に対応するＧＵＩをＲＯＭ１２からＲＡＭ１１に読み出した上、表示制御部２６に指令してＧＵＩを表示部１３に表示させる。

Ｓ３４では、ＣＰＵ１０は、音声制御部１８が認識した送受話部１９への入力音声の内容に応じ、リモコン信号送受信部２２、無線送受信部１７、あるいは外部インターフェース部１５から、選択した機器２に対し、制御コードを送信する。例えば、「再生」という発声が送受話部１９へ入力され、これに応じて音声制御部１８が「再生」という単語を認識すれば、ＣＰＵ１０はリモコン信号制御部２３等に指令して、「ビデオデッキ」である機器２に対し、映像の再生を開始する制御コードを送信する。

その他、第３実施形態のサーバ３０への機器２の制御に関する情報の要求も、送受話部１９への音声入力に応じて行ってもよい。

＜第５実施形態＞
第１実施形態の操作画像取得処理においては、画像が取得されたこと、機器固有情報で識別された機器２の種類、操作手順、操作結果などを音声で案内してもよい。

図１０は本発明の好ましい第５の実施形態に係る操作画像取得処理の流れを示すフローチャートである。

Ｓ４１では、ＣＰＵ１０は、操作部１４または送受話部１９へ入力された撮像指示に応じ、カメラ制御部２１に静止画取得動作の開始を指令する。カメラ制御部２１は、カメラ部２０を制御し、静止画および機器固有情報を取得する。静止画および機器固有情報はいったんＲＡＭ１１に記憶される。画像の記憶が終了すると、ＣＰＵ１０は音声制御部１８に指令し、「撮影しました」などと画像の記憶が完了した旨の案内メッセージを送受話部１９から拡声させる。

Ｓ４２では、ＣＰＵ１０は、ＲＡＭ１１の機器固有情報に基づき、各々の機器２を識別する。各々の機器２の識別が完了すると、ＣＰＵ１０は音声制御部１８に指令し、「テレビ、ビデオがあります。記憶しますか」などと識別した機器２の種別および画像を記憶するか否かを確認する案内メッセージを送受話部１９から拡声させる。

Ｓ４３では、ＣＰＵ１０は、操作部１４または送受話部１９へ入力された画像記憶指示に応じ、カメラ部２０の取得した画像と各機器２の機器固有情報とを対応づけて不揮発性記憶媒体に記憶する。

さらに、遠隔操作処理において、音声で操作したい所望の機器２を指定する場合の処理の流れは、次のようになる。

Ｓ５１では、ＣＰＵ１０は表示制御部２６に指令して、操作画像取得処理により不揮発性記憶媒体に記憶された静止画を表示部１３に表示させる。この際、ＣＰＵ１０は音声制御部１８に指令し、「テレビ、ビデオがあります。」などと不揮発性記憶媒体の機器固有情報で識別される機器２の種別の案内メッセージを送受話部１９から拡声させる。

Ｓ５２では、ＣＰＵ１０は送受話部１９への音声入力による機器２の選択指示（例えば「ビデオ」のような機器の種類の発声）に応じ、ユーザが遠隔操作を希望する機器２を選択する。

Ｓ５３では、ＣＰＵ１０は選択した機器２に対応するＧＵＩ（例えば、「ビデオ」の遠隔制御コードである再生、停止、取り出しなどの選択メニュー）をＲＯＭ１２からＲＡＭ１１に読み出した上、表示制御部２６に指令して表示部１３に表示させる。

Ｓ５４では、ＣＰＵ１０はリモコン信号制御部２３に指令して、送受話部１９への音声入力に応じ、リモコン信号送受信部２２、無線送受信部１７、あるいは外部インターフェース部１５から、選択した機器２に対し、制御コードを送信する。例えば、「再生」という発声が送受話部１９へ入力されれば、ＣＰＵ１０はリモコン信号制御部２３等に指令して、「ビデオデッキ」である機器２に対し、映像の再生を開始する制御コードを送信する。

このように、音声による案内や音声による遠隔制御の指示を行えるようにしてもよい。

第１実施形態に係る遠隔制御システムの構成図 画像記憶装置の構成図 第１実施形態に係る操作画像取得処理の流れを示すフローチャート 第１実施形態に係る遠隔操作処理の流れを示すフローチャート 第２実施形態に係る遠隔制御システムの構成図 第２実施形態に係る操作画像取得処理の流れを示すフローチャート 第３実施形態に係る遠隔制御システムの構成図 第３実施形態に係る遠隔制御システム（機器からサーバのアドレスが通知）の構成図 第４実施形態に係る遠隔操作処理の流れを示すフローチャート 第５実施形態に係る操作画像取得処理の流れを示すフローチャート 第５実施形態に係る遠隔操作処理の流れを示すフローチャート

符号の説明

１：画像記憶装置、２：機器、３：ＬＡＮ、４：無線ステーション、５：ルータ、６：インターネット、７：移動体通信網、８：基地局、１０：ＣＰＵ、１１：ＲＡＭ、１２：ＲＯＭ、１３：表示部、１４：操作部、１６：無線制御部、１７：無線送受信部、１８：音声制御部、１９：送受話部、２０：カメラ部、２１：カメラ制御部、２２：リモコン信号送受信部、２３：リモコン信号制御部

Claims (11)

1. 遠隔制御の対象となる各機器を被写体とする単数の画像および前記各機器から光学的に発信される各機器に固有の情報を撮像素子により取得する取得部と、
   前記取得部の取得した各機器を被写体とする単数の画像と前記各機器に固有の情報とを対応づけて記憶する不揮発性の記憶媒体である記憶部と、
   前記記憶部に記憶された画像を表示し、前記画像と対応づけて前記固有の情報が前記記憶部に記憶された各機器の中から遠隔制御する所望の機器の選択を促す表示部と、
   前記画像と対応づけて前記固有の情報が前記記憶部に記憶された各機器の内、遠隔制御する所望の機器の選択および選択された機器に対する所望の制御内容の選択の指示をユーザから受け付ける指示受付部と、
   少なくとも前記機器に遠隔制御信号を送信する通信部と、
   前記指示受付部から選択された機器の制御内容に対応する遠隔制御信号を、前記指示受付部から選択された機器に送信するよう前記通信部を制御する遠隔制御部と、
   を備える遠隔制御装置。
2. 前記取得部は前記機器に固有の情報として前記機器のアドレスを取得し、
   前記遠隔制御部は前記機器に関する情報の送信を要求する信号を前記機器のアドレスに送信するよう前記通信部を制御し、
   前記通信部は前記遠隔制御部の制御に応じて前記機器に関する情報の送信を要求する信号を前記機器のアドレスに送信するとともに、前記機器から前記機器に関する情報を受信し、
   前記記憶部は前記通信部の受信した前記機器に関する情報を前記画像および前記機器に固有の情報と対応づけて記憶する請求項１に記載の遠隔制御装置。
3. 前記取得部は前記機器に固有の情報として前記機器のアドレスを取得し、
   前記遠隔制御部は前記機器の遠隔制御に関する情報の送信を要求する信号を前記機器のアドレスに送信するよう前記通信部を制御し、
   前記通信部は前記遠隔制御部の制御に応じて前記機器の遠隔制御に関する情報の送信を要求する信号を前記機器のアドレスに送信するとともに、前記機器から前記機器の遠隔制御に関する情報を受信し、
   前記記憶部は前記通信部の受信した前記機器の遠隔制御に関する情報を前記画像および前記機器に固有の情報と対応づけて記憶する請求項１に記載の遠隔制御装置。
4. 前記通信部はネットワークを介してサーバと接続しており、
   前記遠隔制御部は前記機器の遠隔制御に関する情報の送信を要求する信号を前記サーバに送信するよう前記通信部を制御し、
   前記通信部は前記遠隔制御部の制御に応じて前記機器の遠隔制御に関する情報の送信を要求する信号を前記サーバに送信するとともに、前記サーバから前記機器の遠隔制御に関する情報を受信し、
   前記記憶部は前記通信部の受信した前記機器の遠隔制御に関する情報を前記画像および前記機器に固有の情報と対応づけて記憶する請求項１に記載の遠隔制御装置。
5. 前記取得部は前記機器に固有の情報として前記サーバのアドレスを取得し、
   前記遠隔制御部は前記機器の遠隔制御に関する情報の送信を要求する信号を前記サーバのアドレスに送信するよう前記通信部を制御する請求項４に記載の遠隔制御装置。
6. 前記機器の遠隔制御に関する情報は、前記機器の種類、前記遠隔制御部が前記機器の遠隔制御信号の送信を制御するためのプログラムまたは前記機器の遠隔操作方法のうち少なくともいずれか１つを含む請求項４または５に記載の遠隔制御装置。
7. 前記機器の種類または前記機器の遠隔操作案内を含む前記機器に関する情報を音声で案内する音声案内部をさらに備える請求項１〜６のいずれかに記載の遠隔制御装置。
8. 前記指示受付部は前記ユーザの音声を認識することにより指示を受け付ける請求項１〜７のいずれかに記載の遠隔制御装置。
9. 遠隔制御の対象となる各機器を被写体とする単数の画像および前記各機器から光学的に発信される各機器に固有の情報を撮像素子により取得するステップと、
   取得した各機器を被写体とする単数の画像と前記各機器に固有の情報とを対応づけて不揮発性の記憶媒体に記憶するステップと、
   前記記憶媒体に記憶された画像を表示し、前記画像と対応づけて前記固有の情報が前記記憶媒体に記憶された各機器の中から遠隔制御する所望の機器の選択を促すステップと、
   前記記憶媒体に画像と対応づけて固有の情報が記憶された各機器の内、遠隔制御する所望の機器の選択および選択された機器に対する所望の制御内容の選択の指示をユーザから受け付けるステップと、
   選択された機器の制御内容に対応する遠隔制御信号を、選択された機器に送信するステップと、
   を含む遠隔制御方法。
10. 遠隔制御の対象となる各機器を被写体とする単数の画像および前記各機器から光学的に発信される各機器に固有の情報を撮像素子により取得するステップと、
    取得した各機器を被写体とする単数の画像と前記各機器に固有の情報とを対応づけて不揮発性の記憶媒体に記憶するステップと、
    前記記憶媒体に記憶された画像を表示し、前記画像と対応づけて前記固有の情報が前記記憶媒体に記憶された各機器の中から遠隔制御する所望の機器の選択を促すステップと、
    前記記憶媒体に画像と対応づけて固有の情報が記憶された各機器の内、遠隔制御する所望の機器の選択および選択された機器に対する所望の制御内容の選択の指示をユーザから受け付けるステップと、
    選択された機器の制御内容に対応する遠隔制御信号を、選択された機器に送信するステップと、
    をコンピュータに実行させる遠隔制御プログラム。
11. 固有の情報を光学的に発信する各機器と、
    遠隔制御の対象となる各機器を被写体とする単数の画像および前記各機器から光学的に発信される各機器に固有の情報を撮像素子により取得する取得部と、
    前記取得部の取得した各機器を被写体とする単数の画像と前記各機器に固有の情報とを対応づけて記憶する不揮発性の記憶媒体である記憶部と、
    前記記憶部に記憶された画像を表示し、前記画像と対応づけて前記固有の情報が前記記憶部に記憶された各機器の中から遠隔制御する所望の機器の選択を促す表示部と、
    前記記憶部に画像と対応づけて固有の情報が記憶された各機器の内、遠隔制御する所望の機器の選択および選択された機器に対する所望の制御内容の選択の指示をユーザから受け付ける指示受付部と、
    少なくとも前記機器に遠隔制御信号を送信する通信部と、
    前記指示受付部から選択された機器の制御内容に対応する遠隔制御信号を、前記指示受付部から選択された機器に送信するよう前記通信部を制御する遠隔制御部と、
    を備え、
    前記機器は前記通信部から送信された遠隔制御信号を受信し、受信した遠隔制御信号に対応する制御内容に従って動作する遠隔制御システム。

Images