JP4719943B2 - 遠隔制御装置、遠隔制御システムおよび機器固有情報表示方法 - Google Patents

Description

本発明は撮像素子により機器固有の情報を取得し、取得した機器固有の情報に基づいて所望の機器を遠隔制御する技術に関する。

近年、単一のコントローラで複数の機器から所望の機器を直感的に分かりやすく制御するための技術が様々開発されている。例えば非特許文献１によると、携帯電話に搭載されたカスタムイメージセンサを用い、通常画像をリアルタイムに撮像しながら、情報家電からＩＤを受信する。受信したＩＤは撮像した背景画像上に重ねてディスプレイ上に表示される。ユーザはディスプレイ上で対象機器とそのＩＤを視認しながら操作することができる。
「部分領域高速読出し機能をもつ低消費電力ＩＤ受信ＣＭＯＳイメージセンサを用いた情報家電マルチリモコン「オプトナビ」システムの提案」、映像情報メディア学会誌Ｖｏｌ．５９、Ｎｏ１２、ｐｐ．１８３０〜１８４０（２００５）

非特許文献１では、スリープ状態など実質的な操作ができないような機器についてもＩＤが表示され、他の機器のＩＤ表示の邪魔である。スリープ状態の機器のＩＤ表示が増えると、画面がそれだけ乱雑になり、操作の妨げになるし、画像合成処理も煩雑となる。

本発明はこのような問題点に鑑みてなされたもので、一定の機器の情報表示を停止して画面の乱雑さを抑え、機器の遠隔操作をしやすくすることを目的とする。

本発明に係る遠隔制御装置は、遠隔制御の対象となる機器を被写体とする画像と機器から光学的に発信される機器に固有の情報と機器の状態情報とを撮像素子により継続的に取得する取得部と、取得部が継続的に取得した画像と機器に固有の情報とを重畳して表示する表示部と、固有の情報が取得された機器の内遠隔制御する所望の機器に固有の情報の選択および固有の情報が選択された機器に対する所望の制御内容の選択の指示をユーザから受け付ける指示受付部と、指示受付部から選択された制御内容に対応する遠隔制御信号を、指示受付部から固有の情報が選択された機器に送信する遠隔制御部と、取得部が継続的に取得した機器の状態情報に応じ、画像に対する機器に固有の情報の重畳表示を停止するよう表示部を制御する表示制御部と、を備える。

従来では、いかなる状態の機器についても、一律に固有の情報が重畳表示されるため、所望の制御機器や制御内容の選択に支障を来していた。しかし本発明では、機器の状態情報に応じて、機器に固有の情報の表示を停止するから、無差別で乱雑な固有情報の表示によって遠隔制御に支障をきたすおそれを防止でき、効率的な遠隔制御操作が可能になる。

表示制御部は指示受付部への指示に応じ、停止された機器に固有の情報の重畳表示を開始してもよい。

固有の情報の重畳表示が停止されている機器についても、電源をオンしたいなど制御の必要が生じれば、ユーザ操作に応じてその都度情報を表示させることもできる。

機器の状態情報は機器の本来の動作の制御が不可能なことを示す情報を含む。あるいは、制御ができないあるいは制御が制限されているようなことを示す情報を含む。

本来の動作の制御が制限されている状態の機器の固有情報の表示を停止すれば、操作のための表示の必然性の低い情報が画面から消し去られ、他の機器の本来の動作の制御がしやすくなる。

本発明に係る遠隔制御システムは、固有の情報と状態情報を光学的に発信する機器と、機器を被写体とする画像と機器から光学的に発信される機器に固有の情報と機器の状態情報とを撮像素子により継続的に取得する取得部と、取得部が継続的に取得した画像と機器に固有の情報とを重畳して表示する表示部と、固有の情報が取得された機器の内遠隔制御する所望の機器に固有の情報の選択および固有の情報が選択された機器に対する所望の制御内容の選択の指示をユーザから受け付ける指示受付部と、指示受付部から選択された制御内容に対応する遠隔制御信号を、指示受付部から固有の情報が選択された機器に送信する遠隔制御部と、取得部が継続的に取得した機器の状態情報に応じ、画像に対する機器に固有の情報の重畳表示を停止するよう表示部を制御する表示制御部と、を備える。

本発明に係る機器固有情報表示方法は、遠隔制御の対象となる機器を被写体とする画像と機器から光学的に発信される機器に固有の情報と機器の状態情報とを撮像素子により継続的に取得するステップと、継続的に取得した画像と機器に固有の情報とを重畳して表示するステップと、継続的に取得した機器の状態情報に応じ、画像に対する機器に固有の情報の重畳表示を停止するよう制御するステップと、を含む。

本発明では、機器の状態情報に応じて、機器に固有の情報の表示を停止するから、無差別で乱雑な固有情報の表示によって遠隔制御に支障をきたすおそれを防止でき、効率的な遠隔制御操作が可能になる。

図１は本発明の好ましい実施形態に係る遠隔制御システムの概略構成図である。このシステムは、遠隔制御装置１と、遠隔制御装置１によって制御されるテレビ、ビデオ、ステレオなどのＡＶ機器、パソコン、調理機器その他の機器２とを含む。遠隔制御装置１は、移動体通信網やインターネットなどの外部ネットワークや、ローカルエリアネットワーク（ＬＡＮ）を介して各機器２と接続する。

機器２はすべての動作の遠隔制御可能状態（例えば主電源がオンの状態）になっているときは、自己に固有の情報（機器２の識別番号、ＩＤ、シリアル番号、メーカ番号、型式番号、機種、外部ネットワーク上のアドレスなど機器２に固有の情報であれば何でも可）である機器固有情報に、自己の情報発信位置を知らせる低周波数のパイロット信号を重畳して、赤外線などの光学信号により継続的に発信する。

機器２はスリープ状態のときは、機器固有情報のほか、スリープ状態になっていることを示すスリープ情報もさらに低周波数のパイロット信号と重畳して継続的に発信する。ここで、スリープ状態とは、遠隔制御信号による電源オンに応じて電源をオンするなど、機器２の起動に必要最低限の機能は動作しているが、機器本来の動作（例えばテレビであればチャンネルの選択や音声ボリュームの変更など）の制御が不可能あるいは制限されている状態を指す。スリープ状態はスタンバイ状態、アイドル状態と称されることもある。

また、機器２は遠隔制御装置１からの遠隔制御信号（赤外線信号その他の光学的信号あるいはBluetooth、無線ＬＡＮその他の電気的信号で発信）を受信する。

図２は、本発明の好ましい実施形態に係る遠隔制御装置１の機能ブロック図である。遠隔制御装置１は、撮像レンズ、ＣＭＯＳやＣＣＤなどの固体撮像素子、ドライバが固体撮像素子から読み取ったアナログ画像をデジタル信号に処理するためのアナログフロントエンド回路、アナログフロントエンド回路からのデジタル画像信号を処理するＤＳＰ（Digital Signal Processor）等の信号処理回路などを含んだカメラ部２０、ワンチップマイコンなどで構成されカメラ部２０の撮像動作を制御するカメラ制御部２１を含む。

また、遠隔制御装置１は、テンキーや十字キーなどで構成された操作部１４への入力操作、リモコン信号送受信部２２が外部から受信した各種の操作信号、カメラ部２０の取得した画像や機器固有情報などに従って表示部１３の表示制御を行う表示制御部２６を備えている。

また、遠隔制御装置１は、各部の動作制御を統括するＣＰＵ１０、各種データやプログラムを記憶するＲＯＭ１２、ＣＰＵ１０の処理に必要な各種データを記憶するＲＡＭ１１を備えている。

特にＲＯＭ１２には、ＣＰＵ１０が操作部１４への操作に応じた機器２の制御コードを重畳した遠隔制御信号を発信するようリモコン信号制御部２３または無線制御部１６を制御するための制御プログラムおよび操作部１４の各部の操作とその操作によって重畳される制御コードとの関係を視覚的に表示するリモコンＧＵＩを、複数存在する機器２ごとに格納している。

撮像レンズには、例えば光学２倍ズームレンズが用いられ、操作部１４から入力される倍率変更操作に応じてモータドライバが撮像レンズを望遠（テレ）側又は広角（ワイド）側に進退駆動することで光学ズーム倍率が変更される。撮像レンズの倍率は上記に限定されない。撮像レンズには絞りが設けられており、モータドライバを介して絞りを制御して適正な露光量を得る。

操作部１４によって撮影モードが設定されると、ＣＰＵ１０は、動画（スルー画）を表示部１３に表示させ、撮影画角を確認可能にする。即ち、固体撮像素子は、撮像レンズの受光面に結像された被写体光をその光量に応じた量の信号電荷に変換する。このようにして蓄積された各画素の信号電荷は、ＣＰＵ１０の指令に従いタイミングジェネレータから与えられる駆動パルスに基づき、信号電荷に応じた電圧信号（画像信号）としてドライバによって順次個別に読み出され、アナログフロントエンド回路でデジタル信号に変換されてそれぞれ信号処理回路に加えられる。

信号処理回路は、ゲイン調整回路及びＡ／Ｄ変換器を含み、輝度・色差信号生成回路、ガンマ補正回路、シャープネス補正回路、コントラスト補正回路、ホワイトバランス補正回路、撮影画像に対する輪郭補正を含む画像処理を行う輪郭処理部、画像のノイズ低減処理を行うノイズ低減処理部等を含む画像処理手段であり、ＣＰＵ１０からのコマンドに従って画像信号を処理する。

信号処理回路に入力された画像データは、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｌ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、ＶＲＡＭに格納される。

撮影画像を表示部１３にモニタ出力する場合、ＶＲＡＭからＹＣ信号が読み出され、表示制御部２６に送られる。表示制御部２６は、入力されたＹＣ信号を表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部１３に出力する。

所定のフレームレートで処理された各フレームのＹＣ信号は、ＶＲＡＭのＡ領域とＢ領域とに交互に書き込まれ、ＶＲＡＭのＡ領域及びＢ領域のうち、ＹＣ信号が書き込まれている方の領域以外の領域から、書き込まれているＹＣ信号が読み出される。このようにしてＶＲＡＭ内のＹＣ信号が定期的に書き換えられ、そのＹＣ信号から生成される映像信号が表示部１３に供給されることにより、撮像中の映像がリアルタイムに表示部１３に表示される。ユーザは、表示部１３に表示される映像（スルー）によって撮影画角を確認できる。

ここで、操作部１４に設けられた撮影キーが押下されると、記憶用の撮影動作がスタートする。撮影キーの押下に応動して取得された画像データは信号処理回路において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、ＲＡＭ１１に格納される。

ＲＡＭ１１に格納されたＹ／Ｃ信号は、圧縮伸長処理回路によって所定のフォーマットに従って圧縮された後、メモリカード２７にExifファイルなどの所定フォーマットの画像ファイルとして記憶される。画像ファイルはフラッシュメモリ２８に記憶することもできる。

操作部１４によって再生モードが設定されると、メモリカード２７に記憶されている最終の画像ファイル（最後に記憶されたファイル）の圧縮データが読み出される。最後の記憶に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸長処理回路を介して非圧縮のＹＣ信号に伸長され、ＶＲＡＭに保存される。ＶＲＡＭに保存されたＹＣ信号は、表示制御部２６に加えられる。表示制御部２６は、入力するＹＣ信号からＮＴＳＣ方式のＲＧＢカラー複合映像信号を作成し、これを表示部１３に出力する。これにより、表示部１３にはメモリカード２７に記憶されている最終コマのコマ画像が表示される。

その後、操作部１４に設けられた十字キーの右キーが押されると、順方向にコマ送りされ、十字キーの左キーが押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルがメモリカード２７から読み出され、上記と同様にしてコマ画像が表示部１３に再生される。尚、最終コマのコマ画像が表示されている状態で順方向にコマ送りされると、メモリカード２７に記憶されている１コマ目の画像ファイルが読み出され、１コマ目のコマ画像が表示部１３に再生される。

記憶させる画像ファイルの画素数は、例えば、2832×2128（６Ｍ）、2048×1536（３Ｍ）、1280×960（１Ｍ）、640×480（ＶＧＡ）の何れかであり、記憶画質と記憶画素数との組合せによって撮影画像のデータ量（ファイルサイズ）が変化する。

遠隔制御装置１は、例えば非特許文献１に示すようにカメラ付き携帯電話やデジタルカメラで構成することができる。ただし、本実施形態において、画像の記録保存に関するブロック（メモリカード２７やフラッシュメモリ２８）は必須でない。

リモコン信号送受信部２２は、受光素子を備える。図２ではカメラ部２０とリモコン信号送受信部２２とは別体で示されているが、実際には、受光素子は、カメラ部２０の固体撮像素子と共通する。このため、カメラ部２０が機器２を被写体として撮像すると、画像と合わせて、各機器２が光学的に発信した機器固有情報を取得できる。

リモコン信号制御部２３は、外部の機器２からリモコン信号送受信部２２に入射した光学信号に重畳されている機器固有情報をデジタルデータに変換してＣＰＵ１０に出力する。

ＣＰＵ１０は、リモコン信号制御部２３から入力した機器固有情報に応じ、機器固有情報で特定される機器２に固有の制御コードを規定したテーブルをＲＯＭ１２からＲＡＭ１１に読み出す。そして、操作部１４から表示部１３上の所望の機器固有情報の指定操作に応じ、指定された機器固有情報で特定される機器２の制御コードをＲＡＭ１１から読み出して、リモコン信号制御部２３に送る。

リモコン信号送受信部２２は発光ダイオードや赤外線ＬＥＤなどで構成された光学的信号発信手段を備える。リモコン信号制御部２３は、ＣＰＵ１０から指示された制御コードその他のデータを重畳した光学的信号を、指定の機器２に発信する。このように、遠隔制御装置１から指定の機器２に光学的な制御信号を送ることで機器２の遠隔操作が可能である。

また、遠隔制御装置１は、移動体通信電波、IrDA、Bluetooth、無線ＬＡＮ、Wireless USBなどの無線信号を機器２との間で送受信する無線送受信部１７と、受信した無線信号をデータに変換してＣＰＵ１０に送信したり、あるいはＣＰＵ１０から指示された遠隔制御信号を無線信号に重畳する無線制御部１６、ＵＳＢその他の規格に従ってパソコンやプリンタなどの各種家電機器２と通信する外部インターフェース部１５を備える。

ＣＰＵ１０は、操作部１４の操作に応じた特定の機器２の制御コードをＲＡＭ１１から読み出して、無線制御部１６に送ることもできる。無線制御部１６は、ＣＰＵ１０から入力された制御コードその他のデータを重畳した無線信号を機器２に発信する。この無線信号はＬＡＮまたは外部ネットワーク経由で機器２に到達する。機器２は、制御コードを受信すると、制御コードに応じた動作を行う。このように、遠隔制御装置１から機器２に無線信号を送ることで操作部１４による特定の機器２の遠隔操作も可能である。

遠隔制御装置１は、音声を発するスピーカなどの拡声手段および音声を受けて電気信号に変換するマイクなどの受話手段を含む送受話部１９、拡声手段の発話内容を制御する音声制御部１８を備える。音声制御部１８は、送受話部１９から入力された音声信号から、ＣＰＵ１０の指定した特定の音声パターンを認識する機能を有する。

ＣＰＵ１０は、送受話部１９の受けた音声に応じた特定の機器２の制御コードをＲＡＭ１１から読み出して、リモコン信号制御部２３あるいは無線制御部１６に送ることもできる。すなわち、特定の機器２に光学的信号あるいは無線信号で発信する制御コードの指定は、操作部１４への入力操作に限られず、音声入力でも行える。

また、ＣＰＵ１０は、操作部１４への入力操作や送受話部１９への音声に応じ、制御コードをリモコン信号送受信部２２かまたは無線送受信部１７のいずれから発信するかを選択する。遠隔制御装置１が制御対象となる機器２の面前であればリモコン信号送受信部２２から制御コードを発信すればよいが、そうでない場合は、ユーザが無線送受信部１７から制御コードを発信する旨を操作部１４への入力操作や送受話部１９への音声によってＣＰＵ１０に指示する。ＣＰＵ１０はこの指示に応じ、無線送受信部１７から制御コードを発信するよう制御を行う。

図３は遠隔制御装置１の実行する遠隔操作処理の流れを示すフローチャートである。

まず、Ｓ１では、ＣＰＵ１０は、操作部１４あるいは送受話部１９に入力された撮像指示に応じ、カメラ制御部２１に静止画取得動作の開始を指令する。カメラ制御部２１は、カメラ部２０を制御して静止画を取得し、ＲＡＭ１１に記憶する。

Ｓ２では、ＣＰＵ１０は、カメラ部２０の取得した画像から少なくとも１つのパイロット信号が検出されたか否かを判断する。少なくとも１つのパイロット信号が検出されたと判断した場合はＳ３に移行し、パイロット信号が１つも検出されなかったと判断した場合はＳ１に戻る。

Ｓ３では、ＣＰＵ１０は、パイロット信号の検出位置に基づき、情報発信位置を特定する。

Ｓ４では、ＣＰＵ１０は、情報発信位置部分に関しては高フレームレートで、それ以外の部分は低フレームレートで再び静止画取得動作を行う。

Ｓ５では、ＣＰＵ１０は、取得した静止画を表示部１３にスルー表示するとともに、重畳されている情報（機器固有情報のみ、あるいは機器固有情報とスリープ情報の両方）を抽出する。

Ｓ６では、ＣＰＵ１０は、抽出した情報にスリープ情報が含まれているか否かを判断する。スリープ情報が含まれている場合はＳ７へ移行し、含まれていない場合はＳ８へ移行する。

Ｓ７では、ＣＰＵ１０は、操作部１４に入力されたユーザ操作に応じ、スリープ情報を表示させるか否かを選択する。スリープ情報を表示する場合はＳ１０に移行し、表示させない場合はＳ９に移行する。スリープ情報を表示する旨の選択は、機器２ごとにできるようにしてもよいし、一律に表示させる／させないを選択するようにしてもよい。

Ｓ８では、ＣＰＵ１０は、抽出した機器固有情報を静止画中の各機器２の情報発信位置付近に合成して表示部１３に表示させる。

Ｓ９では、ＣＰＵ１０は、抽出した機器固有情報のうち、スリープ情報を発信していない機器２の機器固有情報を、静止画中の各機器２の情報発信位置付近に合成して表示部１３に表示させる。

Ｓ１０では、ＣＰＵ１０は、抽出した機器固有情報を静止画中の各機器２の情報発信位置付近に合成して表示部１３に表示させる。かつ、スリープ情報および機器固有情報を、静止画中のスリープ情報を発信した機器２の情報発信位置付近に合成し、これを表示部１３に表示させる。

Ｓ１１では、ＣＰＵ１０は、操作部１４により表示部１３上で機器固有情報の選択された所望の機器２に、操作部１４により選択された所望の制御コードを含んだ遠隔制御信号を発信する。

図４〜図６は、上記の動作に基づく表示部１３の表示状態を例示する。

図４は、電源オンの状態の機器２−１、２、３を被写体として静止画を取得した場合のスルー表示の一例を示す。ここでは、テレビ機器２−１、パソコン機器２−２、デジカメ機器２−３がそれぞれ電源オンであり、いずれもスリープ情報を発信していないため、各機器２の固有情報が各機器２を被写体とする静止画の情報発信位置付近に合成されて表示されている。

図５は機器２−１がスリープ状態を送信した場合のスルー表示の一例を示す。ここでは、パソコン機器２−２、デジカメ機器２−３はそれぞれ電源オンであり、スリープ情報を発信していないため、機器２−２、３の固有情報が静止画中の情報発信位置付近に合成されて表示されている。その一方、テレビ機器２−１はスリープ情報を発信しているため、機器２−１の固有情報は機器２−１の情報発信位置付近に合成されない。

図６は機器２−１がスリープ状態を送信し、かつ操作部１４によりスリープ情報を表示する旨が指示された場合のスルー表示の一例を示す。この場合、スリープ状態の機器２−１についても、固有情報が表示される。また、スリープ情報も合わせて表示されるため、機器２−１がスリープ状態であることが容易に分かる。

以上説明したように、遠隔制御装置１は、機器２からスリープ情報を受信したことに応じて、機器固有情報の表示を停止するから、無差別で乱雑な機器固有情報の表示によって機器２の遠隔制御に支障をきたすおそれを防止でき、効率的な遠隔制御操作が可能になる。

また、必要であれば、その都度操作部１４を操作して、スリープ状態の機器２についても固有情報やスリープ情報を表示させることができる。

遠隔制御システムの構成図 遠隔制御装置の構成図 遠隔操作処理の流れを示すフローチャート 電源オン状態の機器を被写体とする静止画に固有情報が合成された状態を示す図 スリープ状態の機器を被写体とする静止画に固有情報が合成されない状態を示す図 スリープ状態の機器を被写体とする静止画にスリープ情報が合成された状態を示す図

符号の説明

１：遠隔制御装置、２：機器、１０：ＣＰＵ、１１：ＲＡＭ、１２：ＲＯＭ、１３：表示部、１４：操作部、１６：無線制御部、１７：無線送受信部、１８：音声制御部、１９：送受話部、２０：カメラ部、２１：カメラ制御部、２２：リモコン信号送受信部、２３：リモコン信号制御部

Claims (7)

1. 遠隔制御の対象となる機器を被写体とする画像と前記機器から光学的に発信される機器に固有の情報と前記機器のスリープ情報とを撮像素子により継続的に取得する取得部と、
   前記取得部が継続的に取得した画像と前記機器に固有の情報とを重畳して表示する表示部と、
   前記固有の情報が取得された機器の内遠隔制御する所望の機器に固有の情報の選択および固有の情報が選択された機器に対する所望の制御内容の選択の指示をユーザから受け付ける指示受付部と、
   前記指示受付部から選択された制御内容に対応する遠隔制御信号を、前記指示受付部から固有の情報が選択された機器に送信する遠隔制御部と、
   前記取得部が継続的に取得した機器のスリープ情報に応じ、前記画像に対する前記機器に固有の情報の重畳表示を停止するよう前記表示部を制御する表示制御部と、
   を備える遠隔制御装置。
2. 前記表示制御部は前記指示受付部への指示に応じ、前記停止された機器に固有の情報の重畳表示を開始する請求項１に記載の遠隔制御装置。
3. 前記機器のスリープ情報は前記機器の本来の動作の制御が制限されていることを示す情報を含む請求項１または２に記載の遠隔制御装置。
4. 固有の情報とスリープ情報を光学的に発信する機器と、
   前記機器を被写体とする画像と前記機器から光学的に発信される機器に固有の情報と前記機器のスリープ情報とを撮像素子により継続的に取得する取得部と、
   前記取得部が継続的に取得した画像と前記機器に固有の情報とを重畳して表示する表示部と、
   前記固有の情報が取得された機器の内遠隔制御する所望の機器に固有の情報の選択および固有の情報が選択された機器に対する所望の制御内容の選択の指示をユーザから受け付ける指示受付部と、
   前記指示受付部から選択された制御内容に対応する遠隔制御信号を、前記指示受付部から固有の情報が選択された機器に送信する遠隔制御部と、
   前記取得部が継続的に取得した機器のスリープ情報に応じ、前記画像に対する前記機器に固有の情報の重畳表示を停止するよう前記表示部を制御する表示制御部と、
   を備える遠隔制御システム。
5. 遠隔制御装置が、
   遠隔制御の対象となる機器を被写体とする画像と前記機器から光学的に発信される機器に固有の情報と前記機器のスリープ情報とを撮像素子により継続的に取得するステップと、
   継続的に取得した画像と前記機器に固有の情報とを重畳して表示するステップと、
   継続的に取得した機器のスリープ情報に応じ、前記画像に対する前記機器に固有の情報の重畳表示を停止するよう制御するステップと、
   を実行する機器固有情報表示方法。
6. 所定の指示に応じ、前記停止された機器に固有の情報の重畳表示を開始する請求項５に記載の機器固有情報表示方法。
7. 前記機器のスリープ情報は前記機器の本来の動作の制御が制限されていることを示す情報を含む請求項５または６に記載の機器固有情報表示方法。

Images