JP6064617B2 - 電子装置、電子装置の入力制御方法、入力制御プログラム - Google Patents

Description

本発明は、電子装置、電子装置の入力制御方法、入力制御プログラムに関する。

パーソナルコンピュータで、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）を視聴することができる。この場合、テレビやＤＶＤレコーダー等と同様に、リモートコントローラを利用して、ＤＶＤを操作することができる場合が多い。リモートコントローラは、ユーザーがボタンを押している間に、押されたボタンに対応する赤外線信号を、制御信号として発信する。パーソナルコンピュータは、リモートコントローラからの赤外線信号を受信して、受信した赤外線信号に対応するＤＶＤの操作を実行する。

なお、追尾対象の移動体を撮像するカラーＣＣＤカメラの映像信号から前記移動体に取り付けられ点滅する赤外ＬＥＤの位置を検出手段により検出し、回動手段により前記赤外ＬＥＤが、画面上略中央方向となるよう前記カラーＣＣＤカメラを移動され、かつ、メモリに一時的に格納された前記赤外ＬＥＤの点灯中の映像信号を含む所定の領域を、消灯中の映像信号を含む領域に置換させることが提案されている。

特開２０００−１６５８５０号公報

例えば、何らかの理由でリモートコントローラから発信されている赤外線信号が途中で途切れた場合には、ユーザーが行ったＤＶＤの操作が無駄になり、また、ＤＶＤを操作することができなくなる。また、パーソナルコンピュータとリモートコントローラとの間に赤外線信号を遮断するような環境が存在する場合も、同様に、ユーザーが行ったＤＶＤの操作が無駄になり、また、ＤＶＤを操作することができなくなる。

本発明は、一側面によれば、信号を入力することが可能な電子装置を提供することを目的とする。

電子装置は、一側面によれば、リモコン受信制御部と、動き情報生成部と、信号検出部とを含む。リモコン受信制御部は、リモートコントローラから受信した入力信号に基づいて制御信号を生成し、生成した制御信号を信号検出部に送信する。動き情報生成部は、リモートコントローラの動きを表す動き情報を生成して、生成した動き情報を信号検出部に送信する。信号検出部は、リモートコントローラからの入力信号が受信された場合に、リモートコントローラからの入力信号により制御される被制御部を制御する信号を制御信号に基づいて生成し、リモートコントローラからの入力信号が受信されない場合に、被制御部を制御する信号を動き情報生成部からの動き情報に基づいて生成する。

電子装置は、一側面によれば、信号を入力することを可能とすることができる。

電子装置の一例を示す図である。 電子装置の一例を示す図である。 電子装置の一例を示す図である。 電子装置のハードウェアの構成の一例を示す図である。 入力制御の説明図である。 入力制御の説明図である。 入力制御の説明図である。 入力制御の説明図である。 入力制御処理フローである。 入力制御処理フローである。 他の入力制御処理フローである。

図１は、電子装置の一例を示す図である。

電子装置は、例えばパーソナルコンピュータ、換言すれば、ＰＣである。パーソナルコンピュータは、ＰＣ本体１と、表示装置２と、カメラ３と、キーボード４と、スピーカ５と、リモコン受光部６と、リモートコントローラ７とを含む。

ＰＣ本体１は、ＰＣの本体を収容する筐体である。表示装置２は、ＰＣ本体１とは別に設けられ、ＰＣ本体１と接続される。カメラ３は、入力装置の一例であり、例えば、表示装置２において、表示画面２１の上部の中央に設けられる。キーボード４は、入力装置の一例であり、ＰＣ本体１と接続される。スピーカ５は、出力装置の一例であり、例えば、表示装置２において、表示画面２１の下部の左端に設けられる。リモコン受光部６は、入力装置の一例であり、例えば、表示装置２において、表示画面２１の下部の右端に設けられる。

リモートコントローラ７は、ユーザーによって押されたボタンに対応するコードを、予め定められた信号、例えば光信号に変換して、入力信号として出力する。リモコン受光部６は、リモートコントローラ７から送出された入力信号を受信する。

なお、電子装置は、図１に示すデスクトップ型のパーソナルコンピュータ以外にも、ノート型のパーソナルコンピュータ、タブレット型のパーソナルコンピュータ、携帯電話機能及び通信機能を備えるスマートフォンのような情報処理端末、テレビ等、種々の電子装置であってもよい。

図２は、電子装置の一例を示す図である。

パーソナルコンピュータは、信号検出部１１と、リモコンテーブル１２と、制御信号テーブル１３と、リモコン受信制御部１４と、スピーカ制御部１５と、動き情報生成部１６とを含む。動き情報生成部１６は画像処理部１７を含む。信号検出部１１は、リモコンテーブル格納領域に格納されたリモコンテーブル１２と、制御信号テーブル格納領域に格納された制御信号テーブル１３とを保持する。リモコン受信制御部１４は、例えばリモコン受光部６を含む。スピーカ制御部１５は、例えばスピーカ５を含む。カメラ３が出力する画像は、例えば動き情報生成部１６に入力される。

リモートコントローラ７、換言すれば、リモコン７は、複数のボタンを含む。ユーザーは、パーソナルコンピュータのリモコン受光部６に向けて、所望の機能のボタンを選択して押すことにより、選択した機能のボタンに対応した入力信号を、パーソナルコンピュータに入力する。リモートコントローラ７は、ユーザーにより押されたボタンに対応するコードを、予め定められた信号に変換して、制御信号として出力する。

図２の例では、予め定められた信号として、例えば可視光領域の光信号が用いられる。

リモートコントローラ７は、例えば、光源を予め定められたパターンで点滅することにより、入力信号を送信する。なお、予め定められた信号として、赤外線を用いてもよく、他の周波数の電波を用いるようにしてもよい。

例えば、ユーザーがリモートコントローラ７の同期ボタンを押すと、リモートコントローラ７は、同期信号を送信する。また、ユーザーがリモートコントローラ７の例えば音量アップボタンを押すと、リモートコントローラ７は、音量アップの入力信号を送信する。音量アップの入力信号は、スピーカ５が出力する音量のアップを指示し実行させる入力信号である。

リモコン受信制御部１４は、リモコン受光部６で、例えば、リモートコントローラ７から送出された光信号を受信し、受信した光信号を電気信号に変換し、信号検出部１１に送る。

具体的には、リモコン受信制御部１４は、リモートコントローラ７から同期信号を受信すると、受信した同期信号に基づいて、同期制御信号を生成する。リモコン受信制御部１４は、生成した同期制御信号を、信号検出部１１に送信する。信号検出部１１は、同期制御信号を受信すると、受信した同期制御信号を動き情報生成部１６に送信する。

同期信号及び同期制御信号は、パーソナルコンピュータにカメラ３の画像に含まれるリモートコントローラ７を認識させるための信号であり、制御信号の入力に先立って入力される。換言すれば、同期信号及び同期制御信号は、リモートコントローラ７からのパーソナルコンピュータに対する認識要求信号である。

動き情報生成部１６は、リモートコントローラ７の動きを表す動き情報を生成して、生成した動き情報を信号検出部１１に送信する。動き情報生成部１６は、前述したように、画像処理部１７を含む。画像処理部１７は、カメラ３が撮影した画像に基づいて、リモートコントローラの動きを表す動き情報を生成して、生成した動き情報を信号検出部１１に送信する。換言すれば、画像処理部１７は、動き情報生成部１６の一例である。

動き情報生成部１６は、リモコン受信制御部１４からの同期制御信号を受信した場合に、画像処理部１７においてカメラ３が撮影した画像を解析することにより、カメラ３が撮影した画像に含まれるリモートコントローラ７を検出する。例えば、動き情報生成部１６は、画像処理部１７において、カメラ３が撮影した動画像をキャプチャすることにより静止画を取得し、取得した静止画を強調処理することによりエッジ画像を取得する。そして、動き情報生成部１６は、画像処理部１７において、取得したエッジ画像とリモートコントローラ７の形状とを比較することにより、エッジ画像の中から、リモートコントローラ７の形状と一致する部分画像を、リモートコントローラ７として検出する。画像処理部１７は、リモートコントローラ７を種々の角度から見た画像を予め保持する。エッジ画像の部分画像は、例えば、リモートコントローラ７の形状と一致する割合が予め定められた閾値以上である場合に、リモートコントローラ７として検出される。

そして、動き情報生成部１６は、画像処理部１７において、検出したリモートコントローラ７を検出対象として認識して、カメラ３が撮影した画像から、予め定められた時間間隔で、リモートコントローラ７を検出する。例えば、動き情報生成部１６は、画像処理部１７において、カメラ３が撮影した動画像を、予め定められた時間間隔で、キャプチャすることにより静止画を取得する。そして、動き情報生成部１６は、画像処理部１７において、取得した静止画の中のリモートコントローラ７の位置を検出する。これにより、カメラ３が撮影した画像の中におけるリモートコントローラ７の位置を把握することができる。

また、リモコン受信制御部１４は、リモートコントローラ７から入力信号を受信すると、受信した入力信号に基づいて、制御信号を生成する。リモコン受信制御部１４は、生成した制御信号を、信号検出部１１に送信する。信号検出部１１は、制御信号を受信すると、受信した制御信号を動き情報生成部１６に送信する。

入力信号及び制御信号は、リモートコントローラ７がパーソナルコンピュータの被制御部を制御するための信号であり、同期信号の入力の後で入力される。換言すれば、入力信号及び制御信号は、リモートコントローラ７からパーソナルコンピュータへ入力される信号である。

被制御部は、リモートコントローラ７からの入力信号により制御される回路であり、入力信号、換言すれば、制御信号により制御される。被制御部は、例えば、スピーカ５を含むスピーカ制御部１５であり、入力信号は、例えば、音量アップ信号、音量ダウン信号である。又は、被制御部は、例えば、後述するＤＶＤドライブ装置であり、入力信号は、例えば、映像早送り信号、映像逆回し信号等である。入力信号はこれらに限られず、リモートコントローラ７からの他の種々の入力信号に適用することができる。また、被制御部もこれらに限られず、リモートコントローラ７からの他の種々の入力信号により制御される回路に適用することができる。

動き情報生成部１６は、リモコン受信制御部１４からの制御信号を受信した場合に、画像処理部１７において、カメラ３が撮影した画像を解析することにより、カメラ３が撮影した画像に基づいて、リモートコントローラ７の動きを表す動き情報を生成する。動き情報は、リモートコントローラ７の動きを表す情報である。動き情報を生成するための解析処理の対象は、同期制御信号の受信に応じて先に検出したリモートコントローラ７である。従って、動き情報生成部１６は、画像処理部１７において、同期制御信号を受信してリモートコントローラ７を検出した後において、リモートコントローラ７の動きを表す動き情報を生成する。動き情報生成部１６は、生成した動き情報を、信号検出部１１に送信する。

例えば、動き情報生成部１６は、制御信号を受信すると、画像処理部１７において、カメラ３が撮影した動画像を、予め定められた時間間隔で、連続的にキャプチャすることにより、連続する複数の静止画を取得する。そして、動き情報生成部１６は、画像処理部１７において、取得した複数の静止画の各々から、リモートコントローラ７の位置を、時系列的に検出する。これにより、動き情報生成部１６は、画像処理部１７において、カメラ３が撮影した画像の中におけるリモートコントローラ７の動き情報を生成する。動き情報は、リモートコントローラ７の位置の時系列的な変化を、リモートコントローラ７の動きとして、検出した情報である。

なお、画像処理部１７がカメラ３が撮影した画像についての画像処理のみを実行して、動き情報生成部１６がリモートコントローラ７の動き情報を生成するようにしてもよい。例えば、画像処理部１７が連続する複数の静止画を取得し、動き情報生成部１６が、取得した複数の静止画の各々からリモートコントローラ７の位置を時系列的に検出し、リモートコントローラ７の動き情報を生成するようにしてもよい。また、前述したように、図２の例では、リモートコントローラ７は、光源を点滅させることにより、入力信号を出力する。そこで、動き情報生成部１６が、カメラ３が撮影した画像に含まれるリモートコントローラ７の光源を検出することにより、動き情報を生成するようにしてもよい。また、動き情報生成部１６とは別に画像処理部１７が設けられるようにしてもよい。また、動き情報生成部１６が、カメラ３が撮影した画像以外の情報に基づいて、リモートコントローラ７の動き情報を生成するようにしてもよい。

信号検出部１１は、同期制御信号が受信されたか否かを判定する。そして、信号検出部１１は、受信した同期制御信号に含まれる識別情報に基づいて、同期信号を送信したリモートコントローラ７を判定する。例えば、信号検出部１１は、受信した同期制御信号に含まれる識別情報を用いて、リモコンテーブル１２を参照する。リモコンテーブル１２は、パーソナルコンピュータを操作可能なリモートコントローラ７の識別情報を格納する。これにより、同期信号を送信したリモートコントローラ７を判定することができる。

また、信号検出部１１は、制御信号が受信されたか否かを判定する。そして、信号検出部１１は、受信した制御信号に含まれる識別情報に基づいて、リモコンテーブル１２を用いて、制御信号を送信したリモートコントローラ７を判定する。

そして、信号検出部１１は、同期制御信号を受信した後において、被制御部を制御する信号を、制御信号に基づいて生成し、制御信号に基づいて生成できない場合には、動き情報生成部１６からの動き情報に基づいて生成する。換言すれば、同期制御信号を受信してリモートコントローラ７を検出した後において、被制御部を制御する信号は、優先的に制御信号に基づいて生成され、制御信号に基づいて生成できない場合に、予備的に動き情報生成部１６からの動き情報に基づいて生成される。

具体的には、信号検出部１１は、制御信号が受信された場合に、換言すれば、リモートコントローラ７からの入力信号が受信された場合に、制御信号に基づいて被制御部を制御する信号を生成する。これにより、リモートコントローラ７に設けられたボタンであって、入力信号に対応するボタンに応じて、被制御部を制御する信号が生成される。

また、信号検出部１１は、制御信号が受信されない場合に、換言すれば、リモートコントローラ７からの入力信号が受信されない場合に、動き情報生成部１６からの動き情報に基づいて、被制御部を制御する信号を生成する。動き情報生成部１６からの動き情報は、先に同期制御信号の受信に応じて検出したリモートコントローラ７の動き情報である。これにより、リモートコントローラ７に設けられたボタンであって、入力信号に対応するボタンに応じて、動き情報に基づいて、被制御部を制御する信号が生成される。

この後、信号検出部１１は、生成した被制御部を制御する信号を、予め保持したデータ、換言すれば、制御信号テーブル１３と比較する。例えば、信号検出部１１は、生成した被制御部を制御する信号を用いて、制御信号テーブル１３を参照する。制御信号テーブル１３は、パーソナルコンピュータの被制御部を制御する信号を格納する。これにより、生成した被制御部を制御する信号が、予め登録された信号であるか否かを判定することができる。信号検出部１１は、生成した被制御部を制御する信号が予め保持したデータと一致する場合に、換言すれば、生成した被制御部を制御する信号が制御信号テーブル１３に存在する場合に、生成した被制御部を制御する信号に基づいて、被制御部を制御する。

スピーカ制御部１５は、被制御部の一例であり、スピーカ５を制御する。例えば、信号検出部１１は、リモートコントローラ７の音量アップボタンに対応する音量アップの制御信号に基づいて生成した信号により、被制御部であるスピーカ制御部１５を制御することにより、スピーカ５の音量をアップする。

図３は、電子装置の一例を示す図である。

リモートコントローラ７は、ボタン群７１と、制御部７２と、発信部７３とを含む。ボタン群７１は、複数のボタンを含む。各々のボタンには、各々の機能が記載されている。ユーザーは、例えばリモートコントローラ７の発信部７３をパーソナルコンピュータに向けた状態で、所望の機能のボタンを選択して押す。

制御部７２は、ユーザーにより選択された１個のボタンが押されると、選択された、換言すれば、押されたボタンを検出して、ユーザーが選択した機能のボタンに対応するコードを、予め定められた信号、例えば光信号に変換することにより、発信する信号を形成する。そして、制御部７２は、発信部７３を駆動することにより、形成した信号を発信部７３に発信出力させる。これにより、ユーザーは、選択した機能に対応した入力信号を、パーソナルコンピュータに入力することができる。

発信部７３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を含む。ＬＥＤは、リモートコントローラ７が送信する光信号の光源である。発信部７３は、制御部７２による制御に従って、ユーザーが選択した機能のボタンに対応する光信号を、制御信号として出力する。

図４は、電子装置のハードウェアの構成の一例を示す図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、システムコントローラ１０２を介して、メモリ１０３と接続される。ＣＰＵ１０１は、システムコントローラ１０２を介して、メモリ１０３上に常駐する制御プログラムであるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を実行し、パーソナルコンピュータを制御する。ＣＰＵ１０１は、システムコントローラ１０２を介して、メモリ１０３上の種々のアプリケーションプログラムを実行する。これにより、例えば、信号検出部１１、スピーカ制御部１５、動き情報生成部１６、画像処理部１７が実現される。アプリケーションプログラムは、例えば、ＤＶＤ等の記録媒体に格納され、記録媒体からＤＶＤドライブ装置１０７を介してハードディスク装置１０８に入力され、ハードディスク装置１０８からメモリ１０３にロードされる。

システムコントローラ１０２には、バス１１１が接続される。バス１１１には、表示装置１０４、出力装置１０５、リモコン受信制御部１０６、ＤＶＤドライブ装置１０７、ハードディスク装置１０８、入力装置１０９、カメラ１１０が接続される。換言すれば、ＣＰＵ１０１は、システムコントローラ１０２及びバス１１１を介して、表示装置１０４、出力装置１０５、リモコン受信制御部１０６、ＤＶＤドライブ装置１０７、ハードディスク装置１０８、入力装置１０９、カメラ１１０に接続される。

表示装置１０４は、例えば表示装置２である。出力装置１０５は、例えばスピーカ５、プリンタ等の出力装置を含む。ハードディスク装置１０８には、例えば、リモコンテーブル１２、制御信号テーブル１３が設けられる。データは、必要に応じてハードディスク装置１０８からメモリ１０３にロードされ、処理される。入力装置１０９は、例えばキーボード４、マウス等を含む。カメラ１１０は、例えばカメラ３である。

リモコン受信制御部１０６は、例えば、ＣＰＵ１０１とは独立に設けられたマイクロコンピュータであり、リモートコントローラ７からの信号を受信して処理し、システムコントローラ１０２を介して、ＣＰＵ１０１へ送る。

ＤＶＤドライブ装置１０７は、例えばＯＳ等の制御の下で、ＤＶＤ等の記録媒体から、アプリケーションプログラムを読み出してハードディスク装置１０８に入力し、また、映像データを読み出して表示装置１０４へ出力する。

次に、ユーザーがパーソナルコンピュータの音量を大きくする場合の操作について、図５〜図８を参照して説明する。この場合、被制御部はスピーカ５を含むスピーカ制御部１５であり、入力信号は音量アップ信号である。

ユーザーがパーソナルコンピュータを使用している状態で、常駐プログラムである信号検出部１１及び画像処理部１７を含む動き情報生成部１６が動作している。カメラ３は画像を撮影している。この時点で、カメラ３の画像は、例えば図５（Ａ）のようになるが、リモートコントローラ７がカメラ３の画像に含まれている必要はない。信号検出部１１は、入力があると処理を開始する。独立したマイクロコンピュータであるリモコン受信制御部１４は、リモコン受光部６でのリモートコントローラ７からの信号の受信待ちの状態となっている。

ユーザーは、図５（Ａ）に示すように、音量を大きくする操作における第１の操作として、パーソナルコンピュータに向けて、リモートコントローラ７の同期ボタン７１Ａを押す。

リモートコントローラ７は、同期ボタン７１Ａの押下げに応じて、同期信号を出力する。具体的には、リモートコントローラ７は、発信部７３であるＬＥＤを予め定められたパターンで点滅させることにより、同期信号を出力する。同期信号は、例えば、図５（Ｂ）に示すように、信号部分＃Ａと信号部分＃Ｂとを含む。信号部分＃Ａは、ＬＥＤが予め定められた期間だけ連続して発光している期間であって、信号の出力を開始することをパーソナルコンピュータに通知する信号部分である。信号部分＃Ｂは、同期信号の本体であって、パーソナルコンピュータにカメラ３の画像に含まれるリモートコントローラ７を認識することを要求する信号部分であり、ＬＥＤが予め定められたユニークな発光パターンで間歇的に発光を繰り返す信号部分である。信号部分＃Ｂは、例えば、リモートコントローラ７の識別情報と、認識の要求とを含む。

この時点で、ユーザーが同期信号を送信するために、リモートコントローラ７がパーソナルコンピュータに向けられている。従って、カメラ３の撮影範囲、換言すれば、カメラ３の画像は、図５（Ａ）に示すように、リモートコントローラ７を含む。

リモコン受信制御部１４は、リモコン受光部６でリモートコントローラ７からの同期信号を受信すると、受信した同期信号を電気信号に変換することにより同期制御信号を生成して、生成した同期制御信号を信号検出部１１に送信する。信号検出部１１は、同期制御信号を受信すると、受信した同期制御信号を動き情報生成部１６に通知する。動き情報生成部１６は、同期信号を受信すると、換言すれば、リモコン受信制御部１４からの同期制御信号を受信すると、画像処理部１７によりカメラ３が撮影した画像を解析することにより、カメラ３が撮影した画像に含まれるリモートコントローラ７を検出する。

そして、動き情報生成部１６は、検出したリモートコントローラ７を検出対象として認識して、カメラ３が撮影した画像から、予め定められた時間間隔で、リモートコントローラ７を検出する。例えば、動き情報生成部１６は、カメラ３が撮影した動画像を、予め定められた時間間隔で、キャプチャすることにより静止画を取得する。そして、動き情報生成部１６は、取得した静止画の中のリモートコントローラ７の位置を検出する。これにより、カメラ３が撮影した画像の中におけるリモートコントローラ７の位置を把握することができる。

なお、動き情報生成部１６が、カメラ３が撮影した画像から、リモートコントローラ７として、リモートコントローラ７の発信部７３であるＬＥＤが作る輝度の高い点、換言すれば、輝点を検出するようにしてもよい。輝点としては、最も輝度の高い物体又は部分の像を検出すればよい。これにより、リモートコントローラ７の動作を確実に検出することができる。

この後、図６（Ａ）に示すように、ユーザーは、音量を大きくする操作における第２の操作として、パーソナルコンピュータに向けて、リモートコントローラ７の音量アップボタン７１Ｂを押し、かつ、リモートコントローラ７を下から上へ振るように移動させる。

リモートコントローラ７は、音量アップボタン７１Ｂの押下げに応じて、パーソナルコンピュータへの入力信号として、音量アップ信号を出力する。具体的には、リモートコントローラ７は、発信部７３であるＬＥＤを予め定められたパターンで点滅させることにより、図６（Ｂ）に示すような音量アップ信号を出力する。音量アップ信号は、例えば、図６（Ｂ）に示すように、信号部分＃Ａと信号部分＃Ｃとを含む。信号部分＃Ｃは、音量アップ信号の本体であって、パーソナルコンピュータにスピーカ５の音量をアップすることを要求する信号部分であり、ＬＥＤが予め定められたユニークな発光パターンで間歇的に発光を繰り返す信号部分である。信号部分＃Ｃは、例えば、リモートコントローラ７の識別情報と、音量アップの要求とを含む。

この時点で、ユーザーが音量アップ信号を送信するために、リモートコントローラ７がパーソナルコンピュータに向けられている。従って、カメラ３の画像は、図６（Ａ）に示すように、リモートコントローラ７を含む。また、カメラ３の画像は、ユーザーがリモートコントローラ７を下から上へ振るように移動させた状態を、映像として含む。

ユーザーが同期ボタン７１Ａを使用する場合には、ユーザーの動き情報が、予め定められた操作又は処理に対応付けられる。例えば、リモートコントローラ７を下から上へ振る動き情報は音量アップの入力信号又は制御信号に対応付けられ、リモートコントローラ７を上から下へ振る動き情報は音量ダウンの入力信号又は制御信号に対応付けられる。これにより、音量アップボタン７１Ｂの押下げの際に、リモートコントローラ７が正常に発光しなくても、リモートコントローラ７を下から上へ振る動き情報は、音量アップの指示であることを知ることができる。

なお、ユーザーが、同期ボタン７１Ａとして、音量アップボタン７１Ｂを使用するようにしてもよい。この場合、ユーザーは、同期ボタン７１Ａを意識することなく、例えば音量アップボタン７１Ｂという同一のボタンを２回押すと共に、２回目の音量アップボタン７１Ｂの押下げの際にリモートコントローラ７を予め定められた方向、例えば下から上へ振るだけでよい。また、この場合、２回目の音量アップボタン７１Ｂの押下げの際に、リモートコントローラ７が正常に発光しなくても、１回目の音量アップボタン７１Ｂの押下げにより同期信号を受信しているので、動き情報は、音量アップの指示であることを知ることができる。

リモコン受信制御部１４は、リモコン受光部６でリモートコントローラ７からの音量アップ信号を受信すると、受信した音量アップ信号を電気信号に変換することにより音量アップの制御信号を生成して、生成した音量アップの制御信号を信号検出部１１に送信する。信号検出部１１は、音量アップの制御信号を受信すると、受信した音量アップの制御信号を動き情報生成部１６に通知する。

動き情報生成部１６は、音量アップの制御信号を受信すると、換言すれば、リモコン受信制御部１４からの音量アップの制御信号を受信すると、動き情報を生成する。動き情報は、カメラ３が撮影した画像を解析することにより、カメラ３が撮影した画像から生成され、検出したリモートコントローラ７の動きを示す情報として生成される。生成された動き情報は、例えば、図７に示すように、カメラ３が撮影した動画像を予め定められた時間間隔でキャプチャすることにより取得した連続する複数の静止画である。

図７（Ａ）〜図７（Ｄ）は、リモートコントローラ７の発信部７３であるＬＥＤが作る輝点３２Ａ〜３２Ｄを検出する例である。輝点３２Ａ〜３２Ｄは、例えば、図７（Ａ）に示すように、静止画３１の１つの頂点を原点ＯとするＸ座標及びＹ座標により表される。図７（Ａ）〜図７（Ｄ）に示す複数の静止画３１は、この順に、予め定められた時間が経過している。図７（Ａ）〜図７（Ｄ）に示す複数の静止画３１において、リモートコントローラ７の輝点３２Ａ〜３２Ｄは、静止画３１の下から上へ向かって移動していることが判る。なお、リモートコントローラ７の形状を検出する場合でも、同様に、複数の静止画３１により、リモートコントローラ７が含まれる静止画３１において下から上へ向かって移動していることを検出することができる。

この後、信号検出部１１は、図６（Ｂ）に示すリモートコントローラ７からの音量アップの入力信号が受信された場合に、対応する音量アップの制御信号に基づいて、スピーカ制御部１５を制御する音量アップの信号を生成する。そして、信号検出部１１は、生成した音量アップの信号をスピーカ制御部１５に送信することによりスピーカ制御部１５を制御して、スピーカ５の音量をアップする。この場合、動き情報生成部１６から取得されたリモートコントローラ７の動き情報は、音量アップの信号の生成には使用されない。

一方、何らかの原因により、図６（Ｂ）に示すリモートコントローラ７からの音量アップの入力信号が受信されない場合がある。この場合、信号検出部１１は、動き情報生成部１６からのリモートコントローラ７の動き情報に基づいて、スピーカ制御部１５を制御する音量アップの信号を生成する。そして、信号検出部１１は、生成した音量アップの信号をスピーカ制御部１５に送信することによりスピーカ制御部１５を制御して、スピーカ５の音量をアップする。この場合、リモートコントローラ７からの音量アップの入力信号が存在しなくても、スピーカ５の音量をアップすることができる。

例えば、信号検出部１１は、スピーカ５の音量をアップした場合、図８に示すように、表示装置２の表示画面２１上に、音量のボリューム２２を表示し、その値を例えば「４」から「５」に変化させる。これにより、ユーザーは、自分の操作によりスピーカ５の音量がアップされたことを確認することができる。なお、図２の例では、スピーカ５の音量は、音量アップの単位量ずつアップされる。

以上は、被制御部がスピーカ５を含むスピーカ制御部１５であり、入力信号が音量アップ信号である場合の例であるが、被制御部がＤＶＤドライブ装置１０７であってもよい。この場合、入力信号は、映像の再生に関連する信号である。例えば、リモートコントローラ７を左から右へ振る動きは、映像の早送りの入力信号又は制御信号に対応付けられるようにしてもよい。また、リモートコントローラ７を右から左へ振る動きは、映像の逆再生の入力信号又は制御信号に対応付けられるようにしてもよい。また、例えば、映像をスロー再生している場合において、リモートコントローラ７を左から右へ振る動きは、映像のコマ送りの入力信号又は制御信号に、リモートコントローラ７を右から左へ振る動きは、映像の逆方向のコマ送りの入力信号又は制御信号に対応付けられるようにしてもよい。

図９は、入力制御処理フローであり、リモコン受信制御部における処理を示す。

パーソナルコンピュータが動作し、リモコン受信制御部１４が、待機状態にある（ステップＳ１１）。この状態で、ユーザーがリモートコントローラ７の同期ボタン７１Ａを押すと、リモートコントローラ７が、同期信号を発信する（ステップＳ１２）。更に、ユーザーが、リモートコントローラ７の選択したボタンを押しながら、任意の動作をする（ステップＳ１３）。これに応じて、リモートコントローラ７が、押されたボタンに対応する入力信号を発信する（ステップＳ１４）。例えば、ユーザーは、音量アップボタン７１Ｂを押しながら、リモートコントローラ７を下から上へ振る。

リモコン受信制御部１４は、リモコン受光部６で、リモートコントローラ７からの入力信号を正常に受信したか否か、換言すれば、ユーザーが正常に情報を発信したか否かを判断する（ステップＳ１５）。ユーザーが正常に情報を発信しない場合には（ステップＳ１５、ＮＯ）、リモコン受信制御部１４が押されたボタンに対応する制御を実行しないので、ユーザーは、ステップＳ１３を繰り返す。ユーザーが正常に情報を発信した場合には（ステップＳ１５、ＹＥＳ）、リモコン受信制御部１４は、受信したリモートコントローラ７からの入力信号に基づいて制御信号を生成し、生成した制御信号を信号検出部１１に送信した後に、ステップＳ１１を繰り返す。

図１０は、入力制御処理フローである。

パーソナルコンピュータが動作し、カメラ３が、ユーザーの情報の取得を開始する（ステップＳ２１）。換言すれば、動き情報生成部１６の指示に従って、カメラ３が、撮影を開始する。カメラ３の画像は、動き情報生成部１６に送られ、動き情報生成部１６は、カメラ３が撮影した画像についての画像処理を行い、リモートコントローラ７の動き情報を生成する。

信号検出部１１が、何らかの信号が読み取れたか否かを判断する（ステップＳ２２）。換言すれば、信号検出部１１が、リモコン受信制御部１４からの同期制御信号又は制御信号の入力、又は、動き情報生成部１６からのリモートコントローラ７の動き情報の入力があったか否かを判断する。

信号が読み取れない場合、信号検出部１１は、ＮＧ処理を実行した後（ステップＳ２９）、ステップＳ２１を繰り返す。ＮＧ処理は、例えば、リモコン受信制御部１４及び動き情報生成部１６に、信号が読み取れなかったことを通知する処理である。これにより、リモコン受信制御部１４はリモートコントローラ７からの信号の待ち状態となり、動き情報生成部１６はカメラ３が撮影した画像についての画像処理及びリモートコントローラ７の動き情報の生成を繰り返す。

信号が読み取れた場合、信号検出部１１は、リモートコントローラ７からの信号を用いた処理を実行するか、又は、ユーザーの動き情報を用いた処理を実行するかを判断する（ステップＳ２３）。リモコン受信制御部１４からの同期制御信号が存在しない場合には、信号検出部１１は、ＮＧ処理を実行した後（ステップＳ２９）、ステップＳ２１を繰り返す。リモコン受信制御部１４からの同期制御信号又は制御信号が存在する場合には、これらの信号が優先されるので、信号検出部１１は、リモートコントローラ７からの信号を用いた処理を実行すると判断する。リモコン受信制御部１４からの制御信号が存在しない場合には、信号検出部１１は、ユーザーの動き情報を用いた処理を実行すると判断する。

リモートコントローラ７からの信号を用いた処理を実行する場合、信号検出部１１は、図５（Ｂ）又は図６（Ｂ）に示すような、リモートコントローラ７の発光源であるＬＥＤから得た電気信号のパターンを、波形整形により補正する（ステップＳ２４）。なお、ステップＳ２４は省略してもよい。

ユーザーの動き情報を用いた処理を実行する場合、信号検出部１１は、受信した制御信号を動き情報生成部１６に送信し、制御信号を受信した動き情報生成部１６は、ユーザーの動き情報を補正する（ステップＳ２５）。換言すれば、動き情報生成部１６は、ユーザーの動き情報としての、カメラ３が撮影した動画像から取得した連続する複数の静止画を補正し、補正後の連続する複数の静止画を新たなユーザーの動き情報とする。なお、ステップＳ２５は省略してもよい。

この後、信号検出部１１は、リモコン受信制御部１４からの同期制御信号又は制御信号、又は、動き情報生成部１６からのリモートコントローラ７の動き情報に基づいて、被制御部を制御する信号を生成する処理を実行し、被制御部を制御する信号を生成することができたか否かを判断する（ステップＳ２６）。被制御部を制御する信号を生成することができない場合には、信号検出部１１は、ＮＧ処理を実行した後（ステップＳ２９）、ステップＳ２１を繰り返す。

被制御部を制御する信号を生成することができた場合には、信号検出部１１は、生成した被制御部を制御する信号を用いて制御信号テーブル１３を解析して（ステップＳ２７）、生成した被制御部を制御する信号が正しいものであることをチェックした後、被制御部を制御する信号を用いて、被制御部を制御する処理を開始する（ステップＳ２８）。これにより、ユーザーの入力に従って、正確に被制御部を制御することができる。

なお、リモートコントローラ７が１個のみである場合には、図１０の処理に代えて、図１１に示す処理を行うようにしても良い。

図１１は、他の入力制御処理フローである。

パーソナルコンピュータが動作し、カメラ３が、ユーザーの情報の取得を開始する（ステップＳ３１）。換言すれば、動き情報生成部１６の指示に従って、カメラ３が、撮影を開始する。カメラ３の画像は、動き情報生成部１６に送られ、動き情報生成部１６は、カメラ３が撮影した画像についての画像処理を行い、リモートコントローラ７の動き情報を生成する。

信号検出部１１が、何らかの信号を受信したか否かを判別する（ステップＳ３２）。換言すれば、信号検出部１１が、リモコン受信制御部１４からの同期制御信号又は制御信号を受信したか、又は、動き情報生成部１６からのリモートコントローラ７の動き情報を受信したか否かを判断する。

信号を受信したか否かを判別できない場合、信号検出部１１は、ＮＧ処理を実行した後（ステップＳ３１２）、ステップＳ３１を繰り返す。ＮＧ処理は、例えば、リモコン受信制御部１４及び動き情報生成部１６に、信号を受信したか否かを判別できなかったことを通知する処理である。

リモコン受信制御部１４からの同期制御信号又は制御信号を受信したことを判別できた場合、信号検出部１１は、リモートコントローラ７からの信号を用いた処理を実行すると判断する（ステップＳ３３）。リモコン受信制御部１４からの制御信号が存在しない場合には、信号検出部１１は、ユーザーの動き情報を用いた処理を実行すると判断する（ステップＳ３４）。

この後、信号検出部１１は、信号の補正を行い、信号の補正を行うことができたか否かを判断する（ステップＳ３５）。例えば、リモートコントローラ７からの信号を用いた処理を実行する場合、信号検出部１１は、図５（Ｂ）又は図６（Ｂ）に示すような、リモートコントローラ７の発光源であるＬＥＤから得た電気信号のパターンを波形整形により補正する。ユーザーの動き情報を用いた処理を実行する場合、信号検出部１１は、受信した制御信号を動き情報生成部１６に送信し、制御信号を受信した動き情報生成部１６は、ユーザーの動き情報を補正する。

信号の補正を行うことができない場合には、信号検出部１１は、ＮＧ処理を実行した後（ステップＳ３１２）、ステップＳ３１を繰り返す。ここで、信号検出部１１は、例えば２回に限って、ステップＳ３１を繰り返す。ステップＳ３５を２回実行しても信号の補正を行うことができない場合には、信号検出部１１は、例えば、ユーザーに再度の入力を求める表示を行った後、処理を終了する。

信号の補正を行うことができた場合には、信号検出部１１は、補正されたリモートコントローラ７からの信号を取得し、補正されたユーザーの動き情報を取得する（ステップＳ３６）。そして、信号検出部１１は、ステップＳ３３及びＳ３４における判断に従って、リモートコントローラ７からの信号を用いた処理を実行するか、又は、ユーザーの動き情報を用いた処理を実行するかを確認する（ステップＳ３７）。

リモートコントローラ７からの信号を用いた処理を実行する場合、信号検出部１１は、リモコン受信制御部１４からの同期制御信号又は制御信号に基づいて、被制御部を制御する信号を生成する（ステップＳ３８）。また、ユーザーの動き情報を用いた処理を実行する場合、信号検出部１１は、動き情報生成部１６からのリモートコントローラ７の動き情報に基づいて、被制御部を制御する信号を生成する（ステップＳ３９）。

この後、信号検出部１１は、生成した被制御部を制御する信号を用いて制御信号テーブル１３を解析して（ステップＳ３１０）、生成した被制御部を制御する信号が正しいものであることをチェックした後、被制御部を制御する信号を用いて、被制御部を制御する処理を開始する（ステップＳ３１１）。これにより、ユーザーの入力に従って、正確に被制御部を制御することができる。

１ ＰＣ本体
２ 表示装置
３ カメラ
４ キーボード
５ スピーカ
６ リモコン受光部
７ リモートコントローラ
１１ 信号検出部
１２ リモコンテーブル
１３ 制御信号テーブル
１４ リモコン受信制御部
１５ スピーカ制御部
１６ 動き情報生成部
１７ 画像処理部

Claims (9)

1. リモートコントローラから受信した入力信号に基づいて制御信号を生成し、生成した前記制御信号を信号検出部に送信するリモコン受信制御部と、
   前記リモートコントローラの動きを表す動き情報を生成して、生成した前記動き情報を前記信号検出部に送信する動き情報生成部と、
   前記リモートコントローラからの前記入力信号が受信された場合に、前記リモートコントローラからの前記入力信号により制御される被制御部を制御する信号を前記制御信号に基づいて生成し、前記リモートコントローラからの前記入力信号が受信されない場合に、前記被制御部を制御する信号を前記動き情報生成部からの前記動き情報に基づいて生成する信号検出部とを含む
   ことを特徴とする電子装置。
2. 前記リモコン受信制御部が、前記リモートコントローラから受信した同期信号に基づいて同期制御信号を生成し、生成した前記同期制御信号を信号検出部に送信し、
   前記動き情報生成部が、前記リモコン受信制御部からの前記同期制御信号を受信した場合に、前記リモートコントローラを検出する
   ことを特徴とする請求項１に記載の電子装置。
3. 前記動き情報生成部が、検出した前記リモートコントローラの前記動き情報を生成して、生成した前記動き情報を前記信号検出部に送信し、
   前記信号検出部が、前記同期制御信号を受信した後において、前記入力信号が受信された場合に、前記制御信号に基づいて前記被制御部を制御する信号を生成し、前記入力信号が受信されない場合に、検出した前記リモートコントローラの前記動き情報に基づいて前記被制御部を制御する信号を生成する
   ことを特徴とする請求項２に記載の電子装置。
4. 前記信号検出部が、前記リモートコントローラに設けられたボタンであって、前記入力信号に対応するボタンに応じて、前記動き情報に基づいて前記被制御部を制御する信号を生成する
   ことを特徴とする請求項１に記載の電子装置。
5. 前記リモートコントローラが、光源を予め定められたパターンで点滅することにより、前記入力信号を送信し、
   前記動き情報生成部が、画像に含まれる前記リモートコントローラの前記光源を検出することにより、前記動き情報を生成する
   ことを特徴とする請求項１に記載の電子装置。
6. 前記信号検出部が、生成した前記被制御部を制御する信号が予め保持したデータと一致する場合に、生成した前記被制御部を制御する信号に基づいて、前記被制御部を制御する
   ことを特徴とする請求項１に記載の電子装置。
7. 前記動き情報生成部が、カメラが撮影した画像に基づいて、前記リモートコントローラの動きを表す動き情報を生成して、生成した前記動き情報を前記信号検出部に送信する画像処理部を含む
   ことを特徴とする請求項１に記載の電子装置。
8. リモコン受信制御部が、リモートコントローラから受信した入力信号に基づいて制御信号を生成し、生成した前記制御信号を信号検出部に送信し、
   動き情報生成部が、前記リモートコントローラの動きを表す動き情報を生成して、生成した前記動き情報を前記信号検出部に送信し、
   信号検出部が、前記リモートコントローラからの前記入力信号が受信された場合に、前記リモートコントローラからの前記入力信号により制御される被制御部を制御する信号を前記制御信号に基づいて生成し、前記リモートコントローラからの前記入力信号が受信されない場合に、前記被制御部を制御する信号を前記動き情報生成部からの前記動き情報に基づいて生成する
   ことを特徴とする電子装置の入力制御方法。
9. コンピュータに、
   リモートコントローラから受信した入力信号に基づいて制御信号を生成する処理と、
   前記リモートコントローラの動きを表す動き情報を生成する処理と、
   前記リモートコントローラからの前記入力信号が受信された場合に、前記リモートコントローラからの前記入力信号により制御される被制御部を制御する信号を前記制御信号に基づいて生成し、前記リモートコントローラからの前記入力信号が受信されない場合に、前記被制御部を制御する信号を前記動き情報に基づいて生成する処理とを、実行させる
   ことを特徴とする入力制御プログラム。

Images