JP5258558B2 - 装置の制御のための方法 - Google Patents

Description

本発明は、装置の制御のための方法及びシステム、並びに斯かるシステムにおいて利用可能なポインティングデバイスに関する。

例えばテレビジョン、ＤＶＤプレイヤ、チューナ等といったいずれかの消費者向け電子装置のような装置の制御のため、一般にリモートコントローラが利用される。しかしながら、平均的な家庭においては、しばしば各消費者向け電子装置に対して１つといったように、複数のリモートコントローラが必要とされ得る。自身が所有する消費者向け電子装置を熟知した人物にとってさえも、各リモートコントローラ上の各ボタンが実際には何のためのものかを記憶するのは困難である。更に、幾つかの消費者向け電子装置のために利用可能なオンスクリーン型のメニュー駆動型ナビゲーションはしばしば、特に当該装置に利用可能な選択肢の深い知識を持たないユーザにとって、直感的ではない。その結果、ユーザは該ユーザが探している選択肢の場所を探すため画面上に表示されるメニューを継続的に精査し、次いで適切なボタンを探すためにリモートコントローラを見下ろす必要がある。しばしば、ボタンは非直感的な名称又は略称を与えられる。加えて、リモートコントローラ上のボタンは、最初にモードボタンを押下することによりアクセスされる、他の機能をも実行し得る。

時折、幾つかの装置を制御するために単一のリモートコントローラ装置が利用される。リモートコントローラは或る装置を他の装置から区別することは不可能であるから、リモートコントローラは各装置のための専用のボタンを備えられる必要があり、ユーザは所望の装置とインタラクトする前に適切なボタンを明示的に押下する必要がある。

通常のリモートコントローラに対するとり得る代替は、ポインティングデバイス（pointing device）である。ポインティングデバイスに基づくユーザインタフェースシステムは、国際特許出願公開WO2004/047011A2（参照により開示が本明細書に組み込まれたものとする）より知られる。斯かるシステムの概念は、カメラに接続されたポインティングデバイスが、例えば装置のケース、画面、又は該装置に関連する他のいずれかのアプリケーション又はアクセサリのような物体を指す（ポインティングする）ことにより、周囲にあるいずれかの該装置を制御するために利用され得るというものである。ポインティングデバイスのカメラは目標エリアの画像を生成し、該画像が次いで解析される。

画像解析により解決される必要がある主なタスクは、ユーザが指している（ポインティングしている）物体を識別し、該ポインティングの軸と該物体との交点を決定することである。該交点は、装置のための制御信号を生成するための基準となり得る。例えば、ユーザが関連する装置を制御するための幾つかの選択肢を有するメニューを表示する画面を指す場合、前記交点はユーザが指しているメニューの選択肢を導出する。他の例においては、ビデオフィルムを開始するために、ユーザがＤＶＤプレイヤのケースに配置された「再生」ボタンを指しても良い。

しかしながら、例えば同一のサイズ及び形状の一群のテレビジョン又はコンピュータのモニタ、又は例えばしばしば類似した外観を持つ一群のビデオカセットレコーダやＤＶＤプレイヤ等のように、物体が形状及び外観において類似している場合、装置及び／又は正確な前記交点を識別するという問題が、より困難とされる。通常の環境下では物体が見分けられる場合であっても、例えば暗くされた部屋におけるような、視認性が悪い条件下においてはもはや見分けることが不可能となり得る。

それ故本発明の目的は、上述した問題を回避する又は軽減させる、自動的に物体を識別する及び／又はポインティングの軸が前記物体と交差する点を決定する、容易且つ適切な方法を提供することにある。

この目的のため、本発明は、以下のステップを有する、装置の制御のための方法を提供する。即ち、カメラと不可視光の光源とを有するポインティングデバイスが、制御されるべき装置に関連する物体の方向に向けられる。ここで、前記物体上又は前記物体中には、前記光源により発射された前記不可視光の少なくとも一部を前記ポインティングデバイスへと反射させる幾つかの逆反射マーカ素子が配置される。次いで、前記ポインティングデバイスが向けられた目標エリアの第１の画像が生成され、これにより前記光源が不活動となり、前記ポインティングデバイスが向けられた前記目標エリアの第２の画像が生成され、ここで少なくとも前記第２の画像を生成するための露光時間の一部の間、不可視光が前記光源によりポインティングの方向に発射される。これにより、前記第２の画像が原則的に前記第１の画像より前に生成されることが、当業者には明らかであろう。続いて、前記逆反射マーカ素子の存在を決定するために前記目標エリア画像が処理され、前記逆反射マーカ素子に関する情報が用いられ、前記制御されるべき装置を識別し、及び／又は前記識別された装置についての制御信号を決定する。

斯かる方法を利用する装置を制御するための適切なシステムは、ポインティングデバイスであって、前記ポインティングデバイスが向けられた方向に不可視光を発射する不可視光の光源と、ポインティングの方向に目標エリアの画像を生成するカメラであって、前記光源により発射される不可視光の周波数範囲に対して感度のあるカメラと、前記光源と前記カメラとを同期させて、それにより前記目標エリアの第１の画像が生成され、それにより前記光源が不活動となり、前記目標エリアの第２の画像が生成され、ここで少なくとも前記第２の画像を生成するための露光時間の一部の間、前記光源により前記ポインティングの方向に不可視光が発射されるようにする同期ユニットと、を有する、本発明によるポインティングデバイスを本質的に必要とする。

更に本発明によれば、装置を制御するための斯かるシステムは、制御されるべき前記装置に関連する物体上又は前記物体中に配置され、前記光源により発射された不可視光の少なくとも一部を前記ポインティングデバイスへと反射させる、幾つかの逆反射マーカ素子と、前記逆反射マーカ素子の存在を決定するため前記目標エリア画像を処理するための画像処理ユニットと、前記逆反射マーカ素子に関する情報を用いて、前記制御されるべき装置を識別する及び／又は前記識別された装置についての制御信号を決定する制御手段と、を有するべきである。

逆反射素子は、ミラーとは異なり、入射角にかかわらず、光又はその他の放射をこれらが来た方向に送出する装置として知られる（ミラーは、該ミラーが光ビームと正確に垂直である場合にのみ、該光が来た方向に該光を反射する）。それ故、逆反射マーカ素子の利点は、ポインティングデバイス中のカメラのためマーカ素子から十分な強度の反射信号を得るために、ポインティングデバイス中の光源が特に強力な光ビームを生成する必要がないという点である。全ての物体の逆反射マーカ素子を見ることが可能であることは、ポインティングデバイスのユーザにとって不快なものとなり得るため、光源、逆反射マーカ素子及びカメラは、人間の眼に見えない光スペクトルの領域で動作するように構成される。斯かる領域は、例えば赤外領域又は紫外領域であっても良い。逆反射マーカ素子は、カメラにより一層容易に認識され得、画像の処理における利用のために配置されても良く、好ましくは方向付けを明確に支援するように働き得る。

本発明による方法及びシステムは、ユニバーサルな制御ツールである対応するポインティングデバイスのための、より容易な利用を提供する。なぜなら、生成された画像に基づき制御信号が生成されるようにするため、ユーザは装置又は物体を指す必要があるのみであるからである。とりわけ、ここで説明される方法によってユーザは、異なる装置に関連するいずれかの物体が外観において類似又は同一である場合であっても、又は周囲が暗闇である場合であっても、斯かるポインティングデバイスを用いて、逆反射マーカ素子によりマークされた装置を容易に識別し該装置とインタラクトすることができる。ポインティングデバイスの当該機能は、上述したように、便利なポインティング様式と併せ、日常における無数の状況に対して、本発明を強力且つ実用的なツールとする。

従属請求項及び以下の説明は、本発明のとりわけ有利な実施例及び特徴を開示する。

種々の可能性が、第２の目標エリア画像における逆反射マーカ素子の認識を可能とする。好適な方法においては、逆反射マーカ素子の存在を決定する処理ステップは、好ましくは画素毎に、第２の目標エリア画像から第１の目標エリア画像を減算し、目標エリアマーカ画像を生成するステップを有する。該目標エリアマーカ画像はこのとき、単に逆反射マーカ素子を示し、それにより逆反射マーカ素子が該画像において明確に認識され得る。

制御されるべき装置の識別のために及び／又は識別された装置のための制御信号の決定のために処理されるべきデータの量を低減するため、本方法においては好ましくは以下の２ステップ処理が利用される。

第１のステップにおいて、目標エリア画像の画像データが前処理され、いずれかの逆反射マーカ素子の存在を決定する。本ステップにおいて、前記第１の目標エリア画像及び／又は前記第２の目標エリア画像及び／又は前記目標エリアマーカ画像の画像データが、位置特定された逆反射マーカ要素に依存して抽出される。抽出される画像データは例えば、単に位置特定された逆反射マーカ素子の画像座標であっても良いし、若しくはマーカ素子の周囲の特定の「関心領域（regions of interest）」であっても良く、又は画像から抽出可能な他のいずれかのデータであっても良い。画像における特定の認識された要素に関連する斯かる情報は、本発明の意味において、画像データとしてみなされる。任意に、逆反射マーカ素子を利用することにより、本ステップにおいて装置が識別されても良い。

第２のステップにおいて、例えば第１のステップにおいて装置の識別が為されていない場合には装置を識別するために、及び／又は識別された装置のための制御信号の決定のために、前記抽出された画像データが更に処理される。とりわけ、本更なる処理ステップにおいて、ポインティングの軸とユーザが指した物体との交点が決定されても良く、更に該物体及び／又は関連する装置に依存する制御信号が該交点に基づいて決定されても良い。

好ましくは、前記更なる処理のための画像データは、前記制御されるべき装置に依存して定義されたフィルタ規則により抽出される。例えば、該装置が特別なフィルタリングを要求しても良く、ポインティングデバイス装置が種々の装置についてのフィルタ規則を保存するためのメモリを持つ適切なフィルタ手段を有する。装置についてのフィルタ規則は例えば、画像データ中の三角形の逆反射マーカ素子の全てが探されることを規定しても良いし、又は最小サイズを持つ逆反射マーカ素子が探されることを規定しても良い。同様に、フィルタ規則は、特定の距離だけ離隔され互いに対して特定の方向を持つ逆反射マーカ素子の特定の組み合わせを探すことを規定しても良い。

更に、フィルタ規則はまた、特定の逆反射マーカ素子又は逆反射マーカ素子の組み合わせが識別されたときに、どの画像データが選択されるべきかを規定しても良い。このようにして、装置についての第１のフィルタ規則が、位置特定された逆反射マーカ素子の座標のみが転送されるべきであることを規定しても良い。他の装置のフィルタ規則が、位置特定された逆反射マーカ素子の座標に加えて、逆反射マーカ素子の形状及び方向に関する情報もが転送されるべきであり、それにより例えば、識別された逆反射マーカ素子を含む目標マーカ画像の画像データもまた転送されるべきであることを規定しても良い。更に他のフィルタ規則が、例えば認識された逆反射マーカ素子の中心の周りの１０ｘ１０画素の正方形領域といった、特定の画像領域もまた送信されるべきであることを規定しても良い。同様に、マーカ素子の周囲の他のいずれの種類の画像領域が定義されても良い。

フィルタ規則は好ましくは、一方では処理のためにとり得る最小の量のデータが選択され、他方では制御信号が比較的迅速に決定されることを確実にするために十分な量のデータが選択されるように、画像データの選択が最適に為されるよう規定される。かくして、逆反射マーカ素子に関する位置情報及び、もし必要であれば、例えばこれらマーカの形状及びサイズを記述する情報が転送されさえすれば、装置にとって十分である。これらの逆反射マーカ素子が、例えば特定のボタンが特定の位置に配置された装置筐体の前面に位置特定された場合、逆反射マーカ素子の座標は、ポインティングの軸と装置筐体の前面との交点を決定し、どのボタンをユーザが現在ポインティングデバイスで指しているかを決定するのに十分となる。例えば幾つかの頻繁に変化するメニュー項目を表示する画面のような他の例においては、より多くの量のデータを選択することが有利となり得る。斯かる場合においては、識別された逆反射マーカ素子間の画面の少なくとも一部を有する、画像の第１又は第２の目標エリアの全ての画像データを選択することが有利となり得る。これらの画像データに基づき、交点又は選択されたメニュー選択肢を識別することがより容易となり得る。

本発明の特に好適な実施例においては、目標エリア又は目標エリアマーカ画像の前処理が、ポインティングデバイス自体において実行される。換言すれば、逆反射マーカ素子及び任意にポインティングされている物体又は装置が、ポインティングデバイス内で識別される。

しかしながら、好ましくは手で快適に保持されるようにされた、斯かるポインティングデバイスの計算能力は、複雑な計算処理により要求される能力により必然的に非常に制限されてしまう。それ故、抽出される画像データは好ましくは、制御されるべき装置に関連する制御ユニットへと、更なる処理のために転送される。該制御ユニットは、制御されるべき装置のための制御信号を決定する。該制御ユニットは例えば、該装置の一部であっても良いし、該装置自体と同じ筐体に組み込まれても良い。他の例においては、該制御ユニットは、いずれかの適切な態様で、制御されるべき装置と通信することができる別個の物として実現されても良く、それにより、斯かる制御ユニットは１より多い装置を制御することを可能とされても良い。

好適な実施例においては、前記ポインティングデバイスは、特定の前記フィルタ規則によって抽出された前記画像データを、関連する前記フィルタ規則及び／又は該フィルタ規則に関連する前記装置を識別するための情報信号（以下「フィルタ識別子」と呼ぶ）と共に送信する。このことは、ポインティングデバイスが、関連する情報信号と共に、画像データを放送の態様で送信することを可能とする。とりわけ、種々の装置が異なる制御ユニットに割り当てられており、制御ユニットのそれぞれが自身の装置にのみ関連する場合、本方法の利点は、ポインティングデバイスが制御されるべき装置を識別する必要がなく、保存されたフィルタ規則及び関連するフィルタ識別子を識別する必要があるのみであるという点である。各装置の制御ユニットは、フィルタ識別子に基づいて放送信号から関連するデータをフィルタリングで取り出すことができ、それ故当該制御ユニット向けの関連する画像データを処理する必要があるのみである。

本方法はそれ故有利な態様で、一方ではポインティングデバイス中の画像処理が著しく低減され、他方ではポインティングデバイスと制御ユニットとの間のデータ転送が非常に低減され得ることを保証する。本方法はそれ故、Bluetooth（登録商標）又は同様のもののような短距離無線チャネルに対して現在利用可能なもののような、制限された通信帯域幅にも適用可能である。更に、現在の消費者向け電子装置及びポインティングデバイスにおいて利用可能な非常に限られた処理能力が、考慮に入れられる。

複数のフィルタ規則に合致する逆反射マーカ素子が識別される限り、フィルタ規則により抽出された画像データを１度より多く送信する必要はない。このことは、放送送信の方法により、ポインティングデバイスにおける前処理の間に種々のフィルタ規則の要件を満足するために十分な画像領域が抽出され、且つこれらの画像領域が次いで適用されるフィルタ規則又は対応する装置に関する情報（例えばフィルタ識別子）と共に送信されるのに十分である。この場合においては、装置又は関連する制御ユニットが、これらが実際に必要とするよりも多いデータを受信する。しかしながら、転送されるデータの総量は、この方法により最小に維持され得る。

とりわけ、好適な方法においては、異なる装置により要求された前記フィルタ規則により抽出された画像データの量が特定のレベルを超過する場合に、前記第１の目標エリア画像の全体又は前記第２の目標エリア画像の全体、及び任意に目標エリアマーカ画像又は例えば逆反射マーカ素子の座標のような逆反射マーカ素子の画像データが、制御ユニットに送信される。例えばこのことは、第１の目標エリア画像全体の画像データの量が、フィルタ規則により抽出された画像データの総量よりも小さい場合に有意義である。この場合にはまた、目標エリア画像全体の送信に加え、全ての関連するフィルタのフィルタ識別子が送信され、それにより、対応する制御ユニットが、該送信された画像が当該制御ユニットに向けられたものであること、及び当該制御ユニットが適切な態様で更なる処理を実行する必要があることを知ることができる。

逆反射マーカ素子は、上述したような逆反射効果が得られる、いずれのタイプの素子であっても良い。逆反射効果は通常、種々の方法で得られる：
ａ）逆反射素子が、コーナを形成する３つの垂直なミラー（コーナー反射器又はコーナーキューブ）のセットと、２の屈折率を持つ物質から成る透明な球体とを有する。
ｂ）逆反射素子は、薄板又は塗料に組み入れられた、これらの構造の多くの非常に小さなバージョンから成っても良い。ガラス玉を含む塗料の場合においては、該塗料が該ガラス玉を逆反射が必要とされる表面に接着させ、これらガラス玉が該塗料から突出する。これらガラス玉の直径は塗料の皮膜の厚さの約２倍である。

例えばそれ故、例えば制御されるべき装置の筐体のような、個々の物体の表面に適切な皮膜を塗布し、それにより逆反射マーカ素子が該物体又は装置の筐体の不可分な部分を形成することも可能である。

他の代替例は、物体又は装置の表面に単に貼付されるステッカの形をとる逆反射マーカ素子を利用することであっても良い。斯かる自己接着型の逆反射性ホイルは、通常埋め込まれたガラスの微粒子を含み、Orafol Klebetechnik GmbH社により製造されたもののように、種々の色で利用可能である。更に、逆反射性ホイルが印刷され得る色の範囲が利用可能である。

好ましくは、光の可視領域において透明であるように見えるか、又は塗布される物体の表面と同一である逆反射マーカ素子が利用される。これにより、逆反射マーカ素子は、物体の外観を変更せず、またユーザは一見して逆反射マーカ素子に気付かない。

逆反射マーカ素子は好ましくは、制御されるべき装置の物体に間接的に関連する、又は制御されるべき装置と直接的に関連する、一意的な識別子を与えるような特定の態様で、設計され（即ち形づけられ及び色を付けられ）構成される。

ステッカが利用される場合、ユーザ自身がこれらステッカを、該ユーザがポインティングデバイスを利用して制御したいと望む装置又は関連する物体に貼付しても良い。この目的のため、ユーザは、ポインティングデバイス又は制御されるべき特定の装置の購入時に、適切に貼付されるべき逆反射マーカ素子のセットを与えられても良い。ユーザにとって、固定された所定の方法で逆反射マーカ素子を貼付すること、又は正確な位置を正確に測り分けることは、必須ではない。逆反射マーカ素子を用いた更なる処理のために必要とされる全ての情報は、物体にステッカを貼付した後にユーザがポインティングデバイスを数秒間の間物体に向けることを要求される、セットアップ又は初期化処理において取得され得る。斯かるトレーニングモードを利用することにより、ユーザは、適切なユーザインタフェースを介して、現在識別可能な逆反射マーカと関連すべき装置を特定することができ、それにより対応する装置又は制御ユニットが次いで、該装置と共に利用されるべきフィルタ規則を独立して決定することができる。

ユーザが該ユーザの既存システムにおいてポインティングデバイスを用いて制御することを可能とすることを欲する新たな装置を購入した場合、該装置は、適切な逆反射マーカ素子を備えていれば、初期化処理において即座にフィルタ規則をポインティングデバイスに送信することができ、それにより、将来、該フィルタ規則がポインティングデバイスにより考慮され、該フィルタ規則により抽出されるデータが該装置又は対応する制御ユニットに送信されることとなる。

本発明は、以下の有利な手法の利用を可能とする。

例えば、指された装置又はオブジェクトが関連するものであると識別された場合はいつでも、或るタイプの視覚的なフィードバックが提供されても良い。とりわけ、光源が紫外光を発する場合、適切な蛍光層又は皮膜が、例えば装置の前面パネル上において可視光を反射するボタンサラウンド（button surround）の形で、一時的に可視とされる。

不可視の光の光源が赤外光の光源である場合、本発明の好適な実施例においては、ポインティングデバイスを利用して、既に説明した態様で関連する物体を単純に指すことによっては制御され得ない古典的な装置を制御することが可能である。斯かる場合においては、現時点において一般に利用可能な赤外のリモートコントローラにおける場合のように、赤外光源が適切なコードを装置に直接送信するために利用されることができる。この目的のため、例えば該装置は、上述の方法によって最初に識別されても良い。続いて、専用の制御ユニットにおいて該装置のために適切な制御信号が生成され、適切な形態でポインティングデバイスに送信されても良い。該制御信号は最後に、赤外信号の形で、ポインティングデバイスから、制御されるべき装置へと送信されても良い。勿論、初期化処理において、制御されるべき装置の後の識別のための、及び適切な制御信号の生成のための必要な情報を、制御ユニットが取得することが必要である。またポインティングデバイス自体が、斯かる装置を制御するための適切な制御ユニットを備えることも、基本的に可能である。

更に、好適な実施例においては、関心領域に対してズームイン又はズームアウトすることが可能である。即ち、カメラセンサと物体との間の距離に依存して、カメラセンサのより大きな又は小さな領域を利用することが可能である。ポインティングデバイスに近すぎて画像に収まらない物体の識別の問題は、これにより解決される。同様に、物体への距離によって解像度が変化させられても良い。

例えばポインティングの軸と物体と交点を決定するため、コンピュータビジョン（computer vision）アルゴリズムが利用されても良い。

コンピュータビジョンアルゴリズムを用いて物体の目標エリア画像の抽出された画像データを処理する方法は、目標画像データにおける特徴的な点を検出するステップと、装置の物体のテンプレートにおける対応する点を決定するステップと、該テンプレートにおける対応する点に前記画像データにおける点をマッピングするための変換を実行するステップと、を有しても良い。画像データの特徴的な点は逆反射マーカ素子であっても良いが、同様に（加えて）物体自体の特徴的な点又は該装置を囲むエリアにおける点であっても良い。該変換は次いで、該物体に対するポインティングデバイスの位置及び向きを決定するために利用され、それによりポインティングの軸と該物体との交点がテンプレートにおいて位置特定される。該テンプレートにおける該交点の位置は、制御されるべき装置に関連する該物体上の目標点に対応し、どの選択肢がユーザによって指されたかを容易に決定するために利用され得る。このようにして、画像データを所定のテンプレートと比較することは、特徴的な隅の点のような顕著な点のみを識別し比較することに限定され得る。本発明において用いられる「比較する」なる語は広い意味で解釈されるべきであり、即ち単にユーザが目的とする選択肢を迅速に識別するために十分な特徴を比較することを意味する。

利用の容易さのため、ポインティングデバイスは、ユーザによって快適に把持され容易に持ち歩くことができるような細長い形状の棒又はペンの形をとっても良い。かくしてユーザは、制御されるべき装置に、該装置から離れて位置しながらも、ポインティングデバイスを直接向けることができる。同様に、ポインティングデバイスはピストルの形をとっても良い。更に、周囲が暗い場合であっても制御されるべき装置をユーザが容易に見出すことができるように、ポインティングデバイスが向けられた領域を照射するように動作する付加的な可視光源が、ポインティングデバイス中又はポインティングデバイス上に設置されても良い。同様に、ユーザに対して該ユーザがポインティングデバイスをどこに向けているかを正確に示すための、可視レーザ光のビームを生成するレーザ光源が、ポインティングデバイス中又はポインティングデバイス上に組み込まれても良い。

上述したポインティングデバイスと制御ユニットとは併せて、家庭、オフィス、博物館、病院又はホテル環境のような、事実上いずれもの種類の環境における利用のための、強力な制御システムを提供する。本発明による方法は、いずれの電気的又は電子的に制御可能な装置に対しても適用され得る。更に、制御ユニット及び制御されるべき装置は、いずれの数のモジュール、コンポーネント又はユニットを有しても良く、いずれかの態様で分散させられても良い。

本発明の他の目的及び特徴は、添付図面と共に考慮される以下の詳細な説明から明らかとなるであろう。しかしながら、図面は単に説明の目的のために描かれたものであると理解されるべきであり、本発明の限定の定義として理解されるべきではない。

図面を通して、同様の番号は同様のオブジェクトを指す。示されるポインティングデバイスは、図面に示されていないユーザにより保持され操作される。

図１に示されるシステムは、制御されるべき２つの装置Ｄ_１及びＤ_２と、ポインティングデバイス１とを有し、該ポインティングデバイス１によって装置Ｄ_１及びＤ_２が制御される。本例においては、対応する装置Ｄ_１及びＤ_２に関連し且つポインティングデバイス１中のカメラ２により識別されることができる物体Ｏ_１及びＯ_２は、実際の装置Ｄ_１及びＤ_２のケース又は筐体である。本例においては２つの装置のみが示されているが、更なる装置が本発明による方法における利用のために構成される場合には、いずれの数の斯かる装置もがポインティングデバイス１により制御されても良い。

第１の装置Ｄ_１は、画面を持つテレビジョンである。第２の装置は例えば、前面パネルにディスプレイ１４及び種々のボタン１５を持つステレオサウンドシステムのチューナである。説明の目的のため、ポインティングデバイス１は、制御されるべき装置Ｄ_１及びＤ_２に比して大きな縮尺で示されている。手に保持されるポインティングデバイス１は一般に、制御されるべき装置Ｄ_１及びＤ_２よりもかなり小さい。

これら装置Ｄ_１及びＤ_２のそれぞれは、自身の制御ユニットＣ_１及びＣ_２を備え、該制御ユニットＣ_１及びＣ_２はここでは明確さのため、対応する物体Ｏ_１及びＯ_２と並んで別個のものとして示されている。好ましくは、これら制御ユニットＣ_１及びＣ_２のそれぞれは、対応する装置Ｄ_１及びＤ_２の筐体の中に組み込まれる。

しかしながら基本的に、図示されたような装置Ｄ_１及びＤ_２に、外部の制御ユニットを備えることが可能である。例えば、制御モジュールＣ_１及びＣ_２が関連する装置Ｄ_１及びＤ_２に制御信号ＣＳ_１及びＣＳ_２を送信できるようにするための適切な制御入力を持つ限り、装置が斯かる制御ユニットと共に動作するように改良されても良い。例えば、通常赤外リモートコントローラにより制御されるような古典的な装置を採用し、該装置が適切な赤外送信器を備えた制御ユニットにより動作させられることを可能とすることにより（該装置が該制御ユニットから送信された赤外信号を受信することが可能である限り）、システムが構成されても良い。このようにして、いずれの装置もが、該装置が本発明による方法を利用して制御されることができるように、外部の制御ユニットにより改良されても良い。

本発明によれば、対応する装置Ｄ_１及びＤ_２の物体Ｏ_１及びＯ_２の筐体に、逆反射マーカ素子Ｍ_１、Ｍ_２、Ｍ_３、Ｍ_４、Ｍ_５、Ｍ_６及びＭ_７が貼付される。これらマーカ素子は例えば、これらマーカ素子が気付かれないように、透明であるか又はこれらマーカ素子が貼付される筐体Ｏ_１及びＯ_２の表面と同一の色を持つステッカであっても良い。代替として、これら逆反射マーカ素子Ｍ_１、Ｍ_２、Ｍ_３、Ｍ_４、Ｍ_５、Ｍ_６及びＭ_７は、例えば塗料自体において、筐体Ｏ_１及びＯ_２の表面に直接に一体化されていても良い。上述の例においては、逆反射マーカ素子Ｍ_１、Ｍ_２、Ｍ_３、Ｍ_４、Ｍ_５、Ｍ_６及びＭ_７は、異なる形状を持つ。ここでは、テレビジョンＤ_１に貼付された２つの逆反射マーカ素子Ｍ_１及びＭ_２は、三角形の形状を持つ。更なる逆反射マーカ素子Ｍ_３は丸まった角を持つ縦長の形状を持ち、第４の逆反射マーカ素子Ｍ_４は長方形の形状を持つ。第２の装置Ｄ_２の場合には、２つの円形の逆反射マーカ素子Ｍ_５及びＭ_６、並びに十字型の形状の更なる逆反射マーカ素子Ｍ_７が利用される。逆反射マーカ素子Ｍ_１、Ｍ_２、Ｍ_３、Ｍ_４、Ｍ_５、Ｍ_６及びＭ_７の形状と、これらの相対的な位置とが併せて、制御されるべき装置Ｄ_１及びＤ_２に関連する一意的な識別子をもたらす。対称の回転軸を持たない逆反射マーカ素子の利用、又は逆反射マーカ素子の組み合わせの利用は、逆反射マーカ素子がかくしてこれら素子の向きを明確に記述し、向きに関する不確定さが後の認識ステップにおいて対処される必要がないという利点を持つ。

ポインティングデバイス１は、本発明のために必要な以下のコンポーネント、即ちカメラ２、可視光源３、同期ユニット４、並びにフレームバッファ６、減算ユニット７及びディジタル信号プロセッサ（ＤＳＰ）８を有する処理ユニット５を有する。更に、ポインティングデバイス１は無線通信モジュール９を有し、該モジュール９によりデータが装置Ｄ_１及びＤ_２の制御ユニットＣ_１及びＣ_２へと送信され、また該制御ユニットＣ_１及びＣ_２から受信されることができる。

言うまでもなく、ポインティングデバイス１は、例えばボタン、又はユーザが装置のための制御信号の生成のために付加的な命令を入力することができる或る種のユーザインタフェースのような、上述したもの以外のコンポーネントを有しても良い。斯かる付加的なコンポーネントについては、再びWO2004/047011A2を参照されたい。該文献において、斯かるポインティングデバイスのための幾つかの付加的なコンポーネントが詳細に記載されている。ポインティングデバイスはまた、ここで説明された態様での制御信号の生成のために利用されても良い。例えば、ポインティングデバイスが、単に目標を指すのみならず、制御信号の生成のため特定の態様で解釈され得る特定の態様又はジェスチャで動かされても良い。

図１に示されたポインティングデバイス１及び制御ユニットＣ_１及びＣ_２の個々のコンポーネントの機能は、以下に詳細に説明される。

同期ユニット４の２つのタイマ４ａ及び４ｂが、ポインティングの方向における目標エリアＡの第１の目標エリア画像Ｉ_Ａが生成されるように、カメラ２及び光源３を制御するために利用される。該第１の目標エリア画像Ｉ_Ａはフレームバッファ６に保存され、またＤＳＰ８に転送される。短い遅延（目標エリアに対するポインティングデバイスのいずれの動きも当該時間において無視できるほど短いべきである）の後、第２の目標エリア画像Ｉ_Ｂが生成される。第２の目標エリア画像Ｉ_Ｂの生成の間、少なくとも一時的に、光源３がアクティブとなる。光源３により発せられた不可視の光は、物体Ｏ_１（本例においてはテレビジョンの筐体Ｏ_１）の逆反射マーカ素子Ｍ_１、Ｍ_２、Ｍ_３及びＭ_４よりポインティングデバイス１の方向に、及びそれ故カメラ２の方向に反射させられる。第２の目標エリア画像Ｉ_Ｂは減算ユニット７に転送され、該減算ユニット７において、フレームバッファ６に保存された第１の目標エリア画像Ｉ_Ａが、第２の目標エリア画像Ｉ_Ｂから画素毎に減算され、目標エリアマーカ画像Ｉ_Ｍを導出する。該目標エリアマーカ画像Ｉ_Ｍにおいて、個々の逆反射マーカ素子Ｍ_１、Ｍ_２、Ｍ_３及びＭ_４は明確に識別されることができる。該画像は、第１の目標エリア画像Ｉ_Ａと共に、ＤＳＰ８により処理される。

最初に、各認識された逆反射マーカ素子Ｍ_１、Ｍ_２、Ｍ_３及びＭ_４の座標が決定される。このことは、種々の既知の画像処理方法を用いて実行されても良い。１つの可能性は、所謂「ハリス・コーナー点検出器（Harris corner detector）」を利用することである。これは逆反射マーカ素子の隅部を識別するために利用され得る方法である。種々の画像処理手法を利用して逆反射マーカ素子の隅部及び端部が識別されれば、例えば該画像についての座標系に対する逆反射マーカ素子の中心点が決定されることができる。これらの座標は次いで、例えばユーザが指している物体Ｏ_１の識別のための、更なる処理のための画像データとして働くことができる。

次いで、特定の装置について潜在的に対象となる逆反射マーカ素子が画像において検出されたか否かを決定するため、特定のフィルタ規則ＦＲ_１及びＦＲ_２が適用される。この目的のため、装置Ｄ_１及びＤ_２のそれぞれは、適切な装置特有のフィルタ規則ＦＲ_１及びＦＲ_２を、例えば送信インタフェース１１及び１１'を介して、ポインティングデバイス１の無線通信モジュール９に送信しても良い。これら規則は好ましくは、それぞれが対応するフィルタ規則ＦＲ_１及びＦＲ_２についてのものである、適切なフィルタ識別子ＩＥ_１及びＩＥ_２を伴う。ＤＳＰ８は次いで、フィルタ規則ＦＲ_１及びＦＲ_２を用いて、目標エリア画像Ｉ_Ａから対象となる全てのデータをフィルタリングして取り出す。

例えば、第１の装置Ｄ_１のフィルタ規則ＦＲ_１は、ＤＳＰ８が全ての画像から特定の配置の三角形及び長方形の逆反射マーカ素子Ｍ_１、Ｍ_２、Ｍ_３及びＭ_４を探すことを規定しても良い。第２の装置Ｄ_２に関連する他のフィルタ規則ＦＲ_２は、円形の逆反射マーカ素子Ｍ_５及びＭ_６並びに十字型の形状の逆反射マーカ素子Ｍ_７を探すことを規定しても良い。

フィルタ規則ＦＲ_１及びＦＲ_２に合致する関連する逆反射マーカ素子Ｍ_１、Ｍ_２、Ｍ_３、Ｍ_４、Ｍ_５、Ｍ_６及びＭ_７がＤＳＰ８の画像処理により見出されると、フィルタ規則ＦＲ_１及びＦＲ_２により画像データＩＥ_１及びＩＥ_２が選択される。選択される画像データＩＥ_１及びＩＥ_２は、単に識別された逆反射マーカ素子Ｍ_１、Ｍ_２、Ｍ_３、Ｍ_４、Ｍ_５、Ｍ_６及びＭ_７の座標及び／又はこれら逆反射マーカ素子Ｍ_１、Ｍ_２、Ｍ_３、Ｍ_４、Ｍ_５、Ｍ_６及びＭ_７の近隣における隅又は端のような特定の特異点の座標を有していても良い。任意に、識別の精度を示す、信号強度測定値のような或る種の信頼基準が供給されても良い。識別された構造の向きもが供給されても良い。更に、識別された逆反射マーカＭ_１、Ｍ_２、Ｍ_３、Ｍ_４、Ｍ_５、Ｍ_６及びＭ_７の周囲の特定の領域（関心領域）内の画素もが供給されても良い。

以下、数例の命令が与えられる。これら命令により、送信のための画像データ（「スポット形状」とも呼ばれる）が、フィルタ規則において規定されることができる。該規則は、以下の適切な命令定義を持つ。
「なし」：座標のみが送信され、他の更なる情報は送信されない。
「１画素」：識別された逆反射マーカの中心画素に関する色情報のみが送信される（不可視光範囲で異なる色を持つ逆反射マーカが用いられた場合）。
「長方形」：該命令は、送信されるべき抽出された長方形画像の画素におけるサイズを定義する２つの整数が供給されるべきであることを示す。ここで該長方形画像の中心は、識別された逆反射マーカ素子の座標の中心点である。
「円形」：該命令により、整数の形をとる半径が与えられ、それにより逆反射マーカの座標の中心点の周りの、該中心点から該半径内にある全ての画素が、抽出画像として該フィルタ規則に対応する装置へと送信される。

斯かる選択された抽出画像の例が、図２ａ及び２ｂに示される。図２ａは、コンピュータのモニタＤ_３を示す。該モニタは、ポインティングデバイスによりリモート的に制御されるべきコンピュータ（図示されていない）に関連する物体Ｏ_３である。三角形のマーカＭ_８と十字型の形状のマーカＭ_９とがモニタＯ_３の上端部に貼付され、長方形のマーカＭ_１０と更なる三角形のマーカＭ_１１とが下端部に貼付されている。マーカＭ_８、Ｍ_９、Ｍ_１０及びＭ_１１の周囲の特定の画像エリアＩＥ_３が、制御されるべきコンピュータにより規定される、これらのマーカＭ_８、Ｍ_９、Ｍ_１０及びＭ_１１のための所定のフィルタ規則に基づいて、ポインティングデバイス１用に抽出される。これら画像エリアＩＥ_３は、図２ｂにおいても示されている。

抽出された画像エリアＩＥ_１及びＩＥ_２のみが、図１に示されたように、無線通信インタフェース９を介して、装置Ｄ_１及びＤ_２の制御ユニットＣ_１及びＣ_２へと送信される。装置Ｄ_１及びＤ_２が、画像データＩＥ_１及びＩＥ_２が当該装置に向けられたものであることを認識するために、画像データＩＥ_１及びＩＥ_２は対応する識別子ＦＩ_１及びＦＩ_２を伴う。これら識別子は、先行する初期化処理において、装置Ｄ_１及びＤ_２（又は装置Ｄ_１及びＤ_２の制御ユニットＣ_１及びＣ_２）により、ポインティングデバイス１に供給されている。

装置Ｄ_１及びＤ_２の制御ユニットＣ_１及びＣ_２内で画像データを処理するため、再び図１を参照する。制御ユニットＣ_１及びＣ_２は、上述したように、適切な無線通信モジュール１１及び１１'を有し、これらモジュールを用いてデータが送受信されることができる。

画像データが装置Ｄ_１及びＤ_２に向けたものであるか否かを決定するため、識別ユニット１２及び１２'において識別が実行される。ポインティングの向き及びそれ故ポインティングの向きと対応する装置Ｄ_１及びＤ_２の物体Ｏ_１及びＯ_２との交点もが、該識別ユニット１２及び１２'において決定されても良い。

続いて、データは装置制御信号生成ユニット１３及び１３'に転送され、該ユニット１３及び１３'が次いで該データを利用して実際の制御信号ＣＳ_１及びＣＳ_２を生成する。ユーザが、適切なボタンのようなポインティングデバイス１上のユーザインタフェースを用いて、又はポインティングデバイス１を用いて為されたジェスチャによって、更なる命令を発行した場合には、これら命令もまた画像データＩＥ_１及びＩＥ_２並びにフィルタ識別子ＦＩ_１及びＦＩ_２と共に転送され、装置制御信号生成ユニット１３及び１３'によって処理される。このようにして生成された制御信号ＣＳ_１及びＣＳ_２は次いで、装置Ｄ_１及びＤ_２の関連するコンポーネントに送信される。

特定の逆反射マーカ素子についての種々の種類の情報及び種々の画像形状を要求するために種々のフィルタ規則が利用される場合、好ましくは全ての画像が、可能な限り、単一の伝送に組み合わせられる。例えば、逆反射マーカ素子の座標は、一度供給される必要があるのみとされる。同様に、特定の画素値のような画像データは、データの量を可能な限り少なく維持するため、複数回送信されるべきではない。適用される全てのフィルタ規則のフィルタ識別子が画像データと共に送信され、それにより関連する装置が該規則に従って受信されたデータを処理することができる。

以下の説明は再び、本発明による方法の範囲において、装置がポインティングデバイスによってどのように制御され得るかを説明する。ユーザは、ポインティングデバイスを常に真正面から物体又は装置に向けるわけではない。しばしば、自身の位置を変えるよりもポインティングデバイス１を向けるほうが便利であるから、ポインティングデバイス１は物体に対して幾分斜めの角度で向けられる見込みが高い。このことは図３に示される。図３は、離れた位置から斜めの角度で、物体Ｏ_３（本例では図２ａのモニタ）に向けられたポインティングデバイス１により生成された、目標エリア画像Ｉ_Ａの模式的な表現を示す。従って、目標エリアＡにおける物体Ｏ_３の縮尺及び像は、目標エリア画像Ｉ_Ａにおいて歪んでいる。幾つかの選択肢ＭＰ_１、ＭＰ_２及びＭＰ_３が、モニタＯ_３のディスプレイ上に見られる。該モニタＯ_３上に配置された逆反射マーカ素子Ｍ_８、Ｍ_９、Ｍ_１０及びＭ_１１、並びに制御されるべき装置に関連するフィルタ基準により規定される画像データ（ここでは関心領域）もまた、該図に示されている。ユーザ（図示されていない）は、ポインティングデバイス１を用いて、これら選択肢ＭＰ_１、ＭＰ_２及びＭＰ_３のうちの１つを選択しようと欲し得る。

図２ｂに関連して上述したように、個々の逆反射マーカ素子Ｍ_８、Ｍ_９、Ｍ_１０及びＭ_１１の中心点の座標と、逆反射マーカ素子Ｍ_８、Ｍ_９、Ｍ_１０及びＭ_１１の中心点の周りのマークされたエリアＩＥ_３を送信すれば十分である。図３においては、目標エリア画像Ｉ_Ａの全体が、明確さのために示されている。ポインティングデバイスから制御ユニットへと送信され、後の処理のために利用される目標エリア画像Ｉ_Ａの抽出エリアＩＥ_３は、点線により示される。これらのデータは、フィルタ規則についての識別子と共に、ポインティングデバイスにより送信される。モニタＯ_３に関連する装置（図示されていない）の制御ユニットは、該データが当該装置に向けたものであるかを調べるために該識別子を解釈し、次いでユーザ動作を解釈して該解釈に従って装置を制御しても良い。

この目的のため、目標エリア画像Ｉ_Ａの抽出された画像データＩＥ_３が、より詳細に考察される。装置Ｄ_１に対するポインティングデバイス１の角度にかかわらず、目標エリア画像Ｉ_Ａは常に目標点Ｐ_Ｔの周りにセンタリングされる。制御ユニットの画像処理ユニットは、目標エリア画像Ｉ_Ａの抽出された画像データＩＥ_３を所定のテンプレートＴと比較し、ユーザによって指されている選択肢ＭＰ_３を決定する。この目的のため、抽出された画像データと共に送信された座標を用いて、ポインティングデバイス１の長手軸（ポインティングの軸）と装置Ｄ_１との交点Ｐ_Ｔが目標エリア画像Ｉ_Ａにおいて位置特定される。交点Ｐ_Ｔに対応するテンプレートＴ中の点が、次いで位置特定される。

それ故、逆反射マーカ素子の中心点の座標［（ｘ_ａ'，ｙ_ａ'），（ｘ_ｂ'，ｙ_ｂ'），（ｘ_ｃ'，ｙ_ｃ'），（ｘ_ｄ'，ｙ_ｄ'）］が、テンプレートＴ中の対応する点［（ｘ_ａ，ｙ_ａ），（ｘ_ｂ，ｙ_ｂ），（ｘ_ｃ，ｙ_ｃ），（ｘ_ｄ，ｙ_ｄ）］と比較されても良い。加えて、より高い精度を達成するため、装置のテンプレートＴにおける点に対応する目標エリア画像Ｉ_Ａの画像データＩＥ_３における更なる点を位置特定するため、エッジ−コーナ検出法を利用するコンピュータビジョンアルゴリズムが利用されても良い。
各点は、ベクトルとして表現されても良い。例えば点（ｘ_ａ，ｙ_ａ）が、
と表現されても良い。次のステップとして、目標エリア画像Ｉ_ＡをテンプレートＴにマッピングするための変換関数Ｔ_□が実行される：
ここで、ベクトル
はテンプレートＴにおける座標の対（ｘ_ｉ，ｙ_ｉ）を表し、ベクトル
は目標エリア画像Ｉ_Ａ中における対応する座標の対（ｘ_ｉ'，ｙ_ｉ'）を表す。前記関数に対するより費用効率の良い解を導出する画像の回転及び平行移動のためのパラメータを有するパラメータセット□が、物体Ｏ_３に対するポインティングデバイス１の位置及び向きを決定するために利用されても良い。コンピュータビジョンアルゴリズムは、ポインティングデバイス１内のカメラ２が固定され且つポインティングのジェスチャの向きで「見ている」という事実を利用する。次のステップは、ポインティングの方向Ｐにおける、ポインティングデバイス１の長手軸と物体Ｏ_３との交点Ｐ_Ｔの算出である。該交点は、目標エリア画像Ｉ_Ａの中心としてとられても良い。該交点の座標が算出されれば、テンプレートＴにおける当該交点を位置特定することは簡単な作業である。このようにして、本システムはユーザが指している選択肢ＭＰ_３を決定することができ、物体Ｏ_３に関連する装置のための適切な制御信号を生成することができる。

本発明は好適な実施例及びそれに対する変形の形で開示されたが、多くの更なる変更及び変形が、本発明の範囲から逸脱することなく為され得ることは理解されるであろう。ポインティングデバイスは、家庭又は電気的に若しくは電子的に制御可能な装置を伴う他のいずれかの環境における、ユニバーサル・ユーザインタフェース装置として働いても良い。要するに本発明は、ユーザがポインティングにより意図を表現するいかなる場合においても有益である。本発明の小さな形状因子及び便利で直感的なポインティング様式は、斯かる単純なポインティングデバイスを強力なユニバーサル・リモートコントローラへと向上させることができる。ペン型の形状に対する代替として、ポインティングデバイスは例えば内蔵型カメラを持つＰＤＡ（personal digital assistant）又は内蔵型カメラを持つ携帯電話であっても良い。

明確さのため、本明細書を通じて「１つの（a又はan）」なる語の使用は複数を除外するものではなく、「有する（comprising）」なる語は他のステップ又は要素を除外するものではないことも、理解されるべきである。「ユニット（unit）」は、単一の要素であると明記されない限り、幾つかのブロック又は装置を有しても良い。

本発明の実施例によるポインティングデバイス及び２つの装置を示す、装置を制御するためのシステムの模式的な図である。 ４つの逆反射マーカ素子が配置された装置のモニタの目標エリア画像である。 モニタの装置に関連するフィルタ規則により図２ａの目標エリア画像から抽出された画像データを示す。 本発明の実施例による、物体、該物体の関連するテンプレート、及びポインティングデバイスにより生成された目標エリア画像を示す模式的な図である。

Claims (13)

1. 装置を制御する方法であって、前記方法は、
   カメラと不可視光の光源とを有するポインティングデバイスを、制御されるべき装置に関連する物体の方向に向けるステップを有し、前記物体には、前記光源により発射された前記不可視光の少なくとも一部を前記ポインティングデバイスへと反射させる幾つかの逆反射マーカ素子が配置され、前記方法は更に、
   前記光源が不活動である前記ポインティングデバイスが向けられた目標エリアの第１の画像を生成するステップと、
   前記ポインティングデバイスが向けられた前記目標エリアの第２の画像を生成するステップであって、少なくとも前記第２の画像を生成するための露光時間の一部の間、不可視光が前記光源によりポインティングの方向に発射されるステップと、
   前記逆反射マーカ素子の存在を決定するために前記第1の画像及び前記第２の画像を処理するステップと、
   前記逆反射マーカ素子に関する情報を用いて、前記制御されるべき装置を識別し、及び／又は前記識別された装置についての制御信号を決定するステップと、
   を有する方法。
2. 前記逆反射マーカ素子の存在を決定するための処理ステップは、前記第２の画像から前記第１の画像を減算して、目標エリアマーカ画像を生成するステップを有する、請求項１に記載の方法。
3. 前記逆反射マーカ素子の存在を決定するために前記第1の画像及び前記第２の画像の画像データが処理された後、前記第１の画像及び／又は前記第２の画像及び／又は前記目標エリアマーカ画像の画像データが、位置特定された逆反射マーカに依存して抽出され、
   前記抽出された画像データが更に、前記制御されるべき装置の識別及び／又は前記識別された装置のための制御信号の決定のために処理される、
   請求項２に記載の方法。
4. 前記画像データは、前記制御されるべき装置に依存して定義されたフィルタ規則により抽出される、請求項３に記載の方法。
5. 前記抽出された画像データは、前記制御されるべき装置に関連する制御ユニットに送信される、請求項３又は４に記載の方法。
6. 前記ポインティングデバイスは、特定の前記フィルタ規則によって抽出された前記画像データを、関連する前記フィルタ規則及び／又は該フィルタ規則に関連する前記装置を識別するための情報信号と共に送信する、請求項５に記載の方法。
7. 前記フィルタ規則により抽出された画像データの量が特定のレベルを超過する場合に、前記第１の画像の全体又は前記第２の画像の全体が制御ユニットに送信される、請求項１乃至６のいずれか一項に記載の方法。
8. 前記逆反射マーカ素子は、前記制御されるべき装置の物体に関連する又は前記制御されるべき装置に関連する一意的な識別子を与えるように特に設計及び／又は構成される、請求項１乃至７のいずれか一項に記載の方法。
9. 前記逆反射マーカ素子は、可視周波数範囲において透明に見え、又は前記逆反射マーカ素子が配置された前記物体の表面と同じ可視周波数範囲で見える、請求項１乃至８のいずれか一項に記載の方法。
10. 前記逆反射マーカ素子はステッカである、請求項１乃至９のいずれか一項に記載の方法。
11. 装置を制御するためのシステムであって、前記システムはポインティングデバイスを有し、前記ポインティングデバイスは、
    前記ポインティングデバイスが向けられた方向に不可視光を発射する不可視光の光源と、
    ポインティングの方向に目標エリアの画像を生成するカメラであって、前記光源により発射される不可視光の周波数範囲に対して感度のあるカメラと、
    前記光源が不活動のときに前記目標エリアの第１の画像が生成され、少なくとも露光時間の一部の間に前記光源により前記ポインティングの方向に不可視光が発射されて前記目標エリアの第２の画像が生成されるように、前記光源と前記カメラとを同期させる同期ユニットと、
    を有し、前記システムは更に、
    制御されるべき前記装置に関連する物体に配置され、前記光源により発射された不可視光の少なくとも一部を前記ポインティングデバイスへと反射させる、幾つかの逆反射マーカ素子と、
    前記逆反射マーカ素子の存在を決定するため前記第１の画像及び前記第２の画像を処理するための画像処理ユニットと、
    前記逆反射マーカ素子に関する情報を用いて、前記制御されるべき装置を識別する及び／又は前記識別された装置についての制御信号を決定する制御手段と、
    を有するシステム。
12. ポインティングデバイスであって、
    カメラと、制御されるべき装置に関連する物体の方向に向けられることが可能な不可視光の光源と、を有し、
    前記物体において、前記光源によって発射された不可視光の少なくとも一部を前記ポインティングデバイスへと反射させることができる幾つかの逆反射マーカ素子が配置され、
    前記カメラは、前記光源が不活動である前記ポインティングデバイスが向けられた目標エリアの第１の画像を生成することが可能であり、
    前記カメラはまた、少なくとも露光時間の一部の間に前記光源により前記ポインティングの方向に不可視光が発射されて、前記ポインティングデバイスが向けられた前記目標エリアの第２の画像を生成することが可能である、
    ポインティングデバイス。
13. 前記逆反射マーカ素子の存在を決定するために前記第１の画像及び前記第２の画像を処理し、前記逆反射マーカに関連する情報を用いて、前記制御されるべき装置を識別し、前記識別された装置についての制御信号を決定するための手段を更に有する、請求項１２に記載のポインティングデバイス。