JP6470731B2 - カメラを持つリモコンからの制御フィーチャの推定 - Google Patents

カメラを持つリモコンからの制御フィーチャの推定 Download PDF

Info

Publication number
JP6470731B2
JP6470731B2 JP2016227942A JP2016227942A JP6470731B2 JP 6470731 B2 JP6470731 B2 JP 6470731B2 JP 2016227942 A JP2016227942 A JP 2016227942A JP 2016227942 A JP2016227942 A JP 2016227942A JP 6470731 B2 JP6470731 B2 JP 6470731B2
Authority
JP
Japan
Prior art keywords
beacon
period
received
input
remote control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016227942A
Other languages
English (en)
Other versions
JP2017055446A (ja
Inventor
トマッソ グリッティ
トマッソ グリッティ
フリンスフェン ペトルス アウグスティヌス マリア ファン
フリンスフェン ペトルス アウグスティヌス マリア ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017055446A publication Critical patent/JP2017055446A/ja
Application granted granted Critical
Publication of JP6470731B2 publication Critical patent/JP6470731B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Selective Calling Equipment (AREA)
  • Studio Devices (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Optical Communication System (AREA)

Description

本発明は、リモコンの少なくとも1つの制御フィーチャを推定する装置に関し、前記リモコンは、前記リモコンにより制御される機器に又は近くに配置された少なくとも1つのビーコンから生じる少なくとも1つの光点を検出するカメラを有する。
本発明は、前記装置を有するリモコン、前記装置を有する機器、リモコンにより制御されるべき機器に又は近くに配置された少なくとも1つのビーコンから生じる少なくとも1つの光点を検出するカメラを有する当該リモコンの少なくとも1つの制御フィーチャを推定する方法、前記方法のステップを実行するコンピュータプログラム、及び前記コンピュータプログラムを記憶し、有する媒体に関する。
このような機器の例は、ディスプレイを持つ機器及び遠隔で制御される他の機器である。
リモコンにより制御される機器に又は近くに配置された少なくとも1つのビーコンから生じる少なくとも1つの光点を検出するカメラを有する当該リモコンの少なくとも1つの制御フィーチャを推定する装置は、Philips(登録商標)uWand(登録商標)技術から既知である。
問題は、ビーコンから生じるのではないが、例えばノイズソースから生じる他の光点が検出される場合に生じうる。既存の技術は、このような他の光点をフィルタリング及び/又は消去しようと試みるが、常に容易ではない。
本発明の目的は、リモコンにより制御される機器に又は近くに配置された少なくとも1つのビーコンから生じる少なくとも1つの光点を検出するカメラを有する当該リモコンの少なくとも1つの制御フィーチャを推定する改良された装置を提供することである。
本発明の他の目的は、前記装置を有するリモコン、前記装置を有する機器、リモコンにより制御されるべき機器に又は近くに配置された少なくとも1つのビーコンから生じる少なくとも1つの光点を検出するカメラを有する当該リモコンの少なくとも1つの制御フィーチャを推定する方法、前記方法のステップを実行するコンピュータプログラム、及び前記コンピュータプログラムを記憶し、有する媒体を提供することである。
第1の態様によると、リモコンの少なくとも1つの制御フィーチャを推定する装置が、提供され、前記リモコンは、前記リモコンにより制御される機器に又は近くに配置された少なくとも1つのビーコンから生じる少なくとも1つの光点を検出し、少なくとも1つの非ビーコンから生じる少なくとも1つの光点を検出するカメラを有し、前記少なくとも1つのビーコンから来る光が、前記少なくとも1つの非ビーコンから来る光とは異なり、前記装置は、
−前記光点の検出からの情報に応答して前記少なくとも1つの制御フィーチャを推定するプロセッサ、
を有する。
前記少なくとも1つの制御フィーチャを推定するために、前記プロセッサは、ビーコンからの光点の検出からの情報を使用するだけでなく、非ビーコンからの光点の検出からの情報をも使用する。換言すると、従来はフィルタリング及び/又は消去されなければならなかった、ノイズソースから生じる光点は、ここでは、追加の情報を作成するのに使用される。追加の情報の存在は、欠落した情報を補償するのに、及び制御フィーチャの推定を改良するようにより多くの情報を作成するのに使用されることができる。
前記非ビーコンは、ノイズソース又はビーコンとは異なる他のソースを有する。
前記装置の一実施例は、前記少なくとも1つのビーコンから生じる少なくとも1つの光点が、第1及び/又は第2のビーコンから生じる第1及び/又は第2の光点を有し、前記少なくとも1つの非ビーコンから生じる少なくとも1つの光点が、第1及び/又は第2の非ビーコンから生じる第3及び/又は第4の光点を有し、前記カメラが、時間間隔毎の前記第1及び/又は第2の光点並びに時間間隔毎の前記第3及び/又は第4の光点を検出し、前記情報が、時間間隔毎の前記第1及び/又は第2の光点の第1及び/又は第2の検出からの第1及び/又は第2の情報、並びに時間間隔毎の前記第3及び/又は第4の光点の第3及び/又は第4の検出からの第3及び/又は第4の情報を有し、前記装置が、
−時間間隔毎に前記第1及び/又は第2の情報並びに前記第3及び/又は第4の情報を記憶するメモリ、
を有することにより規定される。
時間間隔毎に光点を検出することにより、及び時間間隔毎に情報を記憶することにより、光点は追跡されることができ、より多くの情報が収集される。第3のビーコンからの他の光点又は第3及び/又は第4のビーコンからの他の光点等は、除外されるべきではない。第3の非ビーコンからの更に他の光点又は第3及び/又は第4の非ビーコンからの更に他の光点等は、除外されるべきではない。
前記装置の一実施例は、前記第1及び/又は第2のビーコンとして前記第1のビーコンのみが存在し、前記第1及び/又は第2の非ビーコンとして前記第1の非ビーコンのみが存在し、前記プロセッサが、前記第1の光点が時間間隔内に検出されることができない場合に、この時間間隔からの前記第3の情報及び以前の時間間隔からの前記第1及び第3の情報を処理することによりこの時間間隔に対する前記第1の情報を推定することにより規定される。この実施例は、1つのビーコン及び1つの非ビーコンが存在する場合の推定を規定する。
前記装置の一実施例は、前記第1及び/又は第2のビーコンとして前記第1のビーコン及び前記第2のビーコンが存在し、前記第1及び/又は第2の非ビーコンとして前記第1の非ビーコンのみが存在し、前記プロセッサが、前記第1の光点が時間間隔内に検出されることができない場合に、この時間間隔からの前記第2及び第3の情報並びに以前の時間間隔からの前記第1及び第2及び第3の情報を処理することによりこの時間間隔に対する前記第1の情報を推定することにより規定される。この実施例は、2つのビーコン及び1つの非ビーコンが存在する場合の推定を規定する。
前記装置の一実施例は、前記第1及び/又は第2のビーコンとして前記第1のビーコン及び前記第2のビーコンが存在し、前記第1及び/又は第2の非ビーコンとして前記第1の非ビーコン及び前記第2の非ビーコンが存在し、前記プロセッサが、前記第1の光点が時間間隔内に検出されることができない場合に、この時間間隔からの前記第2及び第3及び第4の情報並びに以前の時間間隔からの前記第1及び第2及び第3及び第4の情報を処理することによりこの時間間隔に対する前記第1の情報を推定することにより規定される。この実施例は、1つのビーコン及び2つの非ビーコンが存在する場合の推定を規定する。
前記装置の一実施例は、前記第1及び/又は第2のビーコンとして前記第1のビーコン及び前記第2のビーコンが存在し、前記第1及び/又は第2の非ビーコンとして前記第1の非ビーコン及び前記第2の非ビーコンが存在し、前記プロセッサが、この時間間隔からの前記第1及び第2及び第3及び第4の情報並びに/又は以前の時間間隔からの前記第1及び第2及び第3及び第4の情報に応答して前記少なくとも1つの制御フィーチャの推定を改良することにより規定される。この実施例は、2つのビーコン及び2つの非ビーコンが存在する場合の推定の改良を規定する。
前記装置の一実施例は、前記少なくとも1つのビーコンから来る光が変調された光であり、前記少なくとも1つの非ビーコンから来る光が他の光であることにより規定される。
前記装置の一実施例は、前記情報が検出毎及び時間間隔毎の座標及び/又はサイズ及び/又は強度を有することにより規定される。
前記装置の一実施例は、前記少なくとも1つの制御フィーチャが、前記機器上の指示位置及び/又は前記リモコンと前記機器との間の距離及び/又は前記リモコンの回転及び/又は前記リモコンの傾き及び/又は前記機器に対する前記リモコンの場所を有することにより規定される。
前記装置の一実施例は、前記少なくとも1つの制御フィーチャが、前記リモコンの速度及び/又は前記リモコンの加速度及び/又は前記リモコンの移動及び/又は前記リモコンのズームを有することにより規定される。
第2の態様によると、上で規定された装置を有するリモコンが提供される。
第3の態様によると、上で規定された装置を有する機器が提供される。
第4の態様によると、リモコンの少なくとも1つの制御フィーチャを推定する方法が提供され、前記リモコンは、前記リモコンにより制御されるべき機器に又は近くに配置された少なくとも1つのビーコンから生じる少なくとも1つの光点を検出し、少なくとも1つの非ビーコンから生じる少なくとも1つの光点を検出するカメラを有し、前記少なくとも1つのビーコンから来る光が前記少なくとも1つの非ビーコンから来る光とは異なり、前記方法は、
−前記光点の検出からの情報に応答して前記少なくとも1つの制御フィーチャを推定するステップ、
を有する。
第5の態様によると、上で規定された方法のステップを実行するコンピュータプログラムが提供される。
第6の態様によると、上で規定されたコンピュータプログラムを記憶し、有する媒体が提供される。
洞察は、非ビーコンから生じる他の光点の検出が、追加の情報を作成するのに使用されることができることであることができる。
基本的なアイデアは、制御フィーチャが、ビーコン及び非ビーコンからの光点の検出からの情報に応答して推定されるべきであることであることができる。
リモコンの少なくとも1つの制御フィーチャを推定する改良された装置を提供する問題は、解決されている。
他の利点は、非ビーコンから生じる光点をフィルタリング及び/又は消去する処理能力が軽減される及び/又は回避されることができることであることができる。
本発明のこれら及び他の態様は、以下に記載される実施例を参照して説明され、明らかになる。
使用時のリモコン及び機器を示し、前記機器の近くのビーコン及び非ビーコンを示す。 装置及びカメラを有するリモコンと機器とを概略的に示す。 2つの異なる時間間隔に対してリモコンのカメラにより作成された第1のマップを示す。 2つの異なる時間間隔に対してリモコンのカメラにより作成された第2のマップを示す。 2つの異なる時間間隔に対してリモコンのカメラにより作成された第3のマップを示す。 カメラを有するリモコンと装置を有する機器とを概略的に示す。
図1において、使用時のリモコン10及び機器20が示される。機器20の近くに、ビーコン31及び32が示される。代わりに、これらのビーコン31及び32は、機器20の一部を形成してもよい。更に、非ビーコン41及び42が示される。ビーコン31及び32から来る光は、例えば赤外光であり、及び/又は例えば周波数、波長、強度、オン/オフモード等において変調された光である。非ビーコン41及び42から来る光は、他の光、例えば他の赤外光及び/又は他の形で変調された光又は変調されてない光である。非ビーコン41及び42は、例えばランプ、反射、日光等のようなノイズソースである。
図2において、リモコン10及び機器20が概略的に示される。リモコン10は、装置1及びカメラ11を有する。カメラ11は、コントローラ12に結合される。コントローラ12の一方の側は、送信器12に結合され、コントローラ12の他方の側は、装置1のプロセッサ2に結合される。プロセッサ2は、装置1のメモリ3に結合される。送信器13は、機器20を制御するように機器20に結合された受信器21に制御データを送信する。カメラ11は、時間間隔毎にマップ上の光点を検出し、前記光点は、図3ないし5に示されるように、ビーコン31及び32並びに非ビーコン41及び42から生じる。前記制御データは、通常、無線で、例えば無線周波数信号又は他の無線信号により交換される。
代わりに、装置1は、コントローラ12の一部を形成してもよく、逆も同様である。代わりに、装置1は、コントローラ12に取って代わってもよく、又は装置1は、コントローラ12と送信器13との間に配置されてもよい。受信器21は、代替的には、機器20等の一部を形成してもよい。
図3ないし5の観点からも、カメラ11は、ビーコン31及び/又は32から生じる第1及び/又は第2の光点51及び/又は52を検出し、非ビーコン41及び/又は42から生じる第3及び第4の光点61及び/又は62を検出する。プロセッサ2は、光点51、52、61及び/又は62の検出からの情報に応答して少なくとも1つの制御フィーチャを推定する。この制御フィーチャは、前記制御データとして機器20に送信されるべきであるか、又は機器20を制御する前記制御データに変換されるべきである。
カメラ11は、好ましくは、時間間隔毎の第1及び/又は第2の光点51及び52並びに時間間隔毎の第3及び/又は第4の光点61及び62を検出する。前記情報は、時間間隔毎の第1及び/又は第2の光点51及び52の第1及び/又は第2の検出からの第1及び/又は第2の情報並びに時間間隔毎の第3及び/又は第4の光点61及び62の第3及び/又は第4の検出からの第3及び/又は第4の情報を有する。メモリ3は、時間間隔毎に前記第1及び/又は第2の情報並びに前記第3及び/又は第4の情報を記憶する。
前記情報は、例えば、検出毎及び時間間隔毎の(光点51、52、61及び/又は62の)座標及び/又はサイズ及び/又は強度を有する。前記少なくとも1つの制御フィーチャは、機器20上の指示位置及び/又はリモコン10と機器20との間の距離及び/又はリモコン10の回転及び/又はリモコン10の傾き及び/又は機器20に対するリモコン10の場所を有することができる。前記少なくとも1つの制御フィーチャは、リモコン10の速度及び/又はリモコン10の加速度及び/又はリモコン10の移動及び/又はリモコン10のズームを有することができる。前記ズーム又はその変化は、装置20に命令するのに使用されることができる。リモコン10は、例えばユーザがボタンを押したのに応答して、又は例えば加速度センサ又は傾きセンサ等から来る、他のデータを機器20に命令する前記制御データに追加することができる。
一方のビーコン31−32及び他方の非ビーコン41−42から来る光を区別することができるように、カメラ11は、例えば、ビーコン31−32からの変調された光の周波数又は波長又は強度又はオン/オフモード等を検出することができ、及び/又はカメラ11は、例えば、他の形で変調された光又は非ビーコン41−42からの変調されない光のフィーチャを検出することができる。周波数及び波長及び強度及びオン/オフモード等の検出は、当技術分野において一般的である。加えて、前記オン/オフモードの検出に対して、時間間隔の持続時間は、前記オン/オフモードの期間より長く選択される必要がありえ、及び/又は前記オン/オフモードの期間は、時間間隔の持続時間より短く選択される必要がありえ、及び/又は(存在するならば)2つの続いて起こる時間間隔の間の他の時間は、前記オン/オフモードの期間と比較して適切に選択される必要がありえ、及び/又は前記オン/オフモードの期間は、(存在するならば)2つの続いて起こる時間間隔の間の他の時間と比較して適切に選択される必要がありえ、及び/又は複数の時間間隔が使用される必要がありうる。前記検出は、代わりに、カメラ11からコントローラ12及び/又は装置1に部分的に又は全体的に移されることができる。
図3において、2つの異なる時間間隔に対してリモコン10のカメラ11により作成された第1のマップが示される。この場合、ビーコン32及び非ビーコン42は、例えば存在しないか又は常に覆われている。第1の時間間隔又は第1の瞬間において、カメラ11は、ビーコン31からの光点51及び非ビーコン41からの光点61を有するマップを作成する。第2の時間間隔又は第2の瞬間において、カメラ11は、ビーコン31からの光点51が破線により示されるように一時的に検出不可能であるという事実のため、非ビーコン41からの光点61のみを有するマップを作成する。しかしながら、両方のマップからの情報を使用することにより、光点51の新しい位置は、ここで例えば回転が行われないという仮定の下で、計算されることができる。明らかに、ユーザは、前記第1の時間間隔と比較して、光点51及び61がやや右に配置されているという事実のため、前記第2の時間間隔においてやや左を指している。
図4において、2つの異なる時間間隔に対してリモコン10のカメラ11により作成された第2のマップが示される。この場合、非ビーコン42が例えば存在しないか又は常に覆われる。第1の時間間隔又は第1の瞬間において、カメラ11は、ビーコン31からの光点51及びビーコン32からの光点52及び非ビーコン41からの光点61を有するマップを作成する。第2の時間間隔又は第2の瞬間において、カメラ11は、ビーコン31からの光点51が破線により示されるように一時的に検出不可能であるという事実のため、ビーコン32からの光点52及び非ビーコン41からの光点61のみを有するマップを作成する。しかしながら、両方のマップからの情報を使用することにより、光点51の新しい位置は、計算されることができる。明らかに、ユーザは、前記第1の時間間隔と比較して、光点51及び52及び61がやや上に配置されるという事実のため、前記第2の時間間隔においてやや下を指している。
図5において、2つの異なる時間間隔に対してリモコン10のカメラ11により作成された第3のマップが示される。第1の時間間隔又は第1の瞬間において、カメラ11は、ビーコン31からの光点51及びビーコン32からの光点52及び非ビーコン41からの光点61及び非ビーコン42からの光点62を有するマップを作成する。第2の時間間隔又は第2の瞬間において、カメラ11は、ビーコン31からの光点51が破線により示されるように一時的に検出不可能であるという事実のため、ビーコン32からの光点52及び非ビーコン41からの光点61及び非ビーコン42からの光点62のみを有するマップを作成する。しかしながら、両方のマップを使用することにより、光点51の新しい位置は、計算されることができる。明らかに、ユーザは、前記第1の時間間隔と比較して、光点51及び52及び61及び62がやや下に配置されるという事実のため、前記第2の時間間隔においてやや上を指している。ここで、アフィン変換が、欠落した光点の位置を推定するのに使用されることができる。
好ましくは、プロセッサ3は、前記第2の時間間隔からの前記第1及び第2及び第3及び第4の情報並びに/又は前記第1の時間間隔からの前記第1及び第2及び第3及び第4の情報に応答して前記少なくとも1つの制御フィーチャの推定を改良する。明らかに、厳密に必要なより多くの情報が利用可能である場合、前記情報は、異常について確認されることができ、推定は改良されることができる。
異なる時間間隔における前記マップを見る場合、平行移動、回転、角度、スケーリング、シフト等が決定されることができ、割り当てが確認及び補正されることができる。より多くのマップ及びより多くの時間間隔及びより多くの光点は、除外されるべきではない。時間間隔は、いかなる種類の持続時間を持ってもよく、1つの瞬間又は1より多い瞬間を有しうる。2つの続いて起こる時間間隔の間に、他の時間が存在してもしなくてもよい。
通常、光点は、1より多い画素を覆う。光点の形状又は光点の強度は、完全に対称ではなく、光点毎に、回転が、両方のマップを比較することにより決定されることができる。前記光点の形状及び前記光点の強度が完全に対称的ではない場合、2以上の光点が、両方のマップを比較することにより回転を決定するのに必要とされる。光点は、ブロブ(blobs)としても既知でありうる。ブロブデータは、座標データ、サイズデータ及び輝度データを含みうる。
ポインタ又はジェスチャベース制御システムのようなユーザインタフェースシステムは、カメラベースのポインタ機器のようなカメラを持つリモコンと、目標機器のような機器と、固定ビーコンのようなビーコンを有する。前記ビーコンは、例えば、赤外光発光ダイオードを有することができる。最大8つのブロブからのブロブデータは、前記機器に送信されることができ、前記機器は、前記ブロブデータを処理し、例えば、表示画面上のグラフィックユーザインタフェースを適合することにより、前記機器を制御するのに処理結果を使用することができる。信頼できる形で他のノイズソースからのブロブを検出することができるように、前記カメラにより検出されるブロブは、例えば強度変調が時間的に関連付けられ、前記ビーコンの既知の変調に対して確認されることができるように、フレーム間で追跡されるべきである。前記ビーコンは、互いの間の既知の距離及び/又は互いに対する及び/又は前記機器に対する既知の場所を持ちうる。隣接したフレームにわたるブロブを持つマップを利用することにより、欠落した遮蔽されたブロブの位置は、推定されることができる。ビーコンのよりロバストな追跡は、1つ又は複数のノイズソースからのブロブを利用することにより、達成されることができる。
図6において、リモコン10及び機器20が、概略的に示され、リモコン10は、カメラ11を有し、機器20は、装置1を有する。図6は、装置1がリモコンから機器20に移されている点で図2とは異なる。更に、ビーコン31及び32並びに受信器21は、機器20の一部を形成し、機器20は、受信器21及び装置1のプロセッサ3に結合されるコントローラ23に結合されたスクリーン22を有する。この場合、送信器13は、機器20を制御するために受信器21にマップデータを送信する。これに対して、機器20において又は近くで、前記マップデータは、図2ないし5に対して論じられたように処理されるべきである。
代わりに、装置1は、コントローラ23の一部を形成してもよく、逆も同様である。代わりに、装置1は、コントローラ23に取って代わってもよく、又は装置1は、コントローラ23と受信器21等との間に配置されてもよい。
代わりに、装置1は、リモコン10の外及び/又は機器20の外に配置され、リモコン10及び/又は機器20と有線又は無線結合を介して通信するように構成されてもよい。
要約すると、装置1は、カメラ11に非ビーコン41、42からの光点61、62を更に検出させることによりリモコン10により制御される機器20に又は近くに配置されたビーコン31、32からの光点51、52を検出するカメラを有するリモコン10の制御フィーチャを推定する。プロセッサ2は、光点51、52、61、62の検出からの情報に応答して前記制御フィーチャを推定する。非ビーコン41、42は、ノイズソース又はビーコン31、32とは異なる他のソースを有する。メモリ3は、時間間隔毎に検出毎の情報を記憶する。ビーコン31、32から来る光は、変調された光であることができ、非ビーコン41、42から来る光は、他の光であることができる。前記情報は、検出毎及び時間間隔毎の光点51、52、61、62の座標、サイズ及び強度を有することができる。前記制御フィーチャは、リモコン10の指示位置、距離、回転、傾き、場所、速度、加速度、移動及び/又はズームを有することができる。
本発明は、図面及び先行する記載において詳細に図示及び説明されているが、このような図示及び説明は、説明的又は典型的であり、限定的ではないとみなされるべきであり、本発明は、開示された実施例に限定されない。例えば、機器(20)は、テキスト及び請求項の至るところで、機器(20)と関連付けられた対象により置換されることができる。例として、ラジエータノブ(対象)に近接しているビーコンの接近方向を指すことは、関連付けられたセントラルヒーティング(機器)に対する制御信号を生成するのに使用されることができる。他の例は、窓用ブラインド(対象)が指されることであり、これにより(ユーザ不可視)ブラインドコントローラ(機器)が制御されることができる。開示された実施例に対する他の変形例は、図面、開示及び添付の請求項の検討から、請求された発明を実施する当業者により理解及び達成されることができる。請求項において、単語"有する"は、他の要素又はステップを除外せず、不定冠詞"ある"は、複数を除外しない。特定の方策が相互に異なる従属請求項に記載されるという単なる事実は、これらの方策の組み合わせが有利に使用されることができないことを示さない。請求項内の参照符号は、範囲を限定すると解釈されるべきではない。

Claims (14)

  1. リモート制御装置であって、
    センサ及びプロセッサを有し、
    前記プロセッサは、
    前記センサから、少なくとも一つのビーコンからの入力であって、第1期間及び第2期間のうちの少なくとも一つにおいて受信される、前記少なくとも一つのビーコンのうちの対応するビーコンからの前記入力を受信し、
    前記センサから、少なくとも一つの非ビーコンからの入力であって、前記第1期間及び前記第2期間のうちの少なくとも一つにおいて受信される、前記少なくとも一つの非ビーコンのうちの対応する非ビーコンからの前記入力を受信し、
    前記第1期間及び前記第2期間において受信された入力が存在するかを決定し、
    前記第1期間と前記第2期間との間の利用可能な受信された入力のうちの対応する前記ビーコンからの入力及び前記非ビーコンからの入力の変化を決定し、
    受信された入力の決定された前記変化に基づいて前記リモート制御装置の変化を推定し、
    推定された前記変化に基づいて前記リモート制御装置の制御フィーチャを決定する、
    リモート制御装置。
  2. 前記制御フィーチャが、指示位置、第2装置からの距離、回転、傾き、前記第2装置に対する位置、スピード、加速度、動き及びズームのうちの少なくとも一つを含む、請求項1に記載のリモート制御装置。
  3. 前記センサが、カメラ及びIRセンサのうちの少なくとも一つを含む、請求項1に記載のリモート制御装置。
  4. 前記少なくとも一つのビーコンからの受信された入力が、既知の変調を伴う光である、請求項1に記載のリモート制御装置。
  5. 前記プロセッサが、
    前記第1期間及び前記第2期間の各々のためのマップを作成し、前記マップの各々は既知の座標に関して決定し、受信されたビーコンの入力及び受信された非ビーコンの入力の各々の位置は、対応するマップに基づいて決定され、前記第1期間と前記第2期間との間の利用可能な受信された入力のうちの対応する入力の前記変化は、第1マップと第2マップとの間における受信された入力の位置の変化を表す、請求項1に記載のリモート制御装置。
  6. 前記マップが、受信された入力の各々のサイズ及び強度のうちの少なくとも一つを有する、請求項5に記載のリモート制御装置。
  7. 前記少なくとも一つのビーコンの各々の位置が、前記座標に対して知られる、請求項5に記載のリモート制御装置。
  8. 送信器をさらに有し、前記プロセッサが、前記送信器を通して、決定された前記制御フィーチャに関するデータを送信し、前記制御フィーチャに関する前記データが命令を提供する、請求項1に記載のリモート制御装置。
  9. 制御装置及び被制御装置を含む制御システムであって、
    前記制御装置は、検出ユニット及び送信ユニットを有し、
    前記被制御装置は、受信装置を有し、
    前記制御システムはさらに、
    少なくとも一つのビーコン及び処理ユニットを有し、
    前記処理ユニットは、
    前記検出ユニットから、第1期間及び第2期間のうちの少なくとも一つにおける前記少なくとも一つのビーコンのうちの少なくとも一つからの送信に関する少なくとも一つの第1入力を受信し、
    前記検出ユニットから、前記第1期間及び前記第2期間の少なくとも一つにおける少なくとも一つの第2入力であって、前記少なくとも一つのビーコンに関連しない対応するソースからの送信に関する前記少なくとも一つの第2入力を受信し、
    受信された入力のどれが第1期間及び第2期間に存在するかを決定し、
    前記第1期間と前記第2期間との間の利用可能な受信された前記第1入力及び前記第2入力の変化を決定し、
    受信された入力の決定された前記変化に基づいて前記制御装置の変化を推定し、
    推定された前記変化に基づいて前記制御装置の制御フィーチャを決定し、
    前記送信ユニットを通して、決定された前記制御フィーチャに関するデータを送信する、
    制御システム。
  10. 前記処理ユニットと通信するメモリをさらに有し、前記メモリは、前記第1期間及び前記第2期間の各々の受信された前記入力及び受信された前記第2入力を記憶する、請求項9に記載の制御システム。
  11. 前記少なくとも一つのビーコンに関連しない前記ソースが、少なくともノイズ源を表す、請求項9に記載の制御システム。
  12. 制御可能な装置を制御するための、処理ユニットにおいて動作可能な方法であって、前記処理ユニットが、
    複数の時間的に重複しない時間スロットの各々において、センサを通して、ビーコンに関連する少なくとも一つの第1入力信号及び前記ビーコンに関連しない少なくとも一つの第2入力信号を受信し、
    前記複数の時間的に重複しない時間スロットの各々のための受信された前記少なくとも一つの第1入力信号及び前記少なくとも一つの第2入力信号のマップであって、受信された前記少なくとも一つの第1入力信号及び前記少なくとも一つの第2入力信号の各々の位置を各々が表すマップを生成し、
    少なくとも二つのマップにおいて、受信された前記第1入力信号及び前記第2入力信号のどれが利用可能かを決定し、
    前記少なくとも二つのマップの間における受信された前記第1入力信号及び前記第2入力信号の位置の変化を決定し、
    決定された位置の前記変化に基づいて制御フィーチャを決定し、
    決定された前記制御フィーチャに関連する情報を含む制御信号を生成する、方法。
  13. 少なくとも二つの期間に関する受信された入力を記憶する、請求項12に記載の方法。
  14. コンピュータにより実行されることにより前記コンピュータに請求項12に記載の方法を実行させるコンピュータプログラム。
JP2016227942A 2011-02-21 2016-11-24 カメラを持つリモコンからの制御フィーチャの推定 Active JP6470731B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11155161 2011-02-21
EP11155161.0 2011-02-21

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013554044A Division JP6050258B2 (ja) 2011-02-21 2012-02-17 カメラを持つリモコンからの制御フィーチャの推定

Publications (2)

Publication Number Publication Date
JP2017055446A JP2017055446A (ja) 2017-03-16
JP6470731B2 true JP6470731B2 (ja) 2019-02-13

Family

ID=45774288

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013554044A Active JP6050258B2 (ja) 2011-02-21 2012-02-17 カメラを持つリモコンからの制御フィーチャの推定
JP2016227942A Active JP6470731B2 (ja) 2011-02-21 2016-11-24 カメラを持つリモコンからの制御フィーチャの推定

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013554044A Active JP6050258B2 (ja) 2011-02-21 2012-02-17 カメラを持つリモコンからの制御フィーチャの推定

Country Status (8)

Country Link
US (2) US9332169B2 (ja)
EP (1) EP2678847B1 (ja)
JP (2) JP6050258B2 (ja)
CN (1) CN103493115B (ja)
BR (1) BR112013020993A2 (ja)
RU (1) RU2602829C2 (ja)
TW (1) TWI569623B (ja)
WO (1) WO2012114240A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI468997B (zh) 2013-01-09 2015-01-11 Pixart Imaging Inc 具有較大可操作範圍的指向系統及影像系統
CA3080452C (en) 2015-08-05 2024-01-02 Lutron Technology Company Llc Load control system responsive to the location of an occupant and/or mobile device
CA3179801A1 (en) 2015-08-05 2017-02-09 Lutron Technology Company Llc Commissioning and controlling load control devices
CN112684923B (zh) * 2021-03-11 2021-06-25 广东小天才科技有限公司 笔迹生成方法、装置、终端设备及计算机存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5504501A (en) * 1989-11-07 1996-04-02 Proxima Corporation Optical input arrangement and method of using same
US5488675A (en) 1994-03-31 1996-01-30 David Sarnoff Research Center, Inc. Stabilizing estimate of location of target region inferred from tracked multiple landmark regions of a video image
JP3473989B2 (ja) 1994-05-20 2003-12-08 株式会社ワコム 情報入力装置
AU5457598A (en) 1996-11-27 1998-06-22 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
US6776334B1 (en) * 2001-02-22 2004-08-17 Advanced Micro Devices, Inc. System and method for determining the location of a mobile device within a wireless network
KR100466857B1 (ko) 2001-12-01 2005-01-15 주식회사 아이콘트롤스 인터넷 기반 홈 오토메이션 서버 및 제어 방법
JP2003208260A (ja) 2002-01-10 2003-07-25 Nippon Hoso Kyokai <Nhk> ポインティング装置
CN101158886B (zh) * 2002-11-20 2012-05-16 皇家飞利浦电子股份有限公司 基于指示设备的用户接口系统
US7420542B2 (en) * 2004-05-25 2008-09-02 Avago Technologies Ecbu Ip Pte Ltd Apparatus for capturing and analyzing light and method embodied therein
US7542072B2 (en) * 2004-07-28 2009-06-02 The University Of Maryland Device using a camera and light polarization for the remote displacement of a cursor on a display
US8456534B2 (en) * 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
CN100565438C (zh) * 2005-07-11 2009-12-02 皇家飞利浦电子股份有限公司 控制在命令区域上控制点位置的方法和系统
JP4712804B2 (ja) * 2005-07-29 2011-06-29 パイオニア株式会社 画像表示制御装置及び画像表示装置
WO2007078021A1 (en) 2006-01-05 2007-07-12 Pointchips Co., Ltd. Appartus for remote pointing using image sensor and method of the same
JP5261895B2 (ja) * 2006-07-27 2013-08-14 株式会社ニコン 外部装置およびカメラ
US7566858B2 (en) * 2006-11-07 2009-07-28 Apple Inc. Remote control systems that can distinguish stray light sources
TWI330541B (en) * 2007-01-31 2010-09-21 Pixart Imaging Inc Control device and method for controlling an image display
US8285475B2 (en) * 2007-03-02 2012-10-09 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Combined beacon and scene navigation system
US8237656B2 (en) 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
US20100201812A1 (en) * 2009-02-11 2010-08-12 Smart Technologies Ulc Active display feedback in interactive input systems

Also Published As

Publication number Publication date
CN103493115A (zh) 2014-01-01
RU2013142937A (ru) 2015-03-27
BR112013020993A2 (pt) 2019-01-08
TW201249167A (en) 2012-12-01
US10051169B2 (en) 2018-08-14
US20160248961A1 (en) 2016-08-25
JP2014510459A (ja) 2014-04-24
CN103493115B (zh) 2016-10-12
EP2678847A1 (en) 2014-01-01
JP6050258B2 (ja) 2016-12-21
WO2012114240A1 (en) 2012-08-30
TWI569623B (zh) 2017-02-01
EP2678847B1 (en) 2020-07-01
US20130314560A1 (en) 2013-11-28
RU2602829C2 (ru) 2016-11-20
US9332169B2 (en) 2016-05-03
JP2017055446A (ja) 2017-03-16

Similar Documents

Publication Publication Date Title
JP6470731B2 (ja) カメラを持つリモコンからの制御フィーチャの推定
CN106415301B (zh) 用于在基于光的通信中的光栅线对准的技术
US9504126B2 (en) Coded light detector
EP3123289B1 (en) Locating a portable device based on coded light
US9247620B2 (en) Controlling light source(s) via a portable device
US10012963B2 (en) Smart household appliance, mobile communication device, system and method for controlling smart household appliance
US20190163284A1 (en) Apparatus and method for remote control using camera-based virtual touch
US20130120238A1 (en) Light control method and lighting device using the same
US20120223883A1 (en) Visual Pairing in an Interactive Display System
US10944474B2 (en) Dual-mode optical devices for time-of-flight sensing and information transfer
US20170038912A1 (en) Information providing device
EP2579142B1 (en) Mobile device and method of remotely controlling a controlled device
WO2014061257A1 (ja) 認識装置、認識方法、遠隔制御装置、認識プログラム、及びサーバ
JP6986079B2 (ja) 可視光通信の検出及び/又は復号
JP6710200B2 (ja) ポインティングデバイスに基づくユーザインタフェースシステム
CN110662162B (zh) 用于飞行时间感测和信息传送的双模式光学设备、以及利用其的装置、系统和方法
KR101288448B1 (ko) 레이저 포인터를 이용하여 데이터를 전송하는 디바이스 및 이의 데이터 송수신 제어 방법, 그리고 네트워크 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161215

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190118

R150 Certificate of patent or registration of utility model

Ref document number: 6470731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250