JP6057110B2 - デバイスのユーザインターフェイスを操作するための装置及び方法 - Google Patents

デバイスのユーザインターフェイスを操作するための装置及び方法 Download PDF

Info

Publication number
JP6057110B2
JP6057110B2 JP2015561553A JP2015561553A JP6057110B2 JP 6057110 B2 JP6057110 B2 JP 6057110B2 JP 2015561553 A JP2015561553 A JP 2015561553A JP 2015561553 A JP2015561553 A JP 2015561553A JP 6057110 B2 JP6057110 B2 JP 6057110B2
Authority
JP
Japan
Prior art keywords
movement
identified
predetermined distance
closed region
locations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015561553A
Other languages
English (en)
Other versions
JP2016512637A (ja
Inventor
象 村越
象 村越
量資 近藤
量資 近藤
ピーター シンタニ
ピーター シンタニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2016512637A publication Critical patent/JP2016512637A/ja
Application granted granted Critical
Publication of JP6057110B2 publication Critical patent/JP6057110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

〔関連出願との相互参照/引用による組み入れ〕
本出願は、2013年3月6日に出願された米国特許出願公開第13/786,641号に対する優先権を主張するものである。本出願は、2013年1月8日に出願された米国特許出願公開第13/736,241号を参照する。これらの各特許出願は、その内容全体が引用により本明細書に組み入れられる。
本開示の様々な実施形態は、ユーザインターフェイスに関する。具体的には、本開示の様々な実施形態は、デバイスのユーザインターフェイスを操作するための装置及び方法に関する。
一般に、デバイスは、ユーザがデバイスと相互作用してデバイスを操作できるようにするユーザインターフェイスを含む。ユーザインターフェイスは、ユーザ入力を受け取ることができる入力機構として機能することができる。シナリオによっては、ユーザインターフェイスが、ユーザ入力に基づいて行われた動作の結果を表示する出力機構として機能することもできる。ユーザインターフェイスの例としては、デバイス上の、及び/又はデバイスに関連するリモコン装置上のボタン、タッチ画面、音声に基づくユーザインターフェイス及びディスプレイ画面などを挙げることができる。一般に、デバイスのユーザインターフェイスは、デバイスと一体化することができ、及び/又はそのデバイスに通信可能に結合された別のデバイス上に実装することができる。ユーザは、デバイスのユーザインターフェイスと直接相互作用することによってユーザインターフェイスを操作することができる。さらに、ユーザは、ユーザインターフェイスを操作するために、ユーザインターフェイスの複雑な一連のキーを覚え、及び/又はメニュー階層をナビゲートすることが必要な場合もある。さらに、特定の技術を用いて実装されたユーザインターフェイスでは、ユーザがユーザインターフェイスを操作できる方法が制限されることもある。
当業者には、図面を参照しながら本出願の残り部分に示す本開示のいくつかの態様とこれらのシステムとの比較を通じて、従来の伝統的な方法のさらなる制限及び不利点が明らかになるであろう。
実質的に少なくとも1つの図に示し、及び/又はこれらの図に関連して説明し、特許請求の範囲により完全に示すような、デバイスのユーザインターフェイスを操作するための装置及び/又は方法を提供する。
本開示のこれらの及びその他の特徴及び利点は、全体を通じて同じ要素を同じ符号で示す添付図面と共に本開示の以下の詳細な説明を検討することによって理解することができる。
本開示の実施形態による、所定の距離内の物体の動きに基づいてデバイスのユーザインターフェイスを操作することを示すブロック図である。 本開示の実施形態による、デバイスのユーザインターフェイスを操作するための例示的な装置を示すブロック図である。 本開示の実施形態による、物体が動くことができる所定の距離範囲の例を示す図である。 本開示の実施形態による、ベクトル解析に基づいて物体の動きの方向を特定する例を示す図である。 本開示の実施形態による、所定の距離内の物体の動きに基づいて操作できる例示的なデバイスを示すブロック図である。 本開示の実施形態による、所定の距離内の物体の動きに基づくランプ操作の実装例を示す図である。 本開示の実施形態による、所定の距離内の物体の動きに基づいてデバイスのユーザインターフェイスを操作するための装置において制御信号を生成するための例示的なステップを示すフローチャートである。
デバイスのユーザインターフェイスを操作するための装置及び/又は方法では、様々な実装を見出すことができる。この装置は、表面から所定の距離内にある物体の動きを検出することができる。装置は、この検出された動きに応答して1又はそれ以上の信号を生成することができる。装置は、この1又はそれ以上の生成された信号に対応する制御信号を生成して、デバイスのユーザインターフェイスを操作することができる。
装置は、所定の距離内の経路に沿った物体の動きを追跡することができる。この追跡は、経路に沿った物体の1又はそれ以上の場所を特定することを含むことができる。装置は、1又はそれ以上の特定された場所の各々に対応する、2次元座標系における座標対を特定することができる。特定された座標対の各々は、特定された1又はそれ以上の場所の各々の位置を2次元座標系で示す。装置は、2次元座標系における複数の特定された座標対によって形成される閉領域を特定することができる。装置は、特定された閉領域の面積の極性を求めることができる。装置は、この求められた面積の極性に基づいて、動きの方向を特定することができる。この特定された動きの方向は、デバイスに関連する操作に対応する。
図1は、本開示の実施形態による、所定の距離内の物体の動きに基づいてデバイスのユーザインターフェイスを操作することを示すブロック図である。図1には、デバイス102、デバイス102のインターフェイスを操作するための装置104、表面106、及び表面106と相互作用するための物体108を示している。
デバイス102は、ユーザが操作できる機械に対応することができる。デバイス102は、ユーザによって操作された時に1又はそれ以上の動作を実行することができる。デバイス102は、電気デバイス、機械デバイス、電子デバイス及び/又はこれらの組み合わせとすることができる。デバイス102の例としては、以下に限定されるわけではないが、携帯電話機、ラップトップ、タブレットコンピュータ、テレビ、携帯情報端末(PDA)デバイス、車両、家庭用電化製品、メディア再生デバイス、及び/又はユーザによって操作可能な他のいずれかのデバイスを挙げることができる。
装置104は、表面106から所定の距離内にある物体108の動きに基づいてデバイス102のユーザインターフェイスを操作することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。ある実施形態では、所定の距離が、表面106の上方及び/又は下方に位置することができる。装置104は、テーブルの上方の所定の距離に操作空間を形成することができる。操作空間は、表面106に関連する三次元(3D)体積に対応し、ユーザはこの中で物体108を動かすことができる。装置104は、装置104に関連する複数のセンサの感度に基づいて所定の距離を特定することができる。
ある実施形態では、装置104が、有線又は無線通信ネットワークを介してデバイス102に通信可能に結合することができる。通信ネットワークの例としては、以下に限定されるわけではないが、Bluetoothネットワーク、ワイヤレスフィデリティ(Wi−Fi)ネットワーク及び/又はZigBeeネットワークを挙げることができる。別の実施形態では、装置104をデバイス102と一体化することができる。
表面106は、あらゆる表面に対応することができる。表面106は、木、ガラス、プラスチック、金属、段ボール及びコンクリートなどの様々な材料で構成することができる。表面106の例としては、以下に限定されるわけではないが、テーブル面、壁、床、デバイス102のカバー及び/又はいずれかの表面を挙げることができる。1つの実施形態では、表面106をデバイス102の一部とすることができる。1つの実施形態では、表面106をデバイス102の一部ではないものとすることができる。別の実施形態では、表面106を、デバイス102が配置及び/又は固定された表面とすることができる。別の実施形態では、デバイス102が、表面106に接していないものとすることができる。
装置104は、表面106に結合することができる。1つの実施形態では、装置104を表面106上に固定することができる。例えば、表面106としてテーブル面を使用することができる。このテーブル面の上方及び/又は下方に装置104を固定することができる。別の実施形態では、装置104を表面106に埋め込むことができる。別の実施形態では、表面106を装置104の一体化部分とすることができる。例えば、装置104のカバーが表面106に対応することができる。しかしながら、本開示はこのように限定されるわけではなく、本開示の範囲を限定することなく、装置104の本体のあらゆる部分が表面106に対応することができる。
装置104は、この表面を、ユーザがデバイス102のユーザインターフェイスを操作できるようにする入力機構に効果的に変換することができる。例えば、装置104をテーブルに結合することができる。装置104は、テーブル上方の所定の距離に操作空間を形成することができる。この所定の距離内の場所に、デバイス102のユーザインターフェイス制御をマッピングすることができる。ユーザは、この所定の距離内でテーブルと相互作用することにより、デバイス102のユーザインターフェイスを操作することができる。
ユーザは、物体108などの1又はそれ以上の物体を用いて、多くの方法で表面106と相互作用することができる。物体108の例としては、以下に限定されるわけではないが、ユーザの手、スタイラス、人口器官、及び/又は表面106に対して動くことができるあらゆる物体を挙げることができる。ユーザは、所定の距離内で表面106に対して物体108を動かすことができる。表面106に対する物体108の動きの例としては、以下に限定されるわけではないが、表面106の上方及び/又は下方における物体108の時計回り及び/又は反時計回りの動きを挙げることができる。時計回りの動き及び/又は反時計回りの動きは、この動きによって閉領域が形成されるようなものとすることができる。
1つの実施形態では、ユーザが、表面106上で表面106に接するように物体108を動かすことができる。別の実施形態では、ユーザが、表面106の上方で表面106に接しないように物体108を動かすことができる。別の実施形態では、ユーザが、表面106の下方で表面106に接しないように物体108を動かすことができる。ユーザは、この動きに基づいてデバイス102の1又はそれ以上の動作を行わせることができる。
動作時には、装置104が表面106に結合することができる。装置104は、表面106の上方及び/又は下方の所定の距離に、表面106に対して物体108を動かすための操作空間を形成することができる。ユーザは、所定の距離内で表面106に対して物体108を動かし、この動きによって閉領域が形成されるようにすることができる。装置104は、物体108の動きを検出することができる。装置104は、この検出された動きに応答して1又はそれ以上の信号を生成することができる。装置104は、この1又はそれ以上の生成された信号に対応する制御信号を生成することができる。装置104は、この生成された制御信号をデバイス102に通信してデバイス102のユーザインターフェイスを操作することができる。
図2は、本開示の実施形態による、デバイスのユーザインターフェイスを操作するための例示的な装置を示すブロック図である。図2のブロック図の説明は、図1のブロック図に関連して行う。
図2には、装置104を示している。装置104は、プロセッサ202などの1又はそれ以上のプロセッサ、メモリ204、(第1のセンサ206a及び第2のセンサ206bなどの)少なくとも1対のセンサ、受信機208及び送信機210を含むことができる。第1のセンサ206aと第2のセンサ206bは、まとめてセンサ206と呼ぶことができる。
プロセッサ202は、メモリ204及びセンサ206に通信可能に結合することができる。さらに、受信機208及び送信機210は、プロセッサ202、メモリ204及びセンサ206に通信可能に結合することができる。
プロセッサ202は、メモリ204に記憶された少なくとも1つのコードセクションを実行することができる好適なロジック、回路及び/又はインターフェイスを含むことができる。プロセッサ202は、当業で周知の多くのプロセッサ技術に基づいて実装することができる。プロセッサ202の例としては、以下に限定されるわけではないが、X86ベースのプロセッサ、縮小命令セットコンピューティング(RISC)プロセッサ、特定用途向け集積回路(ASIC)プロセッサ、及び/又は複合命令セットコンピュータ(CISC)プロセッサを挙げることができる。
メモリ204は、プロセッサ202によって実行可能な少なくとも1つのコードセクションを有する機械コード及び/又はコンピュータプログラムを記憶することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。メモリ204の例としては、以下に限定されるわけではないが、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスクドライブ(HDD)、及び/又はセキュアデジタル(SD)カードを挙げることができる。さらに、メモリ204は、装置104のコンフィギュレーション設定、センサ206の設定、方向−動作マッピングデータ及び/又は他のいずれかのデータなどのデータを記憶することができる。
センサ206は、物体108の動きを検出することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。センサ206の例としては、以下に限定されるわけではないが、超音波センサ、赤外線センサ、及び/又は物体108の動きを検出し、検出した動きに応答して信号を生成することができるいずれかのセンサを含むことができる。ある実施形態では、第1のセンサ206aと第2のセンサ206bが、送信機と受信機の対を形成することができる。例えば、第1のセンサ206a及び第2のセンサ206bを超音波センサとすることができる。第1のセンサ206aは、超音波信号を送信する超音波送信機として機能することができる。第2のセンサ206bは、第1のセンサ206aによって送信された超音波信号を受信する超音波受信機として機能することができる。別の例では、第1のセンサ206a及び第2のセンサ206bを赤外線センサとすることができる。第1のセンサ206aは、赤外線信号を送信する赤外線送信機として機能することができる。第2のセンサ206bは、第1のセンサ206aによって送信された赤外線信号を受信する赤外線受信機として機能することができる。しかしながら、本開示はこのように限定されるわけではなく、本開示の範囲を限定することなく、送信機−受信機の対として動作可能な他のあらゆるセンサを使用することができる。
ある実施形態では、センサ206を、装置104の一体部品とすることができる。装置104は、センサ206が表面106に接触できるように表面106に結合することができる。別の実施形態では、センサ206が装置104の外部に存在することができる。センサ206は、表面106に結合し、及び/又は表面106に埋め込むことができる。1つの実施形態では、装置104が、有線又は無線通信媒体を介してセンサ206に通信可能に結合することができる。通信媒体の例としては、以下に限定されるわけではないが、Bluetoothネットワーク、ワイヤレスフィデリティ(Wi−Fi)ネットワーク、及び/又はZigBeeネットワークを挙げることができる。
ある実施形態では、第1のセンサ206aと第2のセンサ206bが直角に配置される。1つの実施形態では、装置104の製造業者が、表面106上のセンサ206の位置を指定することができる。別の実施形態では、装置104に関連するユーザが、表面106上のセンサ206の位置をカスタマイズすることができる。
別の実施形態では、第1のセンサ206a及び第2のセンサ206bを赤外線センサとすることができる。第1のセンサ206a及び第2のセンサ206bは、第1のセンサ206aからの赤外線信号が表面106の上方の空気を通じて第2のセンサ206bに送られるように表面106に結合することができる。表面106の上方の赤外線信号が通過する領域は、表面106の上方に位置する所定の距離に対応することができる。
受信機208は、データ及びメッセージを受け取ることができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。受信機208は、様々な既知の通信プロトコルに従ってデータを受け取ることができる。ある実施形態では、受信機208が、装置104の外部にあるセンサ206によって生成された信号を受け取ることができる。受信機208は、装置104と装置104の外部にあるセンサ206との間の有線又は無線通信をサポートするための既知の技術を実装することができる。
送信機210は、データ及び/又はメッセージを送信することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。送信機210は、様々な既知の通信プロトコルに従ってデータを送信することができる。ある実施形態では、送信機210が、制御信号を送信してデバイス102のユーザインターフェイスを操作することができる。
動作時には、装置104が表面106に結合することができる。ユーザは、物体108を用いて表面106と相互作用することができる。装置104は、ユーザが表面106との相互作用に基づいてデバイス102のユーザインターフェイスを操作できるようにすることができる。ユーザは、表面106からの所定の距離内で相互作用を行って、デバイス102のユーザインターフェイスを操作することができる。ある実施形態では、ユーザが、手を使って表面106と相互作用することができる。例えば、ユーザは、所定の距離内で物体108を時計回りに動かして閉領域を形成することができる。別の例では、ユーザが、所定の距離内で(手を回転させるなどのように)物体108を反時計回りに動かして閉領域を形成することができる。別の実施形態では、ユーザが、物体108を用いて所定の距離内でジェスチャーを行うことができる。ジェスチャーの例としては、閉形状を描くことを挙げることができる。
センサ206は、物体108と表面106の相互作用に応答して、所定の距離内の物体108の動きを感知することができる。センサ206は、この感知した動きに対応する1又はそれ以上の信号を生成することができる。プロセッサ202は、この生成された1又はそれ以上の信号に対応する制御信号を生成して、デバイス102のユーザインターフェイスを操作することができる。
センサ206は、所定の距離内の経路に沿った物体108の動きを追跡することができる。センサ206は、経路に沿った物体108の1又はそれ以上の場所を特定することによって動きを追跡することができる。プロセッサ202は、この特定された1又はそれ以上の場所の各々を2次元(2D)座標系で表現することができる。プロセッサ202は、1又はそれ以上の特定された場所の各々に対応する、2D座標系における座標対を特定することができる。各座標対は、2D座標系における1つの点に対応することができる。2D座標系における各点は、物体108が所定の距離内の経路に沿って動いている場所を表す。特定された座標対の各々は、物体108の特定された1又はそれ以上の場所の位置を2D座標系で示す。
2D座標系における複数の座標対に対応する複数の点を互いに結ぶと、閉領域を形成することができる。このような閉領域の例としては、多角形を挙げることができる。プロセッサ202は、複数の点によって形成された閉領域を特定することができる。プロセッサ202は、この特定された閉領域の面積を求めることができる。プロセッサ202は、この特定された面積の極性をさらに求めることができる。この求められる面積の極性は、正又は負とすることができる。1つの実施形態では、プロセッサ202が、閉領域の面積及び面積の極性をベクトル解析に基づいて求めることができる。
プロセッサ202は、求められた閉領域の面積の極性に基づいて、物体108の動きの方向を特定することができる。例えば、求められた面積の正の極性は、物体108の時計回りの動きに対応することができる。別の例では、求められた面積の負の極性が、物体108の反時計回りの動きに対応することができる。特定された動きの方向は、デバイス102に関連する操作に対応する。
プロセッサ202は、特定された動きの方向に基づいて制御信号を生成することができる。この制御信号は、動きに応答して行われるべきデバイス102の動作に対応することができる。プロセッサ202は、生成された制御信号を、送信機210を介してデバイス102に通信することができる。デバイス102は、受け取った制御信号を処理し、この制御信号に対応する動作を行うことができる。ある実施形態では、プロセッサ202が、特定された動きの方向に対応する制御信号を、メモリ204に記憶された方向−動作マッピングデータに基づいて決定することができる。方向−動作マッピングデータは、所定の距離内の物体108の動きに応答して行われるべきデバイス102の動作を指定することができる。
ある実施形態では、方向−動作マッピングデータを予め定義しておくことができる。1つの実施形態では、装置104に関連する製造業者が、所定の距離内の物体108の動きの方向に対応するデバイス102の動作を定義することができる。別の実施形態では、装置104を操作するユーザが、所定の距離内の物体108の動きの方向に対応する、行われるべきデバイス102の動作を定義することができる。例えば、製造業者及び/又はユーザは、物体108の時計回りの動きがテレビの音量を上げる制御操作に対応できるように定義することができる。従って、ユーザは、物体108を時計回りに動かすことによってテレビの音量を上げることができる。別の例では、製造業者及び/又はユーザが、物体108の反時計回りの動きがテレビのチャンネル切換操作に対応できるように定義することができる。従って、ユーザは、物体108を反時計回りに動かすことによってテレビのチャンネルを変えることができる。ある実施形態では、ユーザが、製造業者によって定義された所定のマッピングをカスタマイズすることができる。
ある実施形態では、プロセッサ202が、装置104に対応する1又はそれ以上のコンフィギュレーション設定を受け取ることができる。1又はそれ以上のコンフィギュレーション設定の例としては、以下に限定されるわけではないが、センサ206に関連する1又はそれ以上の設定、及び/又は表面106から所定の距離内にある物体108の動きに応答してデバイス102が行うべき1又はそれ以上の動作を含むことができる。ある実施形態では、プロセッサ202が、ユーザが1又はそれ以上のコンフィギュレーション設定を行えるようにすることができる。別の実施形態では、装置104の製造業者が、1又はそれ以上のコンフィギュレーション設定を指定することができる。これらの1又はそれ以上のコンフィギュレーション設定は、メモリ204に記憶することができる。
ある実施形態では、プロセッサ202が、(デバイス102などの)1又はそれ以上のデバイスを登録することができる。ある実施形態では、プロセッサ202が、ユーザが装置104を用いて相互作用できる1又はそれ以上のデバイスを指定するようにユーザを促すことができる。プロセッサ202は、ユーザによって指定された1又はそれ以上のデバイスを登録することができる。ある実施形態では、プロセッサ202が、登録されたデバイスに生成された制御信号を通信することができる。
ある実施形態では、プロセッサ202が、1又はそれ以上のデバイスから識別信号を受け取ったことに基づいて、相互作用すべき1又はそれ以上のデバイスを検索することができる。別の実施形態では、送信機210が、1又はそれ以上のデバイスに識別信号を送信することができる。プロセッサ202は、1又はそれ以上のデバイスから識別信号の確認応答を受け取ることができる。プロセッサ202は、送信した識別信号の確認応答を行うことができる1又はそれ以上のデバイスを、装置104が相互作用できるデバイスとして登録することができる。識別信号の例としては、以下に限定されるわけではないが、無線周波数信号、赤外線信号及び極超短波信号などを挙げることができる。ある実施形態では、装置104の製造業者が、装置104が相互作用できるデバイス102を指定することができる。
図3は、本開示の実施形態による、物体が動くことができる所定の距離範囲の例を示す図である。図3の説明は、図1及び図2のブロック図に関連して行う。
図3には、表面106、表面106上の点304からの所定の距離302、操作空間306、第1のセンサ206a及び第2のセンサ206bを示している。第1のセンサ206a及び第2のセンサ206bは、表面106の上側及び/又は下側のいずれかの所定の距離302に操作空間306を形成することができる。
点304は、表面106上のあらゆる点に対応することができる。表面106上の点304の場所は、表面106のサイズ、表面106の形状、第1のセンサ206a及び/又は第2のセンサ206bの感度、第1のセンサ206a及び/又は第2のセンサ206bによって検出される表面積、及び/又は操作空間306の必要なサイズ、場所及び/又は向き、のうちの1つ又はそれ以上に基づいて選択することができる。しかしながら、本開示はこのように限定されるわけではなく、表面106上の点304の場所は、本開示の範囲を限定することなく他の因子に基づいて選択することもできる。
所定の距離302は、操作空間306が表面106の上方及び/又は下方に広がることができるように、表面106の上方及び/又は下方に存在することができる。所定の距離302は、第1のセンサ206a及び第2のセンサ206bの感度に基づいて決定することができる。所定の距離302は、第1のセンサ206a及び第2のセンサ206bによって検出される表面積に依存することができる。
1つの実施形態では、点304からの所定の距離302を、操作空間306が表面106を内包できるように決定することができる。例えば、第1のセンサ206a及び第2のセンサ206bをテーブルの両端に配置することができる。点304は、第1のセンサ206a及び第2のセンサ206bから等距離に存在するように決定することができる。所定の距離302は、テーブルの周囲に操作空間306が形成されるように決定することができる。ユーザは、このテーブル周囲の操作空間306内で物体108を動かすことができる。
別の実施形態では、所定の距離302を、操作空間306が表面106の一部に関連するように決定することができる。例えば、第1のセンサ206a及び第2のセンサ206bをテーブルの中心近くに配置することができる。点304は、テーブルの中心が点304に対応するように決定することができる。所定の距離302は、操作空間306がテーブルの中心周りのテーブル部分を内包するように決定することができる。ユーザは、テーブルの中心の上方の操作空間306内で物体108を動かすことができる。しかしながら、本開示はこのように限定されるわけではなく、所定の距離302は、本開示の範囲を限定することなく他のあらゆる方法で決定することができる。
1つの実施形態では、図3に示すように、操作空間306が、所定の距離302に等しい半径の球体に対応することができる。別の実施形態では、操作空間306を、表面106からの所定の距離が異なる不規則形状とすることができる。しかしながら、本開示はこのように限定されるわけではなく、操作空間306は、本開示の範囲を限定することなくあらゆる形状とすることができる。操作空間306の場所、サイズ、形状、感度レベル及び/又は向きは、第1のセンサ206a及び/又は第2のセンサ206bの一方又は両方の位置に依存することができる。1つの実施形態では、表面106上の第1のセンサ206a及び第2のセンサ206bが、互いに対して固定された不変の位置に存在することができる。従って、所定の距離302、並びに操作空間306のサイズ、形状、場所、向き及び/又は感度レベルは固定されたままになる。別の実施形態では、ユーザが、第1のセンサ206aの位置を第2のセンサ206bの位置に対して調整することができる。従って、ユーザは、所定の距離302、並びに操作空間306のサイズ、場所、形状、向き及び/又は感度レベルを調整することができる。
図4は、本開示の実施形態による、ベクトル解析に基づいて物体の動きの方向を特定する例を示す図である。図4の説明は、図1及び図2のブロック図に関連して行う。このベクトル解析に基づいて物体の動きの方向を特定する例は、デカルト座標系を参照しながら説明する。しかしながら、本開示はこのように限定されるわけではなく、本開示の範囲を限定することなく、他のあらゆる2D座標系を使用することができる。
図4には、2Dデカルト座標系400を示している。デカルト座標系400は、X軸402、Y軸404、並びに第1の点406a及び第2の点406bなどの複数の点を含む。第1の点406a及び第2の点406bなどは、まとめて複数の点406と呼ぶことができる。これらの複数の点406を結ぶと、閉領域408を形成することができる。
センサ206は、表面106からの所定の距離内で物体108が動いている間、経路に沿った物体108の動きを追跡することができる。センサ206は、この経路に沿った物体108の1又はそれ以上の場所を特定することによって動きを追跡することができる。複数の点406は、物体108がたどる経路に沿った、特定された物体108の1又はそれ以上の場所に対応することができる。
デカルト座標系400における各点(例えば、第1の点406a及び第2の点406b)は座標対に関連する。プロセッサ202は、デカルト座標系400における、特定された1又はそれ以上の場所の各々に対応する座標対を特定することができる。デカルト座標系400内の各座標対は、X座標及びY座標を含むことができる。表1に、デカルト座標系400の各点に対応するX座標及びY座標を示す。
表1
Figure 0006057110
表1に示すように、Xkは、デカルト座標系400におけるk番目の点に対応するX座標値に対応し、YkはY座標値に対応する。例えば、第1の点406aに対応するX座標値(X1)は1であり、第1の点406aに対応するY座標値(Y1)は2である。
プロセッサ202は、デカルト座標系400内の各後続する点の対のX座標値間の差分を求めることができる。例えば、プロセッサ202は、第1の点406aのX座標値と第2の点406bのX座標値の差分を求めることができる。同様に、プロセッサ202は、第2の点406bのX座標値と第3の点406cのX座標値の差分、及び第3の点406cのX座標値と第4の点406dのX座標値の差分などを求めることができる。表1には、後続する点の対のX座標値間の差分例をXk−Xk+1として示している。例えば、表1に示すように、第1の点406aのX座標値(X1=1)と第2の点406bのX座標値(X2=3)の差分(X1−X2)は、−2に等しい。
同様に、プロセッサ202は、デカルト座標系400における後続する各点の対のY座標値の和を求めることができる。例えば、プロセッサ202は、第1の点406aのY座標値と第2の点406bのY座標値の和を求めることができる。同様に、プロセッサ202は、第2の点406bのY座標値と第3の点406cのY座標値の和、及び第3の点406cのY座標値と第4の点406dのY座標値の和などを求めることができる。表1には、後続する点の対のY座標値の和の例をYk+Yk+1として示している。例えば、表1に示すように、第1の点406aのY座標値(Y1=2)と第2の点406bのY座標値(Y2=3)の和(Y1+Y2)は、5に等しい。
プロセッサ202は、後続する点の対に対応する求めたX座標値間の差と求めたY座標値の和の積を求めることができる。表1には、この求められる積を「積」として示している。例えば、後続する点の対を第1の点406a及び第2の点406bとすることができる。プロセッサ202は、第1の点406aと第2の点406bの対のX座標値の差分(X1−X2=−2)と、第1の点406aと第2の点406bの対のY座標値の和(Y1+Y2=5)の積を求めることができる。表1に示すように、求められる積((X1−X2)×(Y1+Y2))は、−10に等しい。プロセッサ202は、各後続する点の対の積を求めることができる。
プロセッサ202は、各後続する点の対の求められた積の和を求めることができる。プロセッサ202は、この各後続する点の対の求められた積の求められた和に基づいて、複数の点406によって形成される閉領域408の面積を求めることができる。1つの実施形態では、プロセッサ202が、以下の方程式に基づいて閉領域408の面積を求めることができる。
Figure 0006057110
プロセッサ202は、閉領域408の面積の極性を求めることができる。閉領域408の面積の極性は、物体108の動きの方向に対応する。物体108の動きの方向は、デバイス102に関連する操作に対応する。例えば、表1を参照すると、閉領域408の面積は以下のように求めることができる。
面積=(−10−8−12+13+28+26+9)/2=+23
この求められた閉領域408の面積の極性は正である。求められた面積の正の極性は、物体108の時計回りの動きに対応することができる。物体108の時計回りの動きは、例えば家庭用電化製品の切り替えに対応することができる。
図5は、本開示の実施形態による、所定の距離内にある物体の動きに基づいて動作できる例示的なデバイスを示すブロック図である。図5のブロック図の説明は、図1及び図2のブロック図に関連して行う。
図5には、デバイス102を示している。デバイス102は、プロセッサ502などの1又はそれ以上のプロセッサ及び/又は回路、メモリ504、受信機506、送信機508、入出力デバイス510(以下、I/Oデバイス510と呼ぶ)、及び装置104を含むことができる。I/Oデバイス510及び装置104は、図5のブロック図に破線のボックスで示すように任意とすることができる。
プロセッサ502及び/又は1又はそれ以上の回路は、メモリ504、受信機506、送信機508及びI/Oデバイス510に通信可能に結合することができる。
プロセッサ502及び/又は1又はそれ以上の回路は、メモリ504に記憶された少なくとも1つのコードセクションを実行することができる好適なロジック、回路及び/又はインターフェイスを含むことができる。プロセッサ502は、当業で周知の多くのプロセッサ技術に基づいて実装することができる。プロセッサ502の例としては、以下に限定されるわけではないが、X86ベースのプロセッサ、縮小命令セットコンピューティング(RISC)プロセッサ、特定用途向け集積回路(ASIC)プロセッサ、及び/又は複合命令セットコンピュータ(CISC)プロセッサを挙げることができる。
メモリ504は、プロセッサ502によって実行可能な少なくとも1つのコードセクションを有する機械コード及び/又はコンピュータプログラムを記憶することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。メモリ504の例としては、以下に限定されるわけではないが、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスクドライブ(HDD)、及び/又はセキュアデジタル(SD)カードを挙げることができる。さらに、メモリ504は、デバイス102のコンフィギュレーション設定、装置104のコンフィギュレーション設定、信号−動作マッピングデータ及び/又はその他のいずれかのデータなどのデータを記憶することができる。
受信機506は、データ及びメッセージを受け取ることができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。受信機506は、様々な既知の通信プロトコルに従ってデータを受け取ることができる。ある実施形態では、受信機506が、装置104から制御信号を受け取ることができる。別の実施形態では、受信機506が、装置104から識別信号を受け取ることができる。受信機506は、通信ネットワークを介した装置104との有線又は無線通信をサポートするための既知の技術を実装することができる。
送信機508は、データ及び/又はメッセージを送信することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。送信機508は、様々な既知の通信プロトコルに従ってデータを送信することができる。ある実施形態では、送信機508が、装置104に識別信号を送信することができる。
I/Oデバイス510は、プロセッサ502に動作可能に結合することができる様々な入力及び出力デバイスを含むことができる。I/Oデバイス510は、デバイス102を操作するユーザから入力を受け取って出力を提供することができる好適なロジック、回路、インターフェイス及び/又はコードを含むことができる。入力デバイスの例としては、以下に限定されるわけではないが、キーパッド、スタイラス及び/又はタッチ画面を挙げることができる。出力デバイスの例としては、以下に限定されるわけではないが、ディスプレイ及びスピーカを挙げることができる。
1つの実施形態では、装置104をデバイス102と一体化することができる。このような場合、デバイス102に関連するあらゆる表面が、装置104のための表面106に対応することができる。1つの実施形態では、デバイス102の本体が表面106に対応することができる。例えば、リモコン装置のカバーを、リモコン装置と相互作用するための表面106として使用することができる。装置104のセンサ206は、リモコン装置のカバーの上方及び/又は下方に所定の距離を形成することができる。リモコン装置を操作するユーザは、リモコン装置のカバーに関連する所定の距離内で物体108(例えば、手)を動かすことができる。装置104は、リモコン装置のカバーに対する物体108の動きに応答して、リモコン装置の様々な動作を行わせるための制御信号を生成することができる。
別の実施形態では、デバイス102に接する表面が表面106に対応することができる。例えば、携帯電話機が置かれたテーブルの表面を、携帯電話機と相互作用するための表面106として使用することができる。装置104のセンサ206は、テーブルの上方及び/又は下方に所定の距離を形成することができる。ユーザは、テーブルに関連する所定の距離内で物体108(例えば、手)を動かすことによって携帯電話機を操作することができる。装置104は、テーブルに対する物体108の動きに応答して制御信号を生成し、携帯電話機をオン及び/又はオフに切り替えることができる。
動作時には、ユーザが、物体108を用いて表面106と相互作用することができる。装置104のセンサ206は、表面106の上方及び/又は下方の所定の距離に操作空間を形成することができる。ユーザは、この所定の距離内で表面106に対して物体108を動かすことができる。例えば、ユーザは、物体108を時計回り及び/又は反時計回りに動かし、この動きによって閉領域が形成されるようにすることができる。装置104は、所定の距離内の物体108の動きを検出することができる。装置104は、動きの方向を特定することができる。装置104は、特定された動きの方向に応答して制御信号を生成することができる。装置104は、この生成された制御信号をプロセッサ502及び/又は1又はそれ以上の回路に通信して、デバイス102のユーザインターフェイスを操作することができる。プロセッサ502及び/又は1又はそれ以上の回路は、装置104から送信された制御信号を、受信機506を介して受け取ることができる。受け取られた制御信号は、相互作用に応答して行われるべきデバイス102の動作に対応することができる。プロセッサ502及び/又は1又はそれ以上の回路は、受け取った制御信号に基づいて、行われるべきデバイス102の動作を特定することができる。プロセッサ502及び/又は1又はそれ以上の回路は、この特定された動作に基づいて、デバイス102のユーザインターフェイスを操作することができる。
ある実施形態では、プロセッサ502及び/又は1又はそれ以上の回路が、行われるべきデバイス102の動作を、メモリ504に記憶された信号−動作マッピングデータに基づいて特定することができる。信号−動作マッピングデータは、受け取られた制御信号に対応して行われるべきデバイス102の動作を指定することができる。このデバイス102のメモリ504に記憶されている信号−動作マッピングデータは、装置104のメモリ204に記憶されている方向−動作マッピングデータに対応することができる。1つの実施形態では、ユーザが、方向−動作マッピングデータに対応する信号−動作マッピングデータをメモリ504に記憶することができる。別の実施形態では、装置104が、方向−動作マッピングデータに対応する信号−動作マッピングデータをプロセッサ502及び/又は1又はそれ以上の回路に送信することができる。
図6は、本開示の実施形態による、所定の距離内の物体の動きに基づいてランプを操作する実装例を示す図である。図6の説明は、図1、図2及び図5のブロック図に関連して行う。
図6には、ランプ602及びテーブル604を示している。例えば、ランプ602をテーブル604上に配置することができる。テーブル604には、装置104を結合することができる(図6には図示せず)。ある実施形態では、装置104をテーブル面の下方に固定することができる。しかしながら、本開示はこのように限定されるわけではなく、装置104は、本開示の範囲を限定することなくテーブル604の他の部分に結合することもできる。
テーブル604は、表面106に対応することができる。装置104のセンサ206は、テーブル604の上方及び/又は下方の所定の距離に操作空間を形成することができる。装置104は、ランプ602と相互作用することができる。ランプ602に関連するユーザは、テーブル604に対して物体108(例えば、手)を動かすことができる。ユーザは、テーブル604に関連する所定の距離内で物体108を動かして、ランプ602のユーザインターフェイスを操作することができる。例えば、ユーザは、所定の距離内で物体108を時計回りに動かしてランプ602を操作することができる。ユーザは、所定の距離内で物体108を動かすことによって閉領域を形成することができる。装置104のセンサ206は、テーブル604に対する物体108の動きを検出することができる。センサ206は、検出された物体108の動きに応答して1又はそれ以上の信号を生成することができる。装置104のプロセッサ202は、物体108の動きの方向を特定することができる。プロセッサ202は、この特定された動きの方向に基づいて、ランプ602を操作するための制御信号を生成することができる。装置104は、この制御信号をランプ602に通信することができる。例えば、物体108の時計回りの動きに対応する制御信号は、ランプ602のスイッチをオフにするためのコマンドに対応することができる。受け取った制御信号に基づいて、ランプ602のスイッチをオフにすることができる。別の例では、物体108の反時計回りの動きに対応する制御信号が、ランプ602のスイッチをオンにするためのコマンドに対応することができる。受け取った制御信号に基づいて、ランプ602のスイッチをオンにすることができる。
別の例では、ラップトップが置かれたテーブルが、表面106に対応することができる。このテーブルの底面に、装置104を結合することができる。装置104のセンサ206は、テーブル上に所定の距離を形成して、テーブルを入力機構に変換することができる。ユーザは、形成された所定の距離内で(手及び/又は人口器官などの)物体108を時計回りに動かし、この動きによって閉領域が形成されるようにすることができる。センサ206は、この所定の距離内における物体108の時計回りの動きを検出することができる。センサ206は、この検出された動きに基づいて信号を生成することができる。プロセッサ202は、この生成された信号に基づいて動きの方向を特定することができる。プロセッサ202は、この特定された方向に対応する制御信号を生成することができる。物体108の時計回りの動きに対応する生成される制御信号は、ラップトップに関連するマウスの右ボタンに対応することができる。同様に、ユーザは、物体108を所定の距離内で反時計回りに動かすこともできる。プロセッサ202は、生成された信号に基づいて動きの方向を特定することができる。プロセッサ202は、この反時計回りの動きに対応する制御信号を生成することができる。反時計回りの動きに対応する生成される制御信号は、例えばラップトップに関連するマウスの左ボタンに対応することができる。
しかしながら、本開示は、上記の表面106、相互作用及び/又は操作できるデバイス102の実装例に限定されるわけではない。本開示の範囲を限定することなく、様々なタイプの相互作用を用いて異なるタイプのデバイスと相互作用するための表面106としてあらゆる表面を使用することができる。
図7は、本開示の実施形態による、所定の距離内の物体の動きに基づいてデバイスのユーザインターフェイスを操作するための装置において制御信号を生成するための例示的なステップを示すフローチャートである。図7には方法700を示している。方法700の説明は、図1及び図2のブロック図に関連して行う。
この方法は、ステップ702から開始する。ステップ704において、センサ206が、表面106から所定の距離内にある物体108の動きを検出することができる。ステップ706において、センサ206は、検出された動きに応答して1又はそれ以上の信号を生成することができる。ステップ708において、センサ206は、所定の距離内の経路に沿った物体108の動きを追跡することができる。センサ206は、経路に沿った物体108の1又はそれ以上の場所を特定することによって動きを追跡することができる。ステップ710において、プロセッサ202は、1又はそれ以上の特定された場所の各々に対応する2D座標系の座標対を特定することができる。特定された座標対の各々は、特定された1又はそれ以上の各場所の位置を2D座標系で示す。ステップ712において、プロセッサ202は、2D座標系の複数の座標対によって形成される閉領域を特定することができる。ステップ714において、プロセッサ202は、この特定された閉領域の面積の極性を求めることができる。1つの実施形態では、プロセッサ202は、特定された閉領域の面積の極性をベクトル解析に基づいて求めることができる。ステップ716において、プロセッサ202は、この求められた面積の極性に基づいて動きの方向を特定することができる。特定された動きの方向は、デバイス102に関連する操作に対応する。ステップ718において、プロセッサ202は、特定された動きの方向に基づいて制御信号を生成することができる。この制御信号は、デバイス102のユーザインターフェイスを操作するための1又はそれ以上の生成された信号に対応することができる。方法700は、ステップ720において終了する。
デバイスのユーザインターフェイスを操作するための装置及び/又は方法における実装を参照しながら本開示の様々な実施形態について説明したが、本開示はこのように限定されるわけではない。本開示の様々な実施形態は、本開示の範囲を限定することなく、他の動作を実行する装置及び方法において実装することもできる。このような動作の例として、室内などの所与の範囲内でユーザ及び/又は物体の存在を検出することを挙げることができる。別の例としては、室内の物体及び/又はユーザの動きの方向を特定することを挙げることができる。これらの検出された存在、検出された動き、及び/又は検出された動きの方向に基づいて、室内に存在する1又はそれ以上のデバイスの1又はそれ以上の動作を行わせることができる。
ある実施形態では、装置104を、室内の空気の動きに基づいて室内のデバイスを操作するように実装することができる。装置104は、室内の1又はそれ以上のデバイスと相互作用することができる。装置104が相互作用できるデバイスの例として、ランプ及び/又はファンを挙げることができる。
ある実施形態では、装置104が、部屋の床及び/又は天井に結合することができる。例えば、装置104を床及び/又は天井に埋め込んで、センサ206が部屋の空気の動きを検出できるようにすることができる。しかしながら、本開示はこのように限定されるわけではなく、装置104は、本開示の範囲を限定することなく部屋の床の様々な場所に配置することができる。1つの実施形態では、単一の装置が室内の1又はそれ以上のデバイスと相互作用することができる。別の実施形態では、室内の各デバイスを別個の装置によって操作することができる。
装置104のセンサ206は、室内のユーザ及び/又は物体の動き及び/又はその他のいずれかの要因に起因する室内の空気の動きを検出することができる。装置104のプロセッサ202は、空気の動き方向を特定することができる。プロセッサ202は、検出された空気の動き方向に対応する制御信号を生成することができる。プロセッサ202は、生成された制御信号に従って室内の(ランプ及びファンなどの)様々なデバイスを操作することができる。別の例では、プロセッサ202が、検出された動きに基づいて、地震及び/又はサイクロンなどの環境変化を突き止めることができる。
本開示の実施形態によれば、デバイス102(図1)のユーザインターフェイスを操作するための装置104(図1)が、表面106(図1)に結合されたセンサ206などの複数のセンサを含むことができる。この複数のセンサは、表面106から所定の距離302(図3)内にある物体108(図1)の動きを検出することができる。複数のセンサは、この検出された動きに応答して1又はそれ以上の信号を生成することができる。装置104は、複数のセンサに通信可能に結合された、プロセッサ202(図2)などの1又はそれ以上のプロセッサをさらに含むことができる。1又はそれ以上のプロセッサは、1又はそれ以上の生成された信号に対応する制御信号を生成して、デバイス102のユーザインターフェイスを操作することができる。
所定の距離302は、複数のセンサによって検出される表面積に基づく。所定の距離302は、表面106の上方及び/又は下方に広がる。複数のセンサは、所定の距離302内の経路に沿った物体108の動きを追跡することができる。複数のセンサは、経路に沿った物体108の1又はそれ以上の場所を特定することによって動きを追跡することができる。1又はそれ以上のプロセッサは、1又はそれ以上の特定された場所の各々に対応する、デカルト座標系400(図4)などの2D座標系における複数の点406(図4)に対応する座標対(Xk、Yk)などの座標対を特定することができる。特定された座標対(Xk、Yk)の各々は、特定された1又はそれ以上の各場所の位置を2D座標系で示す。1又はそれ以上のプロセッサは、2D座標系の複数の特定された座標対によって形成される閉領域408(図4)を特定することができる。1又はそれ以上のプロセッサは、特定された閉領域408の面積の極性を求めることができる。1又はそれ以上のプロセッサは、求められた面積の極性に基づいて動きの方向を特定することができる。特定された動きの方向は、デバイス102に関連する操作に対応する。
この動きは、特定される閉領域をもたらす時計回りの動き及び/又は反時計回りの動きの一方は両方を含む。複数のセンサは、超音波センサ及び/又は赤外線センサを含む。
本開示の実施形態によれば、相互作用するためのデバイス102(図1)が、プロセッサ502(図5)及び/又は回路などの1又はそれ以上のプロセッサを含むことができる。デバイス102は、装置104(図1)に通信可能に結合される。1又はそれ以上のプロセッサ及び/又は回路は、装置104から制御信号を受け取ることができる。この制御信号は、表面106(図1)から所定の距離302内にある物体108(図1)の動きを検出したことに応答して装置104が生成することができる。1又はそれ以上のプロセッサ及び/又は回路は、受け取った制御信号に基づいてデバイス102のユーザインターフェイスを操作することができる。動きは、閉領域をもたらす時計回りの動き及び/又は反時計回りの動きの一方は両方を含む。
本開示の他の実施形態は、機械及び/又はコンピュータによって実行されることにより、表面から所定の距離内にある物体の動きを検出するステップを含むステップを機械及び/又はコンピュータに実行させることができる少なくとも1つのコードセクションを有する機械コード及び/又はコンピュータプログラムを記憶した非一時的コンピュータ可読媒体及び/又は記憶媒体、及び/又は非一時的機械可読媒体及び/又は記憶媒体を提供することができる。検出された動きに応答して、1又はそれ以上の信号を生成することができる。この1又はそれ以上の生成された信号に対応する制御信号を生成して、デバイスのユーザインターフェイスを操作することができる。
従って、本開示は、ハードウェアの形で実現することも、又はハードウェアとソフトウェアの組み合わせの形で実現することもできる。本開示は、少なくとも1つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたあらゆる種類のコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアの組み合わせは、ロードされて実行された時に、本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアの形で実現することができる。
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに、特定の機能を直接的に、或いはa)別の言語、コード又は表記法への変換、b)異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
様々な実施形態を参照しながら本開示について説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することができると理解するであろう。また、本開示の範囲から逸脱することなく、本開示の教示に特定の状況又は内容を適合させるための多くの変更を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、特許請求の範囲に該当する全ての実施形態を含むことが意図されている。
102 デバイス
104 装置
106 表面
108 物体

Claims (23)

  1. デバイスのユーザインターフェイスを操作するための装置であって、
    複数のセンサと、
    前記複数のセンサに通信可能に結合された1又はそれ以上のプロセッサと、
    を備え、
    前記複数のセンサは、表面に結合するようにされており、かつ、
    前記表面から所定の距離内にある物体の動きを検出し、
    前記検出された動きに応答して1又はそれ以上の信号を生成し、
    前記1又はそれ以上のプロセッサは、
    前記複数のセンサによって生成された1又はそれ以上の信号に基づいて前記動きの結果として得られる前記物体の少なくとも3つの場所を特定し、
    前記特定された少なくとも3つの前記物体の場所を結ぶことによって閉領域を特定し、
    前記特定された閉領域の面積の極性に基づいて、前記1又はそれ以上の生成された信号に対応する制御信号を生成して、前記デバイスの前記ユーザインターフェイスを操作する、
    ことを特徴とする装置。
  2. 前記所定の距離は、前記複数のセンサによって検出される表面積に基づく、
    ことを特徴とする請求項1に記載の装置。
  3. 前記所定の距離は、前記表面の上方及び/又は下方に広がる、
    ことを特徴とする請求項1に記載の装置。
  4. 前記複数のセンサは、前記所定の距離内の経路に沿った前記物体の前記動きを追跡する、
    ことを特徴とする請求項1に記載の装置。
  5. 前記複数のセンサは、前記経路に沿った前記物体の前記少なくとも3つの場所を特定することによって前記動きを追跡する、
    ことを特徴とする請求項4に記載の装置。
  6. 前記1又はそれ以上のプロセッサは、前記特定された少なくとも3つの場所の各々に対応する、2次元座標系における座標対を特定する、
    ことを特徴とする請求項5に記載の装置。
  7. 前記特定された座標対の各々は、前記特定された少なくとも3つの場所の各々の位置を前記2次元座標系で示す、
    ことを特徴とする請求項6に記載の装置。
  8. 前記閉領域は、前記2次元座標系における複数の前記特定された座標対によって形成される、
    ことを特徴とする請求項7に記載の装置。
  9. 前記1又はそれ以上のプロセッサは、ベクトル解析に基づいて、前記特定された閉領域の前記面積の極性を求める、
    ことを特徴とする請求項1に記載の装置。
  10. 前記1又はそれ以上のプロセッサは、前記面積の極性に基づいて前記動きの方向を特定し、該特定される該動きの方向は、前記デバイスに関連する操作に対応する、
    ことを特徴とする請求項1に記載の装置。
  11. 前記動きは、前記特定される閉領域をもたらす時計回りの動き及び/又は反時計回りの動きの一方又は両方を含む、
    ことを特徴とする請求項1に記載の装置。
  12. 前記複数のセンサは、超音波センサ及び/又は赤外線センサを含む、
    ことを特徴とする請求項1に記載の装置。
  13. デバイスのユーザインターフェイスを操作する方法であって、
    表面から所定の距離内にある物体の動きを検出するステップと、
    前記検出された動きに応答して1又はそれ以上の信号を生成するステップと、
    前記生成された1又はそれ以上の信号に基づいて前記動きの結果として得られる前記物体の少なくとも3つの場所を特定するステップと、
    前記特定された少なくとも3つの前記物体の場所を結ぶことによって閉領域を特定するステップと、
    前記特定された閉領域の面積の極性に基づいて、前記1又はそれ以上の生成された信号に対応する制御信号を生成して、前記デバイスの前記ユーザインターフェイスを操作するステップと、
    を含むことを特徴とする方法。
  14. 前記所定の距離内の経路に沿った前記物体の前記動きを追跡するステップをさらに含む、
    ことを特徴とする請求項13に記載の方法。
  15. 前記追跡するステップは、前記経路に沿った前記物体の前記少なくとも3つの場所を特定するステップを含む、
    ことを特徴とする請求項14に記載の方法。
  16. 前記少なくとも3つの特定された場所の各々に対応する、2次元座標系における座標対を特定するステップをさらに含み、前記特定された座標対の各々は、前記特定された少なくとも3つの場所の各々の位置を前記2次元座標系で示す、
    ことを特徴とする請求項13に記載の方法。
  17. 前記閉領域は、前記2次元座標系における複数の前記特定された座標対によって形成される、
    ことを特徴とする請求項16に記載の方法。
  18. 前記特定された閉領域の前記面積の極性を求めるステップをさらに含む、
    ことを特徴とする請求項13に記載の方法。
  19. 前記面積の極性に基づいて前記動きの方向を特定するステップをさらに含み、該特定される該動きの方向は、前記デバイスに関連する操作に対応する、
    ことを特徴とする請求項13に記載の方法。
  20. 相互作用のためのデバイスであって、
    装置に通信可能に結合するようにされた前記デバイス内の1又はそれ以上のプロセッサ及び/又は回路を備え、該1又はそれ以上のプロセッサ及び/又は回路は、
    表面から所定の距離内にある物体の動きの検出に応答して前記装置によって生成された制御信号を前記装置から受け取り、ここで、前記制御信号は前記装置によって、前記動きの結果として得られた前記物体の少なくとも3つの場所を結ぶことによって形成される閉領域及び前記動きの結果として形成される閉領域の極性に基づいて生成されるものであり、
    前記受け取った制御信号に基づいて、前記デバイスのユーザインターフェイスを操作する、
    ことを特徴とするデバイス。
  21. 前記動きは、閉領域をもたらす時計回りの動き及び/又は反時計回りの動きの一方又は両方を含む、
    ことを特徴とする請求項20に記載のデバイス。
  22. 前記1又はそれ以上のプロセッサは、前記物体の前記所定の距離内の経路に沿った前記特定された少なくとも3つの場所に対応する、2次元座標系におけるX座標及びY座標の対を特定するようにされていることを特徴とする請求項1に記載の装置。
  23. 前記1又はそれ以上のプロセッサは、
    前記物体の前記経路に沿った後続する各位置の対のX座標間の差を求め、
    前記後続する各位置のY座標の和を求め、
    後続する各位置の対のX座標間の求められた差と前記後続する各位置のY座標の求められた和との積を求め、
    複数の後続する位置の前記対に対する複数の前記求められた積の和を求め、
    前記求められた複数の積の求められた和に基づいて、前記特定された閉領域の面積の極性を特定する、
    ことを特徴とする請求項22に記載の装置。
JP2015561553A 2013-03-06 2014-03-04 デバイスのユーザインターフェイスを操作するための装置及び方法 Active JP6057110B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/786,641 2013-03-06
US13/786,641 US9507425B2 (en) 2013-03-06 2013-03-06 Apparatus and method for operating a user interface of a device
PCT/US2014/020370 WO2014138096A1 (en) 2013-03-06 2014-03-04 Apparatus and method for operating a user interface of a device

Publications (2)

Publication Number Publication Date
JP2016512637A JP2016512637A (ja) 2016-04-28
JP6057110B2 true JP6057110B2 (ja) 2017-01-11

Family

ID=51487258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015561553A Active JP6057110B2 (ja) 2013-03-06 2014-03-04 デバイスのユーザインターフェイスを操作するための装置及び方法

Country Status (5)

Country Link
US (1) US9507425B2 (ja)
EP (1) EP2951670A4 (ja)
JP (1) JP6057110B2 (ja)
CN (1) CN105027066B (ja)
WO (1) WO2014138096A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105179291B (zh) * 2015-09-04 2017-11-17 施淑琴 一种具有停转保护的交互式手势控制风扇及其控制方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
EP1717677B1 (en) 1998-01-26 2015-06-17 Apple Inc. Method and apparatus for integrating manual input
US20070085828A1 (en) * 2005-10-13 2007-04-19 Schroeder Dale W Ultrasonic virtual mouse
US7414705B2 (en) * 2005-11-29 2008-08-19 Navisense Method and system for range measurement
US20070130547A1 (en) 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
US8139029B2 (en) * 2006-03-08 2012-03-20 Navisense Method and device for three-dimensional sensing
US8334841B2 (en) * 2006-03-13 2012-12-18 Navisense Virtual user interface method and system thereof
US8086971B2 (en) 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8354997B2 (en) 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
US8219936B2 (en) 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
CN101952792B (zh) * 2007-11-19 2014-07-02 瑟克公司 与显示器结合且具有接近及触摸感应能力的触摸板
JP2009301302A (ja) 2008-06-12 2009-12-24 Tokai Rika Co Ltd ジェスチャ判定装置
US8174504B2 (en) 2008-10-21 2012-05-08 Synaptics Incorporated Input device and method for adjusting a parameter of an electronic system
US8823749B2 (en) * 2009-06-10 2014-09-02 Qualcomm Incorporated User interface methods providing continuous zoom functionality
KR20100136649A (ko) * 2009-06-19 2010-12-29 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치
US8413065B2 (en) * 2009-09-07 2013-04-02 Qualcomm Incorporated User interface methods for ending an application
US8907894B2 (en) * 2009-10-20 2014-12-09 Northridge Associates Llc Touchless pointing device
JP2011134271A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20110310005A1 (en) 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
US20120280902A1 (en) 2011-05-05 2012-11-08 Qualcomm Incorporated Proximity sensor mesh for motion capture
US20130002577A1 (en) * 2011-07-01 2013-01-03 Empire Technology Development Llc Adaptive user interface

Also Published As

Publication number Publication date
US9507425B2 (en) 2016-11-29
CN105027066B (zh) 2018-09-25
EP2951670A1 (en) 2015-12-09
WO2014138096A1 (en) 2014-09-12
US20140253460A1 (en) 2014-09-11
EP2951670A4 (en) 2016-10-26
JP2016512637A (ja) 2016-04-28
CN105027066A (zh) 2015-11-04

Similar Documents

Publication Publication Date Title
EP3664974B1 (en) Mobile home robot and controlling method of the mobile home robot
US10960298B2 (en) Boolean/float controller and gesture recognition system
JP6048918B2 (ja) デバイスのユーザインターフェイス制御
US20140210740A1 (en) Portable apparatus having plurality of touch screens and sound output method thereof
JP2011170538A (ja) 情報処理装置、情報処理方法およびプログラム
EP2755111A2 (en) System and method for detecting three dimensional gestures to initiate and complete the transfer of application data between networked devices
US9910937B2 (en) Method and device for generating data representing structure of room
CN106713598B (zh) 基于指示方向的指令传输方法及装置、智能设备
US20130207892A1 (en) Control method and apparatus of electronic device using control device
JP6096899B2 (ja) 端末装置
US20150002417A1 (en) Method of processing user input and apparatus using the same
JP6057110B2 (ja) デバイスのユーザインターフェイスを操作するための装置及び方法
JP6666955B2 (ja) 電子機器の充電器を活用して電子機器が位置する空間を把握する方法、その電子機器及び充電器
KR102578695B1 (ko) 복수의 디바이스들을 관리하는 방법 및 전자 디바이스
US10719147B2 (en) Display apparatus and control method thereof
CN109144362A (zh) 内容共享方法和终端设备
JP5853006B2 (ja) 遠隔制御システムとその方法
KR102125563B1 (ko) 실내의 구조를 나타내는 데이터를 생성하는 디바이스 및 방법
JP2012113386A (ja) 電子機器、表示制御方法、およびプログラム
JP2007066057A (ja) 情報処理装置、情報処理装置におけるguiの切り換え方法
EP3568745B1 (en) Hover interaction using orientation sensing
KR102072097B1 (ko) 가전기기의 위치를 데이터화하여 it 기기와 가전기기를 연동하는 장치 및 그 방법
US20230289244A1 (en) Peripheral device positions
KR20150024009A (ko) 사용자 입력 피드백 제공 방법 및 장치
US11863340B2 (en) Method and system for controlling home appliance

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160613

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161003

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161122

R151 Written notification of patent or utility model registration

Ref document number: 6057110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250