JP5521117B2 - ジェスチャーベースの遠隔制御のための方法および装置 - Google Patents

ジェスチャーベースの遠隔制御のための方法および装置 Download PDF

Info

Publication number
JP5521117B2
JP5521117B2 JP2013515524A JP2013515524A JP5521117B2 JP 5521117 B2 JP5521117 B2 JP 5521117B2 JP 2013515524 A JP2013515524 A JP 2013515524A JP 2013515524 A JP2013515524 A JP 2013515524A JP 5521117 B2 JP5521117 B2 JP 5521117B2
Authority
JP
Japan
Prior art keywords
mobile device
controllable device
controllable
processing unit
commands
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013515524A
Other languages
English (en)
Other versions
JP2013532338A (ja
Inventor
チャディア・アビファカール
ルーベン・エム・ヴェラルド
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2013532338A publication Critical patent/JP2013532338A/ja
Application granted granted Critical
Publication of JP5521117B2 publication Critical patent/JP5521117B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/50—Service provisioning or reconfiguring
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/20—Binding and programming of remote control devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/70—Device selection
    • G08C2201/71—Directional beams
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Selective Calling Equipment (AREA)

Description

本明細書で開示する主題は、電子デバイスに関し、より詳細には、1つまたは複数の制御可能デバイスを遠隔制御するためにモバイルデバイスの中で、またはモバイルデバイスにより使用する方法および装置に関する。
ワイヤレス通信システムは急速に、デジタル情報領域において最も普及した技術の1つになっている。衛星およびセルラー電話サービスならびに他の同様のワイヤレス通信ネットワークはすでに世界全体に及び得る。さらに、様々なタイプおよびサイズの新しいワイヤレスシステム(たとえば、ネットワーク)が日々加わって、極めて多くのデバイス(固定型と携帯型の両方)間の接続性を提供している。これらのワイヤレスシステムの多くは、他の通信システムおよびリソースを通じて連結されて、さらなる通信および情報共有を促進している。
何らかのタイプの通信リンクを介して制御可能デバイスにコマンドを提供するために、モバイルデバイス(たとえば、セルラー電話、PDA、ノートブックコンピュータ、娯楽システムのリモコンなど)の高度なアプリケーションが使用されている。典型的には、ボタンおよび/またはインターフェースがユーザから選択を受信して、制御可能デバイスにコマンドを提供することができる。そのようなコマンドは、制御可能デバイスの操作に何らかの形で作用する(たとえば、オンまたはオフにする、家庭用娯楽システムの音量を上げる、または下げる、室内の照明、サーモスタット制御に作用する、など)ことができる。
ユーザは一般に、ボタンを押したり、タッチスクリーンと対話したりすることによって、モバイルデバイスに入力を提供する。たとえば、ユーザはモバイルデバイスの特定のアプリケーションを作動させている間に、制御される特定のデバイスを表すアイコンを選択し、次いでボタンおよび/またはタッチスクリーンを介してモバイルデバイスに入力を提供することがある。そのような行為は、ユーザにとって気を散らし、時間がかかるものであり得る。
いくつかの態様によれば、1つまたは複数の制御可能デバイスの遠隔制御を可能にするために、モバイルデバイスの中で、かつ/またはモバイルデバイスにより使用する技法が提供される。そのような遠隔制御は、たとえば、ユーザが行うジェスチャーおよび/または他のユーザ入力に基づき得る。そのような遠隔制御は、たとえば、モバイルデバイスが制御可能デバイスに対して見える範囲外にある場合でも生じ得る。したがって、そのような遠隔制御は、たとえば、モバイルデバイスが制御可能デバイスの近くにある場合、および/または制御可能デバイスから遠く離れたところにある場合でも生じ得る。
非限定的な例として、モバイルデバイスの回転情報(orientation)が制御可能デバイスの位置への方向と関連付けられ得る方法が実施され得る。次いで、制御可能デバイスの選択を何らかの方法で示すことができ、選択された制御可能デバイスに関連する1つまたは複数のコマンドを決定することができる。たとえば、選択された制御可能デバイスに関連する1つまたは複数のコマンドは、モバイルデバイスの1つまたは複数の慣性センサを介して取得されるユーザ入力に少なくとも部分的に基づいて決定され得る。次いでモバイルデバイスは、直接的かつ/または間接的に、1つの選択された制御可能デバイスおよび/または複数の選択された制御可能デバイスに対するそのようなコマンドの送信を開始することができる。
さらなる例として、モバイルデバイスが制御可能デバイスを遠隔制御する方法をプログラムされ、かつ/または場合によっては学習する方法が実施され得る。ここで、たとえば、モバイルデバイスは、制御可能デバイスの推定位置を取得し、モバイルデバイスの1つまたは複数の慣性センサからの信号を処理して、1つまたは複数のジェスチャーを特徴付けることができる。モバイルデバイスは、たとえば、特徴付けられたジェスチャーに少なくとも部分的に基づいて、1つまたは複数のコマンドを制御可能デバイスと関連付けるようにプログラムされ得る。モバイルデバイスは、たとえば、推定位置への方向にあるモバイルデバイスの回転情報に応じて、そのようなコマンドを受信するための制御可能デバイスを選択するようにプログラムされ得る。
非限定的かつ非包括的な態様が、以下の図面を参照して説明され、別段規定されない限り、様々な図面を通じて、同様の参照番号は同様の部分を指す。
一実装形態による、1つまたは複数の制御可能デバイスを遠隔制御するモバイルデバイスを含む例示的な環境を示す概略ブロック図である。 一実装形態による、1つまたは複数の制御可能デバイスを遠隔制御することが可能な、たとえば図1に示すようなモバイルデバイスのいくつかの特徴を示す概略ブロック図である。 一実装形態による、例示的なジェスチャーベースの遠隔制御プロセスのいくつかの特徴を示す機能流れ図である。 一実装形態による、例示的なジェスチャーベースの遠隔制御学習プロセスのいくつかの特徴を示す機能流れ図である。 一実装形態による、1つまたは複数の制御可能デバイスを遠隔選択/制御するモバイルデバイスを含む構成のいくつかの例示的な特徴を示す例示的な図である。
いくつかの例示的な実施形態によれば、モバイルデバイスは、1つまたは複数の制御可能デバイスのジェスチャーベースの遠隔制御を実行することに対応し得る。
モバイルデバイスは、たとえば、1つまたは複数の慣性運動センサ、たとえば、コンパス、ジャイロスコープ、加速度計および/または磁力計などを含むことができる。そのようなセンサによる測定を処理して、デバイスの回転情報(たとえば、ロール、ピッチおよびヨー)を決定すること、および/または参照データに関係するモバイルデバイスの方位角を決定することができる。さらに、ユーザがモバイルデバイスを持っている間に、そのようなセンサによる測定を使用して、特定のハンドジェスチャー(たとえば、手首を回す、上向き、下向き、左、右など)を検出すること、および/または特徴付けることができる。ここで、ユーザはそのようなジェスチャーを行って、遠隔制御可能デバイスに対するコマンドを開始することができる。
いくつかの例示的な実施形態によれば、遠隔制御可能デバイスの位置は既知である。ユーザは、制御可能デバイスの既知の位置への方向にモバイルデバイスを向けることによって、コマンドを受信する制御可能デバイスを選択することができる。ここで、いくつかの位置決定技法、たとえばほんの数例を挙げると、GPS、アドバンストフォワードリンク三辺測量などのうちのいずれかを使用して、モバイルデバイスの位置を決定することができる。上述のように、モバイルデバイスの回転情報は、搭載されたセンサ(たとえば、コンパス)から決定できる。したがって、モバイルデバイスの回転情報による方向に、モバイルデバイスの既知の位置から線または光線を投影することができる。投影線または投影光線が遠隔制御可能デバイスの位置の中または近くを通る場合、モバイルデバイスは入力を受信する制御可能デバイスを選択することができる。
入力を受信する制御可能デバイスが選択されると、ユーザはデバイスを持っている間にいくつかのジェスチャーを行って、制御可能デバイスに対するコマンドの送信を開始することができる。上記で説明したように、モバイルデバイスは、慣性センサからの信号に基づいてそのようなジェスチャーを検出し、かつ/または特徴付けるようにプログラムされ得る。したがってユーザは、モバイルデバイスを持っている間に遠隔制御可能デバイスのおおよその方向にモバイルデバイスを向けて、特定のジェスチャーを行う以外に、ボタンまたはタッチスクリーンなどと対話することなく、被制御デバイスを選択して、選択されたデバイスに対するコマンドの送信を開始することができる。
いくつかの例示的な実施形態によれば、モバイルデバイスは、いくつかのタイプのデータリンク(たとえば、WiFi、Bluetooth(登録商標)、セルラーネットワークなど)のうちのいずれかを使用して被遠隔制御デバイスと通信することができる。特定の一実装形態では、遠隔制御可能デバイスは、IPアドレスと関連付けられることがあり、TCP/IPセッションでモバイルデバイスからコマンドを受信することができる。したがって、(たとえば、IRリンクの場合に一般に望まれるような)被遠隔制御デバイスと被遠隔制御デバイスにコマンドを提供するモバイルデバイスとの間が見通せる経路は必要ない。
さらに、許可および/または認証プロトコルが、モバイルデバイスによる被遠隔制御デバイスへのアクセスを制御することができる。たとえば、被遠隔制御デバイスは、モバイルデバイスからコマンドを受信する前に、セキュリティメタデータについてモバイルデバイスに照会し、コマンドのソースを認証すると、コマンドを選択的に受信することができる。
いくつかの例示的な実装形態によれば、モバイルデバイスは、遠隔制御可能デバイスに入力を提供するようにプログラムされ得る。一例では、ユーザはキーパッドから入力を行うことによって、モバイルデバイスの位置を提示することができる。代替的に、ユーザは、遠隔制御可能デバイスの近くまたはそばでモバイルデバイスを持ち、モバイルデバイスの現在位置を遠隔制御可能デバイスの固定位置と関連付けることによって、遠隔制御可能デバイスの位置を登録することができる。上記で説明したように、そのようなモバイルデバイスは、周知の技法を使用してそれ自体の位置を決定することが可能であり得る。特定の入力を提供するためのいくつかのデフォルトのジェスチャーがあり得るが、ユーザが(たとえば、モバイルデバイスを持っている間の)いくつかのハンドジェスチャーをプログラムすることもできる。そのようなジェスチャーから生成された慣性センサ信号を使用して、将来においてハンドジェスチャーを検出し、かつ/または特徴付け、それに応じて被遠隔制御デバイスに対するコマンドを開始する際に使用する保存シグナチャを作成することができる。
このことを念頭に置いて、いくつかの例示的な実装形態により、モバイルデバイスのユーザが何らかの方法で1つまたは複数の制御可能デバイスを選択し制御することを可能にするために、モバイルデバイスの中で、かつ/またはモバイルデバイスにより使用する方法および/または装置が提供され得る。そのような方法および/または装置では、ユーザは、制御可能デバイスからある程度離れたところに位置する場合でも、モバイルデバイスを使用して何らかの方法で制御可能デバイスを選択し制御することができる。
最初の非限定的な例として、勤務先にいるユーザは、スマートフォンを使用して家庭内の器具などの制御可能デバイスを選択し、制御することができる。ここで、ユーザの位置と制御可能デバイスの位置との間の距離は大きく異なり得る。たとえば、ユーザの位置は、制御可能デバイスの位置から数十もしくは数百メートルおよび/または数キロメートルも離れていることがある。実際、ユーザから制御可能デバイスまでの視線は、様々な自然構造物および/または人工構造物によって遮断され得る。
ユーザが1つまたは複数の制御可能デバイスを近くから、かつ/または遠くから選択し制御することを可能にするために、たとえば、いくつかの例示的な方法および/または装置をモバイルデバイス内で実施して、モバイルデバイスの回転情報を制御可能デバイスの位置への方向と関連付けることができる。たとえば、回転情報は、1つまたは複数の慣性センサ(たとえば、加速度計、ジャイロスコープなど、および/もしくは場合によってはコンパス、磁力計、気圧計など)、ならびに/またはロケーションサービス受信機(たとえば、グローバルナビゲーション衛星システム(GNSS)受信機、ロケーションベースサービス(LBS)など)、コンパスおよび/もしくは磁力計などを使用して導出された一定の情報に少なくとも部分的に基づき決定され得る。モバイルデバイスの回転情報は、たとえば、モバイルデバイスの使用に関係する1つまたは複数の特定の上/下、上部/下部などのポジションに関連し得る。たとえば、キーボードまたはディスプレイは、ユーザが閲覧あるいは使用するときに、上部および下部に関係し得る特定の操作回転情報を有することがある。いくつかの例示的な実装形態では、モバイルデバイスおよび/または制御可能デバイスの使用に関連する1つまたは複数の位置、距離、時間期間、許容コマンドなどに関して、1つまたは複数の制限が(たとえば、デフォルトで、事前に、ユーザ入力に基づいて、など)識別され得る。
いくつかの例示的な実装形態では、モバイルデバイスは、モバイルデバイスの推定位置およびモバイルデバイスの回転情報に少なくとも部分的に基づいて、制御可能デバイスの位置への方向を決定することができる。ここで、たとえば、モバイルデバイスの推定位置は、ロケーションサービス受信機に関連する1つまたは複数の信号に少なくとも部分的に基づくことができ、決定された方向は、モバイルデバイスの推定位置から制御可能デバイスの位置まで延びる投影線または投影光線を表すことができる。いくつかの実装形態では、たとえば、1つまたは複数の位置推定および/または回転情報決定の誤りを考慮して、決定された方向は、空間方向領域を含むことができる。ここで、たとえば、空間方向領域は、何らかの形で、モバイルデバイスの推定位置から制御可能デバイスの位置まで及び得る。
いくつかの例示的な実装形態では、モバイルデバイスは、制御可能デバイスの位置および/または制御可能デバイスに関連する1つもしくは複数のコマンドについて、事前にプログラムされ得る。モバイルデバイスをプログラムし、かつ/またはトレーニングするためのいくつかの例示的な技法について、以下でより詳細に説明する。
上記の例で説明したように、自らの推定位置および回転情報のほか、1つまたは複数の制御可能デバイスの位置を把握しているモバイルデバイスは次いで、(たとえば、後に制御コマンドを送るために)制御可能デバイスの選択を表示すること、および/またはその他の形で提供することができる。たとえば、制御可能デバイスの位置は、その方向(たとえば、投影線および/または空間方向領域の上、中および/または場合によっては十分に近く)で決定され得る。制御可能デバイスの選択は、たとえば、自動的であること、かつ/または場合によってはユーザ入力によって作用することがある。たとえば、いくつかの状況では、ユーザは制御可能デバイスの選択を確認、変更し、または場合によってはその選択に作用することができる。したがって、その方向にたまたま2つ以上の制御可能デバイスが存在する場合、ユーザはそのような競合を解消するためにユーザ入力を提供することを促されるか、場合によっては許容されることがある。最初の例として、有益かつ/または選択可能な画像またはアイコンなどを、ユーザに表示あるいは提示して、1つまたは複数の制御可能デバイスの選択をサポートすることができる。本明細書で提示する例は、単一の制御可能デバイスの選択を示す傾向があるが、選択される制御可能デバイスは実際には複数の制御可能デバイスを含む場合があることに留意されたい。
以下でより詳細に説明するように、移動局に関連する様々なタイプのユーザインターフェース、センサおよび/またはユーザ入力を用いて、制御可能デバイスの選択および/または選択された制御可能デバイスの後の制御をサポートすることができる。例として、制御可能デバイスの選択に関連するユーザ入力を取得するために、モバイルデバイスは、対話型またはタッチスクリーンディスプレイ、マイクロフォン、カメラ、ボタンまたはキーパッド、1つまたは複数の慣性センサなどを含むことができる。同様に、たとえば、制御可能デバイスの選択および/または本明細書における様々なプロセスに関する他の情報を、視覚インターフェース(たとえば、ディスプレイ、インジケータなど)、音声インターフェース(たとえば、スピーカー、ブザーなど)、および/または触覚インターフェース(たとえば、振動機構など)を介してユーザに示すことができる。
他の例では、そのようなインターフェース、センサおよび/またはユーザ入力はまた、1つまたは複数の制御可能デバイスならびに/または補助通信サービスおよび/もしくは他の同様のリソースに関係するアクセス制御で望まれ得るユーザ認証をサポートすることができる。
上記の例を続けると、次いで、現在選択されている制御可能デバイスを有するモバイルデバイスは、選択されている制御可能デバイスに関連する1つまたは複数のコマンドを決定することができる。たとえば、1つまたは複数のコマンドは、モバイルデバイスの1つまたは複数の慣性センサを介して取得されるユーザ入力に少なくとも部分的に基づいて決定され得る。たとえば、1つまたは複数のコマンドは、モバイルデバイスの1つまたは複数のユーザインターフェースを介して取得されるユーザ入力に少なくとも部分的に基づいて決定され得る。
例として、1つまたは複数のコマンドは、1つまたは複数の慣性センサに関連する1つまたは複数の信号に少なくとも部分的に基づいて決定されるように、ある人(たとえば、ユーザおよび/または1人もしくは複数の他者)によって実行される少なくとも1つの物理的行為および/またはモバイルデバイスを使用して実行される少なくとも1つの物理的ジェスチャーを識別することができる。いくつかの例示的な実装形態では、物理的行為は、モバイルデバイスによって測定され、記録され、かつ/またはキャプチャされる識別可能な運動、音声波形、視覚画像などを生じさせ得る。
上記の例をさらに続けると、選択された制御可能デバイスに関連する1つまたは複数のコマンドを決定したモバイルデバイスは、選択された制御可能デバイスに対するコマンドの送信を開始することができる。ここではたとえば、モバイルデバイスは、選択された制御可能デバイスおよびコマンドに関連する1つまたは複数のメッセージを、選択された制御可能デバイスに所望のコマンドを通信することが可能な1つまたは複数のネットワークリソースに送信することができる。たとえば、モバイルデバイスは、1つまたは複数のメッセージを、ワイヤレス信号を介して、1つまたは複数の通信ネットワークに関連するアクセスポイント、基地局などに送信することができる。
ネットワーク化されたリソースは、たとえば、所望のコマンドを、追加データ処理を行ってまたは行わずに、選択された制御可能デバイスに転送することができる。したがって、いくつかの例示的な実装形態では、移動局は、選択された制御可能デバイスが受信してしかるべく処理することができる所望のコマンドを生成または場合によっては識別することが可能であり得る。したがってここでは、いくつかの例示的な実装形態では、モバイルデバイスは1つまたは複数の信号を、直接通信リンクを介して、選択された制御可能デバイスに送信(および受信)することができる。他の例示的な実装形態では、ネットワークリソースは、選択された制御可能デバイスが受信してしかるべく処理することができる所望のコマンドを生成または場合によっては識別する追加データ処理能力を提供することができる。
いくつかの例示的な実装形態では、モバイルデバイスはまた、選択された制御可能デバイスに関連するステータス情報を取得し、ステータス情報に少なくとも部分的に基づいてユーザにフィードバックを提示することができる。たとえば、選択された制御可能デバイスの現在の状態を決定または監視することができ、フィードバックをユーザに提供して、選択および/または制御プロセスをさらにサポートすることができる。
前述のように、モバイルデバイスは、事前に制御可能デバイスを選択して制御するようにプログラムされ得る。ここではたとえば、モバイルデバイスは、制御可能デバイスの位置を取得することができる。制御可能デバイスの位置を、たとえばモバイルデバイスに提供することができ、かつ/または何らかの方法でモバイルデバイスを使用して推定することができる。ここではたとえば、ネットワークリソースおよび/もしくは制御可能デバイス、ならびに/またはユーザ入力は、制御可能デバイスの所定の位置を識別することができる。他の例では、1つまたは複数のロケーションサービスを使用して、(たとえば、ネットワークを介して制御可能デバイスと通信することによって、インターネットサービスプロバイダ(ISP)リソースのような他の補助リソースの位置を識別することによって、など)制御可能デバイスの位置を推定することができる。たとえば、モバイルデバイスは、ロケーションサービス受信機(たとえば、GNSS受信機)により、かつ/または場合によっては1つもしくは複数のネットワークリソースのさらなる支援により、制御可能デバイスの位置を推定することができる。制御可能デバイスの位置に関連するデータは、モバイルデバイス内のメモリに記憶され得る。
モバイルデバイスはまた、1つもしくは複数の慣性センサおよび/または他のインターフェースからの信号を処理して、1つまたは複数のジェスチャーを、制御可能デバイスを選択および/または制御するための1つまたは複数のコマンドと関連付けられているものとして特徴付けることができる。したがって、特徴付けられた1つまたは複数のジェスチャーに関連するデータおよび関連するコマンドをメモリに記憶し、後に、制御可能デバイスの選択を識別するために、かつ/または制御可能デバイスに関係するコマンドを決定するために使用することができる。たとえば、そのようなデータを使用して、被制御デバイスの位置への方向にあるモバイルデバイスの回転情報に応じて、1つまたは複数のコマンドを受信するための制御可能デバイスを選択することができる。そのようなデータはまた、たとえば、ユーザ認証および/または制御可能デバイスに関連する他の同様のアクセス制御情報を含むことができる。
いくつかの例示的な実装形態では、モバイルデバイスは、1つまたは複数のジェスチャーを特徴付けるデータを受信することができる。たとえば、いくつかの制御可能デバイスは、デフォルトのジェスチャーを有することがあり、デフォルトのジェスチャーに関するデータは、被制御デバイス、1つもしくは複数のネットワーク化されたリソース、および/またはコンピュータ可読記録媒体からモバイルデバイスにダウンロードされ得るか、あるいは提供され得る。
いくつかの例示的な実装形態では、モバイルデバイスは同様に、制御可能デバイスに関連する操作情報、制御可能デバイスおよび/もしくは他のリソースもしくはサービスに関連するアクセス制御情報、ならびに/または制御可能デバイスに関連する識別情報に関係するデータを取得することができる。たとえば、操作情報は、いくつかの制御パラメータ、技法、制限などを指定することができる。たとえば、アクセス制御情報は、プロトコル、証明、コード、パスワード、制限、サブスクリプションなどを識別すること、および/または場合によってはこれらに関係することがある。たとえば、識別情報は、ユーザマニュアル、サービスマニュアル、ビデオ/グラフィカルファイルおよび/または音声ファイル、モデルおよび/または通し番号情報、ネットワークアドレス、メディアアクセス層情報、エンティティ/所有者連絡情報などを含み得る。いくつかの例示的な実装形態では、モバイルデバイスのカメラを使用して、制御可能デバイスに関連する画像情報および/または制御可能デバイスに関連する他の識別情報を取得することができる。
ここで注目する図1は、モバイルデバイス102、ネットワーク104、1つまたは複数の制御可能デバイス106、および1つまたは複数のロケーションサービス108を含む例示的な環境100を示す概略ブロック図である。
モバイルデバイス102は、ユーザによって適度にあちこちに動くことが可能な任意の電子デバイスを表す。限定ではなく例として、モバイルデバイス102は携帯電話、スマートフォン、ラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、ウェアラブルコンピュータ、携帯情報端末などのコンピューティングデバイスおよび/または通信デバイスを含むことができる。モバイルデバイス102は、他のデバイス/機構に取り付けられた電子回路を含むことができる。たとえば、モバイルデバイス102は、ユーザまたは他者によって制御されるときにあちこちに動くことが可能な車両の内部に設置されたコンピューティングデバイスを含むことができる。
デバイス102は、たとえば、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)など、様々なワイヤレス通信ネットワークでの使用に(たとえば、1つまたは複数のネットワークインターフェースを介して)対応し得る。「ネットワーク」および「システム」という用語は、本明細書では互換的に使用され得る。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、単一キャリア周波数分割多元接続(SC-FDMA)ネットワークなどであり得る。CDMAネットワークは、1つまたは複数の無線アクセス技術(RAT)、たとえばほんの数例の無線技術を挙げると、cdma2000、広帯域CDMA(W-CDMA)、時分割同時符号分割多元接続(TD-SCDMA)などの無線技術を実施することができる。ここで、cdma2000は、IS-95、IS-2000、およびIS-856規格に従って実装される技術を含み得る。TDMAネットワークは、Global System for Mobile Communications(GSM(登録商標))、Digital Advanced Mobile Phone System(D-AMPS)または何らかの他のRATを実施することができる。GSM(登録商標)およびW-CDMAは「第3世代パートナーシッププロジェクト」(3GPP)と名付けられた団体による文書に記載されている。cdma2000は「第3世代パートナーシッププロジェクト2」(3GPP2)と名付けられた団体による文書に記載されている。3GPPおよび3GPP2の文書は公開されている。たとえば、WLANは、IEEE 802.11xネットワークを含んでもよく、WPANは、Bluetooth(登録商標)ネットワーク、IEEE 802.15xを含んでもよい。ワイヤレス通信ネットワークはいわゆる次世代技術(たとえば「4G」)、たとえば、ロングタームエボリューション(LTE)、Advanced LTE、WiMAX、Ultra Mobile Broadband(UMB)などを含むことができる。
ネットワーク104は、モバイルデバイス102と制御可能デバイス106との通信を可能にする1つまたは複数の有線通信ネットワークおよび/またはワイヤレス通信ネットワークなどを表す。例として、ネットワーク104は、電気通信および/またはデータネットワークおよび/またはサービス、セルラーおよび/または他のワイヤレスネットワーク、イントラネット、インターネットなどを含むことができる。したがって、図示のように、ネットワーク104は、アクセスポイント110、基地局112、直接リンク114および/または1つもしくは複数のコンピューティング/通信リソース116を含むことができる。リソース116は、たとえば1つまたは複数のコンピューティングデバイス、通信デバイス/リソース、データ記憶デバイスなどを含むことができる。
ロケーションサービス108は、1つまたは複数のワイヤレス信号ベースのロケーションサービス、たとえばGNSS(たとえば、GPSなど)または他の同様の衛星および/または地上のロケーション特定サービス、ロケーションベースサービス(たとえばセルラーネットワーク、WiFiネットワークなどを経由)を表す。
制御可能デバイス106は、(たとえば、ワイヤ、導波管、ケーブル、光ファイバー、および/または1つもしくは複数のワイヤレスリンクを使用して送信される)1つまたは複数の電気信号を介して受信される1つまたは複数のコマンドを介して何らかの方法で制御されること、および/または場合によっては操作可能なように作用することのある任意の電子装置および/または電気機械装置を表す。制御可能デバイス106は、たとえば、モバイルデバイス、コンピューティングデバイス、通信デバイス、娯楽用デバイス、制御機構、機械、器具、ロボット、車両、飛行用デバイス、水中用デバイス、潜水デバイスなどを含むことができる。制御可能デバイスに応じて、1つまたは複数のコマンドを受信することができ、それに応答して動作および/または状態に作用することができる。
次に参照する図2は、一実装形態による、たとえば図1のようなモバイルデバイス102のいくつかの機能を示す概略ブロック図である。
図示のように、モバイルデバイス102は、1つまたは複数の接続200を介してメモリ204に結合された、(たとえば、本明細書で提供する技法に従い)データ処理を実行する1つまたは複数の処理ユニット202を含むことができる。処理ユニット202は、ハードウェアまたはハードウェアとソフトウェアの組合せで実装され得る。処理ユニット202は、データ計算手順または処理の少なくとも一部を実行するように構成可能な、1つまたは複数の回路を代表するものであってよい。限定ではなく例として、処理ユニットは、1つまたは複数のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路、デジタルシグナルプロセッサ、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイなど、またはこれらの任意の組合せを含み得る。
メモリ204は、任意のデータ記憶機構を代表するものであってよい。メモリ204は、たとえば、1次メモリ204-1および/または2次メモリ204-2を含み得る。1次メモリ204-1は、たとえば、ランダムアクセスメモリ、読み取り専用メモリなどを含み得る。この例では処理ユニットとは別個のものとして示されているが、1次メモリの全部または一部が処理ユニット202またはモバイルデバイス102内の他の同様の回路の中に設けられるか、あるいはそれらと共設/結合され得ることを理解されたい。2次メモリ204-2は、たとえば、1次メモリ、および/または、たとえば、ディスクドライブ、光ディスクドライブ、テープドライブ、固体メモリドライブなど、1つもしくは複数のデータ記憶デバイスもしくはシステムと同じまたは同様のタイプのメモリを含み得る。いくつかの実装形態では、2次メモリは、コンピュータ可読記録媒体220を動作可能に受け入れるか、または場合によってはそれに結合するように構成され得る。図示のように、メモリ204および/またはコンピュータ可読記録媒体220は、データ206および/または(たとえば、本明細書で提供される技術に従った)データ処理に関連する命令208を含み得る。
モバイルデバイス102はたとえば、接続200のうちの1つまたは複数に結合され得る1つまたは複数のユーザインターフェース210をさらに含むことができる。例として、ユーザインターフェース210は、マイクロフォン210-1、カメラ210-2、ディスプレイ210-3、1つもしくは複数のボタンなど210-4、および/または1つもしくは複数の触覚インターフェース210-5(たとえば、振動機構など)を含み得る。他のユーザインターフェースは、バイオメトリックリーダーもしくは他の同様の認証インターフェース、スピーカー、ブザーもしくは他の同様の可聴式インターフェース、および/または様々な視覚インターフェース、たとえばLED、ライトなどを含むことができる。
モバイルデバイス102はたとえば、前述のように、接続200のうちの1つまたは複数に結合され得る1つまたは複数のロケーションサービス受信機212および/またはネットワークインターフェース216をさらに含むことができる。
モバイルデバイス102はたとえば、接続200のうちの1つまたは複数に結合され得る1つまたは複数のセンサ214をさらに含むことができる。この例では、前述のように、センサ214は、1つまたは複数の慣性センサ214-1、コンパス214-2、磁力計214-3などを含むことができる。
モバイルデバイス102はたとえば、接続200のうちの1つまたは複数に結合されること、または結合されないことがある他の回路218などをさらに含むことができる。ここで、たとえば、他の回路218は、モバイルデバイス102の他の機能および/または能力に応じて、その範囲が大きく異なり得る。たとえば、他の回路218は、電源、コンピュータ可読記録媒体にアクセスするデバイスなどを含むことができる。
次に図3に注目すると、図3は、一実装形態による、制御可能デバイスを選択および制御するためにモバイルデバイスで使用する例示的なプロセス300を示す流れ図である。
ブロック302において、モバイルデバイスの回転情報が、制御可能デバイスの位置への方向と関連付けられ得る。たとえば、ブロック304において、モバイルデバイスの回転情報が、たとえば、本明細書で説明する1つまたは複数の技法を使用して決定され得る。ブロック306において、方向が、たとえば、本明細書で説明する1つまたは複数の技法を使用して決定され得る。ブロック308において、モバイルデバイスの位置が、たとえば、本明細書で説明する1つまたは複数の技法を使用して推定あるいは決定され得る。
ブロック310において、少なくとも1つの制御可能デバイスの選択が、たとえば、本明細書で説明する1つまたは複数の技法を使用して示され得る。たとえば、ブロック312において、1つまたは複数の選択可能な、かつ/または選択された制御可能デバイスを識別する情報が表示され得る。たとえば、ブロック314において、制御可能デバイスを選択するユーザ入力が取得され得る。たとえば、ブロック316において、制御可能デバイスおよび/または補助リソース/サービスへのユーザアクセスが取得され得る。
ブロック318において、選択された制御可能デバイスに関連する1つまたは複数のコマンドが、たとえば、本明細書で説明する1つまたは複数の技法を使用して、1つまたは複数の慣性センサを介して取得されるユーザ入力に少なくとも部分的に基づいて決定され得る。たとえば、ブロック320において、物理的行為および/またはジェスチャーが識別され得る。たとえば、ブロック322において、音声および/または画像認識データプロセスが実行され得る。たとえば、ブロック324において、1つまたは複数のコマンド、制御、制御可能デバイスステータスおよび/または他の情報に関するフィードバックがユーザに提供され得る。
ブロック326において、選択された制御可能デバイスに対するコマンドのうちの少なくとも1つの送信が、たとえば、本明細書で説明する1つまたは複数の技法を使用して開始され得る。たとえば、ブロック328において、1つまたは複数の信号および/またはメッセージの送信が、1つもしくは複数のネットワーク/ネットワークリソース、および/または直接通信リンクを介して実行され得る。
次に図4に注目すると、図4は、一実装形態による、制御可能デバイスを選択および制御するようにモバイルデバイスを有効にする(たとえば、トレーニングする)ためにモバイルデバイスで使用する例示的なプロセス400を示す流れ図である。ブロック402において、制御可能デバイスの(推定)位置が、たとえば、本明細書で説明する1つまたは複数の技法を使用して取得され得る。
ブロック404において、1つまたは複数のジェスチャーおよび/または物理的行為が、たとえば、本明細書で説明する1つまたは複数の技法を使用して、モバイルデバイスの1つまたは複数の慣性センサを使用して特徴付けられ得る。
ブロック406において、モバイルデバイスは、特徴付けられたジェスチャーおよび/または物理的行為に少なくとも部分的に基づいて、制御可能デバイスが使用する1つまたは複数のコマンドを開始するようにプログラムされ得るか、あるいは有効にされ得る。たとえば、ブロック408において、モバイルデバイスは、本明細書で説明する1つまたは複数の技法を使用して、少なくとも1つの追加のジェスチャーを特徴付ける信号を受信することができる。たとえば、ブロック410において、制御可能デバイスに関連する操作情報、アクセス制御情報、および/または識別情報が、本明細書で説明する1つまたは複数の技法を使用して取得され得る。たとえば、ブロック412において、制御可能デバイスに関連する画像情報および/または他の識別情報が、本明細書で説明する1つまたは複数の技法を使用して取得され得る。
ブロック414において、モバイルデバイスは、たとえば、本明細書で説明する1つまたは複数の技法を使用して、制御可能デバイスの推定位置への方向にあるモバイルデバイスの回転情報に応じて、1つまたは複数のコマンドを受信するための制御可能デバイスを選択するようにプログラムされ得るか、あるいはその他の形で有効にされ得る。
次に図5に注目すると、図5は、一実装形態による、制御可能デバイスを選択および制御するためにモバイルデバイスが使用する、本明細書で説明する例示的な技法のいくつかの態様をグラフィカルに示す例示的な図である。
図5は、制御可能デバイスがポジションP1に位置し、モバイルデバイスがポジションP2に位置する構成500を示している。図示のように、P2にあるモバイルデバイスからP1にある制御可能デバイスへの方向が、P2からP1への線502および/または空間方向領域504によって表され得る。空間方向領域504はここでは円錐形を使用して示されているが、それは単なる一例であり、実際には、空間方向領域504は様々な形および容積のものであってよく、連続的かつ/または均質であっても、なくてもよいことに留意されたい。いくつかの例示的な実装形態では、線502および/または空間方向領域504は、マップ情報、表面情報などに基づいて、何らかの方法で形成され得る。いくつかの例示的な実装形態では、線502および/または空間方向領域504は、様々な誤りおよび/または他の同様の情報を考慮して、何らかの方法で形成され得る。たとえば、図5では、空間方向領域504は、位置推定、回転情報決定、センサの能力、ユーザ選好などに関係する誤り情報および/またはしきい値情報に基づいて形成され得る。さらに、図示のように、線502および/または空間方向領域504の全部または一部は、1つまたは複数の障害物506を通過することができる。
また図5には(ここではブロックで表される)モバイルデバイス102の例示的な回転情報520が、x-軸、y-軸およびz-軸を有するものとして示されている。もちろん、他の回転情報/座標系を使用してもよい。
図5はまた、複数の制御可能デバイスが、たとえば、ポジションP3およびP4に置かれ得ることを示している。ここでは、ポジションP3に位置する制御可能デバイスが、空間方向領域504の外側に、かつ/または線502に沿って、もしくは線502の近くに存在するものとして示されている。したがって、P3にある制御可能デバイスは、現時点で選択および/または制御されていない可能性がある。一方、ポジションP4に位置する制御可能デバイスは、空間方向領域504の内側に存在するように見え、かつ/または線502に沿って、もしくは線502の十分近くに存在し得るものとして選択され得る。したがって、この例では、モバイルデバイスのユーザは、ユーザ入力を提供して、ポジションP1およびP4にある制御可能デバイス間で選択することができる。
いくつかの例示的な実装形態では、モバイルデバイスにとって、上記の選択および/または制御プロセスのいずれかが開始された後に、移動局の位置および/または回転情報が変化したことで、制御可能デバイスの位置への方向が以前ほど確かではないと決定したときに、そのようなプロセスを中断すること、あるいはそのようなプロセスに作用することが有用な場合がある。たとえば、中断が望ましいか否かを決定するために、しきい値位置および/または回転情報を確立することができる。
いくつかの例示的な実装形態では、モバイルデバイスにとって、デバイスの1つまたは複数の他の機能に少なくとも部分的に基づいて、上記の選択および/または制御プロセスのいずれかを中断すること、あるいはそのようなプロセスに作用することが有用な場合があるたとえば、電話機能を備えたモバイルデバイスは、電話がかかってきたことを示すことができ、したがって、本明細書で提示する選択および/または制御プロセスのうちの1つまたは複数を中断して、ユーザが無意識にジェスチャーベースのコマンドを作成したり、かかるコマンドに作用したりすることなく、かかってきた電話を受けられるようにすることができる。
いくつかの例示的な実装形態では、モバイルデバイスにとって、上記の選択および/または制御プロセスのいずれかが開始されてからしきい値時間量が経過したときに、そのようなプロセスを中断すること、あるいはそのようなプロセスに作用することが有用な場合がある。
いくつかの例示的な実装形態では、モバイルデバイスにとって、制御可能デバイスの位置が変わっている可能性があると決定したときに、上記の選択および/または制御プロセスのいずれかを中断すること、あるいはそのようなプロセスに作用することが有用な場合がある。たとえば、制御可能デバイスは、ある部屋から別の部屋に移動することがあり、モバイルデバイスにとって、そのような移動を示す情報を取得することは有用であり得る。ここでは、たとえば、制御可能デバイスはそのような情報を、モバイルデバイスおよび/またはネットワーク上の何らかの他のデバイスに提供することができる。いくつかの事例では、ネットワークリソースは、何らかの方法で制御可能デバイスが移動または変化していることを検出し、それに応じて対応する情報を、1つもしくは複数のデバイスおよび/またはモバイルデバイスに提供することができる。そのような情報は、たとえば、制御可能デバイスが移動したことを識別し、場合により、新しい位置情報を含むことができる。そのような情報は、たとえば、制御可能デバイスが現在利用可能でないことなどを識別することができる。
本明細書を通じて「一例」、「例」、「いくつかの例」または「例示的な実装形態」への言及は、特徴および/または例に関して説明する特定の特徴、構造物または特性が、特許請求する主題の少なくとも1つの特徴および/または例に含まれ得ることを意味する。したがって、本明細書の様々な場所における「一例では」、「例」、「いくつかの例では」もしくは「いくつかの実装形態では」という語句または他の同様の語句の出現は、同じ特徴、例および/または限定にすべて言及しているとは限らない。さらに、特定の特徴、構造物または特性を1つまたは複数の例および/または特徴において組み合わせることができる。
本明細書で説明される方法は、個別の特徴および/または例に従った用途に応じて、様々な手段により実施され得る。たとえば、そのような方法は、ソフトウェアとともに、ハードウェア、ファームウェア、および/またはこれらの組合せで実施され得る。ハードウェア実装では、たとえば、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタルシグナルプロセシングデバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明された機能を実行するように設計された他のデバイスユニット、および/またはこれらの組合せの中で実装され得る。
上述の詳細な説明において、多くの具体的な詳細が、特許請求する主題の完全な理解をもたらすために説明されてきた。しかし、特許請求する主題は、これらの具体的な詳細がなくても実行され得ることが、当業者には理解されよう。他の例では、当業者には既知であろう方法および装置は、特許請求する主題を不明瞭にしないために、詳細には説明されていない。
上述の詳細な説明のいくつかの部分は、特定の装置または専用のコンピューティングデバイスまたはプラットフォームのメモリに記憶される、バイナリのデジタル電子信号上の、操作のアルゴリズムまたは記号による表現という点から提示されてきた。この特定の明細書の文脈においては、「特定の装置」などの用語は、プログラムソフトウェアからの命令に従って特定の機能を実行するように汎用コンピュータがプログラムされた場合、そのような汎用コンピュータを含む。アルゴリズム記述または記号表現は、当業者が作業内容を他の当業者に伝えるために信号処理または関連技術において使用する技法の例である。アルゴリズムは本明細書に存在し、一般に、操作または所望の結果に導く同様の信号処理の自己矛盾のない順番であると考えられる。この場合の操作または処理は、物理量の物理的な操作を含む。通常、必須ではないが、そのような物理量は、情報を表す電子信号として、記憶され、送信され、組み合わされ、比較され、または場合によっては操作され得る、電気信号または磁気信号の形態であり得る。場合によっては、主に一般に用いられているという理由で、そのような信号を、ビット、データ、値、要素、記号、文字、語、数字、番号、情報などとして言及することが便利であることがわかっている。しかし、これらの用語または同様の用語のすべてが、適切な物理量と関連付けられるべきであり、便宜的な呼び方にすぎないことを、理解されたい。別段に明記されていない限り、以下の説明から明らかなように、本明細書全体にわたって、「処理する」、「算出する」、「計算する」、「決定する」、「確立する」、「取得する」などの用語を利用する説明は、専用のコンピュータまたは同様の専用の電子コンピューティングデバイスなど、特定の装置の動作またはプロセスを指すことを諒解されたい。したがって、本明細書の文脈においては、専用のコンピュータまたは同様の専用の電子コンピューティングデバイスは、メモリ、レジスタ、または他の情報記憶デバイス、伝送デバイス、または、専用のコンピュータもしくは同様の専用の電子コンピューティングデバイスの表示デバイスの中に、通常は物理的な電子的な量または磁気的な量として表される信号を、操作または変換することができる。この特定の特許出願の文脈においては、「特定の装置」という用語は、プログラムソフトウェアからの命令に従って特定の機能を実行するようにプログラムされた後の、汎用コンピュータを含み得る。
本明細書で使用する「および」、「または」および「および/または」という用語は、そのような用語が使用される文脈に少なくとも部分的に依存することも予想される様々な意味を含み得る。通常、「または」は、A、BまたはCのように、列挙したものを関連付けるために用いられる場合、排他的な意味で用いられる場合の、A、BまたはCとともに、包含的な意味で用いられる場合の、A、B、およびCも意味することが意図される。加えて、本明細書で用いられる「1つまたは複数」という用語は、単数の任意の特徴、構造、または特性を表現するのに用いられることがあり、または、複数の特徴、構造、または特性、もしくはこれらの何らかの他の組合せを表現するのに用いられることがある。しかし、これは説明のための例にすぎず、特許請求される主題はこの例に限定されないことに留意されたい。
例示的な特徴であると現在考えられることが、例示され説明されてきたが、特許請求される主題から逸脱することなく、様々な他の修正を行うことができ、等価物が置換され得ることが、当業者には理解されよう。加えて、特許請求される主題の教示に個別の状況を適合させるために、本明細書で説明される中心的な概念から逸脱することなく、多くの修正が行われ得る。
したがって、特許請求される主題は、開示された特定の例には限定されず、そのような特許請求される主題は、添付の特許請求の範囲およびその等価物の範囲の中の、すべての態様も含み得ることが、意図される。
100 環境
102 モバイルデバイス
104 ネットワーク
106 制御可能デバイス
108 ロケーションサービス
110 アクセスポイント
112 基地局
114 直接リンク
116 コンピューティング/通信リソース、リソース

Claims (74)

  1. ロケーションサービス受信機に関連する1つまたは複数の信号に少なくとも部分的に基づいてモバイルデバイスの位置を推定するステップと、
    制御可能デバイスの近傍にてまたは隣接させて前記モバイルデバイスを固定した状態で、前記モバイルデバイスの推定位置に基づいて、前記制御可能デバイスの位置を前記モバイルデバイスにプログラムするステップと、
    前記モバイルデバイスにより、前記モバイルデバイスの回転情報が前記制御可能デバイスの前記位置への方向にあると決定するステップと、
    前記制御可能デバイスの選択を示すステップと、
    前記選択された制御可能デバイスに関連する1つまたは複数のコマンドを、前記モバイルデバイスの1つまたは複数の慣性センサを介して取得されるユーザ入力に少なくとも部分的に基づいて決定するステップと、
    前記選択された制御可能デバイスに対する前記コマンドの送信を開始するステップと
    を含む方法。
  2. 前記回転情報を、前記1つもしくは複数の慣性センサ、ロケーションサービス受信機、コンパス、および/または磁力計のうちの少なくとも1つに関連する信号に少なくとも部分的に基づいて決定するステップ
    をさらに含む、請求項1に記載の方法。
  3. 前記1つまたは複数の慣性センサは、加速度計、ジャイロスコープおよび/または気圧計のうちの少なくとも1つを含む、請求項2に記載の方法。
  4. 前記方向を、前記モバイルデバイスの推定位置および前記回転情報に少なくとも部分的に基づいて決定するステップ
    をさらに含む、請求項1に記載の方法。
  5. 前記方向は、空間方向領域を含み、前記方法は、
    前記制御可能デバイスの前記位置が前記空間方向領域内にあることを示すステップ
    をさらに含む、請求項1に記載の方法。
  6. 少なくとも前記制御可能デバイスを識別する情報を表示するステップと、
    前記制御可能デバイスの前記選択に関連するユーザ入力を、対話型もしくはタッチスクリーンディスプレイ、マイクロフォン、カメラ、ボタンもしくはキーパッド、および/または前記1つもしくは複数の慣性センサのうちの少なくとも1つ、のうちの少なくとも1つを介して取得するステップと
    をさらに含む、請求項1に記載の方法。
  7. 少なくとも1つの他の選択可能な制御可能デバイスを識別する情報を表示するステップ
    をさらに含む、請求項6に記載の方法。
  8. ユーザが前記ユーザ入力に少なくとも部分的に基づいて前記制御可能デバイスを選択および/または制御することができることを認証するステップ
    をさらに含む、請求項6に記載の方法。
  9. 視覚インターフェース、音声インターフェースおよび/または触覚インターフェースのうちの少なくとも1つを介して、前記制御可能デバイスの前記選択を示すステップ
    をさらに含む、請求項1に記載の方法。
  10. 前記1つまたは複数のコマンドは、前記1つまたは複数の慣性センサに関連する1つまたは複数の信号に少なくとも部分的に基づいて決定されるように、ある人によって実行される少なくとも1つの物理的行為および/または前記モバイルデバイスを使用して実行される少なくとも1つの物理的ジェスチャーのうちの少なくとも1つを識別する、請求項1に記載の方法。
  11. 前記少なくとも1つの物理的行為は、識別可能な音声波形および/または識別可能な視覚画像のうちの少なくとも1つを生じさせる、請求項10に記載の方法。
  12. 前記少なくとも1つの物理的行為は、前記モバイルデバイスのマイクロフォンおよび/またはカメラのうちの少なくとも1つに関連する信号に少なくとも部分的に基づいて識別される、請求項11に記載の方法。
  13. 前記選択された制御可能デバイスに関連する前記1つまたは複数のコマンドを、以前に記憶されたデータ、前記制御可能デバイス、および/または1つもしくは複数の他のデバイスのうちの少なくとも1つから取得するステップ
    をさらに含む、請求項1に記載の方法。
  14. ネットワークインターフェースを介して、前記選択された制御可能デバイスに関連するステータス情報を取得するステップと、
    前記ステータス情報に少なくとも部分的に基づいて、ユーザにフィードバックを提示するステップと
    をさらに含む、請求項1に記載の方法。
  15. ネットワークインターフェースを介して少なくとも1つの他のデバイスに対し、かつ/またはネットワークインターフェースおよび/もしくは直接通信リンクを介して前記選択された制御可能デバイスに対し、前記コマンドを表す1つまたは複数の信号を送信するステップ
    をさらに含む、請求項1に記載の方法。
  16. モバイルデバイスにより、
    ロケーションサービス受信機に関連する1つまたは複数の信号に少なくとも部分的に基づいて前記モバイルデバイスの位置を推定するステップと、
    制御可能デバイスの近傍にてまたは隣接させて前記モバイルデバイスを固定した状態で、前記モバイルデバイスの推定位置に基づいて、前記制御可能デバイスの推定位置を取得するステップと、
    前記モバイルデバイスの1つまたは複数の慣性センサからの信号を処理して、1つまたは複数のジェスチャーを特徴付けるステップと、
    前記特徴付けられた1つまたは複数のジェスチャーに少なくとも部分的に基づいて、前記制御可能デバイスに対する1つまたは複数のコマンドを開始するように、前記モバイルデバイスをプログラムするステップと、
    前記推定位置への方向にある前記モバイルデバイスの回転情報に応じて、前記1つまたは複数のコマンドを受信するための前記制御可能デバイスを選択するように、前記モバイルデバイスをプログラムするステップと
    を含む方法。
  17. 前記1つまたは複数のジェスチャーのうちの少なくとも1つの追加のジェスチャーを特徴付ける信号を受信するステップ
    をさらに含む、請求項16に記載の方法。
  18. 前記制御可能デバイスに関連する操作情報、前記制御可能デバイスに関連するアクセス制御情報、および/または前記制御可能デバイスに関連する識別情報のうちの少なくとも1つを取得するステップ
    をさらに含む、請求項16に記載の方法。
  19. 前記モバイルデバイスのカメラを介して、前記制御可能デバイスに関連する画像情報、および/または前記制御可能デバイスに関連する識別情報のうちの少なくとも1つを取得するステップ
    をさらに含む、請求項16に記載の方法。
  20. ロケーションサービス受信機に関連する1つまたは複数の信号に少なくとも部分的に基づいてモバイルデバイスの位置を推定するための手段と、
    制御可能デバイスの近傍にてまたは隣接させて前記モバイルデバイスを固定した状態で、前記モバイルデバイスの推定位置に基づいて、前記制御可能デバイスの位置を前記モバイルデバイスにプログラムするための手段と、
    前記モバイルデバイスにより、前記モバイルデバイスの回転情報が前記制御可能デバイスの前記位置への方向にあると決定するための手段と、
    前記制御可能デバイスの選択を示すための手段と、
    前記選択された制御可能デバイスに関連する1つまたは複数のコマンドを、前記モバイルデバイスの慣性運動に作用するユーザ入力に少なくとも部分的に基づいて決定するための手段と、
    前記選択された制御可能デバイスに対する前記コマンドの送信を開始するための手段と
    を含む装置。
  21. 前記回転情報を決定するための手段
    をさらに含む、請求項20に記載の装置。
  22. 前記方向を、前記モバイルデバイスの推定位置および前記回転情報に少なくとも部分的に基づいて決定するための手段
    をさらに含む、請求項20に記載の装置。
  23. 前記方向は、空間方向領域を含み、前記装置は、
    前記制御可能デバイスの前記位置が前記空間方向領域内にあることを示すための手段
    をさらに含む、請求項20に記載の装置。
  24. 少なくとも前記制御可能デバイスを識別する情報を表示するための手段と、
    前記制御可能デバイスの前記選択に関連するユーザ入力を取得するための手段と
    をさらに含む、請求項20に記載の装置。
  25. 少なくとも1つの他の選択可能な制御可能デバイスを識別する情報を表示するための手段
    をさらに含む、請求項24に記載の装置。
  26. ユーザが前記制御可能デバイスを選択および/または制御することができることを認証するための手段
    をさらに含む、請求項24に記載の装置。
  27. 前記制御可能デバイスの前記選択を示すための手段
    をさらに含む、請求項20に記載の装置。
  28. 前記1つまたは複数のコマンドは、ある人によって実行される少なくとも1つの物理的行為および/または前記モバイルデバイスを使用して実行される少なくとも1つの物理的ジェスチャーのうちの少なくとも1つを識別する、請求項20に記載の装置。
  29. 前記少なくとも1つの物理的行為は、識別可能な音声波形および/または識別可能な視覚画像のうちの少なくとも1つを生じさせる、請求項28に記載の装置。
  30. 前記選択された制御可能デバイスに関連する前記1つまたは複数のコマンドを、以前に記憶されたデータ、前記制御可能デバイス、および/または1つもしくは複数の他のデバイスのうちの少なくとも1つから取得するための手段
    をさらに含む、請求項20に記載の装置。
  31. ネットワークインターフェースを介して、前記選択された制御可能デバイスに関連するステータス情報を取得するための手段と、
    前記ステータス情報に少なくとも部分的に基づいて、ユーザにフィードバックを提示するための手段と
    をさらに含む、請求項20に記載の装置。
  32. 少なくとも1つの他のデバイスに対し、かつ/または直接通信リンクを介して前記選択された制御可能デバイスに対し、前記コマンドを表す1つまたは複数の信号を送信するための手段
    をさらに含む、請求項20に記載の装置。
  33. モバイルデバイスで使用するための装置であって、
    ロケーションサービス受信機に関連する1つまたは複数の信号に少なくとも部分的に基づいて前記モバイルデバイスの位置を推定するための手段と、
    制御可能デバイスの近傍にてまたは隣接させて前記モバイルデバイスを固定した状態で、前記モバイルデバイスの推定位置に基づいて、前記制御可能デバイスの推定位置を取得するための手段と、
    前記モバイルデバイスの1つまたは複数の慣性センサからの信号を処理して、1つまたは複数のジェスチャーを特徴付けるための手段と、
    前記特徴付けられた1つまたは複数のジェスチャーに少なくとも部分的に基づいて、前記制御可能デバイスに対する1つまたは複数のコマンドを開始するように、前記モバイルデバイスをプログラムするための手段と、
    前記推定位置への方向にある前記モバイルデバイスの回転情報に応じて、前記1つまたは複数のコマンドを受信するための前記制御可能デバイスを選択するように、前記モバイルデバイスをプログラムするための手段と
    を含む装置。
  34. 前記1つまたは複数のジェスチャーのうちの少なくとも1つの追加のジェスチャーを特徴付ける信号を受信するための手段
    をさらに含む、請求項33に記載の装置。
  35. 前記制御可能デバイスに関連する操作情報、前記制御可能デバイスに関連するアクセス制御情報、および/または前記制御可能デバイスに関連する識別情報のうちの少なくとも1つを取得するための手段
    をさらに含む、請求項33に記載の装置。
  36. 前記制御可能デバイスに関連する画像情報、および/または前記制御可能デバイスに関連する識別情報のうちの少なくとも1つを取得するための手段
    をさらに含む、請求項33に記載の装置。
  37. モバイルデバイスであって、
    メモリと、
    ネットワークインターフェースと、
    1つまたは複数の慣性センサと、
    少なくとも1つのユーザインターフェースと、
    ロケーションサービス受信機と、
    少なくとも1つの処理ユニットと
    を含み、前記少なくとも1つの処理ユニットは、ロケーションサービス受信機に関連する1つまたは複数の信号に少なくとも部分的に基づいて前記モバイルデバイスの位置を推定し、制御可能デバイスの近傍にてまたは隣接させて前記モバイルデバイスを固定した状態で、前記モバイルデバイスの推定位置に基づいて、前記メモリに前記制御可能デバイスの位置をプログラムし、前記モバイルデバイスの回転情報が、前記メモリに記憶された制御可能デバイスの前記位置への方向にあると決定し、前記少なくとも1つのユーザインターフェースを介して、前記制御可能デバイスの選択を示し、前記選択された制御可能デバイスに関連する1つまたは複数のコマンドを、前記1つまたは複数の慣性センサを介して取得されたユーザ入力に少なくとも部分的に基づいて決定し、前記ネットワークインターフェースを介して、前記選択された制御可能デバイスに対する前記コマンドの送信を開始する、モバイルデバイス。
  38. ロケーションサービス受信機、コンパス、および/または磁力計のうちの少なくとも1つ
    をさらに含み、
    前記少なくとも1つの処理ユニットはさらに、前記回転情報を、前記1つもしくは複数の慣性センサ、前記ロケーションサービス受信機、前記コンパス、および/または前記磁力計のうちの少なくとも1つに関連する信号に少なくとも部分的に基づいて決定する、請求項37に記載のモバイルデバイス。
  39. 前記1つまたは複数の慣性センサは、加速度計、ジャイロスコープおよび/または気圧計のうちの少なくとも1つを含む、請求項38に記載のモバイルデバイス。
  40. 前記少なくとも1つの処理ユニットはさらに、前記モバイルデバイスの推定位置および前記回転情報に少なくとも部分的に基づいて前記方向を決定する、請求項37に記載のモバイルデバイス。
  41. 前記方向は空間方向領域を含み、前記少なくとも1つの処理ユニットはさらに、前記制御可能デバイスの前記位置が前記空間方向領域内にあると決定する、請求項37に記載のモバイルデバイス。
  42. 前記少なくとも1つの処理ユニットはさらに、少なくとも前記制御可能デバイスを識別する情報を、前記少なくとも1つのユーザインターフェースを介して表示し、前記制御可能デバイスの前記選択に関連するユーザ入力を、対話型もしくはタッチスクリーンディスプレイ、マイクロフォン、カメラ、ボタンもしくはキーパッド、および/または前記1つもしくは複数の慣性センサのうちの少なくとも1つ、のうちの少なくとも1つを介して取得する、請求項37に記載のモバイルデバイス。
  43. 前記少なくとも1つの処理ユニットはさらに、前記少なくとも1つのユーザインターフェースを介して、少なくとも1つの他の選択可能な制御可能デバイスを識別する情報を表示する、請求項42に記載のモバイルデバイス。
  44. 前記少なくとも1つの処理ユニットはさらに、ユーザが前記ユーザ入力に少なくとも部分的に基づいて前記制御可能デバイスを選択および/または制御することができることを認証する、請求項42に記載のモバイルデバイス。
  45. 前記少なくとも1つの処理ユニットはさらに、前記少なくとも1つのユーザインターフェースを介して前記制御可能デバイスの前記選択を示し、前記少なくとも1つのユーザインターフェースは、視覚インターフェース、音声インターフェース、および/または触覚インターフェースのうちの少なくとも1つを含む、請求項37に記載のモバイルデバイス。
  46. 前記1つまたは複数のコマンドは、前記1つまたは複数の慣性センサに関連する1つまたは複数の信号に少なくとも部分的に基づいて決定されるように、ある人によって実行される少なくとも1つの物理的行為および/または前記モバイルデバイスを使用して実行される少なくとも1つの物理的ジェスチャーのうちの少なくとも1つを識別する、請求項37に記載のモバイルデバイス。
  47. 前記少なくとも1つの物理的行為は、前記少なくとも1つの処理ユニットによって識別可能な音声波形および/または視覚画像のうちの少なくとも1つを表す情報を生じさせる、請求項46に記載のモバイルデバイス。
  48. マイクロフォンおよび/またはカメラのうちの少なくとも1つをさらに含み、
    前記少なくとも1つの物理的行為は、前記マイクロフォンおよび/または前記カメラのうちの少なくとも1つに関連する信号に少なくとも部分的に基づいて識別可能である、請求項47に記載のモバイルデバイス。
  49. 前記少なくとも1つの処理ユニットはさらに、前記選択された制御可能デバイスに関連する前記1つまたは複数のコマンドを、ネットワークインターフェースを介して、1つまたは複数の他のデバイスから取得する、請求項37に記載のモバイルデバイス。
  50. 前記少なくとも1つの処理ユニットはさらに、前記選択された制御可能デバイスに関連するステータス情報を、ネットワークインターフェースを介して取得し、前記ステータス情報に少なくとも部分的に基づいて、ユーザにフィードバックを提示する、請求項37に記載のモバイルデバイス。
  51. モバイルデバイスであって、
    1つまたは複数の慣性センサと、
    少なくとも1つの処理ユニットと、
    ロケーションサービス受信機と
    を含み、前記少なくとも1つの処理ユニットは、ロケーションサービス受信機に関連する1つまたは複数の信号に少なくとも部分的に基づいて前記モバイルデバイスの位置を推定し、制御可能デバイスの近傍にてまたは隣接させて前記モバイルデバイスを固定した状態で、前記制御可能デバイスの推定位置を取得し、前記モバイルデバイスの前記1つまたは複数の慣性センサからの信号を処理して、1つまたは複数のジェスチャーを特徴付け、前記特徴付けられた1つまたは複数のジェスチャーに少なくとも部分的に基づいて、前記制御可能デバイスが使用する1つまたは複数のコマンドを識別し、前記推定位置への方向にある前記モバイルデバイスの回転情報に応じて、前記1つまたは複数のコマンドを受信するための前記制御可能デバイスを識別する、モバイルデバイス。
  52. ネットワークインターフェースをさらに含み、
    前記少なくとも1つの処理ユニットはさらに、前記ネットワークインターフェースを介して、前記1つまたは複数のジェスチャーのうちの少なくとも1つの追加のジェスチャーを特徴付ける信号を取得する、請求項51に記載のモバイルデバイス。
  53. ネットワークインターフェースをさらに含み、
    前記少なくとも1つの処理ユニットはさらに、前記ネットワークインターフェースを介して、前記制御可能デバイスに関連する操作情報、前記制御可能デバイスに関連するアクセス制御情報、前記制御可能デバイスに関連する識別情報、および/または前記制御可能デバイスの前記推定位置のうちの少なくとも1つを取得する、請求項51に記載のモバイルデバイス。
  54. カメラをさらに含み、
    前記少なくとも1つの処理ユニットはさらに、前記カメラを介して、前記制御可能デバイスに関連する画像情報、および/または前記制御可能デバイスに関連する識別情報のうちの少なくとも1つを取得する、請求項51に記載のモバイルデバイス。
  55. モバイルデバイス内の少なくとも1つの処理ユニットによって、
    ロケーションサービス受信機に関連する1つまたは複数の信号に少なくとも部分的に基づいて前記モバイルデバイスの位置を推定し、
    制御可能デバイスの近傍にてまたは隣接させて前記モバイルデバイスを固定した状態で、前記モバイルデバイスの推定位置に基づいて、前記制御可能デバイスの位置によりモバイルデバイスをプログラムし、
    前記モバイルデバイスの回転情報が前記制御可能デバイスの前記位置への方向にあると決定し、
    前記制御可能デバイスの選択を示し、
    前記選択された制御可能デバイスに関連する1つまたは複数のコマンドを、前記1つまたは複数の慣性センサを介して取得されるユーザ入力に少なくとも部分的に基づいて決定し、
    前記選択された制御可能デバイスに対する前記コマンドの送信を開始する
    ように実行可能なコンピュータ実施可能命令を記憶したコンピュータ可読記録媒体。
  56. 前記コンピュータ実施可能命令は、前記少なくとも1つの処理ユニットによってさらに、
    前記回転情報を、前記1つもしくは複数の慣性センサ、ロケーションサービス受信機、コンパス、および/または磁力計のうちの少なくとも1つに関連する信号に少なくとも部分的に基づいて決定する
    ように実行可能である、請求項55に記載のコンピュータ可読記録媒体。
  57. 前記1つまたは複数の慣性センサは、加速度計、ジャイロスコープおよび/または気圧計のうちの少なくとも1つを含む、請求項56に記載のコンピュータ可読記録媒体。
  58. 前記コンピュータ実施可能命令は、前記少なくとも1つの処理ユニットによってさらに、
    前記方向を、前記モバイルデバイスの推定位置および前記回転情報に少なくとも部分的に基づいて決定する
    ように実行可能である、請求項55に記載のコンピュータ可読記録媒体。
  59. 前記モバイルデバイスの前記推定位置は、ロケーションサービス受信機に関連する1つまたは複数の信号に少なくとも部分的に基づく、請求項58に記載のコンピュータ可読記録媒体。
  60. 前記方向は、空間方向領域を含み、前記コンピュータ実施可能命令は、前記少なくとも1つの処理ユニットによってさらに、
    前記制御可能デバイスの前記位置が前記空間方向領域内にあると決定する
    ように実行可能である、請求項55に記載のコンピュータ可読記録媒体。
  61. 前記コンピュータ実施可能命令は、前記少なくとも1つの処理ユニットによってさらに、
    少なくとも前記制御可能デバイスを識別する情報の表示を開始し、
    前記制御可能デバイスの前記選択に関連するユーザ入力を、対話型もしくはタッチスクリーンディスプレイ、マイクロフォン、カメラ、ボタンもしくはキーパッド、および/または前記1つもしくは複数の慣性センサのうちの少なくとも1つ、のうちの少なくとも1つを介して取得する
    ように実行可能である、請求項55に記載のコンピュータ可読記録媒体。
  62. 前記コンピュータ実施可能命令は、前記少なくとも1つの処理ユニットによってさらに、
    少なくとも1つの他の選択可能な制御可能デバイスを識別する情報の表示を開始する
    ように実行可能である、請求項61に記載のコンピュータ可読記録媒体。
  63. 前記コンピュータ実施可能命令は、前記少なくとも1つの処理ユニットによってさらに、
    ユーザが前記ユーザ入力に少なくとも部分的に基づいて前記制御可能デバイスを選択および/または制御することができることを認証する
    ように実行可能である、請求項61に記載のコンピュータ可読記録媒体。
  64. 前記コンピュータ実施可能命令は、前記少なくとも1つの処理ユニットによってさらに、
    視覚インターフェース、音声インターフェースおよび/または触覚インターフェースのうちの少なくとも1つを介して、前記制御可能デバイスの前記選択の指示を開始する
    ように実行可能である、請求項55に記載のコンピュータ可読記録媒体。
  65. 前記1つまたは複数のコマンドは、前記モバイルデバイスの前記1つまたは複数の慣性センサに関連する1つまたは複数の信号に少なくとも部分的に基づいて決定されるように、ある人によって実行される少なくとも1つの物理的行為および/または前記モバイルデバイスを使用して実行される少なくとも1つの物理的ジェスチャーのうちの少なくとも1つを識別する、請求項55に記載のコンピュータ可読記録媒体。
  66. 前記少なくとも1つの物理的行為は、前記コンピュータ実施可能命令を実行する前記少なくとも1つの処理ユニットによって識別可能な音声波形および/または視覚画像のうちの少なくとも1つを生じさせる、請求項65に記載のコンピュータ可読記録媒体。
  67. 前記少なくとも1つの物理的行為は、前記モバイルデバイスのマイクロフォンおよび/またはカメラのうちの少なくとも1つに関連する信号に少なくとも部分的に基づいて識別される、請求項66に記載のコンピュータ可読記録媒体。
  68. 前記コンピュータ実施可能命令は、前記少なくとも1つの処理ユニットによってさらに、
    前記選択された制御可能デバイスに関連する前記1つまたは複数のコマンドを、以前に記憶されたデータ、前記選択された制御可能デバイス、および/または1つもしくは複数の他のデバイスのうちの少なくとも1つから取得する
    ように実行可能である、請求項55に記載のコンピュータ可読記録媒体。
  69. 前記コンピュータ実施可能命令は、前記少なくとも1つの処理ユニットによってさらに、
    ネットワークインターフェースを介して、前記選択された制御可能デバイスに関連するステータス情報を取得し、
    前記ステータス情報に少なくとも部分的に基づいて、ユーザに対するフィードバックの提示を開始する
    ように実行可能である、請求項55に記載のコンピュータ可読記録媒体。
  70. 前記コンピュータ実施可能命令は、前記少なくとも1つの処理ユニットによってさらに、
    ネットワークインターフェースを介した少なくとも1つの他のデバイスに対する、かつ/またはネットワークインターフェースおよび/もしくは直接通信リンクを介した前記選択された制御可能デバイスに対する、前記コマンドを表す1つまたは複数の信号の送信を開始する
    ように実行可能である、請求項55に記載のコンピュータ可読記録媒体。
  71. モバイルデバイス内の少なくとも1つの処理ユニットによって、
    ロケーションサービス受信機に関連する1つまたは複数の信号に少なくとも部分的に基づいて前記モバイルデバイスの位置を推定し、
    制御可能デバイスの近傍にてまたは隣接させてモバイルデバイスを固定した状態で、前記モバイルデバイスの推定位置に基づいて、前記制御可能デバイスの推定位置を取得し、
    前記モバイルデバイスの1つまたは複数の慣性センサからの信号を処理して、1つまたは複数のジェスチャーを特徴付け、
    前記特徴付けられた1つまたは複数のジェスチャーに少なくとも部分的に基づいて、前記制御可能デバイスが使用する1つまたは複数のコマンドを識別し、
    前記推定位置への方向にある前記モバイルデバイスの回転情報に応じて、前記1つまたは複数のコマンドを受信するための前記制御可能デバイスを識別する
    ように実行可能であるコンピュータ実施可能命令を記憶したコンピュータ可読記録媒体。
  72. 前記コンピュータ実施可能命令は、前記少なくとも1つの処理ユニットによってさらに、
    前記1つまたは複数のジェスチャーのうちの少なくとも1つの追加のジェスチャーを特徴付ける信号を取得する
    ように実行可能である、請求項71に記載のコンピュータ可読記録媒体。
  73. 前記コンピュータ実施可能命令は、前記少なくとも1つの処理ユニットによってさらに、
    前記制御可能デバイスに関連する操作情報、前記制御可能デバイスに関連するアクセス制御情報、前記制御可能デバイスに関連する識別情報、および/または前記制御可能デバイスの前記推定位置のうちの少なくとも1つを取得する
    ように実行可能である、請求項71に記載のコンピュータ可読記録媒体。
  74. 前記コンピュータ実施可能命令は、前記少なくとも1つの処理ユニットによってさらに、
    前記モバイルデバイスのカメラを介して、前記制御可能デバイスに関連する画像情報、および/または前記制御可能デバイスに関連する識別情報のうちの少なくとも1つを取得する
    ように実行可能である、請求項71に記載のコンピュータ可読記録媒体。
JP2013515524A 2010-06-16 2011-06-16 ジェスチャーベースの遠隔制御のための方法および装置 Active JP5521117B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/816,885 2010-06-16
US12/816,885 US8150384B2 (en) 2010-06-16 2010-06-16 Methods and apparatuses for gesture based remote control
PCT/US2011/040766 WO2011159943A1 (en) 2010-06-16 2011-06-16 Methods and apparatuses for gesture based remote control

Publications (2)

Publication Number Publication Date
JP2013532338A JP2013532338A (ja) 2013-08-15
JP5521117B2 true JP5521117B2 (ja) 2014-06-11

Family

ID=44487041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013515524A Active JP5521117B2 (ja) 2010-06-16 2011-06-16 ジェスチャーベースの遠隔制御のための方法および装置

Country Status (6)

Country Link
US (1) US8150384B2 (ja)
EP (2) EP2830298B1 (ja)
JP (1) JP5521117B2 (ja)
KR (1) KR101465906B1 (ja)
CN (1) CN102939576B (ja)
WO (1) WO2011159943A1 (ja)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008051133A1 (de) * 2008-10-10 2010-04-22 Logicdata Electronic & Software Entwicklungs Gmbh Anordnung mit einem elektronisch verstellbaren Möbelstück und Verfahren zur drahtlosen Bedienung derselben
TWI437230B (zh) * 2010-07-29 2014-05-11 Chi Mei Comm Systems Inc 可攜式電子裝置解鎖系統及方法
KR101827885B1 (ko) * 2010-08-06 2018-02-12 삼성전자주식회사 휴대 단말을 이용한 사용자 행동 측정 장치 및 방법
US9477302B2 (en) 2012-08-10 2016-10-25 Google Inc. System and method for programing devices within world space volumes
US20150153715A1 (en) * 2010-09-29 2015-06-04 Google Inc. Rapidly programmable locations in space
KR101066853B1 (ko) * 2011-02-10 2011-09-26 알서포트 주식회사 원격제어 중 이동통신단말기의 화면전송 차단방법
US9094813B2 (en) 2011-04-02 2015-07-28 Open Invention Network, Llc System and method for redirecting content based on gestures
CN103648597B (zh) * 2011-05-15 2015-08-05 阿克顿（常州）智能科技有限公司 可穿戴移动设备
US8982076B2 (en) * 2011-09-10 2015-03-17 Rsupport Co., Ltd. Method of blocking transmission of screen information of mobile communication terminal while performing remote control using icon
US20130159939A1 (en) * 2011-10-12 2013-06-20 Qualcomm Incorporated Authenticated gesture recognition
US9332551B2 (en) * 2011-12-28 2016-05-03 Intel Corporation Opportunistic resource sharing between devices
FR2985584A1 (fr) * 2012-03-29 2013-07-12 France Telecom Procede de gestion, par un equipement central, du pointage d'au moins un dispositif pointe par un dispositif de pointage
US9445480B2 (en) 2012-04-12 2016-09-13 Lg Electronics Inc. Lighting system, lighting apparatus, and lighting control method
US20140327526A1 (en) * 2012-04-30 2014-11-06 Charles Edgar Bess Control signal based on a command tapped by a user
CN104662396A (zh) * 2012-04-30 2015-05-27 惠普发展公司，有限责任合伙企业 基于从振动数据识别的事件的通知
CN103677259B (zh) * 2012-09-18 2018-05-29 三星电子株式会社 用于引导控制器的方法、多媒体装置及其目标跟踪装置
CN103812998A (zh) * 2012-11-09 2014-05-21 浪潮乐金数字移动通信有限公司 一种通过感应器免提操作电话的方法和系统
WO2014083029A1 (de) 2012-11-29 2014-06-05 Vorwerk & Co. Interholding Gmbh Küchenmaschine
DE102013113083A1 (de) 2012-11-29 2014-06-05 Vorwerk & Co. Interholding Gmbh Elektrisch betriebene Küchenmaschine
PL2925199T3 (pl) * 2012-11-29 2017-09-29 Vorwerk & Co. Interholding Gmbh Robot kuchenny z misą i mieszadłem w misie
FR3000242A1 (fr) * 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’associations entre objets numeriques.
EP3005262A1 (en) * 2013-06-04 2016-04-13 Ims Solutions, Inc. Remote control and payment transactioning system using natural language, vehicle information, and spatio-temporal cues
KR102124178B1 (ko) 2013-06-17 2020-06-17 삼성전자주식회사 웨어러블 기기 및 웨어러블 기기를 이용한 통신 방법
US9360852B2 (en) 2013-06-19 2016-06-07 Billy R. Masten Wireless network machine control or a hydraulic system
CN105325018B (zh) * 2013-06-19 2019-10-18 索尼公司 无线通信装置和通信控制装置
CN103399633B (zh) * 2013-07-17 2016-09-21 小米科技有限责任公司 一种无线遥控方法及移动终端
US10281953B2 (en) 2013-11-29 2019-05-07 Motiv Inc. Wearable device and data transmission method
CN106104408B (zh) 2013-11-29 2021-07-27 行动股份有限公司 穿戴式计算装置
DE102014206548A1 (de) * 2014-04-04 2015-10-08 Robert Bosch Gmbh Mobiler Sensorknoten
KR102118482B1 (ko) * 2014-04-25 2020-06-03 삼성전자주식회사 홈 네트워크 시스템에서 다바이스 제어 방법 및 장치
US11163367B2 (en) * 2014-07-17 2021-11-02 Signify Holding B.V. Method of obtaining gesture zone definition data for a control system based on user input
FR3024267B1 (fr) * 2014-07-25 2017-06-02 Redlime Procedes de determination et de commande d'un equipement a commander, dispositif, utilisation et systeme mettant en œuvre ces procedes
CN105447350B (zh) 2014-08-07 2019-10-01 阿里巴巴集团控股有限公司 一种身份认证方法及装置
US10540348B2 (en) 2014-09-22 2020-01-21 At&T Intellectual Property I, L.P. Contextual inference of non-verbal expressions
KR102220227B1 (ko) 2014-12-15 2021-02-25 삼성전자주식회사 음향 기기를 제어하는 디바이스 및 그 제어 방법
EP3035156A1 (en) * 2014-12-15 2016-06-22 Thomson Licensing Method and apparatus for remotely controlling an electronic device
US20160187995A1 (en) * 2014-12-30 2016-06-30 Tyco Fire & Security Gmbh Contextual Based Gesture Recognition And Control
AU2016207742B2 (en) * 2015-01-12 2020-01-02 Ronen Izidor GABBAY Navigational devices and methods
US10636261B2 (en) * 2015-01-12 2020-04-28 Trekace Technologies Ltd. Intuitive tactile devices, systems and methods
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
CN104867311A (zh) * 2015-05-14 2015-08-26 连宁 通过第三方终端配置无线遥控终端的方法和装置
US10310617B2 (en) * 2015-06-11 2019-06-04 Intel Corporation Drone controlling device and method
FR3038115B1 (fr) * 2015-06-23 2017-07-28 Frederic Hamain Equipement de telecommande
CN105138126B (zh) * 2015-08-26 2018-04-13 小米科技有限责任公司 无人机的拍摄控制方法及装置、电子设备
JP6442119B1 (ja) * 2015-12-14 2018-12-19 フィリップス ライティング ホールディング ビー ヴィ 照明デバイスを制御する方法
US10275036B2 (en) 2016-01-04 2019-04-30 Sphero, Inc. Modular sensing device for controlling a self-propelled device
JP6810748B2 (ja) 2016-02-04 2021-01-06 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 無線測距に基づいた電子デバイスの制御及び情報の表示
US11206728B2 (en) 2016-05-30 2021-12-21 Signify Holding B.V. Lighting control
WO2017218363A1 (en) * 2016-06-17 2017-12-21 Pcms Holdings, Inc. Method and system for selecting iot devices using sequential point and nudge gestures
US10251056B2 (en) 2016-07-13 2019-04-02 Motorola Mobility Llc Electronic device with gesture actuation of companion devices, and corresponding systems and methods
US11243567B2 (en) 2016-07-13 2022-02-08 Motorola Mobility Llc Deformable electronic device and methods and systems for reconfiguring presentation data and actuation elements
US10878771B2 (en) 2016-07-13 2020-12-29 Motorola Mobility Llc Deformable electronic device and methods and systems for display remediation to compensate performance degradation
US10372892B2 (en) 2016-07-13 2019-08-06 Motorola Mobility Llc Electronic device with gesture actuation of companion devices, and corresponding systems and methods
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
US11050758B2 (en) 2016-08-23 2021-06-29 Reavire, Inc. Controlling access to a computer network using measured device location
US10084612B2 (en) 2016-10-05 2018-09-25 International Business Machines Corporation Remote control with muscle sensor and alerting sensor
WO2018067963A1 (en) 2016-10-06 2018-04-12 Gullicksen Brothers, LLC Locating devices based on antenna coordinates
US10176655B2 (en) 2016-10-26 2019-01-08 Reavire, Inc. Controlling lockable devices using electronic key
US10163336B1 (en) * 2017-07-28 2018-12-25 Dish Network L.L.C. Universal remote control of devices based on orientation of remote
US20190098220A1 (en) * 2017-09-26 2019-03-28 WiSpear Systems Ltd. Tracking A Moving Target Using Wireless Signals
CN111602338A (zh) * 2017-12-20 2020-08-28 豪倍公司 用于入墙式装置的手势控制
CN110415386A (zh) 2018-04-27 2019-11-05 开利公司 基于姿势的进入控制系统的预编程场景数据的建模
US11086124B2 (en) 2018-06-13 2021-08-10 Reavire, Inc. Detecting velocity state of a device
US11093262B2 (en) 2019-07-29 2021-08-17 Motorola Mobility Llc Electronic devices and corresponding methods for switching between normal and privacy modes of operation
US11113375B2 (en) 2019-09-09 2021-09-07 Motorola Mobility Llc Electronic devices with proximity authentication and gaze actuation of companion electronic devices and corresponding methods
US11731278B1 (en) * 2020-04-20 2023-08-22 Google Llc Robot teleoperation using mobile device motion sensors and web standards
JP2023537028A (ja) * 2020-08-06 2023-08-30 華為技術有限公司 ポインティングジェスチャ認識を用いるクロスデバイス対話のアクティブ化
CN114900784A (zh) * 2021-01-26 2022-08-12 华为技术有限公司 一种快速弹出电子设备控制窗口的方法、系统及移动设备
DE102021001953A1 (de) 2021-03-28 2022-09-29 Hochschule Mittweida (Fh) Mobiler Umgebungsscanner zur Gefahrenerkennung einer den Umgebungsscanner tragenden Person
US11528524B1 (en) * 2021-09-30 2022-12-13 Sony Interactive Entertainment Inc. Universal controller

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1046097B1 (en) 1998-09-17 2004-03-17 Koninklijke Philips Electronics N.V. Remote control device with location dependent interface
US6563430B1 (en) * 1998-12-11 2003-05-13 Koninklijke Philips Electronics N.V. Remote control device with location dependent interface
US6603420B1 (en) * 1999-12-02 2003-08-05 Koninklijke Philips Electronics N.V. Remote control device with motion-based control of receiver volume, channel selection or other parameters
JP2001175412A (ja) * 1999-12-15 2001-06-29 Shigekazu Koshiba 多軸一体型加速度検出器による電子機器用リモートコントロール装置
SG114479A1 (en) * 2000-11-27 2005-09-28 Ibm Selecting a target device in a device network
US6750801B2 (en) * 2000-12-29 2004-06-15 Bellsouth Intellectual Property Corporation Remote control device with directional mode indicator
US7024228B2 (en) * 2001-04-12 2006-04-04 Nokia Corporation Movement and attitude controlled mobile station control
US7233316B2 (en) * 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
JP4237562B2 (ja) 2003-07-07 2009-03-11 富士フイルム株式会社 機器制御システム、機器制御方法およびプログラム
US7123180B1 (en) * 2003-07-29 2006-10-17 Nvidia Corporation System and method for controlling an electronic device using a single-axis gyroscopic remote control
CN1942924A (zh) * 2003-10-23 2007-04-04 希尔克瑞斯特实验室公司 使用加速度计的用户界面装置和方法
GB2411752B (en) * 2004-03-03 2006-02-01 Toshiba Res Europ Ltd Remote control location technique and associated apparatus
US7173604B2 (en) 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
US20050212753A1 (en) 2004-03-23 2005-09-29 Marvit David L Motion controlled remote controller
TWI316195B (en) 2005-12-01 2009-10-21 Ind Tech Res Inst Input means for interactive devices
JP2007251893A (ja) * 2006-03-20 2007-09-27 Seiko Epson Corp リモートコントロール装置
JP4516042B2 (ja) * 2006-03-27 2010-08-04 株式会社東芝 機器操作装置および機器操作方法
US20090262074A1 (en) 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
JP4690376B2 (ja) * 2007-10-18 2011-06-01 株式会社ナナオ 遠隔操作装置、遠隔操作システム及び電気機器
US20090153289A1 (en) * 2007-12-12 2009-06-18 Eric James Hope Handheld electronic devices with bimodal remote control functionality
US9503562B2 (en) 2008-03-19 2016-11-22 Universal Electronics Inc. System and method for appliance control via a personal communication or entertainment device
JP5117898B2 (ja) * 2008-03-19 2013-01-16 ラピスセミコンダクタ株式会社 リモートコントロール装置
US20100060569A1 (en) * 2008-09-09 2010-03-11 Lucent Technologies Inc. Wireless remote control having motion-based control functions and method of manufacture thereof

Also Published As

Publication number Publication date
US8150384B2 (en) 2012-04-03
WO2011159943A1 (en) 2011-12-22
KR20130056275A (ko) 2013-05-29
EP2830298B1 (en) 2018-07-18
CN102939576A (zh) 2013-02-20
JP2013532338A (ja) 2013-08-15
EP2583153A1 (en) 2013-04-24
EP2830298A3 (en) 2015-03-11
KR101465906B1 (ko) 2014-11-26
US20110312311A1 (en) 2011-12-22
EP2583153B1 (en) 2014-12-10
EP2830298A2 (en) 2015-01-28
CN102939576B (zh) 2016-10-19

Similar Documents

Publication Publication Date Title
JP5521117B2 (ja) ジェスチャーベースの遠隔制御のための方法および装置
US11540102B2 (en) Method for function control and electronic device thereof
KR102185166B1 (ko) 생체 정보를 인식하기 위한 전자 장치 및 방법
US9733740B2 (en) Method of processing fingerprint and electronic device thereof
US9830075B2 (en) Mobile terminal and control method thereof
US10007362B2 (en) Electronic device and method for operating electronic device by electronic pen
KR102153006B1 (ko) 입력 처리 방법 및 그 전자 장치
US10341834B2 (en) Mobile terminal and method for controlling the same
KR20170003193A (ko) 이동 단말기 및 그 제어 방법
KR20180134668A (ko) 이동 단말기 및 그 제어방법
WO2014155730A1 (ja) 表示処理装置、及び表示処理方法
KR102304979B1 (ko) 전자 장치 및 전자 장치에서 페어링 방법
JP6804939B2 (ja) 情報処理装置及び情報処理方法
EP2947556B1 (en) Method and apparatus for processing input using display
KR20170011617A (ko) 이동 단말기 및 그것의 제어방법
WO2022028290A1 (zh) 基于指向操作的设备之间的交互方法及电子设备
JP2013210730A (ja) 表示システム、表示システムの制御方法、制御装置、制御装置の制御方法、プログラム、及び情報記憶媒体
US10719147B2 (en) Display apparatus and control method thereof
KR20060125375A (ko) 마우스 기능을 구비한 스타일러스 펜과 그의 마우스 기능구현방법
KR20160032915A (ko) 이동 단말기
KR101667726B1 (ko) 이동 단말기 및 그 제어 방법
KR102138599B1 (ko) 이동단말기 및 그 제어방법
KR20160061155A (ko) 이동단말기 및 그 제어방법
KR20170048675A (ko) 대기 모드 상태에서 게임을 바로 실행하는 이동통신 단말기 및 방법, 이 방법을 실행시키기 위하여 매체에 저장된 프로그램

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140407

R150 Certificate of patent or registration of utility model

Ref document number: 5521117

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250