JP7382448B2 - 無線測距に基づいた電子デバイスの制御及び情報の表示 - Google Patents

無線測距に基づいた電子デバイスの制御及び情報の表示 Download PDF

Info

Publication number
JP7382448B2
JP7382448B2 JP2022086623A JP2022086623A JP7382448B2 JP 7382448 B2 JP7382448 B2 JP 7382448B2 JP 2022086623 A JP2022086623 A JP 2022086623A JP 2022086623 A JP2022086623 A JP 2022086623A JP 7382448 B2 JP7382448 B2 JP 7382448B2
Authority
JP
Japan
Prior art keywords
wireless communication
communication device
wireless
user
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022086623A
Other languages
English (en)
Other versions
JP2022119909A (ja
Inventor
ジェイムズ エイチ フォスター
ダンカン アール カー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2022119909A publication Critical patent/JP2022119909A/ja
Application granted granted Critical
Publication of JP7382448B2 publication Critical patent/JP7382448B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/14Direct-mode setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Description

記載された実施形態は、無線測距などの、ジェスチャ及び指標を使用して電子デバイスを制御するシステム及び技術、並びに無線測距に少なくとも部分的に基づいて物理的現実情報又は拡張現実情報をユーザインターフェース上に表示するシステム及び技術を含む、電子デバイスとユーザインターフェースの間での無線通信に関する。
ポータブル電子デバイス(携帯電話など)を含む多くの電子デバイスの有用性(したがって、人気)は、多くの場合、使いやすさによって左右される。特に、多くの電子デバイスの使いやすさは、通常、ユーザインターフェースによって決定される。ユーザインターフェースは、ユーザが電子デバイスの機能にアクセスしようとする試みを含むユーザのアクション又は行動が定義され、受信される、出入口である。したがって、ユーザインターフェースは、ユーザエクスペリエンス全体に不可欠である。
しかし、既存のユーザインターフェース、特に小型携帯電子デバイス用のユーザインターフェースに関連する制限がある。例えば、多くの既存のユーザインターフェースは、ユーザが電子デバイスをアクティブ化又はオンにする必要性によって制約される。したがって、ユーザは、ユーザインターフェースがタッチ感知ディスプレイ上に表示されるなどの場合に、ユーザインターフェースと物理的に接触する必要があることがある。加えて、異なる種類の情報を直感的に互いに区別できるようにユーザインターフェースの情報を提示することは困難である可能性がある。したがって、多くの場合、ユーザインターフェースに表示可能な情報量が制限され、表示された情報によってユーザがしばしば混乱する。ユーザをいらいらさせたり、ユーザエクスペリエンスを低下させることに加えて、見逃された情報又は表示されない情報に関連する大きな機会費用が存在することが多い。したがって、多くの既存のユーザインターフェースは、ユーザエクスペリエンスを低下させる可能性のある、いらいらさせるユーザ対話を生み出す。
オブジェクトを制御する無線通信電子デバイスに関連する実施形態が開示される。動作中、無線通信デバイスは、オブジェクトを制御する意図を示す受信された意図ジェスチャを特定し、このオブジェクトは、環境内の無線通信デバイスに近接して配置されている。その後、無線通信デバイスは、無線測距を使用して、意図ジェスチャに関連付けられたオブジェクトを決定する。更に、無線通信デバイスは、無線通信デバイスに関連付けられた1つ以上のセンサからのセンサデータにアクセスし、アクセスされたセンサデータを解釈してコマンド値を決定し、このコマンド値が送信されて、オブジェクトを制御する。
オブジェクトが物理的オブジェクトであってよいということに注意する。例えば、物理的オブジェクトは、コンピューティングデバイス、ディスプレイ、プリンタ、通信デバイス、オーディオデバイス、器具、ウェアラブルデバイス、ホームオートメーションデバイス、環境制御、及び/又はアクセサリを含んでよい。あるいは、オブジェクトは仮想オブジェクトであってよい。更に、仮想オブジェクトは、コマンド値を物理的オブジェクトに関連付けるための代理として機能してよい。
更に、無線測距は、無線送信特性又は無線測距計算を使用して、無線通信デバイスとオブジェクトの間の距離を決定してよい。更に、アクセスされるセンサデータは、無線通信デバイスに対応する方位値を含んでよく、この方位値は、コンパス、加速度計、及び/又はジャイロスコープを使用して決定される。
また、コマンド値は、無線通信デバイスをオブジェクトと組み合わせること、オブジェクトの動作設定を変更すること、及び/又は機能を実行することを行うためのコマンドを含んでよい。コマンド値が、オブジェクトに、センサ値を含んでいる応答を送信させてよく、かつ/又はリソースへのアクセスを要求してよいということに注意する。
いくつかの実施形態では、無線通信デバイスは、超音波チャープを使用して環境内のオブジェクトの近接を判定することができる。
オブジェクトの位置を特定する無線通信電子デバイスに関連する実施形態も開示される。動作中、無線通信デバイスは、環境内の無線通信デバイスに近接して配置されたオブジェクトに関連付けられた識別子を含む送信を受信する。無線通信デバイスは、無線通信デバイスからのオブジェクトの範囲及び/又はオブジェクトに対する方向を決定し、この範囲、方向、又は両方は、無線測距を少なくとも部分的に使用して決定される。次に、無線通信デバイスは、この範囲及び/又は方向を示す出力情報を提示する。
例えば、出力情報を提示することは、無線通信デバイス内のディスプレイに、環境内の近接領域のマップ(又は他の表現)を表示することと、オブジェクトを表す第1のインジケータをマップ上に表示することと、を含んでよい。代替的又は追加的に、出力情報を提示することは、無線通信デバイス内の撮像センサによってキャプチャされた環境内の近接領域の画像をディスプレイに表示することと、オブジェクトを表す第2のインジケータを画像上に表示することと、を含んでよい。いくつかの実施形態では、出力情報を提示することは、無線通信デバイスの向きに基づいて、オブジェクトを表す第1のインジケータを含む環境内の近接領域のマップをディスプレイに表示することと、オブジェクトに対応する第2のインジケータを含む近接領域のカメラキャプチャ画像をディスプレイに表示することとの間で遷移することを含む。オブジェクトが無線通信デバイスの視距離の範囲内にあるかどうか、又はそれ以外の方法で無線通信デバイスにとって可視であるかどうかに関わらず、第1のインジケータ及び/又は第2のインジケータが表示されてよいということに注意する。
また、オブジェクトに関連付けられた識別子は、一意の識別子であってよい。更に、オブジェクトに関連付けられた識別子は、オブジェクトに対応するリソースクラスに関連付けられてよい。いくつかの実施形態では、異なる意味又は異なる解決可能性を有する複数の識別子が、同じオブジェクトに関連付けられ得る。
いくつかの実施形態では、無線通信デバイスは、受信された識別子を1つ以上の記憶されたターゲット識別子と比較して、(例えば、識別子を解決するために)一致を判定する。ターゲット識別子が、検索結果又はトランザクションと共に受信されていてよいということに注意する。代替的又は追加的に、ターゲット識別子は、無線通信デバイスによって維持される連絡先に対応してよい。
また、無線通信デバイスは、識別子に少なくとも部分的に基づいて、メッセージをオブジェクトに送信してよい。例えば、このメッセージは、実質的にオブジェクトに対応する位置のみで知覚可能なビーム形成されたオーディオメッセージとして送信されるオーディオメッセージを含んでよく、この位置は、オブジェクトに対する範囲及び/又は方向に少なくとも部分的に基づいて決定される。
オブジェクトは、個人に関連付けられた電子デバイスであってよいということに注意する。代替的又は追加的に、オブジェクトは、パブリック(例えば、安全)リソース又はプライベート(例えば、商業)リソースなどの、環境内のリソースであってよい。
更に、出力情報は、無線通信デバイス及び/又は別のデバイスを介して提示されてよい触覚出力を含んでよい。
他の実施形態は、無線通信デバイスと共に使用するためのコンピュータプログラム製品を提供する。このコンピュータプログラム製品は、無線通信デバイスによって実行される動作の少なくともいくつかのための命令を含む。
更に他の実施形態は、無線通信デバイスによって実行される1つ以上の動作を含む方法を提供する。
この「発明の概要」は、本明細書に記載された主題のいくつかの態様の基本的理解を提供するように、いくつかの例示的実施形態を説明することを目的として提供される。したがって、上述の特徴は、単なる例であって、いかなる方式でも、本明細書で説明される主題の範囲又は趣旨を狭めるものとして解釈すべきではないことを理解されたい。本明細書で説明される主題の他の特徴、態様、及び利点は、以下の「発明を実施するための形態」、図、及び「特許請求の範囲」から明らかとなるであろう。
含まれる図面は、例示を目的としており、複数の関連するデバイス間の動作、制御、相互作用、及びその他の通信をインテリジェントかつ効率的に管理するため、並びにオブジェクトの位置を、例えば無線測距を使用して特定するための開示されたシステム及び技術の可能性のある構造及び構成の例を提供するためだけに機能する。これらの図面は、当業者により、本実施形態の趣旨及び範囲から逸脱することなく、本実施形態に対してなされ得る形態及び詳細のいかなる変更をも決して制限するものではない。本実施形態は、添付の図面と共に下記の「発明を実施するための形態」を読むことによって容易に理解でき、類似の参照番号は類似の構造要素を指す。
無線で通信する電子デバイスの例を示すブロック図である。 無線測距を実行する無線通信デバイスの例を示すブロック図である。 無線測距に基づいて1つ以上のジェスチャを使用するオブジェクトの制御の例を示す図である。 無線測距に基づいて1つ以上のジェスチャを使用するオブジェクトの制御の例を示す図である。 無線測距に基づいて1つ以上のジェスチャを使用するオブジェクトの制御の例を示す図である。 無線通信デバイスを使用してオブジェクトを制御する方法の例を示す図である。 図1の電子デバイス間の通信の例を示す図である。 無線測距を使用して環境内のオブジェクトの位置を特定する例を示す図である。 マップを表示するユーザインターフェース及び図8のオブジェクトを表すインジケータの例を示す図である。 画像を表示するユーザインターフェース及び図8のオブジェクトを表すインジケータの例を示す図である。 無線通信デバイスの向きに基づくユーザインターフェースの異なるモードの例を示す図である。 ユーザインターフェースの異なるモードの例を示す図である。 拡張現実の例を示す図である。 環境内のリソースに関する拡張された状況認識の例を示す図である。 環境内のリマインダの提供及びオブジェクトの追跡の例を示す図である。 ユーザインターフェースに関連付けられたフィードバックの異なるタイプの例を示す図である。 無線通信デバイスを使用してオブジェクトの位置を特定する方法の例を示す図である。 図1の電子デバイス間の通信の別の例を示す図である。
同様の参照番号は、図面全体を通して対応する部品を指すことに留意されたい。更には、同じ部品の複数の実例は、ダッシュによって実例番号から分離される、共通の接頭部によって指定される。
開示された実施形態は、物理デバイス又は物理デバイスに関連付けられた仮想表現(又はプレースホルダ)などのオブジェクトを物理的な基準位置で遠隔制御するために1つ以上の測定(無線測距又は無線ベースの距離測定など)を使用する無線通信デバイス(スマートフォン又はスマートウォッチなど)に関連する。具体的には、無線通信デバイスは、1つ以上の測定が、オブジェクトの動作を(例えば、遠くから、一般的に物理的接触なしに)遠隔制御するために使用される、ユーザインターフェース技術を実装してよい。オブジェクトは、「制御可能なデバイス」又は「ターゲットデバイス」と呼ばれる場合があることに注意する。
このユーザインターフェース技術は、多くの既存のユーザインターフェースに関連する制約を除去することができる。例えば、オブジェクトを制御するために、ユーザが無線通信デバイスを(例えば、パスコード又は指紋などのバイオメトリック識別子を提供することによって)開くこと、又はロック解除することが必要でなくなることがある。同様に、このユーザインターフェース技術は、遠くからのオブジェクトの制御を容易にすることによって、ユーザがオブジェクト上の、又はオブジェクトに関連付けられた、ユーザインターフェースと物理的に接触する必要性をなくすことができる。その結果、このユーザインターフェース技術は、無線通信デバイス及びオブジェクトを使用するときのユーザエクスペリエンスを向上することができるため、顧客満足度を高め、顧客を維持することができる。
開示された実施形態は、物理デバイス(例えば、電子デバイス又はリソース)又は物理デバイスの仮想表現(又はプレースホルダ)などの環境内の近接するオブジェクトの位置を、物理的な基準位置で特定するために、1つ以上の測定(無線測距又は無線ベースの距離測定など)を使用する無線通信デバイス(スマートフォン又はスマートウォッチなど)に更に関連する。仮想表現は、物理的オブジェクト(例えばプレースホルダオブジェクト)又は完全に仮想的なオブジェクト(例えば、位置に対応する1つ以上の座標)であることができる。無線通信デバイスは、オブジェクトに関連付けられた識別子が無線で受信され、1つ以上の測定が使用されて、無線通信デバイスからのオブジェクトの範囲及び/又はオブジェクトに対する方向(例えば、ベクトル又は方位)を(例えば、遠くから、一般的に物理的接触なしに)無線で決定するユーザインターフェース技術を実装してよい。その後、無線通信デバイスは、この範囲及び/又は方向を示す出力情報を提示してよい。例えば、無線通信デバイスは、環境内の近接領域のマップを、マップ上のオブジェクトを表すインジケータと共に表示してよい。あるいは、無線通信デバイスは、(例えば、無線通信デバイスのカメラによってキャプチャされた)近接領域の画像を、画像上のオブジェクトを表すインジケータと共に表示してよい。
この追加のユーザインターフェース技術は、多くの既存のユーザインターフェースに関連する制約を除去することができる。例えば、範囲及び/又は方向に従って出力情報が表示されてよい。これにより、表示された出力情報を直感的に配置することができ、他の方法では複雑なコンテンツになる可能性のある内容を、ユーザが素早く理解して使用できるようになることがある。また、この追加のユーザインターフェース技術は、ユーザにとって有用である場合にのみ出力情報を表示可能にすることができるため、関心のある情報の関連するサブセットのみが任意の時間に表示されるようになる。具体的には、周辺環境内の近接するオブジェクトの位置と、無線通信デバイスの向き又は無線通信デバイスが向けられた方向などの、ユーザの振舞いとの状況認識に基づいて、関連するサブセットが特定され得る。その結果、この追加のユーザインターフェース技術は、無線通信デバイスを使用するときのユーザエクスペリエンスを向上することができるため、顧客満足度を高め、顧客を維持することができる。
なお、ユーザインターフェース技術における電子デバイス間の無線通信中に使用される通信は、米国電気電子学会(Institute of Electrical and Electronics Engineers、IEEE)802.11規格(Wi-Fiと呼ばれる場合がある)などの通信プロトコルに従ってよい。例えば、通信は、以下の説明において例として使用されるIEEE 802.11axと共に使用されてよい。ただし、ユーザインターフェース技術は、多様な他の通信プロトコルと共に、異なるサービス及び/又は機能を提供する異なる無線ネットワークを介した接続を提供するための複数の異なる無線アクセス技術(radio access technologies、RAT)を組み込むことができる電子デバイス(ポータブル電子デバイス又はモバイルデバイスなど)において使用されてもよい。
具体的には、無線通信デバイスは、Bluetooth(登録商標)特別利益団体(ワシントン州カークランド)によって標準化された通信プロトコル及び/又はApple Wireless Direct Link(AWDL)と呼ばれるApple(カリフォルニア州クパチーノ)によって開発された通信プロトコルなどの、無線パーソナルエリアネットワーク(wireless personal area network、WPAN)通信プロトコルに従ってWPANをサポートするハードウェア及びソフトウェアを含むことができる。また、無線通信デバイスは、無線広域ネットワーク(wireless wide area network、WWAN)、無線メトロエリアネットワーク(wireless metro area network、WMAN)WLAN、近距離無線通信(near-field communication、NFC)、携帯電話又はデータネットワーク(第3世代(3G)通信プロトコル、第4世代(4G)通信プロトコル(例えば、ロングタームエボリューション又はLTE、LTEアドバンスト(LTE-A))、第5世代(5G)通信プロトコル、あるいはその他の現在開発されているか、又は将来開発される高度なセルラ通信プロトコルなどを使用する)、及び/あるいは別の通信プロトコルを介して通信することができる。
いくつかの実施形態では無線通信デバイスは、無線通信システムの一部として動作することもでき、無線通信システムは、例えばWLANの一部としてアクセスポイントに相互接続され、かつ/又は、例えばWPAN及び/又はWi-Fi Direct接続などの「アドホック」無線ネットワークの一部として互いに相互接続された、ステーションとも呼ばれるクライアントデバイス、又はクライアント電子デバイスのセットを含むことができる。いくつかの実施形態では、クライアントデバイスは、例えば、WLAN通信プロトコルに従ってWLAN技術を介して通信可能な任意の電子デバイスであることができる。また、いくつかの実施形態では、WLAN技術は、Wi-Fi(又は、更に一般的にはWLAN)無線通信サブシステム又は無線を含むことができ、Wi-Fi無線は、IEEE 802.11a、IEEE 802.11b、IEEE 802.11g、IEEE 802.11-2007、IEEE 802.11n、IEEE 802.11-2012、IEEE 802.11ac、IEEE 802.11ax、又は現在開発されているか、又は将来開発されるIEEE 802.11技術のうちの1つ以上などの、米国電気電子学会(IEEE)802.11技術を実装することができる。
したがって、いくつかの実施形態では、無線通信デバイスは、WLAN及び/又はWWANへのアクセス、したがって無線通信デバイス上で実行される様々なアプリケーションがサポートできる多種多様のサービスへのアクセスを提供する通信ハブとして機能することができる。したがって、無線通信デバイスは、他の電子デバイスと(Wi-Fiなどを使用して)無線で通信し、IEEE 802.3(「イーサネット(登録商標)」と呼ばれる場合もある)を介した別のネットワーク(インターネットなど)へのアクセスを提供する、「アクセスポイント」を含んでよい。
それに加えて、本明細書で説明されている電子デバイスは、異なる3G及び/又は第2世代(2G)RATを介しても通信可能なマルチモード無線通信デバイスとして構成されてよいことを理解されたい。これらのシナリオでは、マルチモード電子デバイス又はUEは、より低いデータレートのスループットを提供する他の旧式の3Gネットワークに比べて、より高速なデータレートのスループットを提供するLTEネットワークへの接続を優先するように構成され得る。例えば、いくつかの実装形態では、マルチモード電子デバイスは、LTE及びLTE-Aネットワークが利用不可能なときに、旧式の3Gネットワーク、例えば、進化型高速パケットアクセス(Evolved High Speed Packet Access、HSPA+)ネットワーク又はコード分割多重アクセス(Code Division Multiple Access、CDMA)2000 Evolution-Data Only(EV-DO)ネットワークへとフォールバックするように構成される。
無線測距は、任意の標準又は専用の測距技術、あるいは標準及び/又は専用の測距技術の任意の組み合わせを使用して実行され得る。無線測距動作を実行して、デバイス間(例えば、イニシエータとレスポンダの間)の距離、又はデバイス間の方向、あるいはその両方を決定することができる。例えば、デバイス間の1つ以上のメッセージに関して、経過時間/到着時間(Time of Flight/Time of Arrival、ToF/ToA)を決定することができ、それらの値を使用して、距離の測定を確立することができる。1つ以上のメッセージは、任意のフォーマットを有することができ、任意の無線プロトコル(例えば、802.11プロトコル、Bluetooth(登録商標)など)を使用して送信され得る。いくつかの実施形態では、ToF/ToAは、2つ以上のメッセージの双方向交換を使用して決定され得る。また、いくつかの実施形態では、測距を実行するために使用される1つ以上のメッセージは、例えば、コンテンツの少なくとも一部を暗号化するか、又は他の方法で保護することによって、セキュリティ保護され得る。更にいくつかの実施形態では、1つ以上の無線信号のソースの方向は、到着角(Angle of Arrival、AoA)などの技術を使用して決定され得る。例えば、AoA推定は、複数の受信要素(例えば、アンテナアレイの要素)を使用して実行され、信号の到着の異なる時間(TDOA)及び/又は異なる位相(PDOA)を測定することができる。追加的又は代替的に、いくつかの実施形態では、指向性は、ドップラーシフトを測定して到着周波数差(frequency difference of arrival、FDOA)を確立することによって決定され得る。無線測距技術を個別に、又は組み合わせて適用して、単一の測距動作を行うことができる。更に、無線測距技術を個別に、又は組み合わせて適用して、連続的又は間欠的な測距などの、進行中の測距動作を実行することができ、測定の履歴をキャプチャして、範囲及び/又は方向に基づいた動作の実行において使用することができる。
本明細書において説明される種々の実施形態によれば、用語「無線通信デバイス」、「電子デバイス」、「モバイルデバイス」、「移動局」、「無線局」、「無線アクセスポイント」、「ステーション」、「アクセスポイント」、及び「ユーザ機器」(user equipment、UE)は、本開示の種々の実施形態に関連付けられた手順を実行することが可能であることがある1つ以上の消費者電子デバイスを説明するために、本明細書において使用されてよい。
次に、ユーザインターフェース技術の諸実施形態について説明する。図1は、無線で通信する電子デバイスの例を説明するブロック図100を示している。具体的には、無線通信デバイス110(スマートフォン、ラップトップコンピュータ、ウェアラブル、又はタブレットなど)、及び物理デバイス112は、無線で通信してよい。これらの電子デバイスは、無線チャネルを走査することによって互いを検出している間、無線チャネル上でビーコン若しくはビーコンフレームを送信及び受信している間、(例えば、接続要求を送信することによって)接続を確立している間、並びに/又は(要求及び/又はデータなどの追加の情報をペイロードとして含んでもよい)パケット又はフレームを送信及び受信している間に、無線で通信してよい。更に、仮想表現114が物理的位置116に存在してよい。仮想表現114は、仮想表現114が物理デバイス118の代理として機能するように、物理デバイス118に対応することができ。この場合、無線通信デバイス110は、仮想表現114を特定して相互作用してよいが、物理デバイス118で受信される無線信号を送信してよい。例えば、仮想表現114はサーモスタットに関連付けられてよく、サーモスタットの無線通信デバイス110による調整は、仮想表現114との相互作用を介して提供されてよいが、環境ユニット(例えば物理デバイス118)によって受信され、実行されてよい。
なお、物理デバイス112及び/又は118は、器具(オーブンレンジ、トースター、冷蔵庫、食器洗浄機、又は洗濯機など)、別の電子デバイス(コンピュータ、ラップトップ、タブレット、又はコンピューティングデバイスなど)、エンタテインメントデバイス(テレビ、ディスプレイ、無線受信機、又はセットトップボックスなど)、オーディオデバイス、プロジェクタ、セキュリティデバイス(アラーム又はドアロックなど)、通信デバイス(スマートフォンなど)、監視デバイス(煙探知器又は一酸化炭素検知器など)、環境制御(サーモスタット、照明スイッチ、又はシェードなど)、アクセサリ(キーボード、マウス、又はスピーカなど)、プリンタ、ウェアラブルデバイス、ホームオートメーションデバイス、環境108内のリソース(輸送リソース、共有コンピューティングリソース、医療リソース、表示リソース、セキュリティリソース、アクセシビリティリソース、又は安全リソースなど)などを含んでよい。更に、仮想表現114は、ステッカー、画像、セラミック片、地理上のフェンス、位置を定義する1つ以上の座標などとして実装されてよい。いくつかの実施形態では、物理デバイス118は、照明スイッチ、サーモスタットなどを含む。
図2を参照して下で更に説明されるように、無線通信デバイス110、物理デバイス112、及び/又は物理デバイス118は、ネットワーキングサブシステム、メモリサブシステム、及びプロセッササブシステムなどのサブシステムを含んでよい。加えて、無線通信デバイス110、物理デバイス112、及び/又は物理デバイス118は、ネットワーキングサブシステム内の無線機120を含んでよい。更に一般的には、無線通信デバイス110、物理デバイス112、及び/又は物理デバイス118は、無線通信デバイス110、物理デバイス112、及び/又は物理デバイス118が別の電子デバイスと無線で通信できるようにするネットワーキングサブシステムを有する任意の電子デバイスを含むことができる(又は、そのような電子デバイスに含まれ得る)。これは、電子デバイスが互いとの初期接触を行うこと又は互いを検出することを可能にするために、無線チャネル上でビーコンを送信すること、並びにそれに続き、接続(「Wi-Fi接続」と呼ばれる場合もある)の確立、セキュリティオプション(例えば、IPSec)の構成、接続を介したパケット若しくはフレームの送信及び受信、などのために、後続のデータ/管理フレーム(接続要求など)を交換することを含むことができる。
図1からわかるように、(ギザギザ線で表された)無線信号122が、無線通信デバイス110内の無線機120-1及び物理デバイス112内の無線通信デバイス120-2によって伝達される。例えば、無線通信デバイス110及び物理デバイス112は、無線パーソナルエリアネットワーク(WPAN)内のBluetooth(登録商標)プロトコル又は無線ローカルエリアネットワーク(WLAN)内のWi-Fiプロトコルを使用して、パケットを交換してよい。
具体的には、図3~図5及び図8~図16を参照して下で更に説明されるように、無線通信デバイス110は、送信時間を含むフレーム又はパケットを送信してよい。このフレーム又はパケットが物理デバイス112によって受信されるときに、到着時間が決定されてよい。経過時間(到着時間と送信時間の差)と伝播速度の積に基づいて、無線通信デバイス110と物理デバイス112の間の距離が計算され得る。この距離は、物理デバイス112又は物理デバイス112のユーザの識別子(一意の識別子など)と共に、物理デバイス112から無線通信デバイス110へのフレーム又はパケットのその後の送信において伝達されてよい。あるいは、物理デバイス112は、送信時間及び物理デバイス112の識別子を含むフレーム又はパケットを送信してよく、無線通信デバイス110は、経過時間(到着時間と送信時間の差)と伝播速度の積に基づいて、無線通信デバイス110と物理デバイス112の間の距離を決定してよい。なお、無線で通信する電子デバイス間の距離を動的に決定するこのアプローチは、「無線測距」呼ばれることがある。更に、無線測距を(コンパス、ジャイロスコープ、及び/又は加速度計などの他のセンサ入力とは別に、又はそれらのセンサ入力と共に)使用して、複数のターゲットデバイスが互いに近接して、又は同じ見通し線上に配置されることがある場合に、制御入力意図の曖昧さをなくすことができる。このアプローチに対する変形が使用されてよく、この変形において、無線通信デバイス110は、センサ入力(例えば、コンパス、ジャイロスコープ、及び/又は加速度計)を介して物理的位置116で指示されたジェスチャ入力を感知し、1つ以上の制御信号が、関連するデバイス(例えば、仮想表現114に関連付けられた物理デバイス118)に送信されるべきであるということを決定する。同様に、無線通信デバイス110が物理的位置116で反射されるフレーム又はパケットを送信する、このアプローチに対する別の変形が、無線通信デバイス110と仮想表現114の間の距離を動的に決定するために、任意選択的に使用されてよい。したがって、無線測距は、無線通信デバイス110によって、オブジェクト(物理デバイス112又は仮想表現114など)が環境108内で近接していることを決定するために使用されてよい。
前の例では、無線通信デバイス110及び物理デバイス112においてクロックが同期される無線測距について説明したが、他の実施形態では、クロックが同期されない。例えば、無線通信デバイス110又は物理デバイス112の位置は、送信時間が未知であるか、又は使用できない場合でも、異なる既知の位置での複数の受信機における無線信号122の伝搬速度及び到着時間データ(「差動到着時間」と呼ばれることもある)に基づいて推定されてよい。より一般的には、様々な無線測位技術が使用されてよく、例えば、元の送信された信号強度(吸収、屈折、シャドーイング、及び/又は反射に関する補正を含んでよい)に対する受信信号強度インジケータ(received signal strength indicator、RSSI)の電力における差に基づいて距離を決定すること、指向性アンテナを使用するか、又は既知の位置(単数又は複数)でのアンテナのアレイにおける差動到着時間に基づいて、受信機での到着角を(非見通し線の受信を含めて)決定すること、後方散乱無線信号に基づいて距離を決定すること、及び/又は既知の位置を有する2つの受信機での到着角を決定すること(すなわち、三辺測量又はマルチラテレーション)などが挙げられる。無線信号122は、0.3m以内の距離(例えば、1フィート)を決定できる短い期間(例えば、約1nsなど)のパルスを生成するために、GHz又はマルチGHz帯域幅での送信を含んでよいということに注意する。いくつかの実施形態では、無線測距は、ローカル測位システム、全地球測位システム、及び/又は無線ネットワークによって決定又は指定される、図1の1つ以上の電子デバイスの位置などの位置情報を使用して容易に行われる。
更に、無線通信デバイス110は、センサデータを測定(又は生成)する1つ以上のセンサを含んでよい。例えば、1つ以上のセンサは、無線通信デバイス110の向き(又は方位値)又は方向を測定する、1つ以上のコンパス、1つ以上の加速度計、及び/又は1つ以上のジャイロスコープ、無線通信デバイス110の加速度を測定する1つ以上の加速度計、無線通信デバイス110と別の電子デバイス(物理デバイス112、又は反射された無線信号が受信される実施形態では、無線通信デバイス110など)の間の無線通信を特徴付ける指標を決定する送受信機(無線機120-1など)、例えばタッチスクリーンを介してタッチ入力を受信するように構成された1つ以上のタッチセンサ、並びに/あるいは無線通信デバイス110の環境108内の周囲の音を測定する1つ以上のマイクロフォン若しくは音響トランスデューサを含んでよい。いくつかの実施形態では、無線通信デバイス110は、音響トランスデューサによって提供される超音波チャープを使用して環境108内のオブジェクトの近接を判定する。この超音波チャープは、人間の聴覚の範囲外であってよい。以下の説明では、電子デバイスの「近接」は、無線通信範囲内に存在することを少なくとも含むと理解されるべきであり、電子デバイスを、同じ室内又は所定の距離の範囲内(10m又は30m以内など)に存在するように更に制限してよい。
図3~図5を参照して下で更に説明されるように、ユーザインターフェース技術において、無線通信デバイス110は、無線測距及び/又はセンサデータを使用して、物理デバイス112及び/又は118を制御してよい。具体的には、無線通信デバイス110は、無線通信デバイス110のユーザの意図ジェスチャを特定してよい。例えば、ユーザは、無線通信デバイス110を物理的位置116(したがって、仮想表現114)又は物理デバイス112に向けてよく、無線通信デバイス110は、(物理デバイス112又は仮想表現114の位置及び/又は向きから分離されているか、又はそれらと相対的な)無線通信デバイス110の向き及び/又は無線通信デバイス110の移動(例えば、前方に伸ばす(又は押す)などの、所定の意図ジェスチャの動き)に基づいて「意図ジェスチャ」を特定してよい。次に、無線通信デバイス110は、無線測距を使用することを含めて、意図ジェスチャに関連付けられたオブジェクト(物理デバイス112又は仮想表現114など)を決定してよい。例えば、意図ジェスチャに対応するオブジェクトは、無線測距を使用して決定されたオブジェクトまでの距離及び向き(又は相対的な向き)に少なくとも部分的に基づいて決定されてよい。
更に、その後、ユーザは、無線通信デバイス110を、例えば2次元内又は3次元内で移動することによって、「アクションジェスチャ」を実行してよい。このアクションジェスチャは、無線通信デバイス110内の、又は無線通信デバイス110に関連付けられた1つ以上のセンサによって取得される、検出/測定されたセンサデータにおいてキャプチャされてよい。次に、無線通信デバイス110は、センサデータを解釈して、アクションジェスチャ及びコマンド又はコマンド値を決定してよい。更に、無線通信デバイス110は、コマンド又はコマンド値を、対応する制御対象のデバイス(例えば、物理デバイス112又は物理デバイス118)に、フレーム又はパケットで送信してよい。
下で更に説明されるように、コマンド値が、無線通信デバイス110をオブジェクトと組み合わせるか、又は関連付けること、オブジェクトの動作設定(光のオン又はオフ、あるいはサーモスタットの温度の変更、音量、チャネル、及び/又は再生の設定の調整など)を変更すること、データ(メディア又はテキストデータなど)を転送すること、及び/又は、任意のその他のそのような機能を実行することを行うコマンドを含んでよいということに注意する。コマンド値が、オブジェクトに、例えばセンサ値を含んでいる応答を無線通信デバイス110に返送させてよく、かつ/又はリソース(無線プリンタなど)へのアクセスを要求してよいということに注意する。
したがって、このユーザインターフェース技術は、ユーザが無線通信デバイス110を開くこと、又はロック解除することがないということを含めて、無線通信デバイス110が遠くからオブジェクト(又はオブジェクトに関連付けられた機能)を制御できるようにしてよい。この能力は、オブジェクトの制御又はオブジェクトとの対話において、新しい自由度をユーザに提供してもよい。その結果、このユーザインターフェース技術は、無線通信デバイス110及びオブジェクトを使用するときのユーザエクスペリエンスを向上することができるため、ユーザの満足度を高め、ユーザを維持することができる。
記載されている実施形態において、無線通信デバイス110、物理デバイス112、及び/又は物理デバイス118のうちの1つにおいてパケット又はフレームを処理することは、パケット又はフレームをエンコードする無線信号122を受信することと、受信された無線信号122からパケット又はフレームをデコード/抽出してパケット又はフレームを取得することと、パケット又はフレームを処理して、パケット又はフレームに含まれている情報(ペイロード内のデータなど)を決定することと、を含む。
一般に、ユーザインターフェース技術におけるWLANを介した通信は、様々な指標(又は通信性能指標)によって特徴付けられてよい。例えば、指標は、RSSI、データレート、正常な通信のデータレート(スループットと呼ばれることもある)、エラーレート(リトライ又は再送信のレートなど)、等化目標に対する等化信号の平均二乗誤差、符号間干渉、マルチパス干渉、信号対ノイズ比、アイパターンの幅、ある時間インターバル(1~10秒など)内に伝達可能な推定最大バイト数に対する、その時間インターバル中に正常に伝達されたバイト数の比(伝達可能な推定最大バイト数は、通信チャネル又はリンクの「容量」と呼ばれることもある)、及び/又は推定データレートに対する実際のデータレートの比(「使用率」と呼ばれることもある)を含んでよい。
図8~図16を参照して下で更に説明されるように、ユーザインターフェース技術において、無線通信デバイス110は、無線測距及び/又はセンサデータを使用して、環境108内のオブジェクトの位置を特定してよく、決定された位置に基づいて、オブジェクトに関する直感的な情報を提供してよい。具体的には、無線通信デバイス110は、環境108(建物内の部屋又は無線通信デバイス110の周囲の領域)内の無線通信デバイス110に近接して配置されたオブジェクト(例えば、物理デバイス112)に関連付けられた識別子を含む送信を受信してよい。例えば、識別子は、物理デバイス112の(したがって、物理デバイス112のユーザの)一意の識別子であってよい。代替的又は追加的に、識別子は、輸送リソース、共有コンピューティングリソース(例えば、プリンタ)、医療リソース、表示リソース、セキュリティリソース、アクセシビリティリソース、安全リソースなどの、物理デバイス112に対応するリソースクラスに関連付けられてよい。識別子が検索結果又はトランザクションと共に受信されていてよいということに注意する。代替的又は追加的に、識別子は、無線通信デバイス110のユーザの連絡先に対応してよい。いくつかの実装では、オブジェクト(例えば、物理デバイス112)は、受信側(例えば、無線通信デバイス110)で使用可能な情報に応じて異なって解決され得る複数の異なる識別子を、別々に送信することができる。
それに応じて、無線通信デバイス110は、受信された識別子を1つ以上の記憶されたターゲット識別子と比較して、一致を判定してよい。その後、無線通信デバイス110は、無線測距を使用して、無線通信デバイス110からの物理デバイス112の範囲(又は距離)及び/又は物理デバイス112に対する方向を決定してよい。
次に、無線通信デバイス110は、物理デバイス112に対する範囲及び/又は方向を示す出力情報を提示してよい。例えば、図9を参照して下で更に説明されるように、無線通信デバイス110は、環境108内の近接領域のマップを表示してよく、物理デバイス112を表す第1のインジケータをこのマップに表示してよい。代替的又は追加的に、図10を参照して下で更に説明されるように、無線通信デバイス110は、無線通信デバイス110内の撮像センサ(CMOS又はCCD撮像センサ及び、より一般的にはカメラなど)によってキャプチャされた環境108内の近接領域の画像を表示してよく、物理デバイス112を表す第2のインジケータ(第1のインジケータと同じであっても、異なっていてもよい)をこの画像に表示してよい。物理デバイス112が無線通信デバイス110の視距離の範囲内にあるかどうか、又はそれ以外の方法で無線通信デバイス110にとって可視であるかどうかに関わらず、第1のインジケータ及び/又は第2のインジケータが表示されてよいということに注意する。
更に、図11で説明されているように、いくつかの実施形態では、ユーザは、無線通信デバイス110の向きを変えることによって、2つのユーザインターフェースモード間で直感的に切り替えるか、又は遷移することができる。具体的には、無線通信デバイス110は、測定された方位値に基づいて、マップの表示と画像の表示との間で選択的に遷移してよい。したがって、無線通信デバイス110が下方に(例えば水平に)向いている場合、第1のインジケータを含むマップが表示されてよく、無線通信デバイス110が物理デバイス112の方向に(例えば、垂直に)向いている場合、第2のインジケータを含む画像が表示されてよい。
あるいは、図12で説明されているように、ユーザは、無線通信デバイス110のタッチ感知ディスプレイで、アイコンのストライク領域内に接触してから、接触を断つことなどによって、ユーザインターフェースモードを選択してよい。このようにして、ユーザは、無線通信デバイス110の周囲360°の視界を含むマップが表示され、異なる範囲及び方向にあるオブジェクト(物理デバイス112など)が、第1のインジケータ(シンボル、エモーティコン、又はグラフィカルアイコンなど)によってマップ上に表される、ユーザインターフェースモードを選択してよい。更に、ユーザは、無線通信デバイス110が物理デバイス112の方向を指すか、又は向いたときに、画像が表示され、物理デバイス112が第2のインジケータ(シンボル、エモーティコン、又はグラフィカルアイコンなど)によって表される、ユーザインターフェースモードを選択してよい。いくつかの実装では、無線通信デバイス110のディスプレイが近接領域の画像を表示しながら、1つ以上の他のグラフィカル要素(例えば、方向要素)も提示され得る。
いくつかの実施形態では、ユーザインターフェース技術は拡張現実を含む。具体的には、図13を参照して下で説明されるように、無線通信デバイス110上の前面カメラは、ユーザが無線通信デバイス110を顔の前に持っているときに、無線通信デバイス110によってマスクされる環境108の画像(又は動画)をキャプチャしてよい。その後、無線通信デバイス110が物理デバイス112の方向を向いているときに、それらの画像は、無線通信デバイス110がユーザにとって透明に見えるように、オブジェクト(物理デバイス112など)を表すインジケータと共に無線通信デバイス110上に表示されてよい。インジケータが、環境108内の位置で画像内に配置されてよく、オブジェクトまでの相対的な範囲に関する直感的情報を含む透視図を提供するようにサイズ設定されてよいということに注意する。したがって、無線通信デバイス110から(すなわち、ユーザから)遠く離れたオブジェクトは、無線通信デバイス110に近いオブジェクトよりも小さいインジケータによって表されてよい。
更に、図14を参照して下で説明されるように、拡張現実は、いわゆる「X線ビジョン」を含んでよい。具体的には、物理デバイス112が、不透明なバリア(壁又は家具など)の向こう側に配置された場合、無線通信デバイス110上に表示された画像によって、ユーザは、不透明なバリアが存在しないか、又は不透明なバリアを通して見ることができるかのように、物理デバイス112を見ることができるようになってよい。例えば、ユーザが別の部屋にあるネットワークプリンタを探している場合、ユーザが無線通信デバイス110をネットワークプリンタの方向に向けたときに、ネットワークプリンタの画像が、ユーザがネットワークプリンタにアクセスできるようにする情報と共に、無線通信デバイス110上に表示されてよい。したがって、ユーザは、無線通信デバイス110上に表示されたユーザインターフェース内のネットワークプリンタに関連付けられたアイコンをタップすることによって、ネットワークプリンタと組み合わせるか、又は接続する(あるいは、その他の方法で相互作用する)ように、無線通信デバイス110に指示してよい。代替的又は追加的に、ユーザインターフェースは、ネットワークプリンタに到達する方法に関する命令(及び任意選択的に建物マップ)を含んでよい。
同様に、図15を参照して下で更に説明されるように、ユーザインターフェース技術によって、ユーザは、(例えば、紛失を防ぐために)環境108内のオブジェクト(物理デバイス112など)の位置を追跡するか、又は環境108内の1つ以上の関連するオブジェクトに関するリマインダを取得することができるようになってよい。このようにして、親は、子供を追跡してよく、又は学校へ行く途中で何か(リュックサックなど)を決して置き忘れないようにしてよい。
更に、図16を参照して下で更に説明されるように、ユーザインターフェース技術を使用して、多種多様なフィードバックが、環境108内のユーザ又は他の個人に提供されてよい。無線通信デバイス110は、前に説明された視覚情報に加えて、無線通信デバイス110上で直接的に、又は別の電子デバイス(ユーザのスマートウォッチなど)を介して間接的に、触覚フィードバックをユーザに提供してよい。このようにして、ユーザは、物理デバイス112の方向に向いているなどの場合に、環境に関するフィードバックを受け取ってよい。
更に、無線通信デバイス110は、テキスト又はオーディオメッセージなどのメッセージを物理デバイス112に送信してよい。例えば、メッセージは、実質的に物理デバイス112に対応する位置のみで知覚可能なビーム形成されたオーディオメッセージとして送信されるオーディオメッセージ(例えば、プライベートオーディオブロードキャスト)を含んでよい。このようにして、無線通信デバイス110のユーザは、他の個人と通信するための電子的手段を有していない場合(ユーザが受信者の電話番号又は電子メールアドレスを知らないなどの場合)でも、プライベートメッセージを範囲内にいる別の個人に送信することができる。追加的又は代替的に、無線通信デバイス110は、ビーム形成されたオーディオメッセージを、環境108内の人の名前、達成するべきタスク、次回の予約などの関連する情報と共に、ユーザに送信してよい。
したがって、このユーザインターフェース技術は、ユーザが無線通信デバイス110を開くこと、又はロック解除することがないということを含めて、無線通信デバイス110が遠くからオブジェクト(又はオブジェクトに関連付けられた機能)を制御できるようにしてよい。このユーザインターフェース技術は、無線通信デバイス110が、環境108内のオブジェクトに関する状況認識を、直感的かつ有用な方法で提供できるようにしてもよい。これらの能力は、環境108内でオブジェクトと通信及び対話する方法において、新しい自由度をユーザに提供してもよい。その結果、このユーザインターフェース技術は、無線通信デバイス110を使用するときのユーザエクスペリエンスを向上することができるため、ユーザの満足度を高め、ユーザを維持することができる。
記載されている実施形態において、無線通信デバイス110、物理デバイス112、及び/又は物理デバイス118のうちの1つにおいてパケット又はフレームを処理することは、パケット又はフレームをエンコードする無線信号122を受信することと、受信された無線信号122からパケット又はフレームをデコード/抽出してパケット又はフレームを取得することと、パケット又はフレームを処理して、パケット又はフレームに含まれている情報(ペイロード内のデータなど)を決定することと、を含む。
一般に、ユーザインターフェース技術におけるWLANを介した通信は、様々な指標(又は通信性能指標)によって特徴付けられてよい。例えば、指標は、RSSI、データレート、正常な通信のデータレート(スループットと呼ばれることもある)、エラーレート(リトライ又は再送信のレートなど)、等化目標に対する等化信号の平均二乗誤差、符号間干渉、マルチパス干渉、信号対ノイズ比、アイパターンの幅、ある時間インターバル(1~10秒など)内に伝達可能な推定最大バイト数に対する、その時間インターバル中に正常に伝達されたバイト数の比(伝達可能な推定最大バイト数は、通信チャネル又はリンクの「容量」と呼ばれることもある)、及び/又は推定データレートに対する実際のデータレートの比(「使用率」と呼ばれることもある)を含んでよい。
本発明者らは、一例として図1に示されるネットワーク環境について説明しているが、代替実施形態では、異なる数又は種類の電子デバイスが存在してもよい。例えば、一部の実施形態は、より多くの電子デバイス、又はより少ない電子デバイスを含む。別の例として、別の実施形態では、異なる電子デバイスがパケット又はフレームを送信及び/又は受信することができる。
次に、本発明者らは電子デバイスの諸実施形態について説明する。図2は、電子デバイス200(ポータブル電子デバイス又はステーションであってよい)の例のブロック図を示している。例えば、電子デバイス200は、図1の無線通信デバイス110、物理デバイス112、及び/又は物理デバイス118のうちの1つであってもよい。電子デバイス200は、処理サブシステム210、メモリサブシステム212、ネットワーキングサブシステム214、表示サブシステム226、測定サブシステム230、及びユーザ対話サブシステム232を含んでよい。処理サブシステム210は、計算動作を実行するように構成されている1つ以上のデバイスを含む。例えば、処理サブシステム210は、1つ以上のマイクロプロセッサ、特定用途向け集積回路(application-specific integrated circuits、ASIC)、マイクロコントローラ、プログラム可能ロジックデバイス、及び/又は1つ以上のデジタル信号プロセッサ(digital signal processors、DSP)を含むことができる。
メモリサブシステム212は、処理サブシステム210及びネットワーキングサブシステム214に関するデータ及び/又は命令を記憶するための、1つ以上のデバイスを含む。例えば、メモリサブシステム212は、ダイナミックランダムアクセスメモリ(dynamic random access memory、DRAM)、スタティックランダムアクセスメモリ(static random access memory、SRAM)、読み出し専用メモリ(read-only memory、ROM)、フラッシュメモリ、及び/又は他のタイプのメモリを含むことができる。いくつかの実施形態では、メモリサブシステム212内の処理サブシステム210のための命令は、処理サブシステム210により実行され得る、1つ以上のプログラムモジュール又は命令のセット(プログラムモジュール222又はオペレーティングシステム224など)を含む。例えば、ROMは、実行されるプログラム、ユーティリティ、又はプロセスを不揮発に記憶することができ、DRAMは、揮発性データ記憶を提供することができ、電子デバイス200の動作に関係する命令を記憶してよい。1つ以上のコンピュータプログラムが、コンピュータプログラム機構又はソフトウェアを構成してよいということに注意する。更に、メモリサブシステム212内の様々なモジュール内の命令は、高水準手続き型言語、オブジェクト指向プログラミング言語、並びに/又はアセンブリ言語若しくは機械語で実装されてよい。更に、プログラミング言語は、処理サブシステム210によって実行されるようにコンパイル又は解釈されてよく、例えば、そのように構成可能であるか、又は構成されてよい(これらは本明細書において互換的に使用されてよい)。いくつかの実施形態では、1つ以上のコンピュータプログラムは、1つ以上のコンピュータプログラムを分散して記憶し、実行するように、ネットワーク結合されたコンピュータシステム上に分散している。
更には、メモリサブシステム212は、メモリへのアクセスを制御するための機構を含むことができる。いくつかの実施形態では、メモリサブシステム212は、電子デバイス200内のメモリに結合される、1つ以上のキャッシュを含むメモリ階層を含む。これらの実施形態のいくつかでは、キャッシュのうちの1つ以上は、処理サブシステム210内に配置される。
いくつかの実施形態では、メモリサブシステム212は、1つ以上の大容量の大記憶デバイス(図示せず)に結合される。例えば、メモリサブシステム212は、磁気若しくは光学ドライブ、ソリッドステートドライブ、又は別のタイプの大記憶デバイスに結合され得る。これらの実施形態では、メモリサブシステム212は、頻繁に使用されるデータ用の高速アクセス記憶装置として、電子デバイス200によって使用することができるが、その一方で、大記憶デバイスは、使用頻度の低いデータを記憶するために使用される。
ネットワーキングサブシステム214は、制御論理216、インターフェース回路218、及び種々の任意選択的なアンテナパターン又は「ビームパターン」を生成するために制御論理216によって選択的にオン及び/又はオフすることができる適応アレイ内のアンテナのセット220(又はアンテナ素子)を含む、有線ネットワーク及び/又は無線ネットワークに結合し、それらの上で通信するように(すなわち、ネットワークオペレーションを実行するように)構成された、1つ以上のデバイスを含む。(図2はアンテナのセット220を含んでいるが、いくつかの実施形態では、電子デバイス200は、アンテナのセット220に結合することができるノード208などの1つ以上のノード、例えば、パッドを含む。したがって、電子デバイス200は、アンテナのセット220を含んでも、あるいは含まなくてもよい。)例えば、ネットワーキングサブシステム214としては、Bluetooth(登録商標)ネットワーキングシステム、セルラネットワーキングシステム(例えば、UMTS、LTEなどの3G/4Gネットワーク)、ユニバーサルシリアルバス(universal serial bus、USB)ネットワーキングシステム、IEEE802.11に記載される標準規格に基づくネットワーキングシステム(例えば、Wi-Fi(登録商標)ネットワーキングシステム)、イーサネット(登録商標)ネットワーキングシステム、及び/又は別のネットワーキングシステムを挙げることができる。
ネットワーキングサブシステム214は、プロセッサ、コントローラ、無線機/アンテナ、ソケット/プラグ、及び/又は、サポートされている各ネットワーキングシステムに結合し、そのネットワーキングシステム上で通信し、そのネットワーキングシステムに関するデータ及びイベントを処理するために使用される、他のデバイスを含む。それぞれのネットワークシステムのための、ネットワークに結合し、その上で通信し、その上のデータ及びイベントを処理するために用いられる機構は、時として、まとめて、ネットワークシステムのための「ネットワークインターフェース」と呼ばれることに留意されたい。更に、いくつかの実施形態では、電子デバイス間の「ネットワーク」又は「接続」は、まだ存在しない。したがって、電子デバイス200は、電子デバイス間の単純な無線通信を実行するため、例えば、アドバタイジングフレーム若しくはビーコンフレームを送信し、かつ/又は他の電子デバイスによって送信されたアドバタイジングフレームをスキャンするために、ネットワーキングサブシステム214内の機構を使用してよい。
電子デバイス200内で、処理サブシステム210、メモリサブシステム212、ネットワーキングサブシステム214、表示サブシステム226、測定サブシステム230、及びユーザ対話サブシステム232は、これらのコンポーネント間のデータ転送を容易にするバス228を使用して互いに結合される。バス228は、サブシステムが互いの間でコマンド及びデータを通信するために使用することができる電気的、光学的、及び/又は電気光学的接続を含んでよい。わかりやすくするために1本のバス228のみが示されているが、異なる実施形態は、異なる数又は構成の電気的、光学的、及び/又は電気光学的接続をサブシステム間に含むことができる。
いくつかの実施形態では、電子デバイス200は、情報をディスプレイに表示するための表示サブシステム226を含んでおり、表示サブシステム226は、ディスプレイドライバ、及び液晶ディスプレイ、マルチタッチタッチスクリーンなどのディスプレイを含んでよい。表示サブシステム226は、情報(例えば、着信通信セッション、発信通信セッション、又はアクティブ通信セッションに関連する情報)をユーザに表示するように、処理サブシステム210によって制御されてよい。いくつかの実施形態では、表示サブシステム226は、非ネイティブディスプレイ(例えば、他のデバイスに関連付けられたディスプレイ)のための表示情報を生成するように構成され得る。
電子デバイス200は、電子デバイス200が1つ以上のタイプの測定を実行できるようにする、1つ以上のセンサを含んでいる測定サブシステム230を含むこともできる。例えば、1つ以上のセンサは、1つ以上のコンパス、1つ以上の加速度計、1つ以上のジャイロスコープ、1つ以上のマイクロフォン又は音響トランスデューサ、1つ以上の環境センサ(温度センサ及び/又は高度計など)、1つ以上の光センサ(周辺光センサなど)、1つ以上のタッチセンサ(タッチスクリーンなど)、1つ以上のバイオメトリックセンサ(指紋センサなど)を含んでよい。1つ以上のセンサが、電子デバイス200内の物理センサ及び/又は仮想センサ(ソフトウェアにおいて少なくとも部分的に実装されるセンサなど)を含んでよいということに注意する。いくつかの実施形態では、1つ以上のセンサのうちの少なくとも一部が、リモート電子デバイスから受信された情報に基づいて、センサデータを決定する。
更に、電子デバイス200は、ユーザ対話サブシステム232を含んでよい。例えば、ユーザ対話サブシステム232は、ボタン、キーパッド、ダイヤル、タッチスクリーン、オーディオ入力インターフェース、視覚/画像キャプチャ入力インターフェース、センサデータの形態での入力などの、様々なユーザ入力デバイスを含むことができる。代替的又は追加的に、ユーザ対話サブシステム232は、1つ以上のスピーカ(指向性音響アレイを提供してよい)、触覚トランスデューサなどの、様々なユーザ出力デバイスを含んでよい。
電子デバイス200は、少なくとも1つのネットワークインターフェースを有する任意の電子デバイスであることができる(又は、該任意の電子デバイス内に含めることができる)。例えば、電子デバイス200は、携帯電話又はスマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ノート型コンピュータ、パーソナル又はデスクトップコンピュータ、ネットブックコンピュータ、コンピューティングデバイス、共有コンピューティングデバイス(プリンタなど)、メディアプレイヤデバイス、電子書籍デバイス、スマートウォッチ、ウェアラブルコンピューティングデバイス、ウェアラブルデバイス、ポータブルコンピューティングデバイス、消費者電子デバイス、アクセスポイント、ルータ、スイッチ、通信機器又は通信デバイス、試験装置、器具、エンタテインメントデバイス、テレビ、ディスプレイ、無線受信機、セットトップボックス、オーディオデバイス、プロジェクタ、医療デバイス(自動体外式除細動器など)、セキュリティデバイス、警報、監視デバイス(例えば、煙探知器又は一酸化炭素検知器)、環境制御、サーモスタット、照明スイッチ、アクセサリ、キーボード、マウス、スピーカ、プリンタ、ホームオートメーションデバイス、車両、電子ロック、及び1つ以上の無線通信プロトコルを介した通信を含むことができる無線通信能力を有する任意のその他のタイプの電子コンピューティングデバイスを含んでよい。
電子デバイス200を説明するために特定の構成要素が用いられているが、代替実施形態では、異なる構成要素及び/又はサブシステムが電子デバイス200内に存在してよい。例えば、電子デバイス200は、1つ以上の追加の処理サブシステム、メモリサブシステム、ネットワーキングサブシステム、及び/又は表示サブシステムを含んでよい。更に、これらのサブシステムのうちの1つ以上は、電子デバイス200内に存在しなくてよい。更に、いくつかの実施形態では、電子デバイス200は、図2に示されていない1つ以上の追加的サブシステムを含んでよい。また、図2には、独立したサブシステムが示されているが、いくつかの実施形態では、所与のサブシステム又は構成要素の一部又はすべてが、電子デバイス200内の他のサブシステム又は構成要素(単数又は複数)のうちの1つ以上に統合され得る。例えば、いくつかの実施形態では、プログラムモジュール222がオペレーティングシステム224に含まれ、かつ/又は、制御論理216がインターフェース回路218内に含まれる。
更に、電子デバイス200内の回路及び構成要素は、バイポーラ、PMOS及び/又はNMOSゲート又はトランジスタを含む、アナログ及び/又はデジタル回路機構の任意の組み合わせを用いて実装されてよい。更に、これらの実施形態における信号は、ほぼ離散的な値を有するデジタル信号、及び/又は連続的な値を有するアナログ信号を含んでよい。加えて、構成要素及び回路はシングルエンド形又は差動形であってもよく、電源はユニポーラ形又はバイポーラ形であってもよい。
集積回路(「通信回路」と呼ばれることがある)は、ネットワーキングサブシステム214の機能の一部又はすべてを実装してよい。この集積回路は、電子デバイス200から無線信号を送信し、電子デバイス200において他の電子デバイスから信号を受信するために使用されるハードウェア及び/又はソフトウェア機構を含んでよい。本明細書において説明されている機構を除いて、無線機は当技術分野において一般的に知られており、それゆえ、詳細には説明されない。一般に、ネットワーキングサブシステム214及び/又は集積回路は、任意の数の無線機を含むことができる。複数の無線機の実施形態における無線機は、記載されている単一の無線機の実施形態と同様に機能することに留意されたい。
いくつかの実施形態では、ネットワーキングサブシステム214及び/又は集積回路は、無線機(単数又は複数)を、所与の通信チャネル(例えば、所与の搬送周波数)上で送信及び/又は受信するように構成する(1つ以上のハードウェア及び/又はソフトウェア機構などの)構成機構を含む。例えば、いくつかの実施形態では、構成機構は、無線機を、所与の通信チャネル上における監視及び/又は送信から、異なる通信チャネル上における監視及び/又は送信へ切り替えるために用いることができる。(本明細書において使用されている「監視」が、他の電子デバイスからの信号を受信すること、及び場合によっては、受信された信号に対して1つ以上の処理動作を実行すること、例えば、無線測距を実行すること、などを含むことに留意されたい。)
いくつかの実施形態では、本明細書で説明された回路のうちの1つ以上を含む集積回路又は集積回路の一部分を設計するためのプロセスの出力は、例えば、プログラマブルメモリ、磁気テープ、あるいは光ディスク又は磁気ディスクなどのコンピュータ可読媒体であってよい。コンピュータ可読媒体は、データ構造、あるいは集積回路又は集積回路の一部分として物理的にインスタンス化され得る回路について説明する他の情報を用いて符号化され得る。そのような符号化のために種々のフォーマットが使用され得るが、これらのデータ構造は一般に、Caltech Intermediate Format(CIF)、Calma GDS II Stream Format(GDSII)又はElectronic Design Interchange Format(EDIF)で書かれている。集積回路設計の技術分野に精通している者は、上記に詳述したタイプの概略図及び対応する説明からそのようなデータ構造を開発することができ、データ構造をコンピュータ可読媒体上に符号化することができる。集積回路製造の技術分野に精通している者は、そのような符号化されたデータを使用して、本明細書で説明する回路のうちの1つ以上を含む集積回路を製造することができる。
ユーザインターフェース技術は、種々のネットワークインターフェースにおいて使用されてよい。更に、上記の諸実施形態における動作のいくつかはハードウェア又はソフトウェアの形で実施されたが、一般的には、上記の実施形態における動作は多種多様な構成及びアーキテクチャで実施することができる。したがって、上記の諸実施形態における動作の一部又はすべては、ハードウェアの形、ソフトウェアの形又はその両方の形で実行されてもよい。例えば、ユーザインターフェース技術における動作のうちの少なくともいくつかは、プログラムモジュール222、オペレーティングシステム224(インターフェース回路218のためのドライバなど)を使用して、又はインターフェース回路218内のファームウェアで実施されてよい。代替的又は追加的に、ユーザインターフェース技術における動作の少なくともいくつかは、インターフェース回路218内のハードウェアなどの、物理層内で実施されてよい。例示的な実施形態では、ユーザインターフェース技術は、インターフェース回路218内のMAC層で少なくとも部分的に実装される。
例示的な実施形態では、ユーザインターフェース技術は、方向制御を行うために使用される。具体的には、1つ以上の測定に基づいて、オブジェクトに対する無線通信デバイスの位置及び向きが決定された場合、無線通信デバイスで入力又は実行された1つ以上のジェスチャが、オブジェクトに対するコマンドとして解釈されてよい。更に下で説明されるように、無線測距及び(ジャイロスコープ、加速度計、コンパスなどからの)センサデータ入力が、オブジェクトを選択すること、オブジェクトと組み合わせること、及び/又は、オブジェクトに対して命令することのために使用されてよい。
例示的な実施形態では、ユーザインターフェース技術は、環境制御において1つ以上のオブジェクトに関する情報を直感的に提供するために使用される。具体的には、オブジェクトに対する範囲及び/又は方向が、無線通信デバイスによって、1つ以上の測定(無線測距及び/又は向きなど)に基づいて決定された場合、無線通信デバイスは、決定された範囲及び/又は方向を使用して、オブジェクトに関する出力情報を(ユーザインターフェースなどにおいて)直感的に提供してよい。
電子デバイスの制御
図3は、無線測距に少なくとも部分的に基づく、ジェスチャを使用したオブジェクトの制御の例を示す図面300を提供している。具体的には、ユーザインターフェース技術では、ユーザは、無線通信デバイス110を使用して、例えば、2次元内又は3次元内で1つ以上のジェスチャ又は動きを実行することによって、オブジェクトの仮想表現(例えば、仮想表現114)との対話を用いて、物理デバイス(例えば、物理デバイス112)を制御するか、又は物理デバイスの制御入力を生成してよい。実際のデバイス又は仮想表現であり得るオブジェクト310に対してジェスチャ入力を生成する、無線通信デバイス110が示されている。例えば、ユーザは、携帯電話を使用して、無線通信デバイス110を上から下(又は下から上)に移動するなどによって、ジェスチャを実行することにより、テレビの音量又は選択されるチャネルを制御してよく、あるいは室内照明を点灯又は消灯してよい。あるいは、ユーザは、部屋又は図1の環境108内の所定の物理的位置(図1の物理的位置116など)で照明スイッチの仮想表現を制御してよい(すなわち、所定の物理的位置に物理的照明スイッチが存在しなくてよい)。所定の物理的位置(及び、更に一般的には、3次元空間内の所定の物理的位置)が、トレーニングプロセスの間に、ユーザによって無線通信デバイス110を使用して指定されていてよく、例えば、無線通信デバイス110を物理的位置に近づけるか、又は接触させて、無線通信デバイス110上のタッチ感知ディスプレイに表示されたユーザインターフェース内の仮想コマンドアイコンをアクティブにすることによって、あるいは無線通信デバイス110を物理的位置に接触させて、コマンド又は命令を言葉で言い、それらのコマンド又は命令が無線通信デバイス110によって監視されて、音声認識技術を使用して解釈されることによって、指定されていてよいということに注意する。
ユーザインターフェース技術では、ユーザは、無線通信デバイス110をオブジェクト310の方、又は大まかな方向(例えば、オブジェクト310から5°以内など)に、伸ばすことなどによって、「意図ジェスチャ」312を使用してオブジェクト310を指定して(又は、その他の方法で示して)よい。その後、ユーザは、例えばオブジェクト310と相対的に無線通信デバイス110を移動することによって、「アクションジェスチャ」314を実行してよい。1つの例では、無線通信デバイス110は、例えば値における増加又は減少を伝えるために、オブジェクト310と相対的に、それぞれ上又は下に移動され得る。横方向の移動及び/又は回転移動を行うことなどによって、その他のジェスチャが使用されてもよい。更に、ジェスチャは、単純(例えば、垂直移動又は水平移動などの、1つの移動を伴う)であるか、又は複雑(例えば、水平移動、垂直移動、横方向の移動、及び/又は回転移動の組み合わせなどの、2つ以上の動きを伴う)であることができる。これらの動作は、ユーザが無線通信デバイス110をオブジェクト310の方、又は大まかな方向に向けている間に、実行されてよい。
意図的ジェスチャ312を検出するために、無線通信デバイス110は、オブジェクト310の位置又は場所に対する無線通信デバイス110の向きを測定してよい。例えば、オブジェクト310は、オブジェクト310によって伝達される一般的識別子又は一意の識別子に基づいて特定されてよく、その相対位置は、無線距離(例えば、無線信号122を使用する)、指標(RSSIなど)、及び/又は向きに基づいて、決定されてよい。更に、アクションジェスチャ314を検出するために、無線通信デバイス110は、例えばセンサ入力及び/又は無線測距を使用して、移動、加速度、及び/又は距離316を測定してよい。なお、無線測距は、2GHz無線帯域内、5GHz無線帯域内、ISM帯域内、60GHz無線帯域内、超広帯域内などの、周波数の1つ以上の帯域内で、実行されてよい。
加えて、オブジェクト310が、(隣接する部屋でも、近隣の部屋でもない)同じ部屋などの、無線通信デバイス110と同じ環境108(図1)内にあるかどうかを判定するために、無線通信デバイス110によって周囲の音が使用されてよい。例えば、無線通信チャネル(WLANなど)を介して無線通信デバイス110と共有される、オブジェクト310によって記録された周囲の音が、無線通信デバイス110によって測定された周囲の音と比較されてよい。それらが同じである場合、無線通信デバイス110とオブジェクト310は同じ部屋にあることがある。代替的又は追加的に、無線通信デバイス110は、例えば介在する物理的障壁がない場合にオブジェクト310によって検出され得る1つ以上の音響チャープ又は音(単数又は複数)(人間が聴くことができる周波数の範囲外の周波数の帯域内であってよい)を出力してよい。
更に一般的には、1つ以上の他のデバイス(物理デバイス118など)との間での、環境108(図1)内の1つ以上の潜在的なターゲットデバイス(オブジェクト310など)の曖昧さをなくすために、無線通信デバイス110によって実行される測定のうちの1つ以上が使用されてよい。例えば、無線通信デバイス110のユーザの方を向いているオブジェクト310は、環境内の別のオブジェクトと同じ向き、異なる高さ、及び/あるいは同じであるか、又は異なるRSSIを有してよい。距離316と共に、1つ以上の測定値が、すべての使用可能なデバイスからオブジェクト310を特定するために使用されてよい。更に、前述したように、周囲の音に基づいて、潜在的なターゲットデバイスが実行されてよい。例えば、周囲の音は、デバイスがポケット又は財布内にあることを示すことがあり、したがって、情報の組み合わせ又は共有のための、意図ジェスチャ312のターゲットになる可能性が低い。
いくつかの実装では、例えばテーブルの下、又はポケット/バッグ内にある1つ以上の潜在的なターゲットデバイスが、意図ジェスチャ312によって指定されることが意図されている可能性が低い場合に、それらを除外するために、高度計が使用され得る。別の例では、無線通信デバイス310の一次無線範囲内又は無線近接性の範囲内にあるが、適切な物理空間又は物理的近接性の外部にある潜在的なターゲットデバイスを除外するために、1つ以上の超音波チャープ又は60GHzの送信が使用され得る(例えば、除外される潜在的なターゲットデバイスは、別の室内に配置されているか、又は容器の内部に格納されていてよい)。
2つ以上の潜在的なターゲットデバイスを、これらの方法のうちの1つ以上において区別できない場合、無線通信デバイス110のユーザは、特定された潜在的なターゲットデバイスのセットのうちから選択するよう要求されてよい。例えば、潜在的なターゲットデバイスのリストを含むユーザインターフェースが、無線通信デバイス110のディスプレイ上に表示されてよい。その後、ユーザは、例えば意図ジェスチャ312の意図されたターゲットをインターフェースから選択し、所望のアクションジェスチャ314又はその他のそのような制御入力を提供することができる。
前の説明は意図ジェスチャ312及びアクションジェスチャ314の例示的な例を含んでいたが、一般的にこれらのジェスチャは、1つ以上の方向の直線運動、1つ以上の軸を中心とする回転、円弧に沿った動き、仮想タッピング、図形に基づくジェスチャ(例えば、8の字のジェスチャ)、文字又は数字の形状でのジェスチャ、直線運動(単数又は複数)と回転(単数又は複数)の組み合わせなどの、2次元又は3次元での多種多様な動き及び回転を含んでよい。更に一般的には、アクションジェスチャ314は、変更のタイプ又は所望の制御動作への直感的対応を有してよい。例えば、ジェスチャを使用するオブジェクトの制御の例を示す図面400を提供する図4に示されているように、上向き及び/又は下向きのアクションジェスチャ410が、ヒータ若しくはサーモスタットの温度設定、又はオブジェクト(窓の日よけ又は網戸など)の位置などの、値又は設定を増やす(又は減らす)ために使用されてよい。同様に、ジェスチャを使用するオブジェクトの制御の例を示す図面500を提供する図5に示されているように、アクションジェスチャ510は、エンタテインメントデバイスの音量などの値又は設定の変更に対応する、左回転及び/又は右回転を含んでよい。
1つの例では、ユーザは、携帯電話をテレビに向けてよい。携帯電話は、無線測距によって、テレビが範囲内にある(すなわち、意図されたターゲットデバイスになることができるほど十分に近い)ということを決定してよい。加速度計及び/又はジャイロスコープ入力は、無線通信デバイス110がテレビ(例えば、オブジェクト310)に対して命令(例えば、アクションジェスチャ)を実行するために使用されていることを示す、意図ジェスチャ312として解釈され得る相対運動の更なる通知を提供してよい。更に、1つ以上のアクションジェスチャ(例えば、314、410、及び/又は510のいずれか)が、テレビを制御する1つ以上のコマンドを示すために、提供され得る。例えば、ユーザは、携帯電話を右に回して、テレビの音量を増やすか、又はチャネルを変更することができる。
ユーザインターフェース技術は、無線通信デバイス110を別の電子デバイスと直感的に組み合わせるために使用されてもよく、その後、組み合わせられた電子デバイスは、互いに通信できるようになる。例えば、ユーザは、意図ジェスチャ312及びアクションジェスチャ(314、410、及び/又は510)を実行することによって、物理デバイスと無線でデータを交換又は共有したいという要求を遠隔で示すことができてよい。これらの操作が実行されるときに、無線通信デバイス110及び/又は物理デバイスは、組み合わせることに対する確認及び/又は認可を要求するメッセージを、ユーザインターフェースに表示してよい。加えて、他の物理デバイスは、指定された時間インターバル(例えば、10分又は1時間)の間、組み合わせることに同意してよく、この時間インターバルの経過後、組み合わせが無効化されてよい。このようにして、無線通信デバイス110のユーザは、組み合わせプロセスの制御を維持してよく、組み合わせられる物理デバイスが同じ環境(同じ部屋など)内にあることを確認することなどによって、組み合わせが安全であることを保証できるようにしてもよい。無線通信デバイス110は、指向性意図及びアクションジェスチャを提供することによって、組み合わせることが意図されたオブジェクト310に電子的に成りすまそうとしているデバイスとの組み合わせを回避してよい。同様にして、指向性意図及びアクションジェスチャは、近接しているが、環境内の異なる位置又は高度にある、オブジェクト310以外のデバイスとの偶発的な組み合わせを回避することができる。このアプローチは、情報の共有及び/又は組み合わせの複雑さを低減することに役立つこともある。例えば、組み合わせプロセス中に、パスワードは必要とされなくてよい。いくつかの実施形態では、意図ジェスチャ及びアクションジェスチャ(単数又は複数)の後に、無線通信デバイス及び物理デバイスは、暗号キーを交換することができる。
別の例では、無線通信デバイス110を、組み合わせるという意図が存在するか、又はコマンドの発行先にするという意図が存在するオブジェクトの方向に向けることができる。無線通信デバイス110のカメラは、視野内のすべてのオブジェクトの画像をキャプチャしてよく、1つ以上の候補デバイスを表示する選択可能な画面上のインターフェースを提示することができる。その後、ユーザは、組み合わせるべきデバイス(及び、任意選択的に、例えばプロトコル)を選択できる。
更に別の例では、リソースを要求するため、又は情報を取得するために、無線通信デバイス110をオブジェクト310に向けることができる。例えば、タクシーを呼び止めるために、(例えば、アクションジェスチャ314、410、及び/又は510を伴って、又は伴わずに、意図ジェスチャ312を使用して)無線通信デバイス110をタクシー(例えば、オブジェクト310)に向けることができる。更に、格付けを取得するため、又は予約するために、(例えば、アクションジェスチャ314、410、及び/又は510を伴って、又は伴わずに、意図ジェスチャ312を使用して)無線通信デバイス110をレストラン(又は、レストランに関連付けられたオブジェクト310)に向けることができる。同様に、無線通信デバイス110をプリンタに向けることによって、無線通信デバイス110は、プリンタと相互作用する(例えば、設定するか、又は印刷する)ことができる。例えば、意図ジェスチャ312、並びにアクションジェスチャ314、410、及び/又は510は、(例えば、印刷ジョブを開始するための)情報をプリンタに送信するため、又は1つ以上の設定/構成の制御を開始するために、無線通信デバイス110で提供され得る。
無線測距及び指向性が、1つ以上のセンサから情報を取得するために使用されてもよい。例えば、測定値を取得するために、無線通信デバイス110をセンサ(例えば、サーモスタット又はタイヤ圧力計)に向けることができる。いくつかの実施形態では、アクションジェスチャ314、410、及び/又は510を伴って、又は伴わずに、意図ジェスチャ312を使用して、センサデータの通信を開始することができる。同様に、ストア内のアイテム又はディスプレイを操作して、価格又は在庫情報などの属性を確認することなどによって、サーバから情報を取得するために、1つ以上の意図及び/又はアクションジェスチャを無線通信デバイス110で提供することができる。
更に、オブジェクト310によって選択的に送信される(一般的又は一意の)識別子によって、例えば無線通信デバイス110による、オブジェクト310の特定が容易になってよい。例えば、この識別子は、特定の電子デバイス(例えば、オブジェクト310)に関連付けられた、持続的な一意の識別子であってよい。無線通信デバイス110は、持続的な一意の識別子を(例えば、ローカルに、又はクラウド内に)記憶することができ、この識別子を、(連絡先情報内の)人、オブジェクト、又は位置に関連付けることができる。受信された無線通信において識別子が検出された場合、無線通信デバイス110は、既知の電子デバイス(例えば、オブジェクト310)が近接していることを示す通知を提供することができる。あるいは、識別子は、無線通信デバイス110又はオブジェクト312上で実行されるアプリケーションによって割り当てられる識別子などの、過渡的又は一時的な識別子であってよい。例えば、相乗りアプリケーションは、識別子を無線通信デバイス110に一時的に割り当ててよく、その後、この識別子をブロードキャストすることができる。更に、相乗りアプリケーションは、過渡的な識別子を、割り当てられた運転手に対応するデバイスに提供し、人を車で拾うことを容易にすることができる。同様に、運転手のデバイスに対応する(持続的又は過渡的な)識別子を無線通信デバイス110に提供して、運転手を検証することができる。過渡的な識別子は、1時間などの所定の時間の経過後、又はトランザクションの完了時に、有効期限が切れてよい。任意の数の持続的及び過渡的な識別子をデバイス又はオブジェクトに関連付けて、例えば、様々なシナリオにまたがる特定を容易にすることができる。
更に、割り当てられた識別子は、ユーザのプライバシーを保護するため、及びセキュリティを提供するために、時間と共に変更されてよい。具体的には、識別子は、図1の任意選択的なサーバ126(有線ネットワーク又は無線ネットワークなどの、図1のネットワーク124を介してアクセスされてよい)によって割り当てられてよく、定期的に(時間インターバル(例えば、5分又は1日)が経過した後などに)更新されてよい。追加的又は代替的に、識別子は、例えば特定のトランザクションのための、1回限りの識別子として割り当てられてよい。いくつかの実施形態では、識別子は、デバイス又はオブジェクト(オブジェクト310など)に持続的に割り当てられ得る、匿名の識別子であることができる。その後、匿名の識別子は、匿名の識別子及び識別情報の項目が共有されている他のデバイスによってのみ解決され得る。
消費電力を低減するために、無線通信デバイス110及び/又はオブジェクト312は、定期的にのみ、又はイベント(既知の連絡先に関連付けられた識別子の検出など)の発生時にのみ、1つ以上の識別子を送信してよい。追加的又は代替的に、無線通信デバイス110及び/又はオブジェクト312は、別の(既知又は未知の)デバイスに近接していること、別のデバイスを含んでいるトランザクションに関与していること、特定の領域内(例えば、地理上のフェンスで囲まれた領域内)に存在することなどの、1つ以上の条件が満たされたときにのみ、ユーザの入力に応じて、及び/又はイベント(例えば、約束又は会合)に基づいて、1つ以上の識別子の受信を試みてよい。例えば、Bluetooth(登録商標)低エネルギー(Bluetooth low energy、BLE)受信機は、例えばオブジェクト312からの識別子を含んでいる広告(又は、他のメッセージ)を定期的にスキャンしてよい。スキャン速度は、動き、時間、及び/又は利用可能な電力などの1つ以上の要因に基づいて、変化することができる。既知の識別子を検出することに応じて、無線通信デバイス110は、1つ以上の他の通信インターフェースをアクティブ化してよく、無線測距を有効化してよく、それによって、例えば、無線通信デバイス110は、オブジェクト312からメッセージを受信すること、並びに/あるいはオブジェクト312への方向及び/又はオブジェクト312までの距離316を決定することができるようになる。
更に、前述したように、ユーザインターフェース技術は、仮想オブジェクトの使用を容易にしてよい。これらの実施形態は、仮想オブジェクトを定義すること、及び無線測距/方向制御入力を介して仮想オブジェクトを制御することを含んでよい。いくつかの実施形態では、仮想オブジェクト(例えば、仮想表現114)との対話は、無線測距を実行せずに、無線通信デバイス110の向き及び受信された意図ジェスチャに基づくことができる。
例えば、仮想オブジェクト又は仮想表現は、ドアの近くの仮想照明スイッチ又は仮想サーモスタットなどの特定の物理的位置において、確立され得る。仮想オブジェクトは、1つ以上の座標のみに対応して、仮想アイテム(例えば、ステッカー)によって物理的に表されることが可能であり、又は純粋に仮想的であることができる。仮想オブジェクトは、関連する物理デバイスによって定義されてもよい。例えば、プロジェクタは、例えば壁で仮想コントロールを定義することができ、仮想コントロールの位置を宣伝することができ、他の電子デバイスが仮想コントロールを操作してプロジェクタへの実際の入力を実現できるようにする。
前述したように、仮想オブジェクトを含む実施形態では、デバイス(例えば、無線通信デバイス110)が、特定の位置にある仮想デバイス(例えば、壁の特定の位置に対応する仮想コントロール)を定義してよい。仮想デバイスがより大きいシステムの一部として定義され得るということに注意する。例えば、施設は、すべての出入口に隣接する(例えば、照明スイッチで)仮想サーモスタットを定義してよい。あるいは、仮想デバイスは特定のデバイスによって定義されてよく、例えば、プロジェクタは、壁又はその他の表面上でコントロールを定義してよく、そのコントロールの位置を無線で宣伝してよく、それによって、他の電子デバイスが、仮想コントロールを現実であるかのように操作できるようにする。
このようにして、無線通信デバイス110(例えば、携帯電話又はウェアラブル)は、制御デバイス(例えば、動的な遠隔制御)として機能することができてよい。更に、無線通信デバイス110は、特定の入力機構を有するように構成されずに、ジェスチャを介して多種多様なオブジェクト(例えば、オブジェクト310)に制御入力を提供することができてよい。これによって、無線通信デバイス110のディスプレイは、より大きいモニタのための代理のタッチスクリーンとして機能することができてよく、コンパス、ジャイロスコープ、加速度計、高度計、タッチ入力、及び/又はマイクロフォンなどのセンサ/入力を使用して、このモニタに関連付けられた入力及び/又は出力を制御することができる。いくつかの実施形態では、無線通信デバイス110を、プライマリディスプレイに対応する第2の画面として使用することができる(第2の画面がプライマリディスプレイを正確に反映してもしなくてもよいということに注意する)。その後、プライマリディスプレイを制御するために、ジェスチャに基づく(タッチに基づくことを含む)制御(例えば、ピンチ、ズーム、スクロール、スワイプなど)が提供され得る。
更に、例えば無線通信デバイス110に対して、ジェスチャに基づく制御入力を使用して、電子デバイス間のコンテンツの転送などの機能を実行してよい。例えば、無線通信デバイス110に対して、1つ以上のジェスチャに基づく制御入力を使用して、コンテンツを第2の電子デバイスに送信する(例えば、「投げる」)こと、コンテンツを第2の電子デバイスから取得すること、第2の電子デバイスを制御する(例えば、コンピュータの所有権を受け取り、そのコンピュータに自分のコンテンツ/設定を複製する)ことなどを実行することができる。したがって、1つ以上のジェスチャに基づく入力(例えば、フリップ、プッシュ、擦り、スワイプ、又はタップ)を使用して、無線通信デバイス110から、より大きいディスプレイ又はコンピュータなどの別のデバイスへ(又は、別のデバイスから無線通信デバイス110へ)の転送を示すことができる。同様に、無線通信デバイス110に対して、ジェスチャに基づく入力を使用して、あるデバイスから別のデバイスへ、無線通信デバイス110をデータキャリアとして用いて何かを移動することができる。
いくつかの実装では、仮想オブジェクトは、例えばサービスのための、仮想キュー(又はライン)のような構造を包含してよい。例えば、仮想キューは、実体又はリソース(例えば、切符売り場又はストア)に関連して定義されることが可能であり、近接している電子デバイスは、仮想キューを維持しているホストデバイスに関連する識別子(例えば、一意の過渡的な識別子)を送信することによって、仮想キューに登録することができる。デバイス(例えば、無線通信デバイス110)の仮想キューの位置は、デバイスが仮想キューの物理的位置に近接したままである間、又はキューが処理されるまで、維持され得る。更に、仮想キュー内の位置は、登録されたデバイスに提示されることも可能であり、更新され得る。ホストデバイスは、(例えば、切符売り場で)登録されたデバイスの順番に達したとき、又は近づいたときに、そのことを登録されたデバイスに通知することができる。
コスト節約に加えて、仮想表現又は仮想オブジェクトを対応する物理デバイスに対して使用し、魅力の少ない物理デバイス(照明スイッチなど)を魅力的なプレースホルダ(セラミックオブジェクト)と交換するか、又は物理デバイスを一括して削除することによって、環境を更に見た目に美しくすることができることもある。このアプローチは、仮想表現に関連付けられた位置を簡単に再定義することによって、仮想表現を意のままに移動することもできる。その後、ユーザが、自分の電子デバイス(例えば、無線通信デバイス110)を新しい位置に向けたときに、意図ジェスチャ及びアクションジェスチャを実行した場合、関連する操作(単数又は複数)が実行されてよい。
いくつかの実施形態では、関連する物理デバイスを制御するために使用されるジェスチャは、暗黙的であってよい。そのような実施形態では、無線測距によって決定された近接性が、関連する意図及びアクションジェスチャを伴うことなく、制御可能なデバイスを関与させるために使用されてよい。例えば、ユーザが仮想表現又は仮想オブジェクトに関連付けられた所定の位置の近くを歩いたときに、照明が点灯し(その後、消灯)してよい。同様に、ユーザデバイスがドアに近づいたときに、ドアロックが解除されてよく、ユーザデバイスが交差点に到着したときに、(条件が許可する場合に)信号機が緑色に変化してよい、などとなる。したがって、開示された技術は、近接性に基づく制御に使用されてよい。
更に、開示された技術は、進行方向の前方にある電子デバイスがイベントを経験した(例えば、突然の減速を経験した)などの場合に、連携状況認識を提供するために使用されてもよい。電子デバイスは、例えばブロードキャストメッセージを介して、潜在的に危険な状況を他の電子デバイスに通知することができる。
いくつかの実施形態では、開示された技術は、環境108(図1)において、任意選択的なタグ128(図1)などの1つ以上の任意選択的なタグによって、容易にされる。例えば、タグは、無線周波数エネルギーから電力を収集し、かつ/又は関連する電源を有する、低コストのシステムオンチップであってよい。タグ128は、例えば受信されたコマンドに応じて、1つ以上の信号を出力することができる。例えば、タグ128は、RF信号及び/又は音響信号(「チャープ」など)を出力することができる。
いくつかの実施形態では、環境108(図1)内のタグ128は、無線で電力を収集し(例えば、24GHzの信号の形態で電力を受信してよい)、短い信号又はチャープを介して(例えば、60GHzで信号を発することによって)通信する。この通信は、例えば100フィートまでの範囲を有してよく、指向性であってよい。いくつかの実装では、24GHzの電力信号は、信号内でエンコードされた識別子を有してよい。このような構成において、タグが識別子を認識していない場合、タグは応答しなくてよい。タグが(例えば、電力を供給されて動作可能になったことを示した後に)スタートパルスに応答するための時間は、既知であってよい。無線通信デバイスが、位相及び到着角を測定して方向を決定してよく、到着時間又は経過時間を使用して、無線通信デバイスとタグの間の距離を決定してよいということに注意する。したがって、タグ128は、無線測距計算を生成するため、又は補完するために、使用されてよい。
図6は、図1の無線通信デバイス110などの無線通信デバイスを使用してオブジェクトを制御する方法の例600を示すフロー図である。動作中、無線通信デバイスは、無線通信デバイスに近接して配置されたオブジェクトを制御する意図を示す受信された意図ジェスチャを特定する(処理610)。その後、無線通信デバイスは、意図ジェスチャに関連付けられたオブジェクトを決定する(処理612)。例えば、無線通信デバイスは、例えば意図ジェスチャに少なくとも部分的に基づいて、無線測距を使用し、無線通信デバイスの位置及び/又は向きに対応する方向及び/又は高度にやはり配置されている、範囲内のオブジェクトを決定する。更に、無線通信デバイスは、無線通信デバイスの1つ以上のセンサに関連付けられたセンサデータにアクセスし(処理616)、センサデータを解釈してコマンド値を決定する(処理618)。例えば、無線通信デバイスは、(例えば、無線通信デバイスに記憶されたアクションジェスチャプロファイルに基づいて)センサデータを1つ以上のアクションジェスチャと比較して、1つ以上の意図されたコマンドを特定する。次に、無線通信デバイスは、例えば1つ以上のメッセージを使用して、コマンド値を生成して送信し、オブジェクトを制御する(処理620)。いくつかの実装において、オブジェクトによって宣伝されたか、又はその他の方法でオブジェクトに関連付けられた識別子に基づいて、1つ以上のメッセージがオブジェクトに送信され得る。
方法600のいくつかの実施形態では、追加の処理、異なる処理、及び/又はより少ない処理が存在してよい。更に、これらの処理の順序は変更されてよく、かつ/あるいは2つ以上の処理が単一の処理に結合されるか、又は並列に実行されてよい。
ユーザインターフェース技術の実施形態が、図7に更に示されており、図7は、無線通信デバイス110と物理(又は電子)デバイス112(例として使用される)の間の通信を示している図面700を提示している。ユーザは、例えば無線通信デバイス110を物理デバイス112に向けるか、又は方向を合わせる710ことによって、意図ジェスチャ708を実行してよい。いくつかの実装では、意図ジェスチャ708は、無線通信デバイス110を物理デバイス112に向けて進める動きなどの、方位成分及び運動成分の両方を含んでよい。無線通信デバイス110内のプロセッサ714は、例えば、1つ以上のセンサ712(例えば、ジャイロスコープ、加速度計、及び/又はコンパス)によって測定された、向き710及び任意のその他の関連する動きに基づいて、意図ジェスチャ708を特定してよい。意図ジェスチャ708は、物理デバイス112を制御するユーザの意図として解釈されてよい。
無線通信デバイス110内のインターフェース回路718は、物理デバイス112内のインターフェース回路716によって送信されたパケット720(又はフレーム)を受信する。パケット720は、物理デバイス112に関連付けられた識別子722を含んでいる。更に、パケット720は、パケット720の送信時間を規定する情報を含むことができる。インターフェース回路718(又はプロセッサ714)は、決定されたパケット720の到着時間と共に、(パケット720を伝達した無線信号の伝搬速度に基づいて)物理デバイス112までの距離724を決定してよい。追加的又は代替的に、無線通信デバイス110は、1つ以上の他のパケットを物理デバイス112と通信して、無線測距動作を実行することができる。プロセッサ714は、識別子722及び/又は距離724に基づいて、物理デバイス112を特定してよい。
更に、コマンド又はコマンド値に応じて、無線通信デバイス110においてアクションジェスチャが実行されてよい。1つ以上のセンサ712が、アクションジェスチャ中にセンサデータ726を測定し、測定されたセンサデータをメモリ728に記憶してよい。プロセッサ714は、(例えば、センサデータ726をセンサ712から受信すること、及び/又はメモリ728から取得することによって)センサデータ726にアクセスし、このセンサデータ726を解釈して、アクションジェスチャに対応するコマンド値730を決定してよい。更に、インターフェース回路718は、コマンド値730を含んでいるパケット732をインターフェース回路716に送信してよい。物理デバイス112は、パケット732の受信時に、コマンド値730を実行することができる。
拡張現実
図8は、無線測距を使用して環境内のオブジェクトの位置を特定する例を示す図面800を提示している。具体的には、図1の環境108内で無線通信デバイス110に近接している物理デバイス112は、物理デバイス112に関連付けられた識別子を含むパケット(又はフレーム)を送信してよい。その後、無線通信デバイス110は、識別子を含んでいるこの送信を受信してよい。
例えば、識別子は、物理デバイス112の(したがって、物理デバイス112のユーザの)一般的識別子又は一意の識別子のいずれかであってよい。あるいは、識別子は、輸送リソース、共有コンピューティングリソース(例えば、プリンタ)、医療リソース、表示リソース、セキュリティリソース、アクセシビリティリソース、又は安全リソースなどの、物理デバイス112に対応するリソースクラスに関連付けられてよい。(ユーザが、物理デバイス112に近接して、又は関連付けられて使用できる特定のアイテムを購入したいなどの場合に、)識別子が、検索結果又は所望の金融取引と連動して受信されていてよいということに注意する。具体的には、無線通信デバイス110のユーザがリソースクラスに関して(例えば検索エンジンを使用して)検索を実行し、送信が受信された場合、無線通信デバイス110は、下で更に説明されるように、識別子が受信されたときに、物理デバイス112に関連する位置情報を表示してよい。代替的又は追加的に、識別子は、無線通信デバイス110のユーザの連絡先に対応してよく、連絡先の例としては、ユーザの友人又は同僚(すなわち、ユーザがすでに知っている誰か)、あるいはユーザが図1の環境内108で会うことになっている(ユーザが知っていても、知らなくてもよい)誰か、などが挙げられる。例えば、会合を容易にするために、関係者のいずれか又は両方が、あらかじめ識別子を提供することができ、その後、各デバイスがこの識別子を監視できる。
いくつかの実施形態では、識別子は、無線通信デバイス110に記憶された(又は、遠隔で記憶されたデータ構造内でアクセスされ得る)、(例えば、物理デバイス112に関連付けられた)別の人に関する持続的な連絡先情報に関連付けられ得る。その後、この識別子が無線通信デバイス110によって検出されたときに、識別子に対応する人の存在及び識別情報を伝えるインジケータが提供され得るあるいは、識別子は、無線通信デバイス110又は物理デバイス112上で実行されるアプリケーションによって割り当てられる識別子などの、過渡的又は一時的な識別子であってよい。例えば、相乗りアプリケーションは、識別子を無線通信デバイス110に一時的に割り当ててよく、その後、この識別子をブロードキャストすることができる。更に、相乗りアプリケーションは、過渡的な識別子を、割り当てられた運転手に対応するデバイス(例えば、物理デバイス112)に提供し、人を車で拾うことを容易にすることができる。同様に、運転手のデバイスに対応する(持続的又は過渡的な)識別子を無線通信デバイス110に提供して、運転手を検証することができる。過渡的な識別子は、1時間などの所定の時間の経過後、又はトランザクションの完了時に、有効期限が切れてよい。任意の数の持続的及び過渡的な識別子をデバイス又はオブジェクトに関連付けて、例えば、様々なシナリオにまたがる特定を容易にすることができる。
更に、識別子は、ユーザのプライバシーを保護するため、及びセキュリティを提供するために、時間と共に変更されてよい。具体的には、識別子は、図1のネットワーク124(インターネットなど)を介してクラウドベースのサーバ126によって割り当てられてよく、定期的に(例えば5分の時間インターバルが経過した後など)に更新されてよく、又は例えばトランザクションに関連付けられた、1回限りの識別子であってよい。いくつかの実施形態では、識別子は、例えば物理デバイス112に持続的に割り当てられ得る、匿名の識別子である。ただし、匿名の識別子は、例えばローカルに記憶された関連付けに基づいて匿名の識別子を解決することができる、1人以上の連絡先に知られてよい。電子デバイスが、定期的に送信され得る複数の識別子を使用して構成されてよいということに注意する。この最後の能力は、先行する実施形態のうちの1つ以上において使用されてよい。
識別子を受信することに応じて、無線通信デバイス110は、識別子をローカル(又は、リモート)メモリ内の1つ以上の記憶されたターゲット識別子と比較して、一致を判定してよい。その後、無線通信デバイス110は、無線測距を使用して、無線通信デバイス110からの物理デバイス112の範囲(又は距離)810及び/又は物理デバイス112に対する方向812を決定してよい。代替的又は追加的に、無線通信デバイス110は、無線通信デバイス110の指標(RSSIなど)及び/又は向きに基づいて、範囲810及び/又は方向812を決定してよい。なお、無線測距は、2GHz無線帯域内、5GHz無線帯域内、ISM帯域内、60GHz無線帯域内、超広帯域内などの、周波数の1つ以上の帯域内で、実行されてよい。
消費電力を低減するために、無線通信デバイス110及び/又は物理デバイス112は、一意の識別子(単数又は複数)又は一般的識別子(単数又は複数)を送信してよく、あるいは両方のデバイスが図1の環境108内に存在する場合(及び、更に一般的には、両方のデバイスが地理上のフェンスで囲まれた領域内に存在する場合)などの、各デバイスが近接している場合にのみ、かつ/又は無線通信デバイス110及び/又は物理デバイス112のユーザ間の約束又は会合の時間に基づいて、一意の識別子(単数又は複数)又は一般的識別子(単数又は複数)の受信を試みてよい。例えば、Bluetooth(登録商標)低エネルギー受信機を使用して、例えば物理デバイス112から、識別子を含んでいるメッセージを受信してよい。無線通信デバイス110は、このメッセージを受信することに基づいて、1つ以上の受信機を起動し、無線測距を開始することができるため、無線通信デバイス110は、物理デバイス112に対する範囲810及び/又は方向812を決定することができる。いくつかの実装では、無線通信デバイス110は、一意の識別子を含むメッセージを物理デバイス112から受信してもよい。
次に、図9~図15を参照して下で更に説明されるように、無線通信デバイス110は、物理デバイス112などのオブジェクトに対する範囲及び/又は方向を示す出力情報を提示してよい。
いくつかの実施形態では、物理デバイス112が、(隣接する部屋でも、近隣の部屋でもない)同じ部屋などの、無線通信デバイス110と同じ環境108(図1)内にあるかどうかを判定するために、無線通信デバイス110によって周囲の音が使用されてよい。例えば、無線通信チャネル(WLANなど)を介して無線通信デバイス110と共有される、物理デバイス112によって記録された周囲の音が、無線通信デバイス110によって測定された周囲の音と比較されてよい。周囲の音の測定値の比較結果が良好である場合、無線通信デバイス110及び物理デバイス112が同じ部屋に存在するということが、決定されてよい。代替的又は追加的に、無線通信デバイス110は、物理デバイス112によって検出、監視、及び/又は記録され得る1つ以上の音響チャープ又は音(人間が聴くことができる範囲外の周波数の帯域内であってよい)を出力してよい。
更に一般的には、1つ以上の他のデバイス/オブジェクトから物理デバイス112を区別するなど、環境108(図1)内の1つ以上の潜在的なターゲットデバイスの曖昧さをなくすために、無線通信デバイス110によって実行される1つ以上の測定が使用されてよい。例えば、無線通信デバイス110の方を向いているユーザのターゲットデバイスは、同じ向き、異なる高さ、及び/あるいは同じであるか、又は異なるRSSIを有してよい。識別子及び/又は範囲310と共に1つ以上の測定値を使用して、物理デバイス112を特定してよい。更に、前述したように、デバイスが誰かのポケットの中にあるため、情報の組み合わせ又は共有の対象になる可能性が低いということを示す場合のある周囲の音に基づいて、潜在的なターゲットデバイスが除外されてよい。
高度計又は到着角の情報を使用して、対象になる可能性のある領域の外部(例えば、テーブルの下、又はポケット/バッグの中が、配置される場所の候補になる可能性が低い場合、それらの場所)にある潜在的なターゲットデバイスを除外することもできる。別の例では、一次無線範囲内又は無線近接性の範囲内にあるが、適切な物理空間又は物理的近接性の外部にある潜在的なターゲットデバイスを除外するために、超音波チャープ又は60GHzの送信が使用され得る(例えば、除外される潜在的なターゲットデバイスは、別の室内に存在していてよい)。
ただし、複数の潜在的なターゲットデバイスを、これらの方法のうちの1つ以上において区別できない場合、無線通信デバイス110のユーザは、特定された潜在的なターゲットデバイスのセットのうちから選択するよう要求されてよい。例えば、潜在的なターゲットデバイスのリストを含むユーザインターフェースが、無線通信デバイス110のディスプレイ上に提示されてよく、デバイスが、ユーザの入力によって選択され得る。
前述の説明では、物理デバイス112が例として使用されているが、他の実施形態では、環境108(図1)内のオブジェクトは、図1の物理デバイス118の仮想表現114などの、仮想表現であることができる。例えば、仮想表現は、部屋又は図1の環境108内の所定の物理的位置(図1の物理的位置116など)における物理デバイスの代理であってよい。所定の物理的位置(及び、更に一般的には、3次元空間内の所定の物理的位置)が、例えばトレーニングプロセスの間に、ユーザによって無線通信デバイス110を介して指定されていてよく、例えば、無線通信デバイス110を物理的位置に近づけるか、又は接触させて、無線通信デバイス110上のタッチ感知ディスプレイに表示されたユーザインターフェース内の仮想コマンドアイコンをアクティブにすることによって、あるいは無線通信デバイス110を物理的位置に接触させて、コマンド又は命令を言葉で言い、それらのコマンド又は命令が無線通信デバイス110によって監視されて、音声認識技術を使用して解釈されることによって、指定されていてよいということに注意する。
次に、環境内のオブジェクト(物理デバイス112など)の決定された位置に基づいて表示される情報の例について説明する。図9は、環境(及び、更に一般的には、環境のグラフィカル表現)内の近接領域のマップ910を表示する、ディスプレイ908上のユーザインターフェース900の例を示す図面を提示している。ユーザが無線通信デバイス110を掌に持っているときに、マップ910が表示されてよい。マップ910は、物理デバイス112などのオブジェクトの位置を表すインジケータ912を含むことができる。いくつかの実装では、インジケータ912の位置だけで、対応するオブジェクトに対する決定された範囲及び/又は方向を伝達することができる。いくつかの他の実装では、マップ910と共に、決定された範囲及び/又は距離を示す追加情報も提示され得る。
マップ910が、無線通信デバイス110の周囲の環境内のオブジェクト(物理デバイス112など)及び相対的位置(単数又は複数)に関する直感的な状況認識を提供してよいということに注意する。例えば、ユーザインターフェース技術によって、ユーザは、消火器、救急箱、自動体外式除細動器、出口、及び/又は医療訓練を受けた人などの、環境内のリソースの位置を特定できるようになってよい。代替的又は追加的に、ユーザインターフェース技術は、進行路上の前方にある電子デバイスがイベント(例えば、突然の減速)を経験したときなどに、近接するオブジェクトに関する動的位置情報を提供してよい。この電子デバイスに近接する、例えば進行路上の1つ以上の電子デバイスに、このイベントが通知されてよい。
図10は、ユーザインターフェースの例1000を示す図面を提示している。ユーザインターフェース1000は、無線通信デバイス110のディスプレイ908上に提示され、無線通信デバイス110の画像センサ(CMOS又はCCD撮像センサ、及びより一般的には、カメラなど)によってキャプチャされた近接領域の画像1010を表示してよい。無線通信デバイス110は、オブジェクト(例えば、物理デバイス112)を表す画像1010上に、重ね合わせられた注釈又はインジケータ1012(図9のインジケータ912と同じであっても、異なっていてもよい)を表示してもよい。オブジェクトは、無線送信において、無線通信デバイス110が識別子を受信した結果として、特定されていてよい。対応するオブジェクトが無線通信デバイス110の視距離の範囲内にあるかどうか、又はそれ以外の方法で無線通信デバイス110にとって可視であるかどうかに関わらず、インジケータ1012(及び/又は図9のインジケータ912)が表示されてよいということに注意する。例えば、無線通信デバイス110のユーザが、見にくいか、又はまだ見ることができないオブジェクトの位置を特定することを支援するために、インジケータ1012が提示されてよい。
したがって、ユーザインターフェース技術は、拡張現実を含んでよく、又は使用してよい。具体的には、無線測距を使用して決定された位置情報(範囲及び/又は方向など)が、周囲の環境の画像上に重ね合わせられてよい。この拡張現実は、無線通信デバイス110のユーザが近くにある物、位置、リソース、及び/又は人を特定するのを支援するために、追加されたインテリジェンスを提供してよい。例えば、このアプローチは、会おうとしている人の位置を特定すること(人に基づく)、救急サービス又は無線の範囲などのリソースの位置を特定すること(リソースに基づく)、及び/又は建物若しくは道路などの、位置に基づく検索の結果を見つけること(検索に基づく)において、ユーザを支援するために使用されてよい。無線通信デバイス110のディスプレイは、対象のアイテムを表示するように拡張されたカメラ入力を含んでよい。
したがって、ユーザが混雑した環境内にいて、無線通信デバイス110をかざした場合、無線通信デバイス110が、ユーザが探している人(又は物理デバイス112などの、この人に関連する電子デバイス)に方向が合わせられるか、又は向けられたときに、この人の画像が環境の画像上に表示されてよい。更に、図16を参照して下で更に説明されるように、ユーザが(例えば、無線通信デバイス110の測定された向きに基づいて)回転したか、又は向きを変えたときに、ユーザが正しい方向(例えば、ユーザが探している人、オブジェクト、又はリソースの方向)を向いている場合、ユーザに関連するスマートウォッチ又はその他のそのようなウェアラブルデバイスが、触覚フィードバック(例えば、「タップ」、又はオーディオ出力などの別のタイプのフィードバック)を提供してよい。したがって、ユーザインターフェース技術は、混雑した環境においても、及びユーザが、自分が探している人にこれまで会ったことがない場合でも、社会的交流及び会合を容易にしてよい。
いくつかの実施形態では、無線通信デバイス110は、異なるユーザインターフェースモードを自動的に切り替える。このことが、無線通信デバイス110の向きに基づくユーザインターフェースの異なるモードの例を示す図面を提示する図11に示されている。具体的には、無線通信デバイス110のユーザがデバイスの向きを変えたときに、ジャイロスコープ又は加速度計が、方位値における変化を測定してよい。その後、無線通信デバイス110は、測定された方位値に基づいて、マップ910(図9)の表示と、画像1010(図10)の表示との間で、選択的に遷移してよい。したがって、無線通信デバイス110が、水平方向に向けられた(例えば、ユーザの掌にある)場合、マップ910(図9)を表示するマップビュー1110が表示されてよい。無線通信デバイス110が、垂直方向に向けられた(例えば、物理デバイス112の方向に向いた)場合、画像1010(図10)を表示するカメラビュー1112が表示されてよい。マップビュー1110インターフェースモードとカメラビュー1112インターフェースモードの間の遷移は、1つ以上のセンサ入力が閾値を超える向きの変化を示す場合に、開始され得る。代替的又は追加的に、物理デバイス112がユーザの視距離の範囲外にあるときに、マップビュー1110が表示されてよく、物理デバイス112が視距離の範囲内にあるときに、カメラビュー1112が表示されてよい。このようにして、ユーザは、無線通信デバイス110の向きを変えることによって、2つのユーザインターフェースモード間で直感的に切り替えるか、又は遷移してよい。
あるいは、いくつかの実施形態では、無線通信デバイス110のユーザは、ユーザインターフェースモードを手動で選択又は指定することができる。このことが、ユーザインターフェース1200の異なるモードの例を示す図面を提示する図12に示されている。例えば、ユーザは、無線通信デバイス110のタッチ感知ディスプレイに対して、仮想アイコン708のストライク領域内でタッチ入力を行うことによって、例えば無線通信デバイス110の周囲360°の視界を表示するマップ1210を含んでいるマップビューを選択してよい。マップ1210は、インジケータ(インジケータ1216など)(例えば、テキスト、サムネイル、シンボル、エモーティコン、又はグラフィカルアイコンのいずれか、あるいはすべて)によって表される1つ以上のオブジェクト(物理デバイス112など)を、異なる範囲及び方向(範囲1212及び方向1214など)で描画することができる。更に、ユーザは、画像ビューを選択してよく、画像ビューでは、無線通信デバイス110が垂直方向に向けられて、物理デバイス112に向かう方向1214に向いたときに、画像1010(図10)などの画像が表示され、物理デバイス112がインジケータ1012(例えば、テキスト、サムネイル、シンボル、エモーティコン、又はグラフィカルアイコンのいずれか、あるいはすべて)によって表される。
いくつかの実施形態では、ユーザインターフェース技術は、拡張現実に対する変形を更に含むことができる。例えば、ユーザインターフェース1310における拡張現実の例を示す図面を提示する図13に示されているように、無線通信デバイス110の前面カメラは、無線通信デバイス110の前にある環境の画像(又は動画)をキャプチャしてよい。無線通信デバイス110がオブジェクト(単数又は複数)の方向に向いているときに、オブジェクト(物理デバイス112など)を表す1つ以上のインジケータ1314と共に、画像(画像1312など)が無線通信デバイス110上に表示されてよい。その結果、無線通信デバイス110は、追加情報で拡張される方法で、ユーザの前の環境を提示する。インジケータ1314が、それらに対応する環境108内のオブジェクトの各位置を表すように、画像1312内に配置されてよいということに注意する。更に、インジケータ1314は、対応するオブジェクトの相対的範囲に関する直感的な情報を含む透視図を提供するように、サイズ設定されてよい。したがって、無線通信デバイス110から(すなわち、ユーザから)遠く離れたオブジェクトは、無線通信デバイス110に近いオブジェクトよりも小さいインジケータによって表されてよい。
図14は、視界の外に配置されることがあるオブジェクトを描画することを含めて、環境内のオブジェクトに関する拡張された状況認識の例を示す図面を提示している。具体的には、オブジェクト(例えば、物理デバイス112)が、不透明なバリア(壁など)の向こう側に配置された場合、1つ以上の画像1410を無線通信デバイス110のユーザインターフェース1400内に表示することができ、それによってユーザは、不透明なバリアが存在しないかのように(又は、不透明なバリアを通して見ることができるかのように)、物理デバイス112を見ることができる。例えば、ユーザが別の部屋にあるリソース(プリンタなど)を探している場合、ユーザが無線通信デバイス110をリソースの方向に向けたときに、そのリソースを描画する画像1410がユーザインターフェース1400内に表示されてよい。いくつかの実装では、画像1410は、リソース(例えば、物理デバイス112)に関する追加情報を含むことができる。例えば、追加情報は、ユーザがリソースに物理的又は仮想的にアクセスできるようにすることができる。
したがって、ユーザインターフェースは、リソースに到達する方法に関する命令(及び任意選択的にマップ)を含んでよい。ディスプレイは、例えば、オブジェクトから識別子を受信して範囲及び/又は方向を決定することに基づいて、要求されたオブジェクトが配置されている位置を示すマップを提示することができる。代替的又は追加的に、検索によって位置情報が取得され得る。例えば、要求されたオブジェクトが視距離の範囲外にある場合、このアプローチを使用して、例えば空港を通って陸上輸送、税関などに至る経路を表示して、ユーザをオブジェクトまで誘導することができる。同様に、このアプローチを使用して、例えば目的のオブジェクト、リソース、又は位置への方向を含むようにマップ又はディスプレイを拡張することによって、ユーザがショッピングモール又はストア内を移動するのを支援することができる。更に、拡張現実のアプローチは、特定の通信事業者又はサービスプロバイダによって提供されるカバレッジなどの、Wi-Fiカバレッジを含む領域に注釈を付けることができる。拡張された情報が、個人ごと(例えば、ユーザが電話番号などの識別情報を持っている別の人と会合する)、検索ごと(例えば、ユーザが場所/物の座標を検索して取得する)、リソースごと(例えば、救急設備、警備室、トイレが、自らの位置、タクシー又はレストランの位置を宣伝してよい)、又はこれらの組み合わせごとに、適用され得るということに注意する。
代替的又は追加的に、ユーザは、無線通信デバイス110上に表示されたユーザインターフェース1400内の物理デバイス112に関連付けられたアイコンをタップすることによって、物理デバイス112と組み合わせるか、又は接続するように、無線通信デバイス110に指示してよい。この直観的な組み合わせによって、その後、これらのデバイスは、互いに通信できるようになってよい。したがって、混雑した作業場にあるコンピュータなどのリソースが、ユーザインターフェース1400へのタッチ入力によって選択され得る。
これらの操作が実行された場合、無線通信デバイス110及び/又は物理デバイス112は、ユーザインターフェース1400内にメッセージを表示してよく、これによって、無線通信デバイス110及び/又は物理デバイス112のユーザのいずれか又は両方が、組み合わせを確認できるようになる。加えて、物理デバイス112と組み合わせることは、指定された時間インターバル(10分又は1時間など)の間、行われてよく、この時間インターバルの経過後、組み合わせが解消されてよい。このようにして、ユーザ及び/又はリソースは、組み合わせプロセスの制御を維持してよく、組み合わせが同じ環境(同じ部屋など)内にある物理デバイスと行われることを確認することによって、組み合わせが安全であることを保証できるようにしてもよい。このように、ユーザは、別のデバイスに成りすましているか、又はその他の方法で別のデバイスのふりをしている近くのデバイスと不注意に組み合わせることを回避してよい。このアプローチは、情報の共有及び/又は組み合わせの複雑さを低減することに役立つこともある。例えば、組み合わせプロセス中に、パスワードは必要とされなくてよい。いくつかの実施形態では、前述の仮想的な組み合わせ動作の後に、無線通信デバイス110及び物理デバイス112などのデバイスは、暗号キーを交換することができる。
別の例では、無線通信デバイス110を、組み合わせられるオブジェクトの方向に向けることができる。無線通信デバイス110のカメラは、この方向にあるすべてのオブジェクトの画像をキャプチャしてよく、組み合わせの候補を示す選択可能な画面上のインジケータを提供してよい。例えば、無線で送信される関連する識別子及び1つ以上の測距動作に少なくとも部分的に基づいて、オブジェクトが決定され得る。次に、ユーザは、画面上のインジケータを使用して、組み合わせられるアイテム(及びプロトコル)を選択することができる。
図15に示されているように、ユーザインターフェース技術は、リマインダを提供するため、及び/又は環境内のオブジェクトを追跡するために使用されてもよい。例えば、ユーザインターフェース技術は、ユーザが環境内のオブジェクト(物理デバイス112など)の位置を追跡すること、又は環境内の関連するオブジェクトのグループに関するリマインダを取得することを、可能にしてよい。このようにして、親が子供を追跡してよく、又は人が1つ以上のオブジェクトを決して置き忘れないようにしてよい。
いくつかの実施形態では、ユーザは、タグ付けされた関連するアイテム(テント及び関連するテントの支柱など)のグループをまとめる。例えばユーザがアイテムを忘れた場合に、すべてのアイテムがグループ内に存在しない場合、フィードバック(警報など)がユーザに提供される。更に、ユーザインターフェース技術を使用して、一意の識別子でタグ付けされたアイテムを追跡してよい。例えば、演奏中のステージ上の子供を追跡するように、カメラが構成され得る。同様に、ユーザインターフェース技術は、ユーザがある領域を出発するときに、追跡/タグ付けされたアイテムを置き忘れないように、ユーザに思い出させるために使用されてよい。例えば、傘が閾値距離よりも遠くに離れた場合に、リマインダが発行され得る。更に、この技術を使用して、ある領域内のアイテムの位置/移動を追跡すること、ゲーム(例えば、仮想ペイントボール)の目的でユーザを追跡することなどを、行うことができる。例えば、ユーザが、タグ付けされたアイテムから所定の距離を超えて移動した場合、ユーザはリマインダを受け取ってよい。更に一般的には、この技術は、ユーザが見ている物(名前など)又はユーザが実行する必要のあること(用事など)に関してユーザに思い出させるために、拡張現実の使用を含んでよい。
前述したように、対象のオブジェクト(物理デバイス118など)に含まれているか、又は近接している、環境108内の任意選択的なタグ1510などの1つ以上の任意選択的なタグによって、リマインダ機能が容易にされてよい。具体的には、任意選択的なタグ1510は、無線で電力を収集してよく(例えば、24GHzで信号を受信してよい)、チャープ又は短い送信を介して(例えば、60GHzで)通信してよい。この通信は、例えば100フィートまでの範囲を有してよく、指向性であってよい。24GHzの電力信号は、信号上でエンコードされた識別子を含んでもよい。任意選択的なタグ1510は、信号を認識しない場合、応答しなくてよい。任意選択的なタグ1510が(例えば、電力を供給されて動作可能になったことを示した後に)スタートパルスに応答するための時間は、既知であってよい。信号をタグ1510から受信する無線通信デバイス110が、位相及び到着角を測定して方向の測定値を決定してよく、到着時間又は経過時間を使用し、既知の応答時間に基づいて、無線通信デバイス110とタグ1510の間の範囲を決定してよいということに注意する。
ユーザインターフェース技術を使用して、多種多様なフィードバックが、環境内のユーザ又は他の個人に提供されてよい。このことが、ユーザインターフェースに関連付けられたフィードバックの異なるタイプの例を示す図面を提示する図16に示されている。具体的には、無線通信デバイス110は、決定された位置情報の視覚的表示に加えて、他のタイプのフィードバックをユーザに提供してよい。例えば、無線通信デバイス110は、無線通信デバイス110によって直接的に、又は別の電子デバイス(ユーザのスマートウォッチなど)を介して間接的に、触覚フィードバックを提供してよい。具体的には、無線通信デバイス110は、スマートウォッチ1610に対して、トランスデューサ(トランス)1612を介して触覚フィードバックを提供するように指示してよい。このようにして、ユーザは、探されているオブジェクト(物理デバイス112など)の方向に向いているときに、フィードバックを受け取ってよい。
更に、無線通信デバイス110は、テキスト又はオーディオメッセージなどのメッセージを物理デバイス112に送信してよい。例えば、メッセージは、実質的に物理デバイス112に対応する位置のみで知覚可能なビーム形成されたオーディオメッセージ1614として送信されるオーディオメッセージを含んでよい。このようにして、無線通信デバイス110のユーザは、範囲内の別の人(ユーザが見ることができる人など)に、その人に関連付けられた電子デバイスに関する従来の連絡先情報(電話番号又は電子メールアドレスなど)を持っていない場合でも、プライベートメッセージを送信することができる。例えば、ターゲットデバイスから、例えば広告ビーコンにおいて受信された識別子(例えば、匿名の識別子)に基づいて、メッセージをターゲットデバイスに向けることができる。その結果、この指向性通信は匿名であってもよい。いくつかの実施形態では、ビーム形成されたオーディオメッセージ1614は、建物又は構造物内のインフラを介して送信され得る。
代替的又は追加的に、無線通信デバイス110は、環境内の人の名前、実行するべき用事、次回の約束などの役立つ情報を含むビーム形成されたオーディオメッセージを、無線通信デバイス110のユーザに送信してよい。したがって、無線通信デバイス110のユーザのみによって知覚され得る、例えば視覚的キュー及びビーム形成されたオーディオメッセージを介して、環境内の物をユーザに思い出させるために、指向性通信を使用して拡張現実が実装され得る。
指向性を確認することによって、触覚フィードバック及び/又はメッセージが検索機能を強化することができ、例えば、無線通信デバイス110が正しい向きに向けられたときに、無線通信デバイス110がブザー音及び/又はビープ音を発してよいということに注意する。代替的又は追加的に、触覚フィードバックは、第2のデバイス(例えば、関連するスマートウォッチ)から発してよい。第2のデバイスは、無線通信デバイス110が、探されているリソースの方向に向けられたとき、呼び止められた車両が近づいているとき、見えにくい記号/アドレスを強調表示するため、バス/列車が、ユーザが必要とするバス/列車であり、ユーザが行きたい場所に行く予定であるということを示すため、などの場合に、触覚フィードバックを出力して、条件又はイベントをユーザに通知することができる。
いくつかの実施形態では、ユーザインターフェース技術は、位置に基づく匿名チャットルーム、デバイスのユーザのみが応答を知覚できる(例えば、聞くことができる)ように、検索に応答するか、又は電子メールを読み取ることができる、電子アシスタント、ユーザの友人が部屋の中にいるかどうかを判定すること、などの、追加の特徴を提供するために使用される。
図17は、図1の無線通信デバイス110などの無線通信デバイスを使用してオブジェクトの位置を特定する方法の例1700を示すフロー図である。動作中、無線通信デバイスは、無線通信デバイスに近接して配置されたオブジェクトに関連付けられた識別子を含む送信を受信する(処理1710)。いくつかの実施形態では、無線通信デバイスは、任意選択的に、受信された識別子を1つ以上の記憶されたターゲット識別子と比較して(処理1712)、一致が存在するかどうかを判定する。
無線通信デバイスは、無線通信デバイスからオブジェクトまでの範囲及び/又は方向を決定する(処理1714)。この範囲又は方向あるいはその両方は、1つ以上の無線測距技術を少なくとも部分的に使用して決定される。次に、無線通信デバイスは、無線通信デバイスからのオブジェクトの範囲及び/又は方向を示す出力情報を提示する(処理1716)。例えば、無線通信デバイスは、オブジェクトを表す第1のインジケータを含むマップを表示するか、又はオブジェクトを表す第2のインジケータを含む画像を表示してよい。いくつかの実装において、無線通信デバイスは、例えばオブジェクトからの送信に含まれている識別子を使用して、メッセージをオブジェクトに送信してよい。
方法1700のいくつかの実施形態では、追加の処理又はより少ない処理が存在してよい。例えば、いくつかの実施形態では、無線通信デバイスは、識別子を含む送信を受信しない(処理1710)。更に、これらの処理の順序は変更されてよく、かつ/あるいは2つ以上の処理が単一の処理に結合されるか、又は並列に実行されてよい。
ユーザインターフェース技術の実施形態が、図18に更に示されており、図18は、無線通信デバイス110と物理デバイス112(例として使用される)の間の通信を示している図面を提示している。無線通信デバイス110内のインターフェース回路(Interface circuit、IC)1812は、物理デバイス112内のインターフェース回路1808からメッセージ1810を受信してよい。このメッセージは、物理デバイス112及び/又は物理デバイス112のユーザに関連付けられた識別子1814を含んでよい。識別子1814は、プロセッサ1818に提供される。いくつかの実施形態では、プロセッサ1818は、メモリ1822内の1つ以上の記憶されたターゲット識別子1820に任意選択的にアクセスし、識別子1814を1つ以上の記憶されたターゲット識別子1820と任意選択的に比較して、一致1824が存在するかどうかを判定する。
その後、インターフェース回路1812は、1つ以上の無線測距及び/又は到着角技術を使用して、物理デバイス112からの範囲1826及び/又は方向1828を決定してよい。範囲1826及び方向1828は、プロセッサ1818に提供される。
次に、プロセッサ1818が、範囲1826及び/又は方向1828を示す出力情報を提示してよい。例えば、プロセッサ1818は、物理デバイス112を表す第1のインジケータを含むマップ又は物理デバイス112を表す第2のインジケータを含む画像などの、情報1830をディスプレイ1832上に表示するか、又は表示命令をディスプレイ1832に提供してよい。代替的又は追加的に、プロセッサ1818は、触覚フィードバック情報1834をトランスデューサ1836に送信して、触覚フィードバック1838を生成することなどによって、別のタイプのフィードバックを任意選択的に提供してよい。いくつかの実施形態では、プロセッサ1818は、1つ以上の命令1840をインターフェース回路1812に提供し、インターフェース回路1812は、識別子1814に基づいて、メッセージ1842(例えば、テキストメッセージ)を物理デバイス112に送信する。メッセージ1842は、範囲1826及び/又は方向1828のいずれか又は両方を含む、情報の1つ以上の項目を含むことができる。
代表的な実施形態
いくつかの実施形態では、オブジェクトを制御するために無線通信デバイスによって実行される方法は、(i)無線通信デバイスによって、オブジェクトを制御する意図を示す意図ジェスチャを特定することであって、このオブジェクトが無線通信デバイスに近接して配置されている、ことと、(ii)無線通信デバイスによって、無線測距動作に少なくとも部分的に基づいて、意図ジェスチャに関連付けられたオブジェクトを決定することと、(iii)無線通信デバイスに関連付けられた1つ以上のセンサによって生成されたセンサデータにアクセスすることと、(iv)センサデータを解釈してコマンド値を決定することと、(v)このコマンド値を送信してオブジェクトを制御することと、を含む。
いくつかの実施形態では、オブジェクトは物理的オブジェクトを含む。いくつかの実施形態では、物理的オブジェクトは、コンピューティングデバイス、ディスプレイ、プリンタ、通信デバイス、オーディオデバイス、器具、ウェアラブルデバイス、ホームオートメーションデバイス、環境制御、又はアクセサリを含む。いくつかの実施形態では、オブジェクトは仮想オブジェクトを含む。いくつかの実施形態では、仮想オブジェクトは、異なる位置での物理的オブジェクトの代理を含む。いくつかの実施形態では、無線測距動作は、無線送信特性を使用して無線通信デバイスとオブジェクトの間の距離を決定することを含む。いくつかの実施形態では、アクセスされるセンサデータは、無線通信デバイスに対応する方位値を含んでおり、この方位値は、コンパス、加速度計、又はジャイロスコープのうちの少なくとも1つを使用して決定される。いくつかの実施形態では、コマンド値は、無線通信デバイスをオブジェクトと組み合わせるためのコマンドを含む。いくつかの実施形態では、コマンド値は、オブジェクトの動作設定を変更するためのコマンドを含む。いくつかの実施形態では、コマンド値は、機能を実行するためのコマンドを含む。いくつかの実施形態では、この方法は、超音波チャープを使用してオブジェクトの近接を判定することを更に含む。いくつかの実施形態では、この方法は、コマンド値に応じて、センサ値を含んでいる応答をオブジェクトから受信することを更に含む。いくつかの実施形態では、コマンド値は、リソースに対するアクセスの要求を含む。
いくつかの実施形態では、無線通信デバイスは、(i)少なくとも1つの無線通信プロトコルを使用してオブジェクトと無線で通信するように構成されたインターフェース回路と、(ii)センサデータを測定するように構成された1つ以上のセンサと、(iii)インターフェース回路及び1つ以上のセンサに通信によって結合されており、プログラムモジュールを実行するように構成されているプロセッサと、(iv)プロセッサに通信によって結合されており、プログラムモジュールを記憶するように構成されているメモリとを含んでおり、このプログラムモジュールは、無線通信デバイスによって、無線通信デバイスに近接して配置されているオブジェクトを制御する意図を示している意図ジェスチャを特定し、無線測距に少なくとも部分的に基づいて、意図ジェスチャに関連付けられたオブジェクトを決定し、1つ以上のセンサによって生成されたセンサデータにアクセスし、アクセスされたセンサデータを解釈してアクションジェスチャを特定し、インターフェース回路を使用してアクションジェスチャに対応するコマンド値を送信して、オブジェクトを制御する、命令を含む。
いくつかの実施形態では、アクションジェスチャは複合ジェスチャを含む。いくつかの実施形態では、オブジェクトを決定することは、オブジェクトに関連付けられた識別子を受信することに少なくとも部分的に更に基づく。いくつかの実施形態では、プログラムモジュールは、オブジェクトの組み合わせ動作を開始する命令を更に含む。
いくつかの実施形態では、無線通信デバイスと共に使用するためのコンピュータプログラム製品は、非一時的コンピュータ可読記憶媒体と、オブジェクトを制御するために組み込まれたコンピュータプログラム機構とを含んでおり、このコンピュータプログラム機構は、(i)無線通信デバイスによって、オブジェクトを制御する意図を示している意図ジェスチャを特定する命令であって、このオブジェクトが無線通信デバイスに近接して配置されている、命令と、(ii)無線通信デバイスによって、無線測距に少なくとも部分的に基づいて、意図ジェスチャに関連付けられたオブジェクトを決定する命令と、(iii)無線通信デバイスによって、無線通信デバイスに関連付けられた1つ以上のセンサによって生成されたセンサデータにアクセスする命令と、(iv)アクセスされたセンサデータを解釈してアクションジェスチャを決定する命令と、(v)アクションジェスチャに対応するコマンドを送信してオブジェクトを制御する命令とを含む。
いくつかの実施形態では、オブジェクトを決定する命令は、無線通信デバイスに関連付けられた1つ以上のセンサによって生成されたセンサデータに少なくとも部分的に基づいて、無線通信デバイスの向きを決定する命令を更に含む。いくつかの実施形態では、オブジェクトを決定する命令は、無線通信デバイスの向き及び無線測距に少なくとも部分的に基づいて別のオブジェクトを無視する命令を更に含む。
いくつかの実施形態では、オブジェクトの位置を特定するために無線通信デバイスによって実行される方法は、(i)無線通信デバイスに近接して配置されたオブジェクトに関連付けられた匿名の識別子を含んでいる送信を受信することと、(ii)無線通信デバイスからのオブジェクトの範囲及び方向を決定することであって、これらの範囲及び方向が、無線測距動作を少なくとも部分的に使用して決定される、ことと、(iii)範囲及び方向に少なくとも部分的に基づいて、オブジェクトの位置を示す出力情報を提示することと、を実行する無線通信デバイスを含む。
いくつかの実施形態では、出力情報を提示することは、無線通信デバイスのディスプレイ上に、近接領域のマップを表示することと、このマップ上に、オブジェクトの位置を表すインジケータを表示することと、を含む。いくつかの実施形態では、オブジェクトが無線通信デバイスの視距離の範囲内にあるかどうかに関わらず、インジケータが表示される。いくつかの実施形態では、出力情報を提示することは、無線通信デバイスのディスプレイ上に、無線通信デバイスの画像センサによってキャプチャされた近接領域の画像を表示することと、この画像上に、オブジェクトの位置を表すインジケータを表示することと、を含む。いくつかの実施形態では、オブジェクトが無線通信デバイスの視距離の範囲内にあるかどうかに関わらず、インジケータが表示される。いくつかの実施形態では、オブジェクトに関連付けられた匿名の識別子は、過渡的な識別子を含む。いくつかの実施形態では、オブジェクトに関連付けられた匿名の識別子は、オブジェクトに対応するリソースクラスを特定する。いくつかの実施形態では、この方法は、受信された匿名の識別子を1つ以上の記憶されたターゲット識別子と比較して、一致を判定することを更に含む。いくつかの実施形態では、1つ以上の記憶されたターゲット識別子が、検索結果と共に受信されている。いくつかの実施形態では、1つ以上の記憶されたターゲット識別子のうちの少なくとも1つが、無線通信デバイスに記憶された連絡先に対応する。いくつかの実施形態では、出力情報を提示することは、無線通信デバイスの向きに基づいて、オブジェクトを表す第1のインジケータを含む近接領域のマップを表示することと、オブジェクトに対応する第2のインジケータを含む近接領域のカメラキャプチャ画像を表示することとの間で遷移することを更に含む。いくつかの実施形態では、インジケータが、範囲に従ってサイズ設定される。いくつかの実施形態では、この方法は、匿名の識別子を使用してメッセージをオブジェクトに送信することを更に含む。いくつかの実施形態では、このメッセージは、実質的にオブジェクトに対応する位置のみで知覚可能なビーム形成されたオーディオメッセージとして送信されるオーディオメッセージを含んでおり、この位置は、範囲及び方向に少なくとも部分的に基づいて決定される。いくつかの実施形態では、出力情報は触覚出力を含む。いくつかの実施形態では、触覚出力は、無線通信デバイスに関連付けられたデバイスによって提示される。
いくつかの実施形態では、無線通信デバイスは、(i)少なくとも1つの無線通信プロトコルを使用してオブジェクトと無線で通信するよう構成されたインターフェース回路と、(ii)インターフェース回路に通信によって結合されており、プログラムモジュールを実行するように構成されているプロセッサと、(iii)プロセッサに通信によって結合されており、プログラムモジュールを記憶するように構成されているメモリとを含んでおり、このプログラムモジュールは、インターフェース回路を介して、無線通信デバイスに近接して配置されたオブジェクトに関連付けられた匿名の識別子を含んでいる送信を受信し、インターフェース回路を介して、無線通信デバイスからのオブジェクトの範囲及び方向であって、これらの範囲及び方向が、無線測距動作を少なくとも部分的に使用して決定される、範囲及び方向を決定と、無線通信デバイスからのオブジェクトの範囲及び方向を示す出力情報を提示する、命令を含む。
いくつかの実施形態では、出力情報を提示する命令が、オブジェクトを表す位置インジケータを含んでいるマップを提示する命令を更に含む。
いくつかの実施形態では、無線通信デバイスと共に使用するためのコンピュータプログラム製品は、非一時的コンピュータ可読記憶媒体と、オブジェクトの位置を特定するために組み込まれたコンピュータプログラム機構とを含んでおり、このコンピュータプログラム機構は、(i)無線通信デバイスによって、無線通信デバイスに近接して配置されたオブジェクトに関連付けられた匿名の識別子を含んでいる送信を受信する命令と、(ii)無線通信デバイスによって、無線通信デバイスからのオブジェクトの範囲及び方向を決定する命令であって、これらの範囲及び方向が、無線測距動作を少なくとも部分的に使用して決定される、命令と、(iii)無線通信デバイスからのオブジェクトの範囲及び方向を示す出力情報を提示する命令とを含む。
いくつかの実施形態では、提示する命令は、無線通信デバイスの向きに基づいて、オブジェクトを表す第1のインジケータを含む近接領域のマップを表示することと、オブジェクトに対応する第2のインジケータを含む近接領域のカメラキャプチャ画像を表示することとの間で遷移する命令を更に含む。
前述の説明では、本発明者らは「いくつかの実施形態」に言及している。「いくつかの実施形態」とは、可能なすべての実施形態のサブセットについて説明しているが、必ずしも実施形態の同じサブセットを指定するわけではないことに留意されたい。
前述の説明は、あらゆる当業者が本開示を製作及び使用することを可能にすることが意図されており、特定の用途及びその要件との関連で提供される。更には、本開示の実施形態の前述の説明は、例示及び説明のみを目的として提示されている。それらの説明は、網羅的であること、又は、開示された形態に本開示を限定することを意図するものではない。したがって、多くの修正形態及び変形形態が、当業者には明らかとなり、本明細書で定義される一般原則は、本開示の趣旨と範囲から逸脱することなく、他の実施形態及び用途に適用することができる。更には、上述の実施形態の論考は、本開示を限定することを意図するものではない。それゆえ、本開示は、示される実施形態に限定されることを意図するものではなく、本明細書で開示される原理及び特徴と合致する最も広い範囲を与えられるものとする。

Claims (20)

  1. オブジェクトを制御するために無線通信デバイスによって実行される方法であって、
    前記無線通信デバイスが、前記無線通信デバイスの無線範囲内に存在する前記オブジェクトを制御する意図を示す意図ジェスチャを検出するための第1の組のデータを解釈すること、
    前記無線通信デバイスが、制御される前記オブジェクトを識別するために無線測距オペレーションを実行することであって、前記無線測距オペレーションは前記オブジェクトを他の隣接したオブジェクトから区別するために、前記オブジェクトから匿名識別子を受信することを含み、
    前記無線通信デバイスが、前記無線測距オペレーションが識別する前記オブジェクトを制御するコマンドを示すアクションジェスチャを決定するために、第2の組のデータを解釈すること、
    前記無線通信デバイスが、前記オブジェクトを制御するコマンドに対応するコマンド値を送信すること、を実行する方法。
  2. 前記第1の組のデータを解釈することは、前記オブジェクトの位置に対する前記無線通信デバイスの方向を測定することを含む、請求項1に記載の方法。
  3. 前記第2の組のデータを解釈することは、前記無線通信デバイスの2次元又は3次元における動きを決定づけることを含む、請求項1に記載の方法。
  4. 前記無線通信デバイスにおいて、1以上のセンサの少なくとも1つからの第1の出力を含み、
    前記無線通信デバイスにおいて、前記1以上のセンサの少なくとも1つからの第2の出力を含む、請求項1に記載の方法。
  5. 前記無線測距オペレーションは、1以上の隣接したオブジェクトを除外するため、1以上の超音波の高音又は60GHz伝送を送受信することを含む、請求項1に記載の方法。
  6. 前記無線測距オペレーションを実行することは、送信される電力信号に応答して受信される無線信号を解釈することを含み、前記送信される電力信号は、その電力信号の中に符号化された識別子を含む、請求項1に記載の方法。
  7. 前記オブジェクトは物理的オブジェクトを含む、請求項1に記載の方法。
  8. 前記オブジェクトは、異なる位置で物理的オブジェクトのためのプロキシを含んだ仮想オブジェクトを含む、請求項1に記載の方法。
  9. 前記オブジェクトを制御することは、
    前記無線通信デバイスを前記オブジェクトに関連づけること、又は
    前記オブジェクトの操作設定を変更すること、
    を含む、請求項1に記載の方法。
  10. 制御される前記オブジェクトは、前記符号化された識別子を認識し、及び無線信号により応答する、請求項6に記載の方法。
  11. 無線通信デバイスであって、
    オブジェクトと無線で通信するよう構成されたインタフェース回路と、
    センサデータを計測するよう構成された1以上のセンサと、
    前記インタフェース回路及び前記1以上のセンサと通信可能に結合されたプロセッサであって、前記オブジェクトを制御するためにプログラムモジュールを実行するよう構成された前記プロセッサと、
    前記プロセッサと通信可能に結合され、及び前記プログラムモジュールを記憶するよう構成されたメモリであって、
    前記プログラムモジュールが、
    前記無線通信デバイスの無線範囲内に存在する前記オブジェクトを制御する意図を示す意図ジェスチャを検出するための第1の組のデータを解釈し、
    前記オブジェクトを他の隣接したオブジェクトから区別するために、前記オブジェクトから匿名識別子を受信することを含む無線測距オペレーションを実行して前記オブジェクトを識別し、
    前記無線測距オペレーションが識別する前記オブジェクトを制御するコマンドを示すアクションジェスチャを決定するために、第2の組のデータを解釈し、
    前記オブジェクトを制御するコマンドに対応するコマンド値を送信する、
    ための命令を含む、ことを特徴とする無線通信デバイス。
  12. 前記第1の組のデータを解釈することは、前記オブジェクトの位置に対する前記無線通信デバイスの方向を測定することを含む、請求項11に記載の無線通信デバイス。
  13. 前記第2の組のデータを解釈することは、前記無線通信デバイスの2次元又は3次元における動きを決定づけることを含む、請求項11に記載の無線通信デバイス。
  14. 前記第1の組のデータは、前記無線通信デバイスにおいて、1以上のセンサの少なくとも1つからの第1の出力を含み、
    前記第2の組のデータは、前記無線通信デバイスにおいて、前記1以上のセンサの少なくとも1つからの第2の出力を含む、請求項11に記載の無線通信デバイス。
  15. 前記無線測距オペレーションは、1以上の隣接したオブジェクトを除外するため、1以上の超音波の高音又は60GHz伝送を送受信することを含む、請求項11に記載の無線通信デバイス。
  16. 前記無線測距オペレーションを実行することは、送信される電力信号に応答して受信される無線信号を解釈することを含み、前記送信される電力信号は、その電力信号の中に符号化された識別子を含む、請求項11に記載の無線通信デバイス。
  17. 前記オブジェクトは物理的オブジェクトを含む、請求項11に記載の無線通信デバイス。
  18. 前記オブジェクトは、異なる位置で物理的オブジェクトのためのプロキシを含んだ仮想オブジェクトを含む、請求項11に記載の無線通信デバイス。
  19. 前記オブジェクトを制御することは、
    前記無線通信デバイスを前記オブジェクトに関連づけること、又は
    前記オブジェクトの操作設定を変更すること、
    を含む、請求項11に記載の無線通信デバイス。
  20. オブジェクトを制御するために無線通信デバイスと共に使用するためのコンピュータプログラムであって、非一時的コンピュータ可読記憶媒体を含むコンピュータに
    前記無線通信デバイスの無線範囲内に存在する前記オブジェクトを制御する意図を示す意図ジェスチャを検出するための第1の組のデータを解釈する命令と、
    前記オブジェクトを識別するために無線測距オペレーションを実行することであって、前記無線測距オペレーションは前記オブジェクトを他の隣接したオブジェクトから区別するために、前記オブジェクトから匿名識別子を受信ことを含む命令と、
    前記無線測距オペレーションが識別する前記オブジェクトを制御するコマンドを示すアクションジェスチャを決定するために、第2の組のデータを解釈する命令と、
    前記オブジェクトを制御するコマンドに対応するコマンド値を送信する命令と、
    実行させるための、コンピュータプログラム。
JP2022086623A 2016-02-04 2022-05-27 無線測距に基づいた電子デバイスの制御及び情報の表示 Active JP7382448B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662291504P 2016-02-04 2016-02-04
US62/291,504 2016-02-04
JP2020157320A JP7082651B2 (ja) 2016-02-04 2020-09-18 無線測距に基づいた電子デバイスの制御及び情報の表示

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020157320A Division JP7082651B2 (ja) 2016-02-04 2020-09-18 無線測距に基づいた電子デバイスの制御及び情報の表示

Publications (2)

Publication Number Publication Date
JP2022119909A JP2022119909A (ja) 2022-08-17
JP7382448B2 true JP7382448B2 (ja) 2023-11-16

Family

ID=59497838

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018539298A Active JP6810748B2 (ja) 2016-02-04 2017-02-03 無線測距に基づいた電子デバイスの制御及び情報の表示
JP2020157320A Active JP7082651B2 (ja) 2016-02-04 2020-09-18 無線測距に基づいた電子デバイスの制御及び情報の表示
JP2022086623A Active JP7382448B2 (ja) 2016-02-04 2022-05-27 無線測距に基づいた電子デバイスの制御及び情報の表示

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2018539298A Active JP6810748B2 (ja) 2016-02-04 2017-02-03 無線測距に基づいた電子デバイスの制御及び情報の表示
JP2020157320A Active JP7082651B2 (ja) 2016-02-04 2020-09-18 無線測距に基づいた電子デバイスの制御及び情報の表示

Country Status (7)

Country Link
US (7) US10368378B2 (ja)
EP (2) EP4328708A2 (ja)
JP (3) JP6810748B2 (ja)
KR (5) KR102603634B1 (ja)
CN (2) CN114138116A (ja)
AU (3) AU2017214547B2 (ja)
WO (1) WO2017136705A1 (ja)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6008617B2 (ja) * 2012-06-29 2016-10-19 キヤノン株式会社 通信装置およびその制御方法、並びにプログラム
US9779596B2 (en) 2012-10-24 2017-10-03 Apple Inc. Devices and methods for locating accessories of an electronic device
GB201410612D0 (en) * 2014-06-13 2014-07-30 Tomtom Int Bv Methods and systems for generating route data
WO2017059307A1 (en) 2015-09-30 2017-04-06 Sonifi Solutions, Inc. Methods and systems for enabling communications between devices
EP4328708A2 (en) 2016-02-04 2024-02-28 Apple Inc. Controlling electronic devices and augmented reality based on wireless ranging
US10327035B2 (en) * 2016-03-15 2019-06-18 Sonifi Solutions, Inc. Systems and methods for associating communication devices with output devices
US11047702B1 (en) * 2016-09-16 2021-06-29 Apple Inc. Tracking systems for electronic devices
BR112019006258A2 (pt) * 2016-09-30 2019-06-25 Huawei Tech Co Ltd método e sistema de transferência, e aparelho
EP3319361A1 (en) * 2016-11-03 2018-05-09 Alcatel Lucent Method and apparatus for a radio communication network
DE102016124275A1 (de) * 2016-12-13 2018-06-14 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Bamberg Verfahren zur Ansteuerung einer motorischen Verschlusselementanordnung eines Kraftfahrzeugs
WO2018112224A1 (en) * 2016-12-14 2018-06-21 Denso International America, Inc. Method and system for establishing microlocation zones
CA3048430A1 (en) 2016-12-22 2018-06-28 Sonifi Solutions, Inc. Methods and systems for implementing legacy remote and keystroke redirection
US10403276B2 (en) * 2017-03-17 2019-09-03 Microsoft Technology Licensing, Llc Voice enabled features based on proximity
US10531065B2 (en) 2017-03-30 2020-01-07 Microsoft Technology Licensing, Llc Coarse relocalization using signal fingerprints
US10600252B2 (en) 2017-03-30 2020-03-24 Microsoft Technology Licensing, Llc Coarse relocalization using signal fingerprints
WO2018204430A1 (en) * 2017-05-03 2018-11-08 Carrier Corporation On demand access control authorization using mobile devices
US11810667B2 (en) 2017-06-27 2023-11-07 Stryker Corporation Patient support systems and methods for assisting caregivers with patient care
US11484451B1 (en) 2017-06-27 2022-11-01 Stryker Corporation Patient support apparatus user interfaces
US11096850B2 (en) 2017-06-27 2021-08-24 Stryker Corporation Patient support apparatus control systems
US11382812B2 (en) 2017-06-27 2022-07-12 Stryker Corporation Patient support systems and methods for assisting caregivers with patient care
US10811136B2 (en) 2017-06-27 2020-10-20 Stryker Corporation Access systems for use with patient support apparatuses
US11337872B2 (en) 2017-06-27 2022-05-24 Stryker Corporation Patient support systems and methods for assisting caregivers with patient care
US11202729B2 (en) 2017-06-27 2021-12-21 Stryker Corporation Patient support apparatus user interfaces
US10733799B2 (en) * 2017-07-26 2020-08-04 Daqri, Llc Augmented reality sensor
EP3451572B1 (en) * 2017-08-30 2021-09-29 Rohde & Schwarz GmbH & Co. KG Wireless communication device, wireless communication system and wireless communication method
US10063303B1 (en) * 2017-09-18 2018-08-28 Integrated Device Technology, Inc. Fast memory access control for phase and gain
US11510097B2 (en) 2017-11-16 2022-11-22 Distech Controls Inc. Environment control device and method for inferring an optimal wireless data transfer rate using a neural network
US10616121B2 (en) * 2017-11-16 2020-04-07 Distech Controls Inc. Inference server and environment control device for inferring an optimal wireless data transfer rate
US11771283B2 (en) * 2017-12-06 2023-10-03 BISSELL , Inc. Method and system for manual control of autonomous floor cleaner
US10375504B2 (en) 2017-12-13 2019-08-06 Qualcomm Incorporated Mechanism to output audio to trigger the natural instincts of a user
CN108482276A (zh) * 2018-02-02 2018-09-04 斑马网络技术有限公司 车辆屏幕信息显示方法及其系统
US11102616B2 (en) * 2018-08-31 2021-08-24 Carrier Corporation Method of tracking objects using thermostat
US11641563B2 (en) 2018-09-28 2023-05-02 Apple Inc. System and method for locating wireless accessories
US20200126047A1 (en) * 2018-10-17 2020-04-23 Bank Of America Corporation Digital Check Generation and Processing Platform
US11023624B2 (en) * 2018-10-31 2021-06-01 Kyocera Document Solutions Inc. Method and apparatus for locating tracked items using a multipart sensor
EP4134925A1 (en) 2018-11-02 2023-02-15 Assa Abloy AB Systems, methods, and devices for access control
US11354728B2 (en) * 2019-03-24 2022-06-07 We.R Augmented Reality Cloud Ltd. System, device, and method of augmented reality based mapping of a venue and navigation within a venue
CA3134749A1 (en) 2019-03-25 2020-10-01 Assa Abloy Ab Ultra-wide band device for access control reader system
WO2020193578A1 (en) 2019-03-25 2020-10-01 Assa Abloy Ab Physical access control systems with localization-based intent detection
US11863671B1 (en) 2019-04-17 2024-01-02 Apple Inc. Accessory assisted account recovery
US11540137B2 (en) * 2019-04-17 2022-12-27 Apple Inc. Pairing devices based on distance
US20220200789A1 (en) * 2019-04-17 2022-06-23 Apple Inc. Sharing keys for a wireless accessory
CN113796099A (zh) * 2019-04-17 2021-12-14 苹果公司 使用增强现实寻找目标设备
CN113812174A (zh) * 2019-04-17 2021-12-17 苹果公司 无线附件设备的位置数据采集和修剪
US10735900B1 (en) * 2019-05-06 2020-08-04 Apple Inc. Ranging measurements for spatially-aware user interface of a mobile device
US11210932B2 (en) * 2019-05-21 2021-12-28 Apple Inc. Discovery of and connection to remote devices
EP3748646A1 (en) 2019-06-04 2020-12-09 Liko Research & Development AB Wireless link pairing authentication
KR102257994B1 (ko) * 2019-09-02 2021-05-31 삼성전자주식회사 근접 여부를 판별하는 방법 및 디바이스
US11229002B2 (en) * 2019-09-05 2022-01-18 Apple Inc. Ranging with a mobile cellular device
CN114207557A (zh) * 2019-09-09 2022-03-18 苹果公司 虚拟和物理相机的位置同步
US20220375176A1 (en) 2019-09-25 2022-11-24 Noodle Technology Inc. Augmenting reality by capturing signals using wireless radios
US11955723B2 (en) 2019-09-26 2024-04-09 Assa Abloy Ab Ultra-wide band antenna configuration for physical access control system
US11448747B2 (en) * 2019-09-26 2022-09-20 Apple Inc. Time-of-flight determination of user intent
US11875209B2 (en) 2019-10-01 2024-01-16 Assa Abloy Ab Connection and service discovery for fine ranging applications
KR102404893B1 (ko) * 2019-12-19 2022-06-02 경남대학교 산학협력단 기기 제어 장치 및 방법
KR20210079061A (ko) * 2019-12-19 2021-06-29 엘지전자 주식회사 정보 처리 방법 및 정보 처리 장치
US11012967B1 (en) * 2020-01-31 2021-05-18 Disney Enterprises, Inc. System for determining precise location of a sought device by solving the last mile problem
US11755111B2 (en) 2020-03-16 2023-09-12 Arkh, Inc. Spatially aware computing hub and environment
KR102258735B1 (ko) 2020-05-11 2021-05-28 아주대학교산학협력단 객체의 위치 측정 방법 및 이를 이용한 증강 현실 서비스 제공 장치
CN111917918B (zh) * 2020-07-24 2021-09-21 腾讯科技(深圳)有限公司 基于增强现实的事件提醒管理方法、装置以及存储介质
CN114727220B (zh) 2020-08-05 2022-12-27 华为技术有限公司 一种设备搜寻方法以及电子设备
US11889302B2 (en) 2020-08-28 2024-01-30 Apple Inc. Maintenance of wireless devices
US11683584B2 (en) 2020-10-22 2023-06-20 Samsung Electronics Co., Ltd Electronic device and method for supporting zoom functionality
KR20220053214A (ko) * 2020-10-22 2022-04-29 삼성전자주식회사 줌 기능을 지원하는 전자 장치 및 방법
US20220137204A1 (en) * 2020-11-02 2022-05-05 Samsung Electronics Co., Ltd. Interactive control with ranging and gesturing between devices
CN112702725A (zh) * 2020-11-27 2021-04-23 深圳市思讯通信技术有限公司 一种无线蓝牙可穿戴音频设备实际体验感数据化测试系统
CN112492517A (zh) * 2020-12-07 2021-03-12 Oppo广东移动通信有限公司 基于uwb的交互方法及装置、设备、存储介质和系统
US20220182921A1 (en) * 2020-12-08 2022-06-09 Arris Enterprises Llc Device and method for monitoring social distancing and contact tracing
CN112784193A (zh) * 2021-01-27 2021-05-11 维沃移动通信有限公司 配件信息显示方法、装置、电子设备及可读存储介质
US11893551B2 (en) 2021-04-15 2024-02-06 Bank Of America Corporation Information security system and method for augmented reality check generation
US11914093B2 (en) 2021-12-07 2024-02-27 Microsoft Technology Licensing, Llc RF antenna scanning for human movement classification
US20240012766A1 (en) * 2022-07-08 2024-01-11 Dell Products, L.P. Managing peripheral device connectivity based on context

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007531113A (ja) 2004-03-23 2007-11-01 富士通株式会社 携帯装置の傾斜及び並進運動成分の識別
JP2012511275A (ja) 2008-12-04 2012-05-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 装置を選択及び制御する方法
JP2013051593A (ja) 2011-08-31 2013-03-14 Sony Corp 無線操作装置、無線操作システム及び無線操作方法
JP2013532338A (ja) 2010-06-16 2013-08-15 クアルコム,インコーポレイテッド ジェスチャーベースの遠隔制御のための方法および装置
JP2015179493A (ja) 2014-02-27 2015-10-08 株式会社ログバー ジェスチャ入力システム
JP2016009888A (ja) 2014-06-20 2016-01-18 日本電気通信システム株式会社 近距離通信システム、近距離通信方法、通信処理装置、携帯端末およびその制御方法と制御プログラム

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3804841A1 (de) 1988-02-17 1989-08-31 Hoechst Ag Cephalosporinderivate und verfahren zu ihrer herstellung
US5694335A (en) * 1996-03-12 1997-12-02 Hollenberg; Dennis D. Secure personal applications network
JPH10232757A (ja) 1997-02-19 1998-09-02 Sharp Corp メディア選択装置
JPH11249778A (ja) 1998-02-26 1999-09-17 Hitachi Ltd 移動体管理システム
US6396523B1 (en) 1999-07-29 2002-05-28 Interlink Electronics, Inc. Home entertainment device remote control
US6791467B1 (en) 2000-03-23 2004-09-14 Flextronics Semiconductor, Inc. Adaptive remote controller
US7062279B2 (en) * 2000-06-22 2006-06-13 Openwave Systems Inc. Anonymous positioning of a wireless unit for data network location-based services
US7421466B2 (en) * 2001-10-29 2008-09-02 Hewlett-Packard Development Company, L.P. Dynamic mapping of wireless network devices
KR100878764B1 (ko) 2002-07-06 2009-01-14 삼성전자주식회사 사용자의 익명성보장을 위한 무선 랜 시스템 및 사용자의익명성 보장방법
JP4281400B2 (ja) * 2003-04-14 2009-06-17 ソニー株式会社 通信装置、その表示方法、コンピュータプログラム、および通信方法
US20050212760A1 (en) * 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
CN1939009A (zh) * 2004-03-31 2007-03-28 皇家飞利浦电子股份有限公司 利用短程射频技术来定位无线医疗装置的方法
US7259671B2 (en) 2004-06-21 2007-08-21 Christine Ganley Proximity aware personal alert system
US8417215B2 (en) 2004-07-28 2013-04-09 Koninklijke Philips Electronics N.V. Method for positioning of wireless medical devices with short-range radio frequency technology
US20060265664A1 (en) 2005-05-17 2006-11-23 Hitachi, Ltd. System, method and computer program product for user interface operations for ad-hoc sensor node tracking
TWI316195B (en) 2005-12-01 2009-10-21 Ind Tech Res Inst Input means for interactive devices
WO2007123001A1 (ja) 2006-04-17 2007-11-01 Panasonic Corporation Avシステム
JP2008232907A (ja) * 2007-03-22 2008-10-02 Kyushu Ten:Kk 測距システムおよびその測距方法
US9582937B2 (en) * 2008-01-02 2017-02-28 Nokia Technologies Oy Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US8059111B2 (en) * 2008-01-21 2011-11-15 Sony Computer Entertainment America Llc Data transfer using hand-held device
JP2009289192A (ja) 2008-05-30 2009-12-10 Aisin Aw Co Ltd 相乗り乗車システム
EP2298035A1 (en) 2008-06-11 2011-03-23 Koninklijke Philips Electronics N.V. A wireless, remotely controlled, device selection system and method
US20100171635A1 (en) 2009-01-02 2010-07-08 Ewig Industries Macao Commerical Offshore, Ltd. System And Method For Motion-Sensitive Remote Control For Audio-Visual Entertainment System
KR20100126628A (ko) * 2009-05-24 2010-12-02 엘지전자 주식회사 펨토셀 타입을 고려한 펨토 기지국의 저부하 모드 동작 방법
JP5297900B2 (ja) * 2009-06-04 2013-09-25 Kddi株式会社 位置情報管理システム、位置情報管理方法およびプログラム
KR20100132427A (ko) * 2009-06-09 2010-12-17 엘지전자 주식회사 펨토 기지국의 저부하 모드 동작 방법
JP2012532555A (ja) * 2009-07-02 2012-12-13 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 移動無線接続システムにおけるフェムト基地局の動作方法
US9439736B2 (en) 2009-07-22 2016-09-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for controlling a remote medical device guidance system in three-dimensions using gestures
US9571625B2 (en) 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US8482678B2 (en) 2009-09-10 2013-07-09 AFA Micro Co. Remote control and gesture-based input device
US20110060652A1 (en) 2009-09-10 2011-03-10 Morton Timothy B System and method for the service of advertising content to a consumer based on the detection of zone events in a retail environment
US8593576B2 (en) 2009-10-15 2013-11-26 At&T Intellectual Property I, L.P. Gesture-based remote control
US8665075B2 (en) * 2009-10-26 2014-03-04 At&T Intellectual Property I, L.P. Gesture-initiated remote control programming
US11042816B2 (en) 2009-10-30 2021-06-22 Getaround, Inc. Vehicle access control services and platform
CN102083236A (zh) * 2009-11-27 2011-06-01 中国科学院自动化研究所 一种基于通信网络的井下定位与安全监控系统
JP5219986B2 (ja) * 2009-11-30 2013-06-26 株式会社エヌ・ティ・ティ・ドコモ 位置推定システム、通信端末、および位置推定方法
KR101556796B1 (ko) * 2009-12-22 2015-10-01 삼성전자주식회사 기지국의 휴면주기 관리 방법 및 시스템
US8756532B2 (en) * 2010-01-21 2014-06-17 Cisco Technology, Inc. Using a gesture to transfer an object across multiple multi-touch devices
EP2534774A4 (en) * 2010-02-09 2016-03-02 Nokia Technologies Oy METHOD AND DEVICE FOR SENDING CONTENT PACKAGES
US8837307B2 (en) * 2010-05-26 2014-09-16 Qualcomm Incorporated Two-way ranging messaging scheme
US9684989B2 (en) * 2010-06-16 2017-06-20 Qualcomm Incorporated User interface transition between camera view and map view
JP4857406B1 (ja) 2010-06-25 2012-01-18 パナソニック株式会社 制御装置およびスクリプト変換方法
US20120000431A1 (en) * 2010-07-05 2012-01-05 Kamran Khoshkish Electronic Pet Containment System
US8464184B1 (en) * 2010-11-30 2013-06-11 Symantec Corporation Systems and methods for gesture-based distribution of files
KR101744723B1 (ko) * 2010-12-20 2017-06-20 한국전자통신연구원 실내 위치 인식 시스템 및 이를 이용한 실내 위치 인식 방법
WO2012092562A1 (en) * 2010-12-30 2012-07-05 Ambientz Information processing using a population of data acquisition devices
US20120293630A1 (en) * 2011-05-19 2012-11-22 Qualcomm Incorporated Method and apparatus for multi-camera motion capture enhancement using proximity sensors
US20130033418A1 (en) * 2011-08-05 2013-02-07 Qualcomm Incorporated Gesture detection using proximity or light sensors
KR101343587B1 (ko) * 2011-10-13 2013-12-19 엘지전자 주식회사 방향 정보를 이용한 데이터 전송 방법 및 상기 방법을 채용한 휴대 전자 기기
EP2602691A1 (en) * 2011-12-05 2013-06-12 Alcatel Lucent Method for gesture control, gesture server device and sensor input device
US8704657B2 (en) 2012-02-21 2014-04-22 Htc Corporation Method for reminding objects being away and communication device and computer readable medium using the same method
US8981938B2 (en) 2012-03-08 2015-03-17 Linquet Technologies, Inc. Comprehensive system and method of universal real-time linking of real objects to a machine, network, internet, or software service
WO2013154476A1 (en) * 2012-04-12 2013-10-17 Telefonaktiebolaget L M Ericsson (Publ) Pairing a mobile terminal with a wireless device
CN103379431B (zh) 2012-04-19 2017-06-30 阿里巴巴集团控股有限公司 一种账户安全的保护方法和装置
US9031543B2 (en) 2012-06-06 2015-05-12 Qualcomm Incorporated Visualization of network members based on location and direction
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9031283B2 (en) * 2012-07-12 2015-05-12 Qualcomm Incorporated Sensor-aided wide-area localization on mobile devices
US9235241B2 (en) * 2012-07-29 2016-01-12 Qualcomm Incorporated Anatomical gestures detection system using radio signals
EP2699022A1 (en) 2012-08-16 2014-02-19 Alcatel Lucent Method for provisioning a person with information associated with an event
US8823507B1 (en) 2012-09-19 2014-09-02 Amazon Technologies, Inc. Variable notification alerts
US20140363168A1 (en) * 2012-10-24 2014-12-11 Google Inc. Use of visible connection between devices to represent connections and interactions between the devices
JP6260079B2 (ja) * 2012-12-21 2018-01-17 沖電気工業株式会社 通信制御装置、端末装置、プログラム及び通信制御方法
JP5469764B1 (ja) * 2013-03-26 2014-04-16 三菱電機インフォメーションシステムズ株式会社 建造物表示装置及び建造物表示システム及び建造物表示方法及び建造物表示プログラム
US9453904B2 (en) * 2013-07-18 2016-09-27 Golba Llc Hybrid multi-camera based positioning
KR102008458B1 (ko) * 2013-08-30 2019-08-07 삼성전자주식회사 무선 통신시스템의 무선 기기 탐색 장치 및 방법
WO2015038568A1 (en) * 2013-09-10 2015-03-19 Marvell World Trade Ltd. Secure device bootstrap identity
KR20150032101A (ko) * 2013-09-17 2015-03-25 삼성전자주식회사 영상표시장치 및 영상표시방법
US20150088282A1 (en) 2013-09-24 2015-03-26 Fibar Group sp. z o. o. Touch-less swipe control
JP6446967B2 (ja) 2013-11-13 2019-01-09 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
US10339795B2 (en) 2013-12-24 2019-07-02 Lutron Technology Company Llc Wireless communication diagnostics
CN103813449B (zh) * 2014-03-03 2017-12-15 宇龙计算机通信科技(深圳)有限公司 一种无线通讯快速接入的方法及相关设备
WO2015149032A1 (en) * 2014-03-28 2015-10-01 Brian Roundtree Beacon based privacy centric network communication, sharing, relevancy tools and other tools
US9900091B2 (en) * 2014-06-24 2018-02-20 Samsung Electronics Co., Ltd. Method and apparatus for pairing electronic device and lighting device
US20170160800A1 (en) 2014-07-09 2017-06-08 Nokia Technologies Oy Device control
US10044847B2 (en) 2014-07-22 2018-08-07 Lawrence P. Levitt Positional awareness and locating system for cognitively impaired individuals and their caregivers
US9392398B2 (en) * 2014-09-30 2016-07-12 Apple Inc. Wireless proximity pairing of user-interface devices
US20160187995A1 (en) * 2014-12-30 2016-06-30 Tyco Fire & Security Gmbh Contextual Based Gesture Recognition And Control
US10484827B2 (en) 2015-01-30 2019-11-19 Lutron Technology Company Llc Gesture-based load control via wearable devices
US11238397B2 (en) 2015-02-09 2022-02-01 Fedex Corporate Services, Inc. Methods, apparatus, and systems for generating a corrective pickup notification for a shipped item using a mobile master node
US9756387B2 (en) 2015-02-13 2017-09-05 Google Inc. Systems and methods for using a remote control for presence detection
KR20160133305A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 제스쳐 인식 방법, 컴퓨팅 장치 및 제어 장치
US9536421B2 (en) 2015-06-02 2017-01-03 Qualcomm Technologies International, Ltd. Intuitive way to point, access and control appliances and other objects in building interiors
US10215574B2 (en) 2015-08-06 2019-02-26 Uber Technologies, Inc. Facilitating rider pick-up for a transport service
US9525971B1 (en) 2015-11-11 2016-12-20 Tile, Inc. Leash notification for tracking device
US9739617B2 (en) 2015-11-23 2017-08-22 Telenav, Inc. Navigation system with prompt mechanism and method of operation thereof
US11023049B2 (en) * 2015-11-24 2021-06-01 Ford Global Technologies, Llc Methods and systems for enabling gesture control for a vehicle feature
EP4328708A2 (en) 2016-02-04 2024-02-28 Apple Inc. Controlling electronic devices and augmented reality based on wireless ranging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007531113A (ja) 2004-03-23 2007-11-01 富士通株式会社 携帯装置の傾斜及び並進運動成分の識別
JP2012511275A (ja) 2008-12-04 2012-05-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 装置を選択及び制御する方法
JP2013532338A (ja) 2010-06-16 2013-08-15 クアルコム,インコーポレイテッド ジェスチャーベースの遠隔制御のための方法および装置
JP2013051593A (ja) 2011-08-31 2013-03-14 Sony Corp 無線操作装置、無線操作システム及び無線操作方法
JP2015179493A (ja) 2014-02-27 2015-10-08 株式会社ログバー ジェスチャ入力システム
JP2016009888A (ja) 2014-06-20 2016-01-18 日本電気通信システム株式会社 近距離通信システム、近距離通信方法、通信処理装置、携帯端末およびその制御方法と制御プログラム

Also Published As

Publication number Publication date
AU2022205199A1 (en) 2022-08-04
AU2020203003B2 (en) 2022-04-14
US20200092925A1 (en) 2020-03-19
US10368378B2 (en) 2019-07-30
JP7082651B2 (ja) 2022-06-08
KR20220082938A (ko) 2022-06-17
JP2019510296A (ja) 2019-04-11
US20210307093A1 (en) 2021-09-30
US20230121160A1 (en) 2023-04-20
US10602556B2 (en) 2020-03-24
US20170228935A1 (en) 2017-08-10
WO2017136705A1 (en) 2017-08-10
US20200260514A1 (en) 2020-08-13
CN114138116A (zh) 2022-03-04
KR102407613B1 (ko) 2022-06-10
US10912136B2 (en) 2021-02-02
AU2022205199B2 (en) 2023-10-19
KR20200113007A (ko) 2020-10-05
CN108604129A (zh) 2018-09-28
JP2022119909A (ja) 2022-08-17
KR20230044040A (ko) 2023-03-31
EP3398038B1 (en) 2024-01-17
JP2021012704A (ja) 2021-02-04
US11601993B2 (en) 2023-03-07
US11425767B2 (en) 2022-08-23
CN108604129B (zh) 2021-12-14
EP4328708A2 (en) 2024-02-28
US20170229009A1 (en) 2017-08-10
AU2017214547A1 (en) 2018-08-02
KR20210099205A (ko) 2021-08-11
KR102515013B1 (ko) 2023-03-30
KR102288504B1 (ko) 2021-08-10
JP6810748B2 (ja) 2021-01-06
US20230319914A1 (en) 2023-10-05
KR20180089907A (ko) 2018-08-09
AU2020203003A1 (en) 2020-05-28
KR102603634B1 (ko) 2023-11-20
EP3398038A4 (en) 2019-08-07
EP3398038A1 (en) 2018-11-07
AU2017214547B2 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
JP7382448B2 (ja) 無線測距に基づいた電子デバイスの制御及び情報の表示
US9462108B2 (en) Mobile terminal and method for controlling the mobile terminal
US10033544B2 (en) Notification apparatus and object position notification method thereof
AU2013263755B2 (en) Information providing method and mobile terminal therefor
KR101680667B1 (ko) 이동 단말기 및 이동 단말기의 제어방법
KR20160011419A (ko) 이동 단말기, 이동 단말기의 제어방법, 그리고, 제어시스템과 그 제어방법
KR101556179B1 (ko) 이동 단말기 및 이동 단말기의 제어방법
KR20160008342A (ko) 이동 단말기

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220609

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231106

R150 Certificate of patent or registration of utility model

Ref document number: 7382448

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150