JP7295147B2 - 視覚認識を使用してデバイスをペアリングするためのシステム及び方法 - Google Patents

視覚認識を使用してデバイスをペアリングするためのシステム及び方法 Download PDF

Info

Publication number
JP7295147B2
JP7295147B2 JP2020568333A JP2020568333A JP7295147B2 JP 7295147 B2 JP7295147 B2 JP 7295147B2 JP 2020568333 A JP2020568333 A JP 2020568333A JP 2020568333 A JP2020568333 A JP 2020568333A JP 7295147 B2 JP7295147 B2 JP 7295147B2
Authority
JP
Japan
Prior art keywords
peripheral device
peripheral
host device
host
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020568333A
Other languages
English (en)
Other versions
JP2022522912A (ja
Inventor
ポール，ダニエル
ライダー，トメル
ヤン，ウェンロン
Original Assignee
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2022522912A publication Critical patent/JP2022522912A/ja
Application granted granted Critical
Publication of JP7295147B2 publication Critical patent/JP7295147B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/22—Handling requests for interconnection or transfer for access to input/output bus using successive scanning, e.g. polling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/318—Received signal strength
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/24—Radio transmission systems, i.e. using radiation field for communication between two or more posts
    • H04B7/26—Radio transmission systems, i.e. using radiation field for communication between two or more posts at least one of which is mobile
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50—Secure pairing of devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/60—Context-dependent security
    • H04W12/63—Location-dependent; Proximity-dependent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Description

本開示は、概して周辺電子デバイスをホスト電子デバイスにペアリングすることに関する。
このセクションは、以下に記載及び/又は請求される本開示の態様に関連し得る技術の様々な態様を読者に紹介することを意図している。この説明は、本開示の様々な態様のより良い理解を促進するために、読者に背景情報を提供するのに役立つと考えられる。したがって、これらの記述は、先行技術の認定としてではなく、この観点から読まれるべきであることが理解され得る。
過去数年の間に、無線周辺デバイスは人気を集め、ユーザの家庭の間で広く普及してきた。これらの周辺デバイスは、小型デバイスからより大きい主流の家電製品を含むことがある。イヤホン以外にも、仮想現実周辺機器、マウスデバイス、キーボード、スマートホームデバイスのように、様々な他のデバイスが日常生活の一部となっている。しかし、このような普遍的な普及にもかかわらず、周辺デバイスをペアリングするプロセス、例えば、スマートフォンを無線ヘッドホンとペアリングするプロセスは標準化されておらず、特定の順序で特定のボタンを特定の時間押す必要がしばしばあり、ユーザマニュアルを不必要に見る必要があることがある。
ここに開示される特定の実施形態の概要が以下に記載される。これらの態様は、単に、これらの特定の実施形態の簡単な概要を読者に提供するために提示されており、これらの態様は、この開示の範囲を限定することを意図するものではないことが理解されるべきである。実際に、本開示は、以下に記載されないことがある様々な態様を含んでもよい。
本開示は、視覚認識及び/又は機械学習(例えば、深層学習)を使用して、周辺電子デバイスをホスト電子デバイスにペアリングするためのシステム及び方法を記載する。特に、ホストデバイスは、センサ(例えば、カメラ)を介して或いは周辺デバイスを検索した結果として(例えば、関連アプリケーションの起動又は周期的スキャニングにより)、周辺デバイスの指標を受信してもよい。ホストデバイスはまた、周辺デバイスの画像(例えば、センサを介してキャプチャされる)を受信し、画像に基づいて周辺デバイスへの視覚距離を決定してもよい。ホストデバイスはまた、周辺デバイスの信号強度を決定し、信号強度に基づいて周辺デバイスへの信号距離を決定してもよい。ホストデバイスは、視覚距離及び信号距離がほぼ等しい場合、周辺デバイスをホストデバイスにペアリングしてもよい。
上記の特徴の様々な改良が本開示の様々な態様に関連して存在してもよい。更なる特徴もまた、これらの様々な態様に組み込まれてもよい。これらの改良及び更なる特徴は、個々に或いはいずれかの組み合わせで存在してもよい。例えば、例示の実施形態の1つ以上に関連して以下に説明する様々な特徴は、単独で或いはいずれかの組み合わせで、本開示の上記の態様のいずれかに組み込まれてもよい。同様に、上記に示す簡単な概要は、特許請求の範囲の対象物に限定されることなく、本開示の実施形態の特定の態様及び文脈を読者に精通させることのみを意図している。
本開示の様々な態様は、以下の詳細な説明を読み、図面を参照することで、より良く理解され得る。
本開示の実施形態に従って視覚認識及び/又は機械学習を使用し得る周辺デバイスペアリングシステムのブロック図である 本開示の実施形態に従って図１のホストデバイスを周辺デバイスとペアリングするためのプロセスを示すフローチャートである。 本開示の実施形態に従ってユーザが周辺デバイスとペアリングするか否かを尋ねるプロンプトを表示する図１のホストデバイスの斜視図である。 本開示の実施形態に従って周辺デバイスへの視覚距離及び信号距離を決定する図１のホストデバイスの斜視図である。 本開示の実施形態に従って周辺デバイスとのペアリングプロセスを完了する図１のホストデバイスの斜視図である。 本開示の実施形態に従ってキーボード周辺デバイスの代わりにスピーカ周辺デバイスに焦点を合わせた図１のホストデバイスの斜視図である。 本開示の実施形態に従って図６のスピーカ周辺デバイス及びキーボード周辺デバイスの双方の画像をキャプチャする図１のホストデバイスの斜視図である。 本開示の実施形態に従って周辺デバイスを装着したユーザの画像をキャプチャする図１のホストデバイスの斜視図である。 本開示の実施形態に従ってペアリングされる周辺デバイスの画像をキャプチャする例示的なホストデバイスの斜視図である。
1つ以上の特定の実施形態について以下に説明する。これらの実施形態について簡潔な説明を提供する目的で、実際の実装の全ての特徴が明細書に記載されているとは限らない。いずれかのこのような実際の実装の開発では、いずれかのエンジニアリング又は設計プロジェクトのように、実装毎に異なる可能性があるシステム関連及びビジネス関連の制約への準拠のような開発者特有の目標を達成するために、多数の実装特有の判断が行われなければならないことが認識され得る。さらに、このような開発努力は、複雑で時間がかかる可能性があるが、それにもかかわらず、この開示の利益を有する当業者にとって設計、製作及び製造の日常的な作業であることが認識され得る。
ホストデバイスが周辺デバイスを制御して使用することを可能にするために、無線周辺電子デバイス(例えば、イヤホンのセット、ヘッドホン、スピーカ、キーボード、マウスデバイス、カーステレオ、プリンタ、ウェブカメラ又はスマートホームデバイス)は、ホスト電子デバイス(例えば、スマートフォン、ウェアラブルデバイス、仮想現実若しくは混合現実ヘッドセット、タブレット、デスクトップコンピュータ、ラップトップコンピュータ又は他の計算デバイス)とペアリングされてもよい。周辺デバイスをペアリングするために、ユーザは、しばしば、周辺デバイスとホストデバイスとの双方をそれぞれのペアリングモードに手動で設定する。例えば、ユーザは、ホストデバイスをペアリングモードに設定するために、ホストデバイス上の構成メニューを通じてナビゲーションしてもよい。次いで、ホストデバイスは、ペアリング可能なデバイスを検索してもよい。ユーザはまた、周辺デバイスをペアリングモードに設定するために、周辺デバイスのボタンを3秒間押してもよい。ホストデバイスが周辺デバイスを発見すると、ユーザは、しばしば、デバイスのリストから周辺デバイスを手動で選択し、次いで、周辺デバイスがユーザがホストデバイスとペアリングされることを望むデバイスであることを確認してもよい。確認されると、ホストデバイスは最終的に周辺デバイスとペアリングしてもよい。
いくつかの場合、ペアリングは、ホストデバイスを、周辺デバイスに関連するパスコードを入力するためのパスコード入力モードに設定すること、ホストデバイスのカメラで周辺デバイス上のQRコード（登録商標）をスキャンするためのスキャニングモードに設定すること、又は、ネットワークへの周辺デバイスの接続を介して周辺デバイスを発見するためのネットワーク発見モードに設定することにより実行される。しかし、それぞれの場合、ユーザは、ペアリングを完了するために、更なるアクションを実行することがある。
本開示は、視覚認識及び/又は機械学習(例えば、深層学習)を使用して、周辺電子デバイスをホスト電子デバイスにペアリングするためのシステム及び方法を記載する。特に、ホストデバイスは、センサ(例えば、カメラ)を介して或いは周辺デバイスを検索した結果として(例えば、関連アプリケーションの起動又は周期的スキャニングにより)、周辺デバイスの指標を受信してもよい。ホストデバイスはまた、周辺デバイスの画像(例えば、センサを介してキャプチャされる)を受信し、画像に基づいて周辺デバイスへの視覚距離を決定してもよい。ホストデバイスはまた、周辺デバイスの信号強度を決定し、信号強度に基づいて周辺デバイスへの信号距離を決定してもよい。ホストデバイスは、視覚距離及び信号距離がほぼ等しい場合、周辺デバイスをホストデバイスにペアリングしてもよい。
いくつかの場合、ホストデバイスの検索半径内に他の周辺デバイスが存在してもよい。したがって、これらの他のデバイスの信号距離が周辺デバイスの視覚距離とほぼ一致しないとき、ホストデバイスは、これらの他の周辺デバイスをペアリングすることがユーザの意図ではないことを決定してもよい。さらに、周辺デバイスの画像はまた、他の周辺デバイスを含んでもよい場合が存在してもよい。ホストデバイスは、ユーザがペアリングすることを意図する周辺デバイスを決定するために、深層学習を含むいずれか適切な技術を使用してもよい。例えば、ホストデバイスは、周辺デバイスのいずれかが以前にペアリングされているか否かを決定し、以前にペアリングされている周辺デバイスとペアリングしてもよい。さらに或いは代替として、ホストデバイスは、(例えば、オープンソフトウェアアプリケーション又はホストデバイス上の直前に使用されたソフトウェアアプリケーションを介して、或いは周辺デバイスを示す画像を介して)周辺デバイスがどのように使用され得るかの指標を決定又は受信し、指標に基づいて周辺デバイスとペアリングしてもよい。いくつかの実施形態では、ホストデバイスは、例えば、周辺デバイスへの距離、周辺デバイスとペアリングした履歴及び/又は頻度、周辺デバイスがどのように使用され得るかの指標、又は他のいずれか適切な要因に基づいて、どの周辺デバイスとペアリングするかを決定するために、重み付け又は信頼係数システムを使用してもよい。
上記のことに留意して、図１は、本開示の実施形態に従って視覚認識及び深層学習を使用し得る周辺デバイスペアリングシステム10のブロック図である。システム10は、周辺デバイス14とペアリングされてもよいホストデバイス12を含む。ホストデバイス12は、携帯電話、スマートフォン、ウェアラブルデバイス、仮想現実又は混合現実ヘッドセット、タブレット、デスクトップコンピュータ、ラップトップコンピュータ、又は他のいずれか適切な計算デバイスのような周辺デバイス14とペアリングされ得るいずれか適切な電子デバイスを含んでもよい。周辺デバイス14は、イヤホンのセット、ヘッドホン、スピーカ、キーボード、マウスデバイス、カーステレオ、プリンタ、ウェブカメラ、スマートホームデバイス又は他の任意の適切な電子デバイスのような、ホストデバイス12とペアリングされ得るいずれか適切な電子デバイスを含んでもよい。
ホストデバイス12は、周辺デバイス14とのペアリングを容易にするコントローラ16を含んでもよい。コントローラ16は、1つ以上のプロセッサ18(例えば、処理回路)と、1つ以上のメモリデバイス20(1つ以上の記憶デバイスを含んでもよい)を含んでもよい。プロセッサ18は、周辺デバイス14とのペアリングを容易にするためのソフトウェアプログラム及び/又は命令を実行してもよい。さらに、プロセッサ18は、複数のマイクロプロセッサ、1つ以上の特定用途向け集積回路(application specific integrated circuit, ASIC)及び/又は1つ以上の縮小命令セット(reduced instruction set, RISC)プロセッサを含んでもよい。メモリデバイス20は、周辺デバイス14とのペアリングを容易にする命令のような、プロセッサ18が実行するための機械読み取り可能及び/又はプロセッサ実行可能な命令(例えば、ファームウェア又はソフトウェア)を記憶してもよい。したがって、メモリデバイス20は、周辺デバイス14とのペアリングを容易にするために、例えば、制御ソフトウェア、ルックアップテーブル、構成データ等を記憶してもよい。一実施形態では、プロセッサ18及びメモリデバイス20は、コントローラ16の外部にあってもよい。メモリデバイス20は、揮発性メモリ(例えば、ランダムアクセスメモリ(random access memory, RAM))及び/又は不揮発性メモリ(例えば、読み取り専用メモリ(read-only memory, ROM)、フラッシュメモリ、ハードドライブ及び/又はいずれか他の適切な光学、磁気又はソリッドステート記憶媒体)のような、有形の非一時的な機械読み取り可能媒体を含んでもよい。
コントローラ16は、ホストデバイス12のセンサ22から画像データを受信してもよい。センサ22は、周辺デバイス14の画像又はビデオを検出及び/又はキャプチャし、画像又はビデオを画像データとしてコントローラ16に送信する視覚センサでもよい。いくつかの実施形態では、視覚センサ22は、単眼カメラ、立体カメラ又は深度カメラのようなカメラでもよく、或いは、他の適切な画像キャプチャデバイスでもよい。
システム10は、画像/物体認識技術を使用して画像データ内の周辺デバイス14を識別する物体認識エンジン24を含んでもよい。例えば、物体認識エンジン24は、画像データ中の周辺デバイス14がイヤホンのセット、ヘッドホン、スピーカ、キーボード、マウスデバイス、カーステレオ、プリンタ、ウェブカメラ又はスマートホームデバイスであることを決定するために、物体認識技術を使用してもよい。物体認識エンジン24はまた、画像データ内の他の物体が、ホストデバイス12とペアリングされ得る周辺デバイスではないこと(コーヒーカップ、鉛筆、紙等)を決定するために、物体認識技術を使用してもよい。物体認識エンジン24は、画像データ内で認識された物体の指標をコントローラ16に送信してもよく、次いで、コントローラ16は、周辺デバイス14を識別された物体に関連付けてもよい。次いで、コントローラ16は、画像距離決定技術を使用して、画像データ内の周辺デバイス14への距離(又はその深度)を決定してもよい。
コントローラ16はまた、周辺デバイス14から情報を受信することを可能にする受信機26及びアンテナ28を含んでもよい。受信機26及びアンテナ28は、Bluetooth、Bluetooth Low Energy(BLE)、WiFi、WiMax又はZigBeeのように、デバイスをペアリングするために使用されるいずれか適切な無線通信プロトコルを使用して動作してもよい。例えば、アンテナ28は、周辺デバイス14への距離に関する情報、又は周辺デバイス14への距離を決定するために使用され得る情報を受信してもよい。すなわち、アンテナ28は、周辺デバイス14から送信された無線信号を受信してもよく、受信機26及び/又はコントローラ16は、無線信号に存在する電力の測定値又は値のような、無線信号に存在する電力の指標を決定してもよい。次いで、受信機26は、無線信号に存在する電力の測定値又は値をコントローラ16に送信してもよい。いくつかの実施形態では、無線信号に存在する電力の測定値又は値は、受信信号強度インジケータ(Received Signal Strength Indicator, RSSI)値でもよい。
次いで、コントローラ16は、ホストデバイス12から周辺デバイス14への距離を決定するために、周辺デバイス14のRSSI値を距離値に変換してもよい。例えば、コントローラ16は、距離(d)及びRSSIに関連する以下の式を使用してもよい。
Figure 0007295147000001
 ここで、
Fm=フェードマージン(fade margin)
n=パスロス指数
P0=ゼロ距離時の信号電力(dBm)
Pr=距離における信号電力(dBm)
f=信号周波数(単位MHz)
である。
ホストデバイス12はまた、ペアリングする周辺デバイス14を決定することを容易にする深層学習エンジン30を含んでもよい。深層学習エンジン30は、深層ニューラルネットワーク、深層信念ネットワーク又は再帰型ニューラルネットワークのようないずれか適切な機械学習技術又はアーキテクチャを使用してもよい。例えば、ホストデバイス12は、ペアリングされ得る(例えば、ホストデバイス12からほぼ同じ距離にある)複数の周辺デバイス14が存在することを決定してもよい。深層学習エンジン30は、(例えば、ホストデバイス12とペアリングされたデバイスの記憶リストに基づいて)各周辺デバイス14が以前にペアリングされたか否かを決定し、より頻繁に及び/又はより直前にペアリングされた周辺デバイス14が、ユーザがホストデバイス12とペアリングすることを望む周辺デバイス14である可能性が高いことを決定してもよい。
代替として或いはさらに、深層学習エンジン30は、(例えば、オープンソフトウェアアプリケーション又はホストデバイス12上の直前に使用されたソフトウェアアプリケーションを介して、或いは周辺デバイスを示す画像を介して)周辺デバイスがどのように使用され得るかの1つ以上の指標を決定又は受信し、このような指標に関連する周辺デバイス14が、ユーザがホストデバイス12とペアリングすることを望む周辺デバイス14である可能性が高いことを決定してもよい。例えば、深層学習エンジン30は、ワードプロセッシング、電子メール、メッセージング又は他のソフトウェアアプリケーションが、ホストデバイス12上でオープンされた、最近オープンされた、最近使用された、或いは直前に使用されたソフトウェアアプリケーションであることを決定し、このようなソフトウェアアプリケーションに関連する周辺デバイス(例えば、キーボード)が、このようなアプリケーションに関連しない周辺デバイス(例えば、イヤホンのセット)よりも、ユーザがホストデバイス12とペアリングすることを望む周辺デバイス14である可能性が高いことを決定してもよい。他の例として、深層学習エンジン30は、オーディオ、ビデオ、音楽、映画、テレビ、ストリーミング又は他のソフトウェアアプリケーションが、ホストデバイス12上でオープンされた、最近オープンされた、最近使用された、或いは直前に使用されたソフトウェアアプリケーションであることを決定し、このようなソフトウェアアプリケーションに関連する周辺デバイス(例えば、イヤホンのセット)が、このようなアプリケーションに関連しない周辺デバイス(例えば、イヤホン、キーボードのセット)よりも、ユーザがホストデバイス12とペアリングすることを望む周辺デバイス14である可能性が高いことを決定してもよい。
いくつかの実施形態では、深層学習エンジン30は、深層学習エンジン30が、ユーザがホストデバイス12とペアリングすることを望むことを決定するか、或いはユーザがホストデバイス12とペアリングすることを望む周辺デバイス14である可能性が最も高い周辺デバイス14の指標を送信してもよい。いくつかの実施形態では、深層学習エンジン30及び/又はコントローラ16は、例えば、周辺デバイスへの距離、周辺デバイスとのペアリングの履歴及び/又は頻度、周辺デバイスがどのように使用され得るかの指標、又はいずれかの他の適切な要因に基づいて、どの周辺デバイスとペアリングするかを決定するために、重み付け又は信頼係数システムを使用してもよい。
ホストデバイス12はまた、ホストデバイス12を周辺デバイス14とペアリングすることを容易にするペアリングエンジン32を含んでもよい。特に、ペアリングエンジン32は、ホストデバイス12を周辺デバイス14とペアリングするために、アンテナ28、受信機26及び/又はホストデバイス12のいずれかの他のコンポーネント(例えば、送信機)並びに周辺デバイスのコンポーネント(例えば、アンテナ、受信機及び/又は送信機)を使用してもよい。
ここで使用される用語「エンジン」という用語は、ハードウェア(例えば、回路)、ソフトウェア(例えば、プロセッサによる実行のための命令)又はこれらの2つの組み合わせを含んでもよく、及び/又はこの中に実装されてもよいことが理解されるべきである。さらに、更なる実施形態又は代替の実施形態では、物体認識エンジン24、深層学習エンジン30及びペアリングエンジン32のそれぞれ又はいずれかは、コントローラ16の一部であり、コントローラ16の内部に(例えば、プロセッサ18の回路及び/又はメモリデバイス20に記憶されたソフトウェア命令の形式で)あってもよい。
図２は、本開示の実施形態に従って図１のホストデバイス12を周辺デバイス14とペアリングするためのプロセス40を示すフローチャートである。プロセス40は、プロセッサ18により実行されるものとして記載されるが、プロセス40は、周辺デバイス14とペアリングし得るいずれか適切なデバイスにより実行されてもよいことが理解されるべきである。さらに、プロセス40は、特定のシーケンス内のステップを使用して記載されるが、本開示は、記載のステップが図示のシーケンスとは異なるシーケンスで実行されてもよく、特定の記載のステップがスキップされてもよく或いは全て実行されなくてもよいことを意図することが理解されるべきである。いくつかの実施形態では、プロセス40は、プロセッサ18のようないずれか適切な処理回路を使用して、メモリデバイス20のような有形で非一時的なコンピュータ読み取り可能媒体に記憶された命令を実行することにより実装されてもよい。
図示のように、プロセスブロック42において、プロセッサ18は、周辺デバイス14の指標を受信する。いくつかの場合、ホストデバイス12の視覚センサ22(例えば、カメラ)が活性化されてもよい。例えば、ホストデバイス12上のカメラ又は画像キャプチャソフトウェアアプリケーションがオープンされてもよい。視覚センサ22は、周辺デバイス14の画像をキャプチャし、これをプロセッサ18に送信してもよく、プロセッサ18は、物体認識エンジン24を使用して周辺デバイス14を識別してもよい。
更なる実施形態又は代替の実施形態では、周辺デバイス14に関連するホストデバイス12上のソフトウェアアプリケーションがオープンされてもよく、このソフトウェアアプリケーションは、視覚センサ22に対して周辺デバイス14を検索させてもよい。例えば、ユーザは、ワードプロセッシング、電子メール、メッセージング、又はキーボード若しくはマウスデバイスに関連する他のソフトウェアアプリケーションをオープンしてもよく、その結果、プロセッサ18は、キーボード又マウスデバイスを自動的に検索してもよい。同様に、ユーザは、オーディオ、ビデオ、音楽、映画、テレビ、ストリーミング、又はイヤホンのセット、ヘッドホン、スピーカ若しくはカーステレオに関連する他のソフトウェアアプリケーションをオープンしてもよく、その結果、プロセッサ18は、イヤホンのセット、ヘッドホン、スピーカ又はカーステレオを自動的に検索してもよい。
また或いは代替として、プロセッサ18は、周期的に(例えば、30秒毎、1分毎又はいずれかの他の適当な期間に)周辺デバイス14を検索してもよい。一実施形態では、プロセッサ18は、ユーザがホストデバイス12をペアリングモードに設定したとき、及び/又は周辺デバイス14とのペアリングに関連する構成メニューをオープンしたとき、周辺デバイス14を自動的に検索してもよい。プロセッサ18が周辺デバイス14の指標を受信するために、周辺デバイス14は、活性化されてもよく及び/又はペアリングモードになってもよい。このような場合、インジケータ72(例えば、ライト又は発光ダイオード(light-emitting diode, LED))は、周辺デバイス14がペアリングモードにあることを示してもよい(例えば、インジケータ72が点滅してもよい)。
いくつかの実施形態では、プロセッサ18は、周辺デバイス14とペアリングするか否かをユーザに尋ねるプロンプトを表示してもよい。例えば、図３は、本開示の実施形態に従って周辺デバイス14(例えば、ヘッドセット)とペアリングするか否かをユーザに尋ねるプロンプト70を表示する図１のホストデバイス12の斜視図である。プロセッサ18が周辺デバイス14の指標を受信した結果として、プロンプト70がホストデバイス12のディスプレイ68に表示されてもよい。
プロセスブロック44において、プロセッサ18は周辺デバイス14の画像を受信する。すなわち、視覚センサ22は、プロセスブロック42からの周辺デバイス14の指標の受信に応じて、周辺デバイス14の画像を自動的にキャプチャしてもよい。
プロセスブロック46において、プロセッサ18は、画像に基づいて周辺デバイス14への視覚距離を決定する。例えば、プロセッサ18は、画像距離決定技術を使用してホストデバイス12からの画像データ内の周辺デバイス14への距離(又はその深度)を決定してもよい。いくつかの実施形態では、プロセッサ18は、周辺デバイス14への距離を決定するために、サードパーティの距離決定ソフトウェアアプリケーションのようないずれか適切な1つ又は複数のソフトウェアアプリケーションを使用してもよいことが理解されるべきである。例えば、プロセッサ18は、周辺デバイス14の画像をキャプチャするため、及び/又は画像内でキャプチャされた周辺デバイス14への距離を決定するために、サードパーティのソフトウェアアプリケーションの命令(例えば、メモリデバイス20に記憶される)を実行してもよい。
本開示は、周辺デバイス14の画像をキャプチャするための視覚センサ22を使用し、プロセッサ28が周辺デバイス14への視覚距離を決定することについて説明するが、周辺デバイス14への距離(例えば、視覚距離)を決定するために、いずれか適切な距離決定技術が使用されてもよいことが理解されるべきである。すなわち、いくつかの実施形態では、周辺デバイス14への距離を決定するために非視覚センサが使用されてもよい。非視覚センサは、例えば、オーディオセンサ、赤外線センサ、ソナーセンサ、レーザセンサ、超音波センサ等を含んでもよい。例として、超音波センサは、超音波パルスを周辺デバイス14に送信し、戻ってくる超音波パルスを受信することに基づいて周辺デバイス14への距離を判定するために、トランスデューサを使用することにより、周辺デバイス14への距離を決定するために使用されてもよい。
プロセスブロック48において、プロセッサ18は周辺デバイス14の信号強度を決定又は受信する。特に、ホストデバイス12の受信機26及びアンテナ28は、周辺デバイス14から送信された無線信号に存在する電力の指標を受信及び/又は決定してもよく、受信機26及び/又はプロセッサ18は、無線信号に存在する電力の測定値又は値を決定してもよい。いくつかの実施形態では、無線信号に存在する電力の測定値又は値は、受信信号強度インジケータ(Received Signal Strength Indicator, RSSI)値でもよい。
プロセスブロック50において、プロセッサ18は、信号強度に基づいて周辺デバイス14への信号距離を決定する。特に、プロセッサ18は、無線信号に存在する電力の測定値又は値を周辺デバイス14に関連する距離に変換してもよい。例えば、無線信号に存在する電力の測定値又は値がRSSI値である場合、プロセッサ18は、RSSI値を信号距離に変換するために上記の式1を使用してもよい。
判断ブロック52において、プロセッサ18は、視覚距離及び信号距離がほぼ等しいか否かを決定する。例えば、プロセッサ18は、視覚距離及び信号距離が適切な誤差のマージン内(例えば、2%、5%、10%等)にあるとき、視覚距離及び信号距離がほぼ等しいことを決定してもよい。
例えば、図４は、本開示の実施形態に従って周辺デバイス14への視覚距離及び信号距離を決定する図１のホストデバイス12の斜視図である。図示のように、ユーザは、周辺デバイス14がホストデバイス12のディスプレイ68に表示されるように、ホストデバイス12の視覚センサ22(例えば、カメラ)を周辺デバイス14に向けるか或いは焦点を当てる。プロセッサ18は、(例えば、画像距離決定技術を使用した画像データから)周辺デバイス14への視覚距離80及び(例えば、周辺デバイス14のRSSI値84に基づいて)周辺デバイス14への信号距離82を決定してもよい。
プロセッサ18が、視覚距離及び信号距離がほぼ等しいと決定した場合、プロセスブロック54において、プロセッサ18は周辺デバイス14をペアリングする。いくつかの実施形態では、プロセッサ18は、周辺デバイス14がホストデバイス12とペアリングされるべきであることを(例えば、セキュリティ又はプライバシーの理由で)ユーザに確認してもよい。
プロセッサ18が、視覚距離及び信号距離がほぼ等しくないと決定した場合、プロセスブロック56において、プロセッサ18は周辺デバイス14をペアリングしない。いくつかの実施形態では、プロセッサ18が周辺デバイス14をペアリングしない場合、ユーザは依然として従来通り(例えば、ホストデバイス12上の構成メニューを通じてナビゲーションすることにより)周辺デバイス14をホストデバイス12にペアリングしてもよい。上記のことに留意して、図５は、本開示の実施形態に従って周辺デバイス14とのペアリングプロセスを完了する図１のホストデバイス12の斜視図である。図示のように、プロセッサ18は、周辺デバイス14がペアリングされることをユーザに示すためのプロンプト92を表示してもよい。このように、プロセス40は、ホストデバイス12を周辺デバイス14とペアリングすることを可能にする。
いくつかの実施形態では、ホストデバイス12の検索半径内に更なる周辺デバイスが存在してもよく、その結果、ペアリング可能な周辺デバイスを検索することにより、これらの更なる周辺デバイスを見つけてもよい。例えば、図４は、ホストデバイス12とペアリング可能でもよいキーボード周辺デバイス86を示す。すなわち、キーボード周辺デバイス86は、ヘッドセット周辺デバイス14と同様に、RSSI値88を有する無線信号を放出してもよい。したがって、プロセッサ18は、キーボード周辺デバイス86のRSSI値88に基づいて、キーボード周辺デバイス86への信号距離90を決定してもよい。しかし、ユーザは、ホストデバイス12の視覚センサ22(例えば、カメラ)をヘッドセット周辺デバイス14に向けるか或いは焦点を当てるので、ヘッドセット周辺デバイス14への視覚距離80は、キーボード周辺デバイス86への信号距離90とほぼ等しくなくてもよく、したがって、プロセッサ18は、キーボード周辺デバイス86をペアリングしなくてもよい。
いくつかの場合、ホストデバイス12からほぼ同じ距離に複数の周辺デバイスが存在してもよい。したがって、プロセッサ18は、ペアリングする周辺デバイス14を決定するために、(例えば、物体認識エンジン24を使用して)周辺デバイス14の識別を決定してもよい。例えば、図６は、本開示の実施形態に従ってキーボード周辺デバイス102の代わりにスピーカ周辺デバイス100に焦点を合わせた図１のホストデバイス12の斜視図である。図示のように、周辺デバイス100、102は双方とも、(ホストデバイス12の視覚センサ22により知覚されるように)ホストデバイス12からほぼ同じ視覚距離(例えば、104)にあってもよい。さらに、周辺デバイス100、102は双方とも、(周辺デバイス100、102のそれぞれのRSSI値110、112に基づいて)ホストデバイス12からほぼ同じ信号距離(例えば、それぞれ106、108)にあってもよい。しかし、ユーザは、図６に示すように、ホストデバイス12の視覚センサ22をスピーカ周辺デバイス100に向けるか或いは焦点を当てるので、プロセッサ18は、ユーザがペアリングすることを望む周辺デバイスをスピーカ周辺デバイス100として識別してもよい。したがって、(例えば、プロセスブロック54において)プロセッサ18はスピーカ周辺デバイス100とペアリングしてもよい。
視覚センサ22によりキャプチャされた画像に1つより多くのペアリング可能なデバイスが示されている状況が存在してもよい。例えば、図７は、本開示の実施形態に従って図６のスピーカ周辺デバイス100及びキーボード周辺デバイス102の双方の画像をキャプチャする図１のホストデバイス12の斜視図である。このような場合、深層学習エンジン30は、(例えば、ホストデバイス12とペアリングされたデバイスの記憶リストに基づいて)周辺デバイス100、102のそれぞれが以前にペアリングされたか否かを決定し、より頻繁に及び/又はより最近にペアリングされた周辺デバイスが、ユーザがホストデバイス12とペアリングすることを望む周辺デバイスである可能性が高いことを決定してもよい。
さらに或いは代替として、プロセッサ18は、(例えば、オープンソフトウェアアプリケーション又はホストデバイス12上の直前に使用されたソフトウェアアプリケーションを介して、或いは周辺デバイスを示す画像を介して)ペアリングされることが望ましい周辺デバイスがどのように使用され得るかの指標を決定又は受信し、このような指標に関連する周辺デバイスが、ユーザがホストデバイス12とペアリングされることを望む周辺デバイスである可能性が高いことを決定するために、深層学習エンジンを使用してもよい。例えば、深層学習エンジン30は、ワードプロセッシング、電子メール、メッセージング又は他のソフトウェアアプリケーションが、ホストデバイス12上でオープンされた、最近オープンされた、最近使用された、或いは直前に使用されたソフトウェアアプリケーションであることを決定し、キーボード周辺デバイス102がこのようなソフトウェアアプリケーションに関連すること、したがって、ユーザがスピーカ周辺デバイス100よりもホストデバイス12とペアリングすることを望む周辺デバイスである可能性が高いことを決定してもよい。他の例として、深層学習エンジン30は、オーディオ、ビデオ、音楽、映画、テレビ、ストリーミング又は他のソフトウェアアプリケーションが、ホストデバイス12上でオープンされた、最近オープンされた、最近使用された、或いは直前に使用されたソフトウェアアプリケーションであることを決定し、スピーカ周辺デバイス100がこのようなソフトウェアアプリケーションに関連すること、したがって、ユーザがキーボード周辺デバイス102よりもホストデバイス12とペアリングすることを望む周辺デバイスである可能性が高いことを決定してもよい。
いくつかの実施形態では、周辺デバイスがどのように使用され得るかの指標は、視覚センサ22によりキャプチャされた画像データにおいて提供されてもよい。例えば、ユーザが周辺デバイスを装着又は保持している場合のように、1つの指標は、ユーザへの周辺デバイスの近さでもよい。例として、図８は、本開示の実施形態に従って周辺デバイス120(例えば、ヘッドセット)を装着したユーザの画像をキャプチャする図１のホストデバイス12の斜視図である。この場合、ホストデバイス12は、背面側又はユーザ側視覚センサ22(例えば、カメラ)を使用する。プロセッサ18は、ユーザが物体認識エンジン24を使用して周辺デバイス120を装着していることを決定してもよい。深層学習エンジン30を使用して、プロセッサ18は、ユーザが周辺デバイス120を装着しているので、近くに他のペアリング可能な周辺デバイスが存在しても、周辺デバイス120がペアリングされてない場合、ユーザがホストデバイス12を周辺デバイス120とペアリングすることを望むことを決定してもよい。したがって、プロセッサ18は、周辺デバイス120をホストデバイス12とペアリングしてもよい。
同様に、図９は、本開示の実施形態に従ってペアリングされる周辺デバイス132(例えば、リストコントローラ)の画像をキャプチャする例示的なホストデバイス130の斜視図である。この場合、ホストデバイス130は、仮想現実又は混合現実ヘッドセットである。図示のように、ユーザは、ユーザの焦点(及び視覚センサ22又はカメラの焦点)を周辺デバイス132に向ける。ホストデバイス130のプロセッサ18は、物体認識エンジン24を使用してユーザが周辺デバイス132を保持していることを決定してもよい。深層学習エンジン30を使用して、プロセッサ18は、ユーザが周辺デバイス132を保持しているので、近くに他のペアリング可能な周辺デバイスが存在しても、周辺デバイス132がペアリングされていない場合、ユーザはホストデバイス130を周辺デバイス132とペアリングすることを望むことを決定してもよい。したがって、プロセッサ18は、周辺デバイス132をホストデバイス130とペアリングしてもよい。周辺デバイス132は、仮想現実又は混合現実入力コントローラ、ハンドヘルドユニット及び/又は手袋(例えば、これらのいずれかはトラックパッド、ボタン、トリガ、アナログスティック等のような入力デバイスを含んでもよい)のようないずれか適切な仮想現実又は混合現実周辺デバイスを含むいずれか適切な周辺デバイスを含んでもよいことを理解されるべきである。
また或いは代替として、プロセッサ18は、ユーザがホストデバイス12とペアリングすることを望む周辺デバイスの指標をユーザが提供することを可能にしてもよい。例えば、プロセッサ18は、ユーザがホストデバイス12とペアリングすることを望む周辺デバイスにおいて、指を差したり、指をスナップしたり、円を描いたり、或いはいずれかの他の適切な指示ジェスチャを実行することを可能にしてもよい。図７に示すように、ユーザは、ユーザの指をスピーカ周辺デバイス100に向け、スピーカ周辺デバイス100が、ユーザがホストデバイス12とペアリングされることを望む周辺デバイスであることを示す。したがって、プロセッサ18は、スピーカ周辺デバイス100をホストデバイス12とペアリングしてもよい。
いくつかの場合、周辺デバイス14を活性化すること及び/又はペアリングモードに設定することに基づいて周辺デバイス14の指標が受信される場合、プロセッサ18は、周辺デバイス14の識別子を受信してもよい。識別子は、デバイス製造者、デバイスタイプ、デバイスモデル等のようなデバイス特有の特徴を含んでもよい。プロセッサ18は、例えば、周辺デバイス14の画像内の更なる周辺デバイスの中で周辺デバイス14を識別するために使用され得るデバイス特有の特徴を決定してもよい。
いくつかの実施形態では、深層学習エンジン30及び/又はプロセッサ18は、例えば、周辺デバイスへの距離、周辺デバイスとのペアリングの履歴及び/又は頻度、周辺デバイスがどのように使用され得るかの指標、又はいずれかの他の適切な要因に基づいて、どの周辺デバイスとペアリングするかを決定するために、重み付け又は信頼係数システムを使用してもよい。
いくつかの状況では、プロセッサ18は、周辺デバイス14の指標を受信してもよいが、周辺デバイス14が見えない可能性がある。すなわち、周辺デバイス14においてホストデバイス12の視覚センサ22(例えば、カメラ)は周辺デバイス14を検出しなくてもよく、したがって、ホストデバイス12のディスプレイ68に周辺デバイス14を表示しなくてもよい。いくつかの実施形態では、プロセッサ18は、周辺デバイス14から送信された無線信号に存在する電力の指標を受信すること、及び/又は、無線信号に存在する電力の測定値又は値を決定することに基づいて、周辺デバイス14のおよその位置を決定してもよい。次いで、プロセッサ18は、周辺デバイス14のおよその位置を示してもよい。例えば、プロセッサ18は、ディスプレイ68上の周辺デバイス14のおよその位置に向けられた矢印又はおよその位置を囲むボックスを表示してもよい。
いくつかの実施形態では、ホストデバイス12は、サービスにより提供される音楽、ビデオ又は他のメディアストリーミングデバイスのような、複数のユーザにより使用可能なデバイスを含んでもよく、周辺デバイス14は、スマートフォン、ウェアラブルデバイス、ラップトップコンピュータ又はユーザの他の計算デバイスを含んでもよい。例えば、ホストデバイス12は、公共ストリーミングデバイス(例えば、空港、図書館、博物館又はいずれかの他の適切な公共施設にある)でもよい。ホストデバイス12は、(例えば、ユーザに周辺デバイス14を保持及び/又は指差しさせることにより)周辺デバイス14の指標を受信し得る視覚センサ(例えば、カメラ)を含んでもよく或いはこれに結合されてもよい。例えば、視覚センサは、ストリーミングサービスに関心のあるユーザが周辺デバイス14を保持すること及び/又は周辺デバイス14を指差しすることを示すサイン、グラフィック又は他の指標に関連付けられてもよい。プロセス40の実行に基づいて、例えば、ホストデバイス12のプロセッサ18は、周辺デバイス14をホストデバイス12にペアリングしてもよく、したがって、ユーザが公共ストリーミングサービスを使用することを可能にする。
本開示に記載される実施形態は、様々な修正及び代替形式を受けてもよく、特定の実施形態が例として図面に示され、ここで詳細に説明されている。しかし、本開示は、開示の特定の形式に限定されることを意図するものではないことが理解され得る。本開示は、添付の特許請求の範囲により定義される本開示の真意及び範囲内に入る全ての修正、均等物及び代替物をカバーする。
ここに提示及び請求される技術が参照され、本技術分野を明らかに改善し、したがって、抽象的、無形又は純粋には理論的でない実用的性質の有形物及び具体例に適用される。さらに、この明細書の末尾に添付された請求項が、「[機能]を[実行]するための手段」又は「[機能]を[実行]するためのステップ」として指定された1つ以上の要素を含む場合、このような要素は米国特許法第112条(f)に基づいて解釈されることを意図する。しかし、他の方式で指定された要素を含むいずれかの請求項については、このような要素は米国特許法第112条(f)に基づいて解釈されないことを意図する。
［開示の例示的な実施形態］
以下の番号付きの項目は、本開示の特定の実施形態を定義する。
項目1.
周辺デバイスと、ホストデバイスとを含むデバイスペアリングシステムであって、
ホストデバイスは、
周辺デバイスから信号を受信するように構成されたアンテナと、
信号から信号強度を決定するように構成された受信機と、
周辺デバイスの画像をキャプチャするように構成されたカメラと、
プロセッサ及び少なくとも1つのメモリを含むコントローラと
を含み、少なくとも1つのメモリは、ホストデバイスを周辺デバイスとペアリングするための命令を記憶するように構成され、プロセッサは、命令を実行した際に、周辺デバイスの画像及び周辺デバイスの信号強度に基づいて、ホストデバイスを周辺デバイスとペアリングするように構成される、デバイスペアリングシステム。
項目2.
プロセッサは、命令を実行した際に、
周辺デバイスの画像に基づいて周辺デバイスを識別し、
周辺デバイスの識別に基づいて、ホストデバイスから周辺デバイスへの視覚距離を決定するように構成される、項目1に記載のデバイスペアリングシステム。
項目3.
プロセッサは、命令を実行した際に、周辺デバイスの信号強度に基づいて周辺デバイスへの信号距離を決定するように構成される、項目2に記載のデバイスペアリングシステム。
項目4.
プロセッサは、命令を実行した際に、視覚距離が周辺デバイスの信号距離にほぼ等しいことに応じて、ホストデバイスを周辺デバイスとペアリングするように構成される、項目3に記載のデバイスペアリングシステム。
項目5.
周辺デバイスは、イヤホンのセット、ヘッドホン、スピーカ、キーボード、マウスデバイス、カーステレオ、プリンタ、ウェブカメラ又はスマートホームデバイスを含む、項目1に記載のデバイスペアリングシステム。
項目6.
ホストデバイスは、携帯電話、スマートフォン、ウェアラブルデバイス、仮想現実若しくは混合現実ヘッドセット、タブレット、デスクトップコンピュータ又はラップトップコンピュータを含む、項目1に記載のデバイスペアリングシステム。
項目7.
信号強度は、受信信号強度インジケータ(RSSI)値を含む、項目1に記載のデバイスペアリングシステム。
項目8.
周辺デバイスから信号を受信するように構成されたアンテナと、
信号から信号強度を決定するように構成された受信機と、
周辺デバイスの画像をキャプチャするように構成されたカメラと、
プロセッサ及び少なくとも1つのメモリを含むコントローラと
を含み、少なくとも1つのメモリは、ホストデバイスを周辺デバイスとペアリングするための命令を記憶するように構成され、プロセッサは、命令を実行した際に、
周辺デバイスの画像に基づいて周辺デバイスへの視覚距離を決定し、
周辺デバイスの信号強度に基づいて周辺デバイスへの信号距離を決定し、
視覚距離が周辺デバイスの信号距離にほぼ等しいことに応じて、ホストデバイスを周辺デバイスとペアリングするように構成される、ホストデバイス。
項目9.
プロセッサは、命令を実行した際に、ホストデバイスと周辺デバイスとの間のペアリング履歴に基づいて、ホストデバイスを周辺デバイスとペアリングすることを決定するように構成される、項目8に記載のホストデバイス。
項目10.
ホストデバイスを周辺デバイスとペアリングすることを決定することを容易にするように構成された深層学習エンジンを含む、項目8に記載のホストデバイス。
項目11.
深層学習エンジンは、周辺デバイスがどのように使用されるかの1つ以上の指標を決定するように構成される、項目10に記載のホストデバイス。
項目12.
1つ以上の指標は、周辺デバイスの識別に基づく、項目11に記載のホストデバイス。
項目13.
1つ以上の指標は、オープンソフトウェアアプリケーション又はホストデバイスの直前に使用されたソフトウェアアプリケーションに基づく、項目11に記載のホストデバイス。
項目14.
1つ以上の指標は、ユーザへの近さに基づく、項目11に記載のホストデバイス。
項目15.
1つ以上の指標は、ユーザが周辺デバイスを装着又は保持することに基づく、項目11に記載のホストデバイス。
項目16.
プロセッサは、命令を実行した際に、ユーザジェスチャが周辺デバイスを示すことに基づいて、ホストデバイスを周辺デバイスとペアリングすることを決定するように構成される、項目7に記載のホストデバイス。
項目17.
ホストデバイスを周辺デバイスとペアリングするための方法であって、
周辺デバイスの画像を受信するステップと、
周辺デバイスの画像に基づいて周辺デバイスへの視覚距離を決定するステップと、
周辺デバイスの信号強度を決定するステップと、
周辺デバイスの信号強度に基づいて周辺デバイスへの信号距離を決定するステップと、
視覚距離が周辺デバイスの信号距離にほぼ等しいことに応じて、ホストデバイスを周辺デバイスとペアリングするステップと
を含む方法。
項目18.
周辺デバイスを周期的に検索するステップを含み、周辺デバイスの画像を受信するステップは、周辺デバイスを見つけたことに応じて行われる、項目17に記載の方法。
項目19.
周辺デバイスに関連するソフトウェアアプリケーションがホストデバイス上でオープンされたという指標を受信したことに応じて、周辺デバイスを検索するステップを含み、周辺デバイスの画像を受信するステップは、周辺デバイスを見つけたことに応じて行われる、項目17に記載の方法。
項目20.
周辺デバイスの画像を受信したことに応じて周辺デバイスを検索するステップを含む、項目17に記載の方法。

Claims (18)

  1. 周辺デバイスと、ホストデバイスとを含むデバイスペアリングシステムであって、
    前記ホストデバイスは、
    前記周辺デバイスから信号を受信するように構成されたアンテナと、
    前記信号から信号強度を決定するように構成された受信機と、
    前記周辺デバイスの画像をキャプチャするように構成されたカメラと、
    プロセッサ及び少なくとも1つのメモリを含むコントローラと
    を含み、前記少なくとも1つのメモリは、前記ホストデバイスを前記周辺デバイスとペアリングするための命令を記憶するように構成され、前記プロセッサは、前記命令を実行した際に、
    前記周辺デバイスの前記画像に基づいて前記周辺デバイスへの視覚距離を決定し、
    前記周辺デバイスの前記信号強度に基づいて前記周辺デバイスへの信号距離を決定し、
    前記視覚距離が前記周辺デバイスの前記信号距離にほぼ等しいことに応じて、前記ホストデバイスを前記周辺デバイスとペアリングするように構成される、デバイスペアリングシステム。
  2. 前記プロセッサは、前記命令を実行した際に、
    前記周辺デバイスの前記画像に基づいて前記周辺デバイスを識別し、
    前記周辺デバイスの前記識別に基づいて、前記ホストデバイスから前記周辺デバイスへの前記視覚距離を決定するように構成される、請求項１に記載のデバイスペアリングシステム。
  3. 前記周辺デバイスは、イヤホンのセット、ヘッドホン、スピーカ、キーボード、マウスデバイス、カーステレオ、プリンタ、ウェブカメラ又はスマートホームデバイスを含む、請求項１に記載のデバイスペアリングシステム。
  4. 前記ホストデバイスは、携帯電話、スマートフォン、ウェアラブルデバイス、仮想現実若しくは混合現実ヘッドセット、タブレット、デスクトップコンピュータ又はラップトップコンピュータを含む、請求項１に記載のデバイスペアリングシステム。
  5. 前記信号強度は、受信信号強度インジケータ(RSSI)値を含む、請求項１に記載のデバイスペアリングシステム。
  6. 周辺デバイスから信号を受信するように構成されたアンテナと、
    前記信号から信号強度を決定するように構成された受信機と、
    前記周辺デバイスの画像をキャプチャするように構成されたカメラと、
    プロセッサ及び少なくとも1つのメモリを含むコントローラと
    を含み、前記少なくとも1つのメモリは、ホストデバイスを前記周辺デバイスとペアリングするための命令を記憶するように構成され、前記プロセッサは、前記命令を実行した際に、
    前記周辺デバイスの前記画像に基づいて前記周辺デバイスへの視覚距離を決定し、
    前記周辺デバイスの前記信号強度に基づいて前記周辺デバイスへの信号距離を決定し、
    前記視覚距離が前記周辺デバイスの前記信号距離にほぼ等しいことに応じて、前記ホストデバイスを前記周辺デバイスとペアリングするように構成される、ホストデバイス。
  7. 前記プロセッサは、前記命令を実行した際に、前記ホストデバイスと前記周辺デバイスとの間のペアリング履歴に基づいて、前記ホストデバイスを前記周辺デバイスとペアリングすることを決定するように構成される、請求項６に記載のホストデバイス。
  8. 前記ホストデバイスを前記周辺デバイスとペアリングすることを決定することを容易にするように構成された深層学習エンジンを含む、請求項６に記載のホストデバイス。
  9. 前記深層学習エンジンは、前記周辺デバイスがどのように使用されるかの1つ以上の指標を決定するように構成される、請求項８に記載のホストデバイス。
  10. 前記1つ以上の指標は、前記周辺デバイスの識別に基づく、請求項９に記載のホストデバイス。
  11. 前記1つ以上の指標は、オープンソフトウェアアプリケーション又は前記ホストデバイスの直前に使用されたソフトウェアアプリケーションに基づく、請求項９に記載のホストデバイス。
  12. 前記1つ以上の指標は、ユーザへの近さに基づく、請求項９に記載のホストデバイス。
  13. 前記1つ以上の指標は、ユーザが前記周辺デバイスを装着又は保持することに基づく、請求項９に記載のホストデバイス。
  14. 前記プロセッサは、前記命令を実行した際に、ユーザジェスチャが前記周辺デバイスを示すことに基づいて、前記ホストデバイスを前記周辺デバイスとペアリングすることを決定するように構成される、請求項６に記載のホストデバイス。
  15. ホストデバイスを周辺デバイスとペアリングするための方法であって、
    前記周辺デバイスの画像を受信するステップと、
    前記周辺デバイスの前記画像に基づいて前記周辺デバイスへの視覚距離を決定するステップと、
    前記周辺デバイスの信号強度を決定するステップと、
    前記周辺デバイスの前記信号強度に基づいて前記周辺デバイスへの信号距離を決定するステップと、
    前記視覚距離が前記周辺デバイスの前記信号距離にほぼ等しいことに応じて、前記ホストデバイスを前記周辺デバイスとペアリングするステップと
    を含む方法。
  16. 前記周辺デバイスを周期的に検索するステップを含み、前記周辺デバイスの前記画像を受信するステップは、前記周辺デバイスを見つけたことに応じて行われる、請求項１５に記載の方法。
  17. 前記周辺デバイスに関連するソフトウェアアプリケーションが前記ホストデバイス上でオープンされたという指標を受信したことに応じて、前記周辺デバイスを検索するステップを含み、前記周辺デバイスの前記画像を受信するステップは、前記周辺デバイスを見つけたことに応じて行われる、請求項１５に記載の方法。
  18. 前記周辺デバイスの前記画像を受信したことに応じて前記周辺デバイスを検索するステップを含む、請求項１５に記載の方法。
JP2020568333A 2018-12-24 2018-12-24 視覚認識を使用してデバイスをペアリングするためのシステム及び方法 Active JP7295147B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/123202 WO2020132831A1 (en) 2018-12-24 2018-12-24 Systems and methods for pairing devices using visual recognition

Publications (2)

Publication Number Publication Date
JP2022522912A JP2022522912A (ja) 2022-04-21
JP7295147B2 true JP7295147B2 (ja) 2023-06-20

Family

ID=71129465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020568333A Active JP7295147B2 (ja) 2018-12-24 2018-12-24 視覚認識を使用してデバイスをペアリングするためのシステム及び方法

Country Status (6)

Country Link
US (1) US12185210B2 (ja)
EP (1) EP3903168A4 (ja)
JP (1) JP7295147B2 (ja)
KR (1) KR102872659B1 (ja)
CN (1) CN113168217A (ja)
WO (1) WO2020132831A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668589A (zh) * 2020-12-31 2021-04-16 闪耀现实(无锡)科技有限公司 用于头戴式电子设备的配对方法和装置
US11882192B2 (en) * 2022-05-25 2024-01-23 Microsoft Technology Licensing, Llc Intelligent near-field advertisement with optimization
EP4465160A4 (en) * 2022-08-12 2025-07-16 Samsung Electronics Co Ltd METHOD AND DEVICE FOR COMMUNICATION USING AN AVATAR IN A VIRTUAL SPACE
CN115766825B (zh) * 2022-10-26 2025-07-08 歌尔科技有限公司 配对方法、头戴显示设备、服务器及显示系统
US20240211050A1 (en) * 2022-12-21 2024-06-27 Cypress Semiconductor Corporation Pairing devices using gestures

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150133051A1 (en) 2012-04-12 2015-05-14 Telefonaktiebolaget L M Ericsson (Publ) Pairing A Mobile Terminal With A Wireless Device
JP2017534974A (ja) 2014-10-06 2017-11-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ドッキング・システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9436805B1 (en) * 2008-07-03 2016-09-06 Prime Research Alliance E, Inc. Method and system for transfer of subscription media
US8750799B2 (en) * 2010-09-30 2014-06-10 Apple Inc. Wireless accessory device pairing determination for multiple host devices
US9154904B2 (en) * 2012-11-12 2015-10-06 Tata Consultancy Services Limited Method and system for accurate straight line distance estimation between two communication devices
US8706162B1 (en) 2013-03-05 2014-04-22 Sony Corporation Automatic routing of call audio at incoming call
US9453904B2 (en) * 2013-07-18 2016-09-27 Golba Llc Hybrid multi-camera based positioning
KR102325323B1 (ko) * 2014-06-24 2021-11-12 삼성전자주식회사 전자 장치와 조명 장치의 페어링 방법 및 장치
WO2016017945A1 (en) 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
KR102437104B1 (ko) * 2014-07-29 2022-08-29 삼성전자주식회사 모바일 디바이스에서 촬영된 전자 기기와 페어링하는 방법 및 장치
JP6380551B2 (ja) * 2014-12-01 2018-08-29 富士通株式会社 ペアリング管理方法、ペアリング管理プログラム、および端末装置
US20160285299A1 (en) * 2015-03-26 2016-09-29 Intel Corporation Method and apparatus for low power wireless docking discovery
US10506068B2 (en) 2015-04-06 2019-12-10 Microsoft Technology Licensing, Llc Cloud-based cross-device digital pen pairing
EP3326425A4 (en) 2015-08-20 2019-03-06 Hewlett-Packard Development Company, L.P. PERIPHERAL DEVICE PAIRING
EP3148223A3 (en) * 2015-09-04 2017-06-21 Music Group IP Ltd. A method of relating a physical location of a loudspeaker of a loudspeaker system to a loudspeaker identifier
KR102395529B1 (ko) * 2015-10-22 2022-06-02 삼성전자주식회사 통신 장치, 및 디스플레이 장치 및 그 제어방법
US10334076B2 (en) * 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
US10042595B2 (en) * 2016-09-06 2018-08-07 Apple Inc. Devices, methods, and graphical user interfaces for wireless pairing with peripheral devices and displaying status information concerning the peripheral devices
US10574665B2 (en) * 2016-09-29 2020-02-25 AVAST Software s.r.o. System and method for determining device proximity
KR20180046462A (ko) * 2016-10-28 2018-05-09 엘지전자 주식회사 이동 단말기
US10820360B1 (en) * 2017-08-30 2020-10-27 Socket Mobile, Inc. Application-assisted friendly pairing
US10737781B2 (en) * 2017-09-14 2020-08-11 Drone Racing League, Inc. Three-dimensional pathway tracking system
US20190079510A1 (en) * 2017-09-14 2019-03-14 Drone Racing League, Inc. End gate structure with automatic power down
US11394930B2 (en) * 2019-10-11 2022-07-19 At&T Intellectual Property I, L.P. Filtering and correlating radio signals based on a field of view of a camera
US11868294B2 (en) * 2021-06-28 2024-01-09 Learning Squared, Inc. Image based pairing system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150133051A1 (en) 2012-04-12 2015-05-14 Telefonaktiebolaget L M Ericsson (Publ) Pairing A Mobile Terminal With A Wireless Device
JP2017534974A (ja) 2014-10-06 2017-11-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ドッキング・システム

Also Published As

Publication number Publication date
EP3903168A1 (en) 2021-11-03
US12185210B2 (en) 2024-12-31
WO2020132831A1 (en) 2020-07-02
KR102872659B1 (ko) 2025-10-20
CN113168217A (zh) 2021-07-23
EP3903168A4 (en) 2022-08-03
KR20210108302A (ko) 2021-09-02
JP2022522912A (ja) 2022-04-21
US20210311893A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
JP7295147B2 (ja) 視覚認識を使用してデバイスをペアリングするためのシステム及び方法
JP6389014B2 (ja) スマート機器の音声制御方法、装置、プログラム、記録媒体、制御機器およびスマート機器
JP6221535B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN104503671B (zh) 电动自平衡车的驾驶控制方法及装置
KR102669114B1 (ko) Em 신호를 발생시킨 외부 전자 장치에 따라 오디오 신호의 경로를 변경하는 전자 장치 및 방법
WO2017071093A1 (zh) 电子设备控制方法及装置
KR101618783B1 (ko) 이동 단말기, 이동 단말기의 제어방법, 그리고, 이동 단말기를 포함하는 제어시스템
US10757744B2 (en) Mobile device and method for establishing a wireless link
US10530958B2 (en) Information processing device, information processing system, and method for controlling information processing device
CN105554581A (zh) 弹幕显示方法及装置
US20180063310A1 (en) Systems and methods for identifying wireless devices for correct pairing
US20140176689A1 (en) Apparatus and method for assisting the visually impaired in object recognition
US9549240B2 (en) Mobile terminal and method of pairing mobile terminal with hearing apparatus
CN104166814A (zh) Wifi网络密码的提示方法、装置及设备
KR101632220B1 (ko) 이동 단말기, 이동 단말기의 제어방법, 그리고, 제어시스템과 그 제어방법
CN105491518A (zh) 基于可穿戴设备的社交提醒方法和装置
US9894703B2 (en) Communications apparatus, control method, and storage medium
CN104811904A (zh) 联系人设置方法及装置
US10013949B2 (en) Terminal device
CN104853326A (zh) 云名片分享方法及装置
CN105704174A (zh) 信息提示方法及装置
US9979492B2 (en) Method of sharing and receiving information based on sound signal and apparatus using the same
CN111819831B (zh) 消息接收通知方法及支持该方法的电子设备
CN105471713A (zh) 信息提示方法及装置
EP4287628A1 (en) Terminal and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230608

R150 Certificate of patent or registration of utility model

Ref document number: 7295147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150