JP7640672B2 - ポインティングジェスチャ認識を用いるクロスデバイス対話のアクティブ化 - Google Patents

Description

関連出願の相互参照
本発明について出願された最初の出願である。

発明の分野
本発明は、電子デバイスとリモートに対話することに関し、特に、ユーザのジェスチャを認識し、次いで、これらのジェスチャを電子デバイスとのリモート対話に適用するために使用される方法及び装置に関する。

より多くのスマートデバイスの消費者市場に参入するにつれて、これらのスマートデバイスをリモート制御する能力に対する消費者の需要が高まっている。

ハンドヘルド電子デバイス（携帯電話）がより一般的かつ強力になるにつれて、消費者のハンドヘルド電子デバイスを使用してスマートデバイスをリモート制御する能力に対する需要が高まっている。しかしながら、現在この需要に対処することを目的とした製品は、一般的にユーザが制御したいスマートデバイスを選択しない。その結果、ユーザがリモート制御をしたいスマートデバイスを毎回選択することによって、ユーザの体験を向上させる製品が求められている。

この背景情報は、本出願人が本発明に関連する可能性があると信じている情報を明らかにするために提供される。先の情報のいずれかが本発明に対する先行技術を構成することを必ずしも認める意図はなく、そのように解釈されるべきでもない。

本発明の実施形態は、ポインティングジェスチャ認識システム（ＰＧＲＳ）を実装するためのシステムを提供する。実施形態は、また、ユーザのジェスチャの認識を通して、ユーザが１つ以上の第２デバイスをリモート制御することを可能にするＰＧＲＳを提供するアーキテクチャを実装する方法も提供する。

本発明の実施形態によると、ハンドヘルド電子デバイスによって、第２デバイスとリモートに対話する方法が提供される。本方法は、ハンドヘルド電子デバイスの１つ以上の運動センサ（movement sensors）によって生成された信号に基づいて、ハンドヘルド電子デバイスの動き（motion）を感知するステップを含む。この方法はまた、感知された動きが、ハンドヘルド電子デバイスの移動（movement）を含むモーションベースのジェスチャ（motion-based gesture）であることを認識するステップも含む。この方法は、上記信号又は更なる信号の一方又は両方に基づいて、第２デバイスを識別するステップを更に含む。更なる信号は、１つ以上の運動センサ；ハンドヘルド電子デバイスの１つ以上の他の構成要素；又はそれらの組合せ、からのものである。デバイスの向き（運動センサ信号に基づいて決定され得る）及びこれらの更なる信号は、ハンドヘルド電子デバイスがモーションベースのジェスチャの終わり（end）で指している方向を示す。所定の条件が満たされ、かつ第２デバイスが識別された後、本方法は、第２デバイスとリモートに対話するためのユーザ対話を開始することになり、ここで、所定の条件は、認識されたモーションベースのジェスチャが、第２デバイスと対話するための所定のモーションベースのジェスチャであるときに少なくとも部分的に満たされる。

このような実施形態の技術的な利点は、ユーザ対話が、所定のモーションベースのジェスチャが実行された後にのみ開始されることである。これは、ハンドヘルド電子デバイスが、ユーザが第２デバイスと対話することを望んでいると誤って識別することを防ぐが、そのように誤って識別することは、ユーザ体験に悪影響を及ぼし、例えばバッテリ又は処理リソースを不必要に消費する可能性がある。さらに、モーションベースのジェスチャは、第２デバイスがポインティングに基づいて識別されるという点で、第２デバイスの識別に組み込まれるが、そのようなポインティングを、モーションベースのジェスチャと統合することができる。この組合せは、モーションベースのジェスチャの認識と第２デバイスの識別の両方を統合することができる。

いくつかの実施形態において、所定の条件は、ユーザからの確認入力を認識することを更に含む。このような実施形態の技術的な利点は、ユーザ対話が、所定のモーションベースのジェスチャと確認入力が実行された後にのみ開始されることである。これは、ハンドヘルド電子デバイスが、所定のモーションベースのジェスチャに対応する移動の偽認識に基づいて、ユーザが第２デバイスとの対話を望んでいると誤って識別することを更に防ぐ。

更なる実施形態では、確認入力を認識することは、１つ以上の運動センサを使用して、所定のモーションベースのジェスチャに続いて、所定の時間の間、更なる動きなしに、ハンドヘルド電子デバイスが所定の場所（in position）に保持されることを認識することを含む。この実施形態の技術的な利点は、ハンドヘルド電子デバイスとの更なるユーザ対話なしに、デバイスを指し示すことによって確認入力が自動的に実行されることであり、これは、ユーザ体験を向上させる。

いくつかの更なる実施形態では、モーションベースのジェスチャが所定のモーションベースのジェスチャであることを認識することは、１つ以上の運動センサによって生成された、上向きの弧を描く動きによる第１位置から第２位置へのハンドヘルド電子デバイスの移動を示す信号を認識することを含む。第１位置は、ユーザの腰に近く、下方を向いているハンドヘルド電子デバイスに対応し、第２位置は、伸ばした腕の端に保持され、第２デバイスの方を向いているハンドヘルド電子デバイスに対応する。

他の更なる実施形態では、モーションベースのジェスチャが所定のモーションベースのジェスチャであることを認識することは、１つ以上の運動センサによって生成された、直線的な動きによる第１位置から第２位置へのハンドヘルド電子デバイスの移動を示す信号を認識することを含む。第１位置は、ユーザによって曲げた腕でユーザの身体の前で保持されているハンドヘルド電子デバイスに対応し、第２位置は、伸ばした腕の端で保持され、第２デバイスの方を向いているハンドヘルド電子デバイスに対応する。

いくつかの実施形態では、第２デバイスを識別することは、ハンドヘルド電子デバイスの感知された動きが停止したと判断した後に実行される。この実施形態の技術的な利点は、第２デバイスをより確実に識別することができ、モーションベースのジェスチャの間に意図せずに指された他のデバイスが、第２デバイスとして識別されることを抑制されることである。

いくつかの実施形態では、１つ以上の運動センサは、加速度計、磁力計、近接センサ、ジャイロスコープ、環境光センサ、カメラ、マイク、無線周波数受信機、近接場通信デバイス及び温度センサのうちの１つ以上を含む。このような実施形態の技術的な利点は、動きに直接応答するセンサによって、動き又は位置と間接的に相関するパラメータ（例えば身体近接性、無線周波数、音又は温度）に直接応答するセンサによって又はそれらの組合せによって、モーションベースのジェスチャを認識できることである。これは、モーションベースの又は位置情報を取得するために処理することができる様々な入力を提供する。

いくつかの実施形態では、ハンドヘルド電子デバイスの１つ以上の他の構成要素は、１つ以上の他の電子デバイスの各々によって放出される信号の到着角の測定に少なくとも部分的に基づいて、１つ以上の他の電子デバイスの位置を検出するように構成される。この実施形態の技術的な利点は、無線周波数信号のような信号を使用して第２デバイスを位置特定することができることである。したがって、アンテナアレイシステムを利用して、例えば物理的なポジショニングを行うことができる。

いくつかの実施形態では、所定の条件が満たされ、かつ第２デバイスが識別された後、第２デバイスを示すアイコンが、ハンドヘルド電子デバイスのディスプレイに表示される。ディスプレイ上のアイコンの位置は、ハンドヘルド電子デバイスのポインティング方向とハンドヘルド電子デバイスに対する第２デバイスの方向との間の角度と、ハンドヘルド電子デバイスが第２デバイスに向けられている可能性の測定との一方又は両方に従って変化する。この実施形態の技術的な利点は、これが、ユーザのアクションとデバイスの応答との間の視覚的な相関関係を提供することであり、これは、ユーザが関与するフィードバックループで使用して、第２デバイスの選択プロセスを容易にすることができる。

他の実施形態によると、上述の方法に見合った動作を実行するように構成されるハンドヘルド電子デバイスが提供される。当該デバイスは、ハンドヘルド電子デバイスの動きを示す信号を生成するように構成される１つ以上の運動センサと、そのような動作を実装するように構成される処理エレクトロニクス（processing electronics）とを含み得る。

実施形態は、それらを実装することができる本発明の態様に関連して上述されている。当業者には、実施形態は、それらが説明される態様に関連して実装され得るが、その態様の他の実施形態とともに実装されてもよいことが理解されよう。実施形態が相互に排他的であるか又はそうではなくとも相互に矛盾するとき、当業者には明らかであろう。いくつかの実施形態は、１つの態様に関連して説明されることがあるが、当業者には明らかであるように、他の態様にも適用可能であることがある。

本発明の更なる特徴と利点は、添付図面と組み合わせて以下の詳細な説明から明らかになるであろう。

本開示の一実施形態に従って提供される方法を図示する。

本開示の一実施形態による、いくつかの電子デバイスのうちの１つを選択する様子を図示する。

本開示の一実施形態による、選択可能な第２電子デバイスからの信号の到着角を図示する。

本開示の一実施形態による、ポインティング方向を図示する。

本開示の一実施形態による、例示的な到着角測定動作を図示する。

本開示の一実施形態による、ユーザが電子デバイスとリモートに対話するために使用し得る潜在的なジェスチャを図示する。

本開示の一実施形態による、ルールベースのポインティングジェスチャ認識動作を図示する。

本開示の一実施形態による、学習ベースのポインティングジェスチャ認識動作を図示する。

本開示の一実施形態による、学習ベースの類似性ポインティングジェスチャ認識動作を図示する。

本開示の一実施形態による、ハンドヘルド電子デバイスに含めることができるセンサを図示する。

本開示の一実施形態による、ハンドヘルド電子デバイスを図示する。

添付図面全体を通して、同様の特徴は、同様の参照番号によって識別されることに留意されたい。

本発明の実施形態は、ポインティングジェスチャ認識（ＰＧＲ）のための方法、ハンドヘルド電子デバイス及びシステムを提供することに関する。ハンドヘルド電子デバイスは、第２電子デバイスとリモートに対話するために使用される。ハンドヘルド電子デバイスの非限定的な例は、スマートフォン、ハンドヘルドリモートコントロール、スマートリング、スマートバンド及びスマートウォッチを含む。第２電子デバイスの非限定的な例は、スマートテレビ、タブレット、スマートグラス、スマートウォッチ、スマートフォン、パーソナルコンピュータ、スマートＬＥＤ、ロボット掃除機のようなロボット、スピーカ及び他の家電製品を含むことができる。

本発明の実施形態によると、ハンドヘルド電子デバイスを保持している（又は手首又は指にハンドヘルド電子デバイスを装着している）ハンドヘルド電子デバイスのユーザは、１つ以上の所定のモーションベースのジェスチャ（motion-based gesture）でハンドヘルド電子デバイスを動かすことによって、第２電子デバイスとリモートに対話することができる。これらの所定のモーションベースのジェスチャは、ユーザが、ハンドヘルド電子デバイスを保持している手を、胸に近い位置又はウエストより下の位置から、ユーザが制御したい第２電子デバイスの方をハンドヘルド電子デバイスが指している位置まで上げることを含むことができる。ハンドヘルド電子デバイスは、ユーザがハンドヘルド電子デバイスを動かすときに、ハンドヘルド電子デバイスの１つ又は複数の運動センサ（movement sensor）から受信した信号に基づいて、ハンドヘルド電子デバイスの動きを感知することができる。また、ハンドヘルド電子デバイスは、感知された動きに基づいてモーションベースのジェスチャを認識し、認識されたモーションベースのジェスチャが所定のモーションベースのジェスチャに対応するとき、所定の条件を生成することもできる。また、ハンドヘルド電子デバイスは、所定の条件が満たされた後に、ハンドヘルド電子デバイスの無線周波数センサからの信号に基づいて第２電子デバイスを識別することもできる。また、ハンドヘルド電子デバイスは、ユーザがハンドヘルド電子デバイスを使用して第２電子デバイスを制御することができるように、本明細書で説明される方法を使用してこれらの所定の条件を処理するプロセッサを含むこともできる。ハンドヘルド電子デバイスのユーザによる所定のモーションベースのジェスチャの性能の認識は、第２電子デバイスとの対話を開始して、ユーザがハンドヘルド電子デバイスを使用して第２電子デバイスを制御することを可能にするように、ハンドヘルド電子デバイスをトリガする。

対話は、ハンドヘルド電子デバイスと第２デバイスとの間の無線通信を伴う。対話は、ハンドヘルド電子デバイスが、第２デバイスが応答するコマンド又はクエリを含むメッセージを送信することを含むことができる。コマンドは、第２デバイスに、ボリュームレベル又はライトレベルを変更すること、ハードウェア又はソフトウェアアクションを実行すること等のような、第２デバイスに適した動作を実行させることができる。クエリは、第２デバイスに、該第２デバイスによって保持され、クエリで要求された情報を含む応答のような、応答をハンドヘルド電子デバイスに送り返させることができる。対話を、ユーザからの入力の有無にかかわらず実行することができる。

図１は、一実施形態において、第２デバイスとリモートに対話するためにハンドヘルド電子デバイスによって使用される方法１００を図示している。方法１００は、本明細書に記載される他の方法と同様に、ハンドヘルド電子デバイス２１０のポインティングジェスチャ認識システム（ＰＧＲＳ）２００のルーチン及びサブルーチンによって実行されてよい。ＰＧＲＳ２００は、ハンドヘルド電子デバイス２１０のプロセッサ９１０（図９を参照されたい）によって実行することができる機械読取可能命令を含むソフトウェア(例えばコンピュータプログラム)を含み得る。ＰＧＲＳは、追加又は代替的に、いくつかの実施形態ではハードウェア関連のファームウェアを含み得る専用の電子機器を備えてよい。ＰＧＲＳ２００のコーディングは、本開示を考慮した当業者の範囲内にある。方法１００は、図示され説明されているものよりも追加の又は少ない動作を含んでもよく、動作は異なる順序で実行されてもよい。ハンドヘルド電子デバイス２１０のプロセッサ９１０によって実行可能なＰＧＲＳ２００のコンピュータ読取可能命令は、非一時的なコンピュータ読取可能媒体に記憶され得る。

方法１００は動作１１０で開始する。動作１１０において、方法は、ハンドヘルド電子デバイス２１０の１つ以上の運動センサによって生成された信号に基づいて、ハンドヘルド電子デバイスの動きを感知することを含む。方法１００は、次いで動作１２０に進む。

動作１２０において、方法１００は、ハンドヘルド電子デバイス２１０の移動の間に、ハンドヘルド電子デバイス２１０の１つ以上の運動センサから受信した信号に基づいて、感知された動きがモーションベースのジェスチャであることを認識する。方法１００は、次いで動作１３０に進む。

動作１３０において、方法１００は、１つ以上の運動センサ、ハンドヘルド電子デバイスの１つ以上の他の構成要素又はその組合せからの更なる信号に基づいて、第２デバイスを識別する。そのような更なる信号は、ハンドヘルド電子デバイスがモーションベースのジェスチャの終わりに指している方向を示す。モーションベースのジェスチャは、したがって、第２電子デバイスとの対話を開始するトリガとして機能し、また、第２デバイスを認識することができるようにユーザが第２デバイスの方を指すことができる手段を提供し、第２デバイスと対話するための適切なアプリケーションを起動することができる。動作１３０は、図４に図示されるように、到着角測定（angle of arrival measurements）を使用して実行されてよい。方法１００は、次いで動作１４０に進む。

動作１４０において、方法１００は、所定の条件が満たされ、かつ第２デバイスが識別された後に、第２デバイスとリモートに対話するためのユーザ対話を開始し、ここで、所定の条件は、認識されたモーションベースのジェスチャが、第２デバイスと対話するための所定のモーションベースのジェスチャであるときに少なくとも部分的に満たされる１４０。

方法１００では、動作１１０、１２０、１３０及び１４０は順番に実行されるが、第２デバイスを識別する動作は、モーションベースのジェスチャを認識し、所定の条件を満たしていると判断する動作と、部分的又は完全に並行に実行されてもよい。図示された順番で動作を実行することは、特にモーションベースのジェスチャの終わりにデバイスを識別することを可能にし、これは、ユーザが、第２デバイスを識別することと、第２デバイスとの対話が望まれることを示すことの両方に同じジェスチャを使用することを可能にし得る。

図２は、本開示の一実施形態による、ハンドヘルド電子デバイス２１０及びいくつかの潜在的な第２デバイスとそれらが果たす役割の例を図示している。図２に示されるように、ハンドヘルド電子デバイス２１０のユーザは、スマートテレビ２２０、タブレット２３０、スマートグラス２４０、スマートウォッチ２５０及びパーソナルコンピュータ２６０を含む複数の第２デバイス(例えば選択を介して一度に１つ)を制御することができる。ハンドヘルド電子デバイス２１０及び第２デバイスは、動作環境２０５の一部である。図２に図示されるように、ハンドヘルド電子デバイス２１０のユーザは、ユーザがハンドヘルド電子デバイス２１０をスマートテレビ２２０に向けることで終了する、所定のモーションベースのジェスチャを実行することによって、スマートテレビ２２０を制御することができる。ハンドヘルド電子デバイス２１０をスマートテレビ２２０に向けることにより、ハンドヘルド電子デバイス２１０のＰＧＲＳ２００に（現実、仮想又は概念的）光線２７０をスマートテレビ２２０に向けて投影させ、ＰＧＲＳ２００がスマートテレビ２２０を第２デバイスとして識別させることができる。光線２７０は、ポインティング方向として光線追跡の当業者に公知である。

図３Ａは、ハンドヘルド電子デバイス２１０によって投影された光線２７０がスマートテレビ２２０で終了しないときに、ハンドヘルド電子デバイス２１０がスマートテレビ２２０を識別する例を図示する。いくつかの実施形態では、ハンドヘルド電子デバイス２１０のＰＧＲＳ２００は、デバイス間の到着角測定（device-to-device angle of arrival measurements）に基づいてポインティングベースの選択を実行する。ポインティングベースの選択に基づく到着角測定を使用して、ハンドヘルド電子デバイス２１０のＰＧＲＳ２００は、ハンドヘルド電子デバイス２１０によって直接指し示されていない第２デバイスを識別することができる。図３Ａに図示されるように、ハンドヘルド電子デバイス２１０のＰＧＲＳ２００は、デバイス間の到着角３２０を使用して、ポインティングベースの選択に基づいてスマートテレビ２２０を識別する。到着角３２０は、光線２７０と、第２光線、すなわち、光線３１０との間の角度である。光線２７０は、ハンドヘルド電子デバイス２１０の長軸に沿って投影され、ハンドヘルド電子デバイス２１０の中心から延びる。光線３１０は、ハンドヘルド電子デバイス２１０の中心から第２デバイスの中心に投影される。ハンドヘルド電子デバイス２１０は、ＲＦ送信機、ＲＦ受信機及び１つ以上のＲＦアンテナを含む、無線周波数（ＲＦ）センサ９２０（図９を参照されたい）を含む。同様に、第２電子デバイスは、ＲＦ送信機、ＲＦ受信機及び１つ以上のＲＦアンテナを含む、ＲＦセンサを含む。ＲＦセンサ９２０及び第２電子デバイスのＲＦセンサは、ＩＥＥＥ８０２.１１（当業者にはＷｉＦｉ（登録商標）として知られている）、Ｂｌｕｅｔｏｏｔｈ（登録商標）低エネルギー（当業者にはＢＬＥとして知られている）、超広帯域（当業者にはＵＷＢとして知られている）を含む、いくつかの既知の技術標準のうちの１つに基づく任意のＲＦセンサとすることができ、超音波は、必要な到着角の値を指定する。本発明のいくつかの実施形態において、到着角３２０は、ＵＷＢ、ＷｉＦｉ（登録商標）、ＢＬＥ及び超音波の要件に準拠している。

いくつかの方法を使用してデバイス間の到着角３２０を測定することができる。１つの方法は、ＲＦセンサのアンテナに入射する高周波の伝播方向を測定することを含む。２番目の方法は、ＲＦセンサの複数のアンテナアレイ要素に入射する高周波の位相を測定することである。この２番目の方法では、入射高周波の測定される位相の間の差を計算することによって、到着角を決定することができる。

いくつかの実施形態では、到着角測定を容易にするために、ハンドヘルド電子デバイスは、適切なＲＦ信号を送信するように、第２デバイスに要求を送信し得る。その後、ＲＦ信号は、例えばハンドヘルド電子デバイスのアンテナアレイを使用して受信され、到着角３２０を決定するためにハンドヘルド電子デバイスによって処理されることができる。追加又は代替的に、ハンドヘルド電子デバイスは、ＲＦ信号並びに第２デバイスの到着角測定の要求を送信してもよい。第２デバイスは、次いで、例えば第２デバイスのアンテナアレイを使用して、ハンドヘルド電子デバイスからＲＦ信号を受信し、ＲＦ信号を処理して第２デバイスの視点からハンドヘルド電子デバイスの到着角を決定し得る。結果をハンドヘルド電子デバイスに返送することができ、それによって使用することができる。

いくつかの実施形態では、ＵＷＢ、ＷｉＦｉ、ＢＬＥ及び超音波技術標準は、第２光線３１０が第２デバイスの中心に投影されることを必要とする。しかしながら、第２デバイスが大きい場合、到着角を測定するために使用される第２デバイス３３０の検出器は、第２デバイスの中心から相当な距離である可能性がある。この相当な距離が結果として生じる可能性があり、実際には、第２光線３１０を光線３４０に移動させる。光線３４０は関連する角度３５０を有する。角度３５０は、到着角３２０にオフセットを追加する。光線３４０とオフセット角度３５０の結果は、ＰＧＲＳ２００が、第２デバイスの中心に投影されていないポインティング方向を検出することができることである。

図３Ｂは、本明細書において、それぞれタブレット３６５、スマートウォッチ３７５、スマートリング３８５、ハンドヘルド電子デバイス２１０及びスマートグラス３９５のデバイスの向きとも呼ばれるポインティング方向の例を図示している。説明の目的のために、各デバイスの向きは、そのそれぞれのデバイスの長軸に沿って投影された光線３６０、３７０、３８０、３８７及び３９０によって定義される。光線は、各々の場合において、デバイスの中心から伸びるか、デバイスの中心を通過する。しかしながら、他の実施形態では、光線は異なるように向けられることがある。本議論の目的のために、ポインティング方向又はデバイスの向きは、光線の方向と同等であってよい。様々な実施形態によると、第２電子デバイスを、ハンドヘルド電子デバイスのデバイスの向き（ポインティング方向）に基づいて選択することができる。この方向を、デバイスの構成要素からの信号に基づいて決定することができる。例えば上述のような到着角測定を使用して、デバイスの向き（ポインティング方向）を決定することができる。いくつかの実施形態では、ジャイロスコープ及び磁力計のような構成要素を使用して、絶対デバイスの向き（ポインティング方向）を決定してよい。また、デッドレコニング（deadreckoning）処理とともに加速度計を使用して、デバイスの向き（ポインティング方向）決定するか又は決定をサポートすることもできる。

図４は、第２電子デバイスを識別するためにハンドヘルド電子デバイスによって実行される動作の例示的なフローチャートを図示している。図４の動作は、ハンドヘルド電子デバイス２１０によって実行される方法１００の動作１３０のサブ動作とすることができる。方法４００は、到着角に基づくポインティングベースの選択を使用して第２デバイスを識別し、ここで、ハンドヘルド電子デバイス２１０は、到着角測定要求をすべての第２デバイスに送信する４１０。第２デバイスは、光線２７０と第２光線３１０（又はいくつかの実施形態では第２光線３４０）を使用してそれらの到着角を決定する。ハンドヘルド電子デバイスは、次いで、各到着角応答を第２デバイスのすべてから受信する４２０。ここ及び他の場所において、処理動作を、クラウドコンピューティングデバイスのような他のデバイスにオフロードすることができ、そのようなクラウドコンピューティングデバイスは、その結果を使用のためにハンドヘルド電子デバイスにタイムリーに返すことができることに留意されたい。ハンドヘルド電子デバイス２１０が複数の第２デバイスと通信することができる状況では、ハンドヘルド電子デバイスは、すべての第２デバイスから受信した到着角を使用して、どの第２デバイスがハンドヘルド電子デバイス２１０と通信することができるかを識別する４５０。この識別４５０は、２つのアクション、すなわち４３０と４４０によって容易にされ得る。第１のアクション４３０は、各第２デバイスから受信した到着角の比較である。最大到着角は、デバイス依存であり得る所定のパラメータである。到着角はまた、例えばＷｉＦｉ、ＢＬＥ、ＵＷＢ及び超音波規格を含むことができる、サポートされている技術標準によって指定されるように、使用されている無線技術に依存することもある。最大到着角は、ポインティングエラー許容度を表すことがある。第２のアクション４４０は、どの第２デバイスが最小到着角を有するかの判断である。

いくつかの実施形態では、所定の条件は、ユーザからの確認入力を認識することを更に含む。ユーザが選択しようとしていた第２デバイスをＰＧＲＳ２００が選択するように、ＰＧＲＳ２００の性能を向上させるために、ＰＧＲＳ２００が第２デバイスを識別すると、ハンドヘルド電子デバイス２１０は振動してユーザにフィードバックを提供することができる。この振動は、識別された第２デバイスが、ユーザが選択しようとしていた第２デバイスであることを確認するために、ハンドヘルド電子デバイス２１０のキー又はボタンを押すようにユーザに促すことができる。

いくつかの実施形態では、確認入力を認識することは、ハンドヘルド電子デバイス２１０を動かす第２の所定のモーションベースのジェスチャを認識することを含む。第２の所定のモーションベースのジェスチャは、所定のモーションベースのジェスチャがハンドヘルド電子デバイス２１０によって認識された後、ハンドヘルド電子デバイスの感知された動きに基づいて認識される。

いくつかの実施形態では、確認入力を認識することは、１つ以上の運動センサから受信した信号に基づいて、ハンドヘルド電子デバイスが所定の位置（in place）で回転していることを認識することを含む。非限定的な例として、ユーザは、正しい第２デバイスが選択されたことの確認をハンドヘルド電子デバイス２１０によって促されたときに、ハンドヘルド電子デバイス２１０を保持している手の手首をひねることができる。

いくつかの実施形態では、確認入力を認識することは、１つ以上の運動センサから受信した信号に基づいて、所定のモーションベースのジェスチャに続いて、所定の時間の間、更なる動きなしに、ハンドヘルド電子デバイスが所定の場所に保持されることを認識することを含む。この確認の非限定的な例は、ハンドヘルド電子デバイス２１０を、ユーザが制御したい第２デバイスの方に１秒間向けることである。確認としてハンドヘルド電子デバイス２１０を保持することは、当業者には「ホバリング」として知られていることを認識されたい。

いくつかの実施形態では、確認入力を認識することは、ハンドヘルド電子デバイスの物理ボタン又はハンドヘルド電子デバイスのタッチスクリーンに表示される仮想ボタンの押下を示す信号の存在を検出することを含む。この確認の非限定的な例は、ハンドヘルド電子デバイス２１０の電源ボタンを押すことである。この確認の別の非限定的な例は、ハンドヘルド電子デバイス２１０のキーボードのソフトキーを押すことである。

いくつかの実施形態では、方法は、モーションベースのジェスチャが所定のモーションベースのジェスチャであることを認識した後、第２デバイスが識別された後、確認入力を検出する前に、第２デバイスと対話する意図を確認するために確認入力を提供するようユーザに促すことを更に含む。

いくつかの実施形態では、所定の条件は、ハンドヘルド電子デバイスの物理ボタン又はハンドヘルド電子デバイスのタッチスクリーンに表示される仮想ボタンの押下を示す信号の存在を検出することを更に含む。

いくつかの実施形態では、所定の条件は、モーションベースのジェスチャの開始時に物理ボタン又は仮想ボタンの押下を示す信号の存在を検出することを含む。

いくつかの実施形態では、モーションベースのジェスチャが所定のモーションベースのジェスチャであることを認識することは、１つ以上の運動センサによって生成された、上向きの弧を描く動きによる第１位置から第２位置へのハンドヘルド電子デバイス２１０の移動を示す信号を認識することを含む。第１位置は、ユーザの腰に近く、下方を向いているハンドヘルド電子デバイスに対応し、第２位置は、伸ばした腕の端に保持され、第２デバイスの方を向いているハンドヘルド電子デバイス２１０に対応する。

いくつかの実施形態では、モーションベースのジェスチャが所定のモーションベースのジェスチャであることを認識することは、１つ以上の運動センサによって生成された、直線的な動きによる第１位置から第２位置へのハンドヘルド電子デバイスの移動を示す信号を認識することを含む。第１位置は、ユーザによって、曲げた腕でユーザの身体の前で保持されているハンドヘルド電子デバイスに対応し、第２位置は、伸ばした腕の端で保持され、第２デバイスの方を向いているハンドヘルド電子デバイスに対応する。

図５は、ユーザ５１０がハンドヘルド電子デバイス２１０を保持し、第２デバイスとリモートに対話するためにユーザによって使用可能な３つの特定のモーションベースのジェスチャに従って、当該デバイスを動かす様子を図示している。これらの３つのモーションベースのジェスチャは、ハンドヘルド電子デバイス２１０のＰＧＲＳ２００によって認識することができる所定のモーションベースのジェスチャに含まれる。また、ハンドヘルド電子デバイス２１０の１つ又は複数の運動センサによって生成された信号を、ハンドヘルド電子デバイス２１０のＰＧＲＳ２００によって処理することができ、マネキンモデル（mannequin model）及び機械学習モデルを含むことができるモデルを使用して分析することができることも認識されたい。

マネキンモデルを使用した分析は、ＰＧＲＳ２００によって以下のように実行され得る。人間の身体が典型的に行うことができる動きのタイプに基づいて運動センサからの信号を分類する動作を使用して、この信号を処理することができる。したがって、１つ以上のセンサからの信号を、人間の身体によって行われる動きにマッピングして、ＰＧＲＳ２００によるジェスチャ認識を容易にすることができる。信号は、運動センサからの瞬間的な読み取り値又はある時間間隔で運動センサから取得されるサンプルとすることができる。

機械学習モデルを使用した分析は、ＰＧＲＳ２００によって以下のように実行され得る。モーションベースのジェスチャを認識するための機械学習モデルは、所定のモーションベースのジェスチャを実行するようにユーザに指示し、結果として得られる１つ以上の運動センサからの信号を監視することによって、トレーニング段階中に学習することができる。結果として得られる信号を使用して、ラベル付けされたデータセットを生成することができる。トレーニングされたモデルを、次いで、ＰＧＲＳ２００において展開して、１つ以上の運動センサから受信した新たな信号に基づいて、モーションベースのジェスチャの更なるインスタンスを認識することができる。更なる信号を、その後、機械学習モデルによって処理して、ジェスチャがいつ実行されるかを決定し、機械学習モデルは同指示を出力することができる。

モーションベースのジェスチャ５６０は、ユーザ５１０が、腕５２０を動かすことによって、手５３０によって保持されるハンドヘルド電子デバイス２１０を位置５４０から位置５５０に上げるときに、ユーザ５１０によって実行される。ユーザ５１０が、モーションベースのジェスチャ５６０のためにハンドヘルド電子デバイス２１０を移動させるとき、ハンドヘルド電子デバイス２１０は、ユーザ５１０の身体の近くに維持されていることを認識されたい。モーションベースのジェスチャ５６０は、ユーザがハンドヘルド電子デバイス２１０の変位、回転及び加速度を感知することを含むモーションベースのジェスチャ５６０を実行するとき、ハンドヘルド電子デバイス２１０の動きを感知するハンドヘルド電子デバイス２１０によって感知されることができる。

モーションベースのジェスチャ５８０は、ユーザ５１０が、腕５２０を使用してハンドヘルド電子デバイス２１０を位置５５０から位置５７０に拡張するときに起こる。ハンドヘルド電子デバイス２１０は、位置５５０にあるときにユーザ５１０の身体に近く、ユーザ５１０の身体に対するこの近接性は、ハンドヘルド電子デバイス２１０がジェスチャ５８０のために位置５７０に拡張されるにつれて減少することを認識されたい。モーションベースのジェスチャ５８０は、ハンドヘルド電子デバイスが第２デバイスに向けられているときに、ハンドヘルド電子デバイス２１０の変位、回転及び加速度を感知することを含む動きを感知することによって、感知されることもできる。

モーションベースのジェスチャ５９０は、ユーザ５１０が腕５２０を回転させて、ハンドヘルド電子デバイス２１０を位置５４０から位置５７０に直接動かすときに起こる。ハンドヘルド電子デバイス２１０は、位置５４０にあるときに、ユーザ５１０の身体に近く、ユーザ５１０の身体へのこの近接性は、ハンドヘルド電子デバイス２１０がジェスチャ５９０のために位置５７０まで拡張されるにつれて減少することを認識されたい。

いくつかの実施形態では、モーションベースのジェスチャが所定のモーションベースのジェスチャであることを認識することは、１つ以上の運動センサによって生成される信号に対してパターン認識を実行することを含む。

ＰＧＲＳ２００の実施形態は、ルールベースの動作及び学習ベースの動作又はそれらの組合せを使用して、モーションベースのジェスチャを認識することができる。これらの動作は、ハンドヘルド電子デバイス２１０の１つ以上の運動センサによって生成された信号を分析することができる。ＰＧＲＳ２００は、加速度パターン、回転パターン又は磁場の大きさパターンを使用して、モーションベースのジェスチャが所定のモーションベースのジェスチャであることを認識することができる。ＰＧＲＳ２００は、様々な計算方法のうちの１つ以上を使用して、モーションベースのジェスチャが所定のモーションベースのジェスチャであることを認識することができる。計算方法は、ユークリッド距離、余弦距離を含むことができる類似性測定（similarity measurement）を実行することと、サポートベクトルマシン（ＳＶＭ）、動的時間ワープ（ＤＴＷ）、自動エンコーダや長短期記憶（ＬＳＴＭ）及び畳み込みニューラルネットワーク（ＣＮＮ）を含むことができる深層学習を含むことができる動的プログラミング技術を使用することとを含むことができる。

いくつかの実施形態では、ハンドヘルド電子デバイス２１０は、該ハンドヘルド電子デバイス２１０の運動センサから受信した信号に基づいて、ハンドヘルド電子デバイス２１０を保持している（又はハンドヘルド電子デバイス２１０を装着している）ユーザによって実行されるモーションベースのジェスチャを認識するように構成される、ジェスチャ認識装置を含む。ジェスチャ認識構成要素は、メモリに記憶された命令を実行するプロセッサによって実装され得る。非限定的な実施形態では、ジェスチャ認識構成要素は、運動センサからの信号に基づいてモーションベースのジェスチャを認識するためのルールを実装する。非限定的な実施形態では、ジェスチャ認識構成要素は、運動センサからの信号を受信し、運動センサからの信号に基づいて予測されたモーションベースのジェスチャを出力する、機械学習モデルを実装する。非限定的な実施形態では、ジェスチャ認識構成要素は、以下で更に詳細に説明されるように、運動センサからの信号に基づいて、モーションベースのジェスチャを認識するために使用されるテンプレートを実装する。機械学習モデルは、教師あり学習アルゴリズム（深層ニューラルネットワーク、サポートベクトルマシン（ＳＶＭ）、類似性学習等）を使用して学習することができる。

非限定的な例として、ユーザがハンドヘルド電子デバイス２１０を前方に動かし、モーションベースのジェスチャ５６０及び５８０又は５９０を実行すると、ルールベースの動作は、ユーザの測定された電磁場を処理し、ユーザがハンドヘルド電子デバイス２１０を前方に向けて、ユーザの電磁場の強さにおける測定された変化に基づいて、モーションベースのジェスチャ５６０及び５８０又は５９０を実行したと判断することができる。ルールベース処理の別の非限定的な例は、ハンドヘルド電子デバイス２１０の処理加速及び／又は回転に基づいて、モーションベースのジェスチャ５８０を実行するときに、ユーザが第２デバイスに向かって腕を伸ばしたことを判断することである。モーションベースのジェスチャ５８０は、ハンドヘルド電子デバイス２１０の直線運動、ハンドヘルド電子デバイス２１０の加速及びユーザの腕の回転不足を測定することを伴うことができる。モーションベースのジェスチャ５８０は、代替又は追加的に、ユーザの肩の回転のみを含むことができる。

ハンドヘルド電子デバイス２１０のＰＧＲＳ２００によって実行されるジェスチャ認識方法６００の非限定的な例示の実施形態が、図６に図示されている。ジェスチャ認識方法６００は動作６１０において開始する。ハンドヘルド電子デバイス２１０の移動中、ハンドヘルド電子デバイス２１０の１つ以上の運動センサは、ハンドヘルド電子デバイス２１０の動きに基づいて信号を生成する。１つ以上の運動センサは、加速度計、ジャイロスコープ、磁力計、気圧計を含むことができる。動作６１０において、センサ測定値は、ハンドヘルド電子デバイス２１０の１つ以上の運動センサから受信した信号に基づいて決定される。センサ測定値を決定することは、信号を受信すること、数値としての初期解釈（initial interpretation）、初期フィルタリング（initial filtering）等又はそれらの組合せを含むことができる。方法６００は、次いで動作６２０に進む。

動作６２０において、磁気、動き及び加速ルールチェック動作のようなルールチェックが実行される。磁気ルールチェック動作は、磁力計によって生成された信号を処理することができる。動きルールチェック動作は、加速度計又は動きを示す他のセンサによって生成された信号を処理することができる。加速ルールチェック動作は、加速度計によって生成された信号を処理することもできる。ルールのチェックは、センサ測定値を処理して、それらが所定のモーションベースのジェスチャを示すかどうかを判断することを含む。これは、ルールが満たされているかどうかをチェックすることを含むことができ、ここで、ルールは、センサ測定値が、所定のモーションベースのジェスチャが認識されたことを示す所定の特性を示すかどうかをチェック（テスト）する。すべてのルールに従う（満たされる）場合６３０、ＰＧＲＳ２００は、ハンドヘルド電子デバイス２０１を保持している（又はハンドヘルド電子デバイス２１０を装着している）ユーザによって実行されるモーションベースのジェスチャが、所定のモーションベースのジェスチャであることを認識する。言い換えると、ＰＧＲＳ２００は、ハンドヘルド電子デバイス２１０がポインティング動作で使用されている６４０と判断する。あるいは、少なくとも１つのルールに違反している場合６５０、ＰＧＲＳ２００は、所定のモーションベースのジェスチャが認識されておらず、ハンドヘルド電子デバイス２１０がポインティング動作で使用されていない６６０と判断する。

ハンドヘルド電子デバイス２１０のＰＧＲＳ２００によって実行されるジェスチャ認識方法７００の別の非限定的な例示の実施形態が、図７に図示されている。この例示の実施形態では、図５に示されるように、ハンドヘルド電子デバイス２１０の１つ以上の運動センサは、ユーザが、保持しているハンドヘルド電子デバイス２１０を動かすことによってモーションベースのジェスチャを行うときに、信号を生成する。次いで、これらの運動センサによって生成された信号は、７２０において、受信した信号に基づいて、事前トレーニングされたモデルによって認識されたモーションベースのジェスチャのセット内の各タイプのモーションベースのジェスチャの確率を推測するように構成される、事前トレーニングされたモデルによって受信される。１つ以上の運動センサは、加速度計、ジャイロスコープ、磁力計及び気圧計を含むことができる。事前トレーニングされたモデルを、ＳＶＭ、ＣＮＮ及びＬＳＴＭによって実装することができる。事前トレーニングされたモデル７２０は、モーションベースのジェスチャのセットで最も高い確率を有するモーションベースのジェスチャのタイプの識別子（すなわち、ラベル）を、認識されたモーションベースのジェスチャとして出力する。次いで、ＰＧＲＳ２００は、認識されたモーションベースのジェスチャのラベルが、所定のモーションベースのジェスチャに対応しているかどうかを判断する。

学習ベースの処理を使用して、モーションベースのジェスチャ中にハンドヘルド電子デバイス２１０を前方に向けているユーザを分析することができる。このような学習ベースの処理は、分類ベースの処理方法及び類似性ベースの処理方法を含むことができる。分類ベースの処理方法は、モーションベースのジェスチャを実行するときに、ユーザがハンドヘルド電子デバイス２１０を前方に向けていることを示すバイナリラベルを生成することを含むことができる。分類ベースの処理方法は、ＳＶＭ、ＣＮＮ又はＬＳＴＭを使用して実行することができる。類似性ベースの処理方法は、事前に構築されたポインティングジェスチャセンサ測定テンプレートの使用を含むことができる。

ハンドヘルド電子デバイス２１０のＰＧＲＳ２００によって実行されるジェスチャ認識方法８００の別の非限定的な例示の実施形態が、図８に図示されている。ジェスチャ認識方法は、動作８１０で開始され、ここで、所定のモーションベースのジェスチャに対応するセンサ測定値のテンプレートが受信される８１０。

いくつかの実施形態では、モーションベースのジェスチャが所定のモーションベースのジェスチャであることを認識することは、マネキンモデルを使用して、１つ以上の運動センサによって生成された信号を処理することを含む。ハンドヘルド電子デバイス２１０の１つ以上の運動センサは、ハンドヘルド電子デバイス２１０を保持しているユーザによってポインティングジェスチャが実行されたときに、ハンドヘルド電子デバイス２１０の動きに基づいて信号を生成する。動作８２０において、１つ以上の運動センサから受信した信号を処理して、１つ以上の運動センサのセンサ測定値８２０を生成する。動作８３０において、動作８１０で受信したテンプレートを使用し、かつ８２０で生成されたセンサ測定値を使用して、信号類似性処理８３０が実行される。動作８４０において、ＰＧＲＳ２００は、類似性がしきい値シータより大きいことを判断する。動作８５０において、ＰＧＲＳ２００は、センサ測定値が所定のモーションベースのジェスチャに対応していないと判断する。動作８６０において、ＰＧＲＳ２００は、類似性がしきい値シータ以下である８６０と判断し、ＰＧＲＳ２００が、センサ測定値が所定のモーションベースのジェスチャに対応していると判断する動作８７０に進む。

いくつかの実施形態では、第２デバイスを識別することは、ハンドヘルド電子デバイス２１０の感知された動きが停止したと判断した後に実行される。

いくつかの実施形態では、ユーザ対話を開始することは、第２デバイスと対話するためにハンドヘルド電子デバイス２１０上でアプリケーションを起動することを含む。

いくつかの実施形態では、本方法は、アプリケーションを起動した後、１つ以上の運動センサによって生成された更なる信号に基づいて、ハンドヘルド電子デバイス２１０の更なる動きを感知することも含む。

いくつかの実施形態では、本方法は、感知された更なる動きが、電子デバイス２１０の移動を含み、かつ第２デバイスとの対話を停止するための、所定の選択解除モーションベースのジェスチャ（de-selection motion-based gesture）であることを認識することも含む。

いくつかの実施形態では、本方法は、感知された更なる動きが、所定の選択解除モーションベースのジェスチャであることを認識した後、アプリケーションを閉じることも含む。選択解除モーションベースのジェスチャの非限定的な例は、図５から、前述のジェスチャ５９０の逆の動きである。選択解除モーションベースのジェスチャであり得るジェスチャ５９０の逆の動きは、位置５７０から位置５４０へのハンドヘルド電子デバイス２１０の移動とすることができる。非限定的な例として、逆のジェスチャ５９０の選択解除モーションベースのジェスチャを感知することは、ハンドヘルド電子デバイス２１０の近接性が増加するにつれて、ユーザの電磁場の強さの増加を検出する無線周波数運動センサによって認識されることができる。

いくつかの実施形態では、１つ以上の運動センサは、加速度計、磁力計、近接センサ、ジャイロスコープ、環境光センサ、カメラ、マイク、無線周波数受信機、近接場通信デバイス及び温度センサのうちの１つ以上を含む。

図９は、ユーザがハンドヘルド電子デバイス２１０を動かすときにユーザのモーションベースのジェスチャに対応する信号を生成するために、ハンドヘルド電子デバイス２１０に含めることができるいくつかのモーションセンサを図示している。ハンドヘルド電子デバイス２１０のプロセッサ９１０は、無線周波数（ＲＦ）センサ９２０、カメラ９３０、マイク９４０、温度センサ９５０、近接場センサ９６０、光センサ９７０、加速度計９８０及びジャイロスコープ９９０によって生成される所定の条件を処理する。プロセッサ９１０は、所定のジェスチャを決定するために、複数のこれらの構成要素によって生成される処理信号を必要とすることがある。あるいは、プロセッサ９１０は、モーションベースのジェスチャを決定するために、単一の運動センサによって生成された処理信号を必要とすることがある。様々なセンサを使用することができ、この場合、そのようなセンサは、動きに直接応答するか又は動きと相関する信号を出力する。加速度計は、モーションベースの加速度に応答する。ジャイロスコープと磁力計は、それらが向きの変化に応答するので、動きに応答する。磁力計はまた、人間の身体磁場のような磁場に近づけたり遠ざけたりする動きにも応答する。他のセンサは、動きの結果であり得る条件の変化に応答する。潜在的には、複数のセンサからの信号は、これらの信号を処理して、典型的に実行されている所定のモーションベースのジェスチャに起因する特定の値の範囲、シグネチャ（signature）、波形、波形の組合せ等を識別することによって、所定のモーションベースのジェスチャを検出するために使用されることができる。

いくつかの実施形態では、１つ以上の運動センサは、変位運動（displacement motion）、回転運動（rotational motion）及びユーザへの近接性（proximity）のうちの１つ以上を検出するように構成される。

変位運動を決定する非限定的な例は、ハンドヘルド電子デバイス２１０の加速度計９８０によって生成される所定の条件に基づいて変位を決定することである。加速度計９８０によって生成される信号は、ユーザがモーションベースのジェスチャに従ってそれを動かすときのハンドヘルド電子デバイス２１０の加速及び／又は減速に対応することができる。変位運動は、加速度計９８０によって、ユーザの身体に対するハンドヘルド電子デバイス２１０の近接を感知することを含むことができることを認識されたい。

ハンドヘルド電子デバイス２１０の回転運動の非限定的な例を、ハンドヘルド電子デバイス２１０のジャイロスコープ９９０を使用して決定することができる。ユーザがモーションベースのジェスチャに従ってハンドヘルド電子デバイス２１０を動かすと、ジャイロスコープ９９０は、ハンドヘルド電子デバイス２１０の回転に対応する信号を生成することができる。

ユーザの身体に対するハンドヘルド電子デバイス２１０の近接を判断する非限定的な例は、ＲＦ検出器９２０を使用してユーザの身体によって生成された電磁場の強さを検出することである。電磁場の強さは、ユーザの身体又はＲＦ波源に対するハンドヘルド電子デバイス２１０の近接を示すことができる。例えばハンドヘルド電子デバイス２１０がユーザの身体の方に動かされるにつれて、ＲＦ検出器９２０は、次第に強くなるユーザの電磁場を検出することができる。更なる例として、ハンドヘルド電子デバイス２１０がユーザの身体から遠くへ動かされるにつれて、ＲＦ検出器９２０は、徐々に弱くなるユーザの電磁場を検出することができる。

いくつかの実施形態によると、ハンドヘルド電子デバイス２１０は、人工知能（ＡＩ）プロセッサ９１５（例えば図９のプロセッサ９１０に加えて）を含むことができる。ＡＩプロセッサは、グラフィックス処理ユニット（ＧＰＵ）、テンソル処理ユニット（ＴＰＵ)、フィールドプログラマブルゲートアレイ（ＦＰＧＡ)及び特定用途向け集積回路（ＡＳＩＣ）のうちの１つ以上を備えてよい。ＡＩプロセッサは、機械学習モデル（すなわち、機械学習動作）の計算を実行するように構成され得る。モデル自体を、ハンドヘルド電子デバイスのメモリに展開して記憶してよい。

いくつかの実施形態では、ハンドヘルド電子デバイスの１つ以上の他の構成要素は、磁力計、近接センサ、カメラ、マイク、高周波受信機及び近接場通信デバイスのうちの１つ以上を備える。

いくつかの実施形態では、ハンドヘルド電子デバイスの１つ以上の他の構成要素は、第２デバイスを含む１つ以上の他の電子デバイスの位置を検出するように構成される。

いくつかの実施形態では、ハンドヘルド電子デバイスの１つ以上の他の構成要素は、１つ以上の他の電子デバイスの各々によって放出される信号の到着角測定に少なくとも部分的に基づいて、１つ以上の他の電子デバイスの位置を検出するように構成される。

いくつかの実施形態では、方法は更に、所定の条件が満たされ、かつ第２デバイスが識別された後に、第２デバイスを示すアイコンをハンドヘルド電子デバイスのディスプレイに表示することと、ハンドヘルド電子デバイスのポインティング方向とハンドヘルド電子デバイスに対する第２デバイスの方向との間の角度と、ハンドヘルド電子デバイスが第２デバイスに向けられている可能性（likelihood）の測定とのうちの一方又は両方に従って、ディスプレイ上のアイコンの位置を変化させることとを含む。

いくつかの実施形態では、ハンドヘルド電子デバイスは、ハンドヘルド電子デバイスの動きを示す信号を生成するように構成される１つ以上の運動センサを備える。

いくつかの実施形態では、ハンドヘルド電子デバイスは、１つ以上の運動センサによって生成された信号に基づいて、ハンドヘルド電子デバイスの動きを感知するように構成される処理エレクトロニクスを更に含む。デバイスは、感知された動きが、ハンドヘルド電子デバイスの移動を含むモーションベースのジェスチャであることを認識するように更に構成される。デバイスは、１つ以上の運動センサ、ハンドヘルド電子デバイスの１つ以上の他の構成要素又はそれらの組合せからの更なる信号に基づいて、第２デバイスを識別するように更に構成される。更なる信号は、ハンドヘルド電子デバイスがモーションベースのジェスチャの終わりを指している方向を示す。デバイスは、所定の条件が満たされ、かつ第２デバイスが識別された後、第２デバイスとリモートに対話するためにユーザ対話を開始するように更に構成される。所定の条件は、認識されたモーションベースのジェスチャが、第２デバイスと対話するための所定のモーションベースのジェスチャであるときに少なくとも部分的に満たされる。

ハンドヘルド電子デバイスの実施形態は、本明細書で説明される方法を実行するように構成されることができることを認識されたい。

図１０は、処理エレクトロニクス１０１５のような構成要素を使用して提供することができる、機能モジュールを有するハンドヘルド電子デバイス２１０の非限定的な例を図示している。処理エレクトロニクスは、メモリ１０３０に記憶されたプログラム命令を実行するコンピュータプロセッサを含むことができる。前述のように、デバイス２１０は、運動センサ１０２０と、追加構成要素１０３５と、ユーザインタフェース１０２５と、送信機及び受信機１０４０を含むことができる。ユーザインタフェース１０２５を使用して、ユーザによる第２デバイスとの対話を指示することができる。送信機及び受信機１０４０を使用して、第２デバイスと通信し、また、いくつかの実施形態では、例えば到着角の測定と処理を使用して第２デバイスを見つけることもできる。

図１０に図示されるデバイス２１０は、ポインティングジェスチャ認識モジュール１０４５を含む。ポインティングジェスチャ認識モジュールは、本明細書の他の場所で説明されているように、ＰＧＲＳの様々な動作を実行することができる。デバイス２１０は、第２デバイス識別モジュール１０５５を含んでよく、第２デバイス識別モジュール１０５５は、例えば所定のジェスチャの終了時に、デバイス２１０が指し示している第２デバイスを識別するように構成される。デバイス２１０は、ユーザ対話モジュール１０５０を含んでよく、ユーザ対話モジュール１０５０は、第２デバイスとのユーザ指向の対話のための適切なアプリケーションを起動して実行し得る。デバイス２１０は、確認モジュール１０６０を含んでよく、確認モジュール１０６０は、本明細書の他の場所で説明されているように、確認入力を監視し、また、例えばデバイス２１０を振動させ、音を発生させ又はデバイス２１０のディスプレイ上にプロンプトを生成することによって、ユーザに確認入力を促すこともできる。

本発明を、特定の特徴及びその実施形態を参照して説明してきたが、本発明から逸脱することなく、それに対して様々な修正及び組合せを行うことができることは明らかである。したがって、本明細書及び図面は、添付の特許請求の範囲によって定義されているように、単に本発明の例示とみなされるべきものであり、本発明の範囲内にある任意の及びすべての修正、変形、組合せ又は均等物を網羅することが意図される。

Claims (10)

1. ハンドヘルド電子デバイスによる、第２デバイスとリモートに対話するための方法であって、当該方法は、
   前記ハンドヘルド電子デバイスの１つ以上の運動センサによって生成された信号に基づいて、前記ハンドヘルド電子デバイスの動きを感知するステップと、
   前記感知された動きが、前記ハンドヘルド電子デバイスの移動を含むモーションベースのジェスチャであることを認識するステップと、
   前記１つ以上の運動センサ、前記ハンドヘルド電子デバイスの１つ以上の他の構成要素又はそれらの組合せからの更なる信号に基づいて、前記第２デバイスを識別するステップであって、前記更なる信号は、前記ハンドヘルド電子デバイスが前記モーションベースのジェスチャの終わりに指している方向を示す、ステップと、
   所定の条件が満たされ、かつ前記第２デバイスが識別された後に、前記第２デバイスとリモートに対話するためのユーザ対話を開始するステップであって、前記所定の条件は、前記認識されたモーションベースのジェスチャが、前記第２デバイスと対話するための所定のモーションベースのジェスチャであるときに少なくとも部分的に満たされる、ステップと、
   を含み、前記第２デバイスを識別するステップは、前記第２デバイスが識別されたことを示すフィードバックを提供することを含み、前記所定の条件は、前記フィードバックに応答するユーザからの確認入力を認識することを更に含み、前記確認入力を認識することは、
   （ｉ）前記感知された動きが、前記所定のモーションベースのジェスチャに続いて、前記ハンドヘルド電子デバイスを動かす第２の所定のモーションベースのジェスチャを更に含むことを認識することと、
   （ｉｉ）前記１つ以上の運動センサを使用して、前記ハンドヘルド電子デバイスが所定の位置で回転されることを認識することと、
   （ｉｉｉ）前記１つ以上の運動センサを使用して、前記所定のモーションベースのジェスチャに続いて、所定の時間の間、更なる動きなしに、前記ハンドヘルド電子デバイスが所定の場所に保持されることを認識することと、
   のうちの少なくとも１つを含む、方法。
2. 前記モーションベースのジェスチャが所定のモーションベースのジェスチャであることを認識した後、前記第２デバイスが識別された後、前記確認入力を検出する前に、前記第２デバイスと対話する意図を確認するために前記確認入力を提供するように前記ユーザに促すことを更に含む、
   請求項１に記載の方法。
3. 前記所定の条件は、前記ハンドヘルド電子デバイスの物理ボタン又は前記ハンドヘルド電子デバイスのタッチスクリーンに表示される仮想ボタンの押下を示す信号の存在を検出することを更に含む、
   請求項１に記載の方法。
4. 前記所定の条件は、前記モーションベースのジェスチャの開始時に、前記物理ボタン又は前記仮想ボタンの押下を示す前記信号の存在を検出することを含む、
   請求項３に記載の方法。
5. 前記モーションベースのジェスチャが前記所定のモーションベースのジェスチャであることを認識することは、前記１つ以上の運動センサによって生成された、上向きの弧を描く動きによる第１位置から第２位置への前記ハンドヘルド電子デバイスの移動を示す信号を認識することを含み、前記第１位置は、ユーザの腰に近く、下方を向いている前記ハンドヘルド電子デバイスに対応し、前記第２位置は、伸ばした腕の端に保持され、前記第２デバイスの方を向いている前記ハンドヘルド電子デバイスに対応する、
   請求項１に記載の方法。
6. ハンドヘルド電子デバイスであって、
   当該ハンドヘルド電子デバイスの動きを示す信号を生成するように構成される１つ以上の運動センサと、
   処理エレクトロニクスであって、
   前記１つ以上の運動センサによって生成された前記信号に基づいて、当該ハンドヘルド電子デバイスの動きを感知し、
   前記感知された動きが、当該ハンドヘルド電子デバイスの移動を含むモーションベースのジェスチャであることを認識し、
   前記１つ以上の運動センサ、当該ハンドヘルド電子デバイスの１つ以上の他の構成要素又はそれらの組合せからの更なる信号に基づいて、第２デバイスを識別し、ここで、前記更なる信号は、当該ハンドヘルド電子デバイスが前記モーションベースのジェスチャの終わりに指している方向を示し、
   所定の条件が満たされ、かつ前記第２デバイスが識別された後に、前記第２デバイスとリモートに対話するためのユーザ対話を開始し、ここで、前記所定の条件は、前記認識されたモーションベースのジェスチャが、前記第２デバイスと対話するための所定のモーションベースのジェスチャであるときに少なくとも部分的に満たされる、
   ように構成される処理エレクトロニクスと、
   を備え、前記第２デバイスを識別することは、前記第２デバイスが識別されたことを示すフィードバックを提供することを含み、前記所定の条件は、前記フィードバックに応答するユーザからの確認入力を認識することを更に含み、前記確認入力を認識することは、
   （ｉ）前記感知された動きが、前記所定のモーションベースのジェスチャに続く、当該ハンドヘルド電子デバイスの移動を含む第２の所定のモーションベースのジェスチャを更に含むことを認識することと、
   （ｉｉ）前記１つ以上の運動センサ及び前記処理エレクトロニクスを使用して、当該ハンドヘルド電子デバイスが所定の位置で回転されることを認識することと、
   （ｉｉｉ）前記１つ以上の運動センサ及び前記処理エレクトロニクスを使用して、前記所定のモーションベースのジェスチャに続いて、所定の時間の間、更なる動きなしに、当該ハンドヘルド電子デバイスが所定の場所に保持されることを認識することと、
   のうちの少なくとも１つを含む、ハンドヘルド処理デバイス。
7. 前記モーションベースのジェスチャが所定のモーションベースのジェスチャであることを認識した後、前記第２デバイスが識別された後、前記確認入力を検出する前に、前記第２デバイスと対話する意図を確認するために前記確認入力を提供するように前記ユーザに促すように更に構成される、
   請求項６に記載のハンドヘルド処理デバイス。
8. 前記所定の条件は、当該ハンドヘルド電子デバイスの物理ボタン又は当該ハンドヘルド電子デバイスのタッチスクリーンに表示される仮想ボタンの押下を示す信号の存在を検出することを更に含む、
   請求項６に記載のハンドヘルド処理デバイス。
9. 前記所定の条件は、前記モーションベースのジェスチャの開始時に、前記物理ボタン又は前記仮想ボタンの押下を示す前記信号の存在を検出することを含む、
   請求項８に記載のハンドヘルド処理デバイス。
10. ハンドヘルド電子デバイスのプロセッサによって実行されると、前記ハンドヘルド電子デバイスに請求項１に記載の方法を実行させる命令を含む、コンピュータ読取可能媒体。

Images