JP6158913B2 - ジェスチャを使用したデバイスとの対話 - Google Patents

Description

関連出願の相互参照
本特許出願は、2012年4月16日に出願された、「INTERACTING WITH A DEVICE USING GESTURES」という名称の米国仮特許出願第61/625,076号の利益と、2013年3月13日に出願された、「INTERACTING WITH A DEVICE USING GESTURES」という名称の米国非仮特許出願第13/799,839号の利益とを主張するものであり、どちらの出願もすべての目的のためにその全体が参照により本明細書に組み込まれている。

本開示の態様は、コンピューティング技術に関する。詳細には、本開示の態様は、ジェスチャ認識を実行するシステム、方法、装置、およびコンピュータ可読媒体に関する。

スマートフォン、タブレットコンピュータ、携帯情報端末(PDA)などのコンピューティングデバイス、および他のデバイスは、これらのデバイスが動作および/または他の感知された状態をユーザ入力の形態で取得することを可能にし得るタッチスクリーン、加速度計、カメラ、近接センサ、マイクロフォン、および/または他のセンサをますます含むようになっている。いくつかのデバイスでは、たとえば、特定の動作および/または出来事が、たとえば様々な状況で特定のコマンドに対応するジェスチャとして認識され得る。たとえば、デバイスは、ブラウザアプリケーションが表示されている間は「前のページ」コマンドに対応し、メディアプレーヤアプリケーションが表示されている間は「前のトラック」コマンドに対応する左スワイプ(たとえば、ユーザがその手をデバイスの前で左に振る)などのジェスチャを認識することができる。この例では、ユーザは、これらの状況の各々において、対応するジェスチャを実行することによって、デバイスにこれらのコマンドを実行させることができる。改善されたジェスチャ認識は、多くの環境において有益であり得る。

これらの利益および他の利益は、本明細書で説明する本発明の実施形態によって実現され得る。さらに、実施形態は、ジェスチャ制御システムを使用することに関連する問題を解決することができる。

システム、方法、装置、およびコンピュータ可読媒体を本明細書で提供する。一実施形態では、コンピュータシステムによって実行される方法は、ユーザに第1のポーズを指示し、第1のポーズを検出し、第1のポーズの検出に応答する。いくつかの実施形態では、ポーズは、たとえばコンピューティングシステムが適切に構成されるとき、および/またはさらなる動作がそのポーズに続くときの決まりのジェスチャを含むことができる。さらに、ポーズは、手、腕、脚、顔の特徴などによって、または、個人が携行している、もしくは行使している可能性がある他の物体によっても実行され、それらを含むことができる。第1のポーズは、手などのユーザ四肢によって実行することができ、手のポーズまたは手のポーズを伴う動作を含むことができる。コンピュータシステムは、ポーズに応答するとき、左手と右手とを区別することができる。本発明の例示的な実施形態は、コンピュータシステムからのプロンプトに確認応答し、アクションの進行をキャンセルまたは受容し、コンピュータシステムをロック解除し、呼を受容または拒絶するときに使用され得る。いくつかの実施形態では、ポーズは、あるタイプのジェスチャを含むことができ、ジェスチャについて説明する実施形態は、ジェスチャがポーズを含むときに使用され得る。さらに、ポーズに関して説明する実施形態は、いくつかの実装形態では、他のジェスチャとともに使用され得る。

いくつかの実施形態では、方法は、ユーザポーズの最初の存在を検出するステップを含む。本方法は、ユーザポーズを検出し続けながら、所定の検出状態を達成するまでの進行度をユーザに指示するステップをさらに含むことができる。本方法は、所定の検出状態を達成したと判定するステップをさらに含むことができる。本方法は、所定の検出状態を達成したと判定するステップに基づいてユーザポーズに応答するステップをさらに含むことができる。

いくつかの実施形態では、本方法は、各々がユーザ判定のためのオプションに対応する、ユーザポーズを含む複数の可能なユーザポーズの表示を示すことによってユーザに指示するステップをさらに含む。本方法は、所定の検出状態を達成したと判定するステップに少なくとも部分的に基づいてユーザ判定を検出するステップをさらに含むことができる。応答するステップは、ユーザ判定に応答するステップを含むことができる。

いくつかの実施形態では、判定するステップは、複数の画像を取得および分析するステップをさらに含む。

いくつかの実施形態では、応答するステップは、通知イベントに対する確認応答を受容するステップをさらに含む。

いくつかの実施形態では、検出するステップは、ユーザの手のポーズを検出するステップをさらに含む。

いくつかの実施形態では、所定の状態は、所定の時間期間の間に検出されてきたユーザポーズを含む。

いくつかの実施形態では、所定の状態は、特定の信頼レベルに達するユーザポーズの検出を含む。

いくつかの実施形態では、指示するステップは、進行度を指示する複数の領域を含む円形指示バーを表示するステップを含む。

いくつかの実施形態では、指示するステップは、ユーザポーズのアニメーション化された画像を表示するステップであって、ユーザポーズの表示された画像の一部分が進行度を指示するために選択的にアニメーション化される、ステップを含む。

いくつかの実施形態では、指示するステップは、所定の状態を達成するまでのパーセンテージを表示するステップを含む。

いくつかの実施形態では、指示するステップは、所定の状態を達成したと判定されるまで、またはユーザポーズがもはや検出されなくなるまで、進行度の連続的指示をユーザに提供するステップを含む。

いくつかの実施形態では、本方法は、所定の状態を達成したことに続いて完了されるべきユーザ動作の指示をユーザに提供するステップをさらに含む。

いくつかの実施形態では、装置は、画像を捕捉するように構成された画像キャプチャデバイスと、ユーザに出力を提供するように構成されたユーザ出力デバイスとを含む。本装置は、画像キャプチャデバイスおよびユーザ出力デバイスに結合されたプロセッサをさらに含むことができる。本プロセッサは、画像キャプチャデバイスによって捕捉された画像に基づいてユーザポーズの最初の存在を検出するように構成され得る。本プロセッサは、ユーザ出力デバイスに、ユーザポーズを検出し続けながら、所定の検出状態を達成するまでの進行度をユーザに指示させるようにさらに構成され得る。本プロセッサは、進行度をユーザに指示させた後、所定の検出状態を達成したと判定するようにさらに構成され得る。本プロセッサは、所定の検出状態を達成したと判定するステップに基づいてユーザポーズに応答するようにさらに構成され得る。

いくつかの実施形態では、装置は、ユーザポーズの最初の存在を検出するための手段を含む。本装置は、ユーザポーズを検出し続けながら、所定の検出状態を達成するまでの進行度をユーザに指示するための手段をさらに含むことができる。本装置は、進行度がユーザに指示された後、所定の検出状態を達成したと判定するための手段をさらに含むことができる。本装置は、所定の検出状態を達成したと判定するステップに基づいてユーザポーズに応答するための手段をさらに含むことができる。

いくつかの実施形態では、非一時的プロセッサ可読媒体は、プロセッサにユーザポーズの最初の存在を検出させるように構成されたプロセッサ可読命令を含む。本命令は、プロセッサに、ユーザポーズを検出し続けながら、所定の検出状態を達成するまでの進行度をユーザに指示させるようにさらに構成され得る。本命令は、ユーザに進行度を指示した後、プロセッサに、所定の検出状態に達したと判定させるようにさらに構成され得る。本命令は、プロセッサに、所定の検出状態を達成したと判定するステップに基づいてユーザポーズに応答させるようにさらに構成され得る。

様々な実施形態の性質および利点のさらなる理解が、以下の図面を参照することによって実現され得る。添付の図面において、類似の構成要素または特徴は、同じ参照標識を有し得る。さらに、同じタイプの様々な構成要素は、参照標識の後に、類似の構成要素同士を区別するダッシュおよび第2の標識を付けることによって、区別され得る。第1の参照標識のみが本明細書において使用される場合、その説明は、第2の参照標識とは関係なく同じ第1の参照標識を有する類似の構成要素のいずれか1つに適用可能である。

いくつかの実施形態による例示的なコンピュータシステムを示す図である。 いくつかの実施形態による、プロンプトと対話するためにポーズを検出するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、デバイスをロック解除するためにポーズを検出するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、ポーズを検出し、進行フィードバックを使用するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、プロンプトと対話するためにポーズを検出するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、プロンプトと対話するためにポーズを検出するように構成される別の例示的なコンピューティングシステムを示す図である。 いくつかの実施形態による、2ステップのプロンプトと対話するためにポーズを検出するように構成される別の例示的なコンピューティングシステムを示す図である。 ポーズを検出するための例示的な実施形態を示すフロー図である。 ポーズを検出するための例示的な実施形態を示す別のフロー図である。 ユーザにポーズを指示するための例示的な実施形態を示すフロー図である。

本開示の態様は、ジェスチャ認識を実行する、より便利で、直観的、かつ機能的な方法を提供する。タッチシステムでは、ユーザとのタッチによる対話が必要なとき、指は、ガラスにタッチし、次いでジェスチャの方向に動き、次いでガラスから持ち上がる。しかしながら、ユーザが、プロンプトに応答するのにスクリーンにタッチすることができないか、またはスクリーンにタッチしたくない可能性がある多くの状況が存在する。たとえば、ユーザは、自動車を運転しており、ユーザインターフェース内の特定のボタンまたは領域にタッチするためにその目を道路から逸らしたくない場合がある。これらのシナリオおよび多くの他のシナリオは、タッチを介してのみアクティブ化され得るインターフェースを有するという欠点を指摘する。

説明のために、手のポーズを使用した本発明の実施形態について本明細書に説明する。しかしながら、ポーズおよびジェスチャには、どのようなユーザの四肢も使用することができる。いくつかの実施形態では、ジェスチャを実行するために、ユーザの体、顔、または頭部が使用され得る。さらに、いくつかの実施形態では、ポーズまたはジェスチャを実行するために、ユーザに関連するおよび/またはユーザに制御される制御物体が使用され得る。制御物体は、たとえば、人の手、またはユーザに保持もしくは着用されるものを含み得る。一例として、ワンドは、制御物体である可能性がある。当業者は、実行され得る他のジェスチャを認めるであろう。

いくつかの実施形態では、ポーズは、たとえばコンピューティングシステムが適切に構成されるとき、および/またはさらなる動作がそのポーズに続くときの決まりのジェスチャを含むことができる。さらに、ポーズは、手、腕、脚、顔の特徴などによって、または、個人が携行している、もしくは行使している可能性がある他の物体によっても実行され、それらを含むことができる。以下の実施形態では、「所望の結果」という用語は、ジェスチャが呼び出すことを意図されているユーザインターフェースイベントをアクティブ化することを指す。いくつかの実装形態では、シミュレートされた「タッチ」イベントは、たとえば手のポーズを使用して、表示されたプロンプトの選択の形態でデバイスに送出され得る。いくつかの実施形態では、ユーザは、デバイス上に表示されたオプション間でナビゲートするために「左へのスワイプ」または「右へのスワイプ」などのポーズを実行することができる。いくつかの実装形態では、デバイス上のアプリケーションは、デバイスによって(たとえば、カメラなどの入力デバイスによって)捕捉されるジェスチャを解釈するために内蔵されたジェスチャ検出機能を有することができる。さらに他の実装形態では、アプリケーションから別のジェスチャシステムへの直接接続を生成することができ、ジェスチャメッセージは、ジェスチャシステムによって解釈され、アプリケーションに直接送出することができ、アプリケーションは、デバイスのワーキングメモリ内に存在することができ、デバイスのプロセッサは、アプリケーション命令を実行することができる。これらの要素について、図1に関して以下でより詳細に説明する。

本発明の実施形態を使用すると、コンピュータシステムは、たとえば、ユーザに既知のポーズを実行させることによって、タッチされることなくロック解除され得る。たとえば、カメラは、コンピュータシステムに関連する可能性があり、ユーザは、コンピュータシステムに関連するカメラの視点でポーズを実行することができる。いくつかの実施形態では、他の検出可能デバイスは、限定はしないが、超音波センサ、電磁放射センサ、微小電気機械システム(MEMS)ベースのデバイス、および慣性センサを含むコントローラデバイスを含む、コンピュータシステムに関連している可能性がある。ユーザは、これらの他の検出可能デバイスが検出することができる形でポーズを実行することができる。コンピュータシステムは、ポーズがコンピュータシステムをロック解除するための所定のジェスチャに対応する場合、および/または所定の検出状態を達成した場合、ロック解除され得る。いくつかの実施形態では、ユーザは、デバイスによって指示されるとき、任意のポーズを実行することができ、デバイスは、所定の検出状態が達成されると、そのポーズに確認応答するか、または応答することができる。ポーズは、手のポーズまたはジェスチャである可能性があり、カーソルが、ユーザの手の位置を反映するコンピュータシステム上に表示され得る。いくつかの実施形態では、ジェスチャは、所定の経路に沿って空中で1つまたは複数の手を動かすユーザによって、または上記の方法の任意の組合せによって実行され得る。いくつかの実施形態では、ポーズは、たとえばコンピューティングシステムが適切に構成されるとき、および/またはさらなる動作がそのポーズに続くときの決まりのジェスチャを含むことができる。さらに、ポーズは、手、腕、脚、顔の特徴などによって、または、個人が携行している、もしくは行使している可能性がある他の物体によっても実行され、それらを含むことができる。コンピュータシステムは、ユーザにジェスチャを連想させるために、そのスクリーン上に、所定のジェスチャの視覚的合図を表示することもできる。加えて、カメラを有するコンピュータシステムは、ユーザが、同様の機構を介してコンピュータシステムにタッチすることなく任意のプロンプトに確認応答することを可能にすることができる。加えて、応答/無視またはOK/CANCELなどの、2つの考えられる応答を有するプロンプトでは、2つの所定のジェスチャ、すなわち考えられる各応答に対する1つのジェスチャを使用することができる。詳細には、視覚的合図がディスプレイの一方の側に1つの応答オプションを示し、ディスプレイの他方の側に他方の応答オプションを示す場合、所望の応答を選択するために、同じ手のポーズを使用することができるが、ユーザは、右側のオプションを選択するために、そのポーズにその右手を使用することができ、左側のオプションを選択するために、そのポーズにその左手を使用することができる。加えて、各オプションに関する特定の手のポーズまたはジェスチャの適切なビジュアルプロンプトは、前述のように、ユーザに対する合図として表示され得る。

次に、いくつかの例示的な実施形態について、本明細書の一部を形成する添付の図面に関連して説明する。本開示の1つまたは複数の態様が実装され得る特定の実施形態について上記で説明したが、本開示の範囲、または添付の特許請求の範囲の趣旨を逸脱することなく、他の実施形態を使用することができ、様々な変更を行うことができる。上記で説明した実施形態のすべては、コンピュータシステムなどの、そのようなシステムにおいて実施され得る。以下の実施形態は、ポーズもしくはジェスチャ、またはユーザによって提供される他の入力のカメラによる検出について言及することができる。しかしながら、上記で説明したように、使用され得る他の検出可能デバイスは、限定はしないが、超音波センサ、電磁放射センサ、微小電気機械システム(MEMS)ベースのデバイス、およびコントローラデバイスを含む。したがって、カメラについて説明する以下の例の各々において、カメラは、上記で説明したセンサのうちのいずれかに置き換えられ、またはそれらに加えて使用することができるか、あるいは、ポーズもしくはジェスチャ、またはユーザによって提供される他の入力を検出するように構成された別のセンサを使用することができる。

図2は、いくつかの実施形態による、プロンプト220と対話するためにポーズ226、228を検出するように構成された例示的なコンピューティングシステム(たとえば、図1に示すコンピュータシステム100)を示す。一実施形態では、コンピューティングシステムは、スマートフォンなどのモバイルデバイス200である。他の実施形態では、コンピューティングシステムは、タブレット、テレビ、パーソナルコンピュータ、携帯情報端末、ネットブックなどの他のデバイスである可能性がある。モバイルデバイス200は、1つまたは複数のカメラ120および出力デバイス110を含む。一実施形態では、出力デバイス110は、ディスプレイデバイスである。デバイス200は、ユーザにプロンプト220およびポーズ要求224を提示することができる。ユーザは、ユーザポーズ226、228を実行することによってプロンプト220に応答することができる。一実施形態では、ユーザポーズは、左手ユーザポーズ226および右手ユーザポーズ228である。ユーザポーズは、ユーザの手によって構築されるポーズに限定されず、ユーザの脚、足、つま先、膝、足首、腹、胸、肩、腕、肘、指、および任意の他のユーザ身体部分または四肢によって構築され得ることを諒解されよう。さらに、ポーズは、所定のポーズを含むことができる。いくつかの実施形態では、デバイス200は、動作、たとえば、所定の経路に沿った動作もしくは所定の方向の動作、またはポーズと動作との組合せをユーザに指示することができる。カメラ120は、複数の画像を捕捉することによってユーザポーズ226、228を検出し、取得し、分析するために動作可能である可能性がある。

いくつかの実施形態では、1つまたは複数のカメラ120を有するモバイルデバイス200を制御する方法は、モバイルデバイス200が確認応答を待っていることをディスプレイユニットまたはスピーカなどの出力デバイス110を使用してユーザに通知するステップと、カメラ120から一連の画像を捕捉するステップと、それらの画像を分析するステップと、ユーザの右手もしくは左手のいずれかまたは場合によっては両手(または任意の他の身体部分もしくは四肢)がポーズ要求224または任意の他の所定のポーズと同様に検出されたかどうかを判定するステップとを含む。ユーザのポーズが最初に検出されると、モバイルデバイス200は、場合によっては、所定の検出状態に達するまで(たとえば、所望の結果をトリガするのに十分な時間の間、ポーズが保持されるまで)、進行フィードバックを表示する(図3参照)か、または知覚フィードバック用のいくつかの他の手段を使用することができる。知覚フィードバック用の他の手段のいくつかの例には、限定はしないが、可聴合図、モバイルデバイス200の振動などが含まれる。

いくつかの実施形態では、十分な時間は、正しく検出されるジェスチャまたはポーズの特定の信頼レベルに相関する可能性がある。たとえば、ディスプレイ110は、特定の信頼レベルに達する方への進行をユーザに指示する進行度インジケータを提示することができる。いくつかの実施形態では、十分な時間は、ユーザが通常ポーズを保持することができない時間量、したがって、ユーザが、たとえば別の理由でいじり回すか、または動くのではなく、意図的な入力を確実に提供するために使用され得る時間量を含む。図2に示す方式は、確認応答を必要とするが、図7に示すような2つのオプション間の判定を必要としない可能性がある情報メッセージであるプロンプト220に適している可能性がある。たとえば、モバイルデバイス200は、そのバッテリーがそのバッテリーの5%しか残っていないことを告知することができる。いくつかの実施形態では、デバイス200は、左手ユーザポーズ226が検出されるか、または右手ユーザポーズ228が検出されるかのいずれかのとき、ユーザが確認応答を提供したと判定することができる。したがって、要求224が表示されるとき、デバイスは、どちらの手が使用されたのかにかかわらず、掌を開き指を開いたポーズの手を検出することができる。他の実施形態では、デバイス200は、特定の手、たとえば要求224によって表示されたポーズを模倣する手が検出されるとき、ユーザが確認応答を提供したと判定することができる。

いくつかの実施形態では、カメラ120を有するモバイルデバイス200を制御する方法は、モバイルデバイス200が確認応答を待っている可能性があることをユーザに通知するステップと、カメラ120から一連の画像を捕捉するステップと、それらの画像を分析するステップと、ポーズ226、228が検出されたかどうかを判定するステップとを含む。ポーズ226、228が部分的に完了したときにポーズ226、228を検出することができる場合、モバイルデバイス200は、場合によっては、ポーズが完全に完了し所望の結果がトリガされるまで、進行フィードバック画像を表示するか、または知覚フィードバック用のいくつかの他の進行手段を使用することができる(図3参照)。

図3は、いくつかの実施形態による、デバイスをロック解除するためにポーズ226、228を検出するように構成される別の例示的なコンピューティングシステム(たとえば、図1に示すコンピュータシステム100)を示す。図3では、デバイス200は、進行フィードバック画像330を提示する。

一実施形態では、1つまたは複数のカメラ120を有するモバイルデバイス200を制御する方法は、モバイルデバイス200が確認応答またはコマンドを待っていることをディスプレイユニットまたはスピーカなどの出力デバイス110を使用してユーザに通知するステップと、カメラ120から一連の画像を捕捉するステップと、それらの画像を分析するステップと、ユーザの左手ユーザポーズ226もしくは右手ユーザポーズ228のいずれかまたは場合によっては両手が開いた掌のポーズまたは他の所定のポーズの状態で検出されたかどうかを判定するステップと含む。ユーザポーズは、ユーザの手によって構築されるポーズに限定されず、ユーザの脚、足、つま先、膝、足首、腹、胸、肩、腕、肘、指、および任意の他のユーザ身体部分または四肢によって構築され得ることを諒解されよう。さらに、ポーズは、所定のポーズを含むことができる。いくつかの実施形態では、デバイス200は、動作、たとえば、所定の経路に沿った動作もしくは所定の方向の動作、またはポーズと動作との組合せをユーザに指示することができる。ユーザのポーズ226、228が最初に検出されると、コンピュータシステムは、場合によっては、システムとの決まりとして確認されるのに十分な時間の間、ユーザポーズ226、228が保持されるまで、進行フィードバック画像330を表示するか、または知覚フィードバック用のいくつかの他の進行手段を使用することができる。いくつかの実施形態では、デバイス200は、ポーズが検出される前に画像330を表示するが、ポーズの検出後まで画像330を更新しない。一実施形態では、十分な時間は、特定の信頼レベルに相関する可能性がある。たとえば、ディスプレイ110は、特定の信頼レベルに達する方への進行をユーザに指示する進行度インジケータを提示することができる。続いて、ユーザは、所望の結果がトリガされるようにプロンプトに確認応答するユーザの要望を確認するために、その点からある方向にその手(または他の四肢)を動かすように指示され得る。他の実施形態では、デバイス200は、デバイス200に確認応答またはコマンドを提供するためにポーズおよび動作が使用され得ることをユーザが認識するようにポーズの検出前に手の動作用のプロンプトをユーザに表示することができる。図3に示す方式は、単純に確認応答を必要
とするが、図6に示す2つのオプション間の判定を必要としない情報メッセージに適している可能性がある。たとえば、図に示すように、そのような方式は、ユーザが、携帯電話、タブレット、またはテレビなどのコンピュータシステムをロック解除したいかどうかを判定するためにデバイス200によって利用され得る。

一実施形態では、モバイルデバイス200は、カメラ120がユーザの存在を検出した後、最初に、ロック解除(unlock)プロンプト220およびポーズ要求224を表示することができる。この特定の実施形態では、進行フィードバック画像330は、スライドバー画像である。スライドバー画像は、ユーザポーズ226、228の動作に従ってディスプレイにわたって左右に連続的に動かすことができる。たとえば、ポーズ要求224は、開いた掌の人の右手の画像を示すことができる。ユーザは、モバイルデバイス200をロック解除するために右手のユーザポーズ228を実行することができる。モバイルデバイス200は、最初に、プロンプト220、ポーズ要求224、および進行フィードバック画像330を提示することができる。プロンプト220は、モバイルデバイス200とさらに対話する前にロック解除が必要であることをユーザに指示するメッセージである可能性がある。ポーズ要求224は、ユーザの四肢を示す画像、この場合はユーザの右手の画像を含むことができる。このポーズ要求は、ユーザがユーザの四肢(右手)を動かすべきである動作を示す画像を含むこともできる。ユーザが、ポーズ要求224に示すポーズと同様のポーズでその右手を広げ、ポーズ要求224によって示された動作でその右手を動かすとき、進行フィードバック画像330は、ユーザの右手のポーズ228の動作に従ってディスプレイ110にわたって連続的に左右に動く。モバイルデバイス200は、ユーザが、進行フィードバック画像330によって示された、ポーズ要求224によって指示された動作を完了し、(スライドバーが)ディスプレイ110上の所定の位置に達すると、ロック解除することができる。次いで、ユーザは、モバイルデバイス200と対話し続けることができる。ポーズ要求は、任意のタイプのユーザ四肢動作とともに、開いた掌のユーザの左手または任意の配置の任意の他の身体部分もしくはユーザ四肢の画像を示すことができることを諒解されよう。ユーザは、示された動作を模倣することによって、その対応する身体部分または四肢を使用してデバイスをロック解除することができる。いくつかの実施形態では、ユーザポーズ要求224は、ユーザポーズ226、228が正しく検出され、ユーザポーズ226、228の続く動作がポーズ要求224のスライドバ
ーに対応する動作になることをユーザに指示するために、ハイライトされ、カラーを変化させ、または任意の他の方法で視覚的に変化することができる。いくつかの実施形態では、ポーズ要求224のスライドバーは、ポーズが検出された後、ユーザの動作を追跡するのではなくユーザポーズがどのくらい長く保持されたかをユーザに指示するために使用され得る。

一実施形態では、カメラ120は、所定の間隔でユーザポーズを検出し、捕捉し、分析することができる。たとえば、カメラ120は、所定の時間間隔(たとえば、0.5秒ごと)でユーザポーズを検出し、捕捉し、分析することができる。所定の時間間隔でユーザポーズを検出し、捕捉し、分析することによって、モバイルデバイス200および関与システム(engagement system)は、ユーザポーズを常に検出し、捕捉し、分析することに対して、より低い電力プロファイルで動作することができる。一実施形態では、モバイルデバイス200および関与システムは、ディスプレイ110またはカメラ120の前のユーザの身体部分または四肢の存在に基づいてフレームが検出され、捕捉され、分析される回数を動的に増加させることができる。たとえば、ユーザポーズがデバイス200によって検出されると、カメラおよび/またはジェスチャもしくはポーズの認識エンジンの使用率は、より高い精度および/またはより低いレイテンシでポーズもしくはジェスチャまたはそれらの変化を検出するために増加させることができる。

図4A〜図4Fは、いくつかの実施形態による、ポーズを検出し、進行フィードバック画像330を使用するように構成される別の例示的なコンピューティングシステムを示す。上記のように、コンピュータシステムは、場合によっては、システムとの決まりとして確認されるのに十分な時間の間、ユーザポーズが保持されるまで、進行フィードバック画像330を表示するか、または知覚フィードバック用のいくつかの他の進行手段を使用することができる。一実施形態では、十分な時間は、特定の信頼レベルに相関する可能性がある。一実施形態では、進行フィードバック画像330は、ユーザポーズの検出、たとえばユーザポーズがしきい値時間量の間、十分に維持されたことの検出までのパーセンテージを表示することができる。進行フィードバック画像330は、特定の信頼レベルに達するまでの進行度を指示することができる。図4Aでは、プロンプト220が、モバイルデバイス200(図2)と対話し続けるべきかどうかについてのメッセージおよび確認応答を伴って表示される。さらに、ポーズ要求224は、システムがポーズを受容し、どのポーズが期待されるかを指示する右のユーザの手の画像として表示される。図4Aは、時刻t<0におけるモバイルデバイス200(図2)のディスプレイ110を示す。時刻tは、任意の時間単位、たとえば、秒、ミリ秒などである可能性がある。一実施形態では、時刻t<0において、進行フィードバック画像330は、ディスプレイ110上に表示されない。

いくつかの実施形態では、ポーズ要求224は、ディスプレイ110上に最初に示されない可能性がある。いくつかの場合には、ユーザは、(たとえば、システムとの対話を開始するために、特定の決まりのジェスチャが使用されるとき)システムと対話するための特定のポーズが存在し得ることに関する知識をすでに有する可能性がある。ある機能を開始するか、または制御するかのいずれかに関連する複数の可能性のあるポーズが存在する可能性もある。そのような実施形態では、デバイス200(図2)は、手のポーズが最初に検出されたとき、またはその後、対応する手のポーズの画像だけを示し、それによって、検出されている特定の手のポーズまたは手のポーズが正しく検出されていることをユーザに通知することができる。いくつかの実施形態では、次いで、システムに入るか、または何らかの種類の入力もしくはコマンドを提供するのに十分な時間の間、手のポーズを確実に保持するために、ディスプレイ110上に進行フィードバック330が表示され得る。

一実施形態では、カメラ120(図1)がユーザポーズの存在を検出すると、時刻t=0において、進行フィードバック画像330が、ディスプレイ110上に表示され得る。たとえば、この特定の実施形態では、進行フィードバック画像330は、円形指示バーである。円形指示バーは、システムとの決まりとして確認されるのに十分な時間の間、ユーザポーズを実行するときのユーザの進行度を指示することができる。一実施形態では、十分な時間は、特定の信頼レベルに相関する可能性がある。進行フィードバック画像330は、特定の信頼レベルに達するまでの進行度を指示することができる。一実施形態では、円形指示バーは、ユーザがユーザポーズを実行している間に経過した時間量に対応する円形指示バーの部分を暗色化し、影を付け、着色し、挟み、消去するなどすることによって、この進行度を指示することができる。

この特定の実施形態では、ポーズ要求224は、開いた掌のユーザの右手を示す。ユーザポーズは、ユーザの手によって構築されるポーズに限定されず、ユーザの脚、足、つま先、膝、足首、腹、胸、肩、腕、肘、指、および任意の他のユーザ身体部分または四肢によって構築され得ることを諒解されよう。

図4Bでは、進行フィードバック画像330が、ディスプレイ110上に表示される。一実施形態では、進行フィードバック画像330は、ポーズ要求224に中心を置く円形指示バーである。図4Bは、時刻t=0、すなわちカメラ120(図1)がユーザポーズの存在を検出した後における、モバイルデバイス200(図2)のディスプレイ110を示す。円形指示バーは、システムとの決まりとして確認されるのに十分な時間の間、ユーザポーズが保持されたことを指示する進行フィードバックを提供する。一実施形態では、十分な時間は、特定の信頼レベルに相関する可能性がある。進行フィードバック画像330は、特定の信頼レベルに達するまでの進行度を指示することができる。たとえば、進行フィードバック画像330は、長方形指示バー、パーセンテージインジケータ、アニメーション画像など、ユーザに進行フィードバックを提供することができる任意のタイプの画像である可能性があることを諒解されよう。

図4Cは、時刻t=0.25におけるモバイルデバイス200(図2)のディスプレイ110を示す。この図では、円形表示進行フィードバック画像330は、影が付いたその8つのセクションのうちの2つを有する。円形表示進行フィードバック画像330のうちの影が付いたセクションは、ユーザポーズを使用することによってプロンプト220との対話を完了するときのユーザの進行度を指示する。この例では、ユーザは、時刻t=0.25までポーズ要求224と同様のユーザポーズを実行してきた。

図4Dは、時刻t=0.5におけるモバイルデバイス200(図2)のディスプレイ110を示す。この図では、円形表示進行フィードバック画像330は、影が付いたその8つのセクションのうちの4つを有する。円形表示進行フィードバック画像330のうちの影が付いたセクションは、ユーザポーズを使用することによってプロンプト220との対話を完了するときのユーザの進行度を指示する。この例では、ユーザは、時刻t=0.5までポーズ要求224と同様のユーザポーズを実行してきた。

図4Eは、時刻t=0.75におけるモバイルデバイス200(図2)のディスプレイ110を示す。この図では、円形表示進行フィードバック画像330は、影が付いたその8つのセクションのうちの6つを有する。円形表示進行フィードバック画像330のうちの影が付いたセクションは、ユーザポーズを使用することによってプロンプト220との対話を完了するときのユーザの進行度を指示する。この例では、ユーザは、時刻t=0.75までポーズ要求224と同様のユーザポーズを実行してきた。

図4Fは、時刻t=1におけるモバイルデバイス200(図2)のディスプレイ110を示す。この図では、円形表示進行フィードバック画像330は、影が付いたその8つのセクションのすべてを有する。円形表示進行フィードバック画像330のうちの影が付いたセクションは、ユーザポーズを使用することによってプロンプト220との対話を完了するときのユーザの進行度を指示する。この例では、ユーザは、時刻t=1までポーズ要求224と同様のユーザポーズを実行してきた。この図では、ポーズ要求224と同様のユーザポーズは、システムによって確認されるほど十分長く保持され、そのときに、進行フィードバック画像330は完全に影を付けられ、ユーザは、プロンプト220の確認応答を完了した。いくつかの実施形態では、この確認応答は、システムに入り、さらなる機能を有効化することができる。一実施形態では、十分な時間は、特定の信頼レベルに相関する可能性がある。進行フィードバック画像330は、特定の信頼レベルに達するまでの進行度を指示することができる。

図5A〜図5Lは、いくつかの実施形態による、ポーズを検出し、進行フィードバック330を使用するように構成される別の例示的なコンピューティングシステムを示す。上記のように、コンピュータシステムは、場合によっては、システムとの決まりとして確認されるのに十分な時間の間、ユーザポーズが保持されるまで、進行フィードバック画像330を表示するか、または知覚フィードバック用のいくつかの他の進行手段を使用することができる。一実施形態では、十分な時間は、特定の信頼レベルに相関する可能性がある。進行フィードバック画像330は、特定の信頼レベルに達するまでの進行度を指示することができる。図5Aでは、プロンプト220が、モバイルデバイス200(図2)との対話におけるYESまたはNOの応答を要求するメッセージおよび確認応答を伴って表示される。さらに、ポーズ要求224は、システムがポーズを受容し、どのポーズが期待されるかを指示する、開いた掌の右のユーザの手の画像として表示される。図5Aは、時刻t<0におけるモバイルデバイス200(図2)のディスプレイ110を示す。時刻tは、任意の時間単位、たとえば、秒、ミリ秒などである可能性がある。一実施形態では、時刻t<0において、進行フィードバック画像330は、ディスプレイ110上に表示されない。

一実施形態では、カメラ120(図1)がユーザポーズの存在を検出すると、時刻t=0において、進行フィードバック画像330が、ディスプレイ110上に表示され得る。たとえば、この特定の実施形態では、進行フィードバック画像330は、ポーズ要求224上に重なった画像である可能性がある。重なった画像は、システムとの決まりとして確認されるのに十分な時間の間、ユーザポーズを実行するときのユーザの進行度を指示することができる。一実施形態では、十分な時間は、特定の信頼レベルに相関する可能性がある。進行フィードバック画像330は、特定の信頼レベルに達するまでの進行度を指示することができる。一実施形態では、重なった画像は、ユーザがユーザポーズを実行している間に経過した時間量に対応する重なった画像の部分を暗色化し、影を付け、着色し、挟み、消去するなどすることによって、この進行度を指示することができる。

この特定の実施形態では、ポーズ要求224は、開いた掌のユーザの右手を示す。ユーザポーズは、ユーザの手によって構築されるポーズに限定されず、ユーザの脚、足、つま先、膝、足首、腹、胸、肩、腕、肘、指、および任意の他のユーザ身体部分または四肢によって構築され得ることを諒解されよう。

図5Bでは、進行フィードバック画像330が、ディスプレイ110上に表示される。一実施形態では、進行フィードバック画像330は、ポーズ要求224上に重ねられる。図5Bは、時刻t=0、すなわちカメラ120(図1)がユーザポーズの存在を検出した後における、モバイルデバイス200(図2)のディスプレイ110を示す。重なった画像は、システムとの決まりとして確認されるのに十分な時間の間、ユーザポーズが保持されたことを指示する進行フィードバックを提供する。一実施形態では、十分な時間は、特定の信頼レベルに相関する可能性がある。進行フィードバック画像330は、特定の信頼レベルに達するまでの進行度を指示することができる。たとえば、進行フィードバック画像330は、長方形指示バー、パーセンテージインジケータ、アニメーション画像など、ユーザに進行フィードバックを提供することができる任意のタイプの重なった画像である可能性があることを諒解されよう。この特定の実施形態では、重なった画像は、開いた掌の右のユーザの手、すなわちポーズ要求224によって示されたものと同じ画像を示す。

図5Cは、時刻t=0.25におけるモバイルデバイス200(図2)のディスプレイ110を示す。この図では、重なった進行フィードバック画像330は、影が付いたその高さ全体の約4分の1を有する。重なった進行フィードバック画像330のうちの影が付いた高さは、ユーザポーズを使用することによってプロンプト220との対話を完了するときのユーザの進行度を指示する。この例では、ユーザは、時刻t=0.25までポーズ要求224と同様のユーザポーズを実行してきた。ユーザポーズを使用することによってプロンプト220との対話を完了するときのユーザの進行度を指示する影は、影の幅方向、対角線状、らせん状、円形などである可能性があることを諒解されよう。

図5Dは、時刻t=0.5におけるモバイルデバイス200(図2)のディスプレイ110を示す。この図では、重なった進行フィードバック画像330は、影が付いたその高さ全体の約2分の1を有する。重なった進行フィードバック画像330のうちの影が付いた高さは、ユーザポーズを使用することによってプロンプト220との対話を完了するときのユーザの進行度を指示する。この例では、ユーザは、時刻t=0.5までポーズ要求224と同様のユーザポーズを実行してきた。

図5Eは、時刻t=0.75におけるモバイルデバイス200(図2)のディスプレイ110を示す。この図では、重なった進行フィードバック画像330は、影が付いたその高さ全体の約4分の3を有する。重なった進行フィードバック画像330のうちの影が付いた高さは、ユーザポーズを使用することによってプロンプト220との対話を完了するときのユーザの進行度を指示する。この例では、ユーザは、時刻t=0.75までポーズ要求224と同様のユーザポーズを実行してきた。

図5Fは、時刻t=1におけるモバイルデバイス200(図2)のディスプレイ110を示す。この図では、重なった進行フィードバック画像330は、影が付いたその高さ全体のすべてを有する。重なった進行フィードバック画像330のうちの影が付いた高さは、ユーザポーズを使用することによってプロンプト220との対話を完了するときのユーザの進行度を指示する。この例では、ユーザは、時刻t=1までポーズ要求224と同様のユーザポーズを実行してきた。この図では、ポーズ要求224と同様のユーザポーズは、システムによって確認されるほど十分長く保持され、そのときに、進行フィードバック画像330は完全に影を付けられ、ユーザは、プロンプト220の確認応答およびシステムを完了した。一実施形態では、十分な時間は、特定の信頼レベルに相関する可能性がある。進行フィードバック画像330は、特定の信頼レベルに達するまでの進行度を指示することができる。

進行フィードバック画像は、プロンプト要求224に重なるのではなく、プロンプト要求224を置き換えることができることを諒解されよう。進行フィードバックを指示するために、進行フィードバック画像330のサイズまたは不透明度などの他のアニメーションが使用され得ることを諒解されよう。

図5Gは、時刻t=1.25におけるモバイルデバイス200(図2)のディスプレイ110を示す。この図では、重なった進行フィードバック画像330は、影が付いたその高さ全体のすべてを有する。重なった進行フィードバック画像330のうちの影が付いた高さは、ユーザポーズを使用することによってプロンプト220との対話を完了するときのユーザの進行度を指示する。一実施形態では、たとえば図5A〜図5Fに示すように、十分長い時間量の間、ユーザポーズを検出すると、プロンプト220とのさらなる対話のために、ポーズ要求224の新規の対がディスプレイ110上に現れ得る。一実施形態では、十分な時間は、特定の信頼レベルに相関する可能性がある。進行フィードバック画像330は、特定の信頼レベルに達するまでの進行度を指示することができる。ポーズ要求224の対は、対応するユーザプロンプト220の選択を行うために、ユーザのポーズをいずれかの方向に動かすことをユーザに指示することができる。この例では、ユーザは、YES応答またはNO応答の間で選択することができる。ポーズ要求224の対は、進行フィードバック画像330の背後に表示することができ、期待されるユーザポーズ動作を指示するためにアニメーション化され得る。たとえば、ポーズ要求は、個々に、YESプロンプト220およびNOプロンプト220をアニメーション化し、YESプロンプト220およびNOプロンプト220に向かって動く可能性がある。一実施形態では、アニメーションは、ユーザが、ユーザポーズ動作を完了し、プロンプト220の選択肢を選択するか、またはユーザが、ユーザポーズを実行するのをやめるまで、ループ化され得る。この図では、ユーザポーズ要求224の対は、進行フィードバック画像330からユーザプロンプト220までの距離の3分の1である。いくつかの実施形態では、ポーズ動作は、ポーズが十分に維持されている間に実行される動作を含むことができる。本明細書の例において、いくつかの実施形態では、あるポーズが動作中に維持される必要がない動作が、ポーズ動作の代わりに実施され得る。

図5Hは、時刻t=1.5におけるモバイルデバイス200(図2)のディスプレイ110を示す。この図では、ユーザポーズ要求224の対は、進行フィードバック画像330からユーザプロンプト220までの距離の3分の2である。

図5Iは、時刻t=1.75におけるモバイルデバイス200(図2)のディスプレイ110を示す。この図では、ユーザポーズ要求224の対は、進行フィードバック画像330からユーザプロンプト220までの距離全体をアニメーション化し、それを動かした。一実施形態では、ここで、アニメーションは、ユーザが、ユーザポーズ動作を完了し、プロンプト220の選択肢を選択するか、またはユーザが、ユーザポーズを実行するのをやめるまで、ループ化され、図5Gに示すように再開することができる。

図5Jは、時刻t=2.0におけるモバイルデバイス200(図2)のディスプレイ110を示す。この図では、ユーザは、図5G〜図5Iのユーザポーズ要求224の対によって示されたユーザポーズ動作と同様のユーザポーズ動作を開始した。一実施形態では、進行フィードバック画像330は、プロンプト220との対話を完了するためにユーザポーズが動くのを期待される距離(ユーザポーズ要求224の対のアニメーションおよび動きによって示される)に対してユーザポーズが動いた距離を指示するために、アニメーション化され、動く。この図では、ユーザの開いた掌の右手のポーズは、ユーザがプロンプト220にYESと応答したいことを指示するためにディスプレイ110の左端部に動く。ユーザポーズは、開いた掌の左手のポーズである可能性があることを諒解されよう。ユーザポーズは、プロンプト220と対話するためにディスプレイ110に関してどこでも動くことができることも諒解されよう。この図では、進行フィードバック画像330は、プロンプト220との対話を完了するために動くことが期待されている距離の約3分の1動いた。

図5Kは、時刻t=2.25におけるモバイルデバイス(図2)のディスプレイ110を示す。この図では、進行フィードバック画像330は、プロンプト220との対話を完了するためにユーザポーズが動くことが期待されている距離の約3分の2動いた。

図5Lは、時刻t=2.5におけるモバイルデバイス(図2)のディスプレイ110を示す。この図では、進行フィードバック画像330は、プロンプト220との対話を完了するためにユーザポーズが動くことが期待されている距離程度動いた。この図では、ここで、ユーザは、YESのユーザプロンプト220の選択肢を選択し、プロンプト220との対話が完了する可能性がある。

図5A〜図5Fの実施形態は、図5G〜図5Lに説明した実施形態と組み合わせて使用され得ることを諒解されよう。すなわち、ユーザは、対応するユーザプロンプトの選択を行うためにいずれかの方向にユーザがポーズを動かす前に、ならびに/またはプロンプト220およびユーザポーズ要求224のうちの1つまたは複数が表示される前に、十分な時間量の間(たとえば、進行フィードバック画像330に完全に影が付くまで)、ポーズを保持することができる。いくつかの実施形態では、図5A〜図5Fは、図5G〜図5Lなしに使用され得る。そのような実施形態では、YESおよびNOのプロンプト220は、いくつかの実装形態において、たとえばユーザが選択肢を必要としないとき、省略され得る。

図6は、いくつかの実施形態による、プロンプト220と対話するためにポーズ226、228を検出するように構成される別の例示的なコンピューティングシステムを示す。一実施形態では、1つまたは複数のカメラ120を有するモバイルデバイス200を制御する方法は、2つ以上の可能性のあるプロンプト220間でユーザが選択するのをコンピュータシステムが待っていることをディスプレイユニットまたはスピーカなどの出力デバイス110を使用してユーザに通知するステップと、ディスプレイ110の左側および右側にプロンプトを表示するステップと、次いでカメラ120から一連の画像を捕捉するステップと、それらの画像を分析するステップと、ユーザの右手のポーズ228または左手のポーズ226のいずれかが開いた掌のポーズまたは他の所定のポーズの状態で検出されたかどうかを判定するステップと含む。ユーザがスクリーン上の左側に表示されたプロンプト220(Cancel)を選択したい場合、ユーザは、その左手を上げ、ポーズ要求224によって示された所望のポーズでその手を保持することができる。ユーザがスクリーンの右側に表示されたプロンプト220(OK)を選択したい場合、ユーザは、その右手を上げ、所望のポーズでその手を保持することができる。ユーザのポーズが最初に検出されると、コンピュータシステムは、場合によっては、所望の結果をトリガするのに十分な時間の間、ポーズが保持されるまで、上述のように、進行フィードバック画像をユーザに表示するか、または知覚フィードバック用のいくつかの他の進行手段を使用することができる。一実施形態では、十分な時間は、特定の信頼レベルに相関する可能性がある。たとえば、ディスプレイ110は、特定の信頼レベルに達する方への進行をユーザに指示する進行度インジケータを提示することができる。

この方式は、図に示すように、任意の「ok/cancel」または他の二重オプションプロンプト220に適している可能性がある。デバイス110は、ポーズ要求224とともにプロンプト220を表示することができる。ポーズ要求224は、左手ユーザポーズおよび右手ユーザポーズを示すことができる。ユーザは、ユーザポーズを実行することができ、右手ユーザポーズ228は、ユーザがアクションを呼び出すことを可能にすることができるが、左手ユーザポーズ226は、ユーザがアクションをキャンセルすることを可能にすることができる。いくつかの実施形態では、1つの要求224だけが示され、デバイス200は、要求224によって表されるポーズがユーザの左手または右手によって実行されたかどうかを検出し、ポーズを実行するのにどちらの手が使用されたかに基づいて2つのオプションのうちの1つが選択されたことを判定する。

いくつかの実施形態では、右手ポーズ228および左手ポーズ226は、まったく異なる可能性がある。たとえば、右手ポーズ228は、開いた手のポーズである可能性があるが、左手ポーズ226は、閉じた手のポーズである可能性があり、または逆もまた同様である。閉じた手のポーズは、「Cancel」プロンプトの選択肢を表すことができるが、開いた手のポーズは、「OK」プロンプトの選択肢を表すことができる。いくつかの実施形態では、複数のポーズは、ユーザに提示され、および/または各プロンプトに関して受容され得る。たとえば、「Cancel」プロンプトは、閉じた手のポーズまたは手で形成されたピースサインのポーズによって選択することができるが、「OK」プロンプトは、開いた手のポーズまたは手で(たとえば、親指と人差し指とを付け、他の指を広げた状態で)形成されたOKのポーズによって選択することができる。

図7は、いくつかの実施形態による、プロンプト220と対話するためにポーズ226、228を検出するように構成される別の例示的なコンピューティングシステムを示す。一実施形態では、1つまたは複数のカメラ120を有するモバイルデバイス200を制御する方法は、ディスプレイの左側および右側にプロンプトを表示することによって、2つの可能性のあるプロンプト間でユーザが選択するのをコンピュータシステムが待っていることをディスプレイユニットまたはスピーカなどの出力デバイス110を使用してユーザに通知するステップと、場合によってはディスプレイ110上の単一のハンドアイコンを表示するステップと、次いでカメラ120から一連の画像を捕捉するステップと、それらの画像を分析するステップと、ユーザの右手または左手のいずれかが開いた掌のポーズまたは他の所定のポーズの状態で検出されたかどうかを判定するステップと含む。ユーザのポーズが最初に検出されると、モバイルデバイス200は、場合によっては、決まりとして確認されるのに十分な時間の間、ポーズが保持されるまで、上述のように、進行フィードバック画像をユーザに表示するか、または知覚フィードバック用のいくつかの他の進行手段を使用することができる。一実施形態では、十分な時間は、特定の信頼レベルに相関する可能性がある。たとえば、ディスプレイ110は、特定の信頼レベルに達する方への進行をユーザに指示する進行度インジケータを提示することができる。ユーザは、関与すると、左手側のオプションに入るために左に動き、右手側のオプションに入るために右に動くことができる。ユーザが所望の方向に動くとき、コンピュータシステムは、場合によっては、動作が完了し、所望の結果がトリガされるまで、進行フィードバック画像または知覚フィードバック用の他の進行手段を表示することができる。いくつかの実施形態では、進行フィードバックは省略される。たとえば、ポーズが最初に検出されると、デバイス200は、直ちに手の動作を追跡し、動作に基づいてプロンプト220のうちの1つを選択することができる。

この方式は、図に示すように、呼応答アプリケーション(call answering application)に適している。電話が鳴るとき、着信呼と、呼を受容するか、または拒否するかのいずれかを行うためのオプションとを指示するプロンプト220が表示され得る。一実施形態では、開いた掌の右のユーザの手を示すプロンプト要求224をディスプレイ110上に表示することもできる。ユーザは、ユーザポーズ226、228をディスプレイ110の右端部または左端部に動かすことに基づいて、呼を受容または拒否するためにプロンプトに入り、プロンプトを選択することができる。一実施形態では、右手ユーザポーズ228だけがモバイルデバイス200に入り、左手ユーザポーズ226の使用は、受容されない。別の実施形態では、モバイルデバイス200に入り、プロンプト220を選択するために、右手ユーザポーズ228または左手ユーザポーズ226のいずれかが使用され得る。

図8は、いくつかの実施形態による、2ステップのプロンプトと対話するためにポーズを使用した別の例示的なコンピューティングシステムおよび関与システムを示す。ユーザが、図7に説明したプロンプト220と対話し、それと関与すると、最初のプロンプト220に対するユーザの判定に基づいて、新規のプロンプト220が表示され得る。一実施形態では、ポーズ要求224は、ユーザが実行するポーズおよび動作を含むことができる。続いて、ユーザは、所望の結果がトリガされるようにプロンプト220に確認応答するユーザの要望を確認するために、その点からある方向にその手を動かすように指示され得る。ユーザが所望の方向に動くとき、コンピュータシステムは、場合によっては、動作が完了するまで、進行フィードバック画像または知覚フィードバック用の他の進行手段を表示することができる。このことは、図に呈示され、その結果のためにより慎重な確認を必要とし得る任意の二重オプションプロンプト220に適用することができる。

図9は、ポーズを検出するための、本発明の例示的な実施形態を示すフロー図である。方法900は、(回路、専用論理回路などの)ハードウェア、(汎用コンピューティングシステムまたは専用機械上で実行されるような)ソフトウェア、(ソフトウェアに埋め込まれる)ファームウェア、またはそれらの任意の組合せを含む、プロセッサ104(図1)などの処理用論理回路によって実行される。一実施形態では、方法900は、図1のコンピュータシステム100、または図2のモバイルデバイス200によって実行される。コンピュータシステム上で実行するソフトウェアは、ワーキングメモリ118(図1)内または記憶デバイス106(図1)上に記憶されたオペレーティングシステム114(図1)およびアプリケーション116(図1)を含むことができる。

図9を参照すると、ブロック902では、コンピュータシステムは、ユーザにポーズを指示する。一実装形態では、ユーザは、コンピュータシステムに結合されたディスプレイユニットを使用してポーズを指示される。ディスプレイユニット上の図2〜図8に表示されたプロンプトは、ブロック902において表示されたプロンプトの例示的な実施形態である。ディスプレイユニットは、図1に示すように、出力デバイス110として実装され得る。

ユーザは、プロンプトに応じて、ポーズによって応答することができる。ブロック904では、コンピュータシステムは、第1のポーズを検出する。コンピュータシステムは、ポーズを検出するために複数の画像を取得し、複数の画像を分析することによって第1のポーズを検出することができる。画像は、図1のコンピュータシステムのカメラ120を介して取得され得る。ポーズは、ユーザの四肢によって生成され得る。一実施形態では、ユーザの四肢は、ユーザの左手、右手、または両手である可能性がある。ポーズは、手のポーズまたは任意の他の所定のポーズである可能性がある。

いくつかの実施形態(たとえば、図6および図8)では、ポーズの検出は、ポーズを生成するために使用されたユーザ四肢の検出に基づいている。コンピュータシステムは、ポーズを生成するときに使用される異なるユーザの四肢の間の差異を考慮することができる。一例では、ユーザは、コンピュータシステムに結合されたディスプレイユニットを使用してポーズを指示され、選択すべき少なくとも2つのイベントを水平に表示することができ、ポーズの検出は、少なくとも2つのイベントのうちの1つを選択する。

たとえば、右手および左手を使用したポーズは、異なる意味に関連し、したがって異なる応答に関連する可能性がある。たとえば、左手であるユーザ四肢を検出するステップは、左に向かって表示されるイベントを選択し、右手であるユーザ四肢を検出するステップは、右に向かって表示されるイベントを選択する。ブロック902を再び参照すると、いくつかの実施形態では、コンピュータシステムは、左手を右手のポーズとコンピュータシステムが区別することをユーザに指示することができる。たとえば、図6では、「Cancel」コマンドは、左手を使用したポーズまたは手のポーズと関連するが、「OK」コマンドは、右手を使用したポーズまたは手のポーズと関連する。

一実施形態では、第1のポーズを検出するステップは、ユーザ四肢の最初の存在を検出するステップと、場合によっては、検出が進行中であることをユーザに指示するためにユーザに進行フィードバックを提供しながら、所定の時間期間の間にユーザ四肢の存在を検出し続けるステップとを含む。たとえば、ブロック906では、ユーザの第1のポーズが最初に検出されると、コンピュータシステムは、場合によっては、所定の時間期間の間、第1のポーズがしっかりと保持されるまで、進行フィードバック画像を表示するか、または知覚フィードバック用のいくつかの他の進行手段を使用することができる(ブロック908)。一実施形態では、コンピュータシステムは、フィードバックをユーザに提供するために、図1で説明したディスプレイユニットを使用する。

ブロック910では、コンピュータシステムは、ユーザの確認応答を受容するか、または別のポーズもしくはポーズ動作をユーザに指示するかのいずれかによって応答する。たとえば、図2において、コンピュータシステムは、第1のポーズを検出すると、「メッセージ」のユーザによる確認応答を受容し、継続する。同様に、図6では、コンピュータシステムは、「cancel」コマンドを解釈するために左手を検出し、「OK」コマンドを解釈するために右手を検出する。

しかしながら、いくつかの実施形態では、コンピュータシステムは、ユーザにユーザ四肢を少なくとも1つの方向に動かすように指示するなど、ユーザに追加のアクションまたは動作を指示する。ブロック912では、コンピュータシステムは、ユーザ四肢が、プロンプトによって指定された少なくとも1つの方向に動いたことを検出する。さらに、ブロック914では、コンピュータシステムは、ユーザ四肢が、少なくとも1つの指定された方向に動いたことの検出に応答する。一実施形態では、応答は、確認応答を受容するか、またはプロンプトを除去するほど単純である可能性がある。ユーザ四肢が少なくとも1つの指定された方向に動いたことの検出は、その方向と関連するアクションの指示を含むことができる。たとえば、図3では、コンピュータシステムは、「ロック解除」コマンドを確認するためのスワイプを期待する。図7では、コンピュータシステムは、ポーズを検出することに加えて、左または右のスワイプ動作を検出することを期待する。同様に、図8では、コンピュータシステムは、「cancel」または「OK」コマンドを確認する前に、左または右のスワイプ動作を検出することを期待する。

図10は、いくつかの実施形態による、ポーズを検出するための、本発明の例示的な実施形態を示す別のフロー図1000である。方法1000は、(回路、専用論理回路などの)ハードウェア、(汎用コンピューティングシステムまたは専用機械上で実行されるような)ソフトウェア、(ソフトウェアに埋め込まれる)ファームウェア、またはそれらの任意の組合せを含む、プロセッサ104(図1)などの処理用論理回路によって実行される。一実施形態では、方法1000は、図1のコンピュータシステム100、または図2のモバイルデバイス200によって実行される。コンピュータシステム上で実行するソフトウェアは、ワーキングメモリ118(図1)内または記憶デバイス106(図1)上に記憶されたオペレーティングシステム114(図1)およびアプリケーション116(図1)を含むことができる。

ブロック1002では、ユーザポーズの最初の存在が検出される。コンピュータシステムは、ポーズを検出するために複数の画像を取得し、複数の画像を分析することによって第1のポーズを検出することができる。画像は、図1のコンピュータシステムのカメラ120を介して取得され得る。ポーズは、ユーザの四肢によって生成され得る。一実施形態では、ユーザの四肢は、ユーザの左手、右手、または両手である可能性がある。ポーズは、手のポーズまたは任意の他の所定のポーズである可能性がある。

いくつかの実施形態(たとえば、図6および図8)では、ポーズの検出は、ポーズを生成するために使用されたユーザ四肢の検出に基づいている。コンピュータシステムは、ポーズを生成するときに使用される異なるユーザの四肢の間の差異を考慮することができる。一例では、ユーザは、コンピュータシステムに結合されたディスプレイユニットを使用してポーズを指示され、選択すべき少なくとも2つのイベントを水平に表示することができ、ポーズの検出は、少なくとも2つのイベントのうちの1つを選択する。

たとえば、右手および左手を使用したポーズは、異なる意味に関連し、したがって異なる応答に関連する可能性がある。たとえば、左手であるユーザ四肢を検出するステップは、左に向かって表示されるイベントを選択し、右手であるユーザ四肢を検出するステップは、右に向かって表示されるイベントを選択する。たとえば、図6では、「Cancel」コマンドは、左手を使用したポーズまたは手のポーズと関連するが、「OK」コマンドは、右手を使用したポーズまたは手のポーズと関連する。

一実施形態では、第1のポーズを検出するステップは、ユーザ四肢の最初の存在を検出するステップと、場合によっては、検出が進行中であることをユーザに指示するためにユーザに進行フィードバックを提供しながら、所定の時間期間の間にユーザ四肢の存在を検出し続けるステップとを含む。たとえば、ユーザの第1のポーズが最初に検出されると、コンピュータシステムは、場合によっては、所定の時間期間の間、第1のポーズがしっかりと保持されるまで、進行フィードバック画像を表示するか、または知覚フィードバック用のいくつかの他の進行手段を使用することができる(ブロック1004)。一実施形態では、コンピュータシステムは、フィードバックをユーザに提供するために、図1で説明したディスプレイユニットを使用する。

ブロック1006では、ユーザポーズの検出が所定の状態に達したかどうかの判定が行われる。一実施形態では、ユーザポーズを検出し続けながら所定の状態を達成するまでのユーザ進行度を示した(ブロック1004)後に判定が行われる。所定の状態は、所定の時間期間の間、ユーザポーズを保持するステップ、またはポーズ動作に入るステップを含むことができる。たとえば、図4Fでは、ユーザポーズは、所定の時間期間の間、保持され、進行フィードバック画像は、完全に影を付けられ、ユーザポーズが所定の状態に達したことを指示する。いくつかの実施形態では、所定の状態は、制御物体によって実行されてきた有限の所定の動作を含むことができるか、または、所定の状態は、ブロック1002における最初のポーズ検出に基づいて判定される場所または位置に達する制御物体を含むことができる。そのような所定の状態は、たとえば、図3および/または図5に示すコンピューティングシステムのいくつかの実施形態において実施され得る。

ブロック1008では、検出が所定の状態に達したと判定することに基づいて、ユーザポーズの検出に対する応答が生成される。コンピュータシステムは、ユーザポーズを検出すると、ユーザ判定に確認応答するか、または図8に示すように、さらなるプロンプトおよびオプションをユーザに提示することができる。一実施形態では、コンピュータシステムは、ユーザ四肢が、少なくとも1つの指定された方向に動いたことの検出に応答することができる。一実施形態では、応答は、確認応答を受容するか、またはプロンプトを除去するほど単純である可能性がある。ユーザポーズの検出に対する応答は、たとえば、多くの他の可能なアクションのうち、着信呼の受容もしくはモバイルデバイスのロック解除、またはメッセージの表示である可能性がある。ユーザ四肢が少なくとも1つの指定された方向に動いたことの検出は、その方向と関連するアクションの指示を含むことができる。たとえば、図3では、コンピュータシステムは、「ロック解除」コマンドを確認するためのスワイプを期待する。図7では、コンピュータシステムは、ポーズを検出することに加えて、左または右のスワイプ動作を検出することを期待する。同様に、図8では、コンピュータシステムは、「cancel」または「OK」コマンドを確認する前に、左または右のスワイプ動作を検出することを期待する。

いくつかの実施形態では、ユーザは、ユーザ判定のオプションに対応するユーザポーズの表示を示すことによって指示され得る。この表示は、たとえば、開いた掌の手のポーズもしくは任意の他のポーズまたはユーザ四肢を使用したジェスチャの画像である可能性がある。ユーザ判定は、ユーザポーズの判定が所定の状態に達したと判定することに少なくとも部分的に基づいて検出され得る。たとえば、システムは、ユーザポーズがある時間量の間または任意の他の測定可能なしきい値の間に実行されたと判定し、システムは、特定の信頼レベルに達し、ユーザ判定の入力を受容することができる。たとえば、ユーザは、ディスプレイデバイス上に表示された「OK」プロンプトを選択することを選ぶことができる。ユーザ判定の入力に対する応答は、コンピュータシステムによって実行され得る。

図11は、いくつかの実施形態による、ポーズをユーザに指示するための、本発明の例示的な実施形態を示すフロー図1100である。方法1100は、(回路、専用論理回路などの)ハードウェア、(汎用コンピューティングシステムまたは専用機械上で実行されるような)ソフトウェア、(ソフトウェアに埋め込まれる)ファームウェア、またはそれらの任意の組合せを含む、プロセッサ104(図1)などの処理用論理回路によって実行される。一実施形態では、方法1100は、図1のコンピュータシステム100、または図2のモバイルデバイス200によって実行される。コンピュータシステム上で実行するソフトウェアは、ワーキングメモリ118(図1)内または記憶デバイス106(図1)上に記憶されたオペレーティングシステム114(図1)およびアプリケーション116(図1)を含むことができる。

ブロック1102では、ユーザは、ユーザ判定のための少なくとも第1のユーザオプションに対応する少なくとも第1のユーザポーズの表示を示すことによって指示される。コンピュータシステムは、ユーザにポーズを指示する。一実装形態では、ユーザは、コンピュータシステムに結合されたディスプレイユニットを使用してポーズを指示される。ディスプレイユニット上の図2〜図8に表示されたプロンプトは、ブロック1102において表示されたプロンプトの例示的な実施形態である。ディスプレイユニットは、図1に示すように、出力デバイス110として実装され得る。一実施形態では、第1のユーザポーズは、図2〜図8に示すように、ユーザ判定のための少なくとも第1のユーザオプションに対応する可能性がある。

ブロック1104では、ユーザ判定を指示する第1のユーザポーズの存在が検出される。コンピュータシステムは、ポーズを検出するために複数の画像を取得し、複数の画像を分析することによって第1のユーザポーズを検出することができる。画像は、図1のコンピュータシステムのカメラ120を介して取得され得る。ポーズは、ユーザの四肢によって生成され得る。一実施形態では、ユーザの四肢は、ユーザの左手、右手、または両手である可能性がある。ポーズは、手のポーズまたは任意の他の所定のポーズである可能性がある。ポーズは、ユーザ判定に対応し、したがってユーザ判定を指示することができる。

いくつかの実施形態(たとえば、図6および図8)では、ポーズの検出は、ポーズを生成するために使用されたユーザ四肢の検出に基づいている。コンピュータシステムは、ポーズを生成するときに使用される異なるユーザの四肢の間の差異を考慮することができる。一例では、ユーザは、コンピュータシステムに結合されたディスプレイユニットを使用してポーズを指示され、選択すべき少なくとも2つのイベントを水平に表示することができ、ポーズの検出は、少なくとも2つのイベントのうちの1つを選択する。

たとえば、右手および左手を使用したポーズは、異なる意味に関連し、したがって異なる応答に関連する可能性がある。たとえば、左手であるユーザ四肢を検出するステップは、左に向かって表示されるイベントを選択し、右手であるユーザ四肢を検出するステップは、右に向かって表示されるイベントを選択する。たとえば、図6では、「Cancel」コマンドは、左手を使用したポーズまたは手のポーズと関連するが、「OK」コマンドは、右手を使用したポーズまたは手のポーズと関連する。

一実施形態では、第1のポーズを検出するステップは、ユーザ四肢の最初の存在を検出するステップと、場合によっては、検出が進行中であることをユーザに指示するためにユーザに進行フィードバックを提供しながら、所定の時間期間の間にユーザ四肢の存在を検出し続けるステップとを含む。たとえば、ユーザの第1のポーズが最初に検出されると、コンピュータシステムは、場合によっては、所定の時間期間の間、第1のポーズがしっかりと保持されるまで、進行フィードバック画像を表示するか、または知覚フィードバック用のいくつかの他の進行手段を使用することができる(ブロック1104)。一実施形態では、コンピュータシステムは、フィードバックをユーザに提供するために、図1で説明したディスプレイユニットを使用する。

ブロック1106では、ユーザ判定に対する応答が生成される。コンピュータシステムは、ユーザポーズを検出すると、ユーザ判定に確認応答するか、または図8に示すように、さらなるプロンプトおよびオプションをユーザに提示することができる。一実施形態では、コンピュータシステムは、ユーザ四肢が、少なくとも1つの指定された方向に動いたことの検出に応答することができる。一実施形態では、応答は、確認応答を受容するか、またはプロンプトを除去するほど単純である可能性がある。ユーザ四肢が少なくとも1つの指定された方向に動いたことの検出は、その方向と関連するアクションの指示を含むことができる。たとえば、図3では、コンピュータシステムは、「ロック解除」コマンドを確認するためのスワイプを期待する。図7では、コンピュータシステムは、ポーズを検出することに加えて、左または右のスワイプ動作を検出することを期待する。同様に、図8では、コンピュータシステムは、「cancel」または「OK」コマンドを確認する前に、左または右のスワイプ動作を検出することを期待する。

上記で論じた方法、システム、およびデバイスは、例である。様々な実施形態において、様々なプロシージャまたは構成要素を、適宜、省略し、置換し、または加えることができる。たとえば、代替構成では、説明する本方法は、説明する順序とは異なる順序で実行されてもよく、ならびに/または、様々なステージが加えられ、省略され、および/もしくは組み合わされてもよい。また、いくつかの実施形態に関して説明する特徴が、様々な他の実施形態と組み合わされてもよい。実施形態の様々な態様および要素を同様に組み合わせることができる。また、技術は進歩するので、要素の多くは本開示の範囲をそれらの具体例に限定しない例である。

実施形態の完全な理解を与えるために、説明に具体的な詳細が与えられる。しかしながら、実施形態は、これらの具体的な詳細がなくても実施され得る。たとえば、実施形態が不明瞭になることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、および技法は、不必要な詳細を記載せずに示されている。この説明は、例示的な実施形態のみを提供し、本発明の範囲、適用可能性、または構成を限定しようとするものではない。むしろ、これらの実施形態の上述の説明は、本発明の実施形態を実装することを可能にする説明を当業者に提供することになる。本発明の趣旨および範囲から逸脱することなく、要素の機能および構成に様々な変更を行うことができる。

また、いくつかの実施形態を、フロー図またはブロック図として示すプロセスとして説明した。各々は動作を逐次プロセスとして説明し得るが、動作の多くは並行してまたは同時に実行され得る。加えて、動作の順序は並び替えられ得る。プロセスは、図に含まれていない追加のステップを有することができる。さらに、本方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、関連するタスクを実行するプログラムコードまたはコードセグメントは、記憶媒体などのコンピュータ可読媒体に記憶され得る。プロセッサは関連するタスクを実行し得る。

図1は、本発明の実施形態の実行に使用されるデバイスの一部分を組み込む例示的なコンピュータシステムを示す。図1に示すコンピュータシステムは、上述のコンピュータ化デバイスの一部分として組み込まれ得る。たとえば、コンピュータシステム100は、テレビ、モバイルデバイス、サーバ、デスクトップ、ワークステーション、自動車の制御システムまたは対話システム、タブレット、ヘッドマウントディスプレイ(HMD)、ネットブック、または任意の他の適切なコンピューティングシステムの構成要素のうちのいくつかを表示することができる。いくつかの実施形態では、システム100は、ヘルスケアデバイスに含まれ、ヘルスケアデバイスに触ることなく、いくつかのメッセージまたはステータスを受容するか、またはそれらに確認応答する手段をヘルスケアの専門家に提供することができる。モバイルデバイスは、画像キャプチャデバイスまたは入力感知ユニットおよびユーザ出力デバイスを有する任意のコンピューティングデバイスである可能性がある。画像キャプチャデバイスまたは入力感知ユニットは、カメラデバイスである可能性がある。ユーザ出力デバイスは、ディスプレイユニットである可能性がある。モバイルデバイスの例には、限定はしないが、ビデオゲーム機、タブレット、スマートフォン、および任意の他のハンドヘルドデバイスがある。図1は、本明細書で説明したように、様々な他の実施形態によって提供される方法を実行することができる、および/またはホストコンピュータシステム、リモートキオスク/端末、販売時点情報管理デバイス、自動車の電話インターフェースもしくはナビゲーションインターフェースもしくはマルチメディアインターフェース、モバイルデバイス、セットトップボックス、テーブルコンピュータ、および/またはコンピュータシステムとして機能を果たすことができる、コンピュータシステム100の一実施形態の概略図を提供する。図1は、単に、様々な構成要素の一般化された図を提供することを意図されており、様々な構成要素の一部または全部は、適宜利用され得る。したがって、図1は、個別のシステム要素が、比較的分離方式でまたは比較的より一体方式で、どのように実装され得るかを広範囲に示している。

コンピュータシステム100は、バス102を介して電気的に結合され得る(または適宜、他の何らかの形で通信しているものとしてよい)ハードウェア要素を備えるように図示されている。ハードウェア要素には、1つもしくは複数の汎用プロセッサおよび/または1つもしくは複数の専用プロセッサ(デジタル信号処理チップ、グラフィックス高速化プロセッサなど)を限定なしに含む1つまたは複数のプロセッサ104と、1つまたは複数のカメラ、センサ、マウス、キーボード、超音波または他の音波などを検出するように構成されたマイクロフォンなどを限定なしに含み得る1つまたは複数の入力デバイス108と、本発明の実施形態に使用されるデバイスなどのディスプレイユニット、プリンタなどを限定なしに含み得る1つまたは複数の出力デバイス110とが含まれ得る。プロセッサ104またはシステム100の別の要素は、上述のように、ユーザへの表示またはプロンプトのいずれか、たとえばプロンプト220、要求224、および/または画像330を出力デバイス110に表示させることができる。いくつかの実施形態では、入力デバイス108、たとえば超音波周波数に敏感なマイクロフォンおよび/または慣性測定ユニットのうちの1つまたは複数は、ポーズもしくはジェスチャまたはユーザによって提供される他の入力を検出するために図2〜図11に関して上述した例では、カメラに加えてまたはカメラの代わりに使用され得る。追加のカメラ120は、ユーザの四肢およびジェスチャの検出のために使用され得る。いくつかの実装形態では、入力デバイス108は、赤外線センサおよび超音波センサなどの1つまたは複数のセンサを含むことができる。

コンピュータシステム100のいくつかの要素は、コンピュータシステム100の外部に取り付けられている可能性もあることを諒解されよう。たとえば、カメラ120は、(たとえば、ユニバーサルシリアルバス接続を介して)コンピュータシステム100の外部に接続され、コンピュータシステム100によって処理するための画像を捕捉することもできる。いくつかの実施形態では、この処理は、プロセッサ104または他の外部サブシステムによって行われ得る。

本発明の実施形態のいくつかの実装形態では、様々な入力デバイス108および出力デバイス110は、ディスプレイデバイス、テーブル、床、壁、およびウィンドウスクリーンなどのインターフェースに埋め込まれ得る。さらに、プロセッサに結合された入力デバイス108および出力デバイス110は、多次元追跡システムを形成することができる。

コンピュータシステム100は、1つまたは複数の非一時的記憶デバイス106をさらに含むこと(および/またはそれらと通信すること)ができ、非一時的記憶デバイス106は、限定することなく、ローカルおよび/もしくはネットワークアクセス可能な記憶装置を備えることができ、ならびに/または限定することなく、プログラム可能、フラッシュ更新可能などとすることができる、ディスクドライブ、ドライブアレイ、光記憶デバイス、ランダムアクセスメモリ(「RAM」)および/もしくはリードオンリメモリ(「ROM」)などのソリッドステート記憶デバイスを含み得る。このような記憶デバイスは、限定することなく、様々なファイルシステム、データベース構造体、および/または同様のものを含む、任意の適切なデータストレージを実装するように構成され得る。

コンピュータシステム100は、限定はしないが、モデム、ネットワークカード(ワイヤレスもしくは有線)、赤外線通信デバイス、ワイヤレス通信デバイス、および/もしくは(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備などの)チップセット、ならびに/または同様のものを含むことができる、通信サブシステム112を含むことも可能である。通信サブシステム112は、データが、ネットワーク、他のコンピュータシステム、および/または本明細書で説明する任意の他のデバイスと交換されることを可能にし得る。多くの実施形態では、コンピュータシステム100は、上記で説明したようにRAMデバイスまたはROMデバイスを含み得る非一時的ワーキングメモリ118をさらに含む。

コンピュータシステム100はまた、オペレーティングシステム114、デバイスドライバ、実行可能ライブラリ、および/または1つもしくは複数のアプリケーションプログラム116などの他のコードを含む、現在は作業メモリ118内に配置されたものとして示されている、ソフトウェア要素も含むことができ、他のコードは、様々な実施形態によって提供されるコンピュータプログラムを含むことができ、ならびに/または本明細書で説明されるように、他の実施形態によって提供される方法を実施するように、および/もしくはシステムを構成するように設計され得る。単に例としてであるが、上で説明されている方法に関して説明されている1つまたは複数の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実装することも可能であり、次いで、一態様において、そのようなコードおよび/または命令は、説明されている方法に従って1つまたは複数のオペレーションを実行するように汎用コンピュータ(または他のデバイス)を構成し、および/または適合させるために使用され得る。

これらの命令および/またはコードのセットは、上記で説明した記憶デバイス106などのコンピュータ可読記憶媒体に記憶され得る。場合によっては、記憶媒体は、コンピュータシステム100などのコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体が、命令/コードが記憶された汎用コンピュータをプログラム、構成、および/または適用するために使用され得るように、記憶媒体は、コンピュータシステムから分離され得(たとえば、コンパクトディスクなどの取外し可能媒体)、かつ/またはインストールパッケージ内に備えられ得る。これらの命令は、コンピュータシステム100によって実行可能な実行可能コードの形態をとることができ、ならびに/または(たとえば、様々な一般に入手可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティなどのいずれかを使用して)コンピュータシステム100上でのコンパイル時および/またはインストール時に実行可能コードの形態をとるソースコードおよび/もしくはインストール可能なコードの形態をとることができる。いくつかの実施形態では、命令の処理は、コンピュータシステム100のワーキングメモリ118内のアプリケーション116のレベルにおいて行われ得る。他の実施形態では、命令の処理は、プロセッサ104内で行われ得る。さらなる実施形態では、命令の処理は、コンピュータシステム100の専用ジェスチャ認識チップ(図示せず)またはアプリケーションプロセッサ内で行われ得る。いくつかの実施形態では、図2〜図11に関して説明した動作または機能は、オペレーティングシステム114に組み込まれるか、またはオペレーティングシステム114内に実装され、オペレーティングシステム114は、いくつかの実施形態では、ハイレベル動作システム(HLOS)を含むことができる。

大幅な変形が、特定の要件に従って作成され得る。たとえば、カスタマイズされたハードウェアもまた、使用されることがあり、および/または特定の要素が、ハードウェア、ソフトウェア(アプレットなどのポータブルソフトウェアを含む)、または両方で実装されることもある。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続が、使用され得る。いくつかの実施形態では、コンピュータシステム100の1つまたは複数の要素は、省略することができるか、または図示したシステムとは別個に実装することができる。たとえば、プロセッサ104および/または他の要素は、入力デバイス108とは別個に実装することができる。一実施形態では、プロセッサは、別個に実装される1つまたは複数のカメラから画像を受け取るように構成される。いくつかの実施形態では、図1に示した要素に加えた要素が、コンピュータシステム100に含まれ得る。

いくつかの実施形態は、本開示による方法を実行するために、コンピュータシステム(コンピュータシステム100など)を使用し得る。たとえば、説明する方法の一部または全部のプロシージャは、作業メモリ118に含まれた(オペレーティングシステム114および/またはアプリケーションプログラム116などの他のコードに組み込まれ得る)1つまたは複数の命令の1つまたは複数のシーケンスを実行するプロセッサ104に応答して、コンピュータシステム100によって実行され得る。そのような命令は、ストレージデバイス106のうちの1つまたは複数など、別のコンピュータ可読媒体から作業メモリ118内に読み込まれ得る。単に例として、作業メモリ118内に含まれる命令のシーケンスの実行では、プロセッサ104に、本明細書で説明する方法の1つまたは複数のプロシージャを実行させ得る。

本明細で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の方式で動作させるデータを与えることに関与する任意の媒体を指す。コンピュータシステム100を使用して実装される一実施形態では、様々なコンピュータ可読媒体が、実行のためにプロセッサ104に命令/コードを与えることに関与し、かつ/またはそのような命令/コード(たとえば、信号)を記憶および/または搬送するために使用されることがある。多くの実装形態では、コンピュータ可読媒体は、物理的および/または有形の記憶媒体である。そのような媒体は、限定はしないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形態を取り得る。不揮発性媒体は、たとえば、ストレージデバイス106などの光ディスクおよび/または磁気ディスクを含む。揮発性媒体は、限定はしないが、作業メモリ118などの動的メモリを含む。伝送媒体は、限定はしないが、バス102、ならびに通信サブシステム112(および/または通信サブシステム112が他のデバイスとの通信を提供する媒体)の様々な構成要素を備える線を含めて、同軸ケーブル、銅線、および光ファイバーを含む。したがって、伝送媒体はまた、(限定はしないが、無線波通信および赤外線データ通信中に生成されるような無線波、音波、および/または光波を含めて)波の形態を取り得る。

一般的な形態の物理的および/または有形コンピュータ可読媒体には、たとえば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気媒体、CD-ROM、任意の他の光媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理的媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはカートリッジ、後に説明するような搬送波、または、コンピュータが命令および/もしくはコードを読み出すことができる任意の他の媒体が含まれる。

様々な形態のコンピュータ可読媒体は、実行のためにプロセッサ104に1つまたは複数の命令の1つまたは複数のシーケンスを搬送することに関与し得る。単に例として、命令は、最初に、リモートコンピュータの磁気ディスクおよび/または光ディスク上で搬送され得る。リモートコンピュータは、命令をその動的メモリ内にロードし、コンピュータシステム100によって受信されかつ/または実行される伝送媒体上の信号として、命令を送信し得る。電磁信号、音響信号、光信号などの形態であり得るこれらの信号は、すべて、本発明の様々な実施形態による、命令が符号化され得る搬送波の例である。

通信サブシステム112(および/またはそれらの構成要素)は、一般に、信号を受信し、次いでバス102は作業メモリ118に信号(および/またはその信号によって搬送されるデータ、命令など)を搬送し、作業メモリ118から、プロセッサ104は命令を検索して実行する。作業メモリ118によって受信された命令は、場合によっては、プロセッサ104による実行の前または後のいずれかに、非一時的ストレージデバイス106に記憶され得る。

上記で論じた方法、システム、およびデバイスは、例である。様々な実施形態において、様々なプロシージャまたは構成要素を、適宜、省略し、置換し、または加えることができる。たとえば、代替構成では、説明する本方法は、説明する順序とは異なる順序で実行されてもよく、ならびに/または、様々なステージが加えられ、省略され、および/もしくは組み合わされてもよい。また、いくつかの実施形態に関して説明する特徴が、様々な他の実施形態と組み合わされてもよい。実施形態の様々な態様および要素を同様に組み合わせることができる。また、技術は進歩するので、要素の多くは本開示の範囲をそれらの具体例に限定しない例である。

実施形態の完全な理解を与えるために、説明に具体的な詳細が与えられる。しかしながら、実施形態は、これらの具体的な詳細がなくても実施され得る。たとえば、実施形態が不明瞭になることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、および技法は、不必要な詳細を記載せずに示されている。この説明は、例示的な実施形態のみを提供し、本発明の範囲、適用可能性、または構成を限定しようとするものではない。むしろ、これらの実施形態の上述の説明は、本発明の実施形態を実装することを可能にする説明を当業者に提供することになる。本発明の趣旨および範囲から逸脱することなく、要素の機能および構成に様々な変更を行うことができる。

また、いくつかの実施形態は、フロー図またはブロック図として図示されているプロセスとして説明する。各々は動作を逐次プロセスとして説明し得るが、動作の多くは並行してまたは同時に実行され得る。加えて、動作の順序は並び替えられ得る。プロセスは、図に含まれていない追加のステップを有することができる。さらに、本方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、関連するタスクを実行するプログラムコードまたはコードセグメントは、記憶媒体などのコンピュータ可読媒体に記憶され得る。プロセッサは関連するタスクを実行し得る。したがって、上記の説明では、コンピュータシステムによって実行されるものとして記述された機能または方法は、プロセッサ、たとえば、機能または方法を実行するように構成されたプロセッサ104によって実行され得る。さらに、そのような機能または方法は、1つまたは複数のコンピュータ可読媒体に記憶されたプロセッサ実行命令によって実行され得る。

上記にいくつかの実施形態について説明してきたが、様々な変更、代替構造、および均等物は、本開示の趣旨から逸脱することなく使用され得る。たとえば、上記の要素は、単により大きいシステムの構成要素であり得、他のルールは、本発明の適用よりも優先するか、そうでなければ本発明の適用を変更することができる。また、上記の要素が考慮される前、間、または後に、いくつかのステップを行うことができる。したがって、上記の説明は、本開示の範囲を制限しない。

様々な例が説明されてきた。これらの例および他の例は、以下の特許請求の範囲内にある。

100 コンピュータシステム
102 バス
104 プロセッサ
106 記憶デバイス
108 入力デバイス
110 出力デバイス
112 通信サブシステム
114 オペレーティングシステム
116 アプリケーション
118 ワーキングメモリ
120 カメラ
200 モバイルデバイス
220 プロンプト
224 ポーズ要求
226 左手ユーザポーズ
228 右手ユーザポーズ
330 進行フィードバック画像

Claims (12)

1. デバイスについてのポーズ検出の方法であって、
   ポーズ要求を示す第1の画像をユーザに提示するステップと、
   前記第1の画像に応答したユーザポーズの最初の存在を検出するステップと、
   前記ユーザポーズを検出し続けながら、所定の検出状態を達成するまでの進行度を前記ユーザに指示するステップであって、前記進行度を前記ユーザに指示することは、前記第1の画像上に第2の画像をオーバーレイすることを含む、ステップと、
   前記ユーザに進行度を指示した後、前記所定の検出状態を達成したと判定するステップと、
   前記所定の検出状態を達成したと判定するステップに基づいて前記ユーザポーズに応答するステップと
   を含む、方法。
2. 前記判定するステップは、複数の画像を取得および分析するステップを含む、請求項1に記載の方法。
3. 前記応答するステップは、確認応答を受容するステップを含む、請求項1に記載の方法。
4. 前記検出するステップは、前記ユーザの手のポーズを検出するステップを含む、請求項1に記載の方法。
5. 前記所定の検出状態は、所定の時間期間の間に検出されてきた前記ユーザポーズを含む、請求項1に記載の方法。
6. 前記所定の検出状態は、特定の信頼レベルに達する前記ユーザポーズの検出を含む、請求項1に記載の方法。
7. 前記指示するステップは、前記進行度を指示する複数の領域を含む円形指示バーを表示するステップを含む、請求項1に記載の方法。
8. 前記指示するステップは、前記ユーザポーズのアニメーション化された画像を表示するステップであって、前記ユーザポーズの前記表示された画像の一部分が前記進行度を指示するために選択的にアニメーション化される、ステップを含む、請求項1に記載の方法。
9. 前記指示するステップは、前記所定の検出状態を達成するまでのパーセンテージを表示するステップを含む、請求項1に記載の方法。
10. 前記指示するステップは、前記所定の検出状態を達成したと判定されるまで、または前記ユーザポーズがもはや検出されなくなるまで、前記進行度の連続的指示を前記ユーザに提供するステップを含む、請求項1に記載の方法。
11. ポーズ検出の装置であって、
    ポーズ要求を示す第1の画像をユーザに提示するための手段と、
    前記第1の画像に応答したユーザポーズの最初の存在を検出するための手段と、
    前記ユーザポーズを検出し続けながら、所定の検出状態を達成するまでの進行度を前記ユーザに指示するための手段であって、前記進行度を前記ユーザに指示することは、前記第1の画像上に第2の画像をオーバーレイすることを含む、手段と、
    進行度が前記ユーザに指示された後、前記所定の検出状態を達成したと判定するための手段と、
    前記所定の検出状態を達成したと判定するステップに基づいて前記ユーザポーズに応答するための手段と
    を含む、装置。
12. プロセッサに、請求項1乃至10のいずれか1項に記載の方法を実行させるように構成されたプロセッサ可読命令を含む、非一時的プロセッサ可読記録媒体。

Images