JP6072237B2 - ジェスチャー入力のための指先の場所特定 - Google Patents

Description

コンピューティングデバイスが、処理能力および機能性をますます増加させるにつれて、ユーザは、ますます多様化する方法で入力することが可能になる。例えば、ユーザは、コンピューティングデバイスから離れて運動またはジェスチャーを行うことによってコンピューティングデバイスを制御することが可能であり得、この場合そのジェスチャーは、ユーザの手または指を使用して行われる。あるデバイスについて、ジェスチャーは、ユーザを見ることが可能であるカメラを使用して決定され、デバイスが、そのユーザによって行われた運動を決定することを可能にする。しかしながら、いくつかの場合において、ユーザの少なくとも一部分がカメラの視野の範囲内になくなり、これはデバイスが、行われている運動またはジェスチャーを成功裏に決定することを妨げる可能性がある。運動またはジェスチャーを行っているユーザの一部分が視野の範囲内にあるときであっても、どの入力をユーザが提供しようかを正確に決定することが困難な可能性があり、よって、検出可能なジェスチャーが有効性を低減させる単純で大まかなものに限定される。

以下、本開示に従う種々の実施態様を、図面を参照して説明する。
種々の実施形態の態様を実装することができ、同様に、そのような態様のいくつかを実装しながら取り込むことができるように撮像することができる、例示的な環境を示す図である。 種々の実施形態の態様を実装することができ、同様に、そのような態様のいくつかを実装しながら取り込むことができるように撮像することができる、例示的な環境を示す図である。 種々の実施形態の態様を実装することができ、同様に、そのような態様のいくつかを実装しながら取り込むことができるように撮像することができる、例示的な環境を示す図である。 ユーザの指先の一部分がデバイスカメラのデッドゾーンの範囲内に入っているが、種々の実施形態に従って処理することができる、例示的な環境を示す図である。 種々の実施形態に従って、コンピューティングデバイス上の入力場所を決定するために、決定された指先の位置を使用することができる、例示的な図である。 種々の実施形態に従って使用することができる、コンピューティングデバイス上の入力場所を決定するための例示的な過程を示す図である。 種々の実施形態に従って、ユーザの指の配向に少なくとも部分的に基づいて決定することができる、例示的な入力を示す図である。 種々の実施形態に従って、ユーザの指の配向に少なくとも部分的に基づいて決定することができる、例示的な入力を示す図である。 種々の実施形態に従って、ユーザの指の配向に少なくとも部分的に基づいて決定することができる、例示的な入力を示す図である。 種々の実施形態に従って使用することができるコンピューティングデバイスへの入力を決定するための例示的な過程を示す図である。 種々の実施形態の態様を実装するために使用することができる、例示的なデバイスを示す図である。 図７で例示されるようなクライアントデバイスの例示的な構成要素を示す図である。 種々の実施形態を実装することができる環境を示す図である。

本開示の種々の実施形態に従うシステムおよび方法は、電子デバイスへの入力を決定するための従来の手法における、上で参照したおよび他の欠陥の１つ以上を克服する。具体的には、種々の実施形態は、指先または他のそのような物体を使用して、運動、ジェスチャー、またはホバーに基づく入力を提供することを可能にする。少なくともいくつかの実施形態では、１つ以上のカメラが、ユーザの指先の相対位置を決定するために分析することができる、画像情報を取り込むことができる。指先がカメラ（複数可）の視野から外れた場合、デバイスは、指先の位置を決定するために、デバイス上の別のセンサを使用しようとすることができる。センサが指先を正確に検出できない場合、またはどのそのような指先も利用できない場合、デバイスは、代替的に（または加えて）、ユーザの手のサイズ、ユーザの指の長さ、および他のそのような情報等の、ユーザに関して知られている情報を使用して、指先の位置を推定しようとすることができる。デバイスはまた、指先が視野の外に出る前に取得した、任意の情報も使用することができる。指先の場所が特定されると、デバイスへの適切な入力を決定することができる。少なくともいくつかの実施形態において、この決定は、指が指し示している方向、または指の軌跡もしくは「ポインティング」ベクトルを決定すること、およびその方向、ポインティングベクトル、もしくは軌跡がデバイスと交差する場所を決定することを含む。決定されると、ユーザは、交差点またはその近くで、物体または他の要素によって入力を提供することができる。

種々の他の機能および利点は、種々の実施形態に従って提供され得るように、下で説明され、提案される。

図１（ａ）は、種々の実施形態の態様を実装することができる、例示的な環境１００を示す。本実施例において、ユーザ１０２は、ユーザの指１０６を使用して、ジェスチャー入力をコンピューティングデバイス１０４に提供しようとしている。ポータブルコンピューティングデバイス（例えば、電子ブックリーダー、スマートフォン、またはタブレットコンピュータ）が示されているが、本明細書で説明される種々の実施形態に従って入力を受け取り、決定し、および／または処理することができる任意の電子デバイスを使用できることを理解すべきであり、該デバイスとしては、例えば、数ある中でも、デスクトップコンピュータ、ノートパソコン、携帯情報端末、ビデオゲーミングコンソール、テレビジョンセットトップボックス、スマートテレビジョン、およびポータブルメディアプレーヤーが挙げられる。

本実施例において、コンピューティングデバイス１０４は、ユーザの指１０６のビューを含む画像情報を取り込むように構成される、１対のカメラ１０８、１１０または他のジェスチャーセンサを含み、該画像情報は、コンピューティングデバイス１０４に対する指の相対的な場所を決定するために、コンピューティングデバイス上で実行するアプリケーションによって解析することができる。画像情報は、数ある他のそのようなオプションの中でも、周辺光または赤外線光を使用して取り込まれる静止画像またはビデオ情報とすることができる。さらに、種々の実施形態の範囲内でも、同じまたは異なるタイプのより少ないまたは追加的なカメラも同様に使用することができる。アプリケーションは、運動および／またはジェスチャーのデバイスへの入力を可能にするために、取り込まれた画像情報を解析することによって、指の位置を決定することができ、また、経時的に指の位置を追跡することができる。例えば、ユーザは、指を上下に移動させてボリュームを調整することができる、平面の中で指を移動させて仮想カーソルを制御することができる、等である。

図１（ｂ）は、コンピューティングデバイス１０４のカメラ１１０の１つによって取り込むことができる、例示的な画像１２０を示す。この例示的な画像では、ユーザの手をはっきりと見ることができる。コンピューティングデバイス上で（またはコンピューティングデバイスと少なくとも通信して）実行するアプリケーションは、ユーザの指の概略的配向ならびに指が概して指し示している方向を決定するために使用することができる指先の位置１２２および指の基準場所１２４等の、手の１つ以上の特徴の場所を特定するために、画像を解析することができる。

しかしながら、各カメラは、概して、限定された視野を有するので、カメラ情報に依存することは、ある欠点を有する可能性がある。魚眼レンズであっても、限定された視野を有するか、または少なくとも、視野の縁部の近くでは若干歪んだ画像を提供する。故に、概して、コンピューティングデバイスの周囲には、物体がいずれかのカメラの視野から外れる場合があり得る、１つ以上のデッドゾーンがある。例えば、図１（ｃ）の画像１４０は、手がデバイスの中央に向かって移動したときの、同じカメラ１１０からのビューを示す。示されるように、指先１４２は、視野の外に移動しており、したがって、画像に含まれない。指先が別のカメラの視野に進入しない限り、デバイスは、その場所のいずれかのカメラから取り込まれる画像の中で指先を見ることができない。

本実施例において、コンピューティングデバイスは、依然として手の一部分を見ることができ、パターン認識、画像認識、物体認識、または別のそのような過程を使用して、指の基準場所１２４等の、画像１４０の中のユーザの手の一部分を依然として潜在的に識別することができる。少なくともいくつかの実施形態において、デバイスは、統計解析を使用して、または別様にはユーザの手の可視部分を使用して、ユーザの指先の位置を推定しようとすることができる。例えば、デバイスが最近通過した点でユーザの指先を見ることができ、及び、基準点１２４に対する指先の相対的な距離および方向を決定することができた場合、デバイスは、指先点１４４が類似する相対的な場所にある可能性があると推定するために、外挿過程を使用することができる。デバイスは、指先と基準点との間の相対距離および配向の変化を追跡することができ、また、それらの点の少なくとも１つがデバイスの少なくとも１つのカメラの視認可能領域から外れたときに、それらを使用して場所を推定することができる。

別の実施形態において、コンピューティングデバイスは、ユーザの手のモデルを記憶し得るか、または別様にはそれへのアクセスを有し得る。画像情報から、手のサイズ、形状、および関連する構成等の情報を使用することで、デバイスは、モデルを使用して指先の場所を推定することができる。モデルおよび基準点１２４に少なくとも部分的に基づいて、ユーザの指および手の物理的限度は、指先の位置が、決定可能な場所の範囲に限定されることを意味する。指の可視部分および手の配向等の情報を使用することで、デバイスはさらに、潜在的な領域を限定することができ、妥当な度合いの確実性または変動で場所を決定することができる場合は、その点を指先の場所１４４として使用することができる。種々の実施形態の範囲内で、そのような他の推定手法も同様に使用することができる。

少なくともいくつかの実施形態において、コンピューティングデバイスは、種々の実施形態に従って指先の場所特定を支援することができる、１つ以上の他のタイプのセンサまたは構成要素を含み得る。例えば、図２は、例示的な構成２００を説明し、該構成において、コンピューティングデバイスは、デバイスの表示画面または他のそのような要素と同じ側の１対のカメラ２０４を使用して、指先の位置の場所を特定し、および／または追跡することができる。論じられるように、指先がカメラ２０４のうちの少なくとも１つの視野内にあれば、カメラは、指先に関する立体情報を取り込み、場所を決定することができる。カメラの間、および各カメラの視野の外側は、「デッドゾーン」２０８であり、そこでは、カメラによって指先または任意の他の物体を撮像することができない。しかしながら、この例示的なデバイス２０２において、デバイスは、電磁界（ＥＭＦ）センサ２１０（例えば、ＥＭＦ測定器またはＥＭＦプローブ）を含み、該電磁界センサは、周辺のおよび／または発生させたＥＭＦを妨げる物体の存在を検出するように位置付けられ、構成される。ＥＭＦセンサは、ブロードバンド測定、周波数選択測定、または任意の他のそのようなＥＭＦに基づく手法を使用してＥＭＦの変化を測定するように動作可能な、任意の適切なセンサ、プローブ、測定器、または他のそのような要素とすることができる。

本実施例において、ＥＭＦの範囲は、デッドゾーン２０８の少なくとも大部分を覆って広がり、また少なくともいくつかの実施形態では、より正確で連続的な決定を提供するために、部分的にデッドゾーンを超えて広がり得る。ユーザの指先がデッドゾーンに向かって移動すると、ＥＭＦセンサは、電磁界の変化を検出することができ、該変化を使用して、指先の最も近い点の相対位置２１２を３次元で推定することができる。電磁界の変化に基づいて物体の場所を特定するための手法は、当技術分野で知られているものであり、よって、本明細書では詳細に論じられない。

ユーザの手の少なくとも一部分は、依然としてカメラ２０４で見ることができるので、デバイスは、ユーザの人差し指の基準点２０６を決定するために、画像情報を解析することができる。この情報を、ＥＭＦを使用して決定される指先の場所２１２と組み合わせることによって、デバイスは、依然として、少なくともそれら２つの点を使用して、指のおよその角度、配向、および／または軌跡を決定することができる。例えば、多指入力に対して、複数の指先の場所が追跡される場合、指先がデッドゾーンまたは他のそのような場所にあるときに、それらの指先の場所を特定するために、類似する手法を使用することができる。

種々の実施形態の範囲内で、他の技術も同様に使用することができる。例えば、種々の実施形態の範囲内で、容量センサも同様に使用することができる。容量センサは、表面の２〜３ミリメートルの範囲内の物体を検出することだけしかできない場合があるので、ＥＭＦセンサの範囲を有しない場合があるが、少なくともいくつかの実施形態では、潜在的に、より正確であり得る。容量センサはまた、指先または他のそのような物体に関する最も近い点の情報を３次元で提供することもできる。種々の実施形態の範囲内で、超音波手法、または他のそのような距離もしくは場所を決定する手法も同様に使用することができる。

論じられたように、ＥＭＦ、容量、またはその他の分野に基づく手法は、デバイスおよび／またはセンサに対する物体の最も近い点に関連する情報を提供することができる。しかしながら、多くの場合において、この最も近い点は、指等の物体の実際の先端部からある量オフセットされ、そのオフセットは、デバイスの表面に対して垂直または直角からの角度とともに増加し得る。小型のディスプレイおよび／または要素を有する、スマートフォン等のデバイスの場合、このオフセットは、デバイスによる間違った要素の選択を行わせるのに十分であり得る。

いくつかの実施形態において、デバイス上で実行するアプリケーションは、検出された位置および基準点、または他のそのようなデータ点から実際の指先の位置を推定するために、物体（例えば、指）に関する情報を使用することができる。例えば、デバイスは、一般的な情報またはユーザに固有の情報のいずれかを使用して、ユーザの指の一般的なサイズおよび／または形状を知ることができる。基準点および最も近い決定された点の場所等の情報を知ることで、デバイスは、指先の点が存在しそうな場所を決定するために、指モデルを使用することができる。

いくつかの実施形態において、デバイスは、機械学習を通して相対的指先位置を学習することができる。例えば、デバイスが指先の位置を推定し、それを使用して入力を決定し、次いで、ユーザがそのアクションの調整またはキャンセルを行い、そして僅かに異なる場所に対するアクションを行おうとした場合、デバイスは、異なる角度に対するオフセットに関する情報を学習し、将来の決定のためにその情報を記憶することができる。

いくつかの実施形態において、デバイスは、代わりに、指がデッドゾーンに向かって移動するときに指先の点を追跡し、指先が基準点に対する類似する軌跡を追うであろうとみなすことができ、これは指先の推定を補助することができる。種々の実施形態の範囲内で、種々の他の推定または調整過程も同様に使用することができる。

指先の点、ならびに基準点または参照点を正確に決定することができることは、ユーザが運動またはジェスチャーを通して提供しようとしている入力を正確に決定することを補助することができる。まさに指先の点の相対的な場所が指先の下側にあるものを選択するいくつかの実施形態では、その点の正確な決定が必要である。ユーザが指し示している場所を決定するために指先を使用する例では、適切な指示方向を決定するために、正確な決定が必要であり得る。例えば、図３において、指先および基準点は、カメラおよびＥＭＦセンサ情報の組み合わせを使用して決定されている。取得すると、デバイスは、コンピューティングデバイス３０２に向かってそれらの点を通り抜ける仮想ベクトル３０４を決定することができる。デバイスは、そのベクトルがデバイスと交差する場所を決定することができ、また、ユーザが提供しようとしている入力のタイプを決定するために、その点３０６を使用することができる。例えば、点３０６が表示画面上の点に対応する場合、デバイスは、その点に表示される要素または物体を決定することができ、また、決定に応じて、その物体の選択、ハイライト、または別様には調整を行わせることができる。同様に、点３０６がデバイスのボタン、コントロール、キー、または他のそのような要素に対応する場合、デバイスは同様に、適切な入力を決定するためにその情報を利用することもできる。

図４は、種々の実施形態に従って利用することができる、ユーザの指に基づいて入力を決定するための例示的な過程４００を示す。別途指示がない限り、種々の実施形態の範囲内で、類似する、または代替の順序で行われる追加的な、より少ない、または代替のステップがあり得ることを理解されたい。さらに、本実施例では指が使用されているが、種々の実施形態の範囲内で、種々の他のタイプの物体または特徴も同様に使用することができる。本実施例では、４０２で、コンピューティングデバイスの１つ以上のカメラを使用して画像情報が取り込まれる。画像情報は、ビデオ、ステレオ、または１つ以上の静止画像を含むことができる。４０４で、指先が、取り込まれた画像情報の中に見えるかどうかを判定するために、画像情報を解析することができる。見える場合は、４０６で、指先の位置を画像情報から決定することができ、そして４０８で、適切な入力を決定し、受け付けることができる。

指先が画像情報の中に見えない場合は、４１０で、デバイスのセンサが指先または指先と関連する物体の一部分を検出できるかどうかに関して決定を行うことができる。検出できる場合、４１４で、指先の位置を決定するためにセンサデータを解析し、使用することができ、そして、適切な入力を受け付けることができる。少なくとも１つのセンサによって指先を検出できない場合は、４１２で、デバイスに対する指先の場所を推定しようとするために、取り込まれた画像情報の中に見える手および／または指の一部分を解析することができる。論じられたように、推定は、ユーザの指または手のモデルを使用すること、指先がデッドゾーンに進入する前に取り込まれる画像情報、または他のそのような情報を含むことができる。

上で述ベられるように、指先の点は、例えば、単にデバイスの面に平行な面の中のその位置に基づいて使用され得るのではなく、ユーザが実際に指し示している場所を決定しようとするために、指および／またはユーザの手の残部に関する情報とともに使用され得る。過程は、図３に関して論じられ、該過程では、ユーザの指の指示方向に対応する軌跡またはベクトルを決定することができる。図５（ａ）および５（ｂ）は、ある要素を選択するために、および／またはコンピューティングデバイスへのある入力を提供するために、ベクトルまたは方向をどのように使用できるのか、の実施例を示す。そのような過程は、ユーザが、ジェスチャーまたは運動を使用してデバイスと対話することを可能にすることができ、またはユーザが、オプションもしくは要素が親指もしくは指の到達範囲を超えたときに、その親指もしくは指を使用してオプションもしくは要素を選択することを可能にすることができる。

図５（ａ）のビュー５００において、ユーザは、ディスプレイ上の特定のアイコン５０２に向かう方向を指し示している。本実施例において、指先は、ディスプレイの面に平行な方向でアイコンに最も近く、よって、指先の位置に基づく決定も同様にそのアイコンを選択する。本実施例において、デバイスは、ユーザがそのアイコン５０２を示していると決定することができ、また、ユーザがそのアイコンを選択しているとデバイスが決定した境界ボックス５０４または他のインジケータをレンダリングすることができる。次いで、ユーザは、指によるタッピング運動を行うこと、デバイスを握ること、ボタンを押すこと、音声もしくはジェスチャーコマンドを発行すること等によって、そのアイコンを選択または起動するために、選択アクションを行うか、または他のそのような入力を提供することができる。いくつかの実施形態において、ユーザは、「ドエル」期間と称される最短期間にわたってそのアイコンを指で指し示すことができ、アイコンの選択を行わせることができる。次いで、任意の適切な行動を行うことができる。例えば、アイコンがアプリケーションに対応する場合、ユーザは、アイコンを指し示し、次いで、選択アクションを行うことによって、そのアプリケーションを起動することができ、ユーザがアプリケーションを開くことを望んでいることをデバイスに示すことができる。本明細書に含まれる教示および提案に照らして当業者に明らかであるように、他のアクションも同様に行うことができる。

図５（ｂ）は、ユーザの指先がデバイスに対してほぼ同じ場所にあるが、指の角度が異なる、類似する状況を示す。故に、指の方向について決定されるベクトルは、異なるアイコン５２２でデバイスと交差する。したがって、指先の点に基づくインターフェースが双方の状況について同じアイコンを選択し得る場合であっても、指が指し示している方向を決定することは、コンピューティングデバイス上の要素を選択するためのより自然な制御をユーザに提供することができる。

いくつかの実施形態において、ユーザはまた、選択の態様を制御するために、指先の方向を使用し得る。例えば、ユーザは、図５（ａ）のように指を使用して第１のアイコン５０２を指し示すことができるが、次いで、少なくとも１つの追加的なアイコン５２２の方を指し示すために、図５（ｃ）で示されるように、指を片側へ回転させることができる。見てわかるように、これは、表示される境界ボックス５２４によって示されるように、指先の位置を使用してユーザが複数のアイコンまたは要素を選択することを可能にするが、種々の実施形態の範囲内で、他のグラフィカルな表示も同様に使用することができる。

図６は、種々の実施形態に従って、ユーザが指または他のそのような物体の方向を通して入力を提供することを可能にするための例示的な過程を示す。本実施例において、６０２で、ユーザの指先、および指または手の少なくとも１つの参照点の場所が特定される。論じられたように、これは、本明細書の他の場所で論じられるように、画像データ、センサデータ、または他の情報を使用して行うことができる。それらの点に少なくとも部分的に基づいて、６０４で、ユーザの指の現在の配向（例えば、ユーザの指がどこを指し示しているかという予測）に対応するベクトルを決定することができ、そして６０６で、そのベクトルとデバイスとの交差を決定することができる。６０８で、その場所に対応する要素を決定することができ、そして６１０で、その点で、ユーザがその要素に対する入力を提供することを可能にする。論じられたように、これは、選択された要素に提供するか、または該要素とともに使用することができる選択アクションまたは他の入力を提供することを含むことができる。種々の実施形態の範囲内で、種々のその他手法も同様に使用することができる。

いくつかの実施形態では、決まった数の要素を選択可能にすることによって、指、親指、または他のそのような物体を使用して入力を提供する際に、ユーザを支援することができる。ユーザが物体を移動させると、カーソル、境界ボックス、または他のインジケータを、次のオブジェクトまで移動させる、または「スナップ」することができ、これは、特に小さいフォームファクタを有する、またはユーザから離れているデバイスについて、ユーザが意図するオブジェクトを選択するのを補助することができる。

図７は、種々の実施形態に従って使用することができる例示的な電子ユーザデバイス７００を示すポータブルコンピューティングデバイス（例えば、電子ブックリーダーまたはタブレットコンピュータ）が示されているが、本明細書で説明される種々の実施形態に従って入力を受け取り、決定し、および／または処理することができる任意の電子デバイスを、使用できることを理解すべきであり、該デバイスとしては、例えば、デスクトップコンピュータ、ノートパソコン、携帯情報端末、スマートフォン、ビデオゲーミングコンソール、テレビジョンセットトップボックス、およびポータブルメディアプレーヤーが挙げられる。本実施例において、コンピューティングデバイス７００は、表側に表示画面７０２を有し、該表示画面は、通常動作の下で、表示画面（例えば、コンピューティングデバイスの表示画面と同じ側）に面するユーザに情報を表示する。本実施例のコンピューティングデバイスは、少なくとも１つのカメラの少なくとも１つの視野を通じて静止またはビデオ画像情報を取り込むための、少なくとも１つのカメラ７０４または他の撮像要素を含む。いくつかの実施形態において、コンピューティングデバイスは、撮像要素を１つだけ含み得、また他の実施形態において、コンピューティングデバイスは、複数の撮像要素を含み得る。各画像取り込み要素は、例えば、数多くの他の可能性の中で、カメラ、電荷結合素子（ＣＣＤ）、運動検出センサ、または赤外線センサであり得る。複数の画像取り込み要素がコンピューティングデバイス上にある場合、画像取り込み要素は異なるタイプのものであり得る。いくつかの実施形態において、少なくとも１つの撮像要素は、カメラが、１８０度以上等の、広範囲の角度にわたって画像を取り込むことを可能にする、魚眼レンズ等の、少なくとも１つの広角光学素子を含むことができる。さらに、各画像取り込み要素は、後続のフレームを高速に連続して取り込むように構成されるデジタルスチルカメラ、またはストリーミングビデオを取り込むことができるビデオカメラを備えることができる。

例示的なコンピューティングデバイス７００はまた、デバイスのユーザによって話される言葉またはコマンド、デバイスの近くで演奏する音楽等の音声データを取り込むことができる、少なくとも１つのマイクロホン７０６または他の音声取り込みデバイスも含む。本実施例において、マイクロホン７０６は、デバイスの表示画面７０２と同じ側に配置され、よって、マイクロホンは、一般的に、デバイスのユーザによって話される言葉をより良好に取り込むことができる。少なくともいくつかの実施形態において、マイクロホンは、指向性マイクロホンとすることができ、該マイクロホンは、マイクロホンの正面から実質的に直接音情報を取り込み、他の方向から限られた量の音だけを取り出す。マイクロホンは、異なる実施形態において、デバイスの任意の領域、面、または縁部の任意の適切な表面に配置され得ること、ならびに音声の録音およびフィルタリングの目的等に対して複数のマイクロホンを使用できることを理解されたい。

例示的なコンピューティングデバイス７００はまた、位置および／または移動決定要素等の、少なくとも１つの配向センサ７０８も含む。そのようなセンサは、例えば、コンピューティングデバイスの配向および／または配向の変化、ならびにデバイスの少しの移動を検出するように動作可能な、加速度計またはジャイロスコープを含むことができる。配向センサはまた、電子またはデジタルコンパスも含むことができ、それらは、デバイスが（例えば、主軸または他のそのような態様に対して）デバイスが指し示していると決定される方向（例えば、北または南）を示すことができる。配向センサはまた、コンピューティングデバイスの位置の相対座標、ならびにデバイスの比較的大きい移動に関する情報を決定するように動作することができる、全地球測位システム（ＧＰＳ）または類似の測位要素も含む、または備えることができる。種々の実施形態は、１つ以上のそのような要素を任意の適切な組み合わせで含むことができる。理解されるように、相対的な位置、配向、および／または移動を決定するために使用されるアルゴリズムまたは機構は、デバイスに利用可能な要素の選択に少なくとも部分的に依存することができる。いくつかの実施形態において、デバイスは、これらのセンサの１つを使用してデバイスの移動が検出されたときに、画像情報の解析を開始することができる。他の実施形態において、ユーザは、デバイスを傾斜させる、デバイスを揺らす、または別のそのような運動もしくはアクションを行うことによって、デバイスへの入力を提供することができる。

図８は、図７に関して説明されるデバイス７００等の、例示的なコンピューティングデバイス８００の１組の汎用構成要素の論理的配設を示す。本実施例において、デバイスは、メモリデバイスまたは要素８０４に記憶することができる命令を実行するための、プロセッサ８０２を含む。当業者には明らかなように、デバイスは、プロセッサ８０２によって実行するためのプログラム命令のための第１のデータ記憶部、画像またはデータのための別個の記憶部、情報を他のデバイスと共有するためのリムーバブルメモリ等の、数多くのタイプのメモリ、データ記憶部、または非一時的なコンピュータ読み出し可能な記憶媒体を含むことができる。デバイスは、一般的に、タッチ画面または液晶ディスプレイ（ＬＣＤ）等の、いくつかのタイプの表示要素８０６を含むが、ポータブルメディアプレーヤー等のデバイスは、音声スピーカーを通す等の、他の手段を介して情報を伝達し得る。論じられたように、数多くの実施形態におけるデバイスは、デバイスの近傍の投影画像または他の物体を撮像することができる、カメラまたは赤外線センサ等の少なくとも１つの媒体取り込み要素８０８、またはデバイスの近くの音を取り込むことができる音声取り込み要素を含む。コンピューティングデバイスによってカメラ素子を使用して画像またはビデオを取り込むための方法は、当技術分野でよく知られており、本明細書では詳細に論じない。画像取り込みは、単一の画像、多数の画像、定期的な撮像、連続画像取り込み、画像ストリーミング等を使用して行うことができることを理解されたい。さらに、デバイスは、ユーザ、アプリケーション、または他のデバイスから命令を受け取ったとき等に、画像取り込みを開始および／または停止する能力を含むことができる。例示的なデバイスは、少なくとも１つの主方向から音声情報を取り込むように動作可能な、少なくとも１つのモノもしくはステレオマイクロホン、またはマイクロホンアレイを含むことができる。マイクロホンは、そのようなデバイスについて知られているような、単一指向性または全指向性マイクロホンとすることができる。

いくつかの実施形態において、図８のコンピューティングデバイス８００は、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＲＦ、有線または無線通信システム等の、１つ以上の通信構成要素８１０を含むことができる。多くの実施形態におけるデバイスは、インターネット等のネットワークと通信することができ、他のそのようなデバイスと通信することができ得る。いくつかの実施形態において、デバイスは、ユーザから従来の入力を受け取ることができる、少なくとも１つの追加的な入力要素８１２を含むことができる。この従来の入力としては、例えば、押しボタン、タッチパッド、タッチ画面、ホイール、ジョイスティック、キーボード、マウス、キーパッド、またはユーザがそれによってデバイスへのコマンドを入力することができる任意の他のそのようなデバイスもしくは要素が挙げられる。しかしながら、いくつかの実施形態において、そのようなデバイスは、いかなるボタンも含まない場合があり、また、視覚および音声命令の組み合わせを通してだけ制御され得、よって、ユーザは、デバイスと接触することを必要とせずに、デバイスを制御することができる。

デバイスはまた、少なくとも１つの配向または行動センサも含むことができる。論じられたように、そのようなセンサは、配向および／または配向の変化を検出するように動作可能な、加速度計もしくはジャイロスコープ、または電子もしくはデジタルコンパスを含むことができ、それらは、デバイスに面していると決定される方向を示すことができる。機構（複数可）はまた（または代替的に）、コンピューティングデバイスの位置の相対座標、ならびにデバイスの比較的大きい移動に関する情報を決定するように動作することができる、全地球測位システム（ＧＰＳ）または類似の測位要素も含む、または備えることができる。デバイスはまた、三角測量または別のそのような手法を通した場所の決定を可能にし得る等の、他の要素も含むことができる。これらの機構は、プロセッサと通信することができ、それによって、デバイスは、本明細書で説明または提案されるいくつかのアクションのいずれかを行うことができる。

論じられたように、説明される実施形態に従って、異なる手法を種々の環境で実装することができる。例えば、図９は、種々の実施形態に従って態様を実装するための、環境９００の実施例を図示す。認識されるように、説明の目的でウェブに基づく環境が使用されるが、種々の実施形態を実装するために、必要に応じて、異なる環境が使用され得る。システムは、電子クライアントデバイス９０２を含み、該デバイスとしては、適切なネットワーク９０４を通じて要求、メッセージ、または情報を送信および受信し、情報をデバイスのユーザに搬送するように操作可能な、任意の適切なデバイスが挙げられる。そのようなクライアントデバイスの例としては、パーソナルコンピュータ、携帯電話、ハンドヘルドメッセージングデバイス、ラップトップコンピュータ、セットトップボックス、携帯情報端末、電子ブックリーダー等が挙げられる。ネットワークとしては、イントラネット、インターネット、セルラーネットワーク、ローカルエリアネットワーク、もしくは任意の他のそのようなネットワーク、またはそれらの組み合わせを含む、任意の適切なネットワークが挙げられる。そのようなシステムに使用される構成要素は、選択されたネットワークおよび／または選択環境のタイプに少なくとも部分的に依存し得る。そのようなネットワークを介して通信するためのプロトコルおよび構成要素はよく知られており、本明細書では詳細に論じない。ネットワークを通じた通信は、有線接続または無線接続、およびそれらの組み合わせを介して可能にすることができる。本実施例では、当業者には明らかなように、要求を受け取り、それに応じてコンテンツを提供するためのウェブサーバ９０６を環境が含むので、このネットワークは、インターネットを含むが、他のネットワークの場合、類似の目的を提供する代替のデバイスを使用することができる。

実例となる環境は、少なくとも１つのアプリケーションサーバ９０８と、データストア９１０とを含む。連鎖され得るまたは別様には構成され得る、適切なデータストアからデータを取得する等の作業を行うように相互作用することができる、いくつかのアプリケーションサーバ、層もしくは他の要素、過程、または構成要素があり得ることを理解されたい。本明細書で使用される「データストア」という用語は、データを記憶し、それにアクセスし、それを取り出すことができる任意のデバイスまたはデバイスの組み合わせを指し、任意の数のデータサーバ、データベース、データ記憶デバイス、データ記憶媒体、およびそれらの任意の組み合わせを、任意の標準型、分散型、またはクラスタ型の環境において含み得る。アプリケーションサーバは、クライアントデバイスのための１つ以上のアプリケーションの態様を実行するために、必要に応じて、データストアと統合するための、およびアプリケーションのためのデータアクセスおよびビジネスロジックの大部分を取り扱うための、任意の適切なハードウェアおよびソフトウェアを含むことができる。アプリケーションサーバは、データストアと連携してアクセス制御サービスを提供し、また、この実施例においてＨＴＭＬ、ＸＭＬ、または別の適切な構造化言語の形態でウェブサーバによってユーザに提供され得る、ユーザに転送されるテキスト、グラフィックス、オーディオ、および／またはビデオ等のコンテンツを生成することができる。全ての要求および応答、ならびにクライアントデバイス９０２とアプリケーションサーバ９０８との間のコンテンツの送達は、ウェブサーバ９０６によって取り扱うことができる。本明細書で論じられる構造化コードは、本明細書で他の場所で論じられるように、任意の適切なデバイスまたはホストマシン上で実行することができるので、ウェブサーバおよびアプリケーションサーバは必要とされず、これらは単に例示的な構成要素に過ぎないことを理解されたい。

データストア９１０は、いくつかの別個のデータテーブル、データベース、または他のデータ記憶機構と、特定の態様に関連するデータを記憶するための媒体を含むことができる。例えば、例示されるデータストアは、製品側のコンテンツを提供するために使用することができる、製品データ９１２およびユーザ情報９１６を記憶するための機構を含む。データストアはまた、ログデータまたはセッションデータ９１４を記憶するための機構も含むように示される。ページ画像情報およびアクセス権利情報等の、データストアに記憶する必要があり得る、数多くの他の態様があり得、必要に応じて上で列記した機構のいずれかに、またはデータストア９１０の付加的な機構に記憶することができることを理解されたい。データストア９１０は、アプリケーションサーバ９０８から命令を受け取って、それに応じてデータを取得する、更新する、または別様には処理するために、それと関連する論理を通して操作可能である。一例において、ユーザは、特定のタイプの要素の検索要求を提出し得る。この場合、データストアは、ユーザの識別情報を確認するためにユーザ情報にアクセスし得、また、そのタイプの要素に関する情報を取得するために、カタログの詳細情報にアクセスすることができる。情報は、次いで、ユーザがユーザデバイス９０２上のブラウザを介して視聴することができる、ウェブページ上の結果リスト等で、ユーザに返すことができる。関心の特定の要素の情報は、ブラウザの専用ページまたはウィンドウで視聴することができる。

各サーバは、一般的に、そのサーバの一般管理および操作のための実行可能プログラム命令を提供するオペレーティングシステムを含み、また一般的に、サーバのプロセッサによって実行されたときに、サーバがその意図する機能を行うことを可能にする命令を記憶する、コンピュータが読み出し可能な媒体を含む。オペレーティングシステムおよびサーバの一般機能性の好適な実装例は、既知であるか、または商業的に入手可能であり、また、特に本明細書の開示に照らして、当業者によって容易に実装される。

一実施形態における環境は、１つ以上のコンピュータネットワークまたは直接接続を使用して、通信リンクを介して相互接続される複数のコンピュータシステムおよび構成要素を利用する、分散コンピューティング環境である。しかしながら、そのようなシステムは、図９で例示されるよりも少ない数または多い数の構成要素を有するシステムで十分同等に動作できることが、当業者に認識されるであろう。したがって、図９のシステム９００の描写は、事実上、実例となるものであり、本開示の範囲を限定するものとみなすべきではない。

上で論じられたように、種々の実施形態はさらに、多種多様な操作環境で実装することができ、一部の場合において、いくつかのアプリケーションのいずれかを操作するために使用することができる、１つ以上のユーザコンピュータ、コンピューティングデバイス、または処理デバイスを含むことができる。ユーザまたはクライアントデバイスとしては、標準的なオペレーティングシステムを実行するデスクトップまたはラップトップコンピュータ等の、数多くの汎用パーソナルコンピュータ、ならびに、モバイルソフトウェアを実行し、かついくつかのネットワークおよびメッセージングプロトコルをサポートすることができる、セルラーデバイス、無線デバイス、およびハンドヘルドデバイスのいずれかが挙げられる。そのようなシステムとしてはまた、開発およびデータベース管理等の目的で、種々の市販のオペレーティングシステムおよび他の既知のアプリケーションのいずれかを実行する、数多くのワークステーションも挙げられる。これらのデバイスとしてはまた、ネットワークを介して通信することができる、ダミー端末、シンクライアント、ゲームシステム、および他のデバイス等の、他の電子デバイスも挙げられる。

種々の態様はまた、サービス指向アーキテクチャの一部であり得る等の、少なくとも１つのサービスまたはウェブサービスの一部として実装することができる。ウェブサービス等のサービスは、拡張マークアップ言語（ＸＭＬ）フォーマットのメッセージを使用し、ＳＯＡＰ（「シンプルオブジェクトアクセスプロトコル」に由来）等の適切なプロトコルを使用して交換する等によって、任意の適切なタイプのメッセージングを使用して通信することができる。このようなサービスによって提供または実行される過程は、ウェブサービス記述言語（ＷＳＤＬ）等の任意の適切な言語で記述することができる。ＷＳＤＬ等の言語を使用することは、種々のＳＯＡＰフレームワークのクライアント側コードの自動生成等の機能を可能にする。

大部分の実施形態は、ＴＣＰ／ＩＰ、ＯＳＩ、ＦＴＰ、ＵＰｎＰ、ＮＦＳ、ＣＩＦＳ、およびＡｐｐｌｅＴａｌｋ等の、種々の市販のプロトコルのいずれかを使用して通信をサポートするための、当業者が精通している少なくとも１つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、およびそれらの任意の組み合わせとすることができる。

ウェブサーバを利用する実施形態において、ウェブサーバは、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、データサーバ、Ｊａｖａ（登録商標）サーバ、およびビジネスアプリケーションサーバを含む、種々のサーバまたは中間層アプリケーションのいずれかを動作させることができる。サーバ（複数可）はまた、ユーザデバイスからの要求に応じて、Ｊａｖａ（登録商標）、Ｃ、Ｃ＃、もしくはＣ＋＋等の任意のプログラミング言語、またはＰｅｒｌ、Ｐｙｔｈｏｎ、もしくはＴＣＬ等の任意のスクリプト言語、ならびにそれらの組み合わせで書かれた１つ以上のスクリプトまたはプログラムとして実装され得る１つ以上のウェブアプリケーションを実行すること等によって、プログラムまたはスクリプトを実行することも可能であり得る。サーバ（複数可）としてはまた、Ｏｒａｃｌｅ（登録商標）、Ｍｉｃｒｏｓｏｆｔ（登録商標）、Ｓｙｂａｓｅ（登録商標）、およびＩＢＭ（登録商標）から市販されているものが挙げられるがそれらに限定されない、データベースサーバも挙げられる。

環境は、上で論じたように、種々のデータストア、ならびに他のメモリおよび記憶媒体を含むことができる。これらは、１つ以上のコンピュータに対してローカルな（および／またはその中に存在する）、またはネットワーク全体にわたるコンピュータのいずれかまたは全てからリモートな記憶媒体上等の、種々の場所に存在することができる。特定の１組の実施形態において、情報は、当業者が精通しているストレージエリアネットワーク（「ＳＡＮ」）の中に存在し得る。同様に、必要に応じて、コンピュータ、サーバ、または他のネットワークデバイスに起因する機能を行うための任意の必要なファイルが、ローカルおよび／またはリモートで記憶され得る。システムがコンピュータ制御のデバイスを含む場合、そのような各デバイスは、バスを介して電気的に連結され得るハードウェア要素を含むことができ、該要素は、例えば、少なくとも１つの中央処理ユニット（ＣＰＵ）と、少なくとも１つの入力デバイス（例えば、マウス、キーボード、コントローラ、タッチ画面、またはキーパッド）と、少なくとも１つの出力デバイス（例えば、表示デバイス、プリンタ、またはスピーカー）とを含む。そのようなシステムはまた、ディスクドライブ、光記憶デバイス、およびランダムアクセスメモリ（ＲＡＭ）またはリードオンリーメモリ（ＲＯＭ）等の固体記憶デバイス、ならびにリムーバブル媒体デバイス、メモリカード、フラッシュカード等の、１つ以上の記憶デバイスも含み得る。

そのようなデバイスとしてはまた、上で説明したように、コンピュータ読み出し可能な記憶媒体リーダー、通信デバイス（例えば、モデム、ネットワークカード（無線または有線）、赤外線通信デバイス等）、および作業メモリも挙げられる。コンピュータ読み出し可能な記憶媒体リーダーは、リモート、ローカル、固定の、および／またはリムーバブルな記憶デバイスを表すコンピュータ読み出し可能な記憶媒体、ならびにコンピュータ読み出し可能な情報を一時的におよび／またはより恒久的に含む、記憶する、伝送する、および取り出すための記憶媒体と接続することができる、またはそれを受け取るように構成することができる。システムおよび種々のデバイスはまた、一般的に、オペレーティングシステム、およびクライアントアプリケーションまたはウェブブラウザ等のアプリケーションプログラムを含む、少なくとも１つのワーキングメモリデバイス内に位置する、数多くのソフトウェアアプリケーション、モジュール、サービス、または他の要素も含む。代替の実施形態は、上で説明した数多くの変形例を有し得ることを理解されたい。例えば、カスタマイズされたハードウェアも使用され得、および／または特定の要素が、ハードウェア、ソフトウェア（アプレット等のポータブルソフトウェアを含む）、または双方で実装され得る。さらに、ネットワーク入力／出力デバイス等の他のコンピューティングデバイスへの接続が利用され得る。

コードまたはコードの部分を収容するための記憶媒体およびコンピュータ読み出し可能な媒体としては、コンピュータ読み出し可能な命令、データ構造、プログラムモジュール、または他のデータ等の情報を記憶および／または伝送するための任意の方法または技術で実装される揮発性および不揮発性で、取り外し可能および取り外し不可能な媒体等が挙げられるが、それらに限定されない、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶デバイス、または所望の情報を記憶するために使用することができ、システムデバイスによってアクセスすることができる、任意の他の媒体を含む、記憶媒体および通信媒体を含む、当技術分野において知られているまたは使用される、任意の適切な媒体が挙げられる。本明細書で提供される開示および教示に基づいて、当業者は、種々の実施形態を実装するための他の様式および／または方法を認識するであろう。

したがって、本明細書および図面は、限定的な意味ではなく、例示的な意味であるとみなされるべきである。しかしながら、特許請求の範囲に記載された本発明のより広い趣旨および範囲から逸脱することなく、種々の修正および変更が行われ得ることが明らかであろう。
付記
付記１．ユーザの指先の場所を特定するための、コンピュータにより実装される方法であって、
コンピューティングデバイスの少なくとも１つのカメラを使用して、画像を取り込むことと、
取り込まれた画像から、ユーザの指の少なくとも第１の部分の場所を決定することと、
指の少なくとも第２の部分が少なくとも１つのカメラの視野の外側にあるときに、コンピューティングデバイスの少なくとも１つのセンサを使用して、コンピューティングデバイスに対する前記の第２の部分の指の場所を検出することと、
指の指先の相対的な場所を決定するために、第１の場所および第２の場所を解析することと、を含む、コンピュータにより実装される方法。
付記２．デバイスセンサは、電磁界センサ、容量センサ、超音波センサのうちの少なくとも１つを含む、付記１に記載のコンピュータにより実装される方法。
付記３．指先の相対的な場所を決定するために、少なくとも第１の部分および第２の部分の場所を解析することは、場所を指のデジタルモデルに入力することを含む、付記１に記載のコンピュータにより実装される方法。
付記４．指先の相対的な場所を決定するために、少なくとも第１の部分および第２の部分の場所を解析することは、指の第２の部分が視野の外側に移動する前に、少なくとも１つの以前に取り込まれた画像の中で識別される少なくとも１つの以前の指先の相対的な場所を使用することを含む、付記１に記載のコンピュータにより実装される方法。
付記５．指の移動に少なくとも部分的に基づいて、指先の相対的な場所を更新するために、経時的に指の移動を追跡し、少なくとも第１の部分および第２の部分の場所を使用することをさらに含む、付記１に記載のコンピュータにより実装される方法。
付記６．コンピューティングデバイスの少なくとも１つのカメラを使用して画像を取り込むことであって、画像は、ユーザの手の少なくとも一部分の描写を含む、取り込むことと、
手の指の指先が画像の中に描写されないときに、コンピューティングデバイスに対するユーザの手の少なくとも１つの参照点の場所を決定するために、コンピューティングデバイスの少なくとも１つのプロセッサを使用して、画像を解析することと、
少なくとも１つの参照点に少なくとも部分的に基づいて、指先の位置を算出することと、
コンピューティングデバイスに対する指の指先の位置に少なくとも部分的に基づいて、コンピューティングデバイス上で実行するアプリケーションへの入力を提供することと、を含む、コンピュータにより実装される方法。
付記７．コンピューティングデバイスの少なくとも１つのセンサを使用して、指の第２の部分を検出することをさらに含み、
コンピューティングデバイスに対する指先の位置を算出することはさらに、第２の部分に少なくとも部分的に基づく、付記６に記載のコンピュータにより実装される方法。
付記８．デバイスセンサは、電磁界センサ、容量センサ、超音波センサのうちの少なくとも１つを含む、付記７に記載のコンピュータにより実装される方法。
付記９．複数の指先の位置が同時に算出され、複数の指先の位置に少なくとも部分的に基づいて入力が提供される、付記６に記載のコンピュータにより実装される方法。
付記１０．画像は、静止画像情報、立体画像情報、赤外線画像情報、またはビデオ情報のうちの少なくとも１つを含む、付記６に記載のコンピュータにより実装される方法。
付記１１．少なくとも１つの参照点に少なくとも部分的に基づいて、コンピューティングデバイスに対する指先の位置を算出することは、少なくとも１つの参照点を、ユーザ用にパーソナライズされた指のデジタルモデルに提供することを含む、付記６に記載のコンピュータにより実装される方法。
付記１２．少なくとも１つの参照点に少なくとも部分的に基づいて、コンピューティングデバイスに対する指先の位置を算出することは、少なくとも１つの以前に取り込まれた画像から識別される、少なくとも１つの以前の指先の位置を使用することを含む、付記６に記載のコンピュータにより実装される方法。
付記１３．指の移動に少なくとも部分的に基づいて、指先の位置を更新するために、経時的に指の移動を追跡し、少なくとも１つの参照点を使用することをさらに含む、付記６に記載のコンピュータにより実装される方法。
付記１４．コンピューティングデバイスに対する指先の位置を算出することはさらに、ユーザの指の物理的限度に少なくとも部分的に基づく、付記６に記載のコンピュータにより実装される方法。
付記１５．コンピューティングデバイスに対する指先の位置を算出することはさらに、以前の指先の場所に基づいて、ユーザによって行われた以前の選択に関する機械学習に少なくとも部分的に基づく、付記６に記載のコンピュータにより実装される方法。
付記１６．コンピューティングデバイスであって、
プロセッサと、
少なくとも１つのカメラと、
命令を含むメモリデバイスであって、該命令は、プロセッサによって実行されたときに、コンピューティングデバイスに、
少なくとも１つのカメラを使用して１つ以上の画像を取り込むことであって、１つ以上の画像情報は、ユーザの手の少なくとも一部分の表現を含む、取り込むこと、
ユーザの指先が１つ以上の画像の中に見えないときに、コンピューティングデバイスに対するユーザの手の少なくとも一部分の場所を決定するために、１つ以上の画像を解析すること、および
少なくとも一部分に少なくとも部分的に基づいて、コンピューティングデバイスに対する指先の場所を算出すること、を行わせる、メモリデバイスと、を備える、コンピューティングデバイス。
付記１７．指の第２の部分を検出するように構成される、少なくとも１つのセンサをさらに備え、コンピューティングデバイスに対する指先の場所はさらに、第２の部分に少なくとも部分的に基づく、付記１６に記載のコンピューティングデバイス。
付記１８．センサは、電磁界センサ、容量センサ、または超音波センサのうちの少なくとも１つを含む、付記１７に記載のコンピューティングデバイス。
付記１９．１つ以上の画像は、静止画像情報、立体画像情報、赤外線画像情報、またはビデオ情報のうちの少なくとも１つを含む、付記１６に記載のコンピューティングデバイス。
付記２０．少なくとも一部分に少なくとも部分的に基づいて、コンピューティングデバイスに対する指先の場所を算出することは、少なくとも一部分を指のデジタルモデルに提供することを含む、付記１６に記載のコンピューティングデバイス。
付記２１．命令を含む非一時的なコンピュータ読み出し可能な記憶媒体であって、該命令は、コンピューティングデバイスのプロセッサによって実行されたときに、コンピューティングデバイスに、
コンピューティングデバイスの少なくとも１つのカメラを使用して画像を取り込むことであって、画像は、ユーザの手の少なくとも一部分の表現を含む、取り込むこと、
ユーザの指先が画像の中に見えないときに、コンピュータデバイスに対するユーザの手の少なくとも１つの参照点の場所を決定するために、コンピューティングデバイスの少なくとも１つのプロセッサを使用して、画像を解析すること、
少なくとも１つの参照点に少なくとも部分的に基づいて、コンピューティングデバイスに対する指先の位置を算出すること、および
コンピューティングデバイスに対する指先の位置に少なくとも部分的に基づいて、コンピューティングデバイス上で実行するアプリケーションへの入力を提供すること、を行わせる、非一時的なコンピュータ読み出し可能な記憶媒体。
付記２２．命令は、実行されたときにさらに、コンピュータシステムに、
コンピューティングデバイスの少なくとも１つのセンサを使用して、指の第２の点を検出することを行わせ、
コンピューティングデバイスに対する指先の位置を算出することはさらに、第２の点に少なくとも部分的に基づき、
デバイスセンサは、電磁界センサ、容量センサ、または超音波センサのうちの少なくとも１つを含む、付記２１に記載の非一時的なコンピュータ読み出し可能な記憶媒体。
付記２３．複数の指先の位置を同時に算出することができ、複数の指先の位置に少なくとも部分的に基づいて、入力を提供することができる、付記２１に記載の非一時的なコンピュータ読み出し可能な記憶媒体。
付記２４．コンピューティングデバイスに対する指先の位置を算出することはさらに、ユーザの指の物理的限度に少なくとも部分的に基づく、付記２１に記載の非一時的なコンピュータ読み出し可能な記憶媒体。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ユーザの指先の場所を特定するための、コンピュータにより実装される方法であって、
コンピューティングデバイスの少なくとも１つのカメラを使用して、画像を取り込むことと、
前記取り込まれた画像から、ユーザの指の少なくとも第１の部分の場所を決定することと、
前記指の第２の部分が前記少なくとも１つのカメラの視野の外側にあるときに、前記コンピューティングデバイスの少なくとも１つのセンサを使用して、前記コンピューティングデバイスに対する少なくとも前記第２の部分の場所を検出することと、
前記指の指先の相対的な場所を決定するために、前記第１の場所および前記第２の場所を解析することと、を含む、コンピュータにより実装される方法。
［２］前記デバイスセンサは、電磁界センサ、容量センサ、超音波センサのうちの少なくとも１つを含む、［１］に記載のコンピュータにより実装される方法。
［３］前記指先の前記相対的な場所を決定するために、少なくとも前記第１の部分の場所および前記第２の部分の場所を解析することは、前記場所を前記指のデジタルモデルに入力すること、または前記指の前記第２の部分が前記視野の外側に移動する前に少なくとも１つの以前に取り込まれた画像の中で識別される、少なくとも１つの以前の指先の相対的な場所を使用すること、のうちの１つ以上を含む、［１］に記載のコンピュータにより実装される方法。
［４］前記指の移動に少なくとも部分的に基づいて、前記指先の前記相対的な場所を更新するために、経時的に前記指の移動を追跡し、少なくとも前記第１の部分の場所および前記第２の部分の場所を使用することをさらに含む、［１］に記載のコンピュータにより実装される方法。
［５］コンピュータにより実装される方法であって、
コンピューティングデバイスの少なくとも１つのカメラを使用して画像を取り込むことであって、前記画像は、ユーザの手の少なくとも一部分の描写を含む、取り込むことと、
前記手の指の指先が前記画像の中に描写されないときに、前記コンピューティングデバイスに対する前記ユーザの前記手の少なくとも１つの参照点の場所を決定するために、前記コンピューティングデバイスの少なくとも１つのプロセッサを使用して、前記画像を解析することと、
前記少なくとも１つの参照点に少なくとも部分的に基づいて、前記指先の位置を算出することと、
前記コンピューティングデバイスに対する前記指の前記指先の前記位置に少なくとも部分的に基づいて、前記コンピューティングデバイス上で実行するアプリケーションへの入力を提供することと、を含む、コンピュータにより実装される方法。
［６］前記コンピューティングデバイスの少なくとも１つのセンサを使用して、前記指の第２の部分を検出することをさらに含み、
前記コンピューティングデバイスに対する前記指先の前記位置を算出することはさらに、前記第２の部分に少なくとも部分的に基づく、［５］に記載のコンピュータにより実装される方法。
［７］前記デバイスセンサは、電磁界センサ、容量センサ、超音波センサのうちの少なくとも１つを含む、［６］に記載のコンピュータにより実装される方法。
［８］前記少なくとも１つの参照点に少なくとも部分的に基づいて、前記コンピューティングデバイスに対する前記指先の前記位置を算出することは、前記少なくとも１つの参照点を、前記ユーザ用にパーソナライズされた前記指のデジタルモデルに提供すること、または少なくとも１つの以前に取り込まれた画像から識別される、少なくとも１つの以前の指先の位置を使用すること、のうちの１つ以上を含む、［５］に記載のコンピュータにより実装される方法。
［９］前記指の移動に少なくとも部分的に基づいて、前記指先の前記位置を更新するために、経時的に前記指の移動を追跡し、前記少なくとも１つの参照点を使用することをさらに含む、［５］に記載のコンピュータにより実装される方法。
［１０］前記コンピューティングデバイスに対する前記指先の前記位置を算出することはさらに、前記ユーザの前記指の物理的限度、または、以前の指先の場所に基づいて前記ユーザによって行われた以前の選択に関する機械学習、のうちの１つ以上に少なくとも部分的に基づく、［５］に記載のコンピュータにより実装される方法。
［１１］コンピューティングデバイスであって、
プロセッサと、
少なくとも１つのカメラと、
命令を含むメモリデバイスであって、前記命令は、前記プロセッサによって実行されたときに、前記コンピューティングデバイスに、
前記少なくとも１つのカメラを使用して１つ以上の画像を取り込むことであって、前記１つ以上の画像情報は、ユーザの手の少なくとも一部分の表現を含む、取り込むこと、
前記ユーザの指先が前記１つ以上の画像の中に見えないときに、前記コンピューティングデバイスに対する前記ユーザの手の少なくとも一部分の場所を決定するために、前記１つ以上の画像を解析すること、および
前記少なくとも一部分に少なくとも部分的に基づいて、前記コンピューティングデバイスに対する前記指先の場所を算出すること、を行わせる、メモリデバイスと、を備える、コンピューティングデバイス。
［１２］前記指の第２の部分を検出するように構成される、少なくとも１つのセンサをさらに備え、
前記コンピューティングデバイスに対する前記指先の前記場所はさらに、前記第２の部分に少なくとも部分的に基づく、［１１］に記載のコンピューティングデバイス。
［１３］前記センサは、電磁界センサ、容量センサ、または超音波センサのうちの少なくとも１つを含む、［１２］に記載のコンピューティングデバイス。
［１４］前記１つ以上の画像は、静止画像情報、立体画像情報、赤外線画像情報、またはビデオ情報のうちの少なくとも１つを含む、［１１］に記載のコンピューティングデバイス。
［１５］前記少なくとも一部分に少なくとも部分的に基づいて、前記コンピューティングデバイスに対する前記指先の前記場所を算出することは、前記少なくとも一部分を前記指のデジタルモデルに提供することを含む、［１１］に記載のコンピューティングデバイス。

Claims (14)

1. ユーザの指先の場所を特定するための、コンピュータにより実現される方法において、
   コンピューティングデバイスの少なくとも１つのカメラを使用して、画像を取り込むことと、
   ユーザの指の第１の部分の表現と、前記コンピューティングデバイスに関する前記指の第１の部分についての場所情報とを、前記画像から決定することと、
   前記指の第２の部分が前記少なくとも１つのカメラの視野の外側であることを決定することと、
   前記指の第１の部分と前記指の第２の部分とを含む、前記ユーザの手のモデルを決定することと、
   前記コンピューティングデバイスの少なくとも１つのセンサを使用して、前記コンピューティングデバイスに関する前記指の第２の部分の近接を検出することと、
   前記ユーザの手のモデルと、前記指の第１の部分についての場所情報と、前記第２の部分の近接とに少なくとも部分的に基づいて、前記コンピューティングデバイスに関する前記指の第２の部分の相対的な場所を決定することと、
   前記指の第１の部分についての場所情報と、前記指の第２の部分の相対的な場所とに少なくとも部分的に基づいて、前記指先のおおよその軌跡を決定することと、
   前記指先のおおよその軌跡に少なくとも部分的に基づいて、前記コンピューティングデバイス上で実行するアプリケーションへの入力を提供することとを含むコンピュータにより実現される方法。
2. 前記少なくとも１つのセンサは、電磁界センサ、容量センサ、または、超音波センサ、のうちの少なくとも１つを含む請求項１記載のコンピュータにより実現される方法。
3. 前記ユーザの手のモデルを決定することは、前記指の第１の部分の表現と、前記指の第１の部分に関する前記指の第２の部分の場所とに対する情報を、前記指のデジタルモデルに入力すること、または、前記指の第２の部分が視野の外側に移動する前に少なくとも１つの以前に取り込まれた画像の中で識別される、少なくとも１つの以前の指先の相対的な場所を使用すること、のうちの１つ以上を含む請求項１記載のコンピュータにより実現される方法。
4. 経時的に前記指の複数の画像を解析することによって、前記指の移動を追跡することと、
   前記指の移動に少なくとも部分的に基づいて、前記第１の部分の表現と前記第２の部分の場所とを使用して、前記指の第２の部分の相対的な場所を更新することとをさらに含む請求項１記載のコンピュータにより実現される方法。
5. 前記指の第２の部分の相対的な場所と前記指の第１の部分とを通り抜ける仮想ベクトルを決定することと、
   前記仮想ベクトルと前記コンピューティングデバイスとの交差を決定することと、
   前記仮想ベクトルが前記コンピューティングデバイスとどこで交差するかに少なくとも部分的に基づいて、前記ユーザが提供しようとする入力のタイプを決定することとをさらに含む請求項１記載のコンピュータにより実現される方法。
6. コンピュータにより実現される方法において、
   コンピューティングデバイスの少なくとも１つのカメラを使用して、ユーザの手の第１の部分の表現を含む画像を取り込むことと、
   前記手の指の指先が前記少なくとも１つのカメラの視野の外側であることを決定することと、
   前記コンピューティングデバイスの少なくとも１つのプロセッサを使用して、前記画像を解析し、前記コンピューティングデバイスに関する、前記ユーザの手の第１の部分に対応する少なくとも１つの参照点に対する場所情報を決定することと、
   少なくとも１つのセンサを使用して、前記コンピューティングデバイスに関する前記指の指先の近接を検出することと、
   前記参照点と前記指の指先とを含む、前記手のモデルを決定することと、
   前記手のモデルと、前記指先の近接と、前記少なくとも１つの参照点に対する場所情報とに少なくとも部分的に基づいて、前記コンピューティングデバイスに関する前記指先の相対的な位置を算出することと、
   前記少なくとも１つの参照点に対する場所情報と、前記指先の相対的な位置とに少なくとも部分的に基づいて、前記指先のおおよその軌跡を決定することと、
   前記指先のおおよその軌跡に少なくとも部分的に基づいて、前記コンピューティングデバイス上で実行するアプリケーションへの入力を提供することとを含むコンピュータにより実現される方法。
7. 前記少なくとも１つのセンサは、電磁界センサ、容量センサ、または、超音波センサ、のうちの少なくとも１つを含む請求項６記載のコンピュータにより実現される方法。
8. 前記指先の相対的な位置を算出することは、前記少なくとも１つの参照点を、前記ユーザ用にパーソナライズされた前記指のデジタルモデルに提供すること、または、少なくとも１つの以前に取り込まれた画像から識別される、少なくとも１つの以前の指先の位置を使用すること、のうちの１つ以上を含む請求項６記載のコンピュータにより実現される方法。
9. 経時的に前記指の移動を追跡し、前記指の移動に少なくとも部分的に基づいて、前記少なくとも１つの参照点を使用して、前記指先の相対的な位置を更新することをさらに含む請求項６記載のコンピュータにより実現される方法。
10. 前記コンピューティングデバイスに関する前記指先の相対的な位置を算出することはさらに、前記ユーザの前記指の物理的限度、または、以前の指先の場所に基づいて前記ユーザによって行われた以前の選択に関する機械学習、のうちの１つ以上に少なくとも部分的に基づいている請求項６記載のコンピュータにより実現される方法。
11. コンピューティングデバイスにおいて、
    プロセッサと、
    少なくとも１つのカメラと、
    命令を含むメモリデバイスとを具備し、
    前記命令は、前記プロセッサによって実行されるときに、前記コンピューティングデバイスに、
    前記少なくとも１つのカメラを使用させて、ユーザの手の第１の部分の表現を含む１つ以上の画像を取り込ませ、
    前記ユーザの手の指の指先が前記少なくとも１つのカメラの視野の外側であることを決定させ、
    前記１つ以上の画像を解析させて、前記コンピューティングデバイスに関する前記ユーザの手の第１の部分に対する場所情報を決定させ、
    前記手の第１の部分と前記指先とを含む、前記手のモデルを決定させ、
    前記コンピューティングデバイスの少なくとも１つのセンサを使用させて、前記コンピューティングデバイスに関する前記指先の近接を検出させ、
    前記手のモデルと、前記指先の近接と、前記第１の部分に対する場所情報とに少なくとも部分的に基づいて、前記コンピューティングデバイスに関する前記指先の相対的な場所を算出させ、
    前記第１の部分に対する場所情報と、前記指先の相対的な場所とに少なくとも部分的に基づいて、前記指先のおおよその軌跡を決定させ、
    前記指先のおおよその軌跡に少なくとも部分的に基づいて、前記コンピューティングデバイス上で実行するアプリケーションへの入力を提供させるコンピューティングデバイス。
12. 前記少なくとも１つのセンサは、電磁界センサ、容量センサ、または、超音波センサ、のうちの少なくとも１つを含む請求項１１記載のコンピューティングデバイス。
13. 前記１つ以上の画像は、静止画像情報、立体画像情報、赤外線画像情報、または、ビデオ情報、のうちの少なくとも１つを含む請求項１１記載のコンピューティングデバイス。
14. 前記指先の相対的な場所を算出することは、前記第１の部分を前記指のデジタルモデルに提供することを含む請求項１１記載のコンピューティングデバイス。

Images