JP6297599B2 - ３ｄ物体検出によるシステムのエンゲージメントのための方法 - Google Patents

３ｄ物体検出によるシステムのエンゲージメントのための方法 Download PDF

Info

Publication number
JP6297599B2
JP6297599B2 JP2015556015A JP2015556015A JP6297599B2 JP 6297599 B2 JP6297599 B2 JP 6297599B2 JP 2015556015 A JP2015556015 A JP 2015556015A JP 2015556015 A JP2015556015 A JP 2015556015A JP 6297599 B2 JP6297599 B2 JP 6297599B2
Authority
JP
Japan
Prior art keywords
gesture
application
detected
anchor
struck
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015556015A
Other languages
English (en)
Other versions
JP2016505188A (ja
JP2016505188A5 (ja
Inventor
プオン・ラム・トン
フイヤ・リャオ・ネルソン
レン・リ
ショーン・ウィリアム・ヴァン・ダイケン
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2016505188A publication Critical patent/JP2016505188A/ja
Publication of JP2016505188A5 publication Critical patent/JP2016505188A5/ja
Application granted granted Critical
Publication of JP6297599B2 publication Critical patent/JP6297599B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本開示は、一般に、ユーザデバイスまたはシステムに関し、より詳細には、システムのエンゲージメントに関する。
現在、ユーザデバイスは、概して、例えば、タッチスクリーンを用いるか、ボタンを押すか、またはデバイスに触れるためのその他の好適な手動の方法によってデバイスを手動でオンにすることによってエンゲージ(engage)され得る。ユーザデバイスがスマートフォンである一例において、ユーザは、電源ボタンを押すか、ロック解除キーをスライドさせるか、スクリーンに触れるか、またはこれらの組み合わせによってデバイスのロックを解除し得る。しかし、デバイスをエンゲージするためのそのような現在の方法は、煩わしく、ユーザに優しくない可能性がある。
したがって、システムまたはデバイスをエンゲージするための改善された方法およびシステムに対するニーズが当技術分野に存在する。
本開示の1つまたは複数の実施形態によれば、方法およびシステムが、3D物体検出によってシステムのエンゲージメントおよび制御を行う。システムは、エンゲージされると、特定のモード、機能、コントロール、またはインターフェースに切り替わる可能性がある。
一部の実施形態においては、デバイスでアプリケーションを制御するための方法が、示される。方法は、閾値の長さの時間の間、ユーザがデバイスの近くに浮かぶ物体またはジェスチャをある位置において維持していることを検出するステップを含み得る。方法は、維持された位置の検出に基づいてデバイスに対して物体またはジェスチャの最初の位置にアンカーを打つ(anchor)ステップと、アンカーを打たれた最初の位置を用いてアプリケーションを制御するステップとをさらに含み得る。
一部の実施形態において、アンカーを打たれた最初の位置を用いてアプリケーションを制御するステップは、アンカーを打たれた最初の位置に関連する安定区域内でデバイスに対するジェスチャまたは物体の高さの変化を検出することに基づいてアプリケーションを操作するステップと、物体またはジェスチャが安定区域内でデバイスの上のデバイスに平行な平面に沿って移動するところを検出されるときにはいつもアプリケーションを操作しないステップとを含む。
一部の実施形態において、アンカーを打たれた最初の位置を用いてアプリケーションを制御するステップは、物体またはジェスチャが安定区域の外の領域の上に浮かんでいるところを検出されるときにはいつもアプリケーションを操作するステップをさらに含む。アプリケーションを操作するステップは、物体またはジェスチャが安定区域の外の第1の領域の上に浮いているところを検出される場合に、第1の速さを有する第1のパンアクションを実行するステップと、物体またはジェスチャが安定区域の外の第2の領域の上に浮いているところを検出される場合に、第2の速さを有する第2のパンアクションを実行するステップであって、第2の領域は、第1の領域よりも安定区域から遠い、ステップとを含み得る。
一部の実施形態において、アンカーを打たれた最初の位置を用いてアプリケーションを制御するステップは、デバイスの上に浮かぶ3次元空間内の物体またはジェスチャの少なくとも1つの動きを検出するステップを含む。
一部の実施形態において、アプリケーションを操作するステップは、最初の位置に対するデバイスの上に浮かぶ物体またはジェスチャの位置に基づく。
一部の実施形態において、アプリケーションを操作するステップは、物体またはジェスチャが安定区域の外の第3の領域に浮かんでいるところを検出される場合に第3のアクションを実行するステップであって、第3の領域は、第2の領域よりも安定区域から遠い、ステップをさらに含む。
一部の実施形態において、方法は、ユーザがデバイスの上の位置にジェスチャまたは物体を浮かべていることを検出するステップをさらに含む。
一部の実施形態において、方法は、ユーザがデバイスの下の位置にジェスチャまたは物体を浮かべていることを検出するステップをさらに含む。
一部の実施形態において、アプリケーションを制御するステップは、アンカーを打たれた最初の位置に基づいてアプリケーションにアンカーを打たれたユーザインターフェースを使用するステップを含む。
一部の実施形態において、アプリケーションにアンカーを打たれたユーザインターフェースは、デバイスの近くに浮かぶ検出されたジェスチャまたは物体の最初の位置に応じてアプリケーション上で中心を決められ得る。
一部の実施形態においては、装置が示される。装置は、閾値の長さの時間の間、ユーザが前記装置の近くに浮かぶ物体またはジェスチャをある位置において維持していることを検出するように構成された少なくとも1つのセンサーを含み得る。装置は、維持された位置の検出に基づいて前記装置に対して物体またはジェスチャの最初の位置にアンカーを打ち、アンカーを打たれた最初の位置を用いて前記装置で動作するように構成されたアプリケーションを制御するように構成されたプロセッサをさらに含み得る。
一部の実施形態においては、閾値の長さの時間の間、ユーザが装置の近くに浮かぶ物体またはジェスチャを位置において維持していることを検出するための手段と、維持された位置の検出に基づいて装置に対して物体またはジェスチャの最初の位置にアンカーを打つための手段と、アンカーを打たれた最初の位置を用いて装置で動作するアプリケーションを制御するための手段とを含む装置が、示される。
一部の実施形態においては、プロセッサに閾値の長さの時間の間、ユーザがデバイスの近くに浮かぶ物体またはジェスチャをある位置において維持していることを検出させ、維持された位置の検出に基づいてデバイスに対して物体またはジェスチャの最初の位置にアンカーを打たせ、アンカーを打たれた最初の位置を用いて装置で動作するように構成されたアプリケーションを制御させるように構成されたプロセッサが読み取り可能な命令を含み得る非一時的なプロセッサが読み取り可能な媒体が、示される。
さまざまな実施形態の本質および利点の理解は、以下の図を参照することによって実現され得る。添付の図において、同様の構成要素または特徴は、同じ参照ラベルを有する可能性がある。さらに、同じ種類のさまざまな構成要素は、参照ラベルの後に、ダッシュと、同様の構成要素を区別するための第2のラベルとを続けることによって区別される可能性がある。第1の参照ラベルが本明細書において使用される場合、説明は、第2の参照ラベルに無関係に、同じ第1の参照ラベルを有する同様の構成要素のいずれか1つに当てはまり得る。
一部の実施形態によるデバイスに対する3次元(3D)座標系内の点を示す図である。 一部の実施形態によるデバイスに対する3D座標系内の点の境界領域を示す図である。 一部の実施形態による3D物体検出によるシステムのエンゲージメントの使用事例を示す図である。 一部の実施形態による3D物体検出によるシステムのエンゲージメントの使用事例を示す図である。 一部の実施形態による3D物体検出によるシステムのエンゲージメントの使用事例を示す図である。 一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。 一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。 一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。 一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。 一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。 一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。 一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。 一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。 一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。 一部の実施形態による3D物体検出によってシステムをエンゲージするための方法を示す流れ図である。 一部の実施形態による3D物体検出によってシステムをエンゲージし、制御するための方法を示すその他の例示的な流れ図である。 一部の実施形態による3D物体検出によってシステムをエンゲージし、制御するための方法を示すその他の例示的な流れ図である。 一部の実施形態による3D物体検出によってシステムをエンゲージし、制御するための方法を示すその他の例示的な流れ図である。 本開示の一実施形態によるデバイスを実装するためのシステムのブロック図である。
アプリケーションの上または近くに動的に生成される3次元タッチレス環境で単一の物体またはジェスチャを用いてグラフィカルなアプリケーションをエンゲージし、操作するための方法および装置が、示される。タッチレス技術を用いてアプリケーションを操作するためのいくつかのデバイスが市販されているが、改善され得るいくつかの制限が残っている。例えば、タッチレス技術によって操作されるビデオゲームプラットフォームは、ユーザがカメラの視界の正面真ん中にいることを必要とする可能性がある。別の例として、タッチレス環境は、基本的に2次元の(例えば、深さのない水平および垂直方向の)動きのみを検出することができる可能性がある。同様に、2-D環境で3つ以上の種類のアクションを行う(例えば、単にカーソルを水平および垂直に動かすことに留まらず、ズームアウトを行う)ためには、複数のジェスチャおよび/または複数の移動する物体(例えば、2本の手、つまむ動作など)が必要とされる可能性がある。その他の場合、検出方法は、例えば、移動する車両内にいる間にモバイルデバイスを操作するユーザによる小さな細かい揺れがアプリケーションの望まれていない動きまたは操作を引き起こすという点で感度が高すぎる可能性がある。一方で、タッチレス検出方法の解像度は、ユーザによる小さな動きがアプリケーションのいかなる動きにも対応しない可能性があるという点で感度が低すぎる可能性がある。
3D物体検出によってシステムまたはデバイスをエンゲージするための改善された方法およびシステムが示され、これらの問題を1つ残らずいっぺんに解決することができる可能性がある。システムは、エンゲージされると、特定のモード、機能のコントロール、またはインターフェースに切り替わる可能性がある。
一部の実施形態においては、タッチレスな実装が、好適なタッチレステクノロジー、例えば、(例えば、マイクロフォンおよび/もしくは超音波エミッタを用いる)超音波テクノロジー、カメラなどの画像もしくは映像撮影テクノロジー、IRもしくはUVテクノロジー、磁界テクノロジー、または放出電磁放射(emitted electromagnetic radiation)テクノロジーなどを使用することによって行われる。タッチレスな実装の一例においては、内蔵カメラに基づくジェスチャシステムを含むデバイスに関して、ユーザの開いた手のひらが検出され、システムをエンゲージするために使用され得る。別の例において、ユーザは、システムをエンゲージするために、カメラに基づくジェスチャシステムの前で自分の手を振る可能性がある。
さまざまな実施形態において、システムをエンゲージするために、システムまたはデバイスの近くの物体またはジェスチャが検出される。例えば、システムは、システムの上の座標系内に浮かぶ物体を検出する可能性があり、またはその他の例において、システムは、システムの上の座標系の外、つまり、システムの右、左、上、または下など、システムの視線の外(例えば、ユーザデバイスに対して画面外)に浮かぶ物体を検出する可能性がある。物体の物理的な位置が、システムに入力され、3座標(x, y, z)によって3次元(3D)空間内で示される可能性がある。システムは、所定の量の時間(例えば、500ミリ秒またはその他の適切な量の時間)物体がデバイスの近くに浮かんでいたと判定することに応じてエンゲージされる可能性がある。所定の量の時間の値は、構成可能である可能性があり、もしくは構成可能でない可能性があり、またはシステムの現在の状態もしくはコンテキストに基づいて変わる可能性がある。
浮かぶ位置は、オフセット(offset)によって境界を定められる可能性がある。例えば、最初の検出される座標は、1つの点に制限されない可能性があり、定義されたおよび/または構成可能な大きさ、例えば、境界円の定義されたおよび/または構成可能な半径を有する境界エリアまたは境界位置、例えば、境界円に制限される可能性がある。物体が、少なくとも所定の量の時間の間、境界を定められたエリアまたは位置内に浮かぶ場合、システムは、エンゲージされる。
システムは、エンゲージされると、特定のモード、機能、コントロール、またはインターフェースに切り替わる可能性がある。さまざまな実施形態において、ユーザは、3次元座標内を(例えば、x、y、z方向に)移動することによってシステムを制御し得る。速度も、考慮される可能性がある。3次元座標であるので、ジョイスティックのようなコントロールが実装され得る。例えば、物体の検出された動きが、ジョイスティックがモード、機能、コントロール、またはインターフェースをどのように制御するかをエミュレートするために使用され得る。
したがって、エンゲージされたシステムが、例えば、ジョイスティックが使用されているかのように3次元で制御され得る。一実施形態において、最初の検出された点および境界位置の円が、ジョイスティックの中心(center)または「スティック」として働く可能性がある。例えば、ジョイスティックは、ジョイスティックが引き上げられているかのように(z値が増加している)、またはジョイスティックが押し下げられているかのように(z値が減少している)、境界を定められた位置内にある間に検出されたz値が扱われ得るような中心コントロールまたは「スティック」を含み得る。現在、ほとんどのジョイスティックは、ジョイスティック上に中心コントロールを持たず、むしろ、ピボッティングアングル(pivoting angle)のみを有する。
さまざまな実施形態において、ジョイスティックの中心または「スティック」に関して、ジェスチャが検出される可能性もある。例えば、物体が境界を定められた位置内で回転されるかまたはあちこち動かされているとき、例えば、ジョイスティックの中心または「スティック」が保持され、時計回りにまたは反時計回りに回転される可能性がある。データ入力が、これらのジェスチャを検出するために使用され得る。これは、ジョイスティックの中心または「スティック」が回転されることを可能にする。この特徴は、さまざまな使用事例またはアプリケーションで使用される可能性があり、例えば、ジョイスティックの回転の検出は、ゲームアプリケーションで使用するのに好適である可能性がある。したがって、中心または「スティック」が特定の最大値まで引き上げられ得るかまたは特定の最小閾値まで押し下げられ得ることに加えて、速度およびジェスチャが検出され得る。
検出された物体が最初の境界エリアまたは位置の外に(例えば、境界円の外に)移動する場合、ジョイスティックコントロールは、ジョイスティックがその角度、方向、および速度で旋回されるかのように同じ動作をし得る。
一部の実施形態においては、ジョイスティックの旋回に関して、物体の浮遊が何らかの特定の角度に動かされるとき、モード、機能、コントロール、またはインターフェースは、ジョイスティックがそのモード、機能、コントロール、またはインターフェースを調整するために使用されているかのように調整され得る。物体の移動の速度も、計算される可能性がある。例えば、ユーザが、地図などのコンテンツを表示しているディスプレイ上で物体(例えば、指、ポインタなど)を右に素早く動かす使用事例においては、制御の速さ、例えば、地図に関するパンの速さが、速度に合わせて増減され得る。
さまざまな実施形態においては、物体の移動の特定の角度もしくは方向、または物体が移動した境界を定められた位置もしくはエリアを越える境界を定められた位置もしくはエリアのセクタ(sector)が、モードの変更、機能もしくは制御の実行、またはインターフェースの変更などのアクションを開始する可能性がある。境界円に関する一実施形態において、セクタは、2つの半径およびそれらの半径の間にある弧によって境界を定められた領域である可能性がある。x、y、z次元、速度、およびジェスチャの任意の組み合わせが、コントロールのための中心および/または外側領域で検出される可能性がある。一部の実施形態において、セクタは、別の形状を含むように定義される可能性がある。さらに、境界を定められた位置が境界円を含むとき、境界円の周りの同心の輪が、異なる機能に対応する可能性がある。
物体がもはや検出されないかまたはシステムの範囲外にあるとき、システムは、エンゲージメントを解除される可能性がある。エンゲージメント解除の検出は、ユーザに即座に知覚され得る。一部の実施形態において、システムは、所定のエンゲージメント解除動作、アクション、またはジェスチャが検出されるときに(例えば、物体が「X」形に移動するときに)エンゲージメントを解除される可能性がある。
3次元座標(例えば、x、y、z)および速度を使用することによって、データが、アプリケーションの展開(application development)の仮想的な力(virtual force)に変換され得る。
図1を参照すると、図が、本開示の一実施形態によるデバイスに対する3次元(3D)座標系内の点を示す。
タブレット、スマートフォン、ラップトップ、PCなどを含み得るデバイス102が、超音波テクノロジーなどのタッチレステクノロジーを用いてデバイス102上に浮いている物体104を検出し得る。さまざまな実施形態において、デバイス102は、デバイス102の上に、つまり、システムの上の座標内に物体104が浮いているときに物体104を検出する可能性があり、またはその他の実施形態において、デバイス102は、デバイス102の視線の外、例えば、デバイス102に対して画面外に物体104が浮いているときに物体104を検出する可能性がある。
任意のデータまたはコンテンツを表示し得るデバイス102は、点または位置「A」が特定され得る検出された物体104に対応する画像を示す可能性もある。画像内の点「A」は、デバイス102に対するその点の3次元(3D)座標(x, y, z)によって位置を定められ得る。したがって、デバイス102上の物体104の画像内の位置「A」は、3D座標点(x, y, z)である可能性がある。
さまざまな実施形態において、物理的な3D座標が、スクリーン座標に変換される可能性がある。変換は、特定のデバイスのディスプレイの画素密度を考慮に入れる可能性がある。したがって、デバイスに無関係に、デバイスに対する物理的な3D座標が、特定のデバイスのスクリーン座標に変換され得る。例えば、物体が、デバイスの左など、画面外で検出されるとき、変換された座標は、負のxの値を有する可能性がある。
図2を参照すると、図200が、本開示の一実施形態によるデバイスに対する3D座標系内の点の境界領域を示す。
図1の実施形態に関連して上で説明されたように、デバイス102に表示された浮いている物体104の画像内の点「A」は、デバイス102に対するその点の3次元(3D)座標(x, y, z)によって位置を定められ得る。境界円206などの境界領域は、点「A」と予め定義された半径とを含み得る。この実施形態において、点「A」は、境界円206の中心である。境界領域は、例えば、境界楕円、境界長方形、または任意のその他の好適な形状を含む円以外の任意の形状である可能性があることを理解されたい。さらに、境界領域は図2の平らな円として示されているが、境界領域は球または立方体などの3次元形状である可能性があることが理解されるであろう。したがって、物体が境界領域内にあることを検出することは、デバイス102からの物体の距離に無関係に、物体が(x, y)座標の特定の組の中にあることを検出することを含む可能性があり、または検出することは、物体が特定の深さパラメータ内にあることを検出することも含む可能性がある。加えて、境界領域は、ユーザによって調整される可能性があり、またはデバイス102の状態もしくはコンテキストに基づいて自動的に変わる可能性がある。
図3〜図5を参照すると、3D物体検出によるシステムのエンゲージメントの例示的な使用事例が、一部の実施形態にしたがって示される。
図3においては、地図310などのコンテンツまたは画像が、ユーザデバイス302のインターフェースに表示され得る。デバイス302は、超音波テクノロジーなどの任意の好適なタッチレステクノロジーを用いて、任意の物体またはジェスチャ、例えば、指304を検出するように構成され得る。
図4において、デバイス302(またはデバイス302の一部であるシステム)をエンゲージすることは、デバイス302に対する3次元(3D)の物体の位置がシステムに入力されるように指304を検出することを含み得る。この「エンゲージする状態」で、システムは、エンゲージすることを開始する。
視覚インジケータ312によるような視覚フィードバックが、境界位置の相対的な認識を示すまたは与えるために、物体の下、つまり、指304の下のユーザデバイスに表示され得る。
図5において、システムは、物体(すなわち、指304)が、少なくとも所定の量の時間、例えば、500ミリ秒、境界位置、例えば、境界円内に浮かぶかどうかを判定し得る。そうである場合、システムは、「エンゲージする状態」316から「エンゲージされた状態」318に移る。例えば、エンゲージされた状態に到達するように進んでいることをユーザに示すために、境界領域内の浮遊が検出されている間、視覚および/または音声フィードバックがユーザに与えられ得る。
「エンゲージされた状態」318においては、ジョイスティックコントロール320などのユーザインターフェースコントロールが、ユーザデバイスに表示され得る。したがって、コントロール320は、デバイス102がエンゲージされたというフィードバックをユーザに与え得る。1つまたは複数の実施形態においては、音声フィードバックが、状態の変化を示すために与えられる可能性がある。
図6〜図11を参照すると、3D物体検出によるエンゲージされたシステムの制御の例示的な使用事例が、一部の実施形態にしたがって示される。
図6においては、システムが「エンゲージされた状態」になると、ユーザは、ジョイスティック320などのユーザインターフェースコントロールを用いてズーム、パンなどの異なる機能を実行し得る。
ユーザインターフェースコントロール上で、実際の検出された座標(例えば、一実施形態による、図1に関連して上で説明された点「A」の3D座標)が、ドット422によって示される可能性がある。
セクション(section)または円424によって示される可能性があるユーザインターフェースコントロールの中心が、ジョイスティック320の中心として使用される可能性がある。中心セクションまたは円424の周りの外側領域426は、ジョイスティック320の旋回点(pivot point)として扱われ得る。
図7においては、中心コントロールセクション424が、ズームコントロールに関連付けられ得る。外側領域またはセクション426は、例えば、セクタ428aを含むセクタに分割される可能性がある。セクタは、パンコントロールである可能性がある。例えば、セクタ428aは、「パンアップ」コントロール領域である可能性がある。
図8においては、1つまたは複数の実施形態にしたがって、外側領域が、表示されたコントロールを越えて拡張され得る。一部の実施形態において、外側領域は、セクタの角度によってのみ境界を定められる可能性がある。例えば、セクタ428aに関して、外側領域は、位置AとBとの間のセクタの角度によって境界を定められる可能性がある。このように、セクタ428aに対応する「パンアップ」領域は、セクタ428aに関する対応するセクタの角度によって境界を定められた外側領域へとセクタ428aを越えて拡張される可能性がある。その他の実施形態において、赤く強調されたセクタ428aの部分を越えて物体またはドットを動かすことは、いかなるアクションも生じない可能性があり、または異なるアクション、例えば、異なる程度にパンすることまたは次の好ましい地図に飛ぶことを生じる可能性がある。
図9においては、一部の実施形態にしたがって、物体(例えば、指)がデバイス302に表示された中心領域424内に浮かんでいる場合、システムは、ズームモードである可能性がある。この場合、システムは、z座標を用いて物体からデバイス302までの距離を判定し得る。参照番号432によって示されるように、物体をデバイス302から遠ざけるように動かすことは、「ズームアウト」に対応する可能性がある。図10において、参照番号434によって示されるように、物体をデバイス302に向かって動かすことは、「ズームイン」に対応する可能性がある。一部の実施形態において、ズームは、例えば、パンおよびズームが同時に実行され得るように、物体が中心領域424の外にあるものとして検出されるときでさえも実行され得る。
さまざまな実施形態において、ズームモードは、3D座標(x, y, z)および速度を考慮に入れる可能性がある。最小および最大の検出可能なz点が存在する可能性がある。例えば、ユーザが最大閾値を超え、検出可能な距離内にまだいる場合、ズームアウト(例えば、地図のズームアウト)は、所定の設定されたステップおよび/または間隔で継続する可能性がある。比較例として、ユーザは、物理的なジョイスティックデバイスをそのデバイスの最大限まで引く可能性がある。スティックはそれ以上動かない可能性があるが、スティックを引き上げ、上げたまま保つ力はかかっている。反対に、同様のメカニズムが、スティックをそのスティックの最小限まで押すときに適用される可能性がある。この点で、ユーザが最小閾値を超える場合、ズームイン(例えば、地図のズームイン)は、所定の設定されたステップおよび/または間隔で継続する可能性がある。さまざまな実施形態において、最小閾値および最大閾値は、構成可能である可能性があり、および/またはデバイスの較正に基づく可能性がある。
一部の実施形態においては、物体が円424内でデバイス302に平行な方向に移動する場合、ズームが行われない可能性がある。物体がデバイス302に近づくようにまたはデバイス302から離れるように移動していないので、ズーム機能は実行されない可能性がある。その他の場合、たとえ物体がデバイス302にほんのわずかに、例えば、何らかの所定の閾値の距離内で近づくようにまたはデバイス302から離れるように移動するとしても、ズームは行われない可能性もある。このようにして、物体は、わずかな乱れ、震え、または揺らぎで動いているものとして検出される可能性があり、一部の実施形態による方法は、結果としていかなるアクションも意図的に実行しない可能性がある。そのような機能は、デバイス302のアプリケーションの動作を意図せず操作することによるいかなる混乱も生じないように、小さな意図されていない動き、例えば、物体が揺れる自動車内でわずかに動くことを許容する可能性がある。物体の検出された変化がアプリケーションの操作をもたらさない円424内のこの3次元空間は、本明細書においては「安定区域」または「不感区域」と呼ばれる可能性がある。
ここで図11を参照すると、ズームの閾値が、一部の実施形態にしたがって示される。ここでは、指などの物体が、図9および図10の実施形態に示されたように、ズームインまたはズームアウトを実施するものとして検出され得る。図11においては、物体(例えば、指)が、動的なズーム範囲406を越え、最大閾値405を越えた範囲の外に動かされたものとして検出される可能性がある。物体が最大検出可能距離409までの(つまり、最大の検出可能なz点までの)継続ズームアウト範囲410内にある場合、アクション、すなわち、ズームアウトが、所定の設定されたステップおよび/または間隔で継続する可能性がある。
反対に、物体(例えば、指)が、動的なズーム範囲406の下に、最小閾値407を越えて動かされたものとして検出され可能性がある。物体が継続ズームイン範囲411内にある場合、アクション、すなわち、ズームインが、所定の設定されたステップおよび/または間隔で継続する可能性がある。
図12においては、一部の実施形態にしたがって、アプリケーションまたはアクションが最大閾値または最小閾値に達した場合、例えば、参照番号442で示されるように、音声フィードバックまたは視覚フィードバックが、状態または機能の変化を示すために与えられ得る。例えば、デバイス302上の画像が、ズームアウトの最大閾値が達せられ、自動ズームアウトが開始されたことを表示し得る。この場合、視覚的合図442が、物体(例えば、指)がデバイス302の上で最大のレベルに持ち上げられたことを示し、その最大のレベルで、アプリケーションは、応答を変える(例えば、ズームアウトを変える)可能性がある。
図13を参照すると、パンなどのアクションが、一部の実施形態にしたがって実施され得る。この点で、物体(例えば、指)がズーム領域の外、例えば、ジョイスティック320などのコントロールの中心円の外の外側領域に浮かぶ場合、ジョイスティック320は、旋回する可能性がある。角度の旋回が、検出された座標、例えば、ドット452によって表される座標によって決定され得る。図13においては、矢印454によって示されるように、ユーザは、物体(すなわち、ユーザの指)を右に旋回させる可能性がある。結果として、ユーザデバイスに表示されるコンテンツ、例えば、地図アプリケーションが、所定のステップおよび/または間隔で右にパンする。
図14を参照すると、ドット452は、実際の検出された3D座標を示す。視覚フィードバック、例えば、色を変えること、点滅することなどが可能な視覚インジケータ456が、ユーザデバイスに表示されるコンテンツ、例えば、地図がパンしていることを示すために与えられ得る。また、音声フィードバックが、モード/機能の変化を示すために与えられ得る。
リアルタイムで、コンテンツ、例えば、地図が、ジョイスティック320などのコントロールが表示されている間にパンしている可能性がある。この点で、物体が右パンのセクタ内に浮かぶ限り、地図は、特定の速さで右にパンし続ける可能性がある。
加えて、ユーザデバイスに表示されるコンテンツ、例えば、地図は、ドット452によって特定される検出される座標がパンのセクタ内にある場合、パンし続ける可能性がある。さまざまな実施形態によれば、そのような特徴は、構成可能な挙動である可能性がある。
ジョイスティック320の旋回に関して、ジョイスティック320は、物体(例えば、指)の浮遊が何らかの特定の角度に動かされるとき旋回される可能性があり、速度が、計算される可能性がある。例えば、ユーザが物体(例えば、指)を右に素早く動かす場合、パンの速さが、速度に合わせて増減され得る。図14の例に示されるように、ユーザが外側の円455の外に移動する場合、パンの速さは、円または安定区域のすぐ外の第1の領域内に留まるときに使用されるパンの速度と比較して増やされる可能性があり、例えば、倍にされる可能性がある。速度または速さは、検出された座標が中心コントロールからどれだけ遠くにあるかに応じて決定され、増減される可能性がある。例えば、図14において、パンの速さは、検出された座標またはドット452が中心または最初の検出された座標、すなわち、ジョイスティックの中心からどれだけ遠くにあるかに応じて決定され、増減される可能性がある。実施形態が地図の「ジョイスティック」コントロールに関連して説明され、示されたが、当業者は、その他の実施形態が実装され得ることを理解するであろう。例えば、ズームおよびパンに加えてその他の機能が、システムのエンゲージメントの後に物体の3D位置を検出することに基づいて実施され得る。さらに、物体が追跡される可能性、物体の絶対座標が判定される可能性、物体の動きの仮想的な力が判定される可能性などがある。さらに、地図以外の情報および/または画像が、表示される可能性がある。さらに、一部の実施形態においては、物体の動作または位置だけが検出され得るのではなく、物体の傾きも検出され得る。一部の実施形態においては、物体が、所定の期間、ディスプレイに対する境界領域内に浮かんでいるものとして検出されるとき、3Dディスプレイがエンゲージされる。そのような実施形態においては、物体の向きのその後検出された動作が、表示された3D画像を横に動かすこと、要素を(例えば、フォルダ内またはその他の場所に)動かすことなどのために使用され得る。
1つまたは複数の実施形態によれば、システムは、さまざまな方法でエンゲージメントを解除され得る。例えば、ユーザは、そのユーザの手をユーザデバイスから素早く外す可能性がある。その他の場合、エンゲージメント解除は、必ずしもデバイスから完全に外されないが、ユーザの手の突然の振りまたは震えを検出するなど、ユーザの手の速度の突然の増加を検出すると行われる可能性がある。その他の場合、エンゲージメント解除は、必ずしもデバイスから完全に外されない可能性があるが、元の安定区域の初期化から十分に遠く離れて、例えば、何らかの所定の閾値の距離だけ離れてユーザの手が移動することを検出すると行われる可能性がある。場合によっては、エンゲージメント解除は、ユーザの手がこれらの例のいずれかによる閾値の距離に達した後、所定の閾値の量の時間待つことも含む。その他の例があり得、実施形態はそのように限定されない。その後、システムは、例えば、1)いかなる新しい座標の更新もなく所定の量の時間(例えば、2〜3秒)が過ぎたこと、2)システムがシステムモード変更を受け取ること、または3)物体が検出されないことを含む特定の出来事またはトリガが起こるとエンゲージメントを解除される可能性がある。さらに、エンゲージメント解除は、エンゲージメント解除アクション、ジェスチャ、またはコマンドを検出すると実施される可能性がある。
システムがエンゲージメントを解除されると、視覚インジケータ、例えば、ジョイスティックなどのコントロールが、ユーザデバイスのディスプレイから削除される可能性があり、および/または音声の指示が、ユーザに示される可能性がある。
有利なことに、本明細書の1つまたは複数の実施形態によれば、システムのエンゲージメント解除は、ユーザにとって即座に見え、自然に感じられ得る。
ここで図15を参照すると、流れ図が、本開示の一実施形態による3D物体検出によってシステムをエンゲージするための方法を示す。
ブロック602において、システムが、物体、例えばユーザデバイス上に浮かぶ指が検出されるかどうかを判定し得る。システムは、物体を継続的に検出するように構成され得る。
ブロック604において、物体が検出されない場合、システムがエンゲージメントを解除される。
ブロック606において、物体が検出されない場合、例えば、特定の量の時間(システムの上の座標内に、またはシステムに対して画面外に)浮かぶ物体が検出されない場合、エンゲージメントタイマーが取り消され得る。
ブロック608において、システムが、物体が検出されると判定する場合、物体の座標(例えば、3D座標)が、システムに入力され得る。
ブロック610において、システムがエンゲージされるかどうかが判定される。システムがエンゲージされる場合、プロセスは、システムがエンゲージされるブロック615に続く。
ブロック612において、システムがエンゲージされない場合、エンゲージメントタイマーが開始され得るかまたは継続され得る。
ブロック614において、エンゲージメントタイマーにより測定されるタイムアウトの前にシステムがエンゲージされ得る。例えば、所定の量の時間浮かんでいる物体が検出されるとシステムがエンゲージされる。システムがエンゲージされると、プロセスは、ブロック615に続く。
ブロック616において、システムがエンゲージされると、システムが、システムに入力された物体の3D座標が境界を定められた円などの境界を定められた領域内にあるかどうかを判定する。
ブロック618において、物体の3D座標が境界を定められた領域内にない場合、旋回角(pivot angle)が計算され、操られ得る。
ブロック620において、物体の3D座標が境界を定められた領域内にある場合、中心コントロール、例えば、ジョイスティックの中心コントロールが操られ得る。
ブロック622において、システムは、例えば、1)いかなる座標の更新もなく所定の量の時間が過ぎること、2)システムがシステムモード変更を受け取ること、または3)物体が検出されないことを含む出来事またはトリガがシステムにエンゲージメントを解除させるまでエンゲージされたままである。
図16A、図16B、および図16Cを参照すると、一部の実施形態に合致するさらなる流れ図が与えられる。図16Aのブロック1602において、アプリケーションを制御するための方法が、ユーザがデバイスの近くに浮かぶ物体またはジェスチャをある位置において維持することを検出することを含み得る。物体またはジェスチャは、本開示のいずれかで検討された例示的な物体またはジェスチャのいずれかを、当業者に知られている整合性のあるありとあらゆるその他の変種とともに含み得る。デバイスは、タブレットまたはモバイル電話などのモバイルデバイスである可能性があるが、コンピュータモニタ、テレビ、デジタルキオスクなどのより固定的なデバイスを含み得る。
ブロック1604において、方法は、ブロック1602において見つかった検出に基づいて物体またはジェスチャの最初の位置にアンカーを打つことを含み得る。アンカーを打たれる位置は、図1〜図14で検討された説明のいずれとも合致し得る。例えば、アンカーを打たれる位置は、デバイスの近くに浮かぶ物体またはジェスチャの最初の位置で始まるジョイスティック状の制御機能を含み得る。
ブロック1606において、方法は、アンカーを打たれた最初の位置を用いて、デバイスで動作するかまたはデバイスに関連するアプリケーションを制御することを含む。アプリケーションは、デバイスで実行され得る任意の種類のプログラムを含む可能性がある。例示的なアプリケーションは、図3〜図14で検討された地図アプリケーションのような地図アプリケーションを含み得る。アプリケーションを制御することは、図1〜図15のいずれかに示されたアプリケーションを制御するための任意の例の詳細および当業者にすぐに分かるその他のコントロールを含み得る。
図16Bを参照すると、ブロック1606でアプリケーションを制御するための例の詳細が示される。例えば、ブロック1612において、アプリケーションを制御することは、デバイスに対するジェスチャまたは物体の高さの変化を安定区域で検出することに基づいてアプリケーションを操作することを含み得る。一部の実施形態において、本明細書において言及される高さは、単に、例えば、デバイスから離れる、上、後ろ、下などの水平、垂直、斜めなどの距離である可能性がある。上述のように、一部の実施形態において、安定区域は、アンカーを打たれた最初の位置を中心にして生成される。一部の実施形態において、安定区域は、図2および図5〜図14に示された円形領域に合致する。一部の実施形態において、アプリケーションの操作は、高さの変化に応じてアプリケーションのズームインまたはズームアウトアクションを実行することを含む。
ブロック1614において、アプリケーションを制御することは、物体またはジェスチャが安定区域内でデバイスの上のデバイスに平行な平面に沿って移動するところを検出される場合、アプリケーションを意図的に操作しないことを含み得る。つまり、物体またはジェスチャは、安定区域内で、デバイスに近づかずまたはデバイスから遠ざからずに移動しているだけである可能性がある。一部の実施形態において、アプリケーションを操作しないことは、アンカーを打たれた最初の位置から狭い領域内でデバイスに近づくかまたはデバイスから遠ざかる動きを検出することを含む可能性もある。つまり、物体またはジェスチャは、任意の3次元の方向にほんのわずかに動き、なおもアプリケーションを操作しない可能性がある。
図16Cを参照して、ブロック1612においてアプリケーションを操作する例の詳細が検討される。一部の実施形態においては、ブロック1622で、アプリケーションを操作することは、物体またはジェスチャが安定区域の外の第1の領域の上に浮いているところを検出される場合に、第1の速さを有する第1のパンアクションを実行することを含み得る。例示的な第1の領域は、図5〜図14のいずれかに示された外側の円部分を含み得る。また、第1の領域は、複数の下位領域にさらに分割される可能性があり、異なる下位領域の上に浮かぶことは、わずかに異なるアクション、例えば、異なる方向であるが、第1の領域内のその他のアクションと同じ速さのパン動作をもたらす。
一部の実施形態においては、ブロック1624で、アプリケーションを操作することは、物体またはジェスチャが安定区域の外の第2の領域の上に浮かんでいるところを検出される場合に、第2の速さを有する第2のパンアクションを実行することをさらに含み得る。一部の実施形態において、第2の領域は、第1の領域よりも安定区域から遠い。一部の実施形態において、第1のパンアクションに関連する第1の速さは、第2のパンアクションに関連する第2の速さよりも遅い。
一部の実施形態においては、ブロック1626で、アプリケーションを操作することは、物体またはジェスチャが安定区域の外の第3の領域の上に浮かんでいるところを検出される場合に、第3のアクションを実行することをさらに含み得る。一部の実施形態において、第3の領域は、第2の領域よりも安定区域から遠い。一部の実施形態において、第3のアクションは、第3の速さを有するパンアクションを含み得る。その他の実施形態において、第3のアクションは、本開示において説明された任意のアクションに合致するその他の種類のアクション、または当業者にすぐに分かるその他のアクションを含み得る。
ここで図17を参照すると、デバイスを実装するためのシステムのブロック図が、本開示の一実施形態にしたがって示される。システム1700は、モバイルデバイス、スマートフォン、携帯情報端末(PDA)、タブレット、ラップトップ、パーソナルコンピュータ、TVなどの有線またはワイヤレスデバイスを含む任意の種類のデバイスを実装するために使用され得る。
図17に示されたシステム1700は、デバイス102または302を含む本開示の実施形態を実装するのに好適である可能性がある。例えば、デバイス、例えば、スマートフォン、タブレット、パーソナルコンピュータ、および/またはネットワークサーバの一部などのシステム1700は、処理構成要素1704(例えば、プロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)など)、システムメモリ構成要素1706(例えば、RAM)、静的なストレージ構成要素1708(例えば、ROM)、ネットワークインターフェース構成要素1712、ディスプレイもしくは出力構成要素1714(もしくは代替的に、外部ディスプレイへのインターフェース)、入力構成要素1716(例えば、キーパッドもしくはキーボード)、および/またはカーソル制御構成要素1718(例えば、マウスパッド、ジョイスティック)のうちの1つまたは複数を含むサブシステムおよび構成要素を相互接続するバス1702または情報を伝達するためのその他の通信メカニズムを含み得る。さまざまな実施形態において、入力構成要素1716は、(例えば、マイクロフォンおよび/もしくは超音波エミッタを用いる)超音波テクノロジー、カメラなどの画像もしくは映像撮影テクノロジー、IRもしくはUVテクノロジー、磁界テクノロジー、または放出電磁放射テクノロジーなどのタッチレステクノロジーを含む可能性がある物体検出構成要素を含み得る。
本開示の実施形態によれば、システム1700は、プロセッサ1704がシステムメモリ構成要素1706に含まれる1つまたは複数の命令の1つまたは複数のシーケンスを実行することによって特定の動作を実行する。そのような命令は、静的なストレージ構成要素1708などの別のコンピュータ可読記録媒体からシステムメモリ構成要素1706に読み込まれ得る。これらは、3D物体検出によってシステムまたはデバイスをエンゲージし、システムがエンゲージされると、特定のモード、機能のコントロール、またはインターフェースに切り替えるための命令を含み得る。その他の実施形態においては、本開示の1つまたは複数の実施形態の実装のためにソフトウェア命令の代わりにまたはソフトウェア命令と組み合わせて、結線された回路が使用される可能性がある。例えば、処理構成要素1704が、例えば、システムメモリ構成要素1706、ストレージ構成要素1708、ディスクドライブもしくは外部メモリ構成要素1710、および/またはネットワークインターフェース構成要素1712と組み合わせて、例えば、入力構成要素1716によって検出された物体の場所または位置に基づいて、図15に示されたブロック602〜622および/または図16A〜図16Cのブロック1602〜1626のうちの1つまたは複数を実施するために使用され得る。
論理が、コンピュータ可読記録媒体で符号化される可能性があり、コンピュータ可読記録媒体は、実行するためにプロセッサ1704に命令を与えることに関与する任意の媒体を指す可能性がある。そのような媒体は、不揮発性媒体、揮発性媒体、および送信媒体を含むがこれらに限定されない多くの形態をとり得る。さまざまな実装において、揮発性媒体は、システムメモリ構成要素1706などの動的なメモリを含み、送信媒体は、バス1702を含む配線を含む同軸ケーブル、銅線、および光ファイバを含む。メモリは、システムを特定のモード、機能のコントロール、またはインターフェースに切り替えるための異なるオプションの表現を記憶するために使用され得る。一例においては、特定の物体の動きが、「ズームアウト」を表す可能性がある、物体が中心領域の上に浮いているところを検出される場合にデバイスに対して物体を離すように引くこと、「ズームイン」を表す可能性がある、デバイスに向かって検出された物体を押し下げることなどの特定のアクションに関連して記憶される可能性がある。一部の実施形態において、送信媒体は、無線波および赤外線データ通信中に生成される音波または光波などの音波または光波の形態をとる可能性がある。コンピュータ可読記録媒体のいくつかのよくある形態は、例えば、RAM、PROM、EPROM、FLASH-EPROM、任意のその他のメモリチップもしくはカートリッジ、搬送波、またはコンピュータが読み取るように適合される任意のその他の媒体を含む。コンピュータ可読記録媒体は、非一時的である可能性がある。
本開示のさまざまな実施形態において、本開示を実施するための命令シーケンスの実行は、システム1700によって行われ得る。さまざまなその他の実施形態においては、通信リンク1720(例えば、WiFi、またはその他の有線もしくはワイヤレスネットワーク)によって結合された複数のシステム1700が、互いに協調して、本開示を実施するための命令シーケンスを実行する可能性がある。システム1700は、通信リンク1720および通信インターフェース1712を通じて1つまたは複数のプログラム(つまり、アプリケーションコード)を含むメッセージ、データ、情報、および命令を送信および受信し得る。受信されたプログラムコードは、受信されたときにプロセッサ1704によって実行される可能性があり、および/または実行するためにディスクドライブもしくは外部メモリ構成要素1710もしくは何らかのその他の不揮発性ストレージ構成要素に記憶される可能性がある。
当業者が今では理解するであろうように、目下の特定の応用に応じて、本開示の精神および範囲を逸脱することなく、本開示の材料、装置、構成、およびデバイスの使用の方法で、それらに対して多くの修正、置き換え、および変更がなされ得る。これを考慮すると、本開示の範囲は、本明細書において示され、説明された特定の実施形態が本開示のいくつかの例であるに過ぎないのでそれらの特定の実施形態の範囲に限定されるべきでなく、むしろ、この後ろに添付された請求項およびそれらの請求項の機能的な均等物の範囲と完全に等しくあるべきである。
102 デバイス
104 物体
206 境界円
302 ユーザデバイス、デバイス
304 指
310 地図
312 視覚インジケータ、視覚フィードバック
320 ジョイスティックコントロール、ジョイスティック、コントロール
405 最大閾値
406 動的なズーム範囲
407 最小閾値
409 最大検出可能距離
410 継続ズームアウト範囲
411 継続ズームイン範囲
422 ドット
424 セクションまたは円、中心セクションまたは円、中心コントロールセクション、中心領域、円
426 外側領域、外側領域またはセクション
428a セクタ、パンアップ領域
442 視覚的合図
452 ドット
454 矢印
455 外側の円
456 視覚インジケータ
1700 システム
1702 バス
1704 処理構成要素、プロセッサ
1706 システムメモリ構成要素、システムメモリ
1708 静的なストレージ構成要素、ストレージ構成要素、ストレージデバイス
1710 外部メモリ構成要素、外部メモリ入力
1712 ネットワークインターフェース構成要素、通信インターフェース
1714 出力構成要素、出力デバイス
1716 入力構成要素、入力デバイス
1718 カーソル制御構成要素、カーソル制御デバイス
1720 通信リンク

Claims (13)

  1. デバイスでアプリケーションを制御するための方法であって、
    閾値の長さの時間の間、ユーザが前記デバイスの近くに浮かぶ物体またはジェスチャをある位置において維持していることを検出するステップと、
    前記維持された位置の検出に基づいて前記デバイスに対して前記物体または前記ジェスチャの最初の位置にアンカーを打つステップと、
    前記検出に応答して、前記アンカーを打たれた最初の位置からの前記物体または前記ジェスチャの変化に関連付けられた1つまたは複数のコマンドを示すユーザインタフェースを表示することを含めて、前記デバイスをエンゲージするステップと、
    前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するステップとを含み、
    前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するステップが、
    前記アンカーを打たれた最初の位置に関連する安定区域内で前記デバイスに対する前記ジェスチャまたは前記物体の高さの変化を検出することに基づいて前記アプリケーションを操作するステップと、
    前記物体または前記ジェスチャが前記安定区域内で前記デバイスの上の前記デバイスに平行な平面に沿って移動するところを検出されるときにはいつも前記アプリケーションを操作しないステップとを含む
    方法。
  2. 前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するステップが、前記物体または前記ジェスチャが前記安定区域の外の領域の上に浮かんでいるところを検出されるときにはいつも前記アプリケーションを操作するステップをさらに含み、
    前記アプリケーションを操作するステップが、
    前記物体または前記ジェスチャが前記安定区域の外の第1の領域の上に浮いているところを検出される場合に、第1の速さを有する第1のパンアクションを実行するステップと、
    前記物体または前記ジェスチャが前記安定区域の外の第2の領域の上に浮いているところを検出される場合に、第2の速さを有する第2のパンアクションを実行するステップであって、前記第2の領域が、前記第1の領域よりも前記安定区域から遠い、ステップとを含む請求項1に記載の方法。
  3. 前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するステップが、前記デバイスの上に浮かぶ3次元空間内の前記物体または前記ジェスチャの少なくとも1つの動きを検出するステップを含む請求項1に記載の方法。
  4. 前記アプリケーションを操作するステップが、前記最初の位置に対する前記デバイスの上に浮かぶ前記物体または前記ジェスチャの位置に基づく請求項2に記載の方法。
  5. 前記アプリケーションを操作するステップが、
    前記物体または前記ジェスチャが前記安定区域の外の第3の領域に浮かんでいるところを検出される場合に第3のアクションを実行するステップであって、前記第3の領域が、前記第2の領域よりも前記安定区域から遠い、ステップをさらに含む請求項2に記載の方法。
  6. 前記ユーザが前記デバイスの上の位置に前記ジェスチャまたは前記物体を浮かべていることを検出するステップをさらに含む請求項1に記載の方法。
  7. 前記ユーザが前記デバイスの下の位置に前記ジェスチャまたは前記物体を浮かべていることを検出するステップをさらに含む請求項1に記載の方法。
  8. 前記アプリケーションを制御するステップが、前記アンカーを打たれた最初の位置に基づいて前記アプリケーションにアンカーを打たれた前記ユーザインターフェースを使用するステップを含む請求項1に記載の方法。
  9. 前記アプリケーションにアンカーを打たれた前記ユーザインターフェースが、前記デバイスの近くに浮かぶ検出されたジェスチャまたは物体の前記最初の位置に応じて前記アプリケーション上で中心を決められる請求項8に記載の方法。
  10. 装置であって、
    閾値の長さの時間の間、ユーザが装置の近くに浮かぶ物体またはジェスチャをある位置において維持していることを検出するための手段と、
    前記維持された位置の検出に基づいて装置に対して前記物体または前記ジェスチャの最初の位置にアンカーを打つための手段と、
    前記検出に応答して、前記アンカーを打たれた最初の位置からの前記物体または前記ジェスチャの変化に関連付けられた1つまたは複数のコマンドを示すユーザインタフェースを表示することを含めて、前記装置をエンゲージするための手段と、
    前記アンカーを打たれた最初の位置を用いて装置で動作するアプリケーションを制御するための手段とを含み、
    前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するための前記手段が、
    前記アンカーを打たれた最初の位置に関連する安定区域内で前記装置に対する前記ジェスチャまたは前記物体の高さの変化を検出することに基づいて前記アプリケーションを操作ための手段と、
    前記物体または前記ジェスチャが前記安定区域内で前記装置の上の前記装置に平行な平面に沿って移動するところを検出されるときにはいつも前記アプリケーションを操作しないための手段とを含む、
    装置。
  11. 前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するための前記手段が、前記物体または前記ジェスチャが前記安定区域の外の領域の上に浮かんでいるところを検出されるときにはいつも前記アプリケーションを操作するための手段をさらに含み、
    前記アプリケーションを操作するための前記手段が、
    前記物体または前記ジェスチャが前記安定区域の外の第1の領域の上に浮いているところを検出される場合に、第1の速さを有する第1のパンアクションを実行するための手段と、
    前記物体または前記ジェスチャが前記安定区域の外の第2の領域の上に浮いているところを検出される場合に、第2の速さを有する第2のパンアクションを実行するための手段であって、前記第2の領域が、前記第1の領域よりも前記安定区域から遠い、手段とを含む請求項10に記載の装置。
  12. 前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するための前記手段が、前記装置の上に浮かぶ3次元空間内の前記物体または前記ジェスチャの少なくとも1つの動きを検出するための手段を含む請求項10に記載の装置。
  13. プロセッサに、請求項1乃至9の何れか1項に記載の方法を実施させるように構成されたプロセッサ可読命令を含む、非一時的プロセッサ可読記憶媒体。
JP2015556015A 2013-02-05 2013-12-23 ３ｄ物体検出によるシステムのエンゲージメントのための方法 Expired - Fee Related JP6297599B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361761186P 2013-02-05 2013-02-05
US61/761,186 2013-02-05
US14/034,204 2013-09-23
US14/034,204 US9720504B2 (en) 2013-02-05 2013-09-23 Methods for system engagement via 3D object detection
PCT/US2013/077511 WO2014123637A1 (en) 2013-02-05 2013-12-23 Methods for system engagement via 3d object detection

Publications (3)

Publication Number Publication Date
JP2016505188A JP2016505188A (ja) 2016-02-18
JP2016505188A5 JP2016505188A5 (ja) 2017-02-02
JP6297599B2 true JP6297599B2 (ja) 2018-03-20

Family

ID=51260433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015556015A Expired - Fee Related JP6297599B2 (ja) 2013-02-05 2013-12-23 ３ｄ物体検出によるシステムのエンゲージメントのための方法

Country Status (6)

Country Link
US (1) US9720504B2 (ja)
EP (1) EP2954397B1 (ja)
JP (1) JP6297599B2 (ja)
KR (1) KR20150114518A (ja)
CN (1) CN104956307B (ja)
WO (1) WO2014123637A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) * 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9436288B2 (en) * 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
WO2015047242A1 (en) * 2013-09-25 2015-04-02 Schneider Electric Buildings Llc Method and device for adjusting a set point
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US20150231491A1 (en) * 2014-02-19 2015-08-20 Microsoft Corporation Advanced Game Mechanics On Hover-Sensitive Devices
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US9830073B2 (en) * 2014-12-12 2017-11-28 Alpine Electronics, Inc. Gesture assistive zoomable selector for screen
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US11416077B2 (en) * 2018-07-19 2022-08-16 Infineon Technologies Ag Gesture detection system and method using a radar sensor

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7786980B2 (en) * 2004-06-29 2010-08-31 Koninklijke Philips Electronics N.V. Method and device for preventing staining of a display device
US7924271B2 (en) * 2007-01-05 2011-04-12 Apple Inc. Detecting gestures on multi-event sensitive devices
US8219936B2 (en) 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US8933876B2 (en) * 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8237666B2 (en) * 2008-10-10 2012-08-07 At&T Intellectual Property I, L.P. Augmented I/O for limited form factor user-interfaces
US20110213655A1 (en) * 2009-01-24 2011-09-01 Kontera Technologies, Inc. Hybrid contextual advertising and related content analysis and display techniques
EP2389622A1 (en) * 2009-01-26 2011-11-30 Zrro Technologies (2009) Ltd. Device and method for monitoring an object's behavior
KR101857564B1 (ko) * 2009-05-15 2018-05-15 삼성전자 주식회사 휴대 단말기의 이미지 처리 방법
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
US20120120029A1 (en) * 2009-07-23 2012-05-17 Mccarthy John P Display to determine gestures
JP2012094085A (ja) * 2010-10-29 2012-05-17 Hitachi Consumer Electronics Co Ltd 入力装置
US20120120002A1 (en) * 2010-11-17 2012-05-17 Sony Corporation System and method for display proximity based control of a touch screen user interface
JP5614275B2 (ja) * 2010-12-21 2014-10-29 ソニー株式会社 画像表示制御装置および画像表示制御方法
US9430128B2 (en) * 2011-01-06 2016-08-30 Tivo, Inc. Method and apparatus for controls based on concurrent gestures
CN103097989B (zh) * 2011-01-31 2016-03-16 松下电器产业株式会社 信息处理装置以及处理控制方法
JP2012194915A (ja) * 2011-03-17 2012-10-11 Seiko Epson Corp 画像表示システム
US9285950B2 (en) * 2011-03-30 2016-03-15 Google Inc. Hover-over gesturing on mobile devices
US9182838B2 (en) * 2011-04-19 2015-11-10 Microsoft Technology Licensing, Llc Depth camera-based relative gesture detection
JP5701714B2 (ja) * 2011-08-05 2015-04-15 株式会社東芝 ジェスチャ認識装置、ジェスチャ認識方法およびジェスチャ認識プログラム
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US20130204457A1 (en) * 2012-02-06 2013-08-08 Ford Global Technologies, Llc Interacting with vehicle controls through gesture recognition
NL2008683C2 (en) * 2012-04-23 2013-10-28 Gerald Jules Rudolf Taunay Method, system and computer program for determining distances and positions.
US8451246B1 (en) * 2012-05-11 2013-05-28 Google Inc. Swipe gesture classification
US9541417B2 (en) * 2012-06-05 2017-01-10 Apple Inc. Panning for three-dimensional maps
US9418672B2 (en) * 2012-06-05 2016-08-16 Apple Inc. Navigation application with adaptive instruction text
US10331219B2 (en) * 2013-01-04 2019-06-25 Lenovo (Singaore) Pte. Ltd. Identification and use of gestures in proximity to a sensor
US20140198059A1 (en) * 2013-01-16 2014-07-17 Research In Motion Limited Electronic device with touch-sensitive display and gesture-detection
US9092665B2 (en) * 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) * 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9298266B2 (en) * 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
KR20150073354A (ko) * 2013-12-23 2015-07-01 삼성전자주식회사 디스플레이를 통하여 제공되는 오브젝트 처리 방법 및 장치
KR102167289B1 (ko) * 2014-06-03 2020-10-19 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
US9830073B2 (en) * 2014-12-12 2017-11-28 Alpine Electronics, Inc. Gesture assistive zoomable selector for screen

Also Published As

Publication number Publication date
KR20150114518A (ko) 2015-10-12
JP2016505188A (ja) 2016-02-18
EP2954397B1 (en) 2018-03-28
US9720504B2 (en) 2017-08-01
CN104956307A (zh) 2015-09-30
WO2014123637A1 (en) 2014-08-14
CN104956307B (zh) 2018-07-13
US20140223385A1 (en) 2014-08-07
EP2954397A1 (en) 2015-12-16

Similar Documents

Publication Publication Date Title
JP6297599B2 (ja) ３ｄ物体検出によるシステムのエンゲージメントのための方法
US10416789B2 (en) Automatic selection of a wireless connectivity protocol for an input device
CN107533373B (zh) 虚拟现实中经由手与对象的场境敏感碰撞的输入
KR101872426B1 (ko) 깊이 기반 사용자 인터페이스 제스처 제어
KR101710972B1 (ko) 논-터치 제스처를 사용하여 단말 기기를 제어하는 방법 및 장치
KR102194272B1 (ko) 제스처들을 이용한 터치 입력들의 향상
KR102091028B1 (ko) 사용자 기기의 오브젝트 운용 방법 및 장치
US9529527B2 (en) Information processing apparatus and control method, and recording medium
WO2016109409A1 (en) Virtual lasers for interacting with augmented reality environments
KR20150130379A (ko) 센서 융합을 통한 상호작용 입력들의 확장
KR20120056211A (ko) 정보처리장치 및 그 동작 방법
US10474324B2 (en) Uninterruptable overlay on a display
JP5865615B2 (ja) 電子機器および制御方法
KR20170003689A (ko) 화면 자동 회전을 제어하는 방법, 장치 및 단말기
JP6075193B2 (ja) 携帯端末装置
US10791278B2 (en) Monitoring apparatus and system
WO2019130896A1 (ja) 表示制御装置、表示制御方法およびプログラム
JP7383471B2 (ja) 電子機器およびその制御方法
KR101898162B1 (ko) 다중 센서감지를 통해 다른 기기로 추가기능 및 피드백을 제공하는 기기 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180221

R150 Certificate of patent or registration of utility model

Ref document number: 6297599

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees