JP6449861B2 - ジェスチャ制御デバイス、方法、システム及び格納媒体 - Google Patents

ジェスチャ制御デバイス、方法、システム及び格納媒体 Download PDF

Info

Publication number
JP6449861B2
JP6449861B2 JP2016517316A JP2016517316A JP6449861B2 JP 6449861 B2 JP6449861 B2 JP 6449861B2 JP 2016517316 A JP2016517316 A JP 2016517316A JP 2016517316 A JP2016517316 A JP 2016517316A JP 6449861 B2 JP6449861 B2 JP 6449861B2
Authority
JP
Japan
Prior art keywords
gesture
control
range
size
magnitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016517316A
Other languages
English (en)
Other versions
JP2016534421A (ja
Inventor
パウルス トーマス アルノルドゥス タイセン
パウルス トーマス アルノルドゥス タイセン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016534421A publication Critical patent/JP2016534421A/ja
Application granted granted Critical
Publication of JP6449861B2 publication Critical patent/JP6449861B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

本発明は、制御可能なデバイスとともに使用するためのジェスチャ制御デバイスに関する。
また、本発明は、制御可能なデバイスとともに使用するためのジェスチャ制御方法に関する。
また、本発明は、実行されたときに前記方法の全てのステップを実行するプログラムを有する格納媒体に関する。
また、本発明は、ジェスチャ制御デバイス及び制御可能なデバイスを有するシステムに関する。
ジェスチャ制御は、市場によりますます採用されている。光センサ、容量性センサ、超音波センサ、2Dカメラ技術、3Dカメラ技術(例えば飛行時間)のような異なる技術が適用されている。
コストの視点から、最初の3つの技術は、高容量アプリケーションにおける使用のために特に魅力的である。一例は、PhilipsのShoqboxという製品である。この製品は、光センサを介したジェスチャ制御を特徴とする。これまで、個別のジェスチャだけが、次の/前の曲へ、又は、無音/非無音のオーディオへジャンプするためにサポートされる。光の調光は、ジェスチャ制御のための他の考えられるアプリケーションであり、或る空間範囲内における手の運動は、強度範囲内における光強度の効果を有する。
オーディオボリューム又は光強度のような、制御可能なデバイスの知覚可能な出力の大きさを制御することは、物理的なユーザ制御機能をもつシステムにおいて比較的直観的である(例えば、回転可能な若しくは摺動可能なノブ、又は、タッチスクリーン上での斯様なノブのシミュレーションのような仮想ユーザ制御機能)。
米国特許出願公開第2007/126696号明細書は、仮想ユーザインタフェースをグラフィカルユーザインタフェースにマッピングするためのシステム及び方法を開示していることに留意されたい。この方法は、仮想ユーザインタフェースの第1の座標系におけるオブジェクト運動の範囲を識別すること、グラフィカルユーザインタフェース(GUI)の第2の座標系における表示範囲を識別すること、及び、仮想マッピングを生成するためにオブジェクト動作の範囲を表示範囲にマッピングすることを含み得る。GUIは、コンピュータモニタのようなディスプレイ、ラップトップディスプレイ、又は、携帯電話機のようなモバイル通信デバイス、ポータブルミュージックプレーヤ、PDA(personal digital assistant)又は任意の他適切な通信デバイス上にあり得る。GUIは、VUIにおけるタッチレスセンシングを介して制御され得るメディア制御104のようなコンポーネントを含み得る。
物理的に制御されるデバイスとは逆に、ジェスチャ制御されるシステムにおいては、ユーザが制御されるデバイス上でのジェスチャの効果を推定することはより困難であり得るとともに、予想外の運動が制御されるデバイス上で不快な又は悲惨な効果をもたらし得る。例えば、光の調光アプリケーションにおいて、ユーザの手の運動は、光が予想外に最大の強度まで行き過ぎることをもたらし得る。これは不快かもしれない。サウンド制御アプリケーションにおいて、最大ボリュームへの予想外のオーバーシュートは、スピーカの損傷をもたらし得る。
本発明の目的は、制御されるデバイスの改良された制御を提供するジェスチャ制御デバイスを提供することにある。
本発明の他の目的は、制御されるデバイスの改良された制御を提供するジェスチャ制御方法を提供することにある。
本発明の更に他の目的は、実行されたときに、前記改良された方法の全てのステップを実行するプログラムを有する格納媒体を提供することにある。
本発明の更に他の目的は、改良されたジェスチャ制御デバイス及び制御可能なデバイスを有するシステムを提供することにある。
本発明の第1の態様によれば、制御可能なデバイスとともに使用するためのジェスチャ制御デバイスが提供され、当該ジェスチャ制御デバイスは、制御ジェスチャの大きさに応じて、予め決められた大きさの範囲内で前記制御可能なデバイスの知覚可能な出力の大きさを制御することを可能にし、当該ジェスチャ制御デバイスは、検出されたジェスチャを示す検出信号を供給するためのジェスチャ制御インタフェースと、前記検出信号に基づいて、前記知覚可能な出力の大きさを示すデバイス制御信号を生成するための大きさ制御ユニットとを含み、前記ジェスチャ制御インタフェースは、前記予め決められた大きさの範囲のサブレンジの前記大きさ制御ユニットによる選択に対応する、ジェスチャを選択するための少なくとも1つのサブレンジを認識可能であり、当該ジェスチャ制御デバイスは、制御される大きさを前記サブレンジ内に制限する。本発明によるジェスチャ制御デバイスにおいて、大きさの即座に利用可能な範囲は、制御デバイスにより潜在的に利用可能にされる大きさの範囲のサブレンジに制限される。それとともに、改良されたジェスチャ制御デバイスは、ユーザが制御可能な大きさを予想外の高い(又は低い)レベルに不注意に変え得ることを阻止する。それにもかかわらず、ユーザは、ジェスチャを選択する少なくとも1つのサブレンジを伴う適切な大きさのサブレンジを示すことにより、潜在的に利用可能な範囲内で大きさを依然として制御することができる。
本発明の典型的なアプリケーションは、光強度調節、オーディオのボリューム制御及び温度制御を含む。また、他のアプリケーションが可能であり、光色制御、リスト内のスクロール、画像操作(拡大縮小、回転)等のような、ジェスチャによる改良された制御が望ましい。
種々のオプションは、大きさのサブレンジの選択を遂行するために考えられる。例えば、検出信号により示される大きさがサブレンジの境界の間でクリップされる点で、大きさのサブレンジがもたらされてもよい。一実施形態において、サブレンジの選択は、前記大きさ制御ジェスチャのための利用可能なレンジを前記サブレンジにマッピングすることによりもたらされる。制御ジェスチャの大きさのための範囲は、例えばユーザの手の位置又は第1の境界と第2の境界との間の他のオブジェクトであり、第1の境界は、サブレンジの最も低い大きさに対応し、第2の境界は、サブレンジの最も高い大きさに対応する。この手法において、大きさが前記サブレンジに制限されるが実現されるだけではなく、ユーザが単にクリップすることにより可能なものよりも前記大きさを正確に制御し得ることも実現される。
種々のオプションが、大きさ制御ジェスチャのために考えられる。大きさ制御ジェスチャは、例えば、位置又は角度(例えば、手の位置又は向けられた方向の角度)により大きさの所望の値を示してもよい。代わりに、大きさ制御ジェスチャは、速度又は周波数(例えば、移動している手の速度又は振っている手の周波数)により大きさの所望の値を示してもよい。この文書において、位置という用語は、大きさ制御ジェスチャのためにアクセス可能なスケール上のポイントを示すために用いられる。簡単さのため、位置が0〜1のスケールで正規化されることが想定されるだろう。例えば、1〜5Hzの範囲の振っている手の周波数fは、P=1/5fになるようにこのスケール上の位置に正規化されてもよい。同様に、0〜360度の範囲における腕により示される角度は、P=α/360になるようにこのスケール上の位置に正規化されてもよい。
ジェスチャ制御インタフェース12は、コンタクトレスセンシングメカニズムを用いてもよい。例えば、環境を検出するために視覚的放射(例えば環境内に設けられた照明装置からの視覚的放射)を用いるセンサが供給されてもよい。しかしながら、これは必要でない。例えば、センサは、ジェスチャ制御デバイスを操作する人により放射される赤外線を用いてもよい。一実施形態において、センサは、飛行時間(ToF;time of flight)センサである。この種のセンサは、典型的には、赤外線を放射する赤外放射光源を含み、オブジェクトにより反射される光が深度のための大きさとして受信される時間遅延を測定する。また、種々の他の手段が、斯様なタイプのセンサを実装するために知られている。また、他のジェスチャ検出方法は、超音波又はWiFiを用いて適用され得る。代わりに、観察されるジェスチャは、タッチパッドにより観察される追跡(例えばスワイプ運動)であってもよい。
制御される大きさは、ジェスチャにより示される位置又は他の変数に必ずしも線形の態様において関連するわけではないことに留意されたい。実施形態において、大きさは、例えば位置又は他の変数の対数関数又は他の関数によって変化してもよい。
一実施形態において、ジェスチャを選択するための少なくとも1つのサブレンジは、ジェスチャを選択するための第1及び第2のサブレンジを有し、ジェスチャを選択するための第1のサブレンジは、現在選択されているサブレンジよりも低い大きさのサブレンジの前記大きさ制御ユニットによる選択に対応し、ジェスチャを選択するための第2のサブレンジは、現在選択されている大きさの範囲よりも高い大きさのサブレンジの前記大きさ制御ユニットによる選択に対応する。これは、大きさを制御する極めて実用的な手段を与える。
一実施形態において、ジェスチャ制御インタフェースは、第1及び第2の空間境界内においてオブジェクトの位置を認識可能であり、ジェスチャを選択するための第1のサブレンジは、第2の空間境界から第1の空間境界への方向において、第1の空間境界を通るオブジェクトの遷移であり、ジェスチャを選択するための第2のサブレンジは、第1の空間境界から第2の空間境界への方向において、第2の空間境界を通るオブジェクトの遷移であり、ジェスチャを制御するための大きさは、前記第1の空間境界と前記第2の空間境界との間のオブジェクトの位置及び運動の1つである。この手法において、制御の極めて直観的な手段が与えられる。サブレンジの現在選択された大きさで利用可能であるより高い大きさを実現することを試みるユーザは、当然、彼/彼女の手を第2の空間境界を超えて移動させることによりこれを示すことができ、それとともにより高くにランク付けされた大きさのサブレンジを選択する。同様に、サブレンジの現在選択された大きさで利用可能であるより低い大きさを実現することを試みるユーザは、当然、彼/彼女の手を第1の空間境界を超えて移動させることによりこれを示すことができ、それとともにより低くにランク付けされた大きさのサブレンジを選択する。
一実施形態において、第1の空間境界と第2の空間境界との間の基準位置は、大きさの現在の設定に対応し、基準位置は、第1の境界と第2の境界との間の中央位置から遠ざかる。これは、現在選択されている大きさより高い大きさをもつサブレンジの大きさの利用可能な部分が、現在選択されている大きさより低い大きさをもつサブレンジの大きさの利用可能な部分とは異なることを意味する。例えば、基準位置は、基準位置とより高い境界との間の距離の2倍に対応する、より低い空間境界からの距離に設けられてもよい。
本発明の第1の態様によるジェスチャ制御デバイスの他の実施形態において、ジェスチャを選択するための前記少なくとも1つのサブレンジは、予め決められた最小時間の間の制御ジェスチャの大きさの不在であり、予め決められた量の時間の間の前記不在の検出に基づいて、現在のサブレンジは、現在選択されている大きさ引く第1のデルタ値に等しい下側の大きさから現在選択されている大きさたす第2のデルタ値に等しい上側の大きさまでの範囲にある、大きさのサブレンジにセットされる。ユーザは、例えば、手を上昇させることにより、音量のような大きさが、現在のレベルから、現在利用可能なサブレンジの大きさの範囲内のより高いレベルまで増大すべきことを示してもよい。代わりに、ユーザは、より低いボリュームが手を降ろすことにより要求されることを示してもよい。ユーザが予め決められた時間の間に大きさの変化を示さなかったことが検出された場合、現在のサブレンジの大きさは、現在選択されている大きさの周辺の新たなサブレンジの大きさにより置換される。新たなサブレンジの大きさは、現在選択されている大きさの周辺で対称的に設けられてもよい。代わりに、新たな大きさサブレンジは、非対称的に設けられてもよい。例えば、この手法において、ユーザが大きさを増大させるよりも容易に大きさを減少させ得ることが安全対策として実現されてもよい。デルタ値の選択は、現在選択されている大きさに依存してもよい。例えば、比較的低い現在選択されている大きさの場合には、第1のデルタ値は、第2のデルタ値より小さくてもよく、これに対し、比較的高い現在選択されている大きさの場合には、第1のデルタ値は、第2のデルタ値より大きくてもよい。
本発明の更に他の態様によれば、ジェスチャ制御方法は、制御可能なデバイスとともに使用するために提供され、前記ジェスチャ制御デバイスは、制御ジェスチャの大きさを用いて予め決められた大きさの範囲内で制御可能なデバイスの知覚可能な出力の大きさを制御することを可能にする。
第1の態様によるジェスチャ制御方法は、検出されたジェスチャを示す検出信号を供給することを含み、ジェスチャを選択するためのサブレンジに基づいて、前記検出信号は、前記予め決められた範囲の大きさのサブレンジを選択する効果を有し、当該方法は、制御ジェスチャの大きさに基づいて、前記サブレンジに制限される大きさを示す制御信号を供給すること、及び、前記制御信号により前記制御可能なデバイスを制御することを含む。
本発明の更に他の態様によれば、プログラム可能なデバイスにより実行されたときに、この方法のステップを実行するプログラムを有する格納媒体が提供される。
更に他の態様によれば、第1の態様によるジェスチャ制御デバイスと、ジェスチャ制御デバイスにより制御される制御可能なデバイスとを有するシステムが提供される。制御可能なデバイスは、例えば、照明装置、オーディオビジュアルユニット又はパーソナルコンピュータであってもよい。
これらの及び他の態様は、図面を参照してより詳細に述べられる。
本発明によるジェスチャ制御デバイス、並びに制御可能なデバイスを概略的に示し、ジェスチャ制御デバイス及び制御可能なデバイスは、本発明によるシステムを形成する。 ジェスチャ制御デバイスにより認識され得る種々のジェスチャを示す。 ジェスチャ制御デバイスにより認識され得る種々のジェスチャを示す。 ジェスチャ制御デバイスにより認識され得る種々のジェスチャを示す。 ジェスチャ制御デバイスにより認識され得る種々のジェスチャを示す。 本発明の第1の態様によるジェスチャ制御デバイスの一実施形態を概略的に示す。 図2のジェスチャ制御デバイスの応答を示す。 図2のジェスチャ制御デバイスのバリエーションの応答を示す。 他の手段における図2のジェスチャ制御デバイスの応答を示す。 図2のジェスチャ制御デバイスの他のバリエーションの応答を示す。 本発明の第1の態様によるジェスチャ制御デバイスの他の実施形態のための応答を示す。 前記実施形態の実用的な実装を示す。 本発明の第1の態様によるジェスチャ制御デバイスの更に他の実施形態のための応答を示す。 前記実施形態の実用的な実装を示す。
種々の図面における同様の参照シンボルは、特に明記しない限り同様の要素を示す。
図1は、制御可能なデバイス20とともに使用するためのジェスチャ制御デバイス10を示している。制御可能なデバイスは、O(I)としても示される、知覚可能な大きさIを有する出力Oを供給する。ジェスチャ制御デバイスは、制御ジェスチャの大きさに応じて、制御可能なデバイスの知覚可能な出力Oの大きさIを予め決められた大きさの範囲内で制御することを可能にする。制御可能なデバイス20は、例えば、制御可能な大きさとして、光強度を有する照明装置又は制御可能な音量を有するオーディオ装置である。ジェスチャ制御デバイス10及び制御可能なデバイス20は、(制御可能な)システムを一緒に形成する。
図1に示されたジェスチャ制御デバイス10は、検出されたジェスチャを示す検出信号Dを供給するためのジェスチャ制御インタフェース12と、前記検出信号Dに基づいて、知覚可能な出力Oの大きさIを示すデバイス制御信号Mを生成する大きさ制御ユニット14とを含む。ジェスチャ制御インタフェース12は、前記予め決められた範囲の大きさのサブレンジの大きさの前記大きさ制御ユニット14による選択に対応する、ジェスチャを選択するための少なくとも1つのサブレンジを認識することが更に可能であり、前記ジェスチャ制御デバイスは、制御される大きさを、前記サブレンジの大きさの範囲内に制限する。
上記のように、アプリケーションに応じて、種々の代替ジェスチャが用いられてもよい。図1Aは、所望の大きさを示すためのジェスチャが、最小検出可能距離から最大検出可能距離までの検出範囲の範囲内の手の位置Pにある第1の例を示している。例えば、検出された位置は、このレンジにおける0〜1の範囲の値として示される。代わりに、図1Bに示されるように、使用されるジェスチャが角度、例えば最小値αminと最大値αmaxとの間の角度であってもよく、最小値αminは、P=0に対応し、最大値αmaxは、P=1に対応する。図1Cに示された更に他の代替手段によれば、大きさ制御ジェスチャは、速度又は周波数(例えば、移動している手の速度又は振っている手の周波数)であってもよい。例えば、1〜5Hzの範囲の、振っている手の周波数fは、P=1/5fになるようにこのスケール上の位置に正規化され得る。同様に、0〜360度の範囲の、腕により示される角度は、P=α/360になるようにこのスケール上の位置に正規化され得る。
ジェスチャ制御インタフェース12は、値Pに加えて、値Pが現在増加しているか若しくは減少しているか、又は、変化がそれぞれ観察されないことをそれぞれ示すために信号UP/DOWN/HOLDを更に供給してもよい。ジェスチャ制御インタフェース12は、更に、上側又は下側の境界位置に達することを別々に示してもよい(MAX/MIN)。代わりに、大きさ制御ユニット14は、ジェスチャ制御インタフェース12により示される値Pからこれらの信号を導出してもよい。ジェスチャ制御インタフェース12は、更に、ジェスチャが全く検出されない状態を示してもよい。
ジェスチャ制御デバイス10は、ユーザがジェスチャを行い得る精度を考慮するために条件を有してもよい。例えば、図1Dに示されるように、ユーザは、円C1,C2の角状部分に沿って手を振ることにより所望の大きさを示してもよい。ユーザは、より小さな円形C2に沿って移動するときよりもより広い円形C1に沿って移動するときに或る角度をより正確に特定することができることが考慮されてもよい。
図2は、一実施形態を示しており、ジェスチャを選択するための少なくとも1つのサブレンジが、ジェスチャを選択するための第1及び第2のサブレンジを有する。ジェスチャ制御インタフェース12は、現在支配的なサブレンジの範囲内における大きさの所望の値を示す制御ジェスチャの大きさに基づいて検出信号D1を供給するように構成される。加えて、ジェスチャ制御インタフェース12は、ユーザが現在選択されているものよりも低い大きさのサブレンジの大きさが要求されることを示すのに適している、ジェスチャを選択するための第1のサブレンジに基づいて検出信号D−を供給するように構成される。この検出信号D−に基づいて、大きさ制御ユニット14は、より低くランク付けられた大きさのサブレンジを選択する。ジェスチャ制御インタフェース12は、ユーザが現在選択されているものよりも高い大きさのサブレンジの大きさが要求されるのに適している、ジェスチャを選択するための第2のサブレンジに基づいて検出信号D+を供給するように更に構成される。この検出信号D+に基づいて、大きさ制御ユニット14は、より高くランク付けられた大きさのサブレンジを選択する。
実用的な例において、図2の制御ユニット14のデバイス制御信号Mにより示される大きさIは、
Figure 0006449861
である。ここで、Iは、最も低い大きさに対応する0から、最も高い大きさに対応する1までの範囲の大きさである。Pは、大きさ制御ジェスチャに基づいて信号D1により示される、0〜1の範囲における正規化された位置である。ここで、0は、第1の境界の位置を示し、1は、第2の境界の位置を示し、0と1との間の値は、これらの境界の間の位置を示す。
更に、wは、現在選択されているウインドウを示し、wは、1からNまでの範囲の自然数である。
図3は、大きさ制御ユニット14のウインドウの数Nが3に等しい例を示している。図2のジェスチャ制御デバイスの動作が図3を参照してここで述べられる。w=2が現在選択されているウインドウであると仮定する。この場合において、ユーザは、正規化された位置の0〜1の利用可能な範囲全体に渡って制御ジェスチャの大きさによって示される正規化された位置Pを変化させることにより0.33と0.66との間で大きさIを変化させることができる。ユーザが、ジェスチャを選択するための選択第1のサブレンジによって、より低くランク付けされたサブレンジの大きさが要求されることを示す場合、ジェスチャ制御インタフェース12の対応する検出信号D−は、大きさ制御ユニット14がより低くランク付けされた大きさのサブレンジ(w=1)を選択することをもたらす。大きさ制御ユニット14のその状態において、ユーザは、正規化された位置の0〜1から利用可能な範囲全体に渡って制御ジェスチャの大きさによって示される正規化された位置Pを変化させることにより、0と0.33との間で大きさIを変化させることができる。
代わりに、ユーザが、ジェスチャを選択するための第2のサブレンジによって、より高くランク付けされた大きさのサブレンジが要求される場合、ジェスチャ制御インタフェース12の対応する検出信号D+は、大きさ制御ユニット14がより高くランク付けされた大きさのサブレンジ(w=3)を選択することをもたらす。大きさ制御ユニット14のその状態において、ユーザは、正規化された位置の0〜1の利用可能な範囲全体に渡って制御ジェスチャの大きさによって示される正規化された位置Pを変化させることにより、0.66と1との間で大きさIを変化させることができる。
図4は、ジェスチャ制御デバイス10の動作の追加の図を提供する。図4において明らかなように、サブレンジの大きさの選択は、利用可能な制御範囲(P=0からP=1)を、予め決められた大きさの範囲(I=0からI=1)のウインドウwに対応するサブレンジの大きさにマッピングすることにより行われる。例えば、ウインドウw=2に関して、利用可能な制御範囲(P=0からP=1)は、0.33〜0.66のサブレンジの大きさにマッピングされる。
図5は、サブレンジの大きさの選択が実行され得る代替手段を示している。ここで、破線傾斜線Lは、大きさIと正規化された位置Pとの間の関係を示し、これは、ユーザが、予め決められた大きさの範囲(I=0からI=1)全体に渡って大きさを制御することができる場合に存在する。実線は、この代替手段による大きさIと正規化された位置Pとの間の関係を示し、サブレンジの大きさの選択が行われる。ここで、制御される大きさIは、支配的なレンジのためのより低い及びより高い境界(ここではウインドウw=2のための0.33及び0.66)の間でクリップされる。そうでなければ、位置の変化が行われている範囲の位置の規定されたサブレンジが選択される。この例では、位置Pを0.66より高い値までの増大させることは、大きさIを更に増大させない、及び、位置Pを0.33より低い値まで減少させることは、大きさIを更に減少させない。しかしながら、これらの境界の範囲内において、制御される大きさは、ユーザが予め決められた範囲の大きさ(I=0からI=1)に渡って大きさを制御することができる場合に割り当てられる大きさに対応する。
比較から、ユーザが比較的高い精度で大きさを制御することができるという点で、一方では図4に示される方法が有利であることが理解され得る。位置Pの関数としての制御される大きさIの傾斜が比較的小さいためである。一方、振幅の選択されたウインドウ(ここではw=2)に関して、位置Pに割り当てられた大きさIが、大きさが位置の利用可能な範囲の範囲内で位置を示すことにより範囲全体に渡って制御可能である場合に割り当てられる大きさに対応する点で、図5に示された方法は有利である。これは、ユーザが或る位置を或る大きさと相関させるのを促進し得る。
図2−5を参照して述べられる実施形態において、ジェスチャ制御デバイス10は、大きさ制御ジェスチャにより示される位置に対して対称の手段において応答する。即ち、制御された大きさIがPの値を或る量で増大させるときに増大する範囲は、制御された大きさIが示された位置をその量で減少させるときに減少する範囲に対応する。
特定の状況において、非対称応答が望ましくてもよい。例えば、ユーザがオーディオデバイスのボリュームを0に急速に制御することができることが望ましくてもよく、これに対し、ユーザがボリュームを最大可能レベルに容易に制御することができることが望ましくなくてもよい。従って、以下の実施形態が与えられ得る。ここで、図3Aにおいて図示したように、増加しているジェスチャ位置Pに対する応答は、図2−5を参照して述べられた大きさ制御ユニットの応答に対応する。即ち、
Figure 0006449861
しかしながら、移動する下向きの応答Iは、
Figure 0006449861
である。従って、例えば、ウインドウw=2が現在選択されているウインドウの数w=3の場合、ユーザは、大きさIをI=0.66からI=0まで下に制御し得る。
図6及び図7に示されるような実施形態において、ジェスチャを選択するための少なくとも1つのサブレンジは、予め決められた最小時間の間の制御ジェスチャの大きさの不在である。予め決められた時間の間の不在が検出された場合、例えば制御ジェスチャの大きさが、前記予め決められた最小時間の間認識されなかった場合、現在のサブレンジの大きさは、現在選択されている大きさ(c)引く第1のデルタ値(y)に等しいより低い大きさから、現在選択されている大きさたす第2のデルタ値(x)に等しいより高い大きさまでの範囲に及ぶ、大きさのサブレンジにセットされる(図6参照)。x及びyのための値は、少なくとも実質的に、同じであってもよく(例えば多くても10%異なる)、この場合において、サブレンジの大きさは、現在選択されている大きさのまわりに(ほぼ)対称的に設けられる。代わりに、x及びyのための値は、例えばユーザが強度を増大させるよりも強度を容易に減衰させることができることを実現するために、異なってもよい(例えば10%よりも大きく異なる)。予め決められた最小時間は、例えば、1秒と1分との間、好ましくは2秒と20秒との間(例えば5秒)の範囲において選択されてもよい。
図7は、実用的な実装を示している。ここに示された実施形態において、ジェスチャ制御インタフェース12は、大きさ制御ジェスチャを認識可能なジェスチャ認識モジュール122を有する。ジェスチャ認識モジュール122は、大きさ制御ジェスチャを認識したかどうかを示す信号Spを出す。信号Spは、更に、現在の制御ジェスチャの大きさに関連付けられた値pを示し、又は、制御ジェスチャの大きさが現在認識されていない場合、最後に観察された、現在の制御ジェスチャの大きさのための値pを示す。ジェスチャ制御インタフェース12は、信号Spが少なくとも予め決められた最小時間の間に制御ジェスチャの大きさが認識されなかったことを示すときに、クロック信号Sabsを出すタイマモジュールTを更に有する。大きさ制御ユニット14は、サンプル及びホールドモジュールS/Hを含む。クロック信号Sabsに基づいて、サンプル及びホールドモジュールS/Hは、(cとして示される)大きさIの現在の設定をサンプル及び格納する。大きさ制御ユニット14は、第1のデルタ値yを格納するための格納空間Yと第2のデルタ値xを格納するための格納空間Xとを更に有する。第1及び第2の加算要素A1,A2、減算要素S1及び乗算要素M1を用いて、大きさ制御ユニットは、以下のように大きさIを計算する。
Figure 0006449861
ここで、
Figure 0006449861
図7に示されるminmax関数Mmは、0と1との間でIの値をクリップする。
図8及び図9は、図6及び図7の実施形態のバリエーションを示している。図8に示すように、ジェスチャ制御デバイスのこのバリエーションは、非対称の応答を提供し、これは、ユーザが、制御された大きさIを、最高でも現在選択されている基準値cより高い予め決められた量xである値まで増大させるか、又は、制御された大きさを0まで減少させるのを可能にする。
図9は、大きさ制御ユニット14の例示的な実装を示している。大きさ制御ユニット14は、ユーザにより示された位置pの信号を送る、ジェスチャ制御インタフェース12からの信号Spを受信する。大きさ制御ユニット14は、現在示されている位置pが肯定的又は否定的感覚において変化するかどうかを決定し、これを信号"UP/DOWN"によって示す第1のバイナリ識別部Δ1を有する。信号"UP/DOWN"における変化を示す信号CHを与える更なるバイナリ識別部Δ2が与えられる。信号CHにより示される変化の検出に応じて、pcとして示される位置pの現在の値は、サンプル及びホールドユニットS/H2においてサンプリングされ、信号Spcとしてのこのユニットにより示される。同時に、更なるサンプル及びホールドユニットS/H3は、値cとして大きさIの現在の値をサンプリングする。大きさ制御ユニット14は、値p−pc、1−pc及び1−pを計算する補助計算ユニットAUXを更に有する。3つの除算部D1,D2,D3が設けられる。ここで、第1の除算部D1は、
Figure 0006449861
を計算し、第2の除算部D2は、
Figure 0006449861
を計算し、第3の除算部D3は、
Figure 0006449861
を計算する。第1のマルチプレクサMUX1は、信号UP/DOWNが増大しているジェスチャ位置の信号を送る場合、第1の除算部D1からの値を選択し、信号UP/DOWNが減少しているジェスチャ位置の信号を送る場合、値0を選択する。第2のマルチプレクサMUX2は、信号UP/DOWNが増大しているジェスチャ位置の信号を送る場合、第2の除算部D2からの値を選択し、信号UP/DOWNが減少しているジェスチャ位置の信号を送る場合、第3の除算部D3からの値を選択する。乗算部M2は、第1のマルチプレクサMUX1により選択された値を値Imaxにより乗算する。ここで、Imaxは、大きさのための絶対的な上側境界の値の最小値である(例えば1及び値c+x)。後者の値は、サンプル及びホールドユニットS/H3により供給された値cから、及び、格納空間Xに格納されたデルタ値xから、加算器A5により計算される。乗算部M3は、第2のマルチプレクサMUX2により選択された値を、サンプル及びホールドユニットS/H3から取得された値cにより乗算する。M2及びM3により計算された値が加算部A4により加算され、それとともに、ユーザにより制御される大きさの値Iが取得される。
要約すると、現在の位置が0〜1のレンジにおけるpcであり、現在の大きさが0〜1のレンジにおけるcであると推定する。ウインドウのための現在の最大値がImaxであると更に推定する。この状態において上方へ移動するときには、応答Iは、
Figure 0006449861
である。これは、
Figure 0006449861
に等しい。従って、ユーザは、現在の位置pcから上側境界位置p=1まで移動するときに、値cから値Imaxまで大きさを変えることができる。下方へ移動するときには、応答は、
Figure 0006449861
である。従って、ユーザは、現在の位置pcから下側境界位置p=0まで移動するときに、値Icから値0まで大きさを変えることができる。上方から又は下方からの方向の変化検出するときには、値c及びpcは、不連続を阻止するために、方向の変化の前にI及びpの最後のそれぞれの値に置換されるべきである。
当業者にとって明らかなように、システム及び装置に係る請求項に記載された要素は、単独で又は他の機能と組み合わせて、分離して又は他の要素と協働して、動作中に再生するか又は特定の機能の再生するように設計された(分離又は一体型された回路又は電子要素のような)任意のハードウェア又は(プログラム又はプログラムの部分のような)ソフトウェアを含むことを意味する。本発明は、幾つかの異なる要素を有するハードウェアによって、及び、適切にプログラムされたコンピュータによって実装され得る。幾つかの手段を列挙する装置に係る請求項において、これらの手段の幾つかは、ハードウェアの全く同一のアイテムにより具現化されてもよい。コンピュータプログラム製品は、フロッピーディスク、インターネットのようなネットワークを介してダウンロード可能なもの、又は任意の他の態様において市場性のあるもののような、コンピュータ読み取り可能媒体上に格納された任意のソフトウェア製品を意味するものと理解されるべきである。
第1、第2、第3等の用語が種々の要素、コンポーネント、モジュール及び/又はユニットを述べるためにここで用いられ得るにもかかわらず、これらの要素、コンポーネント、モジュール及び/又はユニットがこれらの用語により限定されるべきでないことが理解されるだろう。これらの用語は、他の要素、コンポーネント、モジュール及び/又はユニットからの1つの要素、コンポーネント、モジュール及び/又はユニットを区別するためにのみ用いられる。故に、ここで述べられた第1の要素、コンポーネント、モジュール及び/又はユニットは、本発明の教示を逸脱しない範囲で第2の要素、コンポーネント、モジュール及び/又はユニットと称され得る。
ここで用いられるように、"有する"、"含む"という用語又はその任意の他のバリエーションは、排他的でない包含をカバーすることを意図される。例えば、要素のリストを有するプロセス、方法、品目又は装置は、これらの要素に必ずしも限定されるというわけではなく、特にリストアップされない、又は、斯様なプロセス、方法、品目又は装置にとって固有ではない他の要素を含んでもよい。更に、特に述べられない限り、"又は"は、包括的なものに言及するか、排他的なものではない。例えば、状態A又はBは、以下のもののうちいずれか1つにより満たされる。Aは真であり(又は存在する)Bは偽である(又は存在しない)、Aは偽であり(又は存在しない)Bは真である(又は存在する)、A及びBの双方が真である(又は存在する)。
また、単数表記の使用は、本発明の要素及びコンポーネントを述べるために使用される。これは、単に便利さのためにだけに使用され、本発明の一般的な感覚を与えるためのものではない。この説明は、1又は少なくとも1つを含むように読まれるべきであり、そうではないと意味されることが明らかでない限り、単数は複数も含む。
別段の規定がない限り、ここで使用される全ての技術的及び科学的な用語は、当業者により一般に理解されるものと同じ意味を有する。ここで述べられたものと類似又は均等にあたる方法及び材料が本発明の実行又はテストにおいて用いられ得るが、適切な方法及び材料が以下で述べられる。ここで述べられる全ての刊行物、特許出願、特許及び他の参照は、それらの全部について参照により取り込まれる。コンフリクトの場合には、定義を含めた本明細書が優先するだろう。加えて、材料、方法及び例は、例証を示すに過ぎず、限定することを意図するものではない。

Claims (10)

  1. 制御可能なデバイスとともに使用するためのジェスチャ制御デバイスであって、
    当該ジェスチャ制御デバイスは、大きさ制御ジェスチャに応じて、予め決められた大きさの範囲内で前記制御可能なデバイスの知覚可能な出力の大きさを制御することを可能にし、
    当該ジェスチャ制御デバイスは、
    ジェスチャを認識し、認識されたジェスチャを示す検出信号を供給するためのジェスチャ制御インタフェースと、
    前記検出信号に基づいて、前記知覚可能な出力の大きさを制御するためのデバイス制御信号を生成するための大きさ制御ユニットとを含み、
    前記ジェスチャ制御インタフェースは、前記予め決められた大きさの範囲のうち大きさサブレンジの前記大きさ制御ユニットによる選択に対応する少なくとも1つのサブレンジ選択ジェスチャを認識可能であり、
    前記大きさ制御ユニットは、制御される大きさを前記大きさサブレンジ内に制限
    前記少なくとも1つのサブレンジ選択ジェスチャは、第1及び第2のサブレンジ選択ジェスチャを有し、
    前記第1のサブレンジ選択ジェスチャは、現在選択されているサブレンジよりも低い大きさの大きさサブレンジの前記大きさ制御ユニットによる選択に対応し、
    前記第2のサブレンジ選択ジェスチャは、現在選択されている大きさの範囲よりも高い大きさの大きさサブレンジの前記大きさ制御ユニットによる選択に対応し、
    前記ジェスチャ制御インタフェースは、第1及び第2の空間境界の間の経路に沿ってオブジェクトを認識可能であり、
    前記第1のサブレンジ選択ジェスチャは、前記第2の空間境界から前記第1の空間境界への方向において、前記第1の空間境界を通る前記オブジェクトの遷移であり、
    前記第2のサブレンジ選択ジェスチャは、前記第1の空間境界から前記第2の空間境界への方向において、前記第2の空間境界を通る前記オブジェクトの遷移であり、
    前記大きさ制御ジェスチャは、前記第1及び第2の空間境界の間の前記オブジェクトの位置及び運動のうち1つである、
    ジェスチャ制御デバイス。
  2. 大きさ制御ジェスチャに基づいて前記ジェスチャ制御インタフェースにより与えられる検出信号は、制御範囲に制限された値を示し、
    大きさサブレンジの選択は、前記制御範囲を、前記予め決められた大きさの範囲のうち選択された大きさサブレンジにマッピングすることにより実行される、請求項1に記載のジェスチャ制御デバイス。
  3. 大きさサブレンジの選択が、前記制御範囲全体を、前記選択された大きさサブレンジ全体にマッピングすることにより実行される、請求項2に記載のジェスチャ制御デバイス。
  4. 前記大きさ制御ジェスチャは、前記第1及び第2の空間境界の間の位置であり、
    前記第1及び第2の空間境界の間の基準位置は、前記大きさの現在の設定に対応し、
    前記基準位置は、前記第1及び第2の空間境界の間の中央位置から遠ざかる、請求項1−3の何れか一項に記載のジェスチャ制御デバイス。
  5. 制御可能なデバイスとともに使用するためのジェスチャ制御方法であって、
    当該ジェスチャ制御方法は、大きさ制御ジェスチャを用いて予め決められた大きさの範囲内で前記制御可能なデバイスの知覚可能な出力の大きさを制御することを可能にし、
    当該ジェスチャ制御方法は、
    検出されたジェスチャを示す検出信号を供給するステップと、
    大きさ制御ジェスチャに基づいて、ある範囲に制限される大きさを示す制御信号を供給するステップと、
    前記制御信号により前記制御可能なデバイスを制御するステップとを含み、
    前記範囲は、サブレンジ選択ジェスチャに基づいて前記予め決められた大きさの範囲から選択される大きさサブレンジであり
    前記少なくとも1つのサブレンジ選択ジェスチャは、第1及び第2のサブレンジ選択ジェスチャを有し、
    前記第1のサブレンジ選択ジェスチャの検出に応じて、現在選択されているサブレンジよりも低い大きさの大きさサブレンジが選択され、
    前記第2のサブレンジ選択ジェスチャの検出に応じて、現在選択されている大きさの範囲よりも高い大きさの大きさサブレンジが選択され、
    前記第1のサブレンジ選択ジェスチャは、第2の空間境界から第1の空間境界への方向において、前記第1の空間境界を通るオブジェクトの遷移であり、
    前記第2のサブレンジ選択ジェスチャは、前記第1の空間境界から前記第2の空間境界への方向において、前記第2の空間境界を通る前記オブジェクトの遷移であり、
    前記大きさ制御ジェスチャは、前記第1及び第2の空間境界の間の前記オブジェクトの位置及び運動のうち1つである、ジェスチャ制御方法。
  6. 大きさ制御ジェスチャに基づいて与えられる検出信号は、制御範囲に制限された値を示し、
    大きさサブレンジの選択は、前記制御範囲を、前記選択された大きさサブレンジにマッピングすることにより実行される、請求項に記載のジェスチャ制御方法。
  7. 大きさサブレンジの選択が、前記制御範囲全体を、前記選択された大きさサブレンジ全体にマッピングすることにより実行される、請求項5又は6に記載のジェスチャ制御方法。
  8. プログラム可能なデバイスにより実行されるときに、請求項5−7のいずれか一項の方法のステップを前記デバイスに実行させるプログラム。
  9. 請求項8に記載のプログラムを格納するコンピュータ可読記録媒体。
  10. 請求項1−4のうちいずれか一項に記載のジェスチャ制御デバイスと、前記ジェスチャ制御デバイスにより制御される制御可能なデバイスとを有する、システム。
JP2016517316A 2013-10-14 2014-10-03 ジェスチャ制御デバイス、方法、システム及び格納媒体 Expired - Fee Related JP6449861B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13188476 2013-10-14
EP13188476.9 2013-10-14
PCT/EP2014/071229 WO2015055446A1 (en) 2013-10-14 2014-10-03 Gesture control device, method, system and storage medium

Publications (2)

Publication Number Publication Date
JP2016534421A JP2016534421A (ja) 2016-11-04
JP6449861B2 true JP6449861B2 (ja) 2019-01-09

Family

ID=49382270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016517316A Expired - Fee Related JP6449861B2 (ja) 2013-10-14 2014-10-03 ジェスチャ制御デバイス、方法、システム及び格納媒体

Country Status (6)

Country Link
US (1) US20160231825A1 (ja)
EP (1) EP3058439A1 (ja)
JP (1) JP6449861B2 (ja)
CN (1) CN105612479A (ja)
RU (1) RU2016118443A (ja)
WO (1) WO2015055446A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11347316B2 (en) * 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
EP3624886B1 (en) * 2017-06-12 2022-03-30 Hatch Baby, Inc. Multifunction sleep training device with remote locking mechanism

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7765491B1 (en) * 2005-11-16 2010-07-27 Apple Inc. User interface widget for selecting a point or range
US7788607B2 (en) * 2005-12-01 2010-08-31 Navisense Method and system for mapping virtual coordinates
JP2008146243A (ja) * 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
JP2010036620A (ja) * 2008-07-31 2010-02-18 Fujitsu Ten Ltd 車載用電子機器
US8572513B2 (en) * 2009-03-16 2013-10-29 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
JP5308881B2 (ja) * 2009-03-17 2013-10-09 株式会社第一興商 音量調節操作系に特徴を有するカラオケ装置
US20110010626A1 (en) * 2009-07-09 2011-01-13 Jorge Fino Device and Method for Adjusting a Playback Control with a Finger Gesture
CN103081496B (zh) * 2010-09-08 2016-12-07 瑞典爱立信有限公司 Iptv系统的基于手势的控制
JP5733656B2 (ja) * 2010-11-25 2015-06-10 公立大学法人会津大学 ジェスチャ認識装置及びジェスチャ認識方法
US9361009B2 (en) * 2010-12-01 2016-06-07 Adobe Systems Incorporated Methods and systems for setting parameter values via radial input gestures
JP2012212237A (ja) * 2011-03-30 2012-11-01 Namco Bandai Games Inc 画像生成システム、サーバシステム、プログラム及び情報記憶媒体
US8657683B2 (en) * 2011-05-31 2014-02-25 Microsoft Corporation Action selection gesturing
JP2013134549A (ja) * 2011-12-26 2013-07-08 Sharp Corp データ入力装置およびデータ入力方法
US10503373B2 (en) * 2012-03-14 2019-12-10 Sony Interactive Entertainment LLC Visual feedback for highlight-driven gesture user interfaces
US20140340498A1 (en) * 2012-12-20 2014-11-20 Google Inc. Using distance between objects in touchless gestural interfaces
JP6189622B2 (ja) * 2013-04-22 2017-08-30 シャープ株式会社 入力装置、および、画像表示装置
KR101534282B1 (ko) * 2014-05-07 2015-07-03 삼성전자주식회사 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스

Also Published As

Publication number Publication date
RU2016118443A (ru) 2017-11-21
JP2016534421A (ja) 2016-11-04
EP3058439A1 (en) 2016-08-24
CN105612479A (zh) 2016-05-25
US20160231825A1 (en) 2016-08-11
WO2015055446A1 (en) 2015-04-23

Similar Documents

Publication Publication Date Title
JP6114827B2 (ja) 非接触ジェスチャを使用することにより端末機器を制御するための方法及び装置
US9891782B2 (en) Method and electronic device for providing user interface
KR102180961B1 (ko) 입력 처리 방법 및 그 전자 장치
TWI569241B (zh) 基於使用者距離調整顯示器亮度之技術
EP3103005B1 (en) Predictive input system for touch and touchless displays
US9098188B2 (en) Display device and method for controlling the same
JP5438221B2 (ja) アプリケーションを終了するためのユーザインターフェース方法
KR102061360B1 (ko) 사용자 인터페이스 간접 상호작용
US20140157209A1 (en) System and method for detecting gestures
JP2017534993A (ja) 指の圧力および方向に基づいてカーソルを制御するためのシステムおよび方法
TWI584164B (zh) 在多點觸控裝置上模擬壓感
US8687848B2 (en) Techniques for context-enhanced confidence adjustment for gesture
WO2016036545A1 (en) Reduced-size notification interface
TW201214397A (en) Display brightness control temporal response
JP2017524216A (ja) 対話型ミラー
JP2012502393A5 (ja)
JP6449861B2 (ja) ジェスチャ制御デバイス、方法、システム及び格納媒体
EP2662756A1 (en) Touch screen palm input rejection
TW201426505A (zh) 顯示控制系統及方法
JP2018514865A (ja) ウェアラブル装置、そのタッチスクリーン、そのタッチ操作方法、及びそのグラフィカルユーザインタフェース
Seipp et al. BackPat: one-handed off-screen patting gestures
US10599326B2 (en) Eye motion and touchscreen gestures
KR20160011421A (ko) 디스플레이 디바이스 및 그 제어 방법
WO2023039521A1 (en) Methods, systems and devices for dynamically assigning button functionality based on orientation
TWI530819B (zh) 電子裝置與其控制方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181206

R150 Certificate of patent or registration of utility model

Ref document number: 6449861

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees