JP2023532970A - ユーザ入力を取得するための方法およびデバイス - Google Patents
ユーザ入力を取得するための方法およびデバイス Download PDFInfo
- Publication number
- JP2023532970A JP2023532970A JP2023500083A JP2023500083A JP2023532970A JP 2023532970 A JP2023532970 A JP 2023532970A JP 2023500083 A JP2023500083 A JP 2023500083A JP 2023500083 A JP2023500083 A JP 2023500083A JP 2023532970 A JP2023532970 A JP 2023532970A
- Authority
- JP
- Japan
- Prior art keywords
- user input
- mobile device
- user
- movement
- sensitive area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Input From Keyboards Or The Like (AREA)
- Position Input By Displaying (AREA)
Abstract
本開示の実施形態は、タッチ検知領域(102)および1つまたは複数の動き判定センサ(104)を備える携帯機器(100)におけるアプリケーションに対するユーザ入力を取得するための方法、コンピュータプログラム製品、およびデバイス(100)を提供するものである。この方法は、ある期間内の、タッチ検知領域(102)上の、アプリケーションに関連した第1のユーザ入力を検知すること(S11)を含む。この方法は、前記期間中に、所定の空間内の携帯機器の動きを登録すること(S12)と、前記期間中に、アプリケーションに、登録済みの動きから取得された第2のユーザ入力に応答させること(S14)とをさらに含む。
【選択図】図2A
【選択図】図2A
Description
本開示は、動きにより生成されるユーザ入力を取得するための、および/または動きにより生成されるユーザ制御を行うための方法およびデバイスにする。詳細には、本開示は、タッチ検知領域と1つまたは複数の動き判定センサとを備えるポータブルデバイスにおいて、状況に関連するアプリケーションへのユーザ入力を取得するための方法およびデバイスに関する。
最近の十年間にわたって、いわゆるタッチスクリーンまたはタッチパネル、すなわち物理的接触によってアクティベートされるユーザインターフェースは、人々の仕事や生活のすべての面において様々な電子製品に広く適用されている。物理的タッチスクリーンの機能性は、今日、スマートフォン、タブレット、スマートウォッチまたは類似の携帯機器に共通して使用されている。
物理的タッチスクリーンは、表示デバイスとタッチ制御デバイスとの機能性を組み合わせることによって、入力および表示の技術を提供するものである。たとえば抵抗性、容量性、赤外線、および電磁気のセンサおよび技術を使用するタッチ制御インターフェースによってユーザ入力を可能にする様々なタッチ制御技術がある。物理的タッチスクリーンによるユーザ入力は、1つまたは複数の指で表示領域に触れること、または、たとえばペンといった、特にタッチスクリーン上で使用するように適合された機器を使用することを含む。
たとえばスマートフォンまたはスマートウォッチといった携帯機器にタッチスクリーン技術を適用するとき、ユーザ入力は、携帯機器の(かなり小さい)サイズに適合する必要があるタッチスクリーンのサイズによって制限される。携帯機器が装備するタッチスクリーン領域が小さいので、携帯機器に対するユーザ入力が制限される。
結果的に、携帯機器の、ユーザ入力を取得する能力を改善する必要がある。
したがって、本開示の目的は、現在既知の解決策の上記で論じられた短所のすべてまたはそのうちの少なくともいくつかを軽減、緩和、または解消しようとする、ユーザ入力を受け取るための、方法、コンピュータプログラム製品、およびデバイスを提供することである。
この目的および他の目的は、添付の特許請求の範囲において規定されている方法、コンピュータプログラム製品、およびデバイスによって達成される。この状況における例示的な用語は、インスタンス、例または解説としてサーブするものと理解されたい。
本開示の第1の態様によれば、タッチ検知領域および1つまたは複数の動き判定センサを備える携帯機器のアプリケーションに対するユーザ入力を取得するための方法が提供される。この方法は、ある期間内の、タッチ検知領域上の、アプリケーションに関連した第1のユーザ入力を検知するステップを含む。この方法は、前記期間中に、所定の空間内の携帯機器の動きを登録するステップと、前記期間中に、アプリケーションに、登録済みの動きから取得された第2のユーザ入力に応答させるステップとをさらに含む。
有利には、提案された方法は、ユーザ入力領域を拡大するため、すなわちデバイスの物理的サイズよりも大きい空間内のユーザ入力を可能にするために使用され得る。提案された方法は、物理的タッチ検知領域の外部と相互作用するための、第2のジェスチャベースのユーザインターフェース(UI)を提供するものである。拡張されたUIにより、ユーザは、デバイスの様々なアプリケーションと相互作用したり、これを制御したりすることができる。したがって、提案された方法は、タッチ検知領域による第1のユーザ入力と組み合わされ得る、拡張された、ジェスチャベースのユーザインターフェースにおけるユーザ入力をも可能にするものである。したがって、拡張された、ジェスチャベースの第2のユーザインターフェースは、物理的タッチディスプレイの自然で直観的な拡張を提供するものである。
いくつかの例では、ユーザ入力を取得する方法は、第2のユーザ入力に応答するために携帯機器をアクティベートするステップを含む。
したがって、拡張されたジェスチャベースの第2のユーザインターフェースが要求に応じてアクティベートされることにより、拡張されたユーザインターフェースへの意図された移行の前の、不注意による第2のユーザ入力のリスクを低減し得る。
いくつかの例では、第2のユーザ入力に応答するために携帯機器をアクティベートするステップは、タッチ検知領域から、タッチ検知領域の周辺に向かう方向におけるユーザの活動に関連した情報を受け取るステップ、および/またはタッチ検知領域の周辺において第1のユーザ入力を検知するステップを含む。
いくつかの例では、第2のユーザ入力は、ユーザの到達する(手が届く)範囲内の携帯機器のジェスチャの動きであり、第2のユーザ入力は、ジェスチャライブラリから少なくとも1つのジェスチャ解釈を検索し、ジェスチャの動きに対してこのジェスチャ解釈を適用することによって取得される。
いくつかの例では、アプリケーションは、ユーザの状況から判定される、状況に関連したアプリケーションであり、ユーザの状況は、ユーザの物理的位置、商業上の位置、および接続されたデバイスのうち1つまたは複数から判定される。
本開示の第2の態様によれば、プログラム命令を含むコンピュータプログラムを有する非一時的コンピュータ可読媒体を含むコンピュータプログラム製品が提供される。コンピュータプログラムは、データ処理ユニットにロードされ得、データ処理ユニットによって実行されたとき、データ処理ユニットに、第1の態様による方法を実行させるように設定されている。
携帯機器は、タッチ検知領域、1つまたは複数の動き判定センサ、および処理回路を備え、処理回路は、ある期間内の、タッチ検知領域上の、アプリケーションに関連した第1のユーザ入力を検知し、前記期間中に、所定の空間内の携帯機器の動きを登録して、前記期間中に、アプリケーションに、登録済みの動きから取得された第2のユーザ入力に応答させるように構成されている。
いくつかの例では、携帯機器は、スマートフォン、タブレット、スマートウォッチまたはウェアラブルデバイスである。デバイスという語は、上記のタイプのデバイスのすべてを表すように使用される。
いくつかの実施形態の利点には、拡張されたユーザ入力が可能になること、携帯ディスプレイの物理的サイズによって制限されることのない空間内のユーザ入力が可能になること、加えて、たとえば入力制御としての誤ったジェスチャの動きといった不注意なユーザ入力のリスクが最小化されることがある。
いくつかの実施形態の別の利点には、ユーザインターフェース(UI)が直観的であり、そのため、携帯機器の動きから取得されたユーザ入力が、タッチ検知領域を通じて取得されたユーザ入力に対する非常に自然な拡張として体験されることがある。
前述のことは、添付図面に示されるように、以下の例示の実施形態のより詳細な説明から明らかになるはずであり、添付図面では、種々の図の全体にわたって、類似の参照文字は同一部品を指す。図面は、必ずしも原寸に比例するわけではなく、例示の実施形態が強調して示されていることがある。
以下で、本開示の態様が、添付図面を参照しながらより十分に説明される。しかしながら、本明細書で開示された装置および方法は色々な形態で実現され得、本明細書で説明された態様に限定されるものと解釈されるべきではない。図面の全体にわたって、類似の番号は類似のエレメントを指す。
本明細書で使用される専門用語は、本開示の特定の態様を説明することのみを目的としており、本発明を制限するような意図はない。「備える/備わっている」という用語は、本明細書で使用されたとき、明示された特徴、完全体、ステップ、または構成要素の存在を指定するように解釈されるが、1つまたは複数の他の特徴、完全体、ステップ、構成要素、またはそのグループの存在や追加を排除しないことが強調されるべきである。本明細書で使用される、「1つの(a)」、「1つの(an)」、および「その」といった単数形は、文脈が明らかに示さなければ、同様に複数形を含むように意図されている。
以下で、本開示の実施形態が、添付図面を参照しながらより十分に説明されかつ例証される。しかしながら、本明細書で開示される解決策は色々な形態で実現され得るので、本明細書で説明された実施形態に限定されると解釈されるべきではない。
本開示が方法に関して説明されるとき、その方法は、1つまたは複数のプロセッサと、1つまたは複数のプロセッサに結合された1つまたは複数のメモリとによって具現され得、1つまたは複数のプロセッサが、1つまたは複数のメモリに記憶された1つまたは複数のプログラムを実行することにより、本明細書で開示されたステップ、サービスおよび機能を実行することが理解されよう。
例示的な実施形態の以下の説明において、同一の参照数字は同一または類似の構成要素を表す。
図1は、ユーザ入力を取得するように拡張されたユーザインターフェースを有する携帯機器の例示の実装形態を開示し、また、簡素化されたシナリオにおける、携帯機器に対するユーザ入力の供給を示すものである。開示されたシナリオでは、ユーザは、たとえばスマートフォン、タブレット、スマートウォッチまたはウェアラブルデバイスといった携帯機器100にユーザ入力を供給することができる。以下でさらに説明されるように、提案された解決策がユーザインターフェースの拡張を可能にすることにより、動き、すなわち直観的なジェスチャが、携帯機器に対するユーザ入力として認識される。したがって、ユーザが携帯機器を用いてジェスチャを実行すると、すなわち携帯機器の動きを誘発すると、デバイスは、動きに対して所望のやり方で応答するように設定される。
図1に移って、携帯機器100はタッチ検知領域102を含む。携帯機器100は、1つまたは複数の動き判定センサ104をも備える。携帯機器100が一方の手で保持され得、他方の手の1つまたは複数の指が検知領域102にタッチする。デバイスを保持している手が携帯機器100の動きを開始する。デバイスのそのような動きによって、タッチ検知領域102上に、図1に示されるようなスワイプ入力が生じることがある。1つまたは複数の指がタッチ検知領域102から外へスワイプするとき、携帯機器100は、ジェスチャ検知モードで動作して、1つまたは複数の動き判定センサ104によってユーザ入力を受け取り得る。動き判定センサ104によるユーザ入力は、タッチ検知領域102によってアクティベートするユーザ入力を受け取ることに応答して、または動き判定センサ104によって認識されたアクティベートするジェスチャに従って、有効にされ得る。結果的に、指が、タッチ検知領域102から外へスワイプされると、携帯機器100のユーザインターフェースは、ジェスチャ由来のユーザ入力、すなわちデバイスを保持している手のジェスチャに由来する入力も受け取るように拡張される。タッチ検知領域102によって第1のユーザ入力を受け取り得、また動き検知センサ104によって第2のユーザ入力を受け取り得る、拡張されたユーザインターフェースが、高速で直観的な拡張されたユーザインターフェースを提供する。
したがって、簡素化されたシナリオでは、ユーザは、たとえば一方の手の1つまたは複数の指(またはポインタ)でタッチ検知領域102にタッチしたまま、携帯機器を保持した他方の手を物理的に動かすことができる。物理デバイスのジェスチャがある方向に動くと、指は、タッチ領域にわたって反対方向に動くことになり、1つまたは複数の指がタッチ検知領域102においてスワイプ動作(スワイプする動き)をする。ジェスチャの動きは、1つまたは複数の動き判定センサ104によって登録される。1つまたは複数の指がタッチ検知領域102を去ると、動き判定センサ104によって登録されたジェスチャの動きから第2のユーザ入力が取り出されるように、携帯機器100において、ユーザ入力モードが切り換えられるかまたは拡張され得る。携帯機器100は、もちろん、第1のユーザ入力と第2のユーザ入力との組合せに対して同時に動作するように設定されてよく、あるいは、たとえば上記で開示された、タッチ検知領域にわたるスワイプの動きといったアクティベート動作に続いて、第1のユーザ入力モードから第2のユーザ入力モードへと切り換わるように設定されてもよい。ジェスチャ検知モードのアクティベーションは、携帯機器100のさらなる特別なジェスチャ、すなわち拡張されたジェスチャインターフェースによるユーザ入力を可能にするためにデバイスを所与のやり方で動かすことも必要とすることがある。デバイスは、それに応じて、デバイスの自然な動きに、ある特定のやり方で応答し、拡張されたユーザインターフェースが高速かつ直観的になる。
本発明の一実施形態では、スワイプ動作は、主にデバイス(携帯機器)の動きによって、より小さい動きとしては、タッチ感応領域に触れている指をたとえばタッチ感応領域の境界のようなタッチ感応領域上のある特定の位置または領域に到達するまで移動することによって、デバイスに行動を解釈させる。アクションの1つは、たとえばメニューおよび/または画面の内容を変更するような特定のアクションであり得る。別のアクションには、デバイスが、デバイスの後続の動きをさらに受け入れ得るようにモード変更するものがあり得、デバイスの後続の動きが、(たとえばメニューまたは画面の内容の変更のような)デバイスの特定のアクションの原因になり得る。メニューまたは画面の内容を変更する例は、デバイスが解釈し得る特定のアクションのうちのほんの一例である。
本発明の上記の態様の説明を容易にするために以下の専門用語が使用される。
・第1のユーザ入力であるスワイプを意味する、タッチ検知領域における1つまたは複数の指あるいは他の物体の、タッチ検知領域によって検知されるスワイプ動作。スワイプ動作は、指の動き、デバイスの動き、またはこれらの組合せによってもたらされ得ることに留意されたい。
・1つまたは複数の動き判定センサによって検知される第2のユーザ入力の原因となるデバイスの動きを意味する、一般的にはデバイスを保持している手の動きによってもたらされるデバイスの動き(デバイスのジェスチャの動き)。
・タッチ検知領域に触れている1つまたは複数の指あるいは1つまたは複数の他の物体の動きを意味する、指の動き。
・第1のユーザ入力であるスワイプを意味する、タッチ検知領域における1つまたは複数の指あるいは他の物体の、タッチ検知領域によって検知されるスワイプ動作。スワイプ動作は、指の動き、デバイスの動き、またはこれらの組合せによってもたらされ得ることに留意されたい。
・1つまたは複数の動き判定センサによって検知される第2のユーザ入力の原因となるデバイスの動きを意味する、一般的にはデバイスを保持している手の動きによってもたらされるデバイスの動き(デバイスのジェスチャの動き)。
・タッチ検知領域に触れている1つまたは複数の指あるいは1つまたは複数の他の物体の動きを意味する、指の動き。
平坦なタッチ感応領域を使用する場合には、スワイプ動作は2次元(タッチ感応領域の面)に限られることに留意されたい。デバイスの動きと指の動きとは、どちらも3次元であり得る。タッチ感応領域の面における、デバイスの動きの投影は2次元である。タッチ感応領域における、指の動きの投影は2次元である。
タッチ検知領域は、タッチ、浮遊を、より広い範囲で判定することができ、かつ/または感圧性であり得る。
次に、
・タッチ検知エリアに触れている1つまたは複数の指あるいは1つまたは複数の他の物体と、
・デバイスと
の間の相対的な動きのいくつかの態様について論じる。
・タッチ検知エリアに触れている1つまたは複数の指あるいは1つまたは複数の他の物体と、
・デバイスと
の間の相対的な動きのいくつかの態様について論じる。
指とデバイスとの間に相対的な動きがなければ、スワイプ動作は起こらない。指とデバイスとの間に相対的な動きがあると、指がタッチ検知領域を去らない限りスワイプ動作が起こるはずである。
本出願は、この相対的な動きに的を絞るものであり、たとえば加速中の列車の中でデバイスを操作している人によってもたらされるデバイスへの衝撃のようなものは対象として含まない。相対的な動きのみを扱うことができるようにするための関連する技術的問題を解決するやり方は、本出願の範囲外である。
アプリケーションおよび/またはオペレーティングシステムに対するものを意味するスワイプ動作を意味するスワイプ動作を認識するやり方の詳細は本出願の範囲外である。このマッピングには様々なやり方が可能であり、1つは、スワイプ動作を、スワイプ動作の1つまたは複数のライブラリに記憶された1つまたは複数の有効なスワイプ動作と比較するものである。あるアプリケーションおよび/またはオペレーティングシステムに対して有効なスワイプ動作が、別のアプリケーションおよび/またはオペレーティングシステムに対して有効ではないことがある。正確なマッピングのやり方や情報を記憶するやり方は、本出願の範囲外である。スワイプ動作を認識することはまた、スワイプ動作を有効なスワイプ動作にマッピングすること、またはスワイプ動作を有効なスワイプ動作として解釈することに関して表現され得る。
デバイスの動きを有効なデバイスの動きにマッピングするやり方を意味する、デバイスの動き(デバイスのジェスチャの動き)を認識するやり方は、アプリケーションおよび/またはオペレーティングシステムに対する何かを意味するデバイスの動きを意味し、これも本出願の範囲外である。スワイプ動作を認識するやり方に対応する考察が当てはまる。デバイスの動きを認識することはまた、デバイスの動きを、有効なデバイスの動きにマッピングすること、または有効なデバイスの動きとしてデバイスの動きを解釈することに関して表現され得る。
実生活において、デバイスのユーザが、達成しようとする幾何パターンと完全な意味で正確に一致する、完全なスワイプ動作または完全なデバイスの動きをするのは非常に困難であるかまたは不可能である。デバイスに、そのスワイプ動作が、デバイスのアプリケーションおよび/またはオペレーティングシステムに関連する円または他のパターンであると解釈される/受け取られるものと「ほとんど同じ」であるかどうかの判定を要求する代わりに、たとえば、ある特定の半径の完全な円をスワイプするのは非常に困難であるかまたは不可能である。同じことがジェスチャの動きに当てはまる。これらの判断は基準のセットに基づくことになる。
デバイスが、スワイプ動作を、デバイスの入力として適切である有効なスワイプ動作と解釈して受け入れる問題を解決するやり方、ならびに、デバイスが、デバイスの動き(デバイスのジェスチャの動き)を、デバイスに対する入力として適切なデバイスの動きと解釈して受け入れる問題を解決するやり方は、本出願の範囲外である。本出願は、これら2つのやり方の組合せをハンドリングする方法に的を絞るものである。
次に、いくつかの基本的な例を論じる。理解を容易にするために、議論は以下の「シナリオに関する基本前提」に基づく。
・デバイスは一般的なスマートフォンとして成形される(基本的に平坦なタッチ感応領域を有する)。
・デバイスはユーザの前で完全な水平位置に保持されており、デバイスのタッチ感応領域が上向きであることを意味する。
・特に別記しない限り、指はタッチ感応領域上に終始留まる。
・デバイスのモーメントは、
〇水平面においてのみ生じ、
■ユーザから離れる方向および/またはユーザに近づく方向が可能である。
■左右方向も可能である。
〇垂直面において生じることはなく、
■上下に動くことはできない。
〇特に別記しない限り、デバイスの傾斜および/または回転はあり得ない。
・デバイスは一般的なスマートフォンとして成形される(基本的に平坦なタッチ感応領域を有する)。
・デバイスはユーザの前で完全な水平位置に保持されており、デバイスのタッチ感応領域が上向きであることを意味する。
・特に別記しない限り、指はタッチ感応領域上に終始留まる。
・デバイスのモーメントは、
〇水平面においてのみ生じ、
■ユーザから離れる方向および/またはユーザに近づく方向が可能である。
■左右方向も可能である。
〇垂直面において生じることはなく、
■上下に動くことはできない。
〇特に別記しない限り、デバイスの傾斜および/または回転はあり得ない。
第1の例:ユーザが、指をほぼ固定位置に保ったまま、デバイスをある方向、たとえばユーザから離れる方向に動かすと、指はタッチ検知領域にわたって反対方向にスワイプすることになり、この例では、1つまたは複数の指が、タッチ検知領域上で(参照ポイントとしてデバイスを使用すると)ユーザに近づく方向のスワイプ動作をする。
第2の例:デバイスをある方向、たとえばユーザから離れる方向に動かし、同時に、指も同じ方向、この場合にはユーザから離れる方向にデバイスの動きとほぼ同じ速度で動かすと、タッチ検知領域にはいかなるスワイプ動作も生じない。
第3の例:デバイスをある方向、たとえばユーザから離れる方向に動かしながら、指を、たとえば右といった垂直な方向にデバイスの動きと同じ速度で動かすと、指は、はす向かいの方向へのスワイプ動作をすることになる。
以上のように、デバイスの動きも指の動きも2次元に制限されない場合にも、動きの多種多様な組合せはもちろん可能である。
デバイスの動きと指の動きとが、ともに、スワイプ動作がどのように見えるかを決定することに留意されたい。
ここで、スワイプ動作が、デバイスの動きと指の動きとのどちらによって主にもたらされるかを判定するやり方に的を絞って論じる。
デバイスは、それ自体のアクションが、デバイスの動きと、(デバイスの動きおよび指の動きによってもたらされる)スワイプ動作との両方に基づくことにより、広く拡張されたユーザインターフェースを得ることができる。
指をほぼ静止させたままデバイスをユーザから離れる方向に動かすことと、デバイスをほぼ静止させたまま指をユーザに近づく方向に動かすこととの間を区別し得ることは重要な特徴の1つであろう。これらは、どちらも類似のやり方で、ユーザに近づくスワイプ動作をもたらすことになる。実生活において、ユーザが何かを完全に静止させて保持するのは非常に困難であるため、代わりに、スワイプ動作が、主にデバイスの動きと指の動きのどちらによって生成されたかを論じることができるであろう。
次の少数の例について、以前に明示した「シナリオに関する基本前提」は、以下の相違を伴って適合する。
・デバイスは、ユーザから離れる方向および/またはユーザに近づく方向にのみ動かされ得る。
〇この方向をx軸と称し、ユーザから離れる方向を正の値とする。
・デバイスは、ユーザから離れる方向および/またはユーザに近づく方向にのみ動かされ得る。
〇この方向をx軸と称し、ユーザから離れる方向を正の値とする。
理解を容易にするために、いくつかの追加の専門用語を導入する。
・VDevice:デバイスの動きの速度。
〇VDevice,x:x軸に沿ったデバイスの動きの速度。
〇TDDevice,x:デバイスがx軸に沿って速度VDevice,xで動かされたとき時間Tの間に進んだ距離(位置の変化)。
・VFinger:指の動きの速度。
〇VFinger,x:x軸に沿った指の動きの速度。
〇TDFinger,x:指がx軸に沿って速度VFinger,xで動かされたとき時間Tの間に進んだ距離(位置の変化)。
・VSwipe:スワイプ動作の速度。
〇VSwipe,x:x軸に沿ったスワイプ動作の速度。
〇TDSwipe,x:スワイプ動作がx軸に沿って速度VSwipe,xで動かされたとき時間Tの間に進んだ距離(位置の変化)。
・VDevice:デバイスの動きの速度。
〇VDevice,x:x軸に沿ったデバイスの動きの速度。
〇TDDevice,x:デバイスがx軸に沿って速度VDevice,xで動かされたとき時間Tの間に進んだ距離(位置の変化)。
・VFinger:指の動きの速度。
〇VFinger,x:x軸に沿った指の動きの速度。
〇TDFinger,x:指がx軸に沿って速度VFinger,xで動かされたとき時間Tの間に進んだ距離(位置の変化)。
・VSwipe:スワイプ動作の速度。
〇VSwipe,x:x軸に沿ったスワイプ動作の速度。
〇TDSwipe,x:スワイプ動作がx軸に沿って速度VSwipe,xで動かされたとき時間Tの間に進んだ距離(位置の変化)。
動き検知センサは加速度を検知し、これは速度に変換する必要がある。
デバイスが、瞬間速度と平均速度とのどちらに基づいて判断するかは、むしろ実装形態に関する問題であり、種々の状況において長所と短所とがあり得る。別様に明示されなければ、簡単さのために、平均速度について論じる。デバイスは、速度の代わりに、距離または時間に基づいて判断し得ることにも留意されたい。
以下でいくつかの例に従うと、デバイスは、ユーザから離れるデバイスの動きを検知することから成るユーザ入力に対して作用することになり、ユーザに近づくスワイプ動作を検知して、スワイプ動作が主にデバイスの動きによるものかどうかを判定する。例に使用される値は、動力学および論理を示す単なる例でしかない。適切な値を選択することは実装形態次第であろう。
以下の第1の例は、指がデバイスの動きを追うとき(デバイスと同じ方向に動くとき)に的を絞るものである。
・ユーザは、指を静止させたまま、デバイスを、ユーザから離れる方向に速度VA,xで動かす。
〇VDevice,x=VA,x、VFinger,x=0、VSwipe,x=-(VDevice,x-VFinger,x)=-VA,x
〇ここで、スワイプ動作はもっぱらデバイスの動きによるものである。
〇アプリケーションは、一般的にはこのケースに対して作用する。
・ユーザは、デバイスを、ユーザから離れる方向に速度VA,xで動かし、指は、(意図的に、または非意図的に)デバイスの動きをゆっくりと、たとえばVA,xの10%の速度で「追う」。
〇VDevice,x=VA,x、VFinger,x=0.1VA,x、VSwipe,x=-(VDevice,x-VFinger,x)=-0.9VA,x
〇ここでは、スワイプ動作は主にデバイスの動きによるものであると論じることができよう。
〇アプリケーションは、一般的にはこのケースに対して作用する。
・ユーザは、デバイスを、ユーザから離れる方向に速度VA,xで動かし、指は、(意図的に、または非意図的に)デバイスの動きを、かなり速く、たとえばVA,xの90%の速度で「追う」。
〇VDevice,x=VA,x、VFinger,x=0.9VA,x、VSwipe,x=-(VDevice,x-VFinger,x)=-0.1VA,x
〇このケースがアプリケーションに対する入力として有効か否かについて論じられ得る。スワイプ動作が主にデバイスの動きによるものであるか否かについても論じられ得る。
〇指がデバイスと同じ速度でデバイスを追うと、スワイプ動作は生じないことに留意されたい(上記でさらに明示されているように、アプリケーションはこのケースに対して作用しないことを意味する)。
〇指がデバイスよりも速く動かされると、ユーザから離れるスワイプ動作が生じることにも留意されたい(上記でさらに明示されているように、アプリケーションはこのケースに対して作用しないことを意味する)。
・ユーザは、指を静止させたまま、デバイスを、ユーザから離れる方向に速度VA,xで動かす。
〇VDevice,x=VA,x、VFinger,x=0、VSwipe,x=-(VDevice,x-VFinger,x)=-VA,x
〇ここで、スワイプ動作はもっぱらデバイスの動きによるものである。
〇アプリケーションは、一般的にはこのケースに対して作用する。
・ユーザは、デバイスを、ユーザから離れる方向に速度VA,xで動かし、指は、(意図的に、または非意図的に)デバイスの動きをゆっくりと、たとえばVA,xの10%の速度で「追う」。
〇VDevice,x=VA,x、VFinger,x=0.1VA,x、VSwipe,x=-(VDevice,x-VFinger,x)=-0.9VA,x
〇ここでは、スワイプ動作は主にデバイスの動きによるものであると論じることができよう。
〇アプリケーションは、一般的にはこのケースに対して作用する。
・ユーザは、デバイスを、ユーザから離れる方向に速度VA,xで動かし、指は、(意図的に、または非意図的に)デバイスの動きを、かなり速く、たとえばVA,xの90%の速度で「追う」。
〇VDevice,x=VA,x、VFinger,x=0.9VA,x、VSwipe,x=-(VDevice,x-VFinger,x)=-0.1VA,x
〇このケースがアプリケーションに対する入力として有効か否かについて論じられ得る。スワイプ動作が主にデバイスの動きによるものであるか否かについても論じられ得る。
〇指がデバイスと同じ速度でデバイスを追うと、スワイプ動作は生じないことに留意されたい(上記でさらに明示されているように、アプリケーションはこのケースに対して作用しないことを意味する)。
〇指がデバイスよりも速く動かされると、ユーザから離れるスワイプ動作が生じることにも留意されたい(上記でさらに明示されているように、アプリケーションはこのケースに対して作用しないことを意味する)。
上記で論じられたような、デバイスの動きを「追う」指の速度に関する閾値(Tfollow,x)を設定することは、いくつかのアプリケーションにとって有効であり得、デバイスは、この閾値を、主にデバイスの動きによるスワイプ動作とそうでないスワイプ動作とを区別するために使用することができる。そのような閾値は様々なやり方で表現され得る。やり方の1つには、デバイスがスワイプ動作を主にデバイスの動きによるものと見なすための、VFinger,xが有し得るVDevice,xの最高の割合をTfollow,xによって明示することがあり得る。他のやり方には、追う方向に関する閾値が、VDevice,x(上記の例におけるVA,x)の割合ではなく速度(たとえばVB,x)を表すことがあり得る。
以下は、指が、デバイスの動きを追う(デバイスの動きと同じ方向に動く)のではなく反対方向に動く、いくつかのさらなるケースに従うものである。
・ユーザは、デバイスを、ユーザから離れる方向に速度VA,xで動かし、指は、(意図的に、または非意図的に)ゆっくりと、たとえばVA,xの10%の速度で「自分の方へ動かす」。
〇VDevice,x=VA,x、VFinger,x=-0.1VA,x、VSwipe,x=-(VDevice,x-VFinger,x)=-1.1VA,x
〇ここでは、スワイプ動作は主にデバイスの動きによるものであると論じることができよう。
〇アプリケーションは、一般的にはこのケースに対して作用する。
・ユーザは、デバイスを、ユーザから離れる方向に速度VA,xで動かし、指は、(意図的に、または非意図的に)、デバイスが離れる速度のかなりの割合の速度で、たとえばVA,xの50%の速度で「自分の方へ動かす」。
〇VDevice,x=VA,x、VFinger,x=0.5VA,x、VSwipe,x=-(VDevice,x-VFinger,x)=-1.5VA,x
〇ここでは、デバイスの動きと指の動きとの両方がかなり寄与するので、スワイプ動作が主にデバイスの動きによるものであると論じるのはより困難であろう。
・ユーザは、デバイスを、ユーザから離れる方向に速度VA,xで動かし、指は、(意図的に、または非意図的に)「自分の方へ」デバイスが離れる速度よりも速く、たとえばVA,xの150%の速度で「自分の方へ動かす」。
〇VDevice,x=VA,x、VFinger,x=1.5VA,x、VSwipe,x=-(VDevice,x-VFinger,x)=-2.5VA,x
〇ここでは、スワイプ動作が、主に、デバイスの動きではなく指の動きによるものであると論じることができよう。
・ユーザは、デバイスを、ユーザから離れる方向に速度VA,xで動かし、指は、(意図的に、または非意図的に)ゆっくりと、たとえばVA,xの10%の速度で「自分の方へ動かす」。
〇VDevice,x=VA,x、VFinger,x=-0.1VA,x、VSwipe,x=-(VDevice,x-VFinger,x)=-1.1VA,x
〇ここでは、スワイプ動作は主にデバイスの動きによるものであると論じることができよう。
〇アプリケーションは、一般的にはこのケースに対して作用する。
・ユーザは、デバイスを、ユーザから離れる方向に速度VA,xで動かし、指は、(意図的に、または非意図的に)、デバイスが離れる速度のかなりの割合の速度で、たとえばVA,xの50%の速度で「自分の方へ動かす」。
〇VDevice,x=VA,x、VFinger,x=0.5VA,x、VSwipe,x=-(VDevice,x-VFinger,x)=-1.5VA,x
〇ここでは、デバイスの動きと指の動きとの両方がかなり寄与するので、スワイプ動作が主にデバイスの動きによるものであると論じるのはより困難であろう。
・ユーザは、デバイスを、ユーザから離れる方向に速度VA,xで動かし、指は、(意図的に、または非意図的に)「自分の方へ」デバイスが離れる速度よりも速く、たとえばVA,xの150%の速度で「自分の方へ動かす」。
〇VDevice,x=VA,x、VFinger,x=1.5VA,x、VSwipe,x=-(VDevice,x-VFinger,x)=-2.5VA,x
〇ここでは、スワイプ動作が、主に、デバイスの動きではなく指の動きによるものであると論じることができよう。
上記で論じられたように、デバイスと反対方向に動く指の速度に対して、アプリケーションが反対方向に関する閾値(Topposite,x)を設定して、デバイスが、これを、主にデバイスの動きによるスワイプ動作とそうでないスワイプ動作とを区別するために使用し得ることは、有効であり得、必要でさえあり得る。そのような閾値は様々なやり方で表現され得る。やり方の1つには、デバイスがスワイプ動作を主にデバイスの動きによるものと見なすための、VFinger,xがVDevice,xの反対方向に有し得る、VDevice,xの最高の割合をTopposite,xによって明示することがあり得る。他のやり方には、上記でTfollow,xについて説明されたのと同様に、追う方向に関する閾値が、割合ではなく速度を表すことがあり得る。
Tfollow,xとTopposite,xとは、(両方が存在する場合には)必ずしも同じ値(互いに反対方向であるなら同じ絶対値)を有する必要性はなく、同じ物理量で表現される必要性もない。
デバイスの動きの速度とスワイプ動作の速度との間の比較は、デバイスの移動距離とスワイプの移動距離との間の比較のように行われ得る。
最も基本的な例は、デバイスがある特定の速度(VA,x)でユーザから離れ、指は動かず、デバイスがスワイプと反対方向に同じ距離だけ動いたと、簡単に理解される。デバイスの動きはスワイプ動作に対する相補的な動きであると表現することができる。また、デバイスの移動距離とスワイプの移動距離とは、反対方向であって大きさが等しいので、x軸に沿ったスケール係数が1であると表現することもできる。
・TDDevice,x-TDFinger,x=-TDSwipoe,x
・TDDevice,x=-TDSwipoe,x
・TDDevice,x=-ScaleFactor×TDSwipoe,x
・ScaleFactor=1
・TDDevice,x-TDFinger,x=-TDSwipoe,x
・TDDevice,x=-TDSwipoe,x
・TDDevice,x=-ScaleFactor×TDSwipoe,x
・ScaleFactor=1
デバイスおよびスワイプについて、時間Tの間の移動距離において固定すると、以下が当てはまることになる。スワイプの長さ(移動距離)(TDSwipe,x)を、ある特定の長さTDB,xにしようとする場合を想定する。そこで、
となる。
となる。
ここで、指がデバイスを追うので、デバイスは、生成されるスワイプよりも長い距離を移動する必要があることが理解され得る。デバイスの動きはスワイプ動作に対する相補的な動きであると表現することができる。また、デバイスの移動距離とスワイプの移動距離とは、反対方向であって大きさが異なるので、x軸に沿ったスケール係数が
であると表現することもできる。
であると表現することもできる。
次に、デバイスがある特定の速度(VA,x)でユーザから離れ、指がデバイスと反対の方向にデバイスの1/3の速度で動くケースについて論じる。ここで、スワイプに寄与する指が、デバイスと反対の方向に動くので、デバイスを、スワイプの長さほど動かす必要はないと理解される。x軸に沿ったスケール係数は、上記と同様に計算され得る。
・ScaleFactor,x=3/4
・ScaleFactor,x=3/4
ここで、速度に関する閾値を使用する代わりに、移動距離に関する閾値を使用することができ、これはスケール係数に関する閾値として表現され得ることが理解できる。指がデバイスを追っているときは閾値ScaleFactorThresholdFollowing,xを使用することができ、指がデバイスと反対の方向に動いているときには別の閾値ScaleFactorThresholdOpposite,xを使用することができる。閾値は異なる値を有し得、または同じ値を有し得て1つの閾値ScaleFactorThreshold,xと見なされ得る。
上記の議論は、指の3次元の動きおよびデバイスの動きを対象として含むように一般化され得る。しかしながら、スワイプ動作は、デバイスのタッチ感応領域の平坦面上の2次元の動きである。もちろん、ある特定のデバイスについては、平坦でないタッチ感応領域を仮定することができる。様々な様式で座標システムを規定するように決定することができる。やり方の1つには、デバイスが、タッチ感応領域の面のまわりで回転する場合には座標システムのまわりで動くように、空間に不動点を設定するものがある。別のやり方には、座標システムをタッチ感応領域に対して固定するものがある。これらのやり方のどちらを使用するか、または何か他のやり方を使用するかということはあまり重要ではなく、影響があるのは計算方法のみである。
しかしながら、デバイスの動きがタッチ感応領域の面上に投影され得ることを理解するのは重要なことである。デバイスの、複数の3次元の動きが、タッチ感応領域の面において同一の2次元の投影になり得ることも理解する必要がある。
上記の議論は、主にデバイスの反対方向の直線の動きによってもたらされる一方向の直線のスワイプ動作に主として的を絞ったものである。それぞれの2次元のスワイプ動作に関して反対方向の2次元の動きが存在し、相補的な動きと称され得る。この相補的な2次元の動きは、スワイプ動作をもたらすために必要なデバイスの動きの、タッチ検知領域と同一の面における2次元の投影を表す。相補的な2次元の動きは、タッチ検知領域の面に沿ったスワイプ動作を180度回転させて構築され得る。簡単に理解するために、タッチスクリーン上に、左上、右上、左下、右下の印が付いた紙があって、タッチ検知領域の対応するコーナーに合わされていると仮定する。紙は、スワイプ動作の図を含有している。紙を180度回転させると、紙の左上がタッチ検知領域の右下と整列し、紙の右上がタッチ検知領域の左下と整列し、紙の左下がタッチ検知領域の右上と整列し、紙の右下がタッチ検知領域の左上と整列することになる。このとき、紙は、スワイプ動作をもたらすデバイスの動きの、タッチ検知領域の面上の2次元の投影図を含有していることになる。いくつかの異なる3次元デバイスの動きが同じ投影を有し得るので、指がタッチ検知領域に触れている限り、いろいろなやり方でデバイスを動かしてよいことに留意されたい。これら種々のデバイスの動きに対して、デバイスが同様に作用するか否かはアプリケーション次第であろう。相補的な動きは、基本的に、スワイプ動作と同じ形の回転バージョンである。上記でさらに示されているように、相補的な動きは、存在する場合には、指の動きに依拠して、「スワイプ動作より大きい」、「スワイプ動作より小さい」または「スワイプ動作と同じ大きさ」のいずれかであり得る。アプリケーションは、スワイプ動作が主にデバイスの動きによるものであるかどうかを判定するために、上記で論じられたように、デバイスの動きおよびスワイプ動作の投影の相対速度および/または移動距離、スケール係数などを使用することができる。上述のように、これは、タッチ検知領域と同一面上に投影されたデバイスモーメントの、スワイプ動作と比較した、速度、または移動距離(長さ)、スケール係数などに関する閾値である1つまたは複数の閾値を含み得る。異なる実施形態では、スワイプ動作またはスワイプ動作に対する相補的動作が比較され得る。アプリケーションは、スワイプ動作、デバイスの動きまたは両方を検査して作用するべきかどうか、作用するとしたらどの程度までかを判断することができる。
デバイスは、ライブラリまたは他のデータベースから有効なスワイプ動作を取得して、有効なスワイプ動作から、デバイスの有効な2次元の相補的な動きを生成することができる。デバイスは、逆に、ライブラリまたは他のデータベースから、デバイスの有効な2次元の動きを取得して、この動きから、有効な相補的スワイプ動作を生成することもできる。デバイスは、ライブラリまたは他のデータベースからデバイスの有効な3次元の動きを取得し、次いで、デバイスの有効な3次元の動きをタッチ感応領域の面上に投影することによって、デバイスの有効な2次元の動きを生成することもできる。デバイスは、ライブラリまたは他のデータベースから、有効なスワイプ動作およびデバイスの有効な2次元の相補的な動きを取得することもでき、したがって一方を他方から生成するステップを省略する。同じことが、デバイスの有効な3次元の動きにも当てはまる。
デバイスは、主にデバイスの動きによる有効なスワイプ動作を検知し、トリガイベントも検知したときには、アクションを起こすべきである。トリガイベントは、たとえば、スワイプ動作が、タッチ感応領域またはタッチ感応領域の境界内の特定の領域に到達することであり得る。アクションは、アプリケーションおよび/またはオペレーティングシステムに関連した特定のアクションであり得、メニューまたはスクリーンのコンテンツの変更のようなもの含むことができる。アクションは、モード変更や、さらにはデバイスの次の動きを受け入れ得るものでもあり得、デバイスの次の動きが、有効なデバイスの次の動きであると解釈されたとき、アプリケーションおよび/またはオペレーティングシステムに関連した特定のアクションが採用され得、特定のアクションは、メニューまたはスクリーンのコンテンツの変更のようなものを含むことができる。
上記のことの一例には、デバイスのユーザが、他人に、たとえば列車の乗車券のようなものを見せようとすることがあり得る。
一実施形態では、ユーザは、指を静止させたままデバイスをこの人の方へ動かしてスワイプ動作を起こすことができ、指がタッチ感応領域の境界に到達したとき、スクリーンに乗車券が示される。
別の実施形態では、ユーザは、指を静止させたままデバイスをこの人の方へ動かしてスワイプ動作を起こすことができ、指がタッチ感応領域の境界に到達したとき、デバイスは、モードを変更して、デバイスの次の動きを受け取り、デバイスの次の動きが、デバイスのある特定の有効な動きとして認識されれば、スクリーン上に乗車券が示される。デバイスの次の動きが、デバイスの有効な別の動きと認識された場合には、別の特定のアクションが起こされ得る。
一実施形態では、デバイスの動きと指の動きとの組合せによって生じたスワイプ動作を検知するための方法は、以下のように表現され得る。
タッチ検知領域(102)および1つまたは複数の動き判定センサ(104)を備える携帯機器(100)のアプリケーションに対するユーザ入力を取得するための方法は、
第1の期間内に、タッチ検知領域(102)上で、スワイプ動作を表す第1のユーザ入力を検知することと、
第1の期間内に、1つまたは複数の動き判定センサのうち1つまたは複数から得られた、デバイスの動きを表す第2のユーザ入力を検知すること(S12)と、
トリガイベントを検知することと、
スワイプ動作が有効なスワイプ動作と解釈され、デバイスの動きが有効なデバイスの動きと解釈されたとき、デバイスにアクションを起こさせることと
を含む。
第1の期間内に、タッチ検知領域(102)上で、スワイプ動作を表す第1のユーザ入力を検知することと、
第1の期間内に、1つまたは複数の動き判定センサのうち1つまたは複数から得られた、デバイスの動きを表す第2のユーザ入力を検知すること(S12)と、
トリガイベントを検知することと、
スワイプ動作が有効なスワイプ動作と解釈され、デバイスの動きが有効なデバイスの動きと解釈されたとき、デバイスにアクションを起こさせることと
を含む。
上記の方法では、トリガイベントは、スワイプ動作がタッチ感応領域のあらかじめ規定された部分に到達することをさらに含む。
上記の方法では、さらに、有効なスワイプ動作がライブラリまたは他のデータベースから取得され、タッチ感応領域の面上のデバイスの動きの2次元の投影が、有効なスワイプ動作に対する有効な相補的な動きとして解釈されると、デバイスの動きは、デバイスの有効な動きとして解釈される。
上記の方法は、さらに、有効なスワイプ動作に対して有効な相補的な動きは、タッチ感応領域に対して垂直な軸に沿って180度回転して、スケール係数を用いてスケーリングされた有効なスワイプ動作を含む。
上記の方法では、さらに、スケール係数は、(1-スケール係数閾値)≦スケール係数≦(1+スケール係数閾値)であり、スケール係閾値は、スワイプ動作が主にデバイスの動きによるものであると指示するように選択される。
上記の方法では、さらに、デバイスのアクションは、メニューまたはスクリーンのコンテンツの変更であり得る。
上記の方法では、さらに、デバイスのアクションは、第1の期間の後の第2の期間内に、第2のユーザ入力を検知すること(S12)を受け入れ得るものであり得、第2のユーザ入力は、1つまたは複数の動き判定センサのうちの1つまたは複数から取得され、デバイスの次の動きを表す。
上記の方法では、さらに、検知された、デバイスの次の動きが、デバイスの有効な次の動きとして解釈されると、デバイスはメニューまたはスクリーンのコンテンツを変更する。
図1に示されるように、携帯機器100は、たとえば携帯機器100において実行されるアプリケーションに対するユーザ入力といったユーザ入力を取得するように設定される。いくつかの例では、アプリケーションは、たとえば物理的もしくは商業上の、ユーザの状況に関連したユーザの状況の関連付け、あるいは1つまたは複数の接続されたデバイスから判定されたユーザの状況を有し得る。いくつかの例では、状況に関連したアプリケーションは、ユーザの状況を基に判定されたアプリケーションを含む。たとえば、ユーザの状況を判定するために、ユーザの物理的位置が使用され得る。レストランにいるユーザがスワイプジェスチャを実行しながら携帯機器100を動かすと、携帯機器100は、レストランにいるユーザが、支払いを可能にする自動支払いアプリケーションを作動させようとしていると判定する。ユーザが空港、駅またはその他において、すなわち輸送機関に搭乗しようとしている状況においてユーザ入力を供給している場合には、搭乗券が反映されてよい。このように、本開示の様々な実施形態は、たとえば、ユーザが自分の状況に応じてアプリケーションを作動させることを可能にする、状況に関連したアプリケーションといったアプリケーションを作動させるかまたは呼び出すためにユーザ入力を受け取るための方法およびデバイスを提供するものである。
携帯機器100は、第1のユーザ入力を受け取るように設定されたタッチスクリーンを備え得るタッチ検知領域102を含む。たとえば、そのような第1のユーザ入力は、携帯機器100のタッチ検知領域102上で実行される、たとえばスクロール、ピンチ、ドラッグ、スワイプ等の様々なタッチ相互作用を含む。
拡張されたユーザインターフェースが一旦アクティベートされると、ユーザ入力は、携帯機器100の動きによっても取得され得る。そのようなユーザ入力により、たとえば携帯機器100のアプリケーションを用いて、タッチ検知領域102の動きおよび/または携帯機器100の動きにより、携帯機器100との相互作用が可能になる。
図1に示されるように、ユーザは、たとえば図示のようにタッチ検知領域102上でスワイプジェスチャを実行することによるタッチ相互作用によって第1のユーザ入力を供給することにより、携帯機器100と相互作用し得る。次いで、第1のユーザ入力を含む期間内に、ユーザは、携帯機器100を回転させて第2のユーザ入力を供給し得、それによって、携帯機器100の動きを引き起こす。このように、携帯機器100は、たとえばタッチ検知領域102上のスワイプジェスチャによる第1のユーザ入力と、たとえば携帯機器100の動きによる第2のユーザ入力とを受け取る。加えて、携帯機器100は、たとえば第1のユーザ入力および第2のユーザ入力、または携帯機器のアプリケーションからの入力を基に、ユーザの状況を判定するように設定されてよい。さらに、携帯機器100は、携帯機器100の中の、状況に関連したアプリケーションに、第1のユーザ入力、第2のユーザ入力および/または判定されたユーザの状況を基に、ユーザ入力を供給するように設定されてもよい。
携帯機器100は、上記で説明されたように、ユーザ入力を取得するように設定された様々なモジュールを含み得る。携帯機器100および携帯機器100の様々なモジュールが、説明の後の部分で図に関連してさらに詳述される。
図2Aは、ユーザ入力を取得するために、たとえば図1に示されるような携帯機器100といった携帯機器100において実施される例示の方法のステップを示す流れ図を開示するものである。携帯機器100は、タッチ検知領域102および1つまたは複数の動き判定センサ104を備える。この方法は、ある期間内にユーザによって供給された、タッチ検知領域102上の、アプリケーションに関連した第1のユーザ入力を検知することS11を含む。1つまたは複数の動き判定センサ104が、前記期間中に、たとえばユーザの到達する範囲内の空間といった所定の空間内の携帯機器100の動きを登録するS12。アプリケーションは、前記期間中に、第1のユーザ入力および登録済みの動きを基に、登録済みの動きから取得された第2のユーザ入力に応答する。
したがって、この方法は、たとえば期間を開始する時間インスタンスにおいて第1のユーザ入力を検知するといった、ある期間内にタッチ検知領域102上の第1のユーザ入力を検知することS11を含む。たとえば、第1のユーザ入力は、タッチ検知領域102上で実行されるスワイプジェスチャ、ドラッグジェスチャ、ピンチジェスチャ等の形態のタッチ相互作用を含み得る。さらに、そのようなタッチ相互作用は、1つの指、複数の指、またはポインタデバイスを使用して実行され得る。期間は、携帯機器100、動き検知センサ104、または携帯機器100上で実行されるアプリケーションの要件に応じて設定可能であり得る。したがって、第1のユーザ入力は、期間内にタッチ検知領域102上で検知され、携帯機器100上で実行されるアプリケーションに関連付けられて、たとえば携帯機器100のアプリケーションを呼び出すかまたはアクティベートする。
一実施形態では、ユーザの状況が確立されており、アプリケーションは、ユーザの状況から判定される、状況に関連したアプリケーションである。したがって、期間内にタッチ検知領域102上の第1のユーザ入力を検知することは、ユーザの状況から判定される、状況に関連したアプリケーションを判定することを含み得る。いくつかの例では、ユーザの状況は、以前に説明されたように、ユーザの物理的位置、商業上の位置、および1つまたは複数の接続されたデバイスのうち1つまたは複数から判定される。ユーザの状況は、たとえばユーザがアプリケーションのタッチアクティベーションを開始するのに応答して、第1のユーザ入力を基に判定され得る。すなわち、携帯機器100は、第1のユーザ入力に応答して、状況に関連したアプリケーションを識別し得る。たとえば、ユーザがタッチ検知領域102上でスワイプジェスチャを実行するとき、携帯機器100は、たとえば、物理的または商業上のユーザの状況に関連したユーザの状況あるいは1つまたは複数の接続されたデバイスから判定されたユーザの状況といった、ユーザの状況の関連付けを有し得る、状況に関連したアプリケーションを識別する。いくつかの例では、状況に関連したアプリケーションは、ユーザの状況を基に判定されたアプリケーションを含む。たとえば、ユーザの状況を判定するために、ユーザの物理的位置が使用され得る。ユーザが、レストラン、空港、鉄道駅などにいる場合には、ユーザの状況は、レストラン、空港または鉄道駅内にいるこの状態から判定されてよい。
ステップS12で、この方法は、期間中に、所定の空間内の携帯機器100の動きを登録することを含む。たとえば、ユーザが携帯機器100をフリップしたり、回転させたり、振ったり、または類似のことをしたりすると、携帯機器100は、所定の空間内の初期位置から動かされ、所定の空間は、携帯機器100を囲む、ユーザの腕が届く範囲内の空間を表す(すなわち、デバイスを保持したユーザは、ジェスチャを実行することによって携帯機器100を動かすことができる)。いくつかの例では、動きは、ユーザの到達する範囲内の携帯機器100のジェスチャである。携帯機器100のこれらの動きは、携帯機器100に装備された動き判定センサ104によって追跡され、次の処理のために登録される。例示の動き判定センサ104は、加速度計、ジャイロスコープ、方位センサ、慣性センサ等を含み、これらは、携帯機器100のまわりの所定の空間内の、携帯機器100の並進、回転、および方向の変化を判定することができる。動き判定センサ104は、携帯機器100の動きを連続的に登録し得、たとえば個別のインスタンスにおける携帯機器100の様々な位置を周期的かつ頻繁に登録する。
このように、動き判定センサ104は、携帯機器100の、並進、回転、または方向における変化を連続的に登録するように設定される。いくつかの例では、期間中に所定の空間内の携帯機器100の動きを登録することは、1つまたは複数の動き判定センサ104を使用して、携帯機器100の並進および/または回転を表す1つまたは複数のパラメータにおける変化を検知することを含み得る。たとえば、ユーザは、携帯機器100を、ランドスケープモードからポートレートモードへとフリップしてよく、テーブルに沿って動かしてよく、別のユーザに手渡してよく、携帯機器100を机のわきへ押して、たとえばラップトップコンピュータといった他の物体のために空き間を作ってよく、かつ/または別のユーザに手渡すことによって動きの登録を呼び出してもよい。携帯機器100の並進および/または回転などの動きによって1つまたは複数のパラメータが変化し、動き判定センサ104を使用して登録される。
いくつかの例では、期間中に所定の空間内の携帯機器100の動きを登録することS12は、1つまたは複数の動き判定センサ104を使用して、携帯機器100の並進および/または回転を表す1つまたは複数のパラメータにおける変化を検知することを含む。
いくつかの例では、ユーザ入力を取得する方法は、第2のユーザ入力に応答するために携帯機器100および/またはアプリケーションをアクティベートすることS13を含む。タッチ検知領域102から、タッチ検知領域102の周辺に向かう方向のユーザの活動に関連した情報が受け取られ得るS13a。携帯機器100をアクティベートして、たとえば携帯機器100において実行されるアプリケーションが第2のユーザ入力に応答するように、タッチ検知領域102の周辺における第1のユーザ入力が検知され得るS13b。いくつかの例では、携帯機器100を、第2のユーザ入力に応答するようにアクティベートするステップは、状況に関連したアプリケーションを作動させることも含む。
図1のシナリオに戻って、携帯機器を、ジェスチャの動きすなわち第2のユーザ入力に応答するようにアクティベートすることS13は、ユーザが、一方の手で携帯機器を物理的に動かしながら、他方の手の指でタッチ検知領域にタッチしたとき達成され得る。したがって、アクティベートすることS13は、ユーザがデバイスを保持したまま他方の手の1つまたは複数の指(またはポインタ)をタッチ検知領域102に接触させ、次いで携帯機器100を物理的に素早く動かすことによって達成される。物理デバイスすなわち携帯機器100のジェスチャがある方向に動くと、指は、タッチ領域にわたって反対方向に動くことになり、1つまたは複数の指が、タッチ検知領域102においてスワイプ動作をする。以前に開示されたように、1つまたは複数の動き判定センサ104によってジェスチャの動きが登録されるS12。1つまたは複数の指がタッチ検知領域102を去ると、動き判定センサ104によって登録済みのジェスチャの動きから第2のユーザ入力が取り出され得るように、携帯機器100において、ユーザ入力モードが切り換えられるかまたは拡張され得、すなわち、以下でさらに説明されるように、携帯機器100のアプリケーションが第2のユーザ入力を受け取る。携帯機器100は、第1のユーザ入力と第2のユーザ入力との組合せに対して同時に動作するように設定されてよく、あるいは、たとえば上記で開示された、タッチ検知領域にわたるスワイプ動作といったアクティベートするステップS13に続いて、第1のユーザ入力モードから第2のユーザ入力モードへと切り換わるように設定されてもよい。ジェスチャ検知モードをアクティベートすることS13は、携帯機器のさらなる特別なジェスチャ、すなわち拡張されたジェスチャインターフェースによるユーザ入力を可能にするためにデバイスを所与のやり方で動かすことも必要とすることがある。デバイスは、それに応じて、デバイスの自然な動きに、ある特定のやり方で応答し、拡張されたユーザインターフェースが高速かつ直観的になる。
ユーザ入力を取得する方法は、期間中に、登録済みの動きを基に、たとえば状況に関連したアプリケーションといったアプリケーションによって第2のユーザ入力を受け取ることS14を含み、すなわち、第2のユーザ入力は登録済みの動きから取得される。したがって、第2のユーザ入力は、登録済みの動きに応じて判定され得、たとえばジェスチャライブラリからのあらかじめ規定されたジェスチャを含み得る。たとえば、第2のユーザ入力は、登録済みの動きに比例し得る。いくつかの例では、第2のユーザ入力は、ユーザの到達する範囲内の携帯機器100のジェスチャの動きであり、第2のユーザ入力は、ジェスチャライブラリから少なくとも1つのジェスチャ解釈を検索し、ジェスチャの動きに対してこのジェスチャ解釈を適用することによって取得される。いくつかの例では、第1の入力および第2の入力は、期間中に、携帯機器100において少なくとも部分的に同時に検知され得る。他の例では、第1のユーザ入力と第2のユーザ入力とが、携帯機器100において少なくとも部分的に順次に検知され、第1のユーザ入力は期間が始まる時間インスタンスにおいて検知される。
図2Bは、たとえば無線デバイスといった携帯機器100において実施されるような、さらなる例示の方法のステップを開示するものである。ステップS15で、この方法は、少なくとも第2のユーザ入力に基づいて、状況に関連したアプリケーションを作動させることを含む。いくつかの例では、状況に基づくアプリケーションに対するユーザ入力を取得することは、タッチ検知領域102によって第1のユーザ入力を受け取ることと、動き判定センサ104が登録した第2のユーザ入力を受け取ることとを含む。たとえば、タクシーに乗り込むユーザが、携帯機器100に乗車券を表示するために、第1のユーザ入力としてスワイプジェスチャを実行して携帯機器100を動かすと、タクシーのアプリケーションが、タッチ検知領域102上に乗車券を表示し得る。したがって、第1のユーザ入力と第2のユーザ入力との組合せに応答してタクシーのアプリケーションが作動され得て、携帯機器100に乗車券が表示される。
別の例では、状況に関連したアプリケーションを作動させることS15は、レストランにおける支払いを含み、レストランはユーザの状況を表現する。別の例では、ユーザがジョギング中にスワイプジェスチャを実行してデバイスを回転させると、携帯機器100のフィットネスアプリケーションが自動的に作動され得る。したがって、ユーザの状況が身体活動と判定されたとき、フィットネスアプリケーションがアクティベートされ得る。結果的に、状況に関連したアプリケーションを作動させることS15は、ユーザの現在の活動を表現し得るユーザの状況に関連したアクションを作動させることを含む。
いくつかの例では、ユーザ入力を取得する方法は、少なくとも第2のユーザ入力に応答して、携帯機器100の1つまたは複数のアプリケーションまたはデータ項目に対するアクセスを制限することS17を含む。したがって、この方法は、第1のユーザ入力および/または第2のユーザ入力に応答して、デバイスの複数のデータ項目に対するアクセスを制限することを含み得る。複数のデータ項目は、それだけではないが、携帯機器100にインストールされた発呼アプリケーション、電子メールアプリケーション、ビデオアプリケーション、ゲームアプリケーション、アプリケーションアイコン、メニューコンポーネント、設定、機能等を含み得る。たとえば、ユーザは、自分の携帯機器100を他人、友人または未知の人に貸す場合には、携帯機器100のデータ項目に対するアクセスを制限したいであろう。たとえば、データ項目に対するアクセスを制限することは、デバイスを使用可能な時間長、他人が可能な呼数、アクセス可能なアプリケーション、制限されるアプリケーション等を設定することを含み得る。任意選択で、別のプロファイルに別のアクセス権が記憶され得、少なくとも第2のユーザ入力の別の可変要素が、たとえば第1のユーザ入力と組み合わされて、使用されるプロファイルを管理するために使用され得る。たとえば、ユーザは、近くのユーザに携帯機器100を手渡すジェスチャの動きを実行するとき、友人用のスワイプには1本の指を使用してよく、未知の人には2本の指を使用してよく、厳しいアクセス制限には3本の指を使用してよい。したがって、携帯機器100は、第1のユーザ入力および/または第2のユーザ入力に応答して、デバイスの複数のデータ項目に対するアクセスを制限するように設定され得る。
いくつかの例では、この方法は、少なくとも1つの接続されたデバイスを識別することS16aを含む。接続されたデバイスは、状況に関連したアプリケーションとあらかじめペアリングされていてよく、または第1のユーザ入力を受け取ることに応答して、状況に関連したアプリケーションとペアリングされることも可能である。たとえば、接続されたデバイスは、テレビ、頭部装着型ディスプレイ、HMDデバイス、スマートウォッチ、ウェアラブルデバイス等であり得る。接続されたデバイスは、それだけではないが、Bluetooth、Wi-Fi、NFC等の適切な通信プロトコルのうち任意のもの使用して、携帯機器100とペアリングされ得る。携帯機器100が、接続されたデバイスとペアリングされると、接続されたデバイスが識別され、少なくとも第2のユーザ入力に基づいて作動され得る。いくつかの例では、接続されたデバイスは、もちろん、タッチ入力すなわち第1のユーザ入力と、携帯機器100を包含するジェスチャの動きすなわち第2のユーザ入力との組合せに基づいて作動され得る。ユーザは、携帯機器100を使用して、接続されたデバイスを制御することができる。たとえば、ユーザは、メニュー(アイコン)をテレビに表示して、映画の選択肢をスクロールするつもりである。携帯機器100は、(たとえばBluetoothまたはWi-Fiによって)テレビとペアリングされているので、遠隔のポインティング制御デバイスとして働き、ユーザは、テレビ画面上のポインタを制御するように携帯機器100を動かすことができる。それに続いてタッチ検知領域102にタッチすれば、指し示されているアイコンに対する選択機能を表現し得る。したがって、ユーザは、接続されたデバイスの所望のアイコンを選択して、アイコンにアクセスすることができる。
図3は、たとえば上記で開示された方法を実施する図1の携帯機器100である携帯機器100の例示の構成を示す例示の概略ブロック図を示す。携帯機器100は、タッチ検知領域102と、たとえば加速度計、ジャイロスコープ、磁力計、慣性センサまたは同種のものといった、デバイス100の動きを判定するための1つまたは複数の動き判定センサ104と、処理回路30とを備える。処理回路30は、ある期間内の、タッチ検知領域102上の、アプリケーションに関連した第1のユーザ入力を検知して、この期間中に所定の空間内の携帯機器100の動きを登録するように設定されている。さらに、処理回路30の設定によって、アプリケーションは、前記期間中に、登録済みの動きから取得された第2のユーザ入力を受け取る。
動き判定センサ104は、携帯機器100の様々な動きを追跡するために携帯機器100の中に配置されている。これらの動き判定センサ104が、携帯機器100の全部の(すなわち携帯機器100の初期位置から最終位置までの)動きを登録し、たとえばアプリケーションを実行する携帯機器100は、登録された動きを第2のユーザ入力として解釈するように設定されており、第2のユーザ入力は、携帯機器100の登録済みの動きに比例し得、または、図3に示されるようにアプリケーションのジェスチャライブラリもしくは携帯機器100に用意されたジェスチャライブラリを使用して解釈され得る。ユーザが携帯機器100の動きを終了したとき、動き判定センサ104が自動的に非アクティベートされてよく、またはセンサから入力の受取りが非アクティベートされてもよい。したがって、携帯機器100は、タッチ検知領域102上のタッチジェスチャを、1つまたは複数の動き判定センサ104によるデバイスの動きと組み合わせて検知し得、第1のユーザ入力および第2のユーザ入力に応答する。
例示の構成は、たとえば状況に関連したアプリケーションであるアプリケーションを作動させて、第1のユーザ入力および/または第2のユーザ入力を受け取る。図3に表されるように、携帯機器100は処理回路30を含む。処理回路30は、センサエンジン302と、たとえばジェスチャライブラリを利用できるジェスチャ認識エンジンであるジェスチャ認識エンジン304と、メモリ306と、状況検知エンジン308と、アプリケーション実行エンジン310と、表示エンジン312とを含み得る。
一実施形態では、センサエンジン302は、たとえば第2のユーザ入力といった、携帯機器100の動きに関連したユーザ入力を処理するために、たとえば加速度計、ジャイロスコープ、磁力計、慣性センサまたは任意の方向検知センサもしくは同種のものといった動き判定センサ104から入力を受け取り得る。センサエンジン302は、ユーザが、デバイスを、たとえばユーザの到達する空間としてあらかじめ決定された空間である所定の空間内の任意の方向に、回転させる、並進させる、フリップする、または傾斜させるとき、携帯機器102の動きを連続的に処理するように設定され得る。
ジェスチャ認識ユニット304は、所定の空間内におけるタッチ検知領域102上の第1のユーザ入力(すなわち携帯機器100の外部の空間内のジェスチャの動き)(すなわちタッチジェスチャ)を認識するように設定され得る。たとえば、ジェスチャ認識ユニット304は、このジェスチャを、タッチジェスチャ、スワイプジェスチャ、ピンチジェスチャ、ドラッグジェスチャ、回転ジェスチャ、または同種のものとして認識するように設定され得る。したがって、ジェスチャ認識ユニット304は、たとえば第1のユーザ入力であるタッチ検知領域上のユーザ入力のタイプを識別するように設定され得る。さらに、ジェスチャ認識ユニット304は、携帯機器100のジェスチャの動き、すなわち、携帯機器100の、並進、回転、方向の変化または同種のものを包含するジェスチャの動きを認識するように設定され得る。
一実施形態では、メモリ306は、携帯機器100を用いて登録された複数のジェスチャを含む。たとえば、メモリ306には、それだけではないが、タッチジェスチャ、スワイプジェスチャ、ピンチジェスチャ、ドラッグジェスチャ、回転ジェスチャ、ズームジェスチャ、タップジェスチャ、ダブルタップジェスチャまたは同種のものなどの様々なユーザジェスチャが記憶され得る。加えて、メモリ306は、携帯機器100を用いて登録された複数の動きを含む。たとえば、複数の動きは、前方、後方、上方および/または下方への動き、フリップ、傾斜、時計回り、反時計回りまたは同種のものを含む。ジェスチャ認識ユニット304は、メモリ306に対して通信可能に結合され得る。
一実施形態では、状況検知エンジン308は、ユーザの状況を判定して、ユーザの状況から、状況に関連したアプリケーションを判定するように設定され得る。ユーザの状況は、ユーザの物理的位置、商業上の位置、および1つまたは複数の接続されたデバイスのうち1つまたは複数から判定され得る。ユーザの状況は、第1のユーザ入力および/または第2のユーザ入力からも判定され得、たとえば携帯機器100上のアプリケーションをアクティベートする第1のユーザ入力から判定され得る。状況検知エンジン308は、たとえば、第1のユーザ入力による、ある特定のアプリケーションのアクティベートと、それに続く、ジェスチャの動きを使用するアクションのアクティベートとの、第1のユーザ入力と第2のユーザ入力との組合せを使用して、ユーザの状況を判定してもよい。状況検知エンジン308は、ユーザの状況を判定するために、第1のユーザ入力と第2のユーザ入力との間のマッピング関係を維持し得る。たとえば、第1のユーザ入力がスワイプジェスチャであって第2のユーザ入力が携帯機器100の回転運動であれば、状況検知エンジン308は、第1の入力と第2の入力(すなわちスワイプジェスチャと回転運動)とを組み合わせて、ユーザの状況を、たとえばユーザはレストランにいると判定する。したがって、状況検知エンジン308は、第1のユーザ入力と第2のユーザ入力とを組み合わせてユーザの状況を検知するように設定され得る。状況検知エンジン308は、第1のユーザ入力と第2のユーザ入力の様々な組合せを記憶してユーザの状況を判定するように、第1の入力と第2の入力との多くの組合せを用いて訓練され得る。
一実施形態では、実行エンジン310は、判定されたユーザの状況に応じて、たとえば状況に関連したアプリケーションであるアプリケーションを実行するかまたは作動させるように設定され得る。たとえば、第1のユーザ入力および第2のユーザ入力を判定することに応答して、ユーザの状況が、(第1のユーザ入力および第2のユーザ入力を基に)タクシーに乗り込もうとしていると判定されたときには、実行エンジン310は、タクシーのアプリケーションを実行して、タクシーのアプリケーションが携帯機器100に乗車券を表示できるように設定され得る。このように、実行エンジン310は、判定されたユーザの状況に応じて、状況に関連したアプリケーションを実行するかまたは作動させるように設定され得る。加えて、実行エンジン310は、携帯機器100上の第1のユーザ入力および第2のユーザ入力に応答して、ユーザの状況に関連する様々な状況に関連したアプリケーションを実行するかまたは作動させるように設定され得る。
表示エンジン312は、携帯機器100上にタッチ検知領域102をもたらすように設定され得る。一実施形態では、タッチ検知領域102は、ユーザが1つまたは複数のジェスチャを実行するタッチパネルまたはタッチスクリーンを含む。
図4は、携帯機器100においてユーザ入力を取得するための基本的な使用事例の一例を示す。基本的なケースでは、ユーザは、たとえば一方の手の1つまたは複数の指(またはポインタ)でタッチ検知領域102にタッチしたまま、携帯機器を保持した他方の手を物理的に動かすことができる。物理デバイスのジェスチャがある方向に動くと、指は、タッチ検知領域102にわたって反対方向に動くことになり、1つまたは複数の指が、タッチ検知領域102においてスワイプ動作をする。ジェスチャの動きは、1つまたは複数の動き判定センサ104によって登録される。1つまたは複数の指がタッチ検知領域102を去ると、動き判定センサ104によって登録済みのジェスチャの動きから第2のユーザ入力が取り出されるように、携帯機器において、ユーザ入力モードが切り換えられるかまたは拡張され得る。携帯機器100は、もちろん、第1のユーザ入力と第2のユーザ入力との組合せに対して同時に動作するように設定されてよく、あるいは、たとえば上記で開示された、タッチ検知領域102にわたるスワイプ動作といったアクティベート動作に続いて、第1のユーザ入力モードから第2のユーザ入力モードへと切り換わるように設定されてもよい。ジェスチャ検知モードのアクティベーションは、携帯機器100のさらなる特別なジェスチャ、すなわち拡張されたジェスチャインターフェースによるユーザ入力を可能にするためにデバイスを所与のやり方で動かすことも必要とすることがある。デバイスは、それに応じて、デバイスの自然な動きに、ある特定のやり方で応答し、拡張されたユーザインターフェースが高速かつ直観的になる。
図4の基本的な使用事例に関して説明されたように、携帯機器100において、第1のユーザ入力と第2のユーザ入力とが少なくとも部分的に同時に検知され得る。たとえば、ユーザは、タッチ検知領域102においてスワイプジェスチャ(すなわち第1のユーザ入力)を実行しながら携帯機器100を回転させる(すなわち第2のユーザ入力)。したがって、携帯機器100は、第1のユーザ入力と第2のユーザ入力とを同時に受け取り、これらを同時に検知したことに応答して、状況に関連したアプリケーションを作動させるように設定され得る。あるいは、携帯機器100において第1のユーザ入力と第2のユーザ入力とが順次に検知される。たとえば、ユーザは、タッチ検知領域102においてスワイプジェスチャを実行した後に(すなわち第1のユーザ入力を供給した後に)デバイスをジェスチャの動きで回転させて第2のユーザ入力を供給する。
図5は携帯機器100上のアプリケーションを作動させるための使用事例の一例を示す。携帯機器100はたとえば無線デバイスであり、タッチ検知領域102と、たとえば加速度計、ジャイロスコープ、磁力計、慣性センサまたは同種のものといった1つまたは複数の動き判定センサ104と、処理回路とを備える。ユーザは、最初にタッチ検知領域102においてスワイプジェスチャを実行して第1のユーザ入力を供給し、指は、タッチ検知領域102上でタッチ検知領域102の周辺まで動かし続ける。タッチ検知領域102の周辺までスワイプすると、示されるように、ジェスチャの動きの形態の第2のユーザ入力を受け取る能力をアクティベートし得る。ユーザは、タッチ検知領域102においてスワイプジェスチャを実行した後に携帯機器100を回転させる。ユーザがスワイプジェスチャ(すなわち第1のユーザ入力)を実行してから携帯機器100を回転させる(すなわち第2のユーザ入力)と、ユーザの状況の判定も、たとえば第1のユーザ入力および/または第2のユーザ入力によって、または携帯機器の物理的もしくは商業上の位置を判定することによって、アクティベートされ得る。この例では、携帯機器100は、ユーザの状況を、タクシーに乗るところであると判定するように設定され得る。携帯機器100は、ユーザの状況を判定した後に、第1のユーザ入力および第2のユーザ入力に応答して、ユーザの状況に関連した、タクシー予約アプリケーションを作動させるように設定され得る。さらに、携帯機器100は、携帯機器100のディスプレイに乗車券を表示することによってタクシー予約アプリケーションを作動させるように設定され得る。いくつかの例では、乗車券アプリケーションは、アプリケーションをアクティベートするための第1のユーザ入力と、デバイスが他人に示される、携帯機器100のジェスチャの動きの形態の第2のユーザ入力と、乗車券を表示する、状況に関連したアプリケーションの動作とを含む。
図6は、タッチ検知領域102および1つまたは複数の動き判定センサ104を備える携帯機器100において状況に関連したアプリケーションに対するユーザ入力を取得するための別の例の使用事例を示す。図6は、ユーザが携帯機器100において指をスワイプし、これがタッチ検知領域102において第1のユーザ入力として検知される様子を開示するものである。開示されたシナリオでは、ユーザは、たとえばテレビ(TV)である接続されたデバイス200と相互作用し、テレビにメニュー(アイコン)を表示してから、ゲームを始めるためにゲームまでスクロールするつもりである。スマートフォンである携帯機器100は、あらかじめ(たとえばBluetoothまたはWi-FiまたはNFCによって)テレビとペアリングされ得、またはテレビと接続可能であり、遠隔ポインティングおよび制御のデバイスとして働き、ユーザが携帯機器100を動かすことを許容し、携帯機器100の動きがテレビの画面上のポインタを制御する。
図6に表されるように、ユーザは、最初にタッチ検知領域102においてスワイプジェスチャを実行し、指を、タッチ検知領域102においてその周辺に到達するまで動かし続ける。ユーザは、タッチ検知領域102においてスワイプジェスチャを実行した後に携帯機器100を回転させる。ユーザがスワイプジェスチャ(すなわち第1のユーザ入力)を実行してから携帯機器100を回転させる(すなわち第2のユーザ入力)と、携帯機器100は、ユーザの状況を、接続されたデバイス200(たとえばテレビ)を操作していると判定するように設定される。ユーザの状況(たとえばテレビを操作している)を判定した後に、携帯機器100上の第1のユーザ入力および第2のユーザ入力は、図6にさらに示されるようなテレビのメニューシステムを作動させるかまたはアクティベートする。第1の入力と第2の入力との組合せにより、テレビの画面中央のポインタも、携帯機器100を動かすことによって制御され得る。したがって、ユーザは、携帯機器100を動かすことによってテレビの画面上のポインタを制御する。ユーザは、ゲームをクリックして所望のゲーム(すなわちゲーム2)を選択すると、図6に示されるように、テレビにおいて、選択したゲームで遊ぶことができる。
図7は、タッチ検知領域102および1つまたは複数の動き判定センサ104を備える携帯機器100において状況に関連したアプリケーションに対するユーザ入力を取得するための別の例の使用事例を示す。図7に関して開示された使用事例では、第1のユーザ入力と第2のユーザ入力との組合せは、1つまたは複数のアプリケーションまたはデータ項目に対するアクセスを制限するために使用され得る。1つまたは複数のアプリケーションは、それだけではないが、発呼アプリケーション、ビデオアプリケーション、ゲームアプリケーション、メニューコンポーネント、アイコン、セッティング、携帯機器100にインストールされた機能または同種のものを含む。この例では、ユーザは、これから、自分の携帯機器100を他人、友人または未知の人に貸すところであり、デバイス上の複数のデータ項目に対するアクセスを制限するつもりである。たとえば、デバイス上のデータ項目に対する制限は、他人が携帯機器100を使用することができる時間長、他人が可能な呼数、アクセス可能なアプリケーション、アクセスを阻止され得るアプリケーションまたは同種のものを含み得る。あるいは、どのプロファイルを使用するべきかを制御するために使用され得る初期のスワイプおよび/または動きのジェスチャのいずれかの別々のプロファイルおよび別々の可変要素について、別々のアクセス権が記憶され得、たとえば、友人には1本の指を使用し、未知の人には2本の指を使用し、携帯機器100において現在アクティブなアプリケーションのみ使用することをユーザに許容する非常に制限されたアクセスには3本の指を使用する。
図7に表されるように、ユーザは、最初にタッチ検知領域102においてスワイプジェスチャを実行してから、図7に示されるように携帯機器100が他人に手渡されているかのようにデバイスのジェスチャの動きを実行してよい。ユーザは、スワイプジェスチャ(すなわち第1のユーザ入力)を実行してから、携帯機器100が他人に手渡されているかのように、携帯機器100を傾斜させるかまたは動かす(すなわち第2のユーザ入力)。さらに、携帯機器100は、たとえば第1のユーザ入力と第2のユーザ入力とを組み合わせることによってユーザの状況を判定するように設定され得る。この例では、携帯機器100は、ユーザの状況を、携帯機器100を別のユーザに貸すところであると判定するように設定され得る。携帯機器100は、ユーザの状況を判定した後に、図7に示されるように、第1のユーザ入力および第2のユーザ入力に応答してデータ項目を制限するように設定され得る。
上記で開示された使用事例では、拡張されたユーザインターフェース(UI)を作動させることによって利益が実現される。拡張されたUIは、携帯機器100が1つまたは複数の動き判定センサ104からユーザ入力を取り出すように、ユーザによって、携帯機器100のジェスチャ、タッチ、動きまたは同種のものを用いて開始され、それによってタッチ検知領域102の物理的境界を外へ拡張する。したがって、拡張されたユーザインターフェースは、タッチ検知領域102において第1のユーザ入力を受け取ること、1つまたは複数の動き判定センサ104によって登録された第2のユーザ入力を受け取ること、またはそのようなユーザ入力の組合せによって、アクティベートされ得る。
図8は、この方法を実施する例示のコンピュータ環境およびユーザ入力を取得するための携帯機器100を示す。携帯機器100は、上記で開示された使用事例および例では無線デバイスとして示されているが、たとえばスマートフォン、テーブル、スマートウォッチまたはグローブもしくはシューズなどのウェアラブルデバイスといった複数の携帯可能なアプリケーションであり得ることが理解されよう。
図8に表されるように、コンピュータ環境800は、制御ユニット802および算術論理演算ユニット(ALU)803が備わっている少なくとも1つのデータ処理ユニット804と、メモリ805と、記憶機構806と、複数のネットワークデバイス808と、複数の入出力(I/O)デバイス807とを備える。データ処理ユニット804は、アルゴリズムの命令の処理を担う。データ処理ユニット804は、それ自体の処理を実行するために制御ユニットから命令を受け取る。さらに、命令の実行に包含される任意の論理積算術演算が、ALU 803の支援の下に計算される。
全体的なコンピュータ環境800は、複数の均一なコアおよび/またはヘテロジニアスコア、異なる種類の複数のCPU、特別な媒体および他のアクセラレータから成り得る。データ処理ユニット804は、アルゴリズムの命令の処理を担う。さらに、複数のデータ処理ユニット804が単一のチップ上または複数のチップの上に配置され得る。
実装形態のために必要な命令およびコードから成るアルゴリズムが、メモリ805もしくは記憶機構806のいずれかまたは両方に記憶される。命令は、実行するとき、対応するメモリ805および/または記憶機構806から取り込まれ、データ処理ユニット804によって実行され得る。
何らかのハードウェア実装形態の場合には、様々なネットワークデバイス808または外部I/Oデバイス807が、ネットワークデバイス808およびI/Oデバイス807を介した実装を支援するためにコンピュータ環境に接続され得る。
本明細書で開示された実施形態は、少なくとも1つのハードウェアデバイス上で実行される、エレメントを制御するためにネットワーク管理機能を実行する少なくとも1つのソフトウェアプログラムによって実施され得る。図8に示されるエレメントは、ハードウェアデバイス、またはハードウェアデバイスとソフトウェアモジュールとの組合せのうち少なくとも1つであり得るブロックを含む。
特定の実施形態の前述の説明により、本明細書の実施形態の一般的な性質が完全に明らかになるはずであり、他者は、現在の知見を適用することにより、そのような特定の実施形態を、様々な用途向けに、一般的な概念から逸脱することなく容易に変更することおよび/または適合させることができ、したがって、そのような適合および変更は、開示された実施形態の等価物の意味および範囲の中に入ると理解されるべきであり、そのように意図されている。本明細書に採用された語法または専門用語は、説明を目的としており、限定ではないことを理解されたい。したがって、本明細書の実施形態は好ましい実施形態に関して説明されているが、当業者なら、本開示の範囲内の変更を用いて実施形態を実施し得ることを認識するであろう。
Claims (15)
- タッチ検知領域(102)および1つまたは複数の動き判定センサ(104)を備える携帯機器(100)のアプリケーションに対するユーザ入力を取得するための方法であって、
- ある期間内の、前記タッチ検知領域(102)上の、前記アプリケーションに関連した第1のユーザ入力を検知するステップ(S11)と、
- 前記期間中に、所定の空間内の前記携帯機器の動きを登録するステップ(S12)と、
- 前記期間中に、前記アプリケーションに、前記登録済みの動きから取得された第2のユーザ入力に応答させるステップ(S14)と
を含む方法。 - - 前記携帯機器(100)および/または前記アプリケーションを、前記第2のユーザ入力に応答するようにアクティベートするステップ(S13)をさらに含む、請求項1に記載の方法。
- 前記携帯機器(100)を、第2のユーザ入力に応答するようにアクティベートするステップ(S13)が、
- 前記タッチ検知領域(102)から、前記タッチ検知領域(102)の周辺に向かう方向のユーザの活動に関連した情報を受け取るステップ(S13a)、および/または
- 前記タッチ検知領域(102)の周辺における第1のユーザ入力を検知するステップ(S13b)
を含む、請求項2に記載の方法。 - 前記第2のユーザ入力が、前記ユーザの到達する範囲内の前記携帯機器(100)のジェスチャの動きであり、前記第2のユーザ入力は、ジェスチャライブラリから少なくとも1つのジェスチャ解釈を検索し、前記ジェスチャの動きに対してこのジェスチャ解釈を適用することによって取得される、請求項1または2に記載の方法。
- 前記アプリケーションが、ユーザの状況から判定された、状況に関連したアプリケーションであり、前記ユーザの状況が、前記ユーザの物理的位置、商業上の位置、および接続されたデバイスのうち1つまたは複数から判定される、請求項1から4のいずれか一項に記載の方法。
- 前記携帯機器を、第2のユーザ入力に応答するようにアクティベートする前記ステップ(S13)が、前記状況に関連したアプリケーションを作動させるステップ(S13c)含む、請求項1に記載の方法。
- - 少なくとも前記第2のユーザ入力に基づいて前記状況に関連したアプリケーションを作動させるステップ(S15)をさらに含む、請求項5に記載の方法。
- 前記第1の入力および前記第2の入力が、前記期間中に、前記携帯機器(100)において少なくとも部分的に同時に検知される、請求項1から7のいずれか一項に記載の方法。
- 前記第1の入力と前記第2の入力とが、前記携帯機器100において少なくとも部分的に順次に検知され、前記第1のユーザ入力は前記期間が始まる時間インスタンスにおいて検知される、請求項1から7のいずれか一項に記載の方法。
- 前記期間中に所定の空間内の前記携帯機器(100)の動きを登録するステップ(S12)が、
- 前記1つまたは複数の動き判定センサ(104)を使用して、前記携帯機器の並進および/または回転を表す1つまたは複数のパラメータにおける変化を検知するステップ(S12a)を含む、請求項1から9のいずれか一項に記載の方法。 - - 状況に関連したアプリケーションとあらかじめペアリングされている少なくとも1つの接続されたデバイスを識別するステップ(S16a)と、
- 前記第2のユーザ入力に応答して、前記接続されたデバイス(200)を操作するステップ(S16b)と
をさらに含む、請求項1から10のいずれか一項に記載の方法。 - - 前記第2のユーザ入力に応答して、前記携帯機器(100)の1つまたは複数のアプリケーションまたはデータ項目に対するアクセスを制限するステップ(S17)をさらに含む、請求項1から11のいずれか一項に記載の方法。
- プログラム命令を含むコンピュータプログラムを有する非一時的コンピュータ可読媒体を備えたコンピュータプログラム製品であって、前記コンピュータプログラムが、処理回路30にロード可能であり、前記処理回路によって実行されたとき、請求項1から12のいずれか一項に記載の方法を実行させるように設定されている、コンピュータプログラム製品。
- タッチ検知領域(102)、1つまたは複数の動き判定センサ(104)、および処理回路(30)を備える携帯機器(100)であって、前記処理回路(30)が、
- ある期間内の、前記タッチ検知領域(102)上の、アプリケーションに関連した第1のユーザ入力を検知し(S11)、
- 前記期間中に、所定の空間内の前記携帯機器(100)の動きを登録して(S12)、
- 前記期間中に、前記アプリケーションに、前記登録済みの動きから取得された第2のユーザ入力に応答させる(S13)
ように設定されている、携帯機器(100)。 - スマートフォン、タブレット、スマートウォッチまたはウェアラブルデバイスである、請求項14に記載の携帯機器(100)。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2020/069533 WO2022008070A1 (en) | 2020-07-10 | 2020-07-10 | Method and device for obtaining user input |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023532970A true JP2023532970A (ja) | 2023-08-01 |
Family
ID=71607982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023500083A Withdrawn JP2023532970A (ja) | 2020-07-10 | 2020-07-10 | ユーザ入力を取得するための方法およびデバイス |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230266831A1 (ja) |
EP (1) | EP4179413A1 (ja) |
JP (1) | JP2023532970A (ja) |
CN (1) | CN115867878A (ja) |
AU (1) | AU2020458145A1 (ja) |
WO (1) | WO2022008070A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230266830A1 (en) * | 2022-02-22 | 2023-08-24 | Microsoft Technology Licensing, Llc | Semantic user input |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4498417B2 (ja) * | 2004-07-01 | 2010-07-07 | ノキア コーポレイション | 移動通信装置用アプリケーションのパーソナライズにおいてコンテキスト・オントロジを利用する方法,装置及びコンピュータプログラム |
GB2419433A (en) * | 2004-10-20 | 2006-04-26 | Glasgow School Of Art | Automated Gesture Recognition |
US20070113207A1 (en) * | 2005-11-16 | 2007-05-17 | Hillcrest Laboratories, Inc. | Methods and systems for gesture classification in 3D pointing devices |
KR101606834B1 (ko) * | 2008-07-10 | 2016-03-29 | 삼성전자주식회사 | 움직임과 사용자의 조작을 이용하는 입력장치 및 이에적용되는 입력방법 |
KR20100066036A (ko) * | 2008-12-09 | 2010-06-17 | 삼성전자주식회사 | 휴대 단말기 운용 방법 및 장치 |
CN102362251B (zh) * | 2008-12-30 | 2016-02-10 | 法国电信公司 | 用于提供对应用程序的增强控制的用户界面 |
WO2011088579A1 (en) * | 2010-01-21 | 2011-07-28 | Paramjit Gill | Apparatus and method for maintaining security and privacy on hand held devices |
US8982045B2 (en) * | 2010-12-17 | 2015-03-17 | Microsoft Corporation | Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device |
US9483085B2 (en) * | 2011-06-01 | 2016-11-01 | Blackberry Limited | Portable electronic device including touch-sensitive display and method of controlling same |
JP2013025567A (ja) * | 2011-07-21 | 2013-02-04 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
US9927876B2 (en) * | 2012-09-28 | 2018-03-27 | Movea | Remote control with 3D pointing and gesture recognition capabilities |
US11237719B2 (en) * | 2012-11-20 | 2022-02-01 | Samsung Electronics Company, Ltd. | Controlling remote electronic device with wearable electronic device |
TWI502471B (zh) * | 2012-12-04 | 2015-10-01 | Wistron Corp | 游標控制方法與電腦程式產品 |
DE102013007250A1 (de) * | 2013-04-26 | 2014-10-30 | Inodyn Newmedia Gmbh | Verfahren zur Gestensteuerung |
KR20150099324A (ko) * | 2014-02-21 | 2015-08-31 | 삼성전자주식회사 | 전자 장치간 원격 제어 방법 및 그를 위한 시스템 |
KR102188267B1 (ko) * | 2014-10-02 | 2020-12-08 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
CN114740951A (zh) * | 2016-09-23 | 2022-07-12 | 苹果公司 | 观影模式 |
-
2020
- 2020-07-10 CN CN202080102853.XA patent/CN115867878A/zh not_active Withdrawn
- 2020-07-10 AU AU2020458145A patent/AU2020458145A1/en active Pending
- 2020-07-10 US US18/015,320 patent/US20230266831A1/en not_active Abandoned
- 2020-07-10 EP EP20739960.1A patent/EP4179413A1/en not_active Withdrawn
- 2020-07-10 JP JP2023500083A patent/JP2023532970A/ja not_active Withdrawn
- 2020-07-10 WO PCT/EP2020/069533 patent/WO2022008070A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
EP4179413A1 (en) | 2023-05-17 |
AU2020458145A1 (en) | 2023-02-02 |
US20230266831A1 (en) | 2023-08-24 |
CN115867878A (zh) | 2023-03-28 |
WO2022008070A1 (en) | 2022-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11755196B2 (en) | Event recognition | |
US20230244317A1 (en) | Proxy Gesture Recognizer | |
US10936190B2 (en) | Devices, methods, and user interfaces for processing touch events | |
US20200387389A1 (en) | Gesture Recognizers with Delegates for Controlling and Modifying Gesture Recognition | |
EP2641149B1 (en) | Gesture recognition | |
US9311112B2 (en) | Event recognition | |
US8566044B2 (en) | Event recognition | |
US20170115782A1 (en) | Combined grip and mobility sensing | |
US10599326B2 (en) | Eye motion and touchscreen gestures | |
JP2023532970A (ja) | ユーザ入力を取得するための方法およびデバイス | |
EP3433713B1 (en) | Selecting first digital input behavior based on presence of a second, concurrent, input |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230306 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20230821 |