JP6735282B2 - マルチ・フィンガ・ジェスチャにおける垂直二等分線を使用した、ディスプレイ上の多次元環境に示されるオブジェクトの動きの制御 - Google Patents

マルチ・フィンガ・ジェスチャにおける垂直二等分線を使用した、ディスプレイ上の多次元環境に示されるオブジェクトの動きの制御 Download PDF

Info

Publication number
JP6735282B2
JP6735282B2 JP2017540729A JP2017540729A JP6735282B2 JP 6735282 B2 JP6735282 B2 JP 6735282B2 JP 2017540729 A JP2017540729 A JP 2017540729A JP 2017540729 A JP2017540729 A JP 2017540729A JP 6735282 B2 JP6735282 B2 JP 6735282B2
Authority
JP
Japan
Prior art keywords
finger
touch sensor
dimensional environment
movement
insert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017540729A
Other languages
English (en)
Other versions
JP2018503926A5 (ja
JP2018503926A (ja
Inventor
テイラー,デーヴィッド・シー
Original Assignee
サーク・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サーク・コーポレーション filed Critical サーク・コーポレーション
Publication of JP2018503926A publication Critical patent/JP2018503926A/ja
Publication of JP2018503926A5 publication Critical patent/JP2018503926A5/ja
Application granted granted Critical
Publication of JP6735282B2 publication Critical patent/JP6735282B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、全般的に、タッチ・センサ上のマルチ・フィンガ・ジェスチャに関する。具体的には、本発明は、タッチ・センサ上の2つのオブジェクトの間の線を規定するマルチ・フィンガ・ジャスチャに関する。当該線はまた、垂直二等分線および方向を規定する。2本の指の動きおよび方向を用いて、ディスプレイ上に示される多次元環境内のオブジェクトの移動(movement)または動き(motion)を制御することができる。
マルチ・フィンガ・ジェスチャを利用することができる容量感応タッチ・センサには様々な設計がある。いずれの容量感応タッチパッドであれ、どのように本発明を活用できることをより良く理解するためには、タッチ・センサの基礎技術を調べることが有用である。
CIRQUE(登録商標)Corporation製のタッチパッドは、相互容量検知デバイスであり、一例を図1にブロック図として示す。このタッチパッド10では、X(12)およびY(14)電極ならびに検知電極16の格子が、タッチパッドのタッチ感応エリア18を規定するために用いられる。通例、タッチパッド10は約16×12電極、または空間的制約があるときは8×6電極の矩形格子となる。これらX(12)およびY(14)(または行および列)電極には、単一の検知電極16が織りまぜられる。全ての位置測定は検知電極16を通じて行われる。
CIRQUE(登録商標)Corporation製のタッチパッド10は、検知線16上における電荷の不均衡を測定する。タッチパッド10上またはその近傍に指示物体(pointing object)がない場合、タッチパッド回路20は均衡状態にあり、検知線16上には電荷の不均衡はない。指示物体がタッチ表面(タッチパッド10の検知エリア18)に接近またはタッチしたときの容量性結合のために、指示物体が不均衡を生ずると、電極12,14上に容量変化が生ずる。測定するのは容量変化であって、電極12,14上における絶対容量値ではない。タッチパッド10は、検知ライン上において電荷均衡を再確立するため、即ち再現するために、検知ライン16に注入しなければならない電荷量を測定することによって、容量変化を判定する。
上記システムは、タッチパッド10上またはその近傍にある指の位置を、以下のようにして判定するために利用される。この例では、行電極12について説明し、列電極14についても同様に繰り返される。行および列電極の測定から得られた値が、タッチパッド10上またはその近傍にある指示物体の重心である交点を決定する。
第1ステップでは、P,N発生器22からの第1信号によって第1組の行電極12が駆動され、P,N発生器からの第2信号によって、異なるが隣接する第2組の行電極が駆動される。タッチパッド回路20は、どの行電極が指示物体に最も近いかを示す相互容量測定デバイス26を用いて、検知線16からの値を得る。しかしながら、マイクロコントローラ28の制御下にあるタッチパッド回路20は、行電極のどちら側に指示物体が位置するか未だ判定することができず、タッチパッド回路20は、指示物体が電極からどの位離れて位置するか判定することもできない。このため、このシステムは駆動される電極12のグループを1電極だけずらす。言い換えると、グループの一方側に電極を追加し、グループの逆側にある電極はもはや駆動されない。次いで、新たなグループがP,N発生器22によって駆動され、検知線16の第2測定値が取り込まれる。
これら2つの測定値から、行電極のどちら側に指示物体が位置するのか、そしてどれ位離れて位置するのか判定することが可能になる。次いで、2つの測定された信号の振幅を比較する式を用いて、指示物体の位置判定を行う。
CIRQUE(登録商標)Corporation製タッチパッドの感度または分解能は、16×12格子の行および列電極が含意するよりも遥かに高い。分解能は、通例、1インチ当たり約960カウント以上である。正確な分解能は、コンポーネントの感度、同じ行および列上にある電極12、14間の間隔、そして本発明にとっては重要でないその他の要因によって決定される。以上のプロセスは、P,N発生器24を用いて、Y即ち列電極14に対して繰り返される。
以上で説明したCIRQUE(登録商標)製タッチパッドは、XおよびY電極12、14の格子、ならびに別個の単独検知電極16を使用するが、多重化を使用することによって、実際には検知電極もXまたはY電極12,14とすることができる。
上記のまたは他の検知技術を使用するタッチ・センサは、表面と接触している少なくとも2本の指の移動を検出および追跡することができる。他の入力デバイス(例えばコンピュータ・マウス)によって従前設けられてきたタッチ・センサに対し、新規のおよび直観的な機能を提供することは、従来技術に対する利点となろう。
第1実施形態では、本発明は、コンピュータ・ディスプレイ上に示されている3次元環境内のオブジェクトの制御を提供するためのシステムおよび方法である。ここでは、2つのオブジェクト(例えば指)がタッチ・センサ上で接触する2つの点を規定する。2つの点の間の線が規定され、2本の指の間の線上の中心点が計算され、ピボット点として規定される。また、ピボット点を通る、当該線の垂直二等分線を使用して、多次元環境内でのオブジェクトの前向き方向(forward facing direction)を規定することができ、ディスプレイ・スクリーン上に示される。ここでは、ピボット点は、オブジェクトの中心または前向き点(front facing point)として規定される。
本発明の第1態様では、垂直二等分線の前向きの方向は、2本の指がタッチ・センサと接触するときに決定される。
本発明のこれらおよびその他の目的、特徴、利点、ならびに代替態様は、以下の詳細な説明を添付図面と合わせて検討し考察することから、当業者には明白となるであろう。
図1は、CIRQUE(登録商標)Corporationによって製造され、本発明の原理によるマルチ・フィンガ・ジェスチャを検出するように使用される容量感応タッチパッドのコンポーネントのブロック図である。 図2はタッチ・センサ30の上面模式図であり、接触する第1ポインティング・オブジェクトおよび第2ポインティング・オブジェクトを示す。 図3はディスプレイ・スクリーンに示される2次元空間を示す。 図4Aはタッチ・センサの上面模式図であり、指の位置が変化する前の、連結線、垂直二等分線、およびピボット点を示す。 図4Bはタッチ・センサの上面模式図であり、連結線、垂直二等分線、およびピボット点の位置の変化を示す。 図4Cは2次元または3次元空間の上面模式図であり、オブジェクトが同一平面に維持されるが、これより異なる方向を向くことになることを示す。 図5Aはタッチ・センサの上面模式図であり、2本の指の位置が変化する前の、連結線、垂直二等分線、およびピボット点を示す。 図5Bは2次元または3次元空間の上面模式図であり、オブジェクトが同一平面に維持されるが、これより異なる方向を向くことになることを示す。 図6Aはタッチ・センサの上面模式図であり、同一方向における2本の指の如何なる時間の移動によっても、オブジェクト46に、その環境内で並進的な移動を生じさせることを示す。 図6Bは2次元または3次元空間の上面模式図であり、2本の指が共に移動するときにオブジェクトが移動することを示す。 図7はタッチ・センサの上面模式図であり、2本の第1指のみが移動の方向を制御し、第3指50がこれより移動および速度を制御することを示す。 図8はタッチ・センサの上面模式図であり、別の機能を制御するために、第4指が追加されることを示す。 図9はタッチ・センサの上面模式図であり、どちらの指が最初にタッチ・センサ上にタッチダウンを行うかによって、垂直二等分線の方向が決定されることを示す。 図10はタッチ・センサの上面模式図であり、第1指がタッチ・センサ上に置かれることになる場合に垂直二等分線がポイントしている方向が図9の指に対して反対になることを示す。 図11はタッチ・センサの上面模式図であり、前進または後進方向の移動が、これより、第3指によって制御されるものとして、横方向に同時に移動するのを含むことを示す。 図12は、2本の第1指の代わりに使用され、視点のピボットを制御するトークンの側面図である。 図13は、図12に示したトークンの底面図である。
これより、本発明の種々のエレメントに番号指定(numeral designation)が与えられた図面を参照して、当業者が本発明を行い使用することを可能にするように、本発明について説明する。尚、以下の記載は、本発明の原理の説明に過ぎず、後に続く特許請求の範囲を狭めるように解釈してはならないことが理解されるべきである。
尚、本文書を通じて、「タッチ・センサ」という用語の使用は、「近接センサ」、「タッチ・センサ」、「タッチおよび近接センサ」、「タッチ・パネル」、「タッチパッド」および「タッチ・スクリーン」と相互交換可能に使用されてもよいことは、理解されてしかるべきである。更に、タッチ・センサの表面と接触する全ての言及は、仮想表面と相互交換可能に使用されてもよい。
本発明の第1実施形態は、タッチ・センサ上のマルチ・フィンガ・ジェスチャに向けられ、タッチ・センサの例示を用いて例証される。
図2は、第1実施形態におけるタッチ・センサ30の上面模式図であり、第1ポインティング・オブジェクト32(接触する第1オブジェクト)および第2ポインティング・オブジェクト34(接触する第2オブジェクト)を示す。ポインティング・オブジェクトは、手の複数の指、または親指および1本の指としてもよく、指と称する。2本の指32,34は、或る任意の距離で離間されて示されている。指32,34は、或る測定可能な距離で離間されてもよく、その結果、連結線36が、(接触する)第1指32の中心と(接触する)第2指34の中心との間に配置されるものとして規定される。連結線36は、2本の指32,34の間で等距離となる線の中間点において、垂直線38によって二分される。つまり、垂直二等分線38は、連結線36の中間点において当該連結線36を二分することになる。
連結線36の中間点はまた、ピボット点40と称されることもある。指32,34の一方または双方がタッチ・センサ30の表面に沿って移動すると、連結線36の長さが変化することが理解されるべきである。それにも拘わらず、ピボット点40は、連結線36の中間点となるように連続的に調整される。したがって、ピボット点40は、高速で(on-the-fly)調整され、その結果、ピボット点は、常に、連結線36の中間点を正確に表すことができる。
同様に、垂直二等分線38の位置および方向はまた、2本の指32,34の位置の内1つ以上が変化しているにつれて、連続的に更新される。
2本の指32,34が本質的に同時にタッチ・センサと接触する場合に、指の内一方が、接触する第1指となるように任意に割り当てられることが理解されるべきである。
マルチ・フィンガ・ジェスチャの目的は、ピボット点40、および該ピボット点を通過する垂直二等分線38の位置を取得することである。ピボット点40および垂直二等分線38は、タッチ・センサ30上で検出される如何なる2点についても取得できることが理解されるべきである。したがって、上述したタッチ・センサ30が当業者に知られた容量感応タッチ・センサである一方で、如何なる技術を用いて、2つのオブジェクトの位置を相互に検出し、オブジェクト間の連結線を規定し、次いで、連結線の中間点における垂直二等分線を規定することができる。
この第1実施形態では、タッチ・センサは容量検知を用いている。しかしながら、タッチ・センサは、表面上の2つのオブジェクトの位置を識別することができる如何なる技術も使用することができる。このような技術には、圧力検知、赤外線検知、および光検知を含んでもよいが、これらに限定されるものとみなしてはならない。
マルチ・フィンガ・ジェスチャを適用して、新規の機能性をタッチ・センサ30に提供することができる。例えば、マルチ・フィンガ・ジェスチャを使用して、ディスプレイ・スクリーン上に示される、多次元環境内に存在するオブジェクトの動きを制御することができる。
図3は、ディスプレイ・スクリーン44上に示される2次元空間42を示す。2次元空間内に存在するオブジェクト46は、2次元空間42および当該空間内のオブジェクト46の上面概略図を表示することによって示される。示される2次元空間42は、ディスプレイ上に示される当該空間の一部のみ、または当該空間の全部としてもよい。オブジェクト46は円として示されるが、オブジェクト46はまた如何なる所望の形状を有してもよく、円に限定されない。ピボット点40を用いて、オブジェクト46上またはオブジェクト46内における或る点を表すことができる。例えば、ピボット点40は、オブジェクト46の中心に位置してもよい。しかしながら、ピボット点40はまた、如何なる他の位置(例えば、オブジェクト46の「前方」(front)または「正面」(face)となるように指定された位置)に位置してもよい。
垂直二等分線38が示され、オブジェクト46のピボット点40から伸びている。垂直二等分線38がポイントしている方向を用いて、オブジェクト46が向いている、またはポイントしている方向を示すことができる。オブジェクト46の方向を有することは、オブジェクトが2次元空間42内で移動または回転することになる場合に有用となる。
例証されることになる第1アクションは、図4Aに示されるピボット・アクションである。これによって、オブジェクト46がピボット点40の周りを左方向に回転することになるが並進的には移動しない場合に、第1指32は静止したままである一方、第2指34は、破線の矢印および円によって示される新規の位置50に向けて最初の位置から移動する。
図4Bは、連結線36、垂直二等分線38、およびピボット点40の位置の変化を示す。第1指32が静止したままであるので、オブジェクト46は移動することがないが、その代わりに、回転のみを行う。図4Cにこのことが示される。
図4Cは、オブジェクト46が同一の位置のままであるが、これより、ピボット点40の周りの垂直二等分線38の回転を示す点線によって示されるように、異なる方向に向くことになることを示す。垂直二等分線38は、反時計回りの方向にピボットしている。
第1実施形態の幾らかの考察には、連結線36の長さが、図4Cの垂直二等分線38の回転に影響することなく、変化しているということが含まれる。垂直二等分線38の回転は、連結線36の位置の変化と、付随する、垂直二等分線38の方向の変化とを生じさせる第2指34の位置の変化によって影響されるのみである。
第2指34が静止を維持し、第1指32がタッチ・センサ30の上部の縁に向けて移動している場合は、垂直二等分線38は、図3に示されるその最初の位置に向けて、時計回りにピボットして戻る。しかしながら、第1指32がタッチ・センサ30の下部の縁に向けて移動することになる場合は、垂直二等分線38は、反時計回り方向に回転する。
垂直二等分線38をピボットさせる他の方法は、第1指32および第2指34の両方を同時に移動させるということである。図5Aに示すように、示された方向に第1指32が移動し、また、示された方向に第2指が移動する場合は、垂直二等分線38は図5Bに示すようにピボットする。第1指32および第2指34は、これより、相互に対して同一の水平位置にあるので、垂直二等分線38は図5Bに示されるように垂直となる。
図5Aおよび図5Bは、2本の指32,34が、相互に反対となる方向に移動するときに何が起こるかについて示す。第1実施形態では、図6Aにおいて点線で示すように、指32,34が同一の方向に移動するときに、異なるアクションが生じると共に、オブジェクト46への異なる移動が起きる。
図6Aは、この第1実施形態において、オブジェクト46が位置する2次元空間42の特性にしたがい、我々は、2本の指32,34の移動が同一方向にある如何なる時でも、オブジェクト46に並進的にその環境内での移動を生じさせるという例を想定する。
図6Bは、オブジェクト46が垂直二等分線38の方向を継続して向く一方で、点線の矢印で示される角度および方向で移動していることを示す。
タッチ・センサ30は定形の形状をしており、指32,34が移動を継続することはできないが、第1指32がタッチ・センサ30の縁に到達する前に停止させる必要がある。しかしながら、第1実施形態のこの例では、2次元空間42内のオブジェクト46の並進移動は、指32,34が再び移動されるまで継続してもよい。指32,34のこの移動は、オブジェクト46に停止、ピボット、または、同時かつ同一方向の指32,34の移動によって制御される異なる方向の移動を生じさせる。
指32,34は、連携した(coordinated)動きおいてまさに2以上の方向に移動する。例えば、2次元空間42内でのオブジェクト46の移動を制御している間じゅう、指は曲線の経路で移動し、時折停止して、移動を再開することがある。オブジェクト46は、ピボットのみ、並進移動のみ、または、2本の指32,34による付随する動きをなすことによってピボットおよび並進移動を同時に生じることもある。
第1実施形態で説明されるオブジェクト46の制御について1つの特に有用な適用は、2次元または3次元空間でのオブジェクトの操作おけるものである。例えば、コンピュータ支援設計(CAD)プログラムは、第1実施形態で教示される制御を使用するのがよく、2次元または3次元空間において引き出され(drawn)または検査される1または複数のオブジェクトを操作することができる。
第1実施形態における他の適用は、ゲーム環境におけるオブジェクトの制御である。例えば、アバタまたは3次元キャラクタが3次元ゲーム環境内に配置される。キャラクタの移動における制御は、本発明の第1実施形態を使用して達成されるのがよい。例えば、制御されているオブジェクトがキャラクタであってもよい。ゲーム環境が3次元である場合、オブジェクトはキャラクタとするのがよい。ここでは、ピボット点は、キャラクタの中央軸とするのがよく、垂直二等分線の方向は、キャラクタが向いている方向とするのがよい。
第1実施形態は、回転および移動させるキャラクタの機能を提供する。しかしながら、本発明の第2実施形態では、タッチ・センサ30上で3本以上の指を用いて、追加の性能または機能性を提供することができる。
3次元のゲーム環境の例において、2本の第1指には、オブジェクトが3次元環境内で向いている方向を制御するタスクが割り当てられる。図7は、第2実施形態の指32,34が、移動それ自体ではなく、移動の方向の制御のみをすることにより、第1実施形態とは異なることを示す。その代わりに、これより、第3指50が、タッチ・センサ30上に配置され、移動および速度を制御するために専用される。例えば、図示した位置で第3指50がタッチダウンを行う場合、これより、当該位置は、そこから移動が制御される位置として機能する。
第3指50の移動は、前進移動を生じさせることになる方向、および後進移動を生じさせる反対方向を選択することによって動きを制御する。タッチダウンが生じた位置から遠ざかって第3指50が移動される距離によって、速度が制御される。
例えば、第3指50が矢印54の方向に移動される場合は、キャラクタは、垂直二等分線38が3次元環境でポイントしている方向に基づいて、前進方向に移動する特性が任意に割り当てられる。更に、タッチダウンが生じた位置から第3指50がより速く移動すると、キャラクタにより速い移動を生じさせる。第3指50がタッチ・センサ30の上部の近傍にあり、第3指がコースを反対にしてタッチダウンが生じた位置に向けた後進の移動を開始する場合は、キャラクタは、後進に移動しないが、タッチダウンの位置に到達するまで前進の移動をスローダウンする。第3指50が矢印56の方向への移動を継続し、そして、最初のタッチダウンの位置を通過すると、キャラクタの移動は後進向きとなる。第3指50が最初のタッチダウンの位置から離れて移動する距離によって、速度は尚も制御される。
第3指50のタッチダウンは、タッチ・センサ30上のどの位置にもすることができる。しかしながら、第3指50の移動量を最大化してキャラクタの速度を制御するために、最初のタッチダウン位置は、理想的には、タッチ・センサ30の上部の縁および下部の縁との中間とすべきである。
図8は、第2実施形態において、第4指58を更に用いて、追加の機能性を提供できることを示す。例えば、ゲーム環境において、第4指58のタッチダウンは、拳銃の発砲、ジャンプ若しくはしゃがむといった異なる発生する運動、またはゲーム内で要求される他の如何なる機能をトリガする。
したがって、本発明の実施形態の全ては、多数の指によって、タッチ・センサ30上で異なった機能を同時に実行するのを可能にすることが明らかである。しかしながら、キャラクタが向いている方向を制御することは、他の如何なる機能が活性化され、または1本以上の指が制御される前に、第1指32および第2指34がタッチ・センサ30上に配置されることを要求する。
垂直二等分線38の方向が指32,34のタッチダウンに応じてポイントしているとどのように決定されるかについては、直ちに明らかとはならない。図9を用いて、本発明の実施形態の全てにおいて、垂直二等分線38の方向は、指32,34のどちらが最初にタッチ・センサ30上でタッチダウンするかによって決定されるという概念を示す。図9は、垂直二等分線38がポイントしている方向が、第1指32から第2指34に向けた移動の視界(perspective)からは、常に連結線36の左となることを示す。つまり、図9では、第1指32から第2指34に向けて移動するときに、垂直二等分線38はタッチ・センサ30の上部の縁に向けてポイントしている。
これとは対照的に、図10は、タッチ・センサ30上に置かれることになる第1指32が図9の指32,34に対して反対となる場合に、垂直二等分線38がポイントしている方向を示す。つまり、図10において第1指32から第2指34に向けて移動するとき、垂直二等分線38は、これより、タッチ・センサ30の下部の縁に向けてポイントしている。垂直二等分線38のこの方位は、第1指32および第2指34が相互に関連してどこに位置していようと整合していることが理解されるべきである。垂直二等分線38の方向は、第2指34に向けて第1指32から移動するときは、常に、連結線36の左にポイントしている。
上記実施形態は、第1指32から第2指34に向けて移動することにより、次いで、連結線36の左に向けてポイントすることにより、垂直二等分線38の方向を決定する取り決め(convention)を選択している一方で、この選択は任意である。したがって、本発明の他の実施形態では、垂直二等分線38は、第2指34に向けて第1指32から移動するときは、常に、連結線36の右にポイントしてもよい。
指32,34が同時にタッチダウンすることになる可能性は低い。しかしながら、本発明の実施形態は、如何なる適当な手段を用いて、どの指が最初にタッチダウンしたとみなすべきかについて決定することができる。例えば、システムは、第1指32となる何れかの指をランダムに選択してもよく、または、タッチ・センサ30の右側若しくは左側の指が第1指32であるとして常に選択されてもよい。
従来技術は、2次元または3次元環境でゲームをプレイするためにタッチ・センサ30の使用を回避することを教示することがある。何故ならば、キャラクタの移動を制御し、また、追加の機能を実行することが困難だからである。これが困難であるのは、移動および他の機能はマウス・クリック、またはクリック・アンド・ホールドを用いることが必要とされてきたからである。更にまた、幾らかの最新のタッチ・センサは、物理的なマウス・ボタンを有していないことがあるが、その代わりに、タッチ・センサの下にある単一の機械式ボタンを使用してマウス・クリックを実行することができる。幾らかのタッチ・センサは、1種類のマウス・クリック(例えば左または右マウス・クリック)のみしか許容しないこともある。幾らかの他のタッチ・センサは、一度に1種類のマウス・クリックしか許容しないこともある。本発明の実施形態は、右または左マウス・クリックの利用可能性に拘わらず、如何なる種類のタッチ・センサと共に使用することができる。何故ならば、ゲームの移動制御や他の制御の全てを実行するのにどのマウス・クリックも要求されないからである。
図11は、本発明の幾らかの実施形態における他の特徴を例示するために設けられる。図7および図8に示した第2実施形態では、キャラクタの移動が第3指50によって制御されると、前進または後進の移動のみが可能であった。指32,34を用いた移動の方向により、移動の方向を変化させることができる。
しかしながら、図11に示される本発明の当該第3実施形態において、運動の前進方向および後進方向に、横方向の移動成分を付加することが、これより可能となる。図11は、第3指50がタッチダウンしたことを示す。円60は、これより、第3指50の周りに概念的に配置されている。当該円60は、円の上半分および線62より上でのいずれの場所での移動もが、前進移動を生じさせ、同時に横方向の動きを付加することを示す。円60は、実際に、静的な移動および速度コントローラを表す。静的が意味するところは、前進に移動する方向が、常に、線62より上のものであるが、垂直二等分線38がポイントしているどの方向にも対しても、ということである。
例えば、第3指50が矢印64に沿って或る位置に移動されることを想定する。指32,34および指50によって制御されている2次元または3次元環境にあるオブジェクトは、前進方向に移動するだけでなく、横方向の移動成分をも有することができる。矢印64が線62に対して約45度の角度であるので、オブジェクトの移動は、オブジェクトが向いていた方向に対して約45度の角度ということになる。キャラクタの視界(perspective)からは、前進移動および右向きの横方向移動が同等の量だけある。
矢印66は線62より下にあり、それ故、キャラクタの移動が部分的に後進で更に右向きになるという結果となる。矢印66が線62により接近しているので、移動はより右向きでわずかにのみ後進ということになる。キャラクタの視点が変化されていないことを忘れないことが重要である。したがって、3次元世界へのビューは変化することがない。何故ならば、指32,34は移動されていないからである。オブジェクトが移動を開始したのより前と同一方向に向いている間は、キャラクタは、わずかに後進で右向きに移動することになる。
指32,34によって制御される視点は、キャラクタが移動しているのと同時に移動されてもよい。例えば、一方または双方の指32,34が移動して視点のピボットを生じている間に、キャラクタは、矢印64によって示される方向への移動を生じさせることができる。上述したように、円60によって表される移動は、常に、垂直二等分線38の方向に対するものとなる。換言すれば、垂直二等分線38を表している点線は、図11の円60内に配置される。何故ならば、それは移動しないからである。
したがって、第3指50は、図11に示される第3指の周りの円60によって示されるように、如何なる方向の移動も提供することができる。円60は、キャラクタが3次元環境で経験する360度の全ての動きを表す。第3指50がキャラクタの動きおよび速度を制御しているだけであるので、視点は未だ指32,34によって制御される。
図12は、トークン70の側面図として設けられる。トークン70は、タッチ・センサ30上にそれを配置することによって使用される。トークン70は2つのインサート72を含み、指32,34の代わりに使用される。インサート72は、タッチ・センサ30によって検出され、それらがあたかも2つの指32,34であるかのように動作して、2次元または3次元環境のオブジェクトの視点を変化する。タッチ・センサ30上にトークン70を置くことによって、キャラクタの視点を変化するのに指が使用される必要はない。その代わりに、トークン70がまさに回転されて、視点の変化を生じさせる。図13は、トークン70の底面図を示す。
本発明の他の態様では、トークン70のインサート72の間隔が重要性を有する。例えば、間隔は、ゲーム内のキャラクタまたはピース(playing piece)ごとに一意であってよい。つまり、ユーザがタッチ・センサ上にトークン70を置くと、ユーザは、キャラクタの識別を、トークンを丁度ねじることによってキャラクタをピボットさせる機能と同様に提供することができる。次いで、タッチ・センサ30上に実際に置かれることになるのが第1指である場合でも、異なる即ち第3指を用いて、キャラクタの移動および移動速度を制御することができる。トークン70は、第1指32および第2指34の代わりとなる。
代替の実施形態では、タッチ・センサ30によって検出可能とされる 他のインサート72が、トークン70に追加されてもよい。他のインサート72のオブジェクトは、他の機能を実行することになり、例えば、他の識別情報を提供する。例えば、インサート72の間の距離は、トークンの識別として機能することができる。
幾つかの例示の実施形態のみを上述してきたが、当業者であれば、本発明から具体的に逸脱することなく、多くの変更態様が例示の実施形態で可能であることを容易に理解するであろう。したがって、このような全ての変更態様は、次の特許請求の範囲に規定される本開示の範囲内に含まれることを意図したものである。特許請求の範囲が「するための手段(means for)」の記載をそれに関連する機能と共に明示的に用いたものを除き、本願の如何なる請求項における如何なる限定に対しても、35 U.S.C. 第112条第6パラグラフを適用させないことが、本出願人の明確な意図である。

Claims (11)

  1. 3次元環境内の視点を制御するための方法であって、
    タッチ・センサ、3次元環境、該3次元環境内に配置されるオブジェクト、および前記オブジェクトの視野から前記3次元環境の視点を示すディスプレイ・スクリーンを設けるステップと、
    前記タッチ・センサにおいて第1オブジェクトを検出するステップと、
    前記タッチ・センサにおいて第2オブジェクトを検出するステップと、
    前記第1オブジェクトおよび前記第2オブジェクトの間の連結線の位置を決定するステップと、
    前記連結線における前記第1オブジェクトおよび前記第2オブジェクトの間の中間点を決定するステップと、
    前記中間点を通る前記連結線の垂直二等分線の位置を決定するステップと、
    前記第1オブジェクトから前記第2オブジェクトに向けて移動するときに、前記第1オブジェクトの位置から見て前記連結線の左に向けてポイントするように、前記垂直二等分線の方向を決定するステップと、
    前記垂直二等分線の方向を使用して、前記オブジェクトの前向き方向決定するステップと、
    を含む、方法。
  2. 請求項1記載の方法であって、更に、
    第1指または第2指の何れかを移動して、前記第1指または前記第2指が移動されると中心線の前記中間点の周りをピボットするように、前記垂直二等分線の方向の変化に対して前記オブジェクトの前向き方向を変化させるステップを含む、方法。
  3. 請求項2記載の方法であって、更に、
    第3指を使用して、前記3次元環境内での移動および移動速度を制御するステップを含む、方法。
  4. 請求項3記載の方法であって、更に、
    前進または後進移動の何れかに加えて、横方向の同時の移動を可能にするステップを含む、方法。
  5. 請求項2記載の方法であって、更に、
    第4指を使用して、前記3次元環境内で異なる機能を制御するステップを含む、方法。
  6. 請求項2記載の方法であって、更に、
    実質的に同一方向に前記第1指および前記第2指を移動して、前記3次元環境内で前記オブジェクトの並進移動を生じさせるステップを含む、方法。
  7. 請求項2記載の方法であって、更に、
    第3指を使用して、前記3次元環境内での移動および移動速度を制御するステップを含み、移動が前進または後進の方向に制限される、方法。
  8. 請求項1記載の方法において、前記オブジェクトが前記3次元環境におけるキャラクタである、方法。
  9. 3次元環境内の視点を制御するための方法であって、
    タッチ・センサ、3次元環境、該3次元環境内に配置されるオブジェクト、および前記オブジェクトの視野から前記3次元環境の視点を示すディスプレイ・スクリーンを設けるステップと、
    前記タッチ・センサにおいて第1オブジェクトおよび第2オブジェクトと接触するステップと、
    前記第1オブジェクトおよび前記第2オブジェクトの間の中間点を決定するステップと、
    前記中間点を通る、前記第1オブジェクトおよび前記第2オブジェクトの間の線に垂直となる垂直二等分線の位置を決定するステップと、
    前記第1オブジェクトから前記第2オブジェクトに向けて移動するときに、前記第1オブジェクトの位置から見て前記線の左に向けてポイントするように、前記垂直二等分線の方向を決定するステップと、
    前記垂直二等分線の方向を使用して、前記オブジェクトの前向き方向決定するステップと、
    を含む、方法。
  10. 3次元環境内の視点を制御するための方法であって、
    タッチ・センサ、3次元環境、該3次元環境内に配置されるオブジェクト、および前記オブジェクトの視野から前記3次元環境の視点を示すディスプレイ・スクリーンを設けるステップと、
    第1インサートおよび第2インサートを有するトークンを底面に設けるステップであって、前記第1インサートおよび前記第2インサートが前記タッチ・センサによって検出可能である、ステップと、
    前記トークンを前記タッチ・センサに置くことによって、前記タッチ・センサにおいて第1インサートおよび第2インサートと接触するステップと、
    前記第1インサートおよび前記第2インサートの間の中間点を決定するステップと、
    前記第1インサートおよび前記第2インサートの間の線に垂直となる、前記中間点を通る垂直二等分線の位置を決定するステップと、
    前記第1インサートから前記第2インサートに向けて移動するときに、前記第1インサートの位置から見て前記線の左に向けてポイントするように、前記垂直二等分線の方向を決定するステップと、
    前記垂直二等分線の方向を使用して、前記オブジェクトの前向き方向決定するステップと、
    を含む、方法。
  11. 請求項10記載の方法であって、更に、
    1つ以上の追加のインサートを、前記タッチ・センサによって検出可能な前記トークンに設けるステップを含む、方法。
JP2017540729A 2015-02-02 2016-02-02 マルチ・フィンガ・ジェスチャにおける垂直二等分線を使用した、ディスプレイ上の多次元環境に示されるオブジェクトの動きの制御 Active JP6735282B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562110891P 2015-02-02 2015-02-02
US62/110,891 2015-02-02
PCT/US2016/016183 WO2016126712A1 (en) 2015-02-02 2016-02-02 Using a perpendicular bisector of a multi-finger gesture to control motion of objects shown in a multi-dimensional environment on a display

Publications (3)

Publication Number Publication Date
JP2018503926A JP2018503926A (ja) 2018-02-08
JP2018503926A5 JP2018503926A5 (ja) 2019-02-21
JP6735282B2 true JP6735282B2 (ja) 2020-08-05

Family

ID=56553038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017540729A Active JP6735282B2 (ja) 2015-02-02 2016-02-02 マルチ・フィンガ・ジェスチャにおける垂直二等分線を使用した、ディスプレイ上の多次元環境に示されるオブジェクトの動きの制御

Country Status (4)

Country Link
US (1) US20160224203A1 (ja)
JP (1) JP6735282B2 (ja)
CN (1) CN107710134A (ja)
WO (1) WO2016126712A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180143693A1 (en) * 2016-11-21 2018-05-24 David J. Calabrese Virtual object manipulation
DE112017005980T5 (de) * 2016-11-25 2019-08-08 Sony Corporation Anzeigesteuervorrichtung, anzeigesteuerverfahren und computerprogramm
CN115033150B (zh) * 2022-06-07 2024-08-16 上海爱图平面设计有限公司 一种多点触控屏的令牌识别方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001269482A (ja) * 2000-03-24 2001-10-02 Konami Computer Entertainment Japan Inc ゲームシステム、ゲーム用プログラムを記録したコンピュータ読み取り可能な記録媒体及び画像表示方法
JP4903371B2 (ja) * 2004-07-29 2012-03-28 任天堂株式会社 タッチパネルを用いたゲーム装置およびゲームプログラム
US8477139B2 (en) * 2008-06-09 2013-07-02 Apple Inc. Touch screen device, method, and graphical user interface for manipulating three-dimensional virtual objects
JP4683110B2 (ja) * 2008-10-17 2011-05-11 ソニー株式会社 表示装置、表示方法及びプログラム
US8493344B2 (en) * 2009-06-07 2013-07-23 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US10198854B2 (en) * 2009-08-14 2019-02-05 Microsoft Technology Licensing, Llc Manipulation of 3-dimensional graphical objects for view in a multi-touch display
US9092135B2 (en) * 2010-11-01 2015-07-28 Sony Computer Entertainment Inc. Control of virtual object using device touch interface functionality
JP5439410B2 (ja) * 2011-02-10 2014-03-12 日本電信電話株式会社 操作情報入力システム
US10088938B2 (en) * 2013-03-19 2018-10-02 Lenovo (Singapore) Pte. Ltd. Touchscreen and token interactions
JP5887310B2 (ja) * 2013-07-29 2016-03-16 京セラドキュメントソリューションズ株式会社 表示操作装置
US9244590B1 (en) * 2013-12-13 2016-01-26 Amazon Technologies, Inc. Three-dimensional navigation using a two-dimensional surface
JP2016134070A (ja) * 2015-01-21 2016-07-25 ソニー株式会社 画像処理装置、情報処理システムおよび画像処理方法

Also Published As

Publication number Publication date
CN107710134A (zh) 2018-02-16
WO2016126712A1 (en) 2016-08-11
US20160224203A1 (en) 2016-08-04
JP2018503926A (ja) 2018-02-08

Similar Documents

Publication Publication Date Title
KR101875995B1 (ko) 용량성 제어 표면을 구현하는 장치를 가지고 상호작용하기 위한 방법, 인터페이스 및 이 방법을 구현하는 장치
US20110109577A1 (en) Method and apparatus with proximity touch detection
KR102086941B1 (ko) 정전식 센싱을 이용한 컨트롤러 예감
CN1896921A (zh) 为gui提供显示的方法
KR20120049304A (ko) 직접적인 조작 제스처들
JP6005417B2 (ja) 操作装置
JP6735282B2 (ja) マルチ・フィンガ・ジェスチャにおける垂直二等分線を使用した、ディスプレイ上の多次元環境に示されるオブジェクトの動きの制御
US20150261330A1 (en) Method of using finger surface area change on touch-screen devices - simulating pressure
US20140282279A1 (en) Input interaction on a touch sensor combining touch and hover actions
US20120249487A1 (en) Method of identifying a multi-touch shifting gesture and device using the same
EP2473909A1 (en) Methods for mapping gestures to graphical user interface commands
US20160283078A1 (en) Control device intregrating touch and displacement controls
US20130154965A1 (en) Touch detection system and driving method thereof
JP2017533512A (ja) 玩具構築システム、及びタッチスクリーンを備える電子デバイスによって立体構造体を検出する方法
US20170364163A1 (en) Foot-operated touchpad system and operation method thereof
WO2014014408A1 (en) 3d tactile device
JP6370118B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
KR20160019449A (ko) 간접 입력의 명확화 기법
KR102191321B1 (ko) 터치이벤트 처리방법 및 이를 위한 장치
US20130249807A1 (en) Method and apparatus for three-dimensional image rotation on a touch screen
US20180188923A1 (en) Arbitrary control mapping of input device
KR101598807B1 (ko) 펜의 기울기를 측정하는 방법 및 그 디지타이저
KR102224930B1 (ko) 깊이 정보 및 사용자의 공간 제스처에 기초하여 메뉴를 표시하는 방법
JP7353491B2 (ja) 表示制御装置および表示制御方法
JP2016045553A (ja) 情報処理装置とその指先操作識別方法並びにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200713

R150 Certificate of patent or registration of utility model

Ref document number: 6735282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250