JP4384734B2 - 仮想ポインティング・デバイスの生成指示方法、コンピュータ・システム及び装置 - Google Patents
仮想ポインティング・デバイスの生成指示方法、コンピュータ・システム及び装置 Download PDFInfo
- Publication number
- JP4384734B2 JP4384734B2 JP11370797A JP11370797A JP4384734B2 JP 4384734 B2 JP4384734 B2 JP 4384734B2 JP 11370797 A JP11370797 A JP 11370797A JP 11370797 A JP11370797 A JP 11370797A JP 4384734 B2 JP4384734 B2 JP 4384734B2
- Authority
- JP
- Japan
- Prior art keywords
- touch screen
- pointing device
- user
- hand
- virtual pointing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Description
【発明の属する技術分野】
本発明はポインティング・デバイス及びポインタに関し、特に、タッチ画面システムにおいて使用されるポインティング・デバイスに関する。
【0002】
【従来の技術】
従来、ユーザは"マウス"を用いて、コンピュータ・システムのデスクトップ及びオペレーティング・システムと対話する。マウスはワイヤーまたは赤外線信号によりコンピュータ・システムに接続される特殊なハードウェア入力装置である。通常、マウスはその上部に1つ以上の押しボタンと、その底部にローラを有し、ローラがコンピュータ・システムに隣接する表面に沿って回転するように設計される。ユーザがマウスのローラをこの表面上で移動するとき、コンピュータ・システムの表示装置上に位置決めされるマウス・ポインタがマウスのローラの移動を追跡する。ユーザがポインタをオブジェクト上などの所望の位置に位置決めすると、ユーザはマウスがプログラムされる仕様に依存して、マウス押しボタンの1つをクリックし、そのオブジェクトを呼び出したり開いたりする。
【0003】
ユーザは、マウス及びマウス・ポインタの操作を個別化すなわちカストマイズしてもよい。幾つのかの従来のオペレーティング・システムにより保守されるカストマイズ化メニューを通じて、ユーザは例えば、第1のマウス・ボタンの単一のクリックを第1の機能の呼び出しに割当て、第2のマウス・ボタンの単一のクリックを第2の機能の呼び出しに割当てるようにカストマイズし得る。更に、ユーザは表示画面上のマウス・ポインタの外観をカストマイズし得る。例えばあるユーザはマウス・ポインタとして小さな矢印を好み、別のユーザは大きな点滅する矢印を好み得る。同様に、あるユーザは高速のマウス・ポインタ(すなわちマウスのローラの小さな動きがマウス・ポインタの大きな移動を生じる)を好むのに対して、他のユーザはゆっくりしたマウス・ポインタを好んだりする。この機構は、マウス・ポインタの"感度"として参照される。
【0004】
これらのタイプのマウス及びマウス・ポインタの振舞いは、各個々のユーザに対してカストマイズされ得る。しかしながら、ほとんどのオペレーティング・システムはシステム上の1ユーザに対してのみ、カストマイズ化を提供する。従ってマルチユーザ・システムでは、ユーザは以前の設定からマウスを再度カストマイズしなければならない。このためには通常、ユーザはボタンの振舞いを特定の機能にマップするマウス設定ファイルまたはローカル・データベースを編集する。X11などの幾つかのシステムは、これを行うための特殊な初期(init)ファイルを有する。
【0005】
従来のマウスは特定の欠点及び制限を被る。例えばマウスが無骨で、サイズが固定されているために、非常に小さな手または非常に大きな手の者にはマウスが適切に適合せず、コンピュータ・システムに永久的に接続されずに無駄になってしまったり、或いはユーザが特定のマウスの振舞いを知ることが要求されたりする(例えば、どのマウス・ボタンを何回クリックすれば、ある機能を呼び出せるかなど)。従って、多くの顧客(カストマ)指向のシステム(例えばATMマシン)及びマルチユーザ・システムはマウスを使用しない。むしろ、マルチユーザ・システムの傾向はタッチ画面を使用することである。
【0006】
従来のタッチ画面はユーザの指またはポインティング・デバイスが、従来のマウス及びマウス・ポインタを置換することを可能にする。従来のタッチ画面は、例えば熱感応、音感応、圧力感応または動き感応グリッド/検出器を用いて、タッチ画面上に配置される手、指、またはオブジェクトを検出する。しかしながら、従来のタッチ画面は特定の制限及び欠点を被る。例えばマウス・ポインタと異なり、指は大きさが様々であり、従ってデスクトップは大きな指にも対応するために、連続的なオブジェクト・アイコン及びテキストを大きく離して配置しなければならない。またユーザは、従来のマウス及びマウス・ポインタにおいて見い出されるような、カストマイズ化機構を選択することができない。
【0007】
従って、タッチ画面技術を使用する上で、オブジェクト・アイコン及びテキストを互いに接近して配置することを可能にし、ポインティング・デバイス及びポインタのユーザ・カストマイズ化を可能にする、新たなポインティング・デバイス及びポインタが待望される。
【0008】
【発明が解決しようとする課題】
従って、本発明の目的は、少なくともプロセッサ、メモリ及びタッチ画面を有するコンピュータ・システムに、タッチ画面上で仮想ポインティング・デバイスを生成するように指示する方法及び装置を提供することにある。
【0009】
【課題を解決するための手段】
本方法は、タッチ画面上に配置される手の手形を検出するステップと、手形の形状及びサイズにもとづき、その手形に対応する定義済みの特性が存在するか否かを判断するステップと、手形に対応する定義済みの特性が存在する場合、手の少なくとも一部の下に定義済みの特性に従い、仮想ポインティング・デバイスを生成するステップと、定義済みの特性が存在しない場合、手の少なくとも一部の下に総称的仮想ポインティング・デバイスを生成するステップとを含む。
【0010】
【発明の実施の形態】
好適な実施例は、図1に示されるコンピュータ・システム100などの、タッチ画面を使用する任意の好適なハードウェア構成、またはラップトップまたはノートパッド・コンピュータ・システムにおいて実現され得る。コンピュータ・システム100は標準のマイクロプロセッサなどの、任意の好適な中央処理装置10、及びシステム・バス12により相互接続される任意の数の他のオブジェクトを含む。説明の都合上、コンピュータ・システム100は読出し専用メモリ(ROM)16、ランダム・アクセス・メモリ(RAM)14、及びI/Oアダプタ18を介してシステム・バス12に接続される周辺メモリ装置(例えばディスクまたはテープ・ドライブ20)などのメモリを含む。コンピュータ・システム100は更に、システム・バス12を従来のタッチ画面表示装置38に接続するタッチ画面表示アダプタ36を含む。また、ユーザ・インタフェース・アダプタ22が、システム・バス12をキーボード24、スピーカ28、マウス26、及びタッチパッド(図示せず)などの他のユーザ制御に接続する。
【0011】
当業者には、如何に従来のタッチ画面が作用し、如何に従来のタッチ画面デバイス・ドライバがオペレーティング・システムと通信し、また如何にユーザがタッチ画面を用いて、グラフィカル・ユーザ・インタフェース内のオブジェクトの操作を開始するかが容易に理解されよう。例えばユーザはタッチ画面に触れることにより、プルダウン・メニューの表示を開始することができ、次に指をプルダウン・メニューに沿って下方にドラッグすることにより、そのメニュー内のオブジェクトを選択する。
【0012】
好適な実施例のグラフィカル・ユーザ・インタフェース(GUI)及びオペレーティング・システム(OS)は、コンピュータ読出し可能媒体内に存在して、タッチ画面デバイス・ドライバを含む。タッチ画面デバイス・ドライバは1人以上のユーザがタッチ画面表示装置上に表示されたオブジェクト・アイコン及びテキストの操作を開始することを可能にする。任意の好適なコンピュータ読出し可能媒体がGUI及びオペレーティング・システムを保存し得る。こうした媒体には、ROM16、RAM14、ディスク及び(または)テープ・ドライブ20(例えば磁気ディスケット、磁気テープ、CD−ROM、光ディスク、または他の好適な記憶媒体など)が含まれる。
【0013】
好適な実施例では、COSE(商標)(共通オペレーティング・システム環境)デスクトップGUIが、ユーザとAIX(商標)オペレーティング・システムとをインタフェースする。GUIはオペレーティング・システム内に組み込まれ、埋め込まれているものと見なされる。代わりに任意の好適なオペレーティング・システム及びデスクトップ環境が使用され得る。他のGUI及び(または)オペレーティング・システムの例には、X11(商標)(Xウィンドウ)グラフィカル・ユーザ・インタフェース、サン社のソラリス(商標)・オペレーティング・システム、及びマイクロソフト社のウィンドウズ95(商標)オペレーティング・システムが含まれる。GUI及びオペレーティング・システムは、単にCPU10に命令及び指令するだけであるが、ここでは説明の都合上、GUI及びオペレーティング・システムが、次の機構及び機能を実行するように述べられる。
【0014】
図2を参照すると、タッチ画面200が任意の従来の好適なタッチ画面を含み、これは例えば掌及び指紋の熱、圧力、または音に感応する。この図では、ユーザは右手(図示せず)をタッチ画面200上に置いている。任意の好適なタッチ画面技術が使用され得るが、説明の都合上、好適な実施例は音のパターンを検出するタッチ画面を使用するように述べられる。ユーザが彼(または彼女)の手をタッチ画面上に置いたことに応答して、タッチ画面200はユーザの手の音パターンを検出する。これには掌紋領域210、親指指紋領域215、及び指紋領域220、230、235及び240からの音が含まれる。或いは、手の一部だけ(例えば指だけ)及び(または)特定のオブジェクトが手形の検出に代用され得る。更に、複数の手またはオブジェクトが一度に検出され得る。
【0015】
タッチ画面200が、図2に示されるのと類似の1つ以上の手または指のパターンを検出するとOSがユーザを識別しようとする。そのために、OSは掌紋領域210から各指紋領域215、220、230及び240までの距離を、掌紋領域210のX、Y座標、並びに掌紋領域210のX、Y限界と一緒に測定する。OSは最左端と最上点との交差点を、第1の基準点255として定義する。OSは親指の指紋215から第1の基準点までの最短距離を測定する。同様に、OSは指紋領域220及び230から、第1の基準点255までのそれぞれの最短距離を測定する。
【0016】
同様にOSは最右端と最上点との交差点を、第2の基準点260として定義し、それにより指紋領域240から第2の基準点260までの最短距離が決定される。最後にOSは掌紋領域210のX、Y座標、それぞれ265及び270を測定する。更に精度を上げるために、各指紋のサイズが測定され得る。
【0017】
次に、OSは、新たに決定された測定と、あらゆる既存の測定との一致の検出のために、メモリに記憶されるユーザ・ファイル・データベース(図示せず)を探索し、手形に対応して記憶される人物が存在するか否かを判断する。特に、OSは4つの距離測定値及び掌紋210のX、Y座標を、ユーザ・ファイル・データベースに記憶されるあらゆる既存の測定値と比較する。しかしながら、当業者には、本発明の範囲及び趣旨から逸脱すること無しに、特定のユーザ(またはユーザのオブジェクト)の手形(またはオブジェクトの跡)を識別する様々な手段が存在することが理解されよう。図では、掌紋領域210の幅だけが一致が存在するか否かを判断するために使用され得る。
【0018】
OSが、一致がユーザ定義済み(またはデフォルト指定)の受諾可能な公差内であると見い出すと、OSはユーザ・ファイルから定義済みのカストマイズ化機構を読出し、そのカストマイズ化機構を用いてタッチ画面200上に位置決めされた手(または手の一部)の下に、仮想ポインティング・デバイスを生成する。従って、例えばユーザの親指の下のタッチ画面200の領域(すなわち親指の指紋領域215)、指の下の領域(すなわち指紋領域220、230、235及び240)、及び掌の下の領域(すなわち掌紋領域210)が"活動化"され、これらの"活動化"領域上でのユーザの指、親指及び(または)掌の特定の定義された動きが、特定の機能を呼び出すことになる。しかしながら、OSが手形を認識しない場合、OSはデフォルト指定の機能セットを用いて手またはその一部の下に、デフォルト指定の仮想ポインティング・デバイスを生成する。
【0019】
図5は、如何にユーザが仮想ポインティング・デバイスを移動し操作するかを示す。ユーザが彼(または彼女)の手を実質的にタッチ画面200に接したまま、手をタッチ画面上でスライドするとき、OSはタッチ画面上で移動するユーザの手の位置を検出し、それに応答して仮想ポインティング・デバイスの"活動化"領域を、手(または手の一部)の下の領域として連続的に再定義する。従って、仮想ポインティング・デバイスがユーザの手の移動と共に、及びそれに追従して移動する。例えば"活動化"領域が、タッチ画面画素座標[X1、Y1、X2、Y2、X3、Y3及びX4、Y4](図示せず)内に含まれる領域として最初に定義され、ユーザが指をその領域からタッチ画面画素座標[X5、Y5、X6、Y6、X7、Y7及びX8、Y8]に移動する場合、"活動化"領域はこれらの新たな座標に移動する。
【0020】
OSは、ポインタ250が仮想ポインティング・デバイスとロック・ステップの関係で移動するように、ポインタ250を仮想ポインティング・デバイスの近く(この場合、指紋領域230の上方)に位置決めする。従って、ユーザは例えば仮想ポインティング・デバイス、従ってポインタ250を移動することができ、ポインタ250が所望のオブジェクト・アイコン上に位置決めされる。或いはユーザは単に彼の手を持ち上げ、それを所望の位置に配置することができる。それによりOSは、ユーザの手の下の新たな位置に仮想ポインティング・デバイスを再生する。
【0021】
ユーザは仮想ポインティング・デバイスを、ユーザの指、親指及び(または)掌の移動を介して操作する。例証的に、ユーザは"フォーカス機能"245を呼び出し、それによりポインタ250の下に位置決めされるオブジェクト・アイコンがフォーカスを獲得する。これはユーザが彼の親指を持ち上げ、次に親指を親指の指紋領域215に再度置くことにより達成される("シングル・クリック"として参照される)。同様にユーザは彼の第3の指(薬指)を持ち上げ、第3の指紋領域235上で置き換えることにより"ペースト"機能261を呼び出すことができる。
【0022】
指、掌及び親指の各々の振舞い及び関連機能は、特定の機能を呼び出すために特殊にプログラムされ、また後に再プログラムされ得る(以降で詳述される)。OSは各指紋/親指の指紋領域上にダイアログを表示し、指の振舞い("(1)"はシングル・クリックを表す:"(2)"はダブル・クリックを表すなど)、及び対応する機能(例えばフォーカス245、オープン257、解除まで選択259、ペースト261、及びデフォルト指定メニュー262)を示す。
【0023】
デフォルト指定機能、指の振舞い及びポインタは好適な実施例では、次のように定義される。親指の指紋領域215上での親指のシングル・クリックは、OSにポインタ250下に配置される任意のオブジェクト・アイコンまたはテキスト上でフォーカス機能245を呼び出すように指示する。指紋領域220上での指のシングル・クリックは、OSにポインタ250下に配置される任意のオブジェクト・アイコンまたはテキスト上でオープン機能245を呼び出すように指示する。指紋領域230上でのシングル・クリックは、ポインタ250下に配置される任意のオブジェクト・アイコンまたはテキスト上で、解除まで選択機能259を呼び出す。また指紋領域235上でのシングル・クリックは、ポインタ250下に配置される任意のオブジェクト・アイコンまたはテキスト上で、ペースト機能261を呼び出す。最後に、指紋領域240上でのシングル・クリックは、デフォルト指定メニュー機能263を呼び出す。デフォルト指定ポインタ250は矢印形状であり、指紋領域230の近傍に位置決めされる。しかしながら、当業者には、デフォルト指定機能、ポインタ位置及び(または)指の振舞い(例えば複数クリック)の任意の組み合わせが、デフォルト指定の仮想ポインティング・デバイスを定義するために使用され得ることが容易に理解されよう。
【0024】
図3は、好適な実施例を実現するための詳細論理を含むフローチャートである。302でタッチ画面200が手形(またはオブジェクト)または手形の一部から、音、熱、圧力などを検出する。306でOSが手形を読取り、図2に示される前述の測定を計算する。310でOSはデータベース内のユーザ・ファイルを探索し、手形測定を追跡する。312でOSは10%のデフォルト指定の公差(これは後にユーザにより変更され得る)内のあらゆる既存の手形測定を突き止め、320でOSはユーザ・ファイル内の全ての情報を読出す。そして322でユーザ・ファイル内で見い出される定義済みの特性にもとづき、ユーザの手(または手の一部)の下に、仮想ポインティング・デバイスを描く。
【0025】
324では、OSは4秒以上、一貫して異例な振舞いが存在するか否かを判断する。こうした振舞いには、例えば指紋、親指の指紋の検出の失敗、または手形が検出されない場合が含まれる。OSが異例な振舞いを検出する場合、OSは326で作業事象ループ(図9参照)を実行し、制御が324に復帰する。図9を参照すると、902でOSはタッチ画面を横断する手の任意の動きが発生したか否かを判断し、発生した場合、904でOSは仮想ポインティング・デバイスを手の動きに従い移動する。906でOSは機能を呼び出すための指または親指の動きが発生したか否かを判断し、発生した場合、908でOSはその機能を呼び出す。その後、制御が324に復帰する。
【0026】
図3の324を参照すると、OSが特定の時間長(例えば4秒)の異例の振舞いを検出する場合、328でOSは掌がタッチ画面上に留まったまま、全ての指がタッチ画面から持ち上げられたか否かを判断する。或いは当業者には、"全ての指が持ち上げられた"ことを示す標識として、多くの他の標識が代用され得ることが理解されよう。例えば指の組み合わせが持ち上げられたか否かを判断したり、指紋がタッチ画面に接したまま、掌が持ち上げられたか否かを判断したりしてもよい。OSが全ての指がタッチ画面から持ち上げられたと判断すると、330でOSはメイン・メニュー600を表示し(図6参照)、ユーザに仮想ポインティング・デバイスの任意のカストマイズ化を提供するように促す。344でOSは330で実行されたあらゆる変更に従い、新たな仮想ポインティング・デバイスを表示する。
【0027】
328に戻り、掌がタッチ画面に接したまま、指が持ち上げられたことが検出されなかった場合、342で制御が図8に移行する。図8を参照すると、810でOSは手全体(またはオブジェクト)がタッチ画面から持ち上げられたか否かを判断する。手全体が持ち上げられた場合、811でOSは仮想ポインティング・デバイスをタッチ画面上の現位置に、所定期間(例えば5秒間)明白な不活発状態(hibernated state)で表示し続ける。これは、指紋及び掌紋領域がタッチ画面上の半透明領域として見られることを意味する。812でOSは手がタッチ画面上に5秒以内に再配置されたか否かを判断し、手の除去を検出する。手がタッチ画面上に5秒以内に再配置されなかった場合、制御は826に移行する。しかしながら、OSが手がタッチ画面上に5秒以内に再配置されたことを検出する場合、816でOSは複数の仮想ポインティング・デバイスが同時に使用されているか否かを判断し、使用されている場合、複数のユーザが現在彼(または彼女)の手をタッチ画面から持ち上げているか否かを判断する。否定の場合、制御は図3の322に移行し、OSがユーザ・ファイルにより識別される仮想ポインティング・デバイスを活動化し、それを再配置された手の位置に移動する。複数のユーザが同時にタッチ画面から手を持ち上げる場合、820でOSは手形を読出し、図2に示される前述の測定を計算する。822でOSは、検出された持ち上げられた手に測定が一致する仮想ポインティング・デバイスのユーザ・ファイルを探索する。823で一致が見い出されない場合、OSは検出された持ち上げられた手を有する仮想ポインティング・デバイスの1つのユーザ識別を求めて、ユーザ・ファイル・データベースを探索する。OSは次にダイアログ(図示せず)を表示し、ユーザに、彼(または彼女)がユーザ識別により識別されるユーザか否かを尋ねる。そうである場合、827で制御が図3の322に移行し、OSはユーザ・ファイルにより識別される仮想ポインティング・デバイスを再配置された手の下に移動する。しかしながら、825でユーザ識別がユーザを識別しない場合、制御は823に戻り、OSが検出された持ち上げられた手を有する仮想ポインティング・デバイスの次のユーザ・ファイルを探索する。このプロセスは、ユーザとユーザ識別との間の一致、従って対応する仮想ポインティング・デバイスが見い出されるまで繰り返される。
【0028】
812に戻り、手がタッチ画面上に5秒以内に再配置されなかった場合、826でOSは仮想ポインティング・デバイスを明白な不活発状態で表示し続け、828でダイアログ(図示せず)内で、ユーザに終了を希望するか否かを尋ねる。ユーザが終了を希望する場合、制御は830に移行し、OSは仮想ポインティング・デバイスを表示から除去する。ユーザが終了を希望しない場合、832でOSはマウスを"隠れ不活発(hidden hibernation)"状態にする。これはタッチ画面上に表示されるマウス画像が時間と共に消去し始めたことを意味するが、ユーザが次にタッチ画面に触れるとき、マウス画像は即時活動化され得る。従って、OSは仮想ポインティング・デバイスを明白な不活発状態(例えば半透明形式の表示)から、隠れ不活発状態に変換する。ユーザ指定時間(例えば30分)の経過後、OSはこの時間遅延を仮想ポインティング・デバイスがもはや必要とされないことを意味するものとして解釈する。836でOSが30分以内に、手がタッチ画面上に配置されたことを検出すると、840でOSは仮想ポインティング・デバイスを隠れ不活発状態から戻し、それを手の下に再描画し、制御が図3の324に復帰する。
【0029】
図3の312に戻り、OSはタッチ画面上に置かれ測定された手と、既存のユーザ・ファイルとの間に一致が見い出されたか否かを判断する。OSが問題の手形と近似する手形測定を有する複数のユーザ・ファイルを検出する場合、316でOSはタッチ画面上のドロップ・ダウン・メニュー(図示せず)内に、最も近い一致を有するユーザを表示する。318でOSはユーザが(彼の他方の手を用いて、)ドロップ・ダウン・メニューからユーザ識別の一致または不一致を選択するのを待機する。一致が発生した場合、制御が前述の320に移行される。一致が発生しなかった場合、制御は314に移行され、OSはタッチ画面上にメニュー(図5の510参照)を表示し、ユーザにカストマイズされた仮想ポインティング・デバイスの生成を希望するか否かを尋ねる。ユーザがカストマイズされた仮想ポインティング・デバイスの生成を希望しない場合、OSはユーザに彼(または彼女)の手をタッチ画面上に置くように促し、それに応答して、OSはユーザの手の下に図5に示されるような、前述のデフォルト指定の指/掌の振舞い及び指紋機能を有する総称的(generic)仮想ポインティング・デバイスを生成する。
【0030】
ユーザがカストマイズされた仮想ポインティング・デバイスの生成を希望する場合、332でOSはユーザ・ファイルをオープンする。334でOSは指紋及び掌紋のサイズをユーザ・ファイルに記憶する。336でOSは第1の基準点(図2に関連して上述)と、最初の3つの指の各指紋の最も近い点との距離を計算する。更にOSは第2の基準点を計算し、そこから第4の指紋までの距離を計算する。338でOSはユーザにユーザ識別、及び仮想ポインティング・デバイス特性を催促する。後者には、仮想ポインティング・デバイス形状、ポインタ位置、振舞い及び感度、並びに指紋機能が含まれる(これらについては図6に関連して後述する)。340でOSは全ての情報をユーザ・ファイルに記憶する。制御が322に移行し、OSはユーザ・ファイルに記憶される情報にもとづき、手(または手の一部)の下に仮想ポインティング・デバイスを描画する。
【0031】
328に戻り、OSが仮想ポインティング・デバイス上で手の異例の振舞いを検出したと仮定する。OSが手の全ての指がタッチ画面から持ち上げられたと判断すると、330でOSは図6に示されるようなメイン・メニュー600を表示し、ユーザに仮想ポインティング・デバイスの任意のカストマイズ化を提供するように促す。図6を参照すると、OSがメイン・メニュー600を表示した後、ユーザは彼(または彼女)の手をタッチ画面から取り除く。
【0032】
ユーザが形状ボタン620を選択する場合、"形状"メニュー(図7の700参照)が現れ、ユーザが仮想ポインティング・デバイスの形状を定義/再定義することを可能にする。図7の形状メニュー700を参照すると、OSは幾つかの任意選択をユーザに表示する。例えばユーザは"指専用"の仮想ポインティング・デバイス(図4参照)を選択することができ、この場合、仮想ポインティング・デバイスを移動するために、指だけがタッチ画面に接する必要がある。或いは掌及び親指専用の仮想ポインティング・デバイスを選択することも可能であり、この場合、仮想ポインティング・デバイスを移動するために親指及び掌だけがタッチ画面に接する必要がある。後者の場合、指の動きは機能に割当てられない。更に、"親指と1つの指"または"掌"の仮想ポインティング・デバイスが生成され得る。しかしながら、OSは掌をタッチ画面に接したまま、全ての指を持ち上げるとき、メイン・メニュー600(図6参照)を呼び出すので、ユーザが掌を含まない新たな仮想ポインティング・デバイスを定義する場合、ユーザは後にその特殊な仮想ポインティング・デバイスの機能を再プログラムすることができない。むしろ、ユーザは新たなデバイスを生成するための総称的仮想ポインティング・デバイスから開始する必要がある。或いは、本発明の範囲から逸脱すること無しに、メイン・メニュー600を活動化するための異なる技術が使用され得る。
【0033】
ユーザはデフォルト指定の精度公差を10%から、多数の事前にプログラム済みの値に変更してもよい。そのために、ユーザは精度ボタン702を押下し、それに応答してユーザ選択用に幾つかの値(例えば4%、8%、20%)のドロップ・ダウン・リスト(図示せず)が現れる。ユーザはボタン704を押下することにより、全ての選択を入力/保管する。それに応答して、図6に示されるメイン・メニュー600が再度現れる。
【0034】
図6を参照すると、ユーザが機能定義ボタン625を選択する場合、ユーザが指紋/掌紋領域の機能を定義/再定義することを可能にする"機能定義"メニューが現れる。特に、図7の機能定義メニュー730は、ユーザが適切な指の隣の関連ボタンを押下することにより、各指紋及び親指の指紋領域の機能を変更することを可能にする。例えばユーザがボタン732を押下すると、これはユーザが第2の指である中指(すなわち指紋領域230)の機能を変更することを希望することを示す。それに応答してOSはメモリに記憶される定義済みの機能のドロップ・ダウン・リスト740を表示する。ユーザがオープン機能742を選択すると、それに応答してOSは別のドロップ・ダウン・リスト746を表示する。ユーザは機能を呼び出すために中指のダブル・クリック744を選択している。ユーザは次に保管ボタン748を押下し、エントリをユーザ・ファイルに保管する。それに応答して図6に示されるメイン・メニュー600が現れる。しかしながら当業者には、本実施例の範囲及び趣旨から逸脱すること無しに、指の振舞い及び指紋領域の機能の他の変更も可能であることが容易に理解されよう。
【0035】
図6を参照して、ユーザがポインタ定義ボタン630を選択する場合、"ポインタ定義"メニューが現れ、ユーザが仮想ポインティング・デバイス上のポインタの形状、感度及び位置を定義/再定義することを可能にする。図7のポインタ定義メニュー760を参照すると、ユーザはポインタに関する多数の選択を有する。例えばユーザは小さい、中間の、または大きい矢印及び(または)点滅する矢印を選択することができる。ユーザはまた、小さなまたは大きなポインタ感度及び仮想ポインティング・デバイスに関するポインタの位置を選択することができる。例えばポインタは第3の指(薬指)上(デフォルト指定位置)、若しくは第1の指(人差し指)上、または掌の下に位置決めされ得る。しかしながら、当業者には、本実施例の範囲及び趣旨から逸脱すること無しに、ポインタの振舞いの様々な変更が可能であることが容易に理解されよう。ユーザは保管ボタン762を押下してエントリを保管し、それに応答してメイン・メニュー600が現れる。
【0036】
最後に、図6において、ユーザは保管/終了ボタン635を押下することにより、保管及び終了するための任意選択をまた取り消しボタン615を押下することにより全ての変更を取り消し、デフォルト指定の仮想ポインティング・デバイスに復帰する任意選択を有する。
【0037】
図4を参照すると、第2の実施例では、OSが定義済みの標準のサイズの指紋領域415、420、430、435及び440、並びにポインタ450を、非活動状態("明白な不活発状態"としても参照される)の仮想ポインティング・デバイスとして表示する。指紋領域が半透明状態に表示され、従ってオブジェクト・アイコンがそれを透過して見える。仮想ポインティング・デバイスを活動化するためにユーザは1つ以上の指を、タッチ画面400上の指紋領域415、420、430、435または440上に配置する。OSが1つ以上の指紋領域420、430、435及び440上で、音パターン(または熱、圧力など)を検出する場合、OSは仮想ポインティング・デバイスを活動化し、それによりデフォルト指定の機能を指を配置された各指紋領域に割当てる。従って、指を配置されない指紋領域は活動化されず、それらは活動化されるまで、デフォルト指定の機能を割当てられない。各指紋領域はいつでも活動化され得る。
【0038】
ユーザが彼(または彼女)の指をタッチ画面400上でスライドするとき、OSはユーザの移動する指の下のタッチ画面画素座標を検出し、それに応答して、仮想ポインティング・デバイスの"活動化"領域を、指の下のタッチ画面領域として連続的に再定義する。従って、仮想ポインティング・デバイスはユーザの指の動きと一緒に、それに追従して移動する。
【0039】
OSは、ポインタ450が仮想ポインティング・デバイスの動きに追従して移動するように、ポインタ450を指紋領域420の近くに位置決めする。従って、ユーザは例えばポインタ450が所望のオブジェクト・アイコン上に位置決めされるように、仮想ポインティング・デバイスを移動することができる。或いは、ユーザは単に彼の手を持ち上げ、それを所望の位置に配置してもよく、それによりOSが、仮想ポインティング・デバイスをユーザの指の下の新たな位置に再生する。
【0040】
この例では、ユーザは仮想ポインティング・デバイスを活動化するために、彼(または彼女)の第1の指(人差し指)を指紋領域420上に配置している。ユーザが仮想ポインティング・デバイスの指紋領域間の距離を再設定することを希望する場合、ユーザは単に別の指を1つずつ、各表示される指紋領域上に配置し(それによりそれらを活動化する)、各指を適当に外側または内側にスライドすることにより、仮想ポインティング・デバイスの形状をカストマイズすればよい。このように、ユーザは仮想ポインティング・デバイスのサイズを、彼(または彼女)の指のサイズにカストマイズする。このようにして、ユーザは仮想ポインティング・デバイスを使用する度にそのサイズを積極的にカストマイズすることができる。
【0041】
ユーザがポインタ450を所望のオブジェクト・アイコン422上に位置決めすると、ユーザは例えば、指紋領域420上で彼の第1の指(人差し指)をシングル・クリックして、フォーカスをオブジェクト・アイコン422に移す。しかしながら、この実施例では、総称的機能だけ(または前述の確立された機能)が使用され得る。
【0042】
まとめとして、本発明の構成に関して以下の事項を開示する。
【0043】
(1)少なくともプロセッサ、メモリ及びタッチ画面を有するコンピュータ・システムに、前記タッチ画面上に仮想ポインティング・デバイスを生成するように指示する方法であって、
a)前記タッチ画面上に配置される手の手形を検出するステップと、
b)前記手形の形状及びサイズにもとづき、前記手形に対応する定義済みの特性が存在するか否かを判断するステップと、
c)前記手形に対応する前記定義済みの特性が存在する場合、前記手の少なくとも一部の下に前記定義済みの特性に従い、前記仮想ポインティング・デバイスを生成するステップと、
d)前記定義済みの特性が存在しない場合、前記手の前記少なくとも一部の下に総称的仮想ポインティング・デバイスを生成するステップと、
を含む、方法。
(2)前記ステップb)が、
前記手の親指の下の前記タッチ画面の親指の指紋領域と、前記手の下の前記タッチ画面の掌紋領域との間の距離を測定するステップと、
前記掌紋の下の前記タッチ画面の面積を測定するステップと、
を含む、前記(1)記載の方法。
(3)前記ステップb)が、指の下の前記タッチ画面の1つ以上の指紋領域と、掌の下の前記タッチ画面の掌紋領域との間の距離を測定するステップを含む、
前記(1)記載の方法。
(4)前記ステップb)が、1つ以上の指紋領域の面積を測定するステップを含む、
前記(1)記載の方法。
(5)前記ステップb)が、第1の部分の前記測定が、データベースに記憶されるあらゆる既存の測定と百分率公差内で一致するか否かを判断するステップを含む、
前記(2)記載の方法。
(6)少なくともプロセッサ、メモリ及びタッチ画面を有し、仮想ポインティング・デバイスを生成するコンピュータ・システムであって、
前記タッチ画面上に配置される手の手形を検出する手段と、
前記手形の形状及びサイズにもとづき、前記手形に対応する定義済みの特性が存在するか否かを判断する手段と、
前記手形に対応する前記定義済みの特性が存在する場合、前記手の少なくとも一部の下に、前記定義済みの特性に従い、前記仮想ポインティング・デバイスを生成する手段と、
前記定義済みの特性が存在しない場合、前記手の前記少なくとも一部の下に、総称的仮想ポインティング・デバイスを生成する手段と、
を含む、コンピュータ・システム。
(7)前記手の親指の下の前記タッチ画面の親指の指紋領域と、前記手の下の前記タッチ画面の掌紋領域との間の距離を測定する手段と、
前記掌紋の下の前記タッチ画面の面積を測定する手段と、
を含む、前記(6)記載のコンピュータ・システム。
(8)指の下の前記タッチ画面の1つ以上の指紋領域と、掌の下の前記タッチ画面の掌紋領域との間の距離を測定する手段を含む、
前記(6)記載のコンピュータ・システム。
(9)1つ以上の指紋領域の面積を測定する手段を含む、
前記(6)記載のコンピュータ・システム。
(10)第1の部分の前記測定が、データベースに記憶されるあらゆる既存の測定と百分率公差内で一致するか否かを判断する手段を含む、
前記(7)記載のコンピュータ・システム。
(11)少なくともプロセッサ、メモリ及びタッチ画面を有するコンピュータ・システムに、仮想ポインティング・デバイスを生成するように指示するコンピュータ読出し可能プログラム・コード手段を有するコンピュータ使用可能媒体を含む装置であって、前記コンピュータ読出し可能プログラム・コード手段が、
前記コンピュータ・システムに、前記タッチ画面上に配置される手の手形を検出するように指示するコンピュータ読出し可能プログラム・コード手段と、
前記コンピュータ・システムに、前記手形の形状及びサイズにもとづき、前記手形に対応する定義済みの特性が存在するか否かを判断するように指示するコンピュータ読出し可能プログラム・コード手段と、
前記手形に対応する前記定義済みの特性が存在する場合、前記コンピュータ・システムに、前記手の少なくとも一部の下に前記定義済みの特性に従い、前記仮想ポインティング・デバイスを生成するように指示するコンピュータ読出し可能プログラム・コード手段と、
前記定義済みの特性が存在しない場合、前記コンピュータ・システムに前記手の前記少なくとも一部の下に、総称的仮想ポインティング・デバイスを生成するように指示するコンピュータ読出し可能プログラム・コード手段と、
を含む、装置。
【図面の簡単な説明】
【図1】本発明と共に使用される従来のハードウェア構成を示す図である。
【図2】本発明による仮想ポインティング・デバイスを示す図である。
【図3】本発明に従いステップを実行する詳細論理をフローチャート形式で示す図である。
【図4】図2に示される仮想ポインティング・デバイスの変形を示す図である。
【図5】図2に示される仮想ポインティング・デバイスの別の態様を示す図である。
【図6】本発明による仮想ポインティング・デバイスの特性を定義するメニューを示す図である。
【図7】本発明による形状メニュー、機能定義メニュー、及びポインタ定義メニューを示す図である。
【図8】本発明に従いステップを実行する詳細論理をフローチャート形式で示す図である。
【図9】本発明に従いステップを実行する詳細論理をフローチャート形式で示す図である。
【符号の説明】
10 中央処理装置
12 システム・バス
14 ランダム・アクセス・メモリ(RAM)
16 読出し専用メモリ(ROM)
18 I/Oアダプタ
20 ディスクまたはテープ・ドライブ
22 ユーザ・インタフェース・アダプタ
24 キーボード
26 マウス
28 スピーカ
36 タッチ画面表示アダプタ
38 タッチ画面表示装置
100 コンピュータ・システム
200、400 タッチ画面
210 掌紋領域
215 親指指紋領域
220、230、235、240、415、420、430、435、440 指紋領域
245 フォーカス機能
250、450 ポインタ
255 第1の基準点
257 オープン
259 解除まで選択
260 第2の基準点
261 ペースト
262 デフォルト指定メニュー
265 X座標
270 Y座標
422 オブジェクト・アイコン
600 メイン・メニュー
615 取り消し
620 形状ボタン
625 機能定義ボタン
630 ポインタ定義ボタン
635 保管/終了ボタン
700 形状メニュー
702 精度ボタン
704 ボタン
730 機能定義ボタン
732 ボタン
740、746 ドロップ・ダウン・リスト
742 オープン機能
744 ダブル・クリック
748、762 保管ボタン
760 ポインタ定義メニュー
Claims (11)
- 少なくともプロセッサ、メモリ及びタッチ画面を有するコンピュータ・システムにおいて、前記タッチ画面上にユーザの手の少なくとも一部によるポインティング・デバイス(以下、仮想ポインティング・デバイス)を生成するために、前記コンピュータ・システムが下記ステップa)〜d)を実行する方法であって、
a)前記タッチ画面上に配置される手の手形を検出するステップと、
b)前記検出した手形に関連付けられた定義済みの特性が存在するか否かを判断するステップと、
c)前記定義済みの特性が存在する場合、前記定義済みの特性に従い、前記手の少なくとも一部の下に、第1の仮想ポインティング・デバイスを生成するステップと、
d)前記定義済みの特性が存在しない場合、前記手の少なくとも一部の下に、第2の仮想ポインティング・デバイスを生成するステップと
を含む、方法。 - 前記ステップb)の判断するステップが、
前記手の親指の下の前記タッチ画面の親指の指紋領域と、前記手の下の前記タッチ画面の掌紋領域との間の距離を測定するステップと、
前記掌紋の下の前記タッチ画面の面積を測定するステップと
を含み、該測定したデータに対応する定義済みの特性が存在するか否かを判断するステップを含む、請求項1記載の方法。 - 前記ステップb)の判断するステップが、
各指の下の前記タッチ画面の1つ以上の指紋領域と、掌の下の前記タッチ画面の掌紋領域との間の距離を測定するステップ
を含み、該測定したデータに対応する定義済みの特性が存在するか否かを判断するステップを含む、請求項1記載の方法。 - 前記ステップb)の判断するステップが、
1つ以上の指紋領域の面積を測定するステップ
を含み、該測定したデータに対応する定義済みの特性が存在するか否かを判断するステップを含む、請求項1記載の方法。 - 前記測定が、データベースに記憶されるあらゆる既存の測定と百分率公差内で一致するか否かを判断するステップをさらに含む、
請求項2記載の方法。 - 少なくともプロセッサ、メモリ及びタッチ画面を有し、前記タッチ画面上にユーザの手の少なくとも一部によるポインティング・デバイス(以下、仮想ポインティング・デバイス)を生成するコンピュータ・システムであって、
前記タッチ画面上に配置される手の手形を検出する手段と、
前記検出した手形に関連付けられた定義済みの特性が存在するか否かを判断する手段と、
前記定義済みの特性が存在する場合、前記定義済みの特性に従い、前記手の少なくとも一部の下に、第1の仮想ポインティング・デバイスを生成する手段と、
前記定義済みの特性が存在しない場合、前記手の前記少なくとも一部の下に、第2の仮想ポインティング・デバイスを生成する手段と
を含む、コンピュータ・システム。 - 前記手の親指の下の前記タッチ画面の親指の指紋領域と、前記手の下の前記タッチ画面の掌紋領域との間の距離を測定する手段と、
前記掌紋の下の前記タッチ画面の面積を測定する手段と
を含む、請求項6記載のコンピュータ・システム。 - 指の下の前記タッチ画面の1つ以上の指紋領域と、掌の下の前記タッチ画面の掌紋領域との間の距離を測定する手段を含む、
請求項6記載のコンピュータ・システム。 - 1つ以上の指紋領域の面積を測定する手段を含む、
請求項6記載のコンピュータ・システム。 - 第1の部分の前記測定が、データベースに記憶されるあらゆる既存の測定と百分率公差内で一致するか否かを判断する手段を含む、
請求項7記載のコンピュータ・システム。 - 少なくともプロセッサ、メモリ及びタッチ画面を有するコンピュータ・システムにおいて、前記タッチ画面上にユーザの手の少なくとも一部によるポインティング・デバイス(以下、仮想ポインティング・デバイス)を生成するためのコンピュータ・プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記コンピュータ・システムに請求項1〜5のいずれか1項に記載の方法の各ステップを実行させる、前記記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/654,487 US5748184A (en) | 1996-05-28 | 1996-05-28 | Virtual pointing device for touchscreens |
US08/654487 | 1996-05-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1040013A JPH1040013A (ja) | 1998-02-13 |
JP4384734B2 true JP4384734B2 (ja) | 2009-12-16 |
Family
ID=24625063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11370797A Expired - Lifetime JP4384734B2 (ja) | 1996-05-28 | 1997-05-01 | 仮想ポインティング・デバイスの生成指示方法、コンピュータ・システム及び装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5748184A (ja) |
JP (1) | JP4384734B2 (ja) |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5872559A (en) * | 1996-10-04 | 1999-02-16 | International Business Machines Corporation | Breakaway and re-grow touchscreen pointing device |
US6433801B1 (en) * | 1997-09-26 | 2002-08-13 | Ericsson Inc. | Method and apparatus for using a touch screen display on a portable intelligent communications device |
US8479122B2 (en) * | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
US9292111B2 (en) | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
IL137478A (en) | 1998-01-26 | 2005-11-20 | Westerman Wayne | Method and apparatus for integrating manual input |
US6610917B2 (en) | 1998-05-15 | 2003-08-26 | Lester F. Ludwig | Activity indication, external source, and processing loop provisions for driven vibrating-element environments |
JP3663075B2 (ja) * | 1999-04-05 | 2005-06-22 | シャープ株式会社 | 情報処理装置 |
USD433413S (en) * | 1999-04-09 | 2000-11-07 | Biolink Technologies International, Inc. | Biometric scanning aperture for a computer input device |
US6282304B1 (en) | 1999-05-14 | 2001-08-28 | Biolink Technologies International, Inc. | Biometric system for biometric input, comparison, authentication and access control and method therefor |
US6910132B1 (en) | 2000-09-15 | 2005-06-21 | Matsushita Electric Industrial Co., Ltd. | Secure system and method for accessing files in computers using fingerprints |
US7730401B2 (en) * | 2001-05-16 | 2010-06-01 | Synaptics Incorporated | Touch screen with user interface enhancement |
US7379053B2 (en) * | 2001-10-27 | 2008-05-27 | Vortant Technologies, Llc | Computer interface for navigating graphical user interface by touch |
JP2003337659A (ja) * | 2002-05-20 | 2003-11-28 | Sharp Corp | 入力装置およびタッチ領域登録方法 |
JP2004118917A (ja) * | 2002-09-25 | 2004-04-15 | Clarion Co Ltd | 電子機器及びナビゲーション装置 |
JP2004185258A (ja) * | 2002-12-03 | 2004-07-02 | Hitachi Ltd | 情報処理装置 |
WO2005109236A2 (en) * | 2004-05-06 | 2005-11-17 | Acco Brands, Inc. | Apparatus and method for determining an optimal ergonomic setup |
US7743348B2 (en) * | 2004-06-30 | 2010-06-22 | Microsoft Corporation | Using physical objects to adjust attributes of an interactive display application |
US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
US7925996B2 (en) * | 2004-11-18 | 2011-04-12 | Microsoft Corporation | Method and system for providing multiple input connecting user interface |
KR101287497B1 (ko) * | 2006-01-06 | 2013-07-18 | 삼성전자주식회사 | 홈-네트워크 시스템의 제어 명령 전달 장치 및 그 방법 |
US9063647B2 (en) | 2006-05-12 | 2015-06-23 | Microsoft Technology Licensing, Llc | Multi-touch uses, gestures, and implementation |
US8130203B2 (en) | 2007-01-03 | 2012-03-06 | Apple Inc. | Multi-touch input discrimination |
US8269727B2 (en) | 2007-01-03 | 2012-09-18 | Apple Inc. | Irregular input identification |
US7855718B2 (en) * | 2007-01-03 | 2010-12-21 | Apple Inc. | Multi-touch input discrimination |
US20090033632A1 (en) * | 2007-07-30 | 2009-02-05 | Szolyga Thomas H | Integrated touch pad and pen-based tablet input system |
US20090224874A1 (en) * | 2008-03-05 | 2009-09-10 | International Business Machines Corporation | Apparatus, system, and method for providing authentication and activation functions to a computing device |
US9019237B2 (en) * | 2008-04-06 | 2015-04-28 | Lester F. Ludwig | Multitouch parameter and gesture user interface employing an LED-array tactile sensor that can also operate as a display |
US8169414B2 (en) | 2008-07-12 | 2012-05-01 | Lim Seung E | Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface |
US8345014B2 (en) | 2008-07-12 | 2013-01-01 | Lester F. Ludwig | Control of the operating system on a computing device via finger angle using a high dimensional touchpad (HDTP) touch user interface |
US8604364B2 (en) * | 2008-08-15 | 2013-12-10 | Lester F. Ludwig | Sensors, algorithms and applications for a high dimensional touchpad |
US20110242036A1 (en) * | 2008-12-08 | 2011-10-06 | Haruo Hinode | Operation accepting device and recording medium |
US20100205559A1 (en) * | 2009-02-11 | 2010-08-12 | Greg Rose | Quick-launch desktop application |
US8170346B2 (en) | 2009-03-14 | 2012-05-01 | Ludwig Lester F | High-performance closed-form single-scan calculation of oblong-shape rotation angles from binary images of arbitrary size using running sums |
WO2010127175A2 (en) | 2009-04-30 | 2010-11-04 | Synaptics Incorporated | Control circuitry and method |
US20110055722A1 (en) * | 2009-09-02 | 2011-03-03 | Ludwig Lester F | Data Visualization Environment with DataFlow Processing, Web, Collaboration, Advanced User Interfaces, and Spreadsheet Visualization |
US20110066933A1 (en) | 2009-09-02 | 2011-03-17 | Ludwig Lester F | Value-driven visualization primitives for spreadsheets, tabular data, and advanced spreadsheet visualization |
US20110148436A1 (en) * | 2009-12-18 | 2011-06-23 | Synaptics Incorporated | System and method for determining a number of objects in a capacitive sensing region using signal grouping |
US20110148438A1 (en) * | 2009-12-18 | 2011-06-23 | Synaptics Incorporated | System and method for determining a number of objects in a capacitive sensing region using a shape factor |
US20110202934A1 (en) * | 2010-02-12 | 2011-08-18 | Ludwig Lester F | Window manger input focus control for high dimensional touchpad (htpd), advanced mice, and other multidimensional user interfaces |
US10146427B2 (en) * | 2010-03-01 | 2018-12-04 | Nri R&D Patent Licensing, Llc | Curve-fitting approach to high definition touch pad (HDTP) parameter extraction |
US9626023B2 (en) | 2010-07-09 | 2017-04-18 | Lester F. Ludwig | LED/OLED array approach to integrated display, lensless-camera, and touch-screen user interface devices and associated processors |
US9632344B2 (en) | 2010-07-09 | 2017-04-25 | Lester F. Ludwig | Use of LED or OLED array to implement integrated combinations of touch screen tactile, touch gesture sensor, color image display, hand-image gesture sensor, document scanner, secure optical data exchange, and fingerprint processing capabilities |
US8754862B2 (en) | 2010-07-11 | 2014-06-17 | Lester F. Ludwig | Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces |
US9950256B2 (en) | 2010-08-05 | 2018-04-24 | Nri R&D Patent Licensing, Llc | High-dimensional touchpad game controller with multiple usage and networking modalities |
US20120204577A1 (en) | 2011-02-16 | 2012-08-16 | Ludwig Lester F | Flexible modular hierarchical adaptively controlled electronic-system cooling and energy harvesting for IC chip packaging, printed circuit boards, subsystems, cages, racks, IT rooms, and data centers using quantum and classical thermoelectric materials |
US8797288B2 (en) | 2011-03-07 | 2014-08-05 | Lester F. Ludwig | Human user interfaces utilizing interruption of the execution of a first recognized gesture with the execution of a recognized second gesture |
US9052772B2 (en) | 2011-08-10 | 2015-06-09 | Lester F. Ludwig | Heuristics for 3D and 6D touch gesture touch parameter calculations for high-dimensional touch parameter (HDTP) user interfaces |
US10430066B2 (en) | 2011-12-06 | 2019-10-01 | Nri R&D Patent Licensing, Llc | Gesteme (gesture primitive) recognition for advanced touch user interfaces |
US9823781B2 (en) | 2011-12-06 | 2017-11-21 | Nri R&D Patent Licensing, Llc | Heterogeneous tactile sensing via multiple sensor types |
CN111228793B (zh) * | 2020-01-21 | 2021-11-19 | 腾讯科技(深圳)有限公司 | 交互界面的显示方法和装置、存储介质及电子装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4310839A (en) * | 1979-11-23 | 1982-01-12 | Raytheon Company | Interactive display system with touch data entry |
JPS6029135A (ja) * | 1983-07-25 | 1985-02-14 | 三菱電機株式会社 | 個人識別装置 |
US4914624A (en) * | 1988-05-06 | 1990-04-03 | Dunthorn David I | Virtual button for touch screen |
US5327161A (en) * | 1989-08-09 | 1994-07-05 | Microtouch Systems, Inc. | System and method for emulating a mouse input device with a touchpad input device |
DE69032645T2 (de) * | 1990-04-02 | 1999-04-08 | Koninkl Philips Electronics Nv | Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten |
US5376946A (en) * | 1991-07-08 | 1994-12-27 | Mikan; Peter J. | Computer mouse simulator device |
US5428367A (en) * | 1991-07-08 | 1995-06-27 | Mikan; Peter J. | Computer mouse simulator having see-through touchscreen device and external electronic interface therefor |
US5335557A (en) * | 1991-11-26 | 1994-08-09 | Taizo Yasutake | Touch sensitive input control device |
US5335288A (en) * | 1992-02-10 | 1994-08-02 | Faulkner Keith W | Apparatus and method for biometric identification |
EP0593386A3 (en) * | 1992-10-16 | 1996-07-31 | Ibm | Method and apparatus for accessing touch screen desktop objects via fingerprint recognition |
US5546523A (en) * | 1995-04-13 | 1996-08-13 | Gatto; James G. | Electronic fund transfer system |
-
1996
- 1996-05-28 US US08/654,487 patent/US5748184A/en not_active Expired - Lifetime
-
1997
- 1997-05-01 JP JP11370797A patent/JP4384734B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US5748184A (en) | 1998-05-05 |
JPH1040013A (ja) | 1998-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4384734B2 (ja) | 仮想ポインティング・デバイスの生成指示方法、コンピュータ・システム及び装置 | |
JP3589381B2 (ja) | 仮想ポインティング・デバイスの生成方法、装置及びコンピュータ・システム | |
JP3504462B2 (ja) | ポインティング・デバイス生成指示方法及びコンピュータ・システム | |
US5764222A (en) | Virtual pointing device for touchscreens | |
KR100255284B1 (ko) | 가상 포인팅 디바이스를 생성하기 위한 컴퓨터 장치, 컴퓨터 시스템의 지시 방법 및 컴퓨터 사용가능 매체를 구비한 제조 물품 | |
KR100259452B1 (ko) | 터치스크린용 가상 포인팅 디바이스 | |
KR100255285B1 (ko) | 가상 포인팅 디바이스를 생성하기 위한 컴퓨터 시스템, 컴퓨터 시스템의 지시 방법, 및 컴퓨터 사용가능 매체를 구비한 제조 물품 | |
US5933134A (en) | Touch screen virtual pointing device which goes into a translucent hibernation state when not in use | |
US5874948A (en) | Virtual pointing device for touchscreens | |
US5870083A (en) | Breakaway touchscreen pointing device | |
KR100260867B1 (ko) | 터치스크린포인팅디바이스의분리및합체를위한방법및시스템 | |
US5812118A (en) | Method, apparatus, and memory for creating at least two virtual pointing devices | |
JP5456529B2 (ja) | グラフィカル・ユーザ・インターフェース・オブジェクトを操作する方法及びコンピュータシステム | |
EP2686758B1 (en) | Input device user interface enhancements | |
US7358956B2 (en) | Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device | |
EP1241557A2 (en) | Method for displaying information responsive to sensing a physical presence proximate to a computer input device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071225 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071225 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20071225 |
|
RD12 | Notification of acceptance of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20071225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20071225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090114 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090917 |
|
RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20090917 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090928 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
EXPY | Cancellation because of completion of term |