JP5559866B2 - バイモーダルタッチセンサ式デジタルノートブック - Google Patents

バイモーダルタッチセンサ式デジタルノートブック Download PDF

Info

Publication number
JP5559866B2
JP5559866B2 JP2012502078A JP2012502078A JP5559866B2 JP 5559866 B2 JP5559866 B2 JP 5559866B2 JP 2012502078 A JP2012502078 A JP 2012502078A JP 2012502078 A JP2012502078 A JP 2012502078A JP 5559866 B2 JP5559866 B2 JP 5559866B2
Authority
JP
Japan
Prior art keywords
touch
pen
item
sensitive display
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012502078A
Other languages
English (en)
Other versions
JP2012521605A (ja
Inventor
ポール ヒンクリー ケネス
ペシュニッグ ゲオルグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2012521605A publication Critical patent/JP2012521605A/ja
Application granted granted Critical
Publication of JP5559866B2 publication Critical patent/JP5559866B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04807Pen manipulated menu
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Calculators And Similar Devices (AREA)

Description

本発明は、バイモーダルタッチセンサ式デジタルノートブックに関する。
タッチセンサ式ディスプレイは、ディスプレイの表面上への物体のタッチ、及びいくつかの場合は物体の接近すなわちほぼタッチする態様の入力に対応する。タッチ入力は、ユーザの手(例えば指)によるタッチ、スタイラスペンもしくは他のペンタイプの器具によるタッチ、または外部の物体によるタッチを含んでもよい。タッチセンサ式ディスプレイは、様々なコンピュータシステムにおいてますます使用されてきているが、タッチ入力の使用は、機能における重要なトレードオフを受け入れること及びインタフェースの使用の容易さをしばしば必要とする。
従って、タッチセンサ式ディスプレイ及びタッチセンサ式ディスプレイと動作可能に組み合わせられているインタフェースソフトウェアを含むタッチセンサ式コンピュータシステムが提供される。インタフェースソフトウェアは、タッチセンサ式ディスプレイになされたタッチ入力を検出して、当該検出に応じて、タッチ入力がタッチセンサ式ディスプレイになされた場所に依存しているタッチセンサ式ディスプレイ上の場所においてタッチ操作可能ユーザインタフェースを表示するように構成されている。
1つのさらなる態様において、タッチ入力はハンドタッチ入力であり、応答において表示されるタッチ操作可能ユーザインタフェースは、ペンタッチ操作可能な命令(1または複数)である。更に他の態様において、起動されるユーザインタフェースは、最初のタッチ入力の受信に続くインターバルの経過において表示されるが、起動されるユーザインタフェースの表示は、ペンタイプ器具の接近が検出される事象において、インターバルの完全な終了に先立って起きるように早められ得る。
この発明の概要は、発明を実施するための形態において以下で更に説明されるいくつかのコンセプトを単純な態様で紹介するために提供される。この発明の概要は、本発明の重要な特徴及び本質的な特徴を特定することを意図されておらず、本発明の範囲を限定するために使用されることも意図されていない。さらに、本発明は、本開示の任意の部分に記載されている任意のまたは全ての欠点を解決する実施例に限定されない。
対話型ディスプレイの実施形態のブロック図である。 タッチセンサ式コンピュータデバイスの実施形態とインタフェース(対話)するユーザの概略図である。 タッチセンサ式コンピュータデバイスに対する例示のインタフェース方法のフロー図である。 静止したハンドタッチの検出に応じてタッチ操作可能命令を表示するタッチセンサ式コンピュータデバイスの実施形態の概略図である。 静止したハンドタッチ及びペン先の接近の検出に応じてタッチ操作可能命令を表示するタッチセンサ式コンピュータデバイスの実施形態の概略図である。 ハンドタッチによってオブジェクトの粗いドラッグを表示するタッチセンサ式コンピュータデバイスの実施形態の概略図である。 ペンタッチによるオブジェクトの精密なドラッグを表示するタッチセンサ式コンピュータデバイスの実施形態の概略図である。 ハンドタッチによるユーザのオブジェクトの選択を表示するタッチセンサ式コンピュータデバイスの実施形態の概略図である。 図8のオブジェクトのペンタッチによるユーザのオブジェクトの複製を示す図である。 ペンタッチによって図9の複製オブジェクトを配置するユーザを示す図である。 ハンドタッチによってコレクションを選択するユーザを表すタッチセンサ式コンピュータデバイスの実施形態を示す概略図である。 2つの手によるハンドタッチによって図11のコレクションを展開するユーザを示す図である。 ペンタッチによって図11のコレクションからオブジェクトを選択するユーザを示す図である。
図1は、論理サブシステム22、及び論理サブシステム22に動作可能に接続されているメモリ/データ保持サブシステム24を含むタッチセンサ式コンピュータシステム20の実施形態のブロック図を示している。メモリ/データ保持サブシステム24は、本明細書に開示されている方法の1または複数を実行するために、論理サブシステム22によって実行可能な命令を含んでもよい。タッチセンサ式コンピュータシステム20は、メモリ/データ保持サブシステム24によって保持されているデータの視覚表示をもたらし、I/Oサブシステム28の一部として含まれるディスプレイサブシステム26をさらに含んでいてもよい。
ディスプレイサブシステム26は、ディスプレイの表面への物体のタッチ、及びいくつかの場合は物体の接近またはほぼタッチする態様の入力に対応するタッチセンサ式ディスプレイを含んでもよい。いくつかの場合、タッチセンサ式ディスプレイは、「バイモーダル」タッチを検出するように構成されていてよく、ここで「バイモーダル」は、ユーザの指によるタッチ及びペンのタッチ等の2つの異なった態様のタッチを示す。いくつかの場合、タッチセンサ式ディスプレイは、「2つの手による」タッチを検出するように構成されていてもよく、ここで「2つの手による」とは、ユーザの人差し指(異なった手)によるタッチ、またはユーザの親指及び人差し指(同一の手)によるタッチ等の、同一の態様のタッチ(通常はハンドタッチ)を示す。従って、いくつかの場合、タッチセンサ式ディスプレイは、バイモーダル及び2つの手によるハンドタッチの両方を検出するように構成されていてもよい。
コンピュータシステム20は、バイモーダル及び/または2つの手によるハンドタッチを検出して、当該タッチを識別して検出されたタッチのタイプに基づいた応答を生成するようにさらに構成されていてもよい。例えば、人間のタッチは、より低い精密度の大まかかつ/または粗いジェスチャに対して使用されてもよく、これらのジェスチャは、限定するわけではないが、タッピング(tapping)による即時のオブジェクト選択、グループ選択及び/またはオブジェクトの囲み選択、ドラッグ及びドロップ、絞り(squeeze)ジェスチャまたは拡大(stretch)ジェスチャによるオブジェクトのつまみ(pinching)、並びにオブジェクトを回転及び/または変形するジェスチャを含んでもよい。さらに、2つの手モードにおいて、このようなタッチの組み合わせが使用されてもよい。
他の例において、ペンタイプタッチ器具(すなわち、ペンタッチ)の作用端によるタッチは、限定するわけではないが、書くこと、メニューアイテムの選択、コピーまたは貼り付け等の編集操作の実行、画像を精密化する、特定の位置へのオブジェクトの移動、正確なサイズ変更等を含むさらに高い正確性を有する高精細な及び/または局所的なジェスチャに使用されてもよい。さらに、バイモーダルモードにおいて、当該人間のタッチ及びペンタッチの組み合わせは、図2を参照して以下に説明されるように使用されてもよい。
実際のタッチに加えて、システム20は、ほぼタッチまたはタッチの接近を検出するように構成されていてもよい。例えば、タッチセンサ式ディスプレイは、ペンがディスプレイ表面の特定の位置に接近して、ディスプレイ表面から所定の距離の範囲内または所定の距離にある場合に、ペンタッチの接近を検出するように構成されてもよい。1つの例として、タッチセンサ式ディスプレイは、ペンがディスプレイ表面から2センチメートル内にある場合に、ペンのディスプレイ表面への接近を検出するように構成されていてもよい。
本明細書に記載されているタッチセンサ式コンピュータシステムは、タブレットラップトップ、スマートフォン、携帯情報端末(portable digital assistant)、デジタルノートブック等を含む様々な態様にて実装されてもよい。このようなデジタルノートブックの例は、図2に示されかつ以下でさらに詳細に説明される。
論理サブシステム22は、I/Oサブシステム28に関連するユーザインタフェース機能、特に、ディスプレイサブシステム26(例えば、タッチセンサ式ディスプレイ)によるユーザインタフェース機能を提供するようにインタフェース命令を実行するように構成されていてもよい。通常は、インタフェースソフトウェアは、ディスプレイサブシステム26のタッチセンサ式ディスプレイと動作可能に組み合わされており、タッチセンサ式ディスプレイに与えられたタッチ入力を検出するように構成されている。このような検出に応じて、インタフェースソフトウェアは、タッチセンサ式ディスプレイタッチ入力が与えられた場所に応じたタッチセンサ式ディスプレイ上の場所において、タッチ操作可能ユーザインタフェースを表示するようにさらに構成されていてもよい。例として、タッチ(またはペン)操作可能アイコンが、ユーザが指を置いている場所の周りに現れる。この場所は、選択されたオブジェクトの範囲(例えば、選択されたものの一番上)に応じて決まってもよい。タッチ操作可能アイコンは、固定された場所に現れてもよく、タッチは、出現(フェードイン)を調節し、離すことは、アイコンまたはツールバーの消滅をトリガする。アイコンの場所は、タッチ場所に部分的に依存していてもよく、例えば、タッチ場所に対応した右側の余白(margin)に出現してもよい。
図2は、対話型ディスプレイデバイスの実施形態とインタフェース(対話)するユーザの概略図である。例として、対話型ディスプレイデバイスのこのような実施形態は、デジタルノートブック30のようなタッチセンサ式コンピュータシステムでもよい。デジタルノートブック30は、1または複数のタッチセンサ式ディスプレイ32を含んでもよい。いくつかの実施形態において、デジタルノートブック30は、デジタルノートブックに実際のノートの態様で折り畳んで閉じることを可能とさせるヒンジ34を含んでもよい。デジタルノートブック30は、図1を参照して上述したように、タッチセンサ式ディスプレイと動作可能に組み合わされたインタフェースソフトウェアをさらに含んでもよい。
図2に示されているように、デジタルノートブック30は、タッチセンサ式ディスプレイにおけるユーザの指36のタッチ及びペン38のタッチを検出してもよい。デジタルノートブック30は、ペン38がタッチセンサ式ディスプレイ32から所定の距離内にある場合に、ペン38の接近を検出するようにさらに構成されていてもよい。例として、ユーザの指36は、ディスプレイ32上に表示されているオブジェクト40を選択するために使用されてもよく、それに応じて、タッチセンサ式ディスプレイ32は、オブジェクト40の周りに破線ボックス42を表示すること等によって、アイテムが選択されていることの表示を示すように構成されてもよい。ユーザは、その後、ペン38を用いたオブジェクト40の精密なサイズ変更等の、更に精密なジェスチャを実行してもよい。これは多くの潜在的な例の1つであるが、オブジェクトの選択及びサイズ変更は、タッチ及びペンタッチの組み合わせによって実行され得る多くの操作の1つに過ぎないことが理解されるべきである。さらに、選択されたオブジェクト(1または複数)の範囲は、ディスプレイに接触している指(1または複数)及び手(1または複数)によって形成されている場所、範囲、または形状に依存していてもよいことに留意する。他の例は、以下で更に詳細に説明される。
図3は、タッチセンサ式コンピュータデバイスのための例示のインタフェース(interface)方法50を示している。52において、方法50は、タッチセンサ式ディスプレイに与えられたタッチ入力を検出するステップを含む。本明細書で説明されているタッチ入力は、指等(すなわちハンドタッチ)等の、タッチセンサ式ディスプレイにおける物体のタッチを含んでもよい。いくつかの場合、このようなタッチ入力は、ペンタイプタッチ器具(すなわちペンタッチ)の作用端であってもよい。さらに、タッチ入力は、ハンドタッチとペンタッチとの組み合わせ、及び/またはハンドタッチとペンの接近(ペン先の接近)との組み合わせを含んでもよい。いくつかの実施形態において、ハンドタッチタイプのタッチ入力は「タップ(tap)」ハンドタッチを含んでもよく、この場合、ユーザは、タッチセンサ式ディスプレイをタップし、タッチセンサ式ディスプレイは、タッチの開始とそれに続くタッチ中断を検知する。多くの場合、タップハンドタッチがインタフェースソフトウェアによって処理されて、タッチセンサ式ディスプレイ上のアイテムの選択がもたらされることが望ましい。
いくつかの実施形態において、ハンドタッチタイプのタッチ入力は「レスト(静止)(rest)」ハンドタッチを含み、この場合、ユーザは、タッチセンサ式ディスプレイをタッチしかつディスプレイデバイスをタッチし続け、タッチセンサ式デバイスは、持続的なタッチの開始を検知する。いくつかの実施形態において、タッチセンサ式ディスプレイデバイスがレストハンドタッチを検知している間、ディスプレイデバイスは、ペン先の接近を追加的に検知してもよいので、上述のような方法50におけるタッチ入力の検知は、レストハンドタッチ及びペン先接近の組み合わせの検出を含んでもよい。上述のように、ユーザの手または他の物体によるレストタッチが処理されて、ディスプレイスクリーン上のタッチ操作可能な命令の表示がもたらされてもよい。接近するペンタッチの追加された入力は、スクリーンに表示されるタッチ操作可能命令の生成の処理を変更可能である。例えば、接近するペンタッチは、以下の例において説明されるように、タッチ操作可能命令をさらに迅速に表示させてもよい。
54において、方法50は、タッチ入力の検出に応答して、タッチセンサ式ディスプレイに表示されているアイテムの選択をもたらして、当該アイテムに実行可能なタッチセンサ式ディスプレイ上のタッチ操作可能命令(1または複数)を表示するステップを含む。例えば、上述のように、タッチ入力は、タッチセンサ式ディスプレイに表示されるアイテムを選択するために使用されてもよい。さらに、アイテムの選択において、タッチセンサ式ディスプレイは、タッチセンサ式ディスプレイデバイス上に、タッチ操作可能命令(1または複数)を表示してもよい。代替的に、タッチ操作可能命令は、表示されているアイテムへなされる「レスト」ハンドタッチに応答して表示されてもよい。
任意の場合において、出現したタッチ操作可能命令は、コンテキストメニューの様々な数及びタイプのアイテムに対応している選択可能オプション(形式付け(formatting)オプション、編集オプション等)を含んでもよい。いくつかの実施形態において、タッチ操作可能命令の表示は、タッチ操作可能命令がディスプレイ上の表示内にゆっくりフェードインするように及び/またはディスプレイ上の場所に移動するように「フェードイン」及び/または「フロートイン(floating in)」によってタッチ操作可能命令を表示することを含んでもよく、タッチ操作可能命令の表示は、当該ディスプレイからアクティブ(activate)にされる。このような態様でのタッチ操作可能命令の表示は、ユーザの注意をそらし得る点滅及び/または急な変化を回避することによって、さらに美しいユーザ経験をもたらし得る。さらに、フェードイン/フロートイン手法の先進的な性質は、ユーザが表示の変化に気付き、ユーザの目が、フェードイン命令がアクティブにされ得る特定の場所へ引き付けられることである。
さらに、このようなタッチ操作可能命令(1または複数)は、選択されたかまたはアクティブにされるだろうアイテムの場所に応じた場所内のタッチセンサ式ディスプレイに表示されてもよい。例えば、タッチ操作可能命令(1または複数)は、アイテム近傍に表示されるコンテキストメニューとして表示されてもよい。
追加的にまたは代替的に、タッチ操作可能命令(1または複数)は、タッチ入力がタッチセンサ式ディスプレイに与えられたところに応じた場所に表示されてもよい。例えば、タッチ操作可能ユーザインタフェースは、タッチ入力をもたらした指の近傍に表示されるコンテキストメニューとして表示されてもよい。
多くの場合、アクティブ化入力(例えば、レストハンドタッチ)の後の所定のインターバルの経過の後のみに、インタフェースソフトウェアがタッチ操作可能命令(例えば、フェードインさせられる命令)を表示するのが好ましい。例として、図4は、対話式ディスプレイデバイス60の実施形態の概略図を示している。画像66におけるタッチセンサ式ディスプレイ上のユーザの指62のレストハンドタッチを検知すると、タッチセンサ式ディスプレイ64は、タッチ操作可能命令「1」、「2」及び「3」を、命令の点線によって示されているように、視覚的に命令を視界内にフェードインさせることによって表示する。いくつかの場合、タッチセンサ式ディスプレイ64は、タッチ入力の検出の後の所定のインターバル(例えば、2秒)の後に命令を表示するように構成されてもよい。2秒のインターバルは例示であり、所定のインターバルは任意の適切な時間であってもよい。代替的に、タッチして離すことは(タッチしてそのままにするのと対照的に)、ペンまたは指を使用してユーザが次に起動する命令を表示させてもよい。
命令「1」、「2」及び「3」は例示であり、任意の数の命令がいくつもの異なった構成で出現してもよく、命令はさらに、ユーザに表示されている任意の数のオプションに関連付けられてもよい。さらに、いくつかの場合、フェードインした命令は、インタフェースソフトウェアによって検出されたアイテムの性質に基づいて選択され得る。例えば、テキストアイテムの場合、対応するタッチ操作可能命令は、切り取り、コピー及び貼り付け機能等の編集命令であってもよい。他の例において、テキストアイテムに関連する対応する命令は、フォント形式、フォントサイズ及びフォント色等のテキストを形式付ける命令であってもよい。さらに他の例において、テキストアイテムは、可能性があるコンタクト情報及び/またはアポイントメント(appointment:指示)情報を含むとして検出されてもよく、対応するタッチ操作可能命令は、コンタクト及びカレンダーアイテムを含むアイテムを個人情報管理スキーマ内に保存するための機能を含んでいるだろう。
図3の方法は、入力が、意図的すなわち望まれた入力であるのと対照的な偶発的な入力かを判定するために、検出された入力を処理する追加的または代替的なステップを含んでもよい。可能性がある偶発的なタッチは無視され得かつ/るかまたはタッチが意図的であるかまたはそうではないかを曖昧さ無く判定するための十分な時間の経過まで据え置かれ得る。以前に示したように、例えば、ペン器具を保持している手に関連するタッチは無視されて拒絶されることがしばしば望ましい。接触領域の形状、どの手が入力表面にタッチしているかに関する推定、検出されたペンタッチの近接度、スクリーン上にある物体等を含む様々な要因が、タッチが偶発的であるかの評価において使用されてもよい。
さらに、図4に示されているように、命令「1」、「2」及び「3」は、アイテムの場所に応じている場所内のタッチセンサ式ディスプレイ上に表示される。示されているように、命令は、ユーザの指62及び重なっている画像66の近傍に表示される。命令は、タップ起動されたコントローラ、放射状(radial)メニュー、ドラッグ可能コントローラ(例えば、スライダ)、ダイアルコントローラ(タッチダウン(touch down)して回り、値またはステップスルー(step through)オプションを調整する)、クロッシングウィジェット(crossing widget)、プルダウンメニュー、ダイアログ、または他のインタフェース要素の任意の組み合わせからなっていてもよい。
上述したように、このようなインタフェースソフトウェアは、さらにタッチセンサ式ディスプレイ上の場所に対するペンタイプタッチ器具の作用端の接近を検出するように構成されていてもよく、このような接近が入力タッチの所定のインターバルの間に検出されると、タッチ操作可能ユーザインタフェースが所定のインターバルの全ての経過に先立って表示される。例として、図5は、対話式ディスプレイデバイス70の他の実施形態の概略図を示している。タッチセンサ式ディスプレイ74上のユーザの指72レストハンドタッチの検出において、タッチセンサ式ディスプレイ74は、ペン76のペン先の接近を検出する。レストハンドタッチ及びペン先の接近の組み合わせの検出に応答して、タッチセンサ式ディスプレイは、画像78に関連する命令「1」、「2」及び「3」をすぐに表示する。従って、このような実施形態において、タッチセンサ式ディスプレイ74は、レストハンドタッチ及びペン先の接近の組み合わせに応答して視界内に命令を、レストハンドタッチのみの場合よりも迅速にフェードインさせる。従って、このような実施形態において、レストハンドタッチ及びペン先の接近は、キーボードショートカットが従来のパーソナルコンピュータのユーザに提供するような、迅速な解決法を対話式ディスプレイデバイス70のユーザに与える。通常は、命令の視覚的出現及び命令の物理的アクセス容易性(physical accessibility)は、別個にされ得る。例えば、ペンがスクリーンにタッチしている手のそばに来た際、いくつかまたは全ての命令がすぐに使用可能(actionable)になる。さらなる例として、手がペンに極めて接近することは、命令(1または複数)がその時点で視覚的に表示されていてもいなくても、命令「1」によって表される放射状メニューからの1つのオプションを選択すると理解されてもよい。
さらに、いくつかの場合、タッチセンサ式ディスプレイ及びタッチセンサ式ディスプレイと動作可能に組み合わせられているインタフェースソフトウェアを含むタッチセンサ式コンピュータデバイスは、上述のように、タッチセンサ式ディスプレイに表示されているアイテムに与えられたタッチ入力を検出し、当該検出に応答して、タッチセンサ式ディスプレイ上に、アイテムに実行可能なペンタッチ操作可能な命令(1または複数)を表示するように構成されていてもよい。
ペンタッチ操作可能な命令は、上述のタッチ操作可能な命令を含む任意の適切なタイプであってもよい。さらに、ペンタッチ操作可能な命令は、ペンタイプタッチ器具の作用端がタッチセンサ式ディスプレイとインタラクトする(interact)タッチディスプレイの特定かつ更に小さいインタラクション領域を使用するさらに精密な性質のタッチ操作可能な命令を含んでもよい。従って、ペンタッチ操作可能命令は、ユーザに、異なったアプリケーションモードに変更する必要及び/または拡大された表示のデジタルワークスペースを見る必要無しに、容易に精密な作業を完了する潜在的利点を提供してもよい。換言すればペンタッチ操作可能な命令は、ディスプレイの大きなインタラクション領域を覆うだろう指先では不可能な、調整されかつ精密な態様にてタッチセンサ式ディスプレイに表示されているオブジェクトの精密な操作を容易にしてもよい。
いくつかの場合、タッチセンサ式ディスプレイは、タッチ操作可能命令を参照して上述されているように、タッチ入力の検出の後の所定のインターバルの後で、ペンタッチ操作可能命令を表示するように構成されていてもよい。
いくつかの実施形態において、ペンタッチ操作可能命令は、タッチセンサ式ディスプレイ上の所望の場所へのアイテムの移動をもたらすための、ペンタイプ操作によって実行可能な移動命令を含んでもよい。1つの例として、図6は、ハンドタッチによるオブジェクトの粗いドラッグを示しており、図7は、ペンタッチによるオブジェクトの精密なドラッグを示しており、これらは以下でさらに詳細に説明される。
図6は、タッチセンサ式ディスプレイ84上に画像82を表示する対話式ディスプレイデバイス80の実施形態の概略図を示している。図示されているように、ユーザの指86は、仮想的に画像82を「トス(toss)」するための粗いジェスチャを行っている。従って、タッチセンサ式ディスプレイ84は、破線によって示されている元の場所から実線で示されている最終的な場所に合致させられている画像を表示している。
図7は、ペンタッチによる物体の精密なドラッグを表示している対話式ディスプレイデバイス90の実施形態の概略図を示している。図示されているように、ペン92が画像94の精密なドラッグを行っている。従って、タッチセンサ式ディスプレイ96は、破線によって示されている元の場所から実線で示されている最後の精密な場所に合致させられている画像を表示している。図示されているように、ユーザは、タッチセンサ式ディスプレイ96に表示されている他のオブジェクト98に隣接して画像94を精密に位置決めしている。
いくつかの実施形態において、ペンタッチ操作可能な命令は、アイテムをコピーしてタッチセンサ式ディスプレイ上の所望の場所に配置するための、ペンタイプ器具の操作によって実行可能なコピー及び配置命令を含んでもよい。図8から図10は、このような「コピー及び配置」命令の一例を示している。図8は、タッチセンサ式ディスプレイ102上に、ユーザの指106のハンドタッチによってオブジェクト104を選択しているユーザを表している対話式ディスプレイデバイス100の実施形態の概略図を示している。この動作において、ユーザは、図9に示されているように、ペンタッチ108によってオブジェクト104を複製し、複製されたオブジェクトの精密なドラッグを開始する。図10に示されているように、オブジェクトの複製において、ユーザは、複製されたオブジェクトをペンタッチによって正確にドラッグし、タッチセンサ式ディスプレイデバイス102に表示されているラインに隣接して、当該複製されたオブジェクトを精密に配置する。同様に、「コピー及びトス」命令は、コピーされたアイテムを第2のスクリーン上にトスすることによって同様のトランザクション(transaction)を可能にするので、物理的スクリーンベゼル(bezel)は、オブジェクトを別個のスクリーンまたはスクリーン外の場所にコピーすることを妨げない。
いくつかの実施形態において、ペンタッチ操作可能命令は、アイテムを所望量のサイズ変更させるための、ペンタイプ器具の操作によって実行可能なサイズ変更命令を含んでもよい。このような命令は、タッチセンサ式ディスプレイに選択された画像上に「ハンドル(handles)」を表示させることを含んでもよく、ペンが選択された画像サイズの精密な調整に使用されてもよい。
さらに、いくつかの実施形態において、ペンタッチ操作可能命令は、アイテムに所望量の回転をもたらすための、ペンタイプ器具の操作によって実行可能な回転命令を含んでもよい。さらに、ペンの使用によって、このような回転はハンドタッチによる回転よりさらに精密かつ調整されていてもよい。ペンの代わりに2つのタッチを使用することによって、選択されたオブジェクトの粗いサイズ変更及び回転が、ペンによって小さな選択ハンドルを狙う必要無しになされ得る。
いくつかの実施形態において、ハンドタッチ及びペンタッチの組み合わせは、タッチセンサ式ディスプレイに表示されているアイテムのコレクションを操作及び/または整理(organize)するために使用されてもよく、その一例が図11−13に示されており、以下で更に詳細に説明される。図11は、タッチセンサ式ディスプレイ124上にアイテムのコレクション122を表示している対話式ディスプレイデバイス120の1つの実施形態を示している。図12に示されているように、ユーザ126のハンドタッチがコレクションを選択しており、その際、タッチセンサ式ディスプレイ124は、コレクション122内のアイテム128の展開を表示しており、ユーザ126は、つまむこと等による2つの手によるタッチを用いてさらにアイテムを操作してもよい。そうする際に、図13に示されているように、ペン130のペンタッチは、コレクションからアイテム132を選択するために使用されてもよい。選択されたアイテム132は、その後、本明細書に記載されている様々な方法にてペンタッチによってさらに操作されてもよい。この態様にて、コレクションは、一単位として操作され得るか、またはコレクション内の要素は、明確な「グループ化」及び「非グループ化」命令を使用すること無く個別に操作され得る。
上述のことから理解されるように、様々な利点及び利益が、本明細書に記載されているバイモーダル(例えば、ハンドタッチ及びペンタッチ)及び2つの手による(2つの手を使用した)インタフェース方法を使用して得られてもよい。これらの方法は、様々な設定にて使用されてもよい。さらなる例として、デュアルスクリーンの実施形態において、一方のスクリーンが1つのタイプの入力(例えば、ハンドタッチ)のために用意され、他方のスクリーンが他の入力タイプ(例えば、ペンタッチ)のために用意されてもよい。スクリーンの間のこのような役割分担は、入力の解釈を容易にし、インタフェースのエルゴノミクス(ergonomics)及びインタフェースの使用の容易さを向上させ、及び/またはスクリーンに対する偶発的なハンドレストまたはタッチ等の望まれない入力の除去率を向上させる。デュアルスクリーン環境における他の例示の利益は、ユーザの手の両方が他のスクリーンに入力を与えるために使用されていることの検出において、スクリーンの1つにおいてデジタイザ電力を減少させる(それによって、デバイスの充電が長持ちする)ことである。
図1を再度参照すると、論理サブシステム22は、1または複数の命令を実行するように構成されている1または複数の物理デバイスを含んでいてもよい。例えば、論理サブシステムは、1または複数のプログラム、ルーチン、オブジェクト、コンポーネント、データ構造、または他の論理的構成の一部である1または複数の命令を実行する実行するように構成されてもよい。このような命令は、タスクを実行するため、データ型を実行するため、1または複数のデバイスの状態を変化させるため、またはそのた望ましい結果に到達するために実行されてもよい。論理サブシステムは、ソフトウェア命令を実行するために構成されている1または複数のプロセッサを含んでもよい。追加的にまたは代替的に、論理サブシステムは、ハードウェアまたはファームウェア命令を実行するように構成されている1または複数のハードウェアまたはファームウェア論理マシンを含んでもよい。論理サブシステムは、いくつかの実施形態においてリモートに(remotely)配されていてもよい2以上のデバイスに亘って分散されている個別のコンポーネントを選択的に含んでいてもよい。
メモリ/データ保持サブシステム24は、本明細書に記載されている方法及び処理を実行するために論理サブシステムによって実行可能なデータ及び命令を保持するように構成された1または複数の物理デバイスを含んでもよい。これらの方法及び処理が実行されると、メモリ/データ保持サブシステム24の状態は、変更され得る(例えば、異なったデータを保持するように変更され得る)。メモリ/データ保持サブシステム24は、リムーバブル媒体及び/または内蔵デバイスを含んでいてもよい。メモリ/データ保持サブシステム24は、他に様々ある中で、光学メモリデバイス半導体メモリデバイス、及び/または磁気メモリデバイスを含んでいてもよい。メモリ/データ保持サブシステム24は、以下の特性の1または複数を有するデバイスを含んでいてもよい:揮発性、不揮発性、ダイナミック、スタティック、読出/書込、読出のみ、ランダムアクセス、シーケンシャルアクセス、位置アドレス可能(location addressable)、ファイルアドレス可能(file addressable)、及びコンテンツアドレス可能。いくつかの実施形態において、論理サブシステム22及びメモリ/データ保持サブシステム24は、アプリケーション特化集積回路またはシステムオンチップ(system on chip)等の1または複数の共通デバイス内に一体化されていてもよい。
ディスプレイサブシステム26が含まれる場合、ディスプレイサブシステム26は、メモリ/データ保持サブシステム24によって保持されるデータの視覚表示をもたらすために使用されてもよい。本明細書に記載されている方法及び処理が、データ保持システムによって保持されるデータを変更する場合、従ってデータ保持サブシステムの状態を変更する場合、同様に、ディスプレイサブシステム26の状態は、内在するデータにおける変化を視覚的に表すために変更されてもよい。ディスプレイサブシステム26は、任意のタイプの技術を実質的に使用する1または複数のディスプレイデバイスを含んでもよい。このようなディスプレイデバイスは、共有された筐体内で論理サブシステム22及び/またはメモリ/データ保持サブシステム24と組み合わされていてもよいか、またはこのようなディスプレイデバイスは、周辺機器ディスプレイデバイスであってもよい。
本明細書に記載されている構成及び/または方法は、本質的に例示であり、これらの特定の実施形態または例示は、限定的であると考えられるべきではないことが理解されるべきである。なぜならば、多数の変形例が可能であるからである。本明細書に記載されている特定のルーチンまたは方法は、多数の処理方策の1または複数の代表例であってもよい。示されている様々な動作は、示されている順序で実行されてもよいか、他の順序で実行されてもよいか、並列に実行されてもよいか、またはいくつかの場合には省略されてもよい。同様に、上述の処理の順序は、変更されてもよい。
本開示の発明は、本明細書において開示されている様々な処理、システム及び構成、並びに他の特徴、機能、動作及び/または性質の新規かつ非自明的な全ての組み合わせ及び下位組み合わせ、並びにこれらのあらゆる均等例を含む。

Claims (9)

  1. タッチセンサ式コンピュータシステム(20)であって、
    タッチセンサ式ディスプレイ(26)と、
    前記タッチセンサ式ディスプレイ(26)と動作可能に組み合わされているインタフェースソフトウェア(28)と、を含み、
    前記インタフェースソフトウェア(28)は、前記タッチセンサ式ディスプレイ(26)に表示されているアイテムに与えられるハンドタッチ入力を検出し、当該検出に応答して、タッチセンサ式ディスプレイ(26)上の前記アイテムに実行可能な1または複数のペンタッチ操作可能命令を表示し、
    前記インタフェースソフトウェアは、前記ハンドタッチ入力の検出後の所定のインターバルの経過後に前記1または複数のペンタッチ操作可能命令を表示し、
    前記インタフェースソフトウェアは、前記アイテムに向けたペンタイプ器具の作用端の接近を検出し、当該接近が前記所定のインターバルの間に検出された場合、前記1または複数のペンタッチ操作可能命令は、前記所定のインターバルの完全な経過の前に表示されることを特徴とするシステム。
  2. 前記1または複数のペンタッチ操作可能命令は、ペンタイプ器具の操作によって実行可能な、前記アイテムのコピーを前記タッチセンサ式ディスプレイ上の所望の場所に配置するコピー及び配置命令を含むことを特徴とする請求項1に記載のシステム。
  3. 前記1または複数のペンタッチ操作可能命令は、ペンタイプ器具の操作によって実行可能な、前記タッチセンサ式ディスプレイ上の所望の場所へ前記アイテムを移動させる移動命令を含むことを特徴とする請求項1に記載のシステム。
  4. 前記1または複数のペンタッチ操作可能命令は、ペンタイプ器具の操作によって実行可能な、前記アイテムを所望量だけサイズ変更させるサイズ変更命令を含むことを特徴とする請求項1に記載のシステム。
  5. 前記1または複数のペンタッチ操作可能命令は、前記アイテムを所望量だけ回転させるペンタイプ器具の操作によって実行可能な回転命令を含むことを特徴とする請求項1に記載のシステム。
  6. タッチセンサ式コンピュータデバイスに対するインタフェース方法(50)であって、
    タッチセンサ式ディスプレイに与えられたタッチ入力を検出するステップ(52)と、
    前記タッチ入力の検出に応答して、前記タッチセンサ式ディスプレイに表示されているアイテムの選択をもたらして、前記アイテムに実行可能なタッチセンサ式ディスプレイ上の1または複数のタッチ操作可能命令を表示するステップと、を含み、前記1または複数のタッチ操作可能命令は、前記アイテムの場所に応じた場所内のタッチセンサ式ディスプレイ上に表示され
    前記タッチ入力が、前記アイテム上にレストさせられるハンドタッチ入力であり、
    前記1または複数のタッチ操作可能命令は、ペンタッチ操作可能でありかつ所定の時間インターバルの経過後に前記アイテムに近接して表示され、
    前記アイテムへのペンタイプ器具の作用端の接近を検出するステップと、前記接近が前記所定の時間インターバルの間に検出された場合、前記所定の時間インターバルの完全な経過の前に、前記1または複数のタッチ操作可能命令の表示をもたらすステップと、をさらに含むことを特徴とするインタフェース方法。
  7. 前記1または複数のタッチ操作可能命令は、アイテムの性質に依存していることを特徴とする請求項に記載のインタフェース方法。
  8. 前記1または複数のタッチ操作可能命令は、コンタクト及びカレンダーアイテムを含むアイテムを個人情報管理スキーマ内に保存する命令を含んでいることを特徴とする請求項に記載のインタフェース方法。
  9. 前記1または複数のタッチ操作可能命令は、切り取り、コピー及び貼り付け命令を含んでいることを特徴とする請求項に記載のインタフェース方法。
JP2012502078A 2009-03-24 2010-03-03 バイモーダルタッチセンサ式デジタルノートブック Expired - Fee Related JP5559866B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/410,311 2009-03-24
US12/410,311 US20100251112A1 (en) 2009-03-24 2009-03-24 Bimodal touch sensitive digital notebook
PCT/US2010/026000 WO2010111003A2 (en) 2009-03-24 2010-03-03 Bimodal touch sensitive digital notebook

Publications (2)

Publication Number Publication Date
JP2012521605A JP2012521605A (ja) 2012-09-13
JP5559866B2 true JP5559866B2 (ja) 2014-07-23

Family

ID=42781756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012502078A Expired - Fee Related JP5559866B2 (ja) 2009-03-24 2010-03-03 バイモーダルタッチセンサ式デジタルノートブック

Country Status (8)

Country Link
US (1) US20100251112A1 (ja)
EP (1) EP2411894A4 (ja)
JP (1) JP5559866B2 (ja)
KR (1) KR20120003441A (ja)
CN (1) CN102362249B (ja)
RU (1) RU2011139143A (ja)
TW (1) TWI493394B (ja)
WO (1) WO2010111003A2 (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
US9035887B1 (en) * 2009-07-10 2015-05-19 Lexcycle, Inc Interactive user interface
WO2011023225A1 (en) * 2009-08-25 2011-03-03 Promethean Ltd Interactive surface with a plurality of input detection technologies
JP2011150413A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力方法及び操作入力プログラム
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9411504B2 (en) 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US9519356B2 (en) 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US20110191704A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Contextual multiplexing gestures
US9310994B2 (en) 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9965165B2 (en) 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9274682B2 (en) 2010-02-19 2016-03-01 Microsoft Technology Licensing, Llc Off-screen gestures to create on-screen input
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US9075522B2 (en) 2010-02-25 2015-07-07 Microsoft Technology Licensing, Llc Multi-screen bookmark hold gesture
JP5666239B2 (ja) * 2010-10-15 2015-02-12 シャープ株式会社 情報処理装置、情報処理装置の制御方法、プログラム、および記録媒体
KR102033599B1 (ko) * 2010-12-28 2019-10-17 삼성전자주식회사 페이지간 오브젝트 이동 방법 및 인터페이스 장치
TWI467463B (zh) * 2011-05-27 2015-01-01 Asustek Comp Inc 具觸控式螢幕的電腦系統及其手勢的處理方法
KR101802759B1 (ko) * 2011-05-30 2017-11-29 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US8640047B2 (en) 2011-06-01 2014-01-28 Micorsoft Corporation Asynchronous handling of a user interface manipulation
US9791943B2 (en) * 2011-09-30 2017-10-17 Intel Corporation Convertible computing device
WO2013059488A1 (en) 2011-10-18 2013-04-25 Carnegie Mellon University Method and apparatus for classifying touch events on a touch sensitive surface
WO2013095677A1 (en) 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
US10345911B2 (en) 2011-12-23 2019-07-09 Intel Corporation Mechanism to provide visual feedback regarding computing system command gestures
WO2013095679A1 (en) 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures
EP2795430A4 (en) 2011-12-23 2015-08-19 Intel Ip Corp TRANSITION MECHANISM FOR A COMPUTER SYSTEM WITH USER DETECTION
US20130191781A1 (en) * 2012-01-20 2013-07-25 Microsoft Corporation Displaying and interacting with touch contextual user interface
US9928562B2 (en) * 2012-01-20 2018-03-27 Microsoft Technology Licensing, Llc Touch mode and input type recognition
US10001906B2 (en) * 2012-02-06 2018-06-19 Nokia Technologies Oy Apparatus and method for providing a visual indication of an operation
KR102129374B1 (ko) 2012-08-27 2020-07-02 삼성전자주식회사 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR102063952B1 (ko) * 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
US20150212647A1 (en) 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
US9589538B2 (en) 2012-10-17 2017-03-07 Perceptive Pixel, Inc. Controlling virtual objects
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
JP6003566B2 (ja) * 2012-11-19 2016-10-05 コニカミノルタ株式会社 オブジェクト操作装置及びオブジェクト操作制御プログラム
KR20140114766A (ko) 2013-03-19 2014-09-29 퀵소 코 터치 입력을 감지하기 위한 방법 및 장치
KR102131825B1 (ko) 2013-03-20 2020-07-09 엘지전자 주식회사 적응적 터치 센서티브 영역을 제공하는 폴더블 디스플레이 디바이스 및 그 제어 방법
KR102070776B1 (ko) 2013-03-21 2020-01-29 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
US9612689B2 (en) 2015-02-02 2017-04-04 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer
US9013452B2 (en) 2013-03-25 2015-04-21 Qeexo, Co. Method and system for activating different interactive functions using different types of finger contacts
US10599250B2 (en) * 2013-05-06 2020-03-24 Qeexo, Co. Using finger touch types to interact with electronic devices
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
US9727161B2 (en) * 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
KR102332468B1 (ko) * 2014-07-24 2021-11-30 삼성전자주식회사 기능 제어 방법 및 그 전자 장치
KR20160023298A (ko) * 2014-08-22 2016-03-03 삼성전자주식회사 전자 장치 및 전자 장치의 입력 인터페이스 제공 방법
US10146409B2 (en) 2014-08-29 2018-12-04 Microsoft Technology Licensing, Llc Computerized dynamic splitting of interaction across multiple content
US9329715B2 (en) 2014-09-11 2016-05-03 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US10606417B2 (en) 2014-09-24 2020-03-31 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
CN105589648A (zh) * 2014-10-24 2016-05-18 深圳富泰宏精密工业有限公司 快速复制粘贴系统及方法
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
US10915163B2 (en) 2018-01-02 2021-02-09 Compal Electronics, Inc. Electronic device, hinge assembly and augmented reality interaction process for electronic device
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11980792B2 (en) 2019-06-05 2024-05-14 Qeexo, Co. Method and apparatus for calibrating a user activity model used by a mobile device
CN112114688A (zh) * 2019-06-20 2020-12-22 摩托罗拉移动有限责任公司 用于旋转显示器上呈现的图形对象的电子设备及相应方法
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
JP7521372B2 (ja) * 2020-10-15 2024-07-24 セイコーエプソン株式会社 表示方法、及び表示装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2058219C (en) * 1991-10-21 2002-04-02 Smart Technologies Inc. Interactive display system
US5956020A (en) * 1995-07-27 1999-09-21 Microtouch Systems, Inc. Touchscreen controller with pen and/or finger inputs
TW449709B (en) * 1997-11-17 2001-08-11 Hewlett Packard Co A method for distinguishing a contact input
US6310610B1 (en) * 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
JP2001134382A (ja) * 1999-11-04 2001-05-18 Sony Corp 図形処理装置
US7190348B2 (en) * 2000-12-26 2007-03-13 International Business Machines Corporation Method for touchscreen data input
US7254775B2 (en) * 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
US7532206B2 (en) * 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US7055110B2 (en) * 2003-07-28 2006-05-30 Sig G Kupka Common on-screen zone for menu activation and stroke input
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7401300B2 (en) * 2004-01-09 2008-07-15 Nokia Corporation Adaptive user interface input device
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
US7454717B2 (en) * 2004-10-20 2008-11-18 Microsoft Corporation Delimiters for selection-action pen gesture phrases
US7489305B2 (en) * 2004-12-01 2009-02-10 Thermoteknix Systems Limited Touch screen control
US7639876B2 (en) * 2005-01-14 2009-12-29 Advanced Digital Systems, Inc. System and method for associating handwritten information with one or more objects
US7802202B2 (en) * 2005-03-17 2010-09-21 Microsoft Corporation Computer interaction based upon a currently active input device
US20060267958A1 (en) * 2005-04-22 2006-11-30 Microsoft Corporation Touch Input Programmatical Interfaces
US20060267966A1 (en) * 2005-05-24 2006-11-30 Microsoft Corporation Hover widgets: using the tracking state to extend capabilities of pen-operated devices
CN100426212C (zh) * 2005-12-28 2008-10-15 中兴通讯股份有限公司 一种虚拟键盘和手写协同输入的系统及其实现方法
CN1991720A (zh) * 2005-12-28 2007-07-04 中兴通讯股份有限公司 一种自动实现手写输入的装置
WO2008020446A1 (en) * 2006-08-15 2008-02-21 N-Trig Ltd. Gesture detection for a digitizer
EP2071436B1 (en) * 2006-09-28 2019-01-09 Kyocera Corporation Portable terminal and method for controlling the same
US7855718B2 (en) * 2007-01-03 2010-12-21 Apple Inc. Multi-touch input discrimination
US8674948B2 (en) * 2007-01-31 2014-03-18 Perceptive Pixel, Inc. Methods of interfacing with multi-point input devices and multi-point input systems employing interfacing techniques
CN101308434B (zh) * 2007-05-15 2011-06-22 宏达国际电子股份有限公司 使用者界面的操作方法
US8330733B2 (en) * 2009-01-21 2012-12-11 Microsoft Corporation Bi-modal multiscreen interactivity

Also Published As

Publication number Publication date
JP2012521605A (ja) 2012-09-13
WO2010111003A2 (en) 2010-09-30
CN102362249B (zh) 2014-11-19
WO2010111003A3 (en) 2011-01-13
RU2011139143A (ru) 2013-03-27
KR20120003441A (ko) 2012-01-10
US20100251112A1 (en) 2010-09-30
EP2411894A2 (en) 2012-02-01
TW201037577A (en) 2010-10-16
CN102362249A (zh) 2012-02-22
TWI493394B (zh) 2015-07-21
EP2411894A4 (en) 2015-05-27

Similar Documents

Publication Publication Date Title
JP5559866B2 (ja) バイモーダルタッチセンサ式デジタルノートブック
US10976856B2 (en) Swipe-based confirmation for touch sensitive devices
US10949082B2 (en) Processing capacitive touch gestures implemented on an electronic device
US11120203B2 (en) Editing annotations of paginated digital content
US9477382B2 (en) Multi-page content selection technique
US8842084B2 (en) Gesture-based object manipulation methods and devices
US9134892B2 (en) Drag-based content selection technique for touch screen UI
TWI423109B (zh) 用於多觸控使用、手勢、及部署之方法及電腦可讀取媒體
US9424241B2 (en) Annotation mode including multiple note types for paginated digital content
US20180101509A1 (en) Filtering and searching annotations of paginated digital content
US9367208B2 (en) Move icon to reveal textual information
US8890808B2 (en) Repositioning gestures for chromeless regions
US20120044164A1 (en) Interface apparatus and method for setting a control area on a touch screen
US20140173484A1 (en) Block-based content selecting technique for touch screen ui
US20120169776A1 (en) Method and apparatus for controlling a zoom function
US20070257891A1 (en) Method and system for emulating a mouse on a multi-touch sensitive surface
US10915698B2 (en) Multi-purpose tool for interacting with paginated digital content
US9134903B2 (en) Content selecting technique for touch screen UI
US20150100874A1 (en) Ui techniques for revealing extra margin area for paginated digital content
US20150185982A1 (en) Content flagging techniques for digital content
Tu et al. Text Pin: Improving text selection with mode-augmented handles on touchscreen mobile devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130117

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130701

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140606

R150 Certificate of patent or registration of utility model

Ref document number: 5559866

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees