JP5977788B2 - コントロール選択近似 - Google Patents

コントロール選択近似 Download PDF

Info

Publication number
JP5977788B2
JP5977788B2 JP2014191701A JP2014191701A JP5977788B2 JP 5977788 B2 JP5977788 B2 JP 5977788B2 JP 2014191701 A JP2014191701 A JP 2014191701A JP 2014191701 A JP2014191701 A JP 2014191701A JP 5977788 B2 JP5977788 B2 JP 5977788B2
Authority
JP
Japan
Prior art keywords
view
contact
child
hit view
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014191701A
Other languages
English (en)
Other versions
JP2015018572A (ja
Inventor
トーマス, アンドリュー, クック デール,
トーマス, アンドリュー, クック デール,
クリストファー, ブライアン フライザッハ,
クリストファー, ブライアン フライザッハ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2015018572A publication Critical patent/JP2015018572A/ja
Application granted granted Critical
Publication of JP5977788B2 publication Critical patent/JP5977788B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Description

技術分野
本発明は、一般的には、ユーザインタフェース処理に関するものであり、これには、限定するものではないが、タッチ入力を認識するための装置及び方法が含まれる。
背景
コンピュータ及び他の電子コンピュータデバイスに対する入力デバイスとして、タッチ感知面を使用することが、近年では益々増えてきている。例示のタッチ感知面は、タッチパッド及びタッチスクリーンディスプレイが含まれる。このような面は、ディスプレイ上のユーザインタフェースオブジェクトを、選択することを及び操作することの少なくとも一方を行うために広く使用されている。
タッチ入力は、通常は、指の接触に基づいている。しかしながら、指(あるいは指先)のサイズは、様々なユーザインタフェース方法(例えば、伝統的なマウスに基づく入力)に対して設計されかつサイズを有するユーザインタフェースオブジェクトを正確に選択することを困難にする場合がある。加えて、ユーザインタフェースオブジェクトは、様々な理由からサイズが小さくなっている(例えば、単一の画面でより多くの情報を表示することができるようにスクリーン/ディスプレイの実際の領域をより多く提供するために)。また、一時的な障害あるいは永久的な障害、ハンディキャップ、あるいは疾患(例えば、視力低下及び運動神経低下の少なくとも一方)を有する人は、ユーザインタフェースオブジェクトを正確に選択すること及び操作することの少なくとも一方を行うことが困難な場合がある。
このように、タッチに基づくジェスチャー及びイベントが、意図するユーザインタフェースオブジェクト外で検出される場合でさえも、タッチに基づくジェスチャー及びイベントを認識し、それに加えて、他の入力ソースからのジェスチャー及びイベントを認識するための包括的なフレームワークあるいはメカニズムを有することが要望されている。
要約
上述の欠点を解決するために、いくつかの実施形態では、タッチ感知ディスプレイを有する電子デバイスで方法が実行される。この方法は、前記タッチ感知ディスプレイにおいて、アプリケーションのユーザインタフェースを表示することを含んでいる。表示される前記ユーザインタフェースは、複数の階層レベルで構成されている複数の領域を含んでいる。前記複数の領域は、各階層レベルにおいて各領域を含んでいる。前記各領域は、前記各階層レベルより下位の階層レベルにおいて2つ以上の子領域を有している。前記方法は、また、前記タッチ感知ディスプレイにおいて、前記各領域に対応するが、前記各領域の前記2つ以上の子領域の内の任意の子領域に対応しない、第1の位置における第1の接触を検出することを含んでいる。前記方法は、前記第1の接触の検知に応じて、前記アプリケーションが、前記各領域とともに前記第1の接触を処理するように構成されているかどうかを判定することを含んでいる。前記方法は、更に、前記アプリケーションが、前記各領域とともに前記第1の接触を処理するように構成されていない場合、前記アプリケーションが、前記各領域の前記2つ以上の子領域の少なくとも1つの子領域とともに前記第1の接触を処理するように構成されているかどうかを判定することを含んでいる。前記方法は、前記アプリケーションが、前記各領域の前記2つ以上の子領域の少なくとも1つの子領域とともに前記第1の接触を処理するように構成されている場合、前記第1の位置に関連する前記子領域の位置に従って、前記各領域の前記2つ以上の子領域の各子領域を識別し、そして、前記アプリケーションを使用して、識別される前記各子領域とともに前記第1の接触を処理することを含んでいる。
いくつかの実施形態に従えば、方法は、タッチ感知ディスプレイを有する電子デバイスにおいて実行される。前記方法は、前記タッチ感知ディスプレイにおいて、複数のアクティベート可能なユーザインタフェースオブジェクトを含むウェブページ(あるいは他の文書)を表示することを含んでいる。前記方法は、前記タッチ感知ディスプレイにおいて、表示されている前記ウェブページに対応する第1の位置における第1の接触を検出することを含んでいる。前記方法は、前記第1の位置における前記第1の接触の検出に応じて、前記第1の位置が、前記アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応するかどうかを判定することを含んでいる。前記方法は、更に、前記第1の位置が、前記アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応しない場合、もしあるのであれば、前記第1の位置に関する所定のルールを最も満足するユーザインタフェースオブジェクトを識別し、そして、識別される前記ユーザインタフェースオブジェクトに対応する動作を実行することを含んでいる。
いくつかの実施形態に従えば、電子デバイスは、タッチ感知ディスプレイと、プログラムを実行するための1つ以上のプロセッサと、前記1つ以上のプロセッサによって実行するための1つ以上のプログラムを記憶するメモリとを含んでいる。前記1つ以上のプログラムは、上述の方法のいずれか1つを実行するために、前記1つ以上のプロセッサによって実行される命令を含んでいる。
いくつかの実施形態に従えば、コンピュータ可読記憶媒体は、電子デバイスの1つ以上のプロセッサによって実行するための1つ以上のプログラムを記憶する。前記1つ以上のプログラムは、上述の方法のいずれか1つを実行するための命令を含んでいる。
いくつかの実施形態に従えば、電子デバイスは、タッチ感知ディスプレイと、1つ以上のプロセッサと、前記1つ以上のプロセッサによって実行するための1つ以上のプログラムを記憶するメモリとを含んでいる。前記1つ以上のプログラムは、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記タッチ感知ディスプレイにおいて、アプリケーションのユーザインタフェースを表示させる命令を含んでいる。表示される前記ユーザインタフェースは、複数の階層レベルで構成されている複数の領域を含んでいる。前記複数の領域は、各階層レベルにおいて各領域を含んでいる。前記各領域は、前記各階層レベルより下位の階層レベルにおいて2つ以上の子領域を有している。前記1つ以上のプログラムは、また、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記タッチ感知ディスプレイにおいて、前記各領域に対応するが、前記各領域の前記2つ以上の子領域の内の任意の子領域に対応しない、第1の位置における第1の接触を検出させる命令を含んでいる。前記1つ以上のプログラムは、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記第1の接触の検出に応じて、前記アプリケーションが、前記各領域とともに前記第1の接触を処理するように構成されているかどうかを判定させる命令を含んでいる。前記1つ以上のプログラムは、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記アプリケーションが、前記各領域とともに前記第1の接触を処理するように構成されていない場合、前記アプリケーションが、前記各領域の前記2つ以上の子領域の少なくとも1つの子領域とともに前記第1の接触を処理するように構成されているかどうかを判定させる命令を含んでいる。前記1つ以上のプログラムは、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記アプリケーションが、前記各領域の前記2つ以上の子領域の少なくとも1つの子領域とともに前記第1の接触を処理するように構成されている場合、前記第1の位置に関連する前記子領域の位置に従って、前記各領域の前記2つ以上の子領域の各子領域を識別させ、前記アプリケーションを使用して、識別される前記各子領域とともに前記第1の接触を処理させる命令を含んでいる。
いくつかの実施形態に従えば、コンピュータ可読記憶媒体は、タッチ感知ディスプレイ付きの電子デバイスの1つ以上のプロセッサによって実行するための1つ以上のプログラムを記憶する。前記1つ以上のプログラムは、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記タッチ感知ディスプレイ上の表示のために、アプリケーションのユーザインタフェースを表示させる命令を含んでいる。表示される前記ユーザインタフェースは、複数の階層レベルで構成されている複数の領域を含んでいる。前記複数の領域は、各階層レベルにおいて各領域を含んでいる。前記各領域は、前記各階層レベルより下位の階層レベルにおいて2つ以上の子領域を有している。前記1つ以上のプログラムは、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記第1の接触の検出に応じて、前記アプリケーションが、前記各領域とともに前記第1の接触を処理するように構成されているかどうかを判定させる命令を含んでいる。第1の位置における第1の接触は、前記各領域に対応するが、前記各領域の前記2つ以上の子領域の内の任意の子領域に対応しない。前記1つ以上のプログラムは、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記アプリケーションが、前記各領域とともに前記第1の接触を処理するように構成されていない場合、前記アプリケーションが、前記各領域の前記2つ以上の子領域の少なくとも1つの子領域とともに前記第1の接触を処理するように構成されているかどうかを判定させる命令を含んでいる。前記1つ以上のプログラムは、更に、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記アプリケーションが、前記各領域の前記2つ以上の子領域の少なくとも1つの子領域とともに前記第1の接触を処理するように構成されている場合、前記第1の位置に関連する前記子領域の位置に従って、前記各領域の前記2つ以上の子領域の各子領域を識別させ、前記アプリケーションを使用して、識別される前記各子領域とともに前記第1の接触を処理させる命令を含んでいる。
いくつかの実施形態に従えば、電子デバイスは、タッチ感知ディスプレイと、前記タッチ感知ディスプレイにおいて、アプリケーションのユーザインタフェースを表示する手段とを含んでいる。表示される前記ユーザインタフェースは、複数の階層レベルで構成されている複数の領域を含み、前記複数の領域は、各階層レベルにおいて各領域を含んでいる。前記各領域は、前記各階層レベルより下位の階層レベルにおいて2つ以上の子領域を有している。電子デバイスは、また、前記タッチ感知ディスプレイにおいて、前記各領域に対応するが、前記各領域の前記2つ以上の子領域の内の任意の子領域に対応しない、第1の位置における第1の接触を検出する手段と、前記第1の接触の検出に応じて、前記アプリケーションが、前記各領域とともに前記第1の接触を処理するように構成されているかどうかを判定する手段とを含んでいる。前記電子デバイスは、更に、前記アプリケーションが、前記各領域とともに前記第1の接触を処理するように構成されていない場合、前記アプリケーションが、前記各領域の前記2つ以上の子領域の少なくとも1つの子領域とともに前記第1の接触を処理するように構成されているかどうかを判定する手段と、前記アプリケーションが、前記各領域の前記2つ以上の子領域の少なくとも1つの子領域とともに前記第1の接触を処理するように構成されている場合、前記第1の位置に関連する前記子領域の位置に従って、前記各領域の前記2つ以上の子領域の各子領域を識別する手段と、前記アプリケーションを使用して、識別される前記各子領域とともに前記第1の接触を処理する手段と含んでいる。
いくつかの実施形態では、タッチ感知ディスプレイ付き電子デバイスで使用するための情報処理装置は、前記タッチ感知ディスプレイにおいて、アプリケーションのユーザインタフェースを表示する手段を含んでいる。表示される前記ユーザインタフェースは、複数の階層レベルで構成されている複数の領域を含み、前記複数の領域は、各階層レベルにおいて各領域を含んでいる。前記各領域は、前記各階層レベルより下位の階層レベルにおいて2つ以上の子領域を有している。前記情報処理装置は、また、前記タッチ感知ディスプレイにおいて、前記各領域に対応するが、前記各領域の前記2つ以上の子領域の内の任意の子領域に対応しない、第1の位置における第1の接触を検出する手段と、前記第1の接触の検出に応じて、前記アプリケーションが、前記各領域とともに前記第1の接触を処理するように構成されているかどうかを判定する手段とを含んでいる。前記情報処理装置は、前記アプリケーションが、前記各領域とともに前記第1の接触を処理するように構成されていない場合、前記アプリケーションが、前記各領域の前記2つ以上の子領域の少なくとも1つの子領域とともに前記第1の接触を処理するように構成されているかどうかを判定する手段と、前記アプリケーションが、前記各領域の前記2つ以上の子領域の少なくとも1つの子領域とともに前記第1の接触を処理するように構成されている場合、前記第1の位置に関連する前記子領域の位置に従って、前記各領域の前記2つ以上の子領域の各子領域を識別する手段と、前記アプリケーションを使用して、識別される前記各子領域とともに前記第1の接触を処理する手段とを含んでいる。
いくつかの実施形態に従えば、電子デバイスは、タッチ感知ディスプレイと、1つ以上のプロセッサと、前記1つ以上のプロセッサによって実行するための1つ以上のプログラムを記憶するメモリとを含んでいる。前記1つ以上のプログラムは、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記タッチ感知ディスプレイにおいて、複数のアクティベート可能なユーザインタフェースオブジェクトを含むウェブページ(あるいは他の文書)を表示させ、そして、前記タッチ感知ディスプレイにおいて、表示されている前記ウェブページに対応する第1の位置における第1の接触を検出させる命令を含んでいる。前記1つ以上のプログラムは、また、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記第1の位置における前記第1の接触の検出に応じて、前記第1の位置が、前記アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応するかどうかを判定させる命令を含んでいる。前記1つ以上のプログラムは、更に、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記第1の位置が、前記アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応しない場合、もしあるのであれば、前記第1の位置に関する近接基準を最も満足するユーザインタフェースオブジェクトを識別させ、識別される前記ユーザインタフェースオブジェクトに対応する動作を実行させる命令を含んでいる。
いくつかの実施形態に従えば、コンピュータ可読記憶媒体は、タッチ感知ディスプレイ付き電子デバイスにおける1つ以上のプロセッサによって実行するための1つ以上のプログラムを記憶する。前記1つ以上のプログラムは、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記タッチ感知ディスプレイにおいて、複数のアクティベート可能なユーザインタフェースオブジェクトを含むウェブページ(あるいは他の文書)を表示させ、そして、前記タッチ感知ディスプレイにおいて、表示されている前記ウェブページに対応する第1の位置における第1の接触を検出させる命令を含んでいる。前記1つ以上のプログラムは、また、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記第1の位置における前記第1の接触の検出に応じて、前記第1の位置が、前記アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応するかどうかを判定させる命令を含んでいる。前記1つ以上のプログラムは、更に、前記1つ以上のプロセッサによって実行される場合に、前記電子デバイスに、前記第1の位置が、前記アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応しない場合、もしあるのであれば、前記第1の位置に関する近接基準を最も満足するユーザインタフェースオブジェクトを識別させ、識別される前記ユーザインタフェースオブジェクトに対応する動作を実行させる命令を含んでいる。
いくつかの実施形態では、電子デバイスは、タッチ感知ディスプレイと、前記タッチ感知ディスプレイにおいて、複数のアクティベート可能なユーザインタフェースオブジェクトを含むウェブページを表示する手段とを含んでいる。前記電子デバイスは、また、前記タッチ感知ディスプレイにおいて、表示されている前記ウェブページに対応する第1の位置における第1の接触を検出する手段と、前記第1の位置における前記第1の接触の検出に応じて、前記第1の位置が、前記アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応するかどうかを判定する手段とを含んでいる。前記電子デバイスは、更に、前記第1の位置が、前記アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応しない場合、もしあるのであれば、前記第1の位置に関する所定のルールを最も満足するユーザインタフェースオブジェクトを識別する手段と、識別される前記ユーザインタフェースオブジェクトに対応する動作を実行する手段とを含んでいる。
いくつかの実施形態に従えば、タッチ感知ディスプレイ付き電子デバイスで使用するための情報処理装置は、前記タッチ感知ディスプレイにおいて、複数のアクティベート可能なユーザインタフェースオブジェクトを含むウェブページを表示する手段と、前記タッチ感知ディスプレイにおいて、表示されている前記ウェブページに対応する第1の位置における第1の接触を検出する手段と、前記第1の位置における前記第1の接触の検出に応じて、前記第1の位置が、前記アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応するかどうかを判定する手段とを含んでいる。前記情報処理装置は、前記第1の位置が、前記アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応しない場合、もしあるのであれば、前記第1の位置に関する所定のルールを最も満足するユーザインタフェースオブジェクトを識別する手段と、識別される前記ユーザインタフェースオブジェクトに対応する動作を実行する手段とを含んでいる。
いくつかの実施形態では、電子デバイスは、アプリケーションのユーザインタフェースを表示し、指の接触を受け付けるように構成されているタッチ感知ディスプレイユニットを含んでいる。表示される前記ユーザインタフェースは、複数の階層レベルで構成されている複数の領域を含み、前記複数の領域は、各階層レベルにおいて各領域を含んでいる。前記各領域は、前記各階層レベルより下位の階層レベルにおいて2つ以上の子領域を有している。前記電子デバイスは、また、前記タッチ感知ディスプレイユニットに接続されている処理ユニットを含んでいる。前記処理ユニットは、前記タッチ感知ディスプレイユニットにおいて、前記各領域に対応するが、前記各領域の前記2つ以上の子領域の内の任意の子領域に対応しない、第1の位置における第1の接触を検出し、前記第1の接触の検出に応じて、前記アプリケーションが、前記各領域とともに前記第1の接触を処理するように構成されているかどうかを判定するように構成されている。前記処理ユニットは、更に、前記アプリケーションが、前記各領域とともに前記第1の接触を処理するように構成されていない場合、前記アプリケーションが、前記各領域の前記2つ以上の子領域の少なくとも1つの子領域とともに前記第1の接触を処理するように構成されているかどうかを判定するように構成されている。前記処理ユニットは、更に、前記アプリケーションが、前記各領域の前記2つ以上の子領域の少なくとも1つの子領域とともに前記第1の接触を処理するように構成されている場合、前記第1の位置に関連する前記子領域の位置に従って、前記各領域の前記2つ以上の子領域の各子領域を識別し、前記アプリケーションを使用して、識別される前記各子領域とともに前記第1の接触を処理するように構成されている。
いくつかの実施形態に従えば、電子デバイスは、指の接触を受け付け、そして、複数のアクティベート可能なユーザインタフェースオブジェクトを含むウェブページを表示するように構成されているタッチ感知ディスプレイユニットを含んでいる。前記電子デバイスは、また、前記タッチ感知ディスプレイユニットに接続される処理ユニットを含んでいる。前記処理ユニットは、前記タッチ感知ディスプレイユニットにおいて、表示されている前記ウェブページに対応する第1の位置における第1の接触を検出し、前記第1の位置における前記第1の接触の検出に応じて、前記第1の位置が、前記アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応するかどうかを判定するように構成されている。前記処理ユニットは、更に、前記第1の位置が、前記アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応しない場合、もしあるのであれば、前記第1の位置に関する所定のルールを最も満足するユーザインタフェースオブジェクトを識別し、識別される前記ユーザインタフェースオブジェクトに対応する動作を実行するように構成されている。
いくつかの実施形態に従う電子デバイスを示すブロック図である。 いくつかの実施形態に従う例示の電子デバイスの入力/出力処理スタックの図である。 いくつかの実施形態に従う例示のビュー階層を示す図である。 いくつかの実施形態に従うビューの階層を含む例示のユーザインタフェースを示す図である。 いくつかの実施形態に従うビューの階層を含む例示のユーザインタフェースを示す図である。 いくつかの実施形態に従うビューの階層を含む例示のユーザインタフェースを示す図である。 いくつかの実施形態に従う各接触を処理する例示の方法を示すフローチャートである。 いくつかの実施形態に従う各接触を処理する例示の方法を示すフローチャートである。 いくつかの実施形態に従う各接触を処理する例示の方法を示すフローチャートである。 いくつかの実施形態に従う各接触を処理する例示の方法を示すフローチャートである。 いくつかの実施形態に従うウェブページあるいは他の文書上の各接触を処理する例示の方法を示すフローチャートである。 いくつかの実施形態に従うイベント処理のための例示のコンポーネントを示すブロック図である。 いくつかの実施形態に従う電子デバイスの機能ブロック図である。 いくつかの実施形態に従う電子デバイスの機能ブロック図である。
添付の図面で示される一例の実施形態を詳細に参照する。以下の詳細説明では、いくつかの特定の詳細説明が本発明の全体理解を提供するために説明される。しかしながら、本発明はこれらの特定の詳細説明なしで実施できることが当業者には理解されるであろう。他の例では、周知の方法、手順、コンポーネント、回路及びネットワークは、実施形態の態様を不必要に曖昧にしないようするためにその詳細は記載しない。
第1、第2等の用語は、様々な要素を記載するために使用されるが、これらの要素は、これらの用語を限定するものではないことも理解されるであろう。これらの用語は、1つの要素と他の要素とを区別するためだけに使用される。本発明の範囲を逸脱することなく、例えば、第1の接触を第2の接触と呼ぶことができ、また、同様に、第2の接触を第1の接触とも呼ぶことができる。第1の接触と第2の接触はともに接触であるが、それらは同一の接触ではない。
本明細書の記載で使用される用語は、特定の実施形態だけを記載することを目的するものであり、本発明を制限することを意図するものではない。本発明と添付の請求項の記載で使用されるように、単数形「a」、「an」、及び「the」は、説明が明確に示していない限り、複数形を含むことが意図されている。本明細書で使用される「and/or(及び/あるいは)」は、列挙されている関係項目の1つ以上の任意のものを及びあらゆる取り得る組み合わせを指し、また、包含することも理解されるであろう。「comprises(備える)」及び「comprising(備えている)」は、本明細書で使用される場合には、説明される特徴、整数値、ステップ、動作、要素、及びコンポーネントの少なくとも1つの存在を特定するが、1つ以上の他の特徴、整数値、ステップ、動作、要素、及びコンポーネント、及びそれらのグループの少なくとも1つの存在あるいは追加を除外するものではないことが更に理解されるであろう。
明細書で使用されるように、用語「if(もし〜である場合)」は、状況に応じて、「when(である際、場合)」あるいは「upon(〜において、時点)」あるいは「in responce to determining(判定に応じて)」あるいは「in responce to detecting(検出に応じて)」を意味するように解釈される場合がある。同様に、表現「if it determined(そうであると判定される場合)」あるいは「if[a stated condition or event] is detected([記述される条件あるいはイベント]が検出される場合)」は、「upon determining(判定時)」あるいは「in response to determining(判定に応じて)」あるいは「upon detecing (the stated condition or event)((記述される条件あるいはイベント)の検出時)」あるいは「in response to detecting(the stated condition or event)((記述される条件あるいはイベント)の検出に応じて)」を意味するように解釈される場合がある。
本明細書で使用されるように、用語「イベント」は、デバイスの1つ以上のセンサによって検出される入力を意味する。特に、用語「イベント」は、タッチ感知面上のタッチを含んでいる。イベントは、1つ以上のサブイベントを備えている。サブイベントは、典型的には、イベント(例えば、タッチダウン(touch-down)、タッチ移動(touch-move)及びタッチ解除は、サブイベントとすることができる)を変更することを意味する。1つ以上のサブイベントのシーケンスにおけるサブイベント群は、多くの形態を含むことができ、これには、制限するものではないが、キー押下、キー押下保持、キー押下解除、ボタン押下、ボタン押下保持、ボタン押下解除、ジョイスティック移動、マウス移動、マウスボタン押下、マウスボタン解除、ペンスタイラスタッチ、ペンスタイラス移動、ペンスタイラス解除、指接触、指移動、指を離す、音声命令、検出される目の動き、生体測定(バイオメトリック)入力、検出されるユーザの生理変化、及びその他のものが含まれる。イベントは単一のサブイベント(例えば、タッチ感知ディスプレイ上の指接触)を備えることができ、本明細書で使用される用語「サブイベント」は、イベントも意味する。
本明細書で使用されるように、用語「イベントレコグナイザー(event recognizer:イベント認識部)」と「ジェスチャーレコグナイザー」は、交換可能に使用され、どちらもジェスチャーを認識することができるレコグナイザーを意味する。いくつかの実施形態では、イベントレコグナイザーは、他のイベント(例えば、デバイスの動き(モーション))を認識することができる。
タッチ感知面を有するデバイスで動作するアプリケーションを制御するために、タッチに基づくジェスチャーを使用する場合、タッチは、時間的な態様と空間的な態様の両方を有している。時間的な態様である、いわゆる、フェーズ(段階)は、今まさにタッチが開始している時点、タッチが移動しているか動いていないかどうか、及びタッチが終了しているか場合、つまり、指が画面から離されているかを示すものである。タッチの空間的な態様は、タッチが発生するビュー(view)あるいはユーザインタフェース領域のセットである。タッチが検出されるビューあるいは領域は、ビュー階層内のプログラム上のレベルに対応する場合がある。例えば、タッチが検出される最下位レベルのビューは、ヒットビューと呼ばれ、適切な入力として認識されるイベントのセットは、タッチに基づくジェスチャーを開始する最初のタッチのヒットビューの少なくとも一部に基づいて判定することができる。
図1は、いくつかの実施形態に従う、電子デバイス102の様々な実施形態を示すブロック図である。電子デバイス102は、任意の電子デバイスとすることができ、これには、限定するものではないが、デスクトップコンピュータシステム、ラップトップコンピュータシステム、ネットブックコンピュータシステム、移動電話、スマートフォン、パーソナルデジタルアシスタント、あるいはナビゲーションシステムが含まれる。電子デバイスは、ユーザインタフェースを提示するように構成されているタッチスクリーンディスプレイ(例えば、タッチ感知ディスプレイ156)付きのポータブル電子デバイス、ユーザインタフェースを提示するように構成されているタッチスクリーンディスプレイ付きのコンピュータ、ユーザインタフェースを提示するように構成されているディスプレイとタッチ感知面付きのコンピュータ、あるいは任意の形態のコンピュータデバイスとすることにもできる。このコンピュータデバイスには、限定するものではないが、コンシューマ向け電子デバイス、移動電話、ビデオゲームシステム、電子音楽プレーヤ、タブレットPC、電子ブック読上システム、電子ブック、PDA、電子オーガナイザー、電子メールデバイス、ラップトップ、ネットブックあるいは他のコンピュータ、キオスクコンピュータ、ベンディングマシーン、スマートアプライアンス等が含まれる。電子デバイス102は、ユーザインタフェース113を含んでいる。
電子デバイス102は、タッチスクリーンディスプレイ(例えば、タッチ感知ディスプレイ156)を含んでいる。いくつかの実施形態では、ユーザインタフェース113は、オンスクリーンキーボード(不図示)を含むことができ、これは、電子デバイス120と対話するためにユーザによって使用される。いくつかの実施形態では、電子デバイス102は、1つ以上の入力デバイス128(例えば、キーボード、マウス、トラックボール、マイク、物理ボタン(群)、タッチパッド等)も含んでいる。いくつかの実施形態では、タッチ感知ディスプレイ156は、2つ以上の個別の同時(あるいは部分的に同時)のタッチを検出するための機能を有し、また、これらの実施形態では、ディスプレイ156は、本明細書では、時には、マルチタッチディスプレイあるいはマルチタッチ感知ディスプレイとも呼ばれる。
電子デバイス102のタッチ感知ディスプレイ156上のタッチに基づくジェスチャーを実行する場合、ユーザは、電子デバイス102の1つ以上のCPU110によって処理されるサブイベントのシーケンスを生成する。いくつかの実施形態では、電子デバイス102の1つ以上のCPU110は、イベントを認識するためにサブイベントのシーケンスを処理する。
電子デバイス102は、典型的には、1つ以上のシングル処理ユニットあるいは1つ以上のマルチコア処理ユニット(「CPU」あるいは「CPU群」)110と、1つ以上のネットワークインタフェースあるいは他の通信インタフェース112を含んでいる。電子デバイス102は、メモリ111と、これらのコンポーネントを相互に接続するための1つ以上の通信バス115を含んでいる。通信バス115は、システムコンポーネント(不図示)間を相互に接続し、その通信を制御する回路(時には、チップセットと呼ばれる)を含んでいる場合がある。メモリ111は、高速ランダムアクセスメモリを含む場合があり、これには、例えば、DRAM、SRAM、DDR RAMあるいは他のランダムアクセスソリッドステートメモリデバイスがあり、また、メモリ111は、不揮発性メモリを含むことができ、これには、例えば、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、あるいは他の不揮発性ソリッドステート記憶装置がある。メモリ111は、オプションとして、CPU(群)110からリモートに配置されている1つ以上の記憶装置を含むことができる。メモリ111、あるいは選択的には、メモリ111内の不揮発性メモリデバイス(群)は、コンピュータ可読記憶媒体を備えている。いくつかの実施形態では、メモリ111は、あるいはメモリ111内の不揮発性メモリデバイス(群)は、非一時的(non-transitory)コンピュータ可読記憶媒体を備える。いくつかの実施形態では、メモリ111あるいはメモリ111のコンピュータ可読記憶媒体は、以下のプログラム、モジュール、及びデータ構造、あるいはそれらのサブセットを記憶する。
●オペレーティングシステム118、これは、様々な基本システムサービスを処理し、ハードウェア依存タスクを実行するための手順を含んでいる。
●アクセスビリティモジュール126、これは、アプリケーションソフトウェア132(ブラウザアプリケーション133を含んでいる)における1つ以上のソフトウェアアプリケーションの動作を変更するために、あるいはアプリケーションソフトウェア132における1つ以上のソフトウェアアプリケーションのアクセスを改善するために、あるいはそれに表示される内容(例えば、ウェブページ)へのアクセスを改善するために、タッチ感知ディスプレイ156あるいは入力デバイス(群)128からのデータを変更するために使用される。
●通信モジュール120、これは、1つ以上の通信インタフェース112(有線あるいは無線)と1つ以上の通信ネットワークを介して他のデバイスと電子デバイス102とを接続するために使用される。この1つ以上の通信ネットワークには、例えば、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワーク及びその類がある。
●ユーザインタフェースモジュール122、これは、タッチ感知ディスプレイ156上のユーザインタフェースオブジェクトを含むユーザインタフェースを表示するために使用される。
●制御アプリケーション124、これは、プロセス(例えば、ヒットビュー判定、スレッド管理、及び/あるいはイベントモニタリング等)を制御するために使用される。いくつかの実施形態では、制御アプリケーション124は、ランタイムアプリケーションを含み、他の実施形態では、ランタイムアプリケーションは、制御アプリケーション124を含んでいる。
●イベント配信システム130、これは、オペレーティングシステム118あるいはアプリケーションソフトウェア132内の様々の代替実施形態で実現することができる。しかしながら、いくつかの実施形態では、イベント配信システム130のいくつかの態様では、オペレーティングシステム118で実現されるが、一方、他の態様(例えば、イベントハンドラーの少なくとも1つのサブセット)では、アプリケーションソフトウェア132で実現される。
●アプリケーションソフトウェア132、これは、1つ以上のソフトウェアアプリケーション(例えば、電子メールアプリケーション、ウェブブラウザアプリケーション133、テキストメッセージングアプリケーション等)を含むことができる。それぞれのソフトウェアアプリケーションは、典型的には、少なくとも実行する際には、アプリケーション状態(ステート)を有し、これは、ソフトウェアアプリケーション及び自身のコンポーネント(例えば、ジェスチャーレコグナイザー及び代表)の状態(ステート)を示すものである。以下の、アプリケーション内部状態732(図7)を参照されたい。
●文書134(例えば、ウェブページ、あるいは各アプリケーション132あるいは埋込アプリケーション144のユーザインタフェース)、これは、コンテンツ、及びオブジェクト/領域の階層を含むことができる。いくつかの実施形態では、階層内の1つ以上のオブジェクト/領域136は、1つ以上の子オブジェクト/領域(例えば、140−1及び140−2)を有している。いくつかの実施形態では、オブジェクト/領域136及び子オブジェクト/領域140の少なくとも1つのサブセットは、1つ以上のプロパティ138を有し、これには、例えば、ビジビリティ(可視性)(文書134がアプリケーション132/133によって再現されてディスプレイ156に表示される場合に、対応するオブジェクト/領域が示されるかあるいは隠れるかを示す)、静的特性(文書134が表示される場合、対応するオブジェクト/領域がユーザによって変更されるように構成されているかどうかを示す)、及び所定の近接プロパティ(図5Dにおける動作546を参照して以下で説明される)がある。いくつかの実施形態では、オブジェクト/領域の階層は、また、親領域/オブジェクトを含み、また、いくつかの場合、オブジェクト/領域136の階層レベルよりも上位のレベルでの更なる領域/オブジェクト、及び/あるいは任意の子オブジェクト/領域140の任意のものの内のより下位の階層の領域/オブジェクトを含んでいる。いくつかの実施形態では、文書134は、埋込アプリケーション144も含み、これは、Javaスクリプト、Javaアプレット、Ajax、Comet、ActiveX、あるいは任意の他のプログラミング言語及びツール等に基づくことができる。
●デバイス/グローバル内部状態146、ソフトウェアアプリケーション及びそれらのコンポーネント(例えば、ジェスチャーレコグナイザー)の状態を示すアプリケーション状態、どんなアプリケーション、ビューあるいは他の情報がタッチ感知ディスプレイ156の様々な領域を占めているかを示すディスプレイ状態、デバイスの様々なセンサ(不図示)、入力デバイス、及び/あるいはタッチ感知ディスプレイ156から取得される情報を含むセンサ状態、及びデバイスの位置及び属性の少なくとも一方に関係する位置情報の内の1つ以上を含んでいる。
上述の各要素は、上述のメモリデバイスの1つ以上に記憶することができる。上述の各モジュール、アプリケーションあるいはシステム要素は、本明細書で記載される機能を実行するための命令群のセットに対応する。この命令群のセットは、1つ以上のプロセッサ(例えば、1つ以上のCPU110)によって実行することができる。上述のモジュールあるいはプログラム(即ち、命令のセット)は、別々のソフトウェアプログラム、手順あるいはモジュールとして実現される必要はなく、また、これらのモジュールの様々なサブセットを組み合わせることができ、そうでなければ、様々な実施形態において再構成することができる。いくつかの実施形態では、メモリ111は、上述のモジュール及びデータ構造のサブセットを記憶することができる。また、メモリ111は、上述していない更なるモジュール及びデータ構造を記憶することができる。
図2は、本発明のいくつかの実施形態に従う例示の電子デバイスあるいは装置(例えば、デバイス102)の入力/出力処理スタック200の図である。電子デバイスのハードウェア(例えば、電子回路)212は、入力/出力処理スタック200の基本レベルにある。ハードウェア212は、図1に示されるコンポーネントのような、様々なハードウェアインタフェースコンポーネントを含むことができる。ハードウェア212は、上述のセンサ130の1つ以上を含むことができる。入力/出力処理スタック200の以外のすべての要素(132、204−210)はソフトウェア手順、あるいはソフトウェア手順の一部であり、これは、ハードウェア212から受信される入力を処理し、そして、ハードウェアユーザインタフェース(例えば、ディスプレイ、スピーカ、デバイスバイブレーションアクチュエータの1つ以上)を通じて提示される様々な出力を生成する。
ドライバあるいはドライバ210のセットは、ハードウェア212と通信する。ドライバ210は、ハードウェア212から受信される入力データを受信して、処理することができる。コアオペレーティングシステム(「OS」)208は、ドライバ(群)210と通信することができる。コアOS208は、ドライバ(群)210から受信されるロー(raw)入力データを処理することができる。いくつかの実施形態では、ドライバ210は、コアOS208の一部と見なすことができる。
OSアプリケーションプログラミングインタフェース(「OS API」)206のセットは、コアOS208と通信するソフトウェア手順である。いくつかの実施形態では、API206はデバイスのオペレーティングシステムに含まれるが、コアOS208より上位のレベルに位置する。APIは、本明細書で説明される電子デバイスあるいは装置で動作するアプリケーションによって使用するために設計される。ユーザインタフェース(UI)AIP204は、OS API206を利用することができる。デバイス上で動作するアプリケーションソフトウェア(「アプリケーション」)132は、ユーザと通信するためにUI API204を利用することができる。UI API204は、より下位のレベルの要素と通信することができ、この要素は、最終的には、例えば、マルチタッチディスプレイ156のような様々なユーザインタフェースハードウェアと通信するものである。
各レイヤの入力/出力処理スタック200は、自身の配下のレイヤを利用することができ、これは常に要求とされるものではない。例えば、いくつかの実施形態では、アプリケーション132は、時には、OS APIレイヤ206と通信することができる。一般的には、OS API206でのレイヤあるいはそれより上のレイヤは、直接には、コアOS208、ドライバ(群)210、あるいはハードウェア212にアクセスしない。これは、これらのレイヤがプライベートなものと見なされるからである。レイヤ132におけるアプリケーション及びUI API204は、通常、OS API206を直接コールし、レイヤのコアOS2−8、ドライバ(群)210及びハードウェア212にアクセスする。
別の方法で説明すると、電子デバイス102の1つ以上のハードウェア要素212、及びデバイス上で動作するソフトウェア、例えば、ドライバ210、コアOS(オペレーティングシステム)208、オペレーティングシステムAPIソフトウェア206及びアプリケーション及びユーザインタフェースAPIソフトウェア204は、1つ以上の入力デバイス(群)128及び/タッチ感知ディスプレイ156における入力イベント(ジェスチャーにおけるサブイベントに対応する場合がある)を検出し、そして、入力されたイベントが、アプリケーション132へ配信するためのイベントに対応するか、また、対応する場合を判定するために、現在アクティブなイベントレコグナイザーのセットによって使用される様々なデータ構造(デバイス102のメモリに記憶される)を生成するあるいは更新する。イベント認識処理手順、装置及びコンピュータプログラム製品の実施形態は、以下で詳細に説明する。
図3は、例示のビュー階層300(領域の階層とも呼ばれる)を示し、ここで、これは、この例では、最外部ビュー302(典型的には、最上位ビューである)で表示されるサーチプログラムである。本明細書で使用されるように、いくつかの実施形態では、各ピューは、各領域に対応し、また、いくつかの実施形態では、各ユーザインタフェースオブジェクトは、各領域に対応する。最外部ビュー302(あるいは1つ以上の最外部領域)は、通常は、ユーザが直接対話することができるユーザインフェース全体を包含し、そして、従属ビュー(子領域とも呼ばれる)を含んでいる。これには、例えば、
●サーチ結果パネルビュー304、これは、サーチ結果をグループ化し、そして、垂直方向にスクロールすることができる。
●サーチフィールドビュー306、これは、テキスト入力を受け付ける。
●ホーム行ビュー310、これは、クイックアクセス用のアプリケーションをグループ化している。
この例では、各従属ビューは、更に下位のレベルの従属ビュー(あるいは各子領域の子領域)を含んでいる。他の例では、階層300のビューレベルの数は、階層の様々なブランチにおいて異なっていても良く、これらは、より下位のレベルの従属ビューを有する1つ以上の従属ビューを備えていて、また、1つ以上の他の従属ビューは、任意の下位のレベルの従属ビューを有さなくても良い。図3に示される例を続けると、サーチ結果パネルビュー304は、各サーチ結果に対する各従属ビュー305(パネル304に従属する)を含んでいる。ここで、この例は、マップビュー305と呼ばれる従属ビューにおいて1つのサーチ結果を示している。サーチフィールドビュー306は、クリアコンテンツ(clear contents)アイコンビュー307と呼ばれる従属ビューを含んでいて、これは、そのビュー307上のクリアコンテンツにおいて特定の動作(例えば、シングルタッチあるいはタップジェスチャー)をユーザが実行する場合にサーチフィールドビュー306におけるサーチフィールドの内容をクリアする。ホーム行ビュー310は、従属ビュー310−1、310−2、310−3及び310−4を含み、これらは、それぞれ、接触アプリケーション、電子メールアプリケーション、ウェブブラウザ、及びiPodミュージックインタフェースに対応する。
言い方を変えれば、サーチ結果パネルビュー304は、マップビュー305の親領域であり、また、最外部ビュー302はサーチ結果パネルビュー304の親領域である。同時に、サーチ結果パネルビュー304は、最外部ビュー302の子領域であり、また、マップビュー305は、サーチ結果パネルビュー304の子領域である。同様に、サーチフィールドビュー306とホーム行ビュー310は、最外部ビュー302の子領域でもある。
図3では、タッチサブイベント301−1が、最外部ビュー302内で表されている。サーチ結果パネル304とマップビュー305の両方を介してタッチサブイベント301−1の位置が与えられると、タッチサブイベントは、また、301−2及び301−3とするビューそれぞれを介して表される。タッチサブイベントの、アクティブな関係するビュー群は、タッチサブイベント301−1(例えば、サーチ結果パネルビュー304、マップビュー305及び最外部ビュー302)の位置に対応するすべてのビューを含んでいる。ヒットビューは、アクティブな関係するビュー間の最下位レベルのビューであり、これは、この例では、マップビュー305となる。サブイベントの配信とアクティブな関係するビューに関する追加情報は、図7を参照して以下で説明する。
ビュー(及び対応するプログラムのレベル)はネストすることができる。換言すれば、ビューは、他のビューを含むことができる。その結果、第1のビューに関係するソフトウェア要素(群)(例えば、イベントレコグナイザー)は、第1のビュー内のビュー群に関係する1つ以上のソフトウェア要素を含むことができる、あるいはリンクさせることができる。いくつかのビューがアプリケーションに関連付けることができる一方で、他のビューは上位レベルのOS要素、例えば、グラフィカルユーザインタフェース、ウィンドウマネージャ等に関係付けることができる。
図4A−図4Cは、いくつかの実施形態に従う、ビューの階層を含む例示のユーザインフェースである。
図4Aでは、アプリケーション132−1は、ビュー階層402における複数のビュー408(例えば、408−1、408−2から408−N)を含んでいる。この例では、ヒットビュー408−1は、複数の子ビュー408−A、408−B及び408−Cを含み、そして、子ビュー(408−Aから408−C)内の複数のユーザインタフェースオブジェクト(テキスト1 416−1からテキスト413−1)を含んでいる。ヒットビュー+1 408−2(ヒットビュー408−1の親ビューとも呼ばれる)は、複数の子ビュー(408−1、408−D及び408−E)と、複数の子ビュー(408−1、408−D及び408−E)における複数のユーザインタフェースオブジェクト(テキスト1 416−1、テキスト2 416−2、テキスト3 416−3、テキスト4 416−4及びテキスト5 416−5)を含んでいる。各子ビューは、各子ビューに含まれるユーザインタフェースオブジェクトのサイズと一致している場合があるが、この例では、各子ビューは、それが含む各ユーザインタフェースオブジェクトよりも大きい(例えば、子ビュー408−Aはテキスト1 416−1よりも大きい)。このようなビューあるいは領域は、それが含む各ユーザインタフェースオブジェクトに対するヒット領域として使用することができるので、そのヒット領域に対応する位置での接触が検出される場合に、その接触が各ユーザインタフェースオブジェクトの外で検出されるとしても、各ユーザインタフェースオブジェクトに関連付けられている任意の機能がアクティベートされる。いくつかの実施形態では、子ビューのサブセットにおける各子ビューは、各ユーザインタフェースオブジェクトよりも大きく、一方、残りの子ビューは、対応する各ユーザインタフェースオブジェクトのサイズと一致する。
図4Aは、また、接触405がタッチ感知ディスプレイ上で検出されることを示している。接触に対応する、ビュー階層402の最下位ビューは、ヒットビューと呼ばれる。この例では、ヒットビュー408−1は、接触405に対応するビュー階層402の最下位ビューである。この例では、接触405の位置において、ヒットビュー408−1は、任意のユーザインタフェースオブジェクトを含んでいない。
アプリケーション132−1が、ヒットビュー408−1とともに接触405を処理するように構成されている場合、接触405は、アプリケーション132−1を使用してヒットビュー408−1とともに処理される。アプリケーション132−1が、ヒットビュー408−1とともに接触405を処理するように構成されていない場合(例えば、ヒットビュー408−1は、任意のジェスチャーレコグナイザーを有していない、あるいは、接触405を認識するあるいは認識することを試行するように構成されているヒットビュー408−1に接続されているジェスチャーレコグナイザーがない)、任意の他のビュー408とともに接触405をアプリケーション132−1が処理することができるかを判定するために他のビューが評価される。例えば、ヒットビュー408−1の子ビュー408−Aから408−Cは、最初に評価される。この例では、ヒットビュー408−1は、接触405を認識するあるいは認識することを試行するように構成されている任意のジェスチャーレコグナイザーを有していない。なぜなら、接触405の位置は、ヒットビュー408−1内の任意のユーザインタフェースオブジェクトのヒット領域に重複していないからである。
アプリケーション132−1が、子ビュー408−Aから408−Cの内の1つとともに接触405を処理するように構成されている場合(例えば、子ビュー408−Aから408−Cの内の子ビュー408−Cだけが接触405を認識するあるいは認識することを試行するように構成されているジェスチャーレコグナイザーを有している場合)、接触405は、アプリケーションを使用してその子ビューとともに処理される。アプリケーション132−1が子ビュー408−Aから408−Cの内の2つ以上の子ビューとともに接触405を処理するように構成されている場合(例えば、子ビュー408−Aから408−Cのそれぞれが接触405を認識するあるいは認識することを試行するように構成されているジェスチャーレコグナイザーを有している場合)、2つ以上の子ビューの内の1つが接触405を処理するために選択される。典型的には、接触405に最も近い子ビューが選択される(例えば、テキスト2 416−2を含むビュー408−B)。
アプリケーション132−1が、ヒットビュー408−1の子ビュー408−Aから408−Cの内の任意の子ビューとともに接触405を処理するように構成されていない場合、ヒットビュー408−1の親ビュー(例えば、408−2)が評価される。アプリケーション132−1が、親ビュー408−2(ヒットビュー+1とも呼ばれる)とともに接触405を処理するように構成されている場合、接触405は、アプリケーション132−1を使用して親ビュー408−2とともに処理される。アプリケーションが、親ビュー408−2とともに接触405を処理するように構成されていない場合、親ビュー408−2の他の子ビュー(即ち、ヒットビュー408−1以外の親ビュー408−2の子ビュー、例えば、子ビュー408−Dと408−E)が評価される。ヒットビュー408−1は、親ビュー408−2の子ビューからは除外される。これは、そのビュー(ヒットビュー408−1)は、ヒットビュー408−2に関して評価されている接触405の前に、接触405に関して既に評価されているからである。
ヒットビュー408−1の1つ以上の子ビューを使用して接触405を処理することと同様に、アプリケーション132−1が、子ビュー408−Dから408−Eの内の1つの子ビューとともに接触405を処理するように構成されている場合、接触405は、アプリケーションを使用してその1つの子ビューとともに処理される。アプリケーション131−2が、2つ以上の子ビュー(例えば、408−Dと408−E)とともに接触405を処理するように構成されている場合、2つ以上の子ビューの1つの子ビューが接触405を処理するために選択される。典型的には、接触405に最も近い子ビューが選択される(例えば、テキスト4 416−4を含むビュー408−D)。典型的には、接触を処理するために各ビューが一旦選択されると、接触は、接触に関連付けられているイベントが完了するまで、そのビューにバインドされる(接触とそれに後続する任意のジェスチャーあるいはイベントの部分のための、すべてのイベントを処理することを意味する)。
アプリケーション132−1が、親ビュー408−2の子ビュー408−Dと408−Eの任意の子ビューとともに接触405が処理するように構成されていない場合、子ビュー408−Dと408−Eの子ビュー(不図示)が評価され、これは、親ビューの親ビュー(例えば、祖父母ビュー)の評価、そして、祖父母ビューの子ビューの評価に続くものである。このようないくつかの評価は、最上位ビュー408−Nの下位ビューのすべてが評価されるまで、ビュー階層402を通して繰り返される。
いくつかの実施形態では、アプリケーション132−1が、ビュー階層402の任意のビューとともに接触405を処理するように構成されていない場合、接触405は無視される。他の実施形態では、所定の動作(例えば、デフォルトの動作、例えば、デフォルトのユーザインタフェースオブジェクトの選択)が実行される。
図4Aには示されていないが、いくつかの実施形態では、ヒットビュー408−1は、単一のユーザインタフェースオブジェクト(例えば、ボタン)を含む単一の子ビューを含んでいる。アプリケーション132−1が、ヒットビュー408−1とともにヒットビュー408−1上の接触を処理するようには構成されていないが、ヒットビュー408−1の単一の子ビューとともにその接触を処理するように構成されている場合、その接触は、アプリケーション132−1を使用して単一の子ビューとともに処理される。
図4Aと同様に、図4Bは、タッチ感知ディスプレイに表示されるビュー階層412内の複数のビュー418(例えば、418−1A、418−1B、及び418−2から418−N)を含んでいる。この例では、親ビュー418−2(ヒットビュー+1)は、2つのツールバー(418−1A及び418−1B)を含んでいる。接触407に対応するヒットビュー418−1Aは、第1のツールバー(ツールバー1)を含んでいて、また、複数のビュー(418−Fから418−H)内のツールバー(416−6から416−8)上の複数のボタンあるいはアイコンを含んでいる。この例では、各子ビューは、それに含まれる各ユーザインタフェースオブジェクトのサイズ及び形状に一致している。ビュー418−1Bは、第2のツールバー(ツールバー2)を含み、そして、複数のビュー(418−Iから418−K)内の複数のボタン(416−10から416−12)を含んでいる。
図4Bも、タッチ感知ディスプレイ上で検出される接触407を示している。アプリケーション132−2が、ヒットビュー418−Aとともに接触407を処理するように構成されてはいないが、子ビュー418−Fから418−Hの2つ以上の子ビューとともに接触407を処理するように構成されている場合、2つ以上の子ビューの内の1つの子ビューが選択される。典型的には、接触407に最も近い、2つ以上の子ビューの内の1つの子ビューが選択される。
アプリケーション132−2が、子ビュー418−Fから418−Hの内の任意の子ビューとともに接触407を処理するように構成されていない場合、親ビュー418−2と、それに続いて、ビュー418−Bが評価され、ビュー418−Bの子ビュー408−Iから418−Kの評価が続くものである。アプリケーション132−2が、子ビュー418−Iから418−Kの内の任意の子ビューとともに接触407を処理するように構成されている場合、接触407は、接触407がツールバー1上で検出されているとしても、ツールバー2上のボタン群の内の1つのボタン(例えば、ボタンD416−10、ボタンE416−11あるいはボタンF416−12)に対応するアプリケーション132−2の機能をアクティベートすることができる。
図4Aと同様に、図4Cは、タッチ感知ディスプレイに表示されるビュー階層422内の複数のビュー428(例えば、428−1、428−2から428−N)を含んでいる。この例では、ヒットビュー428−1は、異なるサイズの2つのユーザインタフェースオブジェクト(例えば、イメージ(画像)416−21及びボタン416−22)を含んでいる。
各ビューが異なるサイズ及び形状の少なくとも一方のユーザインタフェースオブジェクト(あるいは、異なるサイズ及び形状の少なくも一方の子ビュー)を含んでいる場合、接触に最も近いユーザインタフェースオブジェクトを識別する方法が複数存在する。いくつかの実施形態では、重心間距離、これは、接触(例えば、409)の重心(例えば、409−1)からユーザインタフェースオブジェクトの重心までの距離であり、最近接のユーザインタフェースオブジェクトを判定するために使用される。いくつかの実施形態では、最短距離、接触(例えば、409)の重心(409−1)に最も近いユーザインタフェースオブジェクト上の第1の地点からの距離であり、が使用される。いくつかの実施形態では、所定数の地点(例えば、8個の地点)が、距離計算を簡略化するために使用される。例えば、8個の地点(左上角、右上角、左下角、右下角、上辺の中央、下辺の中央、左辺の中央、右辺の中央)を、ユーザインタフェースオブジェクトの候補毎に8個の距離を計算するために使用され、8個の距離の最短距離が各ユーザインタフェースオブジェクトの候補に対して選択される。いくつかの実施形態では、接触からユーザインタフェースオブジェクトへの距離は、接触から、各子ビューあるいはユーザインタフェースオブジェクトの所定数(例えば、3個)の最近接地点への距離の加重平均を備えている。例えば、各子ビューあるいはオブジェクトの3つの最近接地点は、9個の所定の地点の内から選択することができ、これには、上述の8個の地点と、オブジェクトの重心(あるいは、オブジェクト内部の他の「中心」地点)を含んでいる。いくつかの実施形態では、異なる重みが、所定数の最近接地点のそれぞれに対して使用される。例えば、所定数の最近接地点が3個である場合、重みは、最近接地点に対して0.5となり、第2の最近接地点に対して0.3となり、第3の最近接地点に対して0.2となる(重み距離=0.5d1+0.3d2+0.2d3、ここで、d1、d2及びd3は、第1の地点から、最近接地点、第2の最近接地点及び第3の最近接地点への距離である)。
図4Cに関しては、上述の内容が最近接のユーザインタフェースオブジェクトを識別するために記載されているものであるが、類似の方法を、最近接のビューあるいは領域を識別するために使用することができる。
いくつかの実施形態では、ビュー階層402の少なくとも1つのビューは、ウェブページあるいは他の文書の一部を含んでいる。いくつかの実施形態では、ビュー階層402のビューは、ウェブページあるいは他の文書の別の部分を含んでいる。
図5A−図5Dは、いくつかの実施形態に従う、各接触を処理する例示の方法を示すフローチャートである。
方法500は、タッチ感知ディスプレイ(例えば、156)付きの電子デバイス(例えば、102)で実行される。
デバイスは、タッチ感知ディスプレイ上に、アプリケーションのユーザインタフェースを表示する(504)。この表示されたユーザインタフェースは、複数の領域(例えば、図4Aのビュー408)を含んでいて、これらは、複数の階層レベル(例えば、ビュー階層402)で構成されている。複数の領域は、各階層レベルにおいて各領域(例えば、ヒットビュー408−1)を含んでいる。各領域は、各階層レベルの下位の階層レベル(例えば、ビュー408−A、408−B、及び408−C)において2つ以上の子領域を有している。
デバイスは、タッチ感知ディスプレイ上の、第1の位置における第1の接触(例えば、405)を検出する(508)。この第1の位置は、各領域に対応するが、各領域の2つ以上の子領域の任意の子領域には対応しない。図4Aでは、ヒットビュー408−1は、最下位レベルのヒットビューである。それは、接触405に「ヒット」しているあるいは重複している下位レベルのビューが存在しないからである。第1の位置は、典型的には、第1の領域の重心であるが、選択的には、特定の位置を接触に割り当てるための任意の適切な処理手順に従って、第1の接触領域から判定することができる。
いくつかの実施形態では、2つ以上の子領域の各子領域は、各ヒット領域を有していて(510)、そのヒット領域の少なくとも1つは、対応する子領域とは異なる(例えば、図4Aにおいて、テキスト416−1は、ビュー408−1の子領域であり、また、ビュー408−Aは、テキスト416−1のヒット領域である)。第1の接触が各領域に対応することを検出すること(508)は、第1の領域が、各領域の子領域のヒット領域の任意のヒット領域に対応しないことを判定することを含んでいる。いくつかのユーザインタフェースでは、各ヒット領域は、対応する子領域を含み、そして、その子領域よりも大きい(例えば、ビュー408−Aは、テキスト416−1を含み、そして、テキスト416−1より大きい)。ユーザインタフェースの特定のオブジェクトあるいは領域の選択を容易にするために、ユーザインタフェースオブジェクトあるいは領域は、自身と異なるサイズ(例えば、より大きい、より小さい、及び/あるいは斜行している)のヒット領域を有することができる。一方、各ユーザインタフェースオブジェクトあるいは領域のヒット領域は、ユーザインタフェースオブジェクトあるいは領域と同一の広がりを持たすことができる(同一のサイズ、形状、及びその位置)。
典型的には、各領域に対応する第1の接触のために、第1の位置は、各領域の子領域の任意の子領域の外に配置されている(512)(例えば、図4Aでは、接触405は、子ビュー408−Aから408−Cの内の任意の子ビューの外に配置されている)。
第1の接触を検出することに応じて、デバイスは、アプリケーションが、各領域とともに第1の接触を処理するように構成されているかどうかを判定する(514)(例えば、デバイスは、ヒットビュー408−1が、接触405を認識するあるいは認識することを試行するように構成されているジェスチャーレコグナイザーを含んでいるかを判定する)。
いくつかの実施形態では、各領域が、所定のプロパティのセットの内の少なくとも1つのプロパティを有するユーザインタフェースオブジェクトを含んでいる場合に、アプリケーションは、各領域とともに第1の接触を処理するように構成されていると見なされる(520、図5B)。例えば、図4Aのアプリケーション132−1は、ビュー408−A内のユーザインタフェースオブジェクト(例えば、テキスト1 416−1)が所定の「近接」プロパティ(ユーザの接触がオブジェクトに重複していない場合でさえも、オブジェクト選択あるいはアクティベーションを可能にする)を有する場合、アプリケーション132−1は、ビュー408−Aとともに第1の接触(例えば、405)を処理するように構成されていると見なされる。いくつかの実施形態では、アプリケーション132−1は、各領域自身が所定のプロパティのセットの少なくとも1つのプロパティを有する場合、アプリケーション132−1は、各領域とともに第1の接触を処理するように構成されていると見なされる。例えば、ビュー428−1が選択される際に音声出力されるテキストを特定するテキストプロパティをそのビュー428−1が有していて、そのテキストを音声出力するためのアクセシビリティオプションが実現される場合、図4Cのアプリケーション132−2は、ビュー428−1とともに第1の接触(例えば、409)を処理するように構成されていると見なされるであろう。
いくつかの実施形態では、各領域が、所定のユーザインタフェースオブジェクトタイプのセット(例えば、ボタン、チェックボックス、コンボボックス、リンク、リストボックス、メニューボタン、ポップアップボタン、ラジオボタン、スライダー、及びテキストフィールド)の内のあるタイプのユーザインタフェースオブジェクトに対する領域である場合、その各領域は、第1の接触を処理するように構成されていると見なされる。いくつかの実施形態では、所定のユーザインタフェースオブジェクトタイプのセットは、また、見出し三角アイコン(ディスクロージャートライアングル:disclosure triangle)、ヘッダ、イメージ、スタティックテキスト、及びテキストエリアの内の1つ以上を含んでいる。
いくつかの実施形態では、アプリケーションは、第1の接触(第1の接触の位置において)を含むジェスチャーに応じてアクティベートされるように構成されているユーザインタフェースオブジェクトを、各領域が含んでいる場合に、アプリケーションは、その各領域とともに第1の接触を処理するように構成されていると見なされる(522)。第1の接触(例えば、405)を含んでいるジェスチャーに応じてアクティベートされるように構成されているユーザインタフェースオブジェクト(例えば、テキスト1 416−1)をビュー408−Aが含んでいる場合、例えば、図4Aのアプリケーション132−1は、ビュー408−Aとともに第1の接触を処理するように構成されていると見なされる。第1の接触を含んでいるジェスチャーに応じてアクティベートされるように構成されていないユーザインタフェースオブジェクトの、非限定的な例には、1)スタティックユーザインタフェースオブジェクト(例えば、任意の機能が割り当てられていない、テキストあるいはグラフィックを表示するためのラベル)、及び2)異なるジェスチャー(例えば、2本指による接触)に応じてアクティベートされるように構成されているユーザインタフェースオブジェクトを含んでいる。第1の接触を含んでいるジェスチャーに応じてアクティベートされるように構成されていないユーザインタフェースオブジェクトの例には、ヒットビュー408−1がある。これは、第1の接触405は、ヒットビュー408−1において任意の選択可能/アクティベート可能なオブジェクトを重複しないからである。また、第1の接触を含んでいるジェスチャーに応じてアクティベートされるように構成されているユーザインタフェースオブジェクトを、各領域自身が有している場合、アプリケーションは、各領域とともに第1の接触を処理するように構成されていると見なされる。
いくつかの実施形態では、少なくとも1つのイベントレコグナイザーが各領域に関連付けられている場合、アプリケーションは、各領域とともに第1の接触を処理するように構成されていると見なされる(524)。イベントレコグナイザー(あるいはジェスチャーレコグナイザー)は、図7で詳細に説明する。より典型的な実施形態は、第1の接触を含むジェスチャーを認識するように構成されているイベントレコグナイザーが各領域に関連付けられている場合、アプリケーションは、各領域とともに第1の接触を処理するように構成されていると見なされる(526)実施形態である。逆に、特定のタイプの接触(例えば、1本指による接触)が検出され、各領域(あるいはビュー)が、そのタイプの接触で開始するジェスチャーを認識するように構成されているイベントレコグナイザーを含んでいない場合、各領域は、各領域とともに第1の接触を処理するように構成されていないと見なされる。
アプリケーションが、各領域とともに第1の接触を処理するように構成されている場合、デバイスは、アプリケーションを使用して各領域とともに第1の接触を処理する(516、図5A)。例えば、デバイスは、各領域に関連付けられている機能をアクティベートする(例えば、各領域が同一のボタンを含んでいる場合、デバイスは、対応するコンテンツあるいは文書の保存を開始する)。別の例では、各領域がハイパーリンク(例えば、ユニフォームリソースロケータ)を含んでいる場合、デバイスは、ハイパーリンクに対応するリソース(例えば、ウェブページ)をオープンすることを開始する。
いくつかの実施形態では、アプリケーションを使用して各領域とともに第1の接触を処理することは、確認情報を提示することを含んでいる。いくつかの実施形態では、確認情報を提示することは、完了を提供することを含んでいる。例えば、デバイスは、各領域に対応するテキスト(例えば、各領域に含まれるテキスト、各領域に対応する機能の名前、あるいは各領域に対応する埋込テキスト、例えば、ヘルプテキスト)を視覚的に区別する(例えば、太字にする、点滅させる、拡大する、及び/あるいは色を変更する)ことができる。確認情報を提示することは、非視覚信号を含めることができる。例えば、デバイスは、テキスト音声変換ソフトウェアを使用して、各領域に対応するテキストを可聴音声信号に変換しても良いし、各領域に対応するサウンドクリップを再生しても良い。別の例では、デバイスは、各領域に対応するテキストを、点字生成装置(不図示)を使用して提示用の点字に変換しても良い。
いくつかの実施形態では、アプリケーションを使用して各領域とともに第1の接触を処理することは、確認ジェスチャーを受信することを含んでいる。例えば、確認情報を提示した後に、デバイスは、確認ジェスチャー(例えば、デバイスのタッチ感知ディスプレイ上の任意の場所で行われる、あるいはタッチ感知ディスプレイ上の特定領域内、例えば、タッチ感知ディスプレイの下半分で行われる、シングルタップジェスチャー、ダブルタップジェスチャー、あるいはタップアンドホールド(tap-and-hold:タップ保持)ジェスチャー、)を受信する。
アプリケーションが、各領域(図5A及び図5Cの518)とともに第1の接触を処理するように構成されていない場合、デバイスは、以下の動作の少なくとも1つのサブセットを実行する(例えば、動作528、530、532、534、及び、それらに含まれる動作群、及び、いくつかの実施形態では、動作536、538、及び/あるいは540)。
デバイスは、アプリケーションが、各領域の2つ以上の子領域の少なくとも1つの領域とともに第1の接触を処理するように構成されているかどうかを判定する(図5Cの528)(例えば、図4Aでは、デバイスは、アプリケーション132−1が、ビュー408−A、408−B及び408−Cの任意のビューとともに接触405を処理するように構成されているかどうかを判定する)。
アプリケーションが、各領域の2つ以上の子領域の少なくとも1つの領域とともに第1の接触を処理するように構成されている場合(530)、デバイスは、以下の動作を実行する(例えば、動作532及び534、及びそれらに含まれる動作群)。
デバイスは、第1の位置に関連する子領域の位置に従って、各領域の2つ以上の子領域の各子領域を識別する(532)。例えば、デバイスは、接触405に関連する、子ビュー408−Aから408−Cの位置に従って、最も近い子ビューとして、子ビュー408−Aから408−Cの内の子ビュー408−Bを識別する。
いくつかの実施形態では、第1の位置に関連する子領域の位置に従って、各領域の2つ以上の子領域の各子領域を識別すること(動作532)は、第1の位置に関する近接基準を最も満足する、各領域の2つ以上の子領域の内の子領域を識別すること(542、図5D)を含んでいる。例えば、デバイスは、近接基準に基づいて、第1の位置に最も近い子領域を識別する。近接基準は、重心間距離、ユーザインタフェースオブジェクトあるいは子領域と第1の位置との間の最短距離、所定数の地点(各子ビューに対する)に基づく第1の位置への最短距離、及び所定数の地点(各子ビューに対する)からの距離の加重平均に基づく第1の位置への最短距離の少なくとも1つに基づいている。
いくつかの実施形態では、第1の位置に関連する子領域の位置に従って、各領域の2つ以上の子領域の各子領域を識別すること(動作532)は、第1の位置に関する近接基準を最も満足する、各領域の2つ以上の子領域の内の子領域を識別すること(544)、識別される子領域が第1の位置に関する最大距離制限を満足することを確認することを含んでいる。例えば、識別される子ビューから第1の位置までの距離が最大距離制限を超える場合、識別される子領域は無視される。いくつかの実施形態では、第1の位置の接触の最大距離制限内に子領域が存在しない場合、デバイスは、その第1の位置での接触を無視する。他の実施形態では、デバイスは、各領域の親領域を含む、他の領域を評価することを継続する。
いくつかのユーザインタフェースでは、2つ以上の子領域の1つ以上の子領域は、所定の近接プロパティを有していて(546)、また、少なくとも1つの他の子領域は、所定の近接プロパティを有していない。各子領域を識別することは、第1の位置に関連する子領域の位置に従って、所定の近接プロパティを有する各領域の1つ以上の子領域の各子領域を識別することを含んでいる。例えば、子領域の少なくとも1つのサブセットは、所定の近接プロパティを有するように構成することができる。所定の近接プロパティは、領域に対応しない位置で接触が検出される場合でさえも、アクティベーション/選択に対して対応する領域が適切であるかどうかを示すものである。所定の近接プロパティは、子の領域のサブセットのそれぞれにおけるプロパティ群(例えば、図1の138)内に配置することができる。所定の近接プロパティが使用される場合、デバイスは、所定の近接プロパティを有する子領域との間の子領域を識別する。
ユーザインタフェース(例えば、識別される子領域)の適切な領域が識別されている場合、デバイスは、アプリケーションを使用してその領域(例えば、識別される各子領域)とともに第1の接触を処理する(534、図5C及び図5D)。
いくつかの実施形態では、複数の領域は、それらの領域に対応する複数の階層的に構成されているビューを備えている(548)。複数のビューのそれぞれは、典型的には、各ビューに関連付けられている少なくとも1つのイベントレコグナイザーを有している。アプリケーションを使用してその識別される各子領域とともに第1の接触を処理することは、識別される各子領域に対応するビューの少なくとも1つのイベントレコグナイザーによって処理されるべきイベント(あるいはサブイベント、接触が、ジェスチャーあるいはイベントの第1の位置に対応する場合)を生成することを含んでいる。
いくつかの実施形態では、複数の領域は、それらの領域に対応する複数の階層的に構成されているビューを備えている(550)。アプリケーションを使用してその識別される各子領域とともに第1の接触を処理することは、識別される各子領域における接触として第1の接触を処理することを含んでいる。いくつかの実施形態では、識別される各子領域における接触として第1の接触を処理することは、識別される各子領域に対応する位置で新規のイベント(あるいはサブイベント、上述のような)を生成することを含んでいる。例えば、図4Aでは、デバイスが子ビュー408−Bにおける接触として接触405を処理する場合、デバイスは、子ビュー408−Bに対応する位置での仮想接触を示す新規のイベントを生成する。
いくつかのユーザインタフェースでは、各領域は、各階層レベルの上位の階層レベルでの親領域(例えば、ヒットビュー+1 408−2)を有している(536、図5C)。オプションとしては、この状況では、アプリケーションが各領域の2つ以上の子領域の少なくとも1つの子領域とともに第1の接触を処理するように構成されておらず、また、アプリケーションが、親領域とともに第1の接触を処理するように構成されている場合、デバイスは、アプリケーションを使用して親領域とともに第1の接触を処理する(538)。例えば、図4Aでは、アプリケーション132−1が、子ビュー408−Aから408−Cの内の任意の子ビューとともに接触405を処理するように構成されていない場合、デバイスは、ヒットビュー+1 408−2とともに接触405を処理し、アプリケーション132−1が、ヒットビュー+1 408−2とともに接触405を処理するように構成されている場合。
いくつかの実施形態では、アプリケーションが、各領域の2つ以上の子領域の内の少なくとも1つの子領域とともに第1の接触を処理するように構成されていない場合、デバイスは、親領域の接触として第1の接触を処理する(540)。いくつかの実施形態では、親領域の接触として第1の接触を処理することは、親領域に対応する位置での新規のイベント(あるいはサブイベント、上述のような)を生成することを含んでいる。例えば、図4Aでは、デバイスは、ヒットビュー+1 408−2での接触として接触405を処理する場合、デバイスは、ヒットビュー+1 408−2に対応する位置での仮想接触を指示する新規のイベントを生成する。
いくつかのユーザインタフェースでは、親領域は、各階層レベルでの1つの階層レベルにおいて1つ以上の子領域を有していて、アプリケーションが、親領域とともに第1の接触を処理するように構成されていない場合、デバイスは、アプリケーションが親領域の1つ以上の子領域の内の少なくとも1つの子領域とともに第1の接触を処理するように構成されていることの条件に基づいて、親領域の1つ以上の子領域の内の少なくとも1つの子領域とともに第1の接触を処理する。
ここで、上述の方法500に関する処理の詳細は、以下の方法600についても同様に適用できることに注意されたい。簡潔のために、これらの詳細は、以下では繰り返さない。
図6は、いくつかの実施形態に従う、ウェブページあるいは他の文書上の各接触を処理する例示の方法を示すフローチャートである。
方法600は、タッチ感知ディスプレイ(例えば、156)付き電子デバイス(例えば、102)において実行される(602)。
デバイスは、複数のアクティベート可能なユーザインタフェースオブジェクト(例えば、図4Cでは、ビュー階層422内の1つ以上のビューは、いくつかの実施形態ではウェブページあるいは他の文書を含み、また、これらのビューは、ユーザインタフェースオブジェクト416−21と416−22を含んでいる)を含む、ウェブページあるいは他の文書134(図1)をタッチ感知ディスプレイ上に表示する(604)。いくつかの実施形態では、すべてのユーザインタフェースオブジェクトがアクティベート可能である。いくつかの実施形態では、一定のユーザインタフェースオブジェクトプロパティ(例えば、隠しあるいはスタティックユーザインタフェースオブジェクト)を有するユーザインタフェースオブジェクトはアクティベート可能でないが、一方で、他のユーザインタフェースオブジェクトはアクティベート可能である。いくつかの実施形態では、一定のタイプ(例えば、ラベル)のユーザインタフェースオブジェクトはアクティベート可能でない。オプションとして、表示されている文書内のいくつかのあるいはすべてのオブジェクトは、文書内のHTMLあるいはXML命令(例えば、タグあるいは要素)によって静的に定義されるものとは対照的に、文書に埋め込まれている埋込アプリケーションによって生成されても良い。一方、表示されている文書内のいくつかのあるいはすべてのオブジェクトは、文書内のHTMLあるいはXML命令によって定義されていても良い。
デバイスは、表示されているウェブページに対応する第1の位置における第1の接触(例えば、接触409)をタッチ感知ディスプレイ上で検出する(606)。
第1の位置における第1の接触を検出することに応じて、デバイスは、第1の位置が、アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応するかどうかを判定する(608)(例えば、図4Cでは、接触409は、ユーザインタフェースオブジェクトの内のいずれにも対応していない)。
いくつかの実施形態では、第1の位置が、アクティベート可能なユーザインタフェースオブジェクトの1つのユーザインタフェースオブジェクトに対応する場合、デバイスは、第1の位置(例えば、第1の位置に重複するオブジェクトのヒット領域)に対応するアクティベート可能なユーザインタフェースオブジェクトに対応する動作を実行する(624)。
第1の位置が、アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応しない場合(610)、デバイスは、以下の動作を実行する(例えば、612及び620及びいくつかの実施形態では、それらの動作に含まれる動作)。
デバイスは、あるのであれば、第1の位置に関する所定のルールを最も満足するユーザインタフェースオブジェクトを識別する(612)。いくつかの実施形態では、所定のルールは、最も近いアクティベート可能なユーザインタフェースオブジェクトを識別することを要求し、そして、デバイスは、最も近いユーザインタフェースオブジェクトを識別する。いくつかの実施形態では、所定のルールは、最大距離制限内の最も近いアクティベート可能なユーザインタフェースオブジェクトを識別することを要求し、そして、デバイスは、存在するものがある場合、最も近いアクティベート可能なユーザインタフェースオブジェクトを識別する。但し、最大距離制限内にアクティベート可能なユーザインタフェースオブジェクトがない場合、デバイスは、任意のアクティベート可能なユーザインタフェースオブジェクトを識別することができない。
いくつかの実施形態では、所定のルールは、第1の位置に関する近接基準を含んでいる(614)。上述のように、近接基準は、オブジェクトの重心と第1の位置との間の距離、ユーザインタフェースオブジェクトから第1の距離への最短距離、ユーザインタフェースオブジェクトから、各アクティベート可能なユーザインタフェースオブジェクトに対する所定数の地点(例えば、オブジェクトの4つの角、4つの辺の中間点である8個の候補地点の内の最も近い地点)に基づく第1の位置への最短距離、及びユーザインタフェースオブジェクトから第1の位置への最短加重平均距離の少なくとも1つ含み、ここで、ユーザインタフェースオブジェクトから第1の位置への加重平均距離は、9個の候補地点の内の所定数(例えば、3)の地点に基づいている。9個の候補地点とは、ユーザインタフェースオブジェクトの4つの角、4つの辺の中間地点、及び重心である。
いくつかの実施形態では、第1の接触を検出することは、第1の位置での第1の接触の速度及び方向を判定することを含んでいて、所定のルールは、第1の接触の方向及び速度と、第1の位置に関する近接基準を含む複数の要素の加重組み合わせに基づいている。例えば、図4Cでは、イメージ416−21は、接触409に最も近いアクティベート可能なユーザインタフェースオブジェクトであり、デバイスは、十分な速度でボタン416−22に向けて接触409が移動している場合に、所定のルールを最も満足するユーザインタフェースオブジェクトとして、ボタン416−21を識別することができる。同様に、接触409が特定のボタンから離れる場合、ボタンから接触して離れる移動の方向が、所定のルールを適用する場合に考慮される(動作612)。これは、所定のルールを最も満足するオブジェクトとしてボタンを識別する可能性を削減する。
いくつかの実施形態では、ユーザインタフェースオブジェクトを識別することは、所定のルールを最も満足するユーザインタフェースオブジェクトを識別するために、第1の位置から、アクティベート可能なユーザインタフェースオブジェクトの少なくともサブセットへの各距離を判定する(例えば、図4Cでは、デバイスは、接触409からイメージ416−21と416−22との各距離を判定する)ことを含んでいる(616)。
いくつかの実施形態では、各距離のそれぞれは、第1の位置から、各アクティベート可能なユーザインタフェースオブジェクトの複数の地点への距離の加重平均を含んでいる(618)。例えば、接触409とイメージ416−21との間の距離は、第1の位置から、イメージ420−3(例えば、接触の重心409−1から地点416−21への距離、接触の重心409−1から地点420−2への距離、及び接触の重心409−1から地点420−4への距離の加重平均)の所定数(例えば、3個)の地点への距離の加重平均とすることができる。いくつかの実施形態では、最短距離は、次の最短距離よりもうより大きい重み付けがなされる(例えば、接触の重心409−1から地点420−3への距離は、接触の重心409−1から地点420−2への距離よりもより大きい重み付けがなされる)。
デバイスは、識別されるユーザインタフェースオブジェクトに対応する動作を実行する(620)。実行される動作は、典型的には、識別されるユーザインタフェースオブジェクトの1つ以上の特徴に依存する。例えば、識別されるユーザインタフェースオブジェクトが、図4Cのイメージ416−21である場合、デバイスは、イメージ416−21に対応する動作を実行する(例えば、この動作は、416−21で表示されるイメージを変更する、あるいは、デバイスに、イメージ416−21に関連付けられているウェブページを表示することを指示する等がある)。
いくつかの実施形態では、動作を実行することは、識別されるユーザインタフェースオブジェクトをアクティベートすることを備えている(622)。
いくつかの実施形態では、デバイスは、タッチ感知ディスプレイ上の、複数のアクティベート可能なユーザインタフェースオブジェクトの内の各アクティベート可能なユーザインタフェースオブジェクトの各位置を表示する。例えば、ウェブページを描画する場合、デバイスは、各アクティベート可能なユーザインタフェースオブジェクトの各位置(例えば、ウェブページのハイパーリンク)を判定し、そして、接触が、ユーザインタフェースオブジェクトの1つと重複するかどうかの判定(例えば、動作608)時、及び所定のルールを最も満足するユーザインタフェースオブジェクトの識別(例えば、動作612)時の一方の時にその各位置を使用する。
図5A−図5D及び図6を参照して上述される動作は、アクセシビリティモジュール126(図1)、アプリケーションソフトウェア132(特に、ブラウザアプリケーション133)、及び埋込アプリケーション144の少なくとも1つで実現することができる。アクセシビリティモジュール126、アプリケーションソフトウェア132、及び埋込アプリケーション144の少なくとも1つに加えて、あるいは、それらに代えて、上述の動作は、図7に示されるコンポーネントによって実現することができる。
図7は、いくつかの実施形態に従うイベントハンドリング390に対する例示のコンポーネントを示すブロック図である。いくつかの実施形態では、メモリ111(図1)は、イベントソーター770(例えば、オペレーティングシステム118)及び各アプリケーション132−1を含んでいる。
イベントソーター770は、イベント情報を受信して、イベント情報の配信先となる、アプリケーション132−1のアプリケーションビュー791とアプリケーション132−1を判定する。イベントソーター770は、イベントモニター771と、イベントディスパッチャモジュール774を含んでいる。いくつかの実施形態では、アプリケーション132−1は、アプリケーション内部状態792を含んでいて、これは、アプリケーションがアクティブであるあるいは実行中である場合に、タッチ感知ディスプレイ156上に表示される現在のアプリケーションビュー(群)を示している。いくつかの実施形態では、デバイス/グローバル内部状態146は、どのアプリケーション(群)が現在アクティブであるかを判定するためにイベントソーター770によって使用され、そして、アプリケーション内部状態792は、イベント情報の配信先のアプリケーションビュー791を判定するためにイベントソーター770によって使用される。
いくつかの実施形態では、アプリケーション内部状態792は、更なる状態を含んでいて、これには、例えば、アプリケーション132−1が実行を再開する場合に使用される再開情報、(これは、文書134の埋込アプリケーションによって制御されていても良い)アプリケーション132−1によって表示されるあるいは表示のために準備されている情報を示すユーザインタフェース状態情報、アプリケーション132−1の従前の状態あるいはビューへ戻ることをユーザに可能にする状態キュー、及びユーザによって行われる従前の動作のキューのやり直し/取り消しの内の、1つ以上がある。
イベントモニター771は、タッチ感知ディスプレイ156及び入力デバイス128の少なくとも一方からのイベント情報を受信する。イベント情報は、イベント(例えば、タッチ感知ディスプレイ156上のユーザタッチ、デバイス102のマルチタッチジェスチャーあるいは動きの一部として)、及びサブイベント(例えば、タッチ感知ディスプレイ156に渡るタッチの移動)の少なくとも一方についての情報を含んでいる。例えば、タッチイベントに対するイベント情報は、タッチの位置及びタイムスタンプの1つ以上を含んでいる。同様に、スワイプイベントに対するイベント情報は、スワイプの、位置、タイムスタンプ、方向及び速度の2つ以上を含んでいる。タッチ感知ディスプレイ156と入力デバイス128は、イベント情報及びサブイベント情報を、直接あるいは周辺機器インタフェースを介してイベントモニター771へ送信し、イベントモニター771は、イベント情報を受信して記憶する。いくつかの実施形態では、電子デバイス102は、更に、1つ以上のセンサ(不図示)を含み、これには、例えば、近接センサ、加速度計(群)、ジャイロスコープ、マイクロフォン、及びビデオカメラがあり、これらのセンサは、イベント情報とサブイベント情報をイベントモニター771へ送信する。
いくつかの実施形態では、イベントソーター770は、更に、ヒットビュー判定モジュール772、及びアクティブイベントレコグナイザー判定モジュール773の少なくとも一方を含んでいる。
ヒットビュー判定モジュール772は、タッチ感知ディスプレイ156が2つ以上のビューを表示している場合、サブイベントが1つ以上のビュー内のどこで発生しているかを判定するためのソフトウェア手順を提供する。ビューは、ユーザがディスプレイ上で見ることができる、コントロール及び他の要素(例えば、ユーザインタフェースオブジェクト)で構成されている。
アプリケーションと関連付けられているユーザインタフェースの別の態様は、本明細書では、時には、アプリケーションビューあるいはユーザインタフェースウィンドウと呼ばれるビューのセットであり、これには、情報が表示され、そして、タッチに基づくジェスチャーが発生する。タッチが検出されるアプリケーションビュー(各アプリケーションの)は、プログラム内のプログラム上のレベル、あるいはアプリケーションのビュー階層に対応していても良い。例えば、タッチが検出される最下位レベルのビューは、ヒットビューと呼ぶことができ、適切な入力として認識されるイベントのセットは、タッチに基づくジェスチャーを開始する、ヒットビュー上の最初のタッチの少なくとも一部に基づいて判定することができる。
ヒットビュー判定モジュール772は、タッチに基づくジェスチャーのサブイベントに関連する情報を受信する。アプリケーションが、階層で構成されている複数のビューを有している場合、ヒットビュー判定モジュール772は、階層内の最下位のビューとしてヒットビューを識別し、これは、サブイベントを処理するべきである。多くの状況では、ヒットビューは、開始するサブイベントが発生する最下位レベルのビューである(即ち、イベントあるいは潜在的なイベントを形成するサブイベントのシーケンスの第1のサブイベント)。ヒットビューがヒットビュー判定モジュールによって一旦識別されると、ヒットビューは、典型的には、同一のタッチあるいは入力ソースに対する、ヒットビューとして識別されている、その同一のタッチあるいは入力ソースに関連するサブイベントのすべてを受信する。
アクティブイベントレコグナイザーモジュール773は、ビュー階層内のどのビューが、サブイベントの特定のシーケンスを受信するべきかを判定する。いくつかの実施形態では、アクティブイベントレコグナイザー判定モジュール773は、ヒットビューが、サブイベントの特定のシーケンスを認識するように構成されているイベントレコグナイザーを有していない場合、ヒットビューの子領域あるいは親領域、あるいは、ヒットビューに関連するビュー階層内の任意の他の領域が、サブイベントの特定のシーケンスを受信すべきことを判定する。同様に、アクティブイベントレコグナイザー判定モジュール773が、サブイベントの特定のシーケンスを認識するように構成されているイベントレコグナイザーを有する領域を識別するまで、アクティブイベントレコグナイザー判定モジュール773は、この判定動作を繰り返す。
イベントディスパッチャモジュール774は、イベントレコグナイザー(例えば、イベントレコグナイザー780)へイベント情報をディスパッチする。アクティブイベントレコグナイザー判定モジュール773を含む実施形態では、イベントディスパッチャモジュール774は、アクティブイベントレコグナイザー判定モジュール773によって判定されるイベントレコグナイザーへイベント情報を配信する。いくつかの実施形態では、イベントディスパッチャモジュール774は、イベント情報をイベントキューに記憶し、これは、各イベントレシーバーモジュール782によって取得される。
いくつかの実施形態では、オペレーティングシステム126は、イベントソーター770を含んでいる。選択的には、アプリケーション132−1は、イベントソーター770を含んでいる。更なる別の実施形態では、イベントソーター770は、スタンドアローンモジュールであり、あるいは、メモリ102に記憶される別のモジュールの一部、例えば、接触/動きモジュール130である。
いくつかの実施形態では、アプリケーション132−1は、複数のイベントハンドラー790と1つ以上のアプリケーションビュー791を含み、それぞれは、アプリケーションのユーザインタフェースの各ビュー内で発生するタッチイベントを処理するための命令を含んでいる。アプリケーション132−1の各アプリケーションビュー791は、1つ以上のイベントレコグナイザー780を含んでいる。典型的には、各アプリケーションビュー791は、複数のイベントレコグナイザー780を含んでいる。他の実施形態では、1つ以上のイベントレコグナイザー780は、別のモジュールの一部であり、これには、例えば、ユーザインタフェースキット(不図示)、あるいは、アプリケーション132−1がメソッド及び他のプロパティを継承する、上位レベルのオブジェクトがある。いくつかの実施形態では、各イベントハンドラー790は、データアップデーター776、オブジェクトアップデーター777、GUIアップデーター778、及びイベントソーター770から受信されるイベントデータ779の内の1つ以上を含んでいる。イベントハンドラー790は、データアップデーター776、オブジェクトアップデーター777あるいはGUIアップデーター778を利用してあるいはコールして、アプリケーション内部状態792を更新することができる。選択的には、1つ以上のアプリケーションビュー791は、1つ以上の各イベントハンドラー790を含んでいる。また、いくつかの実施形態では、1つ以上のデータアップデーター776、オブジェクトアップデーター777、及びGUIアップデーター778は、各アプリケーションビュー791に含まれる。
各イベントレコグナイザー780は、イベントソーター770からイベント情報(例えば、イベントデータ779)を受信し、そして、そのイベント情報からイベントを識別する。イベントレコグナイザー780は、イベントレシーバー782とイベントコンパレーター784を含んでいる。いくつかの実施形態では、イベントレコグナイザー780は、更に、メタデータ783、及びイベント配信命令788(サブイベント配信命令を含む場合がある)の少なくとも1つのサブセットを含んでいる。
イベントレシーバー782は、イベントソーター770からイベント情報を受信する。イベント情報は、サブイベントについての情報、例えば、タッチあるいはタッチ移動についての情報を含んでいる。サブイベントに依存して、イベント情報は、更に、追加の情報、例えば、サブイベントの位置を含んでいる。サブイベントがイベント情報のタッチの動きに関係する場合、イベント情報は、更に、サブイベントの速度及び方向を含む場合がある。いくつかの実施形態では、イベントは、ある方向から別の方向へ(例えば、縦(ポートレイト)方向から横(ランドスケープ)方向へ、あるいはその逆)の回転を含んでいて、また、イベント情報は、デバイスの現在の方向(いわゆる、デバイス姿勢とも呼ばれる)についての対応する情報を含んでいる。
イベントコンパレーター784は、イベント情報と、所定のイベントあるいはサブイベント定義とを比較し、その比較に基づいて、イベントあるいはサブイベントを判定し、あるいは、イベントあるいはサブイベントの状態を判定するあるいは更新する。いくつかの実施形態では、イベントコンパレーター784は、イベント定義786を含んでいる。イベント定義786は、イベントの定義(例えば、サブイベントの所定のシーケンス)、例えば、イベント1(787−1)、イベント2(787−2)、及びその他を含んでいる。いくつかの実施形態では、イベント787のサブイベントは、例えば、タッチ開始、タッチ終了、タッチ移動、タッチキャンセル、マルチタッチ操作を含んでいる。一例では、イベント1(787−1)に対する定義は、表示されているオブジェクトのダブルタップである。ダブルタップは、例えば、所定のフェーズに対する表示されているオブジェクト上の第1のタッチ(タッチ開始)、所定のフェーズに対する第1の解除(タッチ終了)、所定のフェーズに対する表示されているオブジェクト上の第2のタッチ(タッチ開始)、及び所定のフェーズに対する第2の解除(タッチ終了)を備えている。別の例では、イベント2(787−2)に対する定義は、表示されているオブジェクト上のドラッグ操作である。ドラッグ操作は、例えば、所定のフェーズに対する表示されているオブジェクトのタッチ(あるいは接触)、タッチ感知ディスプレイ156に渡るタッチの移動、及びタッチの解除(タッチ終了)を備えている。いくつかの実施形態では、イベントは、更に、1つ以上の関係するイベントハンドラー790を含んでいる。
いくつかの実施形態では、イベント定義787は、各ユーザインタフェースオブジェクトに対するイベントの定義を含んでいる。いくつかの実施形態では、イベントコンパレーター784は、どのユーザインタフェースオブジェクトがサブイベントに関連付けられているかを判定するためのヒットテストを実行する。例えば、3つのユーザインタフェースオブジェクトがタッチ感知ディスプレイ156上で表示されているアプリケーションビューにおいては、タッチがタッチ感知ディスプレイ156上で検出される場合、イベントコンパレーター784は、3つのユーザインタフェースオブジェクトの内のどれがタッチ(サブイベント)に関連付けられているかを判定するためのヒットテストを実行する。各表示されているオブジェクトが各イベントハンドラー790に関連付けられている場合、イベントコンパレーターはヒットテストの結果を使用して、どのイベントハンドラー790をアクティベートするべきかを判定する。例えば、イベントコンパレーター784は、サブイベントに関連付けられているイベントハンドラーと、ヒットテストをトリガーするオブジェクトを選択する。
いくつかの実施形態では、各イベント787に対する定義は、サブイベントのシーケンスが、イベントレコグナイザーのイベントタイプに対応するか否かを判定するまで、イベントの情報配信を遅延する遅延動作を含んでいる。
各イベントレコグナイザー780が、一連のサブイベントが、イベント定義786内の任意のイベントと一致しないと判定する場合、各イベントレコグナイザー780は、タッチに基づくジェスチャーの後続のサブイベントを無視した後、イベント不能、イベント失敗あるいはイベント終了状態に入る。この状況では、他のイベントレコグナイザーは、もしあるのであれば、ヒットビューに対する残りの動作は、進行中のタッチに基づくジェスチャーのサブイベントを追跡し、そして、処理することを継続する。
いくつかの実施形態では、各イベントレコグナイザー780は、構成設定可能なプロパティ、フラグ及びリストの少なくとも1つを含んでいて、これは、どのようにしてイベント配信システムがアクティブな関係するイベントレコグナイザーへのサブイベント配信を実行するべきかを示している。いくつかの実施形態では、メタデータ783は、構成設定可能なプロパティ、フラグ及びリストの少なくとも1つを含むメタデータ783を含んでいて、これは、どのようにしてイベントレコグナイザーが他のイベントレコグナイザーと対話できるかを示している。いくつかの実施形態では、メタデータ783は、構成設定可能なプロパティ、フラグ及びリストの少なくとも1つを含み、これは、サブイベントが、可変レベルのビュー内あるいはプログラム上の階層内へ配信されるかを示している。
いくつかの実施形態では、各イベントレコグナイザー780は、イベントの1つ以上の特定のサブイベントが認識される場合のイベントに関連付けられているイベントハンドラー790をアクティベートする。いくつかの実施形態では、各イベントレコグナイザー780は、イベントに関連付けられているイベント情報をイベントハンドラー790へ配信する。イベントハンドラー790をアクティベートすることは、サブイベントを各ヒットビューへ送信すること(かつ遅延して送信すること)とは別である。いくつかの実施形態では、イベントレコグナイザー780は、認識されるイベントに関連付けられているフラグを投入し、そして、フラグに関連付けられているイベントハンドラー790はそのフラグを取得して、所定のプロセスを実行する。
いくつかの実施形態では、イベント配信命令788は、サブイベント配信命令を含み、これは、イベントハンドラーをアクティベートすることなく、サブイベントについてのイベント情報を配信する。代わりに、サブイベント配信命令は、イベント情報を、一連のサブイベントに関連付けられているイベントハンドラーへあるいはアクティブな関係するビューへ配信する。一連のサブイベントあるいはアクティブな関係するビューに関連付けられているイベントハンドラーは、イベント情報を受信して、所定のプロセスを実行する。
いくつかの実施形態では、イベントハンドラー(群)790は、データアップデーター776、オブジェクトアップデーター777、及びGUIアップデーター778を含んでいる。いくつかの実施形態では、データアップデーター776、オブジェクトアップデーター777、及びGUIアップデーター778は、各アプリケーション132−1あるいはアプリケーションビュー791の1つのモジュールに含まれる。他の実施形態では、これらは、2つ以上のソフトウェアモジュールに含まれる。いくつかの実施形態では、データアップデーター776は、アプリケーション132−1で使用されるデータを作成し、更新する。いくつかの実施形態では、オブジェクトアップデーター777は、アプリケーション132−1で使用されるオブジェクトを作成し、更新する。GUIアップデーター778は、GUIを更新する。
タッチ感知ディスプレイ上のユーザタッチのイベント処理に関する上述の議論は、また、入力デバイスを備える電子デバイス102を操作するための、他の形態のユーザ入力にも当てはまることが理解されるべきであり、ここで、すべてがタッチスクリーン上で開始されるとは限らず、例えば、1回のキー押下あるいは保持、あるいは複数回のキー押下あるいは保持を伴うあるいは伴わない、マウス移動及びマウスボタン押下の調整、タッチパッド上での、タップ、ドラッグ、スクロール等のユーザ移動、ペンスタイラス入力、デバイスの移動、音声命令、検出される目の動き、生体測定入力、及びそれらの任意の組み合わせがあり、これらは、認識されるイベントを定義するイベント及びサブイベントの少なくとも一方に対応する入力として利用することができる。
いくつかの実施形態では、図8は、上述の実施形態に従って構成される電子デバイス800の機能ブロック図を示している。このデバイスの機能ブロックは、ハードウェア、ソフトウェア、あるいはハードウェアと上述の動作を実行するためのソフトウェアの組み合わせによって実現することができる。図8に示される機能ブロック群は、上述の発明の原理を実現するために組み合されたりあるいはサブブロックに分割したりすることができることが当業者には理解される。それゆえ、本明細書の説明は、上述の機能ブロック群の任意の取り得る組み合わせあるいは分割、あるいは更なる定義をサポートすることができる。
図8に示されるように、電子デバイス800は、アプリケーションのユーザインタフェースを表示し、そして、指の接触を受け付けるように構成されているタッチ感知ディスプレイユニット802を含んでいる。表示されるユーザインタフェースは、複数の階層レベルで構成されている複数の領域を含み、この複数の領域は、各階層レベルでの各領域を含んでいる。各領域は、各階層レベルの下位の階層レベルで2つ以上の子領域を有している。電子デバイス800は、更に、タッチ感知ディスプレイユニット802に接続されている処理ユニット804を含んでいる。いくつかの実施形態では、処理ユニット804は、検出ユニット806、判定ユニット808、識別ユニット810、接触処理ユニット812、確認ユニット814及び生成ユニット816を含んでいる。
処理ユニット804は、第1の位置でのタッチ感知ディスプレイユニット802上の第1の接触を検出するように構成されていて(例えば、検出ユニット806を用いて)、この第1の位置は、各領域には対応しているが、各領域の2つ以上の子領域の内の任意の子領域には対応していない。処理ユニット804は、第1の接触の検出に応じて、アプリケーションが、各領域とともに第1の接触を処理するように構成されているかどうかを(例えば、判定ユニット808を用いて)判定するように構成されている。処理ユニット804は、アプリケーションが、各領域とともに第1の接触を処理するように構成されていない場合、アプリケーションが、各領域の2つ以上の子領域の内の少なくとも1つの子領域とともに第1の接触を処理するように更に構成されているかどうかを判定するように構成されている(例えば、判定ユニット808を用いて)。処理ユニット804は、アプリケーションが、各領域の2つ以上の子領域の内の少なくとも1つの子領域とともに第1の接触を処理するように構成されている場合、第1の位置に関連する子領域の位置に従って、各領域の2つ以上の子領域の各子領域を識別し(例えば、識別ユニット810を用いて)、そして、アプリケーションを使用して、識別される各子領域とともに第1の接触を処理するように更に構成されている(例えば、接触処理ユニット812を用いて)。
いくつかの実施形態では、処理ユニット804は、アプリケーションが、各領域とともに第1の接触を処理するように構成されている場合、アプリケーションを使用して各領域とともに第1の接触を処理するように構成されている(例えば、接触処理ユニット812を用いて)。
いくつかの実施形態では、2つ以上の子領域の各子領域は各ヒット領域を有し、その内の少なくとも1つは、対応する子領域とは異なる。また、処理ユニットは、第1の位置が、子領域の各ヒット領域の内の任意のヒット領域に対応しないことを判定するように構成されている。
いくつかの実施形態では、第1の位置は、各領域の2つ以上の子領域の内の任意の子領域の外に配置されている。
いくつかの実施形態では、各領域は、各階層レベルより上位の階層レベルで親領域を有している。
いくつかの実施形態では、処理ユニット804は、アプリケーションが、各領域の2つ以上の子領域の内の少なくとも1つの子領域とともに第1の接触を処理するように構成されておらず、また、アプリケーションが、親領域とともに第1の接触を処理するように構成されている場合、アプリケーションを使用して親領域とともに第1の接触を処理するように更に構成されている(例えば、接触処理ユニット812を用いて)。
いくつかの実施形態では、処理ユニット804は、アプリケーションが、各領域の2つ以上の子領域の内の少なくとも1つの子領域とともに第1の接触を処理するように構成されていない場合、親領域内の接触として第1の接触を処理するように更に構成されている(例えば、接触処理ユニット812を用いて)。
いくつかの実施形態では、処理ユニット804は、各領域の2つ以上の子領域の内、第1の位置に関する近接基準を最も満足する子領域を識別するように更に構成されている(例えば、識別ユニット810を用いて)。
いくつかの実施形態では、処理ユニット804は、各領域の2つ以上の子領域の内、第1の位置に関する近接基準を最も満足する子領域を識別し(例えば、識別ユニット810を用いて)、また、識別される子領域が、第1の位置に関する最大距離制限を満足することを確認するように更に構成されている(例えば、確認ユニット814を用いて)。
いくつかの実施形態では、2つ以上の子領域の内の1つ以上の子領域は、所定の近接プロパティを有し、また、少なくとも1つの他の子領域は、所定の近接プロパティを有していない。これらの実施形態では、処理ユニット804は、第1の位置に関連する子領域の位置に従って、所定の近接プロパティを有する各領域の1つ以上の子領域の各子領域を識別するように構成されている(例えば、識別ユニット810を用いて)。
いくつかの実施形態では、各領域が、所定のプロパティのセットの内の少なくとも1つのプロパティを有するユーザインタフェースオブジェクトを含んでいる場合に、アプリケーションは、各領域とともに第1の接触を処理するように構成されていると見なされる。
いくつかの実施形態では、各領域が、第1の接触を含むジェスチャーに応じてアクティベートされるように構成されているユーザインタフェースオブジェクトを備える場合、アプリケーションは、各領域とともに第1の接触を処理するように構成されていると見なされる。
いくつかの実施形態では、少なくとも1つのイベントレコグナイザーが各領域に関連付けられている場合、アプリケーションは、各領域とともに第1の接触を処理するように構成されていると見なされる。
いくつかの実施形態では、第1の接触を含むジェスチャーを認識するように構成されているイベントレコグナイザーが、各領域に関連付けられている場合、アプリケーションは、各領域とともに第1の接触を処理するように構成されていると見なされる。
いくつかの実施形態では、複数の領域は、それらの領域に対応する複数の階層構造のビューを備えている。複数のビューのそれぞれは、各ビューに関連付けられている少なくとも1つのイベントレコグナイザーを有している。処理ユニット804は、識別される各子領域に対応するビューの少なくとも1つのイベントレコグナイザーによって処理されるべきイベントを生成するように構成されている(例えば、生成ユニット816を用いて)。
いくつかの実施形態では、複数の領域は、それらの領域に対応する複数の階層構造のビューを備えている。処理ユニット804は、識別される各子領域における接触を第1の接触として処理するように構成されている(例えば、接触処理ユニット812を用いて)。
いくつかの実施形態では、図9は、上述の実施形態に従って構成される電子デバイス900の機能ブロック図を示している。デバイスの機能ブロックは、ハードウェア、ソフトウェア、あるいはハードウェアと上述の動作を実行するためのソフトウェアの組み合わせによって実現することができる。図9に示される機能ブロック群は、上述の発明の原理を実現するために組み合されたりあるいはサブブロックに分割したりすることができることが当業者には理解される。それゆえ、本明細書の説明は、上述の機能ブロック群の任意の取り得る組み合わせあるいは分割、あるいは更なる定義をサポートすることができる。
図9に示されるように、電子デバイス900は、指の接触を受け付けて、そして、複数のアクティベート可能なユーザインタフェースオブジェクトを含むウェブページを表示するように構成されているタッチ感知ディスプレイ902と、タッチ感知ディスプレイユニットに接続されている処理ユニット904とを含んでいる。いくつかの実施形態では、処理ユニット904は、検出ユニット906、判定ユニット908、識別ユニット910、実行ユニット912、及びアクティベートユニット914を含んでいる。
処理ユニット904は、タッチ感知ディスプレイユニット902において、表示されているウェブページに対応する第1の位置での第1の接触を検出し(例えば、検出ユニット906を用いて)、また、第1の位置での第1の接触の検出に応じて、第1の位置が、アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応するかどうかを判定するように構成されている(例えば、判定ユニット908を用いて)。処理ユニット904は、第1の位置が、アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのユーザインタフェースオブジェクトに対応しない場合、もしあるのであれば、第1の位置に関する所定のルールを最も満足するユーザインタフェースオブジェクトを識別し(例えば、識別ユニット910を用いて)、そして、識別されるユーザインタフェースオブジェクトに対応する動作を実行するように構成されている(例えば、実行ユニット912を用いて)。
いくつかの実施形態では、処理ユニット904は、第1の位置が、アクティベート可能なユーザインタフェースオブジェクトの1つのユーザインタフェースオブジェクトに対応する場合、第1の位置に対応するアクティベート可能なユーザインタフェースオブジェクトに対応する動作を実行するように構成されている(例えば、処理ユニット912を用いて)。
いくつかの実施形態では、所定のルールは、第1の位置に関する近接基準を含んでいる。
いくつかの実施形態では、処理ユニット904は、第1の位置から、アクティベート可能なユーザインタフェースオブジェクトの少なくとも1つのサブセットへの各距離を判定するように構成されている(例えば、判定ユニット908を用いて)。
いくつかの実施形態では、各距離のそれぞれは、第1の位置から、各アクティベート可能なユーザインタフェースオブジェクトの複数の地点への距離の加重平均を備えている。
いくつかの実施形態では、処理ユニット904は、識別されるユーザインタフェースオブジェクトをアクティベートするように構成されている(例えば、アクティベートユニット914を用いて)。
例示の目的のためである上述の説明は、特定の実施形態を参照して記載されている。しかしながら、上述の例示の議論は、包括的なものとする、あるいは、本発明を、開示される詳細な形態に限定することを意図するものではない。多くの修正及び変形が、上述の教示の観点で可能である。本発明の原理及びその実際の用途を最も説明するために、実施形態が選択されそして記載され、それによって、当業者に、本発明、及び、予期される特定の用途に適するようになされた様々な変形を伴う様々な実施形態を最善に利用することを可能する。

Claims (21)

  1. 方法であって、
    タッチ感知ディスプレイ付きの電子デバイスにおいて、
    前記タッチ感知ディスプレイにおいて、複数のビューと、前記複数のビュー内の複数のアクティベート可能なユーザインタフェースオブジェクトを含むウェブページを表示するステップと、
    前記タッチ感知ディスプレイにおいて、表示されている前記ウェブページに対応する第1の位置における第1の接触を検出するステップと、
    前記第1の位置における前記第1の接触の検出に応じて、
    前記第1の位置に基づくヒットビューであって、前記第1の位置に対応する、前記複数のビューのビュー階層の最下位ビューであるヒットビューを識別するステップと、
    アプリケーションが、前記ヒットビューとともに前記第1の接触を処理するように構成されているかどうかを判定するステップと、
    前記アプリケーションが前記ヒットビューとともに前記第1の接触を処理するように構成されていないという判定に従って、前記アプリケーションが前記ヒットビューの子ビューのジェスチャーレコグナイザーとともに前記第1の接触を処理するように構成されているかどうかを判定するステップであって、前記ヒットビューは前記子ビューを含み、また、前記子ビューは前記ビュー階層の前記ヒットビューのレベルよりも低いレベルにある、判定するステップと、
    前記アプリケーションが前記ヒットビューの子ビューのジェスチャーレコグナイザーとともに前記第1の接触を処理するように構成されているという判定に従って、前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとともに前記第1の接触を処理するステップと
    を備えることを特徴とする方法。
  2. 前記アプリケーションが前記ヒットビューとともに前記第1の接触を処理するように構成されている場合、前記ヒットビューとともに前記第1の接触を処理するステップを更に含んでいる
    ことを特徴とする請求項1に記載の方法。
  3. 前記ヒットビューとともに前記第1の接触を処理することは、前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとともに前記第1の接触を処理することとは異なる
    ことを特徴とする請求項2に記載の方法。
  4. 前記ヒットビューとともに前記第1の接触を処理することは、前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとは異なる前記ヒットビューのジェスチャーレコグナイザーに、前記第1の接触に対応するひとつ以上のサブイベントを送ることを含み、
    前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとともに前記第1の接触を処理することは、前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーに、前記第1の接触に対応するひとつ以上のイベントを送ることを含む
    ことを特徴とする請求項2または3に記載の方法。
  5. 前記ヒットビューは、複数の子ビューを含み、
    前記アプリケーションは、前記複数の子ビューの内の2つ以上の子ビューの内の任意のビューとともに前記第1の接触を処理するように構成されていて、
    前記第1の接触は、前記第1の位置に関する所定のルールを最も満足する前記子ビューとともに処理され、
    前記所定のルールは、前記第1の位置に関する近接基準を含んでいる
    ことを特徴とする請求項1から4のいずれか1項に記載の方法。
  6. 前記近接基準は、前記第1の位置から、前記2つ以上の子ビューの内の少なくともサブセットへの各距離に基づいている
    ことを特徴とする請求項に記載の方法。
  7. 前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとともに前記第1の接触を処理するステップは、前記子ビュー内の各ユーザインタフェースオブジェクトをアクティベートすることを含んでいる
    ことを特徴とする請求項1から6のいずれか1項に記載の方法。
  8. タッチ感知ディスプレイと、1つ以上のプロセッサと、前記1つ以上のプロセッサによって実行するための1つ以上のプログラムを記憶するメモリとを備えている電子デバイスであって、
    前記1つ以上のプログラムは、
    前記タッチ感知ディスプレイにおいて、複数のビューと、前記複数のビュー内の複数のアクティベート可能なユーザインタフェースオブジェクトを含むウェブページを表示するステップと、
    前記タッチ感知ディスプレイにおいて、表示されている前記ウェブページに対応する第1の位置における第1の接触を検出するステップと、
    前記第1の位置における前記第1の接触の検出に応じて、
    前記第1の位置に基づくヒットビューであって、前記第1の位置に対応する、前記複数のビューのビュー階層の最下位ビューであるヒットビューを識別するステップと、
    アプリケーションが、前記ヒットビューとともに前記第1の接触を処理するように構成されているかどうかを判定するステップと、
    前記アプリケーションが前記ヒットビューとともに前記第1の接触を処理するように構成されていないという判定に従って、前記アプリケーションが前記ヒットビューの子ビューのジェスチャーレコグナイザーとともに前記第1の接触を処理するように構成されているかどうかを判定するステップであって、前記ヒットビューは前記子ビューを含み、また、前記子ビューは前記ビュー階層の前記ヒットビューのレベルよりも低いレベルにある、判定するステップと、
    前記アプリケーションが前記ヒットビューの子ビューのジェスチャーレコグナイザーとともに前記第1の接触を処理するように構成されているという判定に従って、前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとともに前記第1の接触を処理するステップと
    を実行するための命令を含んでいる
    ことを特徴とする電子デバイス。
  9. 前記1つ以上のプログラムは、前記アプリケーションが前記ヒットビューとともに前記第1の接触を処理するように構成されている場合、前記ヒットビューとともに前記第1の接触を処理するステップを実行するための命令を更に含んでいる
    ことを特徴とする請求項に記載の電子デバイス。
  10. 前記ヒットビューとともに前記第1の接触を処理することは、前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとともに前記第1の接触を処理することとは異なる
    ことを特徴とする請求項9に記載の電子デバイス。
  11. 前記ヒットビューとともに前記第1の接触を処理することは、前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとは異なる前記ヒットビューのジェスチャーレコグナイザーに、前記第1の接触に対応するひとつ以上のサブイベントを送ることを含み、
    前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとともに前記第1の接触を処理することは、前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーに、前記第1の接触に対応するひとつ以上のイベントを送ることを含む
    ことを特徴とする請求項9または10に記載の電子デバイス。
  12. 前記ヒットビューは、複数の子ビューを含み、
    前記アプリケーションは、前記複数の子ビューの内の2つ以上の子ビューの内の任意のビューとともに前記第1の接触を処理するように構成されていて、
    前記第1の接触は、前記第1の位置に関する所定のルールを最も満足する前記子ビューとともに処理され、
    前記所定のルールは、前記第1の位置に関する近接基準を含んでいる
    ことを特徴とする請求項8から11のいずれか1項に記載の電子デバイス。
  13. 前記近接基準は、前記第1の位置から、前記2つ以上の子ビューの内の少なくともサブセットへの各距離に基づいている
    ことを特徴とする請求項12に記載の電子デバイス。
  14. 前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとともに前記第1の接触を処理するステップを実行するための命令は、前記子ビュー内の各ユーザインタフェースオブジェクトをアクティベートするための命令を更に含んでいる
    ことを特徴とする請求項8から13のいずれか1項に記載の電子デバイス。
  15. タッチ感知ディスプレイ付きの電子デバイスの1つ以上のプロセッサによって実行するためのプログラムであって
    記タッチ感知ディスプレイにおいて、複数のビューと、前記複数のビュー内の複数のアクティベート可能なユーザインタフェースオブジェクトを含むウェブページを表示するステップと、
    前記タッチ感知ディスプレイにおいて、表示されている前記ウェブページに対応する第1の位置における第1の接触を検出するステップと、
    前記第1の位置における前記第1の接触の検出に応じて、
    前記第1の位置に基づくヒットビューであって、前記第1の位置に対応する、前記複数のビューのビュー階層の最下位ビューであるヒットビューを識別するステップと、
    アプリケーションが、前記ヒットビューとともに前記第1の接触を処理するように構成されているかどうかを判定するステップと、
    前記アプリケーションが前記ヒットビューとともに前記第1の接触を処理するように構成されていないという判定に従って、前記アプリケーションが前記ヒットビューの子ビューのジェスチャーレコグナイザーとともに前記第1の接触を処理するように構成されているかどうかを判定するステップであって、前記ヒットビューは前記子ビューを含み、また、前記子ビューは、前記ビュー階層の前記ヒットビューのレベルよりも低いレベルにある、判定するステップと、
    前記アプリケーションが前記ヒットビューの子ビューのジェスチャーレコグナイザーとともに前記第1の接触を処理するように構成されているという判定に従って、前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとともに前記第1の接触を処理するステップと
    を実行するための命令を含んでいる
    ことを特徴とするプログラム
  16. 前記アプリケーションが前記ヒットビューとともに前記第1の接触を処理するように構成されている場合、前記ヒットビューとともに前記第1の接触を処理するステップを実行するための命令を更に含んでいる
    ことを特徴とする請求項15に記載のプログラム
  17. 前記ヒットビューとともに前記第1の接触を処理することは、前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとともに前記第1の接触を処理することとは異なる
    ことを特徴とする請求項16に記載のプログラム。
  18. 前記ヒットビューとともに前記第1の接触を処理することは、前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとは異なる前記ヒットビューのジェスチャーレコグナイザーに、前記第1の接触に対応するひとつ以上のサブイベントを送ることを含み、
    前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとともに前記第1の接触を処理することは、前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーに、前記第1の接触に対応するひとつ以上のイベントを送ることを含む
    ことを特徴とする請求項16または17に記載のプログラム。
  19. 前記ヒットビューは、複数の子ビューを含み、
    前記アプリケーションは、前記複数の子ビューの内の2つ以上の子ビューの内の任意のビューとともに前記第1の接触を処理するように構成されていて、
    前記第1の接触は、前記第1の位置に関する所定のルールを最も満足する前記子ビューとともに処理され、
    前記所定のルールは、前記第1の位置に関する近接基準を含んでいる
    ことを特徴とする請求項15から18のいずれか1項に記載のプログラム
  20. 前記近接基準は、前記第1の位置から、前記2つ以上の子ビューの内の少なくともサブセットへの各距離に基づいている
    ことを特徴とする請求項19に記載のプログラム
  21. 前記ヒットビューの前記子ビューの前記ジェスチャーレコグナイザーとともに前記第1の接触を処理するステップを実行するための命令は、前記子ビュー内の各ユーザインタフェースオブジェクトをアクティベートするための命令を更に含んでいる
    ことを特徴とする請求項15から20のいずれか1項に記載のプログラム
JP2014191701A 2010-06-14 2014-09-19 コントロール選択近似 Active JP5977788B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US35466610P 2010-06-14 2010-06-14
US61/354,666 2010-06-14
US12/892,851 US10216408B2 (en) 2010-06-14 2010-09-28 Devices and methods for identifying user interface objects based on view hierarchy
US12/892,848 US8552999B2 (en) 2010-06-14 2010-09-28 Control selection approximation
US12/892,848 2010-09-28
US12/892,851 2010-09-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013515382A Division JP5621042B2 (ja) 2010-06-14 2011-06-08 コントロール選択近似

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016144701A Division JP6163592B2 (ja) 2010-06-14 2016-07-22 コントロール選択近似

Publications (2)

Publication Number Publication Date
JP2015018572A JP2015018572A (ja) 2015-01-29
JP5977788B2 true JP5977788B2 (ja) 2016-08-24

Family

ID=44514954

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2013515382A Active JP5621042B2 (ja) 2010-06-14 2011-06-08 コントロール選択近似
JP2014191701A Active JP5977788B2 (ja) 2010-06-14 2014-09-19 コントロール選択近似
JP2016144701A Active JP6163592B2 (ja) 2010-06-14 2016-07-22 コントロール選択近似

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013515382A Active JP5621042B2 (ja) 2010-06-14 2011-06-08 コントロール選択近似

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016144701A Active JP6163592B2 (ja) 2010-06-14 2016-07-22 コントロール選択近似

Country Status (7)

Country Link
US (2) US8552999B2 (ja)
EP (1) EP2545432B1 (ja)
JP (3) JP5621042B2 (ja)
KR (1) KR101453641B1 (ja)
CN (2) CN102884500B (ja)
AU (1) AU2011268047C1 (ja)
WO (1) WO2011159531A2 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9256356B2 (en) * 2001-03-29 2016-02-09 International Business Machines Corporation Method and system for providing feedback for docking a content pane in a host window
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
US20120210261A1 (en) * 2011-02-11 2012-08-16 Apple Inc. Systems, methods, and computer-readable media for changing graphical object input tools
US8967456B2 (en) * 2011-05-26 2015-03-03 International Business Machines Corporation Method for tagging elements in a user interface
US9727227B2 (en) * 2011-07-28 2017-08-08 Microsoft Technology Licensing, Llc Multi-touch remoting
US20130055222A1 (en) * 2011-08-31 2013-02-28 Robert David Darrow Magnetic resonance imaging system with programmable subsystem and method for programming
JP5805601B2 (ja) * 2011-09-30 2015-11-04 京セラ株式会社 装置、方法、及びプログラム
JP5852392B2 (ja) * 2011-09-30 2016-02-03 京セラ株式会社 装置、方法、及びプログラム
US10444836B2 (en) 2012-06-07 2019-10-15 Nook Digital, Llc Accessibility aids for users of electronic devices
CN104582773B (zh) * 2012-06-20 2017-09-26 马奎特紧急护理公司 具有带有用户可选择背景的显示器的呼吸设备
US20140026101A1 (en) 2012-07-20 2014-01-23 Barnesandnoble.Com Llc Accessible Menu Navigation Techniques For Electronic Devices
US9516088B2 (en) * 2012-08-29 2016-12-06 Ebay Inc. Systems and methods to consistently generate web content
US9319743B2 (en) 2012-11-27 2016-04-19 Lg Electronics Inc. Method and apparatus for processing digital service signal
KR20140138224A (ko) * 2013-01-06 2014-12-03 인텔 코오퍼레이션 터치 데이터의 분산된 전처리와 디스플레이 영역 제어를 위한 방법, 장치, 및 시스템
US9971495B2 (en) * 2013-01-28 2018-05-15 Nook Digital, Llc Context based gesture delineation for user interaction in eyes-free mode
US9703477B2 (en) 2013-02-19 2017-07-11 Facebook, Inc. Handling overloaded gestures
EP2962224A4 (en) 2013-03-01 2016-10-19 Quixey Inc GENERATING SEARCH RESULTS WITH STATUS LINKS ON APPLICATIONS
US11096668B2 (en) 2013-03-13 2021-08-24 Samsung Electronics Co., Ltd. Method and ultrasound apparatus for displaying an object
WO2014142468A1 (en) 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Method of providing copy image and ultrasound apparatus therefor
US9696872B2 (en) 2013-05-21 2017-07-04 International Business Machines Corporation Treemap perspective manipulation
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US10684740B2 (en) * 2013-11-04 2020-06-16 Facebook, Inc. Intervention conditions
US9720672B2 (en) * 2014-01-06 2017-08-01 Quixey, Inc. Searching and accessing application functionality
US20150242421A1 (en) 2014-02-21 2015-08-27 Quixey, Inc. Location-Based Searching
US9430142B2 (en) * 2014-07-17 2016-08-30 Facebook, Inc. Touch-based gesture recognition and application navigation
US10146409B2 (en) * 2014-08-29 2018-12-04 Microsoft Technology Licensing, Llc Computerized dynamic splitting of interaction across multiple content
US9626443B2 (en) 2014-10-23 2017-04-18 Quixey, Inc. Searching and accessing application functionality
JP2016148965A (ja) * 2015-02-12 2016-08-18 三菱電機株式会社 表示制御装置および表示制御方法
US20170123598A1 (en) * 2015-10-29 2017-05-04 Hand Held Products, Inc. System and method for focus on touch with a touch sensitive screen display
EP3285145A3 (en) 2015-11-23 2018-05-23 Verifone, Inc. Authentication code entry in touch-sensitive screen enabled devices
US10705723B2 (en) 2015-11-23 2020-07-07 Verifone, Inc. Systems and methods for authentication code entry in touch-sensitive screen enabled devices
WO2017185327A1 (zh) * 2016-04-29 2017-11-02 华为技术有限公司 一种用户界面显示方法及终端
CN107016010A (zh) 2016-06-30 2017-08-04 阿里巴巴集团控股有限公司 超链接对象的处理方法和装置
CN106325668B (zh) * 2016-08-11 2019-10-18 网易(杭州)网络有限公司 触摸事件响应处理方法及系统
US10163184B2 (en) * 2016-08-17 2018-12-25 Adobe Systems Incorporated Graphics performance for complex user interfaces
JP6582203B2 (ja) * 2016-10-05 2019-10-02 株式会社大都技研 遊技台
US10606448B2 (en) 2017-01-04 2020-03-31 International Business Machines Corporation Searching and displaying child objects of a parent object
JP6388744B1 (ja) * 2017-09-08 2018-09-12 三菱電機株式会社 測距装置および測距方法
US10678404B2 (en) * 2017-12-15 2020-06-09 International Business Machines Corporation Operation of a data processing system during graphical user interface transitions
WO2019143335A1 (en) 2018-01-18 2019-07-25 Hewlett-Packard Development Company, L.P. Touchscreen devices to transmit input selectively
JP6616052B1 (ja) * 2018-02-05 2019-12-04 楽天株式会社 提示装置、提示方法、及び、プログラム
WO2019239450A1 (ja) * 2018-06-11 2019-12-19 三菱電機株式会社 入力制御装置、操作装置および入力制御方法
USD976268S1 (en) * 2019-10-10 2023-01-24 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11308259B2 (en) * 2020-03-09 2022-04-19 Servicenow, Inc. Web element retargeting
US11648481B2 (en) * 2020-10-20 2023-05-16 Nvidia Corporation Game event recognition

Family Cites Families (535)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1517521A (en) 1975-09-01 1978-07-12 Tilgate Pallets Ltd Pallets
US4455452A (en) 1982-09-13 1984-06-19 Touch Activated Switch Arrays, Inc. Touch activated controller for generating X-Y output information
US4674066A (en) 1983-02-18 1987-06-16 Houghton Mifflin Company Textual database system using skeletonization and phonetic replacement to retrieve words matching or similar to query words
JPH02140822A (ja) 1988-11-22 1990-05-30 Nec Corp マルチウインドディスプレイ方式
US5252951A (en) 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
JP2862626B2 (ja) 1990-03-22 1999-03-03 株式会社東芝 電子辞書及び情報検索方法
US5046434A (en) 1990-05-02 1991-09-10 Penda Corporation Plastic reinforced thermoformed pallet
JP3145735B2 (ja) 1991-07-17 2001-03-12 富士通株式会社 入力制御方式
JPH05197573A (ja) 1991-08-26 1993-08-06 Hewlett Packard Co <Hp> タスク指向パラダイムによるタスク管理システム
JP2827612B2 (ja) 1991-10-07 1998-11-25 富士通株式会社 タッチパネル装置およびタッチパネル装置におけるオブジェクトの表示方法。
US5233547A (en) 1991-11-12 1993-08-03 Ncr Corporation Electronic checking account apparatus and method having a digitizer to receive information as a check is being written
JP2787523B2 (ja) 1992-04-15 1998-08-20 沖電気工業株式会社 キーボード
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5488204A (en) 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
US7084859B1 (en) 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
JP2999335B2 (ja) 1992-11-05 2000-01-17 シャープ株式会社 ジェスチャー処理装置およびジェスチャー処理方法
US5583543A (en) 1992-11-05 1996-12-10 Sharp Kabushiki Kaisha Pen input processing apparatus
US5612719A (en) 1992-12-03 1997-03-18 Apple Computer, Inc. Gesture sensitive buttons for graphical user interfaces
US5463725A (en) 1992-12-31 1995-10-31 International Business Machines Corp. Data processing system graphical user interface which emulates printed material
US5513309A (en) 1993-01-05 1996-04-30 Apple Computer, Inc. Graphic editor user interface for a pointer-based computer system
DE4406668C2 (de) * 1993-04-27 1996-09-12 Hewlett Packard Co Verfahren und Vorrichtung zum Betreiben eines berührungsempfindlichen Anzeigegeräts
JP2986047B2 (ja) 1993-04-29 1999-12-06 インターナショナル・ビジネス・マシーンズ・コーポレイション ディジタル入力用表示装置並びに入力処理装置および方法
DE69432199T2 (de) 1993-05-24 2004-01-08 Sun Microsystems, Inc., Mountain View Graphische Benutzerschnittstelle mit Verfahren zur Schnittstellebildung mit fernsteuernden Einrichtungen
US6035343A (en) 1993-06-11 2000-03-07 Fujitsu Limited Method for executing software formed of software components and a system for executing such software
CA2124505C (en) 1993-07-21 2000-01-04 William A. S. Buxton User interface having simultaneously movable tools and cursor
US5818455A (en) 1993-07-21 1998-10-06 Xerox Corporation Method and apparatus for operating on the model data structure of an image to produce human perceptible output using a viewing operation region having explicit multiple regions
US5581670A (en) 1993-07-21 1996-12-03 Xerox Corporation User interface having movable sheet with click-through tools
US5627959A (en) 1993-09-20 1997-05-06 Oracle Corporation Method for manipulating graphic objects
US5564112A (en) 1993-10-14 1996-10-08 Xerox Corporation System and method for generating place holders to temporarily suspend execution of a selected command
US5454960A (en) 1993-11-10 1995-10-03 Advanced Building Technologies, Inc. Oil change and recycling system
US5534893A (en) 1993-12-15 1996-07-09 Apple Computer, Inc. Method and apparatus for using stylus-tablet input in a computer system
US5588072A (en) 1993-12-22 1996-12-24 Canon Kabushiki Kaisha Method and apparatus for selecting blocks of image data from image data having both horizontally- and vertically-oriented blocks
US5686940A (en) 1993-12-24 1997-11-11 Rohm Co., Ltd. Display apparatus
US5566337A (en) 1994-05-13 1996-10-15 Apple Computer, Inc. Method and apparatus for distributing events in an operating system
JP2939119B2 (ja) 1994-05-16 1999-08-25 シャープ株式会社 手書き文字入力表示装置および方法
US5570113A (en) 1994-06-29 1996-10-29 International Business Machines Corporation Computer based pen system and method for automatically cancelling unwanted gestures and preventing anomalous signals as inputs to such system
US5510061A (en) 1994-07-26 1996-04-23 Norton Chemical Process Products Corp. Non-welded support plate member
EP0701220B1 (en) 1994-09-12 2001-07-04 Adobe Systems Inc. Method and apparatus for viewing electronic documents
DE69408995T2 (de) 1994-11-15 1998-08-06 Uop Inc Verfahren zur adsorptiven Abtrennung von meta-Xylol von aromatischen Kohlenwasserstoffen
US5495566A (en) 1994-11-22 1996-02-27 Microsoft Corporation Scrolling contents of a window
JP2944439B2 (ja) 1994-12-27 1999-09-06 シャープ株式会社 手書き文字入力装置および方法
JPH08307954A (ja) 1995-05-12 1996-11-22 Sony Corp 座標入力装置および方法、並びに情報処理装置
US5708460A (en) 1995-06-02 1998-01-13 Avi Systems, Inc. Touch screen
US6496182B1 (en) 1995-06-07 2002-12-17 Microsoft Corporation Method and system for providing touch-sensitive screens for the visually impaired
JPH0969037A (ja) 1995-08-31 1997-03-11 Sharp Corp データ処理装置
JP3636792B2 (ja) 1995-10-18 2005-04-06 株式会社リコー ペン先座標入力装置
US5676064A (en) 1996-04-22 1997-10-14 Shuert; Lyle H. Pallet and pallet package
US5745116A (en) 1996-09-09 1998-04-28 Motorola, Inc. Intuitive gesture-based graphical user interface
US5903902A (en) 1996-09-09 1999-05-11 Design Intelligence, Inc. Design engine with tree and component structure
US5995083A (en) 1996-11-20 1999-11-30 Alps Electric Co., Ltd. Coordinates input apparatus
JP3889466B2 (ja) 1996-11-25 2007-03-07 ソニー株式会社 文章入力装置及び方法
US5917477A (en) 1997-02-28 1999-06-29 Samsung Electronics Co., Ltd. Touch screen input apparatus for chip mounter, chip mounter including the same and method for controlling the chip mounter
US6141018A (en) 1997-03-12 2000-10-31 Microsoft Corporation Method and system for displaying hypertext documents with visual effects
JPH1185354A (ja) 1997-09-04 1999-03-30 Internatl Business Mach Corp <Ibm> キーボード組込み型座標指示装置、キーボード・ユニット、及び情報処理機器
US9098297B2 (en) 1997-05-08 2015-08-04 Nvidia Corporation Hardware accelerator for an object-oriented programming language
US6049326A (en) 1997-05-12 2000-04-11 Siemens Information And Communication Networks, Inc. System and method for dual browser modes
US5983190A (en) 1997-05-19 1999-11-09 Microsoft Corporation Client server animation system for managing interactive user interface characters
FI115689B (fi) 1997-05-21 2005-06-15 Nokia Corp Menetelmä ja järjestely matkaviestimen näytöllä esitettävän tiedon vierittämiseksi
US6028602A (en) 1997-05-30 2000-02-22 Telefonaktiebolaget Lm Ericsson Method for managing contents of a hierarchical data model
JP3968477B2 (ja) 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
US6034688A (en) 1997-09-15 2000-03-07 Sony Corporation Scrolling navigational display system
US6377965B1 (en) 1997-11-07 2002-04-23 Microsoft Corporation Automatic word completion system for partially entered data
WO1999028841A2 (en) 1997-12-01 1999-06-10 Cedara Software Corp. Architecture for an application framework
DE69814155T2 (de) 1997-12-16 2003-10-23 Microsoft Corp System und verfahren zur virtuellen eingabe
US20070177804A1 (en) 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US7840912B2 (en) 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
EP1717682B1 (en) 1998-01-26 2017-08-16 Apple Inc. Method and apparatus for integrating manual input
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7834855B2 (en) 2004-08-25 2010-11-16 Apple Inc. Wide touchpad on a portable computer
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US20040080541A1 (en) 1998-03-20 2004-04-29 Hisashi Saiga Data displaying device
US7346850B2 (en) 1998-06-12 2008-03-18 Cygnus Systems, Inc. System and method for iconic software environment management
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6570594B1 (en) 1998-06-30 2003-05-27 Sun Microsystems, Inc. User interface with non-intrusive display element
US6061063A (en) 1998-06-30 2000-05-09 Sun Microsystems, Inc. Method and apparatus for providing feedback while scrolling
US6188391B1 (en) 1998-07-09 2001-02-13 Synaptics, Inc. Two-layer capacitive touchpad and method of making same
US7559039B2 (en) 1998-07-14 2009-07-07 Brad Ridgley Method and device for finding, collecting and acting upon units of information
CA2244431C (en) 1998-07-30 2002-02-19 Ibm Canada Limited-Ibm Canada Limitee Touchscreen keyboard support for multi-byte character languages
US6068124A (en) 1998-08-27 2000-05-30 Nanya Plastics Plastic pallet and separator for packaging yarn spools
US6628835B1 (en) 1998-08-31 2003-09-30 Texas Instruments Incorporated Method and system for defining and recognizing complex events in a video sequence
US20020018051A1 (en) 1998-09-15 2002-02-14 Mona Singh Apparatus and method for moving objects on a touchscreen display
US6985178B1 (en) 1998-09-30 2006-01-10 Canon Kabushiki Kaisha Camera control system, image pick-up server, client, control method and storage medium therefor
JP4159674B2 (ja) 1998-10-22 2008-10-01 富士通株式会社 オブジェクト指向業務システムおよび方法
JP4542637B2 (ja) 1998-11-25 2010-09-15 セイコーエプソン株式会社 携帯情報機器及び情報記憶媒体
JP2000163443A (ja) 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
US8938688B2 (en) 1998-12-04 2015-01-20 Nuance Communications, Inc. Contextual prediction of user words and user actions
US6963937B1 (en) 1998-12-17 2005-11-08 International Business Machines Corporation Method and apparatus for providing configurability and customization of adaptive user-input filtration
US6259436B1 (en) 1998-12-22 2001-07-10 Ericsson Inc. Apparatus and method for determining selection of touchable items on a computer touchscreen by an imprecise touch
US6643824B1 (en) 1999-01-15 2003-11-04 International Business Machines Corporation Touch screen region assist for hypertext links
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
JP2000222130A (ja) 1999-02-02 2000-08-11 Toshiba Corp 入力装置および方法および記憶媒体
US20060061551A1 (en) 1999-02-12 2006-03-23 Vega Vista, Inc. Motion detection and tracking system to control navigation and display of portable displays including on-chip gesture detection
US6486896B1 (en) 1999-04-07 2002-11-26 Apple Computer, Inc. Scalable scroll controller
GB2350643A (en) 1999-04-21 2000-12-06 Barrie Weatherall Stabiliser for ladders
JP4939682B2 (ja) 1999-04-27 2012-05-30 エーユー オプトロニクス コーポレイション 表示装置
AUPQ439299A0 (en) 1999-12-01 1999-12-23 Silverbrook Research Pty Ltd Interface system
US6714936B1 (en) 1999-05-25 2004-03-30 Nevin, Iii Rocky Harry W. Method and apparatus for displaying data stored in linked nodes
US7030863B2 (en) 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
US7286115B2 (en) 2000-05-26 2007-10-23 Tegic Communications, Inc. Directional input system with automatic correction
US6631501B1 (en) 1999-06-30 2003-10-07 Microsoft Corporation Method and system for automatic type and replace of characters in a sequence of characters
US6639584B1 (en) 1999-07-06 2003-10-28 Chuang Li Methods and apparatus for controlling a portable electronic device using a touchpad
JP2001027924A (ja) 1999-07-14 2001-01-30 Sharp Corp 表示画面を用いる入力装置
US6335725B1 (en) 1999-07-14 2002-01-01 Hewlett-Packard Company Method of partitioning a touch screen for data input
US6636242B2 (en) 1999-08-31 2003-10-21 Accenture Llp View configurer in a presentation services patterns environment
US6448986B1 (en) 1999-09-07 2002-09-10 Spotware Technologies Llc Method and system for displaying graphical objects on a display screen
US6664989B1 (en) 1999-10-18 2003-12-16 Honeywell International Inc. Methods and apparatus for graphical display interaction
JP2003512676A (ja) 1999-10-20 2003-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像コレクションをブラウズする装置及び方法
JP2001134382A (ja) 1999-11-04 2001-05-18 Sony Corp 図形処理装置
JP2001167227A (ja) 1999-12-07 2001-06-22 Hitachi Ltd 情報端末装置
US6778992B1 (en) 1999-12-21 2004-08-17 Lockstream Corporation Flexible and hierarchical user interfaces defined using a data definition language
US6664991B1 (en) 2000-01-06 2003-12-16 Microsoft Corporation Method and apparatus for providing context menus on a pen-based device
US6809724B1 (en) 2000-01-18 2004-10-26 Seiko Epson Corporation Display apparatus and portable information processing apparatus
US6820237B1 (en) 2000-01-21 2004-11-16 Amikanow! Corporation Apparatus and method for context-based highlighting of an electronic document
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
US6856326B1 (en) 2000-01-28 2005-02-15 International Business Machines Corporation Smooth scrolling system and method
JP4803883B2 (ja) 2000-01-31 2011-10-26 キヤノン株式会社 位置情報処理装置及びその方法及びそのプログラム。
US7138983B2 (en) 2000-01-31 2006-11-21 Canon Kabushiki Kaisha Method and apparatus for detecting and interpreting path of designated position
US6590595B1 (en) 2000-02-08 2003-07-08 Sun Microsystems, Inc. Mechanism for providing intuitive scrolling feedback
US6922810B1 (en) 2000-03-07 2005-07-26 Microsoft Corporation Grammar-based automatic data completion and suggestion for user input
AU2001242153A1 (en) 2000-03-17 2001-09-24 Vizible.Com Inc. A three dimensional spatial user interface
US7142205B2 (en) 2000-03-29 2006-11-28 Autodesk, Inc. Single gesture map navigation graphical user interface for a personal digital assistant
IL151347A0 (en) 2000-03-30 2003-04-10 Qualcomm Inc Method and apparatus for notifying a mobile station application of specified events
JP4124402B2 (ja) 2000-03-31 2008-07-23 株式会社リコー 画像入力装置
AU2001251202A1 (en) 2000-04-07 2001-10-23 Rsa Security, Inc. System and method for authenticating a user
US6765557B1 (en) 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
US7450114B2 (en) 2000-04-14 2008-11-11 Picsel (Research) Limited User interface systems and methods for manipulating and viewing digital documents
AU2001259091A1 (en) 2000-04-19 2001-11-07 Analogic Corporation Backlash-resistant drive assembly for collimator in a ct scanner
JP2001299733A (ja) 2000-04-27 2001-10-30 Konica Corp Pci放射線画像処理装置、pci放射線画像検出処理装置、pci放射線画像出力装置及びpci画像診断支援装置
US6559869B1 (en) 2000-05-04 2003-05-06 Microsoft Corporation Adaptive auto-scrolling merge for hand written input
ATE338300T1 (de) * 2000-05-11 2006-09-15 Nes Stewart Irvine Zeroklick
US6446083B1 (en) 2000-05-12 2002-09-03 Vastvideo, Inc. System and method for classifying media items
US6912694B1 (en) 2000-06-28 2005-06-28 Intel Corporation Providing a scrolling function for a multiple frame web page
US6677965B1 (en) 2000-07-13 2004-01-13 International Business Machines Corporation Rubber band graphical user interface control
GB0017793D0 (en) 2000-07-21 2000-09-06 Secr Defence Human computer interface
US20020015064A1 (en) 2000-08-07 2002-02-07 Robotham John S. Gesture-based user interface to multi-level and multi-modal sets of bit-maps
US6704024B2 (en) 2000-08-07 2004-03-09 Zframe, Inc. Visual content browsing using rasterized representations
JP2002062983A (ja) 2000-08-21 2002-02-28 Hitachi Ltd ポインティングデバイス
US6791530B2 (en) 2000-08-29 2004-09-14 Mitsubishi Electric Research Laboratories, Inc. Circular graphical user interfaces
EP1184414A3 (en) 2000-08-30 2003-08-06 JSR Corporation Conjugated diene-based rubber and method of producing the same, oil extended rubber and rubber composition containing the same
US6912462B2 (en) 2000-08-31 2005-06-28 Sony Corporation Information processing apparatus, information processing method and program storage media
US20020138617A1 (en) 2000-09-06 2002-09-26 Jacob Christfort Providing content from multiple services
US6757673B2 (en) 2000-10-09 2004-06-29 Town Compass Llc Displaying hierarchial relationship of data accessed via subject index
US7761541B1 (en) 2000-10-25 2010-07-20 Nortel Networks Limited Service enabling technology
US6735583B1 (en) 2000-11-01 2004-05-11 Getty Images, Inc. Method and system for classifying and locating media content
US7072501B2 (en) 2000-11-22 2006-07-04 R2 Technology, Inc. Graphical user interface for display of anatomical information
US7184796B2 (en) 2000-12-04 2007-02-27 International Business Machines Corporation Personal communication device having a built in projection display
US7240291B2 (en) 2000-12-21 2007-07-03 Xerox Corporation Methods, systems, and computer program products for display of information relating to a virtual three-dimensional book
US6976172B2 (en) 2000-12-28 2005-12-13 Intel Corporation System and method for protected messaging
US6839721B2 (en) 2001-01-12 2005-01-04 Hewlett-Packard Development Company, L.P. Integration of a database into file management software for protecting, tracking, and retrieving data
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7030861B1 (en) 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US20040027398A1 (en) 2001-02-15 2004-02-12 Denny Jaeger Intuitive graphic user interface with universal tools
US6972776B2 (en) 2001-03-20 2005-12-06 Agilent Technologies, Inc. Scrolling method using screen pointing device
GB2373778B (en) 2001-03-30 2003-08-06 Robin Lewis Corner elements for packaging
US6741996B1 (en) 2001-04-18 2004-05-25 Microsoft Corporation Managing user clips
EP1393190A4 (en) 2001-05-02 2007-07-18 Bitstream Inc METHOD AND SYSTEMS FOR DISPLAYING MEDIA SCALED AND / OR ORIENTED
US20020194589A1 (en) 2001-05-08 2002-12-19 Cristofalo Michael Technique for optimizing the delivery of advertisements and other programming segments by making bandwidth tradeoffs
US7730401B2 (en) 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
US20050024341A1 (en) 2001-05-16 2005-02-03 Synaptics, Inc. Touch screen with user interface enhancement
US6498590B1 (en) 2001-05-24 2002-12-24 Mitsubishi Electric Research Laboratories, Inc. Multi-user touch surface
TW521205B (en) 2001-06-05 2003-02-21 Compal Electronics Inc Touch screen capable of controlling amplification with pressure
US6868383B1 (en) 2001-07-12 2005-03-15 At&T Corp. Systems and methods for extracting meaning from multimodal inputs using finite-state devices
US6985137B2 (en) 2001-08-13 2006-01-10 Nokia Mobile Phones Ltd. Method for preventing unintended touch pad input due to accidental touching
US6661409B2 (en) 2001-08-22 2003-12-09 Motorola, Inc. Automatically scrolling handwritten input user interface for personal digital assistants and the like
US6690365B2 (en) 2001-08-29 2004-02-10 Microsoft Corporation Automatic scrolling
US6972749B2 (en) 2001-08-29 2005-12-06 Microsoft Corporation Touch-sensitive device for scrolling a document on a display
US6907575B2 (en) 2001-09-06 2005-06-14 Danger, Inc. Method of scrolling a display window
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US7254775B2 (en) 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
US20030071850A1 (en) 2001-10-12 2003-04-17 Microsoft Corporation In-place adaptive handwriting input method and system
US7046230B2 (en) 2001-10-22 2006-05-16 Apple Computer, Inc. Touch pad handheld device
US7345671B2 (en) 2001-10-22 2008-03-18 Apple Inc. Method and apparatus for use of rotational user inputs
TW528981B (en) 2001-10-25 2003-04-21 Compal Electronics Inc Portable computer and related method for preventing input interruption by write-tracking input region
US7009599B2 (en) 2001-11-20 2006-03-07 Nokia Corporation Form factor for portable device
CA2366183A1 (en) 2001-12-21 2003-06-21 Ibm Canada Limited-Ibm Canada Limitee Dynamic status tree facility
US6690387B2 (en) 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
US7414616B2 (en) 2002-01-03 2008-08-19 Mahesh Jayachandra User-friendly Brahmi-derived Hindi keyboard
US6957392B2 (en) 2002-01-16 2005-10-18 Laszlo Systems, Inc. Interface engine providing a continuous user interface
GB0201074D0 (en) 2002-01-18 2002-03-06 3G Lab Ltd Graphic user interface for data processing device
US7603627B2 (en) 2002-02-05 2009-10-13 Microsoft Corporation Systems and methods for creating and managing graphical user interface lists
JP3951727B2 (ja) 2002-02-06 2007-08-01 松下電器産業株式会社 情報処理装置
US7075512B1 (en) 2002-02-07 2006-07-11 Palmsource, Inc. Method and system for navigating a display screen for locating a desired item of information
WO2003081458A1 (en) 2002-03-19 2003-10-02 America Online, Inc. Controlling content display
US20030184525A1 (en) 2002-03-29 2003-10-02 Mitac International Corp. Method and apparatus for image processing
JP2003296024A (ja) 2002-04-01 2003-10-17 Nec Engineering Ltd タッチパネル制御方式
US7466307B2 (en) 2002-04-11 2008-12-16 Synaptics Incorporated Closed-loop sensor on a solid-state object position detector
US20030197689A1 (en) 2002-04-23 2003-10-23 May Gregory J. Input device that allows multiple touch key input
TWI238348B (en) 2002-05-13 2005-08-21 Kyocera Corp Portable information terminal, display control device, display control method, and recording media
US7203911B2 (en) 2002-05-13 2007-04-10 Microsoft Corporation Altering a display on a viewing device based upon a user proximity to the viewing device
US7158675B2 (en) 2002-05-14 2007-01-02 Microsoft Corporation Interfacing with ink
US20030214531A1 (en) 2002-05-14 2003-11-20 Microsoft Corporation Ink input mechanisms
US8166388B2 (en) 2002-05-14 2012-04-24 Microsoft Corporation Overlaying electronic ink
US20030214553A1 (en) 2002-05-14 2003-11-20 Microsoft Corporation Ink regions in an overlay control
WO2003098421A1 (en) 2002-05-16 2003-11-27 Sony Corporation Inputting method and inputting apparatus
US7519918B2 (en) 2002-05-30 2009-04-14 Intel Corporation Mobile virtual desktop
FI20021655A (fi) 2002-06-19 2003-12-20 Nokia Corp Menetelmä lukituksen avaamiseksi ja kannettava elektroninen laite
US7023427B2 (en) 2002-06-28 2006-04-04 Microsoft Corporation Method and system for detecting multiple touches on a touch-sensitive screen
US7062090B2 (en) 2002-06-28 2006-06-13 Microsoft Corporation Writing guide for a free-form document editor
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
JP4338364B2 (ja) 2002-07-02 2009-10-07 ソニー株式会社 携帯情報通信端末、プログラムおよび該プログラムを記録した記録媒体
TW591488B (en) 2002-08-01 2004-06-11 Tatung Co Window scrolling method and device thereof
US20040021698A1 (en) 2002-08-05 2004-02-05 Baldwin Amanda K. Intuitive touchscreen interface for a multifunction device and method therefor
EP1394692A1 (en) 2002-08-05 2004-03-03 Alcatel Method, terminal, browser application, and mark-up language for multimodal interaction between a user and a terminal
US7263721B2 (en) 2002-08-09 2007-08-28 International Business Machines Corporation Password protection
JP2004084111A (ja) 2002-08-26 2004-03-18 Tsudakoma Corp 織機の情報表示装置
US7739604B1 (en) * 2002-09-25 2010-06-15 Apple Inc. Method and apparatus for managing windows
US7002560B2 (en) 2002-10-04 2006-02-21 Human Interface Technologies Inc. Method of combining data entry of handwritten symbols with displayed character data
GB0223883D0 (en) 2002-10-15 2002-11-20 Seamless Display Ltd Visual display screen arrangement
US7281248B2 (en) 2002-11-19 2007-10-09 Microsoft Corporation Virtualized and realized user interface controls
ATE332528T1 (de) 2002-11-20 2006-07-15 Nokia Corp Verfahren und benutzerschnittstelle zur zeicheneingabe
CA2414047A1 (en) 2002-12-09 2004-06-09 Corel Corporation System and method of extending scalable vector graphics capabilities
US6903927B2 (en) 2002-12-17 2005-06-07 Nokia Corporation Convertible mobile computing device
US20040125136A1 (en) 2002-12-30 2004-07-01 Jukka Wallenius Provision of services through a display system
US20040135817A1 (en) 2003-01-14 2004-07-15 Daughtery Joey L. Interface for selecting and performing operations on objects
US7117453B2 (en) 2003-01-21 2006-10-03 Microsoft Corporation Media frame object visualization system
US20040225965A1 (en) 2003-05-06 2004-11-11 Microsoft Corporation Insertion location tracking for controlling a user interface
US7490296B2 (en) 2003-01-31 2009-02-10 Microsoft Corporation Utility object for specialized data entry
US20040155888A1 (en) 2003-02-11 2004-08-12 Padgitt David Gary Method for displaying the contents of a collection of media objects
US20040160419A1 (en) 2003-02-11 2004-08-19 Terradigital Systems Llc. Method for entering alphanumeric characters into a graphical user interface
US7103852B2 (en) * 2003-03-10 2006-09-05 International Business Machines Corporation Dynamic resizing of clickable areas of touch screen applications
US7894177B2 (en) 2005-12-29 2011-02-22 Apple Inc. Light activated hold switch
US7088374B2 (en) 2003-03-27 2006-08-08 Microsoft Corporation System and method for managing visual structure, timing, and animation in a graphics processing system
US7187801B2 (en) 2003-03-31 2007-03-06 Microsoft Corporation Multiple handwriting recognition engine selection
KR100465969B1 (ko) 2003-04-11 2005-01-13 (주)모비솔 손가락 표면을 이용한 소형 포인팅 장치
US7098776B2 (en) 2003-04-16 2006-08-29 Massachusetts Institute Of Technology Methods and apparatus for vibrotactile communication
US8484576B2 (en) 2003-04-17 2013-07-09 Supersonic Aerospace International, Llc System and method for customizing multiple windows of information on a display
US7627343B2 (en) 2003-04-25 2009-12-01 Apple Inc. Media player system
US7102626B2 (en) 2003-04-25 2006-09-05 Hewlett-Packard Development Company, L.P. Multi-function pointing device
GB2401272B (en) 2003-04-30 2007-11-21 Hewlett Packard Development Co Method and apparatus for enhancing user interest in static digital images
US8555165B2 (en) 2003-05-08 2013-10-08 Hillcrest Laboratories, Inc. Methods and systems for generating a zoomable graphical user interface
US7173623B2 (en) 2003-05-09 2007-02-06 Microsoft Corporation System supporting animation of graphical display elements through animation object instances
EP1626330A4 (en) 2003-05-21 2012-01-18 Hitachi High Tech Corp PORTABLE TERMINAL DEVICE WITH BUILT-IN FINGERPRINT SENSOR
US20060242607A1 (en) 2003-06-13 2006-10-26 University Of Lancaster User interface
US7567239B2 (en) 2003-06-26 2009-07-28 Motorola, Inc. Method and system for message and note composition on small screen devices
US8373660B2 (en) 2003-07-14 2013-02-12 Matt Pallakoff System and method for a portable multimedia client
US20050027666A1 (en) 2003-07-15 2005-02-03 Vente, Inc Interactive online research system and method
KR100522940B1 (ko) * 2003-07-25 2005-10-24 삼성전자주식회사 활성영역을 설정 가능한 터치스크린 시스템 및 그 제어방법
JP2005056286A (ja) 2003-08-07 2005-03-03 Nec Engineering Ltd ウェブブラウザにおける拡大表示方法および拡大表示プログラム
WO2005029460A1 (en) 2003-08-21 2005-03-31 Microsoft Corporation Focus management using in-air points
US9024884B2 (en) 2003-09-02 2015-05-05 Apple Inc. Touch-sensitive electronic apparatus for media applications, and methods therefor
JP4360871B2 (ja) 2003-09-10 2009-11-11 富士通テン株式会社 情報端末における入力装置
US20050052427A1 (en) 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
JP2005092476A (ja) 2003-09-17 2005-04-07 Elo Touchsystems Inc マルチユーザー/マルチポインチングデバイスグラフィカルユーザーインターフェースシステム
WO2005031552A2 (en) 2003-09-30 2005-04-07 Koninklijke Philips Electronics, N.V. Gesture to define location, size, and/or content of content window on a display
US7034834B2 (en) 2003-10-24 2006-04-25 Microsoft Corporation Communication protocol for synchronizing animation systems
US20050183035A1 (en) 2003-11-20 2005-08-18 Ringel Meredith J. Conflict resolution for graphic multi-user interface
US7962862B2 (en) 2003-11-24 2011-06-14 International Business Machines Corporation Method and data processing system for providing an improved graphics design tool
US7298367B2 (en) 2003-11-25 2007-11-20 3M Innovative Properties Company Light emitting stylus and user input device using same
US7814419B2 (en) 2003-11-26 2010-10-12 Nokia Corporation Changing an orientation of a user interface via a course of motion
JP3962718B2 (ja) 2003-12-01 2007-08-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US7337412B2 (en) 2003-12-15 2008-02-26 International Business Machines Corporation Methods, systems and computer program products for providing multi-dimensional tree diagram graphical user interfaces
US20050162402A1 (en) 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
US7366995B2 (en) 2004-02-03 2008-04-29 Roland Wescott Montague Combination tool that zooms in, zooms out, pans, rotates, draws, or manipulates during a drag
FI117308B (fi) 2004-02-06 2006-08-31 Nokia Corp Eleohjausjärjestelmä
US7319457B2 (en) 2004-02-12 2008-01-15 Sentelic Corporation Method of scrolling window screen by means of controlling electronic device
US7358965B2 (en) 2004-02-18 2008-04-15 Microsoft Corporation Tapping to create writing
US20050193015A1 (en) 2004-02-19 2005-09-01 Sandraic Logic, Llc A California Limited Liability Company Method and apparatus for organizing, sorting and navigating multimedia content
GB2411331A (en) 2004-02-19 2005-08-24 Trigenix Ltd Rendering user interface using actor attributes
FR2866726B1 (fr) 2004-02-23 2006-05-26 Jazzmutant Controleur par manipulation d'objets virtuels sur un ecran tactile multi-contact
US7406696B2 (en) 2004-02-24 2008-07-29 Dialogic Corporation System and method for providing user input information to multiple independent, concurrent applications
JP4438448B2 (ja) 2004-02-26 2010-03-24 セイコーエプソン株式会社 構造化文書表示処理装置、構造化文書表示方法、構造化文書表示プログラム
US7327349B2 (en) 2004-03-02 2008-02-05 Microsoft Corporation Advanced navigation techniques for portable devices
JP2005275652A (ja) 2004-03-24 2005-10-06 Canon Inc 入力軌跡処理装置および入力軌跡処理方法
WO2005096217A1 (en) 2004-04-02 2005-10-13 Nokia Corporation Apparatus and method for handwriting recognition
US7623119B2 (en) 2004-04-21 2009-11-24 Nokia Corporation Graphical functions by gestures
US20050246304A1 (en) 2004-04-30 2005-11-03 Microsoft Corporation End-user application customization using rules
JP4387242B2 (ja) 2004-05-10 2009-12-16 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及びゲーム装置
US7624355B2 (en) 2004-05-27 2009-11-24 Baneth Robin C System and method for controlling a user interface
JP4855654B2 (ja) 2004-05-31 2012-01-18 ソニー株式会社 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
US7358962B2 (en) 2004-06-15 2008-04-15 Microsoft Corporation Manipulating association of data with a physical object
US7773950B2 (en) 2004-06-16 2010-08-10 Telefonaktiebolaget Lm Ericsson (Publ) Benign interference suppression for received signal quality estimation
KR101146750B1 (ko) 2004-06-17 2012-05-17 아드레아 엘엘씨 터치 스크린 상에서 2개-손가락에 의한 입력을 탐지하는 시스템 및 방법과, 터치 스크린 상에서 적어도 2개의 손가락을 통한 3-차원 터치를 센싱하는 시스템 및 방법
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP2008505381A (ja) 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示装置の汚れを防ぐ方法及び装置
JP2008505382A (ja) 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 不連続的なズーム
JP4903371B2 (ja) 2004-07-29 2012-03-28 任天堂株式会社 タッチパネルを用いたゲーム装置およびゲームプログラム
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US7506799B2 (en) 2004-07-30 2009-03-24 Nokia Corporation Method for the monitoring of system security in electronic devices
CN103365595B (zh) 2004-07-30 2017-03-01 苹果公司 用于触敏输入设备的手势
EP1774427A2 (en) 2004-07-30 2007-04-18 Apple Computer, Inc. Mode-based graphical user interfaces for touch sensitive input devices
US7728821B2 (en) 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
US7724242B2 (en) 2004-08-06 2010-05-25 Touchtable, Inc. Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter
US20070046643A1 (en) 2004-08-06 2007-03-01 Hillis W Daniel State-Based Approach to Gesture Identification
US7719523B2 (en) 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
US7721197B2 (en) 2004-08-12 2010-05-18 Microsoft Corporation System and method of displaying content on small screen computing devices
US7181373B2 (en) 2004-08-13 2007-02-20 Agilent Technologies, Inc. System and methods for navigating and visualizing multi-dimensional biological data
US7434173B2 (en) 2004-08-30 2008-10-07 Microsoft Corporation Scrolling web pages using direct interaction
JP4366695B2 (ja) * 2004-09-13 2009-11-18 日本ビクター株式会社 メニュー画像表示方法及び電子情報機器
US20060055669A1 (en) 2004-09-13 2006-03-16 Mita Das Fluent user interface for text entry on touch-sensitive display
US7761814B2 (en) 2004-09-13 2010-07-20 Microsoft Corporation Flick gesture
JP4355639B2 (ja) 2004-09-15 2009-11-04 キヤノン株式会社 画像処理装置およびその制御方法
US7728823B2 (en) 2004-09-24 2010-06-01 Apple Inc. System and method for processing raw data of track pad device
JP3786669B2 (ja) 2004-10-06 2006-06-14 株式会社バンダイナムコゲームス ゲームシステム、プログラム及び情報記憶媒体
US20060077183A1 (en) 2004-10-08 2006-04-13 Studt Peter C Methods and systems for converting touchscreen events into application formatted data
WO2006045530A2 (en) 2004-10-22 2006-05-04 Novo Nordisk A/S An apparatus and a method of providing information to a user
JP3770499B1 (ja) 2004-11-02 2006-04-26 任天堂株式会社 ゲーム装置及びゲームプログラム
US7925996B2 (en) 2004-11-18 2011-04-12 Microsoft Corporation Method and system for providing multiple input connecting user interface
US7665031B2 (en) 2004-12-08 2010-02-16 Microsoft Corporation Method and system of taskbar button interfaces
US20060136833A1 (en) 2004-12-15 2006-06-22 International Business Machines Corporation Apparatus and method for chaining objects in a pointer drag path
WO2006067711A2 (en) 2004-12-21 2006-06-29 Koninklijke Philips Electronics N.V. Method and device for displaying animated buttons
CN100377055C (zh) 2004-12-22 2008-03-26 盛群半导体股份有限公司 触控感应装置的判读方法
CN101233504B (zh) 2005-01-05 2010-11-10 希尔克瑞斯特实验室公司 用于用户界面的分布式软件架构
EP1851609A4 (en) 2005-01-05 2012-01-25 Jaewoo Ahn METHOD AND DEVICE FOR ENTERING CHARACTERS BY A SHOWING DEVICE
US20060156249A1 (en) 2005-01-12 2006-07-13 Blythe Michael M Rotate a user interface
US20070185876A1 (en) 2005-02-07 2007-08-09 Mendis Venura C Data handling system
GB0503253D0 (en) 2005-02-17 2005-03-23 Univ Northumbria Newcastle User control of a hand-held device
US8819569B2 (en) 2005-02-18 2014-08-26 Zumobi, Inc Single-handed approach for navigation of application tiles using panning and zooming
JP4613078B2 (ja) 2005-03-01 2011-01-12 学校法人 名城大学 半導体基板の製造方法
KR101984833B1 (ko) 2005-03-04 2019-06-03 애플 인크. 다기능 휴대용 장치
CN1841284A (zh) 2005-03-28 2006-10-04 上海桐港信息科技有限公司 触摸屏式移动设备微浏览器页面显示漂移方法
US20060221061A1 (en) 2005-03-31 2006-10-05 Tyco Electronic Corporation Touch sensor and control with random pulse spacing
US7750893B2 (en) 2005-04-06 2010-07-06 Nintendo Co., Ltd. Storage medium storing input position processing program, and input position processing device
CN1845046A (zh) 2005-04-07 2006-10-11 技嘉科技股份有限公司 具有触控式功能键的键盘和鼠标
US7355595B2 (en) 2005-04-15 2008-04-08 Microsoft Corporation Tactile device for scrolling
US7673255B2 (en) 2005-04-22 2010-03-02 Microsoft Corporation Interface and system for manipulating thumbnails of live windows in a window manager
US7692637B2 (en) 2005-04-26 2010-04-06 Nokia Corporation User input device for electronic device
US7499027B2 (en) 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
JP4490326B2 (ja) 2005-05-09 2010-06-23 株式会社土井製作所 地中埋設ケーブル等に対する地盤変動時の保護方法及びその保護装置
WO2006124248A2 (en) 2005-05-16 2006-11-23 General Motors Global Technology Operations, Inc. Catalyst for fuel cell electrode
US8117540B2 (en) 2005-05-18 2012-02-14 Neuer Wall Treuhand Gmbh Method and device incorporating improved text input mechanism
US20060262104A1 (en) 2005-05-19 2006-11-23 Sullivan Darius M Systems and methods for distinguishing contact-induced plate vibrations from acoustic noise-induced plate vibrations
US9785329B2 (en) 2005-05-23 2017-10-10 Nokia Technologies Oy Pocket computer and associated methods
US20070024646A1 (en) 2005-05-23 2007-02-01 Kalle Saarinen Portable electronic apparatus and associated method
US7487447B1 (en) 2005-05-25 2009-02-03 Google Inc. Web page zoom feature
US20060271520A1 (en) 2005-05-27 2006-11-30 Ragan Gene Z Content-based implicit search query
US7561159B2 (en) 2005-05-31 2009-07-14 Magnifi Group Inc. Control of animation timeline
WO2006128248A1 (en) 2005-06-02 2006-12-07 National Ict Australia Limited Multimodal computer navigation
US7710397B2 (en) 2005-06-03 2010-05-04 Apple Inc. Mouse with improved input mechanisms using touch sensors
US9019209B2 (en) 2005-06-08 2015-04-28 3M Innovative Properties Company Touch location determination involving multiple touch location processes
JP4849300B2 (ja) 2005-06-14 2012-01-11 ソニー株式会社 表示信号処理装置および方法、記録媒体、並びにプログラム
KR20060133389A (ko) 2005-06-20 2006-12-26 엘지전자 주식회사 이동 단말기의 데이터 처리 장치 및 그 방법
TW200701082A (en) 2005-06-23 2007-01-01 Elan Microelectronics Corp Scroll control method used in the touch panel
US20070006078A1 (en) 2005-07-01 2007-01-04 Microsoft Corporation Declaratively responding to state changes in an interactive multimedia environment
US7463263B2 (en) 2005-07-15 2008-12-09 Sap Portals Israel Ltd. Declarative specification of model visualizations
CN101814005B (zh) 2005-07-22 2013-02-27 运行移动系统公司 最适宜拇指的触摸屏用户界面的系统和方法
US7808478B2 (en) 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Autonomous handheld device having a drawing tool
EP1758345B1 (en) 2005-08-26 2016-12-28 Microsoft Technology Licensing, LLC Mobile telecommunication handset having touch pad
US7568035B2 (en) 2005-08-30 2009-07-28 Microsoft Corporation Command binding determination and implementation
US20070061126A1 (en) 2005-09-01 2007-03-15 Anthony Russo System for and method of emulating electronic input devices
CN102841713A (zh) 2005-09-15 2012-12-26 苹果公司 处理跟踪板装置的原始数据的系统和方法
US7694231B2 (en) 2006-01-05 2010-04-06 Apple Inc. Keyboards for portable electronic devices
US20070152980A1 (en) 2006-01-05 2007-07-05 Kenneth Kocienda Touch Screen Keyboards for Portable Electronic Devices
US20070064004A1 (en) 2005-09-21 2007-03-22 Hewlett-Packard Development Company, L.P. Moving a graphic element
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
CN1949161B (zh) * 2005-10-14 2010-05-26 鸿富锦精密工业(深圳)有限公司 多层次菜单显示装置及显示控制方法
KR100717047B1 (ko) 2005-10-20 2007-05-10 삼성전자주식회사 간편하게 웹 페이지를 표시하는 방법 및 장치
US20070109275A1 (en) 2005-11-16 2007-05-17 Chen-Ting Chuang Method for controlling a touch screen user interface and device thereof
JP2007148927A (ja) 2005-11-29 2007-06-14 Alps Electric Co Ltd 入力装置及びこれを用いたスクロール制御方法
US9069877B2 (en) 2005-12-07 2015-06-30 Ziilabs Inc., Ltd. User interface with variable sized icons
JP4908518B2 (ja) 2005-12-08 2012-04-04 ノキア コーポレイション 電子デバイスの改善された文章入力
US20070132789A1 (en) 2005-12-08 2007-06-14 Bas Ording List scrolling in response to moving contact over list of index symbols
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US7480870B2 (en) 2005-12-23 2009-01-20 Apple Inc. Indication of progress towards satisfaction of a user input condition
US7786975B2 (en) 2005-12-23 2010-08-31 Apple Inc. Continuous scrolling list with acceleration
US7650137B2 (en) 2005-12-23 2010-01-19 Apple Inc. Account information display for portable communication device
AU2006332488A1 (en) 2005-12-30 2007-07-12 Apple Inc. Portable electronic device with multi-touch input
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
US20070152983A1 (en) 2005-12-30 2007-07-05 Apple Computer, Inc. Touch pad with symbols based on mode
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US7574672B2 (en) 2006-01-05 2009-08-11 Apple Inc. Text entry interface for a portable communication device
US7860536B2 (en) 2006-01-05 2010-12-28 Apple Inc. Telephone interface for a portable communication device
WO2007084852A2 (en) 2006-01-18 2007-07-26 Roxse, Llc Systems and methods for providing sorted search results
US20070176903A1 (en) 2006-01-31 2007-08-02 Dahlin Jeffrey J Capacitive touch sensor button activation
US8312479B2 (en) 2006-03-08 2012-11-13 Navisense Application programming interface (API) for sensory events
US20070214436A1 (en) * 2006-03-13 2007-09-13 Myers Raymond L Jr Positional navigation graphic link system
US7620901B2 (en) 2006-03-21 2009-11-17 Microsoft Corporation Simultaneous input across multiple applications
US8866750B2 (en) 2006-04-10 2014-10-21 Microsoft Corporation Universal user interface device
US8587526B2 (en) 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
US20070242607A1 (en) 2006-04-13 2007-10-18 Tellabs Operations, Inc. Method and system for controlling distribution of network topology information
KR20070113025A (ko) 2006-05-24 2007-11-28 엘지전자 주식회사 터치스크린 장치 및 이의 작동방법
TWI328185B (en) 2006-04-19 2010-08-01 Lg Electronics Inc Touch screen device for potable terminal and method of displaying and selecting menus thereon
US8077153B2 (en) 2006-04-19 2011-12-13 Microsoft Corporation Precise selection techniques for multi-touch screens
US9063647B2 (en) 2006-05-12 2015-06-23 Microsoft Technology Licensing, Llc Multi-touch uses, gestures, and implementation
US8775820B1 (en) 2006-06-02 2014-07-08 Sprint Communications Company L.P. System and method of enterprise administrative password generation and control
US7844661B2 (en) 2006-06-15 2010-11-30 Microsoft Corporation Composition of local media playback with remotely generated user interface
KR101277256B1 (ko) 2006-06-16 2013-07-05 삼성전자주식회사 사용자 인터페이스를 위한 장치 및 방법
US8169421B2 (en) 2006-06-19 2012-05-01 Cypress Semiconductor Corporation Apparatus and method for detecting a touch-sensor pad gesture
GB0612624D0 (en) 2006-06-26 2006-08-02 Symbian Software Ltd Speed of gesture
US8086971B2 (en) 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8269725B2 (en) 2006-06-28 2012-09-18 Microsoft Corporation Input simulation system for touch based devices
WO2008005952A2 (en) 2006-06-30 2008-01-10 Tele Atlas North America, Inc. Method and system for collecting user update requests regarding geographic data to support automated analysis, processing and geographic data updates
WO2008007372A2 (en) 2006-07-12 2008-01-17 N-Trig Ltd. Hover and touch detection for a digitizer
JP4762070B2 (ja) 2006-07-19 2011-08-31 富士通株式会社 手書き入力装置、手書き入力方法、及びコンピュータプログラム
JP4280759B2 (ja) 2006-07-27 2009-06-17 キヤノン株式会社 情報処理装置およびユーザインタフェース制御方法
WO2008020446A1 (en) 2006-08-15 2008-02-21 N-Trig Ltd. Gesture detection for a digitizer
US20080043020A1 (en) 2006-08-18 2008-02-21 Microsoft Corporation User interface for viewing street side imagery
US7941760B2 (en) 2006-09-06 2011-05-10 Apple Inc. Soft keyboard display for a portable multifunction device
US7864163B2 (en) 2006-09-06 2011-01-04 Apple Inc. Portable electronic device, method, and graphical user interface for displaying structured electronic documents
US8253695B2 (en) 2006-09-06 2012-08-28 Apple Inc. Email client for a portable multifunction device
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US7843427B2 (en) * 2006-09-06 2010-11-30 Apple Inc. Methods for determining a cursor position from a finger contact with a touch screen display
CN101356493A (zh) 2006-09-06 2009-01-28 苹果公司 用于照片管理的便携式电子装置
US20080114614A1 (en) 2006-11-15 2008-05-15 General Electric Company Methods and systems for healthcare application interaction using gesture-based interaction enhanced with pressure sensitivity
US8056007B2 (en) 2006-11-15 2011-11-08 Yahoo! Inc. System and method for recognizing and storing information and associated context
US7694240B2 (en) 2006-11-22 2010-04-06 General Electric Company Methods and systems for creation of hanging protocols using graffiti-enabled devices
JP5191119B2 (ja) 2006-12-06 2013-04-24 株式会社ジャパンディスプレイウェスト 表示装置、表示装置の制御方法、及びプログラム
CN101206659B (zh) 2006-12-15 2013-09-18 谷歌股份有限公司 自动搜索查询校正
TW200828089A (en) 2006-12-29 2008-07-01 Inventec Appliances Corp Method for zooming image
US8489783B2 (en) 2007-01-03 2013-07-16 Apple Inc. Multi buffer asynchronous scheme for processing incoming information
US7777732B2 (en) 2007-01-03 2010-08-17 Apple Inc. Multi-event input system
US7907125B2 (en) 2007-01-05 2011-03-15 Microsoft Corporation Recognizing multiple input point gestures
US7956847B2 (en) 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
US8214768B2 (en) 2007-01-05 2012-07-03 Apple Inc. Method, system, and graphical user interface for viewing multiple application windows
US8656295B2 (en) 2007-01-05 2014-02-18 Apple Inc. Selecting and manipulating web content
US7924271B2 (en) 2007-01-05 2011-04-12 Apple Inc. Detecting gestures on multi-event sensitive devices
US7966578B2 (en) 2007-01-07 2011-06-21 Apple Inc. Portable multifunction device, method, and graphical user interface for translating displayed content
US20080168395A1 (en) 2007-01-07 2008-07-10 Bas Ording Positioning a Slider Icon on a Portable Multifunction Device
US8665225B2 (en) * 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
US8519963B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US8091045B2 (en) 2007-01-07 2012-01-03 Apple Inc. System and method for managing lists
US7671756B2 (en) 2007-01-07 2010-03-02 Apple Inc. Portable electronic device with alert silencing
US8656311B1 (en) 2007-01-07 2014-02-18 Apple Inc. Method and apparatus for compositing various types of content
US7872652B2 (en) 2007-01-07 2011-01-18 Apple Inc. Application programming interfaces for synchronization
US7903115B2 (en) 2007-01-07 2011-03-08 Apple Inc. Animations
US7912700B2 (en) 2007-02-08 2011-03-22 Microsoft Corporation Context based word prediction
JP4866262B2 (ja) 2007-02-16 2012-02-01 ソフトバンクモバイル株式会社 操作入力処理方法及び携帯型情報処理装置
JP4793287B2 (ja) 2007-02-28 2011-10-12 ブラザー工業株式会社 通信装置および通信システム
KR101383709B1 (ko) 2007-03-07 2014-04-09 삼성디스플레이 주식회사 표시 장치 및 그의 구동 방법
JP4888165B2 (ja) * 2007-03-12 2012-02-29 富士ゼロックス株式会社 画像処理装置及びプログラム
EP1970799B1 (en) 2007-03-15 2017-08-16 LG Electronics Inc. Electronic device and method of controlling mode thereof and mobile communication terminal
US8436815B2 (en) 2007-05-25 2013-05-07 Microsoft Corporation Selective enabling of multi-input controls
JP5117121B2 (ja) 2007-06-18 2013-01-09 パイオニア株式会社 Av機器の操作制御システム
US8350815B2 (en) 2007-06-20 2013-01-08 Sony Mobile Communications Portable communication device including touch input with scrolling function
US8059101B2 (en) 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US8171432B2 (en) 2008-01-06 2012-05-01 Apple Inc. Touch screen device, method, and graphical user interface for displaying and selecting application options
WO2009018314A2 (en) 2007-07-30 2009-02-05 Perceptive Pixel, Inc. Graphical user interface for large-scale, multi-user, multi-touch systems
JP5192486B2 (ja) * 2007-07-30 2013-05-08 京セラ株式会社 入力装置
US8471823B2 (en) 2007-08-16 2013-06-25 Sony Corporation Systems and methods for providing a user interface
US20090051671A1 (en) 2007-08-22 2009-02-26 Jason Antony Konstas Recognizing the motion of two or more touches on a touch-sensing surface
US7949516B2 (en) 2007-08-31 2011-05-24 Research In Motion Limited Handheld electronic device and method employing logical proximity of characters in spell checking
KR101348721B1 (ko) 2007-09-03 2014-01-08 엘지전자 주식회사 휴대 단말기 및 그 휴대 단말기의 터치 인식 방법
KR20090024541A (ko) * 2007-09-04 2009-03-09 삼성전자주식회사 하이퍼링크 선택 방법 및 이를 이용하는 이동통신 단말기
US8667412B2 (en) 2007-09-06 2014-03-04 Google Inc. Dynamic virtual input device configuration
WO2009049331A2 (en) 2007-10-08 2009-04-16 Van Der Westhuizen Willem Mork User interface
US7917584B2 (en) 2007-10-22 2011-03-29 Xcerion Aktiebolag Gesture-based collaboration
JP2009110286A (ja) 2007-10-30 2009-05-21 Toshiba Corp 情報処理装置、ランチャー起動制御プログラムおよびランチャー起動制御方法
AU2008323700B2 (en) 2007-11-09 2014-01-16 Wms Gaming, Inc. Interface for wagering game environments
JP2009189646A (ja) * 2008-02-15 2009-08-27 Konami Digital Entertainment Co Ltd ゲームプログラム、ゲーム装置、およびゲーム制御方法
JP2009169825A (ja) 2008-01-18 2009-07-30 Kyocera Mita Corp 表示入力装置、電子機器及び表示入力制御プログラム
US20090207140A1 (en) 2008-02-19 2009-08-20 Sony Ericsson Mobile Communications Ab Identifying and responding to multiple time-overlapping touches on a touch panel
TWI352924B (en) 2008-02-21 2011-11-21 Wintek Corp Touch panel and driving method of touch panel
US8289283B2 (en) 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
US8174502B2 (en) 2008-03-04 2012-05-08 Apple Inc. Touch event processing for web pages
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US8416196B2 (en) 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US8352877B2 (en) 2008-03-06 2013-01-08 Microsoft Corporation Adjustment of range of content displayed on graphical user interface
US20090231281A1 (en) 2008-03-11 2009-09-17 Microsoft Corporation Multi-touch virtual keyboard
US8289289B2 (en) 2008-04-03 2012-10-16 N-trig, Ltd. Multi-touch and single touch detection
KR101513024B1 (ko) 2008-04-22 2015-04-17 엘지전자 주식회사 단말기 및 이것의 이미지 인식 방법
US8526767B2 (en) 2008-05-01 2013-09-03 Atmel Corporation Gesture recognition
US20100177053A2 (en) 2008-05-09 2010-07-15 Taizo Yasutake Method and apparatus for control of multiple degrees of freedom of a display
US20090282332A1 (en) 2008-05-12 2009-11-12 Nokia Corporation Apparatus, method and computer program product for selecting multiple items using multi-touch
US9268483B2 (en) 2008-05-16 2016-02-23 Microsoft Technology Licensing, Llc Multi-touch input platform
US8584048B2 (en) 2008-05-29 2013-11-12 Telcordia Technologies, Inc. Method and system for multi-touch-based browsing of media summarizations on a handheld device
US20090309847A1 (en) 2008-06-12 2009-12-17 You I Labs, Inc. Apparatus and method for providing multi-touch interface capability
US7864037B2 (en) 2008-06-16 2011-01-04 International Business Machines Corporation Pattern-driven communication architecture
US20090322699A1 (en) 2008-06-25 2009-12-31 Sony Ericsson Mobile Communications Ab Multiple input detection for resistive touch panel
US8754855B2 (en) 2008-06-27 2014-06-17 Microsoft Corporation Virtual touchpad
US20090322700A1 (en) 2008-06-30 2009-12-31 Tyco Electronics Corporation Method and apparatus for detecting two simultaneous touches and gestures on a resistive touchscreen
JP2010015238A (ja) 2008-07-01 2010-01-21 Sony Corp 情報処理装置、及び補助情報の表示方法
US8154428B2 (en) 2008-07-15 2012-04-10 International Business Machines Corporation Gesture recognition control of electronic devices using a multi-touch device
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8390577B2 (en) 2008-07-25 2013-03-05 Intuilab Continuous recognition of multi-touch gestures
KR101482120B1 (ko) 2008-08-01 2015-01-21 엘지전자 주식회사 스케줄 관리가 가능한 휴대 단말기 및 그 제어방법
CN101339453B (zh) 2008-08-15 2012-05-23 广东威创视讯科技股份有限公司 基于交互式输入设备的模拟鼠标输入方法
US8135171B2 (en) 2008-08-19 2012-03-13 Au Optronics Corp. Multipoint tracking method and related device
CN101661361A (zh) 2008-08-27 2010-03-03 比亚迪股份有限公司 多点触摸检测系统
US8279241B2 (en) * 2008-09-09 2012-10-02 Microsoft Corporation Zooming graphical user interface
US20100088628A1 (en) 2008-10-07 2010-04-08 Sony Ericsson Mobile Communications Ab Live preview of open windows
US20100107116A1 (en) 2008-10-27 2010-04-29 Nokia Corporation Input on touch user interfaces
JP4853507B2 (ja) 2008-10-30 2012-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8732576B2 (en) 2008-12-04 2014-05-20 Nvidia Corporation Operating system providing multi-touch support for applications in a mobile device
TW201023018A (en) 2008-12-12 2010-06-16 Asustek Comp Inc Touch panel with multi-touch function and multi-touch detecting method thereof
US8217909B2 (en) 2008-12-19 2012-07-10 Cypress Semiconductor Corporation Multi-finger sub-gesture reporting for a user interface device
US8869070B2 (en) 2008-12-30 2014-10-21 T-Mobile Usa, Inc. Handwriting manipulation for conducting a search over multiple databases
KR101521932B1 (ko) 2009-01-19 2015-05-20 엘지전자 주식회사 단말기 및 그 제어 방법
US20110321125A1 (en) 2009-02-10 2011-12-29 Satoshi Kyohgoku Authentication device, authentication method and program for causing computer to execute the same
US8566044B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
KR101510484B1 (ko) 2009-03-31 2015-04-08 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US20100281435A1 (en) 2009-04-30 2010-11-04 At&T Intellectual Property I, L.P. System and method for multimodal interaction using robust gesture processing
US8427440B2 (en) 2009-05-05 2013-04-23 Microsoft Corporation Contact grouping and gesture recognition for surface computing
US20100295799A1 (en) 2009-05-21 2010-11-25 Sony Computer Entertainment America Inc. Touch screen disambiguation based on prior ancillary touch input
US8681106B2 (en) 2009-06-07 2014-03-25 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US20110069021A1 (en) 2009-06-12 2011-03-24 Hill Jared C Reducing false touchpad data by ignoring input when area gesture does not behave as predicted
DE102009024656A1 (de) * 2009-06-12 2011-03-24 Volkswagen Ag Verfahren zum Steuern einer grafischen Benutzerschnittstelle und Bedienvorrichtung für eine grafische Benutzerschnittstelle
KR101608532B1 (ko) 2009-08-11 2016-04-01 엘지전자 주식회사 이동 통신 단말기에서의 데이터 표시방법 및 이를 적용한 이동 통신 단말기
US8310459B2 (en) 2009-09-23 2012-11-13 Nokia Corporation Touch detection
US9223590B2 (en) 2010-01-06 2015-12-29 Apple Inc. System and method for issuing commands to applications based on contextual information
TWI400638B (zh) 2009-10-20 2013-07-01 Acer Inc 觸控顯示裝置、觸控顯示系統及其調整觸控區域之方法
KR20110047349A (ko) 2009-10-30 2011-05-09 주식회사 팬택 휴대용 단말기에서 터치와 가압을 이용하는 사용자 인터페이스 장치 및 방법
US8957918B2 (en) 2009-11-03 2015-02-17 Qualcomm Incorporated Methods for implementing multi-touch gestures on a single-touch touch surface
US8390600B2 (en) 2009-11-13 2013-03-05 Microsoft Corporation Interactive display system with contact geometry interface
US8436821B1 (en) 2009-11-20 2013-05-07 Adobe Systems Incorporated System and method for developing and classifying touch gestures
US20100085323A1 (en) 2009-12-04 2010-04-08 Adam Bogue Segmenting a Multi-Touch Input Region by User
US8432368B2 (en) 2010-01-06 2013-04-30 Qualcomm Incorporated User interface methods and systems for providing force-sensitive input
US8140570B2 (en) 2010-03-11 2012-03-20 Apple Inc. Automatic discovery of metadata
US8296332B2 (en) 2010-04-01 2012-10-23 Apple Inc. Visual manipulation of database schema
KR20110110940A (ko) 2010-04-02 2011-10-10 삼성전자주식회사 휴대용 단말기의 터치 입력 장치 및 방법
US20110252357A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Concurrently Open Software Applications
US8839122B2 (en) 2010-04-07 2014-09-16 Apple Inc. Device, method, and graphical user interface for navigation of multiple applications
US8131898B2 (en) 2010-05-27 2012-03-06 Adobe Systems Incorporated Event handling in an integrated execution environment
US20130120280A1 (en) 2010-05-28 2013-05-16 Tim Kukulski System and Method for Evaluating Interoperability of Gesture Recognizers
US8669946B2 (en) 2010-05-28 2014-03-11 Blackberry Limited Electronic device including touch-sensitive display and method of controlling same
EP2390766B1 (en) 2010-05-28 2013-09-25 BlackBerry Limited Electronic device including touch-sensitive display and method of controlling same
CN102262890A (zh) 2010-05-31 2011-11-30 鸿富锦精密工业(深圳)有限公司 电子装置及其标记方法
US8836643B2 (en) 2010-06-10 2014-09-16 Qualcomm Incorporated Auto-morphing adaptive user interface device and methods
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
JP5663980B2 (ja) 2010-06-29 2015-02-04 ブラザー工業株式会社 画像処理装置
TWI407346B (zh) 2010-07-30 2013-09-01 Ind Tech Res Inst 觸控輸入裝置之軌跡補償方法與系統,及其電腦程式產品
KR20120024247A (ko) 2010-09-06 2012-03-14 삼성전자주식회사 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치
US20120133579A1 (en) 2010-11-30 2012-05-31 Microsoft Corporation Gesture recognition management
CN106095418B (zh) 2010-12-20 2019-09-13 苹果公司 事件识别
US8438473B2 (en) 2011-01-05 2013-05-07 Research In Motion Limited Handling of touch events in a browser environment
US20120242584A1 (en) 2011-03-22 2012-09-27 Nokia Corporation Method and apparatus for providing sight independent activity reports responsive to a touch gesture
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
AU2011202182B1 (en) 2011-05-11 2011-10-13 Frequency Ip Holdings, Llc Creation and presentation of selective digital content feeds
TWI467463B (zh) 2011-05-27 2015-01-01 Asustek Comp Inc 具觸控式螢幕的電腦系統及其手勢的處理方法
US9389679B2 (en) 2011-11-30 2016-07-12 Microsoft Technology Licensing, Llc Application programming interface for a multi-pointer indirect touch input device
US9071970B2 (en) 2011-12-05 2015-06-30 Sony Corporation Terminal device
US9046958B2 (en) 2012-03-15 2015-06-02 Nokia Technologies Oy Method, apparatus and computer program product for user input interpretation and input error mitigation
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US9430142B2 (en) 2014-07-17 2016-08-30 Facebook, Inc. Touch-based gesture recognition and application navigation

Also Published As

Publication number Publication date
AU2011268047A1 (en) 2012-11-01
US20110304560A1 (en) 2011-12-15
JP2013532335A (ja) 2013-08-15
AU2011268047B2 (en) 2014-02-20
AU2011268047C1 (en) 2014-07-10
KR101453641B1 (ko) 2014-10-22
JP2016197448A (ja) 2016-11-24
WO2011159531A3 (en) 2012-02-09
CN106126097A (zh) 2016-11-16
US8552999B2 (en) 2013-10-08
JP5621042B2 (ja) 2014-11-05
CN102884500A (zh) 2013-01-16
US10216408B2 (en) 2019-02-26
CN106126097B (zh) 2020-06-05
EP2545432A2 (en) 2013-01-16
KR20130018870A (ko) 2013-02-25
WO2011159531A2 (en) 2011-12-22
JP6163592B2 (ja) 2017-07-12
US20110307833A1 (en) 2011-12-15
EP2545432B1 (en) 2019-04-17
CN102884500B (zh) 2016-05-18
JP2015018572A (ja) 2015-01-29

Similar Documents

Publication Publication Date Title
JP6163592B2 (ja) コントロール選択近似
AU2021290349B2 (en) Devices, methods, and graphical user interfaces for wireless pairing with peripheral devices and displaying status information concerning the peripheral devices
JP6201003B2 (ja) ジェスチャ認識を制御及び変更するためのデリゲートを有するジェスチャ・レコグナイザ
US20160065505A1 (en) Anchored approach to scrolling
US11112959B2 (en) Linking multiple windows in a user interface display
KR20130111615A (ko) 이벤트 인식
US10613732B2 (en) Selecting content items in a user interface display
AU2016204284B2 (en) Control selection approximation
AU2014200702B2 (en) Control selection approximation

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151113

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160722

R150 Certificate of patent or registration of utility model

Ref document number: 5977788

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250