JP5535898B2 - ウェブページのためのタッチイベント処理 - Google Patents

ウェブページのためのタッチイベント処理 Download PDF

Info

Publication number
JP5535898B2
JP5535898B2 JP2010502357A JP2010502357A JP5535898B2 JP 5535898 B2 JP5535898 B2 JP 5535898B2 JP 2010502357 A JP2010502357 A JP 2010502357A JP 2010502357 A JP2010502357 A JP 2010502357A JP 5535898 B2 JP5535898 B2 JP 5535898B2
Authority
JP
Japan
Prior art keywords
touch
web page
event
events
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010502357A
Other languages
English (en)
Other versions
JP2010524095A (ja
Inventor
グレゴリー デニス ボルシンガ
ティモシー ピー オマニック
リチャード ウィリアムソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2010524095A publication Critical patent/JP2010524095A/ja
Application granted granted Critical
Publication of JP5535898B2 publication Critical patent/JP5535898B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577Optimising the visualization of content, e.g. distillation of HTML documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/14Tree-structured documents
    • G06F40/143Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Description

本発明は、一般的に、ウェブブラウジングサービスに係る。
ドキュメント内のテキストベース情報の構造を記述すると共に、そのテキストを双方向フォーム、埋め込まれた映像及び他のオブジェクトで補足するための手段をなすマークアップ言語を使用して、ウェブページが生成される。1つの普及したマークアップ言語は、カギ括弧で囲まれたタグの形態で書かれたハイパーテキストマークアップ言語(HTML)である。HTMLは、ウェブページの見掛け及び意味を記述することができると共に、ウェブブラウザ及び他のHTMLプロセッサの振舞いに影響する埋め込み型スクリプト言語コード(例えば、JavaScript(登録商標))を含むことができる。JavaScript(登録商標)は、マウスイベントハンドラー又はイベントリスナーをウェブページに追加する能力を開発者に与える。これらのマウスイベントハンドラーは、ウェブページの特定の領域に指定され、そしてマウスアップ又はマウスダウンイベントのようなマウスイベントをこれらの領域において受け取るように構成することができる。
対照的に、タッチ感知装置でナビゲートされるウェブページは、ユーザが1つ以上の指でウェブページにタッチしそしてジェスチャーをなすことで発生されたタッチイベントに応答することがしばしば必要である。従来のマウスイベントハンドラーは、これらタッチイベントを正しく解釈することができない。従って、タッチイベントは、タッチイベントを正しく解釈すると共に、タッチ感知ディスプレイ又は装置の能力を開発者が完全に利用できるようにするための異なるタッチイベントモデルを必要としている。
タッチ感知装置から1つ以上のタッチ入力信号を得ることができる。それらタッチ入力信号が、タッチ感知装置上に表示されるウェブページの1つ以上の領域に関連する場合には、ウェブページの領域に関連したタッチイベントがウェブページによって処理される。タッチ入力信号がウェブページの領域に関連付しない場合には、タッチ感知装置に関連したアプリケーションがタッチ入力信号を処理する。
ある実施形態において、方法は、タッチ入力信号を受け取るステップと、そのタッチ入力信号が、タッチ感知装置に表示されるウェブページの1つ以上の領域に関連しているかどうか決定するステップと、そのタッチ入力信号がウェブページの1つ以上の領域に関連している場合にはウェブページへタッチイベントを処理するために転送するステップとを備えている。
システム、方法及びコンピュータ読み取り可能な媒体に向けられた他の実施形態も開示される。
例示的なウェブページドキュメントを示す。 例示的なマルチタッチケーパブル装置の処理スタックを示す。 タッチイベントを処理するための例示的プロセスのフローチャートである。 例示的なマルチタッチケーパブル装置を示す。 図4のマルチタッチケーパブル装置に対する例示的なネットワークオペレーティング環境のブロック図である。 図4のマルチタッチケーパブル装置の実施例のブロック図である。
例示的ウェブページ構造及びDOM
図1Aは、ブラウザに表示できる例示的ウェブページ100を示す。ブラウザは、図4のマルチタッチケーパブル(multi-touch capable)装置400のようなポータブル装置にホストされてもよい。ウェブページ100には、1つ以上のエレメント、即ちエレメント102(“エレメント1”)、エレメント104(“エレメント2”)及びエレメント106(“エレメント3”)を表示することができる。これらエレメント102、104、106は、ユーザが選択できるウェブページ100の領域に対応することができ、選択の結果として付加的な機能を与えることができる。例えば、これらエレメントは、ウェブページ100のボタンに対応する。又、1つのエレメントが別のエレメントを含むようにエレメントをネスト構成にすることもできる。例えば、エレメント104は、エレメント108を含む。図示された例では、エレメント108は、例えば、メディアプレーヤユーザインターフェイスであるエレメント104内にネストされたスクラバーコントロールである。
ある実施形態において、ユーザは、マウスではなく指を使用してウェブページ100のエレメントで種々のファンクションを遂行することができる。ユーザは、例えば、図4に示すタッチ感知ディスプレイ402を使用してウェブページ100のエレメントにタッチすることができる。一実施例では、ユーザは、1つ以上の指でエレメントにタッチし及び/又はスワイプ、ピンチ又は回転運動のようなジェスチャーを行うことで、エレメントを選択することができる。タッチ入力信号を確認するために、ウェブページ100のあるエリアをタッチイベントハンドラーに関連付けることができる。これは、図1Bを参照して述べるように、DOM及び埋め込まれたスクリプト言語で行うことができる。
図1Bは、ウェブページ100に関連付けられた例示的DOM150である。このDOM150は、ウェブページ100の構造的表示を与えるもので、スクリプト言語(例えば、JavaScript(登録商標))で解釈できるオブジェクトのセットとしてウェブページコンテンツを記述する。ある実施形態において、DOM150は、ウェブページ100のエレメント102、104、106、108をツリーの個々のノードにマップすることによりウェブページの構造へのアクセスを与える。例えば、エレメント102は、ノード154に対応する。エレメント104は、ノード156に対応する。エレメント106は、ノード158に対応する。エレメント108は、ノード160に対応する。根ノード152は、全ウェブページ100に対応する。
ある実施形態において、ウェブページ100の1つ以上のエレメント102、104、106、108は、DOM150の対応ノードをタッチイベントハンドラーに関連付けることにより、1つ以上の対応するタッチイベントハンドラーに関連付けることができる。タッチイベントハンドラーは、ウェブページ100のHTMLタグに挿入できると共に、例えば、ユーザがウェブページ100の1つのエレメントにタッチするか又はその中でジェスチャーするときに、スクリプト言語を実行してアクションを遂行することができる。例えば、JavaScript(登録商標)は、DOM150と共に機能して、異なるタッチイベントにアクションをアタッチすることができる。
ある実施形態では、1つ以上のエレメント102、104、106、108が、イベントハンドラー又はリスナーにより検出されたタッチ入力を受け取ることができる。タッチ入力は、図2を参照して説明するように、ソフトウェアスタックの1つ以上のレイヤにおいて実施できるタッチイベントモデルによって検出されてタッチイベントへと処理することができる。タッチイベントは、ウェブページ100により更に処理することができる。タッチイベントは、タッチ感知装置により発生される生のタッチ入力信号よりもアプリケーションにおいて使用し易いフォーマット(例えば、属性)である。例えば、各タッチイベントは、タッチが現在発生しているところの座標のセットを含むことができる。
ウェブページ100における各エレメント、及びその関連イベントハンドラーは、タッチイベントを受け取り、処理し、取り扱うことができる。例えば、ドライバ202(図2)が、エレメント102に関連したタッチポイント110を感知するか、又はエレメント104に関連したタッチポイント112を感知する場合に、エレメント102又は104に関連したイベントハンドラーは、エレメントにタッチしたことを指示する個別のタッチイベントを各々受け取ることができ、そして任意であるが、そのタッチイベントを更なる処理のためにウェブページ100へ送ることができる。ある実施形態において、イベントハンドラーに対応しないウェブページ100の領域にタッチした場合には、アプリケーションレイヤ214のブラウザが、ウェブページ100ではなく、入力を処理することができる。
ある実施形態では、アプリケーションレイヤ214のブラウザは、全てのタッチ入力を受け取ることができる。ブラウザは、タッチ入力が、タッチハンドラーを含むウェブページ100の領域に関連しているかどうか決定することができる。タッチ入力が、タッチハンドラーを含むウェブページ100の領域に関連している場合には、タッチイベントモデルは、タッチイベントを発生し、そしてそのタッチイベントを処理のためにウェブページ100へ送ることができる。タッチ入力がウェブページ100の領域でない場合には、ブラウザは、タッチ入力を処理することができる。
図1の実施例を参照すれば、ユーザは、第1タッチを放さないまま(例えば、第1タッチポイントに指を押し付けたまま)第2位置においてウェブページ100にタッチすることができる。例えば、ユーザは、第1の指でタッチポイント110をタッチし、そしてそのタッチポイント110から第1の指を放さずに第2の指でタッチポイント112にタッチすることができる。それ故、タッチポイント112における第2のタッチは、タッチポイント110におけるタッチと同時である。この例では、ブラウザは、タッチポイント110及び112が、タッチハンドラーを含むウェブページ100の領域であることを決定する。従って、タッチイベントモデルは、タッチポイント110及び112におけるタッチ入力に対して第1タッチイベント及び第2タッチイベントを各々発生し、そしてそれら第1及び第2のタッチ事象を処理のためにウェブページ100へ送る。
しかしながら、ユーザが第3の位置(例えば、タッチポイント114)においてウェブページ100にタッチする場合には、ブラウザは、そのタッチが、タッチハンドラーに関連したウェブページ100の領域に関連しないことを決定する。この場合には、ブラウザは、タッチイベントを処理のためにウェブページ100に送らない。むしろ、ブラウザは、イベントそれ自体を処理する。
ある実施形態では、ブラウザがタッチハンドラーに関連している場合に、ブラウザは、ブラウザに関連したタッチハンドラーに基づいて入力を処理することができる。例えば、ブラウザは、ユーザがブラウザの表示をズームイン及びズームアウトするのを許すタッチハンドラーに関連させることができる。
ある実施形態では、DOM150においてノードごとに指ごとにタッチイベントを検出することができる。例えば、ユーザは、実質的に同時にタッチポイント110及びタッチポイント112においてタッチ感知ディスプレイ402にタッチすることができ、そしてタッチイベントモデルにより2つの個別のタッチイベントを検出することができる。DOM150における各ノード102及びノード104は個別のタッチイベントハンドラーに関連しているので、タッチポイント110及びタッチポイント112に対して個別のタッチイベントを検出することができる。
ある実施形態において、タッチイベントは、EventTargetとしてウェブページ100へ配送することができる。タッチイベントの幾つかの例は、touchstart(タッチ開始)、touchmove(タッチ移動)、touchend(タッチ終了)、及びtouchcancel(タッチキャンセル)を含むことができる。他のタッチイベントも考えられる。touchstartは、イベントハンドラーに関連したウェブページ100の領域においてタッチ感知ディスプレイ402にユーザが最初に指を置いたときに検出されるタッチイベントである。ユーザがウェブページ100上で自分の指を動き回らせると、1つ以上のtouchmoveイベントを検出することができる。ユーザがウェブページ100から自分の指を持ち上げると、touchendイベントが検出される。システムが普通のイベントハンドリングを中断するときには、touchcancelを検出することができる。例えば、偶発的なタッチを防止するためにタッチ感知ディスプレイ402がロックされたときにtouchcancelイベントが生じる。
又、ある実施形態において、2つ以上のタッチイベントを合成することによりジェスチャーイベントを検出することもできる。タッチイベントと同様に、ジェスチャーイベント(GestureEvent)を、EventTargetとしてウェブページ100へ配送することもできる。ジェスチャーイベントの幾つかの例は、gesturestart(ジェスチャー開始)、gesturechange(ジェスチャー変更)、及びgestureend(ジェスチャー終了)である。ジェスチャーイベントは、スケール及び/又は回転情報を含むことができる。回転情報は、度での相対的デルタである回転値を含むことができる。ウェブページ100のエレメントは、この回転値に基づいて動的に回転することができる。スケール情報は、ドキュメントピクセルでの相対的デルタであるスケール値を含むことができる。ジェスチャーイベントに関連したウェブページ100のエレメントは、このスケール値に基づいて動的にサイズ変更することができる。他のジェスチャーイベントも考えられる。
ある実施形態では、ウェブページ100上の1つ以上のタッチを識別するためのタッチイベントデータを含むタッチリストを受け取ることができる。タッチイベントデータは、タッチ識別子と、少なくとも1セットのタッチ位置座標とを含むことができる。又、タッチリストは、各タッチに関連したタッチイベントターゲットに対するタッチイベントデータも含むことができる。ある実施形態では、1セットのタッチ位置座標は、クライアント座標、ページ座標、及びスクリーン座標を含むことができる。ある実施形態では、タッチイベントデータは、1つ以上の変更されたタッチを識別することができる。
ある実施形態では、GestureEventを、TouchEventの前にウェブページ100へ送り出すことができる。例えば、ユーザがタッチポイント110及びタッチポイント112に指を置いて、タッチ感知ディスプレイ上で指を時計方向又は反時計方向に動かして回転ジェスチャーを行う場合には、タッチイベントモデルがこれらの複数タッチイベントを検出し、そのタッチイベントをジェスチャーイベントへと合成する。次いで、このジェスチャーイベントをウェブページ100へ送り、その後、そのジェスチャーイベントを形成するために合成されたタッチイベントを送ることができる。このように、開発者は、ジェスチャーイベント、及びジェスチャーイベントの個々のタッチイベントにアクセスすることができ、これは、ウェブアプリケーションを開発するときに、より大きな融通性を開発者に与えるものである。
ある実施形態では、タッチイベントが次の順序で受け取られる。即ち、touchstartイベント、1つ以上のtouchmoveイベント、そしてtouchend又はtouchcancelイベント。図1Aの実施例を使用すると、ユーザがタッチポイント110にタッチしたときに、エレメント102に関連した第1のタッチイベントハンドラーにより第1のtouchstartイベントが検出される。ユーザがタッチポイント112にタッチすると、エレメント104に関連した第2のタッチイベントハンドラーにより第2のtouchstartイベントが検出される。ユーザが自分の指を持ち上げずに自分の指を回転するにつれて、第1及び第2のタッチイベントハンドラーがtouchmoveイベントを検出し、これは、タッチイベントモデルにより回転ジェスチャーイベントとして解釈することができる。ユーザが回転を終了して自分の指をウェブページ100から持ち上げると、第1及び第2のタッチイベントハンドラーがtouchendイベントを検出する。これらのタッチイベントの全部又は幾つかを、タッチイベント「アプリケーションプログラミングインターフェイス(API)」により、開発者に利用できるようにすることができる。タッチAPIは、「ソフトウェアデベロープメントキット(SDK)」として、又はアプリケーションの一部分として(例えば、ブラウザツールキットの一部分として)開発者に利用できるようにすることができる。タッチイベントAPIは、その種々のファンクションを遂行するために、他のサービス、フレームワーク及びオペレーティングシステムに依存することができる。これらのサービス、フレームワーク及びオペレーティングシステムは、図2を参照して述べるようにソフトウェア又は処理スタックの一部分でよく、ここでは、アプリケーションにおけるイベントアクションを定義するためにドキュメントに挿入できる属性にタッチイベントが関連付けされる。
例示的IDL
例示的なタッチイベントモデルを、「インターフェイス記述言語(IDL)」で以下に説明する。IDLのファンクション及びデータ構造は、ウェブ設計者又はアプリケーション開発者によりAPIを通してアクセスすることができる。タッチイベント及び/又はジェスチャーイベントへのアクセスは、アプリケーションにおけるイベントアクションを定義するためにマークアップ言語ドキュメント(例えば、HTML、XML)に挿入できる属性に関連付けることができる。例えば、これら属性は、タッチ感知ディスプレイ402に表示されるウェブページを発生するためにHTMLドキュメントの1つ以上のHTMLタグに挿入することができる。イベントアクションは、植え込み型スクリプト(例えば、JavaScript(登録商標))を実行することを含むことができる。
Figure 0005535898

Figure 0005535898
次は、上述した例示的IDLを使用してタッチイベントを処理するためのHTMLコード断片の例である。以下のHTMLは、例えば、タッチイベントリスナーTouchStart及びGestureStartが、HTMLコードをもつエレメントに追加されたことを示す。
Figure 0005535898
前記IDLに対応するHTMLコードは、次のものでよい。
Figure 0005535898

Figure 0005535898

Figure 0005535898

Figure 0005535898

Figure 0005535898
マルチタッチ装置のための例示的処理スタック
図2は、例示的なマルチタッチケーパブル装置の処理スタックを示す図である。上述したタッチイベントモデルは、処理スタックの1つ以上の領域及びスタックにおけるユーザの種々のリソースにおいて実施することができる。ハードウェア200のレイヤは、種々のハードウェアインターフェイスコンポーネント、例えば、タッチ感知又はイネーブル型装置或いはタッチ感知ディスプレイを含むことができる。タッチ感知装置は、ディスプレイと、複数のタッチを同時に感知するパネルとを含むことができる。又、ハードウェアレイヤ200は、タッチ感知ディスプレイ又は装置の向き(例えば、肖像、風景)を検出するための加速度計も含むことができる。従って、向きを表す信号は、最適な表示のためにウェブページをスケーリングするようにタッチイベントモデルにより使用することができる。
ドライバレイヤ202における1つ以上のドライバは、ハードウェア200と通信することができる。例えば、ドライバは、ハードウェアレイヤ200のタッチ感知ディスプレイ又は装置によって発生されるタッチ入力信号を受け取って処理することができる。コアオペレーティングシステム(OS)204は、ドライバ(1つ又は複数)と通信することができる。コアOS204は、ドライバ(1つ又は複数)から受け取られた生の入力データを処理することができる。ある実施形態では、ドライバは、コアOS204の一部分であると考えることもできる。
OSアプリケーションプログラミングインターフェイス(API)206のセットがコアOS204と通信することができる。これらのAPIは、オペレーティングシステムと共に通常含まれるAPIのセットでよい(例えば、Linux又はUNIX API)。コアファウンデーションAPI208のセットは、OS API206を使用することができ、そしてファウンデーションAPI210のセットは、コアファウンデーションAPI208を使用することができる。
ウェブページソフトウェア開発キット(SDK)210は、装置で実行されるアプリケーションにより使用するように設計されたAPIのセットを含むことができる。タッチイベントAPIは、例えば、ウェブページSDK210に含ませることができる。ウェブページSDK210のAPIは、ファウンデーションAPI208を使用することができる。ウェブページSDK210は、例えば、Apple Inc(登録商標)により提供されるウェブキットを含むことができる。ウェブページSDK210は、APIとしてオファーすることもできるし、或いはアプリケーション、例えば、Apple Inc(登録商標)により提供されるSAFARI(登録商標)のようなブラウザを通してアクセスすることもできる。
装置で実行されるアプリケーション214は、ウェブページSDK210のAPIを使用してウェブページを生成することができる。次いで、ウェブページSDK210のAPIは、低レベルエレメントと通信し、最終的には、タッチ感知ディスプレイ又は装置及び種々の他のユーザインターフェイスハードウェアと通信することができる。各レイヤは、その下のレイヤを使用できるが、これは、常に必要とされない。例えば、ある実施形態では、装置214は、OS API206と時々通信することができる。
例示的タッチイベント最適化プロセス
図3は、タッチイベントの処理を最適化するプロセス300のフローチャートである。このプロセス300は、タッチ感知装置からタッチ入力信号を受け取ることで開始する(302)。タッチ入力信号が、タッチ感知装置に表示されたウェブページの1つ以上の領域に関連しているかどうかの決定がなされる(304)。ウェブページの1つ以上の領域をタッチイベントに関連させることができる。この決定は、例えば、タッチ感知装置に関連したアプリケーション(例えば、ブラウザ)によって行うことができる。ウェブページの1つ以上の領域に関連したタッチイベントは、タッチ信号がウェブページの1つ以上の領域に関連している場合には、ウェブページで処理することができる(306)。タッチ信号がウェブページの1つ以上の領域に関連していない場合には、アプリケーションがタッチ信号を処理することができる。
移動装置の概略
図4は、例示的なマルチタッチケーパブル装置400のブロック図である。ある実施形態では、マルチタッチケーパブル装置400は、タッチ感知ディスプレイ402を備えている。このタッチ感知ディスプレイ402は、液晶ディスプレイ(LCD)技術、光放射ポリマーディスプレイ(LPD)技術、又は他のディスプレイ技術を実施することができる。タッチ感知ディスプレイ402は、ユーザとの触覚及び/又は触感接触を感知することができる。
ある実施形態では、タッチ感知ディスプレイ402は、マルチタッチ感知ディスプレイ402である。タッチ感知ディスプレイ402は、例えば、複数の同時タッチポイントを処理することができ、これは、各タッチポイントの圧力、程度及び/又は位置に関連したデータを処理することを含む。このような処理は、複数の指でのジェスチャー及び相互作用、コーディング(chording)、及び他の相互作用を容易にする。他のタッチ感知ディスプレイ技術、例えば、スタイラス又は他のポインティング装置を使用して接触がなされるディスプレイも、使用することができる。マルチタッチ感知ディスプレイ技術の幾つかの例が、米国特許第6,323,846号、第6,570,557号、第6,677,932号、及び米国特許公告第2002/0015024A1号に説明されており、その各々は、参考としてここにそのまま援用する。ある実施形態では、マルチタッチケーパブル装置400は、種々のシステムオブジェクトへのユーザアクセスを与えると共にユーザへ情報を伝達するためにタッチ感知ディスプレイ402に1つ以上のグラフィックユーザインターフェイスを表示することができる。
例示的なマルチタッチケーパブル装置のファンクション
ある実施形態において、マルチタッチケーパブル装置400は、電話装置、e−メール装置、ネットワークデータ通信装置、Wi−Fiベースステーション装置、及び媒体処理装置のような複数の装置ファンクションを実施することができる。ある実施形態では、マルチタッチケーパブル装置400は、ウェブページ(例えば、ウェブページ100)を表示するためのウェブブラウザ404を含むことができる。タッチ感知ディスプレイ402は、ウェブページ100において作られるタッチ入力信号を受け取ることができ、そして上述したタッチモデルを使用して、タッチ入力信号に基づきタッチ及び/又はジェスチャーイベントを決定することができる。ある実施形態では、マルチタッチケーパブル装置400は、ネットワーク配布ファンクションを実施することができる。ある実施形態では、タッチ感知ディスプレイ402は、マルチタッチケーパブル装置400がユーザの耳の付近にあるときに、ロックダウンすることができる。このロックダウンは、図1Bを参照して述べたように、touchcancelイベントを生じさせる。
ある実施形態では、加速度計472は、方向矢印474により指示されたように、マルチタッチケーパブル装置400の移動を検出するのに使用することができる。従って、表示オブジェクト及び又は媒体は、例えば、肖像又は風景のような検出された向きに基づいてプレゼンテーションすることができる。ある実施形態では、マルチタッチケーパブル装置400は、グローバルポジショニングシステム(GPS)、又は他のポジショニングシステム(例えば、Wi−Fiアクセスポイント、テレビジョン信号、セルラーグリッド、ユニフォームリソースロケータ(URL)を使用するシステム)により与えられるような位置決定能力をサポートするための回路及びセンサを含むことができる。ある実施形態では、ポジショニングシステム(例えば、GPS受信器)は、マルチタッチケーパブル装置400に一体化することもできるし、又は位置に基づくサービスへのアクセスを与えるようにインターフェイスを経てマルチタッチケーパブル装置400に結合できる個別の装置として設けることもできる。又、マルチタッチケーパブル装置400は、1つ以上のワイヤレス通信サブシステムを含むこともできる。
ある実施形態では、例えば、ユニバーサルシリアルバス(USB)ポート又はドッキングポート或いは他のワイヤードポート接続のようなポート装置を含ませることができる。このポート装置は、例えば、他のコンピューティング装置、例えば、他のマルチタッチケーパブル装置400、ネットワークアクセス装置、パーソナルコンピュータ、プリンタ、又はデータを受信及び/又は送信できる他の処理装置へのワイヤード接続を確立するのに使用することができる。ある実施形態では、ポート装置は、マルチタッチケーパブル装置400が、1つ以上のプロトコル、例えば、TCP/IP、HTTP、UDP及び他の既知のプロトコルを使用して、ホスト装置と同期をとれるようにする。
ネットワークオペレーティング環境
図5は、図4のマルチタッチケーパブル装置400に対する例示的なネットワークオペレーティング環境600のブロック図である。図4のマルチタッチケーパブル装置400は、例えば、データ通信において1つ以上のワイヤード及び/又はワイヤレスネットワーク510を経て通信することができる。例えば、ワイヤレスネットワーク512、例えば、セルラーネットワークは、ゲートウェイ516の使用により、インターネットのようなワイドエリアネットワーク(WAN)514と通信することができる。同様に、802.11gワイヤレスアクセスポイントのようなアクセスポイント518は、ワイドエリアネットワーク514へ通信アクセスを与えることができる。ある実施形態では、ワイヤレスネットワーク512及びアクセスポイント518を経て音声及びデータの両通信を確立することができる。例えば、マルチタッチケーパブル装置400aは、(例えば、VoIPプロトコルを使用して)電話コールを発信及び受信することができ、(例えば、POP3プロトコルを使用して)e−メールメッセージを送信及び受信することができ、且つ(例えば、TCP/IP又はUDPプロトコルを使用して)ワイヤレスネットワーク512、ゲートウェイ516及びワイドエリアネットワーク514を経てウェブページ、写真及びビデオのような電子ドキュメント及び/又はストリームを検索することができる。同様に、マルチタッチケーパブル装置400bは、電話コールを発信及び受信し、e−メールメッセージを送信及び受信し、且つアクセスポイント518及びワイドエリアネットワーク514を経て電子ドキュメントを検索することができる。ある実施形態では、マルチタッチケーパブル装置400は、1つ以上のケーブルを使用してアクセスポイント518へ物理的に接続することができ、又、アクセスポイント518は、パーソナルコンピュータでよい。この構成では、マルチタッチケーパブル装置400は、「テザード(tethered)」装置と称することができる。
又、マルチタッチケーパブル装置400a及び400bは、他の手段により通信を確立することもできる。例えば、マルチタッチケーパブル装置400aは、ワイヤレスネットワーク512を経て、他のワイヤレス装置、例えば、他のマルチタッチケーパブル装置400、セルラー電話、等と通信することができる。同様に、マルチタッチケーパブル装置400a及び400bは、図4に示すBluetooth(登録商標)通信装置488のような1つ以上の通信サブシステムの使用により、例えば、パーソナルエリアネットワークのようなピア・ツー・ピア通信520を確立することができる。又、他の通信プロトコル及びトポロジーを実施することもできる。
マルチタッチケーパブル装置400は、例えば、1つ以上のワイヤード及び/又はワイヤレスネットワーク510を経てネットワークリソース530と通信することができる。例えば、ネットワークリソースは、図1及び2を参照して述べたように、タッチモデルを経てタッチできるウェブページを配送するためのウェブサーバーでよい。
又、マルチタッチケーパブル装置400上のソフトウェアに対してソフトウェア更新が存在するかどうか自動的に決定し、次いで、そのソフトウェア更新をマルチタッチケーパブル装置400にダウンロードし、そこで、手動で又は自動的にアンパックし及び/又はインストールすることのできるソフトウェア更新サービスを含む他のサービスを提供することもできる。
例示的移動装置アーキテクチャー
図6は、図4のマルチタッチケーパブル装置400の実施形態のブロック図600である。マルチタッチケーパブル装置400は、メモリインターフェイス602と、1つ以上のデータプロセッサと、映像プロセッサ及び/又は中央処理ユニット604と、周辺インターフェイス606とを含むことができる。メモリインターフェイス602、1つ以上のプロセッサ604及び/又は周辺インターフェイス606は、個別のコンポーネントでもよいし、或いは1つ以上の集積回路に一体化されてもよい。マルチタッチケーパブル装置400における種々のコンポーネントは、1つ以上の通信バス又は信号ラインにより結合することができる。
センサ、装置及びサブシステムは、複数のファンクションを容易にするために、周辺インターフェイス606に結合することができる。例えば、運動センサ610、光センサ612、及び接近センサ614は、図4を参照して述べた方向、照明及び接近ファンクションを容易にするために、周辺インターフェイス606に結合することができる。又、関連ファンクションを容易にするために、ポジショニングシステム(例えば、GPS受信器)、温度センサ、生体測定センサ、又は他のセンサ装置のような他のセンサ616を周辺インターフェイス606に接続することもできる。
又、記録写真及びビデオクリップのようなカメラファンクションを容易にするために、カメラサブシステム620及び光学的センサ622、例えば、電荷結合装置(CCD)又は相補的金属酸化物半導体(CMOS)光学的センサを使用することができる。
又、高周波受信器及び送信器、及び/又は光学的(例えば、赤外線)受信器及び送信器を含む1つ以上のワイヤレス通信サブシステム624により通信ファンクションを容易にすることができる。通信サブシステム624の特定の設計及び実施は、マルチタッチケーパブル装置400が動作することが意図された通信ネットワーク(1つ又は複数)に依存する。例えば、マルチタッチケーパブル装置400は、GSMネットワーク、GPRSネットワーク、EDGEネットワーク、Wi−Fi又はWiMaxネットワーク、及びBluetooth(登録商標)ネットワークを経て動作するように設計された通信サブシステム624を含むことができる。特に、ワイヤレス通信サブシステム624は、装置500が他のワイヤレス装置のためのベースステーションとして構成されるようにホスティングプロトコルを含むことができる。
オーディオサブシステム626は、ボイスイネーブル型ファンクション、例えば、音声認識、音声複写、デジタル記録及び電話ファンクションを容易にするために、スピーカ628及びマイクロホン630に結合することができる。
I/Oサブシステム640は、タッチスクリーンコントローラ642及び/又は他の入力コントローラ644(1つ又は複数)を含むことができる。タッチスクリーンコントローラ642は、タッチスクリーン646に結合することができる。タッチスクリーン646及びタッチスクリーンコントローラ642は、例えば、これらに限定されないが、容量性、抵抗性、赤外線、及び表面音波技術、並びにタッチスクリーン646との1つ以上の接触ポイントを決定するための他の接近センサアレイ又は他の素子を含む複数のタッチ感知技術のいずれかを使用して、接触及び移動又はその切断を検出することができる。
他の入力コントローラ644(1つ又は複数)は、他の入力/制御装置648、例えば、1つ以上のボタン、ロッカースイッチ、サムホイール、赤外線ポート、USBポート、及び/又はスタイラス等のポインタ装置に結合することができる。1つ以上のボタン(図示せず)は、スピーカ628及び/又はマイクロホン630の音量制御のためのアップ/ダウンボタンを含むことができる。
一実施形態では、第1時間中ボタンを押すと、タッチスクリーン646のロックが解離し、その第1時間より長い第2時間中ボタンを押すと、マルチタッチケーパブル装置400への電源をターンオン又はオフにすることができる。ユーザは、1つ以上のボタンのファンクションをカスタマイズすることができる。タッチスクリーン646は、例えば、バーチャル又はソフトボタン、及び/又はキーパッド又はキーボードを実施するのにも使用できる。
ある実施形態では、マルチタッチケーパブル装置400は、MP3、AAC、およびMPEGファイルのような記録されたオーディオ及び/又はビデオファイルをプレゼンテーションすることができる。ある実施形態では、マルチタッチケーパブル装置400は、iPodTMのようなMP3プレーヤのファンクションを含むことができる。それ故、マルチタッチケーパブル装置400は、iPodに適合できる32ピンコネクタを含むことができる。又、他の入力/出力及び制御装置を使用することもできる。
メモリインターフェイス602は、メモリ650に結合することができる。メモリ650は、高速ランダムアクセスメモリ及び/又は不揮発性メモリ、例えば、1つ以上の磁気ディスク記憶装置、1つ以上の光学的記憶装置、及び/又はフラッシュメモリ(例えば、NAND、NOR)を含むことができる。メモリ650は、オペレーティングシステム652、例えば、Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、又は埋め込み型オペレーティングシステム、例えば、VxWorksを記憶することができる。オペレーティングシステム652は、基本的システムサービスをハンドリングし及びハードウェア依存性タスクを遂行するためのインストラクションを含むことができる。
又、メモリ650は、1つ以上の付加的な装置、1つ以上のコンピュータ、及び/又は1つ以上のサーバーとの通信を容易にするために通信インストラクション654を記憶することもできる。メモリ650は、グラフィックユーザインターフェイス処理を容易にするためのグラフィックユーザインターフェイスインストラクション656、センサ関連処理及びファンクションを容易にするためのセンサ処理インストラクション658、電話関連プロセス及びファンクションを容易にするための電話インストラクション660、電子メッセージング関連プロセス及びファンクションを容易にするための電子メッセージングインストラクション662、ウェブブラウジング関連プロセス及びファンクションを容易にするためのウェブブラウジングインストラクション664、メディア処理関連プロセス及びファンクションを容易にするためのメディア処理インストラクション666、GPS及びナビゲーション関連プロセス及びファンクションを容易にするためのGPS/ナビゲーションインストラクション668、カメラ関連プロセス及びファンクションを容易にするためのカメラインストラクション670、及び/又は図1−5を参照して述べたプロセス及びファンクションを容易にするための他のメッセージングインストラクション672を含むことができる。
上述したインストラクション及びアプリケーションの各々は、上述した1つ以上のファンクションを遂行するためのインストラクションのセットに対応することができる。これらのインストラクションは、個別のソフトウェアプログラム、手順又はモジュールとして実施される必要はない。メモリ650は、付加的なインストラクションを含むこともできるし、又はより少数のインストラクションを含んでもよい。マルチタッチケーパブル装置400の種々のファンクションは、1つ以上の信号処理及び/又は特定用途向け集積回路を含めて、ハードウェア及び/又はソフトウェアで実施することができる。
ここに述べる特徴は、デジタル電子回路、或いはコンピュータハードウェア、ファームウェア、ソフトウェア、又はそれらの組合せで実施することができる。これらの特徴は、プログラム可能なプロセッサにより実行するために、例えば、マシン読み取り可能な記憶装置又は伝播信号のような情報キャリアに明白に埋め込まれたコンピュータプログラム製品において具現化することができ、そして入力データに対して動作して出力を発生することにより前記実施形態のファンクションを遂行するためにインストラクションのプログラムを実行するプログラム可能なプロセッサにより方法ステップを遂行することができる。
上述した特徴は、データ記憶システムからデータ及びインストラクションを受け取ると共にデータ記憶システムへデータ及びインストラクションを送り出すように結合された少なくとも1つのプログラム可能なプロセッサと、少なくとも1つの入力装置と、少なくとも1つの出力装置とを含むプログラム可能なシステムにおいて実行できる1つ以上のコンピュータプログラムにおいて具現化できるのが好都合である。コンピュータプログラムとは、コンピュータに直接的又は間接的に使用して、あるアクティビティを遂行するか又はある結果を得ることができるインストラクションのセットである。コンピュータプログラムは、コンパイルされた言語又は解釈された言語を含む任意の形態のプログラミング言語(例えば、Objective−C、Java)で書くことができ、そしてコンピューティング環境で使用するのに適したコンポーネント、サブルーチン又は他のユニットをスタンドアローンプログラム又はモジュールとして含む任意の形態で展開することができる。
インストラクションのプログラムを実行するのに適したプロセッサは、例えば、任意の種類のコンピュータの、汎用及び特殊目的の両マイクロプロセッサ、単独プロセッサ又はマルチプロセッサ又はコアの1つを含む。一般的に、プロセッサは、リードオンリメモリ又はランダムアクセスメモリ或いはその両方からインストラクション及びデータを受け取る。コンピュータの本質的要素は、インストラクションを実行するためのプロセッサと、インストラクション及びデータを記憶するための1つ以上のメモリである。又、一般的に、コンピュータは、データファイルを記憶するための1つ以上の大量記憶装置を含むか、又はそれらと通信するように作動的に結合され、このような装置は、磁気ディスク、例えば、内部ハードディスク及び取り外し可能なディスクと、磁気−光学ディスクと、光学的ディスクとを含む。コンピュータプログラムインストラクション及びデータを明白に実施するのに適した記憶装置は、例えば、EPROM、EEPROM及びフラッシュメモリ装置のような半導体メモリ装置と、内部ハードディスク及び取り外し可能なディスクのような磁気ディスクと、磁気−光学ディスクと、CD−ROM及びDVD−ROMディスクとを含む全ての形態の不揮発性メモリを含む。プロセッサ及びメモリは、ASIC(特定用途向け集積回路)により補足することもできるし又はそれに組み込むこともできる。
ユーザとの対話を与えるために、ユーザに情報を表示するためのディスプレイ装置、例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタと、ユーザがコンピュータへ入力を与えることのできるキーボード及びポインティング装置、例えば、マウス又はトラックボールとを有するコンピュータにおいて、これらの特徴を具現化することができる。
又、データサーバーのようなバックエンドコンポーネントを含むか、アプリケーションサーバー又はインターネットサーバーのようなミドルウェアコンポーネントを含むか、或いはグラフィックユーザインターフェイス又はインターネットブラウザ或いはその組合せを有するクライアントコンピュータのようなフロントエンドコンポーネントを含むコンピュータシステムにおいて、これらの特徴を具現化することもできる。システムのこれらのコンポーネントは、通信ネットワークのような任意のデジタルデータ通信形態又は媒体によって接続することができる。通信ネットワークは、例えば、LAN、WAN、及びインターネットを形成するコンピュータ及びネットワークを含む。
コンピュータシステムは、クライアント及びサーバーを含むことができる。クライアント及びサーバーは、一般的に、互いに離れており、典型的に、ネットワークを通して対話する。クライアント及びサーバーの関係は、各コンピュータにおいて実行されて互いにクライアント−サーバー関係を有するコンピュータプログラムによって生じる。
多数の実施形態について説明した。それでも、種々の変更がなされ得ることを理解されたい。例えば、1つ以上の実施形態の要素を結合、削除、変更、又は補足して、更に別の実施形態を形成することができる。更に別の実施例として、図示された論理フローは、希望の結果を達成するのに、図示された特定の順序又は逐次の順序を必要とするものではない。更に、他のステップを設けてもよいし、又は上述したフローからステップを削除してもよく、更に、上述したシステムに他のコンポーネントを追加しても、又、そこから除去してもよい。従って、これら他の実施形態は、特許請求の範囲に包含される。
100:ウェブページ
102:エレメント1(ノード1)
104:エレメント2(ノード2)
106:エレメント3(ノード3)
108:エレメント4(ノード4)
110:タッチ
112:タッチ
152:ノード0
154:ノード1
156:ノード2
158:ノード3
160:ノード4
200:ハードウェア
202:ドライバ
204:コアOS
206:コアファウンデーション
206:OS API
208:ファウンデーション
210:ウェブページSDK
212:アプリケーション
514:ワイドエリアネットワーク
516:ゲートウェイ
518:アクセスポイント
530:ネットワークリソース(ウェブサーバー)

Claims (21)

  1. タッチ感知装置上に表示され、1つ以上のタッチイベント及び1つ以上のジェスチャイベントの処理のための命令を含むウェブページの1つ以上の要素上での複数の同時の指接触と関連するタッチ入力信号を受け取るステップと、
    前記タッチ入力信号が、前記ウェブページの1つ以上の要素に対して行われたタッチジェスチャと関連しているかどうか決定するステップであって、該タッチジェスチャが前記複数の同時の指接触の2つ以上に対応する2つ以上の前記タッチイベントを含むステップと、
    前記タッチ入力信号が前記タッチジェスチャに関連している場合には、前記ウェブページに含まれた前記1つ以上のジェスチャイベントの処理のための命令を実行して処理するために、前記ウェブページへジェスチャイベントを転送するステップと、
    を備えた方法。
  2. 前記タッチ信号がウェブページの1つ以上の要素に関連していない場合には、前記タッチ感知装置に関連したアプリケーションで前記タッチ入力信号を処理するステップを更に備えた、請求項1に記載の方法。
  3. ウェブページの前記要素は、ドキュメントオブジェクトモデル(DOM)におけるノードに関連され、それらノードは、DOMの同じ又は異なるハイアラーキーレベルにある、請求項1に記載の方法。
  4. 前記タッチイベントは、タッチ開始イベント、タッチ移動イベント、タッチ終了イベント、又はタッチキャンセルイベントより成るタッチイベントグループからのものである、請求項1に記載の方法。
  5. 前記アプリケーションは、ブラウザである、請求項2に記載の方法。
  6. 前記タッチイベントは、ウェブページ内のイベントアクションを定義するようにドキュメントに挿入できる属性に関連される、請求項1に記載の方法。
  7. 前記属性は、前記タッチ感知装置に表示されるウェブページを発生するためにHTMLドキュメントにおける1つ以上のHTMLタグに挿入される、請求項6に記載の方法。
  8. ウェブページの1つ以上の要素に関連したタッチイベントの処理は、ウェブページの1つ以上の要素に関連したHTMLタグに基づいてタッチイベントを処理することを含む、請求項7に記載の方法。
  9. タッチ開始イベントと、1つ以上のタッチ移動イベントと、タッチ終了又はタッチキャンセルイベントとを含むタッチイベントのシーケンスが決定される、請求項1に記載の方法。
  10. 各タッチ入力信号は、単一の指が前記タッチ感知装置にタッチすることにより発生されるタッチ入力に応答して発生される、請求項1に記載の方法。
  11. プロセッサと、
    前記プロセッサに結合されて、インストラクションが記憶されたコンピュータ読み取り可能な媒体であって、前記インストラクションは、前記プロセッサにより実行されたときに、前記プロセッサが、
    タッチ感知装置上に表示され、1つ以上のタッチイベント及び1つ以上のジェスチャイベントの処理のための命令を含むウェブページの1つ以上の要素上での複数の同時の指接触と関連するタッチ入力信号を受け取り、
    前記タッチ入力信号が、前記ウェブページの1つ以上の要素に対して行われたタッチジェスチャと関連しているかどうか決定し、前記タッチジェスチャは前記複数の同時の指接触の2つ以上に対応する2つ以上の前記タッチイベントを含み、
    前記タッチ信号が前記タッチジェスチャに関連している場合には、前記ウェブページに含まれた前記1つ以上のジェスチャイベントの処理のための命令を実行して処理するために、前記ウェブページへジェスチャイベントを転送する、
    ことを含むオペレーションを遂行するようにさせるものであるコンピュータ読み取り可能な媒体と、
    を備えたシステム。
  12. 前記タッチ信号がウェブページの1つ以上の要素に関連していない場合には、前記タッチ感知装置に関連したアプリケーションで前記タッチ入力信号を処理することを含むオペレーションを更に備えた、請求項11に記載のシステム。
  13. ウェブページの前記要素は、ドキュメントオブジェクトモデル(DOM)におけるノードに関連され、それらノードは、DOMの同じ又は異なるハイアラーキーレベルにある、請求項11に記載のシステム。
  14. 前記タッチイベントは、タッチ開始イベント、タッチ移動イベント、タッチ終了イベント、又はタッチキャンセルイベントより成るタッチイベントグループからのものである、請求項11に記載のシステム。
  15. 前記アプリケーションは、ブラウザである、請求項12に記載のシステム。
  16. 前記タッチイベントは、ウェブページ内のイベントアクションを定義するようにドキュメントに挿入できる属性に関連される、請求項11に記載のシステム。
  17. 前記属性は、前記タッチ感知装置に表示されるウェブページを発生するためにHTMLドキュメントにおける1つ以上のHTMLタグに挿入される、請求項16に記載のシステム。
  18. ウェブページの1つ以上の要素に関連したHTMLタグに基づいてタッチイベントを処理することを含むオペレーションを更に備えた、請求項17に記載のシステム。
  19. タッチ開始イベントと、1つ以上のタッチ移動イベントと、タッチ終了又はタッチキャンセルイベントとを含むタッチイベントのシーケンスが決定される、請求項11に記載のシステム。
  20. 少なくとも1つのプロセッサにより実行されたときに、そのプロセッサが、
    タッチ感知装置上に表示され、1つ以上のタッチイベント及び1つ以上のジェスチャイベントの処理のための命令を含むウェブページの1つ以上の要素上での複数の同時の指接触と関連するタッチ入力信号を受け取り、
    前記タッチ入力信号が、前記ウェブページの1つ以上の要素に対して行われたタッチジェスチャと関連しているかどうか決定し、前記タッチジェスチャは前記複数の同時の指接触の2つ以上に対応する2つ以上の前記タッチイベントを含み、
    前記タッチ入力信号が前記タッチジェスチャに関連している場合には、前記ウェブページに含まれた前記1つ以上のジェスチャイベントの処理のための命令を実行して処理するために、前記ウェブページへジェスチャイベントを転送する、
    ことを含むオペレーションを遂行するようにさせるインストラクションが記憶されたコンピュータ読み取り可能な媒体。
  21. 前記タッチ信号がウェブページの1つ以上の要素に関連していない場合には、前記タッチ感知装置に関連したアプリケーションで前記タッチ入力信号を処理することを更に含む、請求項20に記載のコンピュータ読み取り可能な媒体。
JP2010502357A 2008-03-04 2009-03-03 ウェブページのためのタッチイベント処理 Active JP5535898B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/042,237 US8174502B2 (en) 2008-03-04 2008-03-04 Touch event processing for web pages
US12/042,237 2008-03-04
PCT/US2009/035858 WO2009111460A1 (en) 2008-03-04 2009-03-03 Touch event processing for web pages

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012218235A Division JP5638048B2 (ja) 2008-03-04 2012-09-28 ウェブページのためのタッチイベント処理

Publications (2)

Publication Number Publication Date
JP2010524095A JP2010524095A (ja) 2010-07-15
JP5535898B2 true JP5535898B2 (ja) 2014-07-02

Family

ID=40739999

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010502357A Active JP5535898B2 (ja) 2008-03-04 2009-03-03 ウェブページのためのタッチイベント処理
JP2012218235A Active JP5638048B2 (ja) 2008-03-04 2012-09-28 ウェブページのためのタッチイベント処理

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012218235A Active JP5638048B2 (ja) 2008-03-04 2012-09-28 ウェブページのためのタッチイベント処理

Country Status (7)

Country Link
US (2) US8174502B2 (ja)
EP (2) EP2122447B1 (ja)
JP (2) JP5535898B2 (ja)
CN (3) CN104794105B (ja)
DE (1) DE112009000002B4 (ja)
HK (4) HK1133479A1 (ja)
WO (1) WO2009111460A1 (ja)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8225231B2 (en) 2005-08-30 2012-07-17 Microsoft Corporation Aggregation of PC settings
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US8951121B2 (en) * 2012-09-28 2015-02-10 Bally Gaming, Inc. Multigame action button deck in a concurrent gaming system
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8174502B2 (en) 2008-03-04 2012-05-08 Apple Inc. Touch event processing for web pages
US8416196B2 (en) 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US8355003B2 (en) * 2008-06-13 2013-01-15 Microsoft Corporation Controller lighting activation by proximity and motion
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8566044B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9311112B2 (en) * 2009-03-16 2016-04-12 Apple Inc. Event recognition
JP5771936B2 (ja) * 2009-11-30 2015-09-02 ヤマハ株式会社 パラメータ調整装置及び音響調整卓
US20110224896A1 (en) * 2010-03-09 2011-09-15 Nokia Corporation Method and apparatus for providing touch based routing services
US10216408B2 (en) * 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
JP5790070B2 (ja) * 2010-08-26 2015-10-07 カシオ計算機株式会社 表示制御装置およびプログラム
US9747270B2 (en) 2011-01-07 2017-08-29 Microsoft Technology Licensing, Llc Natural input for spreadsheet actions
US20120159395A1 (en) 2010-12-20 2012-06-21 Microsoft Corporation Application-launching interface for multiple modes
US8612874B2 (en) 2010-12-23 2013-12-17 Microsoft Corporation Presenting an application change through a tile
US8689123B2 (en) 2010-12-23 2014-04-01 Microsoft Corporation Application reporting in an application-selectable user interface
US9423951B2 (en) 2010-12-31 2016-08-23 Microsoft Technology Licensing, Llc Content-based snap point
US8438473B2 (en) 2011-01-05 2013-05-07 Research In Motion Limited Handling of touch events in a browser environment
US9383917B2 (en) 2011-03-28 2016-07-05 Microsoft Technology Licensing, Llc Predictive tiling
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US20120278712A1 (en) * 2011-04-27 2012-11-01 Microsoft Corporation Multi-input gestures in hierarchical regions
US9104307B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US8893033B2 (en) 2011-05-27 2014-11-18 Microsoft Corporation Application notifications
US9158445B2 (en) 2011-05-27 2015-10-13 Microsoft Technology Licensing, Llc Managing an immersive interface in a multi-application immersive environment
US9658766B2 (en) 2011-05-27 2017-05-23 Microsoft Technology Licensing, Llc Edge gesture
US9104440B2 (en) 2011-05-27 2015-08-11 Microsoft Technology Licensing, Llc Multi-application environment
US20120304113A1 (en) * 2011-05-27 2012-11-29 Patten Michael J Gesture-based content-object zooming
US8840013B2 (en) * 2011-12-06 2014-09-23 autoGraph, Inc. Consumer self-profiling GUI, analysis and rapid information presentation tools
US8635518B1 (en) 2011-07-21 2014-01-21 Google Inc. Methods and systems to copy web content selections
US9727227B2 (en) * 2011-07-28 2017-08-08 Microsoft Technology Licensing, Llc Multi-touch remoting
US20130057587A1 (en) 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
US9557909B2 (en) 2011-09-09 2017-01-31 Microsoft Technology Licensing, Llc Semantic zoom linguistic helpers
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US8922575B2 (en) 2011-09-09 2014-12-30 Microsoft Corporation Tile cache
US8933952B2 (en) 2011-09-10 2015-01-13 Microsoft Corporation Pre-rendering new content for an application-selectable user interface
US9146670B2 (en) 2011-09-10 2015-09-29 Microsoft Technology Licensing, Llc Progressively indicating new content in an application-selectable user interface
US9244802B2 (en) 2011-09-10 2016-01-26 Microsoft Technology Licensing, Llc Resource user interface
US9524272B2 (en) 2012-02-05 2016-12-20 Apple Inc. Navigating among content items in a browser using an array mode
US9817479B2 (en) * 2012-02-24 2017-11-14 Nokia Technologies Oy Method and apparatus for interpreting a gesture
US8796566B2 (en) 2012-02-28 2014-08-05 Grayhill, Inc. Rotary pushbutton and touchpad device and system and method for detecting rotary movement, axial displacement and touchpad gestures
CN102662646B (zh) * 2012-03-01 2015-09-23 华为技术有限公司 传感数据处理方法及计算节点
EP2825947A4 (en) * 2012-03-13 2015-12-16 Microsoft Technology Licensing Llc WEB PAGE APPLICATION CONTROLS
US9575652B2 (en) 2012-03-31 2017-02-21 Microsoft Technology Licensing, Llc Instantiable gesture objects
CN103123587A (zh) * 2012-05-03 2013-05-29 张伟明 信息处理终端及其处理方法
CN103473242B (zh) * 2012-06-08 2016-03-02 腾讯科技(深圳)有限公司 一种基于网页内容的手写输入控制方法、系统及浏览器
US8904304B2 (en) * 2012-06-25 2014-12-02 Barnesandnoble.Com Llc Creation and exposure of embedded secondary content data relevant to a primary content page of an electronic book
KR20140000876A (ko) * 2012-06-26 2014-01-06 삼성전자주식회사 휴대 단말기에서 웹 페이지를 표시하는 장치 및 방법
US9021437B2 (en) 2012-07-13 2015-04-28 Microsoft Technology Licensing, Llc Declarative style rules for default touch behaviors
US9671951B2 (en) * 2012-10-09 2017-06-06 Htc Corporation Method for zooming screen and electronic apparatus and computer readable medium using the same
KR102068043B1 (ko) * 2012-10-12 2020-01-20 에스케이플래닛 주식회사 웹 페이지의 스크롤탑 속성을 이용한 스크롤 수행 시스템 및 방법
US20140108940A1 (en) * 2012-10-15 2014-04-17 Nvidia Corporation Method and system of remote communication over a network
CN103823583B (zh) * 2012-11-16 2018-02-27 腾讯科技(深圳)有限公司 一种多点触摸信息的处理方法及装置
US9930082B2 (en) 2012-11-20 2018-03-27 Nvidia Corporation Method and system for network driven automatic adaptive rendering impedance
JP5862549B2 (ja) * 2012-11-28 2016-02-16 コニカミノルタ株式会社 データ処理装置、操作受付方法およびブラウジングプログラム
US20140149916A1 (en) * 2012-11-28 2014-05-29 SoMo Audience Corp. Content manipulation using swipe gesture recognition technology
CN102945089A (zh) * 2012-12-07 2013-02-27 南京大学 基于有限状态机和分类器的智能手机鼠标移动方法
US20150339028A1 (en) * 2012-12-28 2015-11-26 Nokia Technologies Oy Responding to User Input Gestures
US10775888B2 (en) * 2013-02-15 2020-09-15 Facebook, Inc. Method and system for integrating haptic feedback into portable electronic devices
US9703477B2 (en) 2013-02-19 2017-07-11 Facebook, Inc. Handling overloaded gestures
US11205036B2 (en) 2013-03-11 2021-12-21 Oracle International Corporation Method and system for implementing contextual widgets
US9524273B2 (en) * 2013-03-11 2016-12-20 Oracle International Corporation Method and system for generating a web page layout using nested drop zone widgets having different software functionalities
CN103176659A (zh) * 2013-03-28 2013-06-26 成都信息工程学院 一种基于移动web的触摸响应加速方法
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US10664652B2 (en) 2013-06-15 2020-05-26 Microsoft Technology Licensing, Llc Seamless grid and canvas integration in a spreadsheet application
US9819604B2 (en) 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
CN103399640B (zh) * 2013-08-16 2017-01-25 贝壳网际(北京)安全技术有限公司 根据用户手势进行控制的方法、装置和客户端
US11199906B1 (en) * 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
CN103885712B (zh) * 2014-03-21 2017-08-15 小米科技有限责任公司 网页调整方法、装置及电子设备
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10642365B2 (en) 2014-09-09 2020-05-05 Microsoft Technology Licensing, Llc Parametric inertia and APIs
CN106293446B (zh) * 2015-08-18 2020-03-03 北京智谷睿拓技术服务有限公司 显示方法及显示设备
CN106293447B (zh) * 2015-08-18 2020-10-30 北京智谷睿拓技术服务有限公司 显示方法及显示设备
US11029836B2 (en) * 2016-03-25 2021-06-08 Microsoft Technology Licensing, Llc Cross-platform interactivity architecture
CN105912319B (zh) * 2016-03-31 2019-03-12 百度在线网络技术(北京)有限公司 反向控制移动端页面的方法和装置
US20170315849A1 (en) * 2016-04-29 2017-11-02 Microsoft Technology Licensing, Llc Application target event synthesis
US10521106B2 (en) 2017-06-27 2019-12-31 International Business Machines Corporation Smart element filtering method via gestures
CN109213413A (zh) * 2017-07-07 2019-01-15 阿里巴巴集团控股有限公司 一种推荐方法、装置、设备和存储介质
DK180317B1 (en) 2019-04-15 2020-11-09 Apple Inc Systems, methods, and user interfaces for interacting with multiple application windows

Family Cites Families (178)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4455452A (en) 1982-09-13 1984-06-19 Touch Activated Switch Arrays, Inc. Touch activated controller for generating X-Y output information
US4910277A (en) * 1988-02-09 1990-03-20 Bambury Ronald E Hydrophilic oxygen permeable polymers
US5034461A (en) * 1989-06-07 1991-07-23 Bausch & Lomb Incorporated Novel prepolymers useful in biomedical devices
JPH06509731A (ja) * 1991-08-16 1994-11-02 ギャリン,マイルス エイ 薬剤被覆した屈折性の目前室挿入体
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5488204A (en) 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
US5513309A (en) 1993-01-05 1996-04-30 Apple Computer, Inc. Graphic editor user interface for a pointer-based computer system
DE4406668C2 (de) 1993-04-27 1996-09-12 Hewlett Packard Co Verfahren und Vorrichtung zum Betreiben eines berührungsempfindlichen Anzeigegeräts
US5818455A (en) 1993-07-21 1998-10-06 Xerox Corporation Method and apparatus for operating on the model data structure of an image to produce human perceptible output using a viewing operation region having explicit multiple regions
US5627959A (en) 1993-09-20 1997-05-06 Oracle Corporation Method for manipulating graphic objects
US5534893A (en) 1993-12-15 1996-07-09 Apple Computer, Inc. Method and apparatus for using stylus-tablet input in a computer system
US5686940A (en) 1993-12-24 1997-11-11 Rohm Co., Ltd. Display apparatus
US5566337A (en) 1994-05-13 1996-10-15 Apple Computer, Inc. Method and apparatus for distributing events in an operating system
US5708460A (en) 1995-06-02 1998-01-13 Avi Systems, Inc. Touch screen
US5745116A (en) 1996-09-09 1998-04-28 Motorola, Inc. Intuitive gesture-based graphical user interface
US5903902A (en) 1996-09-09 1999-05-11 Design Intelligence, Inc. Design engine with tree and component structure
US5995083A (en) 1996-11-20 1999-11-30 Alps Electric Co., Ltd. Coordinates input apparatus
US5917477A (en) 1997-02-28 1999-06-29 Samsung Electronics Co., Ltd. Touch screen input apparatus for chip mounter, chip mounter including the same and method for controlling the chip mounter
JPH1185354A (ja) 1997-09-04 1999-03-30 Internatl Business Mach Corp <Ibm> キーボード組込み型座標指示装置、キーボード・ユニット、及び情報処理機器
US9098297B2 (en) 1997-05-08 2015-08-04 Nvidia Corporation Hardware accelerator for an object-oriented programming language
US5983190A (en) 1997-05-19 1999-11-09 Microsoft Corporation Client server animation system for managing interactive user interface characters
US6028602A (en) 1997-05-30 2000-02-22 Telefonaktiebolaget Lm Ericsson Method for managing contents of a hierarchical data model
US20070177804A1 (en) 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
EP2256605B1 (en) * 1998-01-26 2017-12-06 Apple Inc. Method and apparatus for integrating manual input
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US7346850B2 (en) 1998-06-12 2008-03-18 Cygnus Systems, Inc. System and method for iconic software environment management
US6570594B1 (en) 1998-06-30 2003-05-27 Sun Microsystems, Inc. User interface with non-intrusive display element
US6188391B1 (en) 1998-07-09 2001-02-13 Synaptics, Inc. Two-layer capacitive touchpad and method of making same
US7559039B2 (en) 1998-07-14 2009-07-07 Brad Ridgley Method and device for finding, collecting and acting upon units of information
US6985178B1 (en) 1998-09-30 2006-01-10 Canon Kabushiki Kaisha Camera control system, image pick-up server, client, control method and storage medium therefor
US6963937B1 (en) 1998-12-17 2005-11-08 International Business Machines Corporation Method and apparatus for providing configurability and customization of adaptive user-input filtration
US6259436B1 (en) 1998-12-22 2001-07-10 Ericsson Inc. Apparatus and method for determining selection of touchable items on a computer touchscreen by an imprecise touch
US6643824B1 (en) 1999-01-15 2003-11-04 International Business Machines Corporation Touch screen region assist for hypertext links
US6486896B1 (en) 1999-04-07 2002-11-26 Apple Computer, Inc. Scalable scroll controller
US6630243B2 (en) * 1999-05-20 2003-10-07 Bausch & Lomb Incorporated Surface treatment of silicone hydrogel contact lenses comprising hydrophilic polymer chains attached to an intermediate carbon coating
US6714936B1 (en) 1999-05-25 2004-03-30 Nevin, Iii Rocky Harry W. Method and apparatus for displaying data stored in linked nodes
US6639584B1 (en) 1999-07-06 2003-10-28 Chuang Li Methods and apparatus for controlling a portable electronic device using a touchpad
US6636242B2 (en) 1999-08-31 2003-10-21 Accenture Llp View configurer in a presentation services patterns environment
US6664989B1 (en) 1999-10-18 2003-12-16 Honeywell International Inc. Methods and apparatus for graphical display interaction
KR100747421B1 (ko) 1999-10-20 2007-08-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 영상 콜렉션을 브라우징하는 장치 및 방법
JP2001134382A (ja) 1999-11-04 2001-05-18 Sony Corp 図形処理装置
US6778992B1 (en) 1999-12-21 2004-08-17 Lockstream Corporation Flexible and hierarchical user interfaces defined using a data definition language
JP4803883B2 (ja) 2000-01-31 2011-10-26 キヤノン株式会社 位置情報処理装置及びその方法及びそのプログラム。
US6590595B1 (en) 2000-02-08 2003-07-08 Sun Microsystems, Inc. Mechanism for providing intuitive scrolling feedback
US7142205B2 (en) 2000-03-29 2006-11-28 Autodesk, Inc. Single gesture map navigation graphical user interface for a personal digital assistant
US6765557B1 (en) 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
US7009626B2 (en) 2000-04-14 2006-03-07 Picsel Technologies Limited Systems and methods for generating visual representations of graphical data and digital document processing
US6446083B1 (en) 2000-05-12 2002-09-03 Vastvideo, Inc. System and method for classifying media items
US6677965B1 (en) 2000-07-13 2004-01-13 International Business Machines Corporation Rubber band graphical user interface control
GB0017793D0 (en) 2000-07-21 2000-09-06 Secr Defence Human computer interface
US6704024B2 (en) 2000-08-07 2004-03-09 Zframe, Inc. Visual content browsing using rasterized representations
US6735583B1 (en) 2000-11-01 2004-05-11 Getty Images, Inc. Method and system for classifying and locating media content
US6839721B2 (en) 2001-01-12 2005-01-04 Hewlett-Packard Development Company, L.P. Integration of a database into file management software for protecting, tracking, and retrieving data
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US7030861B1 (en) 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US20040027398A1 (en) 2001-02-15 2004-02-12 Denny Jaeger Intuitive graphic user interface with universal tools
US6741996B1 (en) 2001-04-18 2004-05-25 Microsoft Corporation Managing user clips
US20020194589A1 (en) 2001-05-08 2002-12-19 Cristofalo Michael Technique for optimizing the delivery of advertisements and other programming segments by making bandwidth tradeoffs
US20050024341A1 (en) 2001-05-16 2005-02-03 Synaptics, Inc. Touch screen with user interface enhancement
US6985137B2 (en) 2001-08-13 2006-01-10 Nokia Mobile Phones Ltd. Method for preventing unintended touch pad input due to accidental touching
US6972749B2 (en) 2001-08-29 2005-12-06 Microsoft Corporation Touch-sensitive device for scrolling a document on a display
US6690365B2 (en) 2001-08-29 2004-02-10 Microsoft Corporation Automatic scrolling
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US20030071850A1 (en) 2001-10-12 2003-04-17 Microsoft Corporation In-place adaptive handwriting input method and system
US7345671B2 (en) 2001-10-22 2008-03-18 Apple Inc. Method and apparatus for use of rotational user inputs
TW528981B (en) 2001-10-25 2003-04-21 Compal Electronics Inc Portable computer and related method for preventing input interruption by write-tracking input region
CA2366183A1 (en) 2001-12-21 2003-06-21 Ibm Canada Limited-Ibm Canada Limitee Dynamic status tree facility
US6690387B2 (en) 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
US6957392B2 (en) 2002-01-16 2005-10-18 Laszlo Systems, Inc. Interface engine providing a continuous user interface
JP3951727B2 (ja) 2002-02-06 2007-08-01 松下電器産業株式会社 情報処理装置
US7466307B2 (en) 2002-04-11 2008-12-16 Synaptics Incorporated Closed-loop sensor on a solid-state object position detector
US20030197689A1 (en) 2002-04-23 2003-10-23 May Gregory J. Input device that allows multiple touch key input
TWI238348B (en) 2002-05-13 2005-08-21 Kyocera Corp Portable information terminal, display control device, display control method, and recording media
US7023427B2 (en) 2002-06-28 2006-04-04 Microsoft Corporation Method and system for detecting multiple touches on a touch-sensitive screen
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
TW591488B (en) 2002-08-01 2004-06-11 Tatung Co Window scrolling method and device thereof
US20040021698A1 (en) 2002-08-05 2004-02-05 Baldwin Amanda K. Intuitive touchscreen interface for a multifunction device and method therefor
EP1394692A1 (en) * 2002-08-05 2004-03-03 Alcatel Method, terminal, browser application, and mark-up language for multimodal interaction between a user and a terminal
US7281248B2 (en) 2002-11-19 2007-10-09 Microsoft Corporation Virtualized and realized user interface controls
US6903927B2 (en) 2002-12-17 2005-06-07 Nokia Corporation Convertible mobile computing device
US7117453B2 (en) 2003-01-21 2006-10-03 Microsoft Corporation Media frame object visualization system
US20040160419A1 (en) 2003-02-11 2004-08-19 Terradigital Systems Llc. Method for entering alphanumeric characters into a graphical user interface
US7088374B2 (en) 2003-03-27 2006-08-08 Microsoft Corporation System and method for managing visual structure, timing, and animation in a graphics processing system
US7627343B2 (en) 2003-04-25 2009-12-01 Apple Inc. Media player system
GB2424535A (en) 2003-04-30 2006-09-27 Hewlett Packard Co Editing an image and associating sound with it
US8555165B2 (en) 2003-05-08 2013-10-08 Hillcrest Laboratories, Inc. Methods and systems for generating a zoomable graphical user interface
US7173623B2 (en) 2003-05-09 2007-02-06 Microsoft Corporation System supporting animation of graphical display elements through animation object instances
US20060242607A1 (en) 2003-06-13 2006-10-26 University Of Lancaster User interface
WO2005008444A2 (en) 2003-07-14 2005-01-27 Matt Pallakoff System and method for a portbale multimedia client
KR100522940B1 (ko) 2003-07-25 2005-10-24 삼성전자주식회사 활성영역을 설정 가능한 터치스크린 시스템 및 그 제어방법
JP2005056286A (ja) 2003-08-07 2005-03-03 Nec Engineering Ltd ウェブブラウザにおける拡大表示方法および拡大表示プログラム
JP4360871B2 (ja) 2003-09-10 2009-11-11 富士通テン株式会社 情報端末における入力装置
US7411575B2 (en) 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7034834B2 (en) 2003-10-24 2006-04-25 Microsoft Corporation Communication protocol for synchronizing animation systems
US7337412B2 (en) 2003-12-15 2008-02-26 International Business Machines Corporation Methods, systems and computer program products for providing multi-dimensional tree diagram graphical user interfaces
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
GB2411331A (en) 2004-02-19 2005-08-24 Trigenix Ltd Rendering user interface using actor attributes
US20050193015A1 (en) 2004-02-19 2005-09-01 Sandraic Logic, Llc A California Limited Liability Company Method and apparatus for organizing, sorting and navigating multimedia content
JP4438448B2 (ja) 2004-02-26 2010-03-24 セイコーエプソン株式会社 構造化文書表示処理装置、構造化文書表示方法、構造化文書表示プログラム
US20050246304A1 (en) 2004-04-30 2005-11-03 Microsoft Corporation End-user application customization using rules
US7624355B2 (en) 2004-05-27 2009-11-24 Baneth Robin C System and method for controlling a user interface
CN100483319C (zh) 2004-06-17 2009-04-29 皇家飞利浦电子股份有限公司 在触摸屏上使用两手指输入
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
DE202005021427U1 (de) 2004-07-30 2008-02-14 Apple Inc., Cupertino Elektronische Vorrichtung mit berührungsempfindlicher Eingabeeinrichtung
US7724242B2 (en) 2004-08-06 2010-05-25 Touchtable, Inc. Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter
US7721197B2 (en) 2004-08-12 2010-05-18 Microsoft Corporation System and method of displaying content on small screen computing devices
US7728823B2 (en) 2004-09-24 2010-06-01 Apple Inc. System and method for processing raw data of track pad device
WO2006067711A2 (en) 2004-12-21 2006-06-29 Koninklijke Philips Electronics N.V. Method and device for displaying animated buttons
CA2592206A1 (en) * 2004-12-29 2006-07-06 Bausch & Lomb Incorporated Polysiloxane prepolymers for biomedical devices
US20070185876A1 (en) 2005-02-07 2007-08-09 Mendis Venura C Data handling system
US8819569B2 (en) 2005-02-18 2014-08-26 Zumobi, Inc Single-handed approach for navigation of application tiles using panning and zooming
HK1122460A2 (en) * 2005-03-04 2009-05-15 Apple Inc Multi-functional hand-held device
CN1841284A (zh) 2005-03-28 2006-10-04 上海桐港信息科技有限公司 触摸屏式移动设备微浏览器页面显示漂移方法
US7750893B2 (en) * 2005-04-06 2010-07-06 Nintendo Co., Ltd. Storage medium storing input position processing program, and input position processing device
US7355595B2 (en) 2005-04-15 2008-04-08 Microsoft Corporation Tactile device for scrolling
US7487447B1 (en) * 2005-05-25 2009-02-03 Google Inc. Web page zoom feature
US7561159B2 (en) 2005-05-31 2009-07-14 Magnifi Group Inc. Control of animation timeline
US20090049388A1 (en) 2005-06-02 2009-02-19 Ronnie Bernard Francis Taib Multimodal computer navigation
TW200701082A (en) 2005-06-23 2007-01-01 Elan Microelectronics Corp Scroll control method used in the touch panel
US7568035B2 (en) 2005-08-30 2009-07-28 Microsoft Corporation Command binding determination and implementation
US20070061126A1 (en) 2005-09-01 2007-03-15 Anthony Russo System for and method of emulating electronic input devices
JP2009523267A (ja) 2005-09-15 2009-06-18 アップル インコーポレイテッド トラックパッドデバイスの未加工データを処理するシステム及び方法
US20070064004A1 (en) 2005-09-21 2007-03-22 Hewlett-Packard Development Company, L.P. Moving a graphic element
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US20070132789A1 (en) * 2005-12-08 2007-06-14 Bas Ording List scrolling in response to moving contact over list of index symbols
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
CN101379461A (zh) 2005-12-30 2009-03-04 苹果公司 具有多重触摸输入的便携式电子设备
WO2007084852A2 (en) 2006-01-18 2007-07-26 Roxse, Llc Systems and methods for providing sorted search results
US8312479B2 (en) 2006-03-08 2012-11-13 Navisense Application programming interface (API) for sensory events
US8587526B2 (en) 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
US8077153B2 (en) 2006-04-19 2011-12-13 Microsoft Corporation Precise selection techniques for multi-touch screens
US9063647B2 (en) 2006-05-12 2015-06-23 Microsoft Technology Licensing, Llc Multi-touch uses, gestures, and implementation
US7844661B2 (en) 2006-06-15 2010-11-30 Microsoft Corporation Composition of local media playback with remotely generated user interface
US8169421B2 (en) 2006-06-19 2012-05-01 Cypress Semiconductor Corporation Apparatus and method for detecting a touch-sensor pad gesture
US8269725B2 (en) 2006-06-28 2012-09-18 Microsoft Corporation Input simulation system for touch based devices
US8086971B2 (en) 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
JP4280759B2 (ja) 2006-07-27 2009-06-17 キヤノン株式会社 情報処理装置およびユーザインタフェース制御方法
US20080043020A1 (en) 2006-08-18 2008-02-21 Microsoft Corporation User interface for viewing street side imagery
US7843427B2 (en) 2006-09-06 2010-11-30 Apple Inc. Methods for determining a cursor position from a finger contact with a touch screen display
US7864163B2 (en) 2006-09-06 2011-01-04 Apple Inc. Portable electronic device, method, and graphical user interface for displaying structured electronic documents
US20080114614A1 (en) 2006-11-15 2008-05-15 General Electric Company Methods and systems for healthcare application interaction using gesture-based interaction enhanced with pressure sensitivity
US7694240B2 (en) 2006-11-22 2010-04-06 General Electric Company Methods and systems for creation of hanging protocols using graffiti-enabled devices
JP5191119B2 (ja) 2006-12-06 2013-04-24 株式会社ジャパンディスプレイウェスト 表示装置、表示装置の制御方法、及びプログラム
TW200828089A (en) * 2006-12-29 2008-07-01 Inventec Appliances Corp Method for zooming image
US7907125B2 (en) 2007-01-05 2011-03-15 Microsoft Corporation Recognizing multiple input point gestures
US7872652B2 (en) 2007-01-07 2011-01-18 Apple Inc. Application programming interfaces for synchronization
US20080168395A1 (en) 2007-01-07 2008-07-10 Bas Ording Positioning a Slider Icon on a Portable Multifunction Device
US7903115B2 (en) 2007-01-07 2011-03-08 Apple Inc. Animations
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US8665225B2 (en) 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
KR101383709B1 (ko) 2007-03-07 2014-04-09 삼성디스플레이 주식회사 표시 장치 및 그의 구동 방법
US8181122B2 (en) 2007-07-30 2012-05-15 Perceptive Pixel Inc. Graphical user interface for large-scale, multi-user, multi-touch systems
US7917584B2 (en) 2007-10-22 2011-03-29 Xcerion Aktiebolag Gesture-based collaboration
US20090207140A1 (en) 2008-02-19 2009-08-20 Sony Ericsson Mobile Communications Ab Identifying and responding to multiple time-overlapping touches on a touch panel
TWI352924B (en) 2008-02-21 2011-11-21 Wintek Corp Touch panel and driving method of touch panel
US8416196B2 (en) 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US8174502B2 (en) 2008-03-04 2012-05-08 Apple Inc. Touch event processing for web pages
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US9268483B2 (en) 2008-05-16 2016-02-23 Microsoft Technology Licensing, Llc Multi-touch input platform
US7864037B2 (en) 2008-06-16 2011-01-04 International Business Machines Corporation Pattern-driven communication architecture
US20090322699A1 (en) 2008-06-25 2009-12-31 Sony Ericsson Mobile Communications Ab Multiple input detection for resistive touch panel
US20090322700A1 (en) 2008-06-30 2009-12-31 Tyco Electronics Corporation Method and apparatus for detecting two simultaneous touches and gestures on a resistive touchscreen
JP2010015238A (ja) 2008-07-01 2010-01-21 Sony Corp 情報処理装置、及び補助情報の表示方法
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US20100107116A1 (en) 2008-10-27 2010-04-29 Nokia Corporation Input on touch user interfaces
JP4853507B2 (ja) 2008-10-30 2012-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8732576B2 (en) 2008-12-04 2014-05-20 Nvidia Corporation Operating system providing multi-touch support for applications in a mobile device
TW201023018A (en) 2008-12-12 2010-06-16 Asustek Comp Inc Touch panel with multi-touch function and multi-touch detecting method thereof
KR101521932B1 (ko) 2009-01-19 2015-05-20 엘지전자 주식회사 단말기 및 그 제어 방법
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
KR101608532B1 (ko) 2009-08-11 2016-04-01 엘지전자 주식회사 이동 통신 단말기에서의 데이터 표시방법 및 이를 적용한 이동 통신 단말기

Also Published As

Publication number Publication date
US8411061B2 (en) 2013-04-02
CN104794105A (zh) 2015-07-22
EP2990919B1 (en) 2024-07-03
HK1133479A1 (zh) 2010-03-26
HK1212062A1 (en) 2016-06-03
US20120221929A1 (en) 2012-08-30
CN101681236A (zh) 2010-03-24
EP2122447B1 (en) 2016-05-11
JP2010524095A (ja) 2010-07-15
HK1212061A1 (en) 2016-06-03
EP2990919A1 (en) 2016-03-02
US20090225038A1 (en) 2009-09-10
EP2122447A1 (en) 2009-11-25
DE112009000002T5 (de) 2010-01-07
US8174502B2 (en) 2012-05-08
CN104794105B (zh) 2019-11-26
JP2013058210A (ja) 2013-03-28
HK1224029A1 (zh) 2017-08-11
CN104808942A (zh) 2015-07-29
JP5638048B2 (ja) 2014-12-10
WO2009111460A1 (en) 2009-09-11
CN104808942B (zh) 2019-05-03
DE112009000002B4 (de) 2020-01-09

Similar Documents

Publication Publication Date Title
JP6731028B2 (ja) タッチイベントモデルプログラミングインターフェイス
JP5535898B2 (ja) ウェブページのためのタッチイベント処理
JP5638584B2 (ja) ウェブページのためのタッチイベントモデル

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110802

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120413

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120928

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121005

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20121228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130604

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131202

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140423

R150 Certificate of patent or registration of utility model

Ref document number: 5535898

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250