JP6584638B2 - 文書編集における手書きサポートを提供するデバイス及び方法 - Google Patents

文書編集における手書きサポートを提供するデバイス及び方法 Download PDF

Info

Publication number
JP6584638B2
JP6584638B2 JP2018506549A JP2018506549A JP6584638B2 JP 6584638 B2 JP6584638 B2 JP 6584638B2 JP 2018506549 A JP2018506549 A JP 2018506549A JP 2018506549 A JP2018506549 A JP 2018506549A JP 6584638 B2 JP6584638 B2 JP 6584638B2
Authority
JP
Japan
Prior art keywords
handwritten
content
word blocks
input
handwritten word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018506549A
Other languages
English (en)
Other versions
JP2018530042A (ja
Inventor
ウィリアム， ジェイ． シンブルバイ，
ウィリアム， ジェイ． シンブルバイ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2018530042A publication Critical patent/JP2018530042A/ja
Application granted granted Critical
Publication of JP6584638B2 publication Critical patent/JP6584638B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Description

本開示は全般的に、タッチ感知面を備える電子デバイスに関し、その電子デバイスとしては、文書編集における手書きサポートを提供するタッチ感知面を備える電子デバイスが挙げられるが、これに限定されない。
文書編集環境（例えば、メモアプリケーション）における手書き及びスケッチ機能を提供するコンピュータプログラムは、産業上かつ個人使用の設定において幅広く適用可能である。いくつかのアプリケーションは、ユーザがタッチ感知面（例えば、トラックパッド又はタッチスクリーンディスプレイ）への接触（例えば、指又はスタイラスによってなされた接触）のフリーハンドな動きに基づいて線及びオブジェクトを描くことができるようにするスケッチ機能を提供する。いくつかのアプリケーションは、文書内で手書きストロークを認識し、それをタイプされた文字に変える手書き入力機能を提供する。コンピュータプログラム内でキーボードベースの文書編集機能とともにスケッチ機能及び手書き機能を提供することにより、コンピュータプログラムの機能性を向上させる。機能的で、効率的に、かつ使いやすい方法でスケッチ、手書き及びキーボード入力をサポートする統合された文書編集環境を提供することが課題である。
そこで、本開示は、文書編集環境における（例えば、メモアプリケーションにおける）手書きサポートを提供するための、より高速でより効率的な方法及びインタフェースを有する電子デバイスを提供するものである。このような方法及びインタフェースは任意選択的に、文書編集環境における手書きサポートを提供するための従来の方法を補完する、又はそれらに取って代わる。このような方法及びインタフェースは、ユーザへの負担を軽減し、より効率的なヒューマンマシンインタフェースを生成する。更に、このような方法は、ユーザ入力を処理するのに消費される処理電力を低減し、節電し、不必要な／無関係な／繰り返しの入力を減らし、かつ潜在的にメモリの使用量を低減する。バッテリ動作型デバイスの場合、このような方法及びインタフェースにより、バッテリが節電され、バッテリの充電の間の時間が増加する。
一部の実施形態では、このデバイスはデスクトップコンピュータである。一部の実施形態では、このデバイスは、ポータブル（例えば、ノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイス）である。一部の実施形態では、このデバイスは、タッチパッドを有する。一部の実施形態では、このデバイスは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる）を有する。一部の実施形態では、このデバイスは、グラフィカルユーザインタフェース（graphical user interface）（ＧＵＩ）と、１つ以上のプロセッサと、メモリと、複数の機能を実行するためにメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットとを有する。一部の実施形態では、ユーザは主にタッチ感知面上でのスタイラス及び／又は指の接触及びジェスチャを介してＧＵＩと相互作用する。一部の実施形態では、機能は任意選択的に、メモ取り、画像編集、描画、プレゼンティング、ワードプロセッシング、ウェブサイト作成、ディスクオーサリング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、及び／又はデジタルビデオの再生を含む。これらの機能を実行するための実行可能命令は任意選択的に、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。代替として、又はこれに加えて、これらの機能を実行する実行可能命令は任意選択的に、一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
一部の実施形態によれば、本方法は、１つ以上のプロセッサ、メモリ、タッチ感知面、及びディスプレイを備えた電子デバイスにおいて実行される。本方法は、入力エリア内で複数の手書きストロークを受信することと、複数の手書きストロークの受信に応じて、手書きのテキスト入力とスケッチ入力とを区別する所定の基準に従って複数の手書きストロークがテキスト入力か、それともスケッチかを判定することと、複数の手書きストロークがテキスト入力であるとの判定に従って、複数の手書きストロークに基づいて１つ以上の手書き単語ブロックを生成することと、第１の所定のレイアウト基準に従って１つ以上の手書き単語ブロックをコンテンツ提示エリア内に位置付けることと、複数の手書きストロークがスケッチであるとの判定に従って、複数の手書きストロークに基づいてスケッチコンテンツオブジェクトを生成することと、第１の所定のレイアウト基準とは異なる第２の所定のレイアウト基準に従ってコンテンツ提示エリア内にスケッチコンテンツオブジェクトを位置付けることと、を含む。
一部の実施形態によれば、電子デバイスは、ディスプレイユニットと、タッチ感知面ユニットと、ディスプレイユニット及びタッチ感知面ユニットと連結された処理ユニットと、を含む。処理ユニットは、入力エリアで複数の手書きストロークを受信し、複数の手書きストロークの受信に応じて、手書きのテキスト入力とスケッチ入力とを区別する所定の基準に従って複数の手書きストロークがテキスト入力か、それともスケッチかを判定し、複数の手書きストロークがテキスト入力であるとの判定に従って、複数の手書きストロークに基づいて１つ以上の手書き単語ブロックを生成し、第１の所定のレイアウト基準に従って１つ以上の手書き単語ブロックをコンテンツ提示エリア内に位置付け、複数の手書きストロークがスケッチであるとの判定に従って、複数の手書きストロークに基づいてスケッチコンテンツオブジェクトを生成し、第１の所定のレイアウト基準とは異なる第２の所定のレイアウト基準に従ってコンテンツ提示エリア内にスケッチコンテンツオブジェクトを位置付けるように構成されている。
一部の実施形態によれば、本方法は、１つ以上のプロセッサ、メモリ、タッチ感知面、及びディスプレイを備えた電子デバイスにおいて実行される。本方法は、同時に、コンテンツページとは別個の手書き入力エリアと、コンテンツページ上に重ね合わされた入力位置インジケータであって、手書き入力エリア内に示されたコンテンツページのエリアを囲む入力位置インジケータを表示することと、第１の方向への手書き入力エリア内のコンテンツのスクロールを生じさせる１つ以上の入力を受信することと、第１の方向への手書き入力エリア内のコンテンツのスクロールが所定の閾値条件を満たすことの検出に応じて、入力位置インジケータの前の位置から、第１の方向とは異なる第２の方向にずらしたコンテンツページの上の第１の新規の位置まで入力位置インジケータを移動させることと、を含む。
一部の実施形態によれば、電子デバイスは、ディスプレイユニットと、タッチ感知面ユニットと、ディスプレイユニット及びタッチ感知面ユニットと連結された処理ユニットと、を含む。処理ユニットは、同時に、コンテンツページとは別個の手書き入力エリアと、コンテンツページ上に重ね合わされた入力位置インジケータであって、手書き入力エリア内に示されたコンテンツページのエリアを囲む入力位置インジケータを表示し、第１の方向への手書き入力エリア内のコンテンツのスクロールを生じさせる１つ以上の入力を受信し、第１の方向への手書き入力エリア内のコンテンツのスクロールが所定の閾値条件を満たすことの検出に応じて、入力位置インジケータの前の位置から、第１の方向とは異なる第２の方向にずらしたコンテンツページの上の第１の新規の位置まで入力位置インジケータを移動させる、ように構成されている。
一部の実施形態によれば、本方法は、１つ以上のプロセッサ、メモリ、タッチ感知面、及びディスプレイを備えた電子デバイスにおいて実行される。本方法は、入力エリア内で複数の手書きストロークを受信することと、複数の手書きストロークの受信に応じて、複数の手書きストロークに基づいて１つ以上の手書き単語ブロックを生成することと、コンテンツ提示エリアに関連付けられた書き方向に沿ってコンテンツ提示エリア内に１つ以上の手書き単語ブロックを位置付けることと、１つ以上の手書き単語ブロックのうち第１の手書き単語ブロックを書き方向に水平にドラッグする第１のドラッグ入力を受信することと、第１のドラッグ入力に応じて、第１の手書き単語ブロックが書き方向にドラッグされた距離に従って書き方向に沿った第１の手書き単語ブロックの前に空白の量を挿入することと、を含む。
一部の実施形態によれば、電子デバイスは、ディスプレイユニットと、タッチ感知面ユニットと、ディスプレイユニット及びタッチ感知面ユニットと連結された処理ユニットと、を含む。処理ユニットは、入力エリアで複数の手書きストロークを受信し、複数の手書きストロークの受信に応じて、複数の手書きストロークに基づいて１つ以上の手書き単語ブロックを生成し、コンテンツ提示エリアに関連付けられた書き方向に沿ってコンテンツ提示エリア内に１つ以上の手書き単語ブロックを位置付け、１つ以上の手書き単語ブロックのうち第１の手書き単語ブロックを書き方向に水平にドラッグする第１のドラッグ入力を受信し、第１のドラッグ入力に応じて、第１の手書き単語ブロックが書き方向にドラッグされた距離に従って書き方向に沿った第１の手書き単語ブロックの前に空白の量を挿入する、ように構成されている。
一部の実施形態によれば、本方法は、１つ以上のプロセッサ、メモリ、タッチ感知面、及びディスプレイを備えた電子デバイスにおいて実行される。本方法は、デバイスが第１の傾き状態にある間、コンテンツページをスケッチモードで表示することであってコンテンツページの第１の部分のズームビューを表示することと、コンテンツページの部分内のコンテンツを修正するユーザ入力を受け付けるようにコンテンツページの第１の部分のズームビューを構成することと、を含む、ことと、コンテンツページをスケッチモードで表示している間、デバイスが第１の傾き状態から第１の傾き状態とは異なる第２の傾き状態に傾けられることを検出することと、デバイスが第１の傾き状態から第２の傾き状態に傾けられたことの検出に応じて、全体像モードでコンテンツページを表示することであって、コンテンツページの全体像を表示するようにズームアウトすることを含む、ことと、を含む。
一部の実施形態によれば、電子デバイスは、ディスプレイユニットと、タッチ感知面ユニットと、ディスプレイユニット及びタッチ感知面ユニットと連結された処理ユニットと、を含む。処理ユニットは、デバイスが第１の傾き状態にある間、コンテンツページをスケッチモードで表示することであって、その表示することは、コンテンツページの第１の部分のズームビューを表示することと、コンテンツページの部分内のコンテンツを修正するユーザ入力を受け付けるようにコンテンツページの第１の部分のズームビューを構成することを含む、表示し、コンテンツページをスケッチモードで表示している間、デバイスが第１の傾き状態から第１の傾き状態とは異なる第２の傾き状態に傾けられることを検出し、デバイスが第１の傾き状態から第２の傾き状態に傾けられたことの検出に応じて、コンテンツページの全体像を表示するようにズームアウトすることを含む全体像モードでコンテンツページを表示する、ように構成されている。
一部の実施形態により、電子デバイスは、ディスプレイと、タッチ感知面と、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサと、１つ以上のプロセッサと、メモリと、１つ以上のプログラムと、を含み、１つ以上のプログラムはメモリ内に記憶され、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載の方法のいずれかの動作を実行する又は実行させる命令を含む。
一部の実施形態によれば、コンピュータ可読記憶媒体（例えば、非一時的コンピュータ可読記憶媒体、又は代替的に、一時的コンピュータ可読記憶媒体）は、その内部に命令を記憶しており、その命令は、ディスプレイと、タッチ感知面と、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサとを備える電子デバイスによって実行されると、本明細書に記載の方法のいずれかの動作を、そのデバイスに実行させる、又はその特性を生じさせる。
一部の実施形態により、ディスプレイと、タッチ感知面と、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサと、メモリと、メモリ内に記憶された１つ以上のプログラムを実行する１つ以上のプロセッサとを備えた電子デバイス上のグラフィカルユーザインタフェースは、上述の方法のいずれかにおいて表示される要素のうちの１つ以上を含み、それらの要素は、本明細書に記載の方法のいずれかにおいて説明されるように、入力に応じて更新される。
一部の実施形態により、電子デバイスは、ディスプレイと、タッチ感知面と、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサと、本明細書に記載の方法のいずれかの動作を実行する又は実行させる手段と、を含む。
一部の実施形態により、ディスプレイと、タッチ感知面と、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサとを備える電子デバイス内で使用するための情報処理装置が、本明細書に記載の方法のいずれかの動作を実行する又は実行させる手段を含む。
それゆえ、ディスプレイ、タッチ感知面、及び任意選択的にタッチ感知面との接触の強度を検出するための１つ以上のセンサを備える、電子デバイスには、描画支援を提供するとともにそれと相互作用するための、より速く、より効率的な方法及びインタフェースが提供され、それにより、有効性、効率、及びそのようなデバイスに対するユーザ満足度が向上する。このような方法及びインタフェースは、仮想描画支援を提供するとともにそれと相互作用する従来の方法を補完し、又はこれらに取って代わることができる。
説明される様々な実施形態を良好に理解するため、以下の図面と併せて、以下の「発明を実施するための形態」を参照されたい。ここで、類似の参照番号は、それらの図にわたって、対応する部分を指す。
一部の実施形態に係る、タッチ感知ディスプレイを備えたポータブル多機能デバイスを示すブロック図である。
一部の実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。
一部の実施形態に係る、タッチスクリーンを備えたポータブル多機能デバイスを図示している。
一部の実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。
一部の実施形態に係る、ポータブル多機能デバイスにおけるアプリケーションのメニューのための例示的なユーザインタフェースを図示している。
一部の実施形態に係る、ディスプレイとは別個のタッチ感知面を備えた多機能デバイスのための例示的なユーザインタフェースを図示している。
一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。 一部の実施形態に係る、文書編集環境（例えば、メモアプリケーション）での手書きサポートを提供するための例示的なユーザインタフェースを図示している。
一部の実施形態に係る、デバイスの回転状態に（例えば、デバイスの閾値向きの第１の側に、及びデバイスの閾値向きの第２の側に）基づいたユーザインタフェースモード（例えば、拡大スケッチモード及び拡大されていない全体像モード）の切り替えを図示している。 一部の実施形態に係る、デバイスの回転状態に（例えば、デバイスの閾値向きの第１の側に、及びデバイスの閾値向きの第２の側に）基づいたユーザインタフェースモード（例えば、拡大スケッチモード及び拡大されていない全体像モード）の切り替えを図示している。 一部の実施形態に係る、デバイスの回転状態に（例えば、デバイスの閾値向きの第１の側に、及びデバイスの閾値向きの第２の側に）基づいたユーザインタフェースモード（例えば、拡大スケッチモード及び拡大されていない全体像モード）の切り替えを図示している。
一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。 一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。 一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。 一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。 一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。 一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。 一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。
一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。 一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。
一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。 一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。 一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。
一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。 一部の実施形態に係る、コンテンツページ上に手書きコンテンツを表示する方法を図示するフローチャートである。
一部の実施形態に係る、電子デバイスの機能ブロック図である。
一部の実施形態に係る、電子デバイスの機能ブロック図である。
一部の実施形態に係る、電子デバイスの機能ブロック図である。
一部の実施形態に係る、電子デバイスの機能ブロック図である。
メモ取りアプリケーション、スケッチアプリケーション、スクラップブッキングアプリケーションなどのフリーハンドのスケッチ機能を提供するアプリケーションでは、様々な色及びテクスチャーの線及びオブジェクトを描くための描画ツールがユーザに提供されている。フリーハンドのスケッチに加えて、手書き及びキーボードによるテキスト入力もこのようなアプリケーションの望ましい機能である。本開示は、効率的でユーザフレンドリーなやり方で同一の文書編集環境でのスケッチ、手書きによるテキスト入力、及びキーボードによるテキスト入力を可能にする様々なサポート機能を提供するデバイス、方法及びユーザインタフェースを記載する。
以下の図１Ａ〜図１Ｂ、図２及び図３は、例示的なデバイスの説明を提供する。図４Ａ〜図４Ｂ及び図５Ａ〜図５ＡＲは、文書編集環境で手書きサポートを提供する例示的なユーザインタフェース及びデバイス構成を図示している。図６Ａ〜図６Ｇ、図７Ａ、図７Ｂ、図８Ａ〜図８Ｃ及び図９Ａ〜図９Ｂは、様々な実施形態に係る、コンテンツページに手書きコンテンツを表示する方法のフローチャートを図示している。図５Ａ〜図５ＡＲのユーザインタフェースを使用して、図６Ａ〜図６Ｇ、図７Ａ〜７Ｂ、図８Ａ〜図８Ｃ及び図９Ａ〜図９Ｂのプロセスを図示している。図１０〜図１３は、図５Ａ〜図５ＡＲのユーザインタフェース及び図６Ａ〜図６Ｇ、図７Ａ〜図７Ｂ、図８Ａ〜図８Ｃ、及び図９Ａ〜図９Ｂのプロセスを実装する例示的な電子デバイスを図示している。
例示的なデバイス
ここで、添付図面に実施例が示される実施形態を、詳細に参照する。以下の詳細な説明では、説明されている様々な実施形態を完全に理解できるように数多くの具体的な詳細が記載されている。しかしながら、説明されている様々な実施形態は、これらの具体的な詳細を伴わずとも実践し得ることが、当業者には明らかであろう。他の例においては、周知の方法、手順、構成要素、回路、及びネットワークは、実施形態の態様を不必要に不明瞭なものとしないよう、詳細には説明されていない。
本明細書では、第１、第２などの用語は、一部の実施例で、様々な要素を説明するために使用されるが、これらの要素は、それらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱せずに、第１の接触を第２の接触と称することができ、同様に、第２の接触を第１の接触と称することができる。第１の接触及び第２の接触は両方接触であるが、文脈がそうではないことを明確に示さない限り、それらは同じ接触ではない。
本明細書で説明される様々な実施形態の説明で使用される用語法は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用されるとき、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用されるときに、用語「及び／又は」が、関連する列挙された項目のうちの１つ以上のすべての可能な任意の組み合わせを指し、かつこれを含むことをもまた理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（含む、備える）」及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらの群、の存在又は追加を除外しないことが更に理解されるであろう。
本明細書で使用される時、用語「ｉｆ（〜の場合には）」は任意選択的に、文脈に応じて「ｗｈｅｎ（〜の時）」、「ｕｐｏｎ（〜すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（〜という判定に応じて）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（〜の検出に応じて）」を意味するものと解釈される。同様に、語句「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ（〜と判定される場合には）」又は「ｉｆ（ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）ｉｓ ｄｅｔｅｃｔｅｄ（（記述される条件又はイベント）が検出される場合には）」は任意選択的に、文脈に応じて「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ（〜と判定されると）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（〜との判定に応じて）」、又は「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ（ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）（（記述される条件又はイベント）が検出されると）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ）（（記述される条件又はイベント）の検出に応じて）」を意味するものと解釈される。
電子デバイス、このようなデバイス用のユーザインタフェース、及びこのようなデバイスを使用するための関連処理、の実施形態を説明する。一部の実施形態では、本デバイスは、ＰＤＡ機能及び／又は音楽再生機能などの、他の機能も含む、モバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態としては、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスが挙げられるが、これらに限定されない。タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えたラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスも任意選択的に使用される。また、一部の実施形態では、このデバイスはポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えるデスクトップコンピュータであることを理解されたい。
以下の検討では、ディスプレイ及びタッチ感知面を備えた電子デバイスについて説明する。しかし、この電子デバイスは、物理キーボード、マウス、及び／又はジョイスティックなどの１つ以上の他の物理ユーザインタフェースデバイスを任意選択的に含むことを理解されたい。
このデバイスは、一般的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、ビデオ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。
本デバイス上で実行される様々なアプリケーションは任意選択的に、タッチ感知面などの少なくとも１つの共通の物理ユーザインタフェースデバイスを使用する。タッチ感知面の１つ以上の機能並びにデバイス上に表示される対応する情報は任意選択的に、アプリケーションごとに、及び／又は対応するアプリケーション内で調節かつ／又は変更される。このように、デバイスの共通の（タッチ感知面などの）物理アーキテクチャは、ユーザにとって直観的かつ透過的なユーザインタフェースを有する様々なアプリケーションを、任意選択的にサポートする。
次に、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、一部の実施形態に係る、タッチ感知ディスプレイシステム１１２を備えたポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイシステム１１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、単にタッチ感知ディスプレイと呼ばれる場合もある。デバイス１００は、メモリ１０２（任意選択的に、１つ以上のコンピュータ可読記憶媒体を含む）、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インタフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（input/output）（Ｉ／Ｏ）サブシステム１０６、その他の入力又は制御デバイス１１６、及び外部ポート１２４を含む。デバイス１００は、１つ以上の光センサ１６４を任意選択的に含む。デバイス１００は、デバイス１００（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）への接触の強度を検出するための、１つ以上の強度センサ１６５を任意選択的に含む。デバイス１００は、デバイス１００上に触知出力を生成する（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などのタッチ感知面上に触知出力を生成する）ための１つ以上の触知出力生成器１６７を、任意選択的に含む。これらの構成要素は、１つ以上の通信バス又は信号ライン１０３を介して任意選択的に通信する。
本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）の、デバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素が、タッチに敏感なユーザの表面（例えば、ユーザの手の指、手のひら、又は他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の認識された変化に相当する触感として、ユーザによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、ユーザによって、物理アクチュエータボタンの「ダウンクリック」又は「アップクリック」として任意選択的に解釈される。いくつかの場合、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面に関連付けられた物理アクチュエータボタンの移動がない時でさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触感を感じるであろう。別の実施例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるものではあるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。したがって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するものと記述される場合、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの記述された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。
デバイス１００は、ポータブル多機能デバイスの一実施例に過ぎず、デバイス１００は、示されているものよりも多くの構成要素又は少ない構成要素を任意選択的に有し、２つ以上の構成要素を任意選択的に組み合わせるか、又は、それらの構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせで実装される。
メモリ１０２は、任意選択的に高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリも含む。ＣＰＵ（単数又は複数）１２０及び周辺機器インタフェース１１８などのデバイス１００の他の構成要素によるメモリ１０２へのアクセスは、メモリコントローラ１２２により任意選択的に制御される。
周辺機器インタフェース１１８を使用して、このデバイスの入力及び出力周辺機器を、ＣＰＵ（単数又は複数）１２０及びメモリ１０２に結合することができる。１つ以上のプロセッサ１２０は、デバイス１００のための様々な機能を実行するため並びにデータを処理するために、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行する。
一部の実施形態では、周辺機器インタフェース１１８、ＣＰＵ（単数又は複数）１２０、及びメモリコントローラ１２２は任意選択的に、チップ１０４などの単一チップ上に実装される。いくつかの他の実施形態において、これらは、個別のチップ上に、任意選択的に実装される。
ＲＦ（radio frequency）（無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、メモリなどを含むが、これらに限定されない、これらの機能を実行するための周知の回路を、任意選択的に含んでいる。ＲＦ回路１０８は、ワールドワイドウェブ（ＷＷＷ）とも呼ばれるインターネット、イントラネット、及び／又は、セルラ電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）などの無線ネットワーク、及び／又は、メトロポリタンエリアネットワーク（ＭＡＮ）などのネットワーク、及び他のデバイス、と無線通信によって、任意選択的に通信する。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちのいずれかを、任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム（Global System for Mobile Communications）（ＧＳＭ）、拡張データＧＳＭ環境（Enhanced Data GSM Environment）（ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access）（ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access）（ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ−Ｏｎｌｙ（ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、２重セルＨＳＰＡ（Dual-Cell HSPA）（ＤＣ−ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution）（ＬＴＥ）、近距離無線通信（near field communication）（ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access）（Ｗ−ＣＤＭＡ）、符号分割多元接続（code division multiple access）（ＣＤＭＡ）、時分割多元接続（time division multiple access）（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ−Ｆｉ）（登録商標）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ａｃ、ＩＥＥＥ ８０２．１１ａｘ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／又はＩＥＥＥ ８０２．１１ｎ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol）（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol）（ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol）（ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol）（ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions）（ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service）（ＩＭＰＳ））、及び／又はショートメッセージサービス（Short Message Service）（ＳＭＳ）、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含めた任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。
オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインタフェースを提供する。オーディオ回路１１０は、周辺機器インタフェース１１８からオーディオデータを受信し、このオーディオデータを電気信号に変換し、この電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。オーディオ回路１１０は、マイクロフォン１１３により音波から変換された電気信号もまた受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、このオーディオデータを処理のために周辺機器インタフェース１１８に送信する。オーディオデータは、周辺機器インタフェース１１８によって任意選択的に、メモリ１０２及び／若しくはＲＦ回路１０８から取り込まれ、並びに／又はメモリ１０２及び／若しくはＲＦ回路１０８へ送信される。一部の実施形態では、オーディオ回路１１０は、更にヘッドセットジャック（例えば、図２の２１２）を備える。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば、片耳又は両耳用のヘッドホン）及び入力（例えば、マイクロフォン）の双方を有するヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器と、の間のインタフェースを提供する。
Ｉ／Ｏサブシステム１０６は、タッチ感知ディスプレイシステム１１２及び他の入力又は制御デバイス１１６などの、デバイス１００上の入出力周辺機器を周辺機器インタフェース１１８に連結する。Ｉ／Ｏサブシステム１０６は任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力若しくは制御デバイスのための１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、その他の入力又は制御デバイス１１６から電気信号を受信し、それらへ電気信号を送信する。その他の入力又は制御デバイス１１６は任意選択的に、物理ボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイヤル、スライダスイッチ、ジョイスティック、クリックホイールなどを含む。いくつかの代替的実施形態では、入力コントローラ（単数又は複数）１６０は、キーボード、赤外線ポート、ＵＳＢポート、スタイラス、及び／又はマウスなどのポインタデバイスのうちのいずれかに、任意選択的に連結される（又は、いずれにも連結されない）。１つ以上のボタン（例えば、図２の２０８）は、スピーカ１１１及び／又はマイクロフォン１１３の音量調節のためのアップ／ダウンボタンを、任意選択的に含む。１つ以上のボタンは、プッシュボタン（例えば、図２の２０６）を、任意選択的に含む。
タッチ感知ディスプレイシステム１１２は、デバイスとユーザとの間の入力インタフェース及び出力インタフェースを提供する。ディスプレイコントローラ１５６は、タッチ感知ディスプレイシステム１１２から電気信号を受信し、及び／又はそれへ電気信号を送信する。タッチ感知ディスプレイシステム１１２は、ユーザに視覚出力を表示する。視覚出力は、グラフィック、テキスト、アイコン、ビデオ、及びこれらの任意の組み合わせ（総称して「グラフィック」と称する）を、任意選択的に含む。一部の実施形態では、視覚出力の一部又はすべては、ユーザインタフェースオブジェクトに対応する。
タッチ感知ディスプレイシステム１１２は、触覚／触知の接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、又はセンサのセットを有する。タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６（メモリ１０２内の任意の関連モジュール及び／又は命令セットとともに）は、タッチ感知ディスプレイシステム１１２上で接触（及び任意の移動又は接触の中断）を検出し、検出された接触をタッチ感知ディスプレイシステム１１２上に表示されたユーザインタフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ、又は画像）との双方向作用に変換する。ある例示的な実施形態では、タッチ感知ディスプレイシステム１１２とユーザとの間の接触点は、ユーザの指又はスタイラスに対応する。
タッチ感知ディスプレイシステム１１２は任意選択的に、ＬＣＤ（liquid crystal display）（液晶ディスプレイ）技術、ＬＰＤ（light emitting polymer display）（発光ポリマーディスプレイ）技術、又はＬＥＤ（light emitting diode）（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチ感知ディスプレイシステム１１２及びディスプレイコントローラ１５６は、静電容量技術、抵抗性技術、赤外線技術、及び表面音響波技術、並びに、タッチ感知ディスプレイシステム１１２との１つ以上の接触点を判定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在既知の若しくは後日に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及び任意の移動又はその中断を、任意選択的に検出する。ある例示的な実施形態では、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅＩｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）などにおいて見られるような、投影された相互キャパシタンス検知技術が使用されている。
タッチ感知ディスプレイシステム１１２は任意選択的に、１００ｄｐｉを超える映像解像度を有する。一部の実施形態では、タッチスクリーンの映像解像度は、４００ｄｐｉを超える（例えば、５００ｄｐｉ、８００ｄｐｉ、又はより高い）。ユーザは、スタイラス、指などの任意の好適な物体又は付属物を使用して、タッチ感知ディスプレイシステム１１２と、任意選択的に接触する。一部の実施形態では、ユーザインタフェースは、指に基づく接触及びジェスチャで機能するように設計され、タッチスクリーン上の指の接触面積が広いことにより、スタイラスに基づく入力よりも精度が低いことがある。一部の実施形態では、デバイスは、指に基づく粗い入力を正確なポインタ／カーソル位置又はユーザの望むアクションを実行するためのコマンドに変換する。
一部の実施形態では、タッチスクリーンに加えて、デバイス１００は、特定の機能をアクティブ化又は非アクティブ化させるためのタッチパッド（図示せず）を任意選択的に含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚出力を表示しない、デバイスのタッチ感知領域である。タッチパッドは任意選択的に、タッチ感知ディスプレイシステム１１２とは別個のタッチ感知面、又はタッチスクリーンによって形成されたタッチ感知面の延長である。
デバイス１００はまた、様々な構成要素に電力を供給するための電力システム１６２をも含む。電力システム１６２は任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態標識（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配に関連付けられた任意の他の構成要素を含む。
デバイス１００はまた、１つ以上の光センサ１６４を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に連結された光センサを示す。光センサ（単数又は複数）１６４は、電荷結合デバイス（charge-coupled device）（ＣＣＤ）又は相補的金属酸化物半導体（complementary metal-oxide semiconductor）（ＣＭＯＳ）フォトトランジスタを、任意選択的に含む。光センサ（単数又は複数）１６４は、１つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表すデータに変換する。撮像モジュール１４３（カメラモジュールとも称する）と連動して、光センサ（単数又は複数）１６４は、静止画像及び／又はビデオを、任意選択的にキャプチャする。一部の実施形態では、タッチスクリーンが静止画像及び／又は映像取得のためのビューファインダとして使用するために有効化されるように、光センサは、デバイスの前面のタッチ感知ディスプレイシステム１１２の反対側である、デバイス１００の背面に配置される。一部の実施形態では、（例えば、自撮りのため、ユーザがタッチスクリーン上で他のビデオ会議参加者を見ている間に、ビデオ会議のためなど）ユーザの画像を得るように、別の光センサがデバイスの前面に配置される。
デバイス１００はまた、１つ以上の接触強度センサ１６５も任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に連結された接触強度センサを示す。接触強度センサ（単数又は複数）１６５は、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面、又は他の強度センサ（例えば、タッチ感知面上の接触の力（又は圧力）を測定するために使用するセンサ）を、任意選択的に含む。接触強度センサ（単数又は複数）１６５は、環境から接触強度情報（例えば、圧力情報又は圧力情報のプロキシ）を受信する。一部の実施形態では、少なくとも１つの接触強度センサが、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又は、それに近接している。一部の実施形態では、少なくとも１つの接触強度センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイシステム１１２の反対側である、デバイス１００の背面に配置されている。
デバイス１００は、１つ以上の近接センサ１６６をも任意選択的に含む。図１Ａは、周辺機器インタフェース１１８と連結された近接センサ１６６を示す。あるいは、近接センサ１６６は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に連結される。一部の実施形態では、多機能デバイスがユーザの耳の近くに配置されている場合（例えば、ユーザが電話通話を行っている場合）、近接センサが、タッチ感知ディスプレイシステム１１２をオフにして無効にする。
デバイス１００はまた、任意選択的に１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に連結された触知出力生成器を示す。触知出力生成器（単数又は複数）１６７は任意選択的に、スピーカ又は他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気活性ポリマー、圧電アクチュエータ、静電アクチュエータ、若しくは他の触知出力生成構成要素（例えば、電気信号をデバイス上での触知出力に変換する構成要素）などの、エネルギを直線運動に変換する電気機械デバイスを含む。触知出力生成器（単数又は複数）１６７は、触覚フィードバックモジュール１３３から触知フィードバック生成命令を受信し、デバイス１００のユーザが感知できる触知出力をデバイス１００上に生成する。一部の実施形態において、少なくとも１つの触知出力生成器は、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は水平方向（例えば、デバイス１００の表面と同じ平面内の前後）に動かすことによって、触知出力を生成する。一部の実施形態では、少なくとも１つの触知出力生成器センサは、デバイス１００の前面に配置されたタッチ感知ディスプレイシステム１１２の反対側である、デバイス１００の背面に配置されている。
デバイス１００はまた、任意選択的に１つ以上の加速度計１６８を含む。図１Ａは、周辺機器インタフェース１１８に連結された加速度計１６８を示す。あるいは、加速度計１６８は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に、任意選択的に連結される。一部の実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、ポートレートビュー又はランドスケープビューでタッチスクリーンディスプレイ上に表示される。デバイス１００は、加速度計（単数又は複数）１６８に加えて、磁気計（図示せず）並びにデバイス１００の位置及び向き（例えば、縦長又は横長）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ又は他のグローバルナビゲーションシステム）受信部（図示せず）を任意選択的に含む。
一部の実施形態では、メモリ１０２に記憶されたソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、触覚フィードバックモジュール（又は命令セット）１３３、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System）（ＧＰＳ）モジュール（又は命令セット）１３５、及びアプリケーション（又は命令セット）１３６を含む。更に、一部の実施形態では、図１Ａ及び図３に示すように、メモリ１０２はデバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、以下の１つ以上を含む。現在アクティブ状態のアプリケーションがある場合、どのアプリケーションがアクティブかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー、又は他の情報がタッチ感知ディスプレイシステム１１２の様々な領域を占領しているかを示す、表示状態、デバイスの様々なセンサ及びその他の入力又は制御デバイス１１６から得られる情報を含む、センサ状態、並びに、デバイスの位置及び／若しくは姿勢に関する位置並びに／又は姿勢情報。
オペレーティングシステム１２６（例えば、ｉＯＳ、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。
通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素をも含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus）（ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えば、インターネット、無線ＬＡＮなど）を通して間接的に、他のデバイスに接続するように適応している。一部の実施形態では、外部ポートは、カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスの一部内で使用される３０ピンコネクタと同一の、又はこれに類似した及び／若しくは互換性のあるマルチピン（例えば、３０ピン）コネクタである。一部の実施形態では、外部ポートは、カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．からのｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）、及びｉＰａｄ（登録商標）デバイスの一部内で使用されるＬｉｇｈｔｎｉｎｇ（登録商標）コネクタと同一の、又はこれに類似した及び／若しくは互換性のあるＬｉｇｈｔｎｉｎｇコネクタである。
接触／動きモジュール１３０は任意選択的に、（ディスプレイコントローラ１５６と連動して）タッチ感知ディスプレイシステム１１２との接触、及び他のタッチ感知デバイス（例えば、タッチパッド又は物理クリックホイール）との接触を検出する。接触／動きモジュール１３０は、接触が発生したかどうかの判定（例えば、フィンガダウンイベントの検出）、接触の強度（例えば、接触の力若しくは圧力、又は、接触の力若しくは圧力の代用）の判定、接触の移動及びタッチ感知面にわたる移動の追跡（例えば、１つ以上のフィンガドラッグイベントの検出）があるかどうかの判定、及び接触が中止したかどうか（例えば、フィンガアップイベント又は接触の中断の検出）の判定などの、（例えば、指又はスタイラスによる）接触の検出に関係する様々な動作を実行するためのソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データにより表現される接触点の移動を判定することは、接触点の速さ（大きさ）、速度（大きさ及び方向）、及び／又は加速度（大きさ及び／又は方向の変化）を判定することを任意選択的に含む。これらの動作は任意選択的に、単一の接触（例えば、１本の指の接触又はスタイラスの接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。一部の実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッドへの接触を検出する。
接触／動きモジュール１３０は任意選択的に、ユーザによるジェスチャ入力を検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン（例えば、異なる動き、タイミング、及び／又は検出される接触の強度）を有する。したがって、ジェスチャは、特定の接触パターンを検出することによって、任意選択的に検出される。例えば、フィンガタップジェスチャを検出することは、フィンガダウンイベントを検出し、続いて（例えば、アイコンの位置での）そのフィンガダウンイベントと同じ位置（又は、実質的に同じ位置）でフィンガアップ（リフトオフ）イベントを検出することを含む。別の実施例として、タッチ感知面でのフィンガスワイプジェスチャの検出は、フィンガダウンイベントを検出し、続いて１つ以上のフィンガドラッグイベントを検出し、その後、フィンガアップ（リフトオフ）イベントを検出することを含む。同様に、タップ、スワイプ、ドラッグ、及び他のジェスチャは、スタイラスに対して、スタイラスに対する特定の接触パターンを検出することにより、任意選択的に検出される。
グラフィックモジュール１３２は、表示されるグラフィックの視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含めた、タッチ感知ディスプレイシステム１１２又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェア構成要素を含む。本明細書で使用するとき、用語「グラフィック」は、ユーザに対して表示することができる任意のオブジェクトを含み、それらのオブジェクトとしては、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインタフェースオブジェクトなど）、デジタル画像、ビデオ、アニメーションなどが挙げられるが、これらに限定されない。
一部の実施形態では、グラフィックモジュール１３２は、使用されるグラフィックを表すデータを記憶する。各グラフィックには、対応するコードが、任意選択的に割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて、座標データ及び他のグラフィック特性データとともに、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、次にディスプレイコントローラ１５６に出力する画面の画像データを生成する。
触覚フィードバックモジュール１３３は、デバイス１００とのユーザ相互作用に応じて、デバイス１００上の１つ以上の位置で触知出力を生成するために、触知出力生成器（単数又は複数）１６７によって使用される命令を生成するための、様々なソフトウェア構成要素を含む。
テキスト入力モジュール１３４は任意選択的に、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。
ＧＰＳモジュール１３５は、デバイスの位置を判断し、この情報を様々なアプリケーションで使用するために提供する（例えば、ロケーションベースダイヤル発呼で使用するための電話１３８へ、ピクチャ／ビデオのメタデータとしてカメラ１４３へ、並びに気象ウィジェット、地方のイエローページウィジェット、及び地図／ナビゲーションウィジェットなどのロケーションベースのサービスを提供するアプリケーションへ）。
アプリケーション１３６は、任意選択的に以下のモジュール（又は、命令のセット）、又はそれらのサブセット若しくはスーパーセットを含む。
●連絡先モジュール１３７（アドレス帳又は連絡先リストと称されることもある）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ブラウザモジュール１４７、
●カレンダーモジュール１４８、
●天気ウィジェット１４９−１、株式ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、辞書ウィジェット１４９−５、及びユーザが取得した他のウィジェット、並びにユーザ作成ウィジェット１４９−６のうちの１つ以上を任意選択的に含むウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９−６を作成するためのウィジェット作成モジュール１５０、
●検索モジュール１５１、
●任意選択的にビデオ再生モジュール及び音楽再生モジュールから構成されている、ビデオ及び音楽再生モジュール１５２、
●メモモジュール１５３、
●地図モジュール１５４、及び／又は
●オンラインビデオモジュール１５５。
任意選択的にメモリ１０２内に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と併せて、連絡先モジュール１３７は、（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレス帳又は連絡先リストを管理する実行可能命令を含み、それには、アドレス帳に名前（単数又は複数）を加えること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類して並べ替えること、電話番号又は電子メールアドレスを提供して、電話１３８、ビデオ会議１３９、電子メール１４０、若しくはＩＭ１４１による通信を開始する、かつ／又は容易にすることなどが含まれる。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と併せて、電話モジュール１３８は、電話番号に対応する一連の文字を入力し、アドレス帳１３７内の１つ以上の電話番号にアクセスし、入力されている電話番号を修正し、それぞれの電話番号をダイヤルし、会話を実行し、会話が完了した際に接続を切るか又は電話を切るための実行可能命令を含む。上述のように、無線通信は、複数の通信規格、プロトコル、及び技術のうちのいずれかを任意選択的に使用する。
ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先リスト１３７、及び電話モジュール１３８と併せて、ビデオ会議モジュール１３９は、ユーザの指示に従って、ユーザと１人以上の他の参加者との間のビデオ会議を開始し、行い、終了するための実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と併せて、電子メールクライアントモジュール１４０は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理するための実行可能命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と併せて、インスタントメッセージモジュール１４１は、インスタントメッセージと対応する文字列を入力し、入力済みの文字を修正し、それぞれのインスタントメッセージを送信し（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（Multimedia Message Service）（ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、Ａｐｐｌｅ Ｐｕｓｈ Ｎｏｔｉｆｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ（ＡＰＮｓ）、若しくはＩＭＰＳを使用して）、インスタントメッセージを受信してその受信したインスタントメッセージを見る、実行可能命令を含む。一部の実施形態では、送信及び／又は受信されたインスタントメッセージは任意選択的に、ＭＭＳ及び／又は拡張メッセージングサービス（Enhanced Messaging Service）（ＥＭＳ）でサポートされるように、グラフィック、写真、オーディオファイル、映像ファイル、及び／又は他の添付を含む。本明細書で使用するとき、「インスタントメッセージ」とは、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されたメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、ＡＰＮｓ、又はＩＭＰＳを使用して送信されたメッセージ）の両方を意味する。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、地図モジュール１５４、及び音楽プレーヤモジュール１４６と併せて、トレーニングサポートモジュール１４２は、（例えば、時間、距離、及び／又はカロリー消費目標を有する）トレーニングを作成する、（スポーツデバイス及びスマートウォッチ内の）トレーニングセンサと通信する、トレーニングセンサデータを受信し、トレーニングをモニタするために使用されるセンサを較正し、トレーニングのための音楽を選択して再生し、並びに、トレーニングデータを表示し、記憶し、送信するための実行可能命令を含んでいる。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触モジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と併せて、カメラモジュール１４３は、静止画像又はビデオ（ビデオストリームを含む）をキャプチャしてメモリ１０２にそれらを記憶する、静止画像又はビデオの特性を修正する、及び／又はメモリ１０２から静止画像若しくはビデオを削除するための実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィクモジュール１３２、テキスト入力モジュール１３４、及びカメラモジュール１４３と併せて、画像管理モジュール１４４は、静止画像及び／又はビデオを配置し、修正し（例えば、編集し）又は別の方法で操作し、ラベルをつけ、削除し、提示し（例えば、デジタルスライドショー又はアルバム内で）、並びに記憶する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と併せて、ブラウザモジュール１４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付け、受信し、表示することを含むユーザの指示に従い、インターネットをブラウズする実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と併せて、カレンダーモジュール１４８は、ユーザの指示に従い、カレンダー及びカレンダーに関連付けられたデータ（例えば、カレンダー項目、ＴｏＤｏリストなど）を作成、表示、変更、並びに記憶する実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と併せて、ウィジェットモジュール１４９は任意選択的に、ユーザによってダウンロードされ、使用されるミニアプリケーション（例えば、気象ウィジェット１４９−１、株式ウィジェット１４９−２、計算機ウィジェット１４９−３、アラーム時計ウィジェット１４９−４、及び辞書ウィジェット１４９−５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９−６）である。一部の実施形態において、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language）（ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets）（カスケーディングスタイルシート）ファイル、及びＪａｖａＳｃｒｉｐｔ（登録商標）ファイルを含む。一部の実施形態において、ウィジェットは、ＸＭＬ（拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！（登録商標）ウィジェット）を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と併せて、ウィジェット作成モジュール１５０は、ウィジェットを作成する（例えば、ウェブページのユーザ指定部分をウィジェットに変える）実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィクモジュール１３２、及びテキスト入力モジュール１３４と併せて、検索モジュール１５１は、ユーザの指示に従い、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ１０２内のテキスト、音楽、音、画像、ビデオ、及び／又は他のファイルを検索する実行可能命令を含む。
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィクモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、及びブラウザモジュール１４７と併せて、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽又は他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能命令、並びにビデオを（例えば、タッチ感知ディスプレイシステム１１２上又は無線で若しくは外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示、又は別の方法で再生する実行可能命令を含む。一部の実施形態では、デバイス１００は任意選択的に、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を備える。
タッチ感知ディスプレイシステム１１２、ディスプレイコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と併せて、メモモジュール１５３は、ユーザの指示に従って、メモ、ＴｏＤｏリストなどを作成及び管理するための実行可能命令を含む。
ＲＦ回路１０８、タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と併せて、地図モジュール１５４は、ユーザの指示に従って、地図及び地図に関連付けられたデータ（例えば、運転方向、特定の場所若しくはその付近の店舗及び関心対象の他の地点についてのデータ、並びに場所に基づく他のデータ）を受信し、表示し、修正し、記憶するための実行可能命令を含んでいる。
タッチ感知ディスプレイシステム１１２、ディスプレイシステムコントローラ１５６、接触モジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と併せて、オンラインビデオモジュール１５５は、ユーザがＨ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、受信し（例えば、ストリーミング及び／又はダウンロードにより）、再生し（例えば、タッチスクリーン１１２上で又は無線で若しくは外部ポート１２４を介して接続された外部のディスプレイ上で）、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理できるようにする実行可能命令を含む。一部の実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。
上記で識別されたモジュール及びアプリケーションのそれぞれは、１つ以上の上記の機能を実行するための実行可能命令セット及び本出願に記載の方法（例えば、コンピュータにより実行される方法及び本明細書に記載の他の情報処理方法）に対応する。これらのモジュール（すなわち、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において、任意選択的に組み合わされるか、又は別の方法で再配置される。一部の実施形態では、メモリ１０２は、上述の識別されたモジュール及びデータ構造のサブセットを、任意選択的に記憶する。更に、メモリ１０２は、上述されていない追加のモジュール及びデータ構造を任意選択的に記憶する。
一部の実施形態では、デバイス１００は、デバイス上の機能の既定のセットの動作が排他的にタッチスクリーン及び／又はタッチパッドを介して実行されるデバイスである。デバイス１００の動作のための主要入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することにより、デバイス１００上の物理的な入力制御デバイス（プッシュボタン、ダイヤル、など）の数を、任意選択的に低減する。
排他的にタッチスクリーン及び／又はタッチパッドを介して実行される、既定の機能のセットは任意選択的に、ユーザインタフェース間のナビゲーションを含む。一部の実施形態では、タッチパッドは、ユーザによってタッチされると、デバイス１００上に表示される任意のユーザインタフェースから、メインメニュー、ホームメニュー、又はルートメニューへデバイス１００をナビゲートする。かかる実施形態では、「メニューボタン」はタッチパッドを用いて実装される。一部の他の実施形態では、メニューボタンは、タッチパッドの代わりに、物理プッシュボタン又は他の物理入力制御デバイスである。
図１Ｂは、一部の実施形態に係る、イベント処理のための例示的な構成要素を示すブロック図である。一部の実施形態では、メモリ１０２（図１Ａ内）又は３７０（図３）は、イベントソート部１７０（例えば、オペレーティングシステム１２６内）及び対応するアプリケーション１３６−１（例えば、上述のアプリケーション１３６、１３７〜１５５、及び３８０〜３９０のいずれか）を含む。
イベントソート部１７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション１３６−１及びアプリケーション１３６−１のアプリケーションビュー１９１を判定する。イベントソート部１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。一部の実施形態では、アプリケーション１３６−１は、アプリケーションがアクティブ又は実行中のとき、タッチ感知ディスプレイシステム１１２上に表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２を含む。一部の実施形態では、デバイス／グローバル内部状態１５７は、いずれのアプリケーション（単数又は複数）が現在アクティブであるかを判定するために、イベントソート部１７０によって使用され、アプリケーション内部状態１９２は、イベント情報が配信されるアプリケーションビュー１９１を判定するために、イベントソート部１７０によって使用される。
一部の実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６−１が実行を再開する際に使用される再開情報、アプリケーション１３６−１によって情報が表示されているか又は表示の準備が整っていることを示すユーザインタフェース状態情報、ユーザがアプリケーション１３６−１の以前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが以前に行ったアクションのリドゥ／アンドゥ待ち行列のうちの１つ以上などの追加情報を含む。
イベントモニタ１７１は、周辺機器インタフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイシステム１１２上でのユーザのタッチ）についての情報を含む。周辺機器インタフェース１１８は、Ｉ／Ｏサブシステム１０６、又は近接センサ１６６、加速度計（単数又は複数）１６８、及び／若しくは（オーディオ回路１１０を介する）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インタフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイシステム１１２又はタッチ感知面からの情報を含む。
一部の実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インタフェース１１８に要求を送信する。これに応じて、周辺機器インタフェース１１８はイベント情報を送信する。他の実施形態では、周辺機器インタフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回り、かつ／又は所定の持続時間を超えた入力を受信すること）が存在する場合にのみ、イベント情報を送信する。
一部の実施形態では、イベントソート部１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３も含む。
ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイシステム１１２が１つより多くのビューを表示した際に、１つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手続きを提供する。ビューは、制御部及びユーザがディスプレイ上で見ることが可能な他の要素で構成されている。
アプリケーションに関連付けられたユーザインタフェースの別の態様は、本明細書では、アプリケーションビュー又はユーザインタフェースウィンドウと呼ばれる場合があるビューのセットであり、それらの中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに任意選択的に、対応する。例えば、タッチが検出される最低レベルのビューは任意選択的に、ヒットビューと呼ばれ、適切な入力として認識されるイベントのセットは、少なくとも部分的に、タッチベースのジェスチャを開始する最初のタッチのヒットビューに基づいて任意選択的に、判定される。
ヒットビュー判定モジュール１７２は、タッチベースのジェスチャのサブイベントと関連付けられた情報を受信する。アプリケーションが、階層として編成された複数のビューを有する場合、ヒットビュー判定モジュール１７２は、そのサブイベントを処理すべき階層内の最下位のビューとしての、ヒットビューを特定する。ほとんどの状況では、ヒットビューは、起因となるサブイベント（即ち、イベント又は潜在的なイベントを形成するサブイベントのシーケンスにおける最初のサブイベント）が発生する最低レベルのビューである。ヒットビューがヒットビュー判定モジュールによって特定されると、ヒットビューは、典型的には、それがヒットビューとして特定された、同じタッチ又は入力ソースに関連するすべてのサブイベントを受信する。
アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定のシーケンスを受信すべきかを判定する。一部の実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理位置を含むすべてのビューはアクティブに関わっているビューであると判定し、したがって、すべてのアクティブに関わっているビューは、サブイベントの特定のシーケンスを受信すべきであると判定する。他の実施形態では、タッチサブイベントがある特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューは、依然としてアクティブに関わっているビューであり続ける。
イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えば、イベント認識部１８０）に送信する。アクティブイベント認識部判定モジュール１７３を含む実施形態において、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。一部の実施形態では、イベントディスパッチャモジュール１７４は、それぞれのイベント受信部モジュール１８２により取得されるイベント情報をイベント待ち行列内に記憶する。
一部の実施形態では、オペレーティングシステム１２６は、イベントソート部１７０を含む。あるいは、アプリケーション１３６−１はイベントソート部１７０を含む。更に他の実施形態では、イベントソート部１７０は、独立型のモジュール、又は接触／動きモジュール１３０などの、メモリ１０２に記憶された別のモジュールの一部である。
一部の実施形態では、アプリケーション１３６−１は、それぞれがアプリケーションのユーザインタフェースのそれぞれのビュー内で発生するタッチイベントを処理する命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６−１の各アプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。通常、それぞれのアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、ユーザインタフェースキット（図示せず）又はアプリケーション１３６−１が方法及び他の特性を継承する上位レベルのオブジェクトなどの、別個のモジュールの一部である。一部の実施形態では、各イベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８、及び／又はイベントソート部１７０から受信したイベントデータ１７９のうちの１つ以上を含む。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を任意選択的に、利用若しくは呼び出す。あるいは、アプリケーションビュー１９１のうちの１つ以上は、１つ以上の対応するイベント処理部１９０を含んでいる。また、一部の実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８のうちの１つ以上は、対応するアプリケーションビュー１９１に含まれる。
対応するイベント認識部１８０は、イベントソート部１７０からイベント情報（例えば、イベントデータ１７９）を受信して、そのイベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。一部の実施形態では、イベント認識部１８０はまた、メタデータ１８３及び（サブイベント配信命令を任意選択的に含む）イベント配信命令１８８の、少なくともサブセットも含む。
イベント受信部１８２は、イベントソート部１７０からイベント情報を受信する。このイベント情報は、サブイベントについての情報、例えば、タッチ又はタッチの移動についての情報を含む。サブイベントによっては、イベント情報はまた、サブイベントの場所などの追加情報も含む。サブイベントが、タッチの動きに関わるとき、イベント情報は、サブイベントの速さ及び方向を任意選択的に、更に含む。一部の実施形態では、イベントは、１つの向きから別の向きへの（例えば、縦向きから横向きへの、又はその逆の）デバイスの回転を含み、そのイベント情報は、デバイスの現在の向き（デバイスの姿勢とも呼ばれる）についての対応する情報を含む。
イベント比較部１８４は、イベント情報を既定のイベント又はサブイベントの定義と比較し、その比較に基づいて、イベント又はサブイベントを判定する、あるいはイベント又はサブイベントの状態を判定若しくは更新する。一部の実施形態において、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えば、イベント１（１８７−１）、イベント２（１８７−２）などの、イベントの定義（例えば、サブイベントの既定のシーケンス）を含む。一部の実施形態において、イベント１８７内のサブイベントは、例えば、タッチ開始、タッチ終了、タッチの移動、タッチの中止、及び複数のタッチを含む。ある実施例では、イベント１（１８７−１）の定義は、表示されたオブジェクト上のダブルタップである。ダブルタップは、例えば、表示されたオブジェクト上の所定の段階についての第１のタッチ（タッチ開始）、所定の段階についての第１のリフトオフ（タッチ終了）、表示されたオブジェクト上の所定の段階についての第２のタッチ（タッチ開始）、及び所定の段階についての第２のリフトオフ（タッチ終了）を含む。別の実施例では、イベント２（１８７−２）の定義は、表示されたオブジェクト上のドラッグ操作である。ドラッグは、例えば、表示されたオブジェクト上の所定の段階についてのタッチ（又は接触）、タッチ感知ディスプレイシステム１１２にわたるタッチの移動、及びタッチのリフトオフ（タッチ終了）を含む。一部の実施形態では、イベントはまた、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。
一部の実施形態では、イベント定義１８７は、それぞれのユーザインタフェースオブジェクトに関するイベントの定義を含む。一部の実施形態では、イベント比較部１８４は、サブイベントに関連付けられたユーザインタフェースオブジェクトを判定するヒットテストを実行する。例えば、３つのユーザインタフェースオブジェクトがタッチ感知ディスプレイシステム１１２上に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイシステム１１２上でタッチが検出されると、イベント比較部１８４は、３つのユーザインタフェースオブジェクトのうちのどれがタッチ（サブイベント）に関連付けられているかを判定するためのヒットテストを行う。表示された各オブジェクトが、対応するイベント処理部１９０と関連付けられている場合、イベント比較部は、ヒットテストの結果を使用して、どのイベント処理部１９０をアクティブ化すべきかを判定する。例えば、イベント比較部１８４は、サブイベント及びヒットテストのトリガーとなるオブジェクトと関連付けられたイベント処理部を選択する。
一部の実施形態では、各イベント１８７に関する定義はまた、サブイベントのシーケンスがイベント認識部のイベントタイプに対応するか否かが判定されるまで、イベント情報の送付を遅延させる、遅延作用も含む。
それぞれのイベント認識部１８０が一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判定した場合、それぞれのイベント認識部１８０は、イベント不可能、イベント失敗、又はイベント終了の状態に入り、その後は、タッチに基づくジェスチャの次のサブイベントを無視する。この状況では、ヒットビューに関してアクティブのまま維持される他のイベント認識部があれば、進行中のタッチに基づくジェスチャのサブイベントを、引き続き追跡及び処理する。
一部の実施形態において、それぞれのイベント認識部１８０は、構成変更可能なプロパティと、フラグと、及び／又はイベント配信システムがアクティブに関わっているイベント認識部にどのようにサブイベント配信を実行するかについて示すリストと、を有するメタデータ１８３を含む。一部の実施形態において、メタデータ１８３は、構成可能なプロパティ、フラグ、及び／又はイベント認識部が互いにどのように相互作用するか、若しくは相互作用し得るかについて示すリストを含む。一部の実施形態では、メタデータ１８３は、構成変更可能なプロパティと、フラグと、及び／又はサブイベントがビュー階層又はプログラム階層内の様々なレベルに配信されるか否かを示すリストと、を含む。
一部の実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されたときに、イベントに関連付けられたイベント処理部１９０をアクティブ化する。一部の実施形態では、それぞれのイベント認識部１８０は、イベントに関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、対応するヒットビューにサブイベントを送信（及び送信を延期する）することとは異なる。一部の実施形態では、イベント認識部１８０は、認識されたイベントに関連付けられたフラグをスローし、フラグに関連付けられたイベント処理部１９０は、フラグをキャッチし、既定の処理を実行する。
一部の実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントに関するイベント情報を配信するサブイベント配信命令を含む。その代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部又はアクティブに関わっているビューに、イベント情報を配信する。一連のサブイベント又はアクティブに関わっているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を実行する。
一部の実施形態では、データ更新部１７６は、アプリケーション１３６−１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新、又はビデオプレーヤモジュール１４５で使用されるビデオファイルを記憶する。一部の実施形態では、オブジェクト更新部１７７は、アプリケーション１３６−１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新たなユーザインタフェースオブジェクトを作成するか、又はユーザインタフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するため、表示情報をグラフィックモジュール１３２に送信する。
一部の実施形態において、イベント処理部（単数又は複数）１９０は、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８を含むか、若しくはそれらにアクセスすることができる。一部の実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６−１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。
タッチ感知ディスプレイ上でのユーザのタッチのイベント処理に関する前述の説明はまた、入力デバイスを用いて多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用されるが、そのすべてがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、単一又は複数のキーボードの押下又は保持に任意選択的に合わせたマウスの移動及びマウスボタンの押下、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口頭による指示検出された眼球運動、バイオメトリック入力、及び／又はこれらの任意の組み合わせが、認識対象のイベントを定義するサブイベントに対応する入力として任意選択的に利用される。
図２は、一部の実施形態に係る、タッチスクリーン（例えば、図１Ａのタッチ感知ディスプレイシステム１１２）を備えたポータブル多機能デバイス１００を示す。タッチスクリーンは、ユーザインタフェース（user interface）（ＵＩ）２００内に１つ以上のグラフィックを、任意選択的に表示する。本実施形態、並びに後述する実施形態において、ユーザは、例えば、１本以上の指２０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス２０３（図には、正確な縮尺率では描かれていない）を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することができる。一部の実施形態では、ユーザが１つ以上のグラフィックとの接触を断った際に、その１つ以上のグラフィックの選択が生じる。一部の実施形態では、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方向へ及び／又は下方向へ）、並びに／又は、デバイス１００と接触した指のローリング（右から左へ、左から右へ、上方向へ及び／若しくは下方向へ）を、任意選択的に含む。一部の実装又は状況では、グラフィックとの不測の接触は、そのグラフィックを選択するものではない。例えば、選択に対応するジェスチャがタップである場合、アプリケーションアイコンの上をスイープするスワイプジェスチャは、対応するアプリケーションを任意選択的に選択しない。
デバイス１００はまた、「ホーム」又はメニューボタン２０４などの、１つ以上の物理ボタンも任意選択的に含む。前述のように、メニューボタン２０４は、デバイス１００上で任意選択的に実行する、アプリケーションのセット内の任意のアプリケーション１３６へのナビゲーションに、任意選択的に使用される。あるいは、一部の実施形態では、メニューボタンは、タッチスクリーンディスプレイに表示されたＧＵＩにおけるソフトキーとして実装されている。
一部の実施形態では、デバイス１００は、タッチスクリーンディスプレイ、メニューボタン２０４、デバイスへの電源をオン／オフし、デバイスをロックするためのプッシュボタン２０６、音量調整ボタン（単数又は複数）２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、ボタンを押し下げて、既定の時間にわたってボタンを押し下げた状態で保持することによってデバイス上の電源をオン／オフし、ボタンを押し下げて、既定時間が経過する前にボタンを解放することによってデバイスをロックし、及び／又は、デバイスのロックを解除する、若しくは、ロック解除処理を開始するように、任意選択的に用いられる。一部の実施形態では、デバイス１００はまた、マイクロフォン１１３を通して、一部の機能をアクティブ化し、又はディアクティブ化するための口頭入力を受け付ける。デバイス１００はまた、タッチ感知ディスプレイシステム１１２上の接触の強度を検出するための１つ以上の接触強度センサ１６５、及び／又は、デバイス１００のユーザに対する触知出力を生成するための１つ以上の触知出力生成器１６７も、任意選択的に含む。
図３は、一部の実施形態に係る、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。一部の実施形態において、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディア再生デバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、典型的には、１つ以上の処理ユニット（ＣＰＵ）３１０と、１つ以上のネットワーク又は他の通信インタフェース３６０と、メモリ３７０と、これらの構成要素を相互接続するための１つ以上の通信バス３２０と、を含んでいる。通信バス３２０は、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を任意選択的に含む。デバイス３００は、典型的にはタッチスクリーンディスプレイであるディスプレイ３４０を備える入出力（Ｉ／Ｏ）インタフェース３３０を含む。Ｉ／Ｏインタフェース３３０はまた、キーボード及び／又はマウス（又は他のポインティングデバイス）３５０並びにタッチパッド３５５、デバイス３００上に触知出力を生成するための（例えば、図１Ａを参照して上述された触知出力生成器１６７と同様の）触知出力生成器３５７、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ、及び／又は図１Ａを参照して上述された接触強度センサ１６５と同様の接触強度センサ）も、任意選択的に含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含み、また任意選択的に、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの、不揮発性メモリを含む。メモリ３７０は、ＣＰＵ（単数又は複数）３１０から離れて位置する１つ以上の記憶デバイスを任意選択的に含む。一部の実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール、及びデータ構造に類似するプログラム、モジュール、データ構造、又はそれらのサブセットを記憶する。更に、メモリ３７０は、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を、任意選択的に記憶する。例えば、デバイス３００のメモリ３７０は、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８、及び／又はスプレッドシートモジュール３９０を、任意選択的に記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は任意選択的に、これらのモジュールを記憶しない。
上記で特定された図３の要素のそれぞれは任意選択的に、上述のメモリデバイスのうちの１つ以上に記憶される。上記で識別されたモジュールうちのそれぞれは、上述した機能を実行するための命令セットに対応する。上述の識別されたモジュール又はプログラム（すなわち、命令セット）は、別個のソフトウェアプログラム、手順、又はモジュールとして実施される必要はなく、したがって、様々な実施形態において、これらのモジュールの様々なサブセットを任意選択的に、組み合わされるか、又は別の方法で再配置される。一部の実施形態において、メモリ３７０は、上述の識別されたモジュール及びデータ構造のサブセットを、任意選択的に記憶する。更に、メモリ３７０は、上述されていない追加のモジュール及びデータ構造を、任意選択的に記憶する。
ここで、ポータブル多機能デバイス１００上に任意選択的に実装されるユーザインタフェース（「ＵＩ」）の実施形態に注意を向ける。
図４Ａは、一部の実施形態に係る、ポータブル多機能デバイス１００上のアプリケーションのメニューに関する例示的なユーザインタフェースを示す。同様のユーザインタフェースがデバイス３００上に、任意選択的に実装される。一部の実施形態では、ユーザインタフェース４００は、以下の要素、又はそれらの部分集合若しくは上位集合を含む。
●セルラ及びＷｉ−Ｆｉ信号などの無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ４０５、
●バッテリ状態インジケータ４０６、
●下記などの、頻繁に利用されるアプリケーション用のアイコンを含むトレー４０８、
○不在着信又は音声メールメッセージの数の標識４１４を任意選択的に含む、「電話」とラベル付けされる、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数の標識４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０用のアイコン４１８、
○「ブラウザ」とラベル付けされる、ブラウザモジュール１４７用のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされる、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽再生モジュール１５２用のアイコン４２２、及び
●下記などの、その他のアプリケーション用のアイコン、
○「テキスト」とラベル付けされる、ＩＭモジュール１４１用のアイコン４２４、
○「カレンダー」とラベル付けされる、カレンダーモジュール１４８用のアイコン４２６、
○「写真」とラベル付けされる、画像管理モジュール１４４用のアイコン４２８、
○「カメラ」とラベル付けされる、カメラモジュール１４３用のアイコン４３０、
○「オンラインビデオ」とラベル付けされる、オンラインビデオモジュール１５５用のアイコン４３２、
○「株式」とラベル付けされる、株式ウィジェット１４９−２用のアイコン４３４、
○「地図」とラベル付けされる、地図モジュール１５４用のアイコン４３６、
○「天気」とラベル付けされる、天気ウィジェット１４９−１用のアイコン４３８、
○「時計」とラベル付けされる、アラーム時計ウィジェット１４９−４用のアイコン４４０、
○「トレーニングサポート」とラベル付けされる、トレーニングサポートモジュール１４２用のアイコン４４２、
○「メモ」とラベル付けされる、メモモジュール１５３用のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、設定アプリケーション若しくはモジュール用のアイコン４４６。
図４Ａに図示されているアイコンのラベルは単なる例示に過ぎないことに留意されたい。例えば、一部の実施形態では、ビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。一部の実施形態では、それぞれのアプリケーションアイコンに関するラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。
図４Ｂは、ディスプレイ４５０とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を備えたデバイス（例えば、図３のデバイス３００）上の例示的なユーザインタフェースを示す。デバイス３００はまた、タッチ感知面４５１上の接触の強度を検出するための１つ以上の接触強度センサ（例えば、センサ３５７のうちの１つ以上）、及び／又はデバイス３００のユーザに対する触知出力を生成するための１つ以上の触知出力生成器３５９を任意選択的に含む。
図４Ｂは、ディスプレイ４５０とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を備えたデバイス（例えば、図３のデバイス３００）上の例示的なユーザインタフェースを示す。以下の実施例のうちの多くはタッチスクリーンディスプレイ１１２上での入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して説明されるが、一部の実施形態では、デバイスは、図４Ｂに示すように、ディスプレイとは別個のタッチ感知面上での入力を検出する。一部の実施形態において、タッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂの４５３）に対応する主軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、ディスプレイ上のそれぞれの位置に対応する位置（例えば、図４Ｂにおいて、４６０は４６８と対応し、４６２は４７０と対応する）でのタッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を検出する。このように、タッチ感知面がディスプレイとは別個のものであるとき、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されたユーザ入力（例えば、接触４６０及び４６２、及びそれらの動き）は、多機能デバイスのディスプレイ（例えば、図４Ｂの４５０）上のユーザインタフェースを操作するためにデバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインタフェースに任意選択的に使用されることを理解されたい。
これに加えて、以下の説明は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャなど）を参照して説明されるが、一部の実施形態では、それらの指入力のうちの１つ以上は、別の入力デバイスからの入力（例えば、マウスに基づく入力又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは任意選択的に、（例えば、接触の代わりに）マウスクリックと置換され、その後、（例えば、接触の移動の代わりに）スワイプの経路に沿ってカーソルの移動が行われる。別の例として、タップジェスチャは、（例えば、接触の検出、それに続いて接触の検出を停止する代わりに）カーソルがタップジェスチャの位置上に配置されている間、任意選択的にマウスクリックで置換される。同様に、複数のユーザ入力が同時に検出される時、複数のコンピュータマウスが同時に、任意選択的に用いられているか、又はマウスと指接触が任意選択的に同時に用いられていることが理解されよう。
本明細書にて使用されるとき、用語「フォーカスセレクタ」とは、ユーザが相互作用しているユーザインタフェースの現在の部分を示す入力要素を指す。カーソル又は他のロケーションマーカを含む実装において、カーソルは、タッチ感知面（例えば、図３のタッチパッド３５５、又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押下げ入力）が検出された時に、カーソルが特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の上にある時、「フォーカスセレクタ」として機能し、特定のユーザインタフェース要素が、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインタフェース要素との直接的な相互作用を可能にする、タッチスクリーンディスプレイ（例えば、図１Ａのタッチ感知ディスプレイシステム１１２、又は図４Ａのタッチスクリーン）を含む一部の実装では、タッチスクリーン上で検出される接触が「フォーカスセレクタ」の役割を果たすため、入力（例えば、接触による押圧入力）が、タッチスクリーンディスプレイ上の特定のユーザインタフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインタフェース要素）の場所で検出されると、その特定のユーザインタフェース要素が、検出された入力に従って調節される。一部の実装では、（例えば、タブキー又は矢印キーを使ってフォーカスを１つのボタンから別のボタンに移動させることにより）タッチスクリーンディスプレイ上で対応するカーソルを移動せずに、又は接触を移動せずに、フォーカスが、ユーザインタフェースの１つの領域からユーザインタフェースの別の領域に移動される。これらの実装において、フォーカスセレクタは、ユーザインタフェースの異なる領域間でのフォーカスの移動に従って移動する。フォーカスセレクタが採用する具体的な形態とは関わりなく、フォーカスセレクタは、全般的に、ユーザが意図するユーザインタフェースとの相互作用を（例えば、ユーザが相互作用することを意図しているユーザインタフェースの要素をデバイスに示すことによって）通信するために、ユーザによって制御されるユーザインタフェース要素（又は、タッチスクリーンディスプレイ上での接触）である。例えば、タッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で押圧入力が検出される間の、対応のボタンの上のフォーカスセレクタ（例えば、カーソル、接触、又は選択ボックス）の場所は、（そのデバイスのディスプレイ上に示される他のユーザインタフェース要素ではなく）その対応のボタンをアクティブ化することをユーザが意図していることを示すものである。
本明細書及び特許請求の範囲で使用されるとき、タッチ感知面への接触の「強度」という用語は、タッチ感知面への接触（例えば、指の接触又はスタイラスの接触）の力若しくは圧力（単位面積当りの力）、又はタッチ感知面への接触の力若しくは圧力の代用物（プロキシ）を指す。接触の強度は、少なくとも４つの別個の値を含み、より典型的には、何百もの異なる値（例えば、少なくとも２５６）を含む、値の範囲を有する。接触の強度は、様々な方法及び様々なセンサ、又はセンサの組み合わせを用いて、任意選択的に判定（又は、測定）される。例えば、タッチ感知面の下に又は隣接して配置された１つ以上の力センサは、タッチ感知面上の様々な点における力を測定するために、任意選択的に使用される。一部の実施形態では、複数の力センサの力測定値を組み合わせて（例えば、加重平均又は合計）、接触の推定力を判定する。同様に、スタイラスの感圧性先端部を任意選択的に使用して、タッチ感知面上のスタイラスの圧力を判定する。あるいは、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、タッチ感知面への接触の力又は圧力の代替物として、任意選択的に用いられる。一部の実装では、接触の力又は圧力の代替的測定値は、強度閾値を超えているか否かを判定するために直接に用いられる（例えば、強度閾値は、代替的測定値に対応する単位で記述される）。一部の実装では、接触の力又は圧力の代替的測定値は、推定力又は推定圧力に変換され、この推定力又は推定圧力を用いて、強度閾値を超えているか否かを判定する（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザ入力の属性として使用することは、アフォーダンスを（例えば、タッチ感知ディスプレイ上に）表示するため、及び／又はユーザ入力を（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的／機械的制御を介して）受信するための面積が制限された、低減されたサイズのデバイスにおいて、ユーザによるアクセスが他の場合に容易には不可能であり得る、追加のデバイス機能へのユーザのアクセスを可能にする。
ユーザインタフェース及び関連プロセス
ここで、ディスプレイ、タッチ感知面及びタッチ感知面を用いて接触の強度を検出する１つ以上のセンサを備えるポータブル多機能デバイス１００又はデバイス３００などの電子デバイスに実施され得るユーザインタフェース（「ＵＩ」）及び関連プロセスに注意を向ける。
図５Ａ〜図５ＡＯは、一部の実施形態に係る、文書編集環境でのスケッチ及び手書きサポートを提供するための例示的なユーザインタフェースを図示している。図５ＡＰ〜図５ＡＲは、一部の実施形態に係る、文書編集環境でのスケッチ及び手書きサポートを提供するための例示的なユーザインタフェース及びそれに対応するデバイスの回転状態を図示している。これらの図の例示的なユーザインタフェースを使用して、図６Ａ〜図６Ｇ、図７Ａ〜図７Ｂ、図８Ａ〜図８Ｃ及び図９Ａ〜図９Ｂのプロセスを含む以下に説明するプロセスを図示している。以下の実施例のうちのいくつかは、（タッチ感知面とディスプレイとを組合せた）タッチスクリーンディスプレイ上での入力を参照して説明されるが、一部の実施形態では、デバイスは、図４Ｂに示すように、ディスプレイ４５０とは別個のタッチ感知面４５１上で入力を検出する。
図５Ａは、ポータブル電子デバイス（例えば、デバイス１００、図１Ａ）用のスケッチ及び手書き入力機能を提供するアプリケーション（例えば、メモアプリケーション、スケッチアプリケーション、ワードプロセッシングアプリケーション、スクラップブッキングアプリケーションなど）のユーザインタフェース５００を図示している。一部の実施形態では、スケッチ及び手書き入力機能が、キーボード入力機能（例えば、仮想キーボード若しくはハードウェアキーボード又はその両方を介した文字入力）とともに提供される。
図５Ａに示すように、一部の実施形態では、ユーザインタフェース５００は、アプリケーションで編集されている文書の少なくとも一部を表示する文書領域（例えば、メモページ５０２）を含んでいる。文書領域はコンテンツ提示エリアとも称される。一部の実施形態では、文書領域（例えば、メモページ５０２）内に表示される文書の一部を、マルチページビュー、フルページビュー、全幅ビュー、ズームビュー、アウトラインビュー、及びウェブページビューなどのいくつかの適当なビューのうちの１つの中に示す。図５Ａでは、文書は全幅ビューで提示されている。一部の実施形態では、文書に関連付けられたメタデータ（例えば、タイトル、作成日、作者など）が、ユーザインタフェース内の文書（例えば、文書領域の上の）とともに任意選択的に表示される。
一部の実施形態では、アプリケーションは、タイプされた入力を受信するように構成されており、受信したタイプされた入力を、文書領域（例えば、メモページ５０２）内に表示された文書の部分内に表示する。図５Ａに示すように、仮想キーボード５０４がユーザインタフェース５００内に表示される（例えば、メモページ５０２の下部上に重ね合わされる）。タッチ入力（例えば、タップジェスチャ）が仮想キーボード５０４の１つ以上のキー上で検出されると、タッチされたキーに対応する文字が文書内の所定の場所（例えば、挿入カーソル５０６によって示された場所）に挿入される。
一部の実施形態では、ガイドライン５０８（例えば、均一に離間配置された水平線）は、文書内のテキスト入力の行間隔及び書き方向を視覚的に示すために文書領域内（例えば、メモページ５０２上）に任意選択的に表示される。
一部の実施形態では、挿入カーソル５０６は、ディスプレイ上のフォーカスセレクタの現在の場所に従って（例えば、タッチスクリーン１１２上のタップ入力の接触場所に従って）、かつ／又はフォーカスセレクタの移動に従って（例えば、文書領域内のある場所から別の場所まで挿入カーソル５０６をつかんでドラッグするドラッグジェスチャに従って）文書領域内に再配置される。一部の実施形態では、挿入カーソル５０６は、挿入カーソル５０６が文書領域内を移動すると、ガイドライン５０８によって予め定められた既定の許可された挿入位置及び既定の文字間隔までスナップされる。一部の実施形態では、挿入カーソル５０６は任意選択的に、ディスプレイ上のフォーカスセレクタの現在の場所に従って（例えば、タッチスクリーン１１２上のタップジェスチャの接触場所に従って）、かつ／又はフォーカスセレクタの移動に従って（例えば、文書領域内のある場所から別の場所まで挿入カーソル５０６をつかんでドラッグするドラッグジェスチャに従って）文書領域内のどこの位置にも（例えば、ガイドラインをわたって）配置される。
一部の実施形態では、デフォルトのガイドライン（例えば、ガイドライン５０８）が文書領域内に提供されておらず、文書領域内の新規の行の垂直位置は、挿入カーソル５０６が、例えば、タップジェスチャ又はドラッグアンドドロップジェスチャのいずれかによって文書領域内の新規の垂直位置に移動すると、挿入カーソル５０６の位置に基づいて任意選択的に規定される。一部の実施形態では、新規の行の垂直位置が挿入カーソル５０６の位置に基づいて規定された後、次の行の垂直位置は、新規の行の垂直位置及び文書に使用される通常の行間隔に基づいて規定される。新規の行の文字（例えば、キャリッジリターン）が仮想キーボード５０４を介して受信されると、挿入カーソル５０６は規定されたとおり、次の行に移動する。
図５Ａは、いくつかのタイプされたテキスト（例えば、連続した４行のタイプされた文字）が仮想キーボード５０４を介して文書領域内に入力されており、挿入カーソル５０６が現在テキスト入力の末端に位置していることを図示している。
図５Ｂは、一部の実施形態において、文書領域内での直接的なスケッチ及び手書きがサポートされていることを図示している。図５Ｂに示すように、一部の実施形態では、スケッチ入力は、文書ページのフォーカスセレクタの移動によって文書ページの表示された部分上に直接描かれた（例えば、フォーカスセレクタの移動がタッチパッド又はタッチスクリーン１１２との接触の移動によって生じる）１つ以上のストロークを含む。一部の実施形態では、スケッチ及び手書き入力が文書ページの任意の場所に受け付けられ、予め定められた許可された挿入場所（例えば、ガイドライン５０８の間）にスナップされる必要はない。例えば、図５Ｂでは、手書き文字５１０（例えば、「Ｔｈｅ Ｅｎｄ」）は、それぞれのガイドラインにわたって書かれている。一部の実施形態では、スケッチ及び手書き入力は、（例えば、スケッチ５１２及び下線５１４によって図示するように）前にもってタイプされた１つ以上の文字によって現在占有された場所に受け付けられる。一部の実施形態では、スケッチ（例えば、スケッチ５１２及び下線５１４）は文書領域内において１つ以上のタイプされた文字（例えば、タイプされた文字「ｃｕｒｓｉｖｅ（筆記体の）」）に対して十分に近くにある場合、このスケッチはタイプされた文字（例えば、タイプされた文字「ｃｕｒｓｉｖｅ」）と、ユニットとして操作され得る（例えば、ドラッグされる、リフローされる（re-flown）、削除されるなど）オブジェクトにグループ化される。
図５Ｃは、一部の実施形態において、挿入カーソル５０６が接触（例えば、タッチスクリーン１１２又はタッチパッドへのスタイラス又は指の接触）によって、メモページ５０２内の第１の場所（例えば、場所５１６ａ）から第２の場所（例えば、場所５１６ｂ）までドラッグされることを図示している。一部の実施形態では、挿入カーソル５０６は、タッチスクリーン１１２への接触のリフトオフ場所（例えば、場所５１６ｂ）に最も近い許可された挿入場所に（又は、ディスプレイに連結されたタッチ感知面への接触のリフトオフ場所の対応するスクリーン上の場所に）スナップされる。
図５Ｄ〜図５Ｅは、一部の実施形態において、ユーザインタフェース５００上に表示された対応するアフォーダンスを呼び出すことによって（例えば、スケッチ／手書き入力モード用のボタン５１７を選択することによって）、スケッチ／手書き入力モードが任意選択的に選択されることを図示している。一部の実施形態では、スケッチ／手書き入力エリア（例えば、スケッチ／手書き入力エリア５１８）が（例えば、仮想キーボード５０４を置き換えて）ユーザインタフェース５００内に表示される。一部の実施形態では，スケッチ／手書き入力エリア５１８は、スケッチ及び手書きストローク（例えば、スケッチ／手書き入力エリア５１８内での１つ以上の接触の移動によって規定されるストローク）を受け付けて、それらをスケッチ／手書き入力エリア５１８内に表示されるように構成されている。一部の実施形態では、挿入位置インジケータ（例えば、挿入位置インジケータ５２０）は、表示された文書ページ（例えば、メモページ５０２）上に重ね合わされる。挿入位置インジケータは、スケッチ／手書き入力エリア５１８内で受け付けられたスケッチ／手書き入力が表示された文書ページ内に挿入されることになる場所を示す。例えば、一部の実施形態では、スケッチ／手書き入力エリア５１８内に示されるスペースは、挿入位置インジケータ５２０内に囲まれたスペースのズームされたバージョンである。
図５Ｅ〜図５Ｆは、一部の実施形態において、挿入位置インジケータ５２０が（例えば、挿入位置インジケータ５２０上のタッチスクリーン１１２へのスタイラス又は指の接触によって）、表示された文書ページ内のある場所（例えば、タイプされたテキスト「Ｓｅｃｏｎｄ ｅｘａｍｐｌｅ：」の隣の場所５２２ａ）から別の場所（例えば、タイプされたテキスト「Ｆｉｒｓｔ ｅｘａｍｐｌｅ：」の隣の場所５２２ｂ）にドラッグされることを図示している。一部の実施形態では、挿入位置インジケータ５２０は、ドラッグジェスチャの接触の移動に従って文書ページ内のどこの位置にも配置することができ、２本の隣接するガイドライン（例えば、ガイドライン５０８）の間に配置される必要はない。
図５Ｇ〜図５Ｈは、一部の実施形態において、スケッチ／手書き入力エリア５１８に向けられたピンチジェスチャ（例えば、スケッチ／手書き入力エリア５１８内で互いに向かって移動する２つの接触５２４及び５２６）の検出に応じて、挿入位置インジケータ５２０は表示された文書ページのより大きな部分を囲うように拡大される。図５Ｈに示すように、ピンチジェスチャに応じて、挿入位置インジケータ５２０は、表示された文書ページ（例えば、メモページ５０２）上で３行を囲うように拡大され（例えば、３倍に拡大され）、それに応じて、挿入位置インジケータ５２０内に囲まれたスペースのズームされたバージョンがスケッチ／手書き入力エリア５１８内に表示される。
図５Ｉ〜図５Ｊは、一部の実施形態において、スケッチ／手書き入力エリア５１８に向けられた逆ピンチジェスチャ（例えば、スケッチ／手書き入力エリア５１８内で互いから離れて移動する２つの接触５２８及び５３０）の検出に応じて、挿入位置インジケータ５２０は表示された文書ページ（例えば、メモページ５０２）のより小さな部分を囲うように縮小される。図５Ｊに示すように、逆ピンチジェスチャに応じて、挿入位置インジケータ５２０は、表示された文書ページ上で大まかに１行を囲うように縮小され（例えば、所定の係数、例えば、３で縮小され）、それに応じて、挿入位置インジケータ５２０内に囲まれたスペースのズームされたバージョンがスケッチ／手書き入力エリア５１８内に表示される。
一部の実施形態では、スケッチ／手書き入力エリア５１８内のジェスチャの場所は、文書ページ内で挿入位置インジケータ５２０が拡大した後又は縮小した後の、挿入位置インジケータ５２０の中心位置を決定するのに使用される。図５Ｉ〜図５Ｊにも示すように、スケッチ／手書き入力エリア５１８内における逆ピンチジェスチャの場所は、表示された文書ページ（例えば、メモページ５０２）上の挿入位置インジケータ５２０を再配置するのに使用される。
図５Ｋ〜図５Ｌは、一部の実施形態において、スケッチ／手書き入力エリア５１８のデフォルトの高さは文書内の１つの完全な行の高さ（one full line height）に対応する。したがって、スケッチ／手書き入力エリア５１８の高さ内に収まるあらゆる手書きは、文書ページ内の単一行の垂直間隔内に収まる。一部の実施形態では、手書きのテキスト入力をスケッチ入力と区別するヒューリスティックは、手書き入力のストロークのすべてが文書ページ内の単一行の高さに収まるかに基づくものである。したがって、手書きストロークが（例えば、メモページ５０２内のスタイラス又は指の接触によって）文書ページ内に直接提供されるか、あるいは手書き／スケッチ入力エリア５１８の使用を介して（例えば、手書き／スケッチ入力エリア５１８内でのスタイラス又は指の接触によって）間接的に提供されるかどうかにかかわらず、コンテンツオブジェクトを構成する一連のストロークのすべてが文書ページ内の単一行又は手書き／スケッチ入力エリア５１８の単一行の高さの中に閉じ込められている場合、一連のストロークは、スケッチ内のストロークではなく、一連の１つ以上の手書きの単語内のストロークであると判定される。換言すると、一部の実施形態では、一連の手書きストロークが１つ以上の手書きの単語を形成するかを判定するために、手書き認識を実行する必要はない。更に、一部の実施形態では、手書き単語ブロックが手書きストロークに基づいて生成され、文書ページ内に提示される場合、コーパス内で単語ブロックをタイプされたテキスト又は単語に変換するために、手書き認識を実行する必要はない。
図５Ｋ〜図５Ｌは更に、手書きストロークがスケッチ／手書き入力エリア５１８内で受け付けられると、スケッチ／手書き入力エリア５１８内に囲まれたコンテンツ及びスペースが自動的に、コンテンツ提示エリアと関連付けられたデフォルトの書き方向とは反対方向にスクロールされる（例えば、デフォルトの書き方向が左から右に水平に行くと、コンテンツ及びスペースが右から左に水平に移動する）ことを図示している。一部の実施形態では、スケッチ／手書き入力エリア５１８内の自動スクロールは、手書き入力中に時間的なブレイク（例えば、少なくとも閾値時間、例えば、３０ｍｓの接触の休止又はリフトオフ）が検出された時に発生する。一部の実施形態では、スケッチ／手書き入力エリア５１８内の自動スクロールは、現在の手書き入力の境界（例えば、時間的又は空間的なブレイクまでの入力）がスクロール閾値マーク（例えば、スクロール境界インジケータ５３２）を横切った（又はその閾値距離内にある）時に発生する。一部の実施形態では、スケッチ／手書き入力エリア５１８内の自動スクロールは、時間的なブレイクとスクロール閾値マーク（例えば、スクロール境界インジケータ５３２）の横切りの両方が検出された時に発生する。一部の実施形態では、スクロール境界インジケータ５３２はスケッチ／手書き入力エリア５１８の中心に配置される。一部の実施形態では、挿入位置インジケータ５２０の右縁部が文書ページの右縁部に達する場合、自動スクロールは、手書き入力がスケッチ／手書き入力エリア５１８の右側部分をいっぱいにするまで一時的に中断される。その後、全スケッチ／手書き入力エリア５１８は、次の行の始まりを示すようにリフレッシュされ、それに応じて、挿入位置インジケータ５２０も文書ページ内の次の行の始まりまで移動する。
図５Ｌに示すように、一部の実施形態においては、スケッチ／手書き入力エリア５１８内のコンテンツ及びスペースは、スケッチ／手書き入力エリア５１８内に検出された継続した文書作成に応じて自動的にスクロールされるとき、挿入位置インジケータ５２０は、スケッチ／手書き入力エリア５１８内で発生しているスクロールに従って文書ページ内で書き方向（例えば、左から右に）に前進する。
図５Ｌに示すように、一部の実施形態では、スケッチ／手書き入力エリア５１８内に受信された手書きストロークは、例えば、互いの時間的近接性及び／又は空間的近接性に従って１つ以上の単語ブロックにグループ化される。一部の実施形態では、識別された単語ブロックのサイズ、間隔、向き及び／又は位置調整は、それらが文書ページ内で提示される前に調整される。例えば、図５Ｌに示すように、スケッチ／手書き入力エリア５１８内において、単語ブロック「ｃａｋｅ（ケーキ）」は横書き方向に対して上向きに傾斜しているが、単語ブロック「ｅｖｅｒ！（これまでで！）」は、横書き方向に対してわずかに下向きに傾斜している。手書き単語ブロック「ｃａｋｅ」及び「ｅｖｅｒ！」が文書ページ（例えば、メモページ５０２）内に提示されるとき、それらの向きはわずかに調整され、両方の単語ブロックが横書き方向に（例えば、水平に）整列されるようになる。
それに加えて、図５Ｌに示すように、「ｃａｋｅ」及び「ｅｖｅｒ！」の単語ブロック間の間隔も調整され、手書き単語ブロック間の間隔は、文書ページ内のタイプされた単語間の通常の単語間隔に一致する（例えば、等しくなる）ようになる。
図５Ｌに示すように、手書き単語ブロック（例えば、「ｃａｋｅ」及び「ｅｖｅｒ！」）のサイズは、隣接のタイプされたテキストのフォントサイズに従って任意選択的に調整されて（例えば、拡大又は縮小されて）、手書き単語ブロック及びタイプされたテキストが文書ページ内の同一行内に提示されるようになり、それらは概ね同一サイズになるようになる。
更に、図５Ｌに示すように、単語ブロックが文書ページ内に提示されるとき、手書き単語ブロックの縦揃えが任意選択的に調整されて、手書き単語ブロックは、同一行内のタイプされたテキストと同一の位置調整設定に従うことになる。本例では、手書きの単語がスケッチ／手書き入力エリア５１８内で概ね中心に縦揃えしていても、手書き単語ブロックが文書ページ内に提示されるときには、手書き単語ブロックの縦揃えが下揃えに変更されるのは、同一行内のタイプされたテキストが文書ページ内で下揃えされているからである。
図５Ｍ〜図５Ｎは、一部の実施形態において、スケッチ／手書き入力エリア５１８内での継続した文書作成に応じた自動スクロールに加えて、スケッチ／手書き入力エリア５１８内のスペース及び／又はコンテンツが様々な所定のスクロール入力に応じて書き方向に沿って手動でスクロール可能であることも図示している。
一部の実施形態では、スクロールバーが任意選択的に、スケッチ／手書き入力エリア５１８内に提示され（図５Ｍでは図示せず）、スケッチ／手書き入力エリア５１８内のスペース及び／又はコンテンツは、スクロールバー内の位置インジケータの手動移動に応じて書き方向に沿って前後にスクロールされる。
一部の実施形態では、図５Ｍに示すように、スクロールバーはスケッチ／手書き入力エリア５１８を提示されず、所定のスクロール入力は、少なくとも部分的にスケッチ／手書き入力エリア５１８内で検出されたスワイプジェスチャ（例えば、スケッチ／手書き入力エリア５１８内で書き方向に実質的に沿って前方又は後方に同時に移動する１つ以上の接触に基づいて検出されたスワイプジェスチャ）である。
一部の実施形態では、スクロールのスワイプジェスチャ（例えば、スケッチ／手書き入力エリア５１８内でコンテンツをドラッグする接触の移動）と手書き入力のスワイプジェスチャ（例えば、水平ストロークを描く接触の移動）とを区別するために、２つの同時接触が同期して移動するスワイプジェスチャがスクロールのために使用され、単一の接触を有するスワイプジェスチャが手書きストロークを描くために使用される。一部の実施形態では、スクロール入力と手書き入力とを区別する別の方法が使用される。例えば、移動する接触がタッチスクリーン１１２上の別の静止した接触を伴う場合、接触の移動はスクロール入力と解釈され、さもなければ、接触の移動はストロークを描くための手書き入力と解釈される。
一部の実施形態では、接触の移動がユーザインタフェース５００内の所定の領域から開始（又はそこで終了）する（例えば、スクロール境界インジケータ５３４の右側から開始（又はそこで終了する））場合、接触の移動はスクロール入力と解釈され、さもなければ、接触の移動はストロークを描くための手書き入力と解釈される。図５Ｍに示すように、スケッチ／手書き入力エリア５１８内の単一の接触によるスワイプジェスチャ（例えば、スワイプジェスチャ５３６）は、スクロール境界インジケータ５３４の右側の場所から開始し、右から左に移動する（例えば、コンテンツ提示エリアに関連付けられた書き方向の反対方向である逆書き方向のスワイプ）。スワイプジェスチャ５３６の検出に応じて、スケッチ／手書き入力エリア５１８内のコンテンツ及びスペースは、逆書き方向にスクロールされる（例えば、右から左にスクロールされる）。スケッチ／手書き入力エリア５１８内のコンテンツ及びスペースのスクロールに従って、挿入位置インジケータ５２０は、スケッチ／手書き入力エリア５１８内に発生しているスクロールと同期して書き方向に移動する。
図５Ｎ〜図５Ｏは、一部の実施形態において、（例えば、図５Ｎに示すように、スワイプジェスチャ５３８に応じた）スケッチ／手書き入力エリア５１８内における逆書き方向のコンテンツの継続したスクロールにより、挿入位置インジケータ５２０は文書ページ内の現在の行の末端に到達し（例えば、図５Ｎに示すように、文書ページの右縁部５４０がスケッチ／手書き入力エリア５１８内のスクロール境界インジケータ５３４を通過している）、（図５Ｏに示すように）自動的に次の行の始まりに移動することを図示している。
図５Ｎに示すように、スワイプジェスチャ５３８（例えば、逆書き方向のスワイプジェスチャ）に応じて、スケッチ／手書き入力エリア５１８内のコンテンツ及びスペースは、逆書き方向にスクロールされる（例えば、右から左にスクロールされる）。スケッチ／手書き入力エリア５１８内のコンテンツ及びスペースのスクロールに従って、挿入位置インジケータ５２０は、スケッチ／手書き入力エリア５１８内に発生しているスクロールと同期して書き方向に移動する。
図５Ｐに示すように、スクロール境界インジケータ５３４の右側から開始する逆書き方向の別のスワイプジェスチャ（例えば、スワイプジェスチャ５４２）により、スケッチ／手書き入力エリア５１８内のスペース及びコンテンツは更に逆書き方向にスクロールする。それに応じて、挿入位置インジケータ５２０は、スケッチ／手書き入力エリア５１８内に発生しているスクロールと同期して書き方向に移動する。
一部の実施形態では、スクロール境界インジケータ５３４の右側で終了する書き方向のスワイプジェスチャにより、スケッチ／手書き入力エリア５１８内のスペース及びコンテンツは書き方向に移動することになる。それに応じて、挿入位置インジケータ５２０は、スケッチ／手書き入力エリア５１８内に発生しているスクロールと同期して逆書き方向に移動する。例えば、書き方向のスワイプジェスチャが、図５Ｏに示すスケッチ／手書き入力エリア５１８内で受信され、そのスワイプジェスチャがスクロール境界インジケータ５３４の右側で終了した場合、スケッチ／手書き入力エリア５１８内のコンテンツは、右にスクロールされ、挿入位置インジケータ５２０は文書ページの現在の行の始まりまで左に移動し、その後、現在の行の上の行の末端まで移動する。スクロール境界インジケータ５３４の右側で終了する書き方向の別のスワイプジェスチャにより、スケッチ／手書き入力エリア５１８内のスペース及びコンテンツが更に書き方向にスクロールすることになる。それに応じて、挿入位置インジケータ５２０は、スケッチ／手書き入力エリア５１８内に発生しているスクロールと同期して逆書き方向に移動するであろう。
一部の実施形態では、（例えば、スケッチ／手書き入力エリア５１８の右縁部の近くに位置付けられた）スクロール境界インジケータ５３４の右側で終了するスワイプジェスチャを、挿入位置インジケータを逆書き方向に移動させるスクロール入力として解釈する代わりに、あるいはそうすることに加えて、ミラースクロール境界インジケータが、スケッチ／手書き入力エリア５１８の左縁部の近くに配置されてもよく、ミラースクロール境界インジケータの左側で終了するスワイプジェスチャは、挿入位置インジケータを書き方向（例えば、左から右に、また文書ページの下に）に移動させるスクロール入力として解釈されることになる。それに応じて、ミラースクロール境界インジケータの左側で開始するスワイプジェスチャは、挿入位置インジケータを逆書き方向（例えば、右から左に、また文書ページの上に）に移動させるスクロール入力として解釈されることになる。
図５Ｑは、挿入位置インジケータ５２０が次の行で、占有されていないスペースを有する位置まで移動した後、ユーザはスケッチ／手書き入力エリア５１８内により多くの手書き入力（例えば、手書きの単語「Ｂｅｓｔ Ｃａｒｅ Ｅｖｅｒ！」）を提供でき、手書き単語ブロック（「Ｂｅｓｔ」「ｃａｋｅ」及び／又は「Ｅｖｅｒ！」）を文書ページ内（例えば、タイプされたテキスト「Ｓｅｃｏｎｄ ｅｘａｍｐｌｅ：」の後に）に提示し、それに応じて、挿入位置インジケータ５２０を書き方向に移動させることができる。
図５Ｒ〜図５Ｓは、（例えば、図５Ｒのテキスト入力ボタン５４４の選択に応じて）デバイスがキーボード入力モードに入っていることを図示している。デバイスがキーボード入力モードに入っている場合、図５Ｓに示すように、挿入カーソル５０６が表示され、最後の入力の末端（例えば、手書き単語ブロック「ｅｖｅｒ！」の後）に位置付けられる。
図５Ｓ〜図５Ｔは、ユーザは（例えば、所望の選択場所で選択ルーペを起動させる長押しを介して、それに続いて選択を拡張するための接触の移動を介して）タイプされたテキスト５４６（例えば、「Ｔｈｉｒｄ ｅｘａｍｐｌｅ：」）を選択し、選択中のタイプされたテキスト５４６を、文書ページ（例えば、メモページ５０２）上のある場所から別の場所まで（例えば、その選択の上の別の押し入力を介して、それに続いてドラッグするように接触の移動を介して）ドラッグすることができることを図示している。一部の実施形態では、図５Ｔに示すように、選択されたテキストは、数行にわたって下方に（例えば、縦書き方向に）ドラッグされる。一部の実施形態では、選択されたオブジェクト（例えば、タイプされたテキスト、手書き単語ブロック（単数又は複数）、又はスケッチ）を第１の場所から第２の場所へドラッグすることにより、第２の場所で選択されたオブジェクトを収容するための第２の場所と他のオブジェクト又はテキストとの間に占有されていないスペースが十分にある限り、第２の場所の下方に他のオブジェクト又はテキストを押し動かすことはない。例えば、図５Ｔに示すように、手書きのテキスト５１０は、タイプされたテキスト５４６の移動により、押し動かされたり、リフローされたりしない。一部の実施形態では、選択されたオブジェクトを垂直方向（例えば、横書き方向に垂直な方向）にドラッグすることにより、選択されたオブジェクトの動きのみトリガーとされ、テキストのリフローはトリガーされないことをデバイスに信号で伝える。一部の実施形態では、ドラッグ入力の初期部分が垂直移動成分を含む限り、コンテンツ移動基準は満たされ、コンテンツのリフローはドラッグ入力に対して無効にされる。
図５Ｕは、ユーザが（例えば、所望の選択場所で選択ルーペを起動させる長押しを介して、それに続いて、その選択を拡張するための接触の移動を介して）タイプされたテキスト５４８（例えば、「Ｓｅｃｏｎｄ ｅｘａｍｐｌｅ：」）を選択していることを図示している。
図５Ｖ〜図５Ｚは、ユーザが選択中のタイプされたテキスト５４８を書き方向に水平にドラッグしており、選択中のタイプされたテキスト５４８並びに、選択中のタイプされたテキスト５４８に続く手書き単語ブロックを書き方向に水平に押し動かし、次の行にリフローしているプロセスを図示している。
図５Ｖに示すように、選択中のタイプされたテキスト５４８は（その「選択」状態を示すように）強調表示されている間、ドラッグジェスチャ（例えば、ドラッグジェスチャ５５２）が（例えば、選択中のタイプされたテキスト５４８上の接触を介して、それに続いて接触の書き方向に水平な移動を介して）選択中のタイプされたテキスト５４８上に検出される。書き方向へのドラッグジェスチャに応じて、選択中のタイプされたテキスト５４８はドラッグジェスチャ５５２の接触の移動に従って書き方向に移動する。図５Ｖは、選択中のタイプされたテキスト５４８と、選択中のタイプされたテキスト５４８に続く手書き単語ブロック５５０との間の占有されていないスペースが、選択中のタイプされたテキスト５４８の移動により、縮小されることを示す。
図５Ｗでは、選択中のタイプされたテキスト５４８が更に書き方向に沿ってドラッグされると、手書き単語ブロック５５０も、更に書き方向に沿って押し動かされる（また、選択中のタイプされたテキスト５４８と手書き単語ブロック５５０との間に占有されていないスペースはもうない）。
図５Ｘでは、選択中のタイプされたテキスト５４８が更に書き方向に沿ってドラッグされ、現在の行内の残りのスペースが手書き単語ブロック５５０の全体をもう収容できなくなると、手書き単語ブロック５５０は、部分（例えば、「ｃａｋｅ」及び「ｅｖｅｒ！」）が次の行内に押し動かされた状態で折り返される。
図５Ｙでは、選択中のタイプされたテキスト５４８が更に書き方向に沿ってドラッグされ、現在の行内の残りのスペースが選択中のタイプされたテキスト５４８の全体をもう収容できなくなると、選択中のタイプされたテキスト５４８は、部分（例えば、「ｅｃｏｎｄ ｅｘａｍｐｌｅ」）が次の行内に押し動かされた状態で折り返され、手書き単語ブロック５５０はもはや完全に次の行内に押し動かされている。
図５Ｚは、ドラッグジェスチャ５５２全体の間、接触が上の行内に残っていたとしても（例えば、接触の垂直移動は実質的になく）、ドラッグジェスチャ５５２の最後には、選択中のタイプされたテキスト５４８及び手書き単語ブロック５５０の両方が次の行に配置されていることを示す。それに加えて、ドラッグジェスチャ中、及びドラッグジェスチャの最後では、タイプされたテキスト５４８及び手書き単語ブロックの相対的な順序が維持されている。一部の実施形態では、手書き単語ブロック５５０の後に配置された挿入カーソル５０６もドラッグジェスチャ中に手書き単語ブロック５５０とともに押し動かされる。
一部の実施形態では、ドラッグジェスチャが継続するが、移動方向を逆転させる（例えば、接触が選択中のタイプされたテキスト５４８上に維持されたまま、接触が右から左に水平に移動する）場合、タイプされたテキスト５４８及び手書き単語ブロックの移動及びリフローは、ドラッグジェスチャが終わるまでに方向が逆転する。
図５ＡＡは、ユーザが（例えば、所望の選択場所で選択ルーペを起動させる長押しを介して）手書き単語ブロック５５４（例えば、「Ｂｅｓｔ」）を選択していることを図示している。図５ＡＢ〜図５ＡＣはユーザが選択中の手書き単語ブロック５５４（例えば、「Ｂｅｓｔ」）を書き方向に水平に（例えば、ドラッグジェスチャ５５５を用いて）ドラッグしており、選択中の単語ブロック５５４（例えば、「Ｂｅｓｔ」）に続く手書き単語ブロック（例えば、「ｃａｋｅ ｅｖｅｒ！」）が書き方向に水平に押し動かされ、次の行内にリフローされているプロセスを図示している。図５ＡＣでは、手書き単語ブロック５５４（例えば、「Ｂｅｓｔ」）が継続して書き方向に水平にドラッグされ、手書き単語ブロック（例えば、選択された単語ブロック５５４（例えば、「Ｂｅｓｔ」）に続く「ｃａｋｅ ｅｖｅｒ！」）を更に書き方向に沿って押し動かす。
図５ＡＤは、ドラッグジェスチャ（例えば、ドラッグジェスチャ５５５）がその方向を逆転し、手書き単語ブロック５５４（例えば、「Ｂｅｓｔ」）を逆書き方向に水平にドラッグするとき、手書き単語ブロック（「ｃａｋｅ ｅｖｅｒ！」）も選択された手書き単語ブロック５５４に続き、逆書き方向に移動する。一部の実施形態では、手書き単語ブロック５５０（例えば、「Ｂｅｓｔ ｃａｋｅ ｅｖｅｒ！」）は、特性時刻での（例えば、手書き単語ブロックを作成する手書き入力の時刻での、かつ／又はドラッグ入力の時刻での）互いに対するそれらの時間的近接性及び／又は空間的近接性に基づいて、手書き単語ブロック５５０の任意の部分上でのドラッグジェスチャ中（例えば、手書き単語ブロック５５４「Ｂｅｓｔ」上でのドラッグジェスチャ中）にグループとして扱われるので、グループとしてドラッグジェスチャとともに水平に移動する。
一部の実施形態（図５ＡＤには図示せず）では、ドラッグジェスチャは、手書き単語ブロック５５０を逆手書き方向に水平に現在の行の始まりの隣の位置まで移動するとき、手書き単語ブロック５５０は部分が前の行の末端まで押し動かされた状態で折り返される。ドラッグジェスチャの接触は現在の行の始まりに到達すると、手書き単語ブロック５５０は完全に前の行の末端まで押し動かされる。一部の実施形態では、手書き単語ブロック５５０の隣に位置付けられたコンテンツ（例えば、他の手書き単語ブロック、又はタイプされた文字）が左にある場合で、手書き単語ブロック５５０が逆手書き方向に水平にドラッグされると、手書き単語ブロック５５０は任意選択的に、手書き単語ブロックに隣接して位置付けられたコンテンツも逆手書き方向に押し動かす。
図５ＡＥ〜図５ＡＦは、選択された手書き単語ブロック５５４がユニットとして削除され、手書き単語ブロック５５４の削除により、手書き単語ブロック５５０内の残りの単語ブロックが逆手書き方向にシフトすることを図示している。本例では、手書き単語ブロック５５０はグループとして扱われ、グループの開始位置は、削除部分の前の手書き単語ブロック５５４（例えば、「Ｂｅｓｔ」）を収容するのに使用され、今のところ、残りの手書き単語ブロック（例えば、「ｃａｋｅ」及び「ｅｖｅｒ！」）をグループ内に収容している。
図５ＡＦ〜図５ＡＧはメモアプリケーションの全体像モードからスケッチモードへの遷移を図示している。一部の実施形態では、全体像モードはズームされていない／拡大されていない状態（例えば、図５ＡＦに示すような全幅ビュー）で提示され、スケッチモードは、ズームされた／拡大された（例えば、図５ＡＧに示すように、より大きなサイズで文書ページの一部（例えば、ズームされた部分５５６）を示すようにズームされた）状態で提示される。
一部の実施形態では、デバイスは、所定の入力に応じて全体像モードとスケッチモードとを切り替える。例えば、全体像モードにある間に、ユーザは、表示された文書ページ上での逆ピンチジェスチャ（例えば、互いから離れて行く２つの接触）を使用して、デバイスにスケッチモードに入らせ、逆ピンチジェスチャの下の文書ページの部分をズームさせることができる。スケッチモードにある間に、ユーザは、文書ページの表示された部分上でのピンチジェスチャ（例えば、互いに向かって移動する２つの接触）を使用して、デバイスに全体像モードに入らせ、ズームされていない状態の文書ページの表示に復元させることができる。
図５ＡＧ〜図５ＡＩは、スケッチモードにおいて、ユーザが文書ページの表示された部分に直接書き込むことによって手書きのテキストを入力することができることを図示している。例えば、図５ＡＨに示すように、３つの新規の単語ブロック５５８（例えば、「Ｉ」、「ｈａｄ」及び「ｔｈｅ」）は、既存の単語ブロック「ｃａｋｅ」「ｅｖｅｒ！」（例えば、図５ＡＧに示すように、単語ブロック５５０）の前に書かれている。一部の実施形態では、新規の手書きのテキストが既存の手書きのテキストのすぐ前（例えば、その閾値距離内にある）に挿入されると、既存の手書きのテキストは、新たに入力された手書きのテキストを収容する場所を作るように更に書き方向に沿って押し動かされる。図５ＡＨ〜図５ＡＩに示すように、より多くの手書きの単語が既存の手書き単語ブロック（例えば、単語ブロック５５０）の前に書かれるにつれて、既存の手書き単語ブロック（例えば、単語ブロック５００「ｃａｋｅ」「ｅｖｅｒ！」）は継続して右に移動する。
一部の実施形態では、新たに入力された手書き単語ブロック（例えば、例えば、単語ブロック５５８「Ｉ ｈａｄ ｔｈｅ ｂｅｓｔ」）と既存の手書き単語ブロック（例えば、単語ブロック５５０「ｃａｋｅ ｅｖｅｒ！」）の空間的近接性に基づいて、新たに入力された手書き単語ブロックと既存の手書き単語ブロックが同一のグループ（例えば、単語ブロック５６０「Ｉ ｈａｄ ｔｈｅ ｂｅｓｔ ｃａｋｅ ｅｖｅｒ！（私はこれまでで一番美味しいケーキを食べた！）」）に接合され、その結果、それらを後に一体で操作することができる（例えば、移動のみのジェスチャ（例えば、垂直移動成分が文書ページの上に、若しくは下に行くドラッグジェスチャ、又は移動及びリフロージェスチャ（例えば、横書き方向若しくは逆横書き方向のドラッグジェスチャ））に応じて文書ページ上で移動し、又はリフローする）。
図５ＡＩ〜図５ＡＪは、新規の手書き単語ブロック（例えば、単語ブロック５５８）の入力が完了した後、新たに入力された手書き単語ブロックと既存の単語ブロックとの間の余分の空白が（例えば、図５ＡＪに示すように）文書ページから除去され、新たに入力された手書き単語ブロックと既存の手書き単語ブロックのグループ化が完了することを図示している。一部の実施形態では、手書きのテキスト入力が（スケッチ／手書き入力エリア５１８からではなく）文書ページから直接入力された場合、手書きのテキスト入力の行間隔、文字間隔、向き、縦揃え及び横揃えは任意選択的に、スケッチ／手書き入力エリア５１８を介して入力された手書きのテキスト入力に関して記載したものと同様の方法で元の位置に調整される。
図５ＡＪはスケッチを文書ページ上に直接描くことができることを更に図示している。一部の実施形態では、手書きのテキスト入力とスケッチとを区別するために、手書きストロークによって占有されたスペースに基づいたヒューリスティックが使用される。例えば、互いに近い、かつ／又は連続した時間的近接性及び空間的近接性に基づいて一体にグループ化された手書きストロークのすべてが、文書ページの隣接する２本のガイドラインに収まる場合、手書きストロークのグループは手書きのテキスト入力として扱われる。手書きストロークのグループが手書きのテキスト入力であると判定されると、グループ内の単語ブロックの更なる分割が任意選択的に、入力プロセス中に存在したか、又は発生した時間的ブレイク及び／又は空間的ブレイクに基づいて実行される。それに対して、互いに近い、かつ／又は連続した時間的近接性及び空間的近接性に基づいて一体にグループ化された手書きストロークのすべてが、文書ページの２本の隣接するガイドラインを越えてまたがっている場合、手書きストロークのグループはスケッチとして扱われる。文書ページ上に描かれたストロークのグループ（例えば、その上にろうそくを有するケーキの描画を形成するストローク）は、スケッチ（例えば、スケッチ５６２）として扱われるのは、ストロークのグループが、文書ページ上に隣接する２本のガイドラインを越えてまたがっているからである。一部の実施形態では、ユーザは具体的に、例えば、ラッソ（lasso）ジェスチャを用いることによって複数のストロークをスケッチにグループ化することができる。
図５ＡＪ〜図５ＡＫは、（例えば、文書ページの表示された部分上でのピンチジェスチャ（例えば、互いに向かって移動する２つの接触）に応じた）メモアプリケーションのスケッチモードから全体像モードへの遷移を図示している。
図５ＡＫ〜図５ＡＬは、タイプされたテキスト入力（例えば、新規の行の３つの文字）が、仮想キーボード５０４上のキャリッジリターンボタン（例えば、キャリッジリターン５６４）を介して文書ページ内に（例えば、タイプされたテキスト５６６「Ｔｈｉｒｄ ｅｘａｍｐｌｅ：」の前に）入力されていることを図示している。一部の実施形態では、新規の行の文字の挿入によりタイプされたテキスト入力が垂直方向へ移動しても、移動しているタイプされたテキストを収容するための、移動しているタイプされたテキストとその下の他のコンテンツとの間に占有されていないスペースが存在している限り、他のコンテンツ（例えば、手書きのテキスト及びスケッチ５１０）をタイプされたテキストの下に押し動かさない。
図５ＡＭは、文書ページ（例えば、コンテンツページ５０２）内のコンテンツ５６８（例えば、タイプされたテキスト、手書きのテキスト、スケッチ、又はそれらの２つ以上の組み合わせ）の選択を図示している。選択されたコンテンツは、図５ＡＭに示すように、その「選択された」状態を示すように強調表示されている。一部の実施形態では、コンテンツ５６８の選択は選択入力（例えば、文書ページ上の所望の場所で選択ルーペを起動させる長押し、及び文書ページ上の追加の所望のコンテンツ項目を含めるための選択ルーペの境界の手動の拡張）に応じて行われる。コンテンツ（例えば、コンテンツ５６８）が文書ページ上で選択される間、別の入力（例えば、選択されたコンテンツへの第２の長押し、又はそれぞれの深押し閾値を超える特性強度での強い押し）を受信して、選択されたコンテンツに関連付けられたメニュー（例えば、メニュー５７０）を起動させる。一部の実施形態では、メニューは、切り取り、コピー、．．．へのリンクを作成する、などのメニューオプションを含んでいる。
一部の実施形態では、図５ＡＮに示すように、「．．．へのリンクを作成する」のメニューオプションがメニュー５７０から選択されると、リンクの宛先アドレスを入力するためのウィンドウ（例えば、ウィンドウ５７２）が提示される。一部の実施形態では、宛先アドレスはウェブアドレス、ファイルシステムディレクトリ内のファイル、及び／又は文書、添付、若しくはメモアプリケーションに関連付けられた文書ページのうちの１つのアドレスである。一部の実施形態では、ユーザは、ウィンドウ５７２内の「ブラウザ」ボタンを選択することによって、可能性のある宛先文書、添付、又はメモアプリケーション若しくはデバイスファイルシステムに関連付けられた文書ページのリストを閲覧することができる。
一部の実施形態では、リンクの宛先アドレスがウィンドウ５７２内で特定されると、リンクが（そのアンカーコンテンツが選択されたコンテンツ５６８であるとして）作成される。リンクが文書ページから（例えば、ユーザが文書ページ内のコンテンツ５６８の任意の部分をタップすることによって）選択されると、デバイスは、ユーザインタフェース内の宛先アドレスに配置されるコンテンツ（例えば、ウェブページ、文書、添付、又は文書ページ）を提示する。一部の実施形態では、宛先アドレスに配置されるコンテンツのプレビューは任意追加的に、コンテンツ５６８への接触強度の初期増加に応じて提示され（ここでは、それはリンクでもあり、任意追加的に、リンクへのアンカーコンテンツとしてその状態を示すように強調表示される）、既定閾値強度を超える接触強度が引き続き増加すると、ユーザインタフェースは宛先アドレスに位置するコンテンツを提示する（例えば、当該ユーザインタフェースを、宛先アドレスに配置されたコンテンツをメインコンテンツとして示すユーザインタフェースに遷移する）。
一部の実施形態では、図５ＡＯに示すように、「コピー」のメニューオプションがメニュー５７０から選択されると、選択された／コピーされたコンテンツを含むクリップボード（例えば、ウィンドウ５７４）が提示される。一部の実施形態では、クリップボードにより、ユーザは、コンテンツを文書ページに貼り付ける前にクリップボード内のコピーされたコンテンツを操作することができる。例えば、一部の実施形態では、ユーザは、コンテンツを文書ページに貼り付ける前に、クリップボード内のコンテンツを複数回複製したり、異なる視覚効果（例えば、ｘ又はｙ次元のスケッチ、ズーム、色又はフォントの変更など）をそのコンテンツに適用したり、又はそのコンテンツを回転したりなどすることができる。
図５ＡＰ〜図５ＡＲは、一部の実施形態に係る、デバイスの回転状態（例えば、デバイスの閾値向きの第１の側に、及びデバイスの閾値向きの第２の側に）に基づいたユーザインタフェースモード（例えば、拡大スケッチモード及び拡大されていない全体像モード）の切り替えを図示している。デバイスの向きは、ディスプレイの面（例えば、タッチスクリーン１１２の面）と基準面（例えば、水平面）との間の角度で測定される。
図５ＡＰは、デバイスの向き（「デバイスの傾き状態」とも称される）の変更に応じた図５ＡＦに示す全体像モードから図５ＡＱに示すスケッチモードへの遷移を図示している。デバイスが全体像モードにある間、デバイス（例えば、ポータブル多機能デバイス１００）はディスプレイ（例えば、タッチスクリーン１１２）の面がデバイスの閾値向きの第１の側にある（例えば、デバイスの閾値向き５７６を越えて反時計回りに回転する）ように向けられ、デバイスがディスプレイ（例えば、タッチスクリーン１１２）の面がデバイスの閾値向きの第２の側にある（例えば、デバイスの閾値向き５７６を下回って時計回りに回転する）ように向きを変えられると、デバイスはスケッチモードに遷移する。
一部の実施形態では、デバイスの閾値向きがデバイスの初期の向きに基づいて動的に選択される。例えば、メモアプリケーションが最初に開始されると、メモアプリケーションはデフォルトで全体像モードとなり、デバイスの閾値向きは、デバイスの初期の向きと水平方向との（例えば、その中央にある）間になるように選択される。より具体的な例では、デバイスの初期の向きは、水平面から反時計回り方向に６０度離れている場合、デバイスの閾値向きは、水平面から反時計回り方向に３０度離れるように選択される。デバイスが時計回り方向に水平面から３０度未満離れる向きまで回転すると（例えば、デバイスが水平面上に平坦に置かれると）、デバイスは、それに応じて拡大スケッチモードに切り替える。一部の実施形態では、ユーザが、別の方法を用いて（例えば、逆ピンチジェスチャを用いて）スケッチモードに入れ、閾値向きは逆ピンチジェスチャが検出される時のデバイスの向きに基づいて動的に選択される（例えば、閾値向きはデバイスの向きを超えるか、又はそれを下回る所定の角度になるように選択される）。
図５ＡＱ及び図５ＡＲの上部は、ディスプレイ（例えば、タッチスクリーン１１２）の面はデバイスの閾値向きの第２の側にある（例えば、デバイスの閾値向き５７６を下回って時計回りに回転している）間、デバイスは、スケッチモードのままであり、タッチスクリーン上に表示された文書ページのズームされた部分上でスケッチ又は手書きのテキスト入力を直接受け付ける。
図５ＡＲは、デバイスの向きの変更に応じた図５ＡＪに示すスケッチモードから図５ＡＫに示す全体像モードへの遷移を図示している。デバイスがスケッチモードにある間、デバイス（例えば、ポータブル多機能デバイス１００）は、ディスプレイ（例えば、タッチスクリーン１１２）の面がデバイスの閾値向きの第２の側になるように向けられ（例えば、デバイスの閾値向き５７６を下回って時計回りに回転し）、デバイスは、ディスプレイ（例えば、タッチスクリーン１１２）の面がデバイスの閾値向きの第１の側になるように向きが変えられる（例えば、デバイスの閾値向き５７６を越えて反時計回りに回転する）と、デバイスは全体像モードに遷移する。例えば、ユーザがいくつかの手書き入力をスケッチモードで入力した後、ユーザは、文書ページ全体を全体像モードで見えるようにデバイスを持ち上げることができ、コンテンツのレイアウトが満足いくものかを判定することができる。
一部の実施形態では、全体像モードに関連付けられた第１の傾き状態とスケッチモードに関連付けられた第２の傾き状態とを分離するための閾値として単一の閾値向きを使用する代わりに、２つの閾値向きを使用して、スケッチモードに関連付けられた角度範囲を規定することができ、その角度範囲内のデバイスの傾き状態はスケッチモードに関連付けられ、デバイスをその角度範囲外に回転すると、全体像モードに入る。
図６Ａ〜図６Ｉは、一部の実施形態に係る、コンテンツページ内に手書きコンテンツを表示する方法６００を図示するフローチャートである。方法６００は、ディスプレイと、タッチ感知面とを有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）にて実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面はディスプレイ上、又はそれに統合されている。一部の実施形態では、ディスプレイはタッチ感知面から物理的に分離している。方法６００のいくつかの動作は任意選択的に組み合わされ、かつ／又はいくつかの動作の順序は任意選択的に変更される。
タイプされたテキスト、手書きのテキスト、及び手で描かれたスケッチは、メモページ上の異なる３つのタイプのコンテンツである。一部の実施形態では、手書きストロークを手書き単語ブロック又は手で描かれたスケッチにグループ化することによって、手書きコンテンツを２つの異なる方法で扱うことができる。一部の実施形態では、手書き単語ブロックは、よりタイプされた文字のように振る舞い、タイプされた文字と同じように挿入、移動、削除、テキストの折り返し、新規の行などのテキスト編集コマンドに応答する。それに対して、手で描かれたスケッチは、キャンバス上に配置されたオブジェクトのようにより振る舞い、インライン、テキスト内に収められた、又はアンカーされた、などの異なる方法でテキストと配列することができる。手書き入力は認識される必要はなく（例えば、手書き認識は実行される必要はなく）、また、コンテンツページ内に提示される場合、タイプされた単語又は文字に変換される必要はない。
一部の実施形態では、デバイスは、入力エリア（例えば、入力エリアはメモページ（例えば、メモページ５０２）の直接上のエリア、又はメモページとは別個のスケッチ／手書き入力エリア（例えば、図５Ｅのスケッチ／手書き入力エリア５１８）、又はメモページ上の領域のズームビュー（例えば、図５ＡＧのズームビュー５５６）とすることができる）で複数の手書きストロークを受信する（６０２）。
複数の手書きストロークの受信に応じて、デバイスは、手書きのテキスト入力とスケッチ入力とを区別する所定の基準に従って複数の手書きストロークがテキスト入力か、それともスケッチかを判定する（６０４）。例えば、一部の実施形態では、手書きのテキスト入力とスケッチ入力とを区別する基準は、複数のストロークが隣接する２本の文書作成ガイドラインに収まるかに基づくものである。手書き認識を、その入力がテキストであることを判定するのに実行する必要はない。一部の実施形態では、ストロークの時間的かつ空間的関係（例えば、時間的かつ空間的近接性及び間隙）が、入力ストロークがテキストか、それともスケッチかを判定するのに使用される。一部の実施形態では、ユーザは、第１のストロークを書く前に手書きのテキスト入力モード対スケッチ入力モードのトリガーとなる特別な何かをする必要はない。テキスト入力及びスケッチのストロークは任意選択的に、同一の入力エリア（例えば、メモページ５０２、スケッチ／手書き入力エリア５１８又はズームビューｏ５５６）に与えられる。
複数の手書きストロークがテキスト入力であるとの判定に従って、デバイスは、複数の手書きストロークに基づいて１つ以上の手書き単語ブロック（例えば、図５Ｌの単語ブロック「Ｂｅｓｔ」、「ｃａｋｅ」及び「ｅｖｅｒ！」）を生成し、第１の所定のレイアウト基準に従ってこの１つ以上の手書き単語ブロックをコンテンツ提示エリア（例えば、図５Ｌのメモページ５０２）内に位置付ける（６０６）。例えば、第１の所定のレイアウト基準は、手書きのテキストをメモページ上にレイアウトするための（例えば、手書き単語ブロック間の特定の単語間隔を設定する、ガイドライン間に等しく収めるように単語ブロックを整理する、既に適用された自動インデント又は箇条書きリストを追加する等のための）基準を含む。一部の実施形態では、手書き単語ブロックは、メモページ上の文字のように扱われ、タイプされた文字に課せられた同一の間隔要件及び位置調整要件を遵守する。
複数の手書きストロークはスケッチであるとの判定に従って、デバイスは、複数の手書きストロークに基づいて、スケッチコンテンツオブジェクト（例えば、図５Ｂのスケッチ５１２、又は図５ＡＪのスケッチ５６２）を生成し、第１の所定のレイアウト基準とは異なる第２の所定のレイアウト基準に従って、そのスケッチコンテンツオブジェクトをコンテンツ提示エリア内に位置付ける（６０８）。例えば、第２のレイアウト基準としては、スケッチ完成後に、スケッチをクロップかつ／若しくはサイズ変更する、スケッチをコンテンツページ上の近くのコンテンツに近づける、スケッチを作成された場所に保つ、かつ／又は、手書きのテキストとタイプされたテキストとの間の重なり合いを許可せずに、スケッチとタイプされたテキストとの間の重なり合いを可能にするための基準などが挙げられる。
一部の実施形態では、１つ以上の手書き単語ブロックをコンテンツ提示エリア内に位置付けた後、デバイスは、１つ以上のタイプされた文字をコンテンツ提示エリア内に挿入するためのタイプされた入力を受信する（８１０）。タイプされた入力の受信に応じて、デバイスは、コンテンツ提示エリア内の１つ以上のタイプされた文字によって占有される第１の領域（例えば、第１の領域は、カーソル、例えば、カーソル５０６の場所に基づいて判定され得る）、及び１つ以上の手書き単語ブロックによって現在占有されている第２の領域が、第１のレイアウト更新基準を満たすかを判定する。例えば、一部の実施形態では、第１のレイアウト更新基準は、１つ以上のタイプされた文字が１つ以上の手書き単語ブロックの前の隣接する（例えば、１つ以上の手書き単語ブロックによって占有され、かつそれから閾値距離内にある同一行（単数又は複数）内の）位置に挿入されるときに満たされ、通常のテキストレイアウト基準及び手書きのテキスト入力用の第１の所定のレイアウト基準が遵守されるとき、挿入カーソルの場所と１つ以上の手書き単語ブロックの始まりとの間の占有されていないスペースがタイプされた文字のすべてを収容できるほど十分な大きさではない通常のテキストレイアウト基準及び手書きのテキスト入力用の第１の所定のレイアウト基準が遵守されるとき、挿入カーソルの場所と１つ以上の手書き単語ブロックの始まりとの間の占有されていないスペースがタイプされた文字のすべてを収容できるほど十分な大きさではないという基準を含む。第１の領域及び第２の領域が第１のレイアウト更新基準を満たすとの判定に従って、デバイスは、１つ以上のタイプされた文字を収容するために、１つ以上の手書き単語ブロックを、コンテンツ提示エリアに関連付けられた書き方向にシフトする（例えば、第１の所定のレイアウト基準を遵守しつつ、１つ以上の手書き単語ブロックを、１つ以上の単語ブロックによって占有されている現在の行に沿って書き方向に（例えば、左から右に）シフトする）。
一部の実施形態では、１つ以上の手書き単語ブロックを、コンテンツ提示エリアに関連付けられた書き方向にそれぞれの量だけシフトした後（例えば、単語ブロックを現在の行内を左から右にシフトした後、手書き単語ブロックがもはや完全には現在の行で収容できないとき）、デバイスは、１つ以上の手書き単語ブロックのうち少なくとも１つをコンテンツ提示エリア内の１つ以上の手書き単語ブロックによって占有された現在の行の下の次の行までシフトする（６１２）（例えば、手書き単語ブロックは、現在の行の末端で折り返され、単語ブロックの一部は、より多くのタイプされた文字が１つ以上の単語ブロックの前に挿入されるにつれて、次の行内にオーバーフローする）。
一部の実施形態では、１つ以上の手書き単語ブロックをコンテンツ提示エリア内に位置付けた後、デバイスは、１つ以上の追加の手書き単語ブロックをコンテンツ提示エリア内に挿入するための手書き入力を受信する（６１４）（例えば、１つ以上の手書き単語ブロックを形成する追加の複数の手書きストロークを受信する）。手書き入力の受信に応じて、デバイスは、コンテンツ提示エリア内の１つ以上の追加の手書き単語ブロックによって占有される第３の領域（例えば、第３の領域は、カーソルの場所又は追加のストロークの場所に基づいて判定され得る）、及び１つ以上の手書き単語ブロックによって現在占有されている第２の領域が、第１のレイアウト更新基準を満たすかを判定する。例えば、一部の実施形態では、第１のレイアウト更新基準は、１つ以上の追加の手書き単語ブロックが１つ以上の既存の手書き単語ブロックの前の隣接する（例えば、１つ以上の手書き単語ブロックによって占有され、かつそれから閾値距離内にある同一行（単数又は複数）内の）位置に挿入されるときに満たされ、手書きのテキスト入力用の第１の所定のレイアウト基準が遵守されるとき、挿入カーソルの場所と１つ以上の既存の手書き単語ブロックの始まりとの間の占有されていないスペースが追加の手書き単語ブロックのすべてを収容できるほど十分な大きさではないという基準を含む。第３の領域及び第２の領域が第１のレイアウト更新基準を満たすとの判定に従って、デバイスは、１つ以上の追加の手書き単語ブロックを収容するために、１つ以上の手書き単語ブロックを、コンテンツ提示エリアに関連付けられた書き方向にシフトする（例えば、図５ＡＨ〜図５ＡＩの追加の単語ブロック５５８及び既存の単語ブロック５５０が示すように、第１の所定のレイアウト基準を遵守しつつ、１つ以上の手書き単語ブロックを、１つ以上の単語ブロックによって占有されている現在の行に沿って書き方向に（例えば、左から右に）シフトする）。
一部の実施形態では、１つ以上の手書き単語ブロックを、コンテンツ提示エリアに関連付けられた書き方向にそれぞれの量だけシフトした後（例えば、既存の単語ブロックを現在の行内を左から右にシフトした後、手書き単語ブロックがもはや完全には現在の行で収容できないとき）、デバイスは、１つ以上の手書き単語ブロックのうち少なくとも１つをコンテンツ提示エリア内の１つ以上の手書き単語ブロックによって占有された現在の行の下の次の行までシフトする（６１６）（例えば、既存の手書き単語ブロックは、現在の行の末端で折り返され、単語ブロックの一部は、より多くの手書き単語ブロックが１つ以上の既存の単語ブロックの前に挿入されるにつれて、次の行内にオーバーフローする）。
一部の実施形態では、デバイスは、１つ以上の追加の手書き単語ブロック及び１つ以上の手書き単語ブロックをユニットとして操作される（例えば、ドラッグ入力に応じてグループとして一体で移動される）グループにグループ化する（６１８）。
一部の実施形態では、コンテンツ提示エリアは、複数の手書きストロークを受信する前の既存のタイプされたテキストを含む（６２０）。第１の所定のレイアウト基準に従って１つ以上の手書き単語ブロックをコンテンツ提示エリア内に位置付けることは、コンテンツ提示エリア内の１つ以上の手書き単語ブロックによって占有される第２の領域、及びコンテンツ提示エリア内の既存のタイプされたテキストによって現在占有されている第４の領域が、第１のレイアウト更新基準を満たすことを判定することと、第２の領域及び第４の領域が第１のレイアウト更新基準を満たすとの判定に従って、１つ以上の手書き単語ブロックを収容するために、タイプされたテキストをコンテンツ提示エリアに関連付けられた書き方向にシフトすること（例えば、既存のタイプされたテキストを、既存のタイプされたテキストによって占有されている現在の行に沿って書き方向に（例えば、左から右に）シフトすること）と、１つ以上の単語ブロックを、コンテンツ提示エリア内の既存のタイプされたテキストの前に挿入することと、を含む。一部の実施形態では、第１のレイアウト更新基準は、１つ以上の手書き単語ブロックがタイプされたテキストの前の隣接する（例えば、タイプされたテキストによって占有され、かつそれから閾値距離内にある同一行（単数又は複数）内の）位置に挿入されるときに満たされ、手書きのテキスト入力用の第１の所定のレイアウト基準が遵守されるとき、挿入カーソルの場所と既存のタイプされたテキストの始まりとの間の占有されていないスペースが手書き単語ブロックのすべてを収容できるほど十分な大きさではないという基準を含む。
一部の実施形態では、既存のタイプされたテキストをコンテンツ提示エリアに関連付けられた書き方向にそれぞれの量だけシフトした後、デバイスは、既存のタイプされたテキストの少なくとも一部を、コンテンツ提示エリア内の既存のタイプされたテキストによって占有されている現在の行の下の次の行までシフトする（６２２）。
一部の実施形態では、スケッチコンテンツオブジェクトをコンテンツ提示エリア内に位置付けた後、デバイスは、１つ以上のタイプされた文字をコンテンツ提示エリア内に挿入するためのタイプされた入力を受信する（６２４）。タイプされた入力の受信に応じて、デバイスは、コンテンツ提示エリア内の１つ以上のタイプされた文字によって占有される第４の領域（例えば、第４の領域は、カーソル、例えば、カーソル５０６の場所に基づいて判定され得る）、及びスケッチコンテンツオブジェクトによって現在占有されている第５の領域が、第２のレイアウト更新基準を満たすかを判定する。一部の実施形態では、第２のレイアウト更新基準は、１つ以上のタイプされた文字がスケッチコンテンツオブジェクトの近くの（例えば、スケッチコンテンツオブジェクトから閾値距離内の）位置に挿入されるときに満たされ、通常のテキストレイアウト基準及びスケッチコンテンツオブジェクト用の第２の所定のレイアウト基準が遵守されるとき、挿入カーソルの場所とスケッチコンテンツオブジェクトとの間の占有されていないスペースがタイプされた文字のすべてを収容できるほど十分な大きさではないという基準を含む。第４の領域及び第５の領域が第２のレイアウト更新基準を満たすとの判定に従って、デバイスは、所定の第２のレイアウト基準に従って１つ以上のタイプされた文字及びスケッチコンテンツオブジェクトをコンテンツ提示エリア内に配列する（例えば、スケッチコンテンツオブジェクト及びタイプされたテキストがスケッチオブジェクトの周りのテキストの折り返しの設定（例えば、タイト、四角、インラインなど）を遵守するようにスケッチコンテンツオブジェクト及びタイプされたテキストをコンテンツ提示エリアの周りに移動する）。
一部の実施形態では、スケッチコンテンツオブジェクトをコンテンツ提示エリア内に位置付けた後、デバイスは、１つ以上の追加の手書き単語ブロックをコンテンツ提示エリア内に挿入するための手書き入力を受信する（６２６）（例えば、１つ以上の手書き単語ブロックを形成する追加の複数の手書きストロークを受信する）。手書き入力の受信に応じて、デバイスは、コンテンツ提示エリア内の１つ以上の追加の手書き単語ブロックによって占有される第６の領域、及びスケッチコンテンツオブジェクトによって現在占有されている第５の領域が、第２のレイアウト更新基準を満たすかを判定する。一部の実施形態では、第２のレイアウト更新基準は、１つ以上の追加の手書き単語ブロックがスケッチコンテンツオブジェクトの近くの（例えば、スケッチコンテンツオブジェクトから閾値距離内の）位置に挿入されるときに満たされ、スケッチコンテンツオブジェクト用の第２の所定のレイアウト基準が遵守されるとき、挿入カーソルの場所とスケッチコンテンツオブジェクトとの間の占有されていないスペースが追加の手書き単語ブロックのすべてを収容できるほど十分な大きさではないという基準を含む。第６の領域及び第５の領域が第２のレイアウト更新基準を満たすとの判定に従って、デバイスは、所定の第２のレイアウト基準に従って１つ以上の追加の手書き単語ブロック及びスケッチコンテンツオブジェクトをコンテンツ提示エリア内に配列する（例えば、スケッチコンテンツオブジェクト及び１つ以上の追加の手書き単語ブロックがスケッチオブジェクトの周りのテキストの折り返しの設定（例えば、タイト、四角、インラインなど）を遵守するようにスケッチコンテンツオブジェクト及び追加の手書き単語ブロックをコンテンツ提示エリアの周りに移動する）。
一部の実施形態では、コンテンツ提示エリアは、複数の手書きストロークを受信する前の既存のタイプされたテキストを含む（６２８）。第２の所定のレイアウト基準に従ってスケッチコンテンツオブジェクトをコンテンツ提示エリア内に位置付けることは、スケッチコンテンツオブジェクトの少なくとも一部をコンテンツ提示エリア内の既存のタイプされたテキスト上に重ね合わせることを含む（例えば、図５Ｂに示すようにタイプされたテキスト「ｃｕｒｓｉｖｅ」上に重ね合わされたスケッチ５１２）。
一部の実施形態では、デバイスは、スケッチコンテンツオブジェクトと、既存のタイプされたテキストの少なくとも部分とを、ユニットとして操作される（例えば、ドラッグ入力に応じてグループとして一緒に移動する、削除入力に応じて一緒に削除される）グループにグループ化する（６３０）。
一部の実施形態では、１つ以上の手書き単語ブロックをコンテンツ提示エリア内に位置付けることは、１つ以上の手書き単語ブロックをコンテンツ提示エリア内のそれぞれの行内に位置付けることを含む（６３２）。デバイスは、１つ以上の手書き単語ブロックのうち少なくとも１つの選択（例えば、図５ＡＡの単語ブロック５５４の選択）を検出する。１つ以上の手書き単語ブロックのうち少なくとも１つが選択されている間、デバイスは、１つ以上の手書き単語ブロックのうち選択された少なくとも１つ（例えば、図５ＡＢの選択された単語ブロック５５４）に向けられたドラッグ入力（例えば、図５ＡＢのドラッグ入力５５５）を受信する。ドラッグ入力が、コンテンツ提示エリア内の１つ以上の手書き単語ブロックによって現在占有されているそれぞれの行に沿ったフォーカスセレクタの移動（例えば、書き方向に水平なフォーカスセレクタの移動、又は逆書き方向に水平なフォーカスセレクタの移動）を含む（例えば、ドラッグ入力５５５は、図５ＡＢの（例えば、選択された単語ブロック５５４を含む）単語ブロックによって占有された現在の行に沿って水平に移動する（フォーカスセレクタに対応する）接触を含む）ときに満たされる基準を含むコンテンツリフロー基準を、ドラッグ入力が満たすとの判定に従って、デバイスは、（例えば、図５ＡＡ〜図５ＡＢに示すように）ドラッグ入力に従って１つ以上の手書き単語ブロックをそれぞれの行に沿って（例えば、書き方向に又は逆書き方向に）シフトする。
一部の実施形態では、１つ以上の手書き単語ブロックはドラッグ入力に従って書き方向にシフトされる（６３４）。１つ以上の手書き単語ブロックを、コンテンツ提示エリアに関連付けられた書き方向にそれぞれの行に沿ってそれぞれの量だけシフトした後、デバイスは、（例えば、図５ＡＡ〜図５ＡＢに示すように）１つ以上の手書き単語ブロックのうち少なくとも１つを、コンテンツ提示エリア内のそれぞれの行の下の次の行までシフトする。
一部の実施形態では、デバイスは、１つ以上の手書き単語ブロックのシフト中、それぞれの行内の１つ以上の手書き単語ブロックによって以前に占有されたスペースを空白として維持する（例えば、空白は、図５ＡＡ〜図５ＡＢに示すように手書き単語ブロック「Ｂｅｓｔ ｃａｋｅ ｅｖｅｒ！」のリフロー中、手書き単語ブロック５５４の前に作成される）（６３６）。
一部の実施形態では、１つ以上の手書き単語ブロックはそれぞれの行に沿って逆書き方向にシフトされる（６３８）。１つ以上の手書き単語ブロックを、コンテンツ提示エリアに関連付けられた逆書き方向にそれぞれの行に沿ってそれぞれの量だけシフトした後、デバイスは、１つ以上の手書き単語ブロックのうち少なくとも１つを、コンテンツ提示エリア内のそれぞれの行の上の前の行までシフトする。
一部の実施形態では、デバイスは、１つ以上の手書き単語ブロックのシフト中、逆書き方向に、１つ以上の手書き単語ブロックの後に位置付けられたコンテンツを、それぞれの行内の１つ以上の手書き単語ブロックによって前に占有されたスペース内にシフトする（６４０）。
一部の実施形態では、ドラッグ入力が、１つ以上の手書き単語ブロックによって現在占有されているそれぞれの行からそれぞれの行の外の場所までのフォーカスセレクタの移動（例えば、書き方向に実質的に垂直な方向へのフォーカスセレクタの移動）を含むときに満たされる基準を含むコンテンツ移動基準を、ドラッグ入力が満たすとの判定に従って、デバイスは、ドラッグ入力に従って１つ以上の手書き単語ブロックのうち選択された少なくとも１つを、コンテンツ提示エリア内の第１の場所から第２の場所まで移動させる（６４２）（例えば、第１の行内のある場所から、第１の行の上又は下に、ある程度の距離にある第２の行内の場所（それらの場所は、縦揃えされている必要はない）まで移動する）。一部の実施形態では、ドラッグジェスチャは、ドラッグ入力の初期部分が垂直移動成分を含み、ドラッグ入力の後続部分が水平移動成分及び／又は垂直移動成分の両方を含み得る限り、コンテンツ移動基準を満たすであろう。換言すると、ドラッグジェスチャの初期部分の垂直移動成分は、リフローを無効にし、選択された手書きテキストコンテンツの移動を可能にする。
一部の実施形態では、１つ以上の手書き単語ブロックのうち選択された少なくとも１つを移動させることは、１つ以上の手書き単語ブロックのうち選択された少なくとも１つを、コンテンツ提示エリア内の第１の既存のタイプされたテキストの後のある場所まで移動させる（例えば、その移動は、グループ全体ではなく、選択された単語ブロックのみに適用される）ことと、１つ以上の手書き単語ブロックのうち選択された少なくとも１つの移動によって作成されたスペースを埋めるために、１つ以上の手書き単語ブロックのうち選択された少なくとも１つと第１の既存のタイプされたテキストとの間のコンテンツをコンテンツ提示エリア内を逆書き方向にシフトすることと、を含む（６４４）。
一部の実施形態では、１つ以上の手書き単語ブロックのうち選択された少なくとも１つを移動させることは、１つ以上の手書き単語ブロックのうち選択された少なくとも１つを、第２の既存のタイプされたテキストの前のある場所まで移動させる（例えば、その移動は、グループ全体ではなく、選択された単語ブロックのみに適用される）ことと、１つ以上の手書き単語ブロックのうち選択された少なくとも１つを収容するためのスペースを作成するよう、第２の既存のタイプされたテキストをコンテンツ提示エリア内を書き方向にシフトすることと、を含む（６４６）。
一部の実施形態では、手書きのテキスト入力とスケッチ入力とを区別するための所定の基準に従って複数の手書きストロークがテキスト入力か、それともスケッチかを判定することは、複数の手書きストロークがコンテンツ入力エリア内に表現される単一の行の高さ（例えば、図５Ａのメモページ５０２内の２本の隣接するガイドライン５０８の間の高さ、又は図５Ｅのスケッチ／手書き入力エリア５１８内に表現される２本の隣接するガイドライン）に収まるときは、複数の手書きストロークがテキスト入力であると判定することを含む（６４８）。
一部の実施形態では、複数の手書きストロークに基づいて１つ以上の手書き単語ブロックを生成することは、複数の手書きストローク間の時間的かつ空間的関係に基づいて１つ以上の手書き単語ブロックを生成することを含む（例えば、一部の実施形態では、一連のストローク間の空間的かつ時間的近接性は任意選択的に、ストロークを同一の単語ブロックにグループ化するのに使用されるが、一連のストローク間の空間的かつ時間的間隙は任意選択的に、ストロークを隣接単語ブロックにセグメント化するのに使用される）（６５０）。
一部の実施形態では、複数の手書きストロークがテキスト入力か、それともスケッチかを判定することは、手書き認識に基づくものではない（６５２）（例えば、手書き認識が実行される必要はなく、単語ブロックは、辞書内でタイプされたテキスト又は単語に変換される必要はない）。
一部の実施形態では、１つ以上の手書き単語ブロックを複数の手書きストロークに基づいて生成することは、手書き認識に基づくものではない（６５４）（例えば、一部の実施形態では、手書き認識は実行されず、単語ブロックは辞書内でタイプされたテキスト又は単語に変換されない）。
図６Ａ〜図６Ｇにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。それに加えて、本明細書に記載の他の方法（例えば、方法７００、８００、及び９００）に関して本明細書で記載されている他のプロセスの詳細はまた、図６Ａ〜図６Ｇに関連して上述されている方法６００に類似の方法で適用可能であることも留意されたい。例えば、方法６００に関連して上述されている接触、ジェスチャ、及びユーザインタフェースオブジェクトは任意選択的に、本明細書で説明されている他の方法に関連して本明細書で説明されている接触、ジェスチャ、及びユーザインタフェースオブジェクト（例えば、方法７００、８００及び９００）の特性のうちの１つ以上を有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
図７Ａ〜図７Ｂは、一部の実施形態に係る、コンテンツページ内に手書きコンテンツを表示する方法７００を図示するフローチャートである。方法７００は、ディスプレイと、タッチ感知面とを有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）にて実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上、又はそれに統合されている。一部の実施形態では、ディスプレイはタッチ感知面から物理的に分離している。方法７００の一部の動作が任意選択的に組み合わされ、かつ／又は一部の動作の順序が任意選択的に変えられる。
一部の実施形態では、ズームされたスケッチ入力エリアの継続した水平スクロールにより、そのスクロールがメモページの縁部に到達するとき、入力位置インジケータが次の行に自動的に垂直配置される。一部の実施形態では、ズームされたスケッチ入力エリアのスクロールは、手書き入力をスケッチ／手書き入力エリア内に入力することによって生じるのではなく、スケッチ／手書き入力エリア内のスペース及びコンテンツを水平方向にドラッグすることによって生じる。
一部の実施形態では、デバイスは同時に、コンテンツページ（例えば、コンテンツページ５０２）とは別個の手書き入力エリア（例えば、図５Ｋのスケッチ／手書き入力エリア５１８）と、コンテンツページ上に重ね合わされた入力位置インジケータ（例えば、入力位置インジケータ５２０）を表示し、その場合、その入力位置インジケータは、（例えば、図５Ｋに図示するように）手書き入力エリアに示されたコンテンツページのエリアを囲む（７０２）。デバイスは、第１の方向への手書き入力エリア内のコンテンツのスクロール（例えば、右から左へのコンテンツのスクロール、又は左から右へのコンテンツのスクロール）を生じさせる１つ以上の入力（例えば、手書き入力又はスクロール入力）を受信する（７０４）。第１の方向への手書き入力エリア内のコンテンツのスクロールが所定の閾値条件を満たすこと（例えば、図５Ｎに示すようにコンテンツページの縁部がスクロール境界インジケータ５４０に十分に近い）の検出に応じて、デバイスは、入力位置インジケータを、入力位置インジケータの前の位置（例えば、図５Ｎに示す入力位置インジケータ５２０の前の位置）から、第１の方向（例えば、右から左への方向、又は左から右への方向）とは異なる第２の方向（例えば、上から下への方向、又は下から上への方向）にずらした、コンテンツページ上の第１の新規の位置（例えば、図５Ｏに示す入力位置インジケータ５２０の新規の位置）まで移動させる（７０６）。
一部の実施形態では、第１の方向は、コンテンツページに関連付けられた所定の書き方向に沿った方向（例えば、横書き方向か、又は逆横書き方向のいずれか）であり、第２の方向は、コンテンツページに関連付けられた所定の書き方向と垂直な方向（例えば、垂直上向き方向か、又は垂直下向き方向のいずれか）である（７０８）。
一部の実施形態では、第１の方向への手書き入力エリア内のコンテンツのスクロールを生じさせる１つ以上の入力を受信することは、手書き入力エリア内で複数の手書きストロークを受信することであって、その手書きストロークは第１の方向とは反対方向に手書き入力エリアを埋める（例えば、手書きストロークが手書き入力エリアを左から右に埋める）とともに、第１の方向への手書き入力エリア内のコンテンツのスクロールを生じさせる（例えば、図５Ｋ〜図５Ｌに示すように手書き入力エリア内の元のコンテンツは、右から左にスクロールする）、ことを含む（７１０）。
一部の実施形態では、手書き入力エリア内への複数の手書きストロークの受信に応じて、デバイスは、（例えば、図５Ｌに示すように）コンテンツページ内に複数の手書きストロークに従って生成された１つ以上の手書き単語ブロックを表示し、前の位置から第２の方向にずらした第１の新規の位置まで入力位置インジケータを移動させる前に、手書き入力エリアのスクロールに従って、コンテンツページ上で第１の方向とは反対の方向（例えば、入力位置インジケータを左から右に移動させる）に入力位置インジケータ（例えば、図５Ｌの入力位置インジケータ５２０）を移動させる（例えば、現在の行内の入力位置インジケータをコンテンツページの右縁部まで移動させ、その後、入力位置インジケータを次の行の始まりまで移動させる）（７１２）。
一部の実施形態では、第１の方向への手書き入力エリア内のコンテンツのスクロールを生じさせる１つ以上の入力を受信することは、手書き入力エリア（例えば、スケッチ／手書き入力エリア５１８）内に示されたコンテンツページのエリアを第１の方向（例えば、図５Ｍ及び図５Ｎに示すように右から左に）にドラッグする１つ以上の入力（例えば、図５Ｍのドラッグ入力５３６、図５Ｎのドラッグ入力５３４）を受信することを更に含む（７１４）。
一部の実施形態では、手書き入力エリア内に示されたコンテンツページのエリアを第１の方向にドラッグする１つ以上の入力を受信することは、逆書き方向（例えば、右から左に）へのフォーカスセレクタの移動（例えば、ドラッグジェスチャ５３６及び５３４の接触）を検出することであって、その移動は、（例えば、図５Ｍ及び図５Ｎに示すように）手書き入力エリア内に提示されたスクロール境界インジケータ（例えば、スクロール境界インジケータ５３４）を通過する、ことを含む（７１６）。
一部の実施形態では、所定の閾値条件は、１つ以上の入力により、入力位置インジケータは、コンテンツページの縁部から第１の方向に閾値距離内に到達する（例えば、図５Ｎに示すように、ドラッグ入力により、コンテンツページ５０２の右縁部５４０の表現はスクロール境界インジケータ５３４内の閾値距離に到達する）ときに満たされる条件を含む（７１８）。
一部の実施形態では、第１の新規の位置は、（例えば、図５Ｏに示すように）コンテンツページ上の新規の行の始まりにある（７２０）。
一部の実施形態では、デバイスは、（例えば、図５Ｏに示すように）前の位置から第２の方向にずらした第１の新規の位置まで入力位置インジケータを移動させる前に、コンテンツページの縁部の表現（例えば、図５Ｎのコンテンツページ５０２の右縁部５４０の表現）と、手書き入力エリア（例えば、スケッチ／手書き入力エリア５１８）内のスクロール境界インジケータ（例えば、図５Ｎのスクロール境界インジケータ５３４）を提示する（７２２）。
一部の実施形態では、第１の方向は、コンテンツページに関連付けられた水平方向であり、第２の方向は、コンテンツページに関連付けられた垂直方向である（７２４）。
一部の実施形態では、第１の方向は右から左であり、第２の方向はコンテンツページの上から下である（７２６）。（例えば、前方への水平スクロールにより、入力位置インジケータは次の行まで移動する）。
一部の実施形態では、第１の方向は左から右であり、第２の方向はコンテンツページの下から上である（７２８）。（例えば、後方への水平スクロールにより、入力位置インジケータは前の行まで移動する）。
図７Ａ〜図７Ｂにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。それに加えて、本明細書に記載の他の方法（例えば、方法６００、８００、及び９００）に関して本明細書で記載されている他のプロセスの詳細はまた、図７Ａ〜図７Ｂに関連して上述されている方法７００に類似の方法で適用可能であることも留意されたい。例えば、方法７００に関連して上述されている接触、ジェスチャ、及びユーザインタフェースオブジェクトは任意選択的に、本明細書で説明されている他の方法に関連して本明細書で説明されている接触、ジェスチャ、及びユーザインタフェースオブジェクト（例えば、方法６００、８００及び９００）の特性のうちの１つ以上を有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
図８Ａ〜図８Ｃは、一部の実施形態に係る、コンテンツページ内に手書きコンテンツを表示する方法８００を図示するフローチャートである。方法８００は、ディスプレイと、タッチ感知面とを有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）にて実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上、又はそれに統合されている。一部の実施形態では、ディスプレイはタッチ感知面から物理的に分離している。方法８００のいくつかの動作は任意選択的に組み合わされ、かつ／又はいくつかの動作の順序は任意選択的に変更される。
一部の実施形態では、手書き入力が手書きのテキスト入力として認識され、１つ以上の手書き単語ブロックに変換されると、手書き単語ブロックを水平にドラッグし、ドラッグされた手書き単語ブロックに続く（例えば、手書きの又はタイプされた）テキストを更に書き方向に沿って押し動かしながら、手書き単語ブロックの前により多くの空白を作成することができる。ドラッグされた手書きのテキスト及び押し動かされたテキストは、（例えば、空白がいくつかのスペース文字によって通常のタイプされたテキストの前に挿入されるとき）通常のタイプされたテキストのように文書ページ上で移動し折り返す。ドラッグ及びリフロープロセス中、手書き単語ブロックは、それらの手書きの外観を維持し、タイプされたテキストには変換されない。コンテンツオブジェクト（例えば、手書き単語ブロック及びタイプされたテキスト）のシーケンシャルな順序は、コンテンツオブジェクトのドラッグ及びリフロー中、維持される。コンテンツオブジェクトのドラッグ及びリフローは、コンテンツオブジェクトを移動させるためのドラッグとは異なる。
一部の実施形態では、デバイスは、入力エリア（例えば、入力エリアはメモページ（例えば、メモページ５０２）の直接上のエリア、又はメモページとは別個のスケッチ／手書き入力エリア（例えば、図５Ｅのスケッチ／手書き入力エリア５１８）、又はメモページ上の領域のズームビュー（例えば、図５ＡＧのズームビュー５５６）とすることができる）で複数の手書きストロークを受信する（８０２）。デバイスは、１つ以上の手書き単語ブロックをコンテンツ提示エリア（例えば、図５ＡＡのメモページ５０２）内に、コンテンツ提示エリア（例えば、コンテンツ提示エリア及び入力エリアは、一部の実施形態では、任意選択的に同一のエリアである）に関連付けられた書き方向（例えば、左から右に）に沿って更に位置付ける。デバイスは、１つ以上の手書き単語ブロックの第１の手書き単語ブロック（例えば、図５ＡＢの単語ブロック５５４「Ｂｅｓｔ」）を書き方向に水平にドラッグする第１のドラッグ入力（例えば、ドラッグジェスチャ５５５）を受信する（８０６）（例えば、ドラッグジェスチャ５５５は単語ブロック５５４を、図５ＡＢのコンテンツページ５０２内を左から右にドラッグする）。第１のドラッグ入力に応じて、デバイスは、（例えば、図５ＡＡ〜図５ＡＢに示すように）第１の手書き単語ブロックが書き方向にドラッグされた距離に従って書き方向に沿って第１の手書き単語ブロックの前に空白の量を挿入する（８０８）。
一部の実施形態では、第１のドラッグ入力が受信されるとき、コンテンツ提示エリアは、書き方向に沿って第１の手書き単語ブロック（例えば、図５ＡＡの単語ブロック５５４「Ｂｅｓｔ」）の後に位置付けられた１つ以上のコンテンツオブジェクト（例えば、図５ＡＡの単語ブロック「ｃａｋｅ」及び「ｅｖｅｒ！」、又は他のコンテンツオブジェクト（例えば、十分な量の占有されていないスペースによって第１の単語ブロックと分離された他のタイプされたテキスト又は手書き単語ブロック））を含む（８１０）。第１のドラッグ入力に応じて、デバイスは、第１の手書き単語ブロック及び第１の手書き単語ブロックの後に配置された１つ以上のコンテンツオブジェクトのシーケンシャルな順序が、（例えば、図５ＡＡ〜図５ＡＢに図示するように）第１の手書き単語ブロックのドラッグ中で、１つ以上のコンテンツオブジェクトのコンテンツ提示エリア内への再配置中、保存されるように、第１の手書き単語ブロックの後に配置された１つ以上のコンテンツオブジェクトをコンテンツ提示エリア内に再配置する。
一部の実施形態では、第１の手書き単語ブロックの後に配置された１つ以上のコンテンツオブジェクトは、手書き単語ブロック及びタイプされた文字のうちの１つ以上を含む（８１２）。
一部の実施形態では、第１の手書き単語ブロックの後に配置された１つ以上のコンテンツオブジェクトをコンテンツ提示エリア内に再配置することは、（例えば、図５ＡＢに示すように）１つ以上のコンテンツオブジェクトのうち少なくとも１つが、第１の手書き単語ブロックによって現在占有されているそれぞれの行の下の新規の行の中に再配置されるように、１つ以上のコンテンツオブジェクトをコンテンツ提示エリア内でリフローすることを含む（８１４）。
一部の実施形態では、第１の手書き単語ブロックが書き方向にドラッグされた距離に従って書き方向に沿って第１の手書き単語ブロックの前に空白の量を挿入した後、デバイスは、第１の手書き単語ブロックを、コンテンツ提示エリアに関連付けられた逆書き方向（例えば、右から左に）に水平にドラッグする第２のドラッグ入力（例えば、第１のドラッグ入力以外の新規のドラッグジェスチャ（例えば、図５ＡＢ〜図５ＡＣのドラッグジェスチャ５５５））、又は、図５ＡＣ〜図５ＡＤに示すように移動方向に反転するドラッグジェスチャ５５５の一部）を検出する（８１６）。第２のドラッグ入力に応じて、デバイスは、第１の手書き単語ブロック（及び、一部の実施形態では、（例えば、図５ＡＣ〜図５ＡＤに図示するように）第１のドラッグ入力に応じて再配置された１つ以上のコンテンツオブジェクト）を、第１の手書き単語ブロックが第２のドラッグ入力によって逆書き方向に沿ってドラッグされた距離に従って逆書き方向に沿って更にシフトする。
一部の実施形態では、デバイスは、１つ以上のタイプされた文字を、書き方向における第１の手書き単語ブロックの前の位置に挿入するタイプされた入力を受信する（８１８）。タイプされた入力の受信に応じて、デバイスは、１つ以上のタイプされた文字を収容できるように、第１の手書きの単語と、第１の手書き単語ブロックの後に配置された１つ以上のコンテンツオブジェクトを、コンテンツ提示エリア内を書き方向にリフローする。
一部の実施形態では、デバイスは、１つ以上のタイプされた文字（例えば、図５Ｖ〜図５Ｗのタイプされたテキスト５４８）を、コンテンツ提示エリア内を書き方向に水平に（例えば、左から右に）ドラッグする第３のドラッグ入力（例えば、図５Ｖ〜図５Ｗのドラッグジェスチャ５５２）を受信する（８２０）。第３のドラッグ入力（例えば、図５Ｖ〜図５Ｗのドラッグジェスチャ５５２）に応じて、デバイスは、（例えば、図５Ｕ〜図５Ｗに示すように）１つ以上のタイプされた文字が書き方向にドラッグされた距離に従って書き方向に沿って１つ以上のタイプされた文字の前に空白の量を挿入する。
一部の実施形態では、第３のドラッグ入力（例えば、図５Ｖ〜図５Ｗのドラッグジェスチャ５５２）に応じて、デバイスは、１つ以上のタイプされた文字と１つ以上のタイプされた文字の後に配置された第１の手書き単語ブロック（及びもしあれば、１つ以上のコンテンツオブジェクト）のシーケンシャルな順序が１つ以上のタイプされた文字のドラッグ中、かつ第１の手書き単語ブロック（及び１つ以上のコンテンツオブジェクト）のコンテンツ提示エリア内への再配置中、（例えば、図５Ｖ〜図５Ｗに図示するように）保存されるように１つ以上のタイプされた文字の後に配置された第１の手書きの単語（及びもしあれば、１つ以上のコンテンツオブジェクト）をコンテンツ提示エリア内に再配置する（８２２）。
一部の実施形態では、１つ以上のタイプされた文字の後に配置された第１の手書き単語ブロック（及び、もしあれば、１つ以上のコンテンツオブジェクト）をコンテンツ提示エリア内に再配置することは、第１の手書き単語ブロック（及びもしあれば、１つ以上のコンテンツオブジェクト）を、（例えば、図５Ｗ〜図５Ｙに示すように）１つ以上のタイプされた文字及び第１の手書き単語ブロックによって占有されたそれぞれの行の下の新規の行内にシフトすることを含む（８２４）。
図８Ａ〜図８Ｃにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。それに加えて、本明細書に記載の他の方法（例えば、方法６００、７００、及び９００）に関して本明細書で記載されている他のプロセスの詳細はまた、図８Ａ〜図８Ｂに関連して上述されている方法８００に類似の方法で適用可能であることも留意されたい。例えば、方法８００に関連して上述されている接触、ジェスチャ、及びユーザインタフェースオブジェクトは任意選択的に、本明細書で説明されている他の方法に関連して本明細書で説明されている接触、ジェスチャ、及びユーザインタフェースオブジェクト（例えば、方法６００、７００及び９００）の特性のうちの１つ以上を有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
図９Ａ〜図９Ｂは、一部の実施形態に係る、手書きコンテンツをコンテンツページ内に表示する（デバイスの傾きに応じてスケッチモードから全体像モードに切り替える）方法９００を図示するフローチャートである。方法８００は、ディスプレイと、タッチ感知面とを有する電子デバイス（例えば、図３のデバイス３００、又は、図１Ａのポータブル多機能デバイス１００）にて実行される。一部の実施形態では、ディスプレイはタッチスクリーンディスプレイであり、タッチ感知面がディスプレイ上、又はそれに統合されている。一部の実施形態では、ディスプレイはタッチ感知面から物理的に分離している。方法９００における一部の動作が任意選択的に、組み合わされ、かつ／又は一部の動作の順序が任意選択的に変えられる。
一部の実施形態では、デバイスが第１の傾き状態にある（例えば、図５ＡＲの上部に示すようにデバイスが閾値向きを下回って時計回りに回転する）間、デバイスは、スケッチモードでコンテンツページ（例えば、コンテンツページ５０２）を表示し、この表示することは、コンテンツページの第１の部分のズームビュー（例えば、図５ＡＪのズームビュー５５６）を表示することと、コンテンツページの部分内のコンテンツを修正するユーザ入力を受け付けるようにコンテンツページの第１の部分のズームビューを構成すること（例えば、スケッチモードにある間、ズームビューは、例えば、別個のスケッチ／手書き入力エリア（例えば、スケッチ／手書き入力エリア５１８）を必要とせずに、テキスト入力及びスケッチ入力用の手書きストロークを直接受け付ける）と、を含む（９０２）。一部の実施形態では、仮想キーボードは、（例えば、図５ＡＪに示すように）デバイスがスケッチモードにある間に表示され、ユーザは、仮想キーボードを用いて、コンテンツページの表示された第１の部分内にタイプされた入力を入力することができる。
コンテンツページをスケッチモードで表示している間、デバイスは、デバイスが第１の傾き状態から、第１の傾き状態とは異なる第２の傾き状態まで傾けられる（例えば、図５ＡＲの下部に示すように、閾値向きを超えて反時計回りに回転される）のを検出する（９０４）。デバイスが第１の傾き状態から第２の傾き状態に傾けられたことを検出したことに応じて、デバイスは、（例えば、図５ＡＲに示すように）全体像モードでコンテンツページを表示し、この表示することは、（例えば、図５ＡＲに示すように）コンテンツページの全体像を表示するようにズームアウトすることを含む（９０６）。
一部の実施形態では、コンテンツページを全体像モードで表示することは、ズームビューで前もって表示されたコンテンツページの第１の部分を示すように入力位置インジケータ（例えば、図５ＡＫの入力位置インジケータ５０６）をコンテンツページの全体像の上に表示することを含む（９０８）。
一部の実施形態では、コンテンツページを全体像モードで表示している間、デバイスは、入力位置インジケータを、コンテンツページの第１の部分とは異なるコンテンツページの第２の部分まで移動させるユーザ入力を検出し、入力位置インジケータが、コンテンツページの第２の部分に配置されている間、デバイスは、デバイスが第２の傾き状態から第３の傾き状態に傾けられる（例えば、第１の傾き状態に戻るか、又はスケッチモードに関連付けられた別の傾き状態にもなる）ことを検出する（９１０）。デバイスが第２の傾き状態から第３の傾き状態に傾けられるのを検出したことに応じて、デバイスは、コンテンツページをスケッチモードで表示し、この表示することは、コンテンツページの第２の部分のズームビューを表示することと、コンテンツページの第２の部分内のコンテンツを修正するユーザ入力を受け付けるようにコンテンツページの第２の部分のズームビューを構成することと、を含む。
一部の実施形態では、第１の傾き状態及び第３の傾き状態は、第２の傾き状態と同一の側にある（９１２）。例えば、一部の実施形態では、全体像モードとスケッチモードとを切り替えるための閾値向きは、（例えば、図５ＡＰ及び図５ＡＲに示すように）スケッチモードに関連付けられた第１の傾き状態と、全体像モードに関連付けられた第２の傾き状態との間の向きになり、全体像モードからスケッチモードに切り替えるように規定され、デバイスは、第２の傾き状態（例えば、全体像モードに関連付けられた傾き状態）から第１の傾き状態（例えば、スケッチモードに関連付けられた傾き状態）と閾値向きの同一の側に回転する必要がある。それゆえに、第１の傾き状態及び第３の傾き状態は、第２の傾き状態と同一の側にある。
一部の実施形態では、第２の傾き状態及び第３の傾き状態は、第１の傾き状態と異なる側にある（９１４）。例えば、一部の実施形態では、全体像モードとスケッチモードとを切り替えるための２つの閾値向きが規定され、これらの閾値向きのうちの１つは、第１の傾き状態の第１の側にあり、他の閾値向きは、第１の傾き状態の他の側にある。２つの閾値向きの間の角度範囲は、デバイスの傾きにより、デバイスがスケッチモードから切り替わらない範囲である。デバイスがスケッチモードに関連付けられた角度範囲内に時計回り方向に回転すると、デバイスは全体像モードからスケッチモードに切り替わる。デバイスが時計回り方向に継続して回転し、スケッチモードに関連付けられた角度範囲から出ると、デバイスはスケッチモードから全体像モードに切り替わる。それゆえに、第２の傾き状態及び第３の傾き状態は、第２の傾き状態と同一の側にある。
一部の実施形態では、デバイスが第１の傾き状態にある間、コンテンツページをスケッチモードで表示する前に、デバイスは、コンテンツページを全体像モードで表示し、コンテンツページを全体像モードで表示している間、デバイスは、コンテンツページの第１の部分に向けられた逆ピンチジェスチャを検出する（９１６）。デバイスは、コンテンツページの第１の部分に向けられた逆ピンチジェスチャの検出に応じてスケッチモードに入る。
一部の実施形態では、コンテンツページの第１の部分に向けられた逆ピンチジェスチャの検出に応じてスケッチモードに入った後、コンテンツページをスケッチモードで表示している間、デバイスは、コンテンツページの第１の部分に向けられたピンチジェスチャを検出し、コンテンツページの第１の部分に向けられたピンチジェスチャの検出に応じて全体像モードに入る（９１８）。
一部の実施形態では、デバイスは、逆ピンチジェスチャが検出された時のデバイスの向きに基づいて全体像モードとスケッチモードを切り替えるための閾値向きを判定する（９２０）（例えば、閾値向きは任意選択的に、逆ピンチジェスチャが検出される時のデバイスの向きから離れた（例えば、時計回り方向に、又は反時計回り方向に）所定の角度である）。一部の実施形態では、デバイスは、２つの閾値向きを有し、一方は、逆ピンチジェスチャが検出された時のデバイスの向きを超えて、他方はそのデバイスの向きを下回り、２つの閾値向きの間の角度範囲は、デバイスを傾けても、スケッチモードから全体像モードに切り替わらないが、角度範囲内から角度範囲外に（例えば、時計回り方向か、又は反時計回り方向のいずれかに）傾けると、スケッチモードから全体像モードに切り替わる範囲を規定する。
図９Ａ〜９Ｂにおける動作について記載された特定の順序は単なる例示であり、記載された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書で説明される動作の順序換えをする様々な方法を認識するであろう。それに加えて、本明細書に記載の他の方法（例えば、方法６００、７００、及び８００）に関して本明細書で記載されている他のプロセスの詳細はまた、図９Ａ〜図９Ｂに関連して上述されている方法８００に類似の方法で適用可能であることも留意されたい。例えば、方法９００に関連して上述されている接触、ジェスチャ、及びユーザインタフェースオブジェクトは任意選択的に、本明細書で説明されている他の方法に関連して本明細書で説明されている接触、ジェスチャ、及びユーザインタフェースオブジェクト（例えば、方法６００、７００及び８００）の特性のうちの１つ以上を有する。簡潔にするために、これらの詳細は、ここでは繰り返さない。
一部の実施形態によれば、図１０は、説明される様々な実施形態の原理に従って構成された電子デバイス１０００の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせによって、任意選択的に実装される。図１０で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組合せ若しくは分割、又は更なる定義を任意選択的に支持する。
図１０に示すように、電子デバイス１０００は、ディスプレイユニット１００２と、タッチ感知面ユニット１００４と、ディスプレイユニット１００２及びタッチ感知面ユニット１００４に連結された処理ユニット１００８とを含む。
一部の実施形態では、処理ユニット１００８は、受信ユユニット１０１０、判定ユニット１０１２、生成ユニット１０１４、位置決めユニット１０１６、及びグループ化ユニット１０１８を含む。
処理ユニット１００８は、入力エリアで複数の手書きストロークを（例えば、受信ユユニット１０１０を用いて）受信するように構成されている。複数の手書きストロークの受信に応じて、処理ユニット１００８は、手書きのテキスト入力とスケッチ入力とを区別する所定の基準に従って複数の手書きストロークがテキスト入力か、それともスケッチかを（例えば、判定ユニット１０１２を用いて）判定するように構成されている。複数の手書きストロークがテキスト入力であるとの判定に従って、処理ユニット１００８は、複数の手書きストロークに基づいて１つ以上の手書き単語ブロックを（例えば、生成ユニット１０１４を用いて）生成し、第１の所定のレイアウト基準に従って１つ以上の手書き単語ブロックをコンテンツ提示エリア内に（例えば、位置決めユニット１０１６を用いて）位置付けるように構成されている。複数の手書きストロークはスケッチであるとの判定に従って、処理ユニット１００８は、複数の手書きストロークに基づいて、スケッチコンテンツオブジェクトを（例えば、生成ユニット１０１４を用いて）生成し、第１の所定のレイアウト基準とは異なる第２の所定のレイアウト基準に従って、そのスケッチコンテンツオブジェクトをコンテンツ提示エリア内に（例えば、位置決めユニット１０１６を用いて）位置付けるように構成されている。
一部の実施形態では、処理ユニット１００８は、１つ以上の手書き単語ブロックをコンテンツ提示エリア内に（例えば、位置決めユニット１０１６を用いて）位置付けた後、１つ以上のタイプされた文字をコンテンツ提示エリア内に挿入するためのタイプされた入力を（例えば、受信ユユニット１０１０を用いて）受信するように構成されている。タイプされた入力の受信に応じて、処理ユニット１００８は、コンテンツ提示エリア内の１つ以上のタイプされた文字によって占有される第１の領域、及び１つ以上の手書き単語ブロックによって現在占有されている第２の領域が、第１のレイアウト更新基準を満たすかを（例えば、判定ユニット１０１２を用いて）判定するように構成されている。第１の領域及び第２の領域が第１のレイアウト更新基準を満たすとの判定に従って、処理ユニット１００８は、１つ以上のタイプされた文字を収容するようにコンテンツ提示エリアに関連付けられた書き方向に１つ以上の手書き単語ブロックを（例えば、位置決めユニット１０１６）シフトするように構成されている。
一部の実施形態では、処理ユニット１００８は、１つ以上の手書き単語ブロックをコンテンツ提示エリアに関連付けられた書き方向にそれぞれの量だけシフトした後、１つ以上の手書き単語ブロックのうち少なくとも１つを、コンテンツ提示エリア内の１つ以上の手書き単語ブロックによって占有されている現在の行の下の次の行に（例えば、位置決めユニット１０１６を用いて）シフトするように構成されている。
一部の実施形態では、処理ユニット１００８は、１つ以上の手書き単語ブロックをコンテンツ提示エリア内に位置付けた後、１つ以上の追加の手書き単語ブロックをコンテンツ提示エリア内に挿入するための手書き入力を（例えば、受信ユユニット１０１０を用いて）受信するように構成されている。手書き入力の受信に応じて、処理ユニット１００８は、コンテンツ提示エリア内の１つ以上の追加の手書き単語ブロックによって占有される第３の領域、及び１つ以上の手書き単語ブロックによって現在占有されている第２の領域が、第１のレイアウト更新基準を満たすかを（例えば、判定ユニット１０１２を用いて）判定するように構成されている。第３の領域及び第２の領域が第１のレイアウト更新基準を満たすとの判定に従って、処理ユニット１００８は、１つ以上の追加の手書き単語ブロックを収容するようにコンテンツ提示エリアに関連付けられた書き方向に１つ以上の手書き単語ブロックを（例えば、位置決めユニット１０１６）シフトするように構成されている。
一部の実施形態では、処理ユニット１００８は、１つ以上の手書き単語ブロックをコンテンツ提示エリアに関連付けられた書き方向にそれぞれの量だけシフトした後、１つ以上の手書き単語ブロックのうち少なくとも１つを、コンテンツ提示エリア内の１つ以上の手書き単語ブロックによって占有されている現在の行の下の次の行に（例えば、位置決めユニット１０１６を用いて）シフトするように構成されている。
一部の実施形態では、処理ユニット１００８は、１つ以上の追加の手書き単語ブロック及び１つ以上の手書き単語ブロックを、ユニットとして操作されるグループに（例えば、グループ化ユニット１０１８を用いて）グループ化するように構成されている。
一部の実施形態では、コンテンツ提示エリアは、複数の手書きストロークを受信する前の既存のタイプされたテキストを含み、第１の所定のレイアウト基準に従って１つ以上の手書き単語ブロックをコンテンツ提示エリア内に位置付けることは、コンテンツ提示エリア内の１つ以上の手書き単語ブロックによって占有される第２の領域、及びコンテンツ提示エリア内の既存のタイプされたテキストによって現在占有されている第４の領域が、第１のレイアウト更新基準を満たすことを判定することと、第２の領域及び第４の領域が第１のレイアウト更新基準を満たすとの判定に従って、１つ以上の手書き単語ブロックを収容するように、タイプされたテキストをコンテンツ提示エリアに関連付けられた書き方向に（例えば、位置決めユニット１０１６を用いて）シフトすることと、１つ以上の単語ブロックを、コンテンツ提示エリア内の既存のタイプされたテキストの前に（例えば、位置決めユニット１０１６を用いて）挿入することと、を含む。
一部の実施形態では、処理ユニット１００８は、既存のタイプされたテキストをコンテンツ提示エリアに関連付けられた書き方向にそれぞれの量だけシフトした後、既存のタイプされたテキストの少なくとも一部を、コンテンツ提示エリア内の既存のタイプされたテキストによって占有されている現在の行の下の次の行まで（例えば、位置決めユニット１０１６を用いて）シフトするように構成されている。
一部の実施形態では、処理ユニット１００８は、スケッチコンテンツオブジェクトをコンテンツ提示エリア内に位置付けた後、１つ以上のタイプされた文字をコンテンツ提示エリア内に挿入するためのタイプされた入力を（例えば、受信ユユニット１０１０を用いて）受信するように構成されている。タイプされた入力の受信に応じて、処理ユニット１００８は、コンテンツ提示エリア内の１つ以上のタイプされた文字によって占有される第４の領域、及びスケッチコンテンツオブジェクトによって現在占有されている第５の領域が、第２のレイアウト更新基準を満たすかを（例えば、判定ユニット１０１２を用いて）判定するように構成されている。第４の領域及び第５の領域が第２のレイアウト更新基準を満たすとの判定に従って、処理ユニット１００８は、所定の第２のレイアウト基準に従って、１つ以上のタイプされた文字及びスケッチコンテンツオブジェクトをコンテンツ提示エリア内に（例えば、位置決めユニット１０１６を用いて）配列するように構成されている。
一部の実施形態では、処理ユニット１００８は、スケッチコンテンツオブジェクトをコンテンツ提示エリア内に位置付けた後、１つ以上の追加の手書き単語ブロックをコンテンツ提示エリア内に挿入するための手書き入力を受信し、タイプされた入力の受信に応じて、コンテンツ提示エリア内の１つ以上の追加の手書き単語ブロックによって占有される第６の領域、及びスケッチコンテンツオブジェクトによって現在占有されている第５の領域が、第２のレイアウト更新基準を満たすかを（例えば、判定ユニット１０１２を用いて）判定するように構成されている。第６の領域及び第５の領域が第２のレイアウト更新基準を満たすとの判定に従って、処理ユニット１００８は、所定の第２のレイアウト基準に従って、１つ以上の追加の手書き単語ブロック及びスケッチコンテンツオブジェクトをコンテンツ提示エリア内に（例えば、位置決めユニット１０１６を用いて）配列するように構成されている。
一部の実施形態では、コンテンツ提示エリアは、複数の手書きストロークを受信する前の既存のタイプされたテキストを含み、第２の所定のレイアウト基準に従って、スケッチコンテンツオブジェクトをコンテンツ提示エリア内に位置付けることは、スケッチコンテンツオブジェクトの少なくとも一部を、コンテンツ提示エリア内の既存のタイプされたテキスト上に重ね合わせることを含む。
一部の実施形態では、処理ユニット１００８は、スケッチコンテンツオブジェクトと、既存のタイプされたテキストの少なくとも一部とを、ユニットとして操作されるグループに（例えば、グループ化ユニット１０１８を用いて）グループ化するように構成されている。
一部の実施形態では、１つ以上の手書き単語ブロックをコンテンツ提示エリア内に位置付けることは、１つ以上の手書き単語ブロックをコンテンツ提示エリア内のそれぞれの行内に位置付けることを含み、処理ユニット１００８は、１つ以上の手書き単語ブロックのうち少なくとも１つの選択を検出するように構成されている。１つ以上の手書き単語ブロックのうち少なくとも１つが選択されている間、処理ユニット１００８は、１つ以上の手書き単語ブロックのうち選択された少なくとも１つに向けられたドラッグ入力を（例えば、受信ユユニット１０１０を用いて）受信するように構成されている。ドラッグ入力がコンテンツ提示エリア内の１つ以上の手書き単語ブロックによって現在占有されているそれぞれの行に沿ったフォーカスセレクタの移動を含むときに満たされる基準を含むコンテンツリフロー基準をドラッグ入力が満たすとの判定に従って、処理ユニット１００８は、ドラッグ入力に従って、それぞれの行に沿って１つ以上の手書き単語ブロックを（例えば、位置決めユニット１０１６を用いて）シフトするように更に構成されている。
一部の実施形態では、１つ以上の手書き単語ブロックがドラッグ入力に従って書き方向にシフトされ、処理ユニット１００８は、１つ以上の手書き単語ブロックをコンテンツ提示エリアに関連付けられた書き方向をそれぞれの行に沿ってそれぞれの量だけシフトした後、１つ以上の手書き単語ブロックのうち少なくとも１つを、コンテンツ提示エリア内のそれぞれの行の下の次の行に（例えば、位置決めユニット１０１６を用いて）シフトするように構成されている。
一部の実施形態では、処理ユニット１００８は、１つ以上の手書き単語ブロックのシフト中、それぞれの行内の１つ以上の手書き単語ブロックによって前もって占有されているスペースを空白として（例えば、位置決めユニット１０１６を用いて）維持するように構成されている。
一部の実施形態では、１つ以上の手書き単語ブロックはそれぞれの行に沿って逆書き方向に（例えば、位置決めユニット１０１６を用いて）シフトされ、処理ユニット１００８は、１つ以上の手書き単語ブロックをコンテンツ提示エリアに関連付けられた逆書き方向にそれぞれの行に沿ってそれぞれの量だけシフトした後、１つ以上の手書き単語ブロックのうち少なくとも１つを、コンテンツ提示エリア内のそれぞれの行の上の前の行に（例えば、位置決めユニット１０１６を用いて）シフトするように構成されている。
一部の実施形態では、処理ユニット１００８は、逆書き方向に、１つ以上の手書き単語ブロックの後に位置付けられたコンテンツを、１つ以上の手書き単語ブロックのシフト中、それぞれの行内の１つ以上の手書き単語ブロックによって前もって占有されたスペース内に（例えば、位置決めユニット１０１６を用いて）シフトするように構成されている。
一部の実施形態では、処理ユニット１００８は、ドラッグ入力が、１つ以上の手書き単語ブロックによって現在占有されているそれぞれの行からそれぞれの行の外の場所までのフォーカスセレクタの移動を含むときに満たされる基準を含むコンテンツ移動基準を、ドラッグ入力が満たすとの判定に従って、１つ以上の手書き単語ブロックのうち選択された少なくとも１つを、ドラッグ入力に従ってコンテンツ提示エリア内の第１の場所から第２の場所まで（例えば、位置決めユニット１０１６を用いて）移動させるように構成されている。
一部の実施形態では、１つ以上の手書き単語ブロックのうち選択された少なくとも１つを移動させることは、１つ以上の手書き単語ブロックのうち選択された少なくとも１つを、コンテンツ提示エリア内の第１の既存のタイプされたテキストの後の場所まで移動させることと、１つ以上の手書き単語ブロックのうち選択された少なくとも１つの移動によって作成されたスペースを埋めるために、１つ以上の手書き単語ブロックのうち選択された少なくとも１つと第１の既存のタイプされたテキストとの間のコンテンツをコンテンツ提示エリア内を逆書き方向にシフトすることと、を含む。
一部の実施形態では、１つ以上の手書き単語ブロックのうち選択された少なくとも１つを移動させることは、１つ以上の手書き単語ブロックのうち選択された少なくとも１つを、第２の既存のタイプされたテキストの前の場所まで移動させることと、１つ以上の手書き単語ブロックのうち選択された少なくとも１つを収容するためのスペースを作成するよう、第２の既存のタイプされたテキストをコンテンツ提示エリア内を書き方向にシフトすることと、を含む。
一部の実施形態では、手書きのテキスト入力とスケッチ入力とを区別するための所定の基準に従って複数の手書きストロークがテキスト入力か、それともスケッチかを判定することは、複数の手書きストロークがコンテンツ入力エリア内に表現される単一の行の高さに収まるときは、複数の手書きストロークがテキスト入力であると判定することを含む。
一部の実施形態では、１つ以上の手書き単語ブロックを複数の手書きストロークに基づいて生成することは、複数の手書きストロークの間の時間的かつ空間的関係に基づいて１つ以上の手書き単語ブロックを生成することを含む。
一部の実施形態では、複数の手書きストロークがテキスト入力か、それともスケッチかを判定することは、手書き認識に基づくものではない。
一部の実施形態では、１つ以上の手書き単語ブロックを複数の手書きストロークに基づいて生成することは、手書き認識に基づくものではない。
上述の情報処理方法での動作は、汎用プロセッサ（例えば、図１Ａ及び図３に関連して上述されたようなもの）又は特定用途向けチップなどの、情報処理装置内の１つ以上の機能モジュールを稼働することによって、任意選択的に実施される。
図６Ａ〜図６Ｇを参照して先述した動作は任意選択的に、図１Ａ〜図１Ｂに示す構成要素により実施される。例えば、判定動作６０４及び生成動作６０６は任意選択的に、イベントソート部１７０、イベント認識部１８０、及びイベント処理部１９０により実行される。イベントソート部１７０のイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６−１に配信する。アプリケーション１３６−１の対応するイベント認識部１８０は、そのイベント情報を対応するイベント定義１８６に比較し、タッチ感知面上の第１の場所での第１の接触（又は、デバイスの回転）が、ユーザインタフェース上のオブジェクトの選択、又は１つの向きから別の向きへのデバイスの回転などの、既定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、イベント又はサブイベントの検出に関連するイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６若しくはオブジェクト更新部１７７を、任意選択的に用いるか又は呼び出す。一部の実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ〜図１Ｂに示されるコンポーネントに基づいてどのように実施されるかは明らかであろう。
一部の実施形態によれば、図１１は、説明される様々な実施形態の原理に従って構成された電子デバイス１１００の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせによって、任意選択的に実装される。図１１で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組合せ若しくは分割、又は更なる定義を任意選択的に支持する。
図１１に示すように、電子デバイス１１００は、ディスプレイユニット１１０２と、１つ以上の入力を受信するように構成されたタッチ感知面ユニット１１０４と、ディスプレイユニット１１０２及びタッチ感知面ユニット１１０４と連結された処理ユニット１１０８とを含む。
一部の実施形態において、処理ユニット１１０８は、受信ユユニット１１１０、検出ユニット１１１２、及び移動ユニット１１１４を含む。
処理ユニット１１０８は同時に、コンテンツページとは別個の手書き入力エリアとコンテンツページ上に重ね合わされた入力位置インジケータを、ディスプレイユニット１１０２上に表示し、その入力位置インジケータは、手書き入力エリア内に示されたコンテンツページのエリアを囲むように構成されている。処理ユニット１１０８はまた、第１の方向への手書き入力エリア内のコンテンツのスクロールを生じさせる１つ以上の入力を（例えば、受信ユユニット１１１０を用いて）受信するように構成されている。第１の方向への手書き入力エリア内のコンテンツのスクロールが所定の閾値条件を満たすことの検出に応じて、処理ユニット１１０８は、入力位置インジケータを、入力位置インジケータの前の位置から第１の方向とは異なる第２の方向にずらしたコンテンツページの上にある第１の新規の位置まで（例えば、移動ユニット１１１４を用いて）移動させるように構成されている。
一部の実施形態では、第１の方向は、コンテンツページに関連付けられた所定の書き方向に沿った方向であり、第２の方向は、コンテンツページに関連付けられた所定の書き方向に垂直な方向である。
一部の実施形態では、第１の方向へ手書き入力エリア内のコンテンツのスクロールを生じさせる１つ以上の入力を受信することは、手書き入力エリア内で複数の手書きストロークを受信することであって、その手書きストロークは第１の方向とは反対方向に手書き入力エリアを埋めるとともに、第１の方向への手書き入力エリア内のコンテンツのスクロールを生じさせる、ことを更に含む。
一部の実施形態では、処理ユニット１１０８は、手書き入力エリアでの複数の手書きストロークの受信に応じて、ディスプレイユニット１１０２上に、コンテンツページ内の複数の手書きストロークに従って生成された１つ以上の手書き単語ブロックを表示するように構成されている。処理ユニット１１０８は、前の位置から第２の方向にずらした第１の新規の位置に入力位置インジケータを移動させる前に、手書き入力エリアのスクロールに従って第１の方向とは反対の方向に、コンテンツページ上の入力位置インジケータを（例えば、移動ユニット１１１４を用いて）移動させるように構成されている。
一部の実施形態では、第１の方向への手書き入力エリア内のコンテンツのスクロールを生じさせる１つ以上の入力を受信することは、手書き入力エリア内に示されたコンテンツページのエリアを第１の方向にドラッグする１つ以上の入力を受信することを更に含む。
一部の実施形態では、手書き入力エリア内に示されたコンテンツページのエリアを第１の方向にドラッグする１つ以上の入力を受信することは、逆書き方向へのフォーカスセレクタの移動を検出することであって、その移動は、手書き入力エリア内に提示されたスクロール境界インジケータを通過する、ことを含む。
一部の実施形態では、所定の閾値条件は、１つ以上の入力により、入力位置インジケータが、コンテンツページの縁部から第１の方向に閾値距離内に到達するときに満たされる条件を含む。
一部の実施形態では、第１の新規の位置は、コンテンツページ上の新規の行の始まりにある。
一部の実施形態では、処理ユニット１１０８は、前の位置から第２の方向にずらした第１の新規の位置に入力位置インジケータを移動させる前に、コンテンツページの縁部の表現と、手書き入力エリア内のスクロール境界インジケータを（例えば、ディスプレイユニット１１０２を用いて）提示するように構成されている。
一部の実施形態では、第１の方向はコンテンツページに関連付けられた水平方向であり、第２の方向はコンテンツページに関連付けられた垂直方向である。
一部の実施形態では、第１の方向は右から左であり、第２の方向はコンテンツページの上から下である。
一部の実施形態では、第１の方向は左から右であり、第２の方向はコンテンツページの下から上である。
上述の情報処理方法での動作は、汎用プロセッサ（例えば、図１Ａ及び図３に関連して上述されたようなもの）又は特定用途向けチップなどの、情報処理装置内の１つ以上の機能モジュールを稼働することによって、任意選択的に実施される。
図７Ａ〜図７Ｂを参照して先述した動作は任意選択的に、図１Ａ〜図１Ｂに示す構成要素により実施される。例えば、受信ユ動作７０４、及び移動動作７０６は任意選択的に、イベントソート部１７０、イベント認識部１８０、及びイベント処理部１９０により実行される。イベントソート部１７０のイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６−１に配信する。アプリケーション１３６−１の対応するイベント認識部１８０は、そのイベント情報を対応するイベント定義１８６に比較し、タッチ感知面上の第１の場所での第１の接触（又は、デバイスの回転）が、ユーザインタフェース上のオブジェクトの選択、又は１つの向きから別の向きへのデバイスの回転などの、既定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、イベント又はサブイベントの検出に関連するイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６若しくはオブジェクト更新部１７７を、任意選択的に用いるか又は呼び出す。一部の実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ〜図１Ｂに示されるコンポーネントに基づいてどのように実施されるかは明らかであろう。
一部の実施形態によれば、図１２は、説明される様々な実施形態の原理に従って構成された電子デバイス１２００の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせによって、任意選択的に実装される。図１２で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組合せ若しくは分割、又は更なる定義を任意選択的に支持する。
図１２に示すように、電子デバイス１２００は、ディスプレイユニット１２０２と、タッチ感知面ユニット１２０４と、ディスプレイユニット１２０２及びタッチ感知面ユニット１２０４に連結された処理ユニット１２０８とを含む。
一部の実施形態では、処理ユニット１２０８は、受信ユユニット１２１０、検出ユニット１２１２、生成ユニット１２１４、及び位置決めユニット１２１６を含む。
処理ユニット１２０８は、入力エリアで複数の手書きストロークを（例えば、受信ユユニット１２１０を用いて）受信するように構成されている。複数の手書きストロークの受信に応じて、処理ユニット１２０８は、複数の手書きストロークに基づいて１つ以上の手書き単語ブロックを（例えば、生成ユニット１２１４を用いて）生成し、コンテンツ提示エリアに関連付けられた書き方向に沿ってコンテンツ提示エリア内に１つ以上の手書き単語ブロックを（例えば、位置決めユニット１２１６を用いて）位置付けて、１つ以上の手書き単語ブロックの第１の手書き単語ブロックを書き方向に水平にドラッグする第１のドラッグ入力を（例えば、受信ユユニット１２１０を用いて）受信し、第１のドラッグ入力に応じて、第１の手書き単語ブロックが書き方向にドラッグされた距離に従って、書き方向に沿った第１の手書き単語ブロックの前に空白の量を（例えば、位置決めユニット１２１６を用いて）挿入するように構成されている。
一部の実施形態では、第１のドラッグ入力が受信されるとき、コンテンツ提示エリアは、書き方向に沿って第１の手書き単語ブロックの後に位置付けられた１つ以上のコンテンツオブジェクトを含み、処理ユニット１２０８は、第１のドラッグ入力に応じて、コンテンツ提示エリア内の第１の手書き単語ブロックの後に配置された１つ以上のコンテンツオブジェクトを（例えば、位置決めユニット１２１６を用いて）再配置して、第１の手書き単語ブロック及び第１の手書き単語ブロックの後に配置された１つ以上のコンテンツオブジェクトのシーケンシャルな順序が、第１の手書き単語ブロックのドラッグ中かつ１つ以上のコンテンツオブジェクトのコンテンツ提示エリア内への再配置中、保存されるように構成されている。
一部の実施形態では、第１の手書き単語ブロックの後に配置された１つ以上のコンテンツオブジェクトは、手書き単語ブロック及びタイプされた文字のうちの１つ以上を含む。
一部の実施形態では、第１の手書き単語ブロックの後に配置された１つ以上のコンテンツオブジェクトをコンテンツ提示エリア内に再配置することは、１つ以上のコンテンツオブジェクトのうち少なくとも１つが、第１の手書き単語ブロックによって現在占有されているそれぞれの行の下の新規の行の中に再配置されるように、１つ以上のコンテンツオブジェクトをコンテンツ提示エリア内でリフローすることを含む。
一部の実施形態では、処理ユニット１２０８は、第１の手書き単語ブロックが書き方向にドラッグされた距離に従って書き方向に沿った第１の手書き単語ブロックの前に空白の量を挿入した後、コンテンツ提示エリアに関連付けられた逆書き方向に水平に第１の手書き単語ブロックをドラッグする第２のドラッグ入力を（例えば、検出ユニット１２１２を用いて）検出し、第２のドラッグ入力に応じて、第１の手書き単語ブロックが第２のドラッグ入力によって逆書き方向にドラッグされた距離に従って逆書き方向に沿って第１の手書き単語ブロックを（例えば、位置決めユニット１２１６）シフトするように構成されている。
一部の実施形態では、処理ユニット１２０８は、１つ以上のタイプされた文字を、書き方向における第１の手書き単語ブロックの前の位置に挿入するタイプされた入力を（例えば、受信ユユニット１２１０を用いて）受信するように構成されている。タイプされた入力の受信に応じて、処理ユニット１２０８は、１つ以上のタイプされた文字を収容できるように、第１の手書きの単語と、第１の手書き単語ブロックの後に配置された１つ以上のコンテンツオブジェクトを、コンテンツ提示エリア内を書き方向にリフローするように構成されている。
一部の実施形態では、処理ユニット１２０８は、１つ以上のタイプされた文字をコンテンツ提示エリア内を書き方向に水平にドラッグする第３のドラッグ入力を受信し、第３のドラッグ入力に応じて、１つ以上のタイプされた文字が書き方向にドラッグされた距離に従って、書き方向に沿って１つ以上のタイプされた文字の前に空白の量を挿入するように構成されている。
一部の実施形態では、処理ユニット１２０８は、第３のドラッグ入力に応じて、１つ以上のタイプされた文字のドラッグ中、かつ第１の手書き単語ブロックのコンテンツ提示エリア内への再配置中、１つ以上のタイプされた文字と１つ以上のタイプされた文字の後に配置された第１の手書き単語ブロックのシーケンシャルな順序が保存されるように、コンテンツ提示エリア内に、１つ以上のタイプされた文字の後に配置された第１の手書きの単語を（例えば、位置決めユニット１２１６を用いて）再配置するように構成されている。
一部の実施形態では、１つ以上のタイプされた文字の後に配置された第１の手書き単語ブロックをコンテンツ提示エリア内に再配置することは、第１の手書き単語ブロックを、１つ以上のタイプされた文字及び第１の手書き単語ブロックによって占有されたそれぞれの行の下の新規の行内にシフトすることを含む。
上述の情報処理方法での動作は、汎用プロセッサ（例えば、図１Ａ及び図３に関連して上述されたようなもの）又は特定用途向けチップなどの、情報処理装置内の１つ以上の機能モジュールを稼働することによって、任意選択的に実施される。
図８Ａ〜図８Ｃを参照して先述した動作は任意選択的に、図１Ａ〜図１Ｂに示す構成要素により実施される。例えば、生成動作８０４、及び受信動作８０６は任意選択的に、イベントソート部１７０、イベント認識部１８０、及びイベント処理部１９０により実行される。イベントソート部１７０のイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６−１に配信する。アプリケーション１３６−１の対応するイベント認識部１８０は、そのイベント情報を対応するイベント定義１８６に比較し、タッチ感知面上の第１の場所での第１の接触（又は、デバイスの回転）が、ユーザインタフェース上のオブジェクトの選択、又は１つの向きから別の向きへのデバイスの回転などの、既定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、イベント又はサブイベントの検出に関連するイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６若しくはオブジェクト更新部１７７を、任意選択的に用いるか又は呼び出す。一部の実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ〜図１Ｂに示されるコンポーネントに基づいてどのように実施されるかは明らかであろう。
一部の実施形態によれば、図１３は、説明される様々な実施形態の原理に従って構成された電子デバイス１３００の機能ブロック図を示す。このデバイスの機能ブロックは、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせによって、任意選択的に実装される。図１３で説明される機能ブロックが、説明される様々な実施形態の原理を実施するように、任意選択的に組み合わされ、又はサブブロックに分離されることが当業者には理解されよう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組合せ若しくは分割、又は更なる定義を任意選択的に支持する。
図１３に示すように、電子デバイス１３００は、ディスプレイユニット１３０２と、タッチ感知面ユニット１３０４と、ディスプレイユニット１３０２及びタッチ感知面ユニット１３０４に連結された処理ユニット１３０８とを含む。
一部の実施形態では、処理ユニット１３０８は、受信ユユニット１３１０、検出ユニット１３１２、判定ユニット１３１４、及び位置決めユニット１３１６を含む。
処理ユニット１３０８は、デバイスが第１の傾き状態にある間、ディスプレイユニット１３０２上にコンテンツページをスケッチモードで表示するように構成されており、それは、コンテンツページの第１の部分のズームビューをディスプレイユニット１３０２上に表示することと、コンテンツページの部分内のコンテンツを修正するユーザ入力を受け付けるようにコンテンツページの第１の部分のズームビューを（例えば、位置決めユニット１３１６を用いて）構成することを含む。コンテンツページをスケッチモードで表示している間、処理ユニット１３０８は、デバイスが第１の傾き状態から第１の傾き状態とは異なる第２の傾き状態に傾けられるのを（例えば、検出ユニット１３１２を用いて）検出するように構成されている。デバイスが第１の傾き状態第から２の傾き状態に傾けられたことの検出に応じて、処理ユニット１３０８は、コンテンツページの全体像を表示するようにズームアウトすることを含め、全体像モードでコンテンツページをディスプレイユニット１３０２上に表示するように構成されている。
一部の実施形態では、コンテンツページを全体像モードで表示することは、ズームビューで前もって表示されたコンテンツページの第１の部分を示すように入力位置インジケータをコンテンツページの全体像の上に表示することを含む。
一部の実施形態では、処理ユニット１３０８は、コンテンツページを全体像モードで表示している間、入力位置インジケータを、コンテンツページの第１の部分とは異なるコンテンツページの第２の部分まで移動させるユーザ入力を（例えば、検出ユニット１３１２を用いて）検出するように構成されている。入力位置インジケータがコンテンツページの第２の部分に配置されている間、処理ユニット１３０８は、デバイスが第２の傾き状態から第３の傾き状態まで傾けられるのを（例えば、検出ユニット１３１２を用いて）検出するように構成されている。デバイスが第２の傾き状態から第３の傾き状態に傾けられるのを検出することに応じて、処理ユニット１３０８は、ディスプレイユニット１３０２上にコンテンツページをスケッチモードで表示するように構成されており、この表示することは、ディスプレイユニット１３０２上にコンテンツページの第２の部分のズームビューを表示することと、コンテンツページの第２の部分内のコンテンツを修正するユーザ入力を受け付けるようにコンテンツページの第２の部分のズームビューを（例えば、位置決めユニット１３１６を用いて）構成することと、を含む。
一部の実施形態では、第１の傾き状態及び第３の傾き状態は、第２の傾き状態と同一の側にある。
一部の実施形態では、第２の傾き状態及び第３の傾き状態は、第１の傾き状態と異なる側にある。
一部の実施形態では、処理ユニット１３０８は、デバイスが第１の傾き状態にある間、コンテンツページをスケッチモードで表示する前に、ディスプレイユニット１３０２上に全体像モードでコンテンツページを表示するように構成されている。コンテンツページを全体像モードで表示している間、処理ユニット１３０８は、コンテンツページの第１の部分に向けられた逆ピンチジェスチャを（例えば、検出ユニット１３１２を用いて）検出し、コンテンツページの第１の部分に向けられた逆ピンチジェスチャの検出に応じてスケッチモードに入るように構成されている。
一部の実施形態では、処理ユニット１３０８は、コンテンツページの第１の部分に向けられた逆ピンチジェスチャの検出に応じてスケッチモードに入った後、コンテンツページをスケッチモードで表示している間、コンテンツページの第１の部分に向けられたピンチジェスチャを（例えば、検出ユニット１３１２を用いて）検出し、コンテンツページの第１の部分に向けられたピンチジェスチャの検出に応じて全体像モードに入るように構成されている。
一部の実施形態では、処理ユニット１３０８は、逆ピンチジェスチャが検出された時のデバイスの向きに基づいて全体像モードとスケッチモードとを切り替えるための閾値向きを（例えば、判定ユニット１３１４を用いて）判定するように構成されている。
上述の情報処理方法での動作は、汎用プロセッサ（例えば、図１Ａ及び図３に関連して上述されたようなもの）又は特定用途向けチップなどの、情報処理装置内の１つ以上の機能モジュールを稼働することによって、任意選択的に実施される。
図９Ａ〜図９Ｂを参照して先述した動作は任意選択的に、図１Ａ〜図１Ｂに示す構成要素により実施される。例えば、検出する動作９１０、及び判定する動作９２０は任意選択的に、イベントソータ１７０、イベント認識部１８０、及びイベント処理部１９０により実行される。イベントソート部１７０のイベントモニタ１７１は、タッチ感知ディスプレイ１１２上の接触を検出し、イベントディスパッチャモジュール１７４は、イベント情報をアプリケーション１３６−１に配信する。アプリケーション１３６−１の対応するイベント認識部１８０は、そのイベント情報を対応するイベント定義１８６に比較し、タッチ感知面上の第１の場所での第１の接触（又は、デバイスの回転）が、ユーザインタフェース上のオブジェクトの選択、又は１つの向きから別の向きへのデバイスの回転などの、既定のイベント又はサブイベントに対応するか否かを判定する。対応する既定のイベント又はサブイベントが検出されると、イベント認識部１８０は、イベント又はサブイベントの検出に関連するイベント処理部１９０をアクティブ化する。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６若しくはオブジェクト更新部１７７を、任意選択的に用いるか又は呼び出す。一部の実施形態では、イベント処理部１９０は、アプリケーションにより表示されるものを更新するために、対応するＧＵＩ更新部１７８にアクセスする。同様に、当業者にとって、他の処理が図１Ａ〜図１Ｂに示されるコンポーネントに基づいてどのように実施されるかは明らかであろう。
上述の説明は、説明の目的上、特定の実施形態を参照して説明されている。しかしながら、上記の例示的な論考は、網羅的であること、又は本発明を、開示される厳密な形態に限定することを意図するものではない。上記の教示を鑑みて、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に好適な様々な改良で本発明及び様々な実施形態を最良の形で使用することを可能とするために、これらの実施形態を選択し説明した。

Claims (28)

  1. コンテンツページ上に手書きコンテンツを表示する方法であって、
    １つ以上のプロセッサ、メモリ及びディスプレイを有するデバイスにおいて、
    タイプされたテキストをコンテンツ提示エリア内に表示している間、複数の手書きストロークを、前記コンテンツ提示エリアとは異なる入力エリアで受信することと、
    前記複数の手書きストロークの受信に応じて、手書きのテキスト入力とスケッチ入力とを区別する所定の基準に従って、前記複数の手書きストロークがテキスト入力か、それともスケッチかを判定することと、
    前記複数の手書きストロークがテキスト入力であるとの判定に従って、
    前記複数の手書きストロークに基づいて１つ以上の手書き単語ブロックを生成することと、
    第１の所定のレイアウト基準に従って、前記タイプされたテキストに隣接する前記１つ以上の手書き単語ブロックを、前記１つ以上の手書き単語ブロックと前記タイプされたテキストとの間の重なりを許可しないまま、前記コンテンツ提示エリア内に位置付けることと、
    前記複数の手書きストロークがスケッチであるとの判定に従って、
    前記複数の手書きストロークに基づいて、スケッチコンテンツオブジェクトを生成することと、
    前記第１の所定のレイアウト基準とは異なる第２の所定のレイアウト基準に従って前記スケッチコンテンツオブジェクトを前記コンテンツ提示エリア内に位置付けることと、
    を含む方法。
  2. 前記１つ以上の手書き単語ブロックを前記コンテンツ提示エリア内に位置付けた後、１つ以上のタイプされた文字を前記コンテンツ提示エリア内に挿入するためのタイプされた入力を受信することと、
    前記タイプされた入力の受信に応じて、前記コンテンツ提示エリア内の前記１つ以上のタイプされた文字によって占有される第１の領域、及び前記１つ以上の手書き単語ブロックによって現在占有されている第２の領域が、第１のレイアウト更新基準を満たすかを判定することと、
    前記第１の領域及び前記第２の領域が前記第１のレイアウト更新基準を満たすとの判定に従って、前記１つ以上のタイプされた文字を収容するように前記コンテンツ提示エリアに関連付けられた書き方向に前記１つ以上の手書き単語ブロックをシフトすることと、
    を含む、請求項１に記載の方法。
  3. 前記１つ以上の手書き単語ブロックを前記コンテンツ提示エリアに関連付けられた前記書き方向にそれぞれの量だけシフトした後、前記１つ以上の手書き単語ブロックのうち少なくとも１つを、前記コンテンツ提示エリア内の前記１つ以上の手書き単語ブロックによって占有されている現在の行の下の次の行にシフトすることを含む、請求項２に記載の方法。
  4. 前記１つ以上の手書き単語ブロックを前記コンテンツ提示エリア内に位置付けた後、１つ以上の追加の手書き単語ブロックを前記コンテンツ提示エリア内に挿入するための手書き入力を受信することと、
    前記手書き入力の受信に応じて、前記コンテンツ提示エリア内の前記１つ以上の追加の手書き単語ブロックによって占有される第３の領域、及び前記１つ以上の手書き単語ブロックによって現在占有されている前記第２の領域が、前記第１のレイアウト更新基準を満たすかを判定することと、
    前記第３の領域及び前記第２の領域が前記第１のレイアウト更新基準を満たすとの判定に従って、前記１つ以上の追加の手書き単語ブロックを収容するように前記コンテンツ提示エリアに関連付けられた前記書き方向に前記１つ以上の手書き単語ブロックをシフトすることと、
    を含む、請求項２又は３に記載の方法。
  5. 前記１つ以上の手書き単語ブロックを前記コンテンツ提示エリアに関連付けられた前記書き方向にそれぞれの量だけシフトした後、前記１つ以上の手書き単語ブロックのうち少なくとも１つを、前記コンテンツ提示エリア内の前記１つ以上の手書き単語ブロックによって占有されている現在の行の下の次の行にシフトすることを含む、請求項４に記載の方法。
  6. 前記１つ以上の追加の手書き単語ブロック及び前記１つ以上の手書き単語ブロックをユニットとして操作されるグループにグループ化することを含む、請求項４又は５に記載の方法。
  7. 前記コンテンツ提示エリアは、前記複数の手書きストロークを受信する前の既存のタイプされたテキストを含み、前記第１の所定のレイアウト基準に従って前記タイプされたテキストに隣接する前記１つ以上の手書き単語ブロックを前記コンテンツ提示エリア内に位置付けることは、
    前記コンテンツ提示エリア内の前記１つ以上の手書き単語ブロックによって占有された前記第２の領域、及び前記コンテンツ提示エリア内の前記既存のタイプされたテキストによって現在占有されている第４の領域が前記第１のレイアウト更新基準を満たすことを判定することと、
    前記第２の領域と前記第４の領域が前記第１のレイアウト更新基準を満たすとの前記判定に従って、
    前記１つ以上の手書き単語ブロックを収容するために前記既存のタイプされたテキストを前記コンテンツ提示エリアに関連付けられた前記書き方向にシフトすることと、
    前記１つ以上の単語ブロックを、前記コンテンツ提示エリア内の前記既存のタイプされたテキストの前に挿入することと、
    を含む、請求項２から６のいずれか一項に記載の方法。
  8. 前記既存のタイプされたテキストを前記コンテンツ提示エリアに関連付けられた前記書き方向にそれぞれの量だけシフトした後、前記既存のタイプされたテキストの少なくとも一部を、前記コンテンツ提示エリア内の前記既存のタイプされたテキストによって占有されている現在の行の下の次の行までシフトすることを含む、請求項７に記載の方法。
  9. 前記スケッチコンテンツオブジェクトを前記コンテンツ提示エリア内に位置付けた後、１つ以上のタイプされた文字を前記コンテンツ提示エリア内に挿入するためのタイプされた入力を受信することと、
    前記タイプされた入力の受信に応じて、前記コンテンツ提示エリア内の前記１つ以上のタイプされた文字によって占有される第４の領域、及び前記スケッチコンテンツオブジェクトによって現在占有されている第５の領域が、第２のレイアウト更新基準を満たすかを判定することと、
    前記第４の領域及び前記第５の領域が前記第２のレイアウト更新基準を満たすとの前記判定に従って、前記１つ以上のタイプされた文字及び前記スケッチコンテンツオブジェクトを、前記所定の第２のレイアウト基準に従って前記コンテンツ提示エリア内に配列することと、
    を含む、請求項１に記載の方法。
  10. 前記スケッチコンテンツオブジェクトを前記コンテンツ提示エリア内に位置付けた後、１つ以上の追加の手書き単語ブロックを前記コンテンツ提示エリア内に挿入するための手書き入力を受信することと、
    前記手書き入力の受信に応じて、前記コンテンツ提示エリア内の前記１つ以上の追加の手書き単語ブロックによって占有される第６の領域、及び前記スケッチコンテンツオブジェクトによって現在占有されている前記第５の領域が、前記第２のレイアウト更新基準を満たすかを判定することと、
    前記第６の領域及び前記第５の領域が前記第２のレイアウト更新基準を満たすとの判定に従って、前記所定の第２のレイアウト基準に従って、前記１つ以上の追加の手書き単語ブロック及び前記スケッチコンテンツオブジェクトを前記コンテンツ提示エリア内に配列することと、
    を含む、請求項９に記載の方法。
  11. 前記コンテンツ提示エリアは、前記複数の手書きストロークを受信する前の既存のタイプされたテキストを含み、前記第２の所定のレイアウト基準に従って、前記スケッチコンテンツオブジェクトを前記コンテンツ提示エリア内に位置付けることは、前記スケッチコンテンツオブジェクトの少なくとも一部を、前記コンテンツ提示エリア内の前記既存のタイプされたテキスト上に重ね合わせることを含む、請求項１及び請求項９又は１０のいずれか一項に記載の方法。
  12. 前記スケッチコンテンツオブジェクト及び前記既存のタイプされたテキストのうち少なくとも一部分を、ユニットとして操作されるグループにグループ化することを含む、請求項１１に記載の方法。
  13. 前記１つ以上の手書き単語ブロックを前記コンテンツ提示エリア内に位置付けることは、前記１つ以上の手書き単語ブロックを前記コンテンツ提示エリア内のそれぞれの行内に位置付けることを含み、前記方法は、
    前記１つ以上の手書き単語ブロックのうちの少なくとも１つの選択を検出することと、
    前記１つ以上の手書き単語ブロックのうちの前記少なくとも１つが選択されている間、前記１つ以上の手書き単語ブロックのうち前記選択された少なくとも１つに向けられたドラッグ入力を受信することと、
    前記ドラッグ入力が前記コンテンツ提示エリア内の前記１つ以上の手書き単語ブロックによって現在占有されている前記それぞれの行に沿ったフォーカスセレクタの移動を含むときに満たされる基準を含むコンテンツリフロー基準を前記ドラッグ入力が満たすとの判定に従って、前記それぞれの行に沿って前記１つ以上の手書き単語ブロックを前記ドラッグ入力に従ってシフトすることと、
    を含む、請求項１から１２のいずれか一項に記載の、方法。
  14. 前記１つ以上の手書き単語ブロックが前記ドラッグ入力に従って前記コンテンツ提示エリアに関連付けられた書き方向にシフトされ、前記方法は、
    前記１つ以上の手書き単語ブロックを、前記コンテンツ提示エリアに関連付けられた書き方向に前記それぞれの行に沿ってそれぞれの量だけシフトした後、前記１つ以上の手書き単語ブロックのうち少なくとも１つを、前記コンテンツ提示エリア内の前記それぞれの行の下の次の行までシフトすることを含む、請求項１３に記載の方法。
  15. 前記１つ以上の手書き単語ブロックの前記シフト中、前記それぞれの行内の前記１つ以上の手書き単語ブロックによって前もって占有されているスペースを空白として維持することを含む請求項１４に記載の方法。
  16. 前記それぞれの行に沿って、前記１つ以上の手書き単語ブロックが前記コンテンツ提示エリアに関連付けられた書き方向と反対の、逆書き方向にシフトされ、前記方法は、
    前記１つ以上の手書き単語ブロックを、前記コンテンツ提示エリアに関連付けられた前記逆書き方向に前記それぞれの行に沿ってそれぞれの量だけシフトした後、前記１つ以上の手書き単語ブロックのうち少なくとも１つを、前記コンテンツ提示エリア内の前記それぞれの行の上の前の行までシフトすることを含む、請求項１３に記載の方法。
  17. 前記コンテンツ提示エリアに関連付けられた書き方向とは反対の逆書き方向に、前記１つ以上の手書き単語ブロックの後に位置付けられたコンテンツを、前記１つ以上の手書き単語ブロックの前記シフト中、前記それぞれの行内の、前記１つ以上の手書き単語ブロックによって前もって占有されたスペースの中にシフトすることを含む、請求項１３に記載の方法。
  18. 前記ドラッグ入力が、前記１つ以上の手書き単語ブロックによって現在占有されている前記それぞれの行から、前記それぞれの行の外の場所までのフォーカスセレクタの移動を含むときに満たされる基準を含むコンテンツ移動基準を前記ドラッグ入力が満たすとの判定に従って、前記１つ以上の手書き単語ブロックのうち前記選択された少なくとも１つを、前記ドラッグ入力に従って、前記コンテンツ提示エリア内の第１の場所から第２の場所まで移動させることを含む、請求項１３に記載の方法。
  19. 前記１つ以上の手書き単語ブロックのうち前記選択された少なくとも１つを移動させることは、
    前記１つ以上の手書き単語ブロックのうち前記選択された少なくとも１つを、前記コンテンツ提示エリア内の第１の既存のタイプされたテキストの後の場所まで移動させることと、
    前記１つ以上の手書き単語ブロックのうちの前記選択された少なくとも１つと前記第１の既存のタイプされたテキストとの間のコンテンツを、コンテンツ提示エリア内で、前記コンテンツ提示エリアに関連付けられた書き方向とは反対の逆書き方向にシフトして、前記１つ以上の手書き単語ブロックのうち前記選択された少なくとも１つの前記移動によって作成されたスペースを埋めることと、
    を含む、請求項１８に記載の方法。
  20. 前記１つ以上の手書き単語ブロックのうち前記選択された少なくとも１つを移動させることは、
    前記１つ以上の手書き単語ブロックのうち前記選択された少なくとも１つを、第２の既存のタイプされたテキストの前の場所まで移動させることと、
    前記１つ以上の手書き単語ブロックのうち前記選択された少なくとも１つを収容するためにスペースを作成するように前記第２の既存のタイプされたテキストを、前記コンテンツ提示エリアに関連付けられた書き方向にシフトすることと、
    を含む、請求項１８に記載の方法。
  21. 手書きのテキスト入力とスケッチ入力とを区別するための所定の基準に従って前記複数の手書きストロークがテキスト入力か、それともスケッチかを判定することは、前記複数の手書きストロークがコンテンツ入力エリア内に表現される単一の行の高さに収まるときは、前記複数の手書きストロークがテキスト入力であると判定することを含む、請求項１から２０のいずれか一項に記載の方法。
  22. １つ以上の手書き単語ブロックを前記複数の手書きストロークに基づいて生成することは、前記複数の手書きストロークの間の時間的かつ空間的関係に基づいて１つ以上の手書き単語ブロックを生成することを含む、請求項１から２１のいずれか一項に記載の方法。
  23. 前記複数の手書きストロークがテキスト入力か、それともスケッチかを判定することは、手書き認識に基づくものではない、請求項１から２２のいずれか一項に記載の方法。
  24. １つ以上の手書き単語ブロックを前記複数の手書きストロークに基づいて生成することは、手書き認識に基づくものではない、請求項１から２３のいずれか一項に記載の方法。
  25. 電子デバイスであって、
    ディスプレイと、
    タッチ感知面と、
    １つ以上のプロセッサと、
    メモリと、
    １つ以上のプログラムと、
    を備え、
    前記１つ以上のプログラムは、前記メモリに記憶され、
    前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムは、
    タイプされたテキストをコンテンツ提示エリア内に表示している間、複数の手書きストロークを、前記コンテンツ提示エリアとは異なる入力エリアで受信し、
    前記複数の手書きストロークの受信に応じて、手書きのテキスト入力とスケッチ入力とを区別する所定の基準に従って前記複数の手書きストロークがテキスト入力か、それともスケッチかを判定し、
    前記複数の手書きストロークがテキスト入力であるとの判定に従って、
    前記複数の手書きストロークに基づいて１つ以上の手書き単語ブロックを生成し、
    第１の所定のレイアウト基準に従って、前記タイプされたテキストに隣接する前記１つ以上の手書き単語ブロックを、前記１つ以上の手書き単語ブロックと前記タイプされたテキストとの間の重なりを許可しないまま、前記コンテンツ提示エリア内に位置付け、
    前記複数の手書きストロークがスケッチであるとの判定に従って、
    前記複数の手書きストロークに基づいて、スケッチコンテンツオブジェクトを生成し、
    前記第１の所定のレイアウト基準とは異なる第２の所定のレイアウト基準に従って前記スケッチコンテンツオブジェクトを前記コンテンツ提示エリア内に位置付ける、
    命令含む、電子デバイス。
  26. 前記１つ以上のプログラムは、前記電子デバイスによって実行されると、請求項２から２４のいずれか一項に記載の方法を前記電子デバイスに実行させる、請求項２５に記載の電子デバイス。
  27. 実行可能な命令を含むコンピュータプログラムであって、実行可能な命令はディスプレイ及びタッチ感知面を備える電子デバイスによって実行されると、前記電子デバイスに、
    タイプされたテキストをコンテンツ提示エリア内に表示している間、複数の手書きストロークを、前記コンテンツ提示エリアとは異なる入力エリアで受信させ、
    前記複数の手書きストロークの受信に応じて、手書きのテキスト入力とスケッチ入力とを区別する所定の基準に従って前記複数の手書きストロークがテキスト入力か、それともスケッチかを判定させ、
    前記複数の手書きストロークがテキスト入力であるとの判定に従って、
    前記複数の手書きストロークに基づいて１つ以上の手書き単語ブロックを生成させ、
    第１の所定のレイアウト基準に従って、前記タイプされたテキストに隣接する前記１つ以上の手書き単語ブロックを、前記１つ以上の手書き単語ブロックと前記タイプされたテキストとの間の重なりを許可しないまま、前記コンテンツ提示エリア内に位置付けさせ、
    前記複数の手書きストロークがスケッチであるとの判定に従って、
    前記複数の手書きストロークに基づいて、スケッチコンテンツオブジェクトを生成させ、
    前記第１の所定のレイアウト基準とは異なる第２の所定のレイアウト基準に従って前記スケッチコンテンツオブジェクトを前記コンテンツ提示エリア内に位置付けさせる、
    コンピュータプログラム。
  28. 前記プログラムは、前記電子デバイスによって実行されると、請求項２から２４のいずれか一項に記載の方法を前記電子デバイスに実行させる命令を含む、請求項２７に記載のコンピュータプログラム。
JP2018506549A 2015-09-29 2016-07-08 文書編集における手書きサポートを提供するデバイス及び方法 Active JP6584638B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562234604P 2015-09-29 2015-09-29
US62/234,604 2015-09-29
US14/975,556 2015-12-18
US14/975,556 US10346510B2 (en) 2015-09-29 2015-12-18 Device, method, and graphical user interface for providing handwriting support in document editing
PCT/US2016/041590 WO2017058333A1 (en) 2015-09-29 2016-07-08 Device and method for providing handwriting support in document editing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019160628A Division JP6884830B2 (ja) 2015-09-29 2019-09-03 文書編集における手書きサポートを提供するデバイス及び方法

Publications (2)

Publication Number Publication Date
JP2018530042A JP2018530042A (ja) 2018-10-11
JP6584638B2 true JP6584638B2 (ja) 2019-10-02

Family

ID=58407261

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018506549A Active JP6584638B2 (ja) 2015-09-29 2016-07-08 文書編集における手書きサポートを提供するデバイス及び方法
JP2019160628A Active JP6884830B2 (ja) 2015-09-29 2019-09-03 文書編集における手書きサポートを提供するデバイス及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019160628A Active JP6884830B2 (ja) 2015-09-29 2019-09-03 文書編集における手書きサポートを提供するデバイス及び方法

Country Status (5)

Country Link
US (3) US10346510B2 (ja)
EP (2) EP3835934B1 (ja)
JP (2) JP6584638B2 (ja)
CN (1) CN107850978A (ja)
WO (1) WO2017058333A1 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8232973B2 (en) 2008-01-09 2012-07-31 Apple Inc. Method, device, and graphical user interface providing word recommendations for text input
WO2013169877A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting user interface objects
DE112013002409T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
CN108287651B (zh) 2012-05-09 2021-04-13 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
JP6182207B2 (ja) 2012-05-09 2017-08-16 アップル インコーポレイテッド ユーザインタフェースオブジェクトのアクティブ化状態を変更するためのフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
JP2015519656A (ja) 2012-05-09 2015-07-09 アップル インコーポレイテッド ユーザインタフェースオブジェクトを移動し、ドロップするためのデバイス、方法及びグラフィカルユーザインタフェース
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
JP6002836B2 (ja) 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
JP6097843B2 (ja) 2012-12-29 2017-03-15 アップル インコーポレイテッド コンテンツをスクロールするか選択するかを判定するためのデバイス、方法、及びグラフィカルユーザインタフェース
US9465985B2 (en) 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
US10255267B2 (en) 2014-05-30 2019-04-09 Apple Inc. Device, method, and graphical user interface for a predictive keyboard
US9874950B2 (en) * 2014-11-21 2018-01-23 Lenovo (Singapore) Pte. Ltd. Adaptive guidelines for handwriting
KR20160062566A (ko) * 2014-11-25 2016-06-02 삼성전자주식회사 필기 문자를 보정하는 디바이스 및 방법
US10614300B2 (en) * 2014-12-23 2020-04-07 Lenovo (Singapore) Pte. Ltd. Formatting handwritten content
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) * 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
US10346510B2 (en) * 2015-09-29 2019-07-09 Apple Inc. Device, method, and graphical user interface for providing handwriting support in document editing
US10852938B2 (en) * 2016-01-07 2020-12-01 Myscript System and method for mixed content digital ink interactivity
USD808410S1 (en) * 2016-06-03 2018-01-23 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
DK179329B1 (en) 2016-06-12 2018-05-07 Apple Inc Handwriting keyboard for monitors
KR102544780B1 (ko) * 2016-07-04 2023-06-19 삼성전자주식회사 필기 입력에 따른 사용자 인터페이스 제어 방법 및 이를 구현한 전자 장치
US10514844B2 (en) * 2016-11-16 2019-12-24 Dell Products L.P. Automatically modifying an input area based on a proximity to one or more edges
WO2018212998A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Devices, methods, and graphical user interfaces for moving user interface objects
US20190007536A1 (en) * 2017-07-03 2019-01-03 Essential Products, Inc. Handheld writing implement form factor mobile device
US10462345B2 (en) 2017-08-11 2019-10-29 Essential Products, Inc. Deformable structure that compensates for displacement of a camera module of a camera accessory
EP3667484A1 (en) * 2017-08-22 2020-06-17 Samsung Electronics Co., Ltd. Electronic device and control method thereof
JP6842672B2 (ja) * 2017-09-15 2021-03-17 ブラザー工業株式会社 印刷処理プログラム
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US10871886B2 (en) * 2018-05-31 2020-12-22 Apple Inc. Device, method, and graphical user interface for moving drawing objects
US11017258B2 (en) * 2018-06-05 2021-05-25 Microsoft Technology Licensing, Llc Alignment of user input on a screen
US10719230B2 (en) * 2018-09-27 2020-07-21 Atlassian Pty Ltd Recognition and processing of gestures in a graphical user interface using machine learning
JP7119857B2 (ja) * 2018-09-28 2022-08-17 富士通株式会社 編集プログラム、編集方法および編集装置
CN115187702A (zh) * 2018-10-16 2022-10-14 华为技术有限公司 一种内容编辑的方法及终端
JP2020071799A (ja) * 2018-11-02 2020-05-07 シャープ株式会社 情報処理装置、情報処理方法、及びプログラム
AU2019371393A1 (en) * 2018-11-02 2021-05-27 Cser Ventures, LLC System for generating an output file
US10783323B1 (en) * 2019-03-14 2020-09-22 Michael Garnet Hawkes Analysis system
US11720621B2 (en) * 2019-03-18 2023-08-08 Apple Inc. Systems and methods for naming objects based on object content
CN114564113A (zh) 2019-05-06 2022-05-31 苹果公司 电子设备上的手写输入
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
US11074408B2 (en) 2019-06-01 2021-07-27 Apple Inc. Mail application features
EP3754537A1 (en) * 2019-06-20 2020-12-23 MyScript Processing text handwriting input in a free handwriting mode
KR20210017063A (ko) * 2019-08-06 2021-02-17 삼성전자주식회사 전자 장치 및 그의 필기 입력을 처리하는 방법
CN112860157B (zh) * 2019-11-12 2022-06-24 广州视源电子科技股份有限公司 显示元素调整方法、装置、设备及存储介质
JP2021117766A (ja) * 2020-01-27 2021-08-10 富士通株式会社 表示制御プログラム、表示制御方法、及び表示制御装置
US20210349627A1 (en) * 2020-05-11 2021-11-11 Apple Inc. Interacting with handwritten content on an electronic device
TWI767263B (zh) * 2020-06-24 2022-06-11 仁寶電腦工業股份有限公司 電子裝置及其控制方法
KR20220017290A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 손글씨 정렬 방법 및 장치
CN112269523B (zh) * 2020-10-28 2023-05-26 维沃移动通信有限公司 对象编辑处理方法、装置及电子设备
CN114330253B (zh) * 2021-12-30 2022-10-04 广州文石信息科技有限公司 一种文档编辑方法、装置、设备及可读存储介质

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03226877A (ja) * 1990-02-01 1991-10-07 Oki Electric Ind Co Ltd 手書き文字・図形分離方法
JP3177045B2 (ja) * 1993-01-11 2001-06-18 株式会社東芝 オンライン文字認識装置
US6535897B1 (en) 1993-05-20 2003-03-18 Microsoft Corporation System and methods for spacing, storing and recognizing electronic representations of handwriting printing and drawings
US5528743A (en) * 1993-05-27 1996-06-18 Apple Computer, Inc. Method and apparatus for inserting text on a pen-based computer system
US5596350A (en) * 1993-08-02 1997-01-21 Apple Computer, Inc. System and method of reflowing ink objects
US6021218A (en) * 1993-09-07 2000-02-01 Apple Computer, Inc. System and method for organizing recognized and unrecognized objects on a computer display
JPH07160827A (ja) * 1993-12-09 1995-06-23 Matsushita Electric Ind Co Ltd 手書きストローク編集装置及び方法
JP2939119B2 (ja) * 1994-05-16 1999-08-25 シャープ株式会社 手書き文字入力表示装置および方法
JP2939147B2 (ja) * 1994-12-29 1999-08-25 シャープ株式会社 手書き文字入力表示装置および方法
JPH11272871A (ja) * 1998-03-20 1999-10-08 Toshiba Corp 文書画像処理装置、文書画像処理方法、及び記録媒体
US7259753B2 (en) * 2000-06-21 2007-08-21 Microsoft Corporation Classifying, anchoring, and transforming ink
US6941507B2 (en) * 2000-11-10 2005-09-06 Microsoft Corporation Insertion point bungee space tool
US20020149630A1 (en) 2001-04-16 2002-10-17 Parascript Llc Providing hand-written and hand-drawn electronic mail service
US6661409B2 (en) 2001-08-22 2003-12-09 Motorola, Inc. Automatically scrolling handwritten input user interface for personal digital assistants and the like
US7096432B2 (en) * 2002-05-14 2006-08-22 Microsoft Corporation Write anywhere tool
US7221376B2 (en) * 2002-08-15 2007-05-22 Microsoft Corporation Space tool feedback by changing the displayed visual appearance of objects to be moved before deletion of displayed objects occurs
US7002560B2 (en) 2002-10-04 2006-02-21 Human Interface Technologies Inc. Method of combining data entry of handwritten symbols with displayed character data
US7360157B1 (en) * 2003-09-19 2008-04-15 Microsoft Corporation Aligning content in an electronic document
DE10361511A1 (de) 2003-12-23 2005-07-28 Siemens Ag Kontextabhängige Bedienung von Engineering-Systemen über zeichnerische Eingaben
US7205985B2 (en) 2004-02-02 2007-04-17 Microsoft Corporation Reflowable ink
JP4653445B2 (ja) * 2004-09-01 2011-03-16 株式会社リコー 手書き情報分割装置、手書き情報分割方法、手書き情報分割プログラム及び記録媒体
US7526737B2 (en) 2005-11-14 2009-04-28 Microsoft Corporation Free form wiper
US7774722B2 (en) * 2006-01-31 2010-08-10 Microsoft Corporation Creation and manipulation of canvases based on ink strokes
US8116569B2 (en) * 2007-12-21 2012-02-14 Microsoft Corporation Inline handwriting recognition and correction
CN101676838B (zh) * 2008-09-16 2012-05-23 夏普株式会社 输入装置
US8982045B2 (en) 2010-12-17 2015-03-17 Microsoft Corporation Using movement of a computing device to enhance interpretation of input events produced when interacting with the computing device
KR101978687B1 (ko) * 2011-11-15 2019-05-16 삼성전자주식회사 터치스크린 단말기에서 문자 입력 방법 및 장치
JP5248696B1 (ja) 2012-05-25 2013-07-31 株式会社東芝 電子機器、手書き文書作成方法、及び手書き文書作成プログラム
JP5787843B2 (ja) * 2012-08-10 2015-09-30 株式会社東芝 手書き描画装置、方法及びプログラム
JP2014127188A (ja) 2012-12-27 2014-07-07 Toshiba Corp 整形装置及び方法
FR3005175B1 (fr) 2013-04-24 2018-07-27 Myscript Systeme de synchronisation permanente pour la saisie manuscrite
WO2015059787A1 (ja) * 2013-10-23 2015-04-30 株式会社 東芝 電子機器、方法及びプログラム
CN103699325B (zh) * 2013-12-24 2017-01-18 南京富士通南大软件技术有限公司 一种可以连续输入的手写输入方法
JP5977768B2 (ja) 2014-01-14 2016-08-24 シャープ株式会社 画像表示装置及びその操作方法
US10614300B2 (en) * 2014-12-23 2020-04-07 Lenovo (Singapore) Pte. Ltd. Formatting handwritten content
CN104615367B (zh) * 2015-01-14 2017-08-25 中国船舶重工集团公司第七0九研究所 基于手写输入状态自适应判断处理的笔式交互方法及系统
US10437461B2 (en) * 2015-01-21 2019-10-08 Lenovo (Singapore) Pte. Ltd. Presentation of representation of handwriting input on display
US10346510B2 (en) * 2015-09-29 2019-07-09 Apple Inc. Device, method, and graphical user interface for providing handwriting support in document editing
US11402991B2 (en) * 2015-12-01 2022-08-02 Myscript System and method for note taking with gestures

Also Published As

Publication number Publication date
CN107850978A (zh) 2018-03-27
JP6884830B2 (ja) 2021-06-09
US11481538B2 (en) 2022-10-25
JP2020017290A (ja) 2020-01-30
JP2018530042A (ja) 2018-10-11
US20190303423A1 (en) 2019-10-03
EP3323035A1 (en) 2018-05-23
US20170091153A1 (en) 2017-03-30
EP3835934A1 (en) 2021-06-16
US10346510B2 (en) 2019-07-09
WO2017058333A1 (en) 2017-04-06
US20210150121A1 (en) 2021-05-20
EP3835934B1 (en) 2023-09-27

Similar Documents

Publication Publication Date Title
US11481538B2 (en) Device, method, and graphical user interface for providing handwriting support in document editing
US11366576B2 (en) Device, method, and graphical user interface for manipulating workspace views
US11829578B2 (en) Devices, methods, and graphical user interfaces for interacting with user interface objects and providing feedback
US11132120B2 (en) Device, method, and graphical user interface for transitioning between user interfaces
KR102476243B1 (ko) 터치 입력 커서 조작
US10304163B2 (en) Landscape springboard
US20210049321A1 (en) Device, method, and graphical user interface for annotating text
US9442516B2 (en) Device, method, and graphical user interface for navigating through an electronic document
US20190339863A1 (en) Devices, Methods, and Graphical User Interfaces for Keyboard Interface Functionalities
US20160299657A1 (en) Gesture Controlled Display of Content Items
US11275499B2 (en) Device, method, and graphical user interface for changing a number of columns of an application region

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190903

R150 Certificate of patent or registration of utility model

Ref document number: 6584638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250