JP7448132B2 - 手書きの構造分解 - Google Patents

Description

本開示は、一般に、フィールド手書き認識及び手書き処理に関し、具体的には、手書きでリストを認識することができるコンピューティングデバイスに関する。

手書き入力及び認識、すなわち、テキストコンテンツ（例えば、英数字）または非テキストコンテンツ（例えば、形状、図面）などの、ユーザによって手描きまたは手書きされた入力要素のために、様々なコンピューティングデバイスが長年にわたって開発されてきた。この目的のために、既知のコンピューティングデバイスは通常、ユーザがディスプレイ画面に表示され得るデジタルインクのストロークの形で手書きコンテンツを入力することを可能にするタッチセンシティブ面などを備えている。

ユーザの手書き入力は、ユーザが手書きを入力するときにリアルタイムで認識できるオンライン手書き認識システムを使用して解釈できる。手書き認識は、例えば、クラウドベースのソリューションなどを使用して実行することができる。代替的には、オフラインシステムも知られている。認識されると、コンピューティングデバイスは、たとえば入力ストロークをタイプセットバージョンに変換し、編集機能を実装するなど、適切な処理タスクを実行できる。

手書きの表示、操作（テキストリフローなど）、編集などの優れた体験をユーザに提供するには、ユーザからの手書き入力を認識し、その構造分解（文、段落、リストなどの構造要素）は、可能な限り正確に決定される。

テキスト分類器は既に知られており、手書き文字、数字、記号、アクセントなどの手書きテキストを認識するために使用される。ただし、手書き入力は様々な性質のものである可能性があり、手書き認識のタスクが困難になることがある。構造分解は、それぞれの場合によって、テキストにおいて大きく変動する場合もある。手書きの文書では、読者は手書きのグローバル構造を直感的に認識できるが、手書き認識システムがテキストの構造分解を識別することは特に難しい場合がある。たとえば、ワードプロセッサとは異なり、従来の手書き認識システムは、手書きテキスト内のリストを検出するために、特別なユーザ命令（例えば、行区切り文字、段落区切り文字、垂直及び水平タブキー）に依存できない。

したがって、手書きのテキスト構造分解、すなわち構造配置を決定するための効率的で信頼できるソリューションが必要である。具体的には、手書きの段落を検出するための効率的なソリューションが不足している。手書きのリストを検出するための効率的なソリューションも不足している。具体的には、手書き文字に対する操作や編集を改善するために、手書き文字中のリスト要素と非リスト要素を正確かつ信頼性の高い方法で識別するソリューションが必要とされている。

本明細書で以下に説明する本発明の例は、手書きでリストを処理するためのコンピューティングデバイス、方法、及び対応するコンピュータプログラムを提供する。

特定の態様によれば、本発明は、手書きでリストを処理するためのコンピューティングデバイスによって実装される方法を提供し、
電子文書内のデジタルインクの複数のストロークに対してテキスト手書き認識を実行することによって、テキストであって、テキストが複数の連続するテキスト行を含むテキスト、を認識することと、
最初に、各認識されたテキスト行を、リストの一部ではない別個のテキスト項目として分類することと、
ａ）テキスト行が、テキスト行がリストの一部であることを示す所定のリスト記号で始まるかどうかを判定し、所定のリスト記号で始まる各テキスト行をリストの一部である別個のリスト項目として分類するための、各テキスト行におけるパターン検出ステップと、
ｂ）ステップａ）に応答して、基準位置に対する各テキスト項目の項目インデントを決定し、基準位置に対するリスト項目で構成されるテキストのインデントを表すテキストインデントを各リスト項目に対して決定するステップと、
ｃ）ステップｂ）に応答して、
テキストにおいて、第１のテキスト行によって、続いて第２のテキスト行によって形成される連続するテキスト行の各対を、一対の第１の及び第２のテキスト行が同じインデントを有するテキスト項目である場合、かつ、第１のテキスト行の末尾に、第２のテキスト行を開始する第１の単語を収容するのに十分な空きスペースがない場合、同一のテキスト項目の一部としてマージすることと、
第１のテキスト行によって、続いて第２のテキスト行によって形成される連続したテキスト行の各対を、第１のテキスト行がリスト項目であり、第２のテキスト行が、第１のテキスト行のテキストインデントと一致する項目のインデントを有するテキスト項目である場合、かつ、第１のテキスト行の末尾に、第２のテキスト行を開始する第１の単語を収容するのに十分な空きスペースがない場合、同一のリスト項目の一部としてマージすることと、を含むマージプロセスステップと、を含む分類プロセスと、
マージプロセスの結果に基づいて、各テキスト行をテキスト項目またはリスト項目の一部として定義するテキスト構造データモデルを生成することと、を含む。

本発明は、手書き文字のテキスト構造分解、すなわち構造配置を決定するための効率的で信頼性の高いソリューションを提供する。本発明のおかげで、手書きのリスト項目を検出することができる。具体的には、本発明は、例えば、手書きの操作または編集を改善するために、正確かつ信頼できる方法で、手書きのリスト要素及び非リスト要素を区別する（または識別する）ことを可能にする。手書きの段落も検出することができる。

特定の実施形態では、本方法は、ユーザ入力としてデジタルインクの複数のストロークを取得し表示することを含み、該認識することは、取得されたストロークに対してテキスト手書き認識を実行し、認識されたテキストから複数の連続したテキスト行を識別することを含む。

特定の実施形態では、該パターン検出は、各テキスト行について、テキスト行を開始する第１の記号を所定のリスト記号のセットと比較して、一致するかどうかを判定することを含む。

特定の実施形態では、所定のリスト記号は、数字または箇条書きである。

特定の実施形態では、位置参照は、電子文書内の所定の位置である。

特定の実施形態では、マージプロセスは、第１のテキスト行がテキスト項目であり、第２のテキスト行がリスト項目である場合、第１のテキスト行によって、続いて第２のテキスト行によって形成される連続するテキスト行の各ペアを別個の項目として維持することを含む。

特定の実施形態では、テキスト構造データモデルは、認識されたテキストを少なくとも１つのテキスト項目及び／または少なくとも１つのリスト項目に分解し、各項目は少なくとも１つのテキスト行及び少なくとも１つのテキスト行に属する各ストロークと関連付けられる。

特定の実施形態では、本方法は、ユーザ命令に応答して、テキスト構造データモデルに基づく認識されたテキストの編集を含み、該編集は、
認識されたテキストの少なくとも１つの項目の内容を修正することと、
認識されたテキストの少なくとも１つの項目のデジタルインクをリフローさせるリフロープロセス、のうちの少なくとも１つを含み、
コンピューティングデバイスは、テキスト構造データモデルの情報を使用して、編集を制御する。

特定の実施形態では、リフロープロセス中に、ユーザ分割コマンドに応答して直前の項目から以前に分離されたテキストまたはリスト項目は、２つの項目を一緒に結合するユーザ結合コマンドに応答してのみ該直前の項目へマージされる。

特定の実施形態では、本方法は、
認識されたテキストを表示することと、
テキスト構造データモデルを生成した後、表示されている認識されたテキストに変更を加えるユーザ命令を取得することと、
テキスト構造データモデルを更新して、ユーザ命令によって引き起こされた変更を反映させる、更新プロセスと、を含む。

特定の実施形態では、ユーザ命令によって引き起こされる変更は、電子文書に少なくとも１つの新しいストロークを追加し、及び／または少なくとも１つの既存のストロークを削除または修正することを含み、更新プロセスは、テキスト構造データモデルから削除されたストロークを削除することと、テキスト構造データモデルのテキストまたはリスト項目のいずれかの既存または新規の項目に新しいストロークを割り当てることによって、テキスト構造データモデルを更新することと、を含む。

特定の実施形態では、テキスト構造データモデルを該生成することは、
各テキスト項目について、該テキスト項目の最初の可視文字で始まり、前方に伸びて、開始ゾーンが該テキスト項目の末尾に達した場合に、所定の数以下の連続する可視文字に達するまで、１つ以上の完全な単語を囲む該開始ゾーンと、
各リスト項目について、関連する所定のリスト記号から始まり、前方に伸びて、所定の連続した可視文字の数に達するまで、または箇条書き領域が該リスト項目の末尾に達する場合はそれ未満まで、１つ以上の完全な単語を囲む、該箇条書き領域と、を定義することを含み、
更新プロセスは、各項目について、ユーザ命令によって引き起こされた変更が開始ゾーンまたは箇条書きゾーンを変更するかどうか、及び／または、少なくとも１つの文字が該開始ゾーンまたは該箇条書きゾーンの前に追加されるかどうかを判定し、肯定の場合、変更に基づいて該開始ゾーンまたは該箇条書きゾーンを更新し、該更新後の開始ゾーンまたは箇条書きゾーンに基づいて該ステップａ）、ｂ）及びｃ）を繰り返して、テキスト構造データモデルを更新すること、を含む。

特定の実施形態では、更新プロセスは、
該ユーザ命令に応答して、テキストまたはリスト項目のテキスト行内に追加された少なくとも１つのストロークを検出することと、
該テキスト行が、テキスト行がリストの一部であることを示す所定のリスト記号で始まるかどうかを判定することと、
肯定の場合、対応するテキスト項目またはリスト項目を分割して新しいリスト項目を作成し、テキスト構造データモデルを更新して該分割を反映することと、を含む。

特定の実施形態では、テキスト構造データモデルを生成することは、
各テキスト項目及び各リスト項目について、最初の行を過ぎた該項目のテキスト行の最初の可視文字で始まり、前方に伸びて、開始ゾーンがテキスト項目の末尾に達した場合に、所定の数以下の連続する可視文字に達するまで、１つ以上の完全な単語を囲むそれぞれの開始ゾーン、を定義することを含み、
更新プロセスは、
各テキスト項目及び各リスト項目について、第１のテキスト行を過ぎた各テキスト行が、該ユーザ命令に応答して、該テキスト行の開始ゾーン内または開始ゾーン前に追加された任意の新しいストロークをチェックすることと、
ポジティブチェックされた各テキスト行について、該テキスト行が、該テキスト行がリストの一部であることを示す所定のリスト記号で始まるかどうかを判定することと、
肯定の場合、対応するテキスト項目またはリスト項目を分割して所定のリスト記号で始まる新しいリスト項目を作成し、テキスト構造データモデルを更新して分割を反映することと、を含む。

特定の実施形態では、該テキスト構造データモデルを生成することは、各テキスト及びリスト項目について、該項目の最後の可視文字から１つ以上の完全な単語を囲んで後方に延びるエンドゾーンを、エンドゾーンが該項目の先頭に達する場合は所定の数以下の連続可視文字数に達するまで定義することを含み、
更新プロセスは、
各項目について、ユーザ命令によって引き起こされた変更がそのエンドゾーンを変更するかどうか、及び／または、エンドゾーンの後に少なくとも１つのストロークが追加されるかどうかを判定し、肯定の場合、変更に基づいて該エンドゾーンを更新し、該更新されたエンドゾーンに基づいて該ステップｃ）を繰り返して、テキスト構造データモデルを更新することを含む。

特定の実施形態では、既存の項目を２つの別個の項目に分割するためのユーザ命令として受け取った分割コマンドに応答して、
分割コマンドでテキスト行の開始位置または末尾位置に分割位置を指定した場合、該分割位置に空行が挿入し、
分割コマンドがテキスト行内に分割位置を指定する場合、更新プロセスは、
該テキスト行を、分割位置において、該既存の項目を分割して得られた第１の項目及び第２の項目にそれぞれ属する第１のテキスト行及び第２のテキスト行に分割することと、
第２のテキスト行が、該第２のテキスト行がリストの一部であることを示す所定のリスト記号で始まるかどうかを判定することと、
肯定の場合、第２の項目をリスト項目として分類し、そうでない場合、第２の項目をテキスト項目として分類することと、を含む。

特定の実施形態では、２つの別個の項目を一緒に結合するためのユーザ命令に応答してのみ、２つの連続する項目が同じ項目にマージされる。

別の態様によれば、本発明は、本文書で定義される本発明の方法のステップを実行するための命令を含むコンピュータ可読プログラムコード（またはコンピュータプログラム）をその上に記録した非一時的コンピュータ可読媒体に関する。

本発明のコンピュータプログラムは、任意のプログラミング言語で表現することができ、ソースコード、オブジェクトコード、またはソースコードとオブジェクトコードの間の任意の中間コードの形式に、例えば、部分的にコンパイルされた形式に、または他の適切な形式に、することができる。

本発明は、上記のようなコンピュータプログラムも提供する。

前述の非一時的コンピュータ可読媒体は、コンピュータプログラムを記憶することができる任意のエンティティまたはデバイスであり得る。例えば、記録媒体は、ＲＯＭメモリ（ＣＤ－ＲＯＭまたはマイクロ電子回路に実装されたＲＯＭ）などの記憶手段、または例えばフロッピーディスクまたはハードディスクなどの磁気記憶手段を備えることができる。

本発明の非一時的コンピュータ可読媒体は、電気または光ケーブルを介して、または無線または他の任意の適切な手段によって伝達することができる、電気または光信号などの伝達可能な媒体に対応することができる。本開示に係るコンピュータプログラムは、特にインターネットまたは同種のネットワークからダウンロードすることができる。

代替的には、非一時的なコンピュータ可読媒体は、コンピュータプログラムがロードされる集積回路に対応することができ、回路は、本発明の方法の実行または実行に使用されるように適合されている。

特定の実施形態では、本発明は、コンピュータ可読プログラムコードが具現化された非一時的なコンピュータ可読媒体に関し、該コンピュータ可読プログラムコードは、本文書で定義されるコンピューティングデバイス上で方法を実施するように実行されるように適合されており、コンピューティングデバイスは、該方法のステップを実行するためのプロセッサを含む。

本発明は、本開示で定義される方法を実施するのに適したコンピューティングデバイスにも関する。より具体的には、本発明は、手書きでリストを処理するためのコンピューティングデバイスを提供し、
電子文書内のデジタルインクの複数のストロークに対してテキスト手書き認識を行うことによって、該テキストであって、該テキストが、それぞれがリストの一部であるリスト項目またはリストの一部ではないテキスト項目のいずれかであり得る複数の連続したテキスト行を含むテキストを認識するように構成された認識モジュールと、
認識された各テキスト行を別個のテキスト項目として最初に分類し、
ａ）該テキスト行が、該テキスト行がリストの一部であることを示す所定のリスト記号で始まるかどうかを判定し、所定のリスト記号で始まる各テキスト行をリスト項目として分類するための各テキスト行のパターン検出ステップと、
ｂ）ステップａ）に応答して、基準位置に対する各テキスト項目の項目インデントを決定し、基準位置に対する該リスト項目で構成されるテキストのインデントを表すテキストインデントを各リスト項目に対して決定するステップと、
ｃ）ステップｂ）に応答して、
同一テキスト項目の一部として、該テキストにおいて、第１のテキスト行によって、続いて第２のテキスト行によって形成される連続したテキスト行の各対を、該対の第１及び第２のテキスト行が同一の項目インデントを有するテキスト項目であり、かつ第１のテキスト行の末尾に第２のテキスト行を開始する第１の単語を収容するために十分な空きスペースが存在しなければ、マージすることと、
第１のテキスト行がリスト項目であり、第２のテキスト行が第１のテキスト行のテキストインデントと一致する項目のインデントを有するテキスト項目であり、第１のテキスト行の末尾に第２のテキスト行を開始する第１の単語を収容するのに十分な空きスペースがない場合、第２のテキスト行に続く第１のテキスト行によって形成される連続するテキスト行の各対を同じリスト項目の一部としてマージすることと、を含むマージプロセスステップと、を含む分類プロセスを実行するように構成された分類器モジュールと、
マージプロセスの結果に基づいて、各テキスト行をテキスト項目またはリスト項目の一部として定義するテキスト構造データモデルを生成するように構成されたモデル管理モジュールと、を備える。

本発明の方法に関連して上記で定義された様々な実施形態は、本開示のコンピューティングデバイス、コンピュータプログラム、及び非一時的なコンピュータ可読媒体に類似の方法で適用される。

本開示で定義される本発明の方法の各ステップについて、コンピューティングデバイスは、該ステップを実行するように構成された対応するモジュールを備えることができる。

特定の実施形態では、本開示は、ソフトウェア及び／またはハードウェア構成要素を使用して実施することができる。このコンテキストにおいて、「モジュール」という用語は、本開示において、ソフトウェア構成要素、及びハードウェア構成要素、または複数のソフトウェア及び／もしくはハードウェア構成要素を指すことができる。

本開示の他の特徴及び利点は、限定的な特徴を有さない実施形態を示す添付の図面を参照してなされた以下の説明から明らかになるであろう。
リストコンテンツと非リストコンテンツで構成される手書きテキストの例を示す。 本発明の特定の実施形態に係るコンピューティングデバイスのブロック図である。 本発明の特定の実施形態に係るコンピューティングデバイスによって実装されるモジュールを表すブロック図である。 本発明の特定の実施形態に係る手書きテキストのインデントの決定を示す。 本発明の特定の実施形態に係る手書きのリスト及び非リストコンテンツを処理するための方法のステップを示す。 本発明の特定の実施形態に係る方法の異なるステップでの手書き入力を表す。 本発明の特定の実施形態に係る方法の異なるステップでの手書き入力を表す。 本発明の特定の実施形態に係る方法の異なるステップでの手書き入力を表す。 本発明の特定の実施形態に係る方法の異なるステップで得られた結果を表す表である。 本発明の特定の実施形態に係る手書きのリスト及び非リストコンテンツを処理するための方法のステップを示す。 本発明の特定の実施形態に係る手書きのリスト及び非リストコンテンツを処理するための方法のステップを示す。 本発明の特定の実施形態に係る方法によって処理された手書き入力を表す。 本発明の特定の実施形態に係る方法によって処理された手書き入力を表す。 本発明の特定の実施形態に係る方法によって処理された手書き入力を表す。 本発明の特定の実施形態に係る方法によって処理された手書き入力を表す。 本発明の特定の実施形態に係る方法によって処理された手書き入力を表す。 本発明の特定の実施形態に係る手書きのリスト及び非リストコンテンツを処理するための方法のステップを示す。

図面中の構成要素は、必ずしも原寸に比例するとは限らず、代わりに、本開示の原理を明確に例示することを重視する。

説明を簡単かつ明確にするために、特に明記されていない限り、同じまたは類似の部分を参照するために、図全体で同じ参照記号が使用される。

以下の詳細な説明では、関連する教示を完全に理解するために、多数の具体的な詳細を例として挙げている。しかしながら、本教示がそのような詳細なしに実施され得ることは、当業者には明らかであるはずである。他の例では、現在の教示の不必要に曖昧な側面を回避するために、よく知られている方法、手順、及び／または構成要素が、詳細なしで、比較的高レベルで説明されている。

例示的な実施形態の以下の説明は、添付の図面を参照する。以下の詳細な説明は、本発明を限定するものではない。代わりに、本発明は、添付の特許請求の範囲によって定義される。図に示される様々な実施形態では、コンピューティングデバイス、対応する方法、及び対応するコンピュータプログラムが説明されている。

「手描き」と「手書き」という用語は、本明細書では互換的に使用され、ユーザが手（または指）または入力デバイス（ハンドヘルドスタイラスまたはデジタルペン、マウスなど）を使用して、入力面上にまたは入力面を用いてデジタルコンテンツ（手書き入力）を作成することを定義する。本明細書では、入力技術を簡潔に説明するために「手」などの用語を使用するが、足、口、目など、ユーザの体の他の部位の使用による同様の入力もこの定義に含まれる。

手書きは、ユーザが入力したデジタルインクのストロークによって形成される。ストローク（インクストロークまたはインクセグメントとも呼ばれる）は、少なくともストローク開始位置（「ペンダウン」イベントに対応）、ストローク末尾位置（「ペンアップ」イベントに対応）、及びストローク開始位置とストローク末尾位置を結ぶ経路によって特徴付けられる。

ストロークセグメントは、ストロークの一部分である。インク選択は、少なくとも２つの異なる（重複しない）インクストロークまたはインクセグメントの結合である。インク選択は、等質性、交差性などについて比較することができる。

本開示における「テキスト」という用語は、任意の書記言語、より一般的には、書記テキストで使用される任意の記号における、すべての文字など（例えば、英数字）、及びその文字列を包含すると理解される。したがって、テキストには、ラテン文字、キリル文字、中国語文字などの任意の文字からの基本文字及びアクセントが含まれる。テキストは、１つ以上のそのような記号を含むことができ、テキスト行、複数のテキスト行の段落などの様々な方法で配置することができる。

「リスト」という用語は、本開示では、リストとして配置された１つ以上のリスト項目の任意のセット（またはシーケンス）を包含するものとして理解される。各リスト項目はテキストで構成され、リスト記号と呼ばれる特殊な活字記号（またはグリフ）によって導入される。これは、箇条書き（または箇条書き点）、文字、数字（または桁）であるか、それらで構成することができる。箇条書きの記号は、円形、正方形、ひし形、矢印など、様々な形をとることができる。「＊」（アスタリスク）、「－」（ハイフン）、「・」などの通常の記号を箇条書きとして使用することができる以下の説明では、これらの特殊な活字記号は一般に「リスト記号」と呼ばれる。リスト記号は、上記の箇条書き、文字、数字などのいずれか１つまたはそれらの組み合わせを含むことができる。リストは、順序付きリスト（リスト記号はリスト項目を順序付ける番号を含む）または非順序付きリスト（リスト記号は、リスト項目間の順序を定義していない）であってもよい。

本開示では、リスト項目はリストの項目を指し、テキスト項目は非リスト項目、すなわちリストの一部ではないテキストの項目を指す。リスト項目及びテキスト項目は、各々、１つ以上のテキスト行を含むことができる。複数のテキスト行を含むテキスト項目は、段落を形成していると見なすことができる。

さらに、以下に説明し、図面に示されている例は、左から右への書記言語のコンテキストであるため、位置への任意の参照は、異なる方向形式を有する書記言語に適合させることができる。

図１は、３つのテキスト行１１０、１１２、及び１１４に配置されたテキストを含む手書き１００の例を示している。手書き入力１００は、デジタルインク形成文字のストローク１０２によって形成される。各ストローク１０２は、完全な文字、文字の一部、または複数の文字を形成することができる。例えば、文字「ｉ」の上部の点は、それ自体でストロークを構成する。この場合、次のテキストがストローク１０２によって形成される：「これはリストである：」（テキスト行１１０）、「・項目１」（テキスト行１１２）及び「・項目２」（テキスト行１１４）。最初のテキスト行１１０は、テキスト項目（すなわち、非リスト項目）を構成し、テキスト行１１２及び１１４は、リスト記号１２０によって導入されたリスト項目を構成する。」（この場合は円形の箇条書き点）。

本明細書で説明される様々な技術は、一般に、ポータブル及び非ポータブルコンピューティングデバイス上での手書きの処理、より詳細には、数式及びテキストの認識及び編集を目的とした処理に関する。以下に説明する様々な実施形態は、いわゆるオンライン認識技術を使用するデジタルインク手書き入力の認識を含むが、認識を実行するためにリモートデバイスまたはサーバを含むオフライン認識など、認識のための他の形式の入力を適用できることが理解される。

本明細書で説明するシステム及び方法は、（後述するように）タッチセンシティブスクリーンなどの入力面を介してコンピューティングデバイスに入力されるユーザの自然な手書きスタイルの認識を利用することができる。

以下でより詳細に説明するように、本発明の一態様は、手書きのテキスト構造分解を決定することに関し、具合的には、手書きにおけるリストコンテンツ及び非リストコンテンツの検出及び処理に関する。この方法は、具体的には、手書き入力でリスト記号を検出するためのパターン検出プロセスと、テキスト行が互いに対してどのように配置されるかの関数として特定のテキスト行を一緒にマージするためのマージプロセスとを含む。

より具体的には、本発明は、リスト及び非リストコンテンツを処理するためのコンピューティングデバイスによって実装される方法に関し、この方法は、テキスト行を形成するデジタルインクの複数のストロークに対するテキスト手書き認識と、認識された各テキスト行をリストの一部ではない別個のテキスト項目として初期に分類することと、リスト項目またはテキスト（非リスト）項目のいずれかとして各テキスト行を分類するための分類プロセスとから構成される。さらに後述するように、分類プロセスは、所定のリスト記号（箇条書き、数字など）で始まる各テキスト行を検出するパターン検出と、検出された各テキスト行をリストの一部である明確なリスト項目として分類する分類ステップと、各テキスト項目の項目インデントと各リスト項目に対するテキストのインデントを表すテキストインデントを決定する決定ステップと、所定の条件を満たす（さらに後述）連続するテキスト行の各対をマージしてなるマージステップとを含んでもよい。コンピューティングデバイスは、マージプロセスの結果に基づいて、各テキスト行をテキスト項目またはリスト項目のいずれかの一部として定義するテキスト構造データモデルも生成してもよい。

以下の特定の例に示されているように、テキスト構造データモデルは、テキスト行によって形成された手書きテキストの構造分解を定義する。

図２は、本発明の特定の実施形態に係るコンピューティングデバイスＤＶ１のブロック図である。コンピューティングデバイス（またはデジタルデバイス）ＤＶ１は、コンピューターデスクトップ、ラップトップコンピューター、タブレットコンピューター、電子書籍リーダー、携帯電話、スマートフォン、ウェアラブルコンピューター、デジタルウォッチ、インタラクティブホワイトボード、グローバルポジショニングシステム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、個人デジタルアシスタント（ＰＤＡ）、ゲーム機などであってもよい。コンピューティングデバイスＤＶ１は、少なくとも１つの処理要素、ある形式のメモリ、及び入出力（Ｉ／Ｏ）デバイスの構成要素を含んでもよい。構成要素は、コネクタ、ライン、バス、リンクネットワーク、または当業者に知られている他のものなどの入力及び出力を介して相互に通信する。

より具体的には、コンピューティングデバイスＤＶ１は、手書き（または手描き）テキストＩＮのための入力面４を備え、これは、以下でさらに説明するように、テキスト項目及び／またはリスト項目を含み得る。入力面４は、該入力面に入力された（またはを使用して）デジタルインクの複数のストロークＳＫを検出するのに適している。

入力面４は、抵抗性、表面弾性波、静電容量、赤外線グリッド、赤外線アクリル投影、光学撮像、分散信号技術、音響パルス認識、またはタッチ感応面または近接感応面の形でユーザ入力を受け取るために当業者に知られている他の任意の適切な技術を使用してもよい。入力面４は、位置検出システムによって監視される非タッチセンシティブ面であってもよい。

コンピューティングデバイス１００は、手書きＩＮなどのコンピューティングデバイスＤＶ１からデータを出力するための少なくとも１つのディスプレイユニット（またはディスプレイデバイス）２も備える。ディスプレイユニット２は、任意の適切な技術（ＬＣＤ、プラズマなど）のスクリーンなどであってもよい。ディスプレイユニット２は、ユーザが入力したデジタルインクのストロークＳＫを表示するのに適している。

入力面４は、ディスプレイユニット２と同じ場所に配置するか、またはそれに遠隔接続することができる。特定の例では、ディスプレイユニット２及び入力面４は、タッチスクリーンの一部である。

図２に示されるように、コンピューティングデバイスＤＶ１は、プロセッサ６及びメモリ８をさらに備える。コンピューティングデバイスＤＶ１は、メモリ８の一部として、またはそれとは別に、１つ以上の揮発性記憶要素（ＲＡＭ）を含んでもよい。

プロセッサ６は、ソフトウェア、具体的にはメモリ８に記憶されたソフトウェアを実行するためのハードウェアデバイスである。プロセッサ８は、任意のカスタムメイドまたは汎用プロセッサ、中央処理装置（ＣＰＵ）、半導体ベースのマイクロプロセッサ（マイクロチップまたはチップセットの形態）、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲート配列（ＦＰＧＡ）または他のプログラマブル論理デバイス、またはその任意の組み合わせであり、より一般的には当業者に知られているように、ソフトウェア命令を実行するために設計された任意の適切なプロセッサ構成要素であり得る。

メモリ８は、本開示の特定の実施形態に係る、非一時的（または不揮発性）コンピュータ可読媒体（または記録媒体）である。メモリ８は、不揮発性記憶素子（例えば、ＲＯＭ、ＥＰＲＯＭ、フラッシュＰＲＯＭ、ＥＥＰＲＯＭ、ハードドライブ、磁気または光テープ、メモリレジスタ、ＣＤ－ＲＯＭ、ＷＯＲＭ、DVDなど）の任意の組み合わせを含んでもよい。

メモリ８は、コンピューティングデバイスＤＶ１によってリモートでアクセス可能なサーバまたはクラウドベースのシステムにおけるなど、コンピューティングデバイスＤＶ１から離れていてもよい。不揮発性メモリ８は、プロセッサ６に結合されているので、プロセッサ６は、メモリ８から情報を読み取り、メモリ８に情報を書き込むことができる。代替として、メモリ８は、コンピューティングデバイス８と一体である。

メモリ８は、オペレーティングシステム（ＯＳ）１０及び手書きアプリケーション（またはコンピュータプログラム）１２を含む。オペレーティングシステム１０は、アプリケーション１２の実行を制御する。このアプリケーションは、本発明の特定の実施形態に係るコンピュータプログラム（またはコンピュータ可読プログラムコード）を構成し（または含み）、このコンピュータプログラムは、本発明の特定の実施形態に係る方法を実施するための命令を含む。

本実施形態では、アプリケーション１２は、適切な方法で取得された手書きＩＮを処理するための命令を含む。この例では、処理される手書きＩＮは、以下でさらに説明するように、コンピューティングデバイス１００の入力面４を使用してユーザによって手書きされたデジタルインクのストロークＳＫであってもよい。変形例では、手元の手書きＩＮは、コンピューティングデバイスＤＶ１によって取得されるが、入力面４を介して入力されない。

図２に示されるように、不揮発性メモリ８は、予め定義されたリスト記号ＢＴ及びテキスト構造データモデル（モデルとも呼ばれる）ＭＬのセットを含む、コンピューティングデバイス２によって取得された様々なデータを記憶するのに適している。セットは、リスト項目の開始を特徴付ける１つ以上の予め定義されたリスト記号ＢＴを含んでもよい。テキスト構造データモデルＭＬは、例えば、リスト項目ＬＩまたはテキスト（すなわち、非リスト）項目ＴＩのいずれかであり得るテキスト行のタイプなどの、手書きの構造を定義する情報を含む。これらの特徴の性質と使用法については、以下でより詳しく説明する。

特定の実施形態に係る図３に示されるように、メモリ１０８（図２）に記憶されたアプリケーション１２を実行するとき、プロセッサ６は、モジュール、すなわち、認識モジュールＭＤ２、分類器モジュールＭＤ４、モデル管理モジュール１２、及び、いくつかの実施形態では、後処理モジュールＭＤ１４を実装することができる。

認識モジュールＭＤ２は、電子文書内のデジタルインクの複数のストロークＳＫでテキスト手書き認識を実行することによってテキストを認識するように構成することができ、テキストは、複数の連続するテキスト行ＬＮを含む。

分類器モジュールＭＤ４は、各認識されたテキスト行ＬＮを別個のテキスト項目ＴＩとして最初に分類し、
ａ）該テキスト行ＬＮが、該テキスト行ＬＮがリストの一部であることを示す所定のリスト記号で始まるかどうかを判定し、所定のリスト記号ＢＴで始まる各テキスト行ＬＮをリストの一部である別個のリスト項目として分類するための、各テキスト行ＬＮにおけるパターン検出することと、
ｂ）ステップａ）に応答して、基準位置に対する各テキスト項目ＴＩの項目インデントを決定し、基準位置に対する該リスト項目ＬＩで構成されるテキストのインデントを表すテキストインデントを各リスト項目ＬＩに対して決定することと、
ｃ）
同一テキスト項目の一部として、テキストにおいて、第１のテキスト行ＬＮによって、続いて第２のテキスト行によって形成される連続したテキスト行ＬＮの各対を、該対の第１及び第２のテキスト行が同一の項目インデントを有するテキスト項目であり、かつ第１のテキスト行の末尾に第２のテキスト行を開始する第１の単語を収容するために十分な空きスペースが存在しなければ、マージすることと、
第１のテキスト行がリスト項目であり、第２のテキスト行が第１のテキスト行のテキストインデントと一致する項目のインデントを有するテキスト項目であり、第１のテキスト行の末尾に第２のテキスト行を開始する第１の単語を収容するのに十分な空きスペースがない場合、第２のテキスト行ＬＮに続く第１のテキスト行ＬＮによって形成される連続するテキスト行ＬＮの各対を同じリスト項目ＬＩの一部としてとしてマージすることと、を含むマージプロセスステップと、を含むマージステップと、を含む分類プロセスを実行するように構成することができる。

この例では、分類器モジュールＭＤ４は、ステップａ）を実行するように構成されたパターン検出モジュールＭＤ６、ステップｂ）を実行する決定モジュールＭＤ８、及びステップｃ）を実行するマージモジュールＭＤ１０を含む。

モデル管理モジュールＭＤ１２は、マージステップの結果に基づいて、各テキスト行ＬＮをテキスト項目またはリスト項目のいずれかの一部として定義するテキスト構造データモデルMLを生成するように構成されてもよい。

後処理モジュールＭＤ１４は、テキスト構造データモデルに基づいて、認識モジュールＭＤ２によって認識されたテキストの編集を行うように構成することができ、該編集は、認識されたテキストの少なくとも一つの項目の内容を修正することと、認識されたテキストの少なくとも１つの項目のデジタルインクのリフローを引き起こすリフロープロセスの、少なくとも１つを含む。後処理モジュールＭＤ１４は、ユーザ命令に応答して、認識されたテキストのそのような編集を実行することができる。

アプリケーション１２は、特定の実施形態で後述するように、本発明の方法のステップを実行するために、上述のモジュールＭＤ２～ＭＤ１４を実装するようにプロセッサ６を構成する命令を含む。

コンピューティングデバイスＤＶ１のモジュールＭＤ２～ＭＤ１４の構成及び動作は、図を参照して以下に説明する特定の実施形態においてより明白になろう。図３に示されるモジュールＭＤ２～ＭＤ１４は、本発明の例示的な実施形態にすぎず、他の実施が可能であることを理解されたい。

本発明の方法の各ステップについて、コンピューティングデバイスＤＶ１は、該ステップを実行するように構成された対応するモジュールを含んでもよい。

以下の特定の実施形態でさらに説明するように、本発明の方法は、手書きテキストＩＮのテキスト行ＬＮのインデントを決定することを含むことができる。インデント（またはインデント）は、ドキュメント内の特定のテキスト行を開始する横方向の位置を定義する。インデントは、テキスト行LNの前の空のスペースによって形成される場合がある。多くの書記言語では、たとえば最初の行のインデントは段落の最初の行をインデントする。

図４は、手書きテキストIN（便宜上タイプセットスタイルで表されている）が電子文書のデジタルインクストロークＳＫによって形成される例を示している。手書きテキストＩＮは、４つのテキスト行ＬＮａ、ＬＮｂ、ＬＮｃ、及びＬＮｄ（まとめてＬＮと指定する）を含み、それぞれがテキストを含む。この例では、インデントは、ドキュメント内の（横方向の）基準位置３０に対して決定される。

インデント２２ａ、２２ｂ、２２ｃ、及び２２ｄ（まとめて２２と指定する）は、それぞれのテキスト行ＬＮａ、ＬＮｂ、ＬＮｃ、及びＬＮｄのインデントを構成し、「項目インデント」と呼ばれる。言い換えれば、項目のインデントは、基準位置３０に対する項目（リスト項目またはテキスト項目）のインデントである。

テキスト行ＬＮａ及びＬＮｂは、同じ（または実質的に同じ）項目インデント２２ａ、２２ｂを有するので、同じテキスト項目ＴＩの一部としてコンピューティングデバイスＤＶ１によって検出することができる。一方、テキスト行ＬＮｃが予め定義されたリスト記号ＢＴ「＊」で始まり、テキスト行ＬＮｃ，ＬＮｄが同じ（または実質的に同じ）項目インデント２２ｃ，２２ｄを有するので、テキスト行ＬＮｃ，ＬＮｄは同じリスト項目ＬＩの一部としてコンピューティングデバイスＤＶ１によって検出することができる。

インデントを計算する様々な方法が企図され得る。この例では、テキスト項目とリスト項目の両方が、左マージン３０に対する横方向の位置を表すそれぞれのインデント値－「ｉ」と記す－を有する。この例では、コンピューティングデバイスＤＶ１は、列ベースの計算を実行して、所与の項目の開始を基準位置３０から分離するいくつかの予め定義された列Ｃ１に基づいて、各項目のインデントを表す値ｉを決定する。インデント値ｉは、テキスト項目の場合は単語の左側、リスト項目の場合はリスト記号の左側の最初の列境界を決定することによって計算することができる。これらの列のサイズＣ１は、テキスト行の高さに比例し、両方ともカスタマイズ可能である。言い換えれば、これらの列Ｃ１の幅（またはサイズ）Ｃは、テキスト行ＬＮの高さに比例するように選択することができる。

図４に示す例では、矢印３４で示されている列は、インデント計算の許容範囲を示している。テキスト行ＬＮａ及びＬＮｂの項目インデント２２の値は１であり、テキスト行ＬＮｃ及びＬＮｄの項目インデント２２の値は２である。

項目インデント２２は、テキスト行２２ａ及び２２ｂ（例えば、値１）によって形成されるテキスト項目ＴＩ全体について計算することができる。同様に、項目インデント２２は、テキスト行２２ｃ及び２２ｄ（例えば、値２）によって形成されるリスト項目ＬＩ全体について計算することができる。

特定の例では、インデントｉは次のように計算される：

式中、Δは基準位置３０からの項目の距離であり、Ｃは予め定義された列Ｃ１の幅であり、ｔは幅Ｃのパーセンテージ（％）として定義される許容誤差である。

図４に示すように、リスト記号ＢＴ「＊」で始まり、したがってリスト項目ＩＴの一部であるテキスト行ＬＮｃは、基準位置３０に対するテキスト行ＬＮｃで構成されるテキストのインデントを表すテキストインデント２４によっても特徴付けられる。言い換えれば、予め定義されたリスト記号ＢＴで始まる各リスト項目は、項目インデント２２及びテキストインデント２４によって特徴付けられ、後者は、基準位置３０に対するリスト項目の最初の文字の横方向位置によって定義される。

この例では、インデント値ｉはマージンからの距離ではなく、固定幅の列Ｃ１に基づく増分値である。テキスト項目の項目インデントを決定し、リスト項目のテキストインデントを決定するための他の実装を企図することができる。以下でさらに説明するように、インデント値ｉは、リストとサブリストのスコープを決定するために使用される。

ここで、本発明の特定の実施形態に従って、図２～図３に示されるコンピューティングデバイスＤＶ１によって実施される方法を、図５～図１５を参照して説明する。より具体的には、コンピューティングデバイスＤＶ１は、メモリ８に記憶されたアプリケーション１２を実行することによってこの方法を実装する。

コンピューティングデバイスＤＶ１が手書きＩＮ（手書きテキスト）を取得し、手書き認識アプリケーション１２を実装して、取得した手書きＩＮのテキスト構造データモデルＭＬを決定し、より具体的には、該手書きＩＮのＴＩリスト項目ＬＩ及びテキスト項目を認識する、例示的シナリオ例が考慮される。

より具体的には、取得ステップＳ２（図５）において、コンピューティングデバイスＤＶ１は、デジタルインクの形態で手書きＩＮを取得する。取得した手書き入力ＩＮは、デジタルインクの複数のストロークＳＫによって形成される。これらのストロークＳＫは、手書きＩＮのデジタル表現を構成する。取得されたストロークのセットＳＫは、電子文書４０において実質的に同じ方向に沿って延びる複数のテキスト行ＬＮを形成すると考えられる。これらの連続するテキスト行ＬＮは、各事例に応じて様々な方法で配置できる。

各テキスト行ＬＮは、１つ以上の文字（または記号）ＣＨを形成する１つ以上のストロークＳＫによって形成され、後者は、１つ以上の単語ＷＤを形成する。

特定の例では、テキスト行のテキストは、手書きとタイプセットされた（またはタイプセット）テキストの両方をミックスすることができ、タイプセットされたテキストでは、各グリフがストロークとみなされる。

説明のために、実際の言語での手書きの代わりに、偽の（架空の）言語での手書きを使用する。本発明は、偽の言語を含む、任意の手書きテキストのテキスト構造を決定することを可能にする。

等高線は、各テキスト行ＬＮ間の項目境界をマークするために図６に示されているだけである。この例では、手書き入力ＩＮは、２２の連続するテキスト行ＬＮ１からＬＮ２４を形成し、まとめてＬＮと指定される。各テキスト行ＬＮは、テキスト、すなわち、単語ＷＤを形成する複数の文字ＣＨを形成する複数のストロークを含む。この例では、手書き入力は、テキストを含まない２つの連続する空の行Ｌ０（テキスト行ＬＮ８とＬＮ９の間）も含む。図６に示される手書き入力ＩＮは、もちろん、特定の実施形態における本発明の概念を説明するための単なる例として提供される。

したがって、コンピューティングデバイスＤＶ１は、図６に示されるように、取得されたストロークＳＴをディスプレイ２に表示する（Ｓ２）。

既に示したように、各入力ストロークＳＫは、少なくともストローク開始位置、ストローク末尾位置、及びストローク開始位置とストローク末尾位置を接続する経路によって特徴付けられる。したがって、たとえば文字「ｉ」（テキスト行ＬＮ１の「ｆｅｌｉｓ」という単語）の上部に配置されたドットは、それ自体で単一ストロークＳＫを構成する。

この場合、デジタルインクの複数のストロークＳＴは、コンピューティングデバイスＤＶ１の入力面４を使用して、電子文書４０においてユーザによって入力されると想定される。ユーザは、手または指、または入力面４での使用に適したデジタルペンやスタイラスなどの入力機器を使用して入力ストロークＳＫを入力できる。ユーザは、入力面４の近傍の動きを感知するように構成された手段が使用されている場合、入力面４の上方でジェスチャを行うことによって、またはマウスやジョイスティックなどのコンピューティングデバイスＤＶ１の周辺デバイスを使用して入力ストロークＳＫを入力することもできる。

しかしながら、コンピューティングデバイスＤＶ１は、他の適切な方法で手書きＩＮを取得することができることを理解されたい。

この例では、コンピューティングデバイスＤＶ１は、オンライン手書き認識を実行するために、入力面４を用いてユーザによって入力されたストロークＳＫを取得する。しかしながら、本発明は、オフライン手書き認識に類似の方法で、すなわち、このように手書きの静的表現を形成する手書きの画像に対して本発明の概念を実行することによって適用され得ることに留意されたい。したがって、時間経過に伴うストロークの相対的な入力方法に関する時間的な情報は必要ない。

テキスト手書き認識ステップＳ４において、コンピューティングデバイスＤＶ１は、Ｓ２で取得されたストロークＳＫに対してテキスト手書き認識を実行することによってテキストを認識する。具体的には、コンピューティングデバイスＤＶ１は、Ｓ４において、認識されたテキストから複数のテキスト行ＬＮ１～ＬＮ２４を識別する。テキスト手書き認識Ｓ２は、当業者に知られている任意の技術を使用して（例えば、逐次分類器を使用して）、任意の適切な方法で実行することができる。

このテキスト手書き認識Ｓ４を実行することにより、コンピューティングデバイスＤＶ１は、テキスト認識結果の一部として、ストロークＳＫによって形成される文字ＣＨ、文字ＣＨによって形成される単語ＷＤ、及び単語ＷＤによって形成されるテキスト行ＬＮを認識することができる。

特定の例では、Ｓ４で得られたテキスト認識結果は、処理されるストロークＳＫに対して複数のテキスト解釈を提供することができる。テキストＩＮ、単語ＷＤ、及び文字ＣＨに対して、信頼スコアが関連付けられた様々な結果候補を生成することができる。各テキスト候補（テキスト、単語、文字）は、構成ストロークＳＫに関連付けることができる。テキスト手書き認識モジュールＳ４は、最高の信頼スコアを有するテキスト候補を選択することができる。テキスト手書き認識は当業者に知られているので、この点に関してさらなる詳細は提供されない。

各文字（または記号）ＣＨは、１つ以上の入力ストロークＳＫによって、または少なくともストロークＳＫの一部によって形成される。

さらに、各テキスト行ＬＮは、リスト項目ＬＩの一部であるか、またはリスト項目（すなわち、テキスト項目ＴＩ）の一部ではないかのいずれかであり得る。この方法の目的は、手書きＩＮによって形成された複数のテキスト行ＬＮからリスト項目ＬＩ及びテキスト（非リスト）項目ＴＩを識別することである。本方法の結果として特定される各リスト項目ＬＩ及び各テキスト項目ＴＩは、１つ以上のテキスト行ＬＮから構成されてもよい。

初期分類ステップＳ６中に、コンピューティングデバイスＤＶ１は、最初に、認識された各テキスト行ＬＮを、リストの一部ではない別個のテキスト項目ＴＩとして分類する。その結果、すべてのテキスト行ＬＮ１～ＬＮ２４は、別個のテキスト項目ＴＩとして分類される（図５～図６）。この初期分類ステップＳ６中に、コンピューティングデバイスＤＶ１は、２つのラインＬ０を空のラインとしても分類する。この初期分類の結果は、モデル管理モジュールＭＤ１２（図３）によって、不揮発性メモリ８内のテキスト構造データモデルＭＬに記憶され得る（Ｓ６）。

図９に示される表は、コンピューティングデバイスＤＶ１が方法の様々なステップの間にテキスト行ＬＮの分類を進める間、テキスト構造データモデルＭＬの対応する状態を示している。文字「Ｔ」は「テキスト項目」を表し、文字Ｌは「リスト項目」を表し、文字「Ｄ」は空行を表す。ステージｔ_０は、初期分類ステップＳ６の結果としての分類の現在の状態に対応する。

この初期段階ｔ_０において、テキスト構造データモデルＭＬは、テキスト手書き認識Ｓ４で生成されたテキスト認識結果に基づいて得られた初期構造情報を含み得る。具体的には、テキスト構造データモデルＭＬは、テキスト手書き認識Ｓ４で決定された、各文字ＣＨとその構成ストロークＳＫ、各単語ＷＤとその構成文字ＣＨ、各テキスト行ＬＮとその構成単語ＷＤを関連付けて定義することができる。この初期段階ｔ_０において、各テキスト行ＬＮは、初期分類Ｓ６の結果として、テキスト構造データモデルＭＬに従ってテキスト項目ＴＩとして分類される。

モデルＭＬは、各テキスト行ＬＮの最初及び最後のストロークＳＫを定義する情報を含むことができる。空行Ｌ０（この場合、連続する２つの空行として認識される）は、Ｓ６において分類され、テキスト構造データモデルＭＬによって、２つの異なる項目（各々がテキスト項目ＴＩまたはリスト項目ＬＩのいずれか）を分離する同一の仕切り項目Ｄの一部として定義されてもよい。言い換えれば、この仕切り項目Ｄは、手書きテキストＩＮ内のテキスト／リスト項目の終わり及び別のテキスト／リスト項目の開始をマークすることができる。

方法が進む間、テキスト構造データモデルＭＬは、モデル管理モジュールＭＤ１２（図３）によって更新されて、メソッドの様々なステップの分類結果が反映される。

次いで、コンピューティングデバイスＤＶ１は、パターン検出ステップＳ１０、インデント決定ステップＳ１２、及びマージステップ（またはマージプロセス）Ｓ１４を連続して含む分類プロセスＳ８（図５及び図７）に進み、各テキスト項目ＴＩ及び／または認識された手書きテキストＩＮに含まれるリスト項目ＬＩを検出する。方法が進む間、テキスト構造データモデルＭＬは、モデル管理モジュールＭＤ１２（図３）によって更新されて、パターン検出ステップＳ１０及びマージステップＳ１４の結果を反映する。

より具体的には、パターン検出ステップＳ１０中に、コンピューティングデバイスＤＶ１は、該テキスト行ＬＮがリストの一部であることを示す所定のリスト記号ＢＴによって該テキスト行ＬＮが開始するかどうかを決定するために、各テキスト行ＬＮにおいてパターン検出を実行し、次いで、所定のリスト記号で始まる各テキスト行LNを、リストの一部である別個のリスト項目ＬＩとして再分類する（図７）。当初は、すべてのテキスト行ＬＮ１～ＬＮ２４はテキスト項目ＴＩであると想定されるので、コンピューティングデバイスＤＶ１は、したがって、所定のリスト記号ＢＴによって導入された各テキスト行ＬＮを別個のリスト項目ＬＩとして再分類する。その結果、Ｓ６で取得した初期分類から（またはそれに基づいて）、所定のリスト記号ＢＴで始まる各テキスト行ＬＮは、別個のリスト項目ＬＩとして再分類されるが、任意の他のテキスト行ＬＮは別個のテキスト項目として初期分類を保持する。

この例では、パターン検出Ｓ１０は、不揮発性メモリ８に記憶された所定のリスト記号ＢＴのセットに基づいて実行される。Ｓ１０において、コンピューティングデバイスＤＶ１は、各テキスト行ＬＮの開始を調べ、１つ以上の開始ストローク（例えば、予め定められた開始ストローク数ＳＫまたはテキスト行ＬＮの開始時の最初の文字ＣＨ）を予め定められたリスト記号の集合ＢＴと比較する。例えば、パターン検出モジュールＭＤ６は、各テキスト行ＬＮについて、該テキスト行ＬＮを開始する第１の記号を、所定のリスト記号ＢＴのセットと比較して、一致するかどうかを判定する。一致する場合、パターン検出モジュールＭＤ６は、テキスト行ＬＮがリスト記号ＢＴ（箇条書きなど）で始まっていると推測し、その結果、テキスト行ＬＮを単独でリスト項目ＬＩとして分類する。

所定のリスト記号ＢＴによって開始するものとして検出されないＳ１０の各テキスト行ＬＮは、この段階でテキスト項目ＴＩであると想定される。先に示したように、各テキスト行ＬＮは、最初は別個のテキスト項目ＴＩとして分類される（Ｓ６）。したがって、Ｓ１０で所定のリスト記号ＢＴを有さないと検出された各テキスト行ＬＮは、テキスト項目として初期の分類を保持する。

前述のように、リスト記号ＢＴは、リスト項目の導入として定義されている限り、様々な形式をとることができる。特定の例では、パターン検出モジュールＭＤＭＤ６は、正規表現マッチングを使用してパターン検出を実行する。事前定義されたリスト記号の範囲には、次のＵｎｉｃｏｄｅ文字が含まれる場合がある：ＨＹＰＨＥＮ－ＭＩＮＵＳ、ＮＵＭＢＥＲ－ＳＩＧＮ、ＡＳＴＥＲＩＳＫなど。単一文字の箇条書きに加えて、ローマ字、アラビア数字、ピリオドで区切られた文字、及び／または閉じ括弧で終わっている文字は、リスト記号BTとして認識される場合もある。所定のリスト記号ＢＴのいくつかの例を次に示す：「１）」、「ｂ．」、「１．ａ」、「ｖｉ」、及び「ＩＶ」。

例えば、図７では、コンピューティングデバイスＤＶ１は、テキスト行ＬＮ９、ＬＮ１３及びＬＮ１５がリスト記号ＢＴ（それぞれ「１．」、「・」及び「１．２．３．４．５」）で始まると検出し、したがって、これらのテキスト行を別個のリスト項目ＬＩとして再分類する。

図９に示すように、ステージｔ_１は、すべてのテキスト行ＬＮで実行されたパターン検出Ｓ１０の結果としての分類の現在の状態に対応する。

パターン検出ステップＳ１０に応答して、コンピューティングデバイスＤＶ１は、インデント決定ステップＳ１２に進む（図５及び７）。次いで、インデント決定ステップＳ１２において、コンピューティングデバイスＤＶ１は、電子文書４０内の基準位置２２に関して各テキスト項目ＴＩの項目インデント２２を決定し、各リスト項目ＬＩについて、基準位置３０に関してリスト項目ＬＩに含まれるテキストのインデントを表すテキストインデント２４を決定する。この段階で、どのテキスト行ＬＮがリスト項目ＬＩと見なされ、どのテキスト行ＬＮがテキスト項目ＴＩと見なされるかの決定は、前のパターン検出ステップＳ１０の結果に基づく（すなわち、例えば、テキスト構造データモデルＭＬで定義された現在の分類状態に基づく）。

この例（図７）では、コンピューティングデバイスＤＶ１はこのように決定する（Ｓ１２）。
テキスト項目ＬＮ１－ＬＮ８、ＬＮ１０－ＬＮ１２、ＬＮ１４及びＬＮ１６－ＬＮ２４の項目インデント２２、及び、
リスト項目ＬＮ９、ＬＮ１３、及びＬＮ１５のテキストインデント２４。

現在、項目のインデント２２及びテキストのインデント２４は、図４に関して以前に説明されたように決定されると想定されているが、他のインデント計算技術が企図され得る。図９の表は、Ｓ１２で決定された上記のインデントの各々について、コンピューティングデバイスＤＶ１によって計算された値ｉを示している。前に説明したように（図４）、これらの値ｉは、電子文書４０の横方向基準位置３０に関するインデントを表す。この例では、各インデント（テキスト項目ＴＩの項目インデントまたはリスト項目ＬＩのテキストインデント）で取得された値ｉの範囲は０～１である。もちろん、これらの値は、インデント計算の実行に使用される列ベースの戦略に依存する。

インデント決定ステップＳ１２に応答して、コンピューティングデバイスＤＶ１は、マージステップＳ１４に進む（図５及び図７、図８）。次いで、マージステップＳ１４において、コンピューティングデバイスＤＶ１は、手書きＩＮにおいてこの段階で認識された各テキスト項目ＴＩ及びリスト項目ＬＩを分析して、前のインデント決定ステップＳ１２で決定したインデントに基づいて、どの項目を（あれば）同一項目でマージすべきかを決定する。この目的のために、コンピューティングデバイスＤＶ１は、連続するテキスト行ＬＮの各対ＰＲ（図７）を連続的に調べて、所定のマージ条件ＣＤが満たされているかどうかを判定し、満たされている場合、対ＰＲの２つのテキスト行ＬＮを同じ項目（リスト項目ＬＩまたはテキストＴＩのいずれか）の一部としてマージする。これは、事前定義されたルールに基づいて、２つの連続するテキスト行ＬＮをマージする必要があるかどうかを評価するために、行ごと（またはペアごと）の分析を実行することによって実現される。

より具体的には、マージステップＳ１４中に、コンピューティングデバイスＤＶ１は、
同一テキスト項目ＴＩの一部として、第１のテキスト行ＬＮによって、続いて第２のテキスト行ＬＮによって形成される連続したテキスト行ＬＮの各対ＰＲを、該対ＰＲの第１及び第２のテキスト行が同一の項目インデント２２を有するテキスト項目ＴＩであり、かつ第１のテキスト行ＬＮの末尾に第２のテキスト行ＬＮで始まる第１の単語ＷＤを収容するために十分な空きスペースが存在しなければ（条件ＣＤ１）、マージし、
同一リスト項目ＴＩの一部として、第１のテキスト行ＬＮによって、続いて第２のテキスト行ＬＮによって形成される連続したテキスト行ＬＮの各対ＰＲを、第１のテキスト行がリスト項目ＬＩであり、第２のテキスト行が第１のテキスト行のテキスト行のテキストインデント２４と一致する項目インデント２２を有するテキスト項目ＴＩであり、第１のテキスト行の末尾に第２のテキスト行を開始する第１の単語を収容するのに十分な空きスペースがない場合（条件ＣＤ２）、マージする。

上記からわかるように、Ｓ１４では、連続するテキスト行ＬＮの各対ＰＲに対して２つのテストを適用し、これら２つの条件のうちいずれか１つが満たされるかどうかをそれぞれ判定する：
条件ＣＤ１：対ＰＲテキスト項目ＴＩの第１及び第２のテキスト行ＬＮが同一項目インデント２２であるか、及び第１のテキスト行ＬＮの末尾に第２のテキスト行ＬＮを開始する第１の単語ＷＤを収容するのに十分な空きスペースがないか？
条件ＣＤ２：対ＰＲの第１のテキスト行はリスト項目ＬＩであるか、及び第２のテキスト行は、項目インデント２２が第１のテキスト行のテキストインデント２４と一致するテキスト項目ＴＩを有する第２のテキスト行であるか？

したがって、各条件ＣＤ１及びＣＤ２は、対応する条件が満たされるために両方が満たされなければならない２つのサブ条件を含む。

したがって、この例では、マージモジュールＭＤ１０は、連続するテキスト行ＬＮの各対ＰＲを連続的に検査して、条件ＣＤ１及びＣＤ２のいずれかが満たされているかどうかを判定する。この目的のために、マージモジュールＭＤ１０は、テキスト構造データモデルＭＬを参照して、各テキスト行ＬＮの現在の項目タイプ（テキスト項目ＴＩまたはリスト項目ＬＩのいずれか）を判定し、条件ＣＤ１または条件ＣＤ２が対ＰＲのいずれかで満たされているかどうかをチェックする。

例として、マージモジュールＭＤ１０は、連続する行ＬＮ３とＬＮ４（図７、図８）によって形成される対ＰＲを調べる（Ｓ１４、図５）。マージモジュールＭＤ１０は、この対ＰＲの第１のテキスト行ＬＮ３及び第２のテキスト行ＬＮ４がともにテキスト項目ＴＩであることを検出し、したがって、両方のテキスト行が互いに一致する（すなわち、本例では同じ値ｉを有する）項目インデント２２を有するかどうかを検証する。両方の項目インデント２２が一致するため（両方のテキスト行ＮＬＮ３、ＬＮ４でｉ＝０）、マージモジュールＭＤ１０は、第２のテキスト行ＬＮ２を開始する第１の単語「Ｖｉｖａｍｕｓ」を収容するのに十分な空きスペース（テキストなし）が最初の行ＬＮ３の末尾にあるかどうかを判定する。現在、マージモジュールＭＤ１０は、したがって、第１のテキスト行ＬＮ３を終了する空きスペース４２を、第１の単語「Ｖｉｖａｍｕｓ」のサイズ（占有エリア）と比較する。この例では、エリア４２には、「Ｖｉｖａｍｕｓ」という単語全体を収容または配置するのに十分なスペースがない。従って、マージモジュールＭＤ１０は、テキスト行ＬＮ３及びＬＮ４を同一のテキスト項目ＩＴの一部としてマージする。

この予め定義された条件ＣＤ１は、ユーザの自然な手書きを考慮に入れるように定義されている。ユーザがテキスト行ＬＮの末尾に比較的大きな空きスペースを残し、次のテキスト行ＬＮで手書きを開始した場合、この次のテキスト行は前の項目とは異なる新しい項目（テキスト項目またはリスト項目）を開始する可能性がある。

別の例として、マージモジュールＭＤ１０は、連続する行ＬＮ９とＬＮ１０（図７、図８）によって形成される対ＰＲを調べる（Ｓ１４、図５）。マージモジュールＭＤ１０は、対ＰＲの第１のテキスト行ＬＮ９がリスト項目ＬＩである一方、第２のテキスト行ＬＮ１０がテキスト項目ＴＩであることを検出し、したがって、第１の行ＬＮ９のテキストインデント２４が第２のテキスト行ＬＮ１０の項目インデント２４に一致するかどうかを検証し、第１のテキスト行ＬＮ９の末尾に第２のテキスト行ＬＮ１０を始める第１の単語を収容できるだけの空きスペースがないかどうかも検証する。この例では、これら２つのインデントが一致し（ＬＮ９、ＬＮ１０ともにインデント値ｉ＝１）、第１のテキスト行ＬＮ９の末尾に第２のテキスト行ＬＮ１０を始める第１の単語「ｖｕｌｐｕｔａｔｅ」を収容するのに十分な空きスペースがないので、マージモジュールＭＤ１０は２つのテキスト行ＬＮ９、ＬＮ１０を同じリスト項目ＬＩの一部としてマージする。

この例では、マージモジュールＭＤ１０は、テキスト行ＬＮ８及びＬＮ９が、空行Ｌ０によって形成される仕切り項目によって分離されているので、互いに連続していないと見なす。

この例では、本実施例では、マージステップＳ１４において、マージモジュールＭＤ１０は、（テキスト構造データモデルＭＬの現在の状態に従って）第１の項目がテキスト項目であり、第２の項目がリスト項目であれば、第１のテキスト行によって、続いて第２のテキスト行によって形成される連続したテキスト行ＬＮの各対ＰＲを別の項目として維持する。

これらの２つのテスト（それぞれ条件ＣＤ１とＣＤ２に基づく）を連続するテキスト行ＬＮの連続する各対に適用することにより、モデル管理モジュールＭＤ１２（図３）は、図９に示す表のステージｔ_２に表されるように、テキスト構造データモデルＭＬの構造情報を徐々に更新する。上述のようにマージステップＳ１４で連続するテキスト行ＬＮをマージすることにより、手書きテキストＩＮからテキスト項目ＴＩ及びリスト項目ＬＩが認識される。この例では、マージステップＳ１４の結果として、テキスト構造データモデルＭＬは、
テキスト行ＬＮ１～ＬＮ８によって形成されるテキスト項目ＴＩ、
２つの空行Ｌ０によって形成される仕切り項目Ｄ、
テキスト行ＬＮ９～ＬＮ１２によって形成されるリスト項目ＬＩ、
テキスト行ＬＮ１３～ＬＮ１４によって形成されるリスト項目ＬＩ、
テキスト行ＬＮ１５～ＬＮ２０によって形成されるリスト項目ＬＩ、及び、
テキスト行ＬＮ２１～ＬＮ２４によって形成されるテキスト項目ＴＩ、の別個の項目を定義する。

変形例では、コンピューティングデバイスＤＶ１は、段落の最初の行が、その段落の互いのテキスト行ＬＮに対してインデントされていることを認識することができる。したがって、同じ段落に対応する同じテキスト項目に複数のテキスト行ＬＮを識別してマージするために、上述のようにマージモジュールＭＤ１０によって適用される条件ＣＤ１は、段落の最初の行がその同じ段落の１つ以上の他のテキスト行に対して異なる（すなわち高い）インデント値を有することを考慮に入れて適合されてもよい。

生成ステップＳ１６において、モデル管理モジュールＭＤ１２は、ステップＳ１４をマージステップの結果に基づいて、テキスト構造データモデルＭＬを生成する。本実施形態では、この生成は、テキスト手書き認識Ｓ４の結果をテキスト構造データモードＭＬに記憶し、パターン検出Ｓ１０において及びマージステップＳ１４において、初期分類ステップＳ４で得られた結果に基づいてこのモデルＭＬを連続的に更新することによって徐々に実行される。変形例では、テキスト構造データモデルＭＬは、前のステップＳ４、Ｓ６、Ｓ１０及びＳ１４の結果に基づいて、マージステップＳ１４をマージした後に生成される。

本発明は、手書き文字のテキスト構造分解、すなわち構造配置を決定するための効率的で信頼性の高いソリューションを提供する。本発明のおかげで、手書きのリスト項目を検出することができる。具体的には、本発明は、（以下でさらに説明するように）例えば、手書きの操作または編集を改善するために、正確かつ信頼できる方法で、手書きのリスト要素及び非リスト要素を区別する（または識別する）ことを可能にする。手書きの段落も検出され得る。

より具体的には、効率的な分類は、最初に認識された各テキスト行が別個のテキスト項目であると想定し、パターン検出、インデント決定、及びマージプロセスを連続して含む分類プロセスを実行することによって達成することができる。パターン検出は、箇条書きで始まる各テキスト行が別個のテキスト項目から別個のリスト項目に再分類されるように実行されるため、テキストとリスト項目の最初の信頼できる識別を実行できる。次に、特定のインデント、つまりテキスト項目の項目インデントとリスト項目のテキストインデントが決定される。これらの特定のインデントに基づいて、マージプロセスを効率的に実行して、分類プロセスのステップａ）で得られた分類結果を改善することができる。

次に、マージプロセス中に、手元の各対のテキスト行の項目の性質（リスト／テキスト項目の）に応じて、２種類のマージが実行される。それにより、テキスト項目を同じテキスト項目の一部としてマージする（第１のマージ）だけでなく、リスト項目の後に同じリスト項目の一部としてテキスト項目をマージする（第２のマージ）ことができる。どちらの場合も、マージを続行するかどうかの判定は、対の第２のテキスト行の第１の単語を収容するのに十分な空きスペースが対の第１のテキスト行の末尾にあるかどうかに基づいている。これらの２つのマージでは、人間の自然な手書きを考慮して、テキスト行を同じテキストまたはリスト項目の一部と見なす場合を最高の精度で判定する。

一般に、テキスト構造データモデルＭＬは、認識されたテキストＩＮを少なくとも１つのテキスト項目ＴＩ及び／または少なくとも１つのリスト項目ＬＩに分解してもよく、各項目は少なくとも１つのテキスト行ＬＮ及び該少なくとも１つのテキスト行ＬＮに属する各ストロークＳＫと関連付けられている。モデルＭＬは、すべてのインクストロークＳＫを少なくとも１つの文字ＣＨに関連付けることができる。さらに、各文字CHは、単一の構造項目（つまり、テキスト項目ＴＩ、リスト項目ＬＩ、または後者を考慮した場合は仕切り項目Ｄ）に属する。

テキスト構造データモデルＭＬの様々な形式、内容、及び構造を検討することができる。

この例では、各テキスト項目ＴＩ、リスト項目ＬＩ、及び仕切り項目Ｄが行全体を包含する。

モデルＭＬは、1つ以上の空行に対応する少なくとも1つの仕切り項目をさらに含むことができる。各仕切り項目Ｄは、認識されたテキストＩＮの他の２つの項目を分離することができる。

したがって、本例では、テキスト構造データモデルＭＬは、認識されたテキストＩＮを、場合によっては仕切り項目Ｄを含む、複数のテキスト項目ＴＩ及び複数のリスト項目ＬＩに分解する。

テキスト構造データモデルＭＬは、認識されたテキストＩＮに含まれる各テキスト項目ＴＩ及び各リスト項目ＬＩを識別することができる。モデルＭＬには、認識された項目ごとに、項目タイプ（テキスト項目ＴＩ、リスト項目ＬＩ、場合によっては仕切り項目Ｄ）、ストロークＳＫ、文字ＣＨ、行、開始位置と終了位置、の構造情報（またはそれらの任意の組み合わせ）を含めることができる。すべての項目（テキスト/リスト項目及び仕切り）は、テキスト内の開始カーソル位置と終了カーソル位置で表すことができる。

テキスト構造データモデルＭＬでは、表示されている各項目（つまり、テキストとリスト項目、ただし仕切り項目ではない）にも、含まれているすべての文字ＣＨのインク選択を割り当てることができる。

図１０に関して以下でさらに説明するように、コンピューティングデバイスＤＶ１は、Ｓ２で取得された手書きテキストＩＮの変更を引き起こす、後のユーザ命令（ステップＳ２～Ｓ１４の後に受信される）に基づいてテキスト構造データモデルＭＬを更新することができる。

テキスト構造データモデルＭＬがＳ１６で生成されると（図５）、コンピューティングデバイスＤＶ１はテキスト構造データモデルＭＬを使用して手書きテキストＩＮを編集できる。Ｓ１８を編集するための様々なタイプ及び実装が企図され得る。

特定の例では、後処理モジュールＭＤ１４は、テキスト構造データモデルＭＬに基づいて、認識されたテキストＩＮの編集Ｓ１８を実行する。この編集Ｓ１８は、
認識されたテキストＩＮの少なくとも１つのテキスト及び／またはリスト項目の内容を修正または変更すること（Ｓ２０）と、
認識されたテキストＩＮの少なくとも１つのテキスト及び／またはリスト項目のデジタルインクのリフローを引き起こすリフロープロセス（Ｓ２２）、のうちの少なくとも１つを含むことができる。

したがって、Ｓ１８で実行される編集は、手書きＩＮに影響を与える異なる種類の修正を含むことができる。編集Ｓ１８は、１つ以上のインク修正変更を含むことができ、これによれば、手書きＩＮの少なくとも１つのインクストロークＳＫは、修正、追加、または削除によって変更される。特定の例では、ユーザ命令によって引き起こされる変更は、電子文書４０に少なくとも１つの新しいストロークＳＫを追加すること、及び／または少なくとも１つの既存のストロークＳＫを削除または修正すること（インク修正変更）を含む。編集Ｓ１８は、手書きＩＮの１つ以上の既存の項目（テキスト及び／またはリスト項目）のリフローを必要とする１つ以上の再フォーマット変更（インクの追加、修正または削除なし）も含むことができる。したがって、この場合、リフロープロセスにより、手書きINの少なくとも１つの項目のデジタルインクがリフローされる。

編集Ｓ１８に応答して、コンピューティングデバイスＤＶ１は、編集された手書きテキストに対して再度テキスト手書き認識を実行して、テキスト構造データモデルＭＬを更新するための新しいテキスト認識結果を生成することができる。

逆に、テキストリフローは、特定の表示エリア（ページ、画面、ウィンドウなど）に合わせてテキストを移動するプロセスを指定する。テキストリフローは、可読性を向上させ、読者の理解を容易にするため、当業者にはよく知られている。テキストリフローは、アプリケーション１２が必要とするときはいつでも、コンピューティングデバイスＤＶ１によってトリガーされ得る。

分類プロセスＳ８、より具体的には、ステップＳ１４（図５）で実行されるマージプロセスは、任意の変更が行われたときのリスト処理の迅速かつ動的な応答を可能にする。これは、分類プロセスＳ８により、手書きテキストＩＮの各テキスト行ＬＮがテキスト項目またはリスト項目のいずれかの一部として分類されることが可能であるためである。この特定の例では、テキスト構造データモデルＭＬは、各テキスト行ＬＮをテキスト項目ＴＩまたはリスト項目ＬＩの一部として定義する。その結果、編集がＳ１８で行われる場合、コンピューティングデバイスＤＶ１は、例えば、前述のようにまたは任意の他の適切な方法によって（図５）ステップＳ４～Ｓ１６を実行することによって、影響を受けるテキスト行ＬＮのみを処理して、それらの分類を（リスト項目またはテキスト項目の一部として）再評価することができる。マージプロセスＳ１４がなければ、手書きテキストＩＮに対して編集が実行されるたびにすべてのテキスト行ＬＮを再評価する必要があり、これは時間及び処理の過剰コストにつながる。

したがって、マージプロセスＳ１４では、（任意の編集、すなわちインク修正変更及び／または再フォーマット変更によって）影響を受けたテキスト行ＬＮのみが再処理されるので、手書きテキストＩＮを迅速に再処理することができ、リスト／テキスト分類の結果をより速く、より首尾一貫したものにすることが可能となる。

Ｓ１８の編集中、コンピューティングデバイスＤＶ１は、テキスト構造データモデルＭＬの情報を使用して、テキストの編集方法（変更、リフローなど）を制御し、ユーザ体験を向上させる。たとえば、テキストリフローは、同じリスト項目ＬＩの各テキスト行ＬＮを自動的に位置合わせすることによって改善できる。箇条書きの追加、箇条書きの変更などの自動コンテンツ編集もリスト項目に適用できる。本発明のおかげで、テキストの操作は、テキストの構造分解に基づいて適合させることができ、具体的には、リスト及び非リストのコンテンツに適合した編集を実行することができる。

コンピューティングデバイスＤＶ１は、テキストＩＮに対して実行された編集Ｓ１８を反映するようにテキスト構造データモデルＭＬを更新することもできる。

編集Ｓ１８は、コンピュータデバイスＤＶ１への任意の適切な方法によって（例えば、入力面４またはコンピューティングデバイスＤＶ１の任意のユーザインターフェースを介して）入力されたユーザ命令に応答して実行され得る。ただし、手書きＩＮに対する編集（Ｓ１６）が、コンピューティングデバイスＤＶ１によって自動的に実行される、すなわち、手書きＩＮを編集するためのユーザ命令がない場合にコンピュータデバイスＤＶ１によってトリガーされる他の例も可能である。

たとえば、ユーザはキーボードを使用して、手書きのテキストＩＮを編集するための特別な命令を入力できる（たとえば、表組み、戻り）。予め定義されたジェスチャもユーザが入力できる。

特定の例では、分割ジェスチャ（たとえば下向き）を入力して行を分割することができ、これは、キーボードのＲｅｔｕｒｎキーをアクティブにすることと同じであり得る。分割命令がテキスト行で分割を実行するように命令すると、そのテキスト行は２つの異なるテキスト行に分割され、そのテキスト行が属する項目（テキストまたはリスト項目）も２つの異なる項目に分割される。同じ単語ＷＤの２つの連続する文字間の分割ジェスチャにより、この単語ＷＤが２つの単語に分割される可能性があり、２つの連続する単語ＷＤ間の分割ジェスチャにより、２つの異なる行で行が分割される可能性がある。

同様に、場合によっては、結合ジェスチャ（たとえば上向き）を入力して、２行または２単語を結合することができる。

手書きテキストの修正または編集を引き起こす様々な他のユーザ命令が企図され得る。

特定の例では、リフロープロセスＳ２２（図５）中に、ユーザ分割コマンドに応答して直前の項目から以前に分離されたテキストまたはリスト項目は、２つの項目を結合するユーザ結合コマンドに応答してのみ該直前の項目にマージされる。

特定の実施形態では、テキスト構造データモデルＭＬは、テキスト項目タイプを２つのサブタイプ、すなわち、明示的（または第１の）テキスト項目及び暗黙的（第２の）テキスト項目に分類することができる。言い換えれば、モデルＭＬは、各テキスト項目ＴＩを明示的テキスト項目または暗黙的テキスト項目のいずれかとして定義することができる。明示的なテキスト項目として定義されるのは、分割命令などのコンピューティングデバイスＤＶ１への所定のユーザ命令入力に応答して作成されるテキスト項目ＴＩ、分割命令などである。逆に、この分類を確認するための所定のユーザ命令を受けることなく、コンピューティングデバイスＤＶ１によってテキスト項目ＴＩであると想定され、したがってそのように分類された項目は、暗黙のテキスト項目として定義される。

たとえば、各テキスト行ＬＮは初期分類Ｓ２（図５）で暗黙のテキスト項目ＴＩとして分類され、分割ジェスチャ（またはブレーク命令）に応答して作成されたテキスト項目は明示的なテキスト項目として分類される。

したがって、テキスト構造データモデルＭＬでテキスト項目を明示的または暗黙的なテキスト項目として定義すると、ユーザの意図と一致するグローバルテキスト構造を維持することにより、テキストの操作方法をさらに改善できる。

さらに、先に示したように、コンピューティングデバイスＤＶ１は、認識されたテキストＩＮ、すなわちテキスト手書き認識Ｓ４で認識されたテキストＩＮに変更をもたらすユーザ命令を取得することに応答して、生成ステップＳ１６の後にテキスト構造データモデルＭＬを更新することができる。

図１０は、コンピューティングデバイスＤＶ１が、生成ステップＳ１６の後に、表示されている認識されたテキストＩＮに編集または変更を引き起こすユーザ命令ＩＮＳ１を取得する（Ｓ３０）、特定の実施形態を示す。

この場合、認識されたテキストＩＮに生じた変更は、手書きＩＮの少なくとも１つのインクストロークＳＫが、修正、追加、または削除（インク修正変更）によって変更されることを意味する。言い換えれば、ユーザ命令ＩＮＳ１によって引き起こされる変更は、少なくとも１つの新しいストロークＳＫを電子文書４０に追加すること、及び／または少なくとも１つの既存のストロークＳＫを削除または修正することを含む。

認識ステップＳ３２において、コンピューティングデバイスＤＶ１は、ステップＳ４（図５）と同様の方法でテキスト手書き認識を実行することによって変更された手書きテキストＩＮを認識し、それにより、ここで変更された認識されたテキストを表す新しい認識結果を生成する。

更新プロセスＳ３４において、コンピューティングデバイスＤＶ１は、Ｓ３２で得られた新しい認識結果に基づいて、テキスト構造データモデルＭＬを更新する。特定の例では、ユーザ命令ＩＮＳ１に応答して、コンピューティングデバイスＤＶ１は、手書きテキストＩＮの内容を表示上で編集し、それに応じてテキスト構造データモデルＭＬを更新する。モデルＭＬのこの更新は、例えば、テキスト項目ＴＩからリスト項目ＬＩへの少なくとも１つの項目の定義の切り替え、及び／またはリスト項目ＬＩからテキスト項目ＴＩへの少なくとも１つの項目の切り替えを含み得る。

更新プロセスＳ３４は、テキスト構造データモデルＭＬから削除された任意のストロークＳＫを削除し、テキスト構造データモデルＭＬの既存または新規の項目（テキストまたはリスト項目）に任意の新しいストロークＳＫを割り当てることにより、テキスト構造データモデルＭＬを更新することを含み得る。言い換えれば、新しいインクの追加と削除は、単にテキスト構造データモデルＭＬのブックキーピングをトリガーして、追加されたストローク、文字、単語を対応するテキスト行とそれが属する項目（テキスト項目ＴＩまたはリスト項目ＬＩ）に割り当てることができる。新しい項目ごとに、新しいインクストロークＳＫ、新しい文字ＣＨなどがその新しい項目に割り当てられる。変更の結果、既存の項目にインクが残っていない場合、項目全体が削除される。

ステップＳ３０～Ｓ３４は、テキスト構造データモデルＭＬを最新の状態に維持するために複数回繰り返すことができ、それにより、それは、手書き入力ＩＮの現在の状態を常に表す。したがって、構造分解分析は、新しいユーザ入力ごとに（つまり、新しいテキスト入力を取得するたびに）段階的に実行できる。

図１０に示される実施形態では、新しいテキスト手書き認識Ｓ３２がトリガーされて、ユーザ命令ＩＮＳ１によって変更されたテキストＩＮを認識する。変形例では、ユーザ命令ＩＮＳ１は、テキストの内容を実際に変更することなく（追加、修正、及び／または変更による既存のストロークの変更なし）、操作（テキストリフローまたは前述の再フォーマット変更）を引き起こす。その場合、この方法は、新しいテキスト手書き認識Ｓ３２を実行することなく、取得ステップＳ３０から更新プロセスＳ３４に進むことができる（図１０）。

前述のように、テキスト構造データモデルＭＬは、各テキスト行ＬＮをテキスト項目ＴＩまたはリスト項目ＬＩの一部として定義する。その結果、ユーザ命令ＩＮＳ１に応答してＳ３４で編集が行われると、コンピューティングデバイスＤＶ１は、影響を受けるテキスト行ＬＮのみを処理して、分類を再評価することができる（リスト項目またはテキスト項目の一部として）。影響を受けるテキスト行ＬＮの再処理は、前述のように分類プロセスＳ８を繰り返す（図５）、またはその他の特定の更新手法（以下で説明する）など、様々な方法で実行できる。マージステップＳ１４がなければ、手書きテキストＩＮに対して編集が実行されるたびにすべてのテキスト行ＬＮを再評価する必要があり、これは時間及び処理の過剰コストにつながる。したがって、この方法のステップＳ１４（図５）で実行されるマージプロセスは、手書きの変更または編集が行われるときに、リスト処理の迅速かつ動的な応答を可能にする。

具体的には、上記の更新プロセスＳ３４（図１０）を使用することにより、本発明は、ユーザが以前に分類されたリストまたはテキスト項目の一部を変更する可能性のあるデジタルインクに変更を加えるときに動的項目及びインデント決定を可能にする。

ここで、更新プロセスＳ３４（図１０）を実装する特定の例を以下に説明する。

図１１Ａに示すように、Ｓ３４（図１０）で、ユーザ命令ＩＮＳ１による改変が、先行するテキスト手書き認識のテキスト認識結果に含まれなかった１つ以上の新しいインクストロークＳＫの認識テキストＩＮへの追加につながることを検出すると（Ｓ４またはＳ３２）、コンピューティングデバイスＤＶ１は、テキスト構造データモデルＭＬの各新しいストロークＳＫをそれが出現するテキスト行ＬＮに割り当てる。新しいテキスト行ＬＮに現れる新しいインクストロークＳＫについて、コンピューティングデバイスＤＶ１は、テキスト行ＬＮ全体を囲む新しいテキスト項目（例えば、新しい暗黙のテキスト項目）を作成することができる。

図１１Ａに示す例では、テキスト手書き認識Ｓ３２（図１０）の結果として、「ｍａｕｒｉｓ」という単語が既存の項目ＩＴ１（この場合はテキスト項目ＴＩ）に追加され、新しい単語「Ｌｉｇｕｌａ」に対して、新しい項目ＩＴ２（この場合はテキスト項目ＴＩ）が作成される。この例では、項目ＩＴ１、ＩＴ２に対して（図５を参照して先に説明したような）ステップＳ１０、Ｓ１２、Ｓ１４が適用され、その結果、項目ＩＴ１の末尾には第２の項目ＩＴ２の第１の単語「ｌｉｇｕｌａ」を収容できるだけのスペースがあるので、これらの項目ＩＴ１、ＩＴ２はマージされない。

図１１Ｂに示される例では、分割命令（例えば、分割ジェスチャまたはリターンキー入力）は、Ｓ３０（図１０）のユーザ命令ＩＮＳ１として取得される。分割命令ＩＮＳ１は、手書きテキストＩＮのテキスト項目ＩＴ２の単語「ａｍｅｔ」と「１）」の間の位置で取得されるため、これらの単語の間に改行が発生する。単語「１）」が有効なリスト記号ＢＴを構成することを検出すると、コンピューティングデバイスＤＶ１は、テキスト項目ＩＴ２を２つの項目、すなわち、単語「ａｍｅｔ」で終わるテキスト項目ＩＴ３とリスト記号「1）」で始まるリスト項目ＩＴ４とに分割することによって、テキスト構造データモデルＭＬを更新する。

図１１Ｃに示す例では、コンピューティングデバイスＤＶ１は、カーソルがリストの最後にあるときにＲｅｔｕｒｎコマンドが押されたことを検出し、新しいリスト記号「４）」を自動的に作成して、リスト内に新しいリスト項目を作成する。

図１２～図１５に示される特定の実施形態では、コンピューティングデバイスＤＶ１は、各テキスト項目ＴＩ及び各リスト項目ＬＩ（図５の生成ステップＳ１６中、及び図１０の更新プロセスＳ３４中）について、テキスト構造データモデルＭＬに検出ゾーンを定義する。これらの検出ゾーンには、
各テキスト項目ＴＩの開始時に開始部分を定義する開始ゾーンＺ１、
各リスト項目ＬＩの先頭に開始部分を定義する箇条書きゾーンＺ２、及び、
各項目の末尾に末尾部分を定義するエンドゾーンＺ３（リスト項目ＬＩとテキスト項目ＴＩ）（またはそれらの任意の組み合わせ）が含まれ得る。

これらの検出ゾーンＺ１、Ｚ２及び／またはＺ３は、認識されたテキストが変更されたときにテキスト構造データモデルＭＬの更新を容易にするために使用することができ、それにより時間及びリソースのコストを節約し、したがってユーザ体験をさらに改善する。

より具体的には、図１２は、図６～図８の例において、コンピューティングデバイスＤＶ１によって認識及び処理された手書きテキストＩＮを示している。ステップＳ２～Ｓ１６（図５）が前述のように実行されたと想定される。したがって、生成されたステップＳ１６において、マージステップＳ１４（図８～、図９）の結果を表すテキスト構造データモデルＭＬが生成されている。図１２に示すように、テキスト構造データモデルＭＬでは、
テキスト項目ＩＴとして分類された項目ＩＴ１０及びＩＴ１２、
リスト項目ＬＴとして分類された項目ＩＴ１４、ＩＴ１６及びＩＴ１８、ならびに、
テキスト項目ＴＩとして分類された項目ＩＴ２０の項目が定義されていると想定される。

この例では、生成ステップＳ１６において、コンピューティングデバイスＤＶ１は、
各テキスト項目ＴＩについて、該テキスト項目ＴＩの最初の可視文字ＣＨで始まり、前方に伸びて、開始ゾーンがテキスト項目の末尾に達した場合に、所定の数（例えば、５の数）以下の連続する可視文字ＣＨに達するまで、１つ以上の完全な単語ＷＤを囲む開始ゾーンＺ１、及び、
各リスト項目ＬＩについて、該リスト項目ＬＩの予め定義されたリスト記号ＢＴから始まり、該箇条書きゾーンＺ２がリスト項目ＬＩの末尾に達した場合、連続した可視文字の予め定義された数（例えば、５の数）以下に達するまで１つ以上の完全な単語ＷＤを囲むように前方に延びる箇条書きゾーンＺ２、を定義する。

言い換えると、テキスト構造データモデルＭＬは、各テキスト項目ＴＩに対して（それぞれ各リスト項目ＬＩに対して）開始ゾーンＺ１（及びそれぞれ箇条書きゾーンＺ２）を定義する。

この例では、開始ゾーンと箇条書きゾーンは単一行に制限されている。

さらにこの例では、各リスト項目ＬＩの箇条書きゾーンＺ２は、リスト記号（そのような可視文字がある場合）を過ぎた（連続した）少なくとも1つの可視文字を含むと見なされる。

図１２の現在の例に示されているように、コンピューティングデバイスＤＶ１は、テキスト構造データモデルＭＬで、
項目ＩＴ１０：開始ゾーンＺ１「Ｅｔｉａｍ」、
項目ＩＴ１２：開始ゾーンＺ１「Ｖｉｖａｍｕｓ」、
項目ＩＴ１４：箇条書きゾーンＺ２「１． ｖｅｓｔｉｂｕｌｕｍ」、
項目ＩＴ１６：箇条書きゾーンＺ２「・ｕｓｃｅ」など、の検出ゾーンを定義する。

更新プロセスＳ３４（図１０）中に、コンピューティングデバイスＤＶ１は、いわゆる開始ゾーン更新を実行することができ、それにより、各テキスト項目ＴＩの開始ゾーンＺ１及び各リスト項目ＬＩの箇条書きゾーンＺ２を修正するためにテストする。すなわち、コンピューティングデバイスＤＶ１は、開始ゾーンＺ１及び箇条書きゾーンＺ２ごとに、そのゾーンの少なくとも１つのインクセグメントＳＫが削除されたか、または少なくとも１つのインクセグメントＳＫがそのゾーンに挿入されたか、またはそのゾーンの左に追加されたかどうかをチェックする。より具体的には、更新プロセスＳ３４中、コンピューティングデバイスＤＶ１は、各リスト及びテキスト項目について、ユーザ命令ＩＮＳ１によって引き起こされた改変がその開始ゾーンＺ１または箇条書きゾーンＺ２を変更するかどうか（条件ＣＤ３）、及び／または少なくとも一つの文字ＣＨ（またはストロークＳＫ）が該開始ゾーンＺ１または箇条書きゾーンＺ２より前に追加されるかどうか（条件ＣＤ４）を判断してもよい。肯定された場合（すなわち、条件ＣＤ３及びＣＤ４の少なくとも一方が満たされた場合）、コンピューティングデバイスＤＶ１は、Ｓ３４において、ユーザ命令ＩＮＳ１による変更に基づいて、開始ゾーンＺ１または箇条書きゾーンＺ２を更新し、更新プロセスＳ３４の一部として、パターン検出Ｓ１０、インデント判定Ｓ１２及びマージステップＳ１４（図５）を繰り返し、更新後の開始ゾーンＺ１または更新後の箇条書きゾーンＺ２に基づいて、テキスト構造データモデルＭＬの更新を図る。そうでない場合（すなわち、条件ＣＤ３及びＣＤ４のいずれも満たさない場合）、コンピューティングデバイスＤＶ１は、開始ゾーンＺ１または箇条書きゾーンＺ２を更新せず、ステップＳ１０～Ｓ１４を実行せず、単に手書きテキストＩＮの現在の状態を表すようにモデルＭＬの更新（ブックキーピング）を行うだけである。

言い換えると、Ｓ３４でテキスト構造データモデルが更新される方法（図１０）は、開始ゾーンＺ１と箇条書きゾーンＺ２がユーザ命令ＩＮＳ１によって引き起こされる変更の影響を受けるかどうかの関数として適応され、それによって更新プロセスの効率が向上する。特に、これらのゾーンは、以下でさらに説明するように、リスト項目ＬＩのリスト記号の変化を検出することを可能にし、また、既存のテキスト項目の先頭での新しいリスト記号の作成を検出することを可能にする。

図１３は、Ｓ３０で取得したユーザ命令ＩＮＳ１に応答して、テキスト項目ＩＴ３０、ＩＴ３２、ＩＴ３４、ＩＴ３６、及びＩＴ３８の開始ゾーンＺ１または箇条書きゾーンＺ２に様々な変更（ＡＬと表記）が行われた例を示している（図１０）。テキスト手書き認識Ｓ３２が完了すると、コンピューティングデバイスＤＶ１は更新プロセスＳ３４を実行する。更新プロセス３４の一部として、コンピューティングデバイスＤＶ１は、修正のために開始ゾーンＺ１及び箇条書きゾーンＺ２をテストする。この場合、変更は、
テキスト項目ＩＴ３０の開始ゾーンＺ１の一部が削除される、
テキスト項目ＩＴ３２の開始ゾーンＺ１の最初の文字が上書きされてる、
新しい文字「２」がリスト項目ＩＴ３４の箇条書きゾーンＺ２に挿入される、
リスト項目ＩＴ３６の箇条書きゾーンＺ３のリスト記号ＢＹが消去されている、及び、
テキスト項目ＩＴ３８）の開始ゾーンＺ１の左側に新しい文字「１）」が追加されている、である。

上記の各場合において、コンピューティングデバイスＤ１は、Ｓ３４において、開始ゾーンＺ１または箇条書きゾーンＺ２が改変ＡＬによって影響を受けることを検出するので、これらのゾーンを更新し、更新プロセスＳ３４の一部として、修正した項目に対してパターン検出Ｓ１０、インデント判定Ｓ１２及びマージステップＳ１４を実行する。その結果、項目ＩＴ３０とＩＴ３２はテキスト項目ＴＩのままであり、項目ＩＴ３４はリスト項目ＬＩ（新しいリスト記号「１．２」）のままであり、リスト項目ＩＴ３６はテキスト項目として再分類され（前面のリスト記号）、テキスト項目ＩＴ３８は、リスト記号「１）」で始まるため、リスト項目ＬＩとして再分類される。

上記の例では、各テキストとリスト項目の先頭で開始ゾーンZ1と箇条書きゾーンＺ２がチェックされ、テキスト構造データモデルＭＬが更新される。ただし、図１４に示すように、テキスト及びリスト項目の第１のテキスト行を過ぎた各テキスト行ＬＮの開始ゾーンＺ１で、同様のプロセス（いわゆる箇条書き検出）を実行できる。

より具体的には、図５の生成ステップＳ１６中、コンピューティングデバイスＤＶ１は、テキスト構造データモデルＭＬにおいて、各テキスト項目ＴＩ及び各リスト項目ＬＩについて、その第１のテキスト行ＬＮを過ぎた該項目の各テキスト行における最初の可視文字ＣＨから始まり、開始ゾーンＺ１がテキスト行末尾に到達した場合、予め定められた数（例えば５の数）以下の連続可視文字ＣＨまで１つ以上の完全な単語を囲むよう前方に延びるそれぞれの開始ゾーンＺ１が定義されてもよい。

更新プロセスＳ３４（図１０）中に、コンピューティングデバイスＤＶ１は、各テキスト項目ＴＩ及び各リスト項目ＬＩについて、その第１のテキスト行を過ぎた各テキスト行ＬＮに、Ｓ３０で取得したユーザ命令ＩＮＳ１に応答して該テキスト行ＬＮの開始ゾーンＺ１内または開始ゾーンＺ１前に追加された新しいストロークＳＫがあるかどうかをチェックする。ポジティブチェックされた各テキスト行ＬＮ（その開始ゾーンＺ１内及び／またはその前に追加された新しいストローク（複数）ＳＫ）について、コンピューティングデバイスＤＶ１は、該テキスト行ＬＮがリストの一部であることを示す所定のリスト記号ＢＴによって始まるかどうかを判断する（図５のＳ１０と同様にパターン検出を行うことにより）。肯定的には、コンピューティングデバイスＤＶ１は、対応するテキスト項目ＴＩまたはリスト項目ＬＩを分割して、所定のリスト記号ＢＴで始まる新しいリスト項目ＬＩを作成し、この分割を反映するようにテキスト構造データモデルＭＬを更新する。図１３を参照して前述したように、更新プロセスＳ３４で実行される更新とは逆に、この箇条書き検出プロセスは、追加されたインクセグメントＳＫにのみ関心がある。

例えば、図１４は、コンピューティングデバイスＤＶ１が前述のステップＳ２～Ｓ１６（図５）を実行した手書きテキストＩＮを示している。テキスト項目ＩＴ５０はテキスト構造データモデルＭＬで定義されていると想定され、この項目は連続するテキスト行ＬＮ４０～ＬＮ４５を含む。項目ＩＴ５０の各テキスト行ＬＮのうち、その第１のテキスト行を過ぎたところ（即ち、テキスト行ＬＮ４１～ＬＮ４５）の開始ゾーンＺ１において上記箇条書き検出を行うことにより、コンピューティングデバイスＤＶ１は、リスト記号ＢＴがテキスト行ＬＮ４１を開始したことは、単語が削除されているので検出しないが、そのテキスト行ＬＮ４１の前または開始ゾーンＺ１内に新しいインクストロークが付加されていないことは、検出しない。一方、コンピューティングデバイスＤＶ１は、テキスト行ＬＮ４４、ＬＮ４５の開始ゾーンＺ１の前または範囲内に新たなストロークＳＫが追加されたこと（すなわち、テキスト行ＬＮ４４、ＬＮ４５の先頭にそれぞれ「コン」「－」という文字が追加されたこと）を検出する。したがって、コンピューティングデバイスＤＶ１は、パターンマッチングを行うことにより、テキスト行ＬＮ４４、ＬＮ４５に任意のリスト記号ＢＴがあるかどうかをチェックする（パターン検出Ｓ１０、図５と同様）。図１４（右側）に示すように、コンピューティングデバイスＤＶ１は、テキスト行ＬＮ４５の先頭にリスト記号ＢＴ「－」の存在を検出し、したがって、リスト記号「－」で始まる新しいリスト項目ＩＴ５４を作成し、テキスト項目ＩＴ５０－ここではＩＴ５２と呼ばれる－を更新して、ここでは単語「ｎｅｃｕｌａｅ」で終了するようにして、テキスト項目ＩＴ５０を２項目ＩＴ５２及びＩＴ５４に分割する。テキスト構造データモデルＭＬは、これらの変更を反映するためにＳ３4で適宜更新される。

特定の例では、箇条書き検出は、少なくとも１つのインクストロークＳＫの追加を検出することに応答して、テキストまたはリスト項目の任意の部分で実行することができる。この例では、更新プロセスＳ３４（図１０）中に、コンピューティングデバイスＤＶ１は、Ｓ３０で取得したユーザ命令ＩＮＳ１に応答して、テキスト項目またはリスト項目のテキスト行ＬＮ内に追加された少なくとも１つのストロークＳＫを検出することと、該テキスト行ＬＮがリストの一部であることを示す所定のリスト記号ＢＴで始まるかどうかを判定すること（図５のＳ１０と同様にパターン検出を実行する）と、肯定されると、該当テキスト項目またはリスト項目を分割して新しいリスト項目ＩＴとし、テキスト構造データモデルＭＬを更新してこの分割を反映させることと、を実行する。

上記の例では、開始ゾーンＺ１を使用して、ユーザ命令ＩＮＳ１を受信したときの更新プロセスの効率を向上させる。同様の更新プロセスは、各テキスト及びリスト項目のエンドゾーンＺ３に基づいて実行できる。

図１２に示される特定の例では、Ｓ１６（図５）でテキスト構造データモデルＭＬを生成するとき、コンピューティングデバイスＤＶ１は、テキスト及びリスト項目ごとに、１つ以上の完全な単語ＷＤを囲んで該項目の最後の可視文字ＣＨから後方に、該エンドゾーンＺ３が該項目の先頭に到達する場合には、連続する可視文字ＣＨの予め定められた数（例えば、５の数）以下に達するまで延びるエンドゾーンＺ３を定義する。

図１２の現在の例に示されているように、コンピューティングデバイスＤＶ１は、テキスト構造データモデルＭＬで、
項目ＩＴ１０：エンドゾーンＺ３「Ｎａｍ．」、
項目ＩＴ１２：エンドゾーンＺ３「ｄｏｎｅｃ．」、
項目ＩＴ１４：エンドゾーンＺ３「ａｕｃｔｏｒ．」、
項目ＩＴ１６：エンドゾーンＺ３「ｖｅｌｉｔ．」など、の検出ゾーンを定義する。

更新プロセスＳ３４（図１０）中に、コンピューティングデバイスＤＶ１は、いわゆる項目マージを実行することができ、それにより、各項目ＩＴ１０～ＩＴ２０について、ユーザ命令ＩＮＳ１によって引き起こされた変更がそのエンドゾーンＺ３を変更するかどうか、及び／またはエンドゾーンＺ３の後に少なくとも１つのストロークＳＫが追加されるかを決定し、肯定的には、変更に基づいて該エンドゾーンＺ３を更新し、更新されたエンドゾーンＺ３に基づいて、前述のように該マージステップＳ１４（図５）を繰り返して、テキスト構造データモデルＭＬを更新する。

コンピューティングデバイスＤＶ１は、更新プロセスＳ３４を実行するときに、開始ゾーンＺ１及び箇条書きゾーンＺ２のみ、または、代替的には、エンドゾーンＺ３のみを使用するように構成することができる（図１０）。

開始ゾーンＺ１、箇条書きゾーンＺ２、及びエンドゾーンＺ３を使用すると、コンピューティングデバイスＤＶ１は、テキスト行ＬＮの主要部分で発生する変更に集中できるため、構造データモデルＭＬの更新に必要な計算量が抑制される。

システムは各項目の先頭と末尾に焦点を合わせ、それに応じてテキスト構造データモデルを更新する方法を適応させることができるため、効率が向上し、時間とリソースが節約される。

ここで、特定の実施形態に係る更新プロセスＳ３４（図１０）を、図１５を参照して説明する。更新プロセスＳ３４は、テキストＩＮに変更を引き起こすユーザ命令ＩＮＳ１を取得すると、（例えば、図８に示されるように）手書きテキストＩＮに対して実行されると想定される。

ステップＳ４０において、コンピューティングデバイスＤＶ１は、各リスト項目ＬＩ及びテキスト項目ＴＩを更新して、任意の削除されたインクセグメントＳＫ（すなわち、削除された任意の文字ＣＨ及び単語ＷＤ）への参照を削除する。項目にインクが残っていない場合は、削除される。

ステップＳ４２において、任意の新しいインクセグメントＳＫ（すなわち、任意の新しい文字ＣＨ及び単語ＷＤ）が、テキスト構造データモデルＭＬに追加される。各項目について、その項目のテキスト行ＬＮに表示される新しいインクセグメントＳＫは、その項目に割り当てられる。新しいテキスト行ＬＮに表示される新しいインクセグメントＩＮＫの場合、テキスト行全体を囲む新しいテキスト項目（新しい暗黙のテキスト項目など）が作成される。

ステップＳ４４において、各テキスト項目ＴＩの開始ゾーンＺ１及び各リスト項目ＬＩの箇条書きゾーンＺ２は、変更についてテストされ、テキスト構造データモデルＭＬは、図１２～図１３を参照して前述したように開始ゾーン更新を実行することによって更新される。

ステップＳ４６において、各テキスト及びリスト項目の最初のテキスト行を過ぎたテキスト行は、追加されたインクセグメントについてテストされ、テキスト構造データモデルＭＬは、図１４を参照して前述したように箇条書き検出を実行することによって更新される。

ステップＳ４８において、各テキスト及びリスト項目のエンドゾーンＺ３は、変更についてテストされ、テキスト構造データモデルＭＬは、図５及び図１０を参照して前述したように項目マージを実行することによって更新される。

ステップＳ４０～Ｓ４８を連続して実行することにより、テキスト構造データモデルＭＬを効率的に更新することができ、それにより、それは常に手書き入力の現在の状態を表す。

特定の例では、既存の項目を２つの別個の項目に分割するためのユーザ命令ＩＮＳ１（図１０）として受信した分割コマンド（分割ジェスチャなど）に応答して、
分割コマンドでテキスト行の先頭位置または末尾位置に分割位置を指定した場合、その分割位置に空行が挿入され、
分割コマンドがテキスト行内の分割位置を指定する場合、更新プロセスは、
分割位置でテキスト行を、該既存の項目を分割することから得られた第１の項目及び第２の項目にそれぞれ属する第１のテキスト行及び第２のテキスト行に分割することと、
第２のテキスト行が、該第２のテキスト行がリストの一部であることを示す所定のリスト記号で始まるかどうかを判定することと、
肯定の場合、第２の項目をリスト項目として分類し、それ以外のでは、第２の項目をテキスト項目として分類することと、を含む。

特定の例では、２つの別個の項目を一緒に結合するためのユーザ命令ＩＮＳ１に応答してのみ、更新プロセスＳ３４（図１０）中に２つの連続する項目が同じ項目にマージされる。２つの項目が連続している場合、それらは、明示的な結合命令に応答してのみ、更新プロセスＳ３4中にマージされる。

いくつかの代替的な実装では、ブロックに記された機能は、図に記された順序とは無関係に発生する可能性があることに留意されたい。例えば、連続して表示される２つのブロックは、実際には実質的に同時に実行されることもあり、関係する機能に応じて、ブロックが逆の順序で実行されることもあり、別の順序で実行されることもある。

明確に説明されていないが、本実施形態は、それらの任意の組み合わせまたはサブ組み合わせで使用することができる。

本開示は、特定の実施形態で説明されてきたが、当業者の能力の範囲内で、発明能力を発揮することなく、多数の修正及び実施形態に影響を受け得ることは明らかである。したがって、本発明の範囲は、以下の特許請求の範囲により定義される。

Claims (15)

1. 手書きでリストを処理するためのコンピューティングデバイス（１００）によって実装される方法であって、
   －電子文書内のデジタルインクの複数のストロークに対してテキスト手書き認識を実行することによって、テキストであって、前記テキストが複数の連続するテキスト行を含むテキスト、を認識することと、
   －最初に、各認識されたテキスト行を、リストの一部ではない別個のテキスト項目として分類することと、
   －以下のステップを含む分類プロセスと：
   ａ）前記テキスト行が、前記テキスト行がリストの一部であることを示す所定のリスト記号で始まるかどうかを判定し、所定のリスト記号で始まる各テキスト行をリストの一部である別個のリスト項目として分類するための、各テキスト行におけるパターン検出ステップと、
   ｂ）前記ステップａ）に応答して、基準位置に対する各テキスト項目の項目インデントを決定し、前記基準位置に対する前記リスト項目で構成されるテキストの前記インデントを表すテキストインデントを各リスト項目に対して決定するステップと、
   ｃ）前記ステップｂ）に応答して、
   ｏ前記テキストにおいて、第１のテキスト行によって、続いて第２のテキスト行によって形成される連続するテキスト行の各対を、前記対の前記第１の及び第２のテキスト行が同じテキストインデントを有するテキスト項目である場合、かつ、前記第１のテキスト行の末尾に、前記第２のテキスト行を開始する第１の単語を収容するのに十分な空きスペースがない場合、同一のテキスト項目の一部としてマージすることと、
   ｏ第１のテキスト行によって、続いて第２のテキスト行によって形成される連続したテキスト行の各対を、前記第１のテキスト行がリスト項目であり、前記第２のテキスト行が、前記第１のテキスト行の前記テキストインデントと一致するテキストインデントを有するテキスト項目である場合、かつ、前記第１のテキスト行の末尾に、前記第２のテキスト行を開始する第１の単語を収容するのに十分な空きスペースがない場合、同一のリスト項目の一部としてマージすることと、を含むマージプロセスステップと、を含む分類プロセスと、
   －前記マージプロセスの結果に基づいて、各テキスト行をテキスト項目またはリスト項目の一部として定義するテキスト構造データモデルを生成することと、を含む方法。
2. －ユーザ入力としてデジタルインクの複数のストロークを取得し表示することを含み、前記認識することが、前記取得されたストロークに対して前記テキスト手書き認識を実行し、認識されたテキストから前記複数の連続したテキスト行を識別することを含む、請求項１に記載の方法。
3. 前記パターン検出が、各テキスト行について、前記テキスト行を開始する第１の記号を所定のリスト記号のセットと比較して、一致するかどうかを判定することを含む、請求項１または２に記載の方法。
4. 前記マージプロセスが、前記第１のテキスト行がテキスト項目であり、前記第２のテキスト行がリスト項目である場合、第１のテキスト行によって、続いて第２のテキスト行によって形成される連続するテキスト行の各対を別個の項目として維持することを含む、請求項１～３のいずれか一項に記載の方法。
5. 前記テキスト構造データモデルが、認識されたテキストを少なくとも１つのテキスト項目及び／または少なくとも１つのリスト項目に分解し、各項目が少なくとも１つのテキスト行及び前記少なくとも１つのテキスト行に属する各ストロークと関連付けられる、請求項１～４のいずれか一項に記載の方法。
6. ユーザ命令に応答して、前記テキスト構造データモデルに基づく前記認識されたテキストの編集を含み、前記編集が、
   －前記認識されたテキストの少なくとも１つの項目の内容を修正することと、
   －前記認識されたテキストの少なくとも１つの項目のデジタルインクをリフローさせるリフロープロセス、のうちの少なくとも１つを含み、
   前記コンピューティングデバイスが、前記テキスト構造データモデルの情報を使用して、前記編集を制御する、請求項１～５のいずれか一項に記載の方法。
7. －認識されたテキストを表示することと、
   －前記テキスト構造データモデルを生成した後、表示されている前記認識されたテキストに変更を加えるユーザ命令を取得することと、
   －前記テキスト構造データモデルを更新して、前記ユーザ命令によって引き起こされた前記変更を反映させる、更新プロセスと、を含む、請求項１～６のいずれか一項に記載の方法。
8. 前記ユーザ命令によって引き起こされた前記変更が、前記電子文書に少なくとも１つの新しいストロークを追加し、及び／または少なくとも１つの既存のストロークを削除もしくは修正することを含み、
   前記更新プロセスが、前記テキスト構造データモデルから削除されたストロークを削除することと、前記テキスト構造データモデルのテキストまたはリスト項目のいずれかの既存または新規の項目に新しいストロークを割り当てることによって、前記テキスト構造データモデルを更新することと、を含む、請求項７に記載の方法。
9. 前記テキスト構造データモデルを前記生成することが、
   －各テキスト項目について、前記テキスト項目の最初の可視文字で始まり、前方に伸びて、開始ゾーンが前記テキスト項目の前記末尾に達した場合に、所定の数以下の連続する可視文字に達するまで、１つ以上の完全な単語を囲む前記開始ゾーンと、
   －各リスト項目について、関連する所定のリスト記号から始まり、前方に伸びて、所定の連続した可視文字の数に達するまで、または箇条書き領域が前記リスト項目の終わりに達する場合はそれ未満まで、１つ以上の完全な単語を囲む、前記箇条書き領域と、を定義することを含み、
   前記更新プロセスが、
   －各項目について、前記ユーザ命令によって引き起こされた前記変更が前記開始ゾーンまたは箇条書きゾーンを変更するかどうか、及び／または、少なくとも１つの文字が前記開始ゾーンまたは箇条書きゾーンの前に追加されるかどうかを判定し、肯定の場合、前記変更に基づいて前記開始ゾーンまたは箇条書きゾーンを更新し、前記更新後の開始ゾーンまたは箇条書きゾーンに基づいて前記ステップａ）、ｂ）及びｃ）を繰り返して、前記テキスト構造データモデルを更新すること、を含む、請求項７または８に記載の方法。
10. 前記更新プロセスが、
    －前記ユーザ命令に応答して、テキストまたはリスト項目のテキスト行内に追加された少なくとも１つのストロークを検出することと、
    －前記テキスト行が、前記テキスト行がリストの一部であることを示す所定のリスト記号で始まるかどうかを判定することと、
    －肯定の場合、対応するテキスト項目またはリスト項目を分割して新しいリスト項目を作成し、前記テキスト構造データモデルを更新して前記分割を反映することと、を含む、請求項７～９のいずれか一項に記載の方法。
11. 前記テキスト構造データモデルを前記生成することが、
    －各テキスト項目及び各リスト項目について、最初の行を過ぎた前記項目の各テキスト行の前記最初の可視文字で始まり、前方に伸びて、各開始ゾーンが前記テキスト項目の前記末尾に達した場合に、所定の数以下の連続する可視文字に達するまで、１つ以上の完全な単語を囲む前記開始ゾーン、を定義することを含み、
    前記更新プロセスが、
    －各テキスト項目及び各リスト項目について、第１のテキスト行を過ぎた各テキスト行が、前記ユーザ命令に応答して、前記テキスト行の前記開始ゾーン内または前記開始ゾーン前に追加された任意の新しいストロークをチェックすることと、
    －ポジティブチェックされた各テキスト行について、前記テキスト行が、前記テキスト行がリストの一部であることを示す所定のリスト記号で始まるかどうかを判定することと、
    －肯定の場合、対応するテキスト項目またはリスト項目を分割して、前記所定のリスト記号で始まる新しいリスト項目を作成し、前記分割を反映するようにテキスト構造データモデルを更新することと、を含む、請求項７～１０のいずれか一項に記載の方法。
12. 前記テキスト構造データモデルを前記生成することが、各テキスト及びリスト項目について、前記項目の最後の可視文字から１つ以上の完全な単語を囲んで後方に延びるエンドゾーンを、前記エンドゾーンが前記項目の先頭に達する場合は所定の数以下の連続可視文字数に達するまで定義することを含み、
    前記更新プロセスが、
    －各項目について、前記ユーザ命令によって引き起こされた前記変更がそのエンドゾーンを変更するかどうか、及び／または、前記エンドゾーンの後に少なくとも１つのストロークが追加されるかどうかを判定し、肯定の場合、前記変更に基づいて前記エンドゾーンを更新し、前記更新されたエンドゾーンに基づいて前記ステップｃ）を繰り返して、前記テキスト構造データモデルを更新することを含む、請求項７～１１のいずれか一項に記載の方法。
13. 既存の項目を２つの別個の項目に分割するためのユーザ命令として受け取った分割コマンドに応答して、
    －前記分割コマンドが、テキスト行の先頭または末尾の分割位置を指定する場合、前記分割位置に空行を挿入し、
    －前記分割コマンドがテキスト行内に分割位置を指定する場合、前記更新プロセスが、
    ｏ 前記テキスト行を、前記分割位置において、前記既存の項目を分割して得られた第１の項目及び第２の項目にそれぞれ属する第１のテキスト行及び第２のテキスト行に分割することと、
    ｏ 前記第２のテキスト行が、前記第２のテキスト行がリストの一部であることを示す所定のリスト記号で始まるかどうかを判定することと、
    ｏ 肯定の場合、前記第２の項目をリスト項目として分類し、そうでない場合、前記第２の項目をテキスト項目として分類することと、を含む、請求項７～１２のいずれか一項に記載の方法。
14. ２つの別個の項目を一緒に結合するためのユーザ命令に応答してのみ、２つの連続する項目が同じ項目にマージされる、請求項１～１３のいずれか一項に記載の方法。
15. 手書きでリストを処理するためのコンピューティングデバイスであって、
    －電子文書内のデジタルインクの複数のストロークに対してテキスト手書き認識を行うことによって、テキストであって、前記テキストが、それぞれがリストの一部であるリスト項目またはリストの一部ではないテキスト項目のいずれかであり得る複数の連続したテキスト行を含む前記テキストを認識するように構成された認識モジュールと、
    －認識された各テキスト行を別個のテキスト項目として最初に分類し、
    ａ）前記テキスト行が、前記テキスト行がリストの一部であることを示す所定のリスト記号で始まるかどうかを判定し、所定のリスト記号で始まる各テキスト行をリスト項目として分類するための各テキスト行のパターン検出ステップと、
    ｂ）前記ステップａ）に応答して、基準位置に対する各テキスト項目の項目インデントを決定し、前記基準位置に対する前記リスト項目を含むテキストのインデントを表すテキストインデントを各リスト項目に対して決定するステップと、
    ｃ）前記ステップｂ）に応答して、
    ｏ同一テキスト項目の一部として、前記テキストにおいて、第１のテキスト行によって、続いて第２のテキスト行によって形成される連続したテキスト行の各対を、前記対の前記第１及び第２のテキスト行が同一の項目インデントを有するテキスト項目であり、かつ前記第１のテキスト行の末尾に前記第２のテキスト行を開始する第１の単語を収容するために十分な空きスペースが存在しなければ、マージすることと、
    ｏ前記第１のテキスト行がリスト項目であり、前記第２のテキスト行が前記第１のテキスト行のテキストインデントと一致する項目インデントを有するテキスト項目であり、前記第１のテキスト行の末尾に第２のテキスト行を開始する第１の単語を収容するのに十分な空きスペースがない場合、第２のテキスト行に続く第１のテキスト行によって形成される連続するテキスト行の各対を同じリスト項目の一部としてマージすることと、を含むマージプロセスと、を含む分類プロセスを実行するように構成された分類器モジュールと、
    －前記マージプロセスの結果に基づいて、各テキスト行をテキスト項目またはリスト項目の一部として定義するテキスト構造データモデルを生成するように構成されたモデル管理モジュールと、を備えるコンピューティングデバイス。

Images