JP6914260B2 - デジタルインクを美しくするためのシステム及び方法 - Google Patents

Description

関連出願の相互参照
本出願は、２０１５年１２月８日に出願された欧州特許出願第１５２９０３０３．５号明細書及び２０１５年１２月２２に出願された米国特許出願第１４／９７８０８１号明細書の優先権を主張し、その全ての開示内容は、参照により本明細書に組み込まれる。

本明細書は、一般にはコンピューティングデバイスインタフェースを使用する手書き認識システム及び方法の分野に関する。本明細書は、より詳細にはそのようなコンピューティングデバイスインタフェースへの手書き入力からレンダリングされるデジタルインクを美しくする及びデジタルインクの編集をコンピューティングデバイスインタフェースに提供するためのシステム及び方法に関する。

コンピューティングデバイスは、日常生活でますます遍在化を進めている。コンピューティングデバイスは、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、ハイブリッドコンピュータ（ツーインワン）、電子書籍リーダ、モバイルフォン、スマートフォン、ウェアラブルコンピュータ（スマートウォッチ、スマートグラス／ヘッドセットを含む）、グローバルポジショニングシステム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、パーソナルデジタルアシスタント（ＰＤＡ）、ゲームコンソールなどの形態をとる。さらに、コンピューティングデバイスは、車、トラックなどの車両機器、農業機器、製造機器、建物環境制御（例えば、照明、ＨＶＡＣ）、及び家庭用及び業務用電化製品に組み込まれている。

コンピューティングデバイスは、一般には中央処理装置（ＣＰＵ）などの少なくとも１つの処理要素、何らかの形態のメモリ、及び入出力デバイスから成る。多種類のコンピューティングデバイス及びそれに伴う使用では、様々なインタフェース及び入力デバイスを必要とする。そのような１つの入力デバイスは、タッチスクリーン又はタッチパッドなどのタッチ感応表面デバイスであり、そこにおいてユーザの指又はペンやスタイラスなどの器具とタッチ感応表面デバイスとの接触を通じてユーザ入力が受信される。別の入力デバイスは、ユーザによって入力面の上方で行われるジェスチャーを感知する入力面デバイスである。さらなる入力デバイスは、ノンタッチの物理又は仮想表面とのタッチ又はノンタッチインタラクションのいずれかの相対位置を検出する位置検出システムである。これらの入力方法のいずれも描画する又はテキストを入力するために一般的に使用される。ユーザ入力がテキストである場合、ユーザの手書きは、手書き認識システム又は方法を使用して解釈される。

ポータブルでないコンピューティングデバイスと、スマートフォン、ファブレット及びタブレットなどのポータブルコンピューティングデバイスにおける手書き認識の１つのアプリケーションは、従来、キーボードを用いて物理的又は仮想的のいずれかで行われるのと同様のやり方でコンピューティングデバイスによって実行される様々なアプリケーションにテキストを入力するものである。しかしながら、表示されたカーソルの位置に応じてテキストを可視又は不可視ライン上に入れるなど、厳密なレイアウトルールによって統制されるキーボード入力とは違い、手書きは、デバイスの入力面のどこにでも仮想的に入力される。この実質的に制約のない入力は、手書きの認識精度にある程度影響を与えるが、現在使用可能な高度な認識アルゴリズムは、テキスト文字のこのような比較的「自由な」位置付けを概ね処理しうる。

より影響があるのは、入力がいわゆる「デジタルインク」としてディスプレイにレンダリングされた直後にその入力とインタラクトするユーザの能力である。この理由は、一様で周知の方法で相対的に配置される文字を有する、印字された又は「植字インク」テキストとは違い、デジタルインクテキストの文字が、一般的に手書きにつきものの不規則性のため、一様でない又は比較的見慣れた位置にないからである。従って、従来のシステム及び方法は、典型的には、認識されたテキストからレンダリングされる植字インクでしかさらなるインタラクションを行うことができず、これは一般的に入力が許可された領域とは異なる表示の位置で行われる。

しかしながら、手書き入力の生成の流れが維持されるように、入力を編集する（例えば、文字又は単語を追加又は削除する）など、手書とも直接インタラクトできることがユーザにとって望ましい。いくつかの使用可能なアプリケーションは、正規化などを通じてデジタルインクの整列及びスケーリングを提供する。しかしながら、これらは、手書きの一定の幾何学的特徴を考慮せず、従って元のデジタルインクの完全なインタラクション又は忠実な再現を可能にするスケーリング及び整列が正しく行われない。さらに、それらのアプリケーションは、これらの動作を提供するための認識を用いず、そのため入力信号内でインタラクション能力を提供しない。従って、編集動作を単語レベルでしか行うことができず、例えば、文字レベルで行うことができない。

以下に記載されている本発明の例は、コンピューティングデバイス上でデジタルインクを美しくし、そして、編集を提供するためのシステム及び方法を提供する。

一例において、本発明は、コンピューティングデバイス上でデジタルインクを美しくするためのシステムを含む。各コンピューティングデバイスは、プロセッサと、プロセッサの制御に応じて手書き入力を認識するための少なくとも１つの非一時的なコンピュータ可読媒体を含みうる。非一時的なコンピュータ可読媒体は、手書き入力に応じて第１のデジタルインクをコンピューティングデバイスの表示インタフェースに表示させて、手書き入力の認識を通じて決定された手書き入力の第１の幾何学的情報と表示インタフェースのアライメント構造の第２の幾何学的情報から第１のデジタルインクの構造的な変化（structuring transformation）を決定し、また、構造的な変化に応じて第２のデジタルインクを表示インタフェースに表示させるように構成され得る。

構造的な変化は、第１及び第２の幾何学的情報のうち少なくとも２つの比較から決定され得る。少なくとも２つの比較は、第１及び第２の幾何学的情報の第１及び第２の比率値を提供してもよく、構造的な変化は、第１及び第２の比率値の最小から決定される。

構造的な変化は、第１のデジタルインクをスケーリングして第２のデジタルインクを作成してもよい。構造的な変化は、第２のデジタルインクを作成するために第１のデジタルインクをアライメント構造にスケーリングしてもよい。アライメント構造は、ラインパターンになり得る。

別の例において、本発明は、コンピューティングデバイス上でデジタルインクを美しくするための方法を含む。各コンピューティングデバイスは、プロセッサと、プロセッサの制御に応じて手書き入力を認識するための少なくとも１つの非一時的なコンピュータ可読媒体を含みうる。方法は、手書き入力に応じて第１のデジタルインクをコンピューティングデバイスの表示インタフェースに表示するステップと、手書き入力の認識を通じて決定された手書き入力の幾何学的情報から第１のデジタルインクの構造的な変化を決定するステップと、構造的な変化に応じて第２のデジタルインクを表示インタフェースに表示するステップを含んでもよい。

方法は、第１及び第２の幾何学的情報のうち少なくとも２つの比較から構造的な変化を決定してもよい。少なくとも２つの比較は、第１及び第２の幾何学的情報の第１及び第２の比率値を提供してもよく、方法は、第１及び第２の比率値の最小から構造的な変化を決定してもよい。

構造的な変化は、第１のデジタルインクをスケーリングして第２のデジタルインクを作成してもよい。構造的な変化は、第２のデジタルインクを作成するために第１のデジタルインクをアライメント構造にスケーリングしてもよい。アライメント構造は、ラインパターンになり得る。

別の例において、本発明は、コンピュータ可読プログラムコードが実施される、非一時的なコンピュータ可読媒体を含む。コンピューティングデバイス上でデジタルインクを美しくするための方法を実装するコンピュータ可読プログラムコードが実行されるように適応され得る。コンピューティングデバイスは、プロセッサと、プロセッサの制御に応じて手書き入力を認識するための少なくとも１つのシステムの非一時的なコンピュータ可読媒体を含んでもよい。方法は、手書き入力に応じて第１のデジタルインクをコンピューティングデバイスの表示インタフェースに表示するステップと、手書き入力の認識を通じて決定された手書き入力の幾何学的情報から第１のデジタルインクの構造的な変化を決定するステップと、その構造的な変化に応じて第２のデジタルインクを表示インタフェースに表示するステップを含んでもよい。

方法は、第１及び第２の幾何学的情報のうち少なくとも２つの比較から構造的な変化を決定してもよい。少なくとも２つの比較は、第１及び第２の幾何学的情報についての第１及び第２の比率値を提供してもよく、その方法は、第１及び第２の比率値のうちの最小値から構造的な変化を決定してもよい。

構造的な変化は、第１のデジタルインクをスケーリングして第２のデジタルインクを作成してもよい。構造的な変化は、第１のデジタルインクをアライメント構造（alignment structure）に整列して第２のデジタルインクを作成することでもよい。アライメント構造は、ラインパターンであってもよい。

別の例において、本発明は、コンピューティングデバイスにデジタルインクの編集を提供するためのシステムを含む。各コンピューティングデバイスは、プロセッサと、プロセッサの制御に応じて手書き入力を認識するための少なくとも１つの非一時的なコンピュータ可読媒体を含んでもよい。非一時的なコンピュータ可読媒体は、手書き入力に応じてデジタルインクをコンピューティングデバイスの表示インタフェースに表示させて、手書き入力の認識を通じて決定された手書き入力の分割情報（segmentation information）からデジタルインクの要素の範囲を決定し、また、決定されたデジタルインクの要素範囲に関連して入力カーソルを表示インタフェースに表示させるように構成されてもよい。

デジタルインクの要素は、テキスト文字を含んでもよく、少なくとも１つの非一時的なコンピュータ可読媒体は、第１及び第２の文字についての決定された範囲に関連して第１の文字と第２の文字との間の位置に入力カーソルを表示するように構成されてもよい。

第１及び第２の文字についての決定された範囲は重複してもよく、少なくとも１つの非一時的なコンピュータ可読媒体は、第１の文字についての決定された範囲の幾何学的特徴と第２の文字についての決定された範囲の幾何学的特徴とを比較し、その比較に応じて重複範囲内の第１の文字についての決定された範囲又は第２の文字についての決定された範囲の境界に入力カーソルを表示させるように構成されてもよい。幾何学的特徴は、決定された範囲の高さ及び幅を含んでもよい。

別の例において、本発明は、コンピューティングデバイスにデジタルインクの編集を提供するための方法を含む。各コンピューティングデバイスは、プロセッサと、プロセッサの制御に応じて手書き入力を認識するための少なくとも１つの非一時的なコンピュータ可読媒体を含んでもよい。方法は、手書き入力に応じてデジタルインクをコンピューティングデバイスの表示インタフェースに表示するステップと、手書き入力の認識を通じて決定された手書き入力の分割情報からデジタルインクの要素の範囲を決定するステップと、決定されたデジタルインクの要素範囲に関連して編集カーソルを表示インタフェースに表示するステップを含んでもよい。

デジタルインクの要素は、テキスト文字を含んでもよく、方法は、第１及び第２の文字についての決定された範囲に関連して第１の文字と第２の文字との間の位置に入力カーソルを表示してもよい。

第１及び第２の文字についての決定された範囲は重複してもよく、方法は、第１の文字についての決定された範囲の幾何学的特徴と第２の文字についての決定された範囲の幾何学的特徴とを比較し、その比較に応じて重複範囲内の第１の文字についての決定された範囲又は第２の文字についての決定された範囲の境界に入力カーソルを表示してもよい。幾何学的特徴は、決定された範囲の高さ及び幅を含んでもよい。

別の例において、本発明は、コンピュータ可読プログラムコードが実施される、非一時的なコンピュータ可読媒体を含む。デジタルインクの編集をコンピューティングデバイスに提供するための方法を実装するコンピュータ可読プログラムコードが実行されるように適応されてもよい。コンピューティングデバイスは、プロセッサと、プロセッサの制御に応じて手書き入力を認識するための少なくとも１つのシステムの非一時的なコンピュータ可読媒体を含んでもよい。方法は、手書き入力に応じてデジタルインクをコンピューティングデバイスの表示インタフェースに表示するステップと、手書き入力の認識を通じて決定された手書き入力の分割情報からデジタルインクの要素の範囲を決定するステップと、決定されたデジタルインクの要素の範囲に関連して編集カーソルを表示インタフェースに表示するステップを含んでもよい。

デジタルインクの要素は、テキスト文字を含んでもよく、方法は、第１及び第２の文字についての決定された範囲に関連して第１の文字と第２の文字との間の位置に入力カーソルを表示してもよい。

第１及び第２の文字についての決定された範囲は重複してもよく、方法は、第１の文字についての決定された範囲の幾何学的特徴と第２の文字についての決定された範囲の幾何学的特徴とを比較し、その比較に応じて重複範囲内の第１の文字についての決定された範囲又は第２の文字についての決定された範囲の境界に入力カーソルを表示してもよい。幾何学的特徴は、決定された範囲の高さ及び幅を含んでもよい。

本システム及び方法は、図面と共に以下の例の詳細な説明からより完全に理解されるだろう。図中において、同様の参照番号は、同様の要素を示す。

本システム及び方法の例に係るコンピューティングデバイスのブロック図である。 本システム及び方法の例に係る手書き認識のシステムのブロック図である。 本システム及び方法の例に係る図２の手書き認識システムの詳細を示すブロック図である。 コンピューティングデバイスの一部の入力面のインク入力領域の例示的なビジュアルレンダリングの概略図である。 デジタルインクとしてレンダリングされる例示的な手書きされた入力を有する図４の例示的な入力領域を示す図である。 手書き認識システムによって提供される幾何学的情報を用いて図５の例示的なデジタルインクを示した図である。 手書き認識システムによって提供される幾何学的情報を用いて図４の例示的な入力領域を示した図である。 ラインパターンにレンダリングされた例示的な美化されたデジタルインクを示す図である。 デジタルインクとしてレンダリングされる例示的な手書き入力を有する図４の例示的な入力領域を示す図である。 手書き認識システムによって提供される幾何学的情報を用いて図９の例示的なデジタルインクを示した図である。 カーソルを用いて図８の例示的な美化されたデジタルインク示した図である。 手書き認識システムによって提供される例示的な手書きされた入力の文字分割から決定された文字の境界ボックスを用いて図５の例示的なデジタルインクを示した図である。 デジタルインクとしてレンダリングされる例示的な手書き入力を有する図４の例示的な入力領域を示す図である。 手書き認識システムによって提供される例示的な手書き入力の文字分割から決定された文字の境界ボックスを用いて図１３の例示的なデジタルインクを示した図である。 ラインパターンにレンダリングされた例示的な美化されたデジタルインクを示す図である。 手書き認識システムによって提供される例示的な手書き入力の文字分割から決定された文字の境界ボックスを有する図１５の例示的な美化されたデジタルインクを示す図である。 図１５の例示的な美化されたデジタルインクの重複していない文字の第１の例示的なカーソル位置を示す図である。 図１５の例示的な美化されたデジタルインクの重複していない文字の第２の例示的なカーソル位置を示す図である。 図１５の例示的な美化されたデジタルインクの重複していない文字の第３の例示的なカーソル位置を示す図である。 図１５の例示的な美化されたデジタルインクの重複した文字の第４の例示的なカーソル位置を示す図である。 図１５の例示的な美化されたデジタルインクの重複した文字の第５の例示的なカーソル位置を示す図である。

以下の詳細な説明において、多数の具体的詳細は、関連する教示の完全な理解を与えるために例として記載されている。しかしながら、本教示をそのような詳細を用いずに実行され得ることが当業者には明らかなはずである。他の例では、周知の方法、手順、コンポーネント、及び／又は回路は、本教示の不必要で曖昧な態様を回避するために、詳細なく比較的ハイレベルで説明されている。

上、下、上方、下方、最低、最高、水平、垂直など、方向特徴の参照及び議論は、認識される入力が行われる入力面に適用される時のデカルト座標系に対して行われる。さらに、左や右などの用語は、図面を見る時に読み手の視点に関連して用いられる。さらに、本明細書の用語「テキスト」の使用は、記述言語のいずれにおいてもすべての英数文字及びその文字列、書かれるテキストで使用されるありふれた非英数文字、例えば、記号を網羅するものとして理解される。さらに、これらの図面で示した例は、左から右に記述言語の文脈であり、従って、位置に対する任意の参照が、異なる方向のフォーマットを有する記述言語に適応されうる。

本明細書に記載の様々な技術は、概して、入力されるコンテンツのスタイルを保持するやり方でポータブル及びポータブルでないコンピューティングデバイスに対して手描き及び手書きされたコンテンツのキャプチャ、処理及び管理に関するが、そのコンテンツの忠実な植字又は美化されたバージョンに変換させることを可能にする。本明細書に記載のシステム及び方法は、コンピューティングデバイスに接続されているか又はそれのタッチ感応スクリーンのような入力面を介して、又はコンピューティングデバイスに接続されたデジタルペン又はマウスなどの入力デバイスを介して、又は位置検出システムによってモニタされる物理表面又は仮想表面を介してコンピューティングデバイスに入力されるユーザの自然な書体及び描画スタイルの認識を利用しうる。いわゆるオンライン認識技術を使用する手書き入力の認識に対する様々な例が説明される一方、デジタルインクよりはむしろ画像が認識されるオフライン認識など、認識の他の入力形式のアプリケーションが可能であることが理解される。手描き及び手書きという用語は、ユーザが自分の手でデジタル又はデジタル的に接続された媒体に直接使用するか、又はハンドヘルドスタイラスなどの入力ツールを介して使用するかのいずれかによってデジタルコンテンツの生成を定義するために本明細書では同じ意味で使用される。入力技術の簡潔な説明を与えるために本明細書で「手」という用語が使用されているが、同様の入力に足、口及び目など、ユーザの身体の他の部分を使用することは、この定義に含まれる。

図１は、例示的なコンピューティングデバイス１００のブロック図を示す。コンピューティングデバイスは、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、電子書籍リーダ、モバイルフォン、スマートフォン、ウェアラブルコンピュータ、デジタルウォッチ、インタラクティブホワイトボード、グローバルポジショニングシステム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、パーソナルデジタルアシスタント（ＰＤＡ）、ゲームコンソールなどになり得る。コンピューティングデバイス１００は、少なくとも１つの処理要素と、何らかの形態のメモリと、入力及び／又は出力（Ｉ／Ｏ）デバイスを含む。コンポーネントは、コネクタ、配線、バス、ケーブル、バッファ、電磁リンク、ネットワーク、モデム、トランスデューサ、ＩＲポート、アンテナ、又はその他当業者に周知のもののような入力機器及び出力機器を通じて互いに通信する。

コンピューティングデバイス１００は、コンピューティングデバイスから画像、テキスト、及びビデオなどのデータを出力する少なくとも１つのディスプレイ１０２を有する。ディスプレイ１０２は、ＬＣＤ、プラズマ、ＬＥＤ、ｉＯＬＥＤ、ＣＲＴ、又は当業者に周知のタッチ感応式又はタッチ感応式でないその他の適切な技術を使用できる。ディスプレイ１０２の少なくとも一部は、少なくとも１つの入力面１０４と同じ場所に設置され得る。入力面１０４は、抵抗性、表面音響波、容量性、赤外線グリッド、赤外線アクリル投影、光学イメージング、分散信号技術、音響パルス認識などの技術、又は当業者には周知のユーザ入力を受信するその他の適切な技術を用いることができる。入力面１０４は、固定又はビデオで発生する境界によって区切られ、その境界を明確に特定し得る。

入力面１０４に加え、コンピューティングデバイス１００は、ローカルインタフェース経由で通信可能に結合された１又は複数の付加的なＩ／Ｏデバイス（又は周辺機器）を含むことができる。付加的なＩ／Ｏデバイスは、キーボード、マウス、スキャナ、マイクロフォン、タッチパッド、バーコードリーダ、レーザーリーダ、無線周波数デバイスリーダなどの入力デバイス、又は当業者に周知のその他適切な技術を含むことができる。さらに、Ｉ／Ｏデバイスは、プリンタ、バーコードプリンタなどの出力デバイス、又は当業者に周知のその他適切な技術を含むことができる。さらに、Ｉ／Ｏデバイスは、変調器／復調器（別のデバイス、システム、又はネットワークにアクセスするためのモデム）、無線周波数（ＲＦ）又は他のトランシーバ、電話インタフェース、ブリッジ、ルータなど、入力及び出力の両方に通信する通信デバイス、又は当業者に周知のその他適切な技術を含むことができる。ローカルインタフェースは、コントローラ、バッファ（キャッシュ）、ドライバ、リピータ、及びレシーバなど、簡単のために省略するが、当業者には周知である、通信を可能にする付加的な要素を有しうる。さらに、ローカルインタフェースは、他のコンピュータコンポーネントの間で適切な通信を可能にするアドレス、制御、及び／又はデータ接続を含むことができる。

コンピューティングデバイス１００はまた、ソフトウェア、特にメモリ１０８に格納されたソフトウェアを実行するためのハードウェアデバイスである、プロセッサ１０６を含むこともできる。プロセッサは、カスタムメイド又は市販の汎用プロセッサ、中央処理装置（ＣＰＵ）、半導体ベースのマイクロプロセッサ（マイクロチップ又はチップセットの形態）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、離散的ゲート又はトランジスタ論理回路、離散的ハードウェアコンポーネント、ステートマシン、又は当業者には周知のソフトウェア命令を実行するために設計されたこれらの任意の組み合わせのいずれでありうる。適した市販のマイクロプロセッサの例は、以下の通りである：ヒューレッドパッカード社製のＰＡ−ＲＩＳＣシリーズのマイクロプロセッサ、インテル社製の８０×８６又はＰｅｎｔｉｕｍシリーズのマイクロプロセッサ、ＩＢＭ社製のＰｏｗｅｒＰＣマイクロプロセッサ、サンマイクロシステムズ社製のＳｐａｒｃマイクロプロセッサ、モトローラ社製の６８ｘｘｘシリーズのマイクロプロセッサ、ＤＳＰマイクロプロセッサ、又はＡＲＭマイクロプロセッサ。

メモリ１０８は、揮発性記憶素子（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ又はＳＤＲＡＭなどのＲＡＭ））と不揮発性記憶素子（例えば、ＲＯＭ、ＥＰＲＯＭ、フラッシュＰＲＯＭ、ＥＥＰＲＯＭ、ハードドライブ、磁気又は光テープ、メモリレジスタ、ＣＤ−ＲＯＭ、ＷＯＲＭ、ＤＶＤ、ＲＡＩＤ(redundant array of inexpensive disks)、別のＤＡＳＤ(direct access storage device)）のうち任意の１つ又は組み合わせを含むことができる。さらに、メモリ１０８は、電子、磁気、光、及び／又は他のタイプの記憶媒体を組み込むことができる。メモリ１０８は、様々なコンポーネントが互いに離隔して置かれているが、プロセッサ１０６がアクセスすることもできる分散アーキテクチャを有しうる。さらに、メモリ１０８は、サーバ又はクラウドシステムにおけるもののような、コンピューティングデバイス１００によるリモートアクセスが可能なデバイスから遠隔配置されてもよい。メモリ１０８は、プロセッサ１０６に結合され、従ってプロセッサ１０６は、メモリ１０８から情報を読み取ってそのメモリに情報を書き込むことができる。代替として、メモリ１０８をプロセッサ１０６と一体にすることができる。別の例において、プロセッサ１０６とメモリ１０８の両方は、単一のＡＳＩＣ又は他の集積回路に常駐しうる。

メモリ１０８のソフトウェアは、オペレーティングシステム１１０とアプリケーション１１２とを含む。ソフトウェアは、任意には、各々が１又は複数の別個のコンピュータプログラムを含む、手書き認識（ＨＷＲ）システム１１４をさらに含む。これらの各々は、論理関数を実装する実行可能命令の順序付きリストを有する。オペレーティングシステム１１０は、アプリケーション１１２（及びＨＷＲシステム１１４）の実行を制御する。オペレーティングシステム１１０は、任意の独自のオペレーティングシステム又はＷＥＢＯＳ、ＷＩＮＤＯＷＳ（登録商標）、ＭＡＣ及びＩＰＨＯＮＥ ＯＳ（登録商標）、ＬＩＮＵＸ、及びＡＮＤＲＯＩＤ（登録商標）など、市販のオペレーティングシステムでありうる。他のオペレーティングシステムも利用されうることが理解される。

アプリケーション１１２は、ユーザ入力の検出、管理及び取り扱いに関連する１又は複数の処理要素（後で詳述する）を含む。ソフトウェアはまた、手書き認識、異なる機能、又はその両方に関連する１又は複数の他のアプリケーションを含むこともできる。他のアプリケーションのいくつかの例は、テキストエディタ、電話ダイヤラ、コンタクトディレクトリ、インスタントメッセージング設備、コンピュータ支援設計（ＣＡＤ）プログラム、電子メールプログラム、ワード処理プログラム、ウェブブラウザ、及びカメラを含む。アプリケーション１１２及び他のアプリケーションは、製造時にコンピューティングデバイス１００に備えられたプログラム（複数）を含み、製造後にコンピューティングデバイス１００にアップロード又はダウンロードされるプログラムをさらに含みうる。

ＨＷＲシステム１１４は、サポート及びコンプライアンス能力を用いて、ソースプログラム、実行可能プログラム（オブジェクトコード）、スクリプト、アプリケーション、又は実行される命令のセットを有するその他のエンティティでありうる。ソースプログラムの場合、プログラムは、オペレーティングシステムと関連して正しく動作するために、メモリ内に含まれてもよいし、含まれていなくてもよい、コンパイラ、アセンブラ、インタプリタなどを経由して翻訳される必要がある。さらに、サポート及びコンプライアンス能力を用いた手書き認識システムは、（ａ）データクラス及び方法を有する、オブジェクト指向プログラミング言語、（ｂ）ルーチン、サブルーチン、及び／又は関数を有する、例えば、限定されるわけではないが、Ｃ、Ｃ＋＋、Ｐａｓｃａｌ、Ｂａｓｉｃ、Ｆｏｒｔｒａｎ、Ｃｏｂｏｌ、Ｐｅｒｌ、Ｊａｖａ（登録商標）、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｓｗｉｆｔ、及びＡｄａなど、手続き型プログラミング言語、又は（ｃ）例えば、限定されるわけではないが、Ｈｏｐｅ、Ｒｅｘ、Ｃｏｍｍｏｎ Ｌｉｓｐ、Ｓｃｈｅｍｅ、Ｃｌｏｊｕｒｅ、Ｒａｃｋｅｔ、Ｅｒｌａｎｇ、ＯＣａｍｌ、Ｈａｓｋｅｌｌ、Ｐｒｏｌｏｇ、及びＦ＃など、関数型プログラミング言語として書き込まれる。代替として、ＨＷＲシステム１１４は、サーバ又はクラウドベースのシステムなどのデバイスからリモートに手書き認識システムと通信する方法又はシステムであるが、通信リンクを通じて前述したコンピューティングデバイス１００の通信Ｉ／Ｏデバイスを使用するコンピューティングデバイス１００によってリモートアクセスが可能である。さらに、アプリケーション１１２とＨＷＲシステム１１４は、一緒に動作する又は単一のアプリケーションとして組み合わされ得る。

入力面１０４に入る又は経由するストロークは、デジタルインクとしてプロセッサ１０６によって処理される。ユーザは、指又は入力面に使用するのに適したペン又はスタイラスなどのいくつかの器具を用いてストロークを入れることができる。入力面１０４近くの動きを感知する技術、又は、マウス又はジョイスティックなど、コンピューティングデバイス１００の周辺デバイスが使用されると、ユーザはまた、入力面１０４の上方でジェスチャーをすることによってストロークを入力することもできる。ストロークは、少なくともストロークの開始場所、ストロークの終了場所、及びストロークの開始場所と終了場所をつなぐパスによって特徴付けられる。異なるユーザが当然ながら、同じオブジェクト、例えば、文字、形状、記号をわずかに変えて書く恐れがあるため、ＨＷＲシステムは、各オブジェクトが正しい又は意図されたオブジェクトと認識されながら入り得る様々なやり方を収容する。

図２は、ＨＷＲシステム１１４の例の概略図であり、そのシステムのローカル（即ち、デバイス１００に読み込まれる）又はリモート（即ち、デバイス１００によってリモートアクセス可能である）のいずれかで形成される。ＨＷＲシステム１１４は、処理１１６、認識１１８及び出力１２０などの段階を含む。処理段階１１６は、デジタルインクがより高い精度を達成するように処理して、認識段階１１８の処理時間を削減する。この処理は、サイズの正規化及び／又は入力を滑らかにするＢスプライン近似などの方法を適用することによってストロークの開始場所と終了場所をつなぐパスの正規化を含むことができる。前処理されたストロークは、その後、ストロークによって形成されたオブジェクトを認識するためにストロークを処理する認識段階１１８に渡される。認識されたオブジェクトは、その後、概ね手書きされた要素／文字の植字されたバージョンとしてディスプレイ１０２に出力１２０される。

認識段階１１８は、異なる処理要素又はエキスパートを含むことができる。図３は、認識段階１１８の概略的な詳細を示す図２の例の概略図である。３つのエキスパートである、分割エキスパート１２２と認識エキスパート１２４と言語エキスパート１２６とが示され、これらは、出力１２０を発生する動的プログラミングを通じて協働する。

分割エキスパート１２２は、表現、例えば、単語、数式、又は形状のグループを形成するために、入力ストロークを個々の仮説要素(element hypotheses)、例えば、英数文字及び数学演算子、テキスト文字、個々の形状、又はサブ表現に分割する異なるやり方を定義する。例えば、分割エキスパート１２２は、各ノードが少なくとも１つの仮説要素に対応し、及び要素間の隣接制約がノードの連結によって扱われる、分割グラフを取得するために元の入力の連続ストロークをグループ化することによって仮説要素を形成しうる。代替として、分割エキスパート１２２は、テキスト、描画、数式、及び楽譜など、異なる入力タイプに別個のエキスパートを用いることができる。

認識エキスパート１２４は、分類器（classifier）１２８によって抽出される特徴の分類を提供して、分割グラフの各ノードの確率又は認識スコアを有する候補要素(element candidates)のリストを出力する。この認識タスクに対処するために使用されることが可能な分類器の多くのタイプ、例えば、サポートベクターマシン、隠れマルコフモデル、又は多層パーセプトロン、ディープ、畳み込み又は再帰型ニューラルネットワークなどのニューラルネットワークが存在する。その選択は、タスクに望ましい複雑度、精度及び速度に応じて異なる。

言語エキスパート１２６は、言語モデル（例えば、文法論又は意味論）を使用して分割グラフの異なるパスの言語的意味を発生する。言語エキスパート１２６は、言語的情報１３０に従う他のエキスパートによって提案される候補を検査する。言語的情報１３０は、レキシコン（lexicon）、正規表現などを含むことができる。言語エキスパート１２６は、最適な認識パスを見つけることを目指す。一例において、言語エキスパート１２６は、これを言語的情報１３０のコンテンツを表す有限状態オートマトン（ＦＳＡ）などの言語モデルを探索することによって行う。レキシコンの制約に加えて、言語エキスパート１２６は、どのくらいの頻度で要素の所与のシーケンスが指定された言語に現れるかをモデル化する、又は分割グラフの所与のパスの解釈の言語的尤度を評価するために固有のユーザによって使用される統計情報を使用できる。

本システム及び方法は、デバイス１００への手書きされた入力を認識するためにＨＷＲシステム１１４を利用する。前述のように、表示されたカーソルの位置に従う可視又は不可視ライン上にテキストを入れるなど、厳密なレイアウトルールによって統制されるキーボード入力とは違って、本システム及び方法は、手書きがコンピューティングデバイス１００の入力面１０４上のどこでも仮想的に入力されることを可能にし、この入力は、入力位置、又は手書き入力がレンダリング位置からオフセットされる場合はオフセット位置のデジタルインクとしてレンダリングされる。ＨＷＲシステム１１４は、この比較的「自由に」位置付けされた手書きを認識しうる。本システム及び方法はさらに、ユーザがデジタルインク自体とのインタラクションを継続して、有意の誘導を与えてそのインタラクションがデジタルインクを美しくする結果となるようにさせる。美化は、正しいスケーリングと、入力面１０４のアライメント構造に応じて手書きの一定の幾何学的特徴を考慮に入れることでデジタルインクを整列すること（後で詳述する）によって達成される。インタラクションは、認識プロセスにおけるストロークの分割の性能と、文字レベルのインタラクション及び編集動作のポインタとして機能する入力又は編集カーソルの管理をさせる、この分割の情報を使用することによって支援される。本システム及び方法のこれらと他の態様をこれより説明する。

図４は、例示的なコンピューティングデバイス１００の入力面１０４の一部のインク入力又はキャプチャ領域４００の例示的なビジュアルレンダリングの概略図を示す。入力領域４００は、ユーザがオブジェクトブロック（テキスト、描画などのブロック）を、サイジング又は整列を気にせずにどこでも生成できるようにさせる、制約のないカンバスとして提供される。しかしながら、図に示すように、ラインパターン背景４１０の形のアライメント構造は、ユーザ入力の誘導と、デジタル及び植字インクオブジェクトの整列のために提供される。どの場合も、ユーザがラインパターンにきっちり整列してない手書きを入力することもあり、又はラインパターンを無視して斜め又はでたらめな、制約のないやり方で書きたいこともあるので、手書き入力の認識は、ラインパターンを考慮せずにＨＷＲシステム１１４によって行われる。例示的な整列パターンは、本出願人及び譲受人の名で出願された“Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｄｉｇｉｔａｌ Ｎｏｔｅ Ｔａｋｉｎｇ”という題の米国特許出願第１４／８８６，１９５号明細書で説明されており、そのすべての開示内容は、参照により本明細書に組み込まれる。

例えば、この参照特許出願による組み込みによって、ラインパターン４１０は、密度非依存ピクセル（ｄｐ）である、複数の垂直方向の周期的変動（vertical rhythm）の高さ単位によって分割される水平ラインを有する。特定のデバイス１００に関わらず、水平ライン４１０間の垂直距離は、ラインパターン単位（ＬＰＵ）で定義され、垂直方向の周期的変動の高さ単位は、特定のデバイスにＬＰＵの段階的測定を提供する。例えば、ＬＰＵは、任意のデバイスに対し、一定の複数の垂直方向の周期的変動の高さ単位である約１センチメートルに設定され得るか、又はユーザが、自分達の書体に応じてラインパターン単位を異なる複数の垂直方向の周期的変動の高さ単位にカスタマイズできるようにさせ得る。代替として、垂直方向の周期的変動は、植字のテキストサイズ（例えば、最小テキストサイズ）に基づくことができ、ＬＰＵは、複数のこの植字のテキストサイズとして提供される。すべてのライン４１０は、同じ明るい淡色、例えば、可視であるが、コンテンツ自体のレンダリングに対して色あせた、灰色で表示される。このように、ラインパターンは、目立つが、コンテンツが入ることによって手描き入力が阻害されないように誘導するために目立ち過ぎない程度になる。

ユーザ入力を支援するために、アプリケーション１１２は、入力が行われる位置のユーザ入力に応じてデジタルインクをレンダリングしうる。例えば、図５は、（第１の）デジタルインク５００としてレンダリングされる手書き入力を有する例示的な入力領域４００を示す。デジタルインク５００は、テキスト文字又は記号である「Ｈ」５０１、「ｏ」５０２、「ｗ」５０３、「ａ」５０４、「ｒ」５０５、「ｅ」５０６、「ｙ」５０７、「ｏ」５０８、「ｕ」５０９及び「？」５１０を含み、疑問句「Ｈｏｗ ａｒｅ ｙｏｕ？」を形成する。図に示すように、デジタルインクテキスト５００によって表される入力は、ラインパターン４１０と一致してないようにユーザによって入力された。つまり、デジタルインクテキスト５００の文字５０１から５１０は、いずれのライン４１０上にも直接書かれていない。この入力は、しかしながら、正しいスケーリング及び整列を通じてデジタルインクを美しくする構造的な変化を入力のストロークに適用することによってラインパターンにレンダリングされることができる。これを適切に行うために、以下で詳述するように、手書きの下降部分、例えば、各手書きされた文字の基準ラインと中間ラインとの距離などの、デジタルインクテキスト５００の相対幾何学に関する情報が決定される。

（第１の）幾何学的情報は、ＨＷＲシステム１１４によって提供される。つまり、認識プロセスにおいて、認識エンジン１１８は、ＨＷＲシステム１１４によって認識される時にアプリケーション１１２に入力される各文字の下位極値と上位極値の情報を決定する。下位極値は、文字のストローク（又は複数のストローク）が通る最低ポイントである。上位極値は、文字のストローク（又は複数のストローク）が通る最高ポイントである。認識プロセスはまた、これらの極値から文字、単語（例えば、一連の文字）、文又は句（例えば、一連の文字及び／又は単語）、及びテキストライン（例えば、一連の文字、単語及び／又は文）のレベルでライティングラインを決定する。ライティングラインは、最上ライン、最下ライン、基準ライン及び中間ラインを含む。

最上ラインは、文字、単語、文又はテキストラインの水平範囲での上位極値に関連するポイントを通る水平ラインとして定義される。最下ラインは、文字、単語、文又はテキストラインの水平範囲での下位極値に関連するポイントを通る水平ラインとして定義される。基準ラインは、文字、単語、文又はテキストラインの水平範囲での最下ラインに関連するポイントを通る水平ラインとして定義され、中間ラインは、文字、単語、文又はテキストラインの水平範囲での最上ラインと基準ラインに関連するポイントを通る水平ラインとして定義される。これらのラインが通るポイントの決定は、特にＨＷＲシステム１１４によって使用される認識プロセス及び言語モデル（複数）に対する。

例えば、絵文字言語など、同様の垂直範囲に書かれる文又は句の中の文字から作られるすべての文字及び単語を有する言語に対し、単語、文又はテキストライン内の文字に対し、例えば、最高の上位極値を有する文字を最上ライン又は中間ラインのいずれか（又は両方）のポイントとして使用することができ、最低の下位極値を有する文字を最下ラインと基準ラインのいずれか（又は両方の）ポイントとして使用しうる。

一方、ラテン語由来の言語の、例えば、上位と下位のケーシング、アセンダ及び／又はディセンダ（例えば、「ｈ」、「ｇ」）を有するレター(letters)、発音区別符号（例えば、「ｉ」、「ｊ」）及び句読記号（例えば、「？」）のような、異なるサイズの文又は句に書かれる文字又はレターを有する言語に対し、単語、文又はテキストライン内の文字に対し、例えば、最高の上位極値を有する文字を最上ラインのポイントとして使用することができ、最低の下位極値を有する文字を最下ラインのポイントとして使用することができ、ディセンダを有しない文字の最低の下位極値を有する文字を基準ラインのポイントとして使用することができ、アセンダを有しない下位ケースの文字の最高の上位極値を有する下位ケースの文字を中間ラインのポイントとして使用しうる。

代替として、ライティングラインを絶対値に設定する代わりに、テキストライン、文又は単語、又は文字自体のストロークでの下位又は上位極値の代表又は平均など、代表値又は平均値がとられ、過度なオフセット文字など、局所変化及び偏差が所与の望ましくない重みにならないようにすることができる。

図６は、図示されたＨＷＲシステム１１４によって提供される基準及び中間（又は最上）ラインの前述した幾何学的情報を用いた図５の例示的な入力を示す。つまり、文字５０１−５０３は、１つの単語６００に属する、例えば、単語６００に決定された基準ラインＢ０と中間ラインＭ０とを有する「Ｈｏｗ」として認識され、文字５０４−５０６は、１つの単語６０２に属する、例えば、単語６０２に決定された基準ラインＢ２と中間ラインＭ２とを有する「ａｒｅ」として認識され、文字５０７−５０９は、１つの単語６０４に属する、例えば、単語６０４に決定された基準ラインＢ４と中間ラインＭ４とを有する「ｙｏｕ」として認識され、文字５１０は、記号６０６に決定された基準ラインＢ６を有する単一の記号６０６として認識される。本システム及び方法は、以下の通り、入力のストロークの正しいスケーリング及び整列を通じて構造的な変化を提供するために幾何学的情報を使用する。

構造的な変化は、ラインパターン４１０の（第２の）幾何学的情報と、文字、単語、文又はテキストラインレベルの入力の（第１の）幾何学的情報との比較に関連した、いくつかの異なる比率値間で最小である比率を使用する。第１、第２、第３の比率（以下で説明する）がすべて決定されるレベルは、例えば、事前決定される又はアプリケーション１１２のＵＩ経由で設定可能にできる。本明細書で論じる例において、単語レベルが示されているが、同様の説明が他のレベルに適用可能であることが理解される。

ラインパターン４１０の幾何学的情報は、アプリケーションによって決定され、図７に示すように、最上ライン、基準ライン及び中間ラインを含む。例えば、ラインパターンの各ライン４１０の基準ラインＢＬは、そのライン４１０として定義され、各ライン４１０の最上ラインＴＬは、そのライン４１０の基準ラインＢＬからの（第１の）オフセット垂直距離（例えば、ＬＰＵの約６０％と約８０％の間）であると定義され、各ライン４１０の中間ラインＭＬは、そのライン４１０の基準ラインＢＬ（及び／又は最上ラインＴＬ）からの（第２の）オフセット垂直距離（例えば、基準ラインＢＬと最上ラインＴＬ間の距離の約３０％と約７０％の間）であると定義される。このように、ひとたびデジタルインクがラインパターン４１０にスケーリングされると、アセンダ及びディセンダ、上位ケーシング、及び幾何学的記号の十分な余白が提供される。

第１の比率値は、ラインパターン、即ち、１つのＬＰＵの（第１の）距離（即ち、高さ）と、入力の各単語の（第１の）距離（即ち、高さ）との比率である。単語の高さは、その単語の最下ラインと最上ラインの間の垂直範囲として定義される。これらが記号６０６など、単一の文字を有する単語に似ているような、同様の定義が文字レベルに適用可能である。文及びテキストラインの場合、高さは、極値、即ち、最低の下位極値と最高の上位極値の絶対値から、及び／又は代表、平均又は調整された（例えば、上位ケース又はアセンダ／ディセンダ文字が破棄された）値であってもなくてもよい、基準ラインと最上ラインから決定され得る。

従って、図６の例において、例えば、単語６００の高さは、文字５０１の最高ポイントである、単語の最高ポイントから文字５０３の最低ポイントである、単語の最低ポイントまでであり、単語６０２の高さは、単語の最高ポイント（例えば、文字５０４の最高ポイント）から単語の最低ポイント（例えば、文字５０８の最低ポイント）までであり、単語６０４の高さは、単語の最高ポイント（例えば、文字５０７の最高ポイント）から単語の最低ポイント（例えば、文字５０７の最低ポイント）までであり、記号６０６の高さは、文字５１０の最高ポイントから文字５１０の最低ポイントまでである。各単語の第１の比率は、従って単語（即ち、ケーシング、アセンダ、ディセンダ及び幾何学的記号を含む）の文字で設定された時の、その単語の全高とＬＰＵとの比較を提供する。

第２の比率値は、ラインパターン４１０の基準ラインＢＬから最上ラインＴＬまでの（第２の）距離（例えば、最上の高さ）と、入力の各単語の基準ラインから最上ラインまでの（第２の）距離（例えば、最上の高さ）との比率である。従って、図６の例において、単語６００の最上の高さは、単語の最上ライン（例えば、文字５０１の最高ポイントを通る）から基準ラインＢ０までであり、単語６０２の最上の高さは、単語の最上ライン（例えば、文字５０４の最高ポイントを通る）から基準ラインＢ２までであり、単語６０４の最上の高さは、単語の最上ライン（例えば、文字５０７の最高ポイントを通る）から基準ラインＢ４までであり、記号６０６の最上の高さは、記号６０６の最上ライン（例えば、文字５１０の最高ポイントを通る）から基準ラインＢ６までである。各単語の第２の比率は、従ってその単語の最上ラインから基準ラインまでと、ライン４１０の最上ラインの高さとの比較を提供する。

第３の比率は、ラインパターン４１０の基準ラインＢＬから中間ラインＭＬまでの（第３の）距離（例えば、中間の高さ）と、入力の各単語の基準ラインから中間ラインまでの（第３の）距離（例えば、中間の高さ）との比率である。従って、図６の例において、単語６００の中間の高さは、中間ラインＭ０から基準ラインＢ０までであり、単語６０２の中間の高さは、中間ラインＭ２から基準ラインＢ２までであり、単語６０４の中間の高さは、中間ラインＭ４から基準ラインＢ４までであり、記号６０６の中間の高さは、記号６０６の中間ライン（例えば、最上ラインと同じ）から基準ラインＢ６までである。各単語の第３の比率は、従ってその単語の中間ラインから基準ラインまでの高さと、ライン４１０の中間ラインの高さとの比較を提供する。

最小値を決定するために、これらの比率の２つ以上が比較される。例えば、第１及び第２の比率、又は第１と第３の比率、又は第２と第３の比率、又は３つすべての比率が比較され得る。さらに、他の比率を決定して、比較に使用しうる。比較によって最小の文字、単語、文又はテキストラインのサイズが構造的な変化に使用されるようにできる。構造的な変化において、スケーリングされたデジタルインクをレンダリングしたストロークは、元の入力と比較して最も小さい。しかしながら、各比較された比率の最小値が１より大きければ、返ってくる最小値は、どのスケーリングも行われないような、１でキャップされる（ｃａｐ）。これは特に、ピリオドのようなスケーリングを必要としないいくつかの句読点に適用する。

ひとたび比較が行われると、（スケーリングされていない又は元の）デジタルインクの要素（例えば、比較に使用されるレベルに応じて異なる文字、単語など）は、最小値によってスケーリングされ、そしてラインパターンのライン４１０のうちの１つにレンダリングされて、スケーリングされた要素の基準ラインがそのライン４１０の基準ライン（即ち、ライン４１０上）になるようにする。図８は、デジタルインク５００の単語６００から６０６までのそれぞれの最小比率値が、デジタルインク５００の構造的な変化を行うために上述した第１、第２及び第３の比率を、構造化された（第２の）デジタルインク８００と比較することによって決定される例を示す。構造化されたデジタルインクテキスト８００は、単語６００のスケーリングされたバージョンである単語８０１と、単語６０２のスケーリングされたバージョンである単語８０２と、単語６０４のスケーリングされたバージョンである単語８０４と、単語６０６のスケーリングされたバージョンである単語８０６を含む。構造化されたデジタルインクテキスト８００は、ラインパターン４１０の最上の（第１の）ラインにレンダリングされて、各スケーリングされた単語８０１から８０６までの基準ラインが第１のライン４１０に位置付けされるようにする。

ＨＷＲシステム１１４は、起こりそうにもない基準ラインの認識につながる多くの曖昧さがあり得るので、入力の要素の基準ラインの決定にいくつかの問題があり得る。従って、アプリケーション１１２は、ＨＷＲシステム１１４によって認識される要素／文字に応じて異なるスケーリングされたストロークの変換を扱うように構成され得る。例えば、ＨＷＲシステム１１４は、認識される単一の水平ラインの基準ラインをハイフン又はマイナス記号として設定できない可能性もあり、それによりアプリケーション１１２は、ライン４１０からのオフセットでスケーリングされたストロークを、レンダリング領域のラインパターンに垂直にセンタリングされるなどで表示できる。

ラインパターン４１０の複数のライン上の各要素の位置付けは、スケーリングされた要素を収容しうるデバイス１００のレンダリング領域の最上から最初に使用可能なラインの最初に使用可能な最左の区域に整列される、左から右に記述言語など、一定の事前定義された又は設定可能な基準に基づいて行われる。例えば、図８の例において、レンダリング領域は、ライン４１０のいずれかに表示される他のコンテンツ（例えば、デジタル又は植字インク）がないので、スケーリングされたデジタルインクテキスト８００が第１のライン４１０の左に整列されるような、入力領域４００と重複されるか又は同じ広がりをもつ（coextensive）。変換されたインクの位置付けの基準の別の例では、例えば、ユーザに以前の入力を完了させる（後で詳述する）、新しい入力の挿入ポイントとしてカーソルが使用される。このような位置付けは、従って、例えば、次に使用可能な位置が、構造化されたデジタルインクに以前に使用されたラインの下にある、ライン上であれば、入力をライン４１０のうちの複数に再フローすることを含むことができる。このように、テキストの段落は、テキストの単一のラインの一連の入力（以下に説明されるような入力）から形成され、再フローするイベントをトリガする動作を含む編集動作は、構造化されたデジタルインクに行われる。

アプリケーション１１２の入力及びレンダリング領域又はゾーンに関して、これらの領域は、ひとたび入力が受信されると、メモリ１０８と連動するコンピューティングデバイス１００のクロックによって測定される時の、時間量に設定された後、元のデジタルインク（例えば、デジタルインク５００）として表示される／レンダリングされる、例えば、入力領域の元のデジタルインクが除去されて、構造化されたデジタルインク（例えば、デジタルインク８００）がレンダリング領域に表示される／レンダリングされるような、図８の例に見られる、同じ広がりとなることに留意されたい。代替として、入力及びレンダリング領域は、インタフェース１０４の異なるゾーン又は別個のディスプレイ又は表示デバイスに分割され、元のデジタルインクの表示が持続してスクロールされ、例えば、一定の時間期間又は新しい入力の受信の後にさらなる入力又は省略されるようにできる。例えば、文字又は単語又は単語の一部が、以前に入れられた入力のフェーディング又は他の省略に伴い互いに積み重なって入力される重畳入力は、別個又は重複された表示のいずれの場合にも可能となり、この説明は、本出願人及び譲受人の名で出願された米国特許出願第２０１５／０２８６８８６号明細書、及び本出願人及び譲受人の名で出願された米国特許出願第２０１５／０３５６３６０号明細書などにおいて行われ、そのすべての開示内容は、参照により本明細書に組み込まれる。

さらに、構造的な変化において、入力される文字間及び単語間の余白は、図８に示すような、固定のスペーシングに変換される。固定のスペーシングは、ＬＰＵに基づいて（例えば、ＬＰＵの約５％から約１５％）又はラインパターンの中間ラインの高さに基づいて（例えば、中間の高さの約４０％から約６０％）、又は他の基準で設定され得る。固定のスペーシングは、概ね正規化されて美化されたデジタルインクの出力がラインパターン、特に前述した、スケーリングされたデジタルインクとして以前にスケーリングされた入力と同じラインにレンダリングされ得る、新しい入力に対して整列されて提供されるように提供される。代替として、入力の文字／単語間のスペースは、関連付けられた文字／単語のスケーリングに関連してスケーリングされ得る。

上記の例は、左から右（又は右から左）に書かれる文脈に概ね水平に提供される、入力を含む。しかしながら、理解されるように、単語など、入力テキストの要素のジオメトリが構造的な変化に考慮されるので、入力の他のやり方も本システム及び方法によって扱われる。例えば、図９は、デジタルインクテキスト９００としてレンダリングされる手書きされた入力を有する例示的な入力領域４００を示す。デジタルインクテキスト９００は、上述した例に見られるように、「単語」６００、６０２、６０４及び６０６を含むが、これらの単語は、単語６００が他の単語よりの上方にあり、単語６０２が単語６０４及び６０６の上方にあり、単語６０４及び６０６が同じテキストライン上にあるように、垂直に入力されている。そのためデジタルインク９００は、ライン４１０のいずれにも整列していない複数のテキストライン上にある。図１０に示すように、前述した例と同様に、基準ラインＢ０と中間ラインＭ０とは、単語６００に決定され、基準ラインＢ２と中間ラインＭ２とは、単語６０２に決定され、基準ラインＢ４と中間ラインＭ４とは、単語６０４に決定され、基準ラインＢ６は、記号６０６に決定される。従って、幾何学的情報が同じであるので、構造的な変化は、前述したような、構造化されていないデジタルインク９００が、図８に示したスケーリングされて整列されたデジタルインク８００に変換される変換と同じである。理解されるように、同様の変換は、手書きを入力する他の整列及びやり方に適用されることができる。

デバイス１００に手書きされた入力が美化されたデジタルインクになることに従う、美化されていない又は「生の」デジタルインクの美化は、ユーザが手書きした入力を正規化された又は標準形式で表示するやり方を提供し、それによってコンテンツの視認性、有用性及び相互作用性を支援する。文書処理アプリケーションで期待される機構と同様の機構を使用した、美化されたデジタルインクとのインタラクションに関するユーザの誘導は、これがアプリケーション１１２のユーザ体験を強化するので有益であると考えられている。そのような１つの機構は、復帰改行、スペースの挿入、文字の削除又は挿入など、文字レベルの編集動作のポインタとして機能する入力又は編集カーソルの使用である。例えば、図１１は、美化されたデジタルインク８００の後に提供されるカーソル１１００を示す。

美化されたコンテンツとの手書きされたインタラクションを誘導すること以外に、カーソルは、キーボードを経由したタイピング又は音声認識によるテキスト入力など、入力の他の形態の位置付けも提供することが理解される。図に示すように、カーソル１１００は、構造化されたデジタルインクと同様のサイジング及び整列で表示される。カーソルは、アプリケーション１１２によって表示され、編集機能は、レンダリング又は編集領域内のデジタルインクとのユーザインタラクションに応答して行われ得る。このインタラクションは、タッチホバーデバイス(touch and hover devices)の周知のジェスチャー（タップ、ダブルタップ、プレス、ロングプレス、スワイプ、ピンチなど）、固有のデジタルインクの編集ジェスチャー（“Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｎｏｔｅ Ｔａｋｉｎｇ ｗｉｔｈ Ｇｅｓｔｕｒｅｓ”という題で欧州特許出願第１５２９０２９６．１号明細書と米国特許出願第１４／９８９，２１７号明細書の両方に記載され、両方とも本出願人及び譲受人の名で出願された編集ジェスチャーなどであり、そのすべての開示内容は、参照により本明細書に組み込まれる）、又はハードウェアツール（キーボード、マウスなど）を通じて行われ得る。代替として、又は付加的には、カーソルは、例えば、ひとたびデジタルインクが美化されると、（図１１に示すような）美化されたデジタルインクの最後（最新）など、（設定された）デフォルト位置でアプリケーション１１２によって表示され得る。カーソルは、例えば、新しい手書き入力がアプリケーション１１２によって検出されるまで表示されたままである。

前述のように、本システム及び方法は、認識プロセスの分割を通じてカーソルの管理を提供する。本システム及び方法のこの態様をこれより説明する。前述の通り、分割は、認識プロセス中、ＨＷＲシステム１１４によって行われる。例えば、手書きされたテキストの文字、手書きされた描画の形状など、手書きされた入力内の各認識された要素の範囲を決定するこの分割情報は、アプリケーション１１２によって読み出される。例えば、図１２は、入力の文字５０１から５１０までの例示的な分割に対し、それぞれ文字の境界ボックス５１１から５２０までとして示した、決定された領域を示す。本システム及び方法は、カーソルを各文字の境界ボックスで表示するためにこれらの範囲を使用する。例えば、図１１において、カーソル１１００は、文字５１０の境界ボックス５２０の右端に示されている。

しかしながら、植字又はフォント表示されたインクとは違い、デジタルインクは、美化されたデジタルインクであっても、文字単位で文字に規則的に提供されない。この理由は、手書きが書いているユーザの個人的な字体であるからであり、基本標準は、手書きされた言語に従うが、多数の変形が存在する。そのため文字の多くは、大文字表記、アセンダ、ディセンダ、斜字体、又は単に乱雑な手書きのため、水平又は垂直、又はその両方に重複する。文字の重複は、文字を正しく認識するＨＷＲシステム１１４システムによって扱われるが、文字の位置字体は、上記の分割又は美化を通じて調整されない。このような調整が行われる可能性もあるが、上述のように、手書きのやり方が非常に個人的なため、一般規則を提供することは困難である。従って、文字の重複によって境界ボックスの重複が生じる。例えば、図１２に示すように、文字５０５と５０６との重複のために、境界ボックス５１５と５１６が重複する。そのため、重複した境界ボックスにカーソルをレンダリングすることによってユーザに混乱が生じる恐れがある。本システム及び方法がこの状況をどのように扱うかの例は、図１３から図１８に関連して以下で説明する。

図１３は、デジタルインクテキスト１３００としてレンダリングされた手書きされた入力を有する例示的な入力領域４００を示す。デジタルインクテキスト１３００は、大文字で始まる単語「Ｔｒｅｅ」を形成する文字又は記号「Ｔ」１３０２、「ｒ」１３０４、「ｅ」１３０６、及び「ｅ」１３０８を含む。前述同様、デジタルインクテキスト１３００によって表される入力は、ラインパターン４１０と一致してないようにユーザによって入力された。図１４は、文字１３０２から１３０８までにそれぞれ対応する境界ボックス１４０２から１４０８までとして示された、ＨＷＲシステム１１４によって分割された時に決定された各文字の範囲を有するデジタルインクテキスト１３００を示す。

図１５は、上述した基準によってラインパターン４１０に正しく整列された、スケーリングされたデジタルインク１５００を作成する構造的な変化後の図１３のデジタルインク１３００を示す。本例の美化されたデジタルインクが、文字間スペーシング及び文字サイジングなどの単語内の調整を用いない「生の」デジタルインクのスケーリング及び整列されたバージョンであるので、構造的な変化は、分割された時の文字の範囲に等しく適用可能であることが理解される。従って、図１６に示すように、デジタルインク１３００の境界ボックス１４０２から１４０８まではそれぞれ、構造化されたデジタルインク１５００の境界ボックス１６０２から１６０８までにスケーリングされる。これらのスケーリングされたボックスは、従って以下のやり方の１つ以上によって境界ボックスの幾何学的特徴の考慮を通じてカーソルの位置を設定するアプリケーション１１２によって使用される。

２つの連続文字の範囲が重複してない場合、カーソルを置くために、いくつかの戦略が本システム及び方法によって適用される。
・カーソルは、範囲境界間の中央のそれら２つの文字の間に位置付けられる。例えば、図１７Ａは、重複してないそれぞれの（第１の）文字１３０４及び（第２の）文字１３０６の境界ボックス１６０４、１６０６の間の中央に位置付けられたセンタリングされた（第１の）カーソル１７００を示す。
・カーソルは、左側文字の右の範囲境界のそれら２つの文字の間に位置付けられる。例えば、図１７Ｂは、重複してない文字１３０４、１３０６の間の文字１３０４の境界ボックス１６０４の右端に位置付けられた左に整列された（第２の）カーソル１７０２を示す。
・カーソルは、右側文字の左の範囲境界のそれら２つの文字の間に位置付けられる。例えば、図１７Ｃは、重複してない文字１３０４、１３０６の間の文字１３０６の境界ボックス１６０６の左端に位置付けられた右に整列された（第３の）カーソル１７０４を示す。

この一方で、２つの連続文字の範囲が重複している場合、カーソルを置くために、いくつかの戦略が本システム及び方法によって適用される。
・カーソルは、重複した文字の範囲によって定義された重複の範囲の中央のそれら２つの文字の間に位置付けられる。例えば、図１８Ａは、（第１の）文字１３０２と（第２の）文字１３０４との重複した領域の中央に位置付けられたセンタリングされた（第４の）カーソル１８００を示す。しかしながら、図に示すように、この設定により、どの文字にカーソル１８００が関連しているかについてユーザに混乱が生じる恐れがある。
・カーソルは、高さ、幅など、重複した文字の範囲の他の幾何学的特徴、又は重複範囲にあるこれらの幾何学的特徴の最小値又は最大値のいずれかを用いて文字の範囲境界にある境界ボックスの領域を考慮してそれら２つの文字の間に位置付けられる。例えば、図１８Ｂは、重複した文字１３０２、１３０４の間の文字１３０４の境界ボックス１６０４の左端に位置付けられた左に整列された（第５の）カーソル１８０２を示し、そこで最小の高さの境界ボックスを有する文字がカーソルの位置付け基準として使用される。

任意の文書編集アプリケーションと同様に、カーソルの位置は、アプリケーション１１２によって提供されるタップ又はクリックなど用いて編集領域内のユーザインタラクションによって設定又は再設定されることができる。しかしながら、入力又はキャプチャ領域とレンダリング又は編集領域が重複される本システム及び方法の上記の例において、ジェスチャーの受信によってカーソルの位置の設定と新しいコンテンツの入力との間で曖昧さが生じる恐れがある。本システム及び方法は、受信されたユーザインタラクションに対する一定の基準を評価することによって「設定カーソル位置」アクションを特定してそのような曖昧さを解決する。例えば、
・ライティングセッションの終了まで、入力が一意のストロークで構成される場合、
・新しい入力が、ユーザインタラクションポイントを定義する、タップ又は他の一意のサンプリングなど、単一ポイントのジェスチャーである場合、
・文字又は単語などのコンテンツがユーザインタラクションポイントのレンダリング領域に提示される場合、
ユーザインタラクションは、カーソル位置を設定するリクエストと見なされる。

本システム及び方法は、スケーリング又は最小化、及び手書き入力を認識する認識プロセスによって決定される時に手書きの下降部分、例えば、手書きの基準ラインと中間ラインとの距離など、手書きの相対幾何学的情報を考慮することによって編集領域の整列要素にデジタルインクを整列することを通じて「自由な」（構造化されていない）入力デジタルインクを正しく美しくする。さらに、本システム及び方法は、美化されたデジタルインクの編集カーソル位置の管理を可能する手書き入力を認識する認識プロセスによって決定される文字の分割を考慮して、編集動作が、例えば、単語、文、ライン又はブロック単位だけでなく、文字単位で行うことができるようにする。

前述の説明は、ベストモード及び／又は他の例と見なされるものを説明しているが、様々な変更がそれらに行われてもよく、本明細書で開示された発明の主題は、様々な形態及び例に実装されてもよく、これらが多数の他の応用、組み合わせ、及び環境に適用されてもよく、これらの一部のみが本明細書で説明されていることが理解される。開示された態様が発明の主題の真の精神及び範囲から逸脱せずに変更又は修正されてよいことが当業者には理解されよう。従って、発明の主題は、本明細書の固有の詳細、添付書類、及び図示された例に限定されない。本明細書に開示された有利な概念の真の範囲の範囲内にある一部又はすべての変更及び変形を保護することを目的とする。

Claims (9)

1. コンピューティングデバイス上でデジタルインクの編集を提供するためのシステムであって、各コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で手書き入力を認識するためのコンピュータ可読プログラムを格納する少なくとも１つの非一時的なコンピュータ可読媒体とを備え、前記コンピュータ可読プログラムは、前記プロセッサによって実行されたとき、前記プロセッサに、
   前記手書き入力に応じてデジタルインクをコンピューティングデバイスの表示インタフェースに表示させ、
   前記手書き入力の分割情報に基づいて前記デジタルインクの要素をそれぞれ囲う境界ボックスを決定することであって、第１の境界ボックスは、前記デジタルインクの第１の要素を囲い、第２の境界ボックスは、前記デジタルインクの第２の要素を囲い、前記第１の要素は、前記第２の要素に隣接する、ことを行わせ、
   前記第１の境界ボックスと前記第２の境界ボックスとが重複しない場合に、前記第１の境界ボックスと前記第２の境界ボックスとの間に入力カーソルを表示させ、
   前記第１の境界ボックスと前記第２の境界ボックスとが重複する場合に、前記第１の境界ボックスと前記第２の境界ボックスとの重複の範囲内に前記入力カーソルを表示させる
   ように構成される、システム。
2. 前記デジタルインクの前記要素はテキスト文字を含む、
   請求項１に記載のシステム。
3. 前記第１の境界ボックスと前記第２の境界ボックスとはそれぞれ高さ及び幅によって定義され、前記重複の範囲内における前記入力カーソルの表示位置は、前記第１の境界ボックス及び前記第２の境界ボックスの少なくとも１つの前記高さ又は前記幅に基づいて決定される
   請求項１に記載のシステム。
4. コンピューティングデバイス上でデジタルインクの編集を提供するための方法であって、各コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で手書き入力を認識するための少なくとも１つの非一時的なコンピュータ可読媒体を備え、前記方法は、
   前記手書き入力に応じてデジタルインクをコンピューティングデバイスの表示インタフェースに表示するステップと、
   前記手書き入力の分割情報に基づいて前記デジタルインクの要素をそれぞれ囲う境界ボックスを決定するステップであって、第１の境界ボックスは、前記デジタルインクの第１の要素を囲い、第２の境界ボックスは、前記デジタルインクの第２の要素を囲い、前記第１の要素は、前記第２の要素に隣接する、ステップと、
   前記第１の境界ボックスと前記第２の境界ボックスとが重複しない場合に、前記第１の境界ボックスと前記第２の境界ボックスとの間に編集カーソルを表示するステップと、
   前記第１の境界ボックスと前記第２の境界ボックスとが重複する場合に、前記第１の境界ボックスと前記第２の境界ボックスとの重複の範囲内に前記編集カーソルを表示するステップと、
   を含む方法。
5. 前記デジタルインクの前記要素はテキスト文字を含む、
   請求項４に記載の方法。
6. 前記第１の境界ボックスと前記第２の境界ボックスとはそれぞれ高さ及び幅によって定義され、前記重複の範囲内における前記編集カーソルの表示位置は、前記第１の境界ボックス及び前記第２の境界ボックスの少なくとも１つの前記高さ又は前記幅に基づいて決定される
   請求項４に記載の方法。
7. そこに収録されるコンピュータ可読プログラムコードを持つ非一時的なコンピュータ可読媒体であって、前記コンピュータ可読プログラムコードが実行されて、コンピューティングデバイス上でデジタルインクの編集を提供するための方法を実施するように適合され、前記コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で手書き入力を認識するための少なくとも１つの非一時的なコンピュータ可読媒体を備え、前記方法は、
   前記手書き入力に応じてデジタルインクを前記コンピューティングデバイスの表示インタフェースに表示するステップと、
   前記手書き入力の分割情報に基づいて前記デジタルインクの要素をそれぞれ囲う境界ボックスを決定するステップであって、第１の境界ボックスは、前記デジタルインクの第１の要素を囲い、第２の境界ボックスは、前記デジタルインクの第２の要素を囲い、前記第１の要素は、前記第２の要素に隣接する、ステップと、
   前記第１の境界ボックスと前記第２の境界ボックスとが重複しない場合に、前記第１の境界ボックスと前記第２の境界ボックスとの間に編集カーソルを表示するステップと、
   前記第１の境界ボックスと前記第２の境界ボックスとが重複する場合に、前記第１の境界ボックスと前記第２の境界ボックスとの重複の範囲内に前記編集カーソルを表示するステップと、
   を含む非一時的なコンピュータ可読媒体。
8. 前記デジタルインクの前記要素はテキスト文字を含む、
   請求項７に記載の非一時的なコンピュータ可読媒体。
9. 前記第１の境界ボックスと前記第２の境界ボックスとはそれぞれ高さ及び幅によって定義され、前記重複の範囲内における前記編集カーソルの表示位置は、前記第１の境界ボックス及び前記第２の境界ボックスの少なくとも１つの前記高さ又は前記幅に基づいて決定される
   請求項７に記載の非一時的なコンピュータ可読媒体。

Images