JP7065023B2 - 手書き図入力を導くシステム及び方法 - Google Patents

Description

本開示は、一般に、様々なグラフィックス及びテキストのユーザ入力された手書きを認識することができるコンピューティングデバイスインターフェースの分野に関する。特に、本開示は、図要素の手描きされた入力を、デジタル図ドキュメント及びそれとのインタラクションを生成するように導くためのシステム及び方法を提供する。

関連出願の相互参照
本出願は、参照により内容の全体が本明細書に組み込まれている、２０１５年１０月１９日に出願した欧州特許出願第１５２９０２７０．６号明細書、及び欧州特許出願第１５２９０２７０．６号明細書の優先権を主張する、２０１５年１２月１日に出願した米国特許出願第１４／９５５，１９８号明細書の優先権を主張する。

コンピューティングデバイスは、日常生活により遍在するようになり続けている。それらは、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、電子書籍リーダ、モバイル電話、スマートフォン、ウェアラブルコンピュータ、全地球測位システム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、携帯情報端末（ＰＤＡ）、ゲームコンソールなどの形態をとる。更に、コンピューティングデバイスは、自動車、トラック、農場設備、製造設備、建造物環境制御（例えば、照明、ＨＶＡＣ）、並びに家庭用器具及び商用器具などの車両及び設備に組み込まれている。

コンピューティングデバイスは、一般に、中央処理装置（ＣＰＵ）、何らかの形態のメモリ、並びに入力デバイス及び出力デバイスなどの少なくとも１つの処理要素から成る。様々なコンピューティングデバイス及びそれらのその後の使用は、様々なインターフェース及び入力デバイスを必要とする。１つのそのような入力デバイスは、ユーザ入力がユーザの指又はペン若しくはスタイラスなどの用具とタッチセンシティブ表面との間の接触を通じて受け取られる、タッチスクリーン又はタッチパッドなどのタッチセンシティブ表面である。別の入力デバイスは、ユーザによって入力表面の上方で行われるジェスチャを感知する入力表面である。更なる入力デバイスは、非タッチ表面とのタッチインタラクション又は非タッチインタラクションの相対位置を検出する位置検出システムである。入力のこれらの方法のいずれも、図面及びテキストの手書きされた入力、又は手描きされた入力に対して一般に使用されることが可能であり、その入力が、手書き認識システム又は手書き認識方法を使用して解釈される。

コンピューティングデバイスにおける手書き認識の１つのアプリケーションは、活字組みのバージョンに変換されるべきコンピューティングデバイス上の手描きされた図の作成にある。図は、（部品などの）配置及び関係を説明する、又は示す図面である。図は、一般に、任意の又は特定の意味を有する形状と、これらの形状と関係があるテキストとを有する。フローチャート、組織チャート、概念マップ、スパイダマップ、ブロック／アーキテクチャ図、マインドマップ、ブロック図、ベン図、及びピラミッドなどの多くのタイプの図が存在する。図は、一般に、異なるタイプ（例えば、楕円、矩形、ダイヤモンド、コンテナ内のコンテナのネスト化された関係）の、図ブロック若しくはコンテナを定義する形状と、図ブロックと、コンテナに包含された、コネクタに関連付けられた、又は関連付けられた形状もコンテナも有しないテキストブロックにおいて定義されたテキストとの間の関係を接続する、若しくは指定する、異なるタイプ（例えば、直線、曲線、直線の矢印、曲線の矢印、分岐したライン）のコネクタとを含む。図における形状の基本構成要素（コンテナを伴う、又は伴わない接続）及びテキストを組み合わせることのこれらの無数の可能なバリエーションが、コンピューティングデバイスに手描きされた、又は手書きされたコンテンツとして入力されたこれらの要素の正確な認識に関して問題を生じさせる可能性がある。

図は、コンピューティングデバイスのユーザが、例えば、講義中又は会議中に、検討されている概念、問題、又はソリューションを捉える図を作成する教育及びビジネスの場において特に使用される。図の別の頻繁な使用が、プレゼンテーション又は参照ドキュメントの作成である。これは通常、ユーザが、デバイスにおいてローカルで、又はデバイスの通信リンクを介して遠隔で、タッチセンシティブ表面上、又は相対位置検出システムによって監視される表面上で手描きされた入力を受け取り、解釈するコンピューティングデバイス上の手書きされた図アプリケーション若しくは手書きされたスケッチアプリケーションを起動することによって行われる。

従来のそのような手書き作図アプリケーションは、作図の前述の複雑さを扱うそれらの能力において限定され、通常、ユーザの元の意図を反映しない振舞いを採用するように、又はそのような妥協を受け入れるようにユーザを制約する。その結果、いくつかの従来の手書き作図アプリケーションは、選択すべきメニューを移動し、形状を描き、形状と関係してテキストを挿入するようにユーザを強制する。このため、ユーザは、形状及びコネクタを自然に、又は自由に描くことができない。いくつかの他の従来の手書き作図アプリケーションは、ユーザが異なるストロークを描く順序に依拠して、それにより、予期される振舞いがたどられるにつれ、認識の解釈を導く。例えば、ユーザは、２つのブロック／ボックスを、それらのボックスの間のコネクタを定義することができるようになる前に先ず描く必要があり得る、又はボックスを、それにテキストを追加する前に描かなければならないことがあり得る。このことは、しかし、アプリケーションがしばしば使用されるわけではなく、非直観的で、図を迅速にキャプチャする能力がサポートされないようになっている場合、再学習される必要があり得る、要求される描き／書込み順序をユーザが学習して、実施する必要があるので、ユーザには困難である。例えば、ユーザが、タブレットなどのポータブルコンピューティングデバイスを用いて、移動中にプレゼンテーションを準備することを所望することがあり、又はユーザが、彼らの教師が授業中に描いたフローチャートをタッチスクリーンを有するラップトップなどのコンピューティングデバイス上に書き留めることを所望することがあり、そのようなユーザは、専用の面倒なソフトウェアの専門家であることなしに、混合したコンテンツを有する明確な図を描くことができる必要がある。

手書き作図アプリケーションをよりスマートにすることは、ユーザをサポートすることに役立つ。すなわち、アプリケーションは、ブロックとコネクタとの間、及び形状とテキストとの間などの、異なる形状の間で区別することができて、それにより、図を作成するとき、ユーザにより多くの自由を提供し得る。手描きされた形状及び手書きされたテキストが、ユーザに妥当な創造的自由が提供されて、よく認識される従来のアプリケーションにおいてさえ、通常、要素を追加すること、省くこと、又は置き換えること、を行う図の要素を編集するように、描かれた図を変更する能力は、或るオペレーションだけが利用可能であり、かつ図の活字組みのバージョン上でだけ利用可能であり、手書きされた入力、いわゆるデジタルインク上では利用可能でない場合、前述したとおり、限定され、かつ／又はジェスチャが学習されること、又は選択がメニューを介して行われることを要求する。

ユーザは、作図アプリケーションを使用しているとき、形状及びテキストの認識の、リアルタイムのフィードバックを、通常、所望し、これは書込み中のものである。いくつかの従来のアプリケーションは、そのようなフィードバック機構をユーザに提供するが、これらは、一般に、これらの有効性において限定される、又は設計が厄介である。例えば、利用可能な作図アプリケーションは、手書きされた入力を自動的に（例えば、オンザフライで）活字組みすることによってフィードバックを提供する。しかし、そのようなシステムは、描くことを続ける前に活字組みが実行されるのを待たなければならないので、一般に、入力のフローからユーザの気を逸らす。他の利用可能な手書きされたノート取りアプリケーションは、入力中に認識候補などをリストアップすることによってフィードバックを提供する。これもまた、非常にユーザの気を逸らすものである。

欧州特許出願第１５２９０２７１．４号明細書

本明細書の後段で説明される本開示の例は、コンピューティングデバイスに対する手書き入力を用いた図作成において使用するためのシステム、方法、及びコンピュータプログラム製品を提供する。コンピュータプログラム製品は、方法を実装するように実行されるように適応されたコンピュータ可読プログラムコードがそこに具現化されている非一時的コンピュータ可読媒体を有する。

コンピューティングデバイスは、入力表面の形態で入力デバイスに接続される。ユーザは、彼若しくは彼女の指を使用して、又はスタイラス若しくはペンなどの用具を使用して入力表面に圧力を加えること、又は入力表面の上方でジェスチャすることによって入力を提供することができる。本システム及び本方法は、入力ストロークを監視する。

コンピューティングデバイスは、プロセッサと、プロセッサの制御下で手書き入力を検出及び認識するための少なくとも１つのアプリケーションとを有する。少なくとも１つのシステムアプリケーションは、コンピューティングデバイスのインタラクティブディスプレイ上に、表示された手書き図入力の少なくとも１つの図要素に関連付けられたガイド要素を表示させるように構成され、ガイド要素は、認識された形態で少なくとも１つの図要素の描写を有するように構成される。

開示されるシステム及び方法の別の態様は、手書きが入力されるにつれ、少なくとも１つの図要素描写を動的に表示する動的プロンプタを含むものとしてガイド要素を提供する。動的プロンプタは、少なくとも１つのインタラクティブプロンプタ要素を含み、少なくとも１つの非一時的コンピュータ可読媒体は、少なくとも１つのインタラクティブプロンプタ要素とのインタラクションを受け取ることに応答してアクションメニューを表示するように構成される。

開示されるシステム及び方法の別の態様は、アイコン形態で非テキスト要素の描写の表示を提供する。非テキスト要素は、図の形状要素であってよく、アイコンが、形状を描写する。

開示されるシステム及び方法の別の態様は、活字組みのインクにおけるテキスト要素の描写の表示を提供する。

いくつかの実装形態において、本開示は、コンピューティングデバイス上でテキストと、非テキストとを含む図の手描きを導くためのシステムを提供する。コンピューティングデバイスは、プロセッサと、プロセッサの制御下で入力された手描き図要素を検出及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備える。少なくとも１つの非一時的コンピュータ可読媒体は、コンピューティングデバイスのインタラクティブディスプレイ上に、表示された手書き図入力の少なくとも１つの図要素に関連付けられたガイド要素を表示させるように構成される。ガイド要素は、認識された形態で少なくとも１つの図要素の描写を有するように構成される。

ガイド要素は、手書きが入力されるにつれ、少なくとも１つの図要素描写を動的に表示する動的プロンプタを含み得る。

動的プロンプタは、少なくとも１つのインタラクティブプロンプタ要素を含んでよく、少なくとも１つの非一時的コンピュータ可読媒体は、少なくとも１つのインタラクティブプロンプタ要素とのインタラクションを受け取ることに応答してアクションメニューを表示するように構成され得る。

少なくとも１つの非一時的コンピュータ可読媒体は、アイコン形態で非テキスト要素の描写を表示するように構成され得る。

非テキスト要素は、図の形状要素であってよく、アイコンが、形状を描写する。

少なくとも１つの非一時的コンピュータ可読媒体は、活字組みのインクにおいてテキスト要素の描写を表示するように構成され得る。

いくつかの実装形態において、本開示は、コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図の手描きを導くための方法を提供する。コンピューティングデバイスは、プロセッサと、プロセッサの制御下で入力された手描き図要素を検出及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備える。方法は、コンピューティングデバイスのインタラクティブディスプレイ上に、表示された手書き図入力の少なくとも１つの図要素に関連付けられたガイド要素を表示するステップを含み、ガイド要素は、認識された形態で図要素の描写を有するように構成される。

ガイド要素は、手書きが入力されるにつれ、少なくとも１つの図要素描写を動的に表示する動的プロンプタを含み得る。

動的プロンプタは、少なくとも１つのインタラクティブプロンプタ要素を含んでよく、少なくとも１つの非一時的コンピュータ可読媒体は、少なくとも１つのインタラクティブプロンプタ要素とのインタラクションを受け取ることに応答してアクションメニューを表示するように構成され得る。

方法は、アイコン形態で非テキスト要素の描写を表示するステップを含み得る。

非テキスト要素は、図の形状要素であってよく、アイコンが、形状を描写する。

方法は、活字組みのインクにおいてテキスト要素の描写を表示するステップを含み得る。

いくつかの実装形態において、本開示は、コンピュータ可読プログラムコードがそこに具現化されている非一時的コンピュータ可読媒体を提供する。前記コンピュータ可読プログラムコードは、コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図の手描きを導くための方法を実装するように実行されるように適応される。コンピューティングデバイスは、プロセッサと、プロセッサの制御下で入力された手描き図要素を検出及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備える。方法は、コンピューティングデバイスのインタラクティブディスプレイ上に、表示された手書き図入力の少なくとも１つの図要素に関連付けられたガイド要素を表示するステップを含み、ガイド要素は、認識された形態で図要素の描写を有するように構成される。

ガイド要素は、手書きが入力されるにつれ、少なくとも１つの図要素描写を動的に表示する動的プロンプタを含み得る。

動的プロンプタは、少なくとも１つのインタラクティブプロンプタ要素を含んでよく、少なくとも１つの非一時的コンピュータ可読媒体は、少なくとも１つのインタラクティブプロンプタ要素とのインタラクションを受け取ることに応答してアクションメニューを表示するように構成される。

方法は、アイコン形態で非テキスト要素の描写を表示するステップを含み得る。

非テキスト要素は、図の形状要素であってよく、アイコンが、形状を描写する。

方法は、活字組みのインクにおいてテキスト要素の描写を表示するステップを含み得る。

本システム及び本方法は、図面と一緒に受け入れられた、これらの例の以下の詳細な説明からより十分に理解されよう。図面において、同様の参照符号は、同様の要素を表す。図面において、
本システム及び本方法の例によるコンピューティングデバイスを示すブロック図である。 本システム及び本方法の例による手書き認識のためのシステムを示すブロック図である。 本システム及び本方法の例による図２の手書き認識システムの詳細を例示するブロック図である。 ガイド要素を描写する例示的な手描きされた図である。 ガイド要素の関連付けられた構成要素を有する例示的な図の第１の手描きされたテキスト要素の入力を示す図である。 ガイド要素の関連付けられた構成要素を有する例示的な図の手描きされた形状要素の後に続く入力を示す図である。 ガイド要素の関連付けられた構成要素を有するテキスト要素の選択を描写する図６の図状態を示す図である。 ガイド要素の関連付けられた構成要素を有する図７のテキスト要素に関連付けられた例示的な図の手描きされた形状要素の後に続く入力を示す図である。 ガイド要素の関連付けられた構成要素を有する例示的な図の手描きされた形状要素の後に続く入力を示す図である。 ガイド要素の関連付けられた構成要素を有する例示的な図の手描きされた要素の代替の後に続く入力（図９の入力に対する）を示す図である。 要素に関するガイド要素の構成要素の選択からのメニュー表示を描写する図１０の図状態を示す図である。 要素に関するガイド要素の別の構成要素の選択からの別のメニュー表示を描写する図１０の図状態を示す図である。 ガイド要素の関連付けられた構成要素を有する図８及び図９の組み合わされた形状要素入力の選択を描写する図９の図状態を示す図である。 組み合わされた形状要素に関するガイド要素の構成要素の選択からのメニュー表示を描写する図１３の図状態を示す図である。 組み合わされた形状要素に関するガイド要素の別の構成要素の選択からの別のメニュー表示を描写する図１３の図状態を示す図である。 ガイド要素の関連付けられた構成要素を有する例示的な図の更なる手描きされたテキスト要素の入力を示す図である。 ガイド要素の関連付けられた構成要素を有する例示的な図の更なる手描きされた形状要素及びテキスト要素の代替の入力（図１６の入力に対する）を示す図である。 形状要素に関するガイド要素の構成要素の選択からのメニュー表示を描写する図１７の図状態を示す図である。 ガイド要素の関連付けられた構成要素を有する例示的な図の手描きされた形状要素の後に続く入力を示す図である。 ガイド要素の関連付けられた構成要素を有する図１６及び図１９の形状要素入力及びテキスト要素入力の選択を描写する図１９の図状態を示す図である。 ガイド要素の関連付けられた構成要素を有する図１６のテキスト要素入力の選択を描写する図１６の図状態を示す図である。 ガイド要素の関連付けられた構成要素を有するその形状要素の選択を描写する例示的な図の手描きされた形状要素の代替の入力（図１６及び図１９の入力に対する）を示す図である。 活字組みのインクにおいて表示された例示的な図である。 ガイド要素の関連付けられた構成要素を有する図１６及び図１９の形状要素入力及びテキスト要素入力の選択を描写する図２２の図状態を示す図である。 選択された要素に関するガイド要素の構成要素の選択からのメニュー表示を描写する図２３の図状態を示す図である。 選択された要素に関するガイド要素の別の構成要素の選択からの別のメニュー表示を描写する図２３の図状態を示す図である。 選択された要素に関するガイド要素の別の構成要素の選択からの別のメニュー表示を描写する図２３の図状態を示す図である。 ガイド要素の関連付けられた構成要素を有する形状要素及びテキスト要素のマルチ選択を描写する図２２の図状態を示す図である。 マルチ選択された要素に関するガイド要素の構成要素の選択からのメニュー表示を描写する図２７の図状態を示す図である。 ガイド要素の関連付けられた構成要素を有する図２２の例示的な図に対する手描きされた自由形態形状要素の更なる入力を示す図である。 ガイド要素の関連付けられた構成要素を有する自由形態形状の選択を描写する図２９の図状態を示す図である。 選択された自由形態要素に関するガイド要素の構成要素の選択からのメニュー表示を描写する図３０の図状態を示す図である。

以下の詳細な説明において、多数の特定の詳細が、関係のある教示の徹底的な理解を提供するために例として提示される。しかし、本教示は、そのような詳細なしに実施され得ることが当業者には明白であろう。他の場合において、よく知られた方法、手順、構成要素、及び／又は回路は、本教示の態様を不必要に不明瞭にするのを回避するために、詳細なしに、相対的に高レベルで説明されている。

上に、下に、上方、下方、最低、最高、水平、垂直、その他などの方向特徴の参照及び説明は、認識されるべき入力が行われる入力表面に適用される、デカルト座標系に関して行われる。更に、左及び右などの用語は、図面を見るときの読者の参照の枠組みと関係して行われる。更に、本説明における「テキスト」という用語の使用は、任意の書かれた言語における全ての英数字、及びそれらの文字列、並びに普通の非英数字、例えば、書かれたテキストにおいて使用される記号を包含するものと理解される。更に、本説明における「非テキスト」という用語は、自由形状の手書きされた、若しくは手描きされたコンテンツ、及びレンダリングされたテキスト及び画像データ、並びに非テキストコンテキストにおいて使用される、非英数字、及びそれらの文字列、及び英数字、及びそれらの文字列を包含するものと理解される。更に、これらの図面に示される例は、左から右に書かれる言語コンテキストにあり、したがって、位置の任意の参照は、異なる方向フォーマットを有する書かれた言語に関して適応されられ得る。

本明細書において説明される様々な技術は、一般に、ポータブルコンピューティングデバイス上、及び非ポータブルコンピューティングデバイス上の手描きされたコンテンツ及び手書きされたコンテンツのキャプチャ、処理、及び管理を、コンテンツの入力されたスタイルを、そのコンテンツの忠実な活字組みバージョン若しくは美化されたバージョンへの変換を許しながら、保持する様態で行うことに関する。本明細書において説明されるシステム及び方法は、コンピューティングデバイスに接続された、若しくはコンピューティングデバイスの、タッチセンシティブスクリーンなどの入力表面を介した、又はコンピューティングデバイスに接続された、デジタルペン若しくはマウスなどの入力デバイスを介した、又は位置検出システムによって監視される表面を介したコンピューティングデバイスに対するユーザの自然な書込みスタイル及び描きスタイルの入力の認識を利用し得る。いわゆるオンライン認識技法を使用した手書き入力の認識に関して様々な例が説明されるが、デジタルインクではなく、画像が認識されるオフライン認識などの、認識のための入力の他の形態への適用が可能であるものと理解される。手描きという用語と手書きという用語は、デジタル媒体若しくはデジタルで接続された媒体の上に直接にユーザの手の使用を通じて、又はハンドヘルドスタイラスなどの入力ツールを介してユーザによってデジタルコンテンツが作成されることを定義するように互換的に使用される。「手」という用語は、入力技法の簡潔な説明を提供するように本明細書において使用されるが、足、口、及び目などの、類似した入力のためのユーザの身体の他の部分の使用がこの定義に含まれる。

図１は、例示的なコンピューティングデバイス１００のブロック図を示す。コンピューティングデバイスは、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、電子書籍リーダ、モバイル電話、スマートフォン、ウェアラブルコンピュータ、デジタルウォッチ、インタラクション型ホワイトボード、全地球測位システム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、携帯情報端末（ＰＤＡ）、ゲームコンソールなどであってよい。コンピューティングデバイス１００は、少なくとも１つの処理要素の構成要素と、何らかの形態のメモリと、入力及び／又は出力（Ｉ／Ｏ）デバイスとを含む。構成要素は、コネクタ、配線、バス、ケーブル、バッファ、電磁リンク、ネットワーク、モデム、トランスデューサ、ＩＲポート、アンテナ、又は当業者に知られているその他のものなどの入力及び出力を通じて互いに通信する。

コンピューティングデバイス１００は、画像、テキスト、及びビデオなどのデータをコンピューティングデバイスから出力するための少なくとも１つのディスプレイ１０２を有する。ディスプレイ１０２は、ＬＣＤ、プラズマ、ＬＥＤ、ｉＯＬＥＤ、ＣＲＴ、又は当業者に知られているタッチセンシティブであり、若しくはタッチセンシティブでない他の任意の適切な技術を使用してよい。ディスプレイ１０２は、少なくとも１つの入力表面１０４と並置されても、それに遠隔で接続されてもよい。入力表面１０４は、タッチセンシティブ表面若しくは近接センシティブ表面の形態においてユーザ入力を受け取る、抵抗、表面弾性波、容量性、赤外線グリッド、赤外線アクリル投影、光学イメージング、分散信号技術、音響パルス認識などの技術、又は当業者に知られている他の任意の適切な技術を使用してよい。入力表面１０４は、それの境界を明確に識別する永久的な、又はビデオ生成された境界によって境界づけられる。入力表面１０４は、位置検出システムによって監視される非タッチセンシティブ表面であってよい。

入力表面１０４に加えて、コンピューティングデバイス１００は、ローカルインターフェースを介して通信可能に結合された更なる１つ又は複数のＩ／Ｏデバイス（又は周辺装置）を含み得る。更なるＩ／Ｏデバイスは、キーボード、マウス、スキャナ、マイクロフォン、タッチパッド、バーコードリーダ、レーザリーダ、無線周波数デバイスリーダ、又は当業者に知られている他の任意の適切な技術などの入力デバイスを含んでよい。更に、Ｉ／Ｏデバイスは、プリンタ、バーコードプリンタ、又は当業者に知られている他の任意の適切な技術などの出力デバイスを含んでよい。更に、Ｉ／Ｏデバイスは、変調器／復調器（別のデバイス、システム、若しくはネットワークにアクセスするためのモデム）、無線周波数（ＲＦ）トランシーバ若しくは他のトランシーバ、電話インターフェース、ブリッジ、ルータ、又は当業者に知られている他の任意の適切な技術などの、入力と出力の両方を通信する通信デバイスを含んでよい。ローカルインターフェースは、簡単のために省かれるが、当業者には知られている、コントローラ、バッファ（キャッシュ）、ドライバ、中継器、及び受信機などの、通信を可能にする更なる要素を有してよい。更に、ローカルインターフェースは、その他のコンピュータ構成要素の間で適切な通信を可能にするアドレス接続、制御接続、及び／又はデータ接続を含んでよい。

また、コンピューティングデバイス１００は、ソフトウェア、特に、メモリ１０８に記憶されたソフトウェアを実行するためのハードウェアデバイスであるプロセッサ１０６も含む。プロセッサは、任意の特別仕様のプロセッサ若しくは市販の汎用プロセッサ、中央処理装置（ＣＰＵ）、半導体ベースのマイクロプロセッサ（マイクロチップ若しくはチップセットの形態の）、マクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは他のプログラマブルロジックデバイス、ディスクリートのゲート若しくはトランジスタロジック、ディスクリートのハードウェア構成要素、状態マシン、又は当業者に知られているソフトウェア命令を実行するために設計されたこれらの任意の組合せであることができる。適切な市販のマイクロプロセッサの例は、以下のとおり、すなわち、ヒューレットパッカード社からのＰＡ－ＲＩＳＣ系マイクロプロセッサ、インテル社からの８０×８６系若しくはＰｅｎｔｉｕｍ系マイクロプロセッサ、ＩＢＭ社からのＰｏｗｅｒＰＣマイクロプロセッサ、Ｓｕｎ Ｍｉｃｒｏｓｙｓｔｅｍｓ社からのＳｐａｒｃマイクロプロセッサ、モトローラ社からの６８ｘｘｘ系マイクロプロセッサ、ＤＳＰマイクロプロセッサ、又はＡＲＭマイクロプロセッサである。

メモリ１０８は、揮発性メモリ要素（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、若しくはＳＤＲＡＭなどのＲＡＭ））と不揮発性メモリ要素（例えば、ＲＯＭ、ＥＰＲＯＭ、フラッシュＰＲＯＭ、ＥＥＰＲＯＭ、ハードドライブ、磁気テープ若しくは光テープ、メモリレジスタ、ＣＤ－ＲＯＭ、ＷＯＲＭ、ＤＶＤ、ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙ ｏｆ Ｉｎｅｘｐｅｎｓｉｖｅ Ｄｉｓｋｓ）、別の直接アクセスストレージデバイス（ＤＡＳＤ））のうちのいずれか１つ又は組合せを含み得る。更に、メモリ１０８は、電子タイプ、磁気タイプ、光タイプ、及び／又は他のタイプのストレージ媒体を組み込み得る。メモリ１０８は、様々な構成要素が互いに遠隔に位置付けられるが、プロセッサ１０６によってアクセスされることも可能である分散アーキテクチャを有することができる。更に、メモリ１０８は、コンピューティングデバイス１００によって遠隔でアクセス可能である、サーバに、又はクラウドベースのシステムにあるなど、デバイスから遠隔であってよい。メモリ１０８は、プロセッサ１０６に結合され、したがって、プロセッサ１０６は、メモリ１０８から情報を読み取ること、及びメモリ１０８に情報を書き込むことができる。代替において、メモリ１０８は、プロセッサ１０６と一体化していてよい。別の例において、プロセッサ１０６とメモリ１０８はともに、単一のＡＳＩＣ又は他の集積回路に存在してよい。

メモリ１０８におけるソフトウェアは、オペレーティングシステム１１０と、アプリケーション１１２とを含む。ソフトウェアは、任意選択で、別々の１つ又は複数のコンピュータプログラムをそれぞれが含み得る手書き認識（ＨＷＲ）システム１１４を更に含む。これらのそれぞれは、論理機能を実装するための実行可能命令の順序付けられたリストを有する。オペレーティングシステム１１０は、アプリケーション１１２（及びＨＷＲシステム１１４）の実行を制御する。オペレーティングシステム１１０は、任意の独自のオペレーティングシステムであっても、ＷＥＢＯＳ、ＷＩＮＤＯＷＳ（登録商標）、ＭＡＣ、及びＩＰＨＯＮＥ ＯＳ（登録商標）、ＬＩＮＵＸ、及びＡＮＤＲＯＩＤなどの市販のオペレーティングシステムであってもよい。また、他のオペレーティングシステムが利用されてもよいものと理解される。

アプリケーション１１２は、ユーザによって入力された手描きされた形状及び手書きされたテキストの検出、管理、及び扱いと関係付けられた１つ又は複数の処理を含む（後段で詳細に説明される）。また、ソフトウェアは、手書き認識、異なる機能、又はその両方と関係付けられた他の１つ又は複数のアプリケーションを含んでもよい。他のアプリケーションのいくつかの例は、テキストエディタ、電話ダイヤラ、連絡先ディレクトリ、インスタントメッセージングファシリティ、コンピュータ支援設計（ＣＡＤ）プログラム、電子メールプログラム、ワードプロセッシングプログラム、ウェブブラウザ、及びカメラを含む。アプリケーション１１２、及び他のアプリケーションは、製造されたときにコンピューティングデバイス１００とともに提供されるプログラムを含み、製造後、コンピューティングデバイス１００にアップロードされる、又はダウンロードされるプログラムを更に含んでよい。

本システム及び本方法は、手書きされたテキストと、手描きされた形状、例えば、非テキストとを含む、デバイス１００に対する手書きされた入力を認識するためにＨＷＲシステム１１４を利用する。ＨＷＲシステム１１４は、サポート能力及び準拠能力を有して、ソースプログラム、実行可能プログラム（オブジェクトコード）、スクリプト、アプリケーション、又は実行されるべき命令のセットを有する他の任意のエンティティであり得る。ソースプログラムである場合、プログラムは、メモリ内に含まれても含まれなくてもよいコンパイラ、アセンブラ、インタープリタなどを介して変換されて、オペレーティングシステムに関連して適切に動作するようにされる必要がある。更に、サポート能力及び準拠能力を有した手書き認識システムは、（ａ）データ及びメソッドのクラスを有するオブジェクト指向プログラミング言語、（ｂ）例えば、Ｃ、Ｃ＋＋、Ｐａｓｃａｌ、Ｂａｓｉｃ、Ｆｏｒｔｒａｎ、Ｃｏｂｏｌ、Ｐｅｒｌ、Ｊａｖａ、Ｏｂｊｅｃｔｉｖｅ Ｃ、Ｓｗｉｆｔ、及びＡｄａなどの、但し、以上には限定されない、ルーチン、サブルーチン、及び／又は関数を有する手続き型プログラミング言語、又は（ｃ）例えば、Ｈｏｐｅ、Ｒｅｘ、Ｃｏｍｍｏｎ Ｌｉｓｐ、Ｓｃｈｅｍｅ、Ｃｌｏｊｕｒｅ、Ｒａｃｋｅｔ、Ｅｒｌａｎｇ、ＯＣａｍｌ、Ｈａｓｋｅｌｌ、Ｐｒｏｌｏｇ、及びＦ＃などの、但し、以上には限定されない、関数型プログラミング言語として書かれることが可能である。代替として、ＨＷＲシステム１１４は、サーバ又はクラウドベースのシステムなどのデバイスから遠隔の、但し、コンピューティングデバイス１００の前述の通信Ｉ／Ｏデバイスを使用して通信リンクを通じてコンピューティングデバイス１００によって遠隔でアクセス可能である手書き認識システムと通信するための方法又はシステムであってよい。更に、アプリケーション１１２とＨＷＲシステム１１４は、一緒に動作して、例えば、各システムによって処理されて、メモリ１０８に記憶される情報にアクセスしても、単一のアプリケーションとして組み合わされてもよい。

入力表面１０４上で、若しくはそれを介して入力されたストロークは、デジタルインクとしてプロセッサ１０６によって処理される。ユーザは、指、又は入力表面に対して使用するのに適したペン若しくはスタイラスなどの何らかの用具でストロークを入力してよい。また、ユーザは、入力表面１０４の付近における動きを感知する技術が使用されている場合、入力表面１０４の上方でジェスチャを行うことによって、又はマウス若しくはジョイスティックなどのコンピューティングデバイス１００の周辺デバイスを用いてストロークを入力してもよい。ストロークは、少なくとも、ストローク開始位置、ストローク終了位置、及びストローク開始位置とストローク終了位置を接続するパスによって特徴付けられる。異なるユーザが、わずかなばらつきとともに同一のオブジェクト、例えば、字、形状、記号を自然に書き込むことがあり得るため、ＨＷＲシステムは、各オブジェクトが、正しいオブジェクト、若しくは意図されたオブジェクトとして認識されながら、入力され得る様々な様態に対応する。

図２は、ＨＷＲシステム１１４の例の、それのローカル（すなわち、デバイス１００にロードされた）、又は遠隔（すなわち、デバイス１００によって遠隔でアクセスされる）における概略図である。ＨＷＲシステム１１４は、前処理１１６、認識１１８、及び出力１２０などの段階を含む。前処理段階１１６は、デジタルインクを処理して、より高い正確さを達成し、かつ認識段階１１８中の処理時間を低減する。この前処理は、入力を平滑化するＢスプライン近似などのサイズ正規化及び／又は方法を適用することによってストローク開始位置とストローク終了位置を接続するパスの正規化を含み得る。次に、前処理されたストロークは、ストロークを処理して、それによって形成されるオブジェクトを認識する認識段階１１８に渡される。次に、認識されたオブジェクトは、手書きされた要素／文字及び手描きされた形状のデジタルインクバージョン又は活字組みのバージョンとしてメモリ１０８及びディスプレイ１０２に出力される１２０。

認識段階１１８は、異なる処理要素又は処理エキスパートを含み得る。図３は、認識段階１１８の概略の詳細を示す図２の例の概略図である。動的プログラミングを通じて協働して出力１２０を生成する３つのエキスパート、セグメント化エキスパート１２２、認識エキスパート１２４、及び言語エキスパート１２６が例示される。

セグメント化エキスパート１２２は、表現、例えば、語、数学の式、又は形状のグループを形成するために、入力ストロークをセグメント化して、個々の要素仮説、例えば、英数字及び数学演算子、テキスト文字、個々の形状、又は部分表現にする異なる様態を定義する。例えば、セグメント化エキスパート１２２は、元の入力の連続するストロークをグループ化することによって要素仮説を形成して、各ノードが少なくとも１つの要素仮説に対応し、かつ要素間の隣接制約がノード接続によって扱われるセグメント化グラフを獲得してよい。代替として、セグメント化エキスパート１２２は、テキスト、図面、式、及び楽譜などの異なる入力タイプに関して別々のエキスパートを用いてよい。

認識エキスパート１２４は、クラシファイア１２８によって抽出された特徴の分類を提供し、かつセグメント化グラフの各ノードに関する確率若しくは認識スコアとともに要素候補のリストを出力する。この認識タスクに対処するのに使用されることが可能な多くのタイプのクラシファイア、例えば、サポートベクトルマシン、隠れマルコフモデル、又は多層パーセプトロン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、若しくは再帰型ニューラルネットワークなどのニューラルネットワークが存在する。選択は、タスクに望まれる複雑さ、正確さ、及び速度に依存する。

言語エキスパート１２６は、言語モデル（例えば、文法若しくはセマンティクス）を使用してセグメント化グラフにおける異なるパスに関する言語的意味を生成する。エキスパート１２６は、言語的情報１３０によりその他のエキスパートによって示唆される候補を検査する。言語的情報１３０は、語彙、正規表現、その他を含むことができる。言語エキスパート１２６は、最良の認識パスを見出すことを目指す。一例において、言語エキスパート１２６は、言語的情報１３０のコンテンツを表す最終状態オートマトン（決定論的ＦＳＡ）などの言語モデルを探索することによってこれを行う。語彙制約に加えて、言語エキスパート１２６は、要素の所与のシーケンスが、どれだけ頻繁に指定された言語において出現するか、又は特定のユーザによって使用されるかに関してモデル化する統計情報を使用して、セグメント化グラフの所与のパスの解釈の言語的尤度を評価してよい。

本システム及び本方法によって提供されるアプリケーション１１２は、学生、学問的専門家、及び職業的専門家などのユーザが、作成される図のタイプ、例えば、フローチャート、組織チャート、概念マップ、スパイダマップ、ブロック／アーキテクチャ図、マインドマップ、ブロック図、ベン図、及びピラミッドとは独立に、ＨＷＲシステム１１４を使用して手書きされた図を作成し、かつ忠実に認識されたそれらの図を得ることを許す。このリストは、網羅的ではなく、図の他のタイプ、又は非タイプが可能である。例えば、手描きされた図の異なる要素は、図タイプにかかわらず、その間の任意の空間関係及びコンテキスト関係と一緒に個々に認識される。前述したとおり、これらの図要素は、形状要素と、テキスト要素とを含む。形状要素又は図面要素は、線形構成又は非線形構成におけるグラフィック形成又はジオメトリ形成を定義するものであり、かつコンテナ、コネクタ、及び自由形態の描きを含む。テキスト要素は、テキスト文字を包含するものであり、かつテキストブロックと、テキストブロック及び形状要素に関するラベルとを含む。テキストブロックとラベルの両方が、１つ又は複数の垂直ラインにおいて提供される１つ又は複数の文字、語、文、又は段落のテキストを包含し得る。テキストブロックは、コンテナによって包含されても（内部テキストブロック）、コンテナの外部で提供されてもよい（外部テキストブロック）。外部テキストブロックは、コンテナ、又は図の他の要素と無関係であっても、他の或る図要素と直接に関係付けられてもよい。

更に、本システム及び本方法によって提供されるアプリケーション１１２は、ユーザが、デジタルツールのパワーの恩恵を受けながら、ユーザの念頭にあるものを、紙の上でユーザがするように（技術によって遅くされることなしに自由に）手描きすることを許す。例示的な使用は、以下を含む。
・作成：形状及びテキストの高レベルの識別、並びに形状とテキストとの間の見分けは、形状を描写することとテキストを書き込むこととの間で切り換えるとき、事前割当てされたツールを選択することも、使用することも必要とせずに、ユーザによって形状がスケッチされること、及びテキストが書き込まれることを許す。
・編集：形状特徴及びテキスト特徴の識別が、接続若しくは形状タイプの変更、及び編集ジェスチャの扱いのために形状が操作されることを可能にする。
・活字組み：図を作成するとき、ユーザには、即時認識フィードバックのためのオプションが提供される。

本システム及び本方法のこれら及びその他の特徴は、より詳細に説明される。

形状及びテキストの異なる手書きされたオブジェクトの入力の検出及び見分けを通じて、アプリケーション１１２は、適切な認識技法を用いてＨＷＲシステム１１４によって異なるオブジェクトタイプの処理を指示し、例えば、検出された形状のストロークは、形状言語モデルを使用して処理され、検出されたテキストのストロークは、テキスト言語モデルを使用して処理される。この見分けは、異なるオブジェクトが手描きされるにつれ、ユーザにライブの（すなわち、実質的にリアルタイムの）認識フィードバックを提供するように本システム及び本方法によって使用される。しかし、多くの手書きされた形状及びテキスト文字は、共通の特徴（例えば、円と「ｏ」という字、矢じりと「ｖ」という字）を共有し得るので、このガイダンスは、後段で詳細に説明されるとおり、誤った見分け決定を訂正する能力をユーザに提供することもする。

曖昧性解消を通じて、テキストと非テキスト（すなわち、形状）の混合されたコンテンツを包含する手書きされた入力が、自動的に（例えば、オンザフライで）、又はオンデマンドで認識され、美化されたデジタルインク及び活字組みのインクに変換される。デジタルインクは、手書きされた入力をデジタル画像フォーマットでレンダリングすることによって形成される。美化された（デジタル）インクは、デジタルインクが、元の手書きと比べて、類似したスタイリング又はルックアンドフィールを保持しながら、より規則的、かつより正規化されて見えるようにレンダリングすることによって形成される。活字組みのインクは、デジタルインクを活字組みの画像フォーマット若しくはフォント化された画像フォーマットに変換することによって形成される。美化された活字組みのインクは、活字組みのインクを、入力からの位置変更及びスタイリング変更を伴ってレンダリングすることによって形成される。ＨＷＲシステム１１４の前処理段階１１６は、曖昧性解消プロセスを実行するように構成される。プリプロセッサ１１６は、デジタルインクの要素を、非テキスト（すなわち、形状）、テキスト、及び形状とテキストの混合である、異なるクラス又はカテゴリに分類することによってこれを行う。これは、例えば、閾値、書込み速度、及びストローク間の時間などの単純なヒューリスティクス、又は（代替として、若しくは更に）、例えば、参照により内容全体が本明細書に組み込まれている、本出願人及び本譲受人の名前で出願された「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｈａｎｄｗｒｉｔｉｎｇ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｄｉａｇｒａｍｓ」という名称の特許文献１、及び本出願と同時に本出願人及び本譲受人の名前で出願された「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｈａｎｄｗｒｉｔｉｎｇ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｄｉａｇｒａｍｓ」という名称の米国特許出願明細書において説明されるとおり、空間閾値及び時間閾値、並びに言語モデル情報と比較するためにストロークをグループ化することなどのより複雑なヒューリスティクスを使用して行われる。曖昧性解消システム及び曖昧性解消方法は、既に入力されている手書きに対して実行されること、又は手書きが入力されるにつれ、インクリメントで実行されることが可能である。次に、分類されたデジタルインクは、分類に依存した適切な認識処理のためにレコグナイザ１１８へパースされる。

例えば、テキストとして分類されたデジタルインクを処理するとき、レコグナイザ１１８は、セグメント化エキスパート１２２を用いて、テキストの個々のストロークをセグメント化してセグメント化グラフを決定し、認識エキスパート１２４を用いて、クラシファイア１２８を使用してグラフノードに確率を割り当て、言語エキスパート１２６を用いて、例えば、言語的情報１３０のテキストベースの語彙を使用してグラフを通る最良のパスを見出す。他方、非テキストとして分類されたデジタルインクを処理するとき、レコグナイザ１１８は、セグメント化エキスパート１２２を用いて、形状のストロークをセグメント化し、認識エキスパート１２４を用いて、クラシファイア１２８を使用してセグメント化グラフを決定し、言語エキスパート１２６を用いて、言語的情報１３０の形状ベースの語彙を使用してグラフを通る最良のパスを見出す。混合されたコンテンツ分類は、「ジャンク」として扱われ、レコグナイザ１１８へパースされるとき、認識の低い確率をもたらす。例えば、それらが語彙外の形状であるためにレコグナイザへパースされて、認識されない形状は、認識されないコンテンツ（後段で説明される）である落書きとして扱われる。

編集するとき、上書き、消去、及びレイアウト制御などの手書きされるオペレーションが、非テキスト及びテキストのデジタルインクと活字組みのインクの両方に対して実行され得る。例えば、上書きすることは、形状を１つのタイプ若しくは形態から別のものに変更すること（例えば、矩形の上に長円を手描きすることによって矩形を長円に切り換えること）、コネクタに装飾を追加すること、及びテキストの周囲に形状を作成することを含む。消去は、形状及びテキストに対する掻き消しジェスチャ若しくは取り消しジェスチャなどの知られている手書きジェスチャを使用して実行され得る。レイアウト制御は、形状を移動させること、及びサイズ変更すること、形状及びテキストを互いに整列させること、及び互いに分散させることを行うように実行され得る。これらのオペレーションの少なくともいくつか、及びその他のオペレーションの検出は、曖昧性解消プロセスによって強化される。

この分類された手描きされた入力を用いて、本システム及び本方法は、認識及びデジタル図作成を最適化するようにユーザによって手書きされた入力を導くための機構を提供する。この機構は、ユーザにリアルタイムの認識フィードバックを提供するのに更に使用されることが可能であり、これは、手書きの入力から気を逸らすのではなく、それを強化する。これは、動的プロンプタを含むガイド要素を提供することによって達成される。プロンプタは、オブジェクトクラス認識、例えば、非テキスト又はテキスト、並びに形状に関する、認識された形状のインジケーション、及びテキストに関する、認識されたテキストの或る数の最後の文字／記号／語を活字組みのインクとして動的に表示するのに使用される。ガイド要素は、手書きに関する水平区分を提供すること、及びストロークが手書きされるにつれ、かつ／又は活字組みのインクがプロンプタにおいてレンダリングされるにつれ、動的に発展させることを行うように構成された動的ルーラを更に含み得る。本システム及び本方法のガイド要素が、図４乃至図３１に例示される例示的な手描きされた図に関して、次に説明される。

図４は、例えば、コンピューティングデバイス１００のユーザインターフェース１０４におけるアプリケーション１１２のＵＩ４０２経由で入力された例示的な手描きされた図４００を示す。ＵＩ４０２の描写、及びそれの構成要素のいずれも、例に過ぎず、他の形態が可能である。図４００は、テキスト４０６を包含するコンテナ４０４と、テキスト４１０を包含するコンテナ４０８と、コンテナ４０４とコンテナ４０８を接続するコネクタ４１２と、テキスト４１６を包含するコンテナ４１４とを含むデジタルインクオブジェクトとしてアプリケーション１１２によって表示されるいくつかの図要素を含む入力である。コンテンツ及び要素タイプが、前述のとおり検出され、認識されて、アプリケーション１１２が、それらのタイプ、例えば、テキスト、非テキスト、及びジャンク（若しくは認識されない非テキスト）に基づいて図要素を扱うようになる。ガイド要素４０００が、コンテナ４０８、及びコンテナ４０８の上方かつ上にわずかに重なり合って表示される包含されるテキスト４１０に関して示される。ガイド要素のこのレンダリング及び位置付けは、例に過ぎず、異なるレンダリング及び／又は位置付けが可能であり、後段で説明されるとおり、ガイド要素が属する図要素の付近において自由な手書きエントリに対して最小の気を逸らす外観と効果を有する表示が好ましいという制約を伴う。

ガイド要素４０００は、それが属する図要素の検出され、かつ認識されたコンテンツに適用可能なガイド構成要素と、制御構成要素とを有するプロンプタを有して表示される。例えば、図４において、ガイド要素４０００は、形状構成要素４００４及びテキスト構成要素４００６を含むプロンプタ４００２と、制御構成要素４００８とを有する。

形状構成要素４００４は、ＨＷＲシステム１１４によって認識されたコンテナ４０４の形状（例えば、矩形）の表現を描写するアイコン又はラベルとして表示される。しかし、一般的なアイコン形状が表示されることも可能である。このようにして、メニュー選択又はジェスチャ選択などを通じて、形状、デジタルインク図の一部又は全てを活字組みのインクに変換する必要なしに、ユーザに、手描きされた形状が検出されたこと、及び形状のタイプが認識されたことをそれらに知らせる認識フィードバックが提供される。したがって、ユーザは、所望されるまで活字組みを実行することなしに、デジタルインクにおいて図の作成又は編集を続けることができる。

テキスト構成要素４００６は、ＨＷＲシステム１１４によって手書きされたテキスト４１０から認識された活字組みのインクテキストの単一の水平ラインとして表示される。このようにして、デジタルインク図のテキスト部分又は全てを活字組みのインクに変換する必要なしに、ユーザに、手描きされたテキストが検出されたこと、及びテキストのコンテンツが認識されたことをそれらに知らせる認識フィードバックが提供される。

制御構成要素４００８は、インタラクティブ制御要素として、又はアプリケーション１１２の制御フィーチャに対するアクセスを提供する「より多く表示する（ｍｏｒｅ）」アイコンとして表示される。このようにして、制御要素は、アプリケーションの上部バーなどの通常の機構の場合と比べて、コンテンツにはるかに近い所でアクセス可能である。

ガイド要素を、それが属する図要素に近く位置付けるために、本システム及び本方法は、表示インターフェースの基礎をなす整列グリッドに関して行われてよく、このグリッドは、図要素自体の１つ又は複数の範囲、及び位置付けを定義するのに使用されてもよい。図５乃至図２８は、図４００の形状及びテキストの手書きされた入力のシーケンスの例と関係したガイド要素４０００の異なる表示フォーマット、及びガイド要素４０００に対して実行されるインタラクションを示す。

図５は、テキスト要素４０６の入力を図４００の第１の手描きされた要素として示す。入力の始めの検出、及びインターフェース１０４上の対応するデジタルインクのレンダリングが行われると、本システム及び本方法は、テキスト４０６の手書きされた文字に隣接した、かつ上方の（例えば、整列グリッドによって設定されるとおり）水平ライン又は水平バー４０１２と、水平バー４０１２の上方のテキスト４０６、すなわち、「Ｏｋ」という語から認識された活字組みのインクテキスト４０１４を含むテキスト構成要素４００６とを有するテキストプロンプタ４０１０としてガイド要素４０００の表示を開始する。水平バー４０１２は、テキスト文字が入力され、かつ認識されたコンテンツがテキストプロンプタ４０１０において表示されるにつれ、動的に発展するように構成される。しかし、この発展は、制限され、既に表示された認識されたテキストをテキストプロンプタの左に自動的にスクロールするなどの効果が、新たに認識されたコンテンツがテキストプロンプタ４０１０において表示されることを確実にするように引き起こされ得る。

したがって、実質的にリアルタイムのコンテンツ認識フィードバックが、テキストプロンプタ４０１０によってテキスト入力中に提供される。また、制御要素４００８も、テキストプロンプタ４０１０においてテキスト構成要素４００６の右に、かつ水平バー４０１２の上方に表示される。しかし、コンテンツ入力中にユーザの気を逸らさないために、制御アイコンは、入力が実行されていないときにだけ表示されてよく、例えば、書込み中、「より多く表示する」アイコンは、不可視に保たれ、書込みの後、すなわち、入力イベントが停止したこと、例えば、指／ペン離れ（ｕｐ）イベントに加えて事前定義された期間（例えば、約１／２秒乃至約１秒）が検出されたとき、「より多く表示する」アイコンは、完全に可視になるようにフェードインされる。

更に、ユーザ入力の気を逸らさないように、入力プロンプタ４０１０（及び「より多く表示する」アイコン４００８）は、可視であることとフェードされていることとのちょうど間の軽い微妙なレンダリングで、例えば、軽い青で、又は図要素デジタルインク表示及び／又は図要素活字組みのインク表示に関して使用される色の少なくとも異なる濃淡で表示される。このようにして、ガイド要素は、図作成そのものから気を逸らすことなしに手書き入力を導くように、目につくが、邪魔にならない。更に、ガイド要素の表示は、異なる入力がアプリケーション１１２によって受け取られるまで、又は入力停止イベント後、かつガイド要素が属する要素に対する更なる入力がまったくない事前定義された期間（例えば、約１／２秒乃至約１秒）の終了が検出されるまで、ガイド要素が不可視になるようにフェードしながら残る。

図６は、既に入力されたテキスト４０６を包含するコンテナとして描かれた形状要素４０４の後に続く入力を示す。この時点で、形状要素４０４は、入力４０４と入力４０６の相対位置及び特性のため、認識された語４０６を包含するコンテナとして識別され得る。コンテナとそれにより包含されるテキストは、互いに関連付けられて、これらの要素に対して実行されるいくつかのアクションがその他の要素上の反応をもたらすようにする。例えば、コンテナがユーザによって選択され、移動されるとき、包含されるテキストは、コンテナとともに移動され、テキストがユーザによって選択されて、拡大される、又は追加されるとき、コンテナは、より大きいテキストサイズ若しくはブロックに対応するようにサイズ変更される。

入力の始めの検出、及びインターフェース１０４上の対応するデジタルインクのレンダリングが行われると、本システム及び本方法は、例えば、テキストプロンプタ４０１０（制御要素４００８とともに）の表示を省き、形状４０４から認識された円グラフィック４０１８を含む形状構成要素４００２を有する手描きされた形状４０４の上方の（例えば、整列グリッドによって設定されるとおり）形状プロンプタ４０１６としてガイド要素４０００の表示を開始する。したがって、実質的にリアルタイムのコンテンツ認識フィードバックが、形状入力時に提供される。ユーザ入力の気を逸らさないように、形状プロンプタ４０１６は、テキストプロンプタ４０１０と同一の、又は類似した軽い微妙なレンダリングで表示され、表示は、同様の様態で保持される。

図７は、図６のコンテナ４０４及び包含されるテキスト４０６を示すが、形状プロンプタ４０１６が表示から省かれ、かつテキストプロンプタ４０１０が、円４０４と部分的に重なり合うように表示変更されている。この表示変更は、アプリケーション１１２による、単一ポイントジェスチャ、例えば、単一タップ、又はマルチポイントジェスチャ、例えば、二重タップなどのデジタルインクテキスト４０６上の選択ジェスチャが検出されたため、実行される。したがって、ユーザは、手描きされたコンテンツとインタラクションして、例えば、コンテンツの認識ステータスを確かめることができる。選択されたコンテンツに関するガイド要素の表示は、手描き又はジェスチャなどの新たな入力がアプリケーション１１２によって受け取られるまで、又はガイド要素若しくはそれが属するコンテンツとのインタラクションがまったく検出されない事前定義された期間にわたって（例えば、約５秒）、ガイド要素が不可視になるようにフェードしながら残る。

図８は、円４０４の下の曲げられたラインとして描かれた形状要素４１２の一部分４１２ａの後に続く入力を示す。形状要素４１２は、図４に示されるとおり、１つ若しくは２つの開いた（例えば、ｖ形状の）又は閉じた（例えば、三角形の）「矢じり」に終端する直線の、又は曲げられた「ステム」によって形成されているものとして定義される。部分４１２ａは、矢印４１２のステムを構成する。入力の始めの検出、及びインターフェース１０４上の対応するデジタルインクのレンダリングが行われると、本システム及び本方法は、形状４１２ａ、すなわち、ラインから認識されたライングラフィック４０２０を含む形状構成要素４００２を有する手描きされた形状４１２ａの横の（例えば、整列グリッドによって設定されるとおり）形状プロンプタ４０１６としてガイド要素４０００の表示を開始する。図８に示されるライングラフィックは、一般的なラインであるが、グラフィックは、この例において、認識された曲げられたライン４１２ａのように曲げられたラインであってよいことに留意されたい。

この時点で、ライン４１２ａは、入力４０４と４１２ａのそれらの相対位置（例えば、事前設定された空間分離閾値がアプリケーション１１２によって使用され、その閾値を下回る非線形形状に対する線形形状の終端の分離は、接続関係の高い尤度を示し、空間閾値は、例えば、約５ピクセル乃至約１００ピクセルに設定された、ストロークの平均ポイント若しくは重心の間のピクセル単位の距離として定義され得る）、及び／又は特性（例えば、コンテナに近接した、又は隣接する１つの終端を有するラインは、接続関係の高い尤度を示し、近接性は、空間閾値と類似した距離範囲において定義される）のため、円４０４のコネクタとして識別され得る。コンテナなどの形状オブジェクトと、それに接続されたコネクタが互いに関連付けられて、これらの要素のうちの一方に対して実行されるいくつかのアクションが、他方の要素上に反応をもたらす。例えば、コンテナがユーザによって選択され、移動される場合、コネクタは、コンテナとともに移動される。

図９は、円４０４に近接していないライン４１２ａの終端における回転されたｖ形状として描かれた形状要素４１２の一部分４１２ｂの後に続く入力を示す。部分４１２ｂは、矢印４１２の矢じりを構成する。部分４１２ｂが、曲げられたライン４１２ａと、矢じり４１２ｂとから成る矢印４１２の矢じりとして検出され、認識されると、形状プロンプタ４０１６の認識された形状グラフィックは、形状プロンプタ４０１６の位置付け変更なしに、矢印グラフィック４０２２に変更されるが、位置付け変更は、可能である。図９に示されるグラフィックは、一般的な矢印であるが、グラフィックは、この例において、認識された曲げられた矢印４１２のように曲げられた矢印であってよいことに留意されたい。

後に描かれた形状４１２ｂとより前に描かれた形状４１２ａが単一の形状４１２に属するものであるという決定は、アプリケーション１１２によって確率スコアに基づいて行われる。すなわち、矢印４１２のストローク４１２ａ及び４１２ｂは、例えば、１秒を超える（例えば、アプリケーション１１２によって使用される、事前設定され、かつ再設定可能な時間分離閾値より大きく、その閾値を下回るストロークを描く間の時間分離は、ストロークが単一の形状の部分であることの高い尤度を示す）時間の相対的に長い間隔内で描かれ、図９に関して説明されるとおり、ストローク４１２ａが単独でレコグナイザ１１８へパースされ、曲げられたラインとして認識されるようになる。しかし、完全なコネクタ矢印４１２の適切な識別は、入力ストロークの空間スコア及び時間スコア、並びにメトリック若しくは特性から計算された全体的な確率スコアを通じて提供される。すなわち、ストローク４１２ａ及び４１２ｂが同一のオブジェクトの部分であることに関する時間スコアは低いが、曖昧性解消システム及び曖昧性解消方法によって実行されるグループ化を通じて戻される、ストローク４１２ａ及び４１２ｂが同一のオブジェクトの部分であることに関する高い空間スコアと特性（例えば、ラインの終端における回転されたｖ形状）の組合せが、ストローク４１２ａ及び４１２ｂが１つの形状に属することの全体的な高い確率をもたらす。ライン４１２ａに追加された矢じりのこの決定は、矢印が、アプリケーション１１２によって、例えば、コネクタである高い尤度を有するものと見なされる場合、形状要素４１２のコネクタステータスを確認するのに使用されることが可能である。

図１０は、図９に示されている部分４１２ｂのような回転されたｖ形状として描かれた形状要素４１２の一部分４１２ｂ’の代替の入力を示すが、図９に示されている部分４１２ｂとは異なり、ライン４１２ａの終端から或る距離で描かれている。デジタルインクのレンダリング時に、テキストプロンプタ４０１０としてのガイド要素４０００の表示が、部分４１２ｂ’、すなわち、「＞」という記号から認識された活字組みのインクテキスト４０２４を含むテキスト構成要素４００６とともに行われる。部分４１２’は、入力４１２ｂ’が別個のオブジェクトに属することのより高い確率をもたらす、部分４１２ａと部分４１２ｂ’との間の相対的に大きい距離のため、形状４１２の一部としてではなく、テキストとして認識され、したがって、曖昧性解消システム及び曖昧性解消方法は、部分４１２ｂ’を、非テキストではなく、テキストとして分類することができる。しかし、本システム及び本方法は、以下のとおり、この認識結果を変更する能力をユーザに提供する。

ガイド要素４０００の形状構成要素、テキスト構成要素、及び制御構成要素のそれぞれは、ガイド要素４０００の同時表示（すなわち、図１０におけるとおりの）モード又は後（ｐｏｓｔ）表示（すなわち、図７におけるとおりの）モードにおいてインタラクティブである。このインタラクティブ性には、アプリケーション１１２による、単一ポイントジェスチャ、例えば、単一タップ又は長い押し付けなどの、構成要素上の選択ジェスチャの検出を用いた選択を通じてアクセスすることができ、ガイド要素の表示モード、例えば、同時又は後（ｐｏｓｔ）に関してその構成要素のための割り当てられたアクションをもたらす。したがって、ユーザは、手描きされたコンテンツとインタラクションして、例えば、コンテンツの認識ステータスを確かめることができる。図１１は、テキストプロンプタ４０１０における認識されたテキスト４０２４上の選択ジェスチャの検出に応答して表示されるメニュー４０２６を有する図１０の入力段階を示す。テキストメニュー４０２６は、２つの表示区間４０２６ａ及び４０２６ｂを有する。

メニュー区間４０２６ａにおいて、テキスト認識候補のリストが表示される。これらの候補は、部分４１２ｂ’に関する認識プロセスに関してＨＷＲシステム１１４によって出力される最も尤度の高い認識候補である。図１１において、４つの最良の候補が示されるが、これらより多い、又は少ないものが表示されることが可能である。区間４０２６ａにおける表示された候補のそれぞれは、アプリケーション１１２による、単一ポイントジェスチャ、例えば、単一タップ又は長い押し付けなどの、候補上の選択ジェスチャの検出を用いた選択を通じて個々にインタラクティブであり、テキストプロンプタ４０１０における認識されたテキスト４０２４が、選択された候補に変更されること、及び部分４１２ｂ’が活字組みされると、選択された候補が表示されることをもたらす。メニュー区間４０２６ｂにおいて、手動分類アクションが表示され、これは、テキストメニューに関して「テキストから形状に」である。区間４０２６ｂのこのアクションは、選択が、認識されたテキスト４１２ｂ’が非テキストとして再分類されることをもたらして、結果的な認識変更が実行されて、同様にインタラクティブである。このプロセスにおいて、曖昧性解消システム及び曖昧性解消方法は、他の既に分類されている近接した形状要素、すなわち、ライン４１２ａを用いて今回、分類された形状４１２ｂ’を再評価して、それらの他の形状要素と一緒の形状４１２ｂ’のグループ化が、レコグナイザ１１８による結果的な認識のために、形状４１２ｂ’がより大きい形状要素、すなわち、形状要素４１２の一部である確率をもたらすかどうかを決定する。表示されたアクションは、例に過ぎず、より多くの、より少ない、又は異なるアクションが表示されてよい。

図１２は、テキストプロンプタ４０１０における「より多く表示する」アイコン４００８上の選択ジェスチャの検出に応答して表示される異なるメニュー４０２８を有する図１０の入力段階を示す。テキスト制御メニュー４０２８は、２つの表示区間４０２８ａ及び４０２８ｂを有する。メニュー区間４０２８ａにおいて、コンテンツ変換と関係付けられたアクションが表示され、それらは、テキスト制御メニューに関して、「テキストから形状に」アクション、「リフロー」アクション、及び「活字組み」アクションである。区間４０２８ｂのこれらのアクションは、「テキストから形状に」アクションの選択が、前述の手動再分類をもたらし、「リフロー」アクションの選択が、テキスト制御メニュー４０２８に関して、複数のライン内の、若しくは複数のライン上へのデジタルインクテキスト若しくは活字組みのインクテキストのリフローをもたらし、「活字組み」アクションの選択が、テキスト制御メニュー４０２８に関して、表示されたデジタルインクテキストの活字組みをもたらして、個々にインタラクティブである。メニュー区間４０２８ｂにおいて、標準のオペレーションと関係付けられたインタラクティブアクションが表示され、それらは、テキスト制御メニューに関して、カット、コピー、削除、エクスポート、及びプロパティ／設定である。これらの表示されたアクションは、例に過ぎず、より多くの、より少ない、又は異なる（手動再分類を例外として）アクションが表示されてよい。

図１３は、図６のコネクタ４１２を示すが、形状プロンプタ４０１６が表示から省かれ、ガイド要素４０００のコネクタプロンプタ４０３０が、コネクタ４１２の付近にある（例えば、整列グリッドによって設定されるとおり）。コネクタプロンプタは、アプリケーション１１２による、単一ポイントジェスチャ、例えば、単一タップ又は長い押し付けなどの、コネクタ４１２上の選択ジェスチャが検出されたため、表示される。選択されたコネクタ４１２は、デジタルインクのレンダリングが強調を控えられ（例えば、より軽く表示され）、かつ活字組みのインクが強調された（例えば、通常のインク表示のものと比べてより大きい色重み及び／又はインク重みで表示された）、デジタルインクと重ね合わされた形状の活字組みのバージョンと、コネクタのサイズ変更のための選択ハンドルＡとを含む選択モードレンダリングにおいて表示される。コネクタプロンプタ４０３０は、形状４１２から認識された矢印グラフィック４０２２を含むコネクタ構成要素４０３２を有する。また、制御要素４００８も、コネクタプロンプタ４０３０において、コネクタ構成要素４０３２の右に、かつ水平バー４０１２の上方に表示される。

コネクタプロンプタが、コネクタとのユーザインタラクションに応答して表示されるとき、コネクタプロンプタ４０３０は、コネクタプロンプタとのインタラクションが予期される可能性が高いので、形状プロンプタ及びテキストプロンプタと比べて、よりボールドフェースのレンダリングで表示される。コネクタプロンプタの表示は、選択されたコネクタの選択解除が検出されるまで、又はコネクタプロンプタ若しくはそれが属するコンテンツとのインタラクションがまったくない事前定義された期間（例えば、５秒）の終わりが検出されるまで、又は異なる入力がアプリケーション１１２によって受け取られるまで、ガイド要素が不可視になるようにフェードしながら残る。

テキストプロンプタの場合と同様に、コネクタプロンプタは、インタラクティブである。図１４は、コネクタプロンプタ４０３０におけるコネクタアイコン４０３２上の選択ジェスチャ４０３５の検出に応答して表示されたメニュー４０３４を有する図１３の入力段階を示す。コネクタメニュー４０３４は、２つの表示区間４０３４ａ及び４０３４ｂを有する。メニュー区間４０３４ａにおいて、個々にインタラクティブである代替のコネクタ矢印タイプのリストが表示される。これらの代替は、コネクタのタイプが、この例において、矢印とインタラクションされることに基づいて、表示される。図８のラインコネクタに関して、代替のコネクタタイプの異なるリストが、コネクタメニューにおいて示される。メニュー区間４０３４ｂにおいて、個々にインタラクティブであり、かつコンテンツ変換と関係付けられたアクションが、表示され、それらは、コネクタメニューに関して、「テキストとして設定」アクションと、「落書きとして設定」アクションとを含み、「テキストとして設定」アクションの選択は、前述の手動再分類をもたらし、「落書きとして設定」アクションの選択は、コネクタとしての形状４１２の認識が落書きに変更されることをもたらし、それにより、再分類された落書きのコネクタステータスを除去し、この場合、図４００の活字組みの後でさえ、デジタルインクレンダリングに対して前述の結果的な効果を有する。これらの表示されたアクションは、例に過ぎず、より多くの、より少ない、又は異なるアクションが表示されてよい。

図１５は、コネクタプロンプタ４０３０における「より多く表示する」アイコン４００８上の選択ジェスチャの検出に応答して表示されたメニュー４０３６を有する図１３の入力段階を示す。コネクタメニュー４０３６は、２つのディスプレイ区間４０３６ａ及び４０３６ｂを有する。メニュー区域４０３６ａにおいて、前述の標準オペレーションと関係付けられたインタラクティブアクションが、表示される。メニュー区間４０３６ｂにおいて、「活字組み」コンテンツ変換アクションが、表示される。これらの表示されるアクションは、例に過ぎず、より多くの、より少ない、又は異なるアクションが表示されてよい。

図１６は、コンテナ４０８及び包含されるテキスト４１０の後に続く入力後の、テキスト要素４１６の後に続く入力を有する図４００を示す。入力の始めの検出、及びインターフェース１０４上の対応するデジタルインクのレンダリングが行われると、本システム及び本方法は、水平バー４０１２の上方のテキスト４１６、すなわち、「Ｏｐｅｒａｔｉｏｎ」という語から認識された活字組みのインクテキスト４０１４を含むテキスト構成要素４００６を有するテキストプロンプタ４０１０としてガイド要素４０００の表示を開始する。

図１７は、互いに或る距離で書き込まれた、「Ｏ」という字である部分４１６ａと、「ｐｅｒａｔｉｏｎ」という字である部分４１６ｂとを有するテキスト要素４１６の代替の入力を示す。デジタルインクのレンダリング時に、部分４１６ａの上方の形状プロンプタ４０１６と部分４１６ｂの上方のテキストプロンプタ４０１０の両方としてのガイド要素４０００の表示が、行われる。これは、部分４１６ａが、テキストではなく、形状として、すなわち、円グラフィック４０１８の表示で円として認識され、かつ部分４１２ｂ’がテキストとして適切に認識されるためである。これは、入力４１２ｂと入力４１６ｂが別々のオブジェクトに属することのより高い確率スコアをもたらす、部分４１６ａと部分４１６ｂとの間の相対的に大きい距離のためであり、したがって、曖昧性解消システム及び曖昧性解消方法は、部分４１６ａを、テキストではなく、非テキストとして分類することができる。前段の場合と同様に、この認識結果は、メニューを起動する形状プロンプタ４０１６とのインタラクションを通じて変更されることが可能である。

図１８は、形状プロンプタ４０１６における形状構成要素４００４上の選択ジェスチャの検出に応答して表示されたメニュー４０３８を有する図１７の入力段階を示す。形状メニュー４０３８は、２つの表示区間４０３８ａ及び４０３８ｂを有する。メニュー区間４０３８ａにおいて、形状認識候補のリストが表示される。これらの候補は、部分４１６ａに関する認識プロセスに関してＨＷＲシステム１１４によって出力された最も可能性の高い認識候補である。図１８において、４つの最良の候補が示されるが、これらより多い、又は少ないものが表示されることが可能である。区間４０３８ａにおける表示された候補のそれぞれは、アプリケーション１１２による、単一ポイントジェスチャ、例えば、単一タップ又は長い押し付けなどの、候補上の選択ジェスチャの検出を用いた選択を通じて個々にインタラクティブであり、部分４１６ａが活字組みされた場合、形状プロンプタ４０１６における形状グラフィック４０１８が選択された候補に変更されること、及び選択された候補が表示されることをもたらす。メニュー区間４０３８ｂにおいて、手動分類アクションが表示され、これは、形状メニューに関して、「形状からテキストに」である。区間４０３８ｂのこのアクションは、同様にインタラクティブであり、選択は、結果的な認識変更が実行されて、認識された形状４１６ａがテキストとして再分類されることをもたらす。このプロセスにおいて、曖昧性解消システム及び曖昧性解消方法は、他の既に分類されている近接したテキスト要素、すなわち、テキスト４１６ｂを用いて今回、分類されたテキスト４１６ａを再評価して、それらの他のテキスト要素と一緒のテキスト４１６ａのグループ化が、レコグナイザ１１８による結果的な認識のために、テキスト要素４１６ａがより大きいテキスト要素、すなわち、テキスト要素４１６の一部である確率をもたらすかどうかを決定する。表示されたアクションは、例に過ぎず、より多くの、より少ない、又は異なるアクションが表示されてよい。

図１９は、既に入力されたテキスト４１６を包含するコンテナとして描かれた図４００の最後の要素として形状要素４１４（図１６の入力からの）の後に続く入力を示す。この時点で、形状要素４１４は、入力４１４と入力４１６の相対位置及び特性のため、認識された語４１６を包含するコンテナとして識別され得る。入力の始めの検出、及びインターフェース１０４上の対応するデジタルインクのレンダリングが行われると、本システム及び本方法は、例えば、テキストプロンプタ４０１０の表示を省き、形状４１４から認識された長円グラフィック４０１８を含む形状構成要素４００２を有する手描きされた形状４１４の上方の（例えば、整列グリッドによって設定されるとおり）形状プロンプタ４０１６としてガイド要素４０００の表示を開始する。

図２０は、図１９のコンテナ４１４及び包含されるテキスト４１６を示すが、これらの要素は、例えば、コンテナ４１４上の選択ジェスチャが検出されたため、形状の選択された活字組みのバージョンと、テキストの選択されたデジタルインクバージョン（しかし、テキストは、選択された活字組みにおいてレンダリングされることも可能である）とを含む前述の選択モードレンダリングにおいて表示される。これに応答して、形状プロンプタ４０１６、テキストプロンプタ４０１０、及び制御要素４００８の完全なガイド要素４０００が表示されて、コンテナ及び包含されるテキストの選択された図要素全体が、「より多く表示する」アイコン経由でインタラクションされることが可能であるようになり、又は形状要素及びテキスト要素が、それぞれのプロンプタ経由で個々にインタラクションされることが可能であるようになる。

図２１Ａ及び図２１Ｂは、テキスト要素４１６と形状要素４１４がそれぞれ別々に、単独で入力されているこの選択の代替のシナリオを例示する。そのような事例において、単独の要素の選択は、その要素の選択モード表示、及び対応するガイド要素プロンプタ（制御要素を伴う）を表示させる。

図２２は、例えば、活字組みを実行するアプリケーション１１２とのユーザインタラクションに応答して活字組みのインクにおいて表示された完成された図４００を例示する。すなわち、図要素は、活字組みのテキスト４０６ｂを包含する活字組みのコンテナ４０４ｂ、活字組みのテキスト４１０ｂを包含する活字組みのコンテナ４０８ｂ、活字組みのコンテナ４０４ｂと活字組みのコンテナ４０８ｂを接続する活字組みのコネクタ４１２ｃ、及び活字組みのテキスト４１６ｂを包含する活字組みのコンテナ４１４ｂとして表示される。

図２３は、例えば、コンテナ４１４ｂ上の選択ジェスチャが検出されたため、形状及びテキストの選択された活字組みのバージョンを含む前述の選択モードレンダリングにおいて表示された活字組みのコンテナ４１４ｂと、包含されたテキスト４１６ｂとを有する活字組みの図４００を示す。これに応答して、前段の場合と同様に、形状プロンプタ４０１６、テキストプロンプタ４０１０、及び制御要素４００８の完全なガイド要素４０００が表示される。

図２４、図２５、及び図２６は、それぞれ、形状プロンプタ４０１６、テキストプロンプタ４０１０、及び制御要素４００８の上で選択ジェスチャが検出されると表示される前述のインタラクティブアクションを様々に有する形状メニュー４０３８、テキストメニュー４０２６、及び制御メニュー４０２８をそれぞれ示す。

図２７は、アプリケーション１１２によって、コンテナ４０８ａ及び４１４ｂのうちの一方の上の単一ポイントジェスチャ、例えば、長い押し付け、及びその後に続く、他方のコンテナの上の別の単一ポイントジェスチャ、例えば、短いタップなどのマルチ選択ジェスチャが検出されたことにより、選択された要素の全てについての選択ボックス４０４０を有する前述の選択モードレンダリングにおいて表示された活字組みのコンテナ４０８ｂ及び包含されるテキスト４１０ｂ、並びに活字組みのコンテナ４１４ｂ及び包含されるテキスト４１６ｂを有する活字組みの図４００を示す。これに応答して、マルチ要素プロンプタ４０４２と、制御要素４００８とを含むガイド要素４０００が表示される。ガイド要素のその他のプロンプタ及び構成要素と同様に、マルチ要素プロンプタ４０４２は、インタラクティブである。

図２８は、マルチ要素プロンプタ４０４２上の選択ジェスチャ４１８の検出に応答して表示されたメニュー４０４４を有する図２７の選択モードを示す。マルチ要素メニュー４０４４は、前述した「テキストとして設定する」アクション、「形状として設定する」アクション、及び「落書きとして設定する」アクションを含む手動分類アクションのリストを表示する。メニュー４０４４の各アクションは、アプリケーション１１２による、単一ポイントジェスチャ、例えば、単一タップ又は長い押し付けなどの、その上の選択ジェスチャの検出を用いた選択を通じて個々にインタラクティブである。これらのアクションの選択は、マルチ選択の全ての要素が、相応するように再分類され、かつ認識変更されることをもたらす。マルチ選択モードにおいて、制御要素４００８の選択は、前述のインタラクティブ要素を有する制御メニュー４０２８を起動する。

前述のとおり、レコグナイザへパースされるが、例えば、それらが語彙（ｌｅｘｉｃｏｎ）外の形状であるために認識されない入力された形状は、落書きとして扱われ、したがって、活字組みされた図において活字組みのインクでレンダリングされない。この認識されないことは、レコグナイザ１１８が、或る確率スコア閾値を超える候補が決定された場合にだけ認識出力を戻すように構成される場合に生じる。図４００に入力された例示的な落書きが、図２９乃至図３１を参照して次に説明される。

図２９は、活字組みのコンテナ４０８ｂの上方の自由形態の形状として描かれた形状要素４２０の入力を示す。活字組みの図４００に対する新たな入力は、新たな入力をインクリメントに活字組みする設定が行われているのでない限り、デジタルインクとして表示される。この時点で、形状要素４０４は、曖昧性解消システム及び曖昧性解消方法によって非テキストとして識別されるが、それは語彙外の形状であるので、レコグナイザ１１８によって認識されない。ユーザにこの失敗した認識のフィードバックを提供するため、入力の始めの検出、及びインターフェース１０４上の対応するデジタルインクのレンダリングが行われると、本システム及び本方法は、落書きグラフィック４０５０を含む自由形態構成要素４０４８を有する手描きされた形状４２０の上方の（例えば、整列グリッドによって設定されるとおり）自由形態プロンプタ４０４６としてガイド要素４０００の表示を開始する。ユーザ入力の気を逸らさないように、自由形態プロンプタ４０４６は、その他のプロンプタと同一の、又は類似した軽い微妙なレンダリングで表示され、表示は、類似した様態で保持される。

図３０は、アプリケーション１１２によって形状の上で単一ポイントジェスチャ、例えば、短いタップなどの選択ジェスチャが検出されたため、選択された要素についての選択ボックス４０４０を有する前述の選択モードレンダリングで表示されたデジタルインク形状４２０を有する活字組みの図４００を示す。これに応答して、自由形態プロンプタ４０４６と、制御要素４００８とを含むガイド要素４０００が、表示される。ガイド要素のその他のプロンプタ及び構成要素と同様に、自由形態プロンプタ４０４６は、インタラクティブである。

図３１は、自由形態構成要素４０４８上の選択ジェスチャ４２２の検出に応答して表示されたメニュー４０５２を有する図３０の選択モードを示す。落書きメニュー４０５２は、前述の「テキストとして設定」アクション及び「形状として設定」アクションを含む手動分類アクションのリストを表示する。メニュー４０５２の各アクションは、アプリケーション１１２による、単一ポイントジェスチャ、例えば、単一タップ又は長い押し付けなどの、それの上の選択ジェスチャの検出を用いた選択を通じて個々にインタラクティブである。これらのアクションの選択は、選択された認識されない自由形態要素が、相応するように再分類され、かつ認識変更されることをもたらす（例えば、この手動再分類は、確率スコア閾値より下の自由形態形状に関して最良の候補を戻すようレコグナイザ１１８に促してよい）。

以上は、最良の形態及び／又は他の例と考えられるものについて説明したが、そこにおいて様々な変更が行われ得ること、及び本明細書において開示される主題は、様々な形態及び例において実装され得ること、及びそれらは、他の多数のアプリケーション、組合せ、及び環境において適用されてよく、それらのうちのいくつかだけが本明細書において説明されてきたことを理解されたい。当業者は、開示される態様が、主題の真の趣旨及び範囲を逸脱することなく、変更されても、補正されてもよいことを認識するであろう。したがって、主題は、この説明における特定の詳細、提示、及び例示される例に限定されない。本明細書において開示される有利な概念の真の範囲に含まれるあらゆる全ての変更及び改変を保護することが意図される。

Claims (19)

1. コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図の手描きを導くためのシステムであって、
   前記コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で入力された手描き図要素を検出及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備え、前記少なくとも１つの非一時的コンピュータ可読媒体は、
   前記コンピューティングデバイスのインタラクティブディスプレイの入力エリア上で、
   非テキストの手描き図要素、および
   選択ジェスチャ
   の入力を受け取り、
   前記コンピューティングデバイスの前記インタラクティブディスプレイ上に、
   前記非テキストの手描き図要素のデジタルインク上に重ね合わせられた前記非テキストの手描き図要素の認識された形態を表示させ、前記非テキストの手描き図要素の前記認識された形態は、前記非テキストの手描き図要素の前記デジタルインクの１つまたは複数の幾何学的特徴を含み、および前記非テキストの手描き図要素の前記認識された形態の１つまたは複数の幾何学的特徴の修正を可能にし、
   前記非テキストの手描き図要素の少なくとも１つの描写を動的に表示する動的プロンプタを表示させ、前記動的プロンプタは、前記非テキストの手描き図要素の前記認識された形態および前記非テキストの手描き図要素の幾何学的に類似の異形で構成される、
   ように構成され、
   前記非テキストの手描き図要素の前記認識された形態は、前記非テキストの手描き図要素の前記デジタルインクに対して視覚的に強調され、
   前記非テキストの手描き図要素の前記認識された形態は、前記非テキストの手描き図要素の空間スコア、時間スコア、および入力特性の少なくとも１つから計算された確率スコアに基づいて決定される、システム。
2. 前記動的プロンプタは、手書きが入力されるにつれ、テキストの手描き図要素の少なくとも１つの描写を動的に表示する、請求項１に記載のシステム。
3. 前記動的プロンプタは、少なくとも１つのインタラクティブプロンプタ要素を含み、前記少なくとも１つの非一時的コンピュータ可読媒体は、前記少なくとも１つのインタラクティブプロンプタ要素とのインタラクションを受け取ることに応答してアクションメニューを表示するように構成される、請求項１に記載のシステム。
4. 前記少なくとも１つの非一時的コンピュータ可読媒体は、アイコン形態で非テキスト要素の前記描写を表示するように構成される、請求項１に記載のシステム。
5. 前記非テキスト要素は、前記図の形状要素であり、前記アイコンは、前記形状を描写する、請求項４に記載のシステム。
6. 前記少なくとも１つの非一時的コンピュータ可読媒体は、活字組みのインクにおいてテキスト要素の前記描写を表示するように構成される、請求項１に記載のシステム。
7. コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図の手描きを導くための方法であって、
   前記コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で入力された手描き図要素を検出及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備え、前記方法は、
   前記コンピューティングデバイスのインタラクティブディスプレイの入力エリア上で、
   非テキストの手描き図要素、および
   選択ジェスチャ
   の入力を受け取るステップであって、前記非テキストの手描き図要素は、前記入力された手描き図要素のストロークをテキストまたは非テキストとして分類することによって認識される、ステップと、
   前記コンピューティングデバイスの前記インタラクティブディスプレイ上に、
   前記非テキストの手描き図要素のデジタルインク上に重ね合わせられた前記非テキストの手描き図要素の認識された形態を表示するステップであって、前記非テキストの手描き図要素の前記認識された形態は、前記非テキストの手描き図要素の前記デジタルインクの１つまたは複数の幾何学的特徴を含み、および前記非テキストの手描き図要素の前記認識された形態の１つまたは複数の幾何学的特徴の修正を可能にする、ステップと、
   前記非テキストの手描き図要素の少なくとも１つの描写を動的に表示する動的プロンプタを表示するステップであって、前記動的プロンプタは、前記非テキストの手描き図要素の前記認識された形態および前記非テキストの手描き図要素の幾何学的に類似の異形で構成される、ステップと
   を含み、
   前記動的プロンプタは、前記選択ジェスチャを介して、前記非テキストの手描き図要素の前記デジタルインクを選択したことに応じて表示され、
   前記非テキストの手描き図要素の前記認識された形態は、前記非テキストの手描き図要素の空間スコア、時間スコア、および入力特性の少なくとも１つから計算された確率スコアに基づいて決定される、方法。
8. 前記動的プロンプタは、手書きが入力されるにつれ、テキストの手描き図要素の少なくとも１つの描写を動的に表示する、請求項７に記載の方法。
9. 前記動的プロンプタは、少なくとも１つのインタラクティブプロンプタ要素を含み、前記少なくとも１つの非一時的コンピュータ可読媒体は、前記少なくとも１つのインタラクティブプロンプタ要素とのインタラクションを受け取ることに応答してアクションメニューを表示するように構成される、請求項７に記載の方法。
10. アイコン形態で非テキスト要素の前記描写を表示するステップを含む、請求項７に記載の方法。
11. 前記非テキスト要素は、前記図の形状要素であり、前記アイコンは、前記形状を描写する、請求項１０に記載の方法。
12. 活字組みのインクにおいてテキスト要素の前記描写を表示するステップを含む、請求項７に記載の方法。
13. コンピュータ可読プログラムコードを有する非一時的コンピュータ可読媒体であって、
    前記コンピュータ可読プログラムコードは、コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図の手描きを導くための方法を実行するように構成され、前記コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で入力された手描き図要素を検出及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備え、前記方法は、
    前記コンピューティングデバイスのインタラクティブディスプレイの入力エリア上で、
    非テキストの手描き図要素、および
    選択ジェスチャ
    の入力を受け取るステップであって、前記非テキストの手描き図要素は、前記入力された手描き図要素のストロークをテキストまたは非テキストとして分類することによって認識される、ステップと、
    前記コンピューティングデバイスの前記インタラクティブディスプレイ上に、
    非テキストの手描き図要素のデジタルインク上に重ね合わせられた前記非テキストの手描き図要素の認識された形態を表示するステップであって、前記非テキストの手描き図要素の前記認識された形態は、前記非テキストの手描き図要素の前記デジタルインクの１つまたは複数の幾何学的特徴を含み、および前記非テキストの手描き図要素の前記認識された形態の１つまたは複数の幾何学的特徴の修正を可能にする、ステップと、
    前記非テキストの手描き図要素の少なくとも１つの描写を動的に表示する動的プロンプタを表示するステップであって、前記動的プロンプタは、前記非テキストの手描き図要素の前記認識された形態および前記非テキストの手描き図要素の幾何学的に類似の異形で構成される、ステップと
    を含み、
    前記動的プロンプタは、前記選択ジェスチャを介して、前記非テキストの手描き図要素の前記デジタルインクを選択したことに応じて表示され、
    前記非テキストの手描き図要素の前記認識された形態は、前記非テキストの手描き図要素の空間スコア、時間スコア、および入力特性の少なくとも１つから計算された確率スコアに基づいて決定される、非一時的コンピュータ可読媒体。
14. 前記動的プロンプタは、手書きが入力されるにつれ、少なくとも１つの図要素を動的に表示する、請求項１３に記載の非一時的コンピュータ可読媒体。
15. 前記動的プロンプタは、少なくとも１つのインタラクティブプロンプタ要素を含み、前記少なくとも１つの非一時的コンピュータ可読媒体は、前記少なくとも１つのインタラクティブプロンプタ要素とのインタラクションを受け取ることに応答してアクションメニューを表示するように構成される、請求項１３に記載の非一時的コンピュータ可読媒体。
16. 前記方法は、アイコン形態で非テキスト要素の前記描写を表示するステップを含む、請求項１３に記載の非一時的コンピュータ可読媒体。
17. 前記非テキスト要素は、前記図の形状要素であり、前記アイコンは、前記形状を描写する、請求項１６に記載の非一時的コンピュータ可読媒体。
18. 前記方法は、活字組みのインクにおいてテキスト要素の前記描写を表示するステップを含む、請求項１３に記載の非一時的コンピュータ可読媒体。
19. 視覚的な強調は、前記非テキストの手描き図要素の前記デジタルインクに対して、前記非テキストの手描き図要素の前記認識された形態をボールドすることで構成される、請求項１に記載のシステム。

Images