JP2023510904A - 手書きにおける数学検出 - Google Patents

Abstract

本発明は、複数のストローク（ＳＫ）に対して手書き認識を実行することによって、シンボルを識別することと、第１の分類として、少なくとも第１の閾値に到達する信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして第１のシンボルを分類することと、予め定義された空間的構文ルール（ＲＬ２）を適用することによって、第２の分類として、それぞれの信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして第１のシンボル以外の第２のシンボルを分類することと、第３の分類として、シンボルの間のセマンティック接続を確立し、セマンティック接続を第２の分類の結果と比較することによって、第２の分類の結果を更新または確認することと、第３の分類の結果に基づいてテキストまたは数学のいずれかとして各々のシンボル認識することと、を含む、手書きにおける数学及びテキストを処理するコンピューティングデバイス（１００）によって実施される方法に関連する。
【選択図】図１

Description

本開示は概して、手書き認識及び手書き処理の分野に関し、特に、手書きにおける数学コンテンツ及びテキストコンテンツを認識することが可能なコンピューティングデバイスに関する。

手書き入力及び認識、すなわち、テキストコンテンツ（例えば、アルファベット文字）または非テキストコンテンツ（例えば、形状、図）など、ユーザによる手描きまたは手書きの入力要素のために、様々なコンピューティングデバイスが何年にもわたって開発されてきた。この目的のために、既知のコンピューティングデバイスは通常、ディスプレイスクリーン上で表示することができるデジタルインクのストロークの形式においてユーザが手書きコンテンツを入力することを可能にするタッチ感応画面または同様のものを備えられる。

ユーザ手書き入力は、手書きがユーザによって入力されるときにリアルタイム認識を可能にするオンライン手書き認識システムを使用して解釈されることがある。手書き認識は、例えば、クラウド方式ソリューションまたは同様のものを使用して実施されることがある。代わりに、オフラインシステムも既知である。認識されると、コンピューティングデバイスは、入力ストロークを例えばタイプセットバージョンに変換すること、または編集機能を実装することなど、いずれかの適切な処理タスクを実行することがある。

手書きの表示、操作、及び編集などを含む良好な経験をユーザにもたらすために、ユーザからの手書き入力ができるだけ正確に認識されることが重要である。手書きの文字、数字、シンボル、アクセントなどの手書きのテキストを認識するために、テキスト分類器が既知であり、使用されている。しかしながら、手書き入力は、様々な性質のものである場合があり、それはときに、手書き認識のタスクを扱いづらくさせる。

特に、手書きが数学コンテンツを含むとき、またはテキストコンテンツ及び数学コンテンツの混合を含むとき、手書き認識は課題となることがある。今日の時点で、数学及びテキストの両方を認識する効率的なソリューションは存在しない。特に、手書きにおける数学コンテンツ及びテキストコンテンツを正確且つ信頼できる方式において区別するソリューションが必要である。

以下に本明細書で説明される本発明の実施例は、手書きにおける数学及びテキストを処理するコンピューティングデバイス、方法、及び対応するコンピュータプログラムを提供する。

特定の態様に従って、本発明は、手書きにおける数学及びテキストを処理するコンピューティングデバイスによって実施される方法であって、
－デジタルインクの複数のストロークに対して手書き認識を実行することによって、シンボルを識別することと、
－シンボルに対して予め定義されたシンボル認識ルールを個々に適用することによって、第１の分類として、少なくとも第１の閾値に到達する信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして識別されたシンボルから少なくとも１つの第１のシンボルを分類することと、
－先述の少なくとも１つの第１のシンボル及び先述の少なくとも１つの第１のシンボル以外の少なくとも１つの第２のシンボルに対して、先述の少なくとも１つの第１のシンボルと先述の少なくとも１つの第２のシンボルとの間の空間的関係を定義した予め定義された空間的構文ルールを適用することによって、第２の分類として、それぞれの信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして先述の少なくとも１つの第２のシンボルを分類することと、
－識別されたシンボルからの少なくとも２つのシンボルの間のセマンティック接続を確立し、先述のセマンティック接続を先述の第２の分類の結果と比較することによって、第３の分類として、先述の第２の分類の結果を更新または確認することと、
先述の第３の分類の結果に少なくとも基づいて、テキストシンボルまたは数学シンボルのいずれかとして、各々のシンボルを認識することと、
を含む方法を提供する。

本発明は効率的且つ信頼できる方式において手書きにおける数学及びテキストを認識することを可能にする。高い程度の信頼度により、手書き入力のどのストローク（または、シンボル）がテキストコンテンツであるか、及びどれが数学コンテンツであるかを決定することができる。特に、手書き入力の３つのレベル分析、つまり、シンボル分析、構文分析、及びセマンティック分析を実行することによって、効率的な数学／テキストの区別が達成される。

特定の実施形態では、方法は、先述のシンボルを識別することの前に、シンボルを形成するデジタルインクの複数のストロークを取得することを含み、先述の識別されたシンボルは、少なくとも１つのテキストシンボル及び少なくとも１つの数学シンボルを含む。

特定の実施形態では、先述のシンボルを識別することの間、複数のストロークは、予め定義されたシンボルのセットと比較され、複数のストロークによって形成された各々のシンボルは、予め定義されたシンボルのセット内のそれぞれの１つとして識別される。

特定の実施形態では、方法は、先述のシンボルを形成する各々のストロークに基づいて、識別されたシンボルごとに、インク関連情報を計算することを含み、先述のインク関連情報は、
－先述のシンボルを形成する１つ以上のストロークの固有の特質を特徴付けるシンボル情報と、
－複数のストロークの少なくとも１つのそれぞれの順序付けに従った、先述のシンボルを形成する１つ以上のストロークと空間的に関連する、少なくとも１つの隣接ストロークを特徴付けるコンテキスト情報と、を含み、
先述のインク関連情報は、数学シンボル候補またはテキストシンボル候補のいずれかとして各々のシンボルを分類するために、少なくとも先述の第２の分類及び第３の分類において使用される。

特定の実施形態では、ストロークは、ストロークが相互に対して手書きされた時間的順序を示す時間的情報によりオンライン手書きとして取得され、
コンテキスト情報は、シンボルごとに、複数のストロークの時間的順序に少なくとも従って、先述のシンボルを形成する１つ以上のストロークと空間的に関連する、少なくとも１つの隣接ストロークを特徴付ける。

特定の実施形態では、先述の第１の分類は、
－識別されたシンボルごとに、シンボル認識ルールによって先述のシンボルに帰属した埋め込み情報を決定することであって、先述の埋め込み情報は、先述の予め定義されたシンボルがテキストまたは数学のいずれかであるそれぞれの信頼スコアを含む、決定することと、
－少なくとも先述の第１の閾値に到達する信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして少なくとも１つの第１のシンボルを識別するように、埋め込み情報において定義されるような各々の識別されたシンボルのそれぞれの信頼スコアを第１の閾値と比較することと、
を含む。

特定の実施形態では、第１の分類の間、各々のシンボルは、予め定義されたシンボル認識ルールを個々に適用することによって、それぞれの信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして分類される。

特定の実施形態では、第１の分類において識別された各々のシンボルは、予め定義されたシンボル認識ルールに基づいて、先述のシンボルがテキストまたは数学のいずれかであるそれぞれの信頼スコアを含む埋め込み情報に帰属する。

特定の実施形態では、先述の第２の分類の間、先述の空間的構文ルールは、数学シンボル候補またはテキストシンボル候補のいずれかとして、１つ以上の第１のシンボルとの予め定義された空間的関係を有する少なくとも１つの他のシンボルを識別するために、先述の少なくとも１つの第１のシンボルに対して適用される。

特定の実施形態では、先述の第２の分類の間、先述の少なくとも１つの第１のシンボル以外の各々のシンボルは、テキストシンボル候補または数学シンボル候補のいずれかとして分類される。

特定の実施形態では、空間的構文ルールは、
－少なくとも２つの数学シンボルの間の空間的関係を定義した数学空間的構文ルールと、
－少なくとも２つのテキストシンボルの間の空間的関係を定義したテキスト空間的構文ルールと、
を含む。

特定の実施形態では、数学空間的構文ルールは、以下：
－分子成分及び分母成分を分離する分数罫を含む分数と、
－１つ以上の基本シンボルの左上及び左下にそれぞれ位置付けられた１つ以上のシンボルと関連付けられた上付き文字及び下付き文字と、
－１つ以上の基本シンボルの上及び下にそれぞれ位置付けられた１つ以上のシンボルと関連付けられたオーバスクリプト及びアンダスクリプトと、
－表形式に配列されたシンボルの複数の行及び列と関連付けられた行列と、
を定義した少なくとも数学空間的構文ルールを含む。

特定の実施形態では、先述の第２の分類は、
－それぞれの数学シンボル候補として、第１の分類において数学シンボル候補として識別された少なくとも１つの（または、０から複数の）第１のシンボルとの予め定義された空間的関係を有する少なくとも１つの他のシンボルを識別するために、先述の数学空間的構文ルールを適用することと、
－それぞれの数学シンボル候補として、第１の分類において数学シンボル候補として識別された少なくとも１つの第１のシンボルとの予め定義された空間的関係を有する少なくとも１つの他のシンボルを識別するために、先述のテキスト空間的構文ルールを適用することと、
のうちの少なくとも１つを含む。

特定の実施形態では、第２の分類の結果がセマンティック接続に基づいて第３の分類の間に確認される場合、第３の分類において生み出される結果は、第２の分類の結果と同一である。

特定の実施形態では、第２の分類の結果がセマンティック接続に基づいて第３の分類の間に更新される場合、第３の分類において生み出される結果は、それぞれの更新された信頼スコアに沿った第２の分類に対するテキスト候補及びシンボル候補としてのシンボルの修正された分類を含み、
方法は、先述の結果を確認または更新するかのいずれかのために第３の分類の結果に対して第２の分類を繰り返すことを更に含む。

特定の実施形態では、第２の分類及び第３の分類が同一の結果に収束するまで、先述の第２の分類及び第３の分類を含む反復的分類処理が繰り返される。

特定の実施形態では、第２の分類及び第３の分類が同一の結果に収束する前に分類処理の反復の予め定義された回数Ｎに到達する場合、第３の分類において取得された第２の分類の最近の更新された結果は、テキストシンボルまたは数学シンボルのいずれかとして各々のシンボルを認識するために使用され、Ｎは、少なくとも２の整数である。

特定の実施形態では、先述のテキストシンボルまたは数学シンボルのいずれかとして各々のシンボルを認識することは、先述の第３の分類の結果に少なくとも基づいて、各々のストロークに、関連する信頼スコアに沿って数学またはテキストのいずれかとしての分類を割り当てることを含む。

特定の実施形態では、方法は、先述の認識することの結果に基づいて、複数のストロークを１つ以上のストロークのブロックにグループ化することを含み、各々のブロックは、テキストブロックまたは数学ブロックのいずれかであり、テキストブロックに包含された各々のストロークは、テキストシンボルの一部であり、数学ブロックに包含された各々のストロークは、数学シンボルの一部である。

特定の実施形態では、グループは、先述の第３の分類の結果において定義されたような数学またはテキストとしての各々のシンボルの分類に基づいて、及び相互に対するストロークの空間的近接性に基づいて決定される。

特定の実施形態では、方法は、各々のストロークが属するそれぞれのブロックを表すボックスに沿って複数のストロークを表示することを含む。

特定の実施形態では、数学言語モデルを各々の数学ブロックに適用することによって、及びテキスト言語モデルを各々のテキストブロックに適用することによって、先述のストロークにおける数学コンテンツ及びテキストコンテンツを認識することを含む。

別の態様に従って、本発明は、本明細書において定義されるような本発明の方法のステップを実行するための命令を含むコンピュータ可読プログラムコード（または、コンピュータプログラム）をそこに記録した非一時的コンピュータ可読媒体に関連する。

本発明のコンピュータプログラムは、いずれかのプログラミング言語において表現されてもよく、例えば、部分的にコンパイルされた形式、またはいずれかの他の適切な形式にあるように、ソースコード、オブジェクトコード、またはソースコードとオブジェクトコードとの間のいずれかの中間コードの形式にあってもよい。

本発明はまた、上記言及されたようなコンピュータプログラムを提供する。

前に言及された非一時的コンピュータ可読媒体は、コンピュータプログラムを記憶することが可能ないずれかのエンティティまたはデバイスであってもよい。例えば、記録媒体は、ＲＯＭメモリ（マイクロ電子回路において実装されたＣＤ－ＲＯＭもしくはＲＯＭ）、または、例えば、フロッピーディスクもしくはハードディスクなどの磁気記憶手段などの記憶手段を含んでもよい。

本発明の非一時的コンピュータ可読媒体は、電気ケーブルもしくは光学ケーブルを介して、または無線もしくはいずれかの他の適切な手段によって運ぶことができる、電気信号または光学信号など伝送可能媒体に対応してもよい。本開示に従ったコンピュータプログラムは、特に、インターネットまたは同様のもののネットワークからダウンロードされてもよい。

代わりに、非一時的コンピュータ可読媒体は、コンピュータプログラムがロードされる集積回路に対応してもよく、回路は、本発明の方法を実行し、または実行において使用されるように適合される。

特定の実施形態では、本発明は、そこに埋め込まれたコンピュータ可読プログラムコードを有する非一時的コンピュータ可読媒体に関連し、先述のコンピュータ可読プログラムコードは、本明細書において定義されるようなコンピューティングデバイス上で手書きにおける数学及びテキストを処理する方法を実施するように実行されるように適合され、コンピューティングデバイスは、先述の方法のステップを実行するためのプロセッサを含む。

本発明はまた、本開示において定義されるような方法を実装するための適切なコンピューティングデバイスに関連する。より具体的に、本発明は、手書きにおける数学及びテキストを処理するコンピューティングデバイスであって、
－デジタルインクの複数のストロークに対して手書き認識を実行することによって、シンボルを識別する第１の認識モジュールと、
－シンボルに対して予め定義されたシンボル認識ルールを個々に適用することによって、第１の分類として、少なくとも第１の閾値に到達する信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして識別されたシンボルから少なくとも１つの第１のシンボルを分類するシンボル処理モジュールと、
－先述の少なくとも１つの第１のシンボル及び先述の少なくとも１つの第１のシンボル以外の少なくとも１つの第２のシンボルに対して、先述の少なくとも１つの第１のシンボルと先述の少なくとも１つの第２のシンボルとの間の空間的関係を定義した予め定義された空間的構文ルールを適用することによって、第２の分類として、それぞれの信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして先述の少なくとも１つの第２のシンボルを分類する構文処理モジュールと、
－識別されたシンボルからの少なくとも２つのシンボルの間のセマンティック接続を確立し、先述のセマンティック接続を先述の第２の分類の結果と比較することによって、第３の分類として、先述の第２の分類の結果を更新または確認するセマンティック処理モジュールと、を含み、
先述のコンピューティングデバイスは、先述の第３の分類の結果に少なくとも基づいて、テキストシンボルまたは数学シンボルのいずれかとして、各々のシンボルを認識するように構成される、
コンピューティングデバイスを提供する。

本発明の方法と関連して定義された様々な実施形態は、同様の方式において、本開示のコンピューティングデバイス、コンピュータプログラム、及び非一時的コンピュータ可読媒体に適用される。

本開示において定義されるような本発明の方法のステップごとに、コンピューティングデバイスは、先述のステップを実行するように構成された対応するモジュールを含んでもよい。

特定の実施形態では、本開示は、ソフトウェア構成要素及び／またはハードウェア構成要素を使用して実装されてもよい。このコンテキストでは、用語「モジュール」は、本開示では、ソフトウェア構成要素と共に、ハードウェア構成要素または複数のソフトウェア構成要素及び／またはハードウェア構成要素を指すことができる。

本開示の他の特性及び利点が添付図面を参照して行われる以下の説明から明らかになり、添付図面は、非限定的な特性を有する実施形態を示す。

本発明の特定の実施形態に従った、コンピューティングデバイスのブロック図である。 本発明の特定の実施形態に従った、コンピューティングデバイスによって実装された機能的モジュールを表すブロック図である。 本発明の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法のステップを例示するフローチャートである。 本開示の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法の異なるステップを表す。 本開示の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法の異なるステップを表す。 本発明の特定の実施形態に従った、予め定義されたシンボルのセットを示す。 本発明の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法の異なるステップを表す。 本発明の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法の異なるステップを表す。 本発明の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法の異なるステップを表す。 本発明の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法の異なるステップを表す。 本発明の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法の異なるステップを表す。 本発明の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法の異なるステップを表す。 本発明の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法の異なるステップを表す。 本発明の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法の異なるステップを表す。 本発明の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法の異なるステップを表す。 本発明の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法の異なるステップを表す。 本発明の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法の異なるステップを表す。 本発明の特定の実施形態に従った、回帰型ニューラルネットワークの構造及びオペレーションを概略的に表す。 本発明の特定の実施形態に従った、回帰型ニューラルネットワークの構造及びオペレーションを概略的に表す。 本発明の特定の実施形態に従った、手書きにおける数学及びテキストを処理する方法を概略的に表すブロック図である。

図面における構成要素は、必ずしも同一縮尺でなく、代わりに、本発明の原理を例示することに強調が置かれる。

例示を簡易化及び明確にするために、他に示されない限り、同一または類似の部分を指すために、図面の全体を通じて同一の参照符号が使用される。

以下の詳細な説明では、関連する教示の完全な理解をもたらすために、多数の特定の詳細が例として示される。しかしながら、本教示がそのような詳細なしに実施されてもよいことが当業者にとって明らかであるはずである。他の例では、本教示の態様を不必要に曖昧にすることを回避するために、詳細ではなく相対的に高いレベルにおいて、公知の方法、手順、及び／または構成要素が説明される。

例示的な実施形態の以下の説明は、添付図面を参照する。以下の詳細な説明は、本発明を限定しない。実際に、本発明の範囲は、添付の特許請求の範囲によって定義される。図面において例示されるような様々な実施形態では、コンピューティングデバイス、対応する方法、及び対応するコンピュータプログラムが議論される。

用語「手描き（ｈａｎｄ－ｄｒａｗｉｎｇ）」及び「手書き（ｈａｎｄｗｒｉｔｉｎｇ）」は、入力画面上でまたは入力画面によりそれらの手（もしくは、指）または入力デバイス（ハンドヘルドスタイラスもしくはデジタルペン、マウス…）の使用を通じてユーザによってデジタルコンテンツ（手書き入力）を作成することを定義するために、本明細書で交換可能に使用される。用語「手」または同様のものは、入力技術の簡潔な説明を提供するために本明細書で使用されるが、足、口、及び目など、同様の入力のためのユーザの体の他の部分の使用が、この定義に含まれる。

手書きは、ユーザによって入力されたデジタルインクのストロークによって形成される。ストローク（ｓｔｒｏｋｅ）（または、入力ストローク）は、ストローク開始位置（「ペンダウン」イベントに対応する）、ストローク終了位置（「ペンアップ」イベントに対応する）、並びにストローク開始位置及びストローク終了位置を接続する経路によって特徴付けられる。

本開示における用語「テキスト（ｔｅｘｔ）」は、いずれかの記述された言語における全ての文字（例えば、アルファベット文字または同様のもの）、及びその文字列、より一般的には、記述されたテキストにおいて使用されるいずれかのシンボルを包含するとして理解される。よって、テキストは、ラテン文字、キリル文字、及び漢字など、いずれかのスクリプトからの基本文字及びアクセントを含む。

用語「数学（ｍａｔｈ）」（または、ｍａｔｈｅｍａｔｉｃｓ）は、いずれかの言語におけるいずれかの数学シンボル、または数学シンボルの文字列、すなわち、数学コンテンツ、数学的表現、または数学的性質の何らかを表現するために使用されるいずれかのシンボルを包含するとして本開示において理解される。

テキストコンテンツ及び数学コンテンツの特定の実施例が以下で更に詳細に提供される。

更に、それらの図面において示される実施例は、左から右に記述された言語コンテキストにあり、したがって、異なる方向的フォーマットを有する記述された言語に対して位置へのいずれかの言及が適合されてもよい。

本明細書で説明される様々な技術は概して、ポータブルコンピューティングデバイス及び非ポータブルコンピューティングデバイス上で、より具体的に、数学及びテキストを認識する目的のために、手書きを処理することに関連する。いわゆるオンライン認識技術を使用したデジタルインク手書き入力の認識に関して様々な実施形態が説明されると共に、認識を実行するためのリモートデバイスまたはサーバを伴うオフライン認識など、認識のための他の形式の入力が適用されてもよいことが理解されよう。

本明細書で説明されるシステム及び方法は、タッチ感応画面（後に議論されるような）などの入力画面を介してコンピューティングデバイスへのユーザの自然な手書きスタイル入力の認識を利用することができる。

以下で更に詳細に説明されるように、本発明の態様は、手書きにおける数学及びテキストを処理することに関する。方法は、手書きにおけるテキストシンボル及び数学シンボルの正確且つ信頼できる認識を可能にする、異なる性質の３つのシンボル分類、つまり、シンボル表現レベルにおける、構文レベルにおける、及びセマンティックレベルにおける分類に基づいている。

より具体的に、方法は、デジタルインクの複数のストロークに対して手書き認識を実行することによって、シンボルを識別することと、少なくとも第１の閾値に到達する信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして少なくとも１つの第１のシンボルを分類するように、シンボルレベルにおいて第１の分類を実行することと、先述の少なくとも１つの第１のシンボルと先述の少なくとも１つの第２のシンボルとの間の空間的関係に基づいて、それぞれの信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして先述の少なくとも１つの第１のシンボル以外の少なくとも１つの第２のシンボルを分類するように、構文レベルにおいて第２の分類を実行することと、少なくとも２つのシンボルの間で確立されたセマンティック接続に基づいて、前記第２の分類の結果を更新または確認するように、セマンティックレベルにおいて第３の分類を実行することと、先述の第３の分類の結果に少なくとも基づいて、テキストシンボルまたは数学シンボルのいずれかとして各々のシンボルを認識することと、を伴ってもよい。

図１は、本発明の特定の実施形態に従った、コンピューティングデバイスＤＶ１のブロック図を示す。コンピューティングデバイス（または、デジタルデバイス）ＤＶ１は、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、電子書籍リーダ、携帯電話、スマートフォン、ウェアラブルコンピュータ、デジタルウォッチ、対話型ホワイトボード、グローバルポジショニングシステム（ＧＰＳ）ユニット、エンタプライズデジタルアシスタント（ＥＤＡ）、携帯情報端末（ＰＤＡ）、またはゲームコンソールなどであってもよい。コンピューティングデバイスＤＶ１は、少なくとも１つの処理要素の構成要素、何らかの形式のメモリ及び入力・出力（Ｉ／Ｏ）デバイスを含んでもよい。構成要素は、コネクタ、ライン、バス、リンクネットワーク、または当業者に対して既知のその他など、入力及び出力を通じて相互に通信する。

より具体的に、コンピューティングデバイスＤＶ１は、手書き（または、手描き）コンテンツＩＮについての入力画面４を含み、手書きコンテンツＩＮは、以下で更に説明されるように、テキストコンテンツ、数学コンテキスト、またはテキストコンテンツ及び数学コンテンツの混合であってもよい。入力画面４は、先述の入力画面上で（または、それを使用して）入力されたデジタルインクの複数のストロークＳＫを検出するために適切である。

入力画面１０４は、タッチ感応画面または近接感応画面の形式においてユーザ入力を受信するための、抵抗性、表面弾性波、容量性、赤外線グリッド、赤外線アクリル投影、光学撮像、分散信号技術、音響パルス認識、または当業者に対して既知のいずれかの他の適切な技術などのいずれかの適切な技術を採用してもよい。入力画面４は、位置検出システムによって監視される非タッチ感応画面であってもよい。

コンピューティングデバイス１００も、手書きＩＮなどのデータをコンピューティングデバイスＤＶ１から出力するための少なくとも１つのディスプレイユニット（または、ディスプレイデバイス）２を含む。ディスプレイユニット２は、いずれかの適切な技術のスクリーンまたは同様のもの（ＬＣＤ、プラズマ…）であってもよい。ディスプレイユニット２は、ユーザによって入力されたデジタルインクのストロークＳＫを表示するために適切である。

入力画面４は、ディスプレイユニット２と同一位置にあってもよく、またはそれにリモートに接続されてもよい。特定の実施例では、ディスプレイユニット２及び入力画面４は、タッチスクリーンの一部である。

図１に表されるように、コンピューティングデバイスＤＶ１は、プロセッサ６及びメモリ８を更に含む。コンピューティングデバイスＤＶ１はまた、メモリ８の一部としてまたはそれとは別に１つ以上の揮発性記憶素子（ＲＡＭ）を含んでもよい。

プロセッサ６は、ソフトウェア、特に、メモリ８に記憶されたソフトウェアを実行するためのハードウェアデバイスである。プロセッサ８は、いずれかのカスタムメイドプロセッサもしくは汎用プロセッサ、セントラルプロセシングユニット（ＣＰＵ）、半導体方式マイクロプロセッサ（マイクロチップもしくはチップセットの形式にある）、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理回路、またはいずれかのそれらの組み合わせ、及び、より一般的には、当業者に対して既知であるように、ソフトウェア命令を実行するように設計されたいずれかの適切なプロセッサ構成要素であってもよい。

メモリ８は、本開示の特定の実施形態に従った非一時的（または、不揮発性）コンピュータ可読媒体（または、記録媒体）である。メモリ８は、不揮発性記憶素子（例えば、ＲＯＭ、ＥＰＲＯＭ、フラッシュＰＲＯＭ、ＥＥＰＲＯＭ、ハードドライブ、磁気もしくは光学テープ、メモリレジスタ、ＣＤ－ＲＯＭ、ＷＯＲＭ、またはＤＶＤなど）のいずれかの組み合わせを含んでもよい。

メモリ８は、コンピューティングデバイスＤＶ１によってリモートでアクセス可能である、サーバまたはクラウド方式システムにあるなど、コンピューティングデバイスＤＶ１からリモートであってもよい。不揮発性メモリ８は、プロセッサ６に結合され、その結果、プロセッサ６は、メモリ８から情報を読み込み、メモリ８に情報を書き込むことが可能である。代替として、メモリ８は、コンピューティングデバイス８に統合される。

メモリ８は、オペレーティングシステム（ＯＳ）１０及び手書きアプリケーション（または、コンピュータプログラム）１２を含む。オペレーティングシステム１０は、アプリケーション１２の実行を制御する。本出願は、本発明の特定の実施形態に従ったコンピュータプログラム（または、コンピュータ可読プログラムコード）を構成し（または、それを含む）、このコンピュータプログラムは、本発明の特定の実施形態に従った方法を実装するための命令を含む。

本実施形態では、アプリケーション１２は、適切な方式において取得された手書きＩＮにおける数学及びテキストを処理するための命令を含む。本実施例では、処理されることになる手書きＩＮは、以下で更に議論されるように、コンピューティングデバイス１００の入力画面４を使用してユーザによって手書きされたデジタルインクのストロークＳＫであってもよい。変形例では、手での手書きＩＮは、コンピューティングデバイスＤＶ１によって取得されるが、入力画面４を通じて入力されない。

図１に表されるように、不揮発性メモリ８は、予め定義されたシンボルのセット（または、データセット）ＳＴ１、予め定義されたシンボル認識ルールＲＬ１のセット、予め定義された空間的構文ルールＲＬ２のセット、及び予め定義されたセマンティックルールＲＬ３のセットを含む、コンピューティングデバイス２によって取得された様々なデータを記憶するために適切である。メモリ８はまた、インク関連情報ＩＦ１及び／または埋め込み情報ＩＦ２を記憶してもよい。それらの特徴の性質及び使用は、以下で更に詳細に説明される。

特定の実施形態に従った図２に示されるように、メモリ１０８に記憶されたアプリケーション１２（図１）を稼働させるとき、プロセッサ６は、モジュール、つまり、第１の認識モジュールＭＤ２、シンボル処理モジュールＭＤ４、構文処理モジュールＭＤ６、セマンティック処理モジュールＭＤ８、及び任意選択で、事後処理モジュールＭＤ１２を実装する。

第１の認識モジュールＭＤ２は、デジタルインクの複数のストロークＳＫに対して手書き認識を実行することによって、シンボルＳＢを識別するように構成されてもよい。

シンボル処理モジュールＭＤ４は、第１の分類として、少なくとも第１の閾値に到達する信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして識別されたシンボルＳＢから少なくとも１つの第１のシンボルＳＢａを分類するように構成されてもよい。この第１の分類は、第１の認識モジュールＭＤ２によって識別されたシンボルＳＢに対して予め定義されたシンボル認識ルールＲＬ１を個々に適用することによって実行されてもよい。

構文処理モジュールＭＤ６は、第２の分類として、それぞれの信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして先述の少なくとも１つの第１のシンボルＳＢａ以外の少なくとも１つの第２のシンボルＳＢｂを分類するように構成されてもよい。この第２の分類は、先述の少なくとも１つの第１のシンボルＳＢａ及び先述の少なくとも１つの第２のシンボルＳＢｂに対し、先述の少なくとも１つの第１のシンボルＳＢａと先述の少なくとも１つの第２のシンボルＳＢｂとの間の空間的関係を定義した予め定義された空間的構文ルールＲＬ２を適用することによって実行されてもよい。

セマンティック処理モジュールＭＤ８は、第３の分類として、識別されたシンボルＳＢからの少なくとも２つのシンボルの間のセマンティック接続を確立し、先述のセマンティック接続を先述の第２の分類の結果と比較することによって、先述の第２の分類の結果を更新または確認するように構成されてもよい。

コンピューティングデバイスＤＶ１は、先述の第３の分類の結果に基づいて（または、少なくとも基づいて）、テキストシンボルまたは数学シンボルのいずれかとして各々のシンボルＳＢを認識するように構成されてもよい。

事後処理モジュールＭＤ１２は、処理モジュールＭＤ４、ＭＤ６、及びＭＤ８による認識が完了すると、ストロークＳＫに対して事後処理オペレーションを実行するように構成されてもよい。

アプリケーション１２は、特定の実施形態において後に説明されるように、本発明の方法のステップを実行するために、上記言及されたモジュールＭＤ２～ＭＤ１２を実装するようにプロセッサ６を構成する命令を含む。

モジュールＭＤ２～ＭＤ１２は各々、１つ以上のニューラルネットワークであってもよく、または１つ以上のニューラルネットワークを含んでもよい。本実施例では、各々のモジュールＭＤ４、ＭＤ６、及びＭＤ８は、ニューラルネットワークによって実行される。

コンピューティングデバイスＤＶ１のモジュールＭＤ２～ＭＤ１２の構成及びオペレーションは、図面を参照して以下に説明される特定の実施形態においてより明らかになるであろう。図２に示されるようなモジュールＭＤ２～ＭＤ１２は、本発明の実施例の実施形態を表すにすぎず、他の実施態様が可能であることが理解されよう。

本発明の方法のステップごとに、コンピューティングデバイスＤＶ１は、先述のステップを実行するように構成された対応するモジュールを含んでもよい。

図１及び２において例示されたコンピューティングデバイスＤＶ１によって実装される方法はここで、本発明の特定の実施形態に従った、図３～１５を参照して説明される。より具体的に、コンピューティングデバイスＤＶ１は、メモリ８に記憶されたアプリケーション１２を実行することによってこの方法を実装する。

コンピューティングデバイスＤＶ１が手書きＩＮを取得し、取得された手書きＩＮにおける数学を検出し、より具体的に、先述の手書きＩＮにおける数学コンテキスト及びテキストコンテキストを認識するように手書き認識アプリケーション１２を実装する、実施例のシナリオが考えられる。

より具体的に、取得ステップＳ２（図３）では、コンピューティングデバイスＤＶ１は、デジタルインクの形式において手書きＩＮを取得する。取得された手書き入力ＩＮは、デジタルインクの複数のストロークＳＫによって形成される。それらのストロークＳＫは、手書きＩＮのデジタル表現を構成する。取得されたストロークＳＫのセットは、それぞれの基線２０に沿って延在する少なくとも１つの手書き線を形成する。

よって、コンピューティングデバイスＤＶ１は、図４に示されるように、ディスプレイ２上で取得されたストロークＳＴを表示する。

既に示されたように、各々の入力ストロークＳＫは、少なくともストローク開始位置、ストローク終了位置、並びにストローク開始位置及びストローク終了位置を接続する経路によって特徴付けられる。したがって、例えば、文字「ｉ」（単語「ｐｏｉｎｔ」内の）の最上部に位置付けられたドットは、それ自体で単一のストロークを構成する。

本実施例では、Ｓ２において取得された入力ストロークＳＫが、図４に示されるように、以下の手書きフレーズを形成する：
「ｌｅｔ ｐ ｂ ｔｈｅ ｐｏｉｎｔ （１／２， １／２） ∈ Ｒ^２， ａｎｄ ｌｅｔ Ｌ（ｃ）」

理解することができるように、取得された手書きＩＮは、基線２０に沿って（または、実質的に沿って）延在する。取得された手書きＩＮは、このケースでは、記述された言語（英語）内の表現またはフレーズであり、手書きされた線を形成し、以下で更に説明されるような様々なシンボルを含む。本実施例では、テキストコンテンツは、単一の基線であると共に、数学コンテンツは、単一または複数の基線であることが想定される。しかしながら、これは、実施例を構成するにすぎず、言語、スタイル、フォーマットなどに関して多数の他のタイプ、コンテンツ、及び形式の手書きが可能であることが考えられるべきである。特に、相互に対するストロークＳＫの様々な空間的配列が考慮されてもよい（例えば、様々な手書き方向、サイズ）。

本ケースでは、デジタルインクの複数のストロークＳＴは、コンピューティングデバイスＤＶ１の入力画面１０４を使用してディスプレイ２の入力エリア内でユーザによって入力されることが想定される。ユーザは、手もしくは指、または入力画面４に使用するのに適切なデジタルペンもしくはスタイラスなどのいくつかの入力機器により入力ストロークＳＫを入力することができる。ユーザはまた、入力画面４の近隣での動きを検知するように構成された手段が使用されている場合に、入力画面４の上でジェスチャを行うことによって、またはマウスもしくはジョイスティックなどのコンピューティングデバイスＤＶ１の周辺デバイスにより入力ストロークＳＫを入力することができる。

しかしながら、コンピューティングデバイスＤＶ１は、いずれかの他の適切な方式において手書きＩＮを取得することができることが理解されるべきである。

本実施例では、コンピューティングデバイスＤＶ１は、オンライン手書き認識を実行するように、それらが入力画面４でユーザによって入力されるときに、ストロークＳＫを取得する。コンピューティングデバイスＤＶ１は、線レベルにおいて手書き（テキストコンテンツ及び数学コンテンツ）を検出及び処理するが、様々な実施態様が可能である。以下で更に説明されるように、よって、経時的にストロークＳＫが相互に対してどのように入力されるかを特徴付ける時間的情報が、後の処理のためにコンピューティングデバイスＤＶ１によって取得される。

しかしながら、オフライン手書き認識と同様の方式において、すなわち、それによって手書きの静的表現を形成する手書きの画像に対して本発明の概念を実行することによって、本発明が適用されてもよいことに留意されるべきである。よって、経時的にストロークが相互に対してどのように入力されるかに関する時間的情報は、直接利用可能でない。よって、そのような時間的情報を使用することなく、または代わりに、画像からストロークを回復し、いずれかの適切な人工的方法において時間的情報を生成することによって、例えば、手書き画像及びそれらの既知の時間的情報を使用してニューラルネットワークを訓練することによって、本発明の概念が適用されてもよい。

識別するステップＳ４（図３及び５）では、コンピューティングデバイスＤＶ１は、デジタルインクの取得されたストロークＳＫに対して手書き認識を実行することによって、シンボルＳＢを識別する。手書き認識Ｓ４は、第１の認識モジュールＭＤ２によって実行され、第１の認識モジュールＭＤ２は、認識分類器であってもよく、または認識分類器を含んでもよい。

図５は、本実施例における、ストロークＳＫに基づいてコンピューティングデバイスＤＶ１によって識別された（Ｓ４）シンボルＳＢのシーケンスを示す。

各々のシンボルＳＢは、１つもしくは複数の入力ストロークによって、または少なくともストロークＳＫの一部によって形成される。加えて、各々のシンボルＳＢは、その中でそれが使用されるシンボル及びコンテキストの性質に応じて、テキストシンボルまたは数学シンボルのいずれかであってもよい。

方法の目的は、識別されたシンボルＳＢの中で、数学シンボルをテキストシンボルと区別することである。本ケースでは、識別されたシンボルＳＢは、少なくとも１つのテキストシンボル及び少なくとも１つの数学シンボルを含むことが考えられる。しかしながら、数学コンテンツのみ、またはテキストコンテンツのみが取得された手書きＩＮにおいて認識されるケースで、本発明が適用されてもよいことにも留意されるべきである。

手書き認識Ｓ４を実行するために、前に言及されたような予め定義されたシンボルＰＳＢのセット（または、データセット）ＳＴが使用される。より具体的に、Ｓ２において取得されたストロークＳＫは、予め定義されたシンボルＰＳＢのセットＳＴと比較され、複数のストロークＳＫによって形成された各々のシンボルＳＢは、予め定義されたシンボルＰＳＢのセットＳＴ内のそれぞれ１つとしてＳ４において識別される。言い換えると、コンピューティングデバイスＤＶ１は、Ｓ２において取得された様々なストロークＳＫ（ストロークの一部、全ストローク、またはストロークのグループのいずれかを取る）を、データセットＳＴにおいて定義されたようないずれかの予め定義されたシンボルＰＳＢと一致させる。この目的のために、コンピューティングデバイスＤＶ１は、予め記憶されたデータセットＳＴを調査し、データセットＳＴと取得されたストロークＳＫとの間で様々な比較を行う。

したがって、Ｓ４において取得することができる各々のシンボルＳＢは、データセットＳＴからの学習可能表現を有するということになる。

各々の予め定義されたシンボルＰＳＢは、データセットＳＴ内で一度のみ発生する。予め定義されたシンボルＰＳＢは各々、いわゆる、純粋なテキストシンボル（すなわち、テキストとして唯一もしくはほとんどテキストとして使用されるシンボル）、いわゆる、純粋な数学シンボル（すなわち、数学として唯一もしくはほとんど数学として使用されるシンボル）、またはコンテキストに応じて数学もしくはテキストとして使用することができる混合テキスト／数学シンボルであってもよい。以下で更に示されるように、各々の予め定義されたシンボルＰＳＢは、シンボル認識ルールＲＬ１によって埋め込み情報ＩＦ２が割り当てられてもよく、埋め込み情報ＩＦ２は、先述の予め定義されたシンボルＰＳＢがテキストまたは数学のいずれかである信頼スコアを含む。

これが各々のケースに応じて可変であってもよいことを念頭に、いずれかの適切な空でないデータセットＳＴが使用されてもよい。データセットＳＴは、数学及びテキスト特性を考慮するようにカスタム構築されてもよい。データセットＳＴは好ましくは、数学からのシンボル及び複数のスクリプトを含めることによって、数学及びテキストの区別を促進するように構築される。データセットＳＴは、いずれかの言語またはスクリプトからのシンボル、数字、アクセント、複数の文字のアクセント変形、数学演算子、数学シンボル、及び数学的表現において使用されることが多いギリシャ文字などを含んでもよい。

このデータセットＳＴは、例えば、遅延したストローク、シンボル文字ストローク（例えば、アクセント、マルチストローク文字、及び／またはスプリアスストローク）を検出するためにそこに新たなシンボルを含めることによって、人によるインクの操作及び雑音に対してシステムをロバストにさせるように設計されてもよい。

本実施例では、Ｓ４におけるシンボル認識のために使用されるデータセットＳＴが図６に示される。特に、データセットＳＴは、以下のシンボル（または、以下のシンボルタイプの少なくとも１つもしくはいくつか）を含んでもよい：
－数字（例えば、「０」～「９」）、
－アルファベット文字（例えば、「ａ」～「ｚ」及び「Ａ」～「Ｚ」）、キリル文字、漢字などのいずれかの言語またはスクリプトからの文字、
－数学演算子（例えば、ｎ変数数学演算子）及び数学シンボル（例えば、「＋」、「＝」、「－」、「*」、「（」、「）」、「［」、「］」、「｛」、「｝」）、
－例えば、ギリシャ文字及びヘブライ文字などの文字に基づいたシンボル、
－バー及び矢印などの文字修飾子、
－以下のものなどの上記シンボルの少なくとも２つのいずれかの組み合わせ
・ｓｉｎ、ｃｏｓ、ｔａｎ、ｌｉｍなどの標準的数学関数を定義したアルファベット文字の組み合わせ、
・可変名、単位などのような所与のコンテキストにおけるいくつかの数学的特性を保持した組み合わせ、及び
・行列、分数、上付き文字／下付き文字、多線式などのような空間的配列に加わるシンボル。

図６のデータセットＳＴにおいて理解することができるように、いくつかの予め定義されたシンボルＰＳＢは、それらが数学コンテキストにおいて通常使用されるので、本データセットＳＴにおいて純粋な数学シンボル（例えば、「∈」、「＝」、「＋」）と見なされてもよい。

識別するステップＳ４においてシンボルＳＢを識別するために、コンピューティングデバイスＤＶ１は、例えば、逐次分類器を使用して、いずれかの適切な方式において取得されたストロークＳＫに対して手書き認識を実行してもよい。Ｓ４における各々の認識されたシンボルＳＢは、方法における後の使用のために、認識の信頼性または関連性のレベルを表すそれぞれの認識コストと結合されてもよい。異なるユーザが僅かな変動により同一のシンボルを自然に記述することがあることを理由に、Ｓ４における手書き認識において生み出される結果は、常に確かではない。シンボル分類器は好ましくは、各々のシンボルを入力することができると共に、正確なシンボルまたは意図したシンボルとしてなおも各々のシンボルが認識される、様々な方法に適合することが可能である。

本ケースでは、アプリケーション１２は、手書き認識を実行するようにＳ４においてシンボル分類器として動作する、第１の認識モジュールＭＤ２を含む。代わりに、第１の認識モジュールＭＤ２は、適切な通信リンクを通じてコンピューティングデバイスＤＶ１によってリモートアクセス可能である、図１に表されたようなサーバＳＶ１など、コンピューティングデバイスＤＶ１からリモートの手書き認識システムと通信するためのモジュールであってもよい。

第１の認識モジュールＭＤ２によって実行される手書き認識処理の性質及び実施態様は、各々のケースに応じて変化してもよい。手書き認識は、コンピューティングデバイスＤＶ１上で完全にローカルに、または、例えば、リモートサーバＳＶ１（図１）を使用して少なくとも部分的にリモートで実行されてもよい。

特徴抽出ステップＳ６では、コンピューティングデバイスＤＶ１は、各々のシンボルＳＫを形成するデジタルインクを表すインク関連情報Ｆ１を取得するように、識別されたシンボルに対して特徴抽出を実行する。言い換えると、インク関連情報ＩＦ１は、本ケースでは、関連するシンボルＳＢがどのように手書きされるかを表す。この特徴抽出ステップＳ６は、識別するステップＳ４の一部として、または識別するステップＳ４の少なくとも部分的に前に実行されてもよい。インク関連情報ＩＦ１は、次の分類処理Ｓ１０（図３）の間に後の使用のためにＳ６において取得される。

本実施例では、特徴抽出ステップＳ６の間、コンピューティングデバイスＤＶ１は、Ｓ４において識別されたシンボルＳＢごとに、先述のシンボルを形成する各々のストロークＳＫに基づいて、インク関連情報ＩＦ１を計算する。シンボルＳＢごとに、関連するインク関連情報ＩＦ１は、
－先述のシンボルＳＢを形成する１つ以上のストロークＳＫの固有の特質を特徴付けるシンボル情報ＩＦ１ａと、
－複数のストロークＳＫの少なくとも１つのそれぞれの順序付けに従って、先述のシンボルＳＢを形成する１つ以上のストロークＳＫと空間的に関連する、少なくとも１つの他の（または、隣接）ストロークＳＫを特徴付けるコンテキスト情報ＩＦ１ｂと、
を含んでもよい。

Ｓ６において取得されたインク関連情報ＩＦ１は、数学シンボル候補またはテキストシンボル候補のいずれかとして各々のシンボルＳＢを分類するために（以下で更に議論されるように）、少なくとも次の第２の分類Ｓ１６及び第３の分類Ｓ１８において、場合によっては、第１の分類Ｓ１２においても使用されてもよい。

より具体的に、シンボル情報ＩＦ１ａは、手書きＩＮにおける周囲のインクに関係なく、関連するシンボルＳＫ自体、すなわち、１つ以上の構成するストロークＳＫのその固有の特質を特徴付ける。シンボル情報ＩＦ１ａは、以下のカテゴリ：分類特徴、シンボル位置的特徴、及びシンボル記述特徴、のうちのいずれかの１つ（または、全て）を含んでもよい。

上記言及された分類特徴は、手書き認識Ｓ２の間に認識分類器（第１の認識モジュールＭＤ２）によってそれぞれのシンボルＳＢに割り当てられた認識コスト（複数可）を含む。インクまたはシンボルを処理するために追加の分類器が使用される場合（基線に対する非基線ストロークラベリングなど）、各々のシンボルＳＢと関連して、更なるコストが分類特徴に追加されることがある。

上記言及されたシンボル位置的（または、空間的）特徴は、基線２０に対する関連するシンボルＳＢの位置（例えば、基線からの高さ距離、基線の最初からの距離…）に関連する情報を含む。例えば、本実施例では（図５～６）、表現「Ｒ^２」内のシンボル「２」は、それが基線２０からの閾値距離を上回ることを理由に、上付き文字として特徴付けられてもよく、認識されてもよい。基線２０は、例えば、手書き線における全てのストロークＳＫを分析することによって、いずれかの適切な方式によって計算されてもよい。手書き線の特定の領域内、すなわち、関心のストロークまたはシンボルに近接した一部のストロークＳＫのみを分析することによって、局所的基線も計算されてもよい。この局所的基線は、線内の、特に、多数のストロークを有する線内の下付き文字及び上付き文字のような逸脱をより良好に検出する、局所的変動の捕捉を促進することができる。関心の特定の領域内の全てのストロークの重心の平均である線を計算することによって、基線２０または局所的基線を計算するためのアルゴリズムを使用することが可能である。

上記言及されたシンボル記述特徴は、所与のシンボルＳＫに包含されたストロークＳＫごとの記述的特徴を含む。そのような情報は、例えば、関連するシンボルＳＫ及びその周囲のバイナリビットマップまたはポイントカウントビットマップを含んでもよい。シンボル記述特徴はまた、シンボルのデジタルインクからコンピューティングデバイスＤＶ１によって計算された手細工の特徴、例えば、ストロークまたはストロークの一部の最小、最大、及び中間を含んでもよい。

更に、前に示されたように、コンテキスト情報ＩＦ１ｂは、複数のストロークＳＫの少なくとも１つのそれぞれの順序付けに従って、先述のシンボルＳＢを形成する１つ以上のストロークＳＫと空間的に関連する、少なくとも１つの他の（または、隣接）ストロークＳＫを特徴付ける。コンテキスト情報ＩＦ１ｂは、１つ以上の他の隣接シンボルＳＫとの関心のシンボルＳＫの相対的特徴を特徴付けるシンボルコンテキスト特徴を含んでもよい。

ストロークＳＫの様々な順序付けは、コンテキスト情報ＩＦ１ｂを生成するために使用されてもよい。例えば、コンピューティングデバイスＤＶ１は、シンボルＳＫごとのコンテキスト情報ＩＦ１ｂを定義するように、以下の順序付け：シンボル分類デフォルト順序（すなわち、どのシンボルＳＢが第１の認識モジュールＭＤ２によってＳ４において認識されるかに従ったシンボル出力順序）、取得された手書きＩＮとの各々のシンボルＳＢの相対的位置を表す空間的順序（例えば、基線２０に沿ったＸ位置）、並びに各々のシンボルＳＢが入力された（例えば、シンボルをインデックス付け及びソートするための各々のシンボルＳＫの直近のストロークＳＫを使用して）相対的時間または相対的順序を表す時間的順序、のいずれかの１つを選択してもよい。いずれかの選択された順序付けについて、上記言及されたシンボルコンテキスト特徴は、少なくとも１つの他の隣接する特徴に関して、シンボルＳＢごとに計算されてもよい（例えば、関心のシンボルの直前のストローク及び直後のストロークを考えて）。

前に示されたように、本ケースでは、ストロークＳＫは、ストロークＳＫが相互に対して手書きされた時間的順序を示す時間的情報と共に、オンライン手書きとしてＳ２（図３）において前に取得されることが想定される。したがって、上記言及されたコンテキスト情報は、Ｓ４において認識されたシンボルＳＢごとに、複数のストロークＳＫの少なくとも時間的順序に従って、先述のシンボルＳＢを形成する１つ以上のストロークＳＫと空間的に関連する、少なくとも１つの隣接ストロークＳＫを特徴付けることができる。

シンボルコンテキスト特徴は、例えば、以下：
－関心のシンボルと少なくとも１つの隣接するシンボルとの間の共有されたストロークを表す共有ストローク情報と、
－少なくとも１つの隣接するシンボルに対する関心のシンボルの相対的変位（例えば、基線２０の方向Ｘに沿った、及び／またはＸに垂直な方向Ｙに沿った）を表す変位情報と、
－少なくとも１つの隣接するシンボルに対する関心のシンボルの重なり（例えば、基線２０の方向Ｘに沿った、及び／またはＸに垂直な方向Ｙに沿った）を表す重なり情報と、
－関心のシンボル及び少なくとも１つの隣接するシンボルのそれぞれの質量中心の間の距離を表す距離情報と、
のうちのいずれかの１つ（または、全て）を含んでもよい。

シンボルコンテキスト特徴は、草書体テキスト、シンボルの間の空間、下付き文字及び上付き文字のような空間的関係、数学シンボルの間の分数など、様々なタイプのシンボル及び手書きスタイルを捕捉することができる。

上記から理解することができるように、対応するストロークＳＫに基づいて各々の識別されたシンボルＳＢからステップＳ６（図３）において抽出されたインク関連情報ＩＦ１は、各々のケースに応じた様々な性質のものであってもよい。よって、シンボル情報ＩＦ１ａ及びコンテキスト情報ＩＦ１ｂは、実施例として提供されるにすぎず、他の実施態様が可能である。

分類処理Ｓ１０（図３及び７）では、以下で更に説明されるように、コンピューティングデバイスＤＶ１は次いで、Ｓ６において計算されたインク関連情報ＩＦ１に基づいて、及び各々の取得されたシンボルＳＢに帰属する埋め込み情報ＩＦ２に基づいて、テキストシンボル候補または数学シンボル候補のいずれかとしてＳ４において識別された各々のシンボルＳＢを分類する。分類処理Ｓ１０は、それぞれ３つの異なるレベルにおいて分類を実行する、すなわち、シンボル表現レベルにおいて第１の分類Ｓ１２、構文レベルにおいて第２の分類Ｓ１４、及びセマンティックレベルにおいて第３の分類Ｓ１８を実行するために、３つの異なるエクスパートモジュール、すなわち、処理モジュールＭＤ４、Ｍ６、及びＭＤ８を採用する。

より具体的に、第１の分類Ｓ１２では、コンピューティングデバイスＤＶ１は、シンボルＳＢに対して予め定義されたシンボル認識ルールＲＬ１を個々に適用することによって、少なくとも第１の閾値ＴＨ１に到達する信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして識別されたシンボルＳＢから、少なくとも１つの第１のシンボル、上記ＳＢ１を分類する。

第１の分類Ｓ１２は、各々の関心のシンボルＳＢのコンテキストの分析を必要としないシンボルレベル分析に基づいている。したがって、Ｓ６において計算されたシンボルコンテキスト情報は、第１の分類Ｓ１２において使用されない。シンボルＳＢは、それらの固有の特質に基づいて、例えば、Ｓ６において取得されたシンボル情報ＩＦ１ａに基づいて分類される。特定の実施例では、Ｓ６において取得されたインク関連情報ＩＦは、第１の分類Ｓ１２において使用されない。

実質上、コンピューティングデバイスＤＶ１は、ステップＳ１２において、相対的に良好な程度の信頼度を有するテキストシンボル候補または数学シンボル候補のいずれかとして分類することができる各々のシンボルＳＢを探索する。

前に示されたように、Ｓ４において識別された各々のシンボルＳＢは、データセットＳＴの予め定義されたシンボルＰＳＢ（図６）の１つとして認識される。よって、識別されたシンボルＳＢの各々は、数学としてほとんど使用される可能性が高い純粋な数学シンボルＳＢ、テキストとしてほとんど使用される可能性が高い純粋なテキストシンボルＳＢ、またはコンテキストに応じて数学もしくはテキストのいずれかとして使用することができる曖昧な混合数学／テキストシンボルであってもよい。第１の分類Ｓ１２は、識別されたシンボルＳＢの中で、純粋なテキストシンボルまたは純粋な数学シンボルになる各々のシンボルを、すなわち、それがテキストであり、またはそれが数学である、第１の閾値ＴＨ１以上の尤度を有する各々のシンボルを識別することを可能にする。純粋な数学シンボルはなお、何らかの非常に特有の状況においてテキストとして使用されることになる、非常に低い、ゼロでない尤度を有することができ、純粋なテキストシンボルに対しては、逆もまたそうであることに留意されるべきである。したがって、第１の閾値ＴＨ１は、いずれかの適切な確率値、例えば、９０％～１００％、例えば、約９５％において予め定義されてもよい。

よって、第１の分類Ｓ１２は、メモリ８に予め記憶された予め定義されたシンボル認識ルールＲＬ１を適用することによって、第１の結果ＲＳ１として、相対的に良好な信頼スコアを有する第１のシンボルＳＢ１と称される、１つ以上のシンボルの初期のテキスト／数学ラベリング（または、分類）を生み出す。この第１の結果ＲＳ１では、よって、それらの第１のシンボルＳＢ１の各々は、相対的に高い、すなわち、少なくとも予め定義された第１の閾値ＴＨ１到達するそれぞれの信頼スコアを有する数学シンボル候補またはテキストシンボル候補のいずれかとして分類される。以下で更に説明されるように、それらの初期の分類及びそれぞれの信頼スコアは、分類処理Ｓ１０において後に更新されてもよい。

本実施例では、予め定義されたシンボル認識ルールＲＬ１は、予め定義されたシンボルＰＳＢのセットの各々の１つに、先述の予め定義されたシンボルがテキストまたは数学のいずれかであるそれぞれの信頼スコアを含む埋め込み情報ＩＦ２を帰属させる（または、割り振る）。言い換えると、埋め込み情報ＩＦ２は、データセットＳＴの予め定義されたシンボルＰＳＢごとに、関連する信頼スコアに沿ったテキストまたは数学のいずれかとして分類を含む埋め込み情報ＩＦ２を定義する。それらの埋め込み情報ＩＦ２は、回帰型ニューラルネットワークを使用して予め学習されてもよい。データセットＳＴの各々の予め定義されたシンボルＰＳＢの信頼スコアは、テキスト表現または数学的表現における発生のシンボルの自身の頻度に基づいて、及びシンボルの固有の特質に基づいて予め計算されてもよい。訓練処理の間、テキスト／数学分類及び関連する信頼スコアは、例えば、ニューラルネットワークの逆伝播された勾配に基づいて、手書きインクサンプルにより反復的に更新されてもよい。

予め定義されたシンボル認識ルールＲＬ１は、データセットＳＴの各々の予め定義されたシンボルＰＳＢに、テキストまたは数学としての分類に有用な埋め込み情報ＩＦ２における追加の情報を帰属させてもよい。それらの追加の補完情報は、数学シンボル及びテキストシンボルに対するいずれかの適切な区別できる言語情報を含んでもよい。

同一の埋め込み情報ＩＦ２、または少なくとも同一のテキスト／数学分類及び同一の関連する信頼スコアを共有する同一のシンボルグループの一部として、同様の予め定義されたシンボルＰＳＢが定義されてもよい。例えば、同様の性質のものであるシンボル「（」、「［」、及び「｛」は、同一の埋め込み情報ＩＦ２を共有してもよい。埋め込み情報ＩＦ２のサイズは、ニューラルネットワークの性能を最大化し、計算時間及びリソースを最小化するように、各々のケースに応じて調節されてもよい。

よって、本実施例では、第１の分類Ｓ１２（図３）の間、コンピューティングデバイスＤＶ１は、Ｓ４において識別されたシンボルＳＢごとに、シンボル認識ルールＲＬ１によって先述のシンボルに帰属した埋め込み情報ＩＦ２を決定してもよく、それらの埋め込み情報ＩＦ２は、先述の予め定義されたシンボルがテキストまたは数学のいずれかであるそれぞれの信頼スコアを含む。コンピューティングデバイスＤＶ１は次いで、第１の閾値ＴＨ１を達成した（以上の）信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして少なくとも１つの第１のシンボルＳＢ１を識別するように、埋め込み情報ＩＦ２において定義されるような各々の識別されたシンボルＳＢのそれぞれの信頼スコアを第１の閾値ＴＨ１と比較してもよい。

特定の実施例では、インク関連情報ＩＦ１及び埋め込み情報ＩＦ２は、それぞれの第１の分類、第２の分類、及び第３の分類Ｓ１２～Ｓ１８を実行するために、情報セットまたは情報ベクトルとして処理モジュールＭＤ４、ＭＤ６、及びＭＤ８に共にフィードされる。

第１の分類Ｓ１２が、数学のみにおいて（もしくは、ほとんど数学において）発生し、またはテキストのみにおいて（もしくは、ほとんどテキストにおいて）発生するシンボルＳＢを識別することを可能にするので、良好な信頼度による部分的テキスト／数学ラベリングを達成することができる。ほとんどのケースでは、一部のシンボルＳＢは、混合数学／テキストシンボルであり、よって、この段階においてはそれぞれの信頼スコアによるテキスト／数学分類が割り振られない。

図７に示される実施例では、第１の分類Ｓ１２の間、シンボル「∈」及び「Ｒ」は、それらのシンボルに対して予め定義されたシンボル認識ルールＲＬ１を個々に適用することによって、少なくとも第１の閾値ＴＨ１に到達するそれぞれの信頼スコアを有する数学シンボル候補として分類される。よって、それらのシンボル「∈」及び「Ｒ」は、本発明の意味により第１のシンボルＳＢ１を構成する。それらのシンボル「∈」及び「Ｒ」は、ほとんどの場合、数学的意味において使用される公知の数学シンボルであり、よって、数学シンボル候補になる相対的に高い信頼スコアを有する

図８は、第１の分類Ｓ１２の間に第１のシンボルＳＢ１として分類することができる純粋な数学シンボルの他の実施例を表す。

純粋なテキストシンボルとして考えられるシンボルは、数学では通常使用されない、例えば、通貨シンボル（「＄」、「

」など）、中点、空間（単語の間の）、引用符""、セミコロン「；」のようなテキスト句読点などを含んでもよい。

変形例では、第１の分類Ｓ１２（図３）の間、Ｓ４において識別された各々のシンボルＳＢは、予め定義されたシンボル認識ルールＲＬ１を個々に適用することによって、それぞれの信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして分類される。言い換えると、時間的信頼スコアを有する時間的テキスト／数学分類は、曖昧な混合テキスト／数学シンボルを含む各々のシンボルＳＢに帰属してもよく、次の分類処理Ｓ１０の間に後に更新されてもよい。よって、曖昧な混合テキスト／数学シンボルは、純粋なテキスト及び純粋な数学シンボルと比較して、この段階においてより弱いテキスト／数学分類信頼スコアが割り振られる。したがって、第１の分類Ｓ１２によって生み出された第１の結果ＲＳ１は、少なくとも第１の閾値ＴＨ１に到達するそれぞれの信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして識別された少なくとも１つの第１のシンボルＳＢ１に加えて、他のシンボルＳＢごとにそれぞれの信頼スコアを有する時間的テキスト／数学分類を含んでもよい。

この変形例では、よって、Ｓ４において識別された各々のシンボルＳＢは、予め定義されたシンボル認識ルールＲＬ１に基づいて、先述のシンボルがテキストまたは数学のいずれかであるそれぞれの信頼スコアを含む埋め込み情報ＩＦ２に帰属する。

次いで、関連する信頼スコアを有する識別されたシンボルＳＢの各々についてのテキストシンボルまたは数学シンボルのいずれかとしての適切な分類を決定するように、第１の分類の結果ＲＳ１に基づいて、分類処理Ｓ１０の一部として反復処理Ｓ１４（図３）が実行される。初期のテキスト／数学分類またはＳ１２において取得されたラベリングはここで、構文分析及びセマンティック分析に基づいて、手書きＩＮ内のテキスト／数学分類を拡張する（または、改善する）ために使用される。

より具体的に、第２の分類Ｓ１６及び第３の分類Ｓ１８は、異なる方式にあるが、関心の各々のシンボルＳＢのコンテキストを考慮に入れた分析に基づいている。したがって、Ｓ６において計算されたシンボルコンテキスト情報ＩＦ１ｂは、第２の分類Ｓ１６及び第３の分類Ｓ１８において入力として使用される。

この反復処理Ｓ１４は、以下で更に説明されるように、その各々が１回のみ実行することができ、または適切な回数で繰り返すことができる、第２の分類Ｓ１６及び第３の分類Ｓ１８を含む。

図３に示されるように、Ｓ１２において識別された各々の第１のシンボルＳＢ１の少なくとも初期のテキスト／数学分類、及びそれらのそれぞれの信頼スコアを含む結果ＲＳ１は、第２の分類Ｓ１６を実行するように、構文処理モジュールＭＤ６にフィードされる。

第２の分類Ｓ１６では、コンピューティングデバイスＤＶ１は、先述の少なくとも１つの第１のシンボルＳＢ１及び少なくとも１つの第２のシンボルＳＢ２に対して、先述の少なくとも１つの第１のシンボルＳＢ１及び先述の少なくとも１つの第２のシンボルＳＢ２の間の空間的関係を定義する、あらかじめ定義された空間的構文ルールＲＬ２を適用することによって、識別されたシンボルＳＢの中から、先述の少なくとも１つの第１のシンボルＳＢ１の他に、少なくとも１つのＳＢ２と記される第２のシンボルを、それぞれの信頼スコアを有するテキストシンボル候補または数学シンボル候補として分類する。

実質上、コンピューティングデバイスＤＶ１は、予め定義された空間的構文ルールＲＬ２に基づいて、それらが共に共有している構文接続の結果として、Ｓ１２において識別された第１のシンボルＳＢ１のうちの１つ以上との予め定められた空間的関係を有するシンボルＳＢ２を探索する（Ｓ１６）。この構文分析に基づいて、先述の第１のシンボルＳＢ１以外の１つ以上のいわゆる第２のシンボルは、テキストシンボル候補または数学シンボル候補のいずれかとして分類されてもよい。

空間的構文ルールＲＬ２は、構文接続に従って、数学シンボル及び／またはテキストシンボルと少なくとも１つの他のシンボルとの間の空間的関係を定義する。より具体的に、各々の空間的構文ルールＲＬ２は、以下で更に実施例において説明されるように、予め定義された数学シンボルまたはテキストシンボルと少なくとも１つの他のシンボルとの間の空間的関係を定義することができる。

第２の分類Ｓ１６の間、よって、空間的構文ルールＲＬ２は、数学シンボル候補またはテキストシンボル候補のいずれかとして、１つ以上の第１のシンボルとの予め定義された空間的関係を有する少なくとも１つの他の第２のシンボルＳＢ２を識別するように、各々の第１のシンボルＳＢ１に対して適用される。より具体的に、空間的構文ルールＲＬ２は、第１の分類Ｓ１２において第１のシンボルＳＢ１に割り当てられた時間的信頼スコアを考慮に入れて、必要な場合にそれらを更新する、全てのシンボルＳＢに対して適用されてもよい。

空間的構文ルールＲＬ２は、目前のルールのタイプに応じて単一の第１のシンボルＳＢ１または第１のシンボルＳＢ１のグループに適用されてもよい。よって、空間的に関連するシンボルのグループを集合的に識別及び分類することができる。

よって、この第２の分類Ｓ１６は、それらがそれと構文接続を共有する他のシンボルＳＢ２を識別及び分類するように相対的に良好な程度の信頼度により識別された第１のシンボルＳＢ１に主に焦点を当てることによって、Ｓ１２において取得された部分的（または、少なくとも部分的）テキスト／数学分類を拡張または統合することを可能にする。よって、効率的且つ信頼できる方式において、より曖昧なシンボル（純粋なテキストシンボル及び数学シンボル以外の）のテキスト／数学ラベリングを達成することができる。

空間的構文ルールＲＬ２は、
少なくとも２つの数学シンボルの間の空間的関係を定義した数学空間的構文ルールＲＬ２ａと、
少なくとも２つのテキストシンボルの間の空間的関係を定義したテキスト空間的構文ルールＲＬ２ｂと、
のうちの少なくとも１つを含んでもよい。

本ケースでは、空間的構文ルールＲＬ２は、数学空間的構文ルール及びテキスト空間的構文ルールを含むことが想定されよう。

数学シンボルのケースでは、様々な空間的関係が考えられてもよい。空間的構文ルールＲＬ２は、例えば、基本シンボルと下付き文字との間（例えば、基本シンボルの右下にある）との間、基本シンボルと上付き文字との間（例えば、基本シンボルの右上にある）、分数罫の上及び下にある分子／分母部分を有する分数、集合を表すペア内で発生する括弧などを定義することができる。

特定の実施例では、空間的構文ルールＲＬ２ａは、以下：
－分子成分及び分母成分を分離する分数罫を含む分数と、
－１つ以上の基本シンボルの左上及び左下にそれぞれ位置付けられた１つ以上のシンボルと関連付けられた上付き文字及び下付き文字と、
－１つ以上の基本シンボルの上及び下にそれぞれ位置付けられた１つ以上のシンボルと関連付けられたオーバスクリプト及びアンダスクリプトと、
－表形式に配列されたシンボルの複数の行及び列と関連付けられた行列（行列は、各々のケースに応じて、シンボルをグループ化する中括弧を有してもよく、または中括弧を有さなくてもよい）と、
のような空間的関係を定義する。

更なる構文処理モジュール（構文エクスパート）ＭＤ６を強化し、シンボルの間の更なる空間的関係に適合するよう、例えば、Ｌａｔｅｘ数学スクリプティングからそれらを繰り下げることによって、前下付き文字、前上付き文字のような更なる数学空間的構文ルールＲＬ２ａ、平方根シンボルのような周囲ルールなどが考えられてもよい。

テキストのケースでは、空間的構文ルールＲＬ２は、例えば、句読点、中点、参照符号などに基づいてテキストシンボルの間の空間的関係を定義することができるが、他の実施例が可能である。

第２の分類Ｓ１６を実行するために、構文処理モジュール（構文エクスパート）ＭＤ６は、Ｓ１２においてシンボル処理モジュールＭＤ４によって数学として分類された各々の第１のシンボルＳＢ１を識別し、それらのシンボルが数学空間的構文ルールＲＬ２ａを満たす場合、数学としても、少なくとも１つの他の隣接（または、空間的に関連する）シンボルＳＢ２を数学としてラベリングする。同様に、構文処理モジュール（構文エクスパート）ＭＤ６は、Ｓ１２においてシンボル処理モジュールＭＤ４によってテキストとして分類された各々の第１のシンボルＳＢ１を識別し、それらのシンボルがテキスト空間的構文ルールＲＬ２ｂを満たす場合、テキストとしても、少なくとも１つの他の隣接（または、空間的に関連する）シンボルＳＢ２をテキストとしてラベリングする。

言い換えると、第２の分類Ｓ１６は、
－それぞれの数学シンボル候補として、第１の分類Ｓ１２において数学シンボル候補として識別された少なくとも１つの第１のシンボルＳＢ１との予め定義された空間的関係を有する少なくとも１つの他の第２のシンボルＳＢ２を識別するために、数学空間的構文ルールＲＬ２ａを適用することと、
－それぞれの数学シンボル候補として、第１の分類において数学シンボル候補として識別された少なくとも１つの第１のシンボルＳＢ１との予め定義された空間的関係を有する少なくとも１つの他の第２のシンボルＳＢ２を識別するために、テキスト空間的構文ルールＲＬ２ｂを適用することと、
のうちの少なくとも１つを含む。

第２の分類Ｓ１６では、構文処理モジュール（構文エクスパート）ＭＤ６は実際に、全てのシンボルＳＢを検査し、予め定義された（数学またはテキスト）空間的構文ルールＲＬ２の１つを満たす２つ以上のシンボルの各々のセットを識別し、それに従って、それらのシンボルをラベリングする。

本実施例における図９に示されるように、第１の分類Ｓ１２の間、第１の分類Ｓ１２において数学シンボル候補として前に分類された第１のシンボル「∈」及び「Ｒ」に空間的構文ルールＲＬ２が適用される。空間的構文ルールＲＬ１において指定されるように、シンボル「∈」の前及び後に（それに属する）数学シンボルが通常は存在し、シンボル「Ｒ」に関連付けられた数学上付き文字が通常は存在する（実数のセット）。よって、コンピューティングデバイスＤＶ１は、Ｓ１６において、数学シンボル候補として、シンボル「∈」に先行する閉括弧「）」及びシンボル「Ｒ」の右上にある上付き文字「２」を分類する。特に、シンボル「２」は、数学シンボルに対する上付き文字として現れる。故に、それは、上付き文字ルールＲＬ１のおかげで数学としてラベリングされる。この閉括弧「）」に対して予め定義された空間的構文ルールＲＬ２を適用することによって、閉括弧「）」の前に空間的に関連する開括弧「（」も、Ｓ１６において一致するシンボル候補として分類される。閉括弧「）」が独立して正常に「（」でないことがあるので、適用可能な構文ルールＲＬ２は、閉括弧「）」に空間的に関連するとして開括弧「（」を定義する。

同様に、別の空間的構文ルールＲＬ２を適用することによって、コンピューティングデバイスＤＶ１は、Ｓ１６において、数学シンボル候補として、それらの括弧内の各々の分数の分子、分母、及び分数罫を分類する。それぞれの信頼スコアが計算され、Ｓ１６において分類された各々の第２のシンボルＳＢ２に割り当てられる。

図１０は、別の例示的な実施例として、構文処理モジュールＭＤ６が、構文接続と空間的に関連するシンボル、つまり、数学基本シンボルの数学上付き文字を識別するケースを示す。それは、数学としてその上付き文字に沿って全てのシンボルを一貫してタグ付けすることができるが、個々に検査される場合、それらのシンボルは、必ずしも数学シンボルでない（純粋な数学シンボルではない）。

よって、図３に表されるように、第２の分類Ｓ１２は、予め定義された空間的構文ルールＲＬ２を適用することによって、それらのそれぞれの信頼スコアを有する、第１のシンボルＳＢ１及び第２のシンボルＳＢ２の拡張したテキスト／数学ラベリング（分類）を含む第２の結果ＲＳ２を生み出す。この第２の結果ＲＳ２では、Ｓ１２において取得された各々の第１のシンボルＳＢ１のテキスト／数学分類及び関連する信頼スコアが維持される。よって、テキスト／数学ラベリング及び信頼スコアは、Ｓ１６において識別された各々の第２のシンボルＳＢ２に割り当てられてもよい。

特定の実施例では、Ｓ１２において分類された１つ以上の第１のシンボルＳＢ１以外の各々のシンボルＳＢは、第２のシンボルＳＢ２として扱われ、よって、テキストシンボル候補または数学シンボル候補のいずれかとして分類され、空間的構文ルールＲＬ２に基づいてそれぞれの信頼スコアが割り当てられる。他の実施例では、１つ以上のシンボルは、この段階においては分類されないままであり、次の第３の分類Ｓ１８の間または反復処理Ｓ１４の別の反復の間（ある場合）に後に分類される。言い換えると、第２の分類Ｓ１６は、なおも部分的ではあるが、手書きＩＮの拡張したテキスト／数学ラベリングであってもよく、または手書きＩＮの時間的に完全なテキスト／数学ラベリングであってもよい。

第１の分類Ｓ１２において時間的テキスト／数学ラベリング及び信頼スコアが既に割り当てられた第２のシンボルＳＢ２ごとに（ある場合）、それは、第２の分類Ｓ１６の間に更新または確認されてもよい。

構文処理モジュールＭＤ６は次いで、第３の分類Ｓ１８を実行するように、セマンティック処理モジュールＭＤ８に第２の結果ＲＳ２をフィードする。

第３の分類Ｓ１８（図３）の間、構文処理モジュールＭＤ８は、Ｓ４において識別されたシンボルＳＢからの少なくとも２つのシンボルＳＢの間のセマンティック接続（または、セマンティック関係、もしくはセマンティック関連付け）を確立することによって、第２の分類Ｓ１６の受信された結果ＲＳ２を更新または確認し、次いで、それらのセマンティック接続を第２の分類Ｓ１６の結果ＲＳ２と比較する。

実質上、構文処理モジュールＭＤ８は、数学コンテンツ及び／またはテキストコンテンツを発見するように、シンボルの間の意味的に有意な接続（または、意味的に有意な関係）に基づいて全てのシンボルＳＢのより深い分析を実行するために、予め定義されたセマンティックルールＲＬ３を適用する。言い換えると、第３の分類Ｓ１８の間、コンピューティングデバイスＤＶ１は、シンボルＳＢの間のセマンティック関係を確立するように、シンボルＳＢの意味に基づいて、セマンティックレベルにおいてシンボルを分析する。それらのセマンティック接続は、より人間レベルの、現実的且つインテリジェントな数学対テキストの区別を生み出すために使用されてもよい。識別されたセマンティック接続（または、セマンティック関係）は、各々のケースに応じて、線、段落、または全手書きコンテンツＩＮでさえもわたって延在することができる。

セマンティック接続（または、セマンティック関係）は、いずれかの特定のタイプの順序（空間的、時間的、またはいずれかの複合的順序付け）において連続または非近接であることができる、２つの（または、それよりも多くの）シンボルＳＢの間のセマンティックレベルにおける関係を定義することができる。セマンティック接続は、シンボル、単語、フレーズ、センテンス、またはより大きな文書単位のレベルにおいて確立されてもよい。例えば、２つの所与のシンボルＳＢは、それらが所与の言語に従って同一の起点または概念的ルートを有する場合、文書内の実際に意味に基づいて意味的に接続されるとして考えられてもよい。例えば、図１２Ａ（以下で更に議論される）では、第１の隔離した「ｎ」（シンボルＳＢ３）は、フレーズの終わりにある最後の数学的表現内の「ｎ」と同一のシンボルであり、故に、それらのシンボル「ｎ」は、同一のアイデンティティの概念によって意味的に接続され、または関連する。

セマンティック接続は、手書き線または一節内で長い範囲の従属性を遂行することによって識別されてもよい。従属性は、インク関連情報ＩＦ１として、Ｓ６において前に計算された全ての関連のある特徴の類似性、隣接性、補完性などの特質に対してマーク付けされる。

よって、この第３の分類Ｓ１８は、場合によっては比較的長い範囲の関係（手書き線、段落内の長い範囲の従属性…）を介して、意味的に関連する数学シンボルまたはテキストシンボルを発見することを可能にする。よって、フレーズ構造の正確な分析を達成することができる。

予め定義されたセマンティックルールＲＬ３は、第２の分類Ｓ１６においてシンボルＳＢに割り当てられた時間的信頼スコアを考慮に入れて、Ｓ４において識別された全てのシンボルＳＢまたはその下位部分に適用されてもよい。

図１１に示される実施例では、構文処理モジュールＭＤ８は、単語「ｌｅｔ」を識別し、それは、数学シンボル候補として少なくとも１つのシンボルＳＢ３の後続のグループを分類することにつながる。本ケースでは、第１の単語「ｌｅｔ」に続くシンボル「ｐ」及び第２の単語「ｌｅｔ」に続く用語「Ｌ（ｃ）」は、適用可能セマンティックルールＲＬ３に基づいて数学として分類される。

図１２Ａは、それらのシンボル「ｎ」が個々に外見が非常に類似して見えるときでさえ、セマンティック処理モジュールＭＤ８が数学シンボルとしてシンボル「ｎ」を認識すると共に、テキストとして単語「ｎａｔｕｒｅｌ」からのシンボル「ｎ」をラベリングすることが可能である別の実施例を示す。

図１２Ｂに表される他の別の実施例では、セマンティック処理モジュールＭＤ８は、「Ｅ」が数学ブロックにおいて定義された変数であると認識することが可能であり、故に、数学として手書きＩＮにおける全てのそのインスタンスをラベリングすることが可能である。図１２Ｃに示されるように、新たなシンボル「Ｅ」を追加するように更なるストロークＳＫを修正するときでさえ、セマンティック処理モジュールＭＤ８はなおも、数学としてこの新たなシンボルを認識することができ、表現「ｅｓｔ」及び「ｅｎｓｅｍｂｌｅ」内の修正された「Ｅ」により混乱することを回避することができ、それによって、真の数学シンボルのラベルを改善するためのみセマンティック関係が使用されていることを確認する。

図１３は、セマンティック処理モジュールＭＤ８が、セマンティック関係に基づいて、シンボル「ｙ」が手書き線内の数学シンボルであると捕捉する更なる別の実施例を示す。

Ｓ１８におけるセマンティック分析は、それがこの段階においてはまだ完了しないケースでは、テキスト／数学ラベリングを更に拡張することさえ可能にする。加えて、受信された第２の結果ＲＳ２において数学またはテキストとして既にラベリングされたシンボルに対して、ラベリングが更新されてもよく、よって、改善されてもよい。各々の分類されたシンボルに割り当てられた信頼スコアは、取得された分類における信頼度の程度を表すように更新される。第２の結果ＲＳ２においてテキストとして前にラベリングされたシンボルＳＢは、例えば、シンボルＳＢの間で検出されたセマンティック接続に基づいて、更新された信頼スコアにより数学として再分類されてもよい。

シンボルのテキスト／数学分類及び関連する信頼スコアは、第３の結果ＲＳ３（図３）としてセマンティック処理モジュールＭＤ８によって生み出される。

いくつかのケースでは、セマンティック処理モジュールＭＤ８は、予め定義されたセマンティックルールＲＬ３に基づいて、第２の分類Ｓ１６において取得された第２の結果ＲＳ２が正確であると決定してもよい。他のケースでは、第２の結果ＲＳ２は、少なくとも１つのシンボルＳＢのテキスト／数学ラベルを修正することによって、及び／または分類されたシンボルに関連付けられた少なくとも１つの信頼スコアを更新することによって更新されてもよい。

第２の分類Ｓ１６の結果ＲＳ２がセマンティック接続に基づいて第３の分類Ｓ１８の間に確認される場合、第３の分類Ｓ１８において生み出される結果ＲＳ３は、第２の分類Ｓ１６の結果ＲＳ２と同一である。確認された結果ＲＳ３（最終結果ＲＳ３とも称される）に基づいて、よって、コンピューティングデバイス１００は、テキストシンボルまたは数学シンボルのいずれかとして各々のシンボルＳＢを認識する（Ｓ２０）。

よって、最終結果ＲＳ３は、以下で説明されるように任意選択の認識事後処理ステップＳ２４（図３）を実行するように、事後処理モジュールＭＤ１２にフィードされてもよい（Ｓ２０）。

しかしながら、第２の分類Ｓ１６の結果ＲＳ２がセマンティック接続に基づいて第３の分類Ｓ１８の間に更新される場合、第３の分類Ｓ１８において生み出された結果ＲＳ３は、それぞれの更新された信頼スコアに沿った第２の分類ＲＳ２に対するテキスト候補及びシンボル候補としてのシンボルの修正された分類を含む。

特定の実施例では、少なくとも１つのシンボル候補は、テキストに／から、数学に／から変化し、それに従って、それぞれの信頼スコアがＳ１８において適合される。

本実施例では、反復処理Ｓ１４は、第２の結果ＲＳ２が第３の分類Ｓ１８の間に更新された場合、少なくとも１回（または、複数回）繰り返す。言い換えると、第２の結果ＲＳ２が第３の分類Ｓ１８において更新されること（または、少なくともシンボルがテキストから数学に再分類されたこと、もしくはその逆）を検出すると（Ｓ２０、図３）、方法は、結果ＲＳ３を確認または更新するかのいずれかのために、第３の分類Ｓ１８の結果ＲＳ３に基づいて、第２の分類Ｓ１６を再度遂行することを続ける（Ｓ２０）。

構文処理モジュールＭＤ６が結果ＲＳ３を確認する場合、よって、数学とテキストシンボルＳＢとの間で区別する最終結果ＲＳ３が取得され、任意選択の事後処理ステップＳ２４（以下で説明される）を実行するように、事後処理モジュールＭＤ１２に後にフィードされてもよい（Ｓ２０）。しかしながら、セマンティック処理モジュールＭＤ８による一部のシンボルＳＢの再ラベリングは、構文処理モジュールＭＤ６に、他のシンボルを再ラベリングさせることができる。したがって、結果ＲＳ３が新たな構文分析に基づいて構文処理モジュールＭＤ６によって更新される場合、この更新された結果ＲＳ２に基づいて第３の分類Ｓ１８を再度実行するために、新たな第２の結果ＲＳ２がセマンティック処理モジュールＭＤ８にフィードされる。

第２の分類Ｓ１６及び第３の分類Ｓ１８が同一の結果に収束するまで、つまり、第２の分類Ｓ１６の結果ＲＳ２が第３の分類Ｓ１８において確認され、または第３の分類Ｓ１８の結果ＲＳ３が第２の分類Ｓ１２において確認されるかのいずれかまで、反復処理Ｓ１４複数回繰り返されてもよい。

各々の第２の分類Ｓ１６及び第３の分類Ｓ１８は、前に説明されたように実行される。構文の間のそれらの前後の反復及びセマンティック処理モジュールＳ６、Ｓ８は、正確且つ信頼できる分類結果ＲＳ３に向かって共に収束することを可能にする。

処理モジュールＭＤ６及びＭＤ８が分類結果に同意すると、第３の分類Ｓ１８の最終結果ＲＳ３が取得され、それによって、コンピューティングデバイス１００が、テキストシンボルまたは数学シンボルのいずれかとして各々のシンボルＳＢを認識することが可能になる。前に示されたように、この最終結果ＲＳ３は、任意選択の事後処理ステップＳ２４を実行するように、事後処理モジュールＭＤ１２に後にフィードされてもよい。

特定の実施例では、第２の分類Ｓ１６及び第３の分類Ｓ１８が同一の結果に収束する前に、分類処理Ｓ１４の反復の予め定義された回数Ｎに到達する場合、第３の分類Ｓ１８において取得された最近の更新された結果ＲＳ３は、最終結果ＲＳ３を構成し、事後処理ステップＳ２４を続けるように、事後処理モジュールＭＤ１２に送信されてもよい（Ｓ２０）（Ｎは少なくとも２の整数）。セマンティック分析が最も正確な結果を生み出すように構文分析よりも優先度が与えられるべきであることが観察されている。

Ｓ２０において取得された最終認識結果ＲＳ３に基づいて、コンピューティングデバイスＤＶ１は次いで、事後処理ステップＳ２４を実行してもよい。

事後処理ステップＳ２４の間の処理は、様々な性質のものであってもよい。本実施例では、事後処理ステップＳ２４は、以下で更に説明されるステップＳ２６、Ｓ２８、及びＳ３０を含む。

より具体的に、図１４に表されるグループ化ステップＳ２６の間、コンピューティングデバイスＤＶ１は、Ｓ２０において取得された最終結果ＲＳ３に基づいて、全てのストロークＳＫを１つ以上のストロークＳＫのブロック３０にグループ化し、各々のブロック３０は、数学ブロック３０ａまたはテキストブロック３０ｂのいずれかである。テキストブロック３０ｂに包含された各々のストロークＳＫは、テキストシンボルＳＢの一部であり、数学ブロック３０ａに包含された各々のストロークＳＫは、数学シンボルＳＢの一部である。

よって、コンピューティングデバイスＤＶ１は、全てのシンボルＳＢに基づいて、テキストシンボルまたは数学シンボルのいずれかの一部として各々のストロークＳＫをラベリングするブロック３０の文字列を決定する。

ブロック３０に包含された各々のストロークＳＫは、ブロック３０の全体に割り当てられたカテゴリである、同一のカテゴリ（テキストまたは数学）に属する。具体的には、数学とテキストとの間で同一のタイプに割り当てられた連続するストロークＳＫの各々のシーケンスは、同一のブロック３０にグループ化されてもよい（Ｓ２６）。

特定の実施例では、各々のテキストブロック３０ｂは、単一の基線であると共に、各々の数学ブロックは、単一の基線または複数の基線のいずれかであってもよい。

このグループ化ステップＳ２６は、コヒーレントな単一のラベリングされたブロック、すなわち、数学ブロック及び／またはテキストブロックへのストロークを生成することを可能にする。ストロークごとに分類結果を集約するための異なる戦略が実装されてもよい。

ブロック３０は、第３の分類ＲＳ３の受信された結果ＲＳ３において定義されたような数学またはテキストとしての各々のシンボルＳＢの分類に基づいて、また、相互に対するストロークＳＫの空間的近接性に基づいて決定されてもよい。

ブロック３０の生成Ｓ２６も、後続の認識に対してより理解でき、ロバストであり、且つ有用にさせるために、ストロークレベル制約、空間的制約などの他の予め定義された制約に基づいてもよい。特定の実施例では、それらの制約は、以下：
－重なりストロークＳＫが単一のブロック３０にグループ化されること、
－ストロークＳＫが水平に間隔を空けられた数学またはテキストブロック３０にグループ化されること、
－閾値がブロックごとの最小及び／または最大ストロークＳＫに対して設定されること、など、
のうちのいずれか１つの（または、全て）を含んでもよい。

表示ステップＳ２６（図３）の間、コンピューティングデバイスＤＶ１は、各々のストロークＳＫが属するそれぞれのブロック３０を表すボックス３５に沿ってストロークＳＫを表示する（ディスプレイデバイス２またはいずれかの他の適切なディスプレイを使用して）。図１５は、数学ブロック３０ａをハイライトしたそのようなボックス３５が表示され、それによって、テキストまたは数学として手書きＩＮにおけるどの部分が認識されたかをユーザが容易に識別することを可能にする実施例を示す。

認識ステップＳ３０（図３）では、コンピューティングデバイスＤＶ１は、数学言語モデルを各々の数学ブロック３０ａに適用することによって、及びテキスト言語モデルを各々のテキストブロック３０ｂに適用することによって、ストロークＳＫにおける数学コンテンツ及びテキストコンテンツを認識する。この手書き認識は、Ｓ２６において達成されたストロークグループ化に基づいて実行される。

コンピューティングデバイスＤＶ１は、高い程度の信頼度により、どのストロークＳＫ（または、シンボル）がテキストまたは数学であるかを決定したため、適切な言語モデル及び文法により異なるシンボルのセットを識別するように特に訓練することができるそれぞれの認識器によって、より正確な手書き認識を実行することができる（３０）。よって、適切なフォーマット化及びより良好な手書き認識を達成することができる。

しかしながら、事後処理Ｓ２４の間にステップＳ２６～Ｓ３０のうちの少なくとも１つを実行することなく、実施態様の他の実施例が可能である。例えば、事後処理Ｓ２４は、Ｓ２８においてボックス３５を表示することなく実行されてもよい。

前に示されたように、モジュールＭＤ２～ＭＤ１２（図２）は各々、１つ以上のニューラルネットワークであってもよく、または１つ以上のニューラルネットワークを含んでもよい。図３に関連して上記説明された実施例では、各々のモジュールＭＤ４、ＭＤ６、及びＭＤ８は、少なくとも１つのニューラルネットワーク、例えば、長・短期記憶（ＬＳＴＭ）ニューラルネットワークによって実行される。ここで、本発明の方法を実行するために、ＬＳＴＭニューラルネットワークをどのように使用することができるかのより詳細な説明は、特定の実施形態に従った、図１６～１８を参照して以下に提供される。

ＬＳＴＭニューラルネットワーク（ＬＳＴＭネットワークまたは単に「ＬＳＴＭ」とも称される）は、１つずつ（予め定義された順序において）入力のシーケンスを分析し、入力ごとの出力を生成する回帰型ニューラルネットワークである。１９９７年にＨｏｃｈｒｅｉｔｅｒ及びＳｃｈｍｉｄｈｕｂｅｒによって導入されたＬＳＴＭは、長期従属性を学習することが可能である。ＬＳＴＭは、任意の間隔を通じて値を覚える回帰型ニューラルネットワーク（ＲＮＮ）アーキテクチャである。ＬＳＴＭネットワークは、各々が連鎖して後継に情報を渡すＬＳＴＭセルＣＬ１の連鎖（後に説明されるような）を含む。

ＬＳＴＭは、未知の持続時間の時間差を仮定して、時系列を分類、処理、及び予測するために良好に適合する。ＬＳＴＭの性質及びオペレーションは概して、当業者に対して公知である。参照を容易にするために、図１６及び１７に関して一部の詳細が以下に提供される。しかしながら、当業者は、ＬＳＴＭがどのように作用し、よって、本開示に基づいて、図３を参照して前に説明されたようなステップＳ２～２０、場合によっては、ステップＳ２～Ｓ３０さえも実行するように、ＬＳＴＭネットワークの構成に適合することが可能であることを理解するであろう。

より具体的に、図１６は、特定の実施形態に従った、双方向ＬＳＴＭネットワーク、上記ＮＴ１の全体アーキテクチャを概略的に表す。双方向ＬＳＴＭネットワークＮＴ１は、前方層５６、後方層５８、及び活性化層６０を含む。前方層５６及び後方層５８は、２つの反対の方向に従って、すなわち、順方向ＤＲ１及び逆方向ＤＲ２において、Ｓ４（図３）において認識された各々のシンボルＳＢを逐次分析するように構成される。前方層５６及び後方層５８は各々、Ｓ２（図３）において取得された手書き入力ＩＮのシンボルＳＢを分析するように構成された複数のＬＳＴＭセル（または、ＬＳＴＭモジュール）ＣＬ１（図１６～１７）を含む。各々のＬＳＴＭセルＣＬ１は、入力ｘ_ｔ、及び所与の方向（ＤＲ１またはＤＲ２）において前のシンボルＳＢの分析の結果として生成されたＬＳＴＭ隠れ状態ｈ（ｔ－１）を取得する。それらの入力ｘ_ｔ及びｈ（ｔ－１）に基づいて、各々のＬＳＴＭセルＣＬ１は、活性化層６０に提供されるセル状態Ｃを生成する。活性化層６０は、最終出力ｙ_ｔを生み出すように２つの方向ＤＲ１及びＤＲ２において所与のシンボルＳＢに対して取得されたセル状態Ｃを組み合わせる。

更に、図１７は、特定の実施形態に従ったＬＳＴＭセルＣＬ１の全体アーキテクチャを概略的に表す。各々のＬＳＴＭセルＣＬ１は、入力ｘ_ｔに基づいて現在の時間ステップにおいて出力を計算するよう、前のシンボルに対して隠れ状態ｈ（ｔ－１）及びセル状態Ｃ（ｔ－１）を順番に使用する。隠れ状態ｈ（ｔ－１）及びセル状態Ｃ（ｔ－１）の両方は、過去からの、すなわち、前のシンボルの順番での処理からの関連する情報を記憶する。各々のＬＳＴＭセルＣＬ１は、出力として、活性化層６０に送信される現在のセル状態Ｃ（ｔ）、及び次のシンボルＳＢを順番に処理するように次のＬＳＴＭセルＣＬ１に提供される現在の隠れ状態ｈ（ｔ）を生成する。

より具体的に、図１７に示されるように、各々のラインは、１つのノードの出力から他のノードの入力に全体ベクトルを搬送する。ＬＳＴＭセルＣＬ１は、ベクトル加算（「＋」）のような点ごとの演算、及び学習済みニューラルネットワーク層（例えば、関数ｔａｎｈ）を含む。ライン統合は、連結を表すと共に、同様のフォーキングは、そのコンテンツが複製され、複製が異なる位置に来ることを意味する。ＬＳＴＭセルＣＬ１の重要な態様は、ＬＳＴＭセルの最上部を貫通する水平ラインによって表されるセル状態ｈである。このセル状態ｈは、一部の線形反復が繰り返し適用される、ＬＳＴＭセルＣＬ１の連鎖の全体を通じて一貫している。各々のＬＳＴＭセルＣＬ１は、３ゲートの制御の下、前のＬＳＴＭセル（すなわち、前のセル状態ｈ（ｔ－１））から受信されたセル状態ｈから情報を取り除き、またはセル状態ｈに情報を追加する能力を有する。それらの３ゲートの各々は、シグモイドニューラルネット層（「σ」）及び点ごとの乗算演算を含む。各々のシグモイド層σは、０～１の数を出力し、各々の成分がどの程度通過されるべきかを定義する。ゼロの値は、「何も通過させない」ことを意味すると共に、１の値は、「全てを通過させる」ことを意味する。

図１７に示されるように、ＬＳＴＭセルＣＬ１は、入力ゲートＲＥ、出力ゲートＳＥ、書き込みゲートＷＲ、及び忘却ゲート５２を含む。入力として受信された隠れ状態ｈ（ｔ－１）及びセル状態Ｃ（ｔ－１）は、現在の入力ｘ_ｔに基づいて、現在の時間の間にｈ（ｔ）及びＣ（ｔ）のそれぞれに更新される。更新された隠れ状態ｈ（ｔ）及びセル状態Ｃ（ｔ）は次いで、次のシンボルＳＢの次の時間ステップ計算を実行するように、次のＬＳＴＭセルＣＬ１に入力され、それによって、シンボルシーケンスにおいて前のシンボルＳＢを考慮に入れる。

隠れ状態ｈは、次のシンボルＳＢを順番に処理するためにＬＳＴＭセルＣＬ１に関連する情報を送信するために使用されるワーキングメモリである。概して、隠れ状態ｈは、勾配消失問題及び勾配爆発問題の影響を受ける（参照のために、例えば、ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｖａｎｉｓｈｉｎｇ＿ｇｒａｄｉｅｎｔ＿ｐｒｏｂｌｅｍを参照）、よって、局所的構文情報及びセマンティック情報を記憶することのみが可能である。対照的に、セル状態Ｃは、長い範囲のまたは全体的な構文情報及びセマンティック情報を記憶し、それらの取り出しを可能にすることができる。セル状態Ｃは、ＬＳＴＭセルＣＬ１によって入力として使用される長期メモリである。セル状態Ｃは、忘却ゲート５２によって修正される（忘却されることになる情報を取り除くように）。忘却ゲート５２は、シグモイド関数σを実装し、シグモイド関数σは、シンボルＳＢの順番に前のセル状態Ｃ（ｔ－１）からどの情報が忘却されるべきであるかを定義する。入力ゲートＲＥは、シグモイド関数σを実装し、シグモイド関数σは、セル状態Ｃ（ｔ－１）に追加されることになる新たな情報を生成するようにｔａｎｈ層（書き込みゲートＷＲ）と協調する。出力ゲートＳＥは、どの情報が次の隠れ状態ｈ（ｔ）に統合されるべきであるかを定義するシグモイド関数を実装する。

ＬＳＴＭセルＣＬ１によって出力として生み出される現在のセル状態Ｃ（ｔ）は、出力ゲートＳＥによって実装されたシグモイド層を適用することによってフィルタリングされ、次いで、ｔａｎｈ関数を通じて走り（－１～１の値を設定するように）、現在の隠れ状態ｈ（ｔ）（図１７）を生成するように、シグモイド出力ゲートの出力によって乗算される。

ＬＳＴＭネットワークは、両方向に２つのＬＳＴＭアーキテクチャ（すなわち、ＬＳＴＭセルの２つの連鎖）を組み合わせることによって、図１６に示されるように双方向であってもよい。ＬＳＴＭアーキテクチャの更なる詳細な説明は、以下の参考文献：ＬＳＴＭネットワークの参考文献（チュートリアル）：https://colah.github.io/posts/2015-08-Understanding-LSTMs/に存在する。

コンピューティングデバイスＤＶ１（図１～２）のエクスパートモジュールＭＤ４、ＭＤ６、及びＭＤ８は全て、特に図１６～１７を参照して上記説明されたようなＬＳＴＭアーキテクチャに基づいて実装されてもよい。

図１８は、特定の実施形態に従った、所与の時間ステップにおいて関心のシンボルＳＢを分析するようにＬＳＴＭネットワークによって実行されるステップを概略図として表す。実施例として、ＬＳＴＭネットワークが現在のシンボルとしてシンボルＳＢ「２」を分析すると共に、順方向ＤＲ１に一度に１つのシンボルのシンボルシーケンスを処理するケースが考えられる。方向ＤＲ１及びＤＲ２の両方において、シーケンスのシンボルＳＢごとにＬＳＴＭによって同様の処理が実行されることが理解されるべきである。

図１８に示されるように、ＬＳＴＭが、処理されることになる現在のシンボルＳＢとしてシンボル「２」を選択し、入力として関連する情報、すなわち、現在のシンボル「２」と関連付けられたインク関連情報ＩＦ１（シンボル情報ＩＦ１ａ及びコンテキスト情報ＩＦ１ｂ）並びに現在のシンボル「２」と関連付けられた埋め込み情報ＩＦ２を取得する（Ｓ６）ことが最初に考えられる。

前に説明されたように、現在のシンボル「２」を形成する各々のストロークＳＫ（すなわち、本ケースでは、単一のストロークＳＫ）に基づいて、シンボル情報ＩＦ１ａの一部としてシンボル位置的（または、空間的）特徴が抽出されてもよい（Ｓ６；図３）。シンボル位置的特徴は、基線２０に対する現在のシンボル「２」の位置（例えば、基線からの高さ距離、基線の最初からの距離…）に関連する情報を含んでもよい。本実施例（図５～６）では、表現「Ｒ^２」内の現在のシンボル「２」は、それが基線２０からの閾値距離を上回ることを理由に、上付き文字として特徴付けられ、及び認識される。更に、本実施例では、抽出されたコンテキスト情報ＩＦ１ｂは、空間的に関連するストロークＳＫ、すなわち、図１８に示されるように、隣接シンボル「∈」、「Ｒ」、「，」及び「ａ」のストロークを特徴付ける。それぞれの埋め込み情報ＩＦ２を予め定義されたシンボルＰＳＢのセットの各々の１つに割り当てる予め定義されたシンボル認識ルールＲＬ１に基づいて、埋め込み情報ＩＦ２が取得されてもよい。

シンボル処理モジュールＭＤ４（表現エクスパート）としての役割を果たす、ＬＳＴＭセル（または、ＬＳＴＭモジュール）ＣＬ１（図１７）の入力ゲートＲＥに情報入力ＩＦ１及びＩＦ２がフィードされる（Ｓ１２）。シンボル処理モジュールＭＤ４は、第１の分類ステップＳ１２（図３）を参照して前に説明されたように、部分的数学／テキストラベル情報を含む値のベクトルを計算する。

入力ゲートＲＥも、方向ＤＲ１に従った前のシンボルＳＢ、すなわち、本ケースでは、現在のシンボル「２」に先行するシンボル「Ｒ」に対してＬＳＴＭセルＣＬ１によって計算されたＬＳＴＭ隠れ状態ｈ（ｔ－１）を受信及び使用する（Ｓ４０、図１８）。よって、入力ゲートＲＥは、構文処理モジュールＭＤ６（構文エクスパート）としての役割をも果たす。

よって、処理モジュールＭＤ４及びＭＤ６の両方は、ステップＳ１２及びＳ４０において呼び出される。

ＬＳＴＭセルＣＬ１のＬＳＴＭセル状態Ｃ（図１７～１８）は、現在のシンボル「２」の前もしくは後の（または、双方向ＬＳＴＭのケースでは両方の）シンボルＳＢからの全ての構文情報及びセマンティック情報をセル状態Ｃ（ｔ－１）として、捕捉及び記憶する（Ｓ４２）。それらの様々な入力も、忘却ゲート５２に渡され（Ｓ４４）、セル状態ライン（図１７）を通じて現在のセル状態Ｃ（ｔ）に更新される（更新ゲート）。

Ｓ１２において入力ゲートＲＥによって出力された部分的ラベル情報は次いで、出力ゲートＳＥ（図１７）に渡され（Ｓ１４）、出力ゲートＳＥは、構文処理モジュールＭＤ６及びセマンティック処理モジュールＭＤ８（すなわち、構文エクスパートモジュール及びセマンティックエクスパートモジュール、図２を参照されたい）としての役割を果たす。受信された部分的ラベル情報に基づいて、処理モジュールＭＤ６及びＭＤ８は、現在のシンボル「２」についての最終ラベル情報を生成するように、前に説明されたような第２の分類Ｓ１６及び第３の分類Ｓ１８を実行する。処理モジュールＭＤ６及びＭＤ８は、第２の分類ステップＳ１６及び第３の分類ステップＳ１８を実行するために、隠れ状態ｈ（ｔ－１）を使用する。

出力ゲートＳＥの出力（すなわち、最終ラベル情報）は、現在のシンボル「２」に対して前の隠れ状態ｈ（ｔ－１）を更新された隠れ状態ｈ（ｔ）に更新する（Ｓ５０）ために使用される。更新された隠れ状態ｈ（ｔ）は次いで、分類結果ＲＳ３（図３を参照）の一部として、現在のシンボル「２」についての最終ラベルを生成する（Ｓ５２）ように、活性化層６０（図１６）に転送される。双方向ＬＳＴＭが使用される本ケースでは、逆方向ＤＲ２及び順方向ＤＲ１のそれぞれにおいてシンボルシーケンスを処理することによって、最終ラベル情報の２つのセット（２つのそれぞれのＬＳＴＭセルＣＬ１の出力ゲートＳＥからの）が生み出される。最終ラベル情報のそれらの２つのセットは、現在のシンボル「２」についての最終数学／テキストラベル（図１６）を生成する（Ｓ５２）ように評価され、共に組み合わされる。この評価は、両方のＬＳＴＭセルＣＬ１からの最終ラベル情報を連結し、確率のアレイ、本ケースでは、長さ２のアレイ、数学に対して１つの位置及びテキストに対してもう一方の位置、を生み出すように活性化層６０にそれらを通過させることによって実行されてもよい。活性化層６０は、連結した最終ラベル情報（最終サイズ２Ｌの）をサイズ２Ｌ×２の重み行列と乗算し、次いで、結果として得られる確率の出力アレイが合計して１になることを保証するために、ｓｏｆｔｍａｘ関数（ｓｏｆｔａｒｇｍａｘまたは正規化指数関数としても既知の）を適用することを含んでもよい。

上記説明されたように２つの方向ＤＲ１、ＤＲ２においてシンボルシーケンスを処理することによって、シーケンスのシンボルＳＢごとに同一の方式において最終ラベルが生み出される。

本実施例では、ＬＳＴＭアーキテクチャは、様々な処理モジュール（エクスパート）ＭＤ４、ＭＤ６、及びＭＤ８への固定した回数の呼び出しにより構成される。ＬＳＴＭネットワークは、２つの段階においてそれらの処理モジュールを呼び出し、つまり、第１の段階において、シンボル処理モジュールＭＤ４（表現エクスパート）及び構文処理モジュールＭＤ６（構文エクスパート）が同時に呼び出され、第２の段階において、構文処理モジュールＭＤ６（構文エクスパート）及びセマンティック処理モジュールＭＤ８（セマンティックエクスパート）が同時に呼び出される。全体的に、構文処理モジュールＭＤ６（構文エクスパート）は、そのように２回呼び出される（Ｓ１２及びＳ１４）。第２の呼び出し（Ｓ１４）は、セマンティック処理モジュールＭＤ６の出力からの結果を検証及び伝播することである。前に言及されたように、ＬＳＴＭの双方向の変形例は、順番に前のシンボル及び次のシンボルから現在の１つのシンボルへのコンテキストに気を配る。

更に、当業者は、本発明を実装するように、いずれかの適切な方式においてＬＳＴＭネットワークを訓練することができる。ＬＳＴＭネットワークは、逆伝播されたアルゴリズム（更なる詳細について上記言及された参考文献を参照）により様々なゲートの重み及びバイアスを更新することによって（すなわち、図１７におけるシグモイド及びｔａｎｈ関数ごとに）、手書きにおける数学の検出を学習することができる。特に、入力ゲートＲＥ及び埋め込み情報ＩＦ２の重み及びバイアスは、シンボル処理モジュールＭＤ４（表現エクスパート）を実装するために使用される。埋め込み情報ＩＦ２は、各々の予め定義されたシンボルＰＳＢに関する前の知識を記憶し、入力ゲートＲＥは、その入力の全てを共にどのように処理するかを学習する（埋め込み情報ＩＦ２、シンボル情報ＩＦ１ａ、連絡情報ＩＦ１ｂ、隠れ状態）。出力ゲートＳＥ、忘却ゲート５２、及び書き込みゲートＷＲの重み及びバイアスは、所与のシーケンスに存在する様々な構文ルール及びセマンティック接続を回復するために、セル状態Ｃ（ｔ－１）及び隠れ状態ｈ（ｔ－１）に記憶された情報を利用及び修正することが可能な、構文処理モジュールＭＤ６及びセマンティック処理モジュールＭＤ８（すなわち、構文エクスパートモジュール及びセマンティックエクスパートモジュール）を実装するために共に使用される。

ＬＳＴＭネットワークは、数学及びテキストの両方を包含したシンボルの複数のシーケンス、並びにテキストのみ、または数学のみを包含したシンボルのシーケンスを含むデータセットにより訓練されてもよい。訓練は、複数回の反復において実行されてもよいと共に、データセットに対する全体的なシンボル誤分類率を最小化し、ネットワークが、１）数学をテキストシンボルから区別し、２）数学及びテキスト特有構文ルールを識別及び適用し、３）所与の順番にシンボルの間のセマンティック接続を確立する、ように学習することを知らせる。

いくつかの代替的な実施態様では、ブロックにおいて述べられる関数は、図において述べられる順序外で行われてもよいことに留意されるべきである。例えば、関与する機能性に応じて、連続して示される２つのブロックは、実際に、実質的に同時に実行されてもよく、またはブロックは時に、逆の順序において実行されてもよく、またはブロックは、代替的な順序において実行されてもよい。

明確に説明されていないが、本実施形態は、いずれかの組み合わせまたはそれらの部分的な組み合わせにおいて採用されてもよい。

本開示が特定の実施形態を説明してきたが、当業者の能力内で、発明力の発揮なしに、多数の修正及び実施形態の影響を受けやすいことが明白である。したがって、本発明の範囲は、以下の特許請求の範囲によって定義されるものとする。

Claims (15)

1. 手書き（ＩＮ）における数学及びテキストを処理するコンピューティングデバイス（１００）によって実施される方法であって、
   －デジタルインクの複数のストローク（ＳＫ）に対して手書き認識を実行することによって、シンボル（ＳＢ）を識別すること（Ｓ４）と、
   －前記シンボルに対して予め定義されたシンボル認識ルール（ＲＬ１）を個々に適用することによって、第１の分類（Ｓ１２）として、少なくとも第１の閾値（ＴＨ１）に到達する信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして前記識別されたシンボルから少なくとも１つの第１のシンボル（ＳＢ１）を分類することと、
   －前記少なくとも１つの第１のシンボル（ＳＢ１）及び前記少なくとも１つの第１のシンボル以外の少なくとも１つの第２のシンボル（ＳＢ２）に対して、前記少なくとも１つの第１のシンボルと前記少なくとも１つの第２のシンボルとの間の空間的関係を定義した予め定義された空間的構文ルール（ＲＬ２）を適用することによって、第２の分類（Ｓ１６）として、それぞれの信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして前記少なくとも１つの第２のシンボル（ＳＢ２）を分類することと、
   －前記識別されたシンボルからの少なくとも２つのシンボル（ＳＢ）の間のセマンティック接続を確立し、前記セマンティック接続を前記第２の分類の結果と比較することによって、第３の分類（Ｓ１８）として、前記第２の分類の前記結果を更新または確認することと、
   －前記第３の分類の結果に少なくとも基づいて、テキストシンボルまたは数学シンボルのいずれかとして、各々のシンボルを認識すること（Ｓ２０）と、
   を備える、前記方法。
2. 前記シンボルを識別することの前に、前記シンボルを形成するデジタルインクの前記複数のストロークを取得することを備え、
   前記識別されたシンボルは、少なくとも１つのテキストシンボル及び少なくとも１つの数学シンボルを含む、
   請求項１に記載の方法。
3. 前記シンボルを識別することの間、前記複数のストローク（ＳＫ）は、予め定義されたシンボル（ＰＳＢ）のセットと比較され、前記複数のストロークによって形成された各々のシンボルは、予め定義されたシンボルのセット内のそれぞれの１つとして識別される、請求項１または２に記載の方法。
4. 前記シンボルを形成する各々のストロークに基づいて、識別されたシンボル（ＳＢ）ごとに、インク関連情報（ＩＦ１）を計算することを備え、前記インク関連情報は、
   －前記シンボルを形成する前記１つ以上のストロークの固有の特質を特徴付けるシンボル情報（ＩＦ１ａ）と、
   －前記複数のストロークの少なくとも１つのそれぞれの順序付けに従った、前記シンボルを形成する前記１つ以上のストロークと空間的に関連する、少なくとも１つの隣接ストロークを特徴付けるコンテキスト情報（ＩＦ１ｂ）と、を含み、
   前記インク関連情報は、数学シンボル候補またはテキストシンボル候補のいずれかとして各々のシンボルを分類するために、少なくとも前記第２の分類及び前記第３の分類において使用される、
   請求項１～３のいずれか１項に記載の方法。
5. 前記第１の分類は、
   －識別されたシンボルごとに、前記シンボル認識ルールによって前記シンボルに帰属した埋め込み情報（ＩＦ２）を決定することであって、前記埋め込み情報は、前記予め定義されたシンボルがテキストまたは数学のいずれかであるそれぞれの信頼スコアを含む、前記決定することと、
   －少なくとも前記第１の閾値に到達する信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして少なくとも１つの第１のシンボルを識別するように、前記埋め込み情報において定義されるような各々の識別されたシンボルの前記それぞれの信頼スコアを前記第１の閾値と比較することと、
   を含む、請求項１～４のいずれか１項に記載の方法。
6. 前記第２の分類の間、前記空間的構文ルール（ＲＬ２）は、数学シンボル候補またはテキストシンボル候補のいずれかとして、１つ以上の第１のシンボルとの予め定義された空間的関係を有する少なくとも１つの他のシンボル（ＳＢ２）を識別するために、前記少なくとも１つの第１のシンボル（ＳＢ１）に対して適用される、請求項１～５のいずれか１項に記載の方法。
7. 前記第２の分類の間、前記少なくとも１つの第１のシンボル以外の各々のシンボルは、テキストシンボル候補または数学シンボル候補のいずれかとして分類される、請求項１～６のいずれか１項に記載の方法。
8. 前記空間的構文ルール（ＲＬ２）は、
   －少なくとも２つの数学シンボルの間の空間的関係を定義した数学空間的構文ルールと、
   －少なくとも２つのテキストシンボルの間の空間的関係を定義したテキスト空間的構文ルールと、
   を含む、請求項１～７のいずれか１項に記載の方法。
9. 前記第２の分類の前記結果がセマンティック接続に基づいて前記第３の分類の間に更新される場合、前記第３の分類において生み出される前記結果は、それぞれの更新された信頼スコアに沿った前記第２の分類に対するテキスト候補及びシンボル候補としての前記シンボルの修正された分類を含み、
   前記方法は、前記結果を確認または更新するかのいずれかのために前記第３の分類の前記結果に対して前記第２の分類を繰り返すことを更に備えた、
   請求項１～８のいずれか１項に記載の方法。
10. 前記第２の分類及び前記第３の分類が同一の結果に収束するまで、前記第２の分類及び前記第３の分類（Ｓ１６、Ｓ１８）を含む反復的分類処理（Ｓ１４）が繰り返される、請求項９に記載の方法。
11. 前記第２の分類及び前記第３の分類が同一の結果に収束する前に前記分類処理（Ｓ１４）の反復の予め定義された回数Ｎに到達する場合、前記第３の分類（Ｓ１８）において取得された前記第２の分類の最近の更新された結果は、テキストシンボルまたは数学シンボルのいずれかとして各々のシンボル（ＳＢ）を認識するために使用され、Ｎは、少なくとも２の整数である、請求項９または１０に記載の方法。
12. 前記テキストシンボルまたは数学シンボルのいずれかとして各々のシンボル（ＳＢ）を認識すること（Ｓ２０）は、前記第３の分類（Ｓ１８）の前記結果に少なくとも基づいて、各々のストロークに、関連する信頼スコアに沿って数学またはテキストのいずれかとしての分類を割り当てることを含む、請求項１～１１のいずれか１項に記載の方法。
13. 前記認識することの結果に基づいて、前記複数のストロークを１つ以上のストロークのブロックにグループ化すること（Ｓ２６）を備え、各々のブロックは、テキストブロックまたは数学ブロックのいずれかであり、テキストブロックに包含された各々のストロークは、テキストシンボルの一部であり、数学ブロックに包含された各々のストロークは、数学シンボルの一部である、請求項１～１２のいずれか１項に記載の方法。
14. 数学言語モデルを各々の数学ブロックに適用することによって、及びテキスト言語モデルを各々のテキストブロックに適用することによって、前記ストロークにおける数学コンテンツ及びテキストコンテンツを認識することを備えた、請求項１３に記載の方法。
15. 手書き（ＩＮ）における数学及びテキストを処理するコンピューティングデバイス（１００）であって、
    －デジタルインクの複数のストローク（ＳＫ）に対して手書き認識を実行することによって、シンボル（ＳＢ）を識別する第１の認識モジュール（ＭＤ２）と、
    －前記シンボルに対して予め定義されたシンボル認識ルールを個々に適用することによって、第１の分類として、少なくとも第１の閾値に到達する信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして前記識別されたシンボルから少なくとも１つの第１のシンボル（ＳＢ１）を分類するシンボル処理モジュール（ＭＤ４）と、
    －前記少なくとも１つの第１のシンボル（ＳＢ１）及び前記少なくとも１つの第１のシンボル以外の少なくとも１つの第２のシンボル（ＳＢ２）に対して、前記少なくとも１つの第１のシンボルと前記少なくとも１つの第２のシンボルとの間の空間的関係を定義した予め定義された空間的構文ルール（ＲＬ２）を適用することによって、第２の分類として、それぞれの信頼スコアを有するテキストシンボル候補または数学シンボル候補のいずれかとして前記少なくとも１つの第２のシンボル（ＳＢ２）を分類する構文処理モジュール（ＭＤ６）と、
    －前記識別されたシンボルからの少なくとも２つのシンボル（ＳＢ）の間のセマンティック接続を確立し、前記セマンティック接続を前記第２の分類の結果と比較することによって、第３の分類として、前記第２の分類の前記結果を更新または確認するセマンティック処理モジュール（ＭＤ８）と、
    を備え、
    前記コンピューティングデバイスは、少なくとも前記第３の分類の結果に基づいて、テキストシンボルまたは数学シンボルとして各シンボルを認識するように構成される、
    前記コンピューティングデバイス。

Images