JP5071914B2 - 認識グラフ - Google Patents

認識グラフ Download PDF

Info

Publication number
JP5071914B2
JP5071914B2 JP2007557966A JP2007557966A JP5071914B2 JP 5071914 B2 JP5071914 B2 JP 5071914B2 JP 2007557966 A JP2007557966 A JP 2007557966A JP 2007557966 A JP2007557966 A JP 2007557966A JP 5071914 B2 JP5071914 B2 JP 5071914B2
Authority
JP
Japan
Prior art keywords
segment
sequence
handwritten pattern
graph
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007557966A
Other languages
English (en)
Other versions
JP2008532176A (ja
Inventor
シュテルンビー、ヤコブ
Original Assignee
ザイ デクマ アクチボラゲット
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザイ デクマ アクチボラゲット filed Critical ザイ デクマ アクチボラゲット
Publication of JP2008532176A publication Critical patent/JP2008532176A/ja
Application granted granted Critical
Publication of JP5071914B2 publication Critical patent/JP5071914B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction
    • G06V30/347Sampling; Contour coding; Stroke extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/226Character recognition characterised by the type of writing of cursive writing
    • G06V30/2268Character recognition characterised by the type of writing of cursive writing using stroke segmentation
    • G06V30/2272Character recognition characterised by the type of writing of cursive writing using stroke segmentation with lexical matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Character Discrimination (AREA)

Description

本発明は、1つ又は複数の曲線を含み、複数の記号を表す手書きパターンの認識に関する。本発明は、特に、手書きパターンに関する認識候補を特定することに関する。
今日、手書きは、データ処理ユニットに、特に、移動電話機及びPDA(パーソナル・デジタル・アシスタント)にデータを入力するための、ますます一般的な方法となっている。入力されたデータを扱うために、手書きは、認識され、解釈されなければならない。手書きを認識するためのほとんどの既存の方法は、入力されるべき文字が、1つずつ書き込まれ、別々に認識されることを要求する。そのような方法の実施例が、米国特許第4731857号で与えられているが、最も有名なものが、パーム社によって製造されるGraffiti(登録商標)である。
データの入力をスピードアップするために、連続する手書きが許されることが望ましい。しかし、連続する手書き認識は、別々の文字の認識より、はるかに複雑である。連続する手書き認識に関して複雑さが増大することは、つなげられた文字をセグメント化することの、即ち、手書きパターン内で1つの文字から別の文字への遷移を識別することの問題に帰せられる。そのため、連続する手書き認識における誤りは、2つのレベルで生じる可能性があり、これにより、明快な順次認識システムの構築が大いに難しくなる。
連続する手書き認識のための方法は、一般に、手書きパターンの可能なセグメント化の組合せの爆発的増加を生じる、隣接する文字間における多数の可能なセグメント化が存在するという問題に悩まされている。
したがって、今日、大抵の市販のシステムは、一体化された辞書と共に、ニューラル・ネットワーク及び隠れマルコフ・モデルを使用する複雑な統計システムを採用する。そのようなシステムの例は、P. Nescovic及びL. Cooper,「ニュートラルなネットワークに基づいたコンテクストによる、オンラインの連続手書認識“Neutral network-based context driven recognition of on-line cursive script」, Seventh International Workshop on Frontiers in Handwriting Recognition Proceedings、352〜362頁、2000年9月、並びにM. Schenkel及びI. Guyon, 「時間遅延ネットワークと隠れたマルコフ・モデルを用いるオンラインの連続手書認識”On-line cursive script recognition using time delay networks and hidden markov models」, Machine Vision and Applications, vol. 8、215〜223、1995年に提示されている。れらのシステムの主な点はこれらの規模が大きくかつこれらが大規模な訓練セットを必要とすることである。さらに、これらは、使用される辞書に大きく依存する。
手書きパターンの様々な認識が正しいとする確率評価することにより、認識の結果を向上させるために、一般に、辞書、使用することができる。そのため、手書きパターンの認識からの結果を辞書と比較して、辞書の中に存在しない結果を破棄することができる。これにより、正しい認識結果ユーザに提示ることができる確率が、向上する。D. Y. Chen, J. Mao及びK. M. Mohiuddinによる「語彙集をセグメント化グラフにマッチングさせる効率の良いアルゴリズム(An efficient algorithm for matching a lexicon with a segmentation graph)」、Proceedings of the Fifth International Conference on Document Analysis and Recognition、543〜546ページ、1999年に、辞書をセグメント化候補と比較する方法が、開示されている。しかし、の方法は、辞書のサイズが大きくなるにつれ、より遅くなる。別の方法が、S. Lucasによる「効率の良い最良の最初の辞書のサーチにより得られるグラフに基づく入力(Efficient best-first dictionary search given graph-based input)」、15th International Conference on Pattern Recognition, vol. 1、434〜437ページ、2000年に開示されている。の方法は、辞書の中に存在する最良の認識を取り出す、より効率的な仕方を提供する。辞書検索は、パス代数を計算することによって達せられるがこれは、手書きパターンのセグメント化を、まず、確立ることを要求するように思われる。
国際公開第02/37933号において、辞書を使用した手書きの語の認識のための方法が、開示されている。その方法は、セグメント化ポイントを表す頂点と、それらのセグメント化ポイント間のセグメントの解釈を表すエッジとを備える解釈グラフを作成する。探索手続きが、グラフを構築するために、したがって、語の認識を特定するために、セグメント化ポイントに適用される。探索手続きは、前のセグメント化ポイントを振り返って、グラフにおいてエッジ/セグメントを置くかどうかを判定するように実行される。このため、各頂点で、語レベル仮定のリストが、格納されることが可能である。更に、仮定リストを切り詰めるために、辞書とのマッチングが、実行されることが可能である。許される各文字クラスに関して、探索手続きは、各セグメント化ポイントにおいて、グラフに、その文字クラスに対応するエッジ/セグメントを置くことが、実行可能であるかどうかを判定する必要がある。そうすることは、探索手続きを実行するための大量の計算を要求し、そのため、この方法は、遅い。
本発明の目的は、連続する手書き認識のための改良された方法を提供することである。本発明の別の目的は、多大な学習を要求せず、非常に高い処理能力を必要としない方法を提供することである。本発明の更なる目的は、手書き認識を向上させるために辞書を迅速な仕方で使用することである。
以上の諸目的の少なくとも幾つかは、独立請求項による方法、デバイス、及びコンピュータ・プログラム製品によって達せられる。本発明の特定の諸実施例は、従属請求項に記載される。
このため、本発明は、1つ又は複数の曲線を含み、複数の記号を表す手書きパターンに関する少なくとも1つの認識候補を特定するための方法を提供する。本方法は、手書きパターンをセグメント化して、手書きパターンの、これらのセグメントを記号として認識する際に使用するために、手書きパターンにおける可能なセグメント化ポイントを選択することを備える。本方法は、手書きパターンのセグメントを、少なくとも1つの記号、又は或る記号の一部を表すテンプレートと比較することを更に含み、手書きパターンのセグメントは、第1のセグメント化ポイントから第2のセグメント化ポイントまでの可能なセグメント化ポイントのシーケンスに対応する。この比較は、手書きパターンのセグメントの可能な認識結果を形成するテンプレートに関連するセグメント候補を戻し、各セグメント候補は、テンプレートと、手書きパターンのセグメントとの間のマッチング尺度に関連する。本方法は、セグメント候補シーケンスの表現を形成することを更に備える。その表現は、手書きパターンにおけるセグメント化ポイントに対応するデータ・ブロックを含み、データ・ブロックは、後続のセグメント化ポイントに対応するデータ・ブロックへのリファレンスを含み、リファレンスは、セグメント候補の情報と、それらのセグメント化ポイント間の手書きパターンのセグメントに関する関連する尺度とを備える。本方法は、セグメント候補シーケンスの表現を辞書と比較することを更に含み、辞書は、記号シーケンスとして表現され、シーケンスにおける記号は、許される後続の記号へのリファレンスを保持する。本方法は、辞書の中で許される記号シーケンスに対応するセグメント候補シーケンスを探し出し、これらの許される記号シーケンスの少なくとも1つを、手書きパターンに関する認識候補として戻すことを更に備える
また、本発明は、1つ又は複数の曲線を含み、複数の記号を表す手書きパターンに関する少なくとも1つの認識候補を特定するためのデバイスも提供し、前記デバイスは、手書きパターンをセグメント化して、手書きパターンの、これらのセグメントを記号として認識する際に使用するために、手書きパターンにおける可能なセグメント化ポイントを選択するための手段と、手書きパターンのセグメントを、少なくとも1つの記号、又は或る記号の一部を表すテンプレートと比較するための手段であって、手書きパターンのセグメントは、第1の可能なセグメント化ポイントから第2の可能なセグメント化ポイントまでのセグメント化ポイントのシーケンスに対応し、前記比較は、手書きパターンのセグメントの可能な認識結果を形成するテンプレートに関するセグメント候補を戻し、各セグメント候補は、テンプレートと、手書きパターンのセグメントとの間のマッチング尺度に関連する、手段と、手書きパターンにおけるセグメント化ポイントに対応するデータ・ブロックを備える、セグメント候補シーケンスの表現を形成するための手段であって、セグメント候補の情報と、セグメント化ポイント間の手書きパターンのセグメントに関する関連する尺度とを保持する、後続のセグメント化ポイントへのリファレンスをデータ・ブロックが保持する、手段と、セグメント候補シーケンスの表現を、記号シーケンスとして表現される辞書と比較するための手段であって、シーケンスにおける記号は、許される後続の記号へのリファレンスを保持する、手段と、辞書の中で許される記号シーケンスに対応するセグメント候補シーケンスを探し出すための手段と、これらの許される記号シーケンスの少なくとも1つを、手書きパターンに関する認識候補として戻すための手段とを備える
また、本発明は、前段で定義される方法を実行するためのソフトウェア・コード部分を備えるデータ処理ユニットの内部メモリに直接読み込み可能なコンピュータ・プログラム製品も提供する。
本発明により、幾つかの記号を表す手書きパターン、迅速に認識ることが可能となる。セグメント化と認識の両方のために可能なセグメント化ポイントを使用することにより、計算は、手書きパターンを分離することと、そのパターンをテンプレートとマッチングさせることを同時に行う。そのため、手書きパターンをテンプレートと比較するプロセスは、非常に迅速である。
幾つかの基準に従って、限られた数の可能なセグメント化ポイントを選択することにより、手書きパターンのセグメントが、それらの可能なセグメント化ポイントだけと関係がある情報を使用することによって認識されることが可能であることが、認識されている。このため、連続する手書きを認識するために、ニューラル・ネットワーク又は隠れマルコフ・モデルを使用する必要は、存在しないことが、認識されている。代わりに、可能なセグメント化ポイントが、選択され、同一の可能なセグメント化ポイントが、手書きパターン内の記号の認識のために使用される。
可能なセグメント化ポイントの選択により、多数のポイントが、検出されたシーケンスから破棄される。このため、扱いやすい数のポイントが、選択され、これにより、ポイント・シーケンスをテンプレートと比較するために必要とされる計算作業が抑えられる。検出されたポイント・シーケンスにおける情報の相当な部分は、手書きパターンを認識するためには、冗長であることが、認識されている。したがって、多数のポイントを破棄することは、手書きパターンを正しく認識する可能性にほとんど影響を及ぼさない。また、限られた数のポイントが、認識において使用されるので、幾つかのテンプレート、同一の記号を認識するために使用ることが可能である。このため、テンプレートは、異書体、即ち、同一の記号の筆記の異なる外観、又は異なるスタイルを表すことが可能である。
更に、可能なセグメント化ポイントは、セグメントの認識のための特徴として使用されるので、セグメント化候補のシーケンスの表現は、後続のポイントへのリファレンスを作成するために、来るべきセグメント化ポイントを調べることによって形成される。このため、セグメント候補シーケンスは、セグメント化ポイントのシーケンスにおいて先を調べることにより、辞書と比較することが可能であることが有利である。このため、セグメント化ポイントのシーケンス、飛ばことが可能であり、セグメント候補シーケンスが、許されるシーケンスに関する情報で迅速に更新さることが可能である。
手書きパターンの可能なセグメント化は、辞書の中に存在する手書きパターンの認識候補を選び出すために、辞書と比較さることが可能である。セグメント候補シーケンスは、後続のセグメント候補の情報を備えるセグメント化ポイント間のリファレンスによって表されるので、同一の開始記号を有するシーケンスは、それらのシーケンスの開始の表現を共有させることが可能である。セグメント候補シーケンスは、対応する最初の記号又は記号群を有する語が、辞書の中に存在するかどうかを順次にチェックすることにより、辞書と比較される。シーケンスにおける記号が、辞書の中で対応物を有さないとすぐに、そのシーケンスは、破棄さることが可能であり、そのシーケンスにおける残りのセグメント候補を辞書と比較する必要は、全くない。実際、同一のプレフィックスを表す同一の最初のセグメント候補を有するすべてのシーケンスが、破棄さることが可能である。というのは、それらのシーケンスは、表現を共有するからである。
本明細書で使用される、「記号」という用語は、ラテン文字、漢字、又は他の任意の種類の文字、文字の間、前、又は後のつなぎ、数字、或いは任意の句読点などの、特定の意味を有する任意の形態として解釈されるべきである。テンプレートは、或る記号、又は或る記号の一部を表すように構成される。しかし、特定の意味を全く有さない、手書きパターンにおける雑音又は不規則を表すように構成された1つ又は複数のテンプレートが存在してもよい。そのようなテンプレートは、パターンで書かれた情報に寄与しない手書きパターンの部分を識別するのに使用されることが可能である。更に、「手書きパターン」という用語は、個人によって書かれた特定の形態の記号、又は記号シーケンスとして解釈されるべきである。
「可能なセグメント化ポイントのシーケンス」という用語は、テンプレートの始まりとマッチングすると識別されている可能なセグメント化ポイントである第1のセグメント化ポイントから、テンプレートの終わりとマッチングすると識別されている可能なセグメント化ポイントである第2のセグメント化ポイントまでのシーケンスとして解釈されるべきである。可能なセグメント化ポイントのシーケンスは、第1のセグメント化ポイントと第2のセグメント化ポイントの間のすべての可能なセグメント化ポイントを備える
「後続のセグメント化ポイントに対応するデータ・ブロックへのリファレンス」とは、セグメント化ポイントのシーケンスにおける次のセグメント化ポイント、又はセグメント化ポイントのシーケンスにおける、それより後のセグメント化ポイントへのリファレンスであることが可能である。このため、手書きパターンの様々なセグメントとマッチングする様々なセグメント候補シーケンスが、様々なセグメント化ポイントを選択することによって作成されることが可能である。
セグメント候補シーケンスと手書きパターンの間のマッチングの累積尺度が、認識候補の間のランク付け順序を決定するために使用されることが可能である。すべてのセグメント化ポイントが、解析された後、累積尺度が、最後のセグメント化ポイントに割り当てられ、手書きパターンとマッチングしたテンプレート又はセグメント候補シーケンスに関連付けられることが可能である。このため、最後のセグメント化ポイントに割り当てられた情報は、手書きパターンの可能な認識候補を得るために、容易に使用されることが可能である。
マッチング尺度は、手書きパターンの特徴と、テンプレートの対応する特徴の間の相違の計算された距離値であることが可能である。このため、手書きパターンの適切な特徴が、検出されて、テンプレートの対応する特徴と比較され、距離値が、計算される。距離値が低いほど、手書きパターンとテンプレートの間のマッチングは、良好となる。
セグメント候補シーケンスの表現の形成は、ノードと、エッジとを有する認識グラフを形成することを備えることが可能であり、各ノードは、可能なセグメント化ポイントを表し、各エッジは、1つのノードから別のノードまでのセグメント化ポイントのシーケンスに沿ったパスを表し、前記パスは、手書きパターンにおける可能な記号に対応し、セグメント候補と、手書きパターンのセグメントの間のマッチングに対応する少なくとも1つの尺度に関連する。
グラフを形成することにより、セグメント候補シーケンスの辞書との比較、段階的な形に構造化ることが可能である。このことは、実行されるべき比較の良好な制御が得られることを意味する。更に、グラフ、効果的に使用ることが可能である。というのは、グラフは、手書きパターンの可能なセグメントのセグメント化ポイントとして実際に識別されている、可能なセグメント化ポイントだけを使用して構築ることが可能であるからである。更に、ノードは、グラフを通ってノードにつながるエッジに沿った様々なパスに関するマッチングの累積尺度を格納することができ、これにより、セグメント候補シーケンスに対応するマッチングの累積尺度を、グラフの各ノードにおいて容易に見出ことが可能となる。
表現を形成することは、1つのノードで終わる特定された数だけのセグメント候補を許すことを備えることが可能である。これにより、辞書との比較のために保持される異なるセグメント候補シーケンスの数が、限定される。許されるセグメント候補は、最良のマッチング尺度を有するセグメント候補であることが可能である。このため、手書きパターンに対して最良のマッチング尺度を有するセグメント候補だけが、保持される。
各ノードで終わる特定された数のセグメント候補は、セグメント候補シーケンスの表現の、辞書との比較の速度を制御するために調整さることが可能である。認識グラフのサイズは、許されるセグメント候補の数を調整することによって制御することが可能である。そのため、セグメント候補シーケンスの表現を辞書と比較するのに必要とされる時間も、制御される。セグメント候補の数は、辞書との比較を完了するための許される最大時間を満たすために、幾つかのセグメント候補が許されることが可能であるかを計算することにより、決定することが可能である。このため、セグメント候補の許される数は、手書きパターンの、テンプレートとの比較実行さた後、決定することが可能である。
認識グラフを形成することは、同一のノード間の同一の記号シーケンスに対応するパスの重複を破棄することを備えることが可能である。セグメント候補シーケンスは、手書きパターンの異なるセグメント化に対応する、2つ以上の同一のシーケンスを備えることが可能である。認識グラフが形成される際、そのような重複は、破棄することが可能であり、最良のマッチング尺度を有するシーケンスだけが、保持される。認識グラフにおいて重複を有する必要は、全くない。というのは、それらの重複は、辞書と比較された際、同一の結果をもたらすからである。重複を破棄することにより、認識グラフと辞書の間の比較が、スピードアップされる。
辞書は、Trieグラフとして表現されることが可能である。そうすることにより、認識グラフと辞書の間の非常に迅速で、効率的な比較が可能になる。
Trieグラフは、適切に並べられた形で語を表す。Trieグラフにおける任意の1つのノードのすべての派生ノードは、そのノードに関連する共通のプレフィックスを有する。このため、セグメント候補シーケンスの表現を辞書と比較することは、認識グラフのノードを段階的に進み、それらのノードを、Trieグラフにおけるノードと比較することを備える。セグメント候補シーケンスは、Trieグラフにおける1つのパスとマッチングるだけでよく、比較が非常に迅速になる。
比較することは、セグメント候補を表す認識グラフにおけるエッジから、Trieグラフにおける対応するノードへのリファレンスを作成することを備えることが可能である。これにより、セグメント候補シーケンスにおける位置が、Trieグラフにおける対応する位置に関連付けられることが可能になる。このため、幾つかのセグメント候補シーケンスが、Trieグラフと同時に比較されることが可能である。というのは、Trieグラフにおける位置が、各セグメント候補シーケンスに関して迅速に取り出されることが可能だからである。
セグメント候補シーケンスは、認識グラフにおけるノードを段階的に進む間に、そのセグメント候補シーケンスが、Trieグラフにおいて対応物を全く有さないとすぐに、破棄さることが可能である。更に、同一のプレフィックスを有するすべてのセグメント候補シーケンスは、同時に破棄ることが可能である。
認識グラフにおけるノードをTrieグラフにおけるノードと比較することは、セグメント候補シーケンスの残りの部分における記号の可能な数を、Trieグラフにおける後続の記号の許される数に対してチェックすることを備えることが可能である。セグメント候補シーケンスの長さに対応する長さの語、又は記号の数が存在することをチェックすることにより、対応する長さの語を有さないシーケンス、認識グラフをTrieグラフと比較するプロセスにおける早い段階で破棄することが可能である。
辞書の中の不完全な記号シーケンスに対応するセグメント候補シーケンスが、許されることが可能である。このことは、切り詰められた語に関する認識候補をもたらすために使用されることが可能である。更に、手書きパターンは、辞書の中の不完全な語として認識されることが可能であり、完全な語が、認識候補として提示されることが可能である。これにより、ユーザが、長い語を切り詰め、認識から、正しい完全な語を戻されることが可能になる。
セグメント候補シーケンスにおいて欠落したセグメント候補をもたらす手書きパターンにおける省略されたセグメントは、セグメント候補を辞書の中の対応しない記号にマッチングさせ、そのセグメント候補に関連する尺度にペナルティを追加することによって認識されることが可能である。したがって、辞書を使用して、手書きパターンにおける欠けた記号を探し出すことができる。
手書きパターンは、連続してことが可能である。本方法は、連続する手書きパターンの認識のために使用することが有利である。というのは、方法は、手書きパターンをセグメント化して、それらのセグメントを認識することができるからである。しかし、本方法は、活字体で、又は連続体と活字体の任意の組合せ又は混合で書かれた手書きパターンの認識のために使用ることも可能である。
手書きパターンは、オンラインで検出さることが可能である。このことは、認識が、リアルタイムで実行されるべきことを意味する。手書きパターンの認識は、非常に迅速に実行されることが可能であり、したがって、ユーザを苛立たせる待ち時間が、抑えられる。したがって、オンライン認識が可能にる。
次に、本発明を、添付の図面を参照して、例示として、更に詳細に説明する。
図1を参照して、手書きパターンを認識するための方法を、次に説明する。まず、手書きパターンが、検出される(ステップ102)。通常、ユーザは、感圧スクリーン上でスタイラスを使用して手書きパターンを書くことが可能であり、そのため、手書きは、規則的な間隔でスタイラスの位置をサンプリングすることによって検出される。このようにして、ポイントの時間シーケンスが、獲得される。手書きは、例えば、ペンと、筆記面との間で形成される電気的接続を検出するセンサ群、又はペンの動きを検出するセンサ群を使用することなどにより、他の幾つかの仕方で検出されてもよい。また、手書きパターンは、手書きパターンが書き込まれている用紙を走査することによって検出さてもよい。その場合、手書きは、筆記面上のポイント・シーケンスとして検出さることが可能であり、そのシーケンスは、それらのポイントが、互いに対してどこに位置付けられるか、即ち、空間的ポイント・シーケンスに依存する。
次に、以降、コア・ポイントと呼ばれる可能なセグメント化ポイントが、手書きパターンを検出した際に作成されたポイント・シーケンスの中で選択される(ステップ104)。コア・ポイントは、手書きパターンの次元、即ち、パターンにおけるストロークのサンプリングされるポイントの数を減らすために選択される。それでも、コア・ポイントは、手書きパターンが正しく認識さることが可能であるように選択されなければならない。
図2は、スウェーデン語の語「ek」を形成する手書きパターン10を示す。図2では、選択されたコア・ポイント12も示され、1つおきのコア・ポイントに番号が付けられている。図2から、この連続する語の最初の部分は、文字「d」の外観を有する可能性があることが明白である。問題は、認識方法が、その「d」のエンドポイントで、その語を2つの文字セグメントにセグメント化した場合、それらのセグメントのいずれも、意図されていた語の文字を含まないことである。したがって、認識方法は、連続する手書きをセグメント化する際、複数のセグメント化の可能性を考慮する必要があることが明らかである。したがって、幾つかのコア・ポイント12が、2つの文字間で手書きパターン10におけるセグメント化を示す可能なポイントとして選択される。そのため、コア・ポイント12は、別々の記号又は文字への手書きパターン10の正しいセグメント化を特定するように選択される。しかし、コア・ポイント12は、手書きパターン10のセグメントの認識のためにも使用される。
コア・ポイント12の選択は、実際のいずれのセグメント化ポイントも破棄すべきではない。しかし、手書きパターン10の可能なセグメント化を定義するコア・ポイント12の数は、コア・ポイント12の数を可能な限り低く保つように選択されなければならない。したがって、コア・ポイント12の選択は、幾つかの選択基準を使用する。
選択されるコア・ポイント12の数は、手書きパターン10の1つ又は複数の曲線の形状によって限定されることが可能である。このことは、曲線の形状により、選択されるコア・ポイント12の数が規定されることを意味する。このようにして、曲線の形状が単純である場合、より少ない数のコア・ポイント12が、選択されることが可能であるのに対して、複雑な曲線の場合、より多数のコア・ポイントが、選択される。
選択されるコア・ポイント12の数は、前記1つ又は複数の曲線の方向変化の情報を保持するポイントに限られることが可能である。このため、曲線が曲がる、又は方向転換するポイントだけが、コア・ポイントとして使用される。これにより、限られた数のコア・ポイント12が使用されるにもかかわらず、コア・ポイント12が、1つ又は複数の曲線の形状を記述することができるようになる。
現在の好ましい実施例によれば、以下の選択基準が、使用される。第1の選択基準は、主な筆記方向と直交する方向において局所極限ポイントを抽出する。それらのポイントをそれぞれ、N(ノース)コア・ポイント及びS(サウス)コア・ポイントで表す。図2の手書きパターン10では、Nコア・ポイント及びSコア・ポイントには、円でマークが付けられている。各N−Sポイント・ペアは、それらの中間にある1つ乃至3つの更なるポイントによって補足されている。それらの更なるポイントは、更なる2つの基準、曲率基準及び鋭度基準によって選択されている。追加のポイントをM(中間)コア・ポイントと呼ぶ。図2の手書きパターン10では、Mコア・ポイントには、星印でマークが付けられている。曲率基準により、手書きパターン10が、隣接する2つのコア・ポイント間の直線から大きく逸脱しているかどうかが判定される。次に、直線から最も逸脱している位置において、Mコア・ポイントが選択される。鋭度基準により、手書きパターンが、急な方向転換を行うかどうかが判定される。次に、Mコア・ポイントが、その位置において選択される。鋭度基準が満たされるかどうかの判定は、検出された各ポイントにおいて手書きパターン10の微分を計算することによって行われる。急な方向転換が行われる箇所では、微分は、大きい値をとる。鋭度基準及び曲率基準は、N−Sコア・ポイント・ペアの間における、幾つかのMコア・ポイントを選択するために使用ることが可能である。鋭度基準又は曲率基準に従って、関心対象となるポイントが全く見出されなかった場合、Nコア・ポイントとSコア・ポイントの間の曲線の長さの半分に相当する中間ポイントが、Mコア・ポイントとして選択される。
本方法は、各コア・ポイントにおいて、又は各コア・ポイントの近傍において、手書きパターンの特徴を特定することを更に備える(ステップ106)。抽出されたコア・ポイント12の座標値を、認識目的で直接に使用することが考えられる。しかし、コア・ポイント12の周囲も、手書きパターン10の形状のいくらかの情報を備える。その追加の形状情報を含めるため、現在の好ましい実施例によれば、各コア・ポイントに関して5つの特徴のセットが、特定される。各コア・ポイント12には、そのコア・ポイント12が、どのように選択されたかに応じて、或るラベル・セットからの或るラベルが与えられる。この場合、3つのラベルN、S、及びMが、使用される。コア・ポイント12の、そのラベルは、コア・ポイント・シーケンスをテンプレートとマッチングさせるための基礎を形成する。更に、それらの特徴は、コア・ポイント12に向かう、又はコア・ポイント12から出る方向ベクトル、コア・ポイント12のy座標値、即ち、主な筆記方向と直交する方向における値と、コア・ポイント12から、右側の最も遠い前のコア・ポイントまでの、主な筆記方向と平行なx座標に沿った符号付きの距離dxとを備える。更に、ペンが、コア・ポイント12において持ち上げられているか、又は押し下げられているか判定することが可能である。その特徴は、しばしば、セグメント化ポイントを示すが、或る記号における2つのストローク間の中断を示すことも可能である。したがって、その特徴は、コア・ポイント12において、ペンが持ち上げられる、又は押し下げられることを許す記号を認識するために使用ることが可能である。
次に、手書きパターン10の選択されたコア・ポイント12の特定された特徴が、その手書きパターン10の認識のための候補又は候補群を見出すために、テンプレートと比較される(ステップ108)。テンプレートは、データベースの中で提供され、順次コア・ポイントの特徴によって表現される。このため、特定された特徴は、テンプレートの特徴と直接にマッチングさせられる。データベースは、ユーザが、様々な筆記スタイルを有するにもかかわらず、パターンを認識するために、同一の記号の異書体を表す、幾つかのテンプレートを備えることが可能である。更に、データベースは、つなぎ、即ち、2つの文字を通常、一緒に結合し、実際の文字の一部ではないストロークを表すテンプレートも備える連続する語の途中のすべての文字は、つなぎを有するのに対して、語の始めの文字は、つなぎを有することも、有さないことも可能である。また、連続する語は、やはり、つなぎで終わることが可能である。一部のテンプレートは、つなぎが含まれた文字を表すことが可能である。このことは、文字「e」、「r」、「c」、「x」、及び「s」のテンプレートに関して有利に使用されることが可能である。
次に、図3及び図4を参照して、手書きパターン10の選択されたコア・ポイント12の特徴をテンプレートと比較することを説明する。コア・ポイント12は、手書きパターン10の可能なセグメント化ポイントと考えられる。更に、第1の可能なセグメント化ポイントから第2の可能なセグメント化ポイントまでのコア・ポイント12のシーケンスは、手書きパターンにおける可能な記号の表現と考えられる。このため、コア・ポイント12のシーケンスの特徴は、テンプレートと比較される。
選択されたコア・ポイント12は、テンプレートと比較されることが可能なコア・ポイント12の比較的多数の異なるシーケンスを表す。比較を構造化するため、コア・ポイント12は、シーケンスで解析される。最初のコア・ポイント12から始めて、コア・ポイント12の任意の可能なシーケンスが、テンプレートとマッチングさせられる。テンプレートとマッチングするシーケンスのエンド・コア・ポイント12が、グラフにおけるノードとして格納される(ステップ110)。このようにして、テンプレートに関連付けられたセグメント候補が、コア・ポイント12のシーケンスによって表現される手書きパターン10のセグメントの可能な認識として選択される。コア・ポイント・シーケンスとセグメント候補の間のマッチング尺度を与える距離値が、最初のコア・ポイントとノードの間のパスを表すノードの中に格納される(ステップ112)。最初のコア・ポイントからのコア・ポイント12のすべての可能なシーケンスが、テンプレートとマッチングさせられると、グラフにおけるノードとして格納されたコア・ポイント12から始めて、更なるマッチングが行われる。次に、テンプレートと更なるコア・ポイント・シーケンスの間の距離値が、更なるコア・ポイント・シーケンスの開始ノードにおいて格納された最初の距離値に追加される。このため、累積距離値が、グラフにおけるノードにおいて格納される。このようにして、非循環グラフが、すべてのコア・ポイント12に関して形成され、グラフにおける最後のコア・ポイントは、グラフを通るエッジに沿った様々なパスに関する累積距離値の情報を保持する。その時点で、セグメント候補のシーケンスが、手書きパターン10の可能な認識結果として特定されており、ステップ114、グラフを通るエッジに沿ったパスとして表現される。ユーザに提示するために認識候補として戻されるべき、グラフを通るエッジに沿った、選択されたパスは、以下に更に詳細に説明する通り、辞書との比較によって特定さることが可能である。
図4に、図2の手書きパターン10の、テンプレートとのマッチングを表すグラフ20が、示されている。グラフ20は、番号が付けられた円として表されるノード群22と、それらのノード間のエッジ24とを備える図示されるように、手書きパターンの様々なセグメント化を表す、グラフを通る幾つかのパスが、存在する。このため、手書きパターン10とテンプレートのマッチングにより、手書きパターン10の可能なセグメント化も同時に定義され、セグメント化された手書きパターン10とセグメント候補シーケンスの間の類似の尺度がもたらされる。
手書きパターンにおける1つのコア・ポイントと、テンプレートにおける1つのポイントとの間の距離値は、それらのポイントの特徴の間の差の絶対値の重み付き合計である。コア・ポイント・シーケンスとテンプレートの間の距離値は、個々のポイント間の距離値の合計である。しかし、グラフにおけるノードを形成するコア・ポイントの距離は、1回だけしか計算されるべきでない。このため、ノードを形成するコア・ポイントと、テンプレートとの間の距離は、ノードに至るパス、又はノードからのパスに割り当てられることが可能であり、コア・ポイントと、ノードに至るパス、及びノードからのパスに対応する両方のテンプレートとの間の平均距離を反映する。
しかし、特定のセグメント候補シーケンスは、禁止ることが可能である。そうすることは、手書きパターン10における情報が正しくない状況を補償する際に役立つ可能性がある。しかし、そうすることは、不可能な候補、又は可能性の低い候補を拒否することにより、認識結果を向上させるために使用ることも可能である。例えば、2つのつなぎのシーケンスが、禁止されることが可能である。更に、或る重み、特定のセグメント候補シーケンスに関する累積距離値に与えること可能である。このことは、可能性の低いテンプレート・シーケンスを備える認識結果が、完全に拒否されるのではなく、それらの認識結果が、最小の累積距離値を有するのをより困難にする重み、それらの認識結果に与えることが可能であることを意味する。
この時点で、手書きパターン10の幾つかの異なる可能な認識が、図4に示される通り、特定されている。手書きパターン10の最も可能性の高い認識を選択するため、グラフ20におけるセグメント候補シーケンス、辞書と比較ることが可能である。次に、図5〜図7を参照して、辞書との比較を実行する実施例を説明する。
辞書との比較を実行するために、様々な可能なセグメント候補シーケンスを表す認識グラフ40、形成ることが可能である(ステップ120)。次に図6を参照して、認識グラフ40を説明する。図6は、図2に示される手書きパターン10の認識に関して作成された認識グラフ40の例を示す。認識グラフ40は、手書きパターン10のセグメントを認識するために使用されるグラフ20とよく似た仕方で構築される。しかし、認識グラフ40の中に含められる情報は、減らることが可能である。例えば、グラフ20は、手書きパターン全体とは合わないセグメント化ポイントを備える可能性がある。そのようなセグメント化ポイント、及び不完全なセグメント候補シーケンスは、認識グラフ40を形成する際、無視ることが可能である。更に、グラフ20は、同一のセグメント候補シーケンスをもたらす、異なるセグメント化を備える可能性がある。それらのセグメント候補シーケンス重複も、認識グラフを形成する際、無視することが可能である。
認識グラフ40は、手書きパターン10をテンプレートと比較する際に、可能なセグメント化ポイントとして識別されているセグメント化ポイントを表すノード群42で構築される。ノード群42は、ノード群42によって表されるコア・ポイント12の番号に応じて番号が付けられた、番号付きの円として図6に示される。ノード42は、ノード42間の手書きパターンのセグメントに関するセグメント候補の情報を有する後続のノード群へのリファレンスを有する。ノード42のリファレンスは、エッジ44によって表される。エッジ44は、図6のホワイト・ボックス内に示される通り、セグメント候補の記号の情報と、手書きパターンのセグメントとセグメント候補をマッチングさせる距離値とを備える。また、各ノード42は、そのノード42から派生するセグメント候補(図示せず)の最小数及び最大数も備えることが可能である。ノード42の中に限れた数のセグメント候補が入ることを許す認識グラフ40が、構築されることが可能である。ノード42の中に入るセグメント候補の最大許容数を設定することにより、認識グラフ40を辞書と比較する際の処理時間を制限するために、認識グラフ40のサイズが制限される。代替として、閾値未満の距離値を有するセグメント候補だけ、許てもよい。また、認識グラフ40は、辞書を考慮に入れることなしに、手書きパターンと最もよくマッチングするセグメント候補のシーケンスを迅速に戻すために使用ることも可能である。そうすることは、ノードの中に入ることが許されるセグメント候補の最大数を1に設定することによって達成させることができる。すると、認識グラフ40は、最低の距離値を有するセグメント候補シーケンスだけを備える
図7に、辞書50の単純化された例が、示されている。示される辞書50は、幾つかの語だけを備えるが、辞書50の現在、好ましい構造を示す。辞書50は、Trieグラフとして形成される。グラフ50は、記号を表すノード群52を備える。ノード群52は、許される記号シーケンスが、グラフ50を通るストリングとして形成されるように、エッジ54によって接続される。ルート・ノードは、空のストリングを表し、したがって、すべての記号シーケンスは、ルート・ノードを共有する。シーケンスの中の最後の記号を表すノード群には、図3においてグレーでマークが付けられている。また、各ノード52は、そのノード52から派生する記号(図示せず)の最小数及び最大数の情報も備えることが可能である。
認識グラフ40は、認識グラフ40のノード群42を辞書50と段階的に比較することにより、辞書50と比較される(ステップ122)。最初の認識グラフ・ノードで開始して、そのノードからのエッジのセグメント候補の妥当性が、同一の記号から始まる語が、辞書50の中に存在するかどうかをチェックすることによって判定される。次に、最初の認識グラフ・ノードからのエッジが、妥当な記号の情報で更新され、つまり、辞書50の中に対応物を有するセグメント候補が保持され、その一方で、その他のセグメント候補は、破棄される。エッジの更新された情報は、図6にグレーでマークが付けられたボックス内に示される。また、エッジは、認識グラフ40におけるセグメント候補シーケンスにおけるそれぞれの位置に対応する、辞書50の中のノード群へのリファレンスで更新される。その後、比較は、認識グラフ40におけるすべてのノード42にわたって続けられ、辞書50の中で対応物を有さないすべてのセグメント候補シーケンスが破棄される。各認識グラフ・ノード42に関して、そのノードからのエッジのセグメント候補の妥当性が、辞書50の中に、認識グラフ・ノードの中に入るようにエッジによって参照される、そのノードからのエッジにおける対応する記号が存在するかどうかをチェックすることによって判定される。
セグメント候補シーケンスに記号の最小数及び最大数の情報を使用して、妥当性検査は、或る語の、それらの長さ境界が、辞書50の中の該当するノードによって満たされるかどうかをチェックすることも備えることが可能である。長さ境界が、満たされない場合、そのセグメント候補シーケンスは、破棄されることが可能である。
更に、時間の複雑さを制御するため、認識グラフ40におけるすべてのノード42に関して、Trieグラフ50の中に入るリファレンスの数の上限が、設定されることが可能である。こうして、時間の複雑さの制御が、得られる。しかし、不良な初期マッチングを有するセグメント候補シーケンスが、破棄されるリスクが、存在する。
認識グラフ40のすべてのノードが、解析されると、認識グラフ40の最後のノードは、辞書の中にも存在する手書きパターン10の最良の認識候補の情報を保持する。その時点で、手書きパターン10に関する認識候補、ユーザに提示されるように、戻ことが可能である(ステップ124)。最低の累積距離値を有する認識候補、手書きパターンの解釈としてユーザに提示ることが可能である。代替として、ユーザが、正しい解釈を選択することができるように、幾つかの認識候補、ユーザに提示しても良い
次に図8を参照して、手書きパターンの認識のためのデバイス30を説明する。デバイス30は、手書きパターンをポイント・シーケンスとして記録するための検出器32を備える。検出器32は、ユーザが書き込むことができる感圧スクリーンとして実施さることが可能である。デバイス30は、検出された手書きパターンを解析するためのアナライザ34を更に備える。アナライザ34は、コンピュータの中央処理装置上で実行されるプログラムとして実施さることが可能である。アナライザ34は、手書きパターンのコア・ポイントを選択するための手段と、コア・ポイントにおいて、又はコア・ポイントの近傍において手書きパターンの特徴を特定するための手段とを備える。デバイス30は、コア・ポイントの特徴として表現されたテンプレートを備えるデータベース36を更に備える。アナライザ34は、手書きパターンのコア・ポイント・シーケンスの特徴とテンプレートの間の距離値を計算するための手段を更に備える。アナライザ34は、手書きパターンをテンプレートと構造的に比較するためにグラフを形成するように構成される。アナライザ34は、手書きパターンの可能な認識を形成するセグメント候補シーケンスを表す認識グラフを形成するように更に構成される。デバイス30は、許される語又は記号シーケンスを表すTrieグラフを備える辞書38を更に備える。アナライザ34は、手書きパターンと最もよくマッチングする記号シーケンスを特定するために、認識グラフを辞書と比較するように更に構成される。それらの可能な認識結果は、ディスプレイ上で提示されることが可能であり、ディスプレイは、感圧スクリーンと別個であっても、手書きパターンが入力された感圧スクリーンに組み込まれていてもよい。
別の実施例によれば、前述した方法及びデバイスの実施の際に、手書きパターンの区別符号に、特別な考慮が与えられることが可能である。本願明細書の文脈では、区別符号という用語は、記号の近くの、又は記号と交差するマーク又はストロークとして解釈されるべきであり、一部のケースにおけるマーク又はストロークは、そのマーク又はストロークを有する記号が、そのマーク又はストロークを有さない記号とは別の記号であることを示し、例えば、
a〜とa、
tとl、一部のケースでは、区別符号なしに、記号が、それでも正しい記号と解釈されることが可能な、記号の特徴である、例えば、i及びj。連続する手書きでは、多くの区別符号は、語の残りの部分が書かれた後に、引かれる。区別符号は、認識のために重要である。そうである1つの理由は、連続する語における多くのセグメントが、区別符号なしの記号とマッチングする可能性があることであり、例えば、ドットなしの「i」は、別の文字の一部であると解釈される可能性がある。
連続する語を、時間的に並べ替えられた文字セグメントに分解するセグメント化ベースの方法、例えば、本願明細書で前述した方法の場合、正しい認識を可能にするために、区別符号を考慮することが重要である可能性がある。
区別符号の情報を利用する一実施例では、図1のステップ106で、区別符号に関する情報は、特徴として、コア・ポイント・サブセットに割り当てられる。したがって、区別符号と関係する情報は、コア・ポイントに存在し、そのため、可能な記号をテンプレートと比較することの結果に影響を与える要因として、認識中に利用されることが可能である。
区別符号は、手書きパターンにおいて、結合されていないつなぎの線として、即ち、いずれのセグメントにも結合されておらず、つなぎとして識別されているストロークとして識別されることが可能である。
コア・ポイント・サブセットのコア・ポイントに割り当てられる特徴において使用されることが可能な特性は、区別符号の位置、即ち、x座標とy座標、その特定のコア・ポイントから区別符号までの絶対距離、x方向におけるコア・ポイントから区別符号までの距離、y方向におけるコア・ポイントから区別符号までの距離、区別符号の長さ、区別符号の形状などであることが可能である。コア・ポイントに割り当てられた区別符号と関係する特徴は、以上の特性の1つだけ、又は複数の特性の組合せを備えることが可能である。
区別符号が割り当てられたコア・ポイント・サブセットは、そのサブセットが、N又はMとラベルが付けられたコア・ポイント12だけを備えるように構成さることが可能である。これにより、本方法は、すべてのコア・ポイントが含まれたとした場合より、高速になる。
区別符号特徴は、逐次解析における現在のノード22の距離値にペナルティを与えるために、コア・ポイント12の逐次解析中に使用されることが可能である。例えば、現在のノード22に関して、示唆される記号、即ち、候補が、「i」であり、区別符号が、そのノード22に関連するコア・ポイント12に適度に近い場合、そのノード22には、比較的小さいペナルティが与えられることが可能である。コア・ポイント12と区別符号の間のより大きい距離は、より大きいペナルティをもたらす。最大のペナルティは、区別符号を有すべき候補の欠落した区別符号に関して与えられるペナルティに相当する値に設定されることが可能であり、そのような最大のペナルティは、区別符号までの距離が、或る特定の値を超える場合の候補に与えられることが可能である。逐次解析中の区別符号特徴の使用により、区別符号が、グラフ20の形成中にグラフ20の累積距離値に影響を与えるようにさせることが可能になる。このことは、文字「i」及び「j」に関して特に関心を引く。というのは、それらの文字の構造の単純さのため、区別符号が考慮されない場合、他の文字/記号の諸部分が、「i」又は「j」として誤って解釈されるという潜在的なリスクがもたらされるからである。したがって、前述のスキームにより、「i」及び/又は「j」を候補/候補群として含み、その候補の最初のコア・ポイントから適当な距離の範囲内に位置する区別符号を有するパスが、有利にされる。また、逐次解析中の区別符号特徴の使用は、他の記号又は文字に関して実施さることも可能である。
認識プロセスにおいて区別符号に関する情報を利用する方法は、一実施例によれば、N又はMというラベルを有する各コア・ポイント12に関して、最も近い区別符号ポイントを特定し、区別符号特徴を、前述した通り、そのような各コア・ポイントに関連付けることであることが可能である。別の実施例によれば、最も近い区別符号ポイントの特徴は、N又はMというラベルを有する各コア・ポイント12に割り当てられ、最も近い区別符号ポイントは、コア・ポイントから所定の距離の範囲内である。区別符号特徴を割り当てた後、手書きパターン10のセグメント化を表すグラフ20の構築中、区別符号を備える記号とマッチングしたセグメント化、即ち、候補記号は、そのセグメント化の開始Nコア・ポイント又は開始Mコア・ポイントまでの距離と関係する値によってペナルティが与えられることが可能である。必要なすべてのNコア・ポイント及びMコア・ポイントに区別符号の特徴が割り当てられるわけではない実施例において、最大のペナルティは、区別符号を有することになっており、その候補のNコア・ポイント又はMコア・ポイントに区別符号の特徴が割り当てられていないノードに与えられる。
更に、区別符号が明らかに必要とされていない箇所で区別符号を有する、セグメント化グラフにおけるエッジに沿ったパスからもたらされる候補語には、そのような候補語を辞書とマッチングさせた後、ペナルティが与えられることが可能である。辞書の使用については、本願明細書において前段で説明した。候補語が、区別符号が明らかに必要とされていない箇所で区別符号を備えるかどうかを判定するのに使用されることが可能な一方法は、その候補語が、多過ぎる区別符号を備えるかどうかをチェックすることである。そうすることは、候補語に含まれる区別符号の数を、その候補語をもたらすパスにおいて識別される区別符号の数と比較し、次に、その候補語の余剰の区別符号にペナルティを与えることによって達せられることが可能である。
例えば、
A−B>0の場合、ペナルティ=係数・(A−B)
A−B<0の場合、ペナルティ=0
A=区別符号の最大級(候補語)
B=区別符号の観察される数(候補語をもたらすパス)
候補語をもたらすパスにおける区別符号の観察される数は、結合されていないつなぎの線、即ち、いずれのセグメントにも結合されておらず、つなぎとして識別されているストロークの数を数えることによって得られることが可能である。
更なる実施例によれば、未使用の区別符号には、もたらされる候補語と、その候補語をもたらすパスの間で区別符号マッチング検査を適用することによってペナルティが与えられることが可能である。そうすることは、候補語に含まれる区別符号の数を、その候補語をもたらすパスにおいて識別された区別符号の数と比較し、次に、その候補語において欠落している区別符号にペナルティを与えることによって達成させることが可能である。
例えば、
B−A>0の場合、ペナルティ=係数・(B−A)
B−A<0の場合、ペナルティ=0
A=区別符号の数(候補語)
B=区別符号の観察される数(候補語をもたらすパス)
以上のスキームを使用することにより、システムは、例えば、「blind」という語をblindとして認識することが、その書かれたテキストの文字「i」が、文字「e」によりよく似ており、「blend」という語をもたらす可能性があるケースでも、更に、ドットが、多少、誤った位置に置かれている場合でも、できる。
本願明細書で説明する好ましい実施例は、全く限定するものではなく、多数の代替の実施例が、添付の特許請求の範囲によって定義される保護の範囲内で可能であることが、強調されなければならない。
手書きパターンを認識するための方法を示す流れ図である。 手書きパターンをテンプレートと比較するために使用されるべき、選択されたセグメント化ポイントを示す手書きパターンの例を示す図である。 手書きパターンをテンプレートと比較するための方法を示す流れ図である。 テンプレートと手書きパターンの間の距離値を特定するために形成されているグラフのチャートである。 認識グラフを辞書と比較するための方法を示す流れ図である。 手書きパターンの可能な認識から形成されている認識グラフの実施例を示す図である。 辞書の実施例を示す図である。 本発明の或る実施例による、手書きパターンを認識するためのデバイスを示す概略図である。

Claims (16)

  1. 1つ又は複数の曲線を備えかつ複数の記号を表す手書きパターンに関する少なくとも1つの認識候補を特定するための方法をコンピュータに実行させることが出来る命令を格納する、コンピュータ読出し可能なメモリ・デバイスであって、当該方法が、
    a) 前記手書きパターンをセグメント化しかつ前記手書きパターンのこれらのセグメントを記号として認識する際に使用するために、前記手書きパターンにおける可能性のあるセグメント化ポイントを選択するステップ、
    b) 前記手書きパターンのセグメントを、記号又は記号の一部を表すテンプレートと比較するステップであって、前記手書きパターンのセグメントは、第1のセグメント化ポイントから第2のセグメント化ポイントまでの可能性のあるセグメント化ポイントのシーケンスに対応し、当該比較が、前記手書きパターンの前記セグメントの可能性のある認識結果を形成するテンプレートに関連するセグメント候補を戻し、各セグメント候補が、前記テンプレートと前記手書きパターンの前記セグメントとの間のマッチングの尺度に関連している、比較するステップ、及び
    c) セグメント候補シーケンスの表現を形成するステップであって、当該表現が、前記手書きパターンにおけるセグメント化ポイントに対応するデータ・ブロックを備え、データ・ブロックが、後続のセグメント化ポイントに対応するデータ・ブロックへのリファレンスを備え、前記リファレンスが、セグメント候補の情報と、前記セグメント化ポイント間の前記手書きパターンの前記セグメントに対して関連させた尺度とを備え、
    ノードとエッジを有する認識グラフを作成するステップであって、各ノードが、可能性のあるセグメント化ポイントを表し、各エッジが、1つのノードから他のノードへのセグメント化ポイントのシーケンスのパスを表し、当該パスが、前記手書きパターン内の可能性のある記号に対応し、かつセグメント候補と前記手書きパターンのセグメントとのマッチングに対応する少なくとも1つの尺度に関連していて、前記認識グラフを作成するステップが、前記同一ノード間の記号の同一シーケンスに対応するパスの重複を廃棄するステップを備える、ステップと、
    前記セグメント候補シーケンスの前記表現を辞書と比較するステップであって、当該辞書が、記号のシーケンスとして表現されていて、シーケンスにおける記号が、許される後続の記号へのリファレンスを保持する、比較するステップと、
    前記辞書の中で許される記号シーケンスに対応するセグメント候補シーケンスを探し出すステップと、
    これらの許される記号シーケンスの少なくとも1つを、前記手書きパターンに対する認識候補として戻すステップと、
    を備える、セグメント候補のシーケンスの表現を形成するステップと
    を備える、コンピュータ読出し可能なメモリ・デバイス。
  2. 前記セグメント候補シーケンスの前記表現を辞書と比較する当該ステップが、セグメント化ポイントのシーケンスにおいて先を調べるステップ備える、請求項1に記載のコンピュータ読出し可能なメモリ・デバイス
  3. セグメント候補シーケンスと前記手書きパターンの間のマッチングの累積尺度が、前記認識候補間のランク付け順序を決定するために使用される、請求項1に記載のコンピュータ読出し可能なメモリ・デバイス
  4. 表現を形成する当該ステップが、特定された数のセグメント候補だけが、1つのノードで終わることを許すステップ備える、請求項に記載のコンピュータ読出し可能なメモリ・デバイス
  5. 前記特定された数前記セグメント候補シーケンスの前記表現を辞と比較する前記ステップの速度を制御するために調整することができる、請求項に記載のコンピュータ読出し可能なメモリ・デバイス
  6. 前記許されるセグメント候補は、最良のマッチング尺度を有する前記セグメント候補である、請求項4に記載のコンピュータ読出し可能なメモリ・デバイス
  7. 前記辞書は、Trieグラフとして表現される、請求項1に記載のコンピュータ読出し可能なメモリ・デバイス
  8. セグメント候補シーケンスの前記表現を辞書と比較する当該ステップが、前記認識グラフの前記ノードを段階的に進み、それらのノードを、前記Trieグラフにおけるノードと比較するステップ備える、請求項に記載のコンピュータ読出し可能なメモリ・デバイス
  9. 較する当該ステップは、セグメント候補を表す前記認識グラフにおける前記エッジから、前記Trieグラフにおける対応するノードへのリファレンスを作成するステップ備える、請求項に記載のコンピュータ読出し可能なメモリ・デバイス
  10. セグメント候補シーケンスは、前記認識グラフにおける前記ノードを段階的に進む間に、前記セグメント候補シーケンスが、前記Trieグラフにおいて対応物を全く有さないと、即座に破棄される、請求項に記載のコンピュータ読出し可能なメモリ・デバイス
  11. 前記認識グラフにおけるノードを前記Trieグラフにおけるノードと比較する当該ステップが、前記セグメント候補シーケンスの残りの部分における記号の可能性のある数を、前記Trieグラフにおける後続の記号の許される数に対してチェックするステップ備える、請求項8に記載のコンピュータ読出し可能なメモリ・デバイス
  12. 前記辞書の中の不完全な記号シーケンスに対応するセグメント候補シーケンスが、許される、請求項1に記載のコンピュータ読出し可能なメモリ・デバイス
  13. 前記セグメント候補シーケンスにおいて欠落したセグメント候補をもたらす前記手書きパターンにおける省略されたセグメントが、セグメント候補を前記辞書の中の対応しない記号にマッチングさせ、かつ前記セグメント候補に関連する前記尺度にペナルティを追加するステップによって認識される、請求項1に記載のコンピュータ読出し可能なメモリ・デバイス
  14. マッチングの前記尺度が、前記手書きパターンの特徴と、前記テンプレートの対応する特徴の間の相違の計算された距離値である、請求項1に記載のコンピュータ読出し可能なメモリ・デバイス
  15. 前記手書きパターン連続して書かれている、請求項1に記載のコンピュータ読出し可能なメモリ・デバイス
  16. 前記手書きパターン、オンラインで検出される、請求項1に記載のコンピュータ読出し可能なメモリ・デバイス
JP2007557966A 2005-02-28 2006-02-24 認識グラフ Expired - Fee Related JP5071914B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE0500465-0 2005-02-28
SE0500465 2005-02-28
PCT/SE2006/000241 WO2006091156A1 (en) 2005-02-28 2006-02-24 Recognition graph

Publications (2)

Publication Number Publication Date
JP2008532176A JP2008532176A (ja) 2008-08-14
JP5071914B2 true JP5071914B2 (ja) 2012-11-14

Family

ID=36927695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007557966A Expired - Fee Related JP5071914B2 (ja) 2005-02-28 2006-02-24 認識グラフ

Country Status (8)

Country Link
US (1) US7756335B2 (ja)
EP (1) EP1854048A1 (ja)
JP (1) JP5071914B2 (ja)
KR (1) KR20070110399A (ja)
CN (1) CN101128838B (ja)
RU (1) RU2007135945A (ja)
TW (1) TWI321294B (ja)
WO (1) WO2006091156A1 (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7712053B2 (en) 1998-12-04 2010-05-04 Tegic Communications, Inc. Explicit character filtering of ambiguous text entry
US8938688B2 (en) 1998-12-04 2015-01-20 Nuance Communications, Inc. Contextual prediction of user words and user actions
US7881936B2 (en) 1998-12-04 2011-02-01 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US7679534B2 (en) * 1998-12-04 2010-03-16 Tegic Communications, Inc. Contextual prediction of user words and user actions
US7720682B2 (en) 1998-12-04 2010-05-18 Tegic Communications, Inc. Method and apparatus utilizing voice input to resolve ambiguous manually entered text input
EP1192716B1 (en) 1999-05-27 2009-09-23 Tegic Communications, Inc. Keyboard system with automatic correction
US7750891B2 (en) 2003-04-09 2010-07-06 Tegic Communications, Inc. Selective input system based on tracking of motion parameters of an input device
US7030863B2 (en) 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
US7821503B2 (en) 2003-04-09 2010-10-26 Tegic Communications, Inc. Touch screen and graphical user interface
US7286115B2 (en) 2000-05-26 2007-10-23 Tegic Communications, Inc. Directional input system with automatic correction
US8583440B2 (en) 2002-06-20 2013-11-12 Tegic Communications, Inc. Apparatus and method for providing visual indication of character ambiguity during text entry
US7636083B2 (en) * 2004-02-20 2009-12-22 Tegic Communications, Inc. Method and apparatus for text input in various languages
US8095364B2 (en) 2004-06-02 2012-01-10 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US7907756B2 (en) * 2005-01-31 2011-03-15 Siemens Medical Solutions Usa, Inc. System and method for validating an image segmentation algorithm
US8504606B2 (en) * 2005-11-09 2013-08-06 Tegic Communications Learner for resource constrained devices
US7587378B2 (en) 2005-12-09 2009-09-08 Tegic Communications, Inc. Embedded rule engine for rendering text and other applications
US7580925B2 (en) * 2006-04-19 2009-08-25 Tegic Communications, Inc. Efficient storage and search of word lists and other text
EP2097853A4 (en) * 2006-12-01 2011-06-29 Zi Decuma Ab METHOD FOR RECOGNIZING CHARACTERS
US7907783B2 (en) * 2007-01-24 2011-03-15 Samsung Electronics Co., Ltd. Apparatus and method of matching symbols in a text image coding and decoding system
US8225203B2 (en) 2007-02-01 2012-07-17 Nuance Communications, Inc. Spell-check for a keyboard system with automatic correction
US8201087B2 (en) 2007-02-01 2012-06-12 Tegic Communications, Inc. Spell-check for a keyboard system with automatic correction
JP4940973B2 (ja) * 2007-02-02 2012-05-30 富士通株式会社 論理構造認識処理プログラム、論理構造認識処理方法および論理構造認識処理装置
US8103499B2 (en) * 2007-03-22 2012-01-24 Tegic Communications, Inc. Disambiguation of telephone style key presses to yield Chinese text using segmentation and selective shifting
US8299943B2 (en) 2007-05-22 2012-10-30 Tegic Communications, Inc. Multiple predictions in a reduced keyboard disambiguating system
US8020119B2 (en) * 2007-12-14 2011-09-13 Microsoft Corporation Engine support for parsing correction user interfaces
US8672225B2 (en) 2012-01-31 2014-03-18 Ncr Corporation Convertible barcode reader
US8270666B2 (en) 2008-02-12 2012-09-18 Certusview Technologies, Llc Searchable electronic records of underground facility locate marking operations
US8532342B2 (en) 2008-02-12 2013-09-10 Certusview Technologies, Llc Electronic manifest of underground facility locate marks
CA2707246C (en) 2009-07-07 2015-12-29 Certusview Technologies, Llc Automatic assessment of a productivity and/or a competence of a locate technician with respect to a locate and marking operation
EP2263193A1 (en) * 2008-03-12 2010-12-22 Lumex As A word length indexed dictionary for use in an optical character recognition (ocr) system.
US8634645B2 (en) * 2008-03-28 2014-01-21 Smart Technologies Ulc Method and tool for recognizing a hand-drawn table
US8902251B2 (en) 2009-02-10 2014-12-02 Certusview Technologies, Llc Methods, apparatus and systems for generating limited access files for searchable electronic records of underground facility locate and/or marking operations
US8572193B2 (en) 2009-02-10 2013-10-29 Certusview Technologies, Llc Methods, apparatus, and systems for providing an enhanced positive response in underground facility locate and marking operations
KR101080254B1 (ko) * 2009-06-02 2011-11-08 (주)펜앤프리 터치스크린을 이용한 필기 입력 방법 및 이를 이용한 필기 입력 장치
US8310461B2 (en) 2010-05-13 2012-11-13 Nuance Communications Inc. Method and apparatus for on-top writing
US8977558B2 (en) 2010-08-11 2015-03-10 Certusview Technologies, Llc Methods, apparatus and systems for facilitating generation and assessment of engineering plans
CN102385707A (zh) * 2010-08-30 2012-03-21 阿里巴巴集团控股有限公司 一种数字图像识别的方法、装置及爬虫服务器
US20120281919A1 (en) * 2011-05-06 2012-11-08 King Abdul Aziz City For Science And Technology Method and system for text segmentation
US10254952B2 (en) 2012-09-26 2019-04-09 Google Llc Progress display of handwriting input
US9026428B2 (en) 2012-10-15 2015-05-05 Nuance Communications, Inc. Text/character input system, such as for use with touch screens on mobile phones
US20150371100A1 (en) * 2014-06-23 2015-12-24 Xerox Corporation Character recognition method and system using digit segmentation and recombination
US10101889B2 (en) 2014-10-10 2018-10-16 Salesforce.Com, Inc. Dashboard builder with live data updating without exiting an edit mode
US9767145B2 (en) * 2014-10-10 2017-09-19 Salesforce.Com, Inc. Visual data analysis with animated informational morphing replay
US9449188B2 (en) 2014-10-10 2016-09-20 Salesforce.Com, Inc. Integration user for analytical access to read only data stores generated from transactional systems
US9600548B2 (en) 2014-10-10 2017-03-21 Salesforce.Com Row level security integration of analytical data store with cloud architecture
US10049141B2 (en) 2014-10-10 2018-08-14 salesforce.com,inc. Declarative specification of visualization queries, display formats and bindings
JP6401288B2 (ja) * 2014-11-06 2018-10-10 国立研究開発法人科学技術振興機構 流れパターンの正規表現作成方法、正規表現作成装置、および、コンピュータが実行可能なプログラム
TWI560641B (en) * 2015-09-03 2016-12-01 Magic Power Co Ltd A handwriting grading system and the method thereof
US10115213B2 (en) 2015-09-15 2018-10-30 Salesforce, Inc. Recursive cell-based hierarchy for data visualizations
US10089368B2 (en) 2015-09-18 2018-10-02 Salesforce, Inc. Systems and methods for making visual data representations actionable
US10332628B2 (en) * 2016-09-30 2019-06-25 Sap Se Method and system for control of an electromechanical medical device
US10311047B2 (en) 2016-10-19 2019-06-04 Salesforce.Com, Inc. Streamlined creation and updating of OLAP analytic databases
US10514841B2 (en) * 2018-04-30 2019-12-24 Microsoft Technology Licensing, Llc Multi-layered ink object
TWI676919B (zh) * 2018-08-02 2019-11-11 義守大學 一種電腦化寫字評估與訓練方法
US11604961B2 (en) 2019-04-30 2023-03-14 International Business Machines Corporation Scalable model serving
CN113850186A (zh) * 2021-09-24 2021-12-28 中国劳动关系学院 基于卷积神经网络的智能流媒体视频大数据分析方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4611346A (en) * 1983-09-29 1986-09-09 International Business Machines Corporation Method and apparatus for character recognition accommodating diacritical marks
JPS6282486A (ja) * 1985-10-08 1987-04-15 Hitachi Ltd オンライン手書き図形認識装置
JPH01316890A (ja) * 1988-06-17 1989-12-21 Fujitsu Ltd オンライン手書文字認識方式
US5029223A (en) * 1990-02-02 1991-07-02 International Business Machines Corporation Constraint driven-on line recognition of handwritten characters and symbols
US5727081A (en) * 1991-12-31 1998-03-10 Lucent Technologies Inc. System and method for automated interpretation of input expressions using novel a posteriori probability measures and optimally trained information processing networks
CN1025764C (zh) * 1992-05-12 1994-08-24 浙江大学 字符识别方法
US5392363A (en) * 1992-11-13 1995-02-21 International Business Machines Corporation On-line connected handwritten word recognition by a probabilistic method
CA2153684C (en) * 1993-12-01 2000-03-21 John L. C. Seybold Combined dictionary based and likely character string method of handwriting recognition
IL109268A (en) * 1994-04-10 1999-01-26 Advanced Recognition Tech Method and system for image recognition
US5687254A (en) * 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
US6137908A (en) * 1994-06-29 2000-10-24 Microsoft Corporation Handwriting recognition system simultaneously considering shape and context information
EP0691623B1 (en) * 1994-07-04 2001-10-04 Hewlett-Packard Company, A Delaware Corporation Scribble matching
US6125207A (en) * 1995-06-05 2000-09-26 Motorola, Inc. Encoded facsimile communication with a selective system and method therefor
US6453070B1 (en) * 1998-03-17 2002-09-17 Motorola, Inc. Diacritical processing for unconstrained, on-line handwriting recognition using a forward search
US6285786B1 (en) * 1998-04-30 2001-09-04 Motorola, Inc. Text recognizer and method using non-cumulative character scoring in a forward search
US6249605B1 (en) * 1998-09-14 2001-06-19 International Business Machines Corporation Key character extraction and lexicon reduction for cursive text recognition
WO2000057350A1 (en) * 1999-03-19 2000-09-28 Raf Technology, Inc. Rollup functions for efficient storage, presentation, and analysis of data
AU2002230766A1 (en) * 2000-11-08 2002-05-21 New York University System, process and software arrangement for recognizing handwritten characters
JP3490703B2 (ja) * 2001-03-23 2004-01-26 ライズ株式会社 アウトラインフォント情報に基づく文字処理方法及びその方法をコンピュータシステムに実行させるためのコンピュータプログラムを記録したコンピュータ読取り可能な記録媒体
US7174043B2 (en) * 2003-02-25 2007-02-06 Evernote Corp. On-line handwriting recognizer
SE528063C2 (sv) * 2004-11-12 2006-08-22 Zi Decuma Ab Metod och anordning för segmenteringsbaserad igenkänning
RU2007135946A (ru) * 2005-02-28 2009-04-10 Зи Декума Аб (Se) Распознавание на основе сегментации

Also Published As

Publication number Publication date
CN101128838B (zh) 2011-11-16
TWI321294B (en) 2010-03-01
EP1854048A1 (en) 2007-11-14
CN101128838A (zh) 2008-02-20
JP2008532176A (ja) 2008-08-14
US7756335B2 (en) 2010-07-13
US20060239560A1 (en) 2006-10-26
WO2006091156A1 (en) 2006-08-31
KR20070110399A (ko) 2007-11-16
RU2007135945A (ru) 2009-04-10
TW200703129A (en) 2007-01-16

Similar Documents

Publication Publication Date Title
JP5071914B2 (ja) 認識グラフ
JP4787275B2 (ja) セグメント化ベースの認識
US20210034850A1 (en) System and method of character recognition using fully convolutional neural networks with attention
EP1564675B1 (en) Apparatus and method for searching for digital ink query
EP1971957B1 (en) Methods and apparatuses for extending dynamic handwriting recognition to recognize static handwritten and machine generated text
EP3539052A1 (en) System and method of character recognition using fully convolutional neural networks with attention
JP4817297B2 (ja) 文字検索装置
JP4958236B2 (ja) 手書きパターンを認識するための方法及び装置
Singh et al. Online handwritten Gurmukhi words recognition: An inclusive study
CN107912062B (zh) 叠覆手写的系统和方法
Nguyen et al. Semi-incremental recognition of on-line handwritten Japanese text
Tang et al. Reconstructing the correct writing sequence from a set of Chinese character strokes
JP7095450B2 (ja) 情報処理装置、文字認識方法、および文字認識プログラム
Vyas et al. A comprehensive survey of handwritten character segmentation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090116

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110506

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110805

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110902

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110909

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20111006

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20120327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120814

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees