JP4274941B2 - 手書き文字を復号化するための方法および装置 - Google Patents

Description

本発明は、手書きデータエントリーをコンピュータまたはその他の処理装置に読み込んで復号化する方法に関し、より詳細には、必要であれば、個々の文字を１つかまたはそれ以上のプリミティブサブストロークに分解することを含む手書き文字認識方法に関する。

この明細書において参照されるすべての従来技術は、それらの従来技術が一般的に良く知られている知識の一部しか構成しない限り、本発明を想到させまたは何らかの形で示唆するものではなく、また、そのようなものであるとみなされるべきではない。

ハンドヘルドコンピュータのような従来技術による処理装置は、手書きのデータ入力に基づいたユーザ命令を復号化することができる。その他の装置は、疑似手書き形式を用いてユーザがデータを入力することを強いる。そのような装置の１つの例は、Ｐａｌｍ Ｃｏｍｐｕｔｅｒであり、Ｇｒａｆｆｉｔｉとして知られている独自開発の入力形式を使用する。この入力形式は、ハンドヘルドコンピュータのユーザが、タッチスクリーン領域上において、プラスチックのスタイラスを予め定義された動きで動かすことによって、データを装置に入力するのを可能にし、それぞれの文字は、対応する「ストローク」を有し、そのストロークは、ほとんどの場合、実際の文字に類似している。

そのようなシステムは、都合のよい大きさのキーボードを有するには携帯型装置があまりにも小さすぎる場合に利点を有するが、データを入力するために、ユーザは、人工「言語」を学習しなければならない。

個々のユーザが有する手書き文字の様式の種類は、極めて多く、そのために、様々なユーザの手書き文字を自動コンピュータ認識するには、様々な問題が存在する。このために、商業的に実現可能な手書き文字認識システムは、コンピュータ装置において、まだ、あまり使用されていない。特定の装置の期待入力書体と一致するようにユーザがそのユーザの書き方を適合させることを必要とせずに手書き文字を読み込むことのできるシステムを提供することが望ましい。

ほとんどのパターンまたは文字認識システムは、データの基本プリミティブを識別するために、また、入力におけるノイズレベルを最小限に抑制するために、入力信号のある種のセグメンテーションを実行する。また、特徴抽出中に使用される情報の量を減少させるために、セグメンテーションが実行され、入力信号のより抽象的な特徴において、パターン認識が発生するのを可能にする。

手書き文字認識システムにおいては、多くの場合、個々のストロークは、前処理中に、いくつかのサブストロークプリミティブに分割される。そして、これらのプリミティブは、特徴抽出モジュールへ供給され、あるいは、パターン分類のために直接に使用される。筆記体活字または連結された活字の認識システムにおいては、ただ１つのストロークが、１つよりも多い字体を表現してもよく、したがって、セグメンテーションは、潜在的な字体セグメンテーション点を識別するのに使用される。

人間運動システムの特性に基づいた簡単なアプローチも含めて、これまでに、多くのセグメンテーション技術が、研究団体によって発表されてきた。例としては、曲率最大値、重要点、および、速度極値において分割すること、あるいは、これらの技術の組み合わせ（例えば、曲率極値および速度最小値が同時に発生する点を探索する）が含まれる。別の研究は、弾道学的ジェスチャー検出を用いて、ストロークの独立成分分析、および、ストロークを分割するための正規性および特異性の概念を提案している。

上述した処理は、セグメンテーションの基礎として、手書き文字の生成を使用するが、別の技術は、知覚処理に基づくものである。字体の視覚的な復号化に重要なことは、プリミティブの局所的相対位置からなるパーセプトロンであり、そのために、位置の極値が、字体形状の認識において重要な役割をなす。セグメンテーションのための基準に基づいたパーセプトロンは、Ｘ極値およびＹ極値、尖点、および、ストローク交点を含む。

ストロークセグメンテーションは、ある特定の条件下においては、手書き文字認識システムの精度を改善することができるが、認識誤りの主要な発生源でもあり得る。運動に基づいたほとんどのストロークセグメンテーションアルゴリズムは、セグメンテーション点を選択するとき、ある種のしきい値を適用し、その結果、場合によっては、汚く書かれたストロークを一貫性を欠いて分離することになる。図２ｂ）は、汚く書かれた字体「ａ」の曲率極値に基づいた正しくないセグメンテーションを示す。

この例においては、ストロークのセグメンテーションは、より直線的な部分の上端における極端な曲率をセグメンテーション点として用いて、その直線的な部分から「ａ」の円形部分を分割または切り出すのに使用されている。図２ａ）は、正しいセグメンテーション点を示す（十字記号で示されるように）。しかしながら、図２ｂ）は、円形部分中に曲率極値を有し、また、字体直線部分の開始点を指示する期待尖点が存在せず、その結果として、ストロークの正しくないセグメンテーションをもたらす。

更に、手書き文字は、一連の弾道学的な運動（すなわち、開始点から最大速度まで加速し、そして、目標点において減速する）によって生成されるので、速度が、セグメンテーションのために使用される。速い速度の区間は、一般的には、直線であり、遅い速度は、通常、曲率の極値において発生する。しかしながら、速度は、また、しきい値処理問題の影響を受けやすく、それに加えて、ユーザは、ストロークを書いているときに休止することがあり、正しくないセグメンテーション点を発生させる。図３において、字体「ａ」のサンプリングされた点が、四角で示される。ペンの速度は、サンプル間の間隔から導き出すことができ（一定のサンプリング速度であると仮定すれば）、したがって、大きな間隔は、速い速度を示し、お互いに近接するサンプルは、遅い速度を示す。この例において、遅い速度（および、大きな曲率）の領域は、直線部分の上端に存在する尖点における、および、直線部分の下端に存在する小さな鉤状部分における、サンプルのクラスタと考えられる。しかしながら、遅い速度の別の領域が、（円形領域の左側に）存在し、その領域は、ダウンストロークにおいて躊躇する筆者（書き手）によってもたらされたものである。したがって、字体「ａ」は、明らかに、きちんと書かれているが、この速度に基づいたセグメンテーションは、一貫性のない結果をもたらすであろう。

Ｙ極値をセグメンテーション点として用いるような、知覚によるセグメンテーション技術は、一般的には、しきい値処理問題からの影響を受けない。なぜなら、点が局所的極値であるかどうかを決定するのに、数値を必要としないからである。しかしながら、これらの技術は、また、一貫性のないセグメンテーションからの影響を受ける。図４ａ）においては、字体「ａ」が、十字記号によって示されるように、ストロークの開始点の近くに位置するＹ極値において分割される。しかしながら、図４ｂ）に示される第２の字体「ａ」は、明らかに、第１の字体と同じものであるが、このストロークは平坦になる傾向があるので、その位置にはＹ極値を含まない。

その他のほとんどのセグメンテーション技術は、これらの問題からの影響を受け、とりわけ、汚く書かれた字体によって悪影響を受ける。ストロークセグメンテーションの困難且つ誤りを起こしやすい性質のために、多くのシステムは、どのような種類のストロークセグメンテーションも試みておらず、ただ単に、ユーザによって提供された分割されていない生のストロークを直接に処理する。ストロークセグメンテーションを実行しないそれらのシステムは、通常、一貫性のないセグメンテーションの影響を最小限に抑制するために、ある種の弾性マッチング処理を実行する。

“Ｅｌａｓｔｉｃ Ｓｔｒｕｃｔｕｒａｌ Ｍａｔｃｈｉｎｇ Ｆｏｒ Ｒｅｃｏｇｎｉｚｉｎｇ Ｏｎｌｉｎｅ Ｈａｎｄｗｒｉｔｔｅｎ Ａｌｐｈａｎｕｍｅｒｉｃ Ｃｈａｒａｃｔｅｒｓ，”Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＨＫＵＳＴ−ＣＳ９８−０７，Ｄｅｐａｒｔｍｅｎｔ Ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｈｏｎｇ Ｋｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｍａｒｃｈ １９９８は、ストロークを複数の線分に分割するために、曲率の極値を使用することを開示している。しかしながら、これは、「汚い書き方のために滑らかなストロークがいくつかの部分に分割される」ことを認めており、そのために、正しくないセグメンテーションが発生する。それを阻止するために、これは、正しくないセグメンテーションを検出することを試みる一組の規則を提供し、誤って切り出されたサブストロークと組み合わせ、新しいストロークを形成する。

“Ｈａｎｄｗｒｉｔｔｅｎ Ｗｏｒｄ Ｒｅｃｏｇｎｉｔｉｏｎ−Ｔｈｅ Ａｐｐｒｏａｃｈ Ｐｒｏｖｅｄ Ｂｙ Ｐｒａｃｔｉｃｅ”，Ａｄｖａｎｃｅｓ Ｉｎ Ｈａｎｄｗｒｉｔｉｎｇ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｓｅｒｉｅｓ ｉｎ Ｍａｃｈｉｎｅ Ｐｅｒｃｅｐｔｉｏｎ ａｎｄ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，３４巻，１５３〜１６２頁，Ｗｏｒｌｄ Ｓｃｉｅｎｔｉｆｉｃ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ．１９９９は、市販の光学的伝票読み取り装置において手書き筆記体ストロークを切り出すために、垂直速度におけるゼロ交差点を使用することを開示している。そして、サブストロークが、弾性マッチング認識器において使用されるべき一組のプリミティブ要素と照合される。

“Ｇｌｏｂａｌ Ｍｅｔｈｏｄｓ ｆｏｒ Ｓｔｒｏｋｅ−ｓｅｇｍｅｎｔａｔｉｏｎ”，Ａｄｖａｎｃｅｓ Ｉｎ Ｈａｎｄｗｒｉｔｉｎｇ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｓｅｒｉｅｓ ｉｎ Ｍａｃｈｉｎｅ Ｐｅｒｃｅｐｔｉｏｎ ａｎｄ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，３４巻，２２５〜２３４頁，Ｗｏｒｌｄ Ｓｃｉｅｎｔｉｆｉｃ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ．１９９９は、輪郭曲線近似に基づいたオフライン画像のストロークセグメンテーションを開示している。この方法においては、曲線は、三次Ｂスプライン曲線を用いて一次近似され、セグメンテーションは、曲率の極値点においてなされる。

“Ａ Ｆｕｚｚｙ Ｏｎｌｉｎｅ Ｈａｎｄｗｒｉｔｉｎｇ Ｒｅｃｏｇｎｉｔｉｏｎ Ｓｙｓｔｅｍ：ＦＯＨＲＥＳ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｆｕｚｚｙ Ｔｈｅｏｒｙ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，１３−１６ Ｏｃｔｏｂｅｒ，１９９３，Ｄｕｒｈａｍ，ＮＣは、ストロークを切り出すための一組のファジー論理規則を構成するために、言語学的変数からなるグループとともにペンの速度および方向のファジー論理表現を使用することを教示している。それらの切り出されたストロークは、ファジー特徴抽出のためのプリミティブとして使用される。

“Ｒｅｃｏｇｎｉｚｉｎｇ Ｌｅｔｔｅｒｓ ｉｎ Ｏｎｌｉｎｅ Ｈａｎｄｗｒｉｔｉｎｇ Ｕｓｉｎｇ Ｈｉｅｒａｒｃｈｉｃａｌ Ｆｕｚｚｙ Ｉｎｆｅｒｅｎｃｅ”，４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＤＡＲ），Ａｕｇｕｓｔ １８−２０，１９９７，Ｕｌｍ，Ｇｅｒｍａｎｙは、尖点および水平接線を備えた点におけるストロークをいくつかの組のＰＳｔｒｏｋｅ（部分的ストローク）に分割することを開示している。開示されたアルゴリズムは、（しばしば実行される点位置スムージングではなく）角度スムージングを実行するシステムを使用し、このシステムは、ペン軌跡の不連続な部分（すなわち、尖点）を変形させることがない。

“Ｄｅｔｅｃｔｉｏｎ Ｏｆ Ｅｘｔｒｅｍｅ Ｐｏｉｎｔｓ ｏｆ Ｏｎｌｉｎｅ Ｈａｎｄｗｒｉｔｔｅｎ Ｓｃｒｉｐｔｓ”，Ｐｒｏｇｒｅｓｓ Ｉｎ Ｈａｎｄｗｒｉｔｉｎｇ Ｒｅｃｏｇｎｉｔｉｏｎ，１６９〜１７６頁，２−５ Ｓｅｐｔｅｍｂｅｒ，１９９６，Ｃｏｌｃｈｅｓｔｅｒ，ＵＫ．Ｗｏｒｌｄ Ｓｃｉｅｎｔｉｆｉｃ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ．は、手書き文字認識のデルタ対数正規理論に基づいた曲率検出アルゴリズムのロバストな局所的極値を開示しており、そのデルタ対数正規理論は、“Ａ Ｄｅｌｔａ Ｌｏｇｎｏｒｍａｌ Ｍｏｄｅｌ ｆｏｒ Ｈａｎｄｗｒｉｔｉｎｇ Ｇｅｎｅｒａｔｉｏｎ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ７ｔｈ Ｂｉｅｎｎｉａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｇｒａｐｈｏｎｏｍｉｃｓ Ｓｏｃｉｅｔｙ，１２６−１２７，１９９５に開示されている。ストロークをプリミティブ要素に分割するために、これは、角度信号強度および一次交差点の計算を使用することを開示している。

“Ｐｅｒｃｅｐｔｕａｌ Ｍｏｄｅｌ ｏｆ Ｈａｎｄｗｒｉｔｉｎｇ Ｄｒａｗｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｔｈｅ Ｈａｎｄｗｒｉｔｉｎｇ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｐｒｏｂｌｅｍ”，４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＤＡＲ），Ａｕｇｕｓｔ １８−２０，１９９７，Ｕｌｍ，Ｇｅｒｍａｎｙは、一組の「知覚基点」の検出に基づいてモデル化し且つ切り出すアプローチを開示している。要するに、これは、ペンアップ、鋭い屈曲点、および、尖点と、変曲点、Ｘ極値およびＹ極値、および、ストローク交点を含む「知覚点」などの不連続点として定義される「カタストロフィー点」と、を探索する。

米国特許第６，２７５，６１１号は、「局所的角度変化が最大となり且つ設定されたしきい値を超える」点においてストロークを分割する文字認識システムを開示している。また、“Ｈａｎｄｗｒｉｔｉｎｇ Ｒｅｃｏｇｎｉｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ ａｎｄ Ａｌｐｈａｂｅｔ，Ｗｉｔｈ Ｓｔｒｏｋｅｓ Ｇｒｏｕｐｅｄ Ｉｎｔｏ Ｓｔｒｏｋｅ Ｓｕｂ−Ｓｔｒｕｃｔｕｒｅｓ”，Ａｕｇｕｓｔ １４，２００１．を参照されたい。米国特許第５，７４０，２７３号は、セグメンテーションアルゴリズムについて詳細に説明している。同様に、米国特許第５，８８９，８８９号は、「急激な方向変化のような基準によって、また、ペンを持ち上げたことによって識別される」点を検出することによって、手書き文字認識装置においてストロークセグメンテーションを実行することを開示している。これは、圧縮および再生のために手書き文字入力をパラメトリック形式で表現するように構成されたシステムにおける同様のセグメンテーション処理を開示しており、「方向が急激に変化する角および尖点」においてストロークを分割する。また、米国特許第６，０４４，１７４号も参照されたい。

米国特許第６，１３７，９０８号に記載される処理は、認識のためのストローク前処理の一部としてＹ極値を識別する。また、これらの極値間の中間点が、認識システムにおいて使用するための「フレーム」として、抽出および記憶される。

同様に、米国特許第５，６１０，９９６号は、認識のためのプリミティブとして一連の円弧を使用することを開示しており、「その円弧は、サンプルテキスト上のＹ極値点において開始および終了する」。また、この文献は、Ｘ極値および組み合わせられたＸ−Ｙ極値のような代替セグメンテーション体系を使用することを開示している。

米国特許第４，０２４，５００号は、筆記体ストロークを文字（弾道学的サブストロークプリミティブではなく）に分割するために、Ｘ極値およびＹ極値を使用することを開示している。

米国特許第５，８５４，８５５号は、ストロークを切り出すために、速度分布を使用することを教示しており、「サブストローク境界を、手書き文字入力における選択された速度最小値に対応づける」。

米国特許第５，５７７，１３５号は、Ｙ極値においてストロークを切り出すことを開示しており、その結果として、隠れマルコフモデル（ＨＭＭ）認識システムにおいて使用される一連のアップストロークおよびダウンストロークが得られる。米国特許第５，８７８，１６４号に記載される別のＨＭＭ認識システムにおいては、ストロークは、「ペンアップおよび尖点のような定義された境界条件に基づいて、字体または下位文字プリミティブに分割される」。

参照された従来技術は、それぞれ、手書き入力テキストを認識する際の問題を解決するために、新しい技術を取り入れることを試みている。従来技術のそれぞれは、問題を改善するかもしれないが、上述したすべての問題を解決するロバストなシステムを提供するものは１つもない。

範囲の広い形態において、本発明は、手書き文字認識を実行する方法を提供し、上記方法は、与えられた入力文字を記憶された一連の文字モデルの中の１つと順次に比較するステップを含み、上記比較するステップは、更に、現在の文字モデルに対応するセグメンテーション体系に基づいて、上記与えられた入力文字を１つかまたはそれ以上のセグメントに分解するステップと、上記現在の文字モデルに対応するセグメントモデルと比較して、上記１つかまたはそれ以上のセグメントを評価し、その結果として、上記評価が、上記モデルとの適合度を判定するスコアを生成するステップと、上記一連の文字モデルに含まれる複数の文字モデルに対して、上記比較するステップを反復するステップと、最も大きなスコアを割り当てられた文字モデルを選択し、上記入力文字をその文字モデルに対応する文字として分類するステップと、を含む。

好ましくは、認識される上記文字は、文字、数字、または、句読点のうちの１つである。

好ましくは、上記入力文字を１つかまたはそれ以上のセグメントに分解するステップは、

（ここで、
ｌ_ｍｉｎは、セグメントの最小長であり、
ｐ_ｉは、点ｉの座標であり、
ｎは、ストロークにおける点の数であり、
λは、最小長しきい値である）
という式に基づいて、それぞれのセグメントが最小長を有するように実行される。

好ましくは、上記現在の文字モデルに対応するセグメンテーション体系に基づいて、上記与えられた入力文字を分割することができない場合、上記与えられた入力文字に一致する可能性があるものとして、上記現在の文字モデルは、拒否される。

好ましくは、上記評価処理は、理想的なものに、より正確に一致するものによって高いスコアを割り当てる。

好ましくは、上記評価処理は、ファジー論理規則を使用する。

好ましくは、同じ文字の異なる形態を認識するのを容易にするために、それぞれの上記文字モデルは、複数のセグメンテーション体系をそれに対応づけられる。

好ましくは、上記入力文字を１つかまたはそれ以上のセグメントに分解する異なる規則が、異なる文字モデルに対して定義されてもよい。

また、装置が、提供され、上記装置は、スタイラスの運動に感応して入力刺激を生成する入力表面と、メモリーと、上記入力刺激を受け取り、そして、上記入力刺激を処理するプロセッサであって、上記プロセッサは、本発明の範囲の広い形態による方法を実行するように構成された、上記プロセッサとを含む。

手書き文字認識のためのストロークセグメンテーション処理が、開示される。評価されるモデルに依存するセグメンテーションアルゴリズムを変更することによって、一貫性があり且つロバストな一組のストロークプリミティブが得られ、その一組のストロークプリミティブは、特徴抽出および分類に使用することができる。更に、このセグメンテーション処理を使用するファジー論理識別器の例が、説明される。

発明を実施するための形態

添付の図面を参照して、本発明の好ましい限定するものではない実施形態の単なる例として提供される以下の説明から、本発明を容易に理解できるであろう。

本発明の主題をより正確に理解するために、本明細書および添付の特許請求の範囲に適用される以下の態様を説明する。

以下の例は、本発明の一実施形態のより詳細な概要を提供するものである。これらの例は、ただ単に本発明を説明するためのものであり、本発明の範囲を限定するものではない。

本発明は、手書き文字認識を実行するための方法を提供する。また、その方法を実行するための装置を提供する。本発明の特徴を説明するために添付された図面においては、すべての図面を通して、同じ符号が、類似する部分を識別するのに使用される。

本発明の実施形態による方法は、処理システムを用いて実行されてもよく、その処理システムの例が、図１に示される。

具体的には、処理システム１０は、一般的には、図示されるようにバス２４を介してお互いに結合された、プロセッサ２０、メモリー２１、グラフィックスタブレットおよび／またはタッチスクリーンのような入力装置２２、および、ディスプレイのような出力装置２３を少なくとも含む。また、データベースのような記憶装置１１に処理システムを結合するために、符号２５によって示されるように、外部インタフェースが、提供される。更に、ユーザがテキストをシステム１０に入力できるように、スタイラスが、使用されてもよい。

使用する際、処理システムは、モデルデータおよび規則データを、データベース１１に記憶し且つそのデータベース１１から取り出すことができるように構成される。これによって、プロセッサは、入力装置２２を介して、手書き文字データを受け取り、その手書き文字データを処理し、そして、それを記憶装置に記憶されたデータと比較することができる。そして、これは、処理システムが、手書きテキストに含まれる文字を認識するのを可能にする。このことから、処理システム１０は、コンピュータ、ラップトップ型コンピュータ、サーバー、専門ハードウェア、または、それらに類似するものなど、どのような形態の処理システムであってもよいことがわかる。

以下、処理システム１０の動作をより詳細に説明する。

ここで、手書き文字を認識するためのストロークセグメンテーションへのモデル固有アプローチが、モデル固有アルゴリズムの例も含めて説明される。また、処理を最適化するための技術も説明される。

従来技術に関連して上述したストロークセグメンテーションの発見的方法は、手書き文字入力は大きく変化するために、一貫性のあるセグメンテーション点をいつも提供するとは限らないことは明らかである。問題の一部分は、字体認識とは無関係に動作するセグメンテーション処理によって発生する。これは、退化的状況は誤った結果を提供することを意味し、これらのセグメンテーションの失敗は、セグメントをただ１つの文字と相関させることを試みる識別器において検出および修正するのが難しい。

手書き文字の曖昧さのために、グラフィックシンボルは、局所的文脈に依存した様々な意味を有してもよく、例えば、曖昧な字体構成は、構文情報および意味情報（辞書または文字文法のような）に基づいて、様々に解釈されてもよい。同様に、個々の字体を構成する個々のストロークおよびサブストロークは、正しい解釈がなされることを保証するために、局所的文脈によって解釈されなければならない。

モデル固有ストロークセグメンテーションを使用する本発明の実施形態は、手書き文字ストロークのセグメンテーションを延期し、セグメンテーションは、分類処理と統合される。その結果、これは、セグメンテーション処理によって使用される字体モデルによって予測されるセグメンテーション点の種類に関するより多くの情報をもたらす。ストロークを切り出すのに使用される尺度は、認識されている文字列から得られる現在の文字の期待構造に基づいたものであり、したがって、単一の大域的セグメンテーション処理は、使用されない。

それぞれの字体プロトタイプ、異綴り体、または、文字モデルが、入力と比較されるので、たとえどのような技術が重要点を識別しようとも、その重要点に基づいて、入力ストロークが、切り出され、その結果、より大きな一貫性を有して、ストロークをプリミティブに分解することができる。更に、セグメンテーション処理が、特定の字体モデルに対する期待セグメンテーション点の検出に失敗することは、そのモデルの更なる解析を必要としないことを意味し、入力の全体構造に一致しないモデルを効率的に選び出すことができる。

実際には、ユーザが、スタイラスを用いて文字を入力し、本発明の実施形態を実施するためのプログラムを実行するプロセッサが、まず最初に、入力字体が「ａ」であるかどうかを検査し、そして、「ａ」に期待されることに基づいて、入力を切り出すことを試みる。そして、プロセッサは、入力を例えば「ｂ」〜「ｚ」のような可能性のあるいくつかのまたはすべてのデータエントリーと照合することを続行し、それぞれの試みにスコアをつける。このようにして、最もぴったりと一致する結果が、入力字体として分類される。適切なスコア体系が、後に開示される。

特定の字体が書かれるであろう様々な様式を考慮に入れるために、字体ごとにいくつかのモデルが存在してもよい。例えば、ある人は、字体「ｚ」を横にして大文字の「Ｎ」に見えるように書き、また、別の人は、字体「ｚ」を数字の「３」に類似するように書く。

それぞれの字体モデルは、実行されるべきセグメンテーション処理を潜在的に必要とするが、多くのモデルは、同一かまたは類似するセグメンテーション点を使用し、これは、セグメンテーション処理のオーバーヘッドを減少させるために、これらの点が保存されてもよいことを意味することに注意されたい。例えば、字体「ｙ」および「ｇ」は、類似する垂れ下がった下部セグメントを有し、それらのセグメントが、上述したように、保存されてもよい。

認識は、信号から雑音を除去するための何らかの簡単な前処理から開始する。これは、サンプリングされた点をスムージングし（サンプリング処理に雑音があれば）、また、さもなければ認識処理を混乱させるかもしれない鉤状部分をストロークの開始点および終了点から除去するような技術を含んでもよい。また、点は、重複する点を除去することによって、あるいは、サンプル間の最小距離を実現するために再サンプリングすることによって、正規化されてもよい。

手書き文字識別器において定義されたそれぞれの字体モデルは、入力ストロークに対して実行されるセグメンテーション処理を定義する。セグメンテーションは、ストロークを一連のサブストロークに分割するのに使用される一組のセグメンテーション点を提供する。アルゴリズムは、一度に１つのストロークしか処理しない。構造的に適切であるには小さすぎるストロークのサブセグメントを生成するのを防止するために、最小サブストローク長が、ストロークの全体長に基づいて計算される。

ここで、
Ｐ_ｉは、点ｉの座標であり、
ｎは、ストロークにおける点の数であり、
λは、最小長しきい値（経験的に０．０５に設定される）である。

セグメンテーションは、アルゴリズムが現在の字体モデルによって定義された潜在的なセグメンテーション点を識別するまで、すべてのサンプルに対してそのアルゴリズムを反復して実行する。正しい点を検出することができなければ、アルゴリズムは、失敗であることを戻し、字体モデルによって予測された構造と入力が一致しないことを指示する。正しい点が検出された場合、この点においてストロークを分割することによって生成された２つのサブストロークが、ｌ_ｍｉｎよりも大きければ、ストロークは、その点において分割され、処理は、ストロークの残りの部分に対して続行される。どちらか一方のサブストロークが、ｌ_ｍｉｎよりも小さければ、そのセグメンテーション点は無視され、処理は続行する。すべてのセグメンテーション点が、正しく識別されると、処理は、終了し、そして、セグメンテーションが成功したことを認識装置に指示する。

字体モデルは、手書き文字字体の期待構造によって指示される任意のどのようなセグメンテーション技術を使用してもよく、また、あるモデルは、どのようなストロークセグメンテーションをも必要としないかもしれないことに注意されたい。例えば、「ｃ」および「ｏ」のための簡単なモデルは、ストロークをサブストロークプリミティブに細分化することを試みなくても、あっさりと正確に入力と一致するかもしれない。一般的には、これらの単一弾道学的ジェスチャーのセグメンテーションから得ることのできる情報は何もなく、分割されていないストロークと一致させることによって、従来のセグメンテーション技術によって発生することのある問題（例えば、滑らかな速度曲率分布は、筆者の書体に依存して、不定の点においてセグメンテーションを発生させることがある）を回避することができる。

以下の例は、様々なモデルのためのセグメンテーション処理を説明する。図５は、字体「ａ」の単一ストローク異綴り体のセグメンテーションに使用される重要点３０、３２を示す。

このストロークが字体直線部分の上端３２において切り出されることをモデルが期待していると仮定すれば、セグメンテーションアルゴリズムは、最初に、第１のＹ最小値３０を探索し、この点３０に続いて、Ｙ最大値３２を検出することを試みる。Ｙ最大値が、検出されると、その点は、セグメンテーション点に指定される。Ｙ最小値３０はセグメンテーションに使用されるのではなく、正しいＹ最大値点３２が検出されることをただ単に保証するだけであることに注意されたい。最初のＹ最小値３０をまず最初に探索しなければ、正しくないＹ最大値が探索されるかもしれない（図４ｂに示されるように）。また、この処理は、図１〜図３に関して上述したすべての例に対して正しいセグメンテーション点を検出することに注意されたい。

逆の例として、上で定義された「ａ」モデルを用いて、ユーザによって入力された手書き文字「ｃ」を照合することを考える。Ｙ最小値は検出されるが、それに続くＹ最大値の探索は失敗する。終了点は、セグメンテーション点と一致しない。その結果として、セグメンテーション処理は失敗し、入力が、モデルの全体構造と一致しないことを指示し、それによって、潜在的一致のリストからそのモデルを除去することができる。

上述したセグメンテーション処理は、いくつかの字体モデルに対しては良好に動作するが、別のモデルは、異なるアルゴリズムを必要とする。簡単な例として、図６は、字体「ｂ」のモデルに対するセグメンテーションを示す。

「ｂ」のこの単一ストローク異綴り体を分割するために、第１のＹ最小値が検出され、セグメンテーション点４０として使用され、垂直線サブストロークおよび曲線状の「ｏ」字形サブストロークを提供する。より複雑なセグメンテーション処理が、図７に示される。

字体「Ｂ」の上述した単一ストロークモデルにおいては、第１のセグメンテーション点が、第１のＹ最小値５０において検出される。これに続いて、Ｙ最大値５２が検出され、それに続いて、Ｘ最小値５４が検出され、そのＸ最小値５４は、第２のセグメンテーション点として使用される。図８は、切り出された字体を示す。

結果は、図８ａ）に示されるような最初の垂直線サブストローク、それに続く、図８ｂ）に示される曲線状の「ｐ」サブストローク、それに続く、図８ｃ）に示される「横を向いたｕ」サブストロークである。このセグメンテーションアプローチは、曲率および速度の変化に対してロバストなものであり、様々な書き方に対して一貫性のあるセグメンテーションを提供する。他方において、従来技術において使用される大域的セグメンテーション処理は、上述したような手書き文字の字体の極めて一貫性のないセグメンテーションを提供することがあり、それは、ペンストロークの曲率の程度および一貫性のある速度に依存する。

Ｘ極値およびＹ極値を用いてすべての字体モデルを一貫性をもって切り出すことができるわけではない。例えば、図９は、字体「Ｅ」の２ストローク異綴り体のセグメンテーションを示す。

セグメンテーション点６０および６２を検出するためにＸ最小値を使用することは、とりわけ、字体がいくぶん回転または傾斜している場合には、成功しないことがある。同様に、Ｙ最小値を使用することは、必ずしも正しいセグメンテーションを提供するとは限らない。この異綴り体の場合、第１のストロークに存在する最も大きな角度変化を有する２つの点が、セグメンテーションに使用されてもよい。角度しきい値は、これらの点を検出するのに必要とされないことに注意されたい。なぜなら、最も大きな曲率を有する２つの点は、それぞれの点における曲率値を分類することによって、容易に検出することができるからである。より高度な処理が、考えられ、例えば、セグメンテーション点は、ほぼ等しい長さのサブストロークを提供することを保証する。大まかに言えば、正しいセグメンテーション点が一貫性をもって検出されるのを保証するために、入力ストロークの何らかの構造的特徴に基づいた任意に複雑なモデル固有セグメンテーションが、実行されてもよい。

字体「ａ」に関して上述したセグメンテーション処理は、曲線状領域、それに続く尖点、それに続くダウンストロークを有する基本構造（例えば、「ｄ」、「ｇ」、「ｕ」、「ｙ」などのいくつかの異綴り体）を理解するすべての字体モデルに対してうまく動作する。その結果として、検出されたサブストロークは、これらの類似する構造を有するモデルに一致すれば、後に使用するために記憶されてもよい。更に、分類する前に、サブストロークが、特徴表現に変換される場合、特徴を反復して抽出するのを回避するために、特徴ベクトルが、記憶されてもよい。

使用することのできる多くのストロークセグメンテーション技術は、サブストローク距離および曲率情報を必要とする。ストロークセグメンテーションが実行されるたびにこれらの値を計算し直すのを回避するために、二次的データ構造が、生成され、ストローク上のそれぞれの点とともに距離および曲率の値を記憶することによって、それらの値を保存してもよい。

以下の記述は、モデル固有ストロークセグメンテーションを手書き文字の認識にどのように使用できるかを説明する。例は、ファジー論理型識別器に基づくものであるが、当業者には、この技術が、ストロークセグメンテーションを使用できるどのような種類の識別器とともに使用されてもよく、且つ、構造的（弾性マッチングのような）および統計学的な識別器にこの処理を容易に組み込むことができることは明らかなことである。

手書き文字の曖昧なものおよび様式的な変種をモデル化するための１つのアプローチは、ファジー論理を使用することであり、これは、正確に定義されていないいくつかの組の基準を定義するのを可能にする。ファジー論理識別器は、モデルを表現するファジー規則に特徴がどのくらい良好に一致するかに応じて、入力信号のメンバーシップ度をファジーモデルに割り当てることによって、うまく動作する。手書き文字認識のための適切なファジー論理識別器が、“Ａ Ｎｅｗ Ｆｕｚｚｙ Ｇｅｏｍｅｔｒｉｃ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ Ｏｎ−Ｌｉｎｅ Ｉｓｏｌａｔｅｄ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＰＲ’９８），１１２１〜１１２３頁，１９９８、および、“Ｆｕｚｚｙ Ｆｅａｔｕｒｅ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｈａｎｄｗｒｉｔｉｎｇ Ｐａｔｔｅｒｎｓ”，Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，３０巻，第１０号，１５９１〜１６０４頁，１９９７により詳細に説明されている。

例として、直線を定義するファジー論理規則は、以下の集合、すなわち、垂直線（ＶＬ）、水平線（ＨＬ）、正の傾斜を有する線（ＰＳ）、および、負の傾斜を有する線（ＮＳ）を含んでもよい。当然ながら、ほとんどの線は、これらの制限された集合の範囲内で完全に一致することはなく、通常、これらの集合の中の少なくとも２つに対するメンバーシップ度を有する。したがって、ファジー論理は、集合メンバーシップが離散的ではなくむしろ漸進的である論理的集合表記を定義する。図１０は、直線の場合に考えられる一組のグループメンバーシップ関数を示し、正規化された向き（単位：度）によって定義される。

図１０は、一連の鐘状曲線を示す。例えば、符号ＶＬを付された曲線は、垂直線を意味し、真の水平線と比較して４５°よりわずかに小さい角度から１３５°よりわずかに大きい角度までの範囲にほぼ存在する角度を有する一組の線によって定義され、９０°に最も近い線は、より大きな重み付けを有する。水平線（ＨＬ）、負の傾斜を有する線（ＮＳ）、および、正の傾斜を有する線（ＰＳ）に対して、類似する曲線が、示される。

ファジー論理識別器は、例えば、個々の字体モデルを定義する一組の規則からなる。これらの規則は、ストロークおよびサブストロークのプリミティブを一組の包括的ストローク形状と照合する。また、規則は、類似するプリミティブからなる字体を識別するのに使用される相対的な位置情報を含む。使用される言語学的プリミティブは、図１１ａ）に示される「ｏ」字形曲線（ＯＣ）、図１１ｂ）に示される「ｃ」字形曲線（ＣＣ）、図１１ｃ）に示される「ｄ」字形曲線（ＤＣ）、および、図１１ｄ）に示される右へ湾曲した垂直線（ＲＶＣ）を含む。

以下の情報、すなわち、絶対的ストローク曲率、ストロークの境界ボックスに対する開始点および終了点の相対的位置、および、開始点と終了点との間に存在する線の向きを用いて、それぞれのサブストロークごとに、これらのプリミティブ集合におけるメンバーシップ度が、ストロークの簡単な構造的解析に基づいて計算される。

位置的なプリミティブであるＬＥＦＴ、ＲＩＧＨＴ、ＴＯＰ、ＣＥＮＴＲＥ、および、ＢＯＴＴＯＭは、字体の境界ボックス内におけるストローク位置を指示し、また、上述した直線のプリミティブ（ＶＬ、ＨＬ、ＰＳ、ＮＳ）も使用される。いくつかの典型的な規則の例には、
ＲＵＬＥ「ａ」：（ＯＣ｜ＣＣ）＆ＬＥＦＴ＆ＣＥＮＴＲＥ，（ＶＬ｜ＲＶＣ）＆ＲＩＧＨＴ
ＲＵＬＥ「ｂ」：ＶＬ＆ＬＥＦＴ，（ＯＣ｜ＤＣ）＆ＲＩＧＨＴ＆ＢＯＴＴＯＭ
ＲＵＬＥ「ｃ」：ＣＣ
ＲＵＬＥ「ｄ」：（ＯＣ｜ＣＣ）＆ＬＥＦＴ＆ＢＯＴＴＯＭ，ＶＬ＆ＲＩＧＨＴ
．
．
．
がある。

上述した規則において、「｜」記号は、ファジーＯＲを示し、「＆」記号は、ファジーＡＮＤを示し、「（）」は、論理的順位を示し、「，」は、ファジーＡＮＤを用いたサブストロークの合成を示す（すなわち、「，」の左側にある式は、第１のサブストロークを用いて評価され、「，」の右側にある式は、第２のサブストロークを用いて評価され、その結果が、ファジーＡＮＤを用いて組み合わせられる）。

例として、第１の規則は、次のように解釈することができる。すなわち、「ａ」字体は、その字体の左側に配置され且つ垂直方向において中央に配置された「ｏ」字形曲線または「ｃ」字形曲線、および、それに続く、その字体の右側に配置された垂直線または右へ湾曲した垂直曲線である。それぞれの字体ごとに多くの別の規則が存在し、手書き文字の様々な様式をモデル化してもよいことに注意されたい。

これらの規則は、それぞれの字体モデルごとにプリミティブがどのように組み立てられるかを表現するものであるが、ストロークがプリミティブにどのように分解されるかを指示してはいない。これを実現するために、それぞれの規則は、規則が評価される前に入力ストロークに対して実行されるモデル固有セグメンテーション規則に対応づけられる。
ＲＵＬＥ「ａ」：ＭＩＮ_Ｙ→ＭＡＸ_Ｙ
ＲＵＬＥ「ｂ」：ＭＩＮ_Ｙ
ＲＵＬＥ「ｃ」：
ＲＵＬＥ「ｄ」：ＭＡＸ_Ｙ→ＭＩＮ_Ｙ
．
．
．
ＲＵＬＥ「ｋ」：ＭＩＮ_Ｙ，ＭＡＸ_Ｙ，ＭＩＮ_Ｘ
．
．
．

ＭＡＸ_Ｙは、次のＹ最大値を探索することを表す。ＭＩＮ_Ｙは、次のＹ最小値を探索することを表す。「→」記号は、左側に定義された点がまず最初に検出されるが、セグメンテーションには使用されないことを示し、むしろ、それに続く点が正しく探索されることを保証するために検出される。「ｃ」モデルの分類はただ１つのストロークしか必要とせず、そのために、そのモデルに対しては、セグメンテーションが実行されないことに注意されたい。「ｋ」モデルが、指定された順序で検出される複数のセグメンテーション点を含む規則の例として示される。

ストロークセグメンテーションが、モデル固有規則を用いて実行されると、サブストロークが、包括的ストローククラスにおけるメンバーシップ度によって分類される。そして、これらのメンバーシップ値は、構造規則を評価するのに使用され、入力がどのくらい良好に字体モデルと一致するかという指示を与える。それぞれの字体モデルが、同様に、評価され、入力が、最も大きなファジーメンバーシップ値を与えるモデルのクラスに分類される。

要するに、それぞれの入力は、それぞれの規則に照らして、吟味され、それぞれの規則は、更に、吟味される文字と入力文字が同じものであるという予測に取り入れられるべきセグメンテーションアプローチを定義する。入力文字が規則によって吟味される文字と一致しないために、特定の文字モデルに対するセグメンテーションを実行することができなければ、ゼロまたは小さなスコアが、分類するときのその試みに付与される。

また、本発明は、本出願の明細書において個々にまたは集合的に言及または開示された２つかまたはそれ以上の部品、構成要素、および、特徴のいずれかまたはすべてを組み合わせてそれらの部品、構成要素、および、特徴から構成されるように、広い範囲で論じられてもよく、ここでは、特定の完全体について言及したが、それらの完全体は、本発明が属する分野において知られている同等のものを有し、そのような良く知られている同等のものは、個々に説明したように、本発明に含まれると考えられる。

好ましい実施形態を詳細に説明したが、ここで、当業者は、上述され且つ特許請求の範囲において請求された本発明の範囲から逸脱することなく、様々な変更、置換、および、代替をなすことができることを理解すべきである。

本発明の実施形態を説明する図であり、ユーザ入力を受け取り、そして、本発明の更なる実施形態に基づいてそのユーザ入力を処理するように構成された処理システムが示される。 字体「ａ」のきちんと書かれたバージョンを示す図である。 字体「ａ」の汚く書かれたバージョンを示す図である。 字体「ａ」を解釈するのに速度セグメンテーションをどのように使用できるか、および、それに関連する問題を説明する図である。 字体「ａ」を復号化するのにｙ極値を使用した場合の問題を説明する図である。 字体「ａ」を復号化するのにｙ極値を使用した場合の問題を説明する図である。 字体「ａ」のセグメンテーションを示す図である。 字体「ｂ」のセグメンテーションを示す図である。 字体「Ｂ」のセグメンテーションを示す図である。 字体「Ｂ」の個々のセグメントを示す図である。 字体「Ｂ」の個々のセグメントを示す図である。 字体「Ｂ」の個々のセグメントを示す図である。 字体「Ｅ」のセグメンテーションを示す図である。 ファジーグループメンバーシップを線の向き（単位：度）に基づいて示す図である。 文字認識に使用される包括的ストロークプリミティブの選択を示す図である。 文字認識に使用される包括的ストロークプリミティブの選択を示す図である。 文字認識に使用される包括的ストロークプリミティブの選択を示す図である。 文字認識に使用される包括的ストロークプリミティブの選択を示す図である。

Claims (6)

1. 入力文字で手書き文字認識を処理システム内で実行する方法であって、
   （ａ）前記処理システムに結合された記憶装置内に保存され、前記記憶装置から処理システムにより取り出される複数の異なる文字のセグメンテーションモデルの各々について、文字セグメンテーションモデルの各々は、文字をセグメント化する為に異なるセグメンテーション体系を使用し、
   （ｉ）現在の文字セグメンテーションモデルに対応するモデル固有セグメンテーション規則に基づいて、前記入力文字を１つかまたはそれ以上のセグメントに分解すること、および、
   （ｉｉ）文字セグメンテーションモデル毎にプリミティブがどのように組み立てられるかを表現するセグメンテーション規則に対して、前記１つかまたはそれ以上のセグメントを評価し、その結果として、前記評価が、前記セグメンテーション規則との適合度を判定するスコアを生成すること、
   を含むステップと、
   （ｂ）最も大きなスコアを生成した文字セグメンテーションモデルを選択し、前記入力文字をその文字セグメンテーションモデルに対応する文字として分類するステップと、
   を含み、前記入力文字を１つかそれ以上のセグメントに分解するステップは、各セグメントが最小長を有するように実行される、前記方法。
2. 認識される前記文字が、文字、数字、または、句読点のうちの１つである、請求項１に記載の方法。
3. 前記各セグメントの最小長が、
   

   

   （ここで、
   ｌ_ｍｉｎは、セグメントの最小長であり、
   ｐ_ｉは、点ｉの座標であり、
   ｎは、ストロークにおける点の数であり、
   λは、最小長しきい値である）
   という式に基づいて、選択される、請求項１または請求項２に記載の方法。
4. 前記評価処理が、理想的なものに、よりぴったりと一致するものにより高いスコアを割り当てる、請求項１〜３のいずれか一項に記載の方法。
5. 前記評価処理が、ファジー論理を使用する、請求項４に記載の方法。
6. 手書き文字認識を実行するための装置であって、
   スタイラスの運動に感応して入力刺激を生成する入力表面と、
   前記入力刺激を受け取り、そして、前記入力刺激を処理する処理システムであって、請求項１から請求項６までのいずれかに記載の方法を実行するように構成された、前記処理システムと、
   を備える装置。

Images