JP2750057B2 - 自動手書き文字認識に対する統計的混合手法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、信号処理の分野におけ
るものであり、特に手書き認識に関する。特に、本発明
は、１つの（あるいは幾つかの）特徴ベクトル空間、各
空間におけるユークリッドおよびガウス・モデリング、
および全ての空間における全ての関連プロトタイプの寄
与を勘案する混合復号法における手書きの適当な表現に
基く手書き認識に関する。

【０００２】

【従来の技術および発明が解決しようとする課題】続き
書きあるいは更に手書き文字を認識すると称する自動シ
ステムは、これまでごく限られた成功をもたらしたに過
ぎない。その理由は、主として手書きのモデリングにお
いて使用されるテンプレートにより呈される頑強性の不
足に見出すことができる。例えば、続き書きの手書き文
字の認識のための３ステップの手順について記載する米
国特許第４，７３１，８５７号がある。第１に、潜在的
区切り点が取得される。第２に、妥当に文字であり得る
区切りの全ての組合わせが文字認識装置へ送られてラン
ク付けされた選択および対応する点数を得る。第３に、
最善の候補単語を得るように文字列が組合わされる。各
テンプレートは、この文字を形成する筆記者の平均的方
法をおそらくは表わすであろう完全形成文字であり、そ
の時の文字の弾性的照合（マッチング）が各テンプレー
トに対して計算される。この手法は、筆記者および時間
の双方にわたり観察され得る広範囲な多岐性の影響を受
け易い。

【０００３】本発明は、受入れ得る頑強度を有する手書
き認識のための高速アルゴリズム（即ち、Ｔａｐｐｅｒ
ｔの米国特許第４，７３１，８５７号に開示される如き
弾性的マッチングのそれと似た複雑さ）の考案に関する
ものである。このため、少なくとも３つの重要な規定を
もたらす。即ち、（ｉ）特徴要素は、個別の、筆記、続
き書きあるいは拘束されないモードで生成された手書き
も同様に特徴付けるように選択されねばならず、（ii）
これらの特徴要素は冗長性を最小化するように適当に処
理され、これによりパラメータ毎に表わされる情報を最
大化されねばならず、（iii）結果として得る特徴パラ
メータは更に、手書きにおける広い傾向を検出してこの
ような傾向の適当なモデリングを可能にしなければなら
ない。これらの規定は、現在の弾性的マッチング法が
（ｉ）文字ベースであるため、また（ii）文字テンプレ
ートを得るため幾つかの文字例を単に平均化するもので
あるため、このマッチング法では満たされない。

【０００４】本発明によれば、信号処理フロントエンド
（プロセッサ）は、弾性的マッチング法よりも非常に複
雑である。入力データを単に区切りに分割するのではな
く、信号は更に高次元の特徴空間（手書き空間）に変換
され、その点が冗長でない特徴の抽出の毎に全ての直接
観察を表わす。更に細かなクラスタリング（クラス分
割）のための（ユークリッド法とは対照的な）ガウス法
を用いて、この空間におけるプロトタイプが頑強性のた
め形成される。従って、各プロトタイプは、多くの文字
と共通である小さなビルディング・ブロック（具体的に
はクラスタ中心）を表わす。文字列の代わりに、ビルデ
ィング・ブロック列が組合わされ、その各々が真性の確
率空間について定義された真の尤度が割当てられる（距
離スコアとはちょうど対照的に）。最後に、認識アルゴ
リズム自体は高々この確率空間について演算する事後復
号である。この代替的な手法は頑強性のための規定を満
たすのに更に適合する。

【０００５】

【課題を解決するための手段】本発明の目的は、改善さ
れた手書き認識システムの提供にある。

【０００６】本発明の別の目的は、入力された手書きが
局部的および大域的な両特徴要素を抽出するように信号
処理される改善された手書き認識システムの提供にあ
る。

【０００７】本発明の他の目的は、ウインドウ表示を用
いて広義の特徴事象を検出する改善された手書き認識シ
ステムの提供にある。

【０００８】本発明の更に他の目的は、射影を用いて冗
長性を排除する改善された手書き認識システムの提供に
ある。

【０００９】本発明の他の目的は、手書き空間と呼ばれ
る適当な特徴ベクトル空間におけるガウス・モデリング
に基いて手書きが認識される改善された手書き認識シス
テムの提供にある。

【００１０】本発明の他の目的は、混合復号法を用いて
手書き空間における全ての関連プロトタイプの寄与を勘
案する改善された手書き認識システムの提供にある。

【００１１】本発明の更に他の目的は、多数の手書き空
間と対応する多数のコードブック（クラスタ中心の一覧
表）を用いて更に頑強な認識を提供する改善された手書
き認識システムの提供にある。

【００１２】手書きテキストの自動認識は、適当な特徴
ベクトル空間におけるユークリッドおよびガウス・モデ
リング、およびこの空間における全ての関連プロトタイ
プの寄与を勘案する混合復号法に基く。

【００１３】全ての筆記モードに充分な特徴要素を得る
ため、１つの点から次の点までの座標の差、ならびに文
字自体が平行移動しても変化しないような勾配および曲
率情報が選択される。これは、ペンの軌跡の局部的な挙
動について充分な情報を提供する。同時に、ペンの軌跡
の大域的挙動についての情報を集めることが重要であ
る。続き書きあるいは拘束されない手書きの場合にはこ
の情報の評価が更に難しいため、対応する大域的特徴要
素を局部的な特徴要素とは別個に処理されねばならな
い。しかし、両者において冗長性を最小化するため、結
果として得るデータの全共分散マトリックスが計算さ
れ、関連する固有値および固有ベクトルが見出され、線
形変換がこれら固有ベクトルの方向に沿って与えられ、
データは下位の次元のサブ空間に対して射影される。最
後に、手書きにおける重要なビルディング・ブロック
（具体的には、クラスタ中心）を検出するため、少ない
特徴ベクトルが比較的少数のいわゆる手書きプロトタイ
プに分割されて、筆記プロセスにおいて使用される基本
的なビルディング・ブロックを表わす手書きラベルの英
字をもたらす。

【００１４】上記の手法は、筆記者に依存しないかある
いは筆記者に依存するベースで実現することができる。
後者の場合、各筆記者毎に１組の手書きプロトタイプが
得られる。この組は、対応する筆記者の個人的特徴を捕
捉することが期待される。本アルゴリズムを初期化する
ため、ある手書きが記録され、各ストローク（運筆また
は筆画）毎にタブレット上のその時の軌跡と対応する一
連の（ｘ、ｙ）座標が得られるようにする。一旦手書き
プロトタイプが得られると、その時の特徴ベクトルを生
じる各プロトタイプの尤度を計算し、各個の尤度を一緒
に混合して最終的尤度を得るだけで認識を行うことがで
きる。この手法では、混合係数は語彙における各文字が
手書きラベル・タブレットに与えられたプロトタイプを
生じる確率である。

【００１５】

【実施例】手書き認識において、手書き文字は一般に図
１に示される５つのグループに該当し、このグループは
認識の複雑さの増加する順序に示される。特に、これら
のグループは、個々の文字が予め定義された領域内に形
成される枡目があってそこへ楷書で書いていくものとし
て知られる第１のタイプの筆記（Ｗ１）を含み、これに
より文字の区切りタスクを簡単にする。第２のタイプの
筆記（Ｗ２）は、文字が他の文字と接触しないようにユ
ーザが各文字を意図的に形成する間隔をおいた離散とし
て知られる。第３のタイプの筆記（Ｗ３）は、相互に接
触する即ち「繋がる」文字をユーザが形成できる続け書
き離散として知られる。第４のタイプの筆記（Ｗ４）
は、ユーザが通常全単語を筆記後でｔの横棒を引きｉお
よびｊの点を打つ続け書きである。最後に、第５のタイ
プの筆記（Ｗ５）は、ユーザが続き書きの組合わせを使
用する拘束されない筆記である。この最後のタイプは、
最も困難であり、図３に示された５つのスタイルの最も
複雑な区切りおよび認識を提供する。

【００１６】図２において、一般的な手書き認識システ
ムの動作がブロック図で示される。図２の一般的論議が
最初に行われ、内部に示されるブロックの各々の動作の
詳細な記述が続く。ブロック２において、スタイラス即
ちペンのストローク（運筆または筆画）情報のデータ取
得が生じる。取得されたストロークは、手書き情報を認
識するため演算される。ブロック４に示される如きトレ
ーニング演算モードの間、取得された手書き情報が既知
のトレーニング筆跡に関して分析され、この情報を表わ
すため基底モデルを教習する。使用中、トレーニング中
に得られたモデル・パラメータが、認識される（未知
の）手書きと対応する特徴ベクトルと共に、復号ブロッ
ク６により使用される。特に、復号ブロック６はこのモ
デルを用いて個々の特徴ベクトルの組立てから候補文字
種を生成する。復号プログラムは、関連するモデル・パ
ラメータに基く最も確率の高い文字種を選択する。

【００１７】認識された手書きは、その後ブロック８に
より使用できるようになる。例えば、認識されたメッセ
ージは単に英数字フォーマットに変換され、表示デバイ
ス上に表示される。認識されたメッセージはまた、これ
まで例えばワード・プロセッシング・システムの如きキ
ーボードからメッセージを受取る何らかのアプリケーシ
ョンへ渡される。

【００１８】下記のアルゴリズムは、本発明の手書き認
識システムを含む装置において実現される。このアルゴ
リズムのステップは下記の如くである。即ち、

【００１９】１．筆記の速度に対して正規化するデータ
の事前フィルタリングを行う。これは、タブレットによ
り捕捉される諸点間の間隔が筆記速度に依存して不等間
隔に並ぶ点列（これを説明の便宜上比喩的に、弾道状と
呼ぶことにする）を、全ての点が等間隔である時間に依
存しない表現に変換することにより行われる。線形補間
が結果として生じる等間隔点を見出す必要に応じて行わ
れる。必要に応じて、更に微細な補間に対してはキュー
ビック・スプライン補間もまた行うことができる。

【００２０】２．各点毎に、トレーニング・データにお
ける座標（ｘ_n、ｙ_n）の点Ｐ_nがＰ_n付近の局部のペン軌
跡を表わす特徴要素のＰ次元ベクトルＰ_nを形成する。
例えば、Ｐに対する良好な選択は６であり、特徴要素が
下記により与えられる。即ち、（ｉ）水平および垂直方
向の増分変化：

【００２１】

【数１】

【００２２】（ii）Ｐ_nにおけるペンの軌跡に対する接
線角の正弦および余弦：

【００２３】

【数２】

【００２４】（iii）上記の２つのパラメータにおける
増分変化：

【００２５】

【数３】

【００２６】最後の２つのパラメータがＰ_nにおけるペ
ンの軌跡の曲率についての情報を提供することに注意さ
れたい。

【００２７】３．各点毎に、トレーニング・データにお
ける座標（ｘ_n、ｙ_n）の点Ｐ_nが、Ｐ_nまでの大域ペン軌
跡を表わす特徴要素のＰ′次元ベクトルＰ′_nを形成す
る。例えば、Ｐ′に対する良好な選択は３であり、特徴
要素は下記により与えられる。即ち、（ｉ）基線ｙ_nか
らの高さ、（ii）ストローク（ｘ_n−ｘ_i）の始めからの
幅（但し、ｘ_iはその時のストロークの第１の座標）、
および（iii）その時の文字が１つ以上のストロークか
らなるならばストローク間の距離。

【００２８】４．トレーニング・データにおける各スト
ローク毎に、このストロークにおける複数点Ｐ_n のサブ
セット例えば複数のＱ_iが略々等しく隔てられる特性を
有するようなＱ_iを決定する。別言すれば、ストローク
中の点の部分集合を複数決定して、ｉ番目の部分集合を
Ｑ_iとおくのである。この部分集合すなわちサブセット
は常に各ストロークの最初と最後の点を含み、例えば、
図１の第１のタイプの筆記（Ｗ１）においては、桝目を
形成している上限または下限との間隔（すなわち行の高
さ）に応じて点の間隔を調整すればよいのである。すな
わち、小さい文字であれば細かくとる必要が生じるであ
ろう。

【００２９】５．ステップ４で得られる各Ｑ_iは、Ｑ_iの
前のＨ個のＰ_nのベクトルと、Ｑ_i自身と、Ｑ_iの後のＨ
個のＰ_nのベクトルと、を連結させることによってＱ次
元の接合ベクトルを構成する。同様に、Ｑ′_iの前の
Ｈ′個のＰ′_nのベクトルと、Ｑ′_i自身と、Ｑ′_iの後
のＨ′個のＰ′_nのベクトルと、を連結させることによ
ってＱ′次元の接合ベクトルを構成する。これは、下式
が成立つならば実現し得る。即ち、

【００３０】

【数４】

【００３１】良好な選択はＨ＝Ｈ′であり、値Ｑ＝２４
６およびＱ′＝１２３を生じる。

【００３２】６．局部手書き特徴と対応する全てのＱ次
元ベクトルの平均ベクトルおよび共分散マトリックスを
計算する。これらはそれぞれＭ_t ⁽¹⁾およびＳ_t ⁽¹⁾として
示す。同様に、大域手書き特徴と対応する全てのＱ′次
元ベクトルの平均ベクトルおよび共分散マトリックスを
計算する。これらはそれぞれＭ_t ⁽²⁾およびＳ_t ⁽²⁾として
示す。

【００３３】７．ｎ＝１，２に対しては、対応する固有
値の対角マトリックスであるＳ_t ⁽ⁿ⁾およびΛ _t ⁽ⁿ⁾の固有
ベクトル・マトリックスＥ_t ⁽ⁿ⁾を計算する。これらの量
は下式の関係に従う。即ち、

【００３４】

【数５】

【００３５】但し、Ｔは行列の転置を表わす。このた
め、Ｅ_t ⁽ⁿ⁾における先行固有ベクトルがΛ _t ⁽ⁿ⁾における
先行固有値と対応する。

【００３６】８．ステップ７からのＲ₁個の主要固有ベ
クトル（固有値の大きい順にとったベクトル） を用い
て、ステップ５のＱ次元の特徴ベクトルを次元Ｒ₁ の空
間へ射影する。結果として得るベクトルｒ_i ⁽¹⁾を呼出
す。Ｒ₁ に対する妥当値は６である。この点において、
Ｑ次元の接合特徴ベクトルに存在する冗長性が排除さ
れ、最も情報を包含している特徴要素で連結された。ベ
クトルｒ_i ⁽¹⁾により張られた空間を手書き空間（カイロ
グラフィック空間）Ｃ⁽¹⁾と呼ぶ。

【００３７】９．同様に、ステップ７からのＲ₂ 個の主
要固有ベクトルを用いて、ステップ５のＱ′次元の特徴
ベクトルを次元Ｒ₂の空間に射影し、ベクトルｒ_i ⁽²⁾を
結果として生成する。Ｒ₂ に対する妥当値は１５であ
る。一般に、（大域特徴の）Ｑ次元の接合特徴ベクトル
には（局部特徴の）Ｑ次元接合特徴ベクトルにおけるよ
りも少ない冗長性が存在する故に、Ｒ₂＞Ｒ₁となること
に注意されたい。ベクトルｒ_i ⁽²⁾により張られた空間を
手書き空間Ｃ⁽²⁾と呼ぶ。

【００３８】１０．ここでのステップ１０を、ｎ＝１，
２に対して、ランダム・クラスタ割当てで開始し、対応
するＲ_n 次元の手書き空間における予備的プロトタイプ
分布を得るように、ステップ８および９で得た射影ベク
トルｒ_i ⁽ⁿ⁾のＫ平均ユークリッド・クラスタリングを実
施する。

【００３９】１１．ここでのステップ１１を、ｎ＝１，
２に対して、ステップ１０の予備的分布から開始し、両
方の手書き空間における最終的ガウス・プロトタイプ分
布を得るように、ステップ８および９において得た射影
ベクトルｒ_i ⁽ⁿ⁾のＫ平均ガウス・クラスタリングを実施
し、ガウス混合分布を求める。。これらのプロトタイプ
分布をπ_k ⁽ⁿ⁾として表わし、クラスタ・サイズを使用し
て、各Ｒ_n次元の手書き空間における各プロトタイプ分
布の確率Ｐ_r（π_k ⁽ⁿ⁾）を評価する。

【００４０】１２．ここでのステップ１２を、ｎ＝１，
２に対して、ステップ１１からのガウス分布を用いて、
ステップ８および９で得た全てのベクトルｒ_i ⁽ⁿ⁾に対し
て量Ｐｒ（ベクトルｒ_i ⁽ⁿ⁾｜π_k ⁽ⁿ⁾）を計算する。ま
た、各手書き空間における全クラスタ数がＫ_nであるも
のとして、各特徴ベクトルの確率を下式で評価する。即
ち、

【００４１】

【数６】

【００４２】良好な選択はＫ₁＝Ｋ₂＝４００である。

【００４３】１３．ここでのステップ１３を、ｎ＝１，
２に対して、ステップ１１および１２の結果を用いて、
下記量を計算し、

【００４４】

【数７】

【００４５】次のステップ１４のために、対象となる語
彙におけるどの候補文字種ａ_j に対して，各ベクトルｒ
_i ⁽ⁿ⁾がトレーニング・データに整合されるかに注意され
たい。

【００４６】１４．ここでのステップ１４を、ｎ＝１，
２に対して、対象となる語彙における各候補文字種ａ_j
毎に、これに整合された全てのベクトルｒ_i ⁽ⁿ⁾を一緒に
プールして対応するＰ_ｒ（π_k ⁽ⁿ⁾｜ベクトルｒ_i ⁽ⁿ⁾）を
累計する。正規化の後に、これは各候補文字種ａ_j を与
えた各手書き空間における各プロトタイプ分布の確率で
あるＰ_ｒ（π_k ⁽ⁿ⁾｜ａ_j）の評価を行う。これがトレー
ニング段階の終りである。

【００４７】１５．トレーニング・データと同じ各手書
き空間にテスト特徴ベクトルを生じるように、テスト・
データについてステップ１乃至５および８乃至９を反復
する。

【００４８】１６．手書き空間Ｃ⁽¹⁾においてベクトル
ｒ_i ⁽¹⁾で、また手書き空間Ｃ⁽²⁾においてベクトルｒ_i
⁽²⁾で表わされる各データ・フレームｆ_i 毎に、ステッ
プ１１で得たガウス混合分布およびステップ１４で得た
確率を用いて下記の量を形成する。即ち、

【００４９】

【数８】

【００５０】即ち、全手書きラベル英字をカバーする２
つの単一ガウス混合分布の加重積である。この式中、α
が第１のコードブックに対する第２のコードブックの影
響を制御する。αに対する良値は０．７である。これ
は、連続フレームのスコアを乗じてフレームの仮のシー
ケンスに対する全スコアを得、これにより復号プロセス
を完了する。

【００５１】次に、先に述べたアルゴリズムを実現する
ための本発明による手書き認識システムのブロック図で
ある図３を参照する。例えばＩＢＭ３０９０／ＶＦある
いはＩＢＭ ＲＳ６０００でよい汎用コンピュータ１０
が、スタイラス１２を用いるユーザにより生成された文
字即ちストローク情報を受取って電子タブレット１４に
書込む。この文字即ちストローク情報は、電子タブレッ
ト１４上かあるいは他の表示デバイス（図示せず）上に
表示することができる。コンピュータ１０は、トレーニ
ング・モード１６かあるいは復号モード１８のいずれか
で使用することができる。これは、破線２０により象徴
的に示される。トレーニングまたは復号のいずれのモー
ドにおいても、フロント・エンド・パラメータ抽出ブロ
ック２２を加えなければならない。トレーニング・モー
ド１６においては、アルゴリズムは、プロトタイプ構成
ブロック２４と、言語モデル・ブロック２６とを含む。
復号モード１８においては、アルゴリズムは尤度評価部
２８と復号部３０とを含む。

【００５２】ブロック２２乃至３０は機能プログラム・
モジュールとして示されるが、これら機能ブロックの一
部あるいは全てがソフトウエア形態の代わりにハードウ
エア形態で実現され、本発明の特許請求の範囲の教示内
にあることが理解されよう。

【００５３】手書き認識アルゴリズムのステップ１乃至
９を実行するフロント・エンド・パラメータ抽出ブロッ
ク２２は、トレーニング・モードの間プロトタイプ構成
ブロック２４に対して、あるいは復号モードの間プロト
タイプ構成ブロック２４に対して特徴ベクトルを提供す
る。プロトタイプ構成ブロック２４は、手書き認識アル
ゴリズムのステップ１０乃至１４を実行して、（ｉ）文
字の適当な部分を表わす手書きプロトタイプ、および
（ii）これらを組合わせる方法を示す混合係数（ガウス
混合分布）を生じる。この情報は、未知の候補文字種を
判定あるいは認識する復号モードにおいて使用される。
言語モデル・ブロック２６は、どの候補文字種が与えら
れたコンテキスト中に最も生じ得るか、あるいはどの単
語が与えられたコンテキスト中に生じ得るかを判定する
ため使用できる言語モデルの確率を提供する。ある実施
例においては、ブロック２６は手書き中に生じる候補文
字種、句あるいは文章のあり得る組合わせのライブラリ
に実施することができる。この言語モデルは、認識中復
号部３０によって使用される。

【００５４】認識モードの間、手書き認識アルゴリズム
のステップ１６を実行する尤度評価部２８は、認識され
る未知のストロークまたは文字から生じた特徴ベクトル
をブロック２２から受取る。これらの特徴ベクトルは、
ブロック２４からの手書きプロトタイプと同じ手書き空
間に存在し、従ってこれらの各々と比較して特定の各特
徴ベクトルに対するその各々の寄与を評価する。この情
報は、特定の各特徴ベクトルが英字における候補文字種
に「帰属」する尤度を計算するため、トレーニング中生
じる混合係数を用いて積分される。これは、全ての特徴
ベクトルにわたって、復号部３０に対して認識のための
候補文字種を生じるように使用することができる。復号
部３０は、最大スコアと対応するブロック２６からの言
語モデルの確率を全スコアに積分する。示されたアルゴ
リズムに従う認識された筆記は、復号部３０の出力３２
に生成される。次にこの認識された筆記は、タブレット
１４上に表示されるか、あるいは例えば表示デバイス、
プリンタ、アプリケーション・プログラムなどである利
用デバイス３３へ渡される。

【００５５】次に、図３に全体的に示されるフロント・
エンド・パラメータ抽出ブロック２２の詳細なブロック
図である図４を参照する。筆記の各サンプル点は、手書
き認識アルゴリズムのステップ１を実行する事前フィル
タ・ブロック３４へ渡される座標ｘ_nおよびｙ_nにより定
義される点により表わされる。これらの点は、図５に示
されるように諸点間の間隔が筆記速度に依存して不等間
隔に並ぶ点列として示される。即ち、前記点の間隔は、
筆記者がその時の文字を形成するのに用いた筆記速度の
関数である。種々の理由から、筆記者はその速度即ち筆
記速度がほとんど一貫せず、手書き認識における高い誤
差率を生じることがある。事前フィルタ・ブロック３４
は、図５の点を正規化してブロック３４の出力に等間隔
の点ｘ_mおよびｙ_mを生じる。事前フィルタリングの詳細
については、図７および図８に関して簡単に説明する。
図６に示される如き文字を含む等間隔の点ｘ_mおよびｙ_m
は、パラメータ抽出ブロック３６へ与えられ、これがベ
クトルｖ_m を生じる手書き認識アルゴリズムのステップ
２および３を実施する。このパラメータ抽出の詳細は、
図１１、図１２、図１３および図１４に関して簡単に説
明する。ベクトルｖ_m は、ウインドウ表示ブロック３８
へ与えられ、これが接合ベクトルＳ_i を生じるため手書
き認識アルゴリズムのステップ４および５を実施する。
接合ベクトルＳ_i が与えられる方法の詳細については、
図１４、図１５および図１６に関して簡単に説明する。
接合ベクトルＳ_i は射影ブロック４０へ与えられ、この
ブロックが特徴ベクトルｒ_iを生じるため手書き認識ア
ルゴリズムのステップ６乃至９を実施する。これは、接
合パラメータ・ベクトルにおける冗長性を排除する。ブ
ロック４０の機能の詳細については、図１７に関して記
載される。射影ブロック４０は、接合ベクトルＳ_i に応
答して特徴ベクトルｒ_i を生じ、これは先に図３に関し
て述べたように、プロトタイプ構成ブロック２４および
尤度評価部２８へ与えられる。射影ブロック４０の詳細
については、図１７のフロー図に関して記載する。

【００５６】図５の諸点間の間隔が筆記速度に依存して
不等間隔に並ぶ点列として示される文字が事前フィルタ
・ブロック３４（図４）により正規化されて、手書き認
識アルゴリズムのステップ１が行われる方法を示す図７
および図８に関して次に説明する図６の等間隔の文字を
生じる。図７は、図５の上４分の１の湾曲部分を表わ
す。第１に、元の生の点（点・で示される）間のある補
間法を行うことにより点の密度が増加される。この結
果、元の生点（・）おいた補間点（｜）を含む一連の点
を生じる。次いで、点間の等しい間隔が電子タブレット
１４（図３）上に示される如き２つのｐｅｌ間の距離と
適当に関連する距離Ｒであることの事前の決定によりフ
ィルタリングが行われる。図７においては、その結果Ｘ
（５６）により示されるフィルタリングの後一連の点が
生じる。生および内挿された点は等間隔ではない整数点
ｎと見做され、フィルタ点は等間隔の整数点ｍと見做さ
れる。

【００５７】図８によれば、ブロック４２において、ス
トロークの第１の（生の）点４８における位置ｎ＝１が
ｍ＝１で示され、これも第１のフィルタ点と見做され
る。ｎ＝２におけるストロークの第２の点５０は、フィ
ルタリングに対してテストされる第１の点である。ブロ
ック４４において、点ｍおよびｎ間の（ユークリッド）
距離が下記の関係に従って決定される。即ち、

【００５８】距離＝｜ｘ_n−ｘ_m｜²＋｜ｙ_n−ｙ_m｜²

【００５９】ブロック４６において、距離がＲより大き
いかどうか判定が行われる。図７において、点ｍ＝１は
点４８であり、点ｎ＝２は点５０である。図７では距離
がＲより小さいことが判り、従って点は排除されてブロ
ック５２へ進み、ここでｎは３、即ち点５４へ増分され
る。ブロック４４において距離が再び計算されて、ブロ
ック４６においてＲと比較される。最後に、距離はＲよ
り大きくなり、従って点５５が受入れられる（ブロック
５８においてｍはｎと等しくされる）。ブロック６０に
おいて、点（ｘ_n、ｙ_n）が１２番目の点の点５６である
フィルタ点（ｘ_m、ｙ_m）として記憶される。ブロック６
２において、ｎは１だけ増分され、ブロック４４へ戻
り、ここで生の点および内挿点が先に述べたように処理
される。

【００６０】図９および図１０は、従来技術において特
徴ベクトルがストロークの重心（ＣＧ）に関してどのよ
うに得られるかを示している。入力されたストローク、
例えば小文字の「ａ」が電子タブレットにより捕捉され
る。各特徴ベクトルは、重心に対するストロークにおけ
るサンプル点（Ｐ）の変位ｘおよびｙ、基底線（ＢＬ）
に対するＰの変位（ｂ）、およびＰに対する接線（Ｌ）
と関連する角度情報（θ）を表わす諸元を含む。この望
ましい実施態様における結果として得る特徴ベクトル
は、４つの元を持ち、このため４つの次元（４ｄ）ベク
トルを表わす。

【００６１】図１１、図１２、図１３および図１４は、
手書き認識アルゴリズムのステップ２および３を実施す
る図４のブロック３６のパラメータ抽出がパラメータ・
ベクトルｖ_m を提供するため本発明により如何にして
得られるかを示している。図１１は局部パラメータ抽出
を示し、図１２は局部パラメータ・ベクトルを、図１３
は大域パラメータ抽出を、図１４は大域パラメータ・ベ
クトルを示す。合計９つの座標に対して、局部パラメー
タ・ベクトルには６つの局部座標があり、大域パラメー
タ・ベクトルには３つの大域座標がある。即ち、図１０
に示す如き従来技術の４つの座標より５つ多い座標が生
成される。局部パラメータ・ベクトルについては、前の
点６６、６７および後の点６８、６９に対するこの時の
点６４に関して計算が行われる。局部パラメータ・ベク
トルに対する特定の計算は図１２に示される。大域パラ
メータ・ベクトルについては、基底線６５、文字の初点
６６、第１のストロークの最終点６７および第２のスト
ロークの初点６８に対するその時の点６４に関して計算
が行われる。大域パラメータ・ベクトルに対する特定計
算は図１４に示される。一般性を損なうことなく、本項
の残部は唯１つのコードブックの手書き認識アルゴリズ
ム、即ち、局部パラメータ・ベクトルあるいは大域パラ
メータ・ベクトルを示す。

【００６２】次に、特徴ベクトルがデータから抽出され
る方法を示すため、図４のウインドウ表示ブロック３８
の詳細を図１５および図１６に関して述べる。少数の略
々等距離の特徴点が図８と同じアルゴリズムを用いて決
定されるが、値Ｒが異なると、パラメータ・ベクトルは
これらの点で接合される。各点で接合されるべきパラメ
ータ・ベクトルの数（２Ｈ＋１）は予め決定され、これ
が更に接合次元Ｑ＝（２Ｈ＋１）Ｐを規定する。

【００６３】図１５において、特徴点が点で示され、ウ
インドウ中心がＸで示される。点は点ｋとして示され、
Ｘは指標ｉにより点ｋ_i として示される。図１６におい
て、ブロック７０ではｉおよびカウンタｊがそれぞれ１
に等しくセットされる。ブロック７２では、ｋがｋ_i −
Ｈにセットされ、ブロック７４において対応するベクト
ルｖ_k （Ｐ次元の）が得られる。次に、ブロック７６に
おいて（２Ｈ＋１）ベクトルｖ_k が示されるかどうかの
判定がなされる。もしそうであれば、ブロック７８にお
いてｊは１に再び初期化され、ｉは１だけ増分され、こ
の手順は先に述べたように反復される。もしそうでなけ
れば、ベクトルｖ_k が位置（ｊ−１）Ｐ＋１で始まるベ
クトルＶ_i に加えられる。ブロック８２においてｋおよ
びｊが共に１だけ増分され、次のｖ_k を得るためブロッ
ク７４へ戻り、この手順が先に述べたように反復され
る。

【００６４】図１７において、手書き認識アルゴリズム
のステップ６乃至９を実施する図４の射影ブロック４０
の機能を詳細に説明する。この射影ブロックは、ウイン
ドウ表示ブロック３８からの接合パラメータ・ベクトル
における冗長性を排除するため使用される。ブロック７
１において全ての接合ベクトルに対して共分散マトリッ
クスが計算され、関連する固有値および固有ベクトルが
ブロック７５において主成分分析により見出される。ブ
ロック７４の固有ベクトルおよびそれに対応するＲ個の
主要な固有値を用いて、ブロック７７において接合ベク
トルが手書き空間と呼ばれるより小さな次元のサブ空間
に対して射影され、結果として射影ベクトルｒ_i を生じ
る。共分散マトリックスが計算される方法については、
Ｊ．Ｈ．ＧｏｌｕｂおよびＣ．Ｆ．ＶａｎＬｏａｎ著
「Ｍａｔｒｉｘ Ｃｏｍｐｕｔａｔｉｏｎｓ」（Ｊｏｈ
ｎ Ｈｏｐｋｉｎｓ，Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓ
ｓ、Ｂａｌｔｉｍｏｒｅ、１９８９年）に記載されてい
る。この文献はまた、ブロック７３における主成分分析
の方法およびブロック７７における全てのＳ_iの射影方
法を教示する。

【００６５】図３のプロトタイプ構成ブロック２４の詳
細を示す図１８および図１９に示されるように、手書き
空間が仕切られて手書きプロトタイプを生じる。特徴ベ
クトルがブロック７９に与えられて、Ｋ平均ユークリッ
ド・クラスタリングを行う。ブロック７９の詳細は、図
１９および図２０に関して記載される。ユークリッド・
クラスタリングの結果はブロック８１に与えられてＫ平
均ガウス・クラスタリングを行い、プロトタイプ分布ベ
クトルπ_k を生じる。ブロック８１の詳細は、図２１に
関して記載される。図１８乃至２１は、手書き認識アル
ゴリズムのステップ１０および１１が行われる方法を詳
細に示す。プロトタイプ分布または手書きプロトタイプ
が尤度評価部２８（図３）に与えられて、復号部３０
（図３）に対して候補文字種を生じる。Ｋ平均クラスタ
リングを一般に行う方法は、Ｊ．Ａ．Ｈａｒｔｉｇａｎ
著「Ｃｌｕｓｔｅｒｉｎｇ Ａｌｇｏｒｉｔｈｍｓ」
（Ｊ．Ｗｉｌｅｙ、１９７５年）において記載される。

【００６６】図１９は、クラスタ８４、８６、８８に分
割される空間８３を示す。各クラスタは、点ｘとして示
される複数のベクトルを含み、クラスタ中心（セントロ
イドともいう）＃がこのようなベクトルのクラスタ毎に
計算される。

【００６７】図１８のブロック７９の詳細を示す図２０
を参照する。ブロック９０において２５０と選定された
複数のランダム・シーズ（ランダム核）が図３のブロッ
ク２２から得られる手書き空間における全ての点から拾
われる。各点と各速度間のユークリッド距離がブロック
９２において計算される。各点をその最も近い核に割当
てることにより、ブロック９４において空間がクラスタ
に仕切られる。これは、図１９のクラスタ８４、８６、
８８と対応している。各クラスタのセントロイドがブロ
ック９６で計算される。これは、図１９の＃と対応す
る。これらのセントロイドは、ブロック９８において元
の核を置換するようにセットされる。判断ブロック１０
０において、最大反復数に達するかどうか判定がなされ
る。もしそうでなければ、先に述べたように、ブロック
９２へ戻ってステップが繰返される。もしそうであれ
ば、ユークリッド・クラスタリングの計算が完了する。

【００６８】図１８のガウス・クラスタリング・ブロッ
ク８１の詳細を示す図２１を参照する。ブロック７９
（図１８）で得られたユークリッド・クラスタはブロッ
ク１０２で与えられる。各点と各セントロイド間のガウ
ス距離は、ブロック１０４で計算される。各点をその最
も近いセントロイドに割当てることにより、ブロック１
０６において空間がクラスタに仕切られる。各クラスタ
の新しいセントロイドがブロック１０８で計算される。
判断ブロック１１０において、最大反復数が完了したか
どうかの判定が行われる。もしそうでなければ、先に述
べたように、ブロック１０４へ戻ってステップが反復さ
れる。もしそうであれば、ガウス・クラスタリングの計
算が完了する。この結果、手書き空間における最終的な
プロトタイプ分布が生じる。

【００６９】唯１つのコードブック（クラスタ中心の一
覧表）に対する手書き認識アルゴリズムのステップ１６
を実施し、ステップ１２、１３の結果として生じる手書
き認識アルゴリズムの情報が如何にして図３の尤度評価
部２８により演算されて復号部３０に対する候補文字種
を生じるかを示す図２２を参照する。ブロック１１４に
おいて、その時のフレーム（あるいはウインドウ中心）
を表わす変数ｉが１に初期化され、テスト特徴ベクトル
ｒ_i がブロック１１６で示されるようにフロント・エン
ド・パラメータ抽出ブロック２２（図４）から与えられ
る。ブロック１１８において、その時のプロトタイプブ
ック（クラスタ中心の一覧表）を表わす変数ｋがｋ＝１
に初期化される。このプロトタイプ分布を生じたこの特
徴ベクトルの条件付き確率がブロック１２０で計算さ
れ、ブロック１２２へ与えられる。

【００７０】ブロック１２４における手書きプロトタイ
プ分布π _k およびブロック１２６における混合係数Ｐｒ
（π _k｜ａ_j）により表わされる如きトレーニング位相の
プロトタイプ構成ブロック２４もまたブロック１２２に
与えられ、ここで組合わせ確率が計算されて記憶され
る。判断ブロック１２８において、ｋが最大クラスタ数
に達したかどうか判定がなされる。もしそうでなけれ
ば、ブロック１３０で示される如くｋが１だけ増分され
てブロック１２０へ戻り、先に述べたプロセスが反復さ
れる。もしそうであれば、基本の英字における全ての候
補文字種ａ_j に対して先に述べたスコアがブロック１３
２に累計される。判断ブロック１３４においては、対象
となるその時の文字に対して全てのフレームｉが示され
たかどうかの判定がなされる。もしそうでなければ、ブ
ロック１３６においてｉが１だけ増分されてブロック１
１６へ戻り、先に述べたプロセスが反復される。もしそ
うであれば、累計されたスコアがブロック１３８におい
て順序を付され、上位Ｊ個のスコア（確率の高いもの）
から形成される候補文字種ａ_j の候補リストが、復号部
３０（図３）へ与えるように形成される。

【００７１】次に、復号部３０（図３）の動作を表わす
フロー図である図２３を参照する。対象となるその時の
候補文字種を表わす変数ｔがブロック１４２において１
に初期化される。候補文字種Ｃ_t に対する尤度評価部２
８（図３）からの文字候補リストがブロック１４４で与
えられる。その時の候補文字種を表わす変数ｊがブロッ
ク１４６で１に初期化され、ブロック１４８においてＣ
_tが一時的にａ_jに等しくセットされる。トレーニング・
ブロックからは、言語モデル確率ブロック２６（図３）
がブロック１５０で与えられる。これらの確率およびブ
ロック１５４で前に認識された文字に基いて、文字ａ_j
の最終スコアがブロック１５２において計算される。こ
のスコアは、言語モデルによりコンテキスト情報を勘案
してＣ_tがａ_jとして認識される尤度を表わす。判断ブロ
ック１５６において、尤度評価部２８により与えられた
候補リストにおける最後の候補文字種の指標であるｊ＝
Ｊかどうかの判定がなされる。もしそうでなければ、ブ
ロック１４８へ戻り、先に述べたプロセスが反復され
る。もしそうであれば、言語モデルの確率を含む最終ス
コアがブロック１５８において順序を付される。ブロッ
ク１６０において、文字Ｃ_t に対する認識された回答と
して最高の候補が選択される。判断ブロック１６２にお
いて、認識されるストリングにおける最後の文字の指標
であるｔ＝Ｔ_max かどうかの判定がなされる。もしそう
でなければ、ブロック１６４においてｔが１だけ増分さ
れて、認識されるべき次の文字を得る。ブロック１６６
において更新が行われて、認識されたＣ_t をブロック１
５４に挿入し、ブロック１４４へ戻り、先に述べたプロ
セスが反復される。もしそうであれば、このプロセスは
ブロック１６８に示される如く完了して、文字の全スト
リングが認識されることになる。

【００７２】

【発明の効果】本発明によれば広義の特徴事象を検出す
る手書き認識システムが提供される。

【図面の簡単な説明】

【図１】本発明の手書き認識システムに対して入力され
る５つの異なるタイプの手書きの事例を示す図である。

【図２】トレーニングおよび復号パラダイムを強化する
汎用手書き認識システムを示すブロック図である。

【図３】本発明による手書き認識システムを示すブロッ
ク図である。

【図４】図３に全体的に示されるフロント・エンド・パ
ラメータ抽出ブロックを示す詳細ブロック図である。

【図５】図４の事前フィルタ・ブロックに入力される弾
道状空間文字を示す図である。

【図６】図４の事前フィルタ・ブロックから出力される
等間隔文字を示す図である。

【図７】図５の弾道空間文字の上部４分の１が図６の等
間隔文字に変換される方法を示す図である。

【図８】図４の事前フィルタ・ブロックが図５の弾道状
空間文字を図６の等間隔文字に変換するよう機能する方
法を詳細に示すフロー図である。

【図９】点（Ｐ）に対する特徴ベクトルを生じるため従
来技術により処理される手書き文字を示す図である。

【図１０】複数の空間属性を集めることにより図９の点
（Ｐ）に対して従来技術で生成された４次元の手書き特
徴ベクトルを示す図である。

【図１１】点（Ｐ）に対する第１のパラメータ・ベクト
ルを生成するため本発明の教示により処理される手書き
文字の一部を示す図である。

【図１２】複数の局部空間属性を集めることにより図１
１の点（Ｐ）に対して生成された６次元の局部パラメー
タ・ベクトルを示す図である。

【図１３】点（Ｐ）に対する第２のパラメータ・ベクト
ルを生成するため本発明の教示により処理される手書き
文字を示す図である。

【図１４】複数の大域空間属性を集めることにより図１
３の点（Ｐ）に対して生成される３次元の大域パラメー
タ・ベクトルを示す図である。

【図１５】図１２および図１４において抽出された如き
個々のパラメータ・ベクトルの連結により１つの文字に
おけるウインドウ表示が行われる方法を示す図である。

【図１６】図１５に示されるパラメータ・ベクトルの連
結を行うことにより分割ベクトルを生じるため図４のウ
インドウ・ブロックが機能する方法を詳細に示すフロー
図である。

【図１７】図４の射影ブロックが図１６で得られた接合
ベクトルから特徴ベクトルを生じるため機能する方法を
詳細に示すフロー図である。

【図１８】図３のプロトタイプ構造の詳細ブロック図で
ある。

【図１９】Ｋ平均クラスタリング（アルゴリズム）を示
す図である。

【図２０】図１８のユークリッドＫ平均クラスタリング
・ブロックが機能する方法を示すフロー図である。

【図２１】図１８のガウスＫ平均クラスタリング・ブロ
ックが機能する方法を示すフロー図である。

【図２２】図３の尤度評価ブロックが機能する方法を示
すフロー図である。

【図２３】図３の復号ブロックが機能する方法を示すフ
ロー図である。

【符号の説明】

１０ 汎用コンピュータ １２ スタイラス １４ 電子タブレット １６ トレーニング・モード １８ 復号モード ２２ フロント・エンド・パラメータ抽出ブロック ２４ プロトタイプ構成ブロック ２６ 言語モデル・ブロック ２８ 尤度評価部 ３０ 復号部 ３２ 出力 ３３ 利用デバイス ３４ 事前フィルタ・ブロック ３６ パラメータ抽出ブロック ３８ ウインドウ表示ブロック ４０ 射影ブロック ８３ 空間 ８４、８６、８８ クラスタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジェローム・ルネ・ベルガーダ アメリカ合衆国10526 ニューヨーク州 ゴールデンズ・ブリッジ、ブルダー・レ ーン 490番地 (72)発明者 デイヴィッド・ナハムー アメリカ合衆国10605 ニューヨーク州 ホワイト・プレインズ、エルムウッド・ ロード 12番地 (72)発明者 クリシュナ・サンダラム・ネイサン アメリカ合衆国10016 ニューヨーク州 ニューヨーク、アパートメント・110・ マディソン・アベニュー 220番地

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】ストロークに沿った複数の異なる位置にお
   いてタブレット上の手書きストロークの少なくとも１つ
   の特徴値を測定して、手書きストロークを表わす特徴ベ
   クトル信号を生成する手段と、 各々が少なくとも１つのパラメータ値を有する複数のプ
   ロトタイプ信号を記憶する手段と、 対象文字種の各文字について、プロトタイプ信号の発生
   確率の評価値を記憶する手段と、 候補文字種と特徴ベクトル信号とプロトタイプ信号とに
   ついて、成分文字スコア（当該成分文字スコアは、プロ
   トタイプ信号が与えられたときに特徴ベクトル信号が発
   生する確率の評価値を有し、候補文字種が与えられたと
   きにプロトタイプ信号が発生する確率が考慮される）を
   生成する手段と、 候補文字種と特徴ベクトル信号とについて、部分文字ス
   コア（当該部分文字スコアは、候補文字種と特徴ベクト
   ル信号と全てのプロトタイプ信号とについて、成分文字
   スコアが考慮される）を生成する手段と、 手書きストロークを表わす候補文字種と全ての特徴ベク
   トル信号とについて、全体文字スコア（当該全体文字ス
   コアは、手書きストロークを表わす候補文字種と全ての
   特徴ベクトル信号とについて、部分文字スコアが考慮さ
   れる）を生成する手段と、 全体文字スコアが上位の候補文字種を識別する手段とを
   有する、 手書き認識システム。
2. 【請求項２】少なくとも１つの候補文字種を生成し、ま
   たは、表示する手段とをさらに有する、 請求項１記載の手書き認識システム。
3. 【請求項３】候補文字種についての全体文字スコアがさ
   らに、当該候補文字種に先行又は後行する１以上の他の
   候補文字種の発生の確率の評価についても考慮される、
   請求項２記載の手書き認識システム。
4. 【請求項４】各プロトタイプ信号が、少なくとも１の平
   均パラメータ値と少なくとも１の分散パラメータ値とを
   有し、 プロトタイプ信号の発生が与えられる特徴ベクトル信号
   の発生確率が、プロトタイプ信号の平均と分散とが与え
   られる特徴ベクトル信号のガウス尤度として評価され
   る、 請求項３記載の手書き認識システム。
5. 【請求項５】手書きストロークを表わす特徴ベクトル信
   号を生成する手段が、タブレット上の手書きストローク
   の少なくとも１の局部特徴の値を生成するとともに、タ
   ブレット上の手書きストロークの少なくとも１の大域特
   徴の値を生成する、 請求項３記載の手書き認識システム。
6. 【請求項６】成分文字スコアが、プロトタイプ信号が与
   えられたときに特徴ベクトル信号が発生する確率に、候
   補文字種が与えられたときにプロトタイプ信号が発生す
   る確率を掛けることによる、積の評価を考慮し、 部分文字スコアが、全てのプロトタイプ信号について、
   候補文字種と特徴ベクトル信号とについての成分文字ス
   コアの合計を考慮し、 全体文字スコアが、手書きストロークにおける候補文字
   種と全ての特徴ベクトル信号とについての部分文字スコ
   アの積を考慮したものである、 請求項５記載の手書き認識システム。
7. 【請求項７】ストロークに沿った複数の異なる位置にお
   いてタブレット上の手書きストロークの少なくとも１の
   特徴値を測定して、手書きストロークを表わす特徴ベク
   トル信号を生成するステップと、 各々が少なくとも１つのパラメータ値を有する複数のプ
   ロトタイプ信号を記憶するステップと、 対象文字種の各文字について、プロトタイプ信号の発生
   確率の評価値を記憶するステップと、 候補文字種と特徴ベクトル信号とプロトタイプ信号とに
   ついて、成分文字スコア（当該成分文字スコアは、プロ
   トタイプ信号が与えられたときに特徴ベクトル信号が発
   生する確率の評価値を有し、候補文字種が与えられたと
   きにプロトタイプ信号が発生する確率が考慮される）を
   生成するステップと、 候補文字種と特徴ベクトル信号とについて、部分文字ス
   コア（当該部分文字スコアは、候補文字種と特徴ベクト
   ル信号と全てのプロトタイプ信号とについて、成分文字
   スコアが考慮される）を生成するステップと、 手書きストロークを表わす候補文字種と全ての特徴ベク
   トル信号とについて、全体文字スコア（当該全体文字ス
   コアは、手書きストロークを表わす候補文字種と全ての
   特徴ベクトル信号とについて、部分文字スコアが考慮さ
   れる）を生成するステップと、 全体文字スコアが上位の候補文字種を識別するステップ
   とを有する、 手書き認識方法。
8. 【請求項８】少なくとも１つの候補文字種を生成し、ま
   たは、表示するステップとをさらに有する、 請求項７記載の手書き認識方法。
9. 【請求項９】候補文字種についての全体文字スコアがさ
   らに、当該候補文字種に先行又は後行する１以上の他の
   候補文字種の発生の確率の評価についても考慮される、 請求項８記載の手書き認識方法。
10. 【請求項１０】各プロトタイプ信号が、少なくとも１の
    平均パラメータ値と少なくとも１の分散パラメータ値と
    を有し、 プロトタイプ信号の発生が与えられる特徴ベクトル信号
    の発生確率が、プロトタイプ信号の平均と分散とが与え
    られる特徴ベクトル信号のガウス尤度として評価され
    る、 請求項９記載の手書き認識方法。
11. 【請求項１１】手書きストロークを表わす特徴ベクトル
    信号を生成するステップが、タブレット上の手書きスト
    ロークの少なくとも１の局部特徴の値を生成するととも
    に、タブレット上の手書きストロークの少なくとも１の
    大域特徴の値を生成する、 請求項１０記載の手書き認識方法。
12. 【請求項１２】成分文字スコアが、プロトタイプ信号が
    与えられたときに特徴ベクトル信号が発生する確率に、
    候補文字種が与えられたときにプロトタイプ信号が発生
    する確率を掛けることによる、積の評価を考慮し、 部分文字スコアが、全てのプロトタイプ信号について、
    候補文字種と特徴ベクトル信号とについての成分文字ス
    コアの合計を考慮し、 全体文字スコアが、手書きストロークにおける候補文字
    種と全ての特徴ベクトル信号とについての部分文字スコ
    アの積を考慮したものである、 請求項１１記載の手書き認識方法。