JP3198218B2 - オンライン手書き文字認識方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は電子手帳、ワードプロ
セッサなどに用いられるペン入力装置に関し、特に、そ
うしたペン入力装置において、楷書のみならず変形の大
きい続け字をも正確に認識するオンライン手書き文字認
識方法に関する。

【０００２】

【従来の技術】電子手帳、ワードプロセッサ、コンピュ
ータなどに対して文字を入力する場合、従来はキーボー
ドなどを用いたものが主流であった。しかし、キーボー
ドを用いた入力には一定の技量が必要であること、電子
手帳、コンピュータなどが小型化するに従い、キーボー
ドのキーを確保するのに必要な面積が確保できなくなっ
てきていること、などに鑑みて、タブレットなどを用い
た手書き文字によるオンライン手書き文字入力が使用さ
れることが多くなってきた。

【０００３】従来提案されているオンライン手書き文字
認識方法は、構造解析的方法とパターンマッチング的方
法との２つに大別される。

【０００４】構造解析的方法においては、入力文字を、
数種類の直線からなる予め用意した基本ストロークで記
述する。その基本ストロークの集合を識別理論に沿って
識別する。この構造解析的方法では、予め用意した基本
ストロークで文字を記述する。そのためストロークの変
形の大きい続け字の認識の場合、基本ストロークの抽出
が困難となるという問題点があった。

【０００５】パターンマッチング的方法は、文字がスト
ロークの集合からなるものと考えて、予め書く文字の標
準パターンを準備しておく。そして標準パターンおよび
入力パターンを構成するストローク間の対応づけを行な
う。対応づけられた各ストローク間において定められる
距離を求め、それら距離の総和としてパターン間距離を
求める。パターン間距離が最も小さい標準パターンが入
力文字として認識される。パターンマッチング的方法で
は、変形が大きい入力パターンの認識においては、標準
パターンと入力パターンとのストロークの対応づけが誤
ったりする問題がある。ストロークの対応づけが正しく
できたとしても、正解の標準パターンとの間で計算され
たパターン間距離が、他の（誤った）標準パターンとの
間で計算されたパターン間距離よりも大きくなってしま
うことがあり、その結果認識が正しく行なわれないこと
があるという問題点があった。

【０００６】

【発明が解決しようとする課題】以上のように従来の方
法では、文字を構成する各ストロークを基本ストローク
のみで記述したり、各ストロークについて複数の座標を
特徴としたりしているため、続け字のように複数のスト
ロークが接続されて１つのストロークのように手書きさ
れた場合には、ストロークの対応づけが正しく行なわれ
ず、誤認識が発生するという問題点がある。

【０００７】したがって請求項１に記載の発明の目的
は、楷書のみならず続け字も認識できるオンライン手書
き文字認識方法を提供することである。

【０００８】請求項２に記載の発明の目的は、楷書のみ
ならず続け字も認識でき、かつ高速に正確な文字認識が
可能なオンライン手書き文字認識方法を提供することで
ある。

【０００９】請求項３に記載の発明の目的は、楷書のみ
ならず続け字も正しく認識できるオンライン手書き文字
認識方法を提供することである。

【００１０】

【００１１】

【００１２】

【課題を解決するための手段】請求項１に記載の発明
は、手書き文字データ出力手段から与えられる、手書き
文字の筆跡の座標の移動を表わす時系列データに基づい
て手書き文字を認識するためのオンライン手書き文字認
識方法であって、与えられた時系列データから特徴点を
抽出する工程と、抽出された複数個の特徴点データを、
予め準備されたテンプレートと比較することにより、手
書き文字を認識する工程とを含む。特徴点を抽出する工
程は、与えられた時系列データのうち、隣接する予め定
める複数個のデータを選択する工程と、選択された予め
定める複数個のデータの先頭点および最終点を結んだ線
分と、選択された予め定める複数個のデータ内の、隣接
する２点を結んだ線分とがなす角度を求める工程と、求
められた角度と予め定めるしきい値角度との間に所定の
関係が成立するか否かを判定する工程と、所定の関係が
成立すると判断された場合に、選択されたデータのうち
の予め定めるものを特徴点として抽出する工程と、与え
られた時系列データに対して、複数個のデータの選択が
終了するまで、選択する工程と、角度を求める工程と、
判定する工程と、抽出する工程とを繰返す工程とを含
む。

【００１３】請求項２に記載の発明は、請求項１記載の
オンライン手書き文字認識方法であって、選択する工程
は、与えられたｎ個（ｎ≧３）の時系列データのうち、
隣接するｋ＋２個（ｋ＝１〜ｎ−２）のデータｘ
（ｔ₀ ）〜ｘ（ｔ_k+1 ）を選択する工程を含む。なお本
明細書において、アンダーラインが付されたアルファベ
ットはベクトルを表わす。角度を求める工程は、選択さ
れたｋ＋２個のデータの先頭点ｘ（ｔ₀ ）と最終点ｘ
（ｔ_k+1 ）、およびｘ（ｔ_i ），ｘ（ｔ_i-1 ）に対し
て、

【００１４】

【数２】

【００１５】で定められる角度Δθ_i （ｉ＝１，２，
…，ｋ＋１）を求める工程を含む。判定する工程は、各
Δθ_i が｜Δθ_i ｜≧θ^* を満たすか否かを判定する工
程を含む。

【００１６】

【００１７】

【００１８】

【００１９】

【００２０】

【００２１】

【００２２】

【００２３】

【００２４】

【００２５】

【００２６】

【００２７】

【００２８】

【００２９】

【００３０】

【００３１】

【００３２】請求項３に記載の発明は、手書き文字デー
タ出力手段から与えられる、手書き文字の筆跡の座標の
移動およびストローク中かストローク間の空白区間かを
示すペンのオン／オフ情報を表わす時系列データに基づ
いて手書き文字を認識するためのオンライン手書き文字
認識方法であって、与えられた時系列データから特徴点
を抽出する工程と、各特徴点までの筆跡の座標の進行角
度の変化量とペンのオン／オフ情報とを特徴量として抽
出する工程と、抽出された特徴量の組を、予め準備され
たテンプレートと比較することにより、手書き文字を認
識する工程とを含む。特徴点を抽出する工程は、与えら
れた時系列データのうち、隣接する予め定める複数個の
データを選択する工程と、選択された予め定める複数個
のデータの先頭点および最終点を結んだ線分と、選択さ
れた予め定める複数個のデータ内の、隣接する２点を結
んだ線分とがなす角度を求める工程と、求められた角度
と予め定めるしきい値角度との間に所定の関係が成立す
るか否かを判定する工程と、所定の関係が成立すると判
断された場合に、選択されたデータのうちの予め定める
ものを特徴点として抽出する工程と、与えられた時系列
データに対して、複数個のデータの選択が終了するま
で、選択する工程と、角度を求める工程と、判定する工
程と、抽出する工程とを繰返す工程とを含む。

【００３３】

【作用】請求項１に記載の発明によれば、手書き文字デ
ータ出力手段からの時系列データから特徴点が抽出さ
れ、抽出された複数個の特徴点データを、予め準備され
たテンプレートと比較することにより、手書き文字が認
識される。特徴点を抽出する場合、与えられた時系列デ
ータのうち、隣接する予め定める複数個のデータが選択
され、選択されたデータの先頭点および最終点を結んだ
線分と、選択されたデータ内の、隣接する２点を結んだ
線分とがなす角度とが求められる。求められた角度と予
め定めるしきい値角度との間に所定の関係が成立すれ
ば、たとえば求められた角度の絶対値がしきい値角度以
上であれば、選択されたデータのうちの予め定めるも
の、たとえば時系列で先頭に位置するものと、当該隣接
する２点のうちの、時系列で前に位置するものとを特徴
点として抽出する。与えられた時系列データに対して、
複数個のデータの選択が終了するまで、選択するステッ
プと、角度を求める工程と、判定する工程と、抽出する
工程とを繰返す。この処理により、オフストロークも含
めて、筆跡の特徴を的確に表わす１つの連続する筆記情
報列が得られる。

【００３４】請求項２に記載の発明によれば、請求項１
記載のオンライン手書き文字認識方法において、選択さ
れたｋ＋２個のデータの先頭点ｘ（ｔ₀ ）と最終点ｘ
（ｔ_{k+ 1} ）およびｘ（ｔ_i ），ｘ（ｔ_i-1 ）に対応し
て、角度Δθ_i （ｉ＝１，２，…，ｋ＋１）を求め、各
Δθ_i が｜Δθ_i ｜≧θ^* を満たすか否かによって特徴
点の抽出を行なうか否かが判定される。この方法によ
り、入力文字の特徴を的確に表わすために不要なデータ
が除去され、認識に適した特徴点のみを抽出できる。

【００３５】

【００３６】

【００３７】請求項３に記載の発明によれば、手書き文
字データ出力手段からの時系列データから特徴点が抽出
され、抽出された特徴点データからさらに抽出された特
徴量を、予め準備されたテンプレートと比較することに
より、手書き文字が認識される。特徴点を抽出する場
合、与えられた時系列データのうち、隣接する予め定め
る複数個のデータが選択され、選択されたデータの先頭
点および最終点を結んだ線分と、選択されたデータ内
の、隣接する２点を結んだ線分とがなす角度とが求めら
れる。求められた角度と予め定めるしきい値角度との間
に所定の関係が成立すれば、たとえば求められた角度の
絶対値がしきい値角度以上であれば、選択されたデータ
のうちの予め定めるもの、たとえば時系列で先頭に位置
するものと、当該隣接する２点のうちの、時系列で前に
位置するものとを特徴点として抽出する。与えられた時
系列データに対して、複数個のデータの選択が終了する
まで、選択するステップと、角度を求める工程と、判定
する工程と、抽出する工程とを繰返す。この処理によ
り、オフストロークも含めて、筆跡の特徴を的確に表わ
す１つの連続する筆記情報列が得られる。

【００３８】

【実施例】以下、本発明の一実施例を図を用いて説明す
る。図１は、本発明の一実施例を実現するためのオンラ
イン手書き文字認識装置の構成を示すブロック図であ
る。図１を参照してオンライン手書き文字認識装置３０
は、筆記情報を時系列データとして出力するためのタブ
レット４０と、タブレット４０の出力からストロークを
検出するためのストローク検出部４２と、検出されたス
トロークから特徴点を抽出するための特徴抽出部４４
と、抽出された特徴点と、予め登録されていた複数個の
テンプレートとの間でマッチングを行なうためのマッチ
ング部４６と、マッチングに使用されるテンプレートを
予め登録しておくテンプレート記憶部４８と、マッチン
グ結果を表示するための表示部５０とを含む。

【００３９】タブレット４０は手書き文字データ出力手
段の一例である。なお手書き文字データ出力手段として
はタブレットに限定されず、手書き文字の筆跡の移動を
座標列として出力できるとともに、その間のペンのオン
／オフ（ストローク中か、ストロークとストロークとの
間の空白区間か）を示す情報を出力できるものであれば
どのようなものでもよい。

【００４０】以下、各部で行なわれる処理について次の
数式を参照して説明する。

【００４１】

【数３】

【００４２】図１に示されるタブレット４０から得られ
るデータを、式（１）のｘ（ｔ_i ）とする。ここで、ｘ
（ｔ_i ）は時刻ｔ_i における２次元座標データを示す。
時刻ｔ_i とは、筆跡の最初（０番目）のデータが得られ
た時刻をｔ₀ とし、その後一定のタイミングでサンプリ
ングされた場合の、ｉ番目のサンプリングタイミングを
示す。式（１）においてｐ（ｔ_i ）は、時刻ｔ_i におけ
るスタイラスペンのオン／オフ状態を示す。たとえばペ
ンがオンの場合には論理１、ペンがオフの場合には論理
０となる。

【００４３】図１のストローク検出部４２および特徴抽
出部４４で行なわれる特徴点の抽出処理の概略は次のよ
うなものである。

【００４４】（１） ステップ１ 図２を参照して、３個の座標データｘ（ｔ₀ ）、ｘ（ｔ
₁ ）、ｘ（ｔ₂ ）を選択する。これら３点は、得られた
筆跡データのうちの、連続する３つの点である。この図
２に示される３点の座標データから、式（２）に従って
角度Δθｉを求める。図２の場合にはΔθ₁ とΔθ₂ と
の２つが得られる。

【００４５】θ^* を所定のしきい値（０〜１８０°）と
して、もしも式（３）が成立すれば後述のステップ２
に、さもなければｘ（ｔ₀ ）およびｘ（ｔ₁ ）を特徴点
とし、ｘ（ｔ₀ ）：＝ｘ（ｔ₁ ）として、ステップ１に
戻る。

【００４６】（２） ステップ２ 続いて図３を参照して、４個の座標データｘ（ｔ₀ ），
…，ｘ（ｔ₃ ）が与えられた場合を考える。その場合に
も式（４）に従い、３つのΔθ_i （ｉ＝１，２，３）を
求める。もしも式（５）が図３に示されるようにｉ＝
１，２，３のすべてに対して成立すれば後のステップ３
の処理に、さもなければ、つまり図４に示されるように
いずれか１つ（図４の場合にはΔθ₃ ）がθ^* よりも大
きければｘ（ｔ₀ ）、ｘ（ｔ₂ ）を特徴点とし、ｘ（ｔ
₀ ）：＝ｘ（ｔ₂ ）としてステップ１に戻る。

【００４７】（３） ステップ３ 以下、ステップ１およびステップ２と同様の処理を、処
理対象の座標データの数を１ずつ増加させながら行なっ
ていく。

【００４８】（４） ステップｋ ｋ＋２個の座標データｘ（ｔ₀ ），ｘ（ｔ_k+1 ）が与え
られる場合、式（６）に示されるようにΔθ_i （ｉ＝
１，…，ｋ＋１）が計算される。もしも式（７）がすべ
てのｉ（ｉ＝１，…，ｋ＋１）に対して成立すればステ
ップｋ＋１へ、さもなければｘ（ｔ₀ ）、ｘ（ｔ_k ）を
特徴点とし、ｘ（ｔ₀ ）：＝ｘ（ｔ_k ）としてステップ
１に戻る。

【００４９】（５） 終了ステップ 以上の処理を、入力されたストロークの座標点数Ｍまで
完了した場合に抽出処理が終了する。なおＭは式（１）
にも示されるように、入力されたストロークの座標点数
を示す。

【００５０】図５に、「か」について上記手順で特徴点
を抽出した例を示す。図５においては「●」が特徴点
を、「○」が特徴点以外の座標データを示す。図５にお
いて、ペンのオン／オフ情報がオンのストロークは実線
で、オフのストロークは点線で、それぞれ示している。
なお、この明細書で使用している「オフストローク」と
いう語は、あるストロークの終点座標と次のストローク
の始点座標とを結んだ擬似的なストロークのことを指
す。たとえば図５では、ｘ（ｔ₅ ）およびｘ（ｔ₆）と
の間、およびｘ（ｔ₇ ）とｘ（ｔ₈ ）との間を結ぶ線分
がオフストロークである。

【００５１】なお、しきい値角度θ^* は前述のように０
〜１８０°の値をとることができ、経験的に最適と思わ
れる値を選択すればよい。後に述べる実験の場合、θ^*
は１０°に設定されている。またしきい値角度θ^* は式
（３）、（５）および（７）に共通である。もちろん、
各ステップによりこのしきい値角度を変えることも考え
られるが、共通とした方が簡明である。

【００５２】上記した特徴点抽出方式を実現するための
ソフトウェアの制御をフローチャート形式で示したもの
が図１６および図１７であるが、その詳細については後
述する。

【００５３】上述のようにして抽出された特徴点から、
パターンマッチングの特徴量を得るための処理につき、
次の式（８）〜（１７）を参照して以下に説明する。

【００５４】

【数４】

【００５５】まず、上述のようにして抽出された特徴点
の座標とその座標におけるペンのオン／オフ情報を組と
した特徴点列を式（８）で表わされるものとする。ｉ＝
１，…，Ｍに対して式（９）に従ってΔθ_i （ｉ＝１，
…，Ｍ）を計算する。なお、ｘ¹ （ｔ_i ）はｘ（ｔ_i ）
のｘ軸成分、ｘ² （ｔ_i ）はそのｙ成分である。

【００５６】同様にして式（１０）で表わされる値も計
算する。なお、本明細書では式（１０）の左辺に示され
るように変数に上線を設けた変数は、以下その変数名の
後に（オーババー）を付して呼ぶこととする。たとえば
式（１０）の左辺はΔｆ_i （オーババー）と呼ぶ。

【００５７】Δｆ_i （オーババー）を、式（１１）に従
って正規化しΔｆ_i を得る。式（１１）によればΔｆ_i
は、筆跡の全長（ペンの全移動距離）を１とした場合
の、ｘ（ｔ_i-1 ）とｘ（ｔ_i ）との距離を示す。

【００５８】式（１２）に従ってｆ_i を計算すると、ｆ
_i は特徴点ｘ（ｔ_i ）までの筆跡の長さ（ペンの移動距
離の総和）を表わしている。

【００５９】この実施例で文字認識に用いる特徴量は式
（１３）により示されている。式（１３）においてθ
（ｆ_i ）は式（１４）により定義され、ｐ_i は式（１
５）によって定義される。式（１４）の右辺の「Δθ_k
（ｆ_k ）」は、特徴点ｘ（ｔ_k ）までのストロークの長
さを式（１２）に示されるようにｆ_k とした場合の、そ
のポイントｘ（ｔ_k ）におけるΔθ_k を表わしている。
つまり式（１４）の左辺のθ（ｆ_i ）は、ｋ＝１からｋ
＝ｉまでの各特徴点において計算されたΔθ_k を累積し
たトータルの角度変化であると考えることができる。

【００６０】また式（１５）によれば、２つの特徴点
（ｘ（ｔ_i-1 ），ｐ（ｔ_i-1 ）），（ｘ（ｔ_i ），ｐ
（ｔ_i ））の区間のペンの状態は「時刻ｔ_i-1 以降時刻
ｔ_i までのペンの状態である。」ことを表わしている。
式（８）〜（１４）で表わされる処理は、特徴点データ
をｘｙ座標系から極座標系に座標変換している処理と考
えられるが、それに付随するペン情報は、極座標系に変
換される２つの特徴点の間の区間のペン情報と等しい。

【００６１】以上のようにして認識に用いる特徴量が定
義される。同様にして、予め登録されているテンプレー
トの特徴量を式（１６）に示されるものとする。２つの
特徴量Ｘ_i ＝（θ（ｆ_i ），ｐ_i ）とＹ_j ＝（η
（ｇ_j ），ｑ_j ）とについて式（１７）によりρを定義
する。ここで、式（１７）の右辺に用いられているｄ
（ｐ_ik，ｑ_jk）は、ペンの状態（オン／オフ）をパター
ン間距離に反映させるための「重み」パラメータであ
る。このような「重み」パラメータを導入することによ
り、文字の変形まで考慮したより的確なパターンマッチ
ングを行なうことができる。式（１７）に従って求めた
特徴量間の距離を、全体の筆跡について合計をすること
により文字を認識できる。

【００６２】ところで、文字を認識するために全体の筆
跡について式（１７）の合計を求める必要があるが、こ
こで次のような問題が存在する。得られた特徴点データ
の数は式（１３）に示されるようにＭ個であり、テンプ
レートの特徴量の数は式（１６）に示されるようにＮで
ある。一般にＭ≠Ｎである。この場合には単純には式
（１７）の合計を求めることはできない。以下、次の式
（１８）〜（２０）を参照して、合計の求め方を説明す
る。

【００６３】

【数５】

【００６４】

【数６】

【００６５】

【数７】

【００６６】こうした場合の式（１７）の合計を求める
方法について以下説明する。対応すべき２つの特徴ベク
トル列Ｘ、Ｙを次のように定める。

【００６７】Ｘ＝Ｘ₁ ，Ｘ₂ ，…，Ｘ_M Ｙ＝Ｙ₁ ，Ｙ₂ ，…，Ｙ_N ただしＸ_i 、Ｙ_j はそれぞれ式（１３）、（１６）によ
り定義される特徴ベクトルであるとする。

【００６８】この２つの系列をパターン間距離が最小と
なるように対応づけさせることを２次元的に図示すると
図６に示すとおりになる。図６を参照して、Ｘ、Ｙ両ベ
クトル列の対応変換関数は、ｉｊ平面上の格子点ｃ＝
（ｉ，ｊ）の点列で表わされる。この点列をＦとすれば
次のようになる。

【００６９】Ｆ＝ｃ₁ ，ｃ₂ ，…，ｃ_k ，…，ｃ_K ただし、ｃ_k ＝（ｉ_k ，ｊ_k ）である。

【００７０】２つの特徴ベクトルＸ_ikとＹ_jkとの距離を
ｄ（ｃ_k ）で表わすと、点列Ｆに沿ってとった距離の総
和Ｄ（Ｆ）は式（２０ａ）で表わされる。ただし式（２
０ａ）においてｗ_k は、ｋ番目の対応づけにおける経路
長である。

【００７１】式（２０ａ）の値が小さいほど、特徴ベク
トル列Ｘ、Ｙの対応づけが良いことを示している。

【００７２】ここで、式（２０ａ）を、式（１８）、
（１９）、さらにｉ₁ ＝ｊ₁ ＝１、ｉ _K ＝Ｍ、ｊ_K ＝Ｎ
という式（１７ａ）の制限の下でＦに関して最小化する
ことを考える。式（１８）はサブインデックスｉ_k 、ｊ
_k に関する単調性の条件である。式（１９）は同じくこ
れらサブインデックスについての連続性の条件である。
式（１７ａ）は、これらサブインデックスが満足すべき
境界条件である。

【００７３】この式（２０ａ）においてｄ（ｃ_k ）、ｗ
_k を式（２０ｂ）、（２０ｃ）と定義すれば式（２０）
が得られる。このようにして定義された式（２０）を、
手書き文字認識に用いる距離尺度とする。

【００７４】認識に用いる距離尺度として式（２０）に
示される値Ｄ（Ｘ，Ｙ）を計算するうえでｄ（ｐ_ik，ｑ
_jk）の値は経験的なものであるが、それを定めるための
考え方は次のようなものである。

【００７５】（１） 登録されたテンプレートが正しい
画数で書かれている場合を考える。入力文字が楷書体ま
たは続け字で書かれた場合、入力文字の各ペンがオフの
部分は、入力文字と同じカテゴリに属するテンプレート
のペンがオフの部分と一致する。したがってｐ_i ＝ｑ_j
＝“ｕｐ”のときは、他の場合ほどΔθ_i 、Δη_i 、Δ
ｆ_i 、Δｇ_j は重要ではない。なお、「カテゴリ」と
は、認識対象の各文字のことを指す。たとえば入力が
「か」の場合、入力文字と同じカテゴリに属するテンプ
レートとは、「か」を認識するためのテンプレートのこ
とを指す。

【００７６】（２） 登録されたテンプレートが正しい
画数で書かれており、入力文字が続け字で書かれた場合
を考える。この場合には入力文字のペンがオンとなる或
る部分が入力文字と同じカテゴリに属するテンプレート
のペンのオフの部分と一致することがある。したがって
ｐ_i ＝“ｄｏｗｎ”でｑ_j ＝“ｕｐ”のときは、あまり
大きなペナルティをかけない。すなわちこの場合にはｄ
（ｐ_ik，ｑ_jk）の値は小さくする。

【００７７】（３） 一方ｐ_i ＝“ｕｐ”でｑ_j ＝“ｄ
ｏｗｎ”のときはペナルティを大きくする。

【００７８】この重みパラメータの値としても種々考え
られる。後に述べる実験例の場合には次のようなｄ（ｐ
_i ，ｑ_j ）を用いている。

【００７９】

【表１】

【００８０】このようにして考えた場合、式（１７）で
定義されるρは、入力特徴（θ（ｆ _i ），ｐ_i ）とテン
プレート特徴（η（ｇ_j ），ｑ_j ）の間の、ストローク
のオン、オフをも考慮した距離差と考えることができ
る。実際には式（１７）に示されるようにρは入力特徴
とテンプレート特徴とのストロークの方向差×重みパラ
メータとして求められている。

【００８１】式（２０）により、入力Ｘとテンプレート
Ｙとの間のパターン間距離Ｄ（Ｘ，Ｙ）を計算するため
の１つの手法としてＤＰ（ダイナミックプログラミン
グ）マッチング手法がある。ＤＰマッチング手法を式
（２０）に適用した場合の例を次の式（２１）に示す。

【００８２】

【数８】

【００８３】式（２１）の第３式は、第２式に従って求
めたＤ（ｉ_K ，ｊ_K ）が、式（２０）で示されるＤ
（Ｘ，Ｙ）であることを表わしている。

【００８４】入力が与えられた場合、式（２１）を用
い、予め登録されているテンプレートと、上述したよう
な方法で抽出された特徴点から得られる特徴量との間で
パターン間距離を計算し、得られたパターン間距離が最
小のものを認識文字として選択すればよい。

【００８５】図７に、テンプレートと入力データの特徴
ベクトルの一例を示す。図８〜図１２は、或る人が筆記
した「か」と他の人が筆記した「か」とのマッチングの
例を示している。図９〜図１２は実際には図８に示され
るように連続した１つの図であることをここに指摘して
おく。また図９〜図１２に示される数値は式（２１）に
従ったＤＰマッチング手法で計算されたものであるが、
計算過程での丸め誤差により表面上微小な誤差が存在し
ていることにも注意すべきである。

【００８６】上述のようにすれば、入力文字とテンプレ
ートとの間で、オフストロークまで考慮したマッチング
を行なうことができる。そのために、従来の方法と比較
してより正確に続け字まで認識できるという効果が存在
する。

【００８７】一方、認識精度を上げるためには、テンプ
レート数を多くすればよいと思われる。しかし、多くの
テンプレートに対して式（２１）を用いたパターン間距
離の計算を行なえば、計算負荷が大きくなり認識速度の
低下の原因になると思われる。そこでパターン間距離の
計算をより高速化することが望まれる。計算処理の高速
化の方策としては以下が考えられる。

【００８８】（１） 文字を筆記する動作は計算機の動
作速度と比較してよりゆっくりとしている。したがっ
て、タブレットから座標値を取得している間に式（２
１）の計算を開始すれば処理はより速く行なえる。

【００８９】（２） 特徴点の数をＭであるとする。す
ると式（１１）の手順に従ってΔｆ _i の正規化を行なう
と、すべてのΔｆ_i （ｉ＝１，…，Ｍ）が得られるま
で、式（２１）の計算を行なうことができない。すなわ
ち文字の筆記動作が終了しないとマッチング動作を実質
的には行なうことができず、文字の筆記と並行して計算
を行なう利点を得ることができない。

【００９０】この問題に対処するために、本実施例では
次のようにしてＤＰマッチングのパスの刈り込みを行な
い、計算量を減少させることにより計算負荷を小さくし
ている。この計算方法を以下の式を参照して説明する。

【００９１】

【数９】

【００９２】まず、式（２２）で示される値Ｄ^* （Ｘ，
Ｙ）を定義する。式（２２）の右辺の分子は式（２３）
により定義される。ここでｉ_k 、ｊ_k は既に述べたとお
りのサブインデックスである。

【００９３】今、上述の式（２４）および式（２５）で
表わされる２つの正規化されていない特徴ベクトルにつ
いて、Ｍ＝Ｎ、ｆ_i （オーババー）＝ｇ_j （オーババ
ー）、ｐ_i ＝ｑ_j が成立し、かつ式（２６）が成立する
ものとする。式（２６）は、２つの正規化されていない
特徴ベクトル（式（２４）および式（２５））の間の角
度差が一定値γであることを意味している。ここでｉ＝
ｊ＝ｋ、Ｋ＝Ｍ＝Ｎとする。これら値と式（２３）を式
（２２）に代入して整理すると式（２７）が得られる。
すなわちこの場合式（２７）の左辺は定数γと等しくな
り、スケール不変である。

【００９４】しかしこのようにして求めた式（２２）
も、Δｆ_i が得られるまでは計算ができない。そこで、
式（２１）でノード（ｉ_k ，ｊ_k ）を多く刈り込んで計
算量を少なくするために、以下のようにして式（２２）
を利用する。

【００９５】式（２２）のうち、分母の根号の中の第２
項目（式（２８））は予め登録されているテンプレート
から求めるものである。したがって式（２８）は事前に
計算しておくことができる。また、タブレットのサイズ
などの物理的な制限のため、テンプレートの文字の大き
さに対する入力の筆跡の相対的なサイズには、自然な上
限がある。そこで、式（２９）がすべてのテンプレート
について成立するような定数α^* を経験値として求める
ことが可能である。この定数α^* は理論上はかなり大き
な値となる。しかし、文字の入力枠を設けたりすること
によりかなり小さくすることができ、たとえば入力文字
の大きさをテンプレートの文字の大きさの２倍までと制
限することもできる。以下に述べる実験例ではα^* ＝２
を用いている。

【００９６】また、式（２７）を考慮して、すべてのテ
ンプレートおよび入力について式（３０）が成立するよ
うな経験値γ^* が存在する。式（２７）の解釈として、
文字がスケールに関係なく全体に角度γだけ回転してい
ると考えられる。したがって式（３０）の右辺のγ^* は
回転を制限する上限値であって０〜１８０°の間に存在
する。以下に述べる実験例ではγ^* ＝２５を用いてい
る。

【００９７】式（２２）、（２３）に式（２９）、（３
０）を組合せることにより、式（３１）の不等式が得ら
れる。式（３１）はすべてのテンプレートと入力につい
て成立するはずである。また式（３１）の右辺の部分は
入力とは無関係であり、経験値α^* とγ^* とが与えられ
れば予め計算可能である。そこで、式（２３）で表わさ
れる値を式（２０）と同様に式（２１）により表わされ
るＤＰマッチング手法により計算し、式（３１）の関係
が成立しないノードが存在した場合、そのノード以降の
パスを刈り込むことができる。これによりＤＰマッチン
グ手法における計算量が削減され、認識速度の向上が得
られる。

【００９８】図１３〜図１５に、このようにしてパスを
刈り込んだ場合の計算過程を示す。図１４および図１５
は図１３に示されるように組合わされることをここに指
摘しておく。図１４および図１５に示されるように、そ
のノードまでの最短経路が式（３１）を満足しないノー
ド以降のパスの計算を行なわないようにすることによ
り、図８〜図１２に示される場合と比較してかなりの量
の計算が削減できることがわかる。

【００９９】次に、この発明の方法に従って特徴点を抽
出する処理をコンピュータ上で実行されるソフトウェア
により実現する場合の、フローチャートを図１６および
図１７を参照して説明する。

【０１００】図１６を参照して、まずステップ５９で、
ｉ₀ に０を代入し、ｘ（ｔ₀ ）を特徴点として選択す
る。

【０１０１】続いてステップ６０で、インデックスｉ₀
が定数Ｍ−２以下かどうかが判定される。この式が成立
しなければ入力されたストロークの座標点数Ｍのすべて
が処理完了したということであるからステップ６１でｘ
（ｔ_M ）を特徴点として選択し全体処理は終了する。

【０１０２】ステップ６０の不等式が成立する場合、ス
テップ６２で変数ｋにｉ₀ ＋１を代入する。

【０１０３】続いてステップ６４でｐ（ｔ_i0）（時刻ｔ
_i0におけるペンのオン／オフ情報）が“ｕｐ”かどうか
についての判定が行なわれる。ｕｐであれば制御は図１
７のステップ８２に進む。さもなければ制御はステップ
６５に進む。図１７の処理については後述する。

【０１０４】ステップ６５ではｋがＭ以上か否かが判定
される。Ｍ以上であれば制御は図１７のステップ８２に
進み、さもなければ制御はステップ６６に進む。

【０１０５】ステップ６６では、同様にしてｐ（ｔ_k ）
がｕｐかどうかが判定される。ｕｐであれば制御は図１
７のステップ８２に進み、さもなければ制御はステップ
６８に進む。

【０１０６】ステップ６８では角（ｘ（ｔ_k+1 ），ｘ
（ｔ_i0））を計算する。この計算は式（９）と同様にし
て計算できる。

【０１０７】続いてステップ７０でｉ₀ ＋１をｉに代入
して制御は図１７のステップ７２に進む。

【０１０８】ステップ７２では、ｉ≦（ｋ＋１）が成立
するか否かの判断が行なわれる。この不等式が成立しな
ければ制御はステップ７３に進み、成立すれば制御はス
テップ７４に進む。

【０１０９】ステップ７３ではｋが１インクリメントさ
れ、制御は図１６のステップ６５に戻る。

【０１１０】一方ステップ７４では角（ｘ（ｔ_i ），ｘ
（ｔ_i-1 ））が計算される。続いてステップ７６で、式
（２）に示される関係に従ってΔθ_i が計算される。

【０１１１】ステップ７８で、｜Δθ_i ｜＜θ^* が成立
するか否かの判断が行なわれる。この不等式が成立しな
ければ制御はステップ８２に進み、さもなければ制御は
ステップ８０に進む。

【０１１２】ステップ７８の不等式が成立する場合には
ステップ８０でｉを１インクリメントして制御はステッ
プ７２に戻る。以下ステップ７２〜７８の処理を繰返
す。

【０１１３】一方ステップ８２に処理が進んだ場合に
は、ｘ（ｔ_k ）を特徴点として選択する。

【０１１４】続いてステップ８４でｉ₀ にｋを代入して
制御は図１６のステップ６０に戻る。

【０１１５】以上のようにして、入力データから特徴点
が抽出される。続いて、ＤＰマッチングによる式（２
０）の計算方法、すなわち式（２１）の求め方のフロー
チャートを説明する。なお、この計算に先立って（Ｍ＋
１）×（Ｎ＋１）の２次元配列Ｄ（Ｍ，Ｎ）が準備され
ているものとする。図１８を参照して、まずステップ９
０でＤ（０，０）に０が代入され、Ｄ（０，１）〜Ｄ
（０，Ｎ）に、∞が挿入される。実際には、Ｄ（０，
１）〜Ｄ（０，Ｎ）には計算機で扱うことができる最大
数が代入される。なお、以下のステップ９４からの処理
では、各行について各列の値を計算し、１行の計算がす
べて完了した後に次の行の処理を行なう、というように
計算を進めていく。ステップ９４ではｉがＭ以下かどう
かについての判定が行なわれる。この不等式が成立しな
い場合、すべての行についての処理が終了したというこ
とであるので計算処理は終了する。不等式が成立する場
合には制御はステップ９６に進む。

【０１１６】ステップ９６ではＤ（ｉ，０）に∞が代入
される。制御はステップ９８に進む。ステップ９８〜１
０２の処理は、ｉ行目の各列の要素についての計算であ
る。

【０１１７】ステップ９８ではｊがＮ以下かどうかにつ
いての判断が行なわれる。この不等式が成立していなけ
れば、この行についてのすべての列要素の計算が終了し
たということであり、制御はステップ１０４に進む。さ
もなければ制御はステップ１００に進む。

【０１１８】ステップ１００では、式（２１）に従って
Ｄ（ｉ，ｊ）を計算する処理が行なわれる。

【０１１９】続いてステップ１０２でｊをインクリメン
トして制御はステップ９８に戻る。一方ステップ１０４
では、ｉを１インクリメントしてステップ９４に戻る。

【０１２０】以上のようにして式（２１）のＤＰマッチ
ングによる計算が行なわれる。

【０１２１】

【発明の効果】以上のように請求項１に記載の発明によ
れば、オフストロークも含めて、１つの連続する筆記情
報列が得られ、この筆記情報列をテンプレートと比較す
ることで手書き文字が認識される。ストロークのみによ
る文字認識ではないため、楷書のみならず続け字も認識
できるオンライン手書き文字認識方法を提供できる。

【０１２２】さらに請求項２に記載の発明によれば、入
力文字の特徴を的確に表わすために不要なデータが除去
され、認識に適した特徴点のみを抽出できる。認識に適
した特徴点のみを用いてテンプレートとの比較が行なえ
るので、計算量も少なく、高速に正確な文字認識が可能
なオンライン手書き文字認識方法を提供できる。

【０１２３】

【０１２４】

【０１２５】請求項３に記載の発明によれば、オフスト
ロークも含めて、各特徴点の特徴量からなる１つの連続
する筆記情報列が得られ、この筆記情報列をテンプレー
トと比較することで手書き文字が認識される。ストロー
クのみによる文字認識ではないため、楷書のみならず続
け字も認識できるオンライン手書き文字認識方法を提供
できる。

【図面の簡単な説明】

【図１】本発明の一実施例の方法を実施するためのオン
ライン手書き文字認識装置のブロック図である。

【図２】３点について特徴点を抽出する場合を示す模式
図である。

【図３】４点について特徴点を抽出する場合を示す模式
図である。

【図４】４点について特徴点を抽出する場合を示す模式
図である。

【図５】「か」に関する入力データと特徴点との一例を
示す模式図である。

【図６】２つの特徴ベクトル列Ｘ、Ｙのマッチング経路
を示す模式図である。

【図７】テンプレートと入力パターンとを対比して示す
図である。

【図８】図９〜図１２に示される図の関係を模式的に示
す図である。

【図９】本発明をＤＰマッチング手法を用いて実施した
場合の結果を示す図である。

【図１０】本発明をＤＰマッチング手法を用いて実施し
た場合の結果を示す図である。

【図１１】本発明をＤＰマッチング手法を用いて実施し
た場合の結果を示す図である。

【図１２】本発明をＤＰマッチング手法を用いて実施し
た場合の結果を示す図である。

【図１３】図１４および図１５の関係を示す模式図であ
る。

【図１４】本発明をＤＰマッチング手法を用いて行な
い、かつパスの刈り込みを行なった場合の結果を示す図
である。

【図１５】本発明をＤＰマッチング手法を用いて行な
い、かつパスの刈り込みを行なった場合の結果を示す図
である。

【図１６】特徴点抽出処理を示すフローチャートであ
る。

【図１７】特徴点抽出処理を示すフローチャートであ
る。

【図１８】ＤＰマッチングのフローチャートである。

【符号の説明】

３０ オンライン手書き文字認識装置 ４０ タブレット ４２ ストローク検出部 ４４ 特徴抽出部 ４６ マッチング部 ４８ テンプレート記憶部 ５０ 表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松本 隆 東京都新宿区西早稲田１丁目６番１号 学校法人早稲田大学内 (72)発明者 鶴田 彰 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (56)参考文献 特開 昭62−190578（ＪＰ，Ａ) 特開 昭62−162182（ＪＰ，Ａ) 特開 昭55−138172（ＪＰ，Ａ) 特開 平３−282896（ＪＰ，Ａ) 特開 昭60−136892（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/46 G06K 9/62 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 手書き文字データ出力手段から与えられ
   る、手書き文字の筆跡の座標の移動を表わす時系列デー
   タに基づいて手書き文字を認識するためのオンライン手
   書き文字認識方法であって、 与えられた時系列データから、特徴点を抽出する工程
   と、 前記特徴点を抽出する工程により抽出された複数個の特
   徴点データを、予め準備されたテンプレートと比較する
   ことにより、手書き文字を認識する工程とを含み、 特徴点を抽出する前記工程は、 前記与えられた時系列データのうち、隣接する予め定め
   る複数個のデータを選択する工程と、 前記選択された予め定める複数個のデータの先頭点およ
   び最終点を結んだ線分と、前記選択された予め定める複
   数個のデータ内の、隣接する２点を結んだ線分とがなす
   角度を求める工程と、 前記求められた角度と予め定めるしきい値角度との間に
   所定の関係が成立するか否かを判定する工程と、 前記所定の関係が成立すると判定された場合に、前記選
   択された予め定める複数個のデータのうちの予め定める
   ものを特徴点として抽出する工程と、 前記与えられた時系列データに対して、前記複数個のデ
   ータの選択が終了するまで、前記選択するステップと、
   前記角度を求める工程と、前記判定する工程と、前記抽
   出する工程とを繰返す工程とを含む、オンライン手書き
   文字認識方法。
2. 【請求項２】 前記選択する工程は、与えられたｎ個
   （ｎ≧３）の時系列データのうち、隣接するｋ＋２個
   （ｋ＝１〜ｎ−２の自然数）のデータｘ（ｔ₀ ）〜ｘ
   （ｔ_k+1 ）を選択する工程を含み、 前記角度を求める工程は、前記選択されたｋ＋２個のデ
   ータの先頭点ｘ（ｔ₀）と最終点ｘ（ｔ_k+1 ）、および
   点ｘ（ｔ_i ），ｘ（ｔ_i-1 ）に対して、 【数１】 で定められる角度Δθ_i （ｉ＝１，２，…，ｋ＋１）を
   求める工程を含み、 前記判定する工程は、予め定めるしきい値角度θ^* に対
   して各Δθ_i が｜Δθ_i ｜≧θ^* を満たすか否かを判定
   する工程を含む、請求項１記載のオンライン手書き文字
   認識方法。
3. 【請求項３】 手書き文字データ出力手段から与えられ
   る、手書き文字の筆跡の座標の移動およびストローク中
   かストローク間の空白区間かを示すペンのオン／オフ情
   報を表わす時系列データに基づいて手書き文字を認識す
   るためのオンライン手書き文字認識方法であって、 与えられた時系列データから、特徴点を抽出する工程
   と、 各前記特徴点までの筆跡の座標の進行角度の変化量とペ
   ンのオン／オフ情報とを特徴量として抽出する工程と、 前記特徴量として抽出する工程により抽出された特徴量
   の組を、予め準備されたテンプレートと比較することに
   より、手書き文字を認識する工程とを含み、 特徴点を抽出する前記工程は、 前記与えられた時系列データのうち、隣接する予め定め
   る複数個のデータを選択する工程と、 前記選択された予め定める複数個のデータの先頭点およ
   び最終点を結んだ線分と、前記選択された予め定める複
   数個のデータ内の、隣接する２点を結んだ線分とがなす
   角度を求める工程と、 前記求められた角度と予め定めるしきい値角度との間に
   所定の関係が成立するか否かを判定する工程と、 前記所定の関係が成立すると判定された場合に、前記選
   択された予め定める複数個のデータのうちの予め定める
   ものを特徴点として抽出する工程と、 前記与えられた時系列データに対して、前記複数個のデ
   ータの選択が終了するまで、前記選択するステップと、
   前記角度を求める工程と、前記判定する工程と、前記抽
   出する工程とを繰返す工程とを含む、オンライン手書き
   文字認識方法。