JPH1196302A

JPH1196302A - 手書き文字認識装置

Info

Publication number: JPH1196302A
Application number: JP9257018A
Authority: JP
Inventors: Akira Tsuruta; 彰鶴田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1997-09-22
Filing date: 1997-09-22
Publication date: 1999-04-09
Anticipated expiration: 2017-09-22
Also published as: JP4099248B2

Abstract

(57)【要約】【課題】手書き入力文字の画数や筆順に依存せず字体
が崩れていても文字カテゴリの大分類を安定且つ有効に
行う。【解決手段】方向量子化部７は、正規化後の各座標デ
ータ間の方向を１６の方向コードを用いて量子化する。
画像パターン生成部８は、４個の画像メモリに対応する
方向コードのセグメントおよびオフストロークの画像パ
ターンを生成し、太め処理によってオフストロークをセ
グメントよりも細くする。特徴抽出部９は、各画像メモ
リを５×５領域に分割し、個々の領域から黒画素数を特
徴量として抽出して特徴ベクトルを求める。こうして、
筆順や崩し字の影響が生じにくいストローク方向に基づ
いて特徴量を抽出して、筆順や崩しに依存しない手書き
文字認識を行う。また、ストロークとオフストロークと
の太さを変えて重み付けを行って、続け字のカテゴリを
安定して認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、パーソナルコン
ピュータや携帯情報端末等に用いられて、タブレットか
らペン入力された手書き文字等を認識する手書き文字認
識装置に関する。

【０００２】

【従来の技術】現在、パーソナルコンピュータや携帯情
報端末等に対して文字を入力する場合には、キーボード
を用いるのが主流である。ところが、このキーボードを
用いて文字や記号を入力するには一定の技量が必要であ
る。また、文字入力の対象となる機器が携帯情報端末の
ように小型化が進んでいるのに対して、上記キーボード
の小型化には限界があるために、キーボードを設ける領
域を確保できない場合がある。

【０００３】そこで、タブレット等を用いた手書き文字
入力が注目され始めている。このようなタブレットが設
けられたパーソナルコンピュータや携帯情報端末等には
手書き文字認識装置が搭載されている。そして、上記手
書き文字認識装置は、手書きされた文字を構成するスト
ロークのパターンと、文字認識辞書に格納されている文
字パターンとのマッチングを取ることによって、手書き
入力された文字を認識して文字コードを出力する。

【０００４】ところが、現在の手書き文字の認識技術は
完全なものではなく、画数/筆順制限の緩和等の種々の
改良余地が残されている。現在研究されている画数/筆
順制限を緩和するオンライン手書き文字認識方法は、大
きく分けて以下の４つの基本的なアプローチに大別でき
る。

【０００５】(１) 入力ストロークを、その筆順は固定
して一筆書きパターンに変換してから認識する方法…画
数に依存しない (２) 入力ストロークを、その画数は固定して文字パタ
ーンと対応付けて認識する方法…筆順に依存しない (３) 入力ストロークを、画数や筆順に因らずに標準パ
ターンとの間で対応付けを行って、過不足なく対応付け
ができる最適ストロークを決定する方法…画数および筆
順に依存しない (４) 入力ストロークをビットマップデータに変換した
のちに、ＯＣＲ(OpticalCharacter Recognition)認識手
法を用いて認識する方法…画数および筆順に依存しない

【０００６】ここで、上記ＯＣＲ認識手法を用いる方法
として、森等：「二度書き/ストローク切れにロバストな
オンライン文字認識」信学技報 PRU95-63(1995)(以下、
文献１と言う)や、特開平８−１４７４１５号公報「オン
ライン文字認識装置」(以下、文献２と言う)等がある。

【０００７】上記文献１では、特徴として拡張外郭方向
寄与度特徴を用いている。この拡張外郭方向寄与度特徴
は、文字線の方向と接続関係を表現するものであり、文
字内の各黒画素から８方向に触手を延ばして求まる黒画
素連結長を要素とする８次元ベクトルで表される。その
場合、文字パターンを上記触手を延ばす方向当たり８区
間に当分割し、外郭深度３まで抽出する。この抽出処理
によって１５３６ベクトルを得、さらに、２５６次元に
次元圧縮して特徴ベクトルとしている。

【０００８】また、上記文献２では、入力ストロークの
座標点列データから、Ｘ座標の変化が＋のセグメントの
画像パターンと、Ｘ座標の変化が−のセグメントの画像
パターンと、Ｙ座標の変化が＋のセグメントの画像パタ
ーンと、Ｙ座標の変化が−のセグメントの画像パターン
とを、夫々異なる画像メモリに格納する。つまり、ＸＹ
座標系における第１,第２象限に在る画像パターンを１
つの画像メモリに格納し、第２,第３象限に在る画像パ
ターンを１つの画像メモリに格納し、第３,第４象限に
在る画像パターンを１つの画像メモリに格納し、第４,
第１象限に在る画像パターンを１つの画像メモリに格納
するのである。そして、各画像メモリを８×８の領域に
等分し、各領域毎に黒画素数をカウントして特徴ベクト
ルを生成する。

【０００９】しかしながら、上述のオンライン手書き文
字認識方法(１)〜(３)は、標準パターンに加えて画数ま
たは筆順の変形パターンを文字認識辞書に登録したり、
入力ストロークと標準パターンとの対応付けを行ったり
するので、認識処理に多大な時間を要する。また、上述
のオンライン手書き文字認識方法(４)は、上述の方法
(１)〜(３)に比べて短時間に認識結果が得られるもの
の、筆順や画数の情報が不足しているために一般に第１
位の文字候補の認識率が上述の方法(１)〜(３)よりも低
い。したがって、この認識率の低さを改善しようとすれ
ば変形パターンを文字認識辞書に追加する必要があり、
結果的に認識処理に時間を要するようになってしまう。

【００１０】ところで、上述のように、認識処理に多大
な時間を要するということは、携帯情報端末においては
決定的に不利である。通常、ユーザが携帯情報端末を使
用するのは時間が余り取れない状況下にであり、このよ
うな状況下では０.５秒に１文字の入力が完了しないと
ユーザにいらいら感を与えてしまう。一方では、携帯情
報端末においては、重量や価格等の制約から高能力を有
するＣＰＵ(中央演算処理装置)を搭載することができな
い。

【００１１】上述のような問題を改善する１つの方法と
して、入力文字が属する文字認識辞書上のカテゴリを大
分類(以下、単に入力文字の大分類と言う)する方法があ
る。この入力文字の大分類は、文字認識の際に用いる文
字認識辞書のカテゴリを限定することによって、マッチ
ングやストロークの対応付けを効率よく行うものであっ
て、手書き文字認識の際には必要な技術である。

【００１２】上記入力文字を大分類する方法として、文
字の画数から大分類を行う方法、筆順から大分類を行う
方法、ストローク長等のペンの移動情報から大分類を行
う方法、上記ＯＣＲ手法によって大分類を行う方法等の
各種の方法がある。これらの種々の大分類方法を組み合
わせることによって、参照する文字認識辞書を絞り込ん
で、手書き文字認識に掛かる処理の無駄を省いて認識速
度を向上している。

【００１３】ここで、上記ＯＣＲ手法によって大分類を
行う方法としては、上述の文献１や木村等：「ハンディ
型パーソナルペン入力における個人字形登録の効果」信
学技報PRMU97-4(1997)(以下、文献３と言う)等がある。
上記２つの文献１,文献３においては、何れも拡張外郭
方向寄与度特徴を用いている。そして、大分類には、２
５６次元の特徴ベクトルと文字認識辞書上の全カテゴリ
の標準ベクトルとのユークリッド距離や市街距離を求め
ることによって行っている。

【００１４】

【発明が解決しようとする課題】しかしながら、上記従
来の入力文字および文字認識辞書の大分類方法には、以
下のような問題がある。先ず、文字の画数から大分類を
行う方法は、例えば崩し字や続け字等によって設定画数
範囲外の書き方をされた入力文字は、大分類の段階で認
識対象文字から除外されて認識できなくなってしまう。
これを補うために画数範囲を広く設定した場合には、入
力文字および文字認識辞書を効果的に絞り込むことがで
きなくなるという問題が生ずる。また、上記筆順から大
分類を行う方法は、入力手書き文字を正規の筆順で書か
なければならず、制約が大過ぎて使いにくいという問題
が生ずる。また、ストローク長や特徴点から大分類を行
う方法は、例えば崩し字等の場合には、ストローク長が
大きく変化したり、特徴点が安定して抽出できないため
に、入力文字や文字認識辞書の大分類の性能が著しく低
下するという問題がある。

【００１５】また、上記ＯＣＲ手法によって大分類を行
う方法は、第１位の文字候補の認識率は劣るものの、文
字パターン全体の形状の特徴を用いるので上位数個の文
字候補全体の認識率は高いというＯＣＲ手法の特性を生
かしており、大分類に適した手法であると言える。とこ
ろが、上述したように、文字パターン全体に関して文字
線の方向と接続関係を抽出するために大次元(２５６次
元)のベクトル演算が必要となり、時間的制約から携帯
情報端末には不向きである。

【００１６】さらに、上記文献２のＯＣＲ手法を大分類
に使用することも考えられる。ところが、この場合に
は、文字筆跡パターンの各ストロークの画像パターンの
みを使用しているために、崩し字や続け字に対しては分
類性能が低下する。そこで、崩し字や続け字に対処しよ
うとすれば崩し字や続け字用の特徴ベクトルも文字認識
辞書に登録する必要があり、辞書容量が増大し、認識時
間が長くなってしまい、携帯情報端末には不利となる。
特に、携帯情報端末では、片手持ち等の不安定な状態で
筆記されるために崩し字や続け字で入力されるのが常で
ある。

【００１７】つまり、従来の入力文字の大分類の方法で
は、手書き文字入力の画数や筆順の制限を緩和すればす
るほど、特に携帯情報端末において十分満足する性能を
得ることができないのが現状なのである。

【００１８】そこで、この発明の目的は、手書き入力文
字の画数や筆順に依存せず、且つ、手書き入力文字の字
体が崩れていても入力文字のカテゴリの大分類を安定且
つ有効に行って手書き文字認識を高速に行う手書き文字
認識装置を提供することにある。

【００１９】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に係る発明は、手書き入力された筆跡の座
標データを時系列に配列して成る座標データ列を得るタ
ブレットと,上記座標データ列に基づいて手書き入力文
字のカテゴリを大分類する大分類部と,この大分類結果
に基づいて手書き入力文字を認識する文字認識部を有す
る手書き文字認識装置において、上記大分類部は、上記
座標データを変換して,手書き入力された筆跡パターン
の位置と大きさを正規化する正規化部と、上記正規化後
の座標データ列に基づいて,ストロークを構成する各セ
グメントおよび各ストローク間を結ぶオフストロークの
方向を量子化して方向コードを得る方向量子化部と、上
記方向コードに対応付けられた画像メモリ上に該当する
方向コードのセグメント及びオフストロークの画像パタ
ーンを生成する画像パターン生成部と、上記画像メモリ
をＭ×Ｎの領域に分割し,各領域の特徴量を抽出して特
徴ベクトルを求める特徴抽出部と、上記特徴ベクトルと
予め登録された標準ベクトルとのマッチングを行うマッ
チング部と、上記マッチングの結果を受けて,認識対象
となるカテゴリを限定する文字分類部を備えていること
を特徴としている。

【００２０】上記構成によれば、方向によって分類され
た入力筆跡のストロークおよびオフストロークの画像パ
ターンに基づいて特徴量が抽出されて、特徴ベクトルが
得られる。そして、この特徴ベクトルと標準ベクトルと
のマッチングの結果に基づいて、認識対象となるカテゴ
リが限定される。その場合、個人によって筆順が変わっ
てもストロークの方向には個人差が生ずることは少な
い。また、崩し文字であっても基本となるストロークの
方向は大略同一である。したがって、筆順に依存しない
で、且つ、崩れた文字であっても安定して手書き入力文
字のカテゴリが大分類されるのである。

【００２１】その場合に、上記筆跡パターンのストロー
クのみならずオフストロークをも考慮して大分類を行う
ことによって、楷書で手書き入力された文字の画数と続
け字で手書き入力された文字の画数との変動が少なくな
り、続け字による画像パターンの変動が吸収される。さ
らに、崩し字や続け字用の標準ベクトルを特別に用意す
る必要がなく、少ない標準ベクトルで崩し字や続け字の
カテゴリが大分類される。

【００２２】また、請求項２に係る発明は、請求項１に
係る発明の手書き文字認識装置において、上記画像パタ
ーン生成部は、上記セグメントおよびオフストロークの
画像パターンを生成する場合に、上記セグメントの太さ
を所定の太さにする一方、上記オフストロークの太さを
上記所定の太さよりも細くするようになっていることを
特徴としている。

【００２３】上記構成によれば、上記オフストロークの
画像パターンの太さがストロークの画像パターンの太さ
よりも細くなっている。したがって、後に抽出される特
徴量が黒画素数である場合には、上記オフストロークに
対して重み付けが行われる。その結果、筆順の変動によ
る大分類の精度低下を軽減することができる。

【００２４】また、請求項３に係る発明は、請求項１に
係る発明の手書き文字認識装置において、上記画像メモ
リは、主たる方向が上下左右である４つの方向コード群
に対応付けられた４個の画像メモリであることを特徴と
している。

【００２５】上記構成によれば、筆記条件によって傾き
が変動し易く個人差も大きい斜め方向ではなく、個人差
が少ない上下左右の４方向に全セグメントおよび全オフ
ストロークの画像パターンがまとめられる。こうして、
手書き入力された文字が崩し字であっても更に安定して
カテゴリが大分類される。

【００２６】また、請求項４に係る発明は、請求項３に
係る発明の手書き文字認識装置において、上と右との両
方向の中間の方向を指定する方向コード、上と左との両
方向の中間の方向を指定する方向コード、下と右との両
方向の中間の方向を指定する方向コード、および、下と
左との両方向の中間の方向を指定する方向コードは、該
当する両方向の夫々が対応付けられている２個の画像メ
モリに対応付けられていることを特徴としている。

【００２７】上記構成によれば、例えば上方向と右方向
との境界付近に位置するセグメントの画像パターンは、
上記上方向が対応付けられている画像メモリと右方向に
対応付けられている画像メモリの両方に生成される。し
たがって、標準パターンの該等セグメントが上方向の画
像メモリと右方向の画像メモリとの何れに存在してもマ
ッチすることになる。その結果、上下左右の４方向の境
界付近に位置するセグメントの傾斜の変動が吸収され
て、手書き入力された文字のカテゴリが更に精度よく大
分類される。

【００２８】また、請求項５に係る発明は、請求項１に
係る発明の手書き文字認識装置において、上記正規化部
は、上記タブレットからの座標データ列に基づいて、上
記筆跡パターンの中心を求め、上記筆跡パターンを,上
記中心を通る直交軸によって分割した４領域の夫々の座
標データを、正規化サイズ×正規化サイズの矩形領域を
直交軸によって４等分割したうちの対応する領域の座標
データに変換するようになっていることを特徴としてい
る。

【００２９】上記構成によれば、手書き入力された筆跡
パターンの中心を基準として位置と大きさとが正規化さ
れるので、手書き入力文字の変形が吸収されて入力文字
のカテゴリが精度よく大分類される。

【００３０】また、請求項６に係る発明は、請求項５に
係る発明の手書き文字認識装置において、上記正規化部
は、上記筆跡パターンのストロークのみならずオフスト
ロークの座標データをも用いて上記筆跡パターンの中心
を求めるようになっていることを特徴としている。

【００３１】上記構成によれば、楷書で手書き入力され
た筆跡パターンの中心位置と続け字で手書き入力された
筆跡パターンの中心位置との変動が少なく、続け字によ
る正規化誤差が吸収される。

【００３２】また、請求項７に係る発明は、請求項１に
係る発明の手書き文字認識装置において、上記特徴抽出
部は、上記画像メモリをＭ×Ｎの領域に分割する場合
に、各領域の境界部分をオーバーラップさせて分割する
ようになっていることを特徴としている。

【００３３】上記構成によれば、上記画像メモリにおけ
る分割領域の境界付近に存在するセグメントの位置の変
動が吸収され、手書き入力文字のカテゴリが更に精度よ
く大分類される。

【００３４】また、請求項８に係る発明のプログラム記
憶媒体は、手書き入力された筆跡の座標データを時系列
に配列して成る座標データ列を得、上記座標データを変
換して,手書き入力された筆跡パターンの位置と大きさ
を正規化し、上記正規化後の座標データ列に基づいて,
ストロークを構成する各セグメントおよび各ストローク
間を結ぶオフストロークの方向を量子化して方向コード
を得、上記方向コードに対応付けられた画像メモリ上に
該当する方向コードのセグメントおよびオフストローク
の画像パターンを生成し、上記画像メモリをＭ×Ｎの領
域に分割し,各領域の特徴量を抽出して特徴ベクトルを
求め、上記特徴ベクトルと予め登録された標準ベクトル
とのマッチングを行い,このマッチングの結果に基づい
て認識対象となるカテゴリを限定して、手書き入力文字
のカテゴリを大分類するプログラムを記憶したことを特
徴としている。

【００３５】上記構成によれば、方向によって分類され
た入力筆跡のストロークおよびオフストロークの画像パ
ターンに基づいて特徴量が抽出されて、特徴ベクトルが
得られる。そして、この特徴ベクトルと標準ベクトルと
のマッチングの結果に基づいて、認識対象となるカテゴ
リが限定される。その場合に、個人によって筆順が変わ
ってもストロークの方向に個人差が生ずることは少な
い。また、崩し文字であっても基本となるストロークの
方向は大略同一である。したがって、筆順に依存しない
で、且つ、崩れた文字であっても安定して手書き入力文
字のカテゴリが大分類される。

【００３６】その場合に、上記筆跡パターンのストロー
クのみならずオフストロークをも考慮して大分類を行う
ことによって、楷書で手書き入力された文字の画数と続
け字で手書き入力された文字の画数との変動が少なくな
り、続け字による画像パターンの変動が吸収される。さ
らに、崩し字や続け字用の標準ベクトルを特別に用意す
る必要がなく、少ない標準ベクトルで崩し字や続け字の
カテゴリが大分類される。

【００３７】

【発明の実施の形態】以下、この発明を図示の実施の形
態により詳細に説明する。図１は、本実施の形態の手書
き文字認識装置におけるブロック図である。この手書き
文字認識装置は、タブレット１,大分類部２,大分類辞書
部３,文字認識部４,結果表示部５,画像メモリ部１５及
び文字認識辞書部１６で概略構成される。

【００３８】上記タブレット１は、例えば表示一体型に
形成されており、操作者がペン入力した筆跡を検出して
電気信号で表現される座標データ列に変換する。大分類
部２は、正規化部６,方向量子化部７,画像パターン生成
部８,特徴抽出部９,マッチング部１０および文字分類部
１１によって概略構成されて、入力文字の文字カテゴリ
を限定する大分類処理を行う。大分類辞書部３には、各
文字カテゴリ毎の標準ベクトルが登録されている。ま
た、文字認識部４は、大分類部２で限定された文字カテ
ゴリに関して文字認識処理を行う。結果表示部５は、文
字認識部４で認識された文字を表示する。

【００３９】上記大分類部２の正規化部６は、上記タブ
レット１からの座標データ列に基づいて入力筆跡パター
ンの中心を求め、この中心座標に基づいて上記入力筆跡
パーンの正規化を行う。そして、方向量子化部７は、正
規化部６による正規化後の座標データ列における各座標
点間のセグメントおよび各セグメントの連鎖であるスト
ロークの間のオフストロークの方向を量子化する。画像
パターン生成部８は、画像メモリ部１５に格納されてい
て、方向量子化部７で量子化された各セグメントおよび
オフストロークの方向コードに対応した画像メモリ上
に、各セグメント及びオフストロークを太め処理しなが
ら直線補間して画像パターンを作成する。特徴抽出部９
は、上記各画像メモリを５×５の領域に分割し、各領域
に含まれる黒画素数をカウントして特徴ベクトルを作成
する。

【００４０】上記マッチング部１０は、上記大分類辞書
部３に登録されている文字カテゴリ毎の標準ベクトルと
上記特徴ベクトルとのマッチングを行う。そして、文字
分類部１１は、マッチング部１０でのマッチング結果に
基づいて、各文字候補の類似度を基に文字認識部４で行
う文字認識の対象となる文字カテゴリを限定する。

【００４１】図２は、上記大分類部２によって行われる
大分類処理動作のフローチャートである。以下、図１お
よび図２に従って、上記大分類処理動作について詳細に
説明する。

【００４２】ステップＳ1で、上記正規化部６によっ
て、タブレット１からの座標データ列に対して、筆跡パ
ターンの大小や位置の変動による不整合を吸収するため
に、筆跡パターンの位置と大きさとに関して以下のよう
に正規化が行われる。

【００４３】図３は、上記筆跡パターンの正規化の説明
図である。図３(a)に示すように、筆跡パターンの外接
矩形における左上の座標(ｘ,ｙ)を(０,０)とする。一
方、図３(d)に示すように、矩形の正規化領域の左上の
座標(Ｙ,Ｘ)を(０,０)とし、Ｙ方向の正規化サイズをＹ
₀とし、Ｘ方向の正規化サイズをＸ₀とする。そして、筆
跡パターンの中心Ｇの座標を(Ｇx,Ｇy)とした場合に、
図３(b)に示すように、上記筆跡パターンの中心Ｇのｙ
座標「Ｇy」を正規化後のパターンのＹ座標「Ｙ₀/２」と
し、筆跡パターンのｙ座標０〜Ｇyを１次式に従って正
規化後のパターンのＹ座標０〜Ｙ₀/２に変換する一方、
筆跡パターンのｙ座標Ｇy〜ｙ_maxを１次式に従って正規
化後のパターンのＹ座標Ｙ₀/２〜Ｙ₀に変換する。同様
に、図３(c)に示すように、上記筆跡パターンの中心Ｇ
のｘ座標「Ｇx」を正規化後のパターンのＸ座標「Ｘ₀/２」
とし、筆跡パターンのｘ座標０〜Ｇxを１次式に従って
正規化後のパターンのＸ座標０〜Ｘ₀/２に変換する一
方、筆跡パターンのｘ座標Ｇx〜ｘ_maxを１次式に従って
正規化後のパターンのＸ座標Ｘ₀/２〜Ｘ₀に変換する。

【００４４】こうして、上記筆跡パターンの位置と大き
さとの正規化が行われる。尚、筆跡パターンの中心Ｇの
座標(Ｇx,Ｇy)は次のようにして求める。ここで、筆跡
パターンのセグメント(隣り合う２つの座標点の間で表
される区間)の数をＳとし、セグメントｉ(ｉ＝１,…,
Ｓ)の中点の座標を(ｘ_mi,ｙ_mi)とし、セグメント長をＬ
_ｉとすると、筆跡パターンの中心Ｇの座標（Ｇx,Ｇy)
は、

【数１】で求められる。

【００４５】ここで、本実施の形態においては、手書き
入力された筆跡パターンの中心Ｇの座標(Ｇx,Ｇy)を算
出する際に、ストローク間のオフストロークを１つのス
トロークと見なし、このストロークと見なされたオフス
トロークの中点の座標とオフストローク長とを加味する
ようにしている。こうすることによって、続け字で手書
き入力された場合における筆跡パターンの中心Ｇの位置
変動を小さくするのである。

【００４６】ステップＳ2で、上記方向量子化部７によ
って、上記ステップＳ1における正規化後の座標データ
に基づいて、２つの座標データ(座標点)を結ぶセグメン
トおよびオフストロークの方向が図４(a)に示すような
１６個の方向コードを用いて量子化される。尚、図４
(b)は、正規化部６からの正規化後の座標データ列と得
られた方向コード列の関係を示しており、座標データ
(Ｘ0,Ｙ0)と座標データ(Ｘ1,Ｙ1)とを結ぶセグメントの
方向コードは「Ｈ0」であり、座標データ(Ｘ1,Ｙ1)と座標
データ(Ｘ2,Ｙ2)とを結ぶセグメントの方向コードは「Ｈ
1」であり、以下同様にして、座標データ（Ｘn-2,Ｙn-2)
と座標データ(Ｘn-1,Ｙn-1)とを結ぶセグメントの方向
コードは「Ｈn-2」であることを表している。

【００４７】ステップＳ3で、上記画像パターン生成部
８によって、図５に示すように、上記ステップＳ2にお
いて得られた方向コードに対応した画像メモリ上に、各
座標点間のセグメントおよびオフストロークを太め処理
を行いながら直線補間して画像パターンが生成される。

【００４８】ここで、上記画像メモリと方向コードとの
対応付けは次の通りである。すなわち、画像メモリＭ1
には方向コード「１」,「２」,「３」,「１５」,「１６」が対応付
けられており、画像メモリＭ2には方向コード「３」,
「４」,「５」,「６」,「７」が対応付けられており、画像メモ
リＭ3には方向コード「７」,「８」,「９」,「１０」,「１１」が
対応付けられており、画像メモリＭ4には方向コード「１
１」,「１２」,「１３」,「１４」,「１５」が対応付けられてい
る。

【００４９】そして、例えば、方向コード「１」,「２」,
「３」,「１５」,「１６」に対応した画像メモリＭ1には、入
力文字「木」の正規化後の座標データに基づく筆跡パター
ンのうち、方向コードが「２」であるセグメントａと、方
向コードが「３」であるセグメントｂおよびオフストロー
クｃと、方向コードが「１５」であるセグメントｄと、方
向コードが「１６」であるセグメントｅの画像データが、
夫々太め処理されて書き込まれる。端的に言うならば、
上記画像メモリＭ1には、主たる向きが右向きであるセ
グメントおよびオフストロークの画像パターンが生成さ
れるのである。同様に、画像メモリＭ2には上向きのセ
グメントおよびオフストロークの画像パターンが生成さ
れ、画像メモリＭ3には左向きのセグメントおよびオフ
ストロークの画像パターンが生成され、画像メモリＭ4
には下向きのセグメントおよびオフストロークの画像パ
ターンが生成されるのである。

【００５０】その場合に、方向コード「１」と方向コード
「５」との中間の方向コード「３」は、方向コード「１」が対
応付けられている画像メモリＭ1と方向コード「５」が対
応付けられている画像メモリＭ2との２個の画像メモリ
に対応付けられている。同じように、上記方向コード
「５」と方向コード「９」との中間の方向コード「７」は画像
メモリＭ2と画像メモリＭ3とに対応付けられ、方向コー
ド「９」と方向コード「１３」との中間の方向コード「１１」
は画像メモリＭ3と画像メモリＭ4とに対応付けられ、方
向コード「１３」と方向コード「１」との中間の方向コード
「１５」は画像メモリＭ4と画像メモリＭ1とに対応付けら
れている。このように上下左右の中間の方向の方向コー
ドをその方向コードを境界とする２個の画像メモリに対
応付けることによって、標準パターンにおける該等カテ
ゴリの該等セグメントが上記２個の画像メモリの何れに
在っても該等セグメントの画像パターンとマッチするこ
とになり、上下左右の４方向の境界付近に位置するセグ
メントの傾きの変動を吸収して、より精度よく大分類を
行うことができるのである。

【００５１】尚、上記太め処理とは、上記ストロークの
場合には、図６(a)に示すように、本来のストローク上
の画素の上下左右４画素も同一ストローク上にあるとす
る。つまり、ストロークの太さを上下左右側に太くする
のである。これに対して、上記オフストロークの場合に
は、図６(b)に示すように、画像メモリＭ1,Ｍ3の場合
(すなわち、ストロークの主たる方向が水平方向の場合)
には、本来のストローク上の画素の上１画素も同一スト
ローク上にあるとする一方、画像メモリＭ2,Ｍ4の場合
(すなわち、ストロークの主たる方向が垂直方向の場合)
には、本来のストローク上の画素の右１画素も同一スト
ローク上にあるとする。したがって、オフストロークの
場合にはストロークの場合よりも太さは細くなる。

【００５２】ステップＳ4で、上記特徴抽出部９によっ
て、以下のような特徴抽出が行われる。すなわち、図７
に示すように、各画像メモリＭ1〜Ｍ4が５×５の２５領
域に分割され、各領域内の黒画素数がカウントされてカ
ウント値Ｃnm（ｎ＝１〜４，ｍ＝１〜２５)を要素とす
る１００次元(５×５×４)のベクトルｖ(＝ｖ₁,ｖ₂,…,
ｖ₁₀₀)が作成される(以下、ベクトルｖをｖ_vecと表記す
る)。そして、上記ｖ_vecのユークリッドノルム｜ｖ_vec
｜が下記のように求められ、このユークリッドノルム｜
ｖ_vec｜でｖ_vecの各要素値を除して正規化し、得られた
値を要素値とする特徴ベクトルｖ'_vec(＝ｖ'₁,ｖ'₂,…,
ｖ'₁₀₀)が求められる。但し、

【数２】ｖ'_i＝α・ｖ_i/｜ｖ_vec｜(ｉ＝１,２,…,１００）但し、αは桁上げするための定数である。

【００５３】尚、上記画像メモリＭ１〜Ｍ4を５×５の
２５領域に分割する場合には、図７に示すように境界部
分をオーバーラップさせて分割するようにしている。こ
うすることによって、分割領域の境界付近に位置するセ
グメントの位置変動を吸収することができるのである。
また、上述のように特徴抽出部９による特徴抽出は、黒
画素数をカウントすることによって行われる。したがっ
て、上述のようにオフストロークの太さをストロークの
太さよりも細くするということは、オフストロークの特
徴量に重み付けを行うことを意味するのである。

【００５４】ステップＳ5で、上記マッチング部１０に
よって、上記ステップＳ4において求められた特徴ベク
トルｖ'_vecと大分類辞書部３に各文字毎に登録されてい
る標準ベクトルとの類似度(ベクトルの内積)が計算され
て、特徴ベクトルｖ'_vecと標準ベクトルとのマッチング
が行われる。ここで、上記特徴ベクトルｖ'_vecと標準ベ
クトルｗ_vecの内積(ｖ'_vec・ｗ_vec)は、ｖ'_vec・ｗ_vec＝ｖ'₁ｗ₁＋ｖ'₂ｗ₂＋…＋ｖ'₁₀₀ｗ₁₀₀ で求められる。

【００５５】この場合、本実施の形態における特徴ベク
トルｖ'_vecは１００次元ベクトルである。したがって、
文献１や文献３に開示された従来のＯＣＲ手法による大
分類における２５６次元ベクトルの場合よりも短時間に
類似度算出を行うことができるのである。

【００５６】ステップＳ6で、上記文字分類部１１によ
って、上記ステップＳ5において算出された類似度の大
きい順にソーティングされて、図８(a)に示すように、
図５に示す例の場合には、入力文字「木」の筆跡パターン
から抽出された特徴ベクトルとの類似度の大きい順に最
大候補数Ｎまでの標準ベクトルに割り付けられた文字カ
テゴリが、文字認識部４による文字認識の際に対象とな
る文字カテゴリとして選出される(大分類結果として確
定される)。そして、図８(b)に示すように、認識対象と
なる全文字カテゴリを各ビットに割り当てたビットフィ
ールドにおける大分類結果に対応するビットに「１」を書
き込むことによって、大分類結果が保持される。そうし
た後、大分類処理動作を終了する。

【００５７】以後、上記文字認識部４は、上記タブレッ
ト１からの当該手書き入力文字の座標データ列に基づい
て、文字認識辞書部１６に登録された文字認識用の特徴
ベクトルを用いて、文字分類部１１に内蔵された上記ビ
ットフィールドに「１」が立っているビットに割り当てら
れている文字カテゴリに関して、より詳細な文字認識処
理を行う。このようにして、認識率の高い手書き文字認
識が高速に行われるのである。尚、その場合の上記文字
認識用の特徴ベクトルは、筆跡の座標データ列に基づく
標準ベクトルである。

【００５８】上述のように、上記実施の形態において
は、上記正規化部６,方向量子化部７,画像パターン生成
部８,特徴抽出部９,マッチング部１０および文字分類部
１１によって概略構成された大分類部２を設けている。
そして、タブレット１からの座標データ列に対して、正
規化部６によって位置と大きさに関して正規化を行った
後に、方向量子化部７によって、各座標データ間のセグ
メントおよびオフストロークの方向を１６個の方向コー
ドを用いて量子化する。そして、画像パターン生成部８
によって、上記１６個の方向コードを上下左右の方向に
大別して成る４つの方向コード群に対応付けられた画像
メモリＭ1〜Ｍ4の夫々に、該当する方向コードのセグメ
ントおよびオフストロークの画像パターンを生成する。
そして、特徴抽出部９によって、４個の画像メモリＭ1
〜Ｍ4を５×５領域に分割し、個々の領域から黒画素数
を特徴量として抽出して１００次元の特徴ベクトルを得
るようにしている。

【００５９】手書き文字入力の場合、個人によって筆順
は変わっても筆跡パターンを構成する各ストロークの方
向に個人差はあまり生じない。また、崩し文字であって
も、基本となるストロークの方向は楷書の当該ストロー
クの方向と大略同一である。そこで、本実施の形態にお
いては、上述の如く、入力筆跡のセグメント方向(画像
メモリ)によって分類された各セグメントおよびオフス
トロークのパターン(画像パターン)に基づいて特徴ベク
トルｖ'_vecを抽出するのである。こうすることによっ
て、手書き入力文字の筆順に依存せず、且つ、崩し文字
であっても安定して手書き入力文字のカテゴリを大分類
できるのである。

【００６０】その場合、従来の一般的なＯＣＲ手法にお
いては、「水平」，「垂直」，「右斜め」および「左斜め」の向
きを考慮しない４方向にセグメントの画像パターンをま
とめている。ところが、実際の手書き文字においては、
斜めのストロークは、筆記条件によって傾きが変動し易
く、個人差も大きい。そこで、本実施の形態において
は、「上」,「下」,「左」および「右」の４方向にセグメントお
よびオフストロークの画像パターンをまとめるのであ
る。こうして、筆記条件による方向の変動が少なく個人
差も少ない上下左右の４方向にセグメントおよびオフス
トロークの方向を大別することによって、手書き入力さ
れた文字が崩し字であっても更に安定してカテゴリを大
分類できるのである。

【００６１】さらに、本実施の形態においては、上記
「上」,「下」,「左」,「右」の中間の方向の方向コードをその
方向コードを境界とする２つの画像メモリに対応付ける
ようにしている。こうすることによって、上下左右の４
方向の境界付近に位置するセグメントの角度の変動を吸
収して、より精度よく大分類を行うのである。

【００６２】また、上記実施の形態においては、上記正
規化部６によって正規化を行う場合に、入力筆跡パター
ンの中心を基準として正規化を行うようにしている。し
たがって、手書きによる文字の変形を吸収することがで
きる。その場合に、オフストロークの情報を加味して正
規化を行うことによって、続け字で手書き入力された場
合の筆跡パターンの中心位置と楷書で手書き入力された
場合の筆跡パターンの中心位置との変動を少なくでき、
続け字による正規化誤差を吸収できる。

【００６３】また、上記実施の形態においては、上記画
像パターン生成部８によってストロークの画像パターン
を生成する場合に、オフストロークの画像パターンも生
成するようにしている。そして、太め処理によってスト
ロークの場合には上下左右４画素まで太くする一方、オ
フストロークの場合には上１画素あるいは右１画素まで
太くするようにしている。したがって、オフストローク
の場合にはストロークの場合よりも太さは細くなる。こ
うして、オフストロークの画像パターンの太さをストロ
ークの画像パターンの太さより細くすることによって、
後に特徴抽出部９によって黒画素数を特徴量として抽出
する場合にオフストロークに対して重み付けを行うこと
ができる。

【００６４】すなわち、上述のように、ストロークとオ
フストロークとの画像パターンを生成するので、楷書で
手書き入力された文字の画数と続け字で手書き入力され
た文字の画数との変動が少なくなって、続け字による画
像パターンの変動を吸収できる。その場合に、大分類辞
書部３に続け字用の標準ベクトルを登録しておく必要が
ない。したがって、大分類辞書部３の記憶容量を少なく
して高速な認識処理を可能にする。また、ストロークと
オフストロークとに重みを付けてマッチングを行うこと
ができるので、入力文字の筆順が変動しても大分類の精
度低下を軽減できる。

【００６５】また、上記実施の形態においては、上記特
徴抽出部９によって、各画像メモリＭ1〜Ｍ4を５×５の
２５領域に分割する場合には、図７に示すように各領域
の境界部分をオーバーラップさせて分割するようにして
いる。したがって、上述した上下左右の境界の方向コー
ドを２個の画像メモリにオーバーラップさせて対応付け
る場合と同様に、分割領域の境界付近に位置するセグメ
ントの位置変動を吸収することができ、手書き入力文字
の大分類を更に精度よく行うことができる。

【００６６】すなわち、上記実施の形態によれば、手書
き入力文字の画数や筆順に依存することなく、且つ、手
書き文字の字体が崩れていても、文字カテゴリの大分類
を安定且つ有効に行うことができるのである。

【００６７】

【発明の効果】以上より明らかなように、請求項１に係
る発明の手書き文字認識装置は、画像パターン生成部に
よって方向毎に分類されて生成された入力筆跡のセグメ
ントおよびオフストロークの画像パターンに基づいて、
特徴抽出部によって特徴ベクトルを求め、マッチング部
による標準ベクトルとのマッチング結果に基づいて、文
字分類部によって、認識対象となるカテゴリを限定する
ので、筆順が変わっても個人差が生ずることが少なく且
つ崩し字であっても基本部分は大略同一であるストロー
ク方向に基づいて、筆順に依存しないで且つ崩れた文字
であっても安定して手書き入力文字のカテゴリを大分類
できる。

【００６８】その場合、上記筆跡パターンのストローク
のみならずオフストロークをも考慮して大分類を行うこ
とによって、楷書で手書き入力された文字の画数と続け
字で手書き入力された文字の画数との変動を少なくで
き、続け字による画像パターンの変動を吸収して、手書
き入力された文字の文字カテゴリを更に精度よく大分類
できる。さらに、崩し字や続け字用の標準ベクトルを特
別用意する必要がなく、少ない標準ベクトルで短時間に
崩し字や続け字のカテゴリを大分類できる。

【００６９】また、請求項２に係る発明の手書き文字認
識装置における上記画像パターン生成部は、上記セグメ
ントおよびオフストロークの画像パターンを生成する場
合には、上記セグメントの太さを所定の太さにする一
方、上記オフストロークの太さを上記所定の太さよりも
細くするので、後に抽出される特徴量が黒画素数である
場合には上記オフストロークに対して重みを付けること
ができる。したがって、筆順の変動による大分類の精度
低下を軽減することができる。

【００７０】また、請求項３に係る発明の手書き文字認
識装置における上記画像メモリは、主たる方向が上下左
右である４つの方向コード群に対応付けられた４個の画
像メモリであるので、手書き入力された筆跡パターンの
全セグメントおよび全オフストロークの画像パターン
を、筆記条件によって傾斜が変動し難く個人差も少ない
上下左右の４方向にまとめることができる。したがっ
て、手書き入力された文字が崩し字であっても更に安定
してカテゴリを大分類できる。

【００７１】また、請求項４に係る発明の手書き文字認
識装置は、上と右との両方向の中間の方向を指定する方
向コード、上と左との両方向の中間の方向を指定する方
向コード、下と右との両方向の中間の方向を指定する方
向コード、および、下と左との両方向の中間の方向を指
定する方向コードを、該当する両方向の夫々が対応付け
られている２個の画像メモリに対応付けるので、例えば
上方向と右方向との境界付近に位置するセグメントの画
像パターンは、上記上方向が対応付けられている画像メ
モリと右方向に対応付けられている画像メモリの両方に
生成される。したがって、上下左右の４方向の境界付近
に位置するセグメントの傾斜の変動を吸収して、手書き
入力された文字のカテゴリを更に精度よく大分類でき
る。

【００７２】また、請求項５に係る発明の手書き文字認
識装置における上記正規化部は、手書き入力された筆跡
パターンの中心を求め、上記筆跡パターンを上記中心を
通る直交軸によって分割した４領域の夫々の座標データ
を、正規化サイズ×正規化サイズの矩形領域を直交軸に
よって４等分割したうちの対応する領域の座標データに
変換するので、手書き入力された筆跡パターンの中心を
基準として位置と大きさとを正規化できる。したがっ
て、手書き入力文字の変形を吸収して入力文字のカテゴ
リを精度よく大分類できる。

【００７３】また、請求項６に係る発明の手書き文字認
識装置における上記正規化部は、上記筆跡パターンのス
トロークのみならずオフストロークの座標データをも用
いて上記筆跡パターンの中心を求めるので、楷書で手書
き入力された筆跡パターンの中心位置と続け字で手書き
入力された筆跡パターンの中心位置との変動を少なくで
き、続け字による正規化誤差を無くすことができる。

【００７４】また、請求項７に係る発明の手書き文字認
識装置における上記特徴抽出部は、上記画像メモリをＭ
×Ｎの領域に分割する場合に、各領域の境界部分をオー
バーラップさせて分割するので、上記画像メモリの分割
領域の境界付近に存在するセグメントの位置変動を吸収
でき、手書き入力文字のカテゴリを更に精度よく大分類
できる。

【００７５】また、請求項８に係る発明のプログラム記
憶媒体は、方向によって分類された入力筆跡のセグメン
トおよびオフストロークの画像パターンに基づいて特徴
ベクトルを求め、この特徴ベクトルと標準ベクトルのマ
ッチング結果に基づいて、認識対象となるカテゴリを限
定するプログラムを記憶しているので、筆順が変わって
も個人差が少なく且つ崩し字であっても基本部分は大略
同一であるストローク方向に基づいて、筆順に依存せず
且つ崩れた文字であっても安定して手書き入力文字のカ
テゴリを大分類できる。

【００７６】その場合、上記筆跡パターンのストローク
のみならずオフストロークをも考慮して大分類を行うこ
とによって、楷書で手書き入力された文字の画数と続け
字で手書き入力された文字の画数との変動を少なくで
き、続け字による画像パターンの変動を吸収して、手書
き入力された文字のカテゴリを更に精度よく大分類でき
る。さらに、崩し字や続け字用の標準ベクトルを特別用
意する必要がなく、少ない標準ベクトルで短時間に崩し
字や続け字のカテゴリを大分類できる。

【図面の簡単な説明】

【図１】この発明の手書き文字認識装置におけるブロッ
ク図である。

【図２】図１における大分類部によって行われる大分類
処理動作のフローチャートである。

【図３】図１における正規化部によって行われる筆跡パ
ターン正規化の説明図である。

【図４】方向コードおよび方向コード列の説明図であ
る。

【図５】図１における画像パターン生成部によって生成
される画像パターンの説明図である。

【図６】図１における画像パターン生成部によって行わ
れる太め処理の説明図である。

【図７】図１における特徴抽出部によって行われる画像
メモリの分割と作成されるベクトルの説明図である。

【図８】図１における文字分類部によって行われるビッ
トフィールドへの大分類結果書き込みの説明図である。

【符号の説明】

１…タブレット、２…大分類部、３
…大分類辞書部、４…文字認識部、５
…結果表示部、６…正規化部、７…
方向量子化部、８…画像パターン生成
部、９…特徴抽出部、１０…マッチン
グ部、１１…文字分類部、１５…画像
メモリ部、１６…文字認識辞書部。

Claims

【特許請求の範囲】

【請求項１】手書き入力された筆跡の座標データを時
系列に配列して成る座標データ列を得るタブレットと、
上記座標データ列に基づいて手書き入力文字のカテゴリ
を大分類する大分類部と、この大分類結果に基づいて手
書き入力文字を認識する文字認識部を有する手書き文字
認識装置において、上記大分類部は、上記座標データを変換して、手書き入力された筆跡パタ
ーンの位置と大きさとを正規化する正規化部と、上記正規化後の座標データ列に基づいて、ストロークを
構成する各セグメントおよび各ストローク間を結ぶオフ
ストロークの方向を量子化して方向コードを得る方向量
子化部と、上記方向コードに対応付けられた画像メモリ上に、該当
する方向コードのセグメントおよびオフストロークの画
像パターンを生成する画像パターン生成部と、上記画像メモリをＭ×Ｎの領域に分割し、各領域の特徴
量を抽出して特徴ベクトルを求める特徴抽出部と、上記特徴ベクトルと予め登録された標準ベクトルとのマ
ッチングを行うマッチング部と、上記マッチングの結果を受けて、認識対象となるカテゴ
リを限定する文字分類部を備えていることを特徴とする
手書き文字認識装置。
【請求項２】請求項１に記載の手書き文字認識装置に
おいて、上記画像パターン生成部は、上記セグメントおよびオフ
ストロークの画像パターンを生成する場合に、上記セグ
メントの太さを所定の太さにする一方、上記オフストロ
ークの太さを上記所定の太さよりも細くするようになっ
ていることを特徴とする手書き文字認識装置。
【請求項３】請求項１に記載の手書き文字認識装置に
おいて、上記画像メモリは、主たる方向が上下左右である４つの
方向コード群に対応付けられた４個の画像メモリである
ことを特徴とする手書き文字認識装置。
【請求項４】請求項３に記載の手書き文字認識装置に
おいて、上と右との両方向の中間の方向を指定する方向コード、
上と左との両方向の中間の方向を指定する方向コード、
下と右との両方向の中間の方向を指定する方向コード、
および、下と左との両方向の中間の方向を指定する方向
コードは、該当する両方向の夫々が対応付けられている
２個の画像メモリに対応付けられていることを特徴とす
る手書き文字認識装置。
【請求項５】請求項１に記載の手書き文字認識装置に
おいて、上記正規化部は、上記タブレットからの座標データ列に
基づいて、上記筆跡パターンの中心を求め、上記筆跡パ
ターンを上記中心を通る直交軸によって分割した４領域
の夫々の座標データを、正規化サイズ×正規化サイズの
矩形領域を直交軸によって４等分割したうちの対応する
領域の座標データに変換するようになっていることを特
徴とする手書き文字認識装置。
【請求項６】請求項５に記載の手書き文字認識装置に
おいて、上記正規化部は、上記筆跡パターンのストロークのみな
らずオフストロークの座標データをも用いて上記筆跡パ
ターンの中心を求めるようになっていることを特徴とす
る手書き文字認識装置。
【請求項７】請求項１に記載の手書き文字認識装置に
おいて、上記特徴抽出部は、上記画像メモリをＭ×Ｎの領域に分
割する場合に、各領域の境界部分をオーバーラップさせ
て分割するようになっていることを特徴とする手書き文
字認識装置。
【請求項８】手書き入力された筆跡の座標データを時
系列に配列して成る座標データ列を得、上記座標データを変換して、手書き入力された筆跡パタ
ーンの位置と大きさとを正規化し、上記正規化後の座標データ列に基づいて、ストロークを
構成する各セグメント及び各ストローク間を結ぶオフス
トロークの方向を量子化して方向コードを得、上記方向コードに対応付けられた画像メモリ上に、該当
する方向コードのセグメントおよびオフストロークの画
像パターンを生成し、上記画像メモリをＭ×Ｎの領域に分割し、各領域の特徴
量を抽出して特徴ベクトルを求め、上記特徴ベクトルと予め登録された標準ベクトルとのマ
ッチングを行い、このマッチングの結果に基づいて認識
対象となるカテゴリを限定して、手書き入力文字のカテ
ゴリを大分類するプログラムを記憶したことを特徴とす
るプログラム記憶媒体。