JP4048716B2 - オンライン文字認識装置 - Google Patents
オンライン文字認識装置 Download PDFInfo
- Publication number
- JP4048716B2 JP4048716B2 JP2001021687A JP2001021687A JP4048716B2 JP 4048716 B2 JP4048716 B2 JP 4048716B2 JP 2001021687 A JP2001021687 A JP 2001021687A JP 2001021687 A JP2001021687 A JP 2001021687A JP 4048716 B2 JP4048716 B2 JP 4048716B2
- Authority
- JP
- Japan
- Prior art keywords
- stroke
- virtual
- real
- virtual stroke
- actual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Character Discrimination (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はタブレット上にペンで記入された文字を読み取るオンライン手書き文字認識装置に関し、実際に筆記した実ストロークと、この実ストロークと実ストロークとの間のストローク（以下仮想ストロークと呼ぶ）情報を有効利用することにより、識別能力の高い特徴を抽出し、高精度に文字を認識する文字認識装置に関するものである。
【０００２】
【従来の技術】
従来例１
従来のストロークを結合することにより文字を認識するオンライン手書き文字認識装置には、ストロークを特徴点列で記述し、各ストロークが連続するように、各ストロークの終点と次のストロークの始点とを仮想的に結合したデータを得ることにより、続け字等の画数変動に強いオンライン文字認識方式を実現する特開平1-213771「オンライン文字認識方式」がある。
【０００３】
例えば、図１８は特開平1-213771号公報に示された従来装置の構成を示すブロック図である。図中、１はタブレット等の筆記情報を入力する入力手段、２は前記入力手段１から出力される座標データのうち不要データを除去して直線化処理を行う前処理手段、３は前記前処理手段２からの直線化された座標データに基づいて当該筆記文字を構成するストロークの特徴点を抽出する特徴点抽出手段、４は前記特徴点抽出手段からの特徴点に基づいて当該筆記文字の各ストロークが連続するように、ストロークの終点と該ストロークの次のストロークにおける始点とを仮想的に結合したデータを得るストローク結合手段、５は前記ストローク結合手段で得られたデータに基づいて、前記結合した仮想線分を含むストロークの特徴を表す特徴量を算出する特徴量算出手段、６は予め標準パターンより作成された特徴量とのマッチングを行って当該筆記文字を認識する特徴量マッチング手段、７は各手段を制御する制御手段である。
【０００４】
次に図１８を用いて従来装置の動作を説明する。まず、制御手段７は、入力手段１に指示し、入力パターンを入手する。
【０００５】
次に制御手段７は、入力手段１から得られた入力パターンを前処理手段２に送る。前処理手段２は、送られてきた座標データに対し、ノイズ除去処理、平滑化処理等を行うことによりデータを直線化する。
【０００６】
次に制御手段７は、前処理後の入力パターンを特徴点抽出手段３に送る。特徴点抽出手段は直線化されたデータのデータ間のｘ，ｙ方向の符号（＋，−，０）を算出し、サインの状態の変化点を特徴点として抽出する。
【０００７】
次に制御手段７は、得られた特徴点情報をストローク結合手段４に送り、ストローク結合手段４は特徴点抽出手段３から送られてくる特徴点座標データより前の実ストロークの終点と、次の実ストロークの始点を仮想的に結ぶ。以下、仮想的に結合した仮想線分（ペンオフからペンオンまでの線分）を仮想ストロークと呼ぶ。
【０００８】
次に制御手段７は、ストローク結合手段４で得られた結合ストロークの情報を特徴量算出手段５に送り、特徴量算出手段５は、結合ストローク情報から、セグメント長さ、方向及びその位置を表す特徴量を算出する。
【０００９】
次に制御手段７は、特徴量算出手段５で得られた特徴量を特徴量マッチング手段６に送り、特徴量マッチング手段６では、あらかじめ格納しておいた各文字の標準パターンから求めた特徴量と前記特徴量のマッチングを行うことにより文字を認識する。
【００１０】
従来例２
また、従来のストロークを結合し、仮想ストロークと実ストロークの重み付けを行うことにより文字を認識するオンライン手書き文字認識装置には、画像パターンを作成する場合に、実ストロークを仮想ストロークより太めることにより、両者の重み付けを行い、続け字のカテゴリを安定して認識するオンライン文字認識装置；特開平11-96302「手書き文字認識装置」がある。
【００１１】
例えば、図1９は特開平11-96302号公報に示された従来装置の構成を示すブロック図である。図中、従来例１と同一または相当部分は同一の符号を付し、その説明を省略する。図中、１０は前処理手段２による正規化後の入力パターンにおける座標データ間の方向を１６個の方向コードを用いて量子化する方向量子化手段、１１は実ストロークの方向コード及び仮想ストロークの方向コードからなる画像パターンを生成し、太め処理により実ストロークを仮想ストロークより太めた画像パターンを生成する画像パターン生成手段、１２は画像パターン生成手段１１から得られた画像パターンから特徴量を抽出する特徴抽出手段、１３は各手段を制御する制御手段(a)である。
【００１２】
次に図１９を用いて動作を説明する。まず、制御手段(a)１３は、従来例１と同様に入力手段１に指示し、入力パターンを入手し、前処理手段２で位置と大きさの正規化を行い、正規化パターンを出力する。
【００１３】
次に制御手段(a)１３は、正規化パターンを方向量子化手段１０に送り、方向量子化手段１０は、正規化パターンに基づいて入力パターンの実ストローク、仮想ストロークを１６方向で量子化する。
【００１４】
次に制御手段(a)１３は、量子化後のパターンを画像パターン生成手段１１に送り、画像パターン生成手段１１は、実ストローク及び仮想ストロークに対して太め処理を行い、同時に１６方向から4方向に方向成分を統合する。ここで、実ストロークは仮想ストロークよりも太くなるように太め処理を行う。
【００１５】
次に制御手段(a)１３は、画像パターン生成手段１１で得られた4方向に量子化された画像パターンを特徴抽出手段１２に送り、特徴抽出手段１２は、画像パターンを5×5の２５領域に分割し、各領域内の黒画素数をカウントすることにより特徴を抽出する。
【００１６】
次に制御手段(a)１３は、特徴抽出手段１２で得られた特徴量を特徴量マッチング手段６に送り、特徴量マッチング手段６では、あらかじめ格納しておいた各文字の標準パターンから求めた特徴量と前記特徴量のマッチングを行うことにより文字を認識する。
【００１７】
【発明が解決しようとする課題】
以上説明したように従来例１のオンライン文字認識装置では、実際に筆記されたストロークの終点と、次に筆記されたストロークの始点とを無条件に直線で結ぶことによりストロークを結合し、文字を認識するので、実際に続け書きされないストロークの場合でも、前後のストロークと結合されるため、結合する前は字形的に異なる文字であっても、結合することにより類似した形状の文字になってしまう場合があり（例えば、文字「こ」を続け書きすると文字「て」と類似した文字となる）、その場合は認識率が低下するという問題点があった。
【００１８】
また、従来例２のオンライン文字認識装置では、従来例１における問題点を解決するために、画像パターンを太らせる際に、実ストロークよりも仮想ストロークを太くすることにより、実際に筆記されやすい仮想ストロークと、筆記されにくい仮想ストロークとの識別を行うようにしているが、本来、太らすことによる効果は、位置ずれ、変形による特徴量の変動を低減させることであり、この場合は、仮想ストロークの太らせ幅を細くするため、仮想ストロークにおける位置ずれ、変形による特徴量の変動を軽減できなくなるという問題点があった。
【００１９】
本発明は、係る問題点を解決するためになされたもので、実ストロークと仮想ストロークを結合する際に、両者を重み付けして結合することにより、仮想ストロークにより結合された場合と、実際に筆記された場合の差異を反映し、結合した場合に類似字形になってしまう文字をも高精度に識別可能にすることを目的とする。
【００２０】
また、続け字における変動を吸収すると共に、ストローク間情報を用いることにより、非漢字等の字形が単純な文字における特徴量を増加させ、識別能力の高いオンライン文字認識装置を実現することを目的とする。
【００２１】
また、他の発明はさらに、ストロークの重み付けをする際に、仮想ストロークの長さ、方向等により結合のしやすさの尺度を抽出し、その尺度により重み付けを変化させることにより、より安定に続け字を認識することを目的とする。
【００２２】
【課題を解決するための手段】
本発明に係るオンライン文字認識装置は、文字の筆記時に得られる筆記情報を入力する入力手段と、前記入力手段で得られた筆記情報から実際に筆記された実ストロークと、この実ストロークと実ストロークとの間を結ぶ仮想ストロークとに互いに異なる重み付けをし、かつその両ストロークの重み付けは座標点における画素値に対する重みのみで行い、実ストロークと仮想ストロークとの結合ストロークを作成する実仮想ストローク結合手段と、前記実仮想ストローク結合手段で得られたパターンを基に、当該パターンにおける座標点間の方向を量子化し、その方向毎の上記重み付けをした画素値の累積数を特徴ベクトルとし、予め用意された各文字の標準的な特徴ベクトルとの距離を求めることにより、文字認識を行う文字認識手段とを備える。
【００２３】
また、本発明に係るオンライン文字認識装置は、前記仮想ストローク長を算出する仮想ストローク長算出手段をさらに備え、前記実仮想ストローク結合手段は仮想ストロークの重み付けを前記仮想ストローク長算出手段で得られた仮想ストローク長を基に行い、重み付けされた実ストロークと仮想ストロークとの結合ストロークを作成する構成にされた。
【００２４】
また、本発明に係るオンライン文字認識装置は、前記実仮想ストローク結合手段が、実ストロークと仮想ストロークを結合する際に、時系列順に実ストロークと仮想ストロークを結合する構成にされた。
【００２５】
また、本発明に係るオンライン文字認識装置は、前記実仮想ストローク結合手段が、実ストロークと仮想ストロークの重み付けをする際に、入力パターンの画数情報を用いて重み付けを変化させる構成にされた。
【００２６】
また、本発明に係るオンライン文字認識装置は、前記実仮想ストローク結合手段が、仮想ストロークの重み付けをする際に、仮想ストロークの長さに加えて仮想ストロークの方向を重み付けの尺度に用いる構成にされた。
【００２７】
【発明の実施の形態】
実施の形態１
以下、本発明の第1の実施形態について図１〜図９を用いて説明する。図１はこの実施形態の構成図である。図中、従来例１，２と同一または相当部分は同一の符号を付し、その説明を省略する。図において、２１は実ストロークに重みを付けて、仮想ストロークと結合する実仮想ストローク結合手段、２２は実仮想ストローク結合手段で結合されたパターンを用いて文字を認識する文字認識手段、２３は各手段を制御する制御手段(b)である。
【００２８】
図２は、制御手段(b)２３の処理の流れを示すフローチャートである。
【００２９】
図３は、入力手段１から得られた入力パターンを示す図である。図中３０は入力パターンの外接矩形、３１〜３５は入力パターンにおける実ストロークを示している。また、図中丸印は、実ストロークあるいは結合ストロークにおける終点を示している。
【００３０】
図４は、実仮想ストローク結合手段２１における処理の流れを示すフローチャートである。
【００３１】
図５は、入力パターン３０における先頭の仮想ストロークを示す図である。図中３６は、先頭仮想ストロークを示している。
【００３２】
図６は、実仮想ストローク結合手段２１で、実ストロークに重み付けを行った様子を示す図であり、図中実ストローク３１に重み付けがされている。
【００３３】
図７は、第1番目の実ストローク３１と仮想ストローク３６を結合した結果の結合ストロークを示す図であり、３７が結合ストロークである。
【００３４】
図８は、第４番目の実ストロークまでの処理を終えた後の入力パターンを示す図であり、図中３９、４０，４１が得られた結合ストロークである。
【００３５】
図９は、第５番目の実ストロークまでの処理を終了した後の入力パターンを示す図である。図中４２が重み付け後の実ストロークを示す。
【００３６】
次に図２の制御手段(b)２３のフローチャートを用いて実施の形態１の動作を説明する。まず、S10で制御手段(b)２３は入力手段１に指示し、図３に示す入力パターンを入手する。
【００３７】
次にS11で制御手段(b)２３は入力手段１で得られた入力パターン（図３）のストローク列情報から、時間的に先頭に筆記されたストロークを処理の対象とする。この例では、図３における３１が処理対象ストロークである。
【００３８】
次にS12に進み、制御手段(b)２３は、実仮想ストローク結合手段２１に指示し、実ストロークと仮想ストロークの結合処理を行う。ここで、実仮想ストローク結合手段２１における動作を、図４のフローチャートを用いて説明する。
【００３９】
まず、S20で、実仮想ストローク結合手段２１は、現在の処理対象実ストロークの終点から、時間的に次に筆記された実ストロークの始点を直線で結び、仮想ストロークとして抽出する。仮想ストロークを抽出した例が図５であり、実ストローク３１に対して抽出した仮想ストロークが３６である。
【００４０】
次に、S21に進み、実仮想ストローク結合手段２１は、現在の処理対象ストロークを実ストロークとして重み付けする。重み付けは、例えば、該ストロークの黒画素値をN倍することにより行う。重み付け後の入力パターンを図６に示す。ここでは、重み付けしたストロークを判別しやすくするために太線で表現しているが、実際は線の太さは変えない。
【００４１】
次に、S22に進み、実仮想ストローク結合手段２１は、重み付けられた実ストロークと抽出された仮想ストロークを結合し、新たに結合ストロークを作成する。作成された結合ストロークを図７に示す。図に示すように、実ストロークの終点と仮想ストロークの始点を結合することにより、結合ストローク３７を作成する。
【００４２】
次に図２の制御手段(b)２３のフローチャートに戻り、S13に進み、制御手段(b)２３は、処理対象ストロークを次の実ストロークとする。この例では、第２番目に筆記されたストローク３２が処理対象ストロークとなる。
【００４３】
次にS14に進み、制御手段(b)２３は、現在の処理対象ストロークが入力パターンの最終ストロークか否かをチェックする。この例では、最終ストロークではないため、S12に戻る。
【００４４】
次にS12に進み、制御手段(b)２３は、実仮想ストローク結合手段２１に指示し、実仮想ストローク結合手段２１は、第１番目のストロークと同様に、第２番目のストロークの処理を行う。同様に、第3番目、第4番目のストロークの処理を行う。第4番目のストロークまで処理した結果の入力パターンを図８に示す。図において、新たに作成された結合ストロークは、３９、４０、４１である。
【００４５】
次に、Ｓ14に進み、最終ストロークかの判定を行うが、この例では、第5ストローク３５は最終ストロークのため、「ＹＥＳ」となり、Ｓ15に進む。S15では、制御手段(b)２３は、最終ストローク３５に対して実仮想ストローク結合手段２１と同様に重み付けを行う。最終的に得られた結合パターンを図９に示す。４２が、重み付けされた最終ストロークである。
【００４６】
次に、Ｓ16に進み、文字認識手段２２で現在までの処理で得られた入力パターンを用いて、文字認識を行う。文字認識は、従来例２と同様に、各座標点における方向を量子化し、その方向毎の累積数を特徴ベクトルとし、予め用意された各文字の標準的な特徴ベクトルとの距離を求めることにより行う。ここで、各座標点における重みは、累積数をカウントする際に重み付けを行う。
【００４７】
以上説明した本実施の形態では、最終実ストロークに対しては、結合ストロークを作成しなかった。しかし、最終実ストロークに対して、最終ストロークの終点から、先頭ストロークの始点を直線で結んだストロークを仮想ストロークとして抽出し、他のストロークと同様に結合ストロークを作成しても良い。
【００４８】
また、本実施の形態では、重み付けの際に、実ストロークのみN倍の重みを付与したが、仮想ストロークに対してもM倍の重みを付与しても、N＞Mであれば同様の効果が得られる。
【００４９】
また、本実施の形態では、すべての入力パターンに対して重み付けを行ったが、ストロークを結合することにより類似文字となってしまうのは比較的低画数の文字に多いことから、入力パターンの画数が一定以下の場合のみ、重み付けを行ってもよい。
【００５０】
また、本実施の形態では、各座標点に対してのみ重み付けを行ったが、従来例２のように位置変動に強くするために、各座標点に対してある一定の近傍範囲に座標点を生成した場合にも、生成した座標点に対して同様に重み付けをしてもよい。
【００５１】
また、本実施の形態では、ストロークを結合する際に、時間的に順番に結合したが、ストロークの終点から最も近い位置にストロークの始点が存在するストロークを次のストロークとして結合してもよい。
【００５２】
以上のように、本実施の形態では、ストロークを結合する場合に、本来筆記される実ストロークと、本来筆記されない仮想ストロークの重みを異なるようにしたので、結合することにより類似字形となってしまう文字をも高精度に読み取ることができる。また、続け書きされやすいストロークと、されにくいストロークの違いを反映することができるので、続け字を安定して読み取ることができる。
【００５３】
また、本実施の形態では、実ストロークと仮想ストロークの重み付けを座標点における重みのみで行うようにしたので、従来例２のような仮想ストロークが実ストロークより細くなることによる悪影響（位置ずれに対する弱さ）を防止することができる。
【００５４】
実施の形態２
以下、本発明の第２の実施形態について図１０〜図１７を用いて説明する。図１０はこの実施の形態の構成図である。図中、従来例１，２及び実施の形態１と同一または相当部分は同一の符号を付し、その説明を省略する。図において、５１は入力パターンにおける仮想ストローク長を算出する仮想ストローク長算出手段、５２は仮想ストローク長算出手段５１の結果に応じて、実ストローク、仮想ストロークに重みを付けて、両者を結合する実仮想ストローク結合手段(b)、５３は各手段を制御する制御手段(c)である。
【００５５】
図１１は、制御手段(c)５３の処理の流れを示すフローチャートである。
【００５６】
図１２は、実仮想ストローク結合手段(b)５２における処理の流れを示すフローチャートである。
【００５７】
図１３は、仮想ストローク長算出手段５１で算出された実ストロークに対応する仮想ストロークの長さを示す図である。
【００５８】
図１４は、第２番目の実ストロークまでの処理を終えた後の入力パターンを示す図であり、図中３９は第2番目の実ストロークから得られた結合ストロークである。
【００５９】
図１５は、第3番目の実ストロークにおける仮想ストロークについて重み付けを行った様子を示す図であり、図中５０は重み付けされた仮想ストロークである。
【００６０】
図１６は、第3番目のストロークの処理まで終わった場合の入力パターンを示す図で、図中51が第3番目の結合ストロークである。
【００６１】
図１７は、すべての実ストロークに対して終了した後の入力パターンを示す図である。
【００６２】
次に図１１の制御手段(c)５３のフローチャートを用いて実施例２の動作を説明する。まず、S10、S11で制御手段(c)５３は、実施の形態１と同様に、入力手段１から入力パターンを入手し、時間的に先頭に筆記されたストロークを処理対象ストロークとする。本例では、図３の３１が処理対象ストロークである。
【００６３】
次にS30に進み、制御手段(ｃ)５３は、実仮想ストローク結合手段(b)５２に指示し、実ストロークと仮想ストロークの結合処理を行う。ここで、実仮想ストローク結合手段５２における動作を、図１２のフローチャートを用いて説明する。
【００６４】
まず、S20で、実施の形態1と同様に実仮想ストローク結合手段(b)５２は、現在の処理対象ストロークの終点から、時間的に次に筆記されたストロークの始点を直線で結び、仮想ストロークとして抽出する。仮想ストロークを抽出した例が図５であり、実ストローク３１に対して抽出した仮想ストロークが３６である。
【００６５】
次に、S40に進み、実仮想ストローク結合手段(b)５２は、仮想ストローク長算出手段５１で仮想ストロークの長さDを算出する。長さDは例えば
【００６６】
【数式１】
【００６７】
のようなユークリッド距離を求める。本実施の形態では、第1番目の実ストローク３１に対する仮想ストローク３６の長さは、図１３より４８となる。
【００６８】
次に、S41に進み、S40で求められた仮想ストロークの長さDと、予め決められた閾値THを比較する。本実施の形態では、閾値THを２０とすると、仮想ストローク３６の長さDは４８であるので、閾値THより大きくなり、「NO」となりS21に進む。
【００６９】
S21,S22の処理は、実施の形態１と同様になり、実ストローク３１に対して重み付けがされ、仮想ストロークと結合され、結合ストローク３７を得る。
【００７０】
次に、図１１のS13に進み、処理対象を次のストローク（第2番目の実ストローク）とし、S14で最終ストロークではないので、S30に進み、第2番目のストロークの結合処理を行う。ここで、第2番目の実ストローク３２に対する仮想ストロークの長さも図２より３２となり、閾値THよりも大きいので、第2番目の実ストロークに対しても、第1番目のストロークと同様の結合処理がされ、結合ストローク３９が得られる。
【００７１】
次にS13に進み、第3番目の実ストロークが処理対象となり、S14を経て、S30で結合処理を行う。
【００７２】
図１２のフローチャートでのS20で、実仮想ストローク結合手段（ｂ）５２は、第3番目の実ストロークにおける仮想ストロークを抽出する。本実施の形態では、図１４に示すように仮想ストローク４９が抽出される。
【００７３】
次にS40に進み、実仮想ストローク結合手段(b)５２は、仮想ストローク長算出手段５１に指示し、抽出された仮想ストロークの長さを算出する。本実施の形態では、図１３より１６となる。
【００７４】
次に、S41に進み、S40で求められた仮想ストロークの長さDと、予め決められた閾値THを比較する。本実施の形態では、仮想ストローク４９の長さDは１６であり、閾値THより小さくなり、「YES」となりS42に進む。
【００７５】
次にS42では、実仮想ストローク結合手段(b)５２は、抽出された仮想ストロークに重み付けを行う。重み付けは、実ストロークと同様に、該ストロークの黒画素値をN倍することにより行う。仮想ストローク４９に対して、重み付けを行った後の仮想ストローク５０を図１５に示す。ここでは、重み付けしたストロークを判別しやすくするために太線で表現しているが、実際は線の太さは変えない。
【００７６】
次にS21、S22に進み、実ストロークの重み付け、結合ストローク作成を行うが、この場合の処理は実施の形態１と同様で、図１６に示す結合ストローク５１が得られる。
【００７７】
次に図１１の制御手段(c)５３のフローチャートに戻り、S13に進み、制御手段(c)５３は、処理対象ストロークを次の実ストロークとする。この例では、第4ストロークとなる。以降の処理は実施の形態1と同一となり、最終的に図１７に示すようなパターンが得られる。ここで、仮想ストローク長が短い場合のみ、仮想ストロークに重み付けされるので、第3番目のストロークにおける仮想ストロークの重みが実ストロークと同一になっている。
【００７８】
以上実施の形態２について説明した。本実施の形態では、最終実ストロークに対しては、結合ストロークを作成しなかったが、最終実ストロークに対しては、最終実ストロークの終点から、先頭ストロークの始点を直線で結んだストロークを仮想ストロークとして抽出し、仮想ストローク長を算出して、重み付けを行い、結合ストロークを作成しても良い。
【００７９】
また、本実施の形態では、重み付けの際に、実ストローク及び閾値THより短い仮想ストロークにのみN倍の重みを付与したが、閾値THより長い仮想ストロークに対してもM倍の重みを付与しても、N＞Mであれば同様の効果が得られる。
【００８０】
また、本実施の形態では、重み付けの際に、閾値THより短い仮想ストロークの場合は、実ストロークと同一の重みを付与したが、実ストロークの重みと、仮想ストロークの重みの間に設定してもよい。また、長さをパラメータとした関数を用いて重みを変化させるようにしてもよい。
【００８１】
また、本実施の形態では、すべての入力パターンに対して仮想ストローク長による判定を行ったが、続け書きする場合は、比較的低画数の文字において、つながり易くなるので、画数に応じて、閾値THを変更するように設定してもよい。
【００８２】
また、本実施の形態では、各座標点に対してのみ重み付けを行ったが、従来例２のように位置変動に強くするために、各座標点に対してある一定の近傍範囲に座標点を生成した場合にも、生成した座標点に対して同様に重み付けをしてもよい。
【００８３】
また、本実施の形態では、仮想ストローク長算出手段５１で仮想ストロークの長さDを算出する際に、ユークリッド距離を用いたが、
【００８４】
【数式２】
【００８５】
に示すCityBlock距離等などの他の距離を用いても良い。
【００８６】
また、本実施の形態では、仮想ストローク長算出手段５１で得られた仮想ストローク長を用いて、仮想ストロークのつながり易さを判定したが、仮想ストロークの方向を加味してもよい。つまり、仮想ストローク方向が、筆記しにくい方向（例えば、上方向、左上方向など）である場合は、仮想ストロークの重み付けをより少なくするなどしてもよい。
【００８７】
また、本実施の形態では、ストロークを結合する際に、時間的に順番に結合したが、ストロークの終点から最も近い位置にストロークの始点が存在するストロークを次のストロークとして結合してもよい。
【００８８】
以上のように、本実施の形態では、ストロークを結合する場合に、続け書きされやすいストロークと、され難いストロークで、仮想ストロークの重みを変化させるようにしたので、続け書きされ易い場合には安定した特徴が得られ、かつ、続け書きされ難い場合には、結合することにより類似字形となってしまう文字との違いを反映できるため、続け字を安定かつ結合することによる悪影響を極力抑え、高精度に読み取ることができる。
【００８９】
また、本実施の形態では、実ストロークと仮想ストロークの重み付けを座標点における重みのみで行うようにしたので、従来例２のような仮想ストロークが実ストロークより細くなることによる悪影響（位置ずれに対する弱さ）を防止することができる。
【発明の効果】
以上のように、本実施の形態では、ストロークを結合する場合に、本来筆記される実ストロークと、本来筆記されない仮想ストロークの重みを異なるようにしたので、結合することにより類似字形となってしまう文字をも高精度に読み取ることができる。
【００９０】
また、実ストロークと仮想ストロークの重み付けを座標点における画素値に対する重みのみで行うようにしたので、仮想ストロークが実ストロークより細くなることによる悪影響（位置ずれに対する弱さ）を防止することができる。
【００９１】
また、仮想ストロークの長さに加えて仮想ストロークの方向をも加味して仮想ストロークの重みを変化させるようにしたので、続け書きされやすいストロークと、され難いストロークで重みを変化し、続け書きされ易い場合には安定した特徴が得られ、かつ、続け書きされ難い場合には、結合することにより類似字形となってしまう文字との違いを反映できるため、続け字を安定かつ結合することによる悪影響を極力抑え、高精度に読み取ることができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１の構成図である。
【図２】 制御手段(b)２３の処理の流れを示すフローチャートである。
【図３】 入力手段から得られた入力パターンを示す図である。
【図４】 実仮想ストローク結合手段の処理の流れを示すフローチャートである。
【図５】 入力パターンにおける先頭の仮想ストロークを示す図である。
【図６】 実仮想ストローク結合手段で、実ストロークに重み付けを行った様子を示す図である。
【図７】 第1番目の実ストロークと仮想ストロークを結合した結果の結合ストロークを示す図である。
【図８】 第４番目の実ストロークまでの処理を終えた後の入力パターンを示す図である。
【図９】 第５番目の実ストロークまでの処理を終了した後の入力パターンを示す図である。
【図１０】 この実施の形態２の構成図である。
【図１１】 制御手段(c)の処理の流れを示すフローチャートである。
【図１２】 実仮想ストローク結合手段(b)における処理の流れを示すフローチャートである。
【図１３】 仮想ストローク長算出手段で算出された実ストロークに対応する仮想ストロークの長さを示す図である。
【図１４】 第２番目の実ストロークまでの処理を終えた後の入力パターンを示す図である。
【図１５】 第3番目の実ストロークにおける仮想ストロークについて重み付けを行った様子を示す図である。
【図１６】 第3番目のストローク処理終了後の入力パターンを示す図である。
【図１７】 全実ストローク終了後の入力パターンを示す図である。
【図１８】 従来例１に示された装置の構成を示すブロック図である。
【図１９】 従来例2に示された装置の構成を示すブロック図である。
【符号の説明】
１：入力手段、２：前処理手段、３：特徴点抽出手段、４：ストローク結合手段、５：特徴量算出手段、６：特徴量マッチング手段、７：制御手段、１０：方向量子化手段、１１：画像パターン生成手段、１２：特徴抽出手段、１３：制御手段(a)、２１：実仮想ストローク結合手段、２２は：文字認識手段、２３：制御手段(b)、５１：仮想ストローク長算出手段、５２：実仮想ストローク結合手段(b)、５３：制御手段(c)。
【発明の属する技術分野】
本発明はタブレット上にペンで記入された文字を読み取るオンライン手書き文字認識装置に関し、実際に筆記した実ストロークと、この実ストロークと実ストロークとの間のストローク（以下仮想ストロークと呼ぶ）情報を有効利用することにより、識別能力の高い特徴を抽出し、高精度に文字を認識する文字認識装置に関するものである。
【０００２】
【従来の技術】
従来例１
従来のストロークを結合することにより文字を認識するオンライン手書き文字認識装置には、ストロークを特徴点列で記述し、各ストロークが連続するように、各ストロークの終点と次のストロークの始点とを仮想的に結合したデータを得ることにより、続け字等の画数変動に強いオンライン文字認識方式を実現する特開平1-213771「オンライン文字認識方式」がある。
【０００３】
例えば、図１８は特開平1-213771号公報に示された従来装置の構成を示すブロック図である。図中、１はタブレット等の筆記情報を入力する入力手段、２は前記入力手段１から出力される座標データのうち不要データを除去して直線化処理を行う前処理手段、３は前記前処理手段２からの直線化された座標データに基づいて当該筆記文字を構成するストロークの特徴点を抽出する特徴点抽出手段、４は前記特徴点抽出手段からの特徴点に基づいて当該筆記文字の各ストロークが連続するように、ストロークの終点と該ストロークの次のストロークにおける始点とを仮想的に結合したデータを得るストローク結合手段、５は前記ストローク結合手段で得られたデータに基づいて、前記結合した仮想線分を含むストロークの特徴を表す特徴量を算出する特徴量算出手段、６は予め標準パターンより作成された特徴量とのマッチングを行って当該筆記文字を認識する特徴量マッチング手段、７は各手段を制御する制御手段である。
【０００４】
次に図１８を用いて従来装置の動作を説明する。まず、制御手段７は、入力手段１に指示し、入力パターンを入手する。
【０００５】
次に制御手段７は、入力手段１から得られた入力パターンを前処理手段２に送る。前処理手段２は、送られてきた座標データに対し、ノイズ除去処理、平滑化処理等を行うことによりデータを直線化する。
【０００６】
次に制御手段７は、前処理後の入力パターンを特徴点抽出手段３に送る。特徴点抽出手段は直線化されたデータのデータ間のｘ，ｙ方向の符号（＋，−，０）を算出し、サインの状態の変化点を特徴点として抽出する。
【０００７】
次に制御手段７は、得られた特徴点情報をストローク結合手段４に送り、ストローク結合手段４は特徴点抽出手段３から送られてくる特徴点座標データより前の実ストロークの終点と、次の実ストロークの始点を仮想的に結ぶ。以下、仮想的に結合した仮想線分（ペンオフからペンオンまでの線分）を仮想ストロークと呼ぶ。
【０００８】
次に制御手段７は、ストローク結合手段４で得られた結合ストロークの情報を特徴量算出手段５に送り、特徴量算出手段５は、結合ストローク情報から、セグメント長さ、方向及びその位置を表す特徴量を算出する。
【０００９】
次に制御手段７は、特徴量算出手段５で得られた特徴量を特徴量マッチング手段６に送り、特徴量マッチング手段６では、あらかじめ格納しておいた各文字の標準パターンから求めた特徴量と前記特徴量のマッチングを行うことにより文字を認識する。
【００１０】
従来例２
また、従来のストロークを結合し、仮想ストロークと実ストロークの重み付けを行うことにより文字を認識するオンライン手書き文字認識装置には、画像パターンを作成する場合に、実ストロークを仮想ストロークより太めることにより、両者の重み付けを行い、続け字のカテゴリを安定して認識するオンライン文字認識装置；特開平11-96302「手書き文字認識装置」がある。
【００１１】
例えば、図1９は特開平11-96302号公報に示された従来装置の構成を示すブロック図である。図中、従来例１と同一または相当部分は同一の符号を付し、その説明を省略する。図中、１０は前処理手段２による正規化後の入力パターンにおける座標データ間の方向を１６個の方向コードを用いて量子化する方向量子化手段、１１は実ストロークの方向コード及び仮想ストロークの方向コードからなる画像パターンを生成し、太め処理により実ストロークを仮想ストロークより太めた画像パターンを生成する画像パターン生成手段、１２は画像パターン生成手段１１から得られた画像パターンから特徴量を抽出する特徴抽出手段、１３は各手段を制御する制御手段(a)である。
【００１２】
次に図１９を用いて動作を説明する。まず、制御手段(a)１３は、従来例１と同様に入力手段１に指示し、入力パターンを入手し、前処理手段２で位置と大きさの正規化を行い、正規化パターンを出力する。
【００１３】
次に制御手段(a)１３は、正規化パターンを方向量子化手段１０に送り、方向量子化手段１０は、正規化パターンに基づいて入力パターンの実ストローク、仮想ストロークを１６方向で量子化する。
【００１４】
次に制御手段(a)１３は、量子化後のパターンを画像パターン生成手段１１に送り、画像パターン生成手段１１は、実ストローク及び仮想ストロークに対して太め処理を行い、同時に１６方向から4方向に方向成分を統合する。ここで、実ストロークは仮想ストロークよりも太くなるように太め処理を行う。
【００１５】
次に制御手段(a)１３は、画像パターン生成手段１１で得られた4方向に量子化された画像パターンを特徴抽出手段１２に送り、特徴抽出手段１２は、画像パターンを5×5の２５領域に分割し、各領域内の黒画素数をカウントすることにより特徴を抽出する。
【００１６】
次に制御手段(a)１３は、特徴抽出手段１２で得られた特徴量を特徴量マッチング手段６に送り、特徴量マッチング手段６では、あらかじめ格納しておいた各文字の標準パターンから求めた特徴量と前記特徴量のマッチングを行うことにより文字を認識する。
【００１７】
【発明が解決しようとする課題】
以上説明したように従来例１のオンライン文字認識装置では、実際に筆記されたストロークの終点と、次に筆記されたストロークの始点とを無条件に直線で結ぶことによりストロークを結合し、文字を認識するので、実際に続け書きされないストロークの場合でも、前後のストロークと結合されるため、結合する前は字形的に異なる文字であっても、結合することにより類似した形状の文字になってしまう場合があり（例えば、文字「こ」を続け書きすると文字「て」と類似した文字となる）、その場合は認識率が低下するという問題点があった。
【００１８】
また、従来例２のオンライン文字認識装置では、従来例１における問題点を解決するために、画像パターンを太らせる際に、実ストロークよりも仮想ストロークを太くすることにより、実際に筆記されやすい仮想ストロークと、筆記されにくい仮想ストロークとの識別を行うようにしているが、本来、太らすことによる効果は、位置ずれ、変形による特徴量の変動を低減させることであり、この場合は、仮想ストロークの太らせ幅を細くするため、仮想ストロークにおける位置ずれ、変形による特徴量の変動を軽減できなくなるという問題点があった。
【００１９】
本発明は、係る問題点を解決するためになされたもので、実ストロークと仮想ストロークを結合する際に、両者を重み付けして結合することにより、仮想ストロークにより結合された場合と、実際に筆記された場合の差異を反映し、結合した場合に類似字形になってしまう文字をも高精度に識別可能にすることを目的とする。
【００２０】
また、続け字における変動を吸収すると共に、ストローク間情報を用いることにより、非漢字等の字形が単純な文字における特徴量を増加させ、識別能力の高いオンライン文字認識装置を実現することを目的とする。
【００２１】
また、他の発明はさらに、ストロークの重み付けをする際に、仮想ストロークの長さ、方向等により結合のしやすさの尺度を抽出し、その尺度により重み付けを変化させることにより、より安定に続け字を認識することを目的とする。
【００２２】
【課題を解決するための手段】
本発明に係るオンライン文字認識装置は、文字の筆記時に得られる筆記情報を入力する入力手段と、前記入力手段で得られた筆記情報から実際に筆記された実ストロークと、この実ストロークと実ストロークとの間を結ぶ仮想ストロークとに互いに異なる重み付けをし、かつその両ストロークの重み付けは座標点における画素値に対する重みのみで行い、実ストロークと仮想ストロークとの結合ストロークを作成する実仮想ストローク結合手段と、前記実仮想ストローク結合手段で得られたパターンを基に、当該パターンにおける座標点間の方向を量子化し、その方向毎の上記重み付けをした画素値の累積数を特徴ベクトルとし、予め用意された各文字の標準的な特徴ベクトルとの距離を求めることにより、文字認識を行う文字認識手段とを備える。
【００２３】
また、本発明に係るオンライン文字認識装置は、前記仮想ストローク長を算出する仮想ストローク長算出手段をさらに備え、前記実仮想ストローク結合手段は仮想ストロークの重み付けを前記仮想ストローク長算出手段で得られた仮想ストローク長を基に行い、重み付けされた実ストロークと仮想ストロークとの結合ストロークを作成する構成にされた。
【００２４】
また、本発明に係るオンライン文字認識装置は、前記実仮想ストローク結合手段が、実ストロークと仮想ストロークを結合する際に、時系列順に実ストロークと仮想ストロークを結合する構成にされた。
【００２５】
また、本発明に係るオンライン文字認識装置は、前記実仮想ストローク結合手段が、実ストロークと仮想ストロークの重み付けをする際に、入力パターンの画数情報を用いて重み付けを変化させる構成にされた。
【００２６】
また、本発明に係るオンライン文字認識装置は、前記実仮想ストローク結合手段が、仮想ストロークの重み付けをする際に、仮想ストロークの長さに加えて仮想ストロークの方向を重み付けの尺度に用いる構成にされた。
【００２７】
【発明の実施の形態】
実施の形態１
以下、本発明の第1の実施形態について図１〜図９を用いて説明する。図１はこの実施形態の構成図である。図中、従来例１，２と同一または相当部分は同一の符号を付し、その説明を省略する。図において、２１は実ストロークに重みを付けて、仮想ストロークと結合する実仮想ストローク結合手段、２２は実仮想ストローク結合手段で結合されたパターンを用いて文字を認識する文字認識手段、２３は各手段を制御する制御手段(b)である。
【００２８】
図２は、制御手段(b)２３の処理の流れを示すフローチャートである。
【００２９】
図３は、入力手段１から得られた入力パターンを示す図である。図中３０は入力パターンの外接矩形、３１〜３５は入力パターンにおける実ストロークを示している。また、図中丸印は、実ストロークあるいは結合ストロークにおける終点を示している。
【００３０】
図４は、実仮想ストローク結合手段２１における処理の流れを示すフローチャートである。
【００３１】
図５は、入力パターン３０における先頭の仮想ストロークを示す図である。図中３６は、先頭仮想ストロークを示している。
【００３２】
図６は、実仮想ストローク結合手段２１で、実ストロークに重み付けを行った様子を示す図であり、図中実ストローク３１に重み付けがされている。
【００３３】
図７は、第1番目の実ストローク３１と仮想ストローク３６を結合した結果の結合ストロークを示す図であり、３７が結合ストロークである。
【００３４】
図８は、第４番目の実ストロークまでの処理を終えた後の入力パターンを示す図であり、図中３９、４０，４１が得られた結合ストロークである。
【００３５】
図９は、第５番目の実ストロークまでの処理を終了した後の入力パターンを示す図である。図中４２が重み付け後の実ストロークを示す。
【００３６】
次に図２の制御手段(b)２３のフローチャートを用いて実施の形態１の動作を説明する。まず、S10で制御手段(b)２３は入力手段１に指示し、図３に示す入力パターンを入手する。
【００３７】
次にS11で制御手段(b)２３は入力手段１で得られた入力パターン（図３）のストローク列情報から、時間的に先頭に筆記されたストロークを処理の対象とする。この例では、図３における３１が処理対象ストロークである。
【００３８】
次にS12に進み、制御手段(b)２３は、実仮想ストローク結合手段２１に指示し、実ストロークと仮想ストロークの結合処理を行う。ここで、実仮想ストローク結合手段２１における動作を、図４のフローチャートを用いて説明する。
【００３９】
まず、S20で、実仮想ストローク結合手段２１は、現在の処理対象実ストロークの終点から、時間的に次に筆記された実ストロークの始点を直線で結び、仮想ストロークとして抽出する。仮想ストロークを抽出した例が図５であり、実ストローク３１に対して抽出した仮想ストロークが３６である。
【００４０】
次に、S21に進み、実仮想ストローク結合手段２１は、現在の処理対象ストロークを実ストロークとして重み付けする。重み付けは、例えば、該ストロークの黒画素値をN倍することにより行う。重み付け後の入力パターンを図６に示す。ここでは、重み付けしたストロークを判別しやすくするために太線で表現しているが、実際は線の太さは変えない。
【００４１】
次に、S22に進み、実仮想ストローク結合手段２１は、重み付けられた実ストロークと抽出された仮想ストロークを結合し、新たに結合ストロークを作成する。作成された結合ストロークを図７に示す。図に示すように、実ストロークの終点と仮想ストロークの始点を結合することにより、結合ストローク３７を作成する。
【００４２】
次に図２の制御手段(b)２３のフローチャートに戻り、S13に進み、制御手段(b)２３は、処理対象ストロークを次の実ストロークとする。この例では、第２番目に筆記されたストローク３２が処理対象ストロークとなる。
【００４３】
次にS14に進み、制御手段(b)２３は、現在の処理対象ストロークが入力パターンの最終ストロークか否かをチェックする。この例では、最終ストロークではないため、S12に戻る。
【００４４】
次にS12に進み、制御手段(b)２３は、実仮想ストローク結合手段２１に指示し、実仮想ストローク結合手段２１は、第１番目のストロークと同様に、第２番目のストロークの処理を行う。同様に、第3番目、第4番目のストロークの処理を行う。第4番目のストロークまで処理した結果の入力パターンを図８に示す。図において、新たに作成された結合ストロークは、３９、４０、４１である。
【００４５】
次に、Ｓ14に進み、最終ストロークかの判定を行うが、この例では、第5ストローク３５は最終ストロークのため、「ＹＥＳ」となり、Ｓ15に進む。S15では、制御手段(b)２３は、最終ストローク３５に対して実仮想ストローク結合手段２１と同様に重み付けを行う。最終的に得られた結合パターンを図９に示す。４２が、重み付けされた最終ストロークである。
【００４６】
次に、Ｓ16に進み、文字認識手段２２で現在までの処理で得られた入力パターンを用いて、文字認識を行う。文字認識は、従来例２と同様に、各座標点における方向を量子化し、その方向毎の累積数を特徴ベクトルとし、予め用意された各文字の標準的な特徴ベクトルとの距離を求めることにより行う。ここで、各座標点における重みは、累積数をカウントする際に重み付けを行う。
【００４７】
以上説明した本実施の形態では、最終実ストロークに対しては、結合ストロークを作成しなかった。しかし、最終実ストロークに対して、最終ストロークの終点から、先頭ストロークの始点を直線で結んだストロークを仮想ストロークとして抽出し、他のストロークと同様に結合ストロークを作成しても良い。
【００４８】
また、本実施の形態では、重み付けの際に、実ストロークのみN倍の重みを付与したが、仮想ストロークに対してもM倍の重みを付与しても、N＞Mであれば同様の効果が得られる。
【００４９】
また、本実施の形態では、すべての入力パターンに対して重み付けを行ったが、ストロークを結合することにより類似文字となってしまうのは比較的低画数の文字に多いことから、入力パターンの画数が一定以下の場合のみ、重み付けを行ってもよい。
【００５０】
また、本実施の形態では、各座標点に対してのみ重み付けを行ったが、従来例２のように位置変動に強くするために、各座標点に対してある一定の近傍範囲に座標点を生成した場合にも、生成した座標点に対して同様に重み付けをしてもよい。
【００５１】
また、本実施の形態では、ストロークを結合する際に、時間的に順番に結合したが、ストロークの終点から最も近い位置にストロークの始点が存在するストロークを次のストロークとして結合してもよい。
【００５２】
以上のように、本実施の形態では、ストロークを結合する場合に、本来筆記される実ストロークと、本来筆記されない仮想ストロークの重みを異なるようにしたので、結合することにより類似字形となってしまう文字をも高精度に読み取ることができる。また、続け書きされやすいストロークと、されにくいストロークの違いを反映することができるので、続け字を安定して読み取ることができる。
【００５３】
また、本実施の形態では、実ストロークと仮想ストロークの重み付けを座標点における重みのみで行うようにしたので、従来例２のような仮想ストロークが実ストロークより細くなることによる悪影響（位置ずれに対する弱さ）を防止することができる。
【００５４】
実施の形態２
以下、本発明の第２の実施形態について図１０〜図１７を用いて説明する。図１０はこの実施の形態の構成図である。図中、従来例１，２及び実施の形態１と同一または相当部分は同一の符号を付し、その説明を省略する。図において、５１は入力パターンにおける仮想ストローク長を算出する仮想ストローク長算出手段、５２は仮想ストローク長算出手段５１の結果に応じて、実ストローク、仮想ストロークに重みを付けて、両者を結合する実仮想ストローク結合手段(b)、５３は各手段を制御する制御手段(c)である。
【００５５】
図１１は、制御手段(c)５３の処理の流れを示すフローチャートである。
【００５６】
図１２は、実仮想ストローク結合手段(b)５２における処理の流れを示すフローチャートである。
【００５７】
図１３は、仮想ストローク長算出手段５１で算出された実ストロークに対応する仮想ストロークの長さを示す図である。
【００５８】
図１４は、第２番目の実ストロークまでの処理を終えた後の入力パターンを示す図であり、図中３９は第2番目の実ストロークから得られた結合ストロークである。
【００５９】
図１５は、第3番目の実ストロークにおける仮想ストロークについて重み付けを行った様子を示す図であり、図中５０は重み付けされた仮想ストロークである。
【００６０】
図１６は、第3番目のストロークの処理まで終わった場合の入力パターンを示す図で、図中51が第3番目の結合ストロークである。
【００６１】
図１７は、すべての実ストロークに対して終了した後の入力パターンを示す図である。
【００６２】
次に図１１の制御手段(c)５３のフローチャートを用いて実施例２の動作を説明する。まず、S10、S11で制御手段(c)５３は、実施の形態１と同様に、入力手段１から入力パターンを入手し、時間的に先頭に筆記されたストロークを処理対象ストロークとする。本例では、図３の３１が処理対象ストロークである。
【００６３】
次にS30に進み、制御手段(ｃ)５３は、実仮想ストローク結合手段(b)５２に指示し、実ストロークと仮想ストロークの結合処理を行う。ここで、実仮想ストローク結合手段５２における動作を、図１２のフローチャートを用いて説明する。
【００６４】
まず、S20で、実施の形態1と同様に実仮想ストローク結合手段(b)５２は、現在の処理対象ストロークの終点から、時間的に次に筆記されたストロークの始点を直線で結び、仮想ストロークとして抽出する。仮想ストロークを抽出した例が図５であり、実ストローク３１に対して抽出した仮想ストロークが３６である。
【００６５】
次に、S40に進み、実仮想ストローク結合手段(b)５２は、仮想ストローク長算出手段５１で仮想ストロークの長さDを算出する。長さDは例えば
【００６６】
【数式１】
のようなユークリッド距離を求める。本実施の形態では、第1番目の実ストローク３１に対する仮想ストローク３６の長さは、図１３より４８となる。
【００６８】
次に、S41に進み、S40で求められた仮想ストロークの長さDと、予め決められた閾値THを比較する。本実施の形態では、閾値THを２０とすると、仮想ストローク３６の長さDは４８であるので、閾値THより大きくなり、「NO」となりS21に進む。
【００６９】
S21,S22の処理は、実施の形態１と同様になり、実ストローク３１に対して重み付けがされ、仮想ストロークと結合され、結合ストローク３７を得る。
【００７０】
次に、図１１のS13に進み、処理対象を次のストローク（第2番目の実ストローク）とし、S14で最終ストロークではないので、S30に進み、第2番目のストロークの結合処理を行う。ここで、第2番目の実ストローク３２に対する仮想ストロークの長さも図２より３２となり、閾値THよりも大きいので、第2番目の実ストロークに対しても、第1番目のストロークと同様の結合処理がされ、結合ストローク３９が得られる。
【００７１】
次にS13に進み、第3番目の実ストロークが処理対象となり、S14を経て、S30で結合処理を行う。
【００７２】
図１２のフローチャートでのS20で、実仮想ストローク結合手段（ｂ）５２は、第3番目の実ストロークにおける仮想ストロークを抽出する。本実施の形態では、図１４に示すように仮想ストローク４９が抽出される。
【００７３】
次にS40に進み、実仮想ストローク結合手段(b)５２は、仮想ストローク長算出手段５１に指示し、抽出された仮想ストロークの長さを算出する。本実施の形態では、図１３より１６となる。
【００７４】
次に、S41に進み、S40で求められた仮想ストロークの長さDと、予め決められた閾値THを比較する。本実施の形態では、仮想ストローク４９の長さDは１６であり、閾値THより小さくなり、「YES」となりS42に進む。
【００７５】
次にS42では、実仮想ストローク結合手段(b)５２は、抽出された仮想ストロークに重み付けを行う。重み付けは、実ストロークと同様に、該ストロークの黒画素値をN倍することにより行う。仮想ストローク４９に対して、重み付けを行った後の仮想ストローク５０を図１５に示す。ここでは、重み付けしたストロークを判別しやすくするために太線で表現しているが、実際は線の太さは変えない。
【００７６】
次にS21、S22に進み、実ストロークの重み付け、結合ストローク作成を行うが、この場合の処理は実施の形態１と同様で、図１６に示す結合ストローク５１が得られる。
【００７７】
次に図１１の制御手段(c)５３のフローチャートに戻り、S13に進み、制御手段(c)５３は、処理対象ストロークを次の実ストロークとする。この例では、第4ストロークとなる。以降の処理は実施の形態1と同一となり、最終的に図１７に示すようなパターンが得られる。ここで、仮想ストローク長が短い場合のみ、仮想ストロークに重み付けされるので、第3番目のストロークにおける仮想ストロークの重みが実ストロークと同一になっている。
【００７８】
以上実施の形態２について説明した。本実施の形態では、最終実ストロークに対しては、結合ストロークを作成しなかったが、最終実ストロークに対しては、最終実ストロークの終点から、先頭ストロークの始点を直線で結んだストロークを仮想ストロークとして抽出し、仮想ストローク長を算出して、重み付けを行い、結合ストロークを作成しても良い。
【００７９】
また、本実施の形態では、重み付けの際に、実ストローク及び閾値THより短い仮想ストロークにのみN倍の重みを付与したが、閾値THより長い仮想ストロークに対してもM倍の重みを付与しても、N＞Mであれば同様の効果が得られる。
【００８０】
また、本実施の形態では、重み付けの際に、閾値THより短い仮想ストロークの場合は、実ストロークと同一の重みを付与したが、実ストロークの重みと、仮想ストロークの重みの間に設定してもよい。また、長さをパラメータとした関数を用いて重みを変化させるようにしてもよい。
【００８１】
また、本実施の形態では、すべての入力パターンに対して仮想ストローク長による判定を行ったが、続け書きする場合は、比較的低画数の文字において、つながり易くなるので、画数に応じて、閾値THを変更するように設定してもよい。
【００８２】
また、本実施の形態では、各座標点に対してのみ重み付けを行ったが、従来例２のように位置変動に強くするために、各座標点に対してある一定の近傍範囲に座標点を生成した場合にも、生成した座標点に対して同様に重み付けをしてもよい。
【００８３】
また、本実施の形態では、仮想ストローク長算出手段５１で仮想ストロークの長さDを算出する際に、ユークリッド距離を用いたが、
【００８４】
【数式２】
に示すCityBlock距離等などの他の距離を用いても良い。
【００８６】
また、本実施の形態では、仮想ストローク長算出手段５１で得られた仮想ストローク長を用いて、仮想ストロークのつながり易さを判定したが、仮想ストロークの方向を加味してもよい。つまり、仮想ストローク方向が、筆記しにくい方向（例えば、上方向、左上方向など）である場合は、仮想ストロークの重み付けをより少なくするなどしてもよい。
【００８７】
また、本実施の形態では、ストロークを結合する際に、時間的に順番に結合したが、ストロークの終点から最も近い位置にストロークの始点が存在するストロークを次のストロークとして結合してもよい。
【００８８】
以上のように、本実施の形態では、ストロークを結合する場合に、続け書きされやすいストロークと、され難いストロークで、仮想ストロークの重みを変化させるようにしたので、続け書きされ易い場合には安定した特徴が得られ、かつ、続け書きされ難い場合には、結合することにより類似字形となってしまう文字との違いを反映できるため、続け字を安定かつ結合することによる悪影響を極力抑え、高精度に読み取ることができる。
【００８９】
また、本実施の形態では、実ストロークと仮想ストロークの重み付けを座標点における重みのみで行うようにしたので、従来例２のような仮想ストロークが実ストロークより細くなることによる悪影響（位置ずれに対する弱さ）を防止することができる。
【発明の効果】
以上のように、本実施の形態では、ストロークを結合する場合に、本来筆記される実ストロークと、本来筆記されない仮想ストロークの重みを異なるようにしたので、結合することにより類似字形となってしまう文字をも高精度に読み取ることができる。
【００９０】
また、実ストロークと仮想ストロークの重み付けを座標点における画素値に対する重みのみで行うようにしたので、仮想ストロークが実ストロークより細くなることによる悪影響（位置ずれに対する弱さ）を防止することができる。
【００９１】
また、仮想ストロークの長さに加えて仮想ストロークの方向をも加味して仮想ストロークの重みを変化させるようにしたので、続け書きされやすいストロークと、され難いストロークで重みを変化し、続け書きされ易い場合には安定した特徴が得られ、かつ、続け書きされ難い場合には、結合することにより類似字形となってしまう文字との違いを反映できるため、続け字を安定かつ結合することによる悪影響を極力抑え、高精度に読み取ることができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１の構成図である。
【図２】 制御手段(b)２３の処理の流れを示すフローチャートである。
【図３】 入力手段から得られた入力パターンを示す図である。
【図４】 実仮想ストローク結合手段の処理の流れを示すフローチャートである。
【図５】 入力パターンにおける先頭の仮想ストロークを示す図である。
【図６】 実仮想ストローク結合手段で、実ストロークに重み付けを行った様子を示す図である。
【図７】 第1番目の実ストロークと仮想ストロークを結合した結果の結合ストロークを示す図である。
【図８】 第４番目の実ストロークまでの処理を終えた後の入力パターンを示す図である。
【図９】 第５番目の実ストロークまでの処理を終了した後の入力パターンを示す図である。
【図１０】 この実施の形態２の構成図である。
【図１１】 制御手段(c)の処理の流れを示すフローチャートである。
【図１２】 実仮想ストローク結合手段(b)における処理の流れを示すフローチャートである。
【図１３】 仮想ストローク長算出手段で算出された実ストロークに対応する仮想ストロークの長さを示す図である。
【図１４】 第２番目の実ストロークまでの処理を終えた後の入力パターンを示す図である。
【図１５】 第3番目の実ストロークにおける仮想ストロークについて重み付けを行った様子を示す図である。
【図１６】 第3番目のストローク処理終了後の入力パターンを示す図である。
【図１７】 全実ストローク終了後の入力パターンを示す図である。
【図１８】 従来例１に示された装置の構成を示すブロック図である。
【図１９】 従来例2に示された装置の構成を示すブロック図である。
【符号の説明】
１：入力手段、２：前処理手段、３：特徴点抽出手段、４：ストローク結合手段、５：特徴量算出手段、６：特徴量マッチング手段、７：制御手段、１０：方向量子化手段、１１：画像パターン生成手段、１２：特徴抽出手段、１３：制御手段(a)、２１：実仮想ストローク結合手段、２２は：文字認識手段、２３：制御手段(b)、５１：仮想ストローク長算出手段、５２：実仮想ストローク結合手段(b)、５３：制御手段(c)。
Claims (5)
- 文字の筆記時に得られる筆記情報を入力する入力手段と、前記入力手段で得られた筆記情報から実際に筆記された実ストロークと、この実ストロークと実ストロークとの間を結ぶ仮想ストロークとに互いに異なる重み付けをし、かつその両ストロークの重み付けは座標点における画素値に対する重みのみで行い、実ストロークと仮想ストロークとの結合ストロークを作成する実仮想ストローク結合手段と、前記実仮想ストローク結合手段で得られたパターンを基に、当該パターンにおける座標点間の方向を量子化し、その方向毎の上記重み付けをした画素値の累積数を特徴ベクトルとし、予め用意された各文字の標準的な特徴ベクトルとの距離を求めることにより、文字認識を行う文字認識手段とを備えることを特徴とするオンライン文字認識装置。
- 前記仮想ストローク長を算出する仮想ストローク長算出手段をさらに備え、前記実仮想ストローク結合手段は仮想ストロークの重み付けを前記仮想ストローク長算出手段で得られた仮想ストローク長を基に行い、重み付けされた実ストロークと仮想ストロークとの結合ストロークを作成する構成にされたことを特徴とする請求項１記載のオンライン文字認識装置。
- 前記実仮想ストローク結合手段は、実ストロークと仮想ストロークを結合する際に、時系列順に実ストロークと仮想ストロークを結合する構成にされたことを特徴とする請求項１または請求項２記載のオンライン文字認識装置。
- 前記実仮想ストローク結合手段は、実ストロークと仮想ストロークの重み付けをする際に、入力パターンの画数情報を用いて重み付けを変化させる構成にされたことを特徴とする請求項１乃至３の何れかに記載のオンライン文字認識装置。
- 前記実仮想ストローク結合手段は、仮想ストロークの重み付けをする際に、仮想ストロークの長さに加えて仮想ストロークの方向を重み付けの尺度に用いる構成にされたことを特徴とする請求項２乃至４の何れかに記載のオンライン文字認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001021687A JP4048716B2 (ja) | 2001-01-30 | 2001-01-30 | オンライン文字認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001021687A JP4048716B2 (ja) | 2001-01-30 | 2001-01-30 | オンライン文字認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002230484A JP2002230484A (ja) | 2002-08-16 |
| JP4048716B2 true JP4048716B2 (ja) | 2008-02-20 |
Family
ID=18887205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001021687A Expired - Lifetime JP4048716B2 (ja) | 2001-01-30 | 2001-01-30 | オンライン文字認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4048716B2 (ja) |
-
2001
- 2001-01-30 JP JP2001021687A patent/JP4048716B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002230484A (ja) | 2002-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7873217B2 (en) | System for line extraction in digital ink | |
| US7349576B2 (en) | Method, device and computer program for recognition of a handwritten character | |
| US9220445B2 (en) | Information processing apparatus, information processing method and program | |
| JP2002222425A (ja) | 情報処理装置及び方法 | |
| EP0576020B1 (en) | Character recognizing method and apparatus | |
| JP2022065169A (ja) | 特徴量生成装置、システム、特徴量生成方法及びプログラム | |
| US7295707B2 (en) | Method for aligning gesture features of image | |
| JP4048716B2 (ja) | オンライン文字認識装置 | |
| JP3192468B2 (ja) | オンライン手書き文字認識装置及び認識方法 | |
| JPH07200735A (ja) | 図形認識装置 | |
| JPH0729002A (ja) | 手書き図形認識装置 | |
| JP2003141448A (ja) | 文字認識方法及び装置、コンピュータプログラム、並びに携帯端末 | |
| JP3817281B2 (ja) | 情報処理装置及び方法 | |
| JP3146046B2 (ja) | オンライン文字認識装置 | |
| JP3338575B2 (ja) | オンライン手書き文字認識装置 | |
| JP2018163441A (ja) | 画像処理装置、及びプログラム | |
| JP2002074366A (ja) | 署名照合方法、および、カード処理システム | |
| JP3290097B2 (ja) | ストロークの判定方法および判定装置 | |
| JP2001060250A (ja) | 文字認識方法および装置 | |
| AU2004214901B2 (en) | Line extraction in digital ink | |
| JP2851865B2 (ja) | 文字認識装置 | |
| JPH07282200A (ja) | オンライン文字認識装置 | |
| JP2000251070A (ja) | オンラインサイン認識方法 | |
| JP2001184457A (ja) | オンライン手書き文字認識装置、方法及びオンライン手書き文字認識プログラムを記録した記録媒体 | |
| JPH06309506A (ja) | オンライン文字認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040702 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041029 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070726 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070920 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071119 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4048716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |