JP3595900B2

JP3595900B2 - 手書き文字認識装置及び記録媒体

Info

Publication number: JP3595900B2
Application number: JP27398698A
Authority: JP
Inventors: 一司石垣; 宏田中
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1998-09-28
Filing date: 1998-09-28
Publication date: 2004-12-02
Anticipated expiration: 2018-09-28
Also published as: JP2000105798A

Description

【０００１】
【発明の属する技術分野】
本発明は、ペン入力コンピュータ、ペン操作型携帯情報端末装置（ＰＤＡ：ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｉｓｔａｎｔ）等において、電子ペン（以下、ペンという）のような筆記具で筆記された手書き文字を認識して文字コードに変換する手書き文字認識装置、及び手書き文字認識のコンピュータプログラムが記録されている記録媒体に関する。
【０００２】
【従来の技術】
手書き文字認識は、タブレット型の座標入力装置から所定時間毎に入力される、ペンによる手書き文字の各筆点（座標点）の時系列ベクトル情報（ストローク情報ともいう）に基づいて認識するオンライン手書き文字認識（以下、オンライン認識という）と、筆記された文字を光学的に読み取り、二次元のイメージ情報として認識するＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ）とに大別される。なお、ＯＣＲはオンライン認識との比較のため、オフライン手書き文字認識（以下、オフライン認識という）と呼ばれる。
【０００３】
オンライン認識では、ストローク情報を認識対象とするので筆順及び画数の情報が簡単に得られ、これらをもとにした比較的簡単なパターン・マッチングで高精度の認識結果を得ることができるという特長がある。しかし、筆順の誤り、くずし書き、重ね書き、塗りつぶし等によって筆順、画数が変動した場合、変動の情報が認識辞書に登録されていない限り、手書き文字を認識できない、また変動を吸収するようなアルゴリズムは計算量が膨大になるので、実時間で手書き文字を認識できない等の欠点がある。
【０００４】
一方、オフライン認識では、二次元イメージ情報を認識対象とし、筆順及び画数に依存しないため、筆順、画数に変動のある手書き文字の全体の形から文字を認識することができるという特長がある。しかし、画数が少ない文字、非漢字等ではわずかの変形が全体の形の変形につながる率が高いため、筆順及び画数の情報から容易に認識できるにもかかわらず、認識辞書に膨大な数のテンプレートが登録されていない限り、実用的な認識性能を得ることが難しいという欠点がある。
【０００５】
以上のように、ストローク情報と二次元イメージ情報といった異なる特徴量に基づいて手書き文字を認識するオンライン認識とオフライン認識とでは、認識特性に相補性があるので、両者を併用して認識性能を高めようとする多くの提案が従来からなされている（特開昭５５−１４０９７０号公報、特開平９−２８８７１７号公報、特開平９−１７９９３８号公報等）。
【０００６】
特開昭５５−１４０９７０号公報、及び特開平９−２８８７１７号公報に代表される手書き文字認識は、オフライン認識により獲得した認識候補とオンライン認識により獲得した認識候補とを統合する並列型ハイブリッド認識と呼ばれる手書き文字認識である。
【０００７】
特開昭５５−１４０９７０号公報に開示された並列型ハイブリッド認識では、総合判定手段がオンライン認識とオフライン認識とから出力される認識候補を統合する。その方法は、オンライン認識が出力する識別クラス（Ａ−ｉ）と、オフライン認識が出力する識別クラス（Ｂ−ｊ）とを行及び列とする二次元の表に文字コードＣｉｊが記載されている場合、即ちオンライン認識及びオフライン認識のいずれでも認識候補として獲得された場合、文字コードＣｉｊを認識結果として出力する。
【０００８】
また、図１は特開平９−２８８７１７号公報に開示された並列型ハイブリッド認識の手順を示すフローチャートである。
手書き文字のストローク情報を用いてオンライン認識を行う一方、ストローク情報から生成したイメージ情報の特徴データを用いてオフライン認識を行う。次にオンライン認識で獲得した認識候補とオフライン認識で獲得した認識候補との認識スコアを加算して両方の認識候補を統合し、統合結果に基づいて認識結果を出力する。
【０００９】
一方、特開平９−１７９９３８号公報に代表される手書き文字認識は、直列型ハイブリッド認識と呼ばれ、図２に示すように、ストローク情報から生成したイメージ情報の特徴データを用いてオフライン認識を行い、認識候補を絞り（大分類）、これらの認識候補に対して、手書き文字のストローク情報を用いてオンライン認識を行ってオフライン認識で獲得した認識候補をさらに絞り込み（細分類）、最終的な認識結果を出力する。
【００１０】
従って、オンライン認識はオフライン認識に比べて認識に長時間を要するが、直列型ハイブリッド認識では、辞書の全ての文字コードに対してオンライン認識を行う前述の並列型ハイブリッドに比べて、オンライン認識に要する時間が短縮され、これにより全体の認識時間が短縮される。
【００１１】
【発明が解決しようとする課題】
前述のように、特開昭５５−１４０９７０号公報に開示された並列型ハイブリッド認識では、オフライン認識とオンライン認識との両方で認識候補として獲得された文字コードだけが認識結果として出力されるので、相補正を有するオフライン認識とオンライン認識との特性が活かされない。
【００１２】
また、特開平９−２８８７１７号公報に開示された並列型ハイブリッド認識のように、オンライン認識の認識候補の認識スコアとオフライン認識の認識候補の認識スコアとを加算するという単純な演算では高い認識性能を期待することはできない。例えば認識不能な筆順で筆記された場合、オフライン認識において獲得された正解の文字に対して、オンライン認識が極端に悪いスコアを返すことがある。このような場合にオフライン認識の認識スコアとオンライン認識の認識スコアとを加算すると、正解の文字の順位が大幅に下がり、認識スコアの得点が高い順に選択したいくつかの認識候補の中に正解の文字が含まれていないという虞がある。
【００１３】
また、特開平９−１７９９３８号公報に代表される直列型ハイブリッド認識では、オフライン認識により絞った認識候補に対してオンライン認識を行って認識候補をさらに絞り込むので、オフライン認識により獲得した認識候補の中の得点が高い上位の認識候補が脱落する可能性があり、認識に要する時間は上述の並列型ハイブリッド認識より短縮されるが、相補正を有するオフライン認識とオンライン認識との特性が活かされない。例えば、塗りつぶし文字のように、オフライン認識は得意とするがオンライン認識が不得手とするような文字はオフライン認識で正解の文字コードが認識候補として獲得されていてもオンライン認識で脱落してしまう。
【００１４】
本発明はこのような問題点を解決するためになされたものであって、オフライン認識で認識候補を絞り込むとともに、それぞれが高い認識性能を有し、また認識の得手、不得手、認識速度等といった認識特性に相補正を有するオンライン認識とオフライン認識との両方の認識特性を活かして最終的な認識結果を出力することにより、高速で高精度に手書き文字を認識する手書き文字認識装置、及び手書き文字認識のコンピュータプログラムが記録されている記録媒体の提供を目的とする。
【００１５】
【課題を解決するための手段】
図３は本発明の原理図である。
ペン入力手段１は、ペンによりタブレットに手書きされていく文字の筆点の座標データを所定時間毎に入力する座標入力手段である。イメージ情報生成手段２は、ペン入力手段１により入力された筆点の時系列ベクトル情報を二次元のイメージ情報に変換する。
【００１６】
オフライン認識手段３は、各文字の、文字コード及び二次元イメージの特徴情報が格納されているオフライン認識辞書３１を参照し、二次元のイメージ情報をもとに認識処理を行い、文字コードと認識スコアとの対からなる複数個の認識候補を獲得する。
照合テーブル４はオフライン認識手段３が獲得した認識候補のうち、認識スコアの得点が高いＮ個の文字コードを格納する。
【００１７】
オンライン認識手段５は、各文字の、文字コード及び時系列ベクトル情報が格納されているオンライン認識辞書５１を参照し、手書き文字の筆点の時系列ベクトル情報を、照合テーブル４に格納された文字コードに対応するオンライン認識辞書５１の文字コードの時系列ベクトル情報と照合して認識処理を行い、文字コードと認識スコアとの対からなる認識候補を獲得する。
【００１８】
統合手段６の認識スコア正規化手段６１は、オフライン認識手段３が獲得した認識候補のうち、認識スコアの得点が高い上位Ｍ個の認識候補の認識スコアと、オンライン認識手段５が獲得した認識候補の中の、認識スコアの得点が高い上位Ｌ個の認識候補の認識スコアとを正規化し、各認識候補の新しい認識スコアを決定する。
【００１９】
統合手段６の候補統合手段６２は、正規化後の認識スコアに基づいて、オフライン認識手段３の認識候補及びオンライン認識手段５の認識候補を統合し、認識スコアの得点が高い上位Ｋ個の認識候補を認識結果として出力する。
【００２０】
第１発明の手書き文字認識装置は、手書きで入力される文字から手書き文字を認識する装置において、手書きされた文字の二次元イメージ情報をもとに、文字コード及び認識スコアを対とする複数個の認識候補を獲得する第１の認識手段と、前記第１の認識手段が獲得した複数個の認識候補の中の上位複数個の認識候補に対して、手書き文字の時系列ベクトル情報をもとに認識スコアを算出し、認識スコア及び文字コードを対とする認識候補を獲得する第２の認識手段と、第１の認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位複数個の認識候補の認識スコア、及び第２の認識手段が獲得した認識候補の中の認識スコアの得点が高い上位複数個の認識候補の認識スコアを正規化する認識スコア正規化手段と、正規化後の認識スコアに基づいて、複数個の認識候補を認識結果として出力する候補統合手段とを備えたことを特徴とする。
【００２１】
第１発明では、手書き入力された文字の二次元のイメージ情報をもとに、第１の認識手段が認識処理を行って複数個の認識候補を獲得し、第２の認識手段は、手書き文字の筆点の時系列ベクトル情報をもとに、第１の認識手段が獲得した複数個の認識候補の中の、例えば認識スコアの得点が高い上位複数個の認識候補に対して認識処理を行って複数個の認識候補を獲得し、認識スコア正規化手段が、第１の認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位複数個の認識候補の認識スコアと、第２の認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位複数個の認識候補の認識スコアとを正規化し、候補統合手段が、正規化後の認識スコアに基づいて、複数個の認識候補を認識結果として出力する。
従って、オンライン認識及びオフライン認識の両方の認識特性の長所が活かされ、認識性能が向上するとともに、実用的に十分高速に認識結果が得られる。
【００２２】
第２発明の手書き文字認識装置は、手書きで入力される文字の筆点における時系列ベクトル情報から手書き文字を認識する装置において、時系列ベクトル情報を二次元イメージ情報に変換するイメージ情報生成手段と、各文字の、文字コード及び二次元イメージの特徴情報が格納されているオフライン認識辞書と、イメージ情報生成手段により生成された二次元イメージ情報から得られる特徴情報をオフライン認識辞書の特徴情報と照合して文字コード及び認識スコアを対とする複数個の認識候補を獲得するオフライン認識手段と、オフライン認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位Ｎ個の認識候補の文字コードを格納する照合テーブルと、各文字の、文字コード及び時系列ベクトル情報が格納されているオンライン認識辞書と、手書き文字の時系列ベクトル情報を、照合テーブルに格納されているＮ個の文字コードに対応するオンライン認識辞書の時系列ベクトル情報と照合して、文字コード及び認識スコアを対とする複数個の認識候補を獲得するオンライン認識手段と、オフライン認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位Ｍ個（ただし、Ｍ≦Ｎ）の認識候補の認識スコア、及びオンライン認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位Ｌ個（ただし、Ｌ≦Ｎ）の認識候補の認識スコアを正規化する認識スコア正規化手段と、認識スコア正規化手段による正規化後の認識スコアに基づいて、オフライン認識手段が獲得したＭ個の認識候補、及びオンライン認識手段が獲得したＬ個の認識候補を統合し、認識スコアの得点が高い上位Ｋ個（ただし、Ｋ≦Ｍ＋Ｌ）の認識候補を認識結果として出力する候補統合手段とを備えたことを特徴とする。
【００２３】
第２発明では、イメージ情報生成手段が、筆点の時系列ベクトル情報から生成した二次元のイメージ情報をもとに、オフライン認識手段が認識処理を行って複数個の認識候補を獲得し、これらの中の認識スコアの得点が高い上位Ｎ個の認識候補を照合テーブルに格納する一方、オンライン認識手段は、手書き文字の筆点の時系列ベクトル情報をもとに、照合テーブルに格納された認識候補に対して認識処理を行って複数個の認識候補を獲得し、認識スコア正規化手段が、オフライン認識手段が獲得した認識候補の中の認識スコアの得点が高い上位Ｍ個の認識候補の認識スコアと、オンライン認識手段が獲得した認識候補の中の認識スコアの得点が高い上位Ｌ個の認識候補の認識スコアとを正規化し、候補統合手段が、認識スコアが正規化されたオフライン認識手段の認識候補及びオンライン認識手段の認識候補から認識スコアの得点が高い上位Ｋ個の認識候補を選択し、認識結果として出力する。
従って、オンライン認識及びオフライン認識の両方の認識特性の長所が活かされ、認識性能が向上するとともに、実用的に十分高速に認識結果が得られる。
【００２４】
第３発明の手書き文字認識装置は、第１又は第２発明において、前記候補統合手段は、オフライン認識手段及びオンライン認識手段が同一の文字コードを有する認識候補を獲得した場合は、該認識候補の認識スコアを正規化後の得点が高い方の認識スコアと決定し、またいずれか一方が獲得した認識候補の認識スコアを正規化後の認識スコアと決定する手段を備えることを特徴とする。
【００２５】
第３発明では、オフライン認識手段及びオンライン認識手段がそれぞれ獲得したＭ個及びＬ個の認識候補に同一の認識候補が含まれる場合のこの認識候補の認識スコアを、正規化後の得点が高い方の認識スコアと決定し、またいずれか一方が獲得した認識候補の認識スコアを、正規化後の認識スコアと決定する。
従って、例えば塗りつぶし文字のように、オフライン認識が得意とし、オフライン認識において認識スコアの得点が高かった認識候補が、このような文字を不得手とするオンライン認識において脱落せず、認識性能が向上する。
【００２６】
第４発明の手書き文字認識装置は、第２又は第３発明において、前記オンライン認識手段は、オンライン認識辞書にオフライン認識辞書と異なる文字セットが格納されており、前記照合テーブルに格納された文字コードがオンライン認識辞書に存在しない場合、前記照合テーブルに格納された文字コードのオンライン認識による認識スコアを所定の固定値とした認識候補として獲得する手段であることを特徴とする。
【００２７】
第４発明では、オンライン認識辞書にオフライン認識辞書と異なる文字セットが格納されており、例えばほとんど書く機会がないようなＪＩＳ第２水準の複雑な文字がオフライン認識の結果として照合テーブルに格納されたが、オンライン認識辞書にこの文字が認識対象として含まれていない場合、照合テーブルに格納された文字コードのオンライン認識の認識スコアを、例えば最悪の０といった固定値とする。
【００２８】
従って、オンライン認識とオフライン認識との認識対象の文字セットが同一でなく、オンライン認識の認識対象の数の方が少ない場合でも、手書き文字がオフライン認識の認識対象に含まれていれば認識結果が得られる。この場合、オフライン認識のスコアが十分高ければ、オンライン認識の認識対象に含まれていなくても認識することができる。通常、オフライン認識辞書は手書き文字のパターンを収集さえすれば辞書を自動的に合成することができるのに対し、オンライン認識辞書は文字のストローク情報を人手で記述するため、例えばほとんど書く機会がないようなＪＩＳ第２水準の複雑な文字の認識辞書を作成することは非常に困難であるが、オフライン認識辞書に含まれていれば、オンライン認識辞書に含まれていなくても認識結果を得ることができて、認識対象の拡張が容易である。
【００２９】
第５発明の手書き文字認識装置は、第１乃至第４発明のいずれかにおいて、前記認識スコア正規化手段は、オフライン認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位複数個の認識候補の認識スコアと、オフライン認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位ｍ個の認識候補の認識スコアの平均値との差に所定の係数を乗じ、オンライン認識手段の認識候補が正解である場合の認識スコアの平均値に応じた所定値を加算して前記上位複数個の認識スコアを正規化する手段であることを特徴とする。
【００３０】
従って、オフライン認識手段が獲得した認識候補の認識スコア及びオンライン認識手段が獲得した認識候補の認識スコアとが同レベルで比較できるように補正される。
【００３１】
第６発明の記録媒体は、手書きで入力される文字の筆点における時系列ベクトル情報からコンピュータに手書き文字を認識させる装置で使用するコンピュータプログラムを記録しており、コンピュータでの読み取りが可能な記録媒体において、前記コンピュータに、時系列ベクトル情報を二次元イメージ情報に変換させるプログラムコード手段と、各文字の、文字コード及び二次元イメージの特徴情報が格納されているオフライン認識辞書と、前記コンピュータに、生成された二次元イメージ情報から得られる特徴情報をオフライン認識辞書の特徴情報と照合するオフライン認識を実行させて文字コード及び認識スコアを対とする複数個の認識候補を獲得させるプログラムコード手段と、前記コンピュータに、オフライン認識により獲得した複数個の認識候補の中の認識スコアの得点が高い上位Ｎ個の認識候補の文字コードを照合テーブルに格納させるプログラムコード手段と、各文字の、文字コード及び時系列ベクトル情報が格納されているオンライン認識辞書と、前記コンピュータに、手書き文字の時系列ベクトル情報を、照合テーブルに格納されているＮ個の文字コードに対応するオンライン認識辞書の時系列ベクトル情報と照合するオンライン認識を実行させて、文字コード及び認識スコアを対とする複数個の認識候補を獲得させるプログラムコード手段と、前記コンピュータに、オフライン認識により獲得した複数個の認識候補の中の認識スコアの得点が高い上位Ｍ個（ただし、Ｍ≦Ｎ）の認識候補の認識スコア、及びオンライン認識により獲得した複数個の認識候補の中の認識スコアの得点が高い上位Ｌ個（ただし、Ｌ≦Ｎ）の認識候補の認識スコアを正規化させるプログラムコード手段と、前記コンピュータに、正規化後の認識スコアに基づいて、オフライン認識により獲得したＭ個の認識候補、及びオンライン認識により獲得したＬ個の認識候補を統合させ、認識スコアの得点が高い上位Ｋ個（ただし、Ｋ≦Ｍ＋Ｌ）の認識候補を認識結果として出力させるプログラムコード手段とを含むことを特徴とする。
【００３２】
第６発明では、コンピュータが記録媒体のコンピュータプログラムを読み取り、筆点の時系列ベクトル情報から生成した二次元のイメージ情報をもとに、オフライン認識処理を行って複数個の認識候補を獲得し、これらのうちのＮ個の認識候補を照合テーブルに格納する一方、手書き文字の筆点の時系列ベクトル情報をもとに、照合テーブルに格納された認識候補に対してオンライン認識処理を行って複数個の認識候補を獲得し、オフライン認識で獲得した認識候補の中のＭ個の認識候補の認識スコアと、オンライン認識で獲得した認識候補の中のＬ個の認識候補の認識スコアとを正規化し、認識スコアが正規化されたオフライン認識の認識候補及びオンライン認識の認識候補からＫ個の認識候補を選択し、認識結果として出力する。
従って、手書き文字認識のコンピュータプログラムを、ＣＤ−ＲＯＭ、ＭＯ等の可搬型記録媒体、又は回線経由で提供することができる。
【００３３】
【発明の実施の形態】
次に、本発明の手書き文字認識装置の具体的な実施形態について、以下に説明する。なお、装置の構成は図３の原理図と同様である。
手書きで筆記された一文字分のストローク情報が座標入力装置であるペン入力手段１により入力されると、イメージ情報生成手段２は、ストローク情報をビットマップ情報に展開し、手書き文字イメージ情報を生成する。
図４はイメージ情報生成の概念図である。
【００３４】
オフライン認識手段３は、イメージ情報生成手段２が生成したイメージ情報からイメージ特徴を抽出し、オフライン認識辞書３１と照合して得た認識スコア及び文字コードの対からなる複数個の認識候補を獲得する。これらの認識候補のうち、認識スコアの得点が高い上位Ｎ個が選択され、これらの文字コードが照合テーブル４に格納される。
【００３５】
次に、オンライン認識手段５は、一文字分のストローク情報を、照合テーブル４に格納された文字コードに対応するオンライン認識辞書５１のストローク情報と照合して得た認識スコア及び文字コードの対からなる複数個の認識候補を獲得する。
統合手段６は、オフライン認識手段３が獲得した複数個の認識候補のうち、認識スコアの得点が高い上位Ｍ個の認識候補を選択し、またオンライン認識手段５が獲得した複数個の認識候補のうち、認識スコアの得点が高い上位Ｌ個の認識候補を選択する。
【００３６】
なお、オンライン認識手段５は、オフライン認識辞書３１とオンライン認識辞書５１とに異なる文字セットが格納されており、例えばほとんど書く機会がないようなＪＩＳ第２水準の複雑な文字がオフライン認識の結果として照合テーブル４に格納されたが、オンライン認識辞書５１にこの文字が認識対象として含まれていない場合、照合テーブル４に格納された文字コードの認識スコアを、例えば最悪の０といった固定値としてオンライン認識の認識候補として出力する。
【００３７】
統合手段６の認識スコア正規化手段６１は、Ｍ個のオフライン認識の認識候補と、Ｌ個のオンライン認識の認識候補とのいずれか一方の認識スコア、又は両方の認識スコアに対して所定のアルゴリズムで演算を行って認識スコアを正規化し、オフライン認識手段３及びオンライン認識手段５の認識スコアとを同レベルで比較できるように補正する。
【００３８】
統合手段６の候補統合手段６２は、正規化された認識スコアをもとに、オフライン認識及びオンライン認識の認識候補を統合し、認識スコアの得点が高い上位Ｋ個の認識候補を最終的な認識結果として出力する。
このとき、候補統合手段６２は、オフライン認識手段３とオンライン認識手段５との両方から同一の文字コードの認識候補の出力がある場合は、正規化後の得点が高い方の認識スコアを採用する。
なお、以上のようにして得られた認識結果の認識精度を高めるために、文脈処理を行って補正してもよい。
【００３９】
【実施例】
以下に、本発明の手書き文字認識装置を使用した手書き文字認識の具体例について説明する。
オフライン認識としては株式会社富士通研究所で開発された２８８次元特徴ベクトルによる認識方式（鎌田、他：「圧縮特徴と原特徴を併用した高速かつ高精度な文字認識方式」：信学技報、ＰＲＵ９６−２０５（１９９７−０３））を用いる。このオフライン認識は、領域を１２×６分割し、縦横斜め等の４方向からスキャンして得られる２８８次元の特徴ベクトルを基に認識処理を行うもので、コンパクトな辞書で高速に認識処理を行うことができる。なお、イメージ情報生成では、文字サイズの正規化後、各ストロークの幅を１とした２値化処理を行っている。
【００４０】
一方、オンライン認識としては、東京農工大で開発された続け字認識アルゴリズム「線型時間伸縮マッチング法」（秋山、中川：「ストロークのつながりに寛容なオンライン手書き文字認識」：画像の認識・理解シンポジウム（ＭＩＲＵ’９４）Ｉ、１４５−１５２（１９９４．０７））を用いる。このオンライン認識では、画数が変動した続け文字であっても、筆順が辞書に登録されている範囲であれば高精度に認識処理を行うことができる。認識辞書は部首毎に構造化・共有されているため非常にコンパクトであるが、計算時間がかかるため、通常、なんらかの大分類機構で１００〜数百程度に絞り込んだ後で使用すると効果的である。
【００４１】
本実施例では、オフライン認識の結果、上位１００位までの認識候補の文字コードを照合テーブルに格納する。オンライン認識では、照合テーブルに格納された文字コードの辞書パターンを順次読み出し、前述の「線型時間伸縮マッチング法」を実施する。なお、照合テーブルに格納された文字コードが辞書にない場合は照合処理を行わず、認識スコアを固定値（例えば最悪値０）とする。
【００４２】
本実施例では、以上のような照合処理で得られた認識候補のうち、上位１０位をオンライン認識の認識候補として出力する。
同様に、オフライン認識の結果として得られた上位１０位を認識候補として出力する。
認識スコア正規化は、以下のようなアルゴリズムで認識スコアを正規化する。
【００４３】
（１）オンライン認識の認識スコアはそのままの値を正規化後の認識スコアとして使用する。
（２）オフライン認識の認識候補を認識スコアの得点が高い順にソートし、第ｉ番目の認識候補の認識スコアをｄ_ｉとする。以下の式で示すように、上位５位の認識候補の認識スコアの平均ｍを算出し、正規化後の認識スコアＤ_ｉを決定する。
【００４４】
【数１】

【００４５】
ここで、パラメータα、βは、認識実験等により最適の値が決定される数値であって、本実施例ではα＝０．７、β＝６８０とする。βの値は、オンライン認識が正解であった場合の平均的な認識スコアよりやや小さい値である。
候補統合では、認識スコアを上述のアルゴリズムによって正規化した後、両認識により同一の文字コードが認識候補として獲得されている場合は、得点が高い方の認識スコアを選択し、認識候補が一方の認識でしか得られていない場合は、それぞれの認識スコアを最終的な認識スコアとして決定する。以上の結果、認識スコアの得点が高い上位１０個を認識結果として出力する。
【００４６】
表１は、公開されている認識評価データに対して本実施例の手書き文字認識を実行した時の認識実験結果を示している。なお、認識評価データとしては、東京農工大の中川研究室が中心になって収集したオンライン手書きＤＢ（ＴＵＡＴＮａｋａｇａｗａＬａｂ．ＨＡＮＤＳ−ｋｕｃｈｉｂｕｅ−９７−０１）より、ｍｄｂ００５１、ｍｄｂ００５５、ｍｄｂ００６６の中の非漢字を除いたＪＩＳ第一水準の漢字（１６９２９字）を用いた。
【００４７】
【表１】

【００４８】
表１から明らかなように、本実施例では、一位認識（正解の文字が一位に存在する場合だけ正解とする）、累積認識（正解の文字が一位か二位、一位から三位までのいずれか、一位から五位までのいずれか、又は一位から十位までのいずれかに存在すれば正解とする）のいずれにおいても認識性能が大幅に向上している。
【００４９】
なお、照合テーブルに格納する文字コードの数を１００としたが、文字コードの数はこれより多くてもよい。文字コードの数を多くすれば計算量は増加するが、一般的に認識性能は向上する。文字コード数を１００とした時の認識速度は、ＪＩＳ第一水準＋非漢字の合計３３４５字の認識対象に対し、ＰｅｎｔｉｕｍＰｒｏ２６６ＭＨｚのＣＰＵで、平均３３ｍｓ／文字であった。
【００５０】
本発明の手書き文字認識装置は、上述したような手書き文字認識のコンピュータプログラムを、磁気ディスク，ＣＤ−ＲＯＭ等の可搬型記録媒体、コンピュータと無線又は有線にてプログラムの通信が可能な、例えばセンタに備えられた回線先メモリ、あるいは、コンピュータに備えつけられたＲＡＭ、ハードディスク等の処理装置側メモリ等の記録媒体からロードする。
【００５１】
【発明の効果】
以上のように、本発明の手書き文字認識装置及び記録媒体は、オフライン認識で認識候補を絞り込むとともに、それぞれが高い認識性能を有し、また認識の得手不得手、認識速度等といった認識特性に相補正を有するオンライン認識とオフライン認識との両方の認識特性を活かして最終的な認識結果を出力するので、高速で高精度に手書き文字を認識するという優れた効果を奏する。
【図面の簡単な説明】
【図１】並列型ハイブリッド認識手順のフローチャートである。
【図２】直列型ハイブリッド認識手順のフローチャートである。
【図３】本発明の原理図である。
【図４】イメージ情報生成の概念図である。
【符号の説明】
１ペン入力手段
２イメージ情報生成手段
３オフライン認識手段
３１オフライン認識辞書
４照合テーブル
５オンライン認識手段
５１オンライン認識辞書
６統合手段
６１認識スコア正規化手段
６２候補統合手段

Claims

手書きで入力される文字から手書き文字を認識する装置において、
手書きされた文字の二次元イメージ情報をもとに、文字コード及び認識スコアを対とする複数個の認識候補を獲得する第１の認識手段と、
前記第１の認識手段が獲得した複数個の認識候補の中の上位複数個の認識候補に対して、手書き文字の時系列ベクトル情報をもとに認識スコアを算出し、認識スコア及び文字コードを対とする認識候補を獲得する第２の認識手段と、
第１の認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位複数個の認識候補の認識スコア、及び第２の認識手段が獲得した認識候補の中の認識スコアの得点が高い上位複数個の認識候補の認識スコアを正規化する認識スコア正規化手段と、
正規化後の認識スコアに基づいて、複数個の認識候補を認識結果として出力する候補統合手段と
を備えたことを特徴とする手書き文字認識装置。
手書きで入力される文字の筆点における時系列ベクトル情報から手書き文字を認識する装置において、
時系列ベクトル情報を二次元イメージ情報に変換するイメージ情報生成手段と、
各文字の、文字コード及び二次元イメージの特徴情報が格納されているオフライン認識辞書と、
イメージ情報生成手段により生成された二次元イメージ情報から得られる特徴情報をオフライン認識辞書の特徴情報と照合して文字コード及び認識スコアを対とする複数個の認識候補を獲得するオフライン認識手段と、
オフライン認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位Ｎ個の認識候補の文字コードを格納する照合テーブルと、
各文字の、文字コード及び時系列ベクトル情報が格納されているオンライン認識辞書と、
手書き文字の時系列ベクトル情報を、照合テーブルに格納されているＮ個の文字コードに対応するオンライン認識辞書の時系列ベクトル情報と照合して、文字コード及び認識スコアを対とする複数個の認識候補を獲得するオンライン認識手段と、
オフライン認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位Ｍ個（ただし、Ｍ≦Ｎ）の認識候補の認識スコア、及びオンライン認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位Ｌ個（ただし、Ｌ≦Ｎ）の認識候補の認識スコアを正規化する認識スコア正規化手段と、
認識スコア正規化手段による正規化後の認識スコアに基づいて、オフライン認識手段が獲得したＭ個の認識候補、及びオンライン認識手段が獲得したＬ個の認識候補を統合し、認識スコアの得点が高い上位Ｋ個（ただし、Ｋ≦Ｍ＋Ｌ）の認識候補を認識結果として出力する候補統合手段と
を備えたことを特徴とする手書き文字認識装置。
前記候補統合手段は、オフライン認識手段及びオンライン認識手段が同一の文字コードを有する認識候補を獲得した場合は、該認識候補の認識スコアを正規化後の得点が高い方の認識スコアと決定し、またいずれか一方が獲得した認識候補の認識スコアを正規化後の認識スコアと決定する手段を備える請求項１又は２記載の手書き文字認識装置。
前記オンライン認識手段は、オンライン認識辞書にオフライン認識辞書と異なる文字セットが格納されており、前記照合テーブルに格納された文字コードがオンライン認識辞書に存在しない場合、前記照合テーブルに格納された文字コードのオンライン認識による認識スコアを所定の固定値とした認識候補として獲得する手段である請求項２又は３記載の手書き文字認識装置。
前記認識スコア正規化手段は、オフライン認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位複数個の認識候補の認識スコアと、オフライン認識手段が獲得した複数個の認識候補の中の認識スコアの得点が高い上位ｍ個の認識候補の認識スコアの平均値との差に所定の係数を乗じ、オンライン認識手段の認識候補が正解である場合の認識スコアの平均値に応じた所定値を加算して前記上位複数個の認識スコアを正規化する手段である請求項１乃至４のいずれかに記載の手書き文字認識装置。
手書きで入力される文字の筆点における時系列ベクトル情報からコンピュータに手書き文字を認識させる装置で使用するコンピュータプログラムを記録しており、コンピュータでの読み取りが可能な記録媒体において、
前記コンピュータに、時系列ベクトル情報を二次元イメージ情報に変換させるプログラムコード手段と、
各文字の、文字コード及び二次元イメージの特徴情報が格納されているオフライン認識辞書と、
前記コンピュータに、生成された二次元イメージ情報から得られる特徴情報をオフライン認識辞書の特徴情報と照合するオフライン認識を実行させて文字コード及び認識スコアを対とする複数個の認識候補を獲得させるプログラムコード手段と、
前記コンピュータに、オフライン認識により獲得した複数個の認識候補の中の認識スコアの得点が高い上位Ｎ個の認識候補の文字コードを照合テーブルに格納させるプログラムコード手段と、
各文字の、文字コード及び時系列ベクトル情報が格納されているオンライン認識辞書と、
前記コンピュータに、手書き文字の時系列ベクトル情報を、照合テーブルに格納されているＮ個の文字コードに対応するオンライン認識辞書の時系列ベクトル情報と照合するオンライン認識を実行させて、文字コード及び認識スコアを対とする複数個の認識候補を獲得させるプログラムコード手段と、
前記コンピュータに、オフライン認識により獲得した複数個の認識候補の中の認識スコアの得点が高い上位Ｍ個（ただし、Ｍ≦Ｎ）の認識候補の認識スコア、及びオンライン認識により獲得した複数個の認識候補の中の認識スコアの得点が高い上位Ｌ個（ただし、Ｌ≦Ｎ）の認識候補の認識スコアを正規化させるプログラムコード手段と、
前記コンピュータに、正規化後の認識スコアに基づいて、オフライン認識により獲得したＭ個の認識候補、及びオンライン認識により獲得したＬ個の認識候補を統合させ、認識スコアの得点が高い上位Ｋ個（ただし、Ｋ≦Ｍ＋Ｌ）の認識候補を認識結果として出力させるプログラムコード手段と
を含むことを特徴とする記録媒体。