JP4489060B2 - 手書き入力システム - Google Patents

Description

本発明は、手書き文字を電子データに変換する機能を有する手書き入力システムに関する。

専用の記入用紙に対しデジタルペンにより記入された手書き文字をテキストデータに変換することのできる手書き入力システムが実用化されている。このシステムで用いる記入用紙には、紙面上の位置情報を表わす特殊な配列の微小なドットパターンが印刷されている。デジタルペンは、筆記中のペン先の移動経路にある記入用紙上のドットパターンを内蔵カメラで読み取って筆跡情報を得る。さらに、デジタルペンと接続されたホスト装置は、このようにして取得された筆跡情報を基に記入用紙上の手書き文字をテキストデータに変換する。

ここで、この種の手書き入力システムでは、一旦記入を終えた文字列に対し訂正を加えることの可能な文字列訂正機能を有するものが開発されている。例えば、誤った文字列を記入した用紙と同一種類の別の用紙を用い、誤って記入した文字を、この別用紙の所定の記入欄に訂正記号と共に記入した正しい文字と、差し替えて認識する手書き入力システムが提案されている（例えば、特許文献１参照）。

また、削除を意味する二重線若しくは塗りつぶし、又は追加を意味する山型記号、谷型記号若しくは矢印記号などを訂正すべき文字列に対して追記し、これをシステム側に認識させることにより、文字列の訂正を行えるようにした手書き入力システムも知られている（例えば、特許文献２参照）。
特開２００４−３０３１３５号公報 特開２００４−１５２０４０号公報

しかしながら、上述した特許文献１のシステムで文字列を訂正する場合、認識対象の文字列が実質的に複数枚の記入用紙に分かれた状態となるため、記入用紙原本と文字認識結果とを対応させた状態でのデータ管理が難しくなると共に、（特殊なドットパターンが記された高価な）記入用紙が多数必要になり経済性の面において課題を抱えている。

一方、特許文献２の技術は、記入用紙上の訂正すべき文字列に対し二重線の記入や塗りつぶしを行うことで、文字列の訂正処理が確定されるものであるが、二重線の長さや塗りつぶし範囲が不適切に記入されている場合、削除を意図しない文字が削除対象として扱われたり、本来削除すべき文字が削除対象として扱われないという不具合を生じる。

そこで本発明は、このような課題を解決するためになされたもので、文字が筆記された記入用紙のその紙面上で、的確に記入文字に対する訂正処理を確定させることができる手書き入力システムの提供を目的とする。

上記目的を達成するために、本発明の手書き入力システムは、紙面上の位置情報を示す複数のマークが予め記された記入用紙に対し筆記が可能であると共に、筆記を行った位置に存在する前記マークを読み込んで前記位置情報の系列を生成するペン装置と、前記ペン装置により生成された前記位置情報の系列を取得して、前記ペン装置の筆跡をイメージデータ化した筆跡イメージを生成する筆跡イメージ生成部と、前記筆跡イメージ生成部により生成された前記筆跡イメージに基づいて文字認識を行う文字認識部と、前記筆跡イメージから、前記記入用紙上に筆記された文字のうち削除対象の文字の上に重ねて筆記され、かつ文字の列なる方向に延びる単一の線分である取消文字指定線と削除対象の文字の数と一致する数の前記取消文字指定線と交差するように筆記された削除文字数指定線とを検出する訂正指示検出部と、前記訂正指示検出部による検出結果に基づいて、前記文字認識部による文字認識結果を訂正する文字認識結果訂正部と、を具備することを特徴とする。

本発明では、記入用紙に対して筆記を行ったペン装置の筆跡のイメージデータから取消文字指定線及び削除文字数指定線を検出し、この検出結果に基づいて文字認識結果を訂正するので、削除対象の文字数を検証し（裏付けをとり）つつ、文字認識結果から削除すべき文字をより正しく特定することができる。したがって、本発明によれば、文字が筆記された記入用紙のその紙面上で、的確に文字の訂正処理を確定させることができる。

さらに、本発明では、ペン装置で筆記を行うユーザ側では、記入操作を行う上で体感的及び視覚的に把握（計数）し易い、取消文字指定線と交差させた線（削除文字数指定線）の数で削除対象の文字数を指定できるので、より的確に文字の訂正処理を確定させることができる。

また、本発明では、単一の記入用紙上で、記入文字の削除と共に、削除した文字に差し替えるべき訂正文字を指定することができる。

このように、本発明によれば、文字が筆記された記入用紙のその紙面上で、的確に記入文字に対する訂正処理を確定させることが可能な手書き入力システムを提供することができる。

以下、本発明を実施するための最良の形態を図面に基づき説明する。
［第１の実施の形態］
図１は、本発明の第１の実施形態に係る手書き入力システム１の構成を機能的に示すブロック図である。
図１に示すように、この実施形態の手書き入力システム１は、記入用紙として適用される帳票２を処理可能な帳票処理システムであって、帳票２への記入を行うペン装置としてのデジタルペン５とこのデジタルペン５が接続されるホスト装置３とで構成される。

まず、この手書き入力システム１で用いられる帳票２の構成を図２〜図４に基づき説明する。図２は、この手書き入力システム１で用いる帳票２に記されたドットによる２ビットの情報の表現方法を説明するための図である。また、図３は、図２の２ビットの情報を示すドットの組み合わせで構成されるドットパターンの一例を示す図である。さらに、図４は、図３のドットパターンに対応するデータの配列を示す図である。

図３に示すように、帳票２の紙面全体には、その紙面上の位置情報を表す複数のマークとしての灰色のドットパターンが予め印刷されている。このドットパターンでは、平均０．３ｍｍ間隔に格子状に配置された縦横６×６個のドットｄ１、ｄ２…ｄ３６それぞれの基準位置（格子の縦横の交点）ｋ１、ｋ２…ｋ３６に対する位置ずれによって、それぞれのドットｄ１、ｄ２…ｄ３６の値が示されている。これらドットｄ１、ｄ２…ｄ３６の値の組み合わせが、帳票２の紙面上の所定個所を示す一つの位置情報となる。

具体的には、図２に示すように、個々のドットは、基準位置から上下左右の四通りの方向へ僅かにずらした（シフトさせた）位置に配置されており、その基準位置に対する位置関係によって、０〜３の２ビットの符号化された情報を与える。したがって、図３に示したドットパターンから図４に示すデータの配列が得られ、このデータの配列が、帳票２の紙面上の位置情報（二次元の座標位置）を示す。このような構成により、縦横６×６個のドットの値の組み合わせで４の３６乗通りのパターンを生成でき、理論上、６０００万平方キロメートルに相当する広大な二次元空間（座標平面）に対して位置情報を与えることができる。すなわち、帳票２には、この位置情報を持つ複数の種類のドットパターンが、紙面全体にわたって印刷されている。

ここで、図３に示した縦横６×６個のドットで構成される帳票２の紙面上のドットパターンの印刷範囲は、デジタルペン５に内蔵された後述するカメラが一回でその映像を捕捉可能な範囲である。また、帳票２には、図１に示すように、ユザーが例えば住所を記入するための記入枠として文字記入欄５７が印刷されている。この文字記入欄の枠内は、帳票２の紙面上における文字認識範囲（文字の読取範囲）５７ａとして予め定義されている。

次に、デジタルペン５について説明する。
図５に示すように、電子ペンなどとも称するデジタルペン５は、帳票２上の上記ドットパターンを光学的に読取可能なペン型の入力デバイスであって、ユーザの保持し易い形状に形成されたケーシング（筐体）３１を備える。ケーシング３１の先端部分にはペン部３２が設けられている。さらに、ケーシング３１の内部には、このペン部３２に接続されたインクカートリッジ３４が搭載されている。つまり、帳票２の紙面に対しペン部３２の先端部を押圧しつつ移動させることで、インクカートリッジ３４から染み出すインクによって筆記を行うことができる。

また、ケーシング３１内には、帳票２の紙面においてペン部３２が接触している位置とその近傍の領域を撮像するためのカメラ３３が設けられている。カメラ３３は、例えば赤外線を発光する発光ダイオードなどの照明部と、ＣＣＤセンサやＣＭＯＳセンサなどの撮像素子と、レンズなどの光学系とを備える。このカメラ３３は、上述したように、帳票２の紙面上の縦横６×６個のドット分の視野があり、例えば毎秒５０以上のスナップショットを撮影する。また、ケーシング３１の内部には、ペン部３２により帳票２への記入が行われているタイミングを検知するためにペン部３２の筆圧を検出する筆圧（加圧）センサ３５が設けられている。

さらに、ケーシング３１には、ＣＰＵ３６、メモリ３７、バッテリ３８、通信部３９などが内蔵されている。ＣＰＵ３６は、デジタルペン５内の各部の総括的な制御、カメラ３３によって取り込まれた映像データに対する処理、例えば映像データからの帳票２上の前記ドットパターンの抽出や、抽出したドットパターンを位置情報に変換する処理などを行う。

メモリ３７は、カメラ３３によって取り込まれた映像データの一時的な蓄積のための領域や、ＣＰＵ３６による映像データの処理のための作業領域などとして用いられる。また、メモリ３７には、ＣＰＵ３６による映像データの処理のために必要なプログラムや、ドットパターンを位置情報に変換するために参照される変換テーブルなどが格納されている。

バッテリ３８は、ケーシング３１内の通信部３９を含む各ハードウェアに電力を供給する。通信部３９は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信やＩｒＤＡ通信などの無線通信により、ホスト装置３との間で情報をやり取りする。ここで、このような無線通信に代えて、ＵＳＢケーブルなどを利用し有線によりホスト装置３との間で交信を行うようにしてもよい。ＵＳＢケーブルを適用した場合、ホスト装置３側からデジタルペン５側へ電力を供給できるため、上記バッテリ３８を削除することが可能となる。

このように構成されるデジタルペン５では、帳票２の紙面上においてペン部３２の先端部の接触位置とその近傍の領域をカメラ３３が撮像している状態で、ＣＰＵ３６は、筆圧センサ３５の出力の変化を監視しており、ペン部３２が帳票２上に押圧されて筆圧センサ３５の出力が所定のしきい値に達したことを判断した場合、カメラ３３によって撮像された映像データをメモリ３７に取り込む。次に、ＣＰＵ３６は、メモリ３７に記憶された映像データの中からドットパターンを抽出し、メモリ３７に格納されている変換テーブルを参照して、そのドットパターンに対応する位置情報を復号（算出）する。この位置情報の生成は、所定の時間間隔で行われる。また、位置情報は、帳票２における所定の基準座標に対するＸＹ座標の値（座標データ）と、ペン部３２がドットパターンをなぞった時刻を示す時刻データ（タイムスタンプ）とで構成される。つまり、ＣＰＵ３６は、ＸＹ座標の値を時刻データと関連付けてメモリ３７に時系列に記憶させる。

したがって、デジタルペン５は、帳票２に対しペン部３２を通じて筆記が可能であると共に、帳票２上の筆記を行った位置に存在するドットパターンを読み込んで、ペン部３２の移動軌跡（筆跡）に対応した位置情報の系列、すなわち、文字の書き順（筆記方向）や筆記速度といったストローク情報、筆圧、筆記時刻などを含む筆跡情報を生成する。このようにして得られた位置情報の系列（筆跡情報）は、通信部３９によってホスト装置３へ転送される。

次に、ホスト装置３について説明する。
図１に示すように、ホスト装置３は、例えばＰＣ（パーソナルコンピュータ）などを用いて構成されており、記入情報入力部６、筆跡イメージ生成部８、文字認識部９、辞書１０、訂正指示検出部１２、文字認識結果訂正部１６、メモリ１４、データ記憶部１５、及びこれら各部を統括的に制御する制御部７を備える。このような筆跡イメージ生成部８、文字認識部９、訂正指示検出部１２、文字認識結果訂正部１６などを含む各構成部分は、ハードディスク装置（ＨＤＤ）が例えば適用された外部記憶装置、ＣＰＵ及びメインメモリなどのハードウェア、上記外部記憶装置などにインストールされたオペレーティングシステム、並びに制御ソフトウェアなどが協働して実現されている。

具体的には、辞書１０は、外部記憶装置に格納されている。また、データ記憶部１５は、外部記憶装置に構築された例えばデータベースなどである。さらに、外部記憶装置又はメインメモリには、ＣＰＵによって実行される、手書き入力のために必要なプログラムや各種のテーブルなどが格納されている。

記入情報入力部６は、デジタルペン５の筆跡に対応した位置情報の系列である筆跡情報をこのデジタルペン５側から一括して受信しメモリ１４に記憶する。筆跡イメージ生成部８は、デジタルペン５により生成された位置情報の系列（筆跡情報）を記入情報入力部６及びメモリ１４を介して取得し、デジタルペン５の筆跡を滑らかにつなげてイメージデータ化した筆跡イメージを生成する。生成された筆跡イメージは、メモリ１４に記憶される。

辞書１０には、多数の文字イメージ（文字画像）と各文字イメージに対応付けられた文字コード（テキストデータ）とが保存されている。文字認識部９は、筆跡イメージ生成部８により生成された筆跡イメージをメモリ１４を介して入力し、辞書１０を参照しつつ文字認識を行う。つまり、文字認識部９は、辞書１０を参照して、一文字毎の筆跡イメージと辞書１０内の文字イメージとのマッチングを行い（文字認識処理を実行し）、文字認識結果としてテキストデータを出力する。また、メモリ１４には、文字認識処理を行ったときの筆跡イメージとこれにマッチングしたテキストデータとが各々対応付けられて記憶される。

データ記憶部１５には、帳票２の基準位置となる例えば当該帳票２の所定のコーナ部の位置情報（座標データ）と、ドットパターンで表わされる帳票２上の各箇所の位置情報（座標データ）と、の相対的な位置関係を示す帳票２のフォームデータが記憶されている。このフォームデータには、図１に示した文字記入欄（文字認識範囲５７ａ）５７の位置情報も含まれている。

制御部７は、メモリ１４内に作業領域を確保し各種処理を実行する。例えば、制御部７は、文字認識処理の際に筆跡イメージ生成部８、文字認識部９、データ記憶部１５を制御し、文字記入欄５７の枠内を文字認識範囲５７ａとして認識するとともに、文字記入欄５７内の一文字毎のイメージの切り出し処理などの画像処理や、切り出したイメージの文字認識処理を文字認識部９を通じて実行する。なお、文字記入欄５７の枠線自体は、文字読取り（文字認識）の処理対象からは除外される。

次に、手書き入力システム１が有する記入文字の修正機能について上述した図１などに加え、図６〜図１０に基づき説明を行う。ここで、図６は、帳票２の紙面上に筆記された取消文字指定線５１、削除文字数指定線５２及び置換文字指定線５３を示す図であり、図７は、図６中の削除文字数指定線５２及び置換文字指定線５３の筆記方向を変更した態様を示す図である。また、図８は、帳票２の紙面上に筆記された取消文字指定線５１及び削除文字数指定線５２を示す図である。さらに、図９は、図６に示した取消文字指定線５１、削除文字数指定線５２及び置換文字指定線５３の適用例を説明するための図であり、図１０は、図９中の置換文字指定線５３の適用例を拡大して示す図である。

すなわち、訂正指示検出部１２は、図１及び図６〜図１０に示すように、文字認識部９による文字認識結果から削除すべき文字を指定する取消文字指定線５１と、削除対象の文字数を指定する削除文字数指定線５２とを筆跡イメージより検出する。さらに、訂正指示検出部１２は、帳票２上にそれぞれ筆記された削除対象の文字と置き換えるべき置換文字５６を指定する置換文字指定線５３を筆跡イメージより検出する。

図６〜図９に示すように、取消文字指定線５１は、デジタルペン５を持つユーザにより、帳票２上に筆記された削除対象の文字（又は文字列）の上に重ねて筆記され、かつ文字の列なる方向に延びる単一の線分である。具体的には、図９に示すように、取消文字指定線５１は、文字記入欄５７の長手方向（図９中の帳票２の横方向）に沿って延びるように筆記される線であると共に、例えば削除対象の文字が３文字であれば、該当するその３文字の直上に筆記される。また、取消文字指定線５１の筆記時刻は、削除対象の文字の筆記時刻よりも遅れた時刻となる。

したがって、訂正指示検出部１２は、デジタルペン５側から記入情報入力部６を介して受信されかつメモリ１４内に記憶された位置情報の系列（筆跡情報）及びこの筆跡情報を基に筆跡イメージ生成部８が生成した筆跡イメージを取得し、線分と文字との筆記時刻の差、線の延びる方向、文字イメージ上への線分の重なりなどの情報を総合的に判断して、取消文字指定線５１を検出する。

また、削除文字数指定線５２は、図６〜図９に示すように、デジタルペン５を持つユーザにより、削除対象の文字数と一致する数分（一致する本数）、帳票２上に筆記され、かつ各々が取消文字指定線５１と一箇所で交差又は接触する線（例えば斜線）である。詳述すると、取消文字指定線５１との交点５２ａを有する削除文字数指定線５２は、取消文字指定線５１の筆記後に筆記され、かつ削除対象の文字が複数ある場合、図６及び図７に示すように、個々の線（各々の削除文字数指定線）の筆記方向がほぼ揃うように各々筆記される。

つまり、訂正指示検出部１２は、位置情報の系列（筆跡情報）及び筆跡イメージを取得し、取消文字指定線５１の筆記後に筆記された線であること、線の筆記方向が揃って（統一されて）いること、個々の線が取消文字指定線５１との交点５２ａを一箇所有することなどの情報を総合的に判断して、削除文字数指定線５２を検出する。ここで、図６では、図中の下方向に向かって各々筆記された削除文字数指定線５２を例示し、また、図７では、図中の上方向に向かって各々筆記された削除文字数指定線５２を例示している。さらに、図６、図７の例では、いずれも交点５２ａを３つずつ有していることから、これを検出（カウント）可能な訂正指示検出部１２は、削除対象の文字数を３文字として確定させる。

さらに、置換文字指定線５３は、図６、図７、及び図９、図１０に示すように、デジタルペン５を持つユーザにより、帳票２上で取消文字指定線５１と（例えば基端部分が一箇所で）交差又は接触するように筆記され、かつ先端の矢印５３ｂが置換文字５６と接触する矢印線である。具体的には、図６及び図７に示すように、取消文字指定線５１との交点５３ａを有する置換文字指定線５３は、取消文字指定線５１の筆記後に筆記され、その筆記方向が削除文字数指定線５２の筆記方向とほぼ逆方向になるように筆記される。なお、置換文字指定線５３と削除文字数指定線５２とは、筆記方向の相違及び矢印５３ｂがあるか否かで互いが差別化される。

また、置換文字指定線５３は、取消文字指定線５１などと協働して、置換文字５６を文字認識させるための訂正用の文字認識範囲５８を設定する。すなわち、図９に示すように、この訂正用の文字認識範囲５８における文字の列なる方向の範囲（文字の幅方向の範囲）５８ａは、取消文字指定線５１の記入開始位置（先端位置）５８ｂから、文字記入欄５７の枠内に最初に筆記された記入文字５５の実記入終了位置（図９中の…１５−２８の右端）５８ｃまでが設定される。一方、図９、図１０に示すように、訂正用の文字認識範囲５８における文字の列なる方向と直交する方向の範囲（文字の高さ方向の範囲）５８ｄは、矢印５３ｂと接触する置換文字５６中の一文字（図９、図１０中では「蔵」）の最上端位置５６ａから、当該一文字の最下端位置５６ｂまでが設定される。

ここで、上述した文字記入欄５７の枠内の文字認識範囲５７ａには、文字認識部９による文字認識の際に、文字の高さ方向の基準になる位置情報として仮想的な行中心線５７ｂが、帳票２のフォームデータとしてデータ記憶部１５に記憶されている。この行中心線５７ｂは、図１０に示すように、帳票２の基準位置となる例えば所定のコーナ部（ＸＹ座標の座標点０，０）２ａを一端に持つ辺部２ｂから平行に所定距離離間した位置に定められている。

そこで、訂正用の文字認識範囲５８においても、図１０に示すように仮想的な行中心線５６ｃが設定される。すなわち、この行中心線５６ｃは、辺部２ｂから矢印５３ｂが接触する文字「蔵」の最下端位置（帳票２のＸＹ座標位置において「蔵」の筆記位置の中で最も絶対値の大きいＹ座標値）５６ｂまでの最短の離間距離をＡ、矢印５３ｂが接触する文字（蔵）の最上端位置（帳票２のＸＹ座標位置において「蔵」の筆記位置の中で最も絶対値の小さいＹ座標値）５６ａと上記の最下端位置５６ｂとの間の、辺部２ｂに直交する方向の離間距離をＨ、行中心線５６ｃと辺部２ｂとの最短の離間距離をＳとした場合、データ記憶部１５に記憶された次の計算式（式１）を用いて求めることができる。

Ｓ＝Ａ−（Ｈ／２）…式１

つまり、訂正指示検出部１２は、位置情報の系列（筆跡情報）及び筆跡イメージを取得し、取消文字指定線５１の筆記後に筆記された矢印線であること、その矢印線が取消文字指定線５１との交点５３ａを一箇所有すること、線本体の筆記方向が削除文字数指定線５２の筆記方向とほぼ逆方向になるように筆記されていることなどを総合的に判断して、置換文字指定線５３を検出する。さらに、訂正指示検出部１２は、上述したルーチンにより、訂正用の文字認識範囲５８を帳票２上に設定するとともに、データ記憶部１５に記憶された上記計算式を参照しつつ訂正用の文字認識範囲５８内に仮想的な行中心線５６ｃを設定する。

また、図１に示した文字認識結果訂正部１６は、制御部７の制御下で、訂正指示検出部１２による検出結果に基づいて、文字認識部９による文字認識結果を訂正する。すなわち、文字認識結果訂正部１６は、取消文字指定線５１及び削除文字数指定線５２を訂正指示検出部１２が検出した場合、帳票２上で取消文字指定線５１が直上に筆記された記入文字、つまり文字認識部９による文字認識結果から削除すべき文字を確定させると共に、取消文字指定線５１と一箇所で交差又は接触する削除文字数指定線５２の本数をカウント（計数）して削除対象の文字数を確定させる。さらに、文字認識結果訂正部１６は、このようにして削除文字数と共に確定された削除対象の文字（テキストデータ）をメモリ１４内の文字認識結果から削除（破棄）する。ここで、デジタルペン５で筆記を行うユーザ側では、記入操作を行う上で体感的及び視覚的に把握（計数）し易い、削除文字数指定線５２の数で削除対象の文字数を指定できるので、より的確に文字の訂正処理を設定することができる。

また、訂正指示検出部１２が置換文字指定線５３を検出し、さらに訂正指示検出部１２が、主にこの置換文字指定線５３及び置換文字指定線５３と接触する置換文字５６を基に訂正用の文字認識範囲５８及び行中心線５６ｃを設定した場合、文字認識結果訂正部１６は、文字認識部９を制御して文字認識範囲５８内の置換文字５６の文字認識処理を行う。すなわち、文字認識結果訂正部１６は、取消文字指定線５１及び削除文字数指定線５２を通じて指定されかつメモリ１４内から削除された記入文字（テキストデータ）に置き換えて、置換文字５６の文字認識結果（テキストデータ）をメモリ１４内に記憶し、またこれを適宜出力する。したがって、このような訂正指示検出部１２及び文字認識結果訂正部１６の機能により、文字認識結果の削除と修正（文字の置換）を一枚の帳票２内で実現することができる。

ここで、図８に示すように、訂正指示検出部１２により、取消文字指定線５１及び削除文字数指定線５２が検出され、一方で置換文字指定線５３が検出されなかった場合、文字認識結果訂正部１６は、削除対象の文字（テキストデータ）をメモリ１４内の文字認識結果から削除する処理のみを実行する。

次に、このように構成された手書き入力システム１を用いて行われる手書き入力方法について図１１に示すフローチャートに基づき説明する。主に、ここでは記入文字の訂正方法について詳述する。
同図１１に示すように、まず、デジタルペン５により帳票２上に筆記が行われているとき、デジタルペン５のＣＰＵ３６は、筆記を行った位置に存在するドットパターンを読み込んで位置情報の系列（筆跡情報）を生成し、これをメモリ３７に記憶する（ステップ［Ｓ］１）。

次に、ホスト装置３の制御部７の制御下で記入情報入力部６は、デジタルペン５側から筆跡情報を受信しメモリ１４に記憶する。次いで、筆跡イメージ生成部８は、メモリ１４に記憶された筆跡情報を基に、デジタルペン５の筆跡を滑らかにつなげてイメージデータ化した筆跡イメージを生成し（Ｓ２）、これをメモリ１４に記憶する。

続いて、文字認識部９は、辞書１０を参照しつつ、上記の筆跡イメージと辞書１０内の文字イメージとのマッチング、すなわち、帳票２上の文字記入欄５７内を対象として文字認識処理を実行し（Ｓ３）、文字認識結果であるテキストデータ（文字コード）をメモリ１４に記憶する。さらに、訂正指示検出部１２は、この文字認識処理の実行後、所定の時間をおいて、筆跡イメージ生成部８で生成した筆跡イメージをメモリ１４内から取得し、例えば文字記入欄５７を含むその周辺領域を対象として取消文字指定線５１及び削除文字数指定線５２、並びに置換文字指定線５３の検出処理を実行する（Ｓ４）。

ここで、筆跡イメージの中から取消文字指定線５１及び削除文字数指定線５２が検出された場合（Ｓ５のＹＥＳ）、文字認識結果訂正部１６は、帳票２上で取消文字指定線５１が直上に筆記された削除すべき記入文字を判別すると共に、削除文字数指定線５２の本数をカウントして削除対象の文字数を確定させる。さらに、文字認識結果訂正部１６は、このようにして削除文字数と共に確定された削除対象の文字に対応するテキストデータ（文字コード）をメモリ１４内の文字認識結果から削除する（Ｓ６）。

さらに、筆跡イメージの中から置換文字指定線５３が検出された場合（Ｓ７のＹＥＳ）、文字認識結果訂正部１６は、訂正指示検出部１２により行中心線５６ｃと共に設定された訂正用の文字認識範囲５８内の置換文字５６の文字認識処理を文字認識部９を介して行う（Ｓ８）。文字認識処理後、文字認識結果訂正部１６は、上記の削除された記入文字（テキストデータ）に置き換えて、置換文字５６の文字認識結果（テキストデータ）をメモリ１４内に記憶し、またこの置換文字５６のテキストデータを適宜出力する（Ｓ９）。

既述したように、本実施形態に係る手書き入力システム１では、帳票２に対して筆記を行ったデジタルペン５の筆跡のイメージデータから取消文字指定線５１及び削除文字数指定線５２を検出し、この検出結果に基づいて文字認識結果を訂正するので、削除対象の文字数を検証しながら、文字認識結果から削除すべき文字（テキストデータ）をより正確に特定することができる。これにより、手書き入力システム１によれば、文字が筆記された帳票２のその紙面上で、的確に文字の訂正処理を確定させることができる。

また、本実施形態の手書き入力システム１では、削除対象の文字数と一致する本数ぶんだけ記入されるよう定義された削除文字数指定線５２を適用することで、筆記を行うユーザ側では、体感的及び視覚的に把握（計数）し易い記入操作で、削除対象の文字数を指定できるので、より正しく文字の訂正処理を確定させることができる。さらに、本実施形態の手書き入力システム１では、削除対象の文字と置き換えるべき置換文字５６を指定可能な置換文字指定線５３を用いて文字認識結果の削除と修正（文字の置換）を一枚の帳票２内で実現できるので、記入文字の修正の際にもう一つ別の（特殊なドットパターンが記された高価な）帳票２を用意する必要性がなく経済的効果を期待できる。

［第２の実施の形態］
次に、本発明の第２の実施形態を図１２〜図１６に基づき説明する。ここで、図１２は、この実施形態に係る手書き入力システム７１の構成を機能的に示すブロック図である。また、図１３は、第１の実施形態で説明した取消文字指定線５１、及びこの実施形態の手書き入力システム７１で使用可能なＶ（ブイ）型の削除文字数指定線８２を示す図である。さらに、図１４は、取消文字指定線５１、及び手書き入力システム７１で使用可能なΛ（ラムダ）型の削除文字数指定線８３を示す図である。また、図１５は、取消文字指定線５１、及び手書き入力システム７１で使用可能な丸型の削除文字数指定線８４を示す図であり、図１６は、図１３中のＶ型の削除文字数指定線８２及び取消文字指定線５１に置換文字指定線５３を加えた態様を示す図である。なお、これらの図１２〜図１６において、図１〜図１１に基づき説明を行った第１の実施形態の手書き入力システム１で適用されていたものと同一の構成要素については、同一の符号を付与しその説明を省略する。

この実施形態に係る手書き入力システム７１は、第１の実施形態の手書き入力システム１に適用されていたホスト装置３に代えてホスト装置７３を備えて構成される。すなわち、ホスト装置７３は、ホスト装置３が備えていた訂正指示検出部１２に代えて訂正指示検出部７２を備える。訂正指示検出部７２は、図１２〜図１６に示すように、第１の実施形態で適用されていた取消文字指定線５１及び置換文字指定線５３と、第１の実施形態の削除文字数指定線５２に代わる削除文字数指定線８２、８３、８４と、を筆跡イメージより検出する。

削除文字数指定線８２、８３、８４は、図１２〜図１６に示すように、デジタルペン５を持つユーザにより、削除対象の文字数と一致する数分（一致本数ぶんだけ）、帳票２上に筆記され、かつ各々が取消文字指定線５１と二箇所で交差する線である。個々の削除文字数指定線８２、８３、８４は、いわゆる一筆書きの連続する有端又は無端の線である。

詳述すると、図１３に示すように、取消文字指定線５１との交点８２ａを二つずつ有する有端の各削除文字数指定線８２は、取消文字指定線５１の筆記後にローマ字のほぼ“Ｖ”型の形状をなすように各々筆記される。また、取消文字指定線５１との交点８３ａを二つずつ有する有端の各削除文字数指定線８３は、図１４に示すように、取消文字指定線５１の筆記後にギリシア字のほぼ“Λ”型の形状をなすように各々筆記される。さらに、また、取消文字指定線５１との交点８４ａを二つずつ有する無端の各削除文字数指定線８４は、図１５に示すように、取消文字指定線５１の筆記後に記号のほぼ“○”型の形状をなすように各々筆記される。

ここで、これら削除文字数指定線８２、８３、８４は、第１の実施形態の図６、図７に例示した削除文字数指定線８２と異なり、個々の線の筆記方向を揃える必要がなく（したがって図１６に示す置換文字指定線５３も筆記方向に制約を受けない）、しかも図１４に示すように、個々の線の重なりを許容する。

すなわち、訂正指示検出部７２は、位置情報の系列（筆跡情報）及び筆跡イメージを取得し、取消文字指定線５１の筆記後に筆記された各々が一筆書きの連続する線であること、個々の線が取消文字指定線５１との交点８２ａ、８３ａ、８４ａを二箇所有することを判別して、削除文字数指定線８２、８３、８４を検出する。具体的には、筆跡情報を取得する訂正指示検出部７２は、個々の削除文字数指定線８２、８３、８４の筆記時刻を参照できるため、これら線どうしが図１４に示すように互いに交差して記入されている場合でも各々を一本の線として判別することができる。

さらに詳述すると、訂正指示検出部７２は、削除文字数指定線８２、８３、８４の交点８２ａ、８３ａ、８４ａの数をカウントして、２で除算することで、削除文字数指定線８２、８３、８４の本数、すなわち削除文字数を確定させる。図１３〜図１６に示す例では、いずれも交点８２ａ、８３ａ、８４ａを各々６つずつ有していることから、これを検出（カウント）可能な訂正指示検出部７２は、削除対象の文字数を３（６／２）文字として確定させる。ここで、図１６に示すように、訂正指示検出部７２により、取消文字指定線５１及び削除文字数指定線８２、８３、８４に加え、置換文字指定線５３が検出された場合には、第１の実施形態の図９、図１０に例示したように、文字認識結果訂正部１６は、文字認識結果から、記入文字５５中の削除文字と置換文字５６とを置き換える処理を実行する。

このように本実施形態に係る手書き入力システム７１によれば、第１の実施形態の手書き入力システム１で得られる効果に加え、削除文字数指定線８２、８３、８４の線どうしの重なりや削除文字数指定線８２、８３、８４及び置換文字指定線５３の筆記方向に制約を受けることなくこれらの線を筆記できるので、記入文字の訂正を指定するユーザ側の負担を軽減することができる。

以上、本発明を各実施の形態により具体的に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。すなわち、上述した実施形態では、文字認識部９が文字認識処理を開始させるタイミングについては特に例示しなかったが、例えば、ユーザ側からのホスト装置３に対するキー操作などにより文字認識処理を開始させるようにしてもよいし、また例えば所定の時間間隔が経過する度に、文字認識部９が自動的に文字認識処理を開始するように手書き入力システムを構成してもよい。

本発明の第１の実施形態に係る手書き入力システムの構成を機能的に示すブロック図。 図１の手書き入力システムで用いる帳票に記されたドットによる２ビットの情報の表現方法を説明するための図。 図２の２ビットの情報を示すドットの組み合わせで構成されるドットパターンの一例を示す図。 図３のドットパターンに対応するデータの配列を示す図。 図１の手書き入力システムを構成するデジタルペンの構造を示す図。 図１中の帳票の紙面上に筆記された取消文字指定線、削除文字数指定線及び置換文字指定線を示す図。 図６中の削除文字数指定線及び置換文字指定線の筆記方向を変更した態様を示す図。 図１中の帳票の紙面上に筆記された取消文字指定線及び削除文字数指定線を示す図。 図６に示した取消文字指定線、削除文字数指定線及び置換文字指定線の適用例を説明するための図。 図９中の置換文字指定線の適用例を拡大して示す図。 図１の手書き入力システムを用いて行われる手書き入力方法の手順を示すフローチャート。 本発明の第２の実施形態に係る手書き入力システムの構成を機能的に示すブロック図。 図１２の手書き入力システムで使用可能なＶ（ブイ）型の削除文字数指定線及び取消文字指定線を示す図。 図１２の手書き入力システムで使用可能なΛ（ラムダ）型の削除文字数指定線及び取消文字指定線を示す図。 図１２の手書き入力システムで使用可能な丸型の削除文字数指定線及び取消文字指定線を示す図。 図１３中のＶ型の削除文字数指定線及び取消文字指定線に置換文字指定線を加えた態様を示す図。

符号の説明

１，７１…手書き入力システム、２…帳票、３，７３…ホスト装置、５…デジタルペン、６…記入情報入力部、７…制御部、８…筆跡イメージ生成部、９…文字認識部、１０…辞書、１２，７２…訂正指示検出部、１４…メモリ、１５…データ記憶部、１６…文字認識結果訂正部、５１…取消文字指定線、５２，８２，８３，８４…削除文字数指定線、５２ａ，５３ａ，８２ａ，８３ａ，８４ａ…交点、５３…置換文字指定線、５３ｂ…矢印、５５…記入文字、５６…置換文字、５７…文字記入欄、５７ａ，５８…文字認識範囲、ｄ１〜ｄ３６…ドット、ｋ１〜ｋ３６…基準位置。

Claims (2)

1. 紙面上の位置情報を示す複数のマークが予め記された記入用紙に対し筆記が可能であると共に、筆記を行った位置に存在する前記マークを読み込んで前記位置情報の系列を生成するペン装置と、
   前記ペン装置により生成された前記位置情報の系列を取得して、前記ペン装置の筆跡をイメージデータ化した筆跡イメージを生成する筆跡イメージ生成部と、
   前記筆跡イメージ生成部により生成された前記筆跡イメージに基づいて文字認識を行う文字認識部と、
   前記筆跡イメージから、前記記入用紙上に筆記された文字のうち削除対象の文字の上に重ねて筆記され、かつ文字の列なる方向に延びる単一の線分である取消文字指定線と削除対象の文字の数と一致する数の前記取消文字指定線と交差するように筆記された削除文字数指定線とを検出する訂正指示検出部と、
   前記訂正指示検出部による検出結果に基づいて、前記文字認識部による文字認識結果を訂正する文字認識結果訂正部と、
   を具備することを特徴とする手書き入力システム。
2. 前記訂正指示検出部は、前記筆跡イメージから、前記記入用紙に筆記された前記削除対象の文字と置き換えるべき文字を置換文字として指定するための前記取消文字指定線と交差するとともに先端に設けられた矢印が前記置換文字と接触する置換文字指定線を検出することを特徴とする請求項１記載の手書き入力システム。

Images