JPH0652364A - オンライン手書き文字認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 挿入モードへの切替および挿入位置指定のた
めのボタン操作等を排除して、筆記者の思考を妨げるこ
と無しに文字列の挿入を行うことを目的とする。 【構成】 入力した文字または文字列に対して設定した
外枠のＸ座標の範囲内に同一行の他の文字または文字列
が存在するかどうかを判断し、存在しない場合は通常の
文字入力モードを、存在する場合は文字挿入モードをそ
れぞれ判定するモード判定部３と、文字認識部５で得た
文字コードデータの系列を複数の文節に区切り、文節間
のそれぞれのＸ座標を求める文節区切り部７と、文節区
切り部７で求めた文節間のＸ座標を記憶する文節間Ｘ座
標記憶部８と、文字挿入モード時、挿入する文字または
文字列の先頭文字の中心Ｘ座標と文節間Ｘ座標記憶部８
に記憶された文節間のＸ座標とを比較して、最も近い文
節間のＸ座標によって区切られた文節間に文字列を挿入
する文字列挿入処理部９とを有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、手書き入力された文
字を認識して文書作成等の作業支援を行うオンライン手
書き文字認識装置に関する。

【０００２】

【従来の技術】近年、タブレット等の座標入力装置を介
して手書き入力された文字を認識し、認識結果を文書作
成等に供するオンライン手書き文字認識装置が注目され
ている。このオンライン手書き文字認識装置では、既に
入力済みの文に後から新たな文字列を挿入する場合に以
下の手続きが必要である。

【０００３】（１）ボタン操作等により装置の機能を挿
入モードに設定する。 （２）文字列の挿入位置をボタン操作等により指定す
る。 （３）挿入する文字列を座標入力装置上で手書き入力す
る。

【０００４】このように、文字列の挿入を行うための手
続きにおいては、本来の筆記作業とは直接関係の無い
（１）と（２）の各ボタン操作を必要とし、この余計な
操作が筆記者にとっては大きな負担となって筆記者の思
考の妨げとなると言う問題がある。

【０００５】

【発明が解決しようとする課題】本発明はこのような課
題を解決するためのもので、文字列の挿入操作において
挿入モードへの切替および挿入位置指定のためのボタン
操作等を排除して、筆記者の思考を妨げること無しに文
字あるいは文字列の挿入を行うことのできるオンライン
手書き文字認識装置の提供を目的としている。

【０００６】

【課題を解決するための手段】本発明の手書き文字認識
装置は上記した目的を達成するために、表示装置の画面
上にペン状指示装置により指示された座標を検出するた
めの座標入力装置を重ねて構成され、前記座標入力装置
に対して手書き入力された文字を認識して手書き位置に
対応する前記画面上の位置に認識結果である文字を表示
するオンライン手書き文字認識装置において、認識結果
として得た文字列を複数の文節に区切る文節区切り手段
と、この文節区切り手段によって区切られた文節間の位
置を記憶する記憶手段と、手書き入力された文字または
文字列と認識結果として既に表示されている文字列との
位置関係から、前記手書き入力された文字または文字列
が前記認識結果として既に表示されている文字列に対す
る挿入文字または挿入文字列であるか否かを判定する手
段と、前記手書き入力された文字または文字列が前記挿
入文字または挿入文字列であることが判定された場合、
この挿入文字または挿入文字列において定められた特定
の位置と前記記憶手段に記憶された文節間の位置とを比
較して前記特定位置と最も近い文節間の位置を検出し、
この位置を挟んで区切られた文節間に前記挿入文字また
は挿入文字列を挿入する手段とを具備している。

【０００７】

【作用】本発明では、文節区切り手段にて、認識結果と
して得た文字列を複数の文節に区切り、区切った文節間
の位置を記憶手段にて記憶する。そして、手書き入力さ
れた文字または文字列と認識結果として既に表示されて
いる文字列との位置関係から、手書き入力された文字ま
たは文字列が認識結果として既に表示されている文字列
に対する挿入文字または挿入文字列であるか否かを判定
する。この結果、挿入文字または挿入文字列であること
が判断された場合は、この挿入文字または挿入文字列に
おいて定められた例えば先頭文字の中心Ｘ座標等の特定
位置と記憶手段に記憶された文節間の位置とを比較し、
挿入文字または挿入文字列の特定位置と最も近い文節間
の位置を検出し、この位置を挟んで区切られた文節間に
挿入文字または挿入文字列を挿入する。

【０００８】したがって、本発明により、文字列の挿入
操作において、これまで必要とされていた挿入モードへ
の切替および挿入位置指定のためのボタン操作等を排除
でき、筆記者の思考を妨げること無しに文字あるいは文
字列の挿入を行うことができるようになる。

【０００９】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明に係る一実施例のオンライン手書き
文字認識装置の構成を説明するためのブロック図であ
る。

【００１０】同図において、１は表示一体型座標入力装
置である。この表示一体型座標入力装置１は、例えば液
晶表示装置等の表示装置１ａの画面上に透明タブレット
等の座標入力装置１ｂを重ねて構成されている。この表
示一体型座標入力装置１への入力は、ペン状指示装置で
あるスタイラスペン１ｃのペン先を座標入力装置１ｂの
入力面に当接させることによって行われる。

【００１１】２は、座標入力装置１ｂより送られてきた
座標値の系列を手書き文字のイメージデータとして入力
する文字入力部である。この文字入力部２は入力した手
書き文字のイメージデータを認識対象として後段のデー
タ処理系に送ると共に表示一体型座標入力装置１の表示
装置１ａに送って手書き文字の筆跡をそのまま表示装置
１ａの画面上に表示する。

【００１２】３は、手書き入力された文字または文字列
と既に表示されている文字列との位置関係に基づき、通
常の文字入力モードと文字挿入モードとの間でモード判
定を行うモード判定部である。すなわち、このモード判
定部３は文字入力部２を通して入力した文字または文字
列に対して基本文字サイズを基準に外枠を設定し、当該
外枠のＸ座標の範囲内に同一行の他の文字または文字列
が存在するかどうかを判断する。そして存在しない場合
は通常の文字入力モードを、存在する場合は文字挿入モ
ードをそれぞれ判定する。

【００１３】４は、モード判定部３を通して入力した文
字列のイメージデータから１文字ずつイメージデータの
切り出しを行う文字切り出し部である。

【００１４】５は、文字切り出し部４より切り出された
１文字分のイメージデータと基準文字パターン記憶部６
に予め記憶された各基準文字パターンとを照合して文字
認識を行う文字認識部である。

【００１５】７は、文字認識部５で得た文字コードデー
タの系列を複数の文節に区切り、文節間のそれぞれのＸ
座標を求める文節区切り部である。文節間のＸ座標はモ
ード判定部３で設定した文字列の外枠のＸ座標を基準に
して求められる。

【００１６】８は、文節区切り部７で求めた文節間のＸ
座標を行ごとに記憶する文節間Ｘ座標記憶部である。

【００１７】９は、文字挿入モード時、挿入文字または
挿入文字列の先頭文字の中心Ｘ座標と文節間Ｘ座標記憶
部８に記憶された文節間のＸ座標とを比較して、最も近
似する文節間のＸ座標によって区切られた文節間に挿入
文字または挿入文字列を挿入する文字列挿入処理部であ
る。

【００１８】そして１０は認識結果である文字コードデ
ータに基づき表示装置１ａの画面に文字を表示する制御
を行う表示制御部である。

【００１９】次に本実施例のオンライン手書き文字認識
装置の動作を説明する。

【００２０】図２は文字入力前の表示装置１ａの初期画
面を示している。このように初期画面Ｗには始めから複
数の線Ｌ１、Ｌ２、Ｌ３が文字を筆記する行のアンダー
ラインとして表示されている。

【００２１】まずユーザはこの初期画面Ｗに対して、例
えば図３に示すように、スタイラスペン１ｃを用いて文
字列を手書きする。このときスタイラスペン１ｃの指示
する各座標が座標入力装置１ｂによって検出され、これ
により得た座標値の系列が文字入力部２を通じて表示一
体型座標入力装置１の表示装置１ａに送られる。これに
より表示装置１ａの画面に手書きした文字列がそのまま
筆跡として表示される。 また同時に、座標値の系列は
文字入力部２を通してモード判定部３に入力される。モ
ード判定部３は入手した座標値の系列を基に次のような
処理を行う。図４はこのモード判定部３の処理手順を示
すフローチャートである。

【００２２】モード判定部３は筆記行カウンタを有して
おり、入力した座標値の系列から文字列が筆記された行
を検出してこの行の番号を現在行番号として筆記行カウ
ンタにセットする（ステップ４０１）。なお、この時点
でモードフラグは通常の文字入力モードを示す“０”に
セットされている。次にモード判定部３は入力した座標
値の系列から入力文字列の外枠を設定する（ステップ４
０２）。ここで文字列の外枠は予め定義された基準文字
サイズを単位として設定される。続いてモード判定部３
は設定した外枠のＸ座標の最小値Ｘmax と最大値Ｘmin
をそれぞれ求める（ステップ４０３）。そして現在、筆
記行カウンタにセットされている行番号が既に入力を終
えた文字列に対して記憶済みの行番号と一致するかどう
かを調べる（ステップ４０４）。この結果、一致しない
場合は今回の入力文字列の外枠のＸ座標の最小値Ｘmax
と最大値Ｘmin 並びに現在筆記行カウンタにセットされ
ている行番号を記憶する（ステップ４０６）。もし一致
する場合は今回の入力文字列の外枠のＸ座標と、同じ行
に既に存在している文字列の外枠のＸ座標との間に重な
りがあるかどうかを調べる（ステップ４０５）。この結
果、重なりが無い場合、今回の入力文字列の外枠のＸ座
標の最小値Ｘmax と最大値Ｘmin 並びに現在筆記行カウ
ンタにセットされている行番号を記憶する（ステップ４
０６）。またもし重なりがある場合はモードフラグを
“１”にセットする（ステップ４０７）。 なお、今回
の入力文字列は初期画面のある行に対して最初に入力さ
れた文字列であるため、ここではステップ４０６が実行
されたものとして以降の動作を説明する。

【００２３】次に文字切り出し部４はモード判定部３を
通して入力した座標値の系列から、１文字ずつイメージ
データを切り出して文字認識部５に送る。文字認識部５
は入力した１文字分のイメージデータと基準文字パター
ン記憶部６に記憶された基準文字パターンとを照合して
文字認識を行い、認識結果である文字コードデータの系
列を文節区切り部７に送る。

【００２４】なお、１行に手書きされた文字列を分離し
認識を行う手法としては、例えば“候補文字ラティス法
による枠無し筆記文字列のオンライン文字認識（電子通
信学会論文誌史 Vol.J68-D No.4,p765/772,1985)”等を
用いる。

【００２５】文字コードデータの系列を入手した文節区
切り部７は、例えば単語情報を記憶した単語辞書（図示
せず）を参照するなどして、入手した文字列を複数の文
節に区切り、かつモード判定部３にて設定した外枠のＸ
座標から最小のＸ座標と文節間の各区切り位置のＸ座標
を求め、これらを文節間Ｘ座標記憶部８に記憶する。例
えば、図３における“現在入力をしています。”と言う
文字列を例にとると、図５に示すように、この文字列Ｃ
は“現在”“入力を”“しています。”と言う３つの文
節に区切られ、Ｐ１、Ｐ２、Ｐ３のＸ座標が文節間Ｘ座
標記憶部８に記憶される。なお、この文節間Ｘ座標記憶
部８において各Ｘ座標は行単位で検索できるよう行ごと
に別けて記憶される。

【００２６】この後、文字認識部５で得た文字コードデ
ータの系列は文字列挿入処理部９を介して表示制御部１
０に送られ、これにより表示装置１ａの画面上に文字コ
ードデータに対応した文字パターンが筆跡と入れ代わっ
て表示される。なお、このとき文字列挿入処理部９はモ
ードフラグが“０”つまり通常の文字入力モードが現在
設定されているため何も実行しない。

【００２７】ここまでが通常の文字入力モード時の動作
である。次に文字列を挿入する場合の動作を説明する。

【００２８】図６は挿入文字列を手書きした様子を示し
ている。いまユーザは“現在入力をしています。”と言
う文字列Ｃの“現在”と“入力を”の各文節の間に“手
書き”なる文字列Ｃ１を挿入しようとしてる。このとき
ユーザは、挿入文字列Ｃ１の先頭文字の位置が挿入先の
文節間の区切り位置（本例ではＰ１）とＸ座標において
重なるよう挿入文字列Ｃ１の手書き入力を行う。

【００２９】こうして手書き入力された挿入文字列をな
す座標値の系列は文字入力部２を通じて表示一体型座標
入力装置１の表示装置１ａに送られる。これにより表示
装置１ａの画面に手書きした挿入文字列がそのまま筆跡
として表示される。

【００３０】また同時に、このときの座標値の系列はモ
ード判定部３に入力される。モード判定部３は、図４に
示したように、入力した座標値の系列から文字列が筆記
された行を検出してこの行の番号を現在行番号として筆
記行カウンタにセットする（ステップ４０１）。次にモ
ード判定部３はこの挿入文字列の外枠を設定し（ステッ
プ４０２）、設定した外枠のＸ座標の最小値Ｘmax と最
大値Ｘmin をそれぞれ求める（ステップ４０３）。そし
て現在、筆記行カウンタにセットされている行番号が既
に入力を終えた文字列に対して記憶済みの行番号と一致
するかどうかを調べる（ステップ４０４）。この場合、
一致することが判断されるため、続いてモード判定部３
は挿入文字列の外枠のＸ座標と同じ行に既に存在してい
る文字列の外枠のＸ座標との間に重なりがあるかどうか
を調べる（ステップ４０５）。この結果、重なりがある
ことが判断され、モードフラグは“１”にセットされる
（ステップ４０７）。

【００３１】この後、文字切り出し部４はモード判定部
３を通して入力した座標値の系列から、１文字ずつイメ
ージデータを切り出してこれらを文字認識部５に送る。
文字認識部５は入力した文字イメージデータに対して文
字認識を行い、認識結果である文字コードデータの系列
を文字区切り部７を介して文字列挿入処理部９に送る。
なお、このとき文字区切り部７はモードフラグが“１”
であることを知ることで何も実行しない。

【００３２】図７は文字列挿入処理部９の処理の手順を
示すフローチャートである。まず文字列挿入処理部９は
モードフラグの状態を調べる（ステップ７０１）。モー
ドフラグが“１”にセットされていることを判断する
と、図６に示した挿入文字列Ｃ１の先頭文字Ｃ２の中心
Ｘ座標（Ｘins)を求める（ステップ７０２）。続いて現
在の筆記行カウンタが示す行番号を調べ、既に入力済み
の文字列の中で行番号が等しい文字列を挿入対象の文字
列として選択する（ステップ７０３）。次に文字列挿入
処理部９は、選択した既入力文字列中の文節区切り位置
Ｐ０、Ｐ１、Ｐ２の各Ｘ座標を文節間Ｘ座標記憶部８よ
りそれぞれ読み出す（ステップ７０４）。この後、読み
出した各文節区切り位置Ｐ０、Ｐ１、Ｐ２のＸ座標と、
挿入文字列の先頭文字の中心Ｘ座標とをそれぞれ比較
し、当該中心Ｘ座標との距離が最小の文節区切り位置
（本例ではＰ１）のＸ座標を判断する（ステップ７０
５）。そして、図８に示すように、該当する文節区切り
位置で区切られた文節間に挿入文字列“手書き”Ｃ１を
挿入する（ステップ７０６）。この後、モードフラグを
“０”にリセットして通常の文字入力モードに切り替え
る（ステップ７０７）。

【００３３】なお、ここでは文字サイズがすべて共通の
場合を説明したが、図９に示すように、１行に文字サイ
ズが異なる文字が存在しても挿入処理を行うことは可能
である。同図は“現在”の文節のみが文字基本サイズに
対して横倍角とされた例を示している。この場合、モー
ド判定部３と文字列挿入処理部９は該当する文字に対し
て付加された横倍角指定の属性情報を基に“現在”の２
つの文字がＸ座標軸方向に２倍の長さを持つことを判断
した上でそれぞれの処理を行う。その他、一部の文字が
半角やその他のサイズとされている場合も同様である。

【００３４】かくしてこの実施例のオンライン手書き文
字認識装置によれば、挿入文字または挿入文字列の先頭
文字が既入力文字列中の挿入先の文節間の区切り位置と
Ｘ座標において位置的に重なるよう挿入文字または挿入
文字列を手書き入力するだけで挿入処理を行うことがで
きる。したがって、これまで挿入モードへの切り換えや
挿入位置指定を行う場合に必要とされていたボタン操作
等の筆記作業とは直接関係の無い操作を排除でき、筆記
者の思考を妨げること無しに文字あるいは文字列の挿入
を行うことが可能になる。

【００３５】なお、本発明の他の実施例として、文字列
を挿入した後の文字列を再び文節区切り部７にて複数の
文節に区切って各文節間のＸ座標を求め、これらのＸ座
標で文節間Ｘ座標記憶部８の該当する行のＸ座標を更新
するよう構成してもよい。このようにすることで、一つ
の行の文字列に対して何回も文字列の挿入を行えるよう
になる。

【００３６】また本実施例では、挿入文字列の先頭文字
の中心Ｘ座標と文節間のＸ座標とを比較するようにした
が、例えば先頭文字の最小のＸ座標を比較の対象とする
等、文節間のＸ座標に対して挿入文字列のどの位置を比
較対象とするかはある程度自由に選択できる。

【００３７】さらに本実施例では、同じ行内で既入力文
字列の上方に挿入文字列を筆記した場合にこれが挿入文
字列であるか否かを判定するようにしたが、既入力文字
列の下方に挿入文字列が筆記された場合にこの判定を行
うよう構成してもよい。

【００３８】

【発明の効果】以上説明したように本発明のオンライン
手書き文字認識装置によれば、手書き入力された文字ま
たは文字列が、認識結果として既に表示されている文字
列に対する挿入文字または挿入文字列であるか否かを自
動的に判定することができる。また挿入文字または挿入
文字列であることが判定された場合、この挿入文字また
は挿入文字列において定められた例えば先頭文字の中心
Ｘ座標等の特定位置と記憶手段に記憶された文節間の位
置とを比較し、挿入文字または挿入文字列の特定位置と
最も近い文節間の位置を検出し、この位置を挟んで区切
られた文節間に挿入文字または挿入文字列を自動的に挿
入することができる。したがって、本発明により、文字
列の挿入操作においてこれまで必要とされていた挿入モ
ードへの切替および挿入位置指定のためのボタン操作等
を排除でき、筆記者の思考を妨げること無しに文字ある
いは文字列の挿入を行うことができるようになる。

【図面の簡単な説明】

【図１】本発明に係る一実施例のオンライン手書き文字
認識装置の構成を説明するためのブロック図である。

【図２】文字入力前の表示装置の初期画面を示す図であ
る。

【図３】初期画面に対して文字列を手書き入力した例を
示す図である。

【図４】図１におけるモード判定部の処理手順を示すフ
ローチャートである。

【図５】文字列を複数の文節に区切った様子を示す図で
ある。

【図６】既存の文字列に対して挿入文字列を手書き入力
した様子を示す図である。

【図７】図１における文字列挿入処理部の処理の手順を
示すフローチャートである。

【図８】文字列の挿入処理を終えた様子を示す図であ
る。

【図９】本実施例における他の動作例を説明するための
図である。

【符号の説明】

１…表示一体型座標入力装置、１ａ…表示装置、１ｂ…
座標入力装置、１ｃ…スタイラスペン、２…文字入力
部、３…モード判定部、４…文字切り出し部、５…文字
認識部、６…基準文字パターン記憶部、７…文節区切り
部、８…文節間Ｘ座標記憶部、９…文字列挿入処理部、
１０…表示制御部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 表示装置の画面上にペン状指示装置によ
   り指示された座標を検出するための座標入力装置を重ね
   て構成され、前記座標入力装置に対して手書き入力され
   た文字を認識して手書き位置に対応する前記画面上の位
   置に認識結果である文字を表示するオンライン手書き文
   字認識装置において、 認識結果として得た文字列を複数の文節に区切る文節区
   切り手段と、 この文節区切り手段によって区切られた文節間の位置を
   記憶する記憶手段と、 手書き入力された文字または文字列と認識結果として既
   に表示されている文字列との位置関係から、前記手書き
   入力された文字または文字列が前記認識結果として既に
   表示されている文字列に対する挿入文字または挿入文字
   列であるか否かを判定する手段と、 前記手書き入力された文字または文字列が前記挿入文字
   または挿入文字列であることが判定された場合、この挿
   入文字または挿入文字列において定められた特定の位置
   と前記記憶手段に記憶された文節間の位置とを比較して
   前記特定位置と最も近い文節間の位置を検出し、この位
   置を挟んで区切られた文節間に前記挿入文字または挿入
   文字列を挿入する手段とを具備することを特徴とするオ
   ンライン手書き文字認識装置。