JP3839877B2 - 手書きパターン処理装置及び手書きパターン処理方法 - Google Patents
手書きパターン処理装置及び手書きパターン処理方法 Download PDFInfo
- Publication number
- JP3839877B2 JP3839877B2 JP19410196A JP19410196A JP3839877B2 JP 3839877 B2 JP3839877 B2 JP 3839877B2 JP 19410196 A JP19410196 A JP 19410196A JP 19410196 A JP19410196 A JP 19410196A JP 3839877 B2 JP3839877 B2 JP 3839877B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- gesture
- handwritten pattern
- character string
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Character Discrimination (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ペンで書かれる手書き文字の筆跡等の手書きパターンを処理する手書きパターン処理装置及び手書きパターン処理方法に関するものである。
【０００２】
【従来の技術】
従来の手書き文字認識装置は、手書き文字の筆跡ストロークパターンを入力する手段と、予め登録されている手書き文字パターンとそのパターンに応じた文字コードが記憶されている辞書と、入力されたパターンと辞書パターンを照合する手段とで構成され、通常１個のパターンに対して１個の文字コードが対応付けられている。
【０００３】
また、前記手段に加え、ユーザがある手書きパターンと１個または複数の文字コードとをユーザ登録辞書に登録する手段を設けている手書き文字認識装置も存在した。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の手書き文字認識装置では、「１０００」を入力する場合、１の手書きパターン、０の手書きパターン、０の手書きパターン、及び０の手書きパターンを入力しなければならない。数値を入力する場合、連続して同数字を入力することが往々にして存在するが、上記従来例では一々同じ数字を手書きで入力しなければならない。
【０００５】
さらに、認識結果が誤認識の場合が存在し、同じに書いたつもりでも微妙に手書きパターンが異なると、「１０００」が「１０Ｏ０」などになり、修正の手間がかかる場合がある。
【０００６】
また、ユーザパターン登録手段を設けた手書き文字認識装置の場合は、「００」に対して手書きパターンＡ、「０００」に対して手書きパターンＢを登録することができる。しかし、色々な場面を想定すると多くの手書きパターンを登録する必要があり、多くの手書きパターンを登録して場合に応じて使い分けるのは甚だ面倒であり、しかも多くのパターンを登録すると誤認識の問題も生ずるため、実使用時にはあまり現実的ではなかった。
【０００７】
本発明は上記従来の問題点に鑑み、同一文字の連続複数入力を簡単に行うことができる手書きパターン処理装置及び手書きパターン処理方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明の手書きパターン処理装置は、手書きパターンを入力する入力手段と、前記入力された手書きパターンが、所定のジェスチャーパターンであり、かつ当該手書きパターンの下に文字列が存在するかを判定するジェスチャー判定手段と、前記ジェスチャー判定手段により前記入力された手書きパターンが前記所定のジェスチャーパターンであり、かつ当該手書きパターンの下に文字列が存在すると判定された場合、当該手書きパターンの下に存在する文字列を繰り返し出力する文字列として特定する特定手段と、前記特定手段により特定された文字列の長さと、前記手書きパターンの長さとに基づいて、繰り返し出力する回数を決定する決定手段と、
前記決定手段で決定された回数だけ、前記特定手段で特定された文字列を繰り返し出力する出力手段とを備えることを特徴とする。
本発明の手書きパターン処理方法は、入力された手書きパターンが、所定のジェスチャーパターンであり、かつ当該手書きパターンの下に文字列が存在するかを判定するジェスチャー判定工程と、前記ジェスチャー判定工程により前記入力された手書きパターンが前記所定のジェスチャーパターンであり、かつ当該手書きパターンの下に文字列が存在すると判定された場合、当該手書きパターンの下に存在する文字列を繰り返し出力する文字列として特定する特定工程と、前記特定工程により特定された文字列の長さと、前記手書きパターンの長さとに基づいて、繰り返し出力する回数を決定する決定工程と、前記決定工程で決定された回数だけ、前記特定手段で特定された文字列を繰り返し出力する出力工程とを備えることを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００１７】
図１は、本発明の第１実施形態に係る手書きパターン処理装置の主要機能部分の構成を示す機能ブロック図である。
【００１８】
図中１は、ペンで書かれる手書き文字の筆跡を入力するための位置座標検出盤等から構成される手書き文字入力手段である。２は、手書き文字入力手段１から送られてくる１筆分のストロークの長さから、ジェスチャーであるか、文字の一部であるかを切り分ける繰り返しジェスチャー・文字識別手段である。
【００１９】
３は、予め作成してある複数の文字の書き方の標準的特徴が記憶されている認識用辞書１０６を用い、特公昭６２一３９４６０号公報等に記載されている特徴点方式のアルゴリズムにより、手書き文字入力手段１によって入力された筆跡との照合を行い、認識結果として文字コード列を出力する手書き文字認識手段である。４は、ジェスチャー・文字識別手段２から送られてくるジェスチャーストロークの長さから繰り返し出力する文字の個数を決定するジェスチャー認識手段である。
【００２０】
５は、手書き文字認識手段３の認識結果を１文字分記憶しておく認識結果記憶手段である。６は、ジェスチャー認識手段４から指示される個数だけ、認識結果記憶手段５に記憶されている文字コードに対応した文字の出力指示を認識結果表示手段７へ送る記憶文字の繰り返し出力処理手段である。７は、液晶等の表示装置からなる認識結果表示手段である。また、１０６は手書き文字認識手段３が用いる認識用辞書である。
【００２１】
図２は、本実施形態の手書き文字認識装置の具体的な構成を示す図である。
【００２２】
同図の１００は、本装置全体の制御を司るＣＰＵである。１０１は、ＣＰＵ１００の動作処理手順（後述する図５のフローチャートで示す動作処理手順を含む）や文字フォントパターンを記憶したＲＯＭ及びワークエリアとして使用されるＲＡＭから構成されるメモリ部である。このメモリ部１０１内のＲＡＭには、入力する文字枠の個数分のバッファエリアが確保されており、入力したストローク情報や、認識結果の文字コードなどがそれぞれのバッファエリアに記憶される。
【００２３】
また、説明が前後するが、実施形態における手書き文字認識装置は、単に文字列を認識し変換するだけではなく、入力結果の文字に基づいてローン計算や文書の編集等のアプリケーションプログラムを実行するものである。但し、かかる処理に本発明の特徴があるものではないので、その説明は省略する。
【００２４】
１０２は液晶等による表示部であって、１０３はＣＰＵ１００の制御の下で表示部１０２の表示制御を行う表示制御部である。この表示制御部１０３には、表示するための文字パターンや、入力したストロークの軌跡等を描画するためのメモリ（ＶＲＡＭ）を内蔵している。１０４は表示部１０２の前面に位置する透明な座標検出盤であって、１０５はペン１１による指示位置及びペンのアップ／ダウン情報を検出する座標検出部である。
【００２５】
１０６は文字認識に使用される認識用辞書であり、図１の１０６と同じものである。また、１０７はインターフェース（Ｉ／Ｆ）であって、例えばプリンタや外部記憶装置を接続するのに用いられる。１０９は文字コード等を入力する一般的なキーボードである。上記各構成ユニットはバス１０８を介して接続される。図３と図４は、本手書き文字認識装置の操作画面例を示す図である。図３が繰り返しジェスチャーの入力中の画面であり、図４がジェスチャー認識処理が行なわれた結果の画面である。なお、ローン計算の数値入力場面を操作例としたが、ローン計算の処理は本発明の特徴ではないので、その説明は省略する。
【００２６】
図３中の１０２は出力画面全体であり、図３の３１、３２、３３、３４、３５は数値入力領域で、手書きの数字が入力された場合は数字が認識表示され、ライン形ストロークのジェスチャーＳＴ１が入力された場合は、ジェスチャー処理が行なわれる。
【００２７】
図５は、本実施形態の手書き文字認識装置のジェスチャー・文字識別処理、ジェスチャー認識処理、及び記憶文字の繰り返し出力処理の手順を表わしたフローチャートであり、このフローチャートを実現するプログラムはメモリ部１０１内に格納されている。以下、主に図３及び図４の操作画面と図５のフローチャートによって、文字繰り返しジェスチャーの処理の説明を行なう。
【００２８】
図５のステップＳ１００は、ワークの初期化で、図５のフローチャートで表わされるジェスチャー認識処理で使用される軌跡データのバッファ等のワーク記憶領域の初期化を行なう。図５のフローチャートの処理を開始するタイミングは、ペンアップ時間がある一定時間以上経過したり、処理開始指示領域をペンで指示された時とする。
【００２９】
ステップＳ１０１において、１ストローク分の位置座標データの読み込み処理を行なう。ペン１１で座標検出盤１０４上に書かれた手書きの軌跡が座標検出部１０５からＸＹの位置座標データとして送られてくるので、その１ストローク分の位置座標データをワーク記憶領域に読み込む。ステップＳ１０２において、前記読み込まれたストロークがジェスチャーストロークか文字のストロークの一部であるかの判断処理が行われる。本実施形態においては、ライン形のストロークの横幅が文字の横幅の２文字分以上あるものを文字繰り返しジェスチャーとする。
【００３０】
（読み込まれたストロークの最大Ｘ座標−最小Ｘ座標で求めた横幅）／文字の横幅＝の答が２以上である時は、文字繰り返しジェスチャーであるのでステップＳ１０３に進み、答２未満である時は文字のストロークの１部であるので、通常の文字認識手段の処理にストロークのデータが渡される。
【００３１】
ステップＳ１０２の処理は、入力された全てのストロークに対して行なわれ、１文字の入力終了や１ジェスチャーの入力終了時に開始され、全てのストロークの処理が終わると処理が終了する。その後、文字繰り返しジェスチャーであれば、ステップＳ１０３からの処理が行なわれ、手書き文字であれば、従来からある、特公昭６２一３９４６０号公報等に記載されている特徴点方式のアルゴリズムにより、入力された筆跡との照合を行い、認識結果として文字コード列を出力する。操作画面３の例であると、入力領域３１に書かれているライン形のストロークの横幅が４文字以上あるので、文字繰り返しジェスチャーの処理が行なわれる。
【００３２】
次にステップＳ１０３において、繰り返し出力する文字の個数を決定する。繰り返しジェスチャーの横幅と同等の数の文字を繰り返し表示するため、繰り返しジェスチャーの横幅（ストロークの最大Ｘ座標−最小Ｘ座標）／文字の横幅（その時指定されている文字フォントの横幅）＝を文字の個数とし、記憶しておく処理を行なう。操作画面３の例であると、入力領域３１に書かれているストロークの横幅が４文字以上あるので、繰り返し文字の個数４が記憶される。
【００３３】
次にステップＳ１０４において、図１の認識結果記憶手段５に記憶されている文字認識結果の文字コードを読み出す処理を行なう。図１の認識結果記憶手段５には手書き文字が入力され認識される毎に記憶されている訳で、ジェスチャーが書かれた時に読み出すと、ジェスチャーが入力される直前に書かれた手書き文字の認識結果が読み出される。操作画面３の例であると、入力領域３１に書かれている繰り返しジェスチャーの直前に書かれた文字は０であるので、０の文字コードが読み出される。
【００３４】
ステップＳ１０５において、繰り返しジェスチャーのストロークの書かれた位置の左端を起点に、ステップＳ１０４で読み出した文字コードの文字を、決定された個数だけ出力する。操作画面３の例であると、ステップＳ１０４で０の文字コードが読み出されており、繰り返しジェスチャーのストロークの横幅は４文字分あり、１８５０の横に書かれているので、その右横に０を４個「００００」と出力し、操作画面４の例のように１８５０００００が入力エリア３１に入力される訳である。
【００３５】
このような処理を行なうことにより、同じ文字を複数連続して入力したい場合は、繰り返したい長さの繰り返しジェスチャーを入力すれば、簡単に同一文字を要求する数だけ連続して入力することが実現できる。
【００３６】
このように、本実施形態によれば、入力されたジェスチャーのライン形ストロークの長さに応じて出力する文字の個数を決定する繰り返しジェスチャー認識手段を設けたことにより、連続して同じ文字を入力する場合、その文字の個数に応じた長さのジェスチャーを入力すれば、前記手段で決定された個数の同一文字を出力することができる。
【００３７】
次に、本発明の第２実施形態を説明する。
【００３８】
上記第１実施形態においては、手書き文字の入力エリアには１文字毎の文字枠は存在しなかったが、本発明は文字枠が存在する場合でも適応できる。その場合、図５のフローチャートの一部を変更すれば可能である。図６と図７が本第２実施形態の操作画面例であり、図６の８０〜８９は入力文字枠である。図８に変更したフローチャートを示す。
【００３９】
図８は、本発明の第２実施形態に係る手書き文字認識装置のジェスチャー・文字識別処理、ジェスチャー認識処理、及び記憶文字の繰り返し出力処理の手順を表わしたフローチャートであり、このフローチャートを実現するプログラムはメモリ部１０１内に格納されている。
【００４０】
本実施形態においては、文字枠を２個以上横切っていて図６のＳＴ２で示す形（以下、この形をカール形という）のストロークを文字繰り返しジェスチャーとする。ステップＳ１００〜ステップＳ１０１は、図５のフローチャートと同じであるので説明を省く。
【００４１】
ステップＳ１０６において、まずジェスチャーストロークと文字ストロークの切り分けを行なう。まず、ストロークの位置座標点が存在する文字枠の番号をチェックしていき、１つの文字枠内でストロークが納まっている場合は、文字ストロークであるので、手書き文字の認識処理にそのストロークデータを渡し、２つ以上であれば、ジェスチャーストロークであるのでステップＳ１０７へ進む。操作画面例の図６の入力文字枠８７、８８、８９に書かれているカール形のストロークＳＴ２は、３つの文字枠に渡って書かれているので、２つ以上であるからステップＳ１０７に進む。
【００４２】
ステップＳ１０７において、繰り返しジェスチャーかその他のジェスチャーであるかのチェックを行なう。本実施形態ではカール形のストロークを繰り返しジェスチャーとしているので、入力ストロークの形がカール形であるかのチェックを行ない、同じ形であればステップＳ１０８に進み、それ以外の形（例えばライン形）であれば他のジェスチャー処理へそのストロークデータを渡す。操作画面例の図６の入力文字枠８７、８８、８９に書かれているストロークの形はカール形であるから、繰り返しジェスチャーであるので、ステップＳ１０８に進む。
【００４３】
ステップＳ１０８において、繰り返し文字の個数の決定を行なう。繰り返しジェスチャーのストロークが横切っているストロークの文字枠の個数が繰り返し出力する文字の個数である。文字枠を区別するための文字枠の番号が図６のように左から、順に付けられているので、ジェスチャーストロークの終了点の文字枠の番号−ジェスチャーストロークの開始点の文字枠の番号＋１＝繰り返し文字の個数である。操作画面例の図６の繰り返しジェスチャーの場合、終了点の文字枠の番号が８９であり、開始点の文字枠の番号が８７であるので８９一８７＋１＝３となり繰り返し個数は３個になる。
【００４４】
ステップＳ１０４、Ｓ１０５の処理は図５のフローチャートと同様なので説明を省略する。図６の例の「１２３４５」が入力された後にカール形ストロークの繰り返しジェスチャーが入力され、繰り返し個数は３個であるので、「５」が３個出力され、図７のように「１２３４５５５５」になる。
【００４５】
このように処理を行なうことにより、同じ文字を複数連続して入力したい場合は、繰り返したい長さの繰り返しジェスチャーを入力すれば、簡単に同一文字を要求する数だけ連続して入力することが実現でき、この実施形態では文字枠で個数を決定するので繰り返し個数が明確に指示できるという利点がある。
【００４６】
次に本発明の第３実施形態を説明する。
【００４７】
上記第１及び第２実施形態においては、繰り返しジェスチャーの繰り返し出力の対象は１文字であったが、複数の連続した文字を対象とする実施形態も考えられる。この第３実施形態の場合は、第１実施形態の構成図を、図９のように変更する。
【００４８】
図９は、本発明の第３実施形態に係る手書き文字認識装置の主要機能部分の構成を示す機能ブロック図である。
【００４９】
図９の１、２、３、１０６、６、７、に関しては、図１の構成と同じであるので説明は省略する。図１の文字認識結果を１個だけ記憶しておく認識結果記憶手段５は削除され、繰り返し文字を記憶し繰り返し文字の個数を決定する処理は繰り返しジェスチャー認識手段８で行なわれる。図１０と図１１は本実施形態の操作画面例である。図１０中の７１、７２、７３は数値入力領域であり、ＳＴ３がライン形ストロークの文字繰り返しジェスチャーである。
【００５０】
図１２は、本実施形態の繰り返しジェスチャー認識手段８の処理を表わしたフローチャートであり、このフローチャートを実現するプログラムはメモリ部１０１内に格納されている。この図１２のフローチャートに沿って処理を説明していく。なお、ステップＳ１００、Ｓ１０１、Ｓ１０２は図５のフローチャートで説明したのと同様な処理を行なう。本実施形態においては、ライン形のストロークの長さが２文字以上で、ストロークの下に文字が存在する時に、そのストロークを文字繰り返しジェスチャーとして認識し処理を行なうこととする。
【００５１】
ステップＳ１０１で１ストローク分の位置座標データをワークバッファに読み込む処理を行なう。ステップＳ１０２でステップＳ１０１で読み込んだストロークの長さのチェックを行ない、ストロークの横幅が２文字分以上ある時はステップＳ１２１に進み、１文字分である場合は手書き文字認識手段３にストロークデータを渡す。
【００５２】
図１０の例では、数値入力領域７１に書かれているストロークは２文字以上の横幅があるので繰り返しジェスチャーであり、ステップＳ１２１に進む。ステップＳ１２１において、ストロークの下に文字が存在するかのチェックを行なう。ストロークの下に文字が存在する時は繰り返しジェスチャーであるので、ステップＳ１２２に進み、ストロークの下に文字が存在しない時は繰り返しジェスチャーではないので、このフローチャートの処理は終了する。
【００５３】
文字のサイズが１６×１６ドットのときは、その文字の領域である１６×１６のエリアをストロークが横切る状態を、ストロークの下に文字がある状態とする。図１０の入力領域７１のように「１０」の上をストロークは横切っているのでステップＳ１２２に進む。
【００５４】
ステップＳ１２２において、ストロークの下に存在する文字を繰り返し出力する文字として記憶領域に記憶する。図１０の例であると繰り返しジェスチャーのストロークの下には「１０」が存在するので「１０」が記憶される。この記憶される文字は、漢字英数記号でも問題がないのはいうまでもない。
【００５５】
ステップＳ１２３で、繰り返しジェスチャーの出力する文字群の個数を決定する。ストロークの下の文字群の右端から終点までのストロークの横幅と同等の文字群の個数を出力する。
【００５６】
（ストローク最大Ｘ座標−ストロークの下の文字の最大Ｘ座標）／ストローク下の文字の横幅＝繰り返し回数とする。
【００５７】
図１０の例であると、
（ストロークの終点の座標−「０」の文字の右端の座標）／「１０」の文字の横幅＝３
となり繰り返し回数は３回となる。
【００５８】
次にステップＳ１２４において、ジェスチャーストローク下の文字の右端を起点に記憶した文字コードの文字群を決定された個数だけ出力する。ステップＳ１２２で記憶した文字群をステップＳ１２３で決定した回数だけ出力する処理を行なう。図１０の例であると、ステップＳ１２２で「１０」が記憶され、ステップＳ１２３で回数が３と決定しているので、図１１の例のように「１０１０１０」と出力される。もし、ステップＳ１２３での決定回数が２．５であれば、記憶された文字列が２文字列と文字列の半分が出力され、「１０１０１」になる。
【００５９】
このように処理を行なうことにより、同じ文字列を複数連続して入力したい場合は、繰り返したい長さの繰り返しジェスチャーを入力すれば、簡単に同一文字列を要求する数だけ連続して入力することが実現できる。
【００６０】
次に本発明の第４実施形態を説明する。
【００６１】
上記第３実施形態では、繰り返しジェスチャーの処理において、繰り返し文字列の指定と繰り返し出力数の決定を１つの繰り返しジェスチャーストロークで行なったが、繰り返し文字列の指定ジェスチャーと繰り返し出力数指定ジェスチャーの２つで実現する実施形態も考えられる。本実施形態は、繰り返しジェスチャーのストロークの形はライン形とするが、ストロークの下に文字がある場合は繰り返し文字列の指定ジェスチャーとして、文字列を記憶する処理を行ない、ストローク下に文字が存在しない場合は繰り返し出力数指定ジェスチャーとし、指定された数の文字列を出力する処理を行なうものである。
【００６２】
本実施形態の主要部分の構成は上記第３実施形態の図９と同じなので説明を省略する。図１３、図１４及び図１５は本実施形態の操作画面例である。図１３の９１、９２、９３が数値入力領域であり、ＳＴ４がストロークである。
【００６３】
図１６は、第４実施形態の繰り返しジェスチャー認識手段８の処理を表わしたフローチャートであり、このフローチャートを実現するプログラムはメモリ部１０１内に格納されている。図１６のフローチャートに沿って処理を説明していく。
【００６４】
ステップＳ１００、Ｓ１０１、Ｓ１０２は図５のフローチャートで説明したのと同様な処理を行なう。ステップＳ１０１で１ストローク分の位置座標データをワークバッファに読み込む処理を行なう。ステップＳ１０２でステップＳ１０１で読み込んだストロークの長さのチェックを行ない、ストロークの横幅が２文字分以上ある時はステップＳ１２１に進み、１文字分である場合は手書き文字認識手段３にストロークデータを渡す。図１３の例では数値入力領域７１に書かれているストロークは２文字以上の横幅があるので繰り返しジェスチャーであり、ステップＳ１２１に進む。
【００６５】
ステップＳ１２１において、繰り返し文字列の指定ジェスチャーであるか、繰り返し出力数指定ジェスチャーであるかを判別するために、ストローク下に文字列が存在するか、存在しないかのチェックを行なう。ストローク下に文字が存在する場合は、ステップＳ１６１の処理に進み、ストローク下に文字が存在しない時は、ステップＳ１６２の処理に進む。図１３の例であると、入力領域９１のストローク下には文字列「７ ８」が存在するので、ステップＳ１６１の処理へ進む。一方、図１４の例であると、入力領域９２のストローク下には文字が存在しないため、ステップＳ１６２に進む。
【００６６】
ステップＳ１６１において、ストロークの下に存在する文字列の文字コードを繰り返し出力する文字列として記憶領域に記憶する。図１３の例であると入力領域９１のストローク下には文字列「７ ８」が存在するので、「７ ８」の文字コードを記憶する。
【００６７】
ステップＳ１６２においては、繰り返し出力する文字列の記憶領域に文字列が記憶されているかのチェックを行なう。繰り返し出力する文字列の記憶領域に文字列が記憶されている場合は、ステップＳ１６３に進み、記憶されていない場合は、この繰り返しジェスチャーのフローチャートの処理を終了する。
【００６８】
図１３の操作例の次に図１４の操作例が行われた場合、図１３の例で繰り返し出力する文字列の記憶領域には「７ ８」が記憶されているので、次に図１４で繰り返し出力数指定ジェスチャーが書かれた場合は、ステップＳ１６３に進む。
【００６９】
ステップＳ１６３において、出力する文字列の繰り返し回数を決定する処理を行なう。繰り返しジェスチャーの横幅と同等の数の文字列を繰り返し表示するため、繰り返しジェスチャーの横幅（ストロークの最大Ｘ座標−最小Ｘ座標）／文字列の横幅（その時指定されている文字フォントの横幅×文字列の文字の個数）＝繰り返し回数とする。
【００７０】
図１４の例であると、入力領域９２のストロークの横幅は８文字分あり、図１３の例で記憶された文字列は２文字分であるので、８／２＝４となり、繰り返し回数は４回である。本実施形態では、ジェスチャーストロークが入力され、ペンアップした時点でジェスチャー認識処理を行なっているが、ペンで押下され位置座標点が入力される毎にジェスチャーストロークであるか、文字のストロークであるかのチェック処理を行ない、図１４の例の入力領域９２の繰り返し出力数指定ジェスチャーのストロークが書かれていく場合に、リアルタイムに、（現在のＸ座標−ストロークの開始点のＸ座標）／文字フォントの横幅＝の計算を行ない、出力文字の仮想個数表示（図１７の点線枠）９２ａを行なうと、よりユーザに使い易い繰り返しジエスチャー処理を提供することができる。
【００７１】
ステップＳ１６４において、繰り返し出力数指定ジェスチャーの左端を起点に指定された文字列を指定された回数だけ出力する処理を行なう。図１３の例であると「７ ８」が記憶され、図１４の例で、入力領域９２に繰り返し出力数指定ジェスチャーが入力され、ステップＳ１６３において出力回数が４回と決定しているので、図１４の例のように、領域９２に「７８７８７８７８」と出力表示される。
【００７２】
このように処理を行なうことにより、同じ文字列を別の行等の離れた場所に複数連続して入力したい場合は、繰り返し出力したい文字列の上で繰り返し文字列の指定ジェスチャーを入力し、出力したい場所で繰り返したい長さの繰り返し数指定ジェスチャーを入力すれば、簡単に同一文字列を要求する数だけ連続して離れた場所にも入力することができる。
【００７３】
なお、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる手書きパターン処理装置に適用してもよい。また、本発明は、システムあるいは手書きパターン処理装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を該システムあるいは手書きパターン処理装置に読み出すことによって、そのシステムあるいは手書きパターン処理装置が、本発明の効果を享受することが可能となる。
【００７４】
【発明の効果】
以上詳述したように、本発明によれば、連続して同じ文字列を繰り返し入力する場合、その繰り返し回数に応じた長さのジェスチャーパターンを入力すれば、簡単に同じ文字列を指定回数だけ入力することができる。これにより、例えば繰り返し同様な数値を複数回入力する場面で、装置の使い易さを著しく向上させる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る手書き文字認識装置の主要機能部分の構成を示す機能ブロック図である。
【図２】第１実施形態の手書き文字認識装置の具体的な構成を示す図である。
【図３】第１実施形態における繰り返しジェスチャーの入力中の画面を示す図である。
【図４】第１実施形態におけるジェスチャー認識処理が行なわれた結果の画面を示す図である。
【図５】第１実施形態におけるジェスチャー・文字識別処理、ジェスチャー認識処理、及び記憶文字の繰り返し出力処理の手順を表わしたフローチャートである。
【図６】第２実施形態の操作画面例を示す図である。
【図７】第２実施形態の操作画面例を示す図である。
【図８】第２実施形態におけるジェスチャー・文字識別処理、ジェスチャー認識処理、及び記憶文字の繰り返し出力処理の手順を表わしたフローチャートである。
【図９】第３実施形態に係る手書き文字認識装置の主要機能部分の構成を示す機能ブロック図である。
【図１０】第３実施形態の操作画面例である。
【図１１】第３実施形態の操作画面例である。
【図１２】第３実施形態の繰り返しジェスチャー認識手段８の処理を表わしたフローチャートである。
【図１３】第４実施形態の操作画面例である。
【図１４】第４実施形態の操作画面例である。
【図１５】第４実施形態の操作画面例である。
【図１６】第４実施形態の繰り返しジェスチャー認識手段８の処理を表わしたフローチャートである。
【図１７】出力文字の仮想個数表示を示す図である。
【符号の説明】
１ 手書き文字入力手段
２ ジェスチャー・文字識別手段
３ 手書き文字認識手段
４ ジェスチャー認識手段
５ 認識結果記憶手段
６ 記憶文字の繰り返し出力処理手段
７ 認識結果表示手段
８ 繰り返しジェスチャー認識手段
１０６ 認識用辞書
【発明の属する技術分野】
本発明は、ペンで書かれる手書き文字の筆跡等の手書きパターンを処理する手書きパターン処理装置及び手書きパターン処理方法に関するものである。
【０００２】
【従来の技術】
従来の手書き文字認識装置は、手書き文字の筆跡ストロークパターンを入力する手段と、予め登録されている手書き文字パターンとそのパターンに応じた文字コードが記憶されている辞書と、入力されたパターンと辞書パターンを照合する手段とで構成され、通常１個のパターンに対して１個の文字コードが対応付けられている。
【０００３】
また、前記手段に加え、ユーザがある手書きパターンと１個または複数の文字コードとをユーザ登録辞書に登録する手段を設けている手書き文字認識装置も存在した。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の手書き文字認識装置では、「１０００」を入力する場合、１の手書きパターン、０の手書きパターン、０の手書きパターン、及び０の手書きパターンを入力しなければならない。数値を入力する場合、連続して同数字を入力することが往々にして存在するが、上記従来例では一々同じ数字を手書きで入力しなければならない。
【０００５】
さらに、認識結果が誤認識の場合が存在し、同じに書いたつもりでも微妙に手書きパターンが異なると、「１０００」が「１０Ｏ０」などになり、修正の手間がかかる場合がある。
【０００６】
また、ユーザパターン登録手段を設けた手書き文字認識装置の場合は、「００」に対して手書きパターンＡ、「０００」に対して手書きパターンＢを登録することができる。しかし、色々な場面を想定すると多くの手書きパターンを登録する必要があり、多くの手書きパターンを登録して場合に応じて使い分けるのは甚だ面倒であり、しかも多くのパターンを登録すると誤認識の問題も生ずるため、実使用時にはあまり現実的ではなかった。
【０００７】
本発明は上記従来の問題点に鑑み、同一文字の連続複数入力を簡単に行うことができる手書きパターン処理装置及び手書きパターン処理方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明の手書きパターン処理装置は、手書きパターンを入力する入力手段と、前記入力された手書きパターンが、所定のジェスチャーパターンであり、かつ当該手書きパターンの下に文字列が存在するかを判定するジェスチャー判定手段と、前記ジェスチャー判定手段により前記入力された手書きパターンが前記所定のジェスチャーパターンであり、かつ当該手書きパターンの下に文字列が存在すると判定された場合、当該手書きパターンの下に存在する文字列を繰り返し出力する文字列として特定する特定手段と、前記特定手段により特定された文字列の長さと、前記手書きパターンの長さとに基づいて、繰り返し出力する回数を決定する決定手段と、
前記決定手段で決定された回数だけ、前記特定手段で特定された文字列を繰り返し出力する出力手段とを備えることを特徴とする。
本発明の手書きパターン処理方法は、入力された手書きパターンが、所定のジェスチャーパターンであり、かつ当該手書きパターンの下に文字列が存在するかを判定するジェスチャー判定工程と、前記ジェスチャー判定工程により前記入力された手書きパターンが前記所定のジェスチャーパターンであり、かつ当該手書きパターンの下に文字列が存在すると判定された場合、当該手書きパターンの下に存在する文字列を繰り返し出力する文字列として特定する特定工程と、前記特定工程により特定された文字列の長さと、前記手書きパターンの長さとに基づいて、繰り返し出力する回数を決定する決定工程と、前記決定工程で決定された回数だけ、前記特定手段で特定された文字列を繰り返し出力する出力工程とを備えることを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００１７】
図１は、本発明の第１実施形態に係る手書きパターン処理装置の主要機能部分の構成を示す機能ブロック図である。
【００１８】
図中１は、ペンで書かれる手書き文字の筆跡を入力するための位置座標検出盤等から構成される手書き文字入力手段である。２は、手書き文字入力手段１から送られてくる１筆分のストロークの長さから、ジェスチャーであるか、文字の一部であるかを切り分ける繰り返しジェスチャー・文字識別手段である。
【００１９】
３は、予め作成してある複数の文字の書き方の標準的特徴が記憶されている認識用辞書１０６を用い、特公昭６２一３９４６０号公報等に記載されている特徴点方式のアルゴリズムにより、手書き文字入力手段１によって入力された筆跡との照合を行い、認識結果として文字コード列を出力する手書き文字認識手段である。４は、ジェスチャー・文字識別手段２から送られてくるジェスチャーストロークの長さから繰り返し出力する文字の個数を決定するジェスチャー認識手段である。
【００２０】
５は、手書き文字認識手段３の認識結果を１文字分記憶しておく認識結果記憶手段である。６は、ジェスチャー認識手段４から指示される個数だけ、認識結果記憶手段５に記憶されている文字コードに対応した文字の出力指示を認識結果表示手段７へ送る記憶文字の繰り返し出力処理手段である。７は、液晶等の表示装置からなる認識結果表示手段である。また、１０６は手書き文字認識手段３が用いる認識用辞書である。
【００２１】
図２は、本実施形態の手書き文字認識装置の具体的な構成を示す図である。
【００２２】
同図の１００は、本装置全体の制御を司るＣＰＵである。１０１は、ＣＰＵ１００の動作処理手順（後述する図５のフローチャートで示す動作処理手順を含む）や文字フォントパターンを記憶したＲＯＭ及びワークエリアとして使用されるＲＡＭから構成されるメモリ部である。このメモリ部１０１内のＲＡＭには、入力する文字枠の個数分のバッファエリアが確保されており、入力したストローク情報や、認識結果の文字コードなどがそれぞれのバッファエリアに記憶される。
【００２３】
また、説明が前後するが、実施形態における手書き文字認識装置は、単に文字列を認識し変換するだけではなく、入力結果の文字に基づいてローン計算や文書の編集等のアプリケーションプログラムを実行するものである。但し、かかる処理に本発明の特徴があるものではないので、その説明は省略する。
【００２４】
１０２は液晶等による表示部であって、１０３はＣＰＵ１００の制御の下で表示部１０２の表示制御を行う表示制御部である。この表示制御部１０３には、表示するための文字パターンや、入力したストロークの軌跡等を描画するためのメモリ（ＶＲＡＭ）を内蔵している。１０４は表示部１０２の前面に位置する透明な座標検出盤であって、１０５はペン１１による指示位置及びペンのアップ／ダウン情報を検出する座標検出部である。
【００２５】
１０６は文字認識に使用される認識用辞書であり、図１の１０６と同じものである。また、１０７はインターフェース（Ｉ／Ｆ）であって、例えばプリンタや外部記憶装置を接続するのに用いられる。１０９は文字コード等を入力する一般的なキーボードである。上記各構成ユニットはバス１０８を介して接続される。図３と図４は、本手書き文字認識装置の操作画面例を示す図である。図３が繰り返しジェスチャーの入力中の画面であり、図４がジェスチャー認識処理が行なわれた結果の画面である。なお、ローン計算の数値入力場面を操作例としたが、ローン計算の処理は本発明の特徴ではないので、その説明は省略する。
【００２６】
図３中の１０２は出力画面全体であり、図３の３１、３２、３３、３４、３５は数値入力領域で、手書きの数字が入力された場合は数字が認識表示され、ライン形ストロークのジェスチャーＳＴ１が入力された場合は、ジェスチャー処理が行なわれる。
【００２７】
図５は、本実施形態の手書き文字認識装置のジェスチャー・文字識別処理、ジェスチャー認識処理、及び記憶文字の繰り返し出力処理の手順を表わしたフローチャートであり、このフローチャートを実現するプログラムはメモリ部１０１内に格納されている。以下、主に図３及び図４の操作画面と図５のフローチャートによって、文字繰り返しジェスチャーの処理の説明を行なう。
【００２８】
図５のステップＳ１００は、ワークの初期化で、図５のフローチャートで表わされるジェスチャー認識処理で使用される軌跡データのバッファ等のワーク記憶領域の初期化を行なう。図５のフローチャートの処理を開始するタイミングは、ペンアップ時間がある一定時間以上経過したり、処理開始指示領域をペンで指示された時とする。
【００２９】
ステップＳ１０１において、１ストローク分の位置座標データの読み込み処理を行なう。ペン１１で座標検出盤１０４上に書かれた手書きの軌跡が座標検出部１０５からＸＹの位置座標データとして送られてくるので、その１ストローク分の位置座標データをワーク記憶領域に読み込む。ステップＳ１０２において、前記読み込まれたストロークがジェスチャーストロークか文字のストロークの一部であるかの判断処理が行われる。本実施形態においては、ライン形のストロークの横幅が文字の横幅の２文字分以上あるものを文字繰り返しジェスチャーとする。
【００３０】
（読み込まれたストロークの最大Ｘ座標−最小Ｘ座標で求めた横幅）／文字の横幅＝の答が２以上である時は、文字繰り返しジェスチャーであるのでステップＳ１０３に進み、答２未満である時は文字のストロークの１部であるので、通常の文字認識手段の処理にストロークのデータが渡される。
【００３１】
ステップＳ１０２の処理は、入力された全てのストロークに対して行なわれ、１文字の入力終了や１ジェスチャーの入力終了時に開始され、全てのストロークの処理が終わると処理が終了する。その後、文字繰り返しジェスチャーであれば、ステップＳ１０３からの処理が行なわれ、手書き文字であれば、従来からある、特公昭６２一３９４６０号公報等に記載されている特徴点方式のアルゴリズムにより、入力された筆跡との照合を行い、認識結果として文字コード列を出力する。操作画面３の例であると、入力領域３１に書かれているライン形のストロークの横幅が４文字以上あるので、文字繰り返しジェスチャーの処理が行なわれる。
【００３２】
次にステップＳ１０３において、繰り返し出力する文字の個数を決定する。繰り返しジェスチャーの横幅と同等の数の文字を繰り返し表示するため、繰り返しジェスチャーの横幅（ストロークの最大Ｘ座標−最小Ｘ座標）／文字の横幅（その時指定されている文字フォントの横幅）＝を文字の個数とし、記憶しておく処理を行なう。操作画面３の例であると、入力領域３１に書かれているストロークの横幅が４文字以上あるので、繰り返し文字の個数４が記憶される。
【００３３】
次にステップＳ１０４において、図１の認識結果記憶手段５に記憶されている文字認識結果の文字コードを読み出す処理を行なう。図１の認識結果記憶手段５には手書き文字が入力され認識される毎に記憶されている訳で、ジェスチャーが書かれた時に読み出すと、ジェスチャーが入力される直前に書かれた手書き文字の認識結果が読み出される。操作画面３の例であると、入力領域３１に書かれている繰り返しジェスチャーの直前に書かれた文字は０であるので、０の文字コードが読み出される。
【００３４】
ステップＳ１０５において、繰り返しジェスチャーのストロークの書かれた位置の左端を起点に、ステップＳ１０４で読み出した文字コードの文字を、決定された個数だけ出力する。操作画面３の例であると、ステップＳ１０４で０の文字コードが読み出されており、繰り返しジェスチャーのストロークの横幅は４文字分あり、１８５０の横に書かれているので、その右横に０を４個「００００」と出力し、操作画面４の例のように１８５０００００が入力エリア３１に入力される訳である。
【００３５】
このような処理を行なうことにより、同じ文字を複数連続して入力したい場合は、繰り返したい長さの繰り返しジェスチャーを入力すれば、簡単に同一文字を要求する数だけ連続して入力することが実現できる。
【００３６】
このように、本実施形態によれば、入力されたジェスチャーのライン形ストロークの長さに応じて出力する文字の個数を決定する繰り返しジェスチャー認識手段を設けたことにより、連続して同じ文字を入力する場合、その文字の個数に応じた長さのジェスチャーを入力すれば、前記手段で決定された個数の同一文字を出力することができる。
【００３７】
次に、本発明の第２実施形態を説明する。
【００３８】
上記第１実施形態においては、手書き文字の入力エリアには１文字毎の文字枠は存在しなかったが、本発明は文字枠が存在する場合でも適応できる。その場合、図５のフローチャートの一部を変更すれば可能である。図６と図７が本第２実施形態の操作画面例であり、図６の８０〜８９は入力文字枠である。図８に変更したフローチャートを示す。
【００３９】
図８は、本発明の第２実施形態に係る手書き文字認識装置のジェスチャー・文字識別処理、ジェスチャー認識処理、及び記憶文字の繰り返し出力処理の手順を表わしたフローチャートであり、このフローチャートを実現するプログラムはメモリ部１０１内に格納されている。
【００４０】
本実施形態においては、文字枠を２個以上横切っていて図６のＳＴ２で示す形（以下、この形をカール形という）のストロークを文字繰り返しジェスチャーとする。ステップＳ１００〜ステップＳ１０１は、図５のフローチャートと同じであるので説明を省く。
【００４１】
ステップＳ１０６において、まずジェスチャーストロークと文字ストロークの切り分けを行なう。まず、ストロークの位置座標点が存在する文字枠の番号をチェックしていき、１つの文字枠内でストロークが納まっている場合は、文字ストロークであるので、手書き文字の認識処理にそのストロークデータを渡し、２つ以上であれば、ジェスチャーストロークであるのでステップＳ１０７へ進む。操作画面例の図６の入力文字枠８７、８８、８９に書かれているカール形のストロークＳＴ２は、３つの文字枠に渡って書かれているので、２つ以上であるからステップＳ１０７に進む。
【００４２】
ステップＳ１０７において、繰り返しジェスチャーかその他のジェスチャーであるかのチェックを行なう。本実施形態ではカール形のストロークを繰り返しジェスチャーとしているので、入力ストロークの形がカール形であるかのチェックを行ない、同じ形であればステップＳ１０８に進み、それ以外の形（例えばライン形）であれば他のジェスチャー処理へそのストロークデータを渡す。操作画面例の図６の入力文字枠８７、８８、８９に書かれているストロークの形はカール形であるから、繰り返しジェスチャーであるので、ステップＳ１０８に進む。
【００４３】
ステップＳ１０８において、繰り返し文字の個数の決定を行なう。繰り返しジェスチャーのストロークが横切っているストロークの文字枠の個数が繰り返し出力する文字の個数である。文字枠を区別するための文字枠の番号が図６のように左から、順に付けられているので、ジェスチャーストロークの終了点の文字枠の番号−ジェスチャーストロークの開始点の文字枠の番号＋１＝繰り返し文字の個数である。操作画面例の図６の繰り返しジェスチャーの場合、終了点の文字枠の番号が８９であり、開始点の文字枠の番号が８７であるので８９一８７＋１＝３となり繰り返し個数は３個になる。
【００４４】
ステップＳ１０４、Ｓ１０５の処理は図５のフローチャートと同様なので説明を省略する。図６の例の「１２３４５」が入力された後にカール形ストロークの繰り返しジェスチャーが入力され、繰り返し個数は３個であるので、「５」が３個出力され、図７のように「１２３４５５５５」になる。
【００４５】
このように処理を行なうことにより、同じ文字を複数連続して入力したい場合は、繰り返したい長さの繰り返しジェスチャーを入力すれば、簡単に同一文字を要求する数だけ連続して入力することが実現でき、この実施形態では文字枠で個数を決定するので繰り返し個数が明確に指示できるという利点がある。
【００４６】
次に本発明の第３実施形態を説明する。
【００４７】
上記第１及び第２実施形態においては、繰り返しジェスチャーの繰り返し出力の対象は１文字であったが、複数の連続した文字を対象とする実施形態も考えられる。この第３実施形態の場合は、第１実施形態の構成図を、図９のように変更する。
【００４８】
図９は、本発明の第３実施形態に係る手書き文字認識装置の主要機能部分の構成を示す機能ブロック図である。
【００４９】
図９の１、２、３、１０６、６、７、に関しては、図１の構成と同じであるので説明は省略する。図１の文字認識結果を１個だけ記憶しておく認識結果記憶手段５は削除され、繰り返し文字を記憶し繰り返し文字の個数を決定する処理は繰り返しジェスチャー認識手段８で行なわれる。図１０と図１１は本実施形態の操作画面例である。図１０中の７１、７２、７３は数値入力領域であり、ＳＴ３がライン形ストロークの文字繰り返しジェスチャーである。
【００５０】
図１２は、本実施形態の繰り返しジェスチャー認識手段８の処理を表わしたフローチャートであり、このフローチャートを実現するプログラムはメモリ部１０１内に格納されている。この図１２のフローチャートに沿って処理を説明していく。なお、ステップＳ１００、Ｓ１０１、Ｓ１０２は図５のフローチャートで説明したのと同様な処理を行なう。本実施形態においては、ライン形のストロークの長さが２文字以上で、ストロークの下に文字が存在する時に、そのストロークを文字繰り返しジェスチャーとして認識し処理を行なうこととする。
【００５１】
ステップＳ１０１で１ストローク分の位置座標データをワークバッファに読み込む処理を行なう。ステップＳ１０２でステップＳ１０１で読み込んだストロークの長さのチェックを行ない、ストロークの横幅が２文字分以上ある時はステップＳ１２１に進み、１文字分である場合は手書き文字認識手段３にストロークデータを渡す。
【００５２】
図１０の例では、数値入力領域７１に書かれているストロークは２文字以上の横幅があるので繰り返しジェスチャーであり、ステップＳ１２１に進む。ステップＳ１２１において、ストロークの下に文字が存在するかのチェックを行なう。ストロークの下に文字が存在する時は繰り返しジェスチャーであるので、ステップＳ１２２に進み、ストロークの下に文字が存在しない時は繰り返しジェスチャーではないので、このフローチャートの処理は終了する。
【００５３】
文字のサイズが１６×１６ドットのときは、その文字の領域である１６×１６のエリアをストロークが横切る状態を、ストロークの下に文字がある状態とする。図１０の入力領域７１のように「１０」の上をストロークは横切っているのでステップＳ１２２に進む。
【００５４】
ステップＳ１２２において、ストロークの下に存在する文字を繰り返し出力する文字として記憶領域に記憶する。図１０の例であると繰り返しジェスチャーのストロークの下には「１０」が存在するので「１０」が記憶される。この記憶される文字は、漢字英数記号でも問題がないのはいうまでもない。
【００５５】
ステップＳ１２３で、繰り返しジェスチャーの出力する文字群の個数を決定する。ストロークの下の文字群の右端から終点までのストロークの横幅と同等の文字群の個数を出力する。
【００５６】
（ストローク最大Ｘ座標−ストロークの下の文字の最大Ｘ座標）／ストローク下の文字の横幅＝繰り返し回数とする。
【００５７】
図１０の例であると、
（ストロークの終点の座標−「０」の文字の右端の座標）／「１０」の文字の横幅＝３
となり繰り返し回数は３回となる。
【００５８】
次にステップＳ１２４において、ジェスチャーストローク下の文字の右端を起点に記憶した文字コードの文字群を決定された個数だけ出力する。ステップＳ１２２で記憶した文字群をステップＳ１２３で決定した回数だけ出力する処理を行なう。図１０の例であると、ステップＳ１２２で「１０」が記憶され、ステップＳ１２３で回数が３と決定しているので、図１１の例のように「１０１０１０」と出力される。もし、ステップＳ１２３での決定回数が２．５であれば、記憶された文字列が２文字列と文字列の半分が出力され、「１０１０１」になる。
【００５９】
このように処理を行なうことにより、同じ文字列を複数連続して入力したい場合は、繰り返したい長さの繰り返しジェスチャーを入力すれば、簡単に同一文字列を要求する数だけ連続して入力することが実現できる。
【００６０】
次に本発明の第４実施形態を説明する。
【００６１】
上記第３実施形態では、繰り返しジェスチャーの処理において、繰り返し文字列の指定と繰り返し出力数の決定を１つの繰り返しジェスチャーストロークで行なったが、繰り返し文字列の指定ジェスチャーと繰り返し出力数指定ジェスチャーの２つで実現する実施形態も考えられる。本実施形態は、繰り返しジェスチャーのストロークの形はライン形とするが、ストロークの下に文字がある場合は繰り返し文字列の指定ジェスチャーとして、文字列を記憶する処理を行ない、ストローク下に文字が存在しない場合は繰り返し出力数指定ジェスチャーとし、指定された数の文字列を出力する処理を行なうものである。
【００６２】
本実施形態の主要部分の構成は上記第３実施形態の図９と同じなので説明を省略する。図１３、図１４及び図１５は本実施形態の操作画面例である。図１３の９１、９２、９３が数値入力領域であり、ＳＴ４がストロークである。
【００６３】
図１６は、第４実施形態の繰り返しジェスチャー認識手段８の処理を表わしたフローチャートであり、このフローチャートを実現するプログラムはメモリ部１０１内に格納されている。図１６のフローチャートに沿って処理を説明していく。
【００６４】
ステップＳ１００、Ｓ１０１、Ｓ１０２は図５のフローチャートで説明したのと同様な処理を行なう。ステップＳ１０１で１ストローク分の位置座標データをワークバッファに読み込む処理を行なう。ステップＳ１０２でステップＳ１０１で読み込んだストロークの長さのチェックを行ない、ストロークの横幅が２文字分以上ある時はステップＳ１２１に進み、１文字分である場合は手書き文字認識手段３にストロークデータを渡す。図１３の例では数値入力領域７１に書かれているストロークは２文字以上の横幅があるので繰り返しジェスチャーであり、ステップＳ１２１に進む。
【００６５】
ステップＳ１２１において、繰り返し文字列の指定ジェスチャーであるか、繰り返し出力数指定ジェスチャーであるかを判別するために、ストローク下に文字列が存在するか、存在しないかのチェックを行なう。ストローク下に文字が存在する場合は、ステップＳ１６１の処理に進み、ストローク下に文字が存在しない時は、ステップＳ１６２の処理に進む。図１３の例であると、入力領域９１のストローク下には文字列「７ ８」が存在するので、ステップＳ１６１の処理へ進む。一方、図１４の例であると、入力領域９２のストローク下には文字が存在しないため、ステップＳ１６２に進む。
【００６６】
ステップＳ１６１において、ストロークの下に存在する文字列の文字コードを繰り返し出力する文字列として記憶領域に記憶する。図１３の例であると入力領域９１のストローク下には文字列「７ ８」が存在するので、「７ ８」の文字コードを記憶する。
【００６７】
ステップＳ１６２においては、繰り返し出力する文字列の記憶領域に文字列が記憶されているかのチェックを行なう。繰り返し出力する文字列の記憶領域に文字列が記憶されている場合は、ステップＳ１６３に進み、記憶されていない場合は、この繰り返しジェスチャーのフローチャートの処理を終了する。
【００６８】
図１３の操作例の次に図１４の操作例が行われた場合、図１３の例で繰り返し出力する文字列の記憶領域には「７ ８」が記憶されているので、次に図１４で繰り返し出力数指定ジェスチャーが書かれた場合は、ステップＳ１６３に進む。
【００６９】
ステップＳ１６３において、出力する文字列の繰り返し回数を決定する処理を行なう。繰り返しジェスチャーの横幅と同等の数の文字列を繰り返し表示するため、繰り返しジェスチャーの横幅（ストロークの最大Ｘ座標−最小Ｘ座標）／文字列の横幅（その時指定されている文字フォントの横幅×文字列の文字の個数）＝繰り返し回数とする。
【００７０】
図１４の例であると、入力領域９２のストロークの横幅は８文字分あり、図１３の例で記憶された文字列は２文字分であるので、８／２＝４となり、繰り返し回数は４回である。本実施形態では、ジェスチャーストロークが入力され、ペンアップした時点でジェスチャー認識処理を行なっているが、ペンで押下され位置座標点が入力される毎にジェスチャーストロークであるか、文字のストロークであるかのチェック処理を行ない、図１４の例の入力領域９２の繰り返し出力数指定ジェスチャーのストロークが書かれていく場合に、リアルタイムに、（現在のＸ座標−ストロークの開始点のＸ座標）／文字フォントの横幅＝の計算を行ない、出力文字の仮想個数表示（図１７の点線枠）９２ａを行なうと、よりユーザに使い易い繰り返しジエスチャー処理を提供することができる。
【００７１】
ステップＳ１６４において、繰り返し出力数指定ジェスチャーの左端を起点に指定された文字列を指定された回数だけ出力する処理を行なう。図１３の例であると「７ ８」が記憶され、図１４の例で、入力領域９２に繰り返し出力数指定ジェスチャーが入力され、ステップＳ１６３において出力回数が４回と決定しているので、図１４の例のように、領域９２に「７８７８７８７８」と出力表示される。
【００７２】
このように処理を行なうことにより、同じ文字列を別の行等の離れた場所に複数連続して入力したい場合は、繰り返し出力したい文字列の上で繰り返し文字列の指定ジェスチャーを入力し、出力したい場所で繰り返したい長さの繰り返し数指定ジェスチャーを入力すれば、簡単に同一文字列を要求する数だけ連続して離れた場所にも入力することができる。
【００７３】
なお、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる手書きパターン処理装置に適用してもよい。また、本発明は、システムあるいは手書きパターン処理装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を該システムあるいは手書きパターン処理装置に読み出すことによって、そのシステムあるいは手書きパターン処理装置が、本発明の効果を享受することが可能となる。
【００７４】
【発明の効果】
以上詳述したように、本発明によれば、連続して同じ文字列を繰り返し入力する場合、その繰り返し回数に応じた長さのジェスチャーパターンを入力すれば、簡単に同じ文字列を指定回数だけ入力することができる。これにより、例えば繰り返し同様な数値を複数回入力する場面で、装置の使い易さを著しく向上させる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る手書き文字認識装置の主要機能部分の構成を示す機能ブロック図である。
【図２】第１実施形態の手書き文字認識装置の具体的な構成を示す図である。
【図３】第１実施形態における繰り返しジェスチャーの入力中の画面を示す図である。
【図４】第１実施形態におけるジェスチャー認識処理が行なわれた結果の画面を示す図である。
【図５】第１実施形態におけるジェスチャー・文字識別処理、ジェスチャー認識処理、及び記憶文字の繰り返し出力処理の手順を表わしたフローチャートである。
【図６】第２実施形態の操作画面例を示す図である。
【図７】第２実施形態の操作画面例を示す図である。
【図８】第２実施形態におけるジェスチャー・文字識別処理、ジェスチャー認識処理、及び記憶文字の繰り返し出力処理の手順を表わしたフローチャートである。
【図９】第３実施形態に係る手書き文字認識装置の主要機能部分の構成を示す機能ブロック図である。
【図１０】第３実施形態の操作画面例である。
【図１１】第３実施形態の操作画面例である。
【図１２】第３実施形態の繰り返しジェスチャー認識手段８の処理を表わしたフローチャートである。
【図１３】第４実施形態の操作画面例である。
【図１４】第４実施形態の操作画面例である。
【図１５】第４実施形態の操作画面例である。
【図１６】第４実施形態の繰り返しジェスチャー認識手段８の処理を表わしたフローチャートである。
【図１７】出力文字の仮想個数表示を示す図である。
【符号の説明】
１ 手書き文字入力手段
２ ジェスチャー・文字識別手段
３ 手書き文字認識手段
４ ジェスチャー認識手段
５ 認識結果記憶手段
６ 記憶文字の繰り返し出力処理手段
７ 認識結果表示手段
８ 繰り返しジェスチャー認識手段
１０６ 認識用辞書
Claims (6)
- 手書きパターンを入力する入力手段と、
前記入力された手書きパターンが、所定のジェスチャーパターンであり、かつ当該手書きパターンの下に文字列が存在するかを判定するジェスチャー判定手段と、
前記ジェスチャー判定手段により前記入力された手書きパターンが前記所定のジェスチャーパターンであり、かつ当該手書きパターンの下に文字列が存在すると判定された場合、当該手書きパターンの下に存在する文字列を繰り返し出力する文字列として特定する特定手段と、
前記特定手段により特定された文字列の長さと、前記手書きパターンの長さとに基づいて、繰り返し出力する回数を決定する決定手段と、
前記決定手段で決定された回数だけ、前記特定手段で特定された文字列を繰り返し出力する出力手段と
を備えることを特徴とする手書きパターン処理装置。 - 前記決定手段は、前記手書きパターンの長さから当該手書きパターンの下に存在する文字列の長さを除いた長さを、当該文字列の長さで割った結果に基づいて、前記繰り返し出力する回数を決定することを特徴とする請求項１に記載の手書きパターン処理装置。
- 前記決定手段は、前記割った結果が整数でない場合、前記文字列を当該結果の整数部分に対応する回数だけ繰り返し出力するとともに、当該結果の整数に満たない部分に対応する長さだけ前記文字列の部分文字列を出力するように決定することを特徴とする請求項２に記載の手書きパターン処理装置。
- 前記ジェスチャー判定手段は、前記入力された手書きパターンの長さが所定の長さ以上であるか否かに基づいて、前記入力された手書きパターンが、所定のジェスチャーパターンであるかを判定することを特徴とする請求項１に記載の手書きパターン処理装置。
- 更に、前記ジェスチャー判定手段でジェスチャーパターンであると判定されなかった手書きパターンを文字認識する文字認識手段を備えることを特徴とする請求項１に記載の手書きパターン処理装置。
- 入力された手書きパターンが、所定のジェスチャーパターンであり、かつ当該手書きパターンの下に文字列が存在するかを判定するジェスチャー判定工程と、
前記ジェスチャー判定工程により前記入力された手書きパターンが前記所定のジェスチャーパターンであり、かつ当該手書きパターンの下に文字列が存在すると判定された場合、当該手書きパターンの下に存在する文字列を繰り返し出力する文字列として特定する特定工程と、
前記特定工程により特定された文字列の長さと、前記手書きパターンの長さとに基づいて、繰り返し出力する回数を決定する決定工程と、
前記決定工程で決定された回数だけ、前記特定手段で特定された文字列を繰り返し出力する出力工程と
を備えることを特徴とする手書きパターン処理方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19410196A JP3839877B2 (ja) | 1996-07-05 | 1996-07-05 | 手書きパターン処理装置及び手書きパターン処理方法 |
| US08/888,044 US6282316B1 (en) | 1996-07-05 | 1997-07-03 | Image processing method and apparatus that use handwritten gestures for editing |
| DE69717730T DE69717730T2 (de) | 1996-07-05 | 1997-07-04 | Verfahren und Vorrichtung zur Bildverarbeitung |
| EP97111333A EP0816995B1 (en) | 1996-07-05 | 1997-07-04 | Image processing method and apparatus |
| HK98105859A HK1006645A1 (en) | 1996-07-05 | 1998-06-22 | Image processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19410196A JP3839877B2 (ja) | 1996-07-05 | 1996-07-05 | 手書きパターン処理装置及び手書きパターン処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1020995A JPH1020995A (ja) | 1998-01-23 |
| JP3839877B2 true JP3839877B2 (ja) | 2006-11-01 |
Family
ID=16318969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19410196A Expired - Fee Related JP3839877B2 (ja) | 1996-07-05 | 1996-07-05 | 手書きパターン処理装置及び手書きパターン処理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6282316B1 (ja) |
| EP (1) | EP0816995B1 (ja) |
| JP (1) | JP3839877B2 (ja) |
| DE (1) | DE69717730T2 (ja) |
| HK (1) | HK1006645A1 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6610917B2 (en) * | 1998-05-15 | 2003-08-26 | Lester F. Ludwig | Activity indication, external source, and processing loop provisions for driven vibrating-element environments |
| US7170499B1 (en) * | 1999-05-25 | 2007-01-30 | Silverbrook Research Pty Ltd | Handwritten text capture via interface surface |
| US7925987B2 (en) * | 2002-05-14 | 2011-04-12 | Microsoft Corporation | Entry and editing of electronic ink |
| US7158675B2 (en) | 2002-05-14 | 2007-01-02 | Microsoft Corporation | Interfacing with ink |
| US20030214531A1 (en) * | 2002-05-14 | 2003-11-20 | Microsoft Corporation | Ink input mechanisms |
| US20030214553A1 (en) * | 2002-05-14 | 2003-11-20 | Microsoft Corporation | Ink regions in an overlay control |
| US8166388B2 (en) | 2002-05-14 | 2012-04-24 | Microsoft Corporation | Overlaying electronic ink |
| US20040119762A1 (en) * | 2002-12-24 | 2004-06-24 | Fuji Xerox Co., Ltd. | Systems and methods for freeform pasting |
| US7372993B2 (en) * | 2004-07-21 | 2008-05-13 | Hewlett-Packard Development Company, L.P. | Gesture recognition |
| US20080168402A1 (en) | 2007-01-07 | 2008-07-10 | Christopher Blumenberg | Application Programming Interfaces for Gesture Operations |
| US20080168478A1 (en) | 2007-01-07 | 2008-07-10 | Andrew Platzer | Application Programming Interfaces for Scrolling |
| JP4827803B2 (ja) * | 2007-07-11 | 2011-11-30 | 京セラミタ株式会社 | ユーザ認証方法、ユーザ認証装置及び画像形成装置 |
| US8645827B2 (en) | 2008-03-04 | 2014-02-04 | Apple Inc. | Touch event model |
| JP5455364B2 (ja) * | 2008-12-26 | 2014-03-26 | キヤノン株式会社 | 情報処理装置及び軌跡データ認識方法 |
| US9684521B2 (en) | 2010-01-26 | 2017-06-20 | Apple Inc. | Systems having discrete and continuous gesture recognizers |
| US8566045B2 (en) * | 2009-03-16 | 2013-10-22 | Apple Inc. | Event recognition |
| DE102012020610A1 (de) * | 2012-10-19 | 2014-04-24 | Audi Ag | Kraftwagen mit einem Handschrifterkennungssystem |
| JP2014186558A (ja) * | 2013-03-22 | 2014-10-02 | Sharp Corp | 情報処理装置および情報処理装置の制御方法 |
| US9733716B2 (en) | 2013-06-09 | 2017-08-15 | Apple Inc. | Proxy gesture recognizer |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02268388A (ja) * | 1989-04-10 | 1990-11-02 | Hitachi Ltd | 文字認識方法 |
| US4972469A (en) * | 1989-05-19 | 1990-11-20 | Syntellect Inc. | System and method for communications security protection |
| US5848187A (en) * | 1991-11-18 | 1998-12-08 | Compaq Computer Corporation | Method and apparatus for entering and manipulating spreadsheet cell data |
| US5539427A (en) * | 1992-02-10 | 1996-07-23 | Compaq Computer Corporation | Graphic indexing system |
| US5523775A (en) * | 1992-05-26 | 1996-06-04 | Apple Computer, Inc. | Method for selecting objects on a computer display |
| JPH0619615A (ja) * | 1992-06-29 | 1994-01-28 | Matsushita Electric Ind Co Ltd | 手書き文字入力装置 |
| US5583543A (en) * | 1992-11-05 | 1996-12-10 | Sharp Kabushiki Kaisha | Pen input processing apparatus |
| US5448475A (en) * | 1992-11-18 | 1995-09-05 | Sharp Kabushiki Kaisha | Word processing apparatus with handwriting input function |
| US5428805A (en) * | 1992-12-22 | 1995-06-27 | Morgan; Michael W. | Method and apparatus for recognizing and performing handwritten calculations |
| US5761340A (en) * | 1993-04-28 | 1998-06-02 | Casio Computer Co., Ltd. | Data editing method and system for a pen type input device |
| JP3167500B2 (ja) * | 1993-05-19 | 2001-05-21 | 富士通株式会社 | 手書き情報入力処理方式 |
| US5517578A (en) * | 1993-05-20 | 1996-05-14 | Aha! Software Corporation | Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings |
| US5500937A (en) * | 1993-09-08 | 1996-03-19 | Apple Computer, Inc. | Method and apparatus for editing an inked object while simultaneously displaying its recognized object |
| JP3416268B2 (ja) * | 1994-06-30 | 2003-06-16 | キヤノン株式会社 | 画像認識装置及びその方法 |
| JPH0816313A (ja) * | 1994-07-04 | 1996-01-19 | Sanyo Electric Co Ltd | 手書き入力方法及び装置 |
| US5745719A (en) * | 1995-01-19 | 1998-04-28 | Falcon; Fernando D. | Commands functions invoked from movement of a control input device |
-
1996
- 1996-07-05 JP JP19410196A patent/JP3839877B2/ja not_active Expired - Fee Related
-
1997
- 1997-07-03 US US08/888,044 patent/US6282316B1/en not_active Expired - Lifetime
- 1997-07-04 DE DE69717730T patent/DE69717730T2/de not_active Expired - Lifetime
- 1997-07-04 EP EP97111333A patent/EP0816995B1/en not_active Expired - Lifetime
-
1998
- 1998-06-22 HK HK98105859A patent/HK1006645A1/xx not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| US6282316B1 (en) | 2001-08-28 |
| DE69717730D1 (de) | 2003-01-23 |
| DE69717730T2 (de) | 2003-05-22 |
| EP0816995A1 (en) | 1998-01-07 |
| JPH1020995A (ja) | 1998-01-23 |
| EP0816995B1 (en) | 2002-12-11 |
| HK1006645A1 (en) | 1999-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3839877B2 (ja) | 手書きパターン処理装置及び手書きパターン処理方法 | |
| JPH07146918A (ja) | 手書き文字認識装置 | |
| JP2740575B2 (ja) | 文字処理装置 | |
| JPS60136890A (ja) | 実時間手書き軌跡認識装置 | |
| US6272243B1 (en) | Method and apparatus for entering characters into a writing recognizer | |
| JP3422634B2 (ja) | 手書き文字認識方法及び装置 | |
| KR20150145973A (ko) | 글자 인식 방법, 글자 입력 제스쳐를 이용한 학습 시스템 및 글자 획의 애니메이션 효과를 위한 마스킹 방법 | |
| JPS6111891A (ja) | 手書き文字図形認識装置 | |
| JPH0679323B2 (ja) | 毛筆書体発生方法 | |
| JPH10123924A (ja) | 暗記学習支援装置及び暗記学習支援装置制御プログラムを記憶した媒体 | |
| JPS62190565A (ja) | 手書き図形清書装置 | |
| JP3367973B2 (ja) | 文字処理方法及び装置 | |
| JPH0651900A (ja) | オンライン文字入力装置 | |
| JP2922900B2 (ja) | 手書き文字認識装置 | |
| JPS61170877A (ja) | 手書き文字認識装置 | |
| JPS61115181A (ja) | 手書文字認識装置 | |
| JP3242525B2 (ja) | オンライン認識における文字列提示方法 | |
| JPH044165A (ja) | イメージパターン発生装置 | |
| JPH07182455A (ja) | 文字認識装置及び方法 | |
| JPH0610447Y2 (ja) | 画像処理装置 | |
| JPH0962778A (ja) | 文字認識装置 | |
| JPH06208657A (ja) | 文字認識方法及び装置 | |
| JPH0766418B2 (ja) | 手書き文字認識装置 | |
| JP2001052111A (ja) | 文書入力方法、文書入力プログラムを記録した記録媒体及び文書入力装置 | |
| JPH07121659A (ja) | オンライン文字認識の方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060111 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060804 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20030703 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090811 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100811 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110811 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130811 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |