JPH1020995A - 手書き文字認識装置及び方法 - Google Patents

手書き文字認識装置及び方法

Info

Publication number
JPH1020995A
JPH1020995A JP19410196A JP19410196A JPH1020995A JP H1020995 A JPH1020995 A JP H1020995A JP 19410196 A JP19410196 A JP 19410196A JP 19410196 A JP19410196 A JP 19410196A JP H1020995 A JPH1020995 A JP H1020995A
Authority
JP
Japan
Prior art keywords
character
gesture
handwritten
stroke
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP19410196A
Other languages
English (en)
Other versions
JP3839877B2 (ja
Inventor
Tsuneichi Arai
常一 新井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP19410196A priority Critical patent/JP3839877B2/ja
Priority to US08/888,044 priority patent/US6282316B1/en
Priority to EP97111333A priority patent/EP0816995B1/en
Priority to DE69717730T priority patent/DE69717730T2/de
Publication of JPH1020995A publication Critical patent/JPH1020995A/ja
Priority to HK98105859A priority patent/HK1006645A1/xx
Application granted granted Critical
Publication of JP3839877B2 publication Critical patent/JP3839877B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 同一文字の連続複数入力を簡単に行うことが
できる手書き文字認識装置を提供することを目的とす
る。 【解決手段】 手書きペン11による手書き筆跡を位置
座標データに変換する入力手段を用い、その入力手段位
置からの座標データに基づいて手書きのジェスチャーと
手書きの文字を区別する。また、入力された手書き文字
の筆跡の位置座標データと辞書の標準文字パターンとの
照合により認識結果を出す。そして、入力された手書き
のジェスチャーのストロークの長さに応じて、出力する
文字の個数を決定し、その決定された個数だけジェスチ
ャーの直前に書かれた文字を出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ペンで書かれる手
書き文字の筆跡を認識して文字出力する手書き文字認識
装置及び手書き文字認識方法に関するものである。
【0002】
【従来の技術】従来の手書き文字認識装置は、手書き文
字の筆跡ストロークパターンを入力する手段と、予め登
録されている手書き文字パターンとそのパターンに応じ
た文字コードが記憶されている辞書と、入力されたパタ
ーンと辞書パターンを照合する手段とで構成され、通常
1個のパターンに対して1個の文字コードが対応付けら
れている。
【0003】また、前記手段に加え、ユーザがある手書
きパターンと1個または複数の文字コードとをユーザ登
録辞書に登録する手段を設けている手書き文字認識装置
も存在した。
【0004】
【発明が解決しようとする課題】しかしながら、上記従
来の手書き文字認識装置では、「1000」を入力する
場合、1の手書きパターン、0の手書きパターン、0の
手書きパターン、及び0の手書きパターンを入力しなけ
ればならない。数値を入力する場合、連続して同数字を
入力することが往々にして存在するが、上記従来例では
一々同じ数字を手書きで入力しなければならない。
【0005】さらに、認識結果が誤認識の場合が存在
し、同じに書いたつもりでも微妙に手書きパターンが異
なると、「1000」が「10O0」などになり、修正
の手間がかかる場合がある。
【0006】また、ユーザパターン登録手段を設けた手
書き文字認識装置の場合は、「00」に対して手書きパ
ターンA、「000」に対して手書きパターンBを登録
することができる。しかし、色々な場面を想定すると多
くの手書きパターンを登録する必要があり、多くの手書
きパターンを登録して場合に応じて使い分けるのは甚だ
面倒であり、しかも多くのパターンを登録すると誤認識
の問題も生ずるため、実使用時にはあまり現実的ではな
かった。
【0007】本発明は上記従来の問題点に鑑み、同一文
字の連続複数入力を簡単に行うことができる手書き文字
認識装置、及び手書き文字認識方法を提供することを目
的とする。
【0008】
【課題を解決するための手段】上記目的を達成するため
に、第1の発明である手書き文字認識装置は、手書き筆
跡を位置座標データに変換する入力手段と、前記入力手
段から入力される位置座標データに基づいて手書きのジ
ェスチャーと手書きの文字を区別する手書き区別手段
と、入力された手書き文字の筆跡の位置座標データと辞
書の標準文字パターンとの照合により認識結果を出す手
書き文字認識手段と、入力された手書きのジェスチャー
のストロークの長さに応じて、出力する文字の個数を決
定するジェスチャー認識手段と、前記ジェスチャー認識
手段で決定された個数だけジェスチャーの直前に書かれ
た文字を出力する文字出力手段とを備えたものである。
【0009】第2の発明である手書き文字認識装置は、
上記第1の発明における前記ジェスチャー認識手段を、
手書きのジェスチャーのストロークが通過する文字枠の
個数により、出力する文字の個数を決定するようにした
ものである。
【0010】第3の発明である手書き文字認識装置は、
手書き筆跡を位置座標データに変換する入力手段と、前
記入力手段から入力される位置座標データに基づいて手
書きのジェスチャーと手書きの文字を区別する手書き区
別手段と、入力された手書き文字の筆跡の位置座標デー
タと辞書の標準文字パターンとの照合により認識結果を
出す手書き文字認識手段と、入力されたジェスチャーの
ストロークの長さに応じて、出力する文字の個数を決定
するジェスチャー認識手段と、前記ジェスチャー認識手
段で決定された個数だけ前記ジェスチャーのストローク
の下に存在する文字群と同一の文字群を出力する文字出
力手段とを備えたものである。
【0011】第4の発明である手書き文字認識装置で
は、上記第3の発明における前記文字出力手段を、入力
されたジェスチャーのストロークの下に文字が存在する
ときは、その文字のコードを記憶する処理を行ない、ジ
ェスチャーのストロークの下に文字が存在しないとき
は、ジェスチャーのストロークの長さに応じた個数だけ
以前に記憶した文字を出力するようにしたものである。
【0012】第5の発明である手書き文字認識方法で
は、手書き筆跡を位置座標データに変換する入力処理
と、前記入力処理で入力された位置座標データに基づい
て手書きのジェスチャーと手書きの文字を区別する手書
き区別処理と、入力された手書き文字の筆跡の位置座標
データと辞書の標準文字パターンとの照合により認識結
果を出す手書き文字認識処理と、入力された手書きのジ
ェスチャーのストロークの長さに応じて、出力する文字
の個数を決定するジェスチャー認識処理と、前記ジェス
チャー認識処理で決定された個数だけジェスチャーの直
前に書かれた文字を出力する文字出力処理とを実行する
ようにしたものである。
【0013】第6の発明である手書き文字認識方法で
は、上記第5の発明における前記ジェスチャー認識処理
を、手書きのジェスチャーのストロークが通過する文字
枠の個数により、出力する文字の個数を決定するように
したものである。
【0014】第7の発明である手書き文字認識方法で
は、手書き筆跡を位置座標データに変換する入力処理
と、前記入力処理で入力された位置座標データに基づい
て手書きのジェスチャーと手書きの文字を区別する手書
き区別処理と、入力された手書き文字の筆跡の位置座標
データと辞書の標準文字パターンとの照合により認識結
果を出す手書き文字認識処理と、入力されたジェスチャ
ーのストロークの長さに応じて、出力する文字の個数を
決定するジェスチャー認識処理と、前記ジェスチャー認
識処理で決定された個数だけ前記ジェスチャーのストロ
ークの下に存在する文字群と同一の文字群を出力する文
字出力処理とを実行するようにしたものである。
【0015】第8の発明である手書き文字認識方法で
は、上記第7の発明における前記文字出力処理を、入力
されたジェスチャーのストロークの下に文字が存在する
ときは、その文字のコードを記憶する処理を行ない、ジ
ェスチャーのストロークの下に文字が存在しないとき
は、ジェスチャーのストロークの長さに応じた個数だけ
以前に記憶した文字を出力する処理を行うようにしたも
のである。
【0016】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。
【0017】図1は、本発明の第1実施形態に係る手書
き文字認識装置の主要機能部分の構成を示す機能ブロッ
ク図である。
【0018】図中1は、ペンで書かれる手書き文字の筆
跡を入力するための位置座標検出盤等から構成される手
書き文字入力手段である。2は、手書き文字入力手段1
から送られてくる1筆分のストロークの長さから、ジェ
スチャーであるか、文字の一部であるかを切り分ける繰
り返しジェスチャー・文字識別手段である。
【0019】3は、予め作成してある複数の文字の書き
方の標準的特徴が記憶されている認識用辞書106を用
い、特公昭62一39460号公報等に記載されている
特徴点方式のアルゴリズムにより、手書き文字入力手段
1によって入力された筆跡との照合を行い、認識結果と
して文字コード列を出力する手書き文字認識手段であ
る。4は、ジェスチャー・文字識別手段2から送られて
くるジェスチャーストロークの長さから繰り返し出力す
る文字の個数を決定するジェスチャー認識手段である。
【0020】5は、手書き文字認識手段3の認識結果を
1文字分記憶しておく認識結果記憶手段である。6は、
ジェスチャー認識手段4から指示される個数だけ、認識
結果記憶手段5に記憶されている文字コードに対応した
文字の出力指示を認識結果表示手段7へ送る記憶文字の
繰り返し出力処理手段である。7は、液晶等の表示装置
からなる認識結果表示手段である。また、106は手書
き文字認識手段3が用いる認識用辞書である。
【0021】図2は、本実施形態の手書き文字認識装置
の具体的な構成を示す図である。
【0022】同図の100は、本装置全体の制御を司る
CPUである。101は、CPU100の動作処理手順
(後述する図5のフローチャートで示す動作処理手順を
含む)や文字フォントパターンを記憶したROM及びワ
ークエリアとして使用されるRAMから構成されるメモ
リ部である。このメモリ部101内のRAMには、入力
する文字枠の個数分のバッファエリアが確保されてお
り、入力したストローク情報や、認識結果の文字コード
などがそれぞれのバッファエリアに記憶される。
【0023】また、説明が前後するが、実施形態におけ
る手書き文字認識装置は、単に文字列を認識し変換する
だけではなく、入力結果の文字に基づいてローン計算や
文書の編集等のアプリケーションプログラムを実行する
ものである。但し、かかる処理に本発明の特徴があるも
のではないので、その説明は省略する。
【0024】102は液晶等による表示部であって、1
03はCPU100の制御の下で表示部102の表示制
御を行う表示制御部である。この表示制御部103に
は、表示するための文字パターンや、入力したストロー
クの軌跡等を描画するためのメモリ(VRAM)を内蔵
している。104は表示部102の前面に位置する透明
な座標検出盤であって、105はペン11による指示位
置及びペンのアップ/ダウン情報を検出する座標検出部
である。
【0025】106は文字認識に使用される認識用辞書
であり、図1の106と同じものである。また、107
はインターフェース(I/F)であって、例えばプリン
タや外部記憶装置を接続するのに用いられる。109は
文字コード等を入力する一般的なキーボードである。上
記各構成ユニットはバス108を介して接続される。図
3と図4は、本手書き文字認識装置の操作画面例を示す
図である。図3が繰り返しジェスチャーの入力中の画面
であり、図4がジェスチャー認識処理が行なわれた結果
の画面である。なお、ローン計算の数値入力場面を操作
例としたが、ローン計算の処理は本発明の特徴ではない
ので、その説明は省略する。
【0026】図3中の102は出力画面全体であり、図
3の31、32、33、34、35は数値入力領域で、
手書きの数字が入力された場合は数字が認識表示され、
ライン形ストロークのジェスチャーST1が入力された
場合は、ジェスチャー処理が行なわれる。
【0027】図5は、本実施形態の手書き文字認識装置
のジェスチャー・文字識別処理、ジェスチャー認識処
理、及び記憶文字の繰り返し出力処理の手順を表わした
フローチャートであり、このフローチャートを実現する
プログラムはメモリ部101内に格納されている。以
下、主に図3及び図4の操作画面と図5のフローチャー
トによって、文字繰り返しジェスチャーの処理の説明を
行なう。
【0028】図5のステップS100は、ワークの初期
化で、図5のフローチャートで表わされるジェスチャー
認識処理で使用される軌跡データのバッファ等のワーク
記憶領域の初期化を行なう。図5のフローチャートの処
理を開始するタイミングは、ペンアップ時間がある一定
時間以上経過したり、処理開始指示領域をペンで指示さ
れた時とする。
【0029】ステップS101において、1ストローク
分の位置座標データの読み込み処理を行なう。ペン11
で座標検出盤104上に書かれた手書きの軌跡が座標検
出部105からXYの位置座標データとして送られてく
るので、その1ストローク分の位置座標データをワーク
記憶領域に読み込む。ステップS102において、前記
読み込まれたストロークがジェスチャーストロークか文
字のストロークの一部であるかの判断処理が行われる。
本実施形態においては、ライン形のストロークの横幅が
文字の横幅の2文字分以上あるものを文字繰り返しジェ
スチャーとする。
【0030】(読み込まれたストロークの最大X座標−
最小X座標で求めた横幅)/文字の横幅=の答が2以上
である時は、文字繰り返しジェスチャーであるのでステ
ップS103に進み、答2未満である時は文字のストロ
ークの1部であるので、通常の文字認識手段の処理にス
トロークのデータが渡される。
【0031】ステップS102の処理は、入力された全
てのストロークに対して行なわれ、1文字の入力終了や
1ジェスチャーの入力終了時に開始され、全てのストロ
ークの処理が終わると処理が終了する。その後、文字繰
り返しジェスチャーであれば、ステップS103からの
処理が行なわれ、手書き文字であれば、従来からある、
特公昭62一39460号公報等に記載されている特徴
点方式のアルゴリズムにより、入力された筆跡との照合
を行い、認識結果として文字コード列を出力する。操作
画面3の例であると、入力領域31に書かれているライ
ン形のストロークの横幅が4文字以上あるので、文字繰
り返しジェスチャーの処理が行なわれる。
【0032】次にステップS103において、繰り返し
出力する文字の個数を決定する。繰り返しジェスチャー
の横幅と同等の数の文字を繰り返し表示するため、繰り
返しジェスチャーの横幅(ストロークの最大X座標−最
小X座標)/文字の横幅(その時指定されている文字フ
ォントの横幅)=を文字の個数とし、記憶しておく処理
を行なう。操作画面3の例であると、入力領域31に書
かれているストロークの横幅が4文字以上あるので、繰
り返し文字の個数4が記憶される。
【0033】次にステップS104において、図1の認
識結果記憶手段5に記憶されている文字認識結果の文字
コードを読み出す処理を行なう。図1の認識結果記憶手
段5には手書き文字が入力され認識される毎に記憶され
ている訳で、ジェスチャーが書かれた時に読み出すと、
ジェスチャーが入力される直前に書かれた手書き文字の
認識結果が読み出される。操作画面3の例であると、入
力領域31に書かれている繰り返しジェスチャーの直前
に書かれた文字は0であるので、0の文字コードが読み
出される。
【0034】ステップS105において、繰り返しジェ
スチャーのストロークの書かれた位置の左端を起点に、
ステップS104で読み出した文字コードの文字を、決
定された個数だけ出力する。操作画面3の例であると、
ステップS104で0の文字コードが読み出されてお
り、繰り返しジェスチャーのストロークの横幅は4文字
分あり、1850の横に書かれているので、その右横に
0を4個「0000」と出力し、操作画面4の例のよう
に18500000が入力エリア31に入力される訳で
ある。
【0035】このような処理を行なうことにより、同じ
文字を複数連続して入力したい場合は、繰り返したい長
さの繰り返しジェスチャーを入力すれば、簡単に同一文
字を要求する数だけ連続して入力することが実現でき
る。
【0036】このように、本実施形態によれば、入力さ
れたジェスチャーのライン形ストロークの長さに応じて
出力する文字の個数を決定する繰り返しジェスチャー認
識手段を設けたことにより、連続して同じ文字を入力す
る場合、その文字の個数に応じた長さのジェスチャーを
入力すれば、前記手段で決定された個数の同一文字を出
力することができる。
【0037】次に、本発明の第2実施形態を説明する。
【0038】上記第1実施形態においては、手書き文字
の入力エリアには1文字毎の文字枠は存在しなかった
が、本発明は文字枠が存在する場合でも適応できる。そ
の場合、図5のフローチャートの一部を変更すれば可能
である。図6と図7が本第2実施形態の操作画面例であ
り、図6の80〜89は入力文字枠である。図8に変更
したフローチャートを示す。
【0039】図8は、本発明の第2実施形態に係る手書
き文字認識装置のジェスチャー・文字識別処理、ジェス
チャー認識処理、及び記憶文字の繰り返し出力処理の手
順を表わしたフローチャートであり、このフローチャー
トを実現するプログラムはメモリ部101内に格納され
ている。
【0040】本実施形態においては、文字枠を2個以上
横切っていて図6のST2で示す形(以下、この形をカ
ール形という)のストロークを文字繰り返しジェスチャ
ーとする。ステップS100〜ステップS101は、図
5のフローチャートと同じであるので説明を省く。
【0041】ステップS106において、まずジェスチ
ャーストロークと文字ストロークの切り分けを行なう。
まず、ストロークの位置座標点が存在する文字枠の番号
をチェックしていき、1つの文字枠内でストロークが納
まっている場合は、文字ストロークであるので、手書き
文字の認識処理にそのストロークデータを渡し、2つ以
上であれば、ジェスチャーストロークであるのでステッ
プS107へ進む。操作画面例の図6の入力文字枠8
7、88、89に書かれているカール形のストロークS
T2は、3つの文字枠に渡って書かれているので、2つ
以上であるからステップS107に進む。
【0042】ステップS107において、繰り返しジェ
スチャーかその他のジェスチャーであるかのチェックを
行なう。本実施形態ではカール形のストロークを繰り返
しジェスチャーとしているので、入力ストロークの形が
カール形であるかのチェックを行ない、同じ形であれば
ステップS108に進み、それ以外の形(例えばライン
形)であれば他のジェスチャー処理へそのストロークデ
ータを渡す。操作画面例の図6の入力文字枠87、8
8、89に書かれているストロークの形はカール形であ
るから、繰り返しジェスチャーであるので、ステップS
108に進む。
【0043】ステップS108において、繰り返し文字
の個数の決定を行なう。繰り返しジェスチャーのストロ
ークが横切っているストロークの文字枠の個数が繰り返
し出力する文字の個数である。文字枠を区別するための
文字枠の番号が図6のように左から、順に付けられてい
るので、ジェスチャーストロークの終了点の文字枠の番
号−ジェスチャーストロークの開始点の文字枠の番号+
1=繰り返し文字の個数である。操作画面例の図6の繰
り返しジェスチャーの場合、終了点の文字枠の番号が8
9であり、開始点の文字枠の番号が87であるので89
一87+1=3となり繰り返し個数は3個になる。
【0044】ステップS104、S105の処理は図5
のフローチャートと同様なので説明を省略する。図6の
例の「12345」が入力された後にカール形ストロー
クの繰り返しジェスチャーが入力され、繰り返し個数は
3個であるので、「5」が3個出力され、図7のように
「12345555」になる。
【0045】このように処理を行なうことにより、同じ
文字を複数連続して入力したい場合は、繰り返したい長
さの繰り返しジェスチャーを入力すれば、簡単に同一文
字を要求する数だけ連続して入力することが実現でき、
この実施形態では文字枠で個数を決定するので繰り返し
個数が明確に指示できるという利点がある。
【0046】次に本発明の第3実施形態を説明する。
【0047】上記第1及び第2実施形態においては、繰
り返しジェスチャーの繰り返し出力の対象は1文字であ
ったが、複数の連続した文字を対象とする実施形態も考
えられる。この第3実施形態の場合は、第1実施形態の
構成図を、図9のように変更する。
【0048】図9は、本発明の第3実施形態に係る手書
き文字認識装置の主要機能部分の構成を示す機能ブロッ
ク図である。
【0049】図9の1、2、3、106、6、7、に関
しては、図1の構成と同じであるので説明は省略する。
図1の文字認識結果を1個だけ記憶しておく認識結果記
憶手段5は削除され、繰り返し文字を記憶し繰り返し文
字の個数を決定する処理は繰り返しジェスチャー認識手
段8で行なわれる。図10と図11は本実施形態の操作
画面例である。図10中の71、72、73は数値入力
領域であり、ST3がライン形ストロークの文字繰り返
しジェスチャーである。
【0050】図12は、本実施形態の繰り返しジェスチ
ャー認識手段8の処理を表わしたフローチャートであ
り、このフローチャートを実現するプログラムはメモリ
部101内に格納されている。この図12のフローチャ
ートに沿って処理を説明していく。なお、ステップS1
00、S101、S102は図5のフローチャートで説
明したのと同様な処理を行なう。本実施形態において
は、ライン形のストロークの長さが2文字以上で、スト
ロークの下に文字が存在する時に、そのストロークを文
字繰り返しジェスチャーとして認識し処理を行なうこと
とする。
【0051】ステップS101で1ストローク分の位置
座標データをワークバッファに読み込む処理を行なう。
ステップS102でステップS101で読み込んだスト
ロークの長さのチェックを行ない、ストロークの横幅が
2文字分以上ある時はステップS121に進み、1文字
分である場合は手書き文字認識手段3にストロークデー
タを渡す。
【0052】図10の例では、数値入力領域71に書か
れているストロークは2文字以上の横幅があるので繰り
返しジェスチャーであり、ステップS121に進む。ス
テップS121において、ストロークの下に文字が存在
するかのチェックを行なう。ストロークの下に文字が存
在する時は繰り返しジェスチャーであるので、ステップ
S122に進み、ストロークの下に文字が存在しない時
は繰り返しジェスチャーではないので、このフローチャ
ートの処理は終了する。
【0053】文字のサイズが16×16ドットのとき
は、その文字の領域である16×16のエリアをストロ
ークが横切る状態を、ストロークの下に文字がある状態
とする。図10の入力領域71のように「10」の上を
ストロークは横切っているのでステップS122に進
む。
【0054】ステップS122において、ストロークの
下に存在する文字を繰り返し出力する文字として記憶領
域に記憶する。図10の例であると繰り返しジェスチャ
ーのストロークの下には「10」が存在するので「1
0」が記憶される。この記憶される文字は、漢字英数記
号でも問題がないのはいうまでもない。
【0055】ステップS123で、繰り返しジェスチャ
ーの出力する文字群の個数を決定する。ストロークの下
の文字群の右端から終点までのストロークの横幅と同等
の文字群の個数を出力する。
【0056】(ストローク最大X座標−ストロークの下
の文字の最大X座標)/ストローク下の文字の横幅=繰
り返し回数とする。
【0057】図10の例であると、 (ストロークの終点の座標−「0」の文字の右端の座
標)/「10」の文字の横幅=3 となり繰り返し回数は3回となる。
【0058】次にステップS124において、ジェスチ
ャーストローク下の文字の右端を起点に記憶した文字コ
ードの文字群を決定された個数だけ出力する。ステップ
S122で記憶した文字群をステップS123で決定し
た回数だけ出力する処理を行なう。図10の例である
と、ステップS122で「10」が記憶され、ステップ
S123で回数が3と決定しているので、図11の例の
ように「101010」と出力される。もし、ステップ
S123での決定回数が2.5であれば、記憶された文
字列が2文字列と文字列の半分が出力され、「1010
1」になる。
【0059】このように処理を行なうことにより、同じ
文字列を複数連続して入力したい場合は、繰り返したい
長さの繰り返しジェスチャーを入力すれば、簡単に同一
文字列を要求する数だけ連続して入力することが実現で
きる。
【0060】次に本発明の第4実施形態を説明する。
【0061】上記第3実施形態では、繰り返しジェスチ
ャーの処理において、繰り返し文字列の指定と繰り返し
出力数の決定を1つの繰り返しジェスチャーストローク
で行なったが、繰り返し文字列の指定ジェスチャーと繰
り返し出力数指定ジェスチャーの2つで実現する実施形
態も考えられる。本実施形態は、繰り返しジェスチャー
のストロークの形はライン形とするが、ストロークの下
に文字がある場合は繰り返し文字列の指定ジェスチャー
として、文字列を記憶する処理を行ない、ストローク下
に文字が存在しない場合は繰り返し出力数指定ジェスチ
ャーとし、指定された数の文字列を出力する処理を行な
うものである。
【0062】本実施形態の主要部分の構成は上記第3実
施形態の図9と同じなので説明を省略する。図13、図
14及び図15は本実施形態の操作画面例である。図1
3の91、92、93が数値入力領域であり、ST4が
ストロークである。
【0063】図16は、第4実施形態の繰り返しジェス
チャー認識手段8の処理を表わしたフローチャートであ
り、このフローチャートを実現するプログラムはメモリ
部101内に格納されている。図16のフローチャート
に沿って処理を説明していく。
【0064】ステップS100、S101、S102は
図5のフローチャートで説明したのと同様な処理を行な
う。ステップS101で1ストローク分の位置座標デー
タをワークバッファに読み込む処理を行なう。ステップ
S102でステップS101で読み込んだストロークの
長さのチェックを行ない、ストロークの横幅が2文字分
以上ある時はステップS121に進み、1文字分である
場合は手書き文字認識手段3にストロークデータを渡
す。図13の例では数値入力領域71に書かれているス
トロークは2文字以上の横幅があるので繰り返しジェス
チャーであり、ステップS121に進む。
【0065】ステップS121において、繰り返し文字
列の指定ジェスチャーであるか、繰り返し出力数指定ジ
ェスチャーであるかを判別するために、ストローク下に
文字列が存在するか、存在しないかのチェックを行な
う。ストローク下に文字が存在する場合は、ステップS
161の処理に進み、ストローク下に文字が存在しない
時は、ステップS162の処理に進む。図13の例であ
ると、入力領域91のストローク下には文字列「7
8」が存在するので、ステップS161の処理へ進む。
一方、図14の例であると、入力領域92のストローク
下には文字が存在しないため、ステップS162に進
む。
【0066】ステップS161において、ストロークの
下に存在する文字列の文字コードを繰り返し出力する文
字列として記憶領域に記憶する。図13の例であると入
力領域91のストローク下には文字列「7 8」が存在
するので、「7 8」の文字コードを記憶する。
【0067】ステップS162においては、繰り返し出
力する文字列の記憶領域に文字列が記憶されているかの
チェックを行なう。繰り返し出力する文字列の記憶領域
に文字列が記憶されている場合は、ステップS163に
進み、記憶されていない場合は、この繰り返しジェスチ
ャーのフローチャートの処理を終了する。
【0068】図13の操作例の次に図14の操作例が行
われた場合、図13の例で繰り返し出力する文字列の記
憶領域には「7 8」が記憶されているので、次に図1
4で繰り返し出力数指定ジェスチャーが書かれた場合
は、ステップS163に進む。
【0069】ステップS163において、出力する文字
列の繰り返し回数を決定する処理を行なう。繰り返しジ
ェスチャーの横幅と同等の数の文字列を繰り返し表示す
るため、繰り返しジェスチャーの横幅(ストロークの最
大X座標−最小X座標)/文字列の横幅(その時指定さ
れている文字フォントの横幅×文字列の文字の個数)=
繰り返し回数とする。
【0070】図14の例であると、入力領域92のスト
ロークの横幅は8文字分あり、図13の例で記憶された
文字列は2文字分であるので、8/2=4となり、繰り
返し回数は4回である。本実施形態では、ジェスチャー
ストロークが入力され、ペンアップした時点でジェスチ
ャー認識処理を行なっているが、ペンで押下され位置座
標点が入力される毎にジェスチャーストロークである
か、文字のストロークであるかのチェック処理を行な
い、図14の例の入力領域92の繰り返し出力数指定ジ
ェスチャーのストロークが書かれていく場合に、リアル
タイムに、(現在のX座標−ストロークの開始点のX座
標)/文字フォントの横幅=の計算を行ない、出力文字
の仮想個数表示(図17の点線枠)92aを行なうと、
よりユーザに使い易い繰り返しジエスチャー処理を提供
することができる。
【0071】ステップS164において、繰り返し出力
数指定ジェスチャーの左端を起点に指定された文字列を
指定された回数だけ出力する処理を行なう。図13の例
であると「7 8」が記憶され、図14の例で、入力領
域92に繰り返し出力数指定ジェスチャーが入力され、
ステップS163において出力回数が4回と決定してい
るので、図14の例のように、領域92に「78787
878」と出力表示される。
【0072】このように処理を行なうことにより、同じ
文字列を別の行等の離れた場所に複数連続して入力した
い場合は、繰り返し出力したい文字列の上で繰り返し文
字列の指定ジェスチャーを入力し、出力したい場所で繰
り返したい長さの繰り返し数指定ジェスチャーを入力す
れば、簡単に同一文字列を要求する数だけ連続して離れ
た場所にも入力することができる。
【0073】なお、本発明は、複数の機器から構成され
るシステムに適用しても、1つの機器からなる手書き文
字認識装置に適用してもよい。また、本発明は、システ
ムあるいは手書き文字認識装置にプログラムを供給する
ことによって達成される場合にも適用できることはいう
までもない。この場合、本発明を達成するためのソフト
ウェアによって表されるプログラムを格納した記憶媒体
を該システムあるいは手書き文字認識装置に読み出すこ
とによって、そのシステムあるいは手書き文字認識装置
が、本発明の効果を享受することが可能となる。
【0074】
【発明の効果】以上詳述したように、第1及び第5の発
明によれば、入力された手書きのジェスチャーのストロ
ークの長さに応じて、出力する文字の個数を決定し、そ
の決定された個数だけジェスチャーの直前に書かれた文
字を出力するようにしたので、連続して同じ文字を入力
する場合、その文字の個数に応じた長さのジェスチャー
を入力すれば、簡単に複数の文字を指定数だけ入力する
ことができる。これにより、例えば繰り返し同様な数値
を複数入力する場面で、装置の使い易さを著しく向上さ
せる。
【0075】第2及び第6の発明によれば、手書きのジ
ェスチャーのストロークが通過する文字枠の個数によ
り、出力する文字の個数を決定するようにしたので、例
えば繰り返し同様な数値を複数入力する場面での装置の
使い易さが、より一層向上する。
【0076】第3及び第7の発明によれば、入力された
ジェスチャーのストロークの長さに応じて、出力する文
字の個数を決定し、その決定された個数だけ前記ジェス
チャーのストロークの下に存在する文字群と同一の文字
群を出力するようにしたので、多様な同一文字の繰り返
し複数入力を可能とする。
【0077】第4及び図8の発明によれば、入力された
ジェスチャーのストロークの下に文字が存在するとき
は、その文字のコードを記憶する処理を行ない、ジェス
チャーのストロークの下に文字が存在しないときは、ジ
ェスチャーのストロークの長さに応じた個数だけ以前に
記憶した文字を出力するようにしたので、第3及び第7
の発明よりも、装置の使い易さがより一層向上する。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る手書き文字認識装
置の主要機能部分の構成を示す機能ブロック図である。
【図2】第1実施形態の手書き文字認識装置の具体的な
構成を示す図である。
【図3】第1実施形態における繰り返しジェスチャーの
入力中の画面を示す図である。
【図4】第1実施形態におけるジェスチャー認識処理が
行なわれた結果の画面を示す図である。
【図5】第1実施形態におけるジェスチャー・文字識別
処理、ジェスチャー認識処理、及び記憶文字の繰り返し
出力処理の手順を表わしたフローチャートである。
【図6】第2実施形態の操作画面例を示す図である。
【図7】第2実施形態の操作画面例を示す図である。
【図8】第2実施形態におけるジェスチャー・文字識別
処理、ジェスチャー認識処理、及び記憶文字の繰り返し
出力処理の手順を表わしたフローチャートである。
【図9】第3実施形態に係る手書き文字認識装置の主要
機能部分の構成を示す機能ブロック図である。
【図10】第3実施形態の操作画面例である。
【図11】第3実施形態の操作画面例である。
【図12】第3実施形態の繰り返しジェスチャー認識手
段8の処理を表わしたフローチャートである。
【図13】第4実施形態の操作画面例である。
【図14】第4実施形態の操作画面例である。
【図15】第4実施形態の操作画面例である。
【図16】第4実施形態の繰り返しジェスチャー認識手
段8の処理を表わしたフローチャートである。
【図17】出力文字の仮想個数表示を示す図である。
【符号の説明】
1 手書き文字入力手段 2 ジェスチャー・文字識別手段 3 手書き文字認識手段 4 ジェスチャー認識手段 5 認識結果記憶手段 6 記憶文字の繰り返し出力処理手段 7 認識結果表示手段 8 繰り返しジェスチャー認識手段 106 認識用辞書

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 手書き筆跡を位置座標データに変換する
    入力手段と、 前記入力手段から入力される位置座標データに基づいて
    手書きのジェスチャーと手書きの文字を区別する手書き
    区別手段と、 入力された手書き文字の筆跡の位置座標データと辞書の
    標準文字パターンとの照合により認識結果を出す手書き
    文字認識手段と、 入力された手書きのジェスチャーのストロークの長さに
    応じて、出力する文字の個数を決定するジェスチャー認
    識手段と、 前記ジェスチャー認識手段で決定された個数だけジェス
    チャーの直前に書かれた文字を出力する文字出力手段と
    を備えたことを特徴とする手書き文字認識装置。
  2. 【請求項2】 前記ジェスチャー認識手段は、 手書きのジェスチャーのストロークが通過する文字枠の
    個数により、出力する文字の個数を決定することを特徴
    とする請求項1記載の手書き文字認識装置。
  3. 【請求項3】 手書き筆跡を位置座標データに変換する
    入力手段と、 前記入力手段から入力される位置座標データに基づいて
    手書きのジェスチャーと手書きの文字を区別する手書き
    区別手段と、 入力された手書き文字の筆跡の位置座標データと辞書の
    標準文字パターンとの照合により認識結果を出す手書き
    文字認識手段と、 入力されたジェスチャーのストロークの長さに応じて、
    出力する文字の個数を決定するジェスチャー認識手段
    と、 前記ジェスチャー認識手段で決定された個数だけ前記ジ
    ェスチャーのストロークの下に存在する文字群と同一の
    文字群を出力する文字出力手段とを備えたことを特徴と
    する手書き文字認識装置。
  4. 【請求項4】 前記文字出力手段は、 入力されたジェスチャーのストロークの下に文字が存在
    するときは、その文字のコードを記憶する処理を行な
    い、ジェスチャーのストロークの下に文字が存在しない
    ときは、ジェスチャーのストロークの長さに応じた個数
    だけ以前に記憶した文字を出力することを特徴とする請
    求項3記載の手書き文字認識装置。
  5. 【請求項5】 手書き筆跡を位置座標データに変換する
    入力処理と、 前記入力処理で入力された位置座標データに基づいて手
    書きのジェスチャーと手書きの文字を区別する手書き区
    別処理と、 入力された手書き文字の筆跡の位置座標データと辞書の
    標準文字パターンとの照合により認識結果を出す手書き
    文字認識処理と、 入力された手書きのジェスチャーのストロークの長さに
    応じて、出力する文字の個数を決定するジェスチャー認
    識処理と、 前記ジェスチャー認識処理で決定された個数だけジェス
    チャーの直前に書かれた文字を出力する文字出力処理と
    を実行することを特徴とする手書き文字認識方法。
  6. 【請求項6】 前記ジェスチャー認識処理は、 手書きのジェスチャーのストロークが通過する文字枠の
    個数により、出力する文字の個数を決定することを特徴
    とする請求項5記載の手書き文字認識方法。
  7. 【請求項7】 手書き筆跡を位置座標データに変換する
    入力処理と、 前記入力処理で入力された位置座標データに基づいて手
    書きのジェスチャーと手書きの文字を区別する手書き区
    別処理と、 入力された手書き文字の筆跡の位置座標データと辞書の
    標準文字パターンとの照合により認識結果を出す手書き
    文字認識処理と、 入力されたジェスチャーのストロークの長さに応じて、
    出力する文字の個数を決定するジェスチャー認識処理
    と、 前記ジェスチャー認識処理で決定された個数だけ前記ジ
    ェスチャーのストロークの下に存在する文字群と同一の
    文字群を出力する文字出力処理とを実行することを特徴
    とする手書き文字認識方法。
  8. 【請求項8】 前記文字出力処理は、 入力されたジェスチャーのストロークの下に文字が存在
    するときは、その文字のコードを記憶する処理を行な
    い、ジェスチャーのストロークの下に文字が存在しない
    ときは、ジェスチャーのストロークの長さに応じた個数
    だけ以前に記憶した文字を出力する処理を行うことを特
    徴とする請求項7記載の手書き文字認識方法。
JP19410196A 1996-07-05 1996-07-05 手書きパターン処理装置及び手書きパターン処理方法 Expired - Fee Related JP3839877B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP19410196A JP3839877B2 (ja) 1996-07-05 1996-07-05 手書きパターン処理装置及び手書きパターン処理方法
US08/888,044 US6282316B1 (en) 1996-07-05 1997-07-03 Image processing method and apparatus that use handwritten gestures for editing
EP97111333A EP0816995B1 (en) 1996-07-05 1997-07-04 Image processing method and apparatus
DE69717730T DE69717730T2 (de) 1996-07-05 1997-07-04 Verfahren und Vorrichtung zur Bildverarbeitung
HK98105859A HK1006645A1 (en) 1996-07-05 1998-06-22 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19410196A JP3839877B2 (ja) 1996-07-05 1996-07-05 手書きパターン処理装置及び手書きパターン処理方法

Publications (2)

Publication Number Publication Date
JPH1020995A true JPH1020995A (ja) 1998-01-23
JP3839877B2 JP3839877B2 (ja) 2006-11-01

Family

ID=16318969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19410196A Expired - Fee Related JP3839877B2 (ja) 1996-07-05 1996-07-05 手書きパターン処理装置及び手書きパターン処理方法

Country Status (5)

Country Link
US (1) US6282316B1 (ja)
EP (1) EP0816995B1 (ja)
JP (1) JP3839877B2 (ja)
DE (1) DE69717730T2 (ja)
HK (1) HK1006645A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004206701A (ja) * 2002-12-24 2004-07-22 Fuji Xerox Co Ltd 自由形状ペースト処理システム、方法及びプログラム
JP2009020691A (ja) * 2007-07-11 2009-01-29 Kyocera Mita Corp ユーザ認証方法、ユーザ認証装置及び画像形成装置
JP2014186558A (ja) * 2013-03-22 2014-10-02 Sharp Corp 情報処理装置および情報処理装置の制御方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6610917B2 (en) * 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US7106888B1 (en) * 1999-05-25 2006-09-12 Silverbrook Research Pty Ltd Signature capture via interface surface
US7158675B2 (en) * 2002-05-14 2007-01-02 Microsoft Corporation Interfacing with ink
US20030214531A1 (en) * 2002-05-14 2003-11-20 Microsoft Corporation Ink input mechanisms
US20030214553A1 (en) * 2002-05-14 2003-11-20 Microsoft Corporation Ink regions in an overlay control
US7925987B2 (en) * 2002-05-14 2011-04-12 Microsoft Corporation Entry and editing of electronic ink
US8166388B2 (en) 2002-05-14 2012-04-24 Microsoft Corporation Overlaying electronic ink
US7372993B2 (en) * 2004-07-21 2008-05-13 Hewlett-Packard Development Company, L.P. Gesture recognition
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
JP5455364B2 (ja) * 2008-12-26 2014-03-26 キヤノン株式会社 情報処理装置及び軌跡データ認識方法
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
DE102012020610A1 (de) * 2012-10-19 2014-04-24 Audi Ag Kraftwagen mit einem Handschrifterkennungssystem
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02268388A (ja) * 1989-04-10 1990-11-02 Hitachi Ltd 文字認識方法
CA2033983C (en) * 1989-05-19 1994-10-18 John M. Saltwick System and method for communications security protection
US5848187A (en) * 1991-11-18 1998-12-08 Compaq Computer Corporation Method and apparatus for entering and manipulating spreadsheet cell data
US5539427A (en) * 1992-02-10 1996-07-23 Compaq Computer Corporation Graphic indexing system
US5523775A (en) * 1992-05-26 1996-06-04 Apple Computer, Inc. Method for selecting objects on a computer display
JPH0619615A (ja) * 1992-06-29 1994-01-28 Matsushita Electric Ind Co Ltd 手書き文字入力装置
US5583543A (en) * 1992-11-05 1996-12-10 Sharp Kabushiki Kaisha Pen input processing apparatus
US5448475A (en) * 1992-11-18 1995-09-05 Sharp Kabushiki Kaisha Word processing apparatus with handwriting input function
US5428805A (en) * 1992-12-22 1995-06-27 Morgan; Michael W. Method and apparatus for recognizing and performing handwritten calculations
US5761340A (en) * 1993-04-28 1998-06-02 Casio Computer Co., Ltd. Data editing method and system for a pen type input device
JP3167500B2 (ja) * 1993-05-19 2001-05-21 富士通株式会社 手書き情報入力処理方式
US5517578A (en) * 1993-05-20 1996-05-14 Aha! Software Corporation Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings
US5500937A (en) * 1993-09-08 1996-03-19 Apple Computer, Inc. Method and apparatus for editing an inked object while simultaneously displaying its recognized object
JP3416268B2 (ja) * 1994-06-30 2003-06-16 キヤノン株式会社 画像認識装置及びその方法
JPH0816313A (ja) * 1994-07-04 1996-01-19 Sanyo Electric Co Ltd 手書き入力方法及び装置
US5745719A (en) * 1995-01-19 1998-04-28 Falcon; Fernando D. Commands functions invoked from movement of a control input device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004206701A (ja) * 2002-12-24 2004-07-22 Fuji Xerox Co Ltd 自由形状ペースト処理システム、方法及びプログラム
JP2009020691A (ja) * 2007-07-11 2009-01-29 Kyocera Mita Corp ユーザ認証方法、ユーザ認証装置及び画像形成装置
JP2014186558A (ja) * 2013-03-22 2014-10-02 Sharp Corp 情報処理装置および情報処理装置の制御方法

Also Published As

Publication number Publication date
DE69717730D1 (de) 2003-01-23
JP3839877B2 (ja) 2006-11-01
HK1006645A1 (en) 1999-03-12
US6282316B1 (en) 2001-08-28
DE69717730T2 (de) 2003-05-22
EP0816995B1 (en) 2002-12-11
EP0816995A1 (en) 1998-01-07

Similar Documents

Publication Publication Date Title
JPH1020995A (ja) 手書き文字認識装置及び方法
US5481278A (en) Information processing apparatus
US6938220B1 (en) Information processing apparatus
EP0607926B1 (en) Information processing apparatus with a gesture editing function
KR100219786B1 (ko) 문자패턴의 사용자 사전으로의 등록방법 및 그 사용자 사전을 갖는 문자인식장치
JP2001005599A (ja) 情報処理装置及び情報処理方法並びに情報処理プログラムを記録した記録媒体
JPH06337856A (ja) 手書き文字入力装置
JPH03175593A (ja) オンライン文字認識装置
JP3353954B2 (ja) 手書き入力表示方法および手書き入力表示装置
JPH08305821A (ja) データ処理方法とその装置
JPH09231393A (ja) 命令入力装置
TWI321757B (en) Presenting recognised handwritten symbols
JP3782467B2 (ja) 文字入力方法及び装置
JPS6111891A (ja) 手書き文字図形認識装置
JPH0442316A (ja) 電子計算機
JPH0651900A (ja) オンライン文字入力装置
JP2922900B2 (ja) 手書き文字認識装置
JP3367973B2 (ja) 文字処理方法及び装置
JPH06301811A (ja) 手書き文字入力装置
JPH08153162A (ja) オンライン手書き文字入力方法
JPS62159280A (ja) 文章入力装置
JPS62190565A (ja) 手書き図形清書装置
JP3012269B2 (ja) 印刷制御装置
JPH087034A (ja) 手書き文字認識入力装置
JPH1097531A (ja) 文書編集装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060111

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060804

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20030703

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100811

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110811

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130811

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees