JP3841953B2 - Pen-type input device and character recognition method - Google Patents

Pen-type input device and character recognition method Download PDF

Info

Publication number
JP3841953B2
JP3841953B2 JP9710898A JP9710898A JP3841953B2 JP 3841953 B2 JP3841953 B2 JP 3841953B2 JP 9710898 A JP9710898 A JP 9710898A JP 9710898 A JP9710898 A JP 9710898A JP 3841953 B2 JP3841953 B2 JP 3841953B2
Authority
JP
Japan
Prior art keywords
pen
paper surface
angular velocity
contact
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP9710898A
Other languages
Japanese (ja)
Other versions
JPH11296290A (en
Inventor
充 新行内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP9710898A priority Critical patent/JP3841953B2/en
Publication of JPH11296290A publication Critical patent/JPH11296290A/en
Application granted granted Critical
Publication of JP3841953B2 publication Critical patent/JP3841953B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、コンピュータシステムにおけるカーソル移動や文字,図形を入力するペン型入力装置及び文字認識方法に関するものである。
【0002】
【従来の技術】
コンピュータの入力装置としては、キーボードやマウス,デジタイザ,ライトペン及びタブレット等が用いられている。近年、コンピュータの小型化に伴い携帯端末装置のニーズが高まり使用者も増加している。携帯端末装置の入力装置としてキーボードを使用するためには、キーボードを小型化する必要があるが、キーボードの小型化にはヒューマンインタフェースの点で限界があり、携帯端末装置の入力装置においては不利な点が多く実用性が低い。また、マウスはポインティングデバイスとしては小型化が可能であるが、文字や図形の入力には適さないという短所がある。このため小型の携帯型端末装置において、文字や図形の入力装置としてはタブレットとペンを組み合わせたペン型入力装置が多く採用されている。しかし、タブレットの大きさが問題になり、より小型化することは困難である。そこでペンにセンシング機能を付与して、タブレットを使用しないペン型入力装置が提案されている。
【0003】
例えば特開平6−44005号公報に示されたペン型入力装置は3軸各方向の加速度センサとジャイロによりペン先の筆記位置検出するようにしている。特開平6−67799号公報に示されたペン型入力装置は2つの加速度センサと1つのジャイロを設け、ジャイロによりペン軸のローテーションを検出し、このローテーションを考慮に入れ、ペンに互いに直交して設けられた一対の加速度センサから得られた加速度データをそれぞれ時間で2回積分して距離データに変換して座標化している。特表平8−508353号公報に示されたペン型入力装置は3つの加速度センサを設け、加速度信号の特徴からストロークの特徴を認識し、認識したストロークを重ねていって筆記軌跡を描くようにしている。
【0004】
また、特開平8−44489号公報や特開平8−63280号公報に示されたポインティング装置は水平方向と垂直方向の角速度を検出する2つのジャイロから出力する角速度を積分して水平移動量と垂直移動量を算出するようにしている。
【0005】
【発明が解決しようとする課題】
特開平6−44005号公報に示され装置は加速度センサ取付位置が考慮されていないため、ペンの傾斜運動による加速度がペン先の筆記加速度に紛れ込み、正確な筆記軌跡を求めることは困難である。また、特開平6−67799号公報に示された装置ではペン軸のローテーションを検出することはできるが、通常の筆記動作で空間的にペン自体の姿勢がダイナミックな傾斜を伴う場合を考慮していないため、通常の筆記動作に適用することは困難である。特表平8−508354号公報に示された装置はストロークの認識過程が入るので厳密な意味では筆記軌跡を再現することは困難である。
【0006】
この発明はかかる短所を改善し簡単な構成で文字の区切りを明確にして、連続的に文字入力を行うことができるペン型入力装置及び文字認識方法を提供することを目的とするものである。
【0007】
【課題を解決するための手段】
この発明に係るペン型入力装置は、ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別した状態のとき、前記角速度検出手段で検出した角速度から算出した移動速度のピーク値が2つ以上あったときに文字区切りと判別したり、前記角速度検出手段で検出した角速度のピーク値が2つ以上あったときに文字区切りと判別することを特徴とする。
【0008】
この発明に係る第2のペン型入力装置は、ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別した状態のとき、前記角速度検出手段で検出した角速度から算出した移動速度のピーク値が2つ以上あり、ペンの姿勢があらかじめ記憶した初期姿勢に戻ったときに文字区切りと判別したり、前記角速度検出手段で検出した角速度のピーク値が2つ以上あり、ペンの姿勢があらかじめ記憶した初期姿勢に戻ったときに文字区切りと判別することを特徴とする。
【0009】
この発明に係る第3のペン型入力装置は、ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別した状態が一定時間以上続いたときに文字区切りと判別すること及びペン先が紙面と接触していないと判別した状態のとき、前記角速度検出手段で検出した角速度から算出した移動速度のピーク値が2つ以上あったときに文字区切りと判別することとを組み合わせて文字の区切りを判別することを特徴とする。
【0010】
この発明に係る第4のペン型入力装置は、ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別したとき、前記角速度検出手段で検出した角速度から算出した移動速度又は前記角速度検出手段で検出した角速度が一定速度以下のときに文字区切りと判別すること及び前記角速度検出手段で検出した角速度から算出した移動速度のピーク値が2つ以上あったときに文字区切りと判別することとを組み合わせて文字の区切りを判別することを特徴とする。
【0011】
この発明に係る第5のペン型入力装置は、ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別した状態が一定時間以上続いたときに文字区切りと判別することと、ペン先が紙面と接触していないと判別した状態のとき、前記角速度検出手段で検出した角速度のピーク値が2つ以上あったときに文字区切りと判別することとを組み合わせて文字の区切りを判別することを特徴とする。
【0012】
この発明に係る第6のペン型入力装置は、ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別したとき、前記角速度検出手段で検出した角速度から算出した移動速度又は前記角速度検出手段で検出した角速度が一定速度以下のときに文字区切りと判別すること及び前記角速度検出手段で検出した角速度のピーク値が2つ以上あったときに文字区切りと判別することとを組み合わせて文字の区切りを判別することを特徴とする。
【0013】
この発明に係る文字認識方法は、ペンの姿勢変化を示す角速度及びペン先と紙面の接触を検出して入力した文字を認識する文字認識方法において、ペン先が紙面と接触していないと判別した状態のときに検出した角速度から算出した移動速度のピーク値が2つ以上あったときに文字区切りと判別することを特徴とする。
【0014】
この発明に係る第2の文字認識方法は、ペンの姿勢変化を示す角速度及びペン先と紙面の接触を検出して入力した文字を認識する文字認識方法において、ペン先が紙面と接触していないと判別した状態のときに検出した角速度のピーク値が2つ以上あったときに文字区切りと判別することを特徴とする。
【0015】
【発明の実施の形態】
この発明のペン型入力装置のペンは2個のジャイロとペン先と紙面の接触を判定する感圧スイッチを有する。演算部は各ジャイロにそれぞれ接続されたローパスフィルタ(LPF)と、ローパスフィルタからの信号を入力するA/D変換器と、A/D変換器からの信号を入力して2次元の軌跡を算出する軌跡算出部と、文字の区切りを判別するしきい値を記憶した区切データ記憶部及び軌跡算出部で算出した軌跡と、感圧スイッチで判定したペン先と紙面との接触状態と接触位置位置及び区切データ記憶部に記憶したしきい値から筆跡軌跡を抽出する筆記軌跡抽出部を有する。
【0016】
上記のように構成されたペン型入力装置のペンで筆記動作中に2個のジャイロでペン軸と直交する軸周りの角速度を検出する。この2個のジャイロで検出した角速度信号を演算部に送りノイズ除去用のLPFを通したのち、A/D変換器でA/D変換して軌跡算出部に送る。軌跡算出部は送られた角速度を時間積分して、時間積分した結果とペンの回転中心からペン先までの距離からペン先の筆記動作中の軌跡を求め筆記軌跡抽出部に送る。筆記軌跡抽出部は送られた2次元の軌跡と感圧スイッチで判定したペン先と紙面との接触位置から実際の筆跡軌跡を抽出して文字や図形を再構成する。この筆記軌跡抽出部で入力した文字を再構成するときに、筆記中に感圧スイッチで判定したペン先と紙面が離れている空中ストロークの移動時間が区切データ記憶部に記憶したしきい値例えば0.5秒以内のときは1文字を入力していると判断し、空中ストロークの移動時間がしきい値を越えたときは、次の文字の入力と判断して文字を区切って文字を再構成する。
【0017】
【実施例】
図1はこの発明の一実施例のペン型入力装置の構成図である。図に示すように、ペン型入力装置1のペン2は内部に2個のジャイロ3X,3Yとペン2のペン先21と紙面の接触を判定する感圧スイッチ4を有する。このペン2の座標系としては重力方向をZG方向とする直交座標である重力座標系(XG,YG,ZG)と、ペン2のペン軸をZS方向とする直交座標であるセンサ座標系(XS,YS,ZS)を想定する。ジャイロ3Xはセンサ座標系のXS軸周りを入力軸としてペン2の角速度を検出し、ジャイロ3Yはセンサ座標系のYS軸周りを入力軸としてペン2の角速度を検出する。このジャイロ3X,3Yは互いに直交したXS軸とYS軸軸上に取付けた方が処理が楽になるので好ましいが、設計上の制約がある場合は直交させなくても良い。この場合は取付け角度から角速度成分を分解すれば良い。ここでジャイロ3X,3Yはスケールファクタ(回転運動の正確さ)とドリフトレール(出力オフセットの安定度)が良好で、小型のものであれば良く、回転ジャイロや振動ジャイロ,光学式ジャイロ等いずれの方式のものでも良い。
【0018】
ペン型入力装置1の演算部5は図2のブロック図に示すように、ジャイロ3X,3Yに接続されたローパスフィルタ(LPF)51,52と、ローパスフィルタ51,52からの信号を入力するA/D変換器61,62と、A/D変換器61,62からの信号を入力して2次元の軌跡を算出する軌跡算出部7と、文字の区切りを判別するしきい値を記憶した区切データ記憶部8及び軌跡算出部7で算出した軌跡と、感圧スイッチ4で判定したペン先21と紙面との接触状態と接触位置位置及び区切データ記憶部8に記憶したしきい値から筆跡軌跡を抽出する筆記軌跡抽出部9を有する。
【0019】
上記のように構成されたペン型入力装置1のペン2で筆記動作中のペン2の運動を回転運動と平行移動に分解すると、ペン2の支持点を中心とした回転運動で行われる成分が多く、この回転運動だけでもある程度の文字が再現できる。そこでペン2で筆記動作中にジャイロ3X,3Yでセンサ座標系のXS軸周りの角速度ωxとYS軸周りの角速度ωyを検出する。このジャイロ3X,3Yが検出する角速度ωx,ωyは、重力座標系(XG,YG,ZG)における筆記軌跡X(t),Y(t)の時間変化と下記(1)式に示す関係がある。
【0020】
【数1】

Figure 0003841953
【0021】
ここで、Lはペンの支持点である回転中心からペン先21までの距離である。また、軸の回転方向と速度方向の関係からY(t)の時間変化にはマイナス符号が付く。
【0022】
このジャイロ3X,3Yで検出した角速度信号ωx,ωyを演算部5に送りノイズ除去用のLPF51,52を通したのち、A/D変換器61,62でA/D変換して軌跡算出部7に送る。軌跡算出部7は送られた角速度ωx,ωyを時間積分して、時間積分した結果とペン2の回転中心からペン先21までの距離Lからペン先21の筆記動作中の各時間毎のペン先21のXG座標とYG座標とを検出してペン先2による2次元の軌跡を求め筆記軌跡抽出部9に送る。筆記軌跡抽出部9は送られた2次元の軌跡と感圧スイッチ4で判定したペン先21と紙面との接触位置から実際の筆跡軌跡を抽出して文字や図形を再構成する。ここでペン2の回転中心からペン先21までの距離Lの値が変わっても、文字や図形の大きさが拡大又は縮小されるだけであるから距離Lとしては適当な値を用いれば良い。
【0023】
また、ペン2で1文字を入力しているときに、ペン先21が紙面から離れて空中を移動する空中ストロークの移動時間の発生頻度を調べた結果、図3に示すようになった。図3は文字データとして数字とアルファベットとひらがな及び当用漢字など1145文字の空中ストロークの移動時間を調べた結果である。図3に示すように、1文字を入力しているときの空中ストロークの移動時間は0.5秒以内の確率が高い。この1文字を入力しているときの空中ストロークの移動時間0.5秒は次のことからも裏付けできる。ペン先21の移動速度のプロファイルを例えば図4に示すように正弦状とすると、筆記動作中のペン先速度は最大で約10cmであるので、0.5秒間の移動距離は3.1cmとなる。通常、意識して大きな文字を書かない限り、人の手の大きさには限度があり、1文字が3cm×3cmより大きくなることはあまりない。すなわち、文字を筆記中にペン先21が3cm以上移動する可能性がある0.5秒を越えた空中ストロークでは、次の文字に移動している可能性が非常に高い。そこで文字の区切りを判別する空中ストロークの移動時間のしきい値を例えば0.5秒として区切データ記憶部8にあらかじめ記憶しておく。筆記軌跡抽出部9は、筆記中に感圧スイッチ4で判定したペン先21と紙面が離れている空中ストロークの移動時間が0.5秒以内のときは1文字を入力していると判断し、空中ストロークの移動時間が0.5秒を越えたときは、次の文字の入力と判断して文字を区切り、実際の筆跡軌跡を抽出して文字を再構成する。
【0024】
このようにしてペン型入力装置1のペン2で実際に筆記した文字とペン型入力装置1で再構成した文字を図5に示す。図5において(a)は実際に筆記した文字、(b)は距離L=10cmとしてペン型入力装置1で再構成した文字を示す。図5(b)に示すように、ペン型入力装置1で再構成した文字は筆記動作の平行移動成分を検出していないので、完全な軌跡を再現することはできないが、各文字の区切りを明確にして読める程度に再現することができる。このようにして簡略な構成で、筆記文字を再現することができ、ペン型入力装置1を小型化して軽量化し使い易くすることができる。
【0025】
上記実施例は空中ストロークの移動時間が0.5秒を越えたときに文字の区切りと判定した場合について説明したが、筆記者のくせや文字の大きさや筆記速度によって1文字中の空中ストロークの移動時間が若干異なってくる。空中ストロークの移動時間のしきい値を0.5秒に設定しておいても、筆記速度が遅い人の場合には1文字を入力しているときに、空中ストロークの移動時間が0.5秒を越えて、1文字中に誤った文字区切りが判別されて、文字がばらばらになって認識できなくなるおそれがある。これに対応するために文字の区切りを判別する空中ストロークの移動時間のしきい値を安全を取って長くし過ぎると、誤りなく文字を入力するためには1文字毎に止めて文字を入力しなければならず、使い勝手が悪くなる。そこで、区切データ記憶部8にあらかじめ文字の区切りを判別する空中ストロークの移動時間のしきい値の基準値を0.5秒として設定しておき、筆記者毎に1文字を入力しているときの空中ストロークの移動時間の分布を検出して区切データ記憶部8に記憶し、記憶した筆記者毎の空中ストロークの移動時間の分布と空中ストロークの移動時間のしきい値の基準値0.5秒と比較して、筆記者に最適な文字の区切りを判別する空中ストロークの移動時間になるようにしきい値を調整する。このようにして筆記者に合わせて文字を区切ることができ、文字を正しく認識することができる。
【0026】
また、上記実施例は文字の区切りを空中ストロークの移動時間により判別する場合について説明したが、ペン先21の移動速度により文字の区切りを判別するようにしても良い。1文字を筆記中にベン先21が紙面を離れて移動する空中ストロークの平均速度の頻度を図6に示す。図6に示すように、1文字を筆記中にベン先21が紙面を離れて移動する空中ストロークの平均速度は10mm/secから100mm/secの間に分布する確率が高く、意識してゆっくり書かない限り、1文字を一気に書きあげるときに空中ストロークの平均速度が10nn/sec以下と極端に遅くなることはなく、空中ストロークの平均速度が遅くなるのは、次の文字を書く準備期間、すなわち文字の区切りとなる可能性が高い。
【0027】
そこで、図7に示すように、演算部5の筆記軌跡抽出部9に軌跡算出部7で算出した2次元の軌跡とともにA/D変換器61,62から出力するジャイロ3X,3Yの角速度信号ωx,ωyを入力し、区切データ記憶部8には文字の区切りを判別する空中ストロークの平均速度のしきい値として例えば10mm/secをあらかじめ記憶しておく。そして、筆記軌跡抽出部9で軌道算出手段7から送られた2次元の軌跡と感圧スイッチ4で判定したペン先21と紙面との接触位置から実際の筆跡軌跡を抽出して文字や図形を再構成するときに、A/D変換器61,62から出力するジャイロ3X,3Yの角速度信号ωx,ωyから、(1)式によりペン先21の移動速度を算出し、算出した移動速度が区切データ記憶部8に記憶したしきい値10mm/sec以下になったときに文字の区切りと判別する。このようにして簡単に筆記文字の区切りを判別することができ、文字を正確に認識することができる。
【0028】
上記実施例はペン先21の移動速度から筆記文字の区切りを判別する場合について説明したが、文字の区切りを判別する空中ストロークの移動速度のしきい値10mm/secに対応するジャイロ3X,3Yの角速度ωxTH,ωyTHをしきい値として区切データ記憶部8に記憶しておき、A/D変換器61,62から出力するジャイロ3X,3Yの角速度信号ωx,ωyとしきい値ωxTH,ωyTHを直接比較して筆記文字の区切りを判別しても良い。
【0029】
また、区切データ記憶部8にあらかじめ文字の区切りを判別する空中ストロークの移動速度や角速度のしきい値の基準値を10mm/secを基準として設定しておき、筆記者毎に1文字を入力しているときの空中ストロークの移動速度や角速度の分布を検出して区切データ記憶部8に記憶し、記憶した筆記者毎の空中ストロークの移動速度や角速度の分布と空中ストロークの移動速度と角速度のしきい値の基準値と比較して、筆記者に最適な文字の区切りを判別する空中ストロークの移動速度や角速度になるようにしきい値を調整すると良い。このようにして筆記者に合わせて文字を区切ることができ、文字を正しく認識することができる。
【0030】
また、文字の書き始めや文字の区切りにおいてはペン先21を紙面に接触させない空中ストロークで無意識のうちにペン2を書きやすい状態に戻すことが多い。このとき、ペン先21は書き始めの所定位置に移動する動作と、ペン2の姿勢を整える動作が組み合わされて2段モーションのような動きをする。すなわち文字区切りの空中ストロークでは、図8に示すように、ペン先21の速度は少なくとも2つ以上の速度ピークは発生する確率が高い。そこで空中ストロークのなかの速度ピークの数を検出することにより文字の区切りを判別することもできる。
【0031】
そこで、図9に示すように、演算手段5にジャイロ3X,3Yに接続されたカットオフ周波数が10〜20Hzのローパスフィルタ(LPF)53,54と、LPF53,54からの信号を入力するA/D変換器63,64を設け、筆記軌跡抽出部9に軌跡算出部7で算出した2次元の軌跡とともにA/D変換器63,64から出力するジャイロ3X,3Yの角速度信号ωx,ωyを入力する。そして、筆記軌跡抽出部9で軌跡算出手段7から送られた2次元の軌跡と感圧スイッチ4で判定したペン先21と紙面との接触位置から実際の筆跡軌跡を抽出して文字や図形を再構成するときに、ペン先21が紙面に接触していないときにA/D変換器63,64から出力するジャイロ3X,3Yの角速度信号ωx,ωyから空中ストロークのときのペン先21の移動速度を算出し、算出した移動速度のピーク値が2つ以上あったときに文字の区切りと判別する。このようにして簡単に筆記文字の区切りを判別することができ、文字を正確に認識することができる。ここでLPF53,54のカットオフ周波数を10〜20Hzとしたのは、ペン先21が紙面に接触していない空中ストロークのときのペン先21の移動速度の周波数帯を調べた結果、10〜20Hz以下を扱えば良いことが判った。そして、このようにLPF53,54のカットオフ周波数を定めることにより、ノイズ等による余分な速度ピークを検出することを防止できる。
【0032】
この場合もペン先21が紙面に接触していないときのにペン先21の移動速度に替えてA/D変換器63,64から出力するジャイロ3X,3Yの角速度信号ωx,ωyのピーク値から直接文字の区切りを判別しても良い。
【0033】
上記のように文字の区切りでペン先21の速度ピークが2段モーションのような動きをするのは、ペン2の姿勢を書き易い状態に戻そうとするからである。すなわち、文字の書き始めには筆記者がペン2を書き易い同じ姿勢にする。そこで図10に示すように、演算部5に初期姿勢記憶部81を設け、初期姿勢記憶部81に実際に文字を書き始めるときの初期姿勢または仮定した初期姿勢を記憶させておき、上記のように筆記軌跡抽出部9でペン先21の移動速度のピーク値やペン2の姿勢変化を示すジャイロ3X,3Yの角速度信号ωx,ωyのピーク値を2つ以上検出したときに、軌跡算出部7で算出したジャイロ3X,3Yの姿勢角度の変化速度を積分した結果が初期姿勢記憶部81に記憶した初期姿勢に戻ったかどうかで文字の区切りかどうかを評価する。このようにして文字の区切りをより正確に認識することができる。この場合、初期姿勢記憶部81に記憶する初期姿勢は「0」でも良いが、文字の区切りの判別毎に平均化して記憶しなおすことにより、文字の区切りの検出精度をより向上させることができる。
【0034】
上記各実施例は空中ストロークの移動時間や移動速度や移動速度のピーク値の数等により文字の区切りを判別する場合についた説明したが、これらを組み合わせることにより、文字の区切りの検出精度をより向上させることができる。例えば、空中ストロークの移動時間により文字の区切りを判別してから、さらに移動速度のピーク値の数により文字の区切りを判別を行う。すなわち空中ストロークが短く、明らかに1文字中に続するものは空中ストロークの移動時間により短時間で1文字と判別できるが、空中ストロークの移動時間が長くしきい値に近い場合は、1文字に属するか文字の区切りかの判別が微妙になる。このような場合、さらに移動速度のピーク値の数により文字の区切りかどうかを判別する。このようにして、文字の区切りを短時間で正確に判別することができ、正確な文字を認識することができる。
【0035】
また、文字を入力する場合、文字は通常「上から下」あるいは「左から右」と配列する。文字の区切りの空中ストロークは、筆記した文字により若干ずれるが、基本的には文字の並び方向を向く。そこで、図11に示すように、演算部5に移動方向記憶部82を設け、軌跡算出部7で算出したペン先21の移動方向あるいはペン姿勢各の角度変化方向等により文字の配列方向を移動方向記憶部82に記憶する。そして筆記軌跡抽出部9で文字の区切りを判別したときに、空中ストロークの方向と記憶した文字の並びの方向とを比較して、認識する文字の並びに矛盾がないことを確認する。このようにして文字をより精度良く認識することができる。
【0036】
さらに、筆記軌跡抽出部9が軌跡算出部7から送られた2次元の軌跡と感圧スイッチ4で判定したペン先21と紙面との接触位置から実際の筆跡軌跡を抽出して文字を再構成するときに、ペン先21と紙面が接触しているときのストロークから文字の大きさが判別できる。そこで文字の区切りと判別したときの空中ストロークと判別した文字の大きさを比較し、文字の区切りと判別したときの空中ストロークの長さが文字の大きさに対して一定割合、例えば文字の大きさの1/3以上あると、文字が重ならずに文字の区切りが正しいと判断する。このようにして文字の区切りと各文字を正確に認識することができる。
【0037】
上記各実施例は感圧スイッチ4でペン先21が紙面に接触していることを判別した場合について説明したが、光学式スイッチ等でペン先21が紙面に接触していることを判別しても良い。
【0038】
また、上記実施例は感圧スイッチ4等でペン先21が紙面に接触していることを判別した場合について説明したがペン先21が紙面に接触していることをジャイロ3X又はジャイロ3Yで検出している角速度信号に含まれる紙とペン先21の摩擦によって生じる高周波振動を取り出してペン先21が紙面に接触している位置を判別するようにしても良い。
【0039】
さらに、上記各実施例はペン2にジャイロ3X,3Yを設け、ペン2のXS軸周りとYS軸周りの角速度を検出した場合について説明したが、図12に示すように、ペン2のZS軸周りの角速度を検出するジャイロ3Zを設けて、ジャイロ3X,3Y,3Zでセンサ座標系のXS軸周りの角速度ωxとYS軸周りの角速度ωyとZS軸周りの角速度ωZを検出するペン2や、ジャイロ3X,3Y,3Zと3軸の加速度センサにより角速度と加速度を検出するペンを尚した場合も上記各実施例と同様にして文字の区切りを認識することができる。
【0040】
【発明の効果】
この発明は以上説明したように、ペン先が紙面と接触していないと判別した状態が筆記動作の統計から定めた一定時間以上続いたときに文字区切りと判別するから、文字の区切りを明確にすることができ、連続的に入力した文字を1文字毎に正確に再現することができる。
【0041】
また、ペン先が紙面と接触していないと判別した状態のときのペン先の移動速度又はペンの姿勢変化を示す角速度が筆記動作の統計量から定める一定速度以下のときに文字区切りと判別するから、文字の区切りを明確にすることができ、連続的に入力した文字を1文字毎に正確に再現することができる。
【0042】
さらに、ペン先が紙面と接触していないと判別した状態の時間分布から文字区切りを判別するしきい値を変更したり、ペン先が紙面と接触していないと判別した状態のペン先の移動速度又はペンの角速度の速度分布から文字区切りを判別するしきい値を変更することにより、筆記者が異なっても文字の区切りを精度良く認識することができる。
【0043】
また、ペン先が紙面と接触していないと判別した状態のときのペン先の移動速度又はペンの姿勢変化を示す角速度の少なくとも2つ以上のピークから文字区切りを判別することにより、簡単な処理で文字の区切りを明確に判別することができる。
【0044】
さらに、ペン先の移動速度又はペンの姿勢変化を示す角速度の少なくとも2つ以上のピークから文字区切りを判別するとともにペンによる文字の書き始めの初期姿勢からの変化から文字区切りを判別することにより、実際のペンの動きに応じて文字の区切りを認識することができる。
【0045】
また、これらの文字の区切りの判別を複数組み合わせることにより、文字の区切りをより精度良く判別することができる。
【0046】
さらに、文字の区切りと判別したときに、ペン先が紙面に接触しないで移動する空中ストロークの方向と文字の並びの方向とから認識する文字の並び方向を判別したり、ペン先が紙面に接触しないで移動する空中ストロークの移動量と文字の大きさを比較して文字の区切りを判定することにより、文字の並びや文字の大きさが異なっても文字の区切りを精度良く判別することができる。
【図面の簡単な説明】
【図1】この発明の実施例のペン型入力装置の構成図である。
【図2】上記実施例の演算部の構成を示すブロック図である。
【図3】1文字を入力中の空中ストロークの移動時間の発生頻度の分布図である。
【図4】ペン先の移動速度のプロファイルを示した時間と速度の特性図である。
【図5】上記実施例で入力した文字と再構成した文字を示す説明図である。
【図6】1文字を入力中の空中ストロークの平均速度の発生頻度の分布図である。
【図7】第2の実施例の演算部の構成を示すブロック図である。
【図8】文字の区切りのときの空中ストロークの移動速度の変化特性図である。
【図9】第3の実施例の演算部の構成を示すブロック図である。
【図10】第4の実施例の演算部の構成を示すブロック図である。
【図11】第5の実施例の演算部の構成を示すブロック図である。
【図12】他のペンの構成を示す斜視図である。
【符号の説明】
1 ペン型入力装置
2 ペン
3 ジャイロ
4 感圧スイッチ
5 演算部
7 軌跡算出部
8 区切データ記憶部
9 筆記軌跡抽出部[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a pen-type input device for inputting cursor movement and characters and figures in a computer system.And character recognition methodIt is about.
[0002]
[Prior art]
As an input device for a computer, a keyboard, a mouse, a digitizer, a light pen, a tablet, and the like are used. In recent years, with the miniaturization of computers, needs for portable terminal devices have increased and users have increased. In order to use a keyboard as an input device of a portable terminal device, it is necessary to reduce the size of the keyboard. However, there is a limit in reducing the size of the keyboard in terms of a human interface, which is disadvantageous for the input device of the portable terminal device. There are many points and practicality is low. Although the mouse can be miniaturized as a pointing device, it has a disadvantage that it is not suitable for inputting characters and figures. For this reason, in a small portable terminal device, a pen-type input device combining a tablet and a pen is often used as a character or figure input device. However, the size of the tablet becomes a problem, and it is difficult to further reduce the size. Therefore, a pen-type input device that provides a sensing function to a pen and does not use a tablet has been proposed.
[0003]
For example, a pen-type input device disclosed in Japanese Patent Application Laid-Open No. 6-44005 detects the writing position of the pen tip with an acceleration sensor and a gyroscope in three directions. The pen-type input device disclosed in Japanese Patent Application Laid-Open No. 6-67799 is provided with two acceleration sensors and one gyro, detects the rotation of the pen shaft by the gyro, takes this rotation into account, and is orthogonal to the pen. Acceleration data obtained from a pair of provided acceleration sensors is integrated twice with respect to time, converted into distance data, and coordinated. The pen-type input device disclosed in JP-T-8-508353 is provided with three acceleration sensors, recognizes stroke characteristics from the characteristics of acceleration signals, and draws a writing locus by overlapping the recognized strokes. ing.
[0004]
The pointing devices disclosed in Japanese Patent Application Laid-Open Nos. 8-44489 and 8-63280 integrate the angular velocities output from two gyros that detect the angular velocities in the horizontal direction and the vertical direction, and are perpendicular to the horizontal movement amount. The amount of movement is calculated.
[0005]
[Problems to be solved by the invention]
Since the acceleration sensor mounting position is not taken into account in the device disclosed in Japanese Patent Laid-Open No. 6-44005, the acceleration due to the tilting motion of the pen is mixed into the writing acceleration of the pen tip, and it is difficult to obtain an accurate writing trajectory. . In addition, the apparatus disclosed in Japanese Patent Laid-Open No. 6-67799 can detect the rotation of the pen shaft, but considers the case where the posture of the pen itself is dynamically inclined in a normal writing operation. Therefore, it is difficult to apply to normal writing operation. In the device disclosed in JP-T-8-508354, a stroke recognition process is entered, so that it is difficult to reproduce the writing trajectory in a strict sense.
[0006]
  The present invention is a pen-type input device capable of continuously inputting characters by improving the disadvantages and clarifying the character separation with a simple configuration.And character recognition methodIt is for the purpose.
[0007]
[Means for Solving the Problems]
  The pen-type input device according to the present invention isAngular velocity detection means for detecting an angular velocity indicating a change in the posture of the pen;A paper surface contact determining means for detecting contact between the pen tip and the paper surface; andCalculation meansIn a pen-type input device havingWhen the calculation means is in a state in which the pen tip is not in contact with the paper surface by the paper surface contact determination means, and when there are two or more peak values of the moving speed calculated from the angular velocity detected by the angular velocity detection means It is discriminated as a character delimiter when there are two or more peak values of angular velocity detected by the angular velocity detecting means.
[0008]
  A second pen type input device according to the present invention is:Angular velocity detection means for detecting an angular velocity indicating a change in the posture of the pen;A paper surface contact determining means for detecting contact between the pen tip and the paper surface; andCalculation meansIn a pen-type input device havingWhen the calculation means determines that the pen tip is not in contact with the paper surface by the paper surface contact determination means, there are two or more peak values of the movement speed calculated from the angular velocity detected by the angular velocity detection means, When the posture of the pen returns to the pre-stored initial posture, it is determined that the character is separated, or there are two or more angular velocity peak values detected by the angular velocity detection means, and the pen posture returns to the pre-stored initial posture It is characterized in that it is determined as a character delimiter.
[0009]
  A third pen-type input device according to the present invention includes an angular velocity detecting means for detecting an angular velocity indicating a change in the posture of the pen,A paper surface contact determining means for detecting contact between the pen tip and the paper surface; andCalculation meansIn a pen-type input device havingThe calculation means determines that the pen tip is not in contact with the paper surface when the state determined by the paper surface contact determination means that the pen tip is not in contact with the paper surface continues for a certain period of time or more. In this state, the character separation is determined in combination with the character separation determined when there are two or more peak values of the moving speed calculated from the angular velocity detected by the angular velocity detection means. .
[0010]
  A fourth pen type input device according to the present invention is:Angular velocity detection means for detecting an angular velocity indicating a change in the posture of the pen;A paper surface contact determining means for detecting contact between the pen tip and the paper surface; andCalculation meansIn a pen-type input device havingWhen the calculation means determines that the pen tip is not in contact with the paper surface by the paper surface contact determination means, the moving speed calculated from the angular speed detected by the angular speed detection means or the angular speed detected by the angular speed detection means is a constant speed. The character separation is determined by combining the character separation at the following times and the character separation when there are two or more peak values of the moving speed calculated from the angular velocity detected by the angular velocity detecting means. It is characterized by doing.
[0011]
  A fifth pen-type input device according to the present invention includes a pen-type input having angular velocity detecting means for detecting an angular velocity indicating a change in the posture of the pen, paper surface contact determining means for detecting contact between the pen tip and the paper surface, and an arithmetic means. In the apparatus, the calculation means determines that the pen tip is in contact with the paper surface when the state in which the pen tip is not in contact with the paper surface by the paper surface contact determination means continues for a predetermined time or longer. In a state in which it is determined that there is no character, the character delimiter is determined in combination with a character delimiter that is determined when there are two or more angular velocity peak values detected by the angular velocity detecting means.
[0012]
  A sixth pen-type input device according to the present invention includes a pen-type input having angular velocity detecting means for detecting an angular velocity indicating a change in the posture of the pen, paper surface contact determining means for detecting contact between the pen tip and the paper surface, and an arithmetic means. In the apparatus, when the calculation means determines that the pen tip is not in contact with the paper surface by the paper surface contact determination means, the movement speed calculated from the angular speed detected by the angular speed detection means or the angular speed detected by the angular speed detection means The character separation is determined by combining the determination of character separation when the speed is below a certain speed and the determination of character separation when there are two or more angular velocity peak values detected by the angular velocity detection means. It is characterized by.
[0013]
  The character recognition method according to the present invention determines that the pen tip is not in contact with the paper surface in the character recognition method for recognizing the input character by detecting the angular velocity indicating the change in the posture of the pen and the contact between the pen tip and the paper surface. Characteristic delimitation is determined when there are two or more peak values of the moving speed calculated from the angular speed detected in the state.
[0014]
  According to a second character recognition method of the present invention, in the character recognition method for recognizing an input character by detecting an angular velocity indicating a change in the posture of the pen and a contact between the pen tip and the paper surface, the pen tip is not in contact with the paper surface. When there are two or more peak values of angular velocity detected in the state of being determined, it is determined that the character is delimited.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
The pen of the pen-type input device of the present invention has a pressure-sensitive switch for determining contact between two gyros, a pen tip, and a paper surface. The calculation unit calculates a two-dimensional trajectory by inputting a low-pass filter (LPF) connected to each gyro, an A / D converter for inputting a signal from the low-pass filter, and a signal from the A / D converter. A trajectory calculation unit, a delimiter data storage unit storing a threshold value for determining a character delimiter, a trajectory calculated by the trajectory calculation unit, a contact state between the pen tip and the paper surface determined by the pressure-sensitive switch, and a contact position position And a writing trajectory extraction unit that extracts a handwriting trajectory from the threshold value stored in the delimiter data storage unit.
[0016]
During the writing operation with the pen of the pen-type input device configured as described above, the angular velocities around the axis orthogonal to the pen axis are detected by the two gyros. The angular velocity signals detected by the two gyros are sent to the calculation unit, passed through the LPF for noise removal, A / D converted by the A / D converter, and sent to the trajectory calculation unit. The trajectory calculation unit integrates the sent angular velocity with time, obtains the trajectory during the writing operation of the pen tip from the result of the time integration and the distance from the center of rotation of the pen to the pen tip, and sends it to the writing trajectory extraction unit. The writing trajectory extraction unit reconstructs characters and figures by extracting an actual handwriting trajectory from the sent two-dimensional trajectory and the contact position between the pen tip and the paper surface determined by the pressure sensitive switch. When reconstructing the character input by the writing locus extraction unit, the threshold value stored in the delimiter data storage unit, for example, the moving time of the aerial stroke in which the pen tip and the paper surface determined by the pressure-sensitive switch are separated during writing If it is within 0.5 seconds, it is determined that one character has been input, and if the aerial stroke movement time exceeds the threshold, it is determined that the next character has been input and the character is separated and the character is restarted. Constitute.
[0017]
【Example】
FIG. 1 is a block diagram of a pen-type input device according to an embodiment of the present invention. As shown in the figure, the pen 2 of the pen-type input device 1 has two gyroscopes 3X and 3Y and a pressure-sensitive switch 4 for determining contact between the pen tip 21 of the pen 2 and the paper surface. As the coordinate system of the pen 2, the gravity direction is ZGGravitational coordinate system (XG, YG, ZG) And the pen axis of pen 2 is ZSSensor coordinate system (XS, YS, ZS) Is assumed. Gyro 3X is the sensor coordinate system XSThe gyro 3Y detects the angular velocity of the pen 2 with the axis around the input axis, and the gyro 3YSThe angular velocity of the pen 2 is detected with the axis around as the input axis. The gyros 3X and 3Y are orthogonal to each other.SAxis and YSMounting on the shaft is preferable because the processing becomes easier, but it is not necessary to make them orthogonal if there is a design restriction. In this case, the angular velocity component may be decomposed from the mounting angle. Here, the gyros 3X and 3Y have a good scale factor (accuracy of rotational motion) and drift rail (stability of output offset), and may be any small ones, such as a rotating gyroscope, a vibrating gyroscope, an optical gyroscope, etc. A method may be used.
[0018]
As shown in the block diagram of FIG. 2, the arithmetic unit 5 of the pen-type input device 1 inputs low-pass filters (LPF) 51 and 52 connected to the gyros 3X and 3Y and signals from the low-pass filters 51 and 52 A / D converters 61 and 62, a trajectory calculation unit 7 for inputting a signal from the A / D converters 61 and 62 to calculate a two-dimensional trajectory, and a delimiter storing a threshold value for determining a character delimiter The handwriting trajectory from the trajectory calculated by the data storage unit 8 and the trajectory calculation unit 7, the contact state between the pen tip 21 and the paper surface determined by the pressure-sensitive switch 4, the contact position, and the threshold value stored in the partition data storage unit 8. Has a writing trajectory extraction unit 9 for extracting.
[0019]
When the movement of the pen 2 during the writing operation with the pen 2 of the pen-type input device 1 configured as described above is decomposed into a rotational movement and a parallel movement, a component performed by the rotational movement around the support point of the pen 2 is obtained. Many characters can be reproduced with this rotational motion alone. Therefore, during the writing operation with the pen 2, the sensor coordinate system X is used with the gyros 3X and 3Y.SAngular velocity ω around the axisxAnd YSAngular velocity ω around the axisyIs detected. Angular velocity ω detected by the gyros 3X and 3Yx, ΩyIs the gravity coordinate system (XG, YG, ZG) And the temporal change of the writing trajectories X (t) and Y (t) and the relationship shown in the following equation (1).
[0020]
[Expression 1]
Figure 0003841953
[0021]
Here, L is the distance from the center of rotation, which is the support point of the pen, to the pen tip 21. In addition, a minus sign is attached to the time change of Y (t) from the relationship between the rotation direction of the shaft and the speed direction.
[0022]
Angular velocity signal ω detected by the gyros 3X and 3Yx, ΩyIs sent to the calculation unit 5, passed through LPFs 51 and 52 for noise removal, A / D converted by A / D converters 61 and 62, and sent to the locus calculation unit 7. The trajectory calculation unit 7 sends the sent angular velocity ωx, ΩyAre integrated over time, and the result of the time integration and the distance L from the center of rotation of the pen 2 to the pen tip 21 is the X of the pen tip 21 for each hour during the writing operation of the pen tip 21.GCoordinates and YGThe coordinates are detected to obtain a two-dimensional trajectory by the pen tip 2 and sent to the writing trajectory extraction unit 9. The writing trajectory extraction unit 9 extracts an actual handwriting trajectory from the sent two-dimensional trajectory and the contact position between the pen tip 21 determined by the pressure-sensitive switch 4 and the paper surface, and reconstructs characters and figures. Here, even if the value of the distance L from the center of rotation of the pen 2 to the pen tip 21 changes, the size of the character or figure is only enlarged or reduced, so that an appropriate value may be used as the distance L.
[0023]
Further, as a result of examining the occurrence frequency of the aerial stroke in which the pen tip 21 moves in the air away from the paper surface while inputting one character with the pen 2, the result is as shown in FIG. FIG. 3 shows the results of examining the travel time of 1145 characters in the air, such as numbers, alphabets, hiragana and kanji used as character data. As shown in FIG. 3, the moving time of the aerial stroke when one character is being input has a high probability of being within 0.5 seconds. The movement time of the aerial stroke of 0.5 seconds when inputting one character can be supported by the following. If the moving speed profile of the pen tip 21 is sinusoidal as shown in FIG. 4, for example, the pen tip speed during the writing operation is about 10 cm at the maximum, so the moving distance for 0.5 seconds is 3.1 cm. . Usually, unless a large character is consciously written, there is a limit to the size of a person's hand, and one character is not often larger than 3 cm × 3 cm. That is, in the aerial stroke that exceeds 0.5 seconds in which the pen tip 21 may move 3 cm or more while writing a character, the possibility of moving to the next character is very high. Therefore, the threshold value of the moving time of the aerial stroke for determining the character delimiter is stored in advance in the delimiter data storage unit 8 as 0.5 seconds, for example. The writing locus extraction unit 9 determines that one character has been input when the moving time of the aerial stroke in which the pen tip 21 determined by the pressure-sensitive switch 4 is separated from the paper surface during writing is within 0.5 seconds. When the moving time of the aerial stroke exceeds 0.5 seconds, it is determined that the next character is input, the character is divided, the actual handwriting trajectory is extracted, and the character is reconstructed.
[0024]
Characters actually written with the pen 2 of the pen-type input device 1 in this way and characters reconstructed with the pen-type input device 1 are shown in FIG. 5A shows characters actually written, and FIG. 5B shows characters reconstructed by the pen-type input device 1 with a distance L = 10 cm. As shown in FIG. 5 (b), the character reconstructed by the pen-type input device 1 does not detect the parallel movement component of the writing operation, and thus cannot reproduce the complete trajectory. Reproducible enough to be clear and readable. In this way, written characters can be reproduced with a simple configuration, and the pen-type input device 1 can be reduced in size and weight to be easy to use.
[0025]
In the above-described embodiment, the case where it is determined that the character is separated when the movement time of the aerial stroke exceeds 0.5 seconds has been described. However, the aerial stroke of one character depends on the character's habit, the size of the character, and the writing speed. Travel time will be slightly different. Even if the threshold value of the moving time of the aerial stroke is set to 0.5 seconds, the moving time of the aerial stroke is set to 0.5 when one character is input when the writing speed is slow. There is a possibility that an erroneous character delimiter is determined in one character beyond the second, and the characters are separated and cannot be recognized. In order to cope with this, if the threshold of the moving time of the aerial stroke that determines the character delimiter is made too long to be safe, the character must be stopped and input for each character in order to enter the character without error. It is necessary to use it and it becomes unusable. Therefore, when the reference value of the threshold value of the moving time of the aerial stroke for determining the character delimiter is set as 0.5 seconds in advance in the delimiter data storage unit 8 and one character is input for each writer The movement time distribution of the air stroke is detected and stored in the delimiter data storage unit 8, and the stored air stroke movement time distribution for each writer and the reference value 0.5 of the air stroke movement time threshold value are stored. The threshold value is adjusted so as to be the moving time of the aerial stroke for determining the optimum character break for the writer compared with the second. In this way, the characters can be separated according to the writer, and the characters can be recognized correctly.
[0026]
Moreover, although the said Example demonstrated the case where the division | segmentation of a character was discriminate | determined by the moving time of an aerial stroke, you may make it discriminate | determine a character delimitation with the moving speed of the pen tip 21. FIG. FIG. 6 shows the frequency of the average speed of the air stroke in which the bend 21 moves away from the paper surface while writing one character. As shown in FIG. 6, the average speed of the aerial stroke in which the bend 21 moves away from the paper while writing one character is likely to be distributed between 10 mm / sec and 100 mm / sec, and is written slowly with consciousness. As long as one character is written at a time, the average speed of the aerial stroke is not extremely slowed down to 10 nn / sec or less, and the average speed of the aerial stroke is slowed down, that is, the preparation period for writing the next character, that is, This is likely to be a character separator.
[0027]
Therefore, as shown in FIG. 7, the angular velocity signals ω of the gyros 3X and 3Y output from the A / D converters 61 and 62 together with the two-dimensional trajectory calculated by the trajectory calculating unit 7 to the writing trajectory extracting unit 9 of the arithmetic unit 5 are provided.x, ΩyIn the delimiter data storage unit 8, for example, 10 mm / sec is stored in advance as a threshold value of the average speed of the aerial stroke for determining character delimiters. Then, an actual handwriting trajectory is extracted from the two-dimensional trajectory sent from the trajectory calculation means 7 by the writing trajectory extraction unit 9 and the contact position between the pen tip 21 and the paper surface determined by the pressure sensitive switch 4, and characters and figures are extracted. Angular velocity signals ω of the gyros 3X and 3Y output from the A / D converters 61 and 62 at the time of reconfigurationx, ΩyFrom (1), the moving speed of the pen tip 21 is calculated, and when the calculated moving speed is equal to or less than the threshold value 10 mm / sec stored in the delimiter data storage unit 8, it is determined as a character delimiter. In this way, it is possible to easily determine the break of the written character, and to accurately recognize the character.
[0028]
In the above embodiment, a case has been described in which the writing character break is determined from the moving speed of the pen tip 21, but the gyro 3X, 3Y corresponding to the threshold 10 mm / sec of the moving speed of the aerial stroke for determining the character break is described. Angular velocity ωxTH, ΩyTHAre stored in the delimiter data storage unit 8 as threshold values and the angular velocity signals ω of the gyros 3X and 3Y output from the A / D converters 61 and 62 are stored.x, ΩyAnd threshold ωxTH, ΩyTHMay be directly compared to determine the break of the written character.
[0029]
In addition, a reference value for the threshold value of the aerial stroke moving speed and angular velocity for discriminating character separators is set in advance in the separator data storage unit 8, and one character is input for each writer. The movement speed and angular velocity distribution of the aerial stroke at the time of reading are detected and stored in the delimiter data storage unit 8, and the stored aerial stroke movement speed and angular velocity distribution for each writer, the aerial stroke movement speed and the angular velocity are stored. Compared with the reference value of the threshold value, the threshold value may be adjusted so that the moving speed and the angular speed of the aerial stroke for determining the optimum character break for the writer are obtained. In this way, the characters can be separated according to the writer, and the characters can be recognized correctly.
[0030]
Further, at the beginning of character writing or character division, the pen 2 is often returned to a state where it is easy to write unconsciously with an aerial stroke in which the pen tip 21 does not contact the paper surface. At this time, the pen tip 21 moves like a two-step motion by combining the action of moving to a predetermined position at the beginning of writing and the action of adjusting the posture of the pen 2. That is, in the aerial stroke with character separation, as shown in FIG. 8, the pen tip 21 has a high probability that at least two speed peaks will occur. Therefore, it is possible to determine the character break by detecting the number of velocity peaks in the air stroke.
[0031]
  Therefore, as shown in FIG. 9, low-pass filters (LPF) 53 and 54 having a cutoff frequency of 10 to 20 Hz connected to the gyros 3X and 3Y and signals from the LPFs 53 and 54 are input to the arithmetic means 5. D converters 63 and 64 are provided, and the angular velocity signals ωx and ωy of the gyros 3X and 3Y output from the A / D converters 63 and 64 are input to the writing trajectory extraction unit 9 together with the two-dimensional trajectory calculated by the trajectory calculation unit 7. To do. Then, in the writing trajectory extraction unit 9Trajectory calculation means 7When the actual handwriting trajectory is extracted from the contact position between the pen tip 21 and the paper surface determined by the pressure-sensitive switch 4 and the two-dimensional trajectory sent from the head, the pen tip 21 is placed on the paper surface. The moving speed of the nib 21 during an air stroke is calculated from the angular velocity signals ωx and ωy of the gyros 3X and 3Y output from the A / D converters 63 and 64 when not in contact, and the peak value of the calculated moving speed is calculated. When there are two or more, it is determined as a character delimiter. In this way, it is possible to easily determine the break of the written character, and to accurately recognize the character. Here, the cut-off frequency of the LPFs 53 and 54 is set to 10 to 20 Hz. As a result of examining the frequency band of the moving speed of the pen tip 21 when the pen tip 21 is in the aerial stroke where the pen tip 21 is not in contact with the paper surface, 10 to 20 Hz. It turns out that the following should be handled. And by determining the cut-off frequency of the LPFs 53 and 54 in this way, it is possible to prevent detection of an extra speed peak due to noise or the like.
[0032]
Also in this case, the angular velocity signals ω of the gyros 3X and 3Y output from the A / D converters 63 and 64 in place of the moving speed of the pen tip 21 when the pen tip 21 is not in contact with the paper surface.x, ΩyThe character delimiter may be determined directly from the peak value.
[0033]
The reason why the speed peak of the pen tip 21 moves like a two-step motion at a character break as described above is to return the posture of the pen 2 to a state where it can be easily written. That is, at the beginning of writing a character, the writer is in the same posture that the pen 2 can be easily written. Therefore, as shown in FIG. 10, an initial posture storage unit 81 is provided in the arithmetic unit 5, and the initial posture when the character is actually written or the assumed initial posture is stored in the initial posture storage unit 81 as described above. In addition, the writing locus extraction unit 9 uses the gyro 3X and 3Y angular velocity signals ω to indicate the peak value of the moving speed of the pen tip 21 and the posture change of the pen 2.x, ΩyWhen two or more peak values are detected, whether or not the result of integrating the gyro 3X and 3Y posture angle change speeds calculated by the trajectory calculation unit 7 has returned to the initial posture stored in the initial posture storage unit 81 Evaluate whether or not In this way, character delimiters can be recognized more accurately. In this case, the initial posture stored in the initial posture storage unit 81 may be “0”. However, by averaging and re-storing each time the character break is determined, the character break detection accuracy can be further improved. .
[0034]
In each of the above embodiments, the case where the character break is determined based on the moving time of the aerial stroke, the moving speed, the number of peak values of the moving speed, etc. has been described. Can be improved. For example, the character break is determined based on the moving time of the aerial stroke, and then the character break is determined based on the number of peak values of the moving speed. In other words, an aerial stroke is short, and a character that clearly follows one character can be identified as one character in a short time depending on the aerial stroke movement time. The distinction between belonging and character separation becomes subtle. In such a case, it is further determined whether or not the character is separated by the number of peak values of the moving speed. In this way, character delimiters can be accurately determined in a short time, and accurate characters can be recognized.
[0035]
When inputting characters, the characters are usually arranged as “from top to bottom” or “left to right”. The aerial stroke for character delimitation is slightly different depending on the written characters, but basically faces the direction of character arrangement. Therefore, as shown in FIG. 11, a moving direction storage unit 82 is provided in the calculation unit 5, and the character arrangement direction is moved according to the moving direction of the pen tip 21 or the angle change direction of each pen posture calculated by the locus calculating unit 7. Store in the direction storage unit 82. When the writing trajectory extraction unit 9 determines the character delimiter, the direction of the aerial stroke is compared with the stored character arrangement direction to confirm that there is no inconsistency in the recognized characters. In this way, characters can be recognized with higher accuracy.
[0036]
Further, the writing trajectory extraction unit 9 extracts the actual handwriting trajectory from the two-dimensional trajectory sent from the trajectory calculation unit 7 and the contact position between the pen tip 21 and the paper surface determined by the pressure sensitive switch 4 to reconstruct the character. The size of the character can be determined from the stroke when the pen tip 21 is in contact with the paper surface. Therefore, compare the aerial stroke when it is determined as a character delimiter with the determined character size, and the length of the aerial stroke when determined as a character delimiter is a certain percentage of the character size, for example, the character size If it is 1/3 or more, it is determined that the character separation is correct without overlapping characters. In this way, character delimiters and each character can be recognized accurately.
[0037]
Each of the above embodiments has been described with respect to the case where the pressure sensitive switch 4 determines that the pen tip 21 is in contact with the paper surface. However, the optical switch or the like is used to determine that the pen tip 21 is in contact with the paper surface. Also good.
[0038]
In the above embodiment, the case where it is determined that the pen tip 21 is in contact with the paper surface by the pressure sensitive switch 4 or the like has been described. However, the gyro 3X or the gyro 3Y detects that the pen tip 21 is in contact with the paper surface. The position where the pen tip 21 is in contact with the paper surface may be determined by taking out the high frequency vibration generated by the friction between the paper and the pen tip 21 included in the angular velocity signal.
[0039]
Further, in each of the above embodiments, the pen 2 is provided with the gyros 3X and 3Y, and the pen 2 XSAround the axis and YSAlthough the case where the angular velocity around the axis is detected has been described, as shown in FIG.SA gyro 3Z for detecting an angular velocity around the axis is provided, and the gyro 3X, 3Y, 3Z uses X of the sensor coordinate system.SAngular velocity ω around the axisxAnd YSAngular velocity ω around the axisyAnd ZSAngular velocity ω around the axisZEven when the pen 2 for detecting the angular velocity and the pen for detecting the angular velocity and acceleration by the gyro 3X, 3Y, 3Z and the triaxial acceleration sensor are used, the character break can be recognized in the same manner as in the above embodiments.
[0040]
【The invention's effect】
As described above, since the present invention determines that the state where it is determined that the pen tip is not in contact with the paper surface continues for a predetermined time or more determined from the statistics of the writing operation, it is determined as a character break. Therefore, it is possible to accurately reproduce continuously input characters for each character.
[0041]
Further, when the pen tip moving speed or the angular velocity indicating the change in the posture of the pen when it is determined that the pen tip is not in contact with the paper surface is equal to or less than a predetermined speed determined from the statistics of the writing operation, it is determined as a character break. From the above, it is possible to clarify the character delimiters, and it is possible to accurately reproduce continuously input characters one by one.
[0042]
Furthermore, the threshold value for determining the character separation is changed from the time distribution when it is determined that the pen tip is not in contact with the paper surface, or the pen tip is moved when it is determined that the pen tip is not in contact with the paper surface. By changing the threshold value for determining the character break from the velocity or the velocity distribution of the angular velocity of the pen, the character break can be accurately recognized even if the writer is different.
[0043]
In addition, simple processing is performed by discriminating character breaks from at least two or more peaks of the pen tip moving speed or the angular velocity indicating the pen attitude change when it is determined that the pen tip is not in contact with the paper surface. The character delimiter can be clearly identified.
[0044]
Furthermore, by determining the character delimiter from at least two or more peaks of the moving speed of the pen tip or the angular velocity indicating the change in the posture of the pen and by determining the character delimiter from the change from the initial posture of writing the character by the pen, Character breaks can be recognized according to actual pen movement.
[0045]
In addition, by combining a plurality of these character delimiters, the character delimiters can be determined with higher accuracy.
[0046]
Furthermore, when it is determined that the character breaks, the direction of the recognized character is determined from the direction of the aerial stroke in which the pen tip moves without touching the paper and the direction of the character, or the pen tip touches the paper. By comparing the amount of movement of the aerial stroke without moving and the size of the character, it is possible to accurately determine the character delimiter even if the character sequence and character size are different. .
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a pen-type input device according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of a calculation unit according to the embodiment.
FIG. 3 is a distribution diagram of the frequency of occurrence of the travel time of an aerial stroke while inputting one character.
FIG. 4 is a characteristic diagram of time and speed showing a profile of the moving speed of the pen tip.
FIG. 5 is an explanatory diagram showing characters inputted in the above embodiment and reconstructed characters.
FIG. 6 is a distribution diagram of the frequency of occurrence of the average speed of the aerial stroke when inputting one character.
FIG. 7 is a block diagram illustrating a configuration of a calculation unit according to the second embodiment.
FIG. 8 is a change characteristic diagram of the moving speed of an aerial stroke when characters are separated.
FIG. 9 is a block diagram illustrating a configuration of a calculation unit according to a third embodiment.
FIG. 10 is a block diagram illustrating a configuration of a calculation unit according to a fourth embodiment.
FIG. 11 is a block diagram illustrating a configuration of a calculation unit according to a fifth embodiment.
FIG. 12 is a perspective view showing the configuration of another pen.
[Explanation of symbols]
1 Pen-type input device
2 pens
3 Gyro
4 Pressure sensitive switch
5 Calculation unit
7 Trajectory calculation unit
8 Separation data storage
9 Written locus extraction part

Claims (10)

ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、
前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別した状態のとき、前記角速度検出手段で検出した角速度から算出した移動速度のピーク値が2つ以上あったときに文字区切りと判別することを特徴とするペン型入力装置。
In a pen type input device having an angular velocity detecting means for detecting an angular velocity indicating a change in posture of the pen, a paper surface contact determining means for detecting contact between the pen tip and the paper surface, and a computing means .
When the calculation means is in a state in which the pen tip is not in contact with the paper surface by the paper surface contact determination means, and when there are two or more peak values of the moving speed calculated from the angular velocity detected by the angular velocity detection means A pen-type input device characterized in that it is determined as a character delimiter.
ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、In a pen-type input device having an angular velocity detecting means for detecting an angular velocity indicating a change in posture of the pen, a paper surface contact determining means for detecting contact between the pen tip and the paper surface, and a calculating means.
前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別した状態のとき、前記角速度検出手段で検出した角速度のピーク値が2つ以上あったときに文字区切りと判別することを特徴とするペン型入力装置。The computing means is determined to be a character delimiter when there are two or more peak values of angular velocity detected by the angular velocity detecting means when the pen tip is not in contact with the paper surface by the paper surface contact determining means. A pen-type input device.
ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、
前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別した状態のとき、前記角速度検出手段で検出した角速度から算出した移動速度のピーク値が2つ以上あり、ペンの姿勢があらかじめ記憶した初期姿勢に戻ったときに文字区切りと判別することを特徴とするペン型入力装置。
In a pen type input device having an angular velocity detecting means for detecting an angular velocity indicating a change in posture of the pen, a paper surface contact determining means for detecting contact between the pen tip and the paper surface, and a computing means .
When the calculation means determines that the pen tip is not in contact with the paper surface by the paper surface contact determination means, there are two or more peak values of the movement speed calculated from the angular velocity detected by the angular velocity detection means, A pen-type input device that determines that a character is separated when the posture returns to an initial posture stored in advance.
ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、In a pen-type input device having an angular velocity detecting means for detecting an angular velocity indicating a change in posture of the pen, a paper surface contact determining means for detecting contact between the pen tip and the paper surface, and a calculating means.
前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別した状態のとき、前記角速度検出手段で検出した角速度のピーク値が2つ以上あり、ペンの姿勢があらかじめ記憶した初期姿勢に戻ったときに文字区切りと判別することを特徴とするペン型入力装置。The arithmetic means has two or more peak values of angular velocity detected by the angular velocity detecting means when the paper surface contact determining means determines that the pen tip is not in contact with the paper surface, and the pen posture is stored in advance. The pen-type input device is characterized in that it is determined as a character break when returning to the initial posture.
ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、
前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別した状態が一定時間以上続いたときに文字区切りと判別すること及びペン先が紙面と接触していないと判別した状態のとき、前記角速度検出手段で検出した角速度から算出した移動速度のピーク値が2つ以上あったときに文字区切りと判別することとを組み合わせて文字の区切りを判別することを特徴とするペン型入力装置。
In a pen type input device having an angular velocity detecting means for detecting an angular velocity indicating a change in posture of the pen, a paper surface contact determining means for detecting contact between the pen tip and the paper surface, and a computing means .
The calculation means determines that the pen tip is not in contact with the paper surface when the state determined by the paper surface contact determination means that the pen tip is not in contact with the paper surface continues for a certain period of time or more. In this state, the character separation is determined in combination with the character separation determined when there are two or more peak values of the moving speed calculated from the angular velocity detected by the angular velocity detection means. Pen-type input device.
ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、In a pen-type input device having an angular velocity detecting means for detecting an angular velocity indicating a change in posture of the pen, a paper surface contact determining means for detecting contact between the pen tip and the paper surface, and a calculating means.
前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別したとき、前記角速度検出手段で検出した角速度から算出した移動速度又は前記角速度検出手段で検出した角速度が一定速度以下のときに文字区切りと判別すること及び前記角速度検出手段で検出した角速度から算出した移動速度のピーク値が2つ以上あったときに文字区切りと判別することとを組み合わせて文字の区切りを判別することを特徴とするペン型入力装置。When the calculation means determines that the pen tip is not in contact with the paper surface by the paper surface contact determination means, the moving speed calculated from the angular speed detected by the angular speed detection means or the angular speed detected by the angular speed detection means is a constant speed. The character separation is determined by combining the character separation at the following times and the character separation when there are two or more peak values of the moving speed calculated from the angular velocity detected by the angular velocity detecting means. A pen-type input device.
ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、
前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別した状態が一定時間以上続いたときに文字区切りと判別することと、ペン先が紙面と接触していないと判別した状態のとき、前記角速度検出手段で検出した角速度のピーク値が2つ 以上あったときに文字区切りと判別することとを組み合わせて文字の区切りを判別することを特徴とするペン型入力装置。
In a pen type input device having an angular velocity detecting means for detecting an angular velocity indicating a change in posture of the pen, a paper surface contact determining means for detecting contact between the pen tip and the paper surface, and a computing means .
The calculation means determines that the pen tip is not in contact with the paper surface when the state where the pen tip is not in contact with the paper surface continues for a predetermined time or more, and determines that the pen tip is not in contact with the paper surface. A pen-type input device for determining a character delimiter in combination with a character delimiter when there are two or more peak values of angular velocity detected by the angular velocity detecting means in the determined state .
ペンの姿勢変化を示す角速度を検出する角速度検出手段と、ペン先と紙面の接触を検出する紙面接触判別手段及び演算手段とを有するペン型入力装置において、In a pen-type input device having an angular velocity detecting means for detecting an angular velocity indicating a change in posture of the pen, a paper surface contact determining means for detecting contact between the pen tip and the paper surface, and a calculating means.
前記演算手段は、前記紙面接触判別手段によりペン先が紙面と接触していないと判別したとき、前記角速度検出手段で検出した角速度から算出した移動速度又は前記角速度検出手段で検出した角速度が一定速度以下のときに文字区切りと判別すること及び前記角速度検出手段で検出した角速度のピーク値が2つ以上あったときに文字区切りと判別することとを組み合わせて文字の区切りを判別することを特徴とするペン型入力装置。When the calculation means determines that the pen tip is not in contact with the paper surface by the paper surface contact determination means, the moving speed calculated from the angular speed detected by the angular speed detection means or the angular speed detected by the angular speed detection means is a constant speed. A character delimiter is determined by a combination of determining a character delimiter at the following times and determining a character delimiter when there are two or more peak values of angular velocity detected by the angular velocity detecting means. Pen-type input device.
ペンの姿勢変化を示す角速度及びペン先と紙面の接触を検出して入力した文字を認識する文字認識方法において
ペン先が紙面と接触していないと判別した状態のときに検出した角速度から算出した移動速度のピーク値が2つ以上あったときに文字区切りと判別することを特徴とする文字認識方法。
In the character recognition method for recognizing the input character by detecting the angular velocity indicating the posture change of the pen and the contact between the pen tip and the paper surface ,
A character recognition method characterized in that a character delimiter is determined when there are two or more peak values of the moving speed calculated from the angular velocity detected when it is determined that the pen tip is not in contact with the paper surface.
ペンの姿勢変化を示す角速度及びペン先と紙面の接触を検出して入力した文字を認識する文字認識方法において、In a character recognition method for recognizing a character input by detecting an angular velocity indicating a change in posture of the pen and contact between the pen tip and the paper surface,
ペン先が紙面と接触していないと判別した状態のときに検出した角速度のピーク値が2つ以上あったときに文字区切りと判別することを特徴とする文字認識方法。A character recognition method characterized in that a character break is determined when there are two or more peak values of angular velocity detected when it is determined that the pen tip is not in contact with the paper surface.
JP9710898A 1998-04-09 1998-04-09 Pen-type input device and character recognition method Expired - Fee Related JP3841953B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9710898A JP3841953B2 (en) 1998-04-09 1998-04-09 Pen-type input device and character recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9710898A JP3841953B2 (en) 1998-04-09 1998-04-09 Pen-type input device and character recognition method

Publications (2)

Publication Number Publication Date
JPH11296290A JPH11296290A (en) 1999-10-29
JP3841953B2 true JP3841953B2 (en) 2006-11-08

Family

ID=14183407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9710898A Expired - Fee Related JP3841953B2 (en) 1998-04-09 1998-04-09 Pen-type input device and character recognition method

Country Status (1)

Country Link
JP (1) JP3841953B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3412592B2 (en) * 2000-02-08 2003-06-03 松下電器産業株式会社 Personal information authentication method
US7233316B2 (en) 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
TWI305578B (en) * 2006-11-14 2009-01-21 Ind Tech Res Inst Method and apparatus of signal processing and an inertia pointing device using thereof
JP2009252063A (en) * 2008-04-09 2009-10-29 Fuji Xerox Co Ltd Writing information generating device and program
DE102013214020A1 (en) 2013-07-17 2015-02-19 Stabilo International Gmbh Digital pen
JP7275885B2 (en) * 2019-06-13 2023-05-18 株式会社リコー DISPLAY DEVICE, DIRECTION SPECIFICATION METHOD, PROGRAM

Also Published As

Publication number Publication date
JPH11296290A (en) 1999-10-29

Similar Documents

Publication Publication Date Title
KR100518824B1 (en) Motion recognition system capable of distinguishment a stroke for writing motion and method thereof
US6625314B1 (en) Electronic pen device and character recognition method employing the same
JP4033929B2 (en) Pen-type input device
WO2014093506A1 (en) Use of hand posture to improve text entry
JPH09274534A (en) Pen type input device
CN104571521B (en) Hand-written recording equipment and hand-written recording method
EP3289435B1 (en) User interface control using impact gestures
CN105425993A (en) Information processing apparatus and method for controlling information processing apparatus
JPH09230997A (en) Pen type input device
JP2001236174A (en) Device for inputting handwritten character and method for recognizing handwritten character
JP3841953B2 (en) Pen-type input device and character recognition method
Pan et al. A noise reduction method for IMU and its application on handwriting trajectory reconstruction
JP3696365B2 (en) Pen-type input device
JP3841952B2 (en) Pen-type input device
JP3776206B2 (en) Pen-type input device
JP3678386B2 (en) Pen-type input device
JP3505057B2 (en) Pen-type input device
JP2009099041A (en) Pen type input device
KR101987308B1 (en) Method and apparatus for recognizing motion to be considered noise
US20170097683A1 (en) Method for determining non-contact gesture and device for the same
JPH1153104A (en) Pen-type input device and pattern recognition method for the pen-type input device
JPH1145150A (en) Pen type input device
JP3655021B2 (en) Pen-type input device
Tuncer et al. Handwriting recognition by derivative dynamic time warping methodology via sensor-based gesture recognition.
JP3506878B2 (en) Pen-type input device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060809

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090818

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100818

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100818

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130818

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees