JP3357214B2 - タッチパネル付き入力装置 - Google Patents

タッチパネル付き入力装置

Info

Publication number
JP3357214B2
JP3357214B2 JP4952395A JP4952395A JP3357214B2 JP 3357214 B2 JP3357214 B2 JP 3357214B2 JP 4952395 A JP4952395 A JP 4952395A JP 4952395 A JP4952395 A JP 4952395A JP 3357214 B2 JP3357214 B2 JP 3357214B2
Authority
JP
Japan
Prior art keywords
input
pressing
trajectory
touch panel
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP4952395A
Other languages
English (en)
Other versions
JPH08249109A (ja
Inventor
隆雄 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP4952395A priority Critical patent/JP3357214B2/ja
Publication of JPH08249109A publication Critical patent/JPH08249109A/ja
Application granted granted Critical
Publication of JP3357214B2 publication Critical patent/JP3357214B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、タッチパネル付き入力
装置に関し、例えば、ファクシミリ装置、複写機、ある
いはワークステーション等に搭載されるタッチパネル付
き入力装置に関する。
【0002】
【従来の技術】従来より、タッチパネル内の押圧した座
標を検出して選択入力や画像入力するタッチパネル付き
入力装置が知られており、この入力装置は画像を表示す
る表示面上に透明なタッチパネルを設置され画像のタッ
チパネル面上を押圧することによって所定情報を入力す
ることに多用されている。
【0003】この種のタッチパネル付き入力装置は、例
えばファクシミリ装置、複写機、あるいはパーソナルコ
ンピュータ等の入力操作および情報表示の必要ある装置
の操作部に採用されることが多く、入力情報に応じたキ
ー画像(入力用画像)を透明タッチパネルを介して表示
させタッチパネル内の押圧された座標を検出することに
よって、その座標に対応するキー画像が選択されたと判
断する。オペレータはそのキー画像に基づいて入力操作
する。
【0004】
【発明が解決しようとする課題】しかしながら、このよ
うな従来のタッチパネル付き入力装置にあっては、キー
画像に対して押圧されたタッチパネル内の座標は、キー
画像の中心であったり、キー画像を指先で隠さないよう
にその中心からずれた位置であったりする。さらに、押
圧自体でもゆっくり行なわれたり、素早く行なわれたり
などと同じオペレータでさえも押圧状態に差異があるの
で検出される座標がばらつく。これらのことから、指先
程度の小さなキー画像では誤入力が発生してしまうた
め、押圧座標のばらつきを許容するキー画像を表示しな
ければならない。そのため、キー画像の表示領域を指先
よりも十分に大きく確保したり、専用のペンを用いるよ
うにしていた。
【0005】そして、近年のファクシミリ装置や複写機
等においては、多機能化により操作項目が多くなったた
め大画面化(CRT程の大画面にはなっていない)され
ているが、指先よりも大きなキー画像を表示させると一
画面には少ない選択枝しか表示できず、操作が煩雑にな
ってしまうという問題があった。また、専用ペンで入力
するものでは、操作にはこれを用いなければならなず、
紛失してしまうと入力不能になってしまうという問題が
あった。このような問題は、ハンディタイプの装置にお
いても同様である。
【0006】また、手書き入力機能を備える入力装置に
おいても、押圧状態の変化を考慮していない誤差の大き
な手書きの軌跡に対応する多数の文字を選択し、その中
からオペレータに指定させていたので、煩わしいだけで
はなく、選択自体が適当でない場合があった。さらに、
手書きによる描画でも、全体的にスムージングするだけ
であるため描画と無関係な軌跡が画像に含まれてしまい
意図する画像が描画できないという問題があった。
【0007】なお、例えば、特開平5−6699号公報
に、タッチパネルを設置したCRT(Cathode Ray Tub
e)の画面形状に起因する、例えば大画面の場合のタッ
チパネルの張り合わせ誤差、オペレータによって異なる
視点の差異、あるいは湾曲の歪を要因とする画面および
タッチパネルの座標の不一致を、四隅における画面およ
びタッチパネルの座標の関係から補正して誤入力を防止
する入力装置が記載されている。しかし、この入力装置
は画面全体に対するタッチパネルの座標を補正するもの
であるので、キー画像の大きさや押圧状態に応じて押圧
座標を補正することはできず、上記問題を解消すること
はできない。
【0008】そこで、本発明は、押圧座標を押圧状態に
よる差異や面積に応じた表示位置との関係を考慮して補
正することにより、誤入力を防止するとともに入力用画
像の小面積化を可能にして、表示性および操作性の向上
を図ることを目的とし、また、手書きの軌跡を適正にし
て、精度の向上を図ることを目的とする。
【0009】
【課題を解決するための手段】上記目的達成のため、請
求項1記載の発明は、タッチパネルと、該タッチパネル
内の押圧された座標を検出する座標検出手段と、設定モ
ードまたは通常入力モードを選択する選択手段と、設定
モード時にゆっくりの押圧または素早い押圧のうちの少
なくともゆっくりの押圧を指示する押圧指示手段と、設
定モード時の指示に対応した押圧による座標検出手段の
検出情報に基づいてゆっくりの押圧および素早い押圧に
より検出される座標の相関を検知する押圧相関検知手段
と、座標検出手段の検出情報に基づいて押圧がゆっくり
の押圧であるか素早い押圧であるかを判別する押圧判別
手段と、入力座標を押圧判別手段の判別結果に基づいて
座標検出手段の検出情報および押圧相関検知手段の検知
情報から導出する座標導出手段と、を備えたことを特徴
とするものである。
【0010】請求項2記載の発明は、前記タッチパネル
を表示面上に設置され入力用画像を表示する画像表示手
段と、前記設定モード時に画像表示手段に所定面積の補
正用画像を表示させる画像制御手段と、設定モード時の
補正用画像の表示位置と前記座標導出手段の導出座標と
の相関を検知する入力相関検知手段と、前記通常入力モ
ード時の座標導出手段による導出座標を入力相関検知手
段の検知情報に基づいて補正する座標補正手段と、を設
けたことを特徴とするものである。
【0011】また、請求項3記載の発明は、手書きによ
る軌跡を前記座標検出手段の検出情報に基づいて認識す
る軌跡認識手段と、該軌跡認識手段の認識情報から前記
設定モード時の指示された押圧による座標検出手段の検
出情報と一致する軌跡を検出する一致軌跡検出手段と、
軌跡認識手段の認識情報から一致軌跡検出手段の検出情
報を削除する軌跡削除手段と、を具備する手書き入力機
能を備えたこと特徴とするものである。
【0012】請求項4記載の発明は、前記手書き入力機
能に、前記軌跡認識手段による認識情報の前記軌跡削除
手段により削除された部分をスムージング処理するスム
ージング処理手段を設けたことを特徴とするものであ
る。
【0013】
【作用】請求項1記載の発明では、設定モードが選択手
段に選択されると、ゆっくりの押圧または素早い押圧の
うちの少なくともゆっくりの押圧が押圧指示手段により
指示されるので、仮にゆっくりの押圧のみが行なわれた
としても、その押圧で座標検出手段により検出された検
出情報の押圧座標群にはゆっくりの押圧および素早い押
圧による押圧座標が含まれている。そこで、その検出情
報に基づいてゆっくりの押圧および素早い押圧により検
出される座標が押圧相関検知手段により識別されこれら
の相関が検知される。そして、同様に座標検出手段の検
出情報に基づいて押圧がゆっくりの押圧であるか素早い
押圧であるかが押圧判別手段により判別され、この判別
結果に基づいて座標検出手段による検出情報および押圧
相関検知手段の検知情報から入力座標が導出される。す
なわち、ゆっくりの押圧を基準とする場合で押圧がゆっ
くりと判別されたときには座標検出手段による検出座標
をそのまま入力座標と、押圧が素早いと判別されたとき
には検出座標に押圧相関検知手段による検知相関を加え
て入力座標と、また素早い押圧を基準とする場合で押圧
がゆっくりと判別されたときには検出座標に検知相関を
加えて入力座標と、押圧が素早いと判別されたときには
検出座標をそのまま入力座標とされる。したがって、通
常入力時の入力座標は押圧状態に応じて補正され、入力
座標が押圧状態でばらつくことがない。
【0014】請求項2記載の発明では、さらに、設定モ
ード時に画像表示手段が画像制御手段により制御され所
定面積の補正用画像が表示されて設定モード時の押圧が
補正用画像に対して行なわれる。このときの入力座標が
座標導出手段により導出され、この入力座標(導出座
標)と補正用画像の表示位置との相関が入力相関検知手
段により検知される。そして、通常入力モード時の入力
座標は入力相関検知手段の検知相関に基づいて座標補正
手段により補正される。したがって、通常入力時の入力
座標は画像の表示面積に応じた位置になるように補正さ
れ、入力座標が画像の表示領域外となってしまうことが
ない。
【0015】また、請求項3記載の発明では、手書き入
力機能を利用する際、座標検出手段の検出情報に基づい
て軌跡認識手段により手書きによる軌跡が認識されて、
その認識情報から設定モード時の押圧による座標検出手
段の検出情報と一致する軌跡が一致軌跡検出手段により
検出され軌跡削除手段により削除される。したがって、
手書きにより生じる意図していない軌跡が削除される。
【0016】請求項4記載の発明では、さらに、手書き
入力機能を利用する際、軌跡認識手段により認識された
軌跡で軌跡削除手段により削除された部分が、スムージ
ング処理手段によりスムージング処理される。したがっ
て、断続的にされていた手書きによる軌跡がスムーズに
連続する軌跡にされる。
【0017】
【実施例】以下、本発明を図面に基づいて説明する。図
1〜図9は本発明に係るタッチパネル付き入力装置の第
1実施例を搭載したファクシミリ装置の一例を示す図で
あり、本実施例は請求項1記載の発明に対応する。
【0018】まず、構成を説明する。図1〜図3におい
て、11はMPU(Micro Processing Unit)であり、こ
のMPU11は、ファクシミリ通信を行なうとともに本発
明を実現するための制御プログラムを格納するROM
(Read Only Memory)12と、その制御プログラムを実行
するときに、例えばレジスタ等として用いるRAM(Ra
ndom Access Memory)13と、ファクシミリ通信する相手
先情報や画情報等の各種データを格納する大容量記憶媒
体のHDD(Hard Disk Drive)14と、送信または複写
する原稿画像の画情報をスキャナ15で読み取って画像処
理する画像処理部16と、受信または読み取った画情報を
プロッタ17を駆動して記録するプロッタ制御部18と、送
信する画情報を符号化圧縮し、または受信した符号化さ
れている画情報を復号化する符号化復号化部19と、電話
回線等の通信回線を介してファクシミリ通信の相手先と
の接続を制御するNCU(網制御部)20と、通信回線お
よびNCU20を介して送受信される情報をファクシミリ
通信可能に変復調(A/D変換またはD/A変換)する
G3ファクシミリモデム21と、ファクシミリ通信命令や
相手先情報等の各種データを入力するため操作されると
ともにその各種データや装置異常等を表示するオペレー
ションボード部22と、スキャナ15およびプロッタ17等を
含むファクシミリ装置本体に取り付けられた各種センサ
群23および各種モータ群24とMPU11との間に介装され
これらの信号を制御するI/O制御部25と、が接続され
ており、このMPU11は、ROM12内に格納されている
前記制御プログラムに従って上記各部を制御する。な
お、26はファクシミリ装置が備える通話可能な電話機で
あり、27はAC電力を直流化して上記各部に供給するD
C電源部である。
【0019】オペレーションボード部22は、図2に示す
ように、透光性を有するタッチパネル(所謂、透明タッ
チパネル)31が張り合わされ画像をLCDにより表示す
る表示部32と、読取条件など選択された設定条件や装置
異常等の情報を複数のLED33aにより表示するLED
群33と、ダイヤルキー34a、各種機能の選択キー34b、
コピーキー34c、スタートキー34d、およびストップキ
ー34eを配置されたキーマトリックス部34と、を備えて
おり、表示部32は表示制御部35を介して、またLED群
33およびキーマトリックス部34はオペポート制御部36を
介してMPU11に接続されている。表示部32は、表示制
御部35に画像の表示を制御されるようになっており、例
えばHDD14からMPU11が読み出した少なくとも1種
以上の画像をその画像に応じた位置に表示する。LED
群33は、MPU11から送られてきた指示信号に基づいて
オペポート制御部36により点灯/消灯される。キーマト
リックス部34は、選択キー34b、例えばモードキー34b
により本発明に係る設定モードを選択するようになって
おり、その選択信号はオペポート制御部36がMPU11へ
送出する。なお、表示部32はバックライト37を具備して
おり、このバックライト37はオペポート制御部36に接続
され制御される。
【0020】タッチパネル31は、デジタル式を用いると
タッチパネル31の座標に合わせたキー画像(入力用画
像)を表示部32に表示させなければならないことからキ
ー画像の自由度が制限されてしまい、またその自由度を
高くするようにキー画像に合わせてタッチパネル31自体
を製作すると高価になってしまうため、安価なアナログ
接点方式のものが採用されており、キー画像を選択入力
するために押圧したときの押圧位置座標と表示部32の画
面座標とが一致するように予め調整されて張り合わされ
ている。このタッチパネル31の座標は、図3に示すよう
に、X軸およびY軸方向に延在し外部に引き出された透
明電極38a、38bにより形成されており、この電極38
a、38bには切換スイッチ39を介して電圧供給部40およ
びA/Dコンバータ41が接続され、その切換スイッチ39
にはタッチパネル制御部42を介してI/O制御部25が接
続されている。
【0021】このタッチパネル31は、切換スイッチ39に
よる接続の切り換えがタッチパネル制御部42により制御
されることによって電圧供給部40の電圧がX軸の電極38
aまたはY軸の電極38bに交互に(一方に)加えられる
とともに、電極38a、38bの他方で検出される電圧がA
/Dコンバータ41によりデジタル化され押圧位置座標
(以下、単に押圧座標ともいう)の座標データとしてM
PU11へ送出されるようになっている。そして、MPU
11は、タッチパネル制御部42の状態を監視することによ
りA/Dコンバータ41からの座標データが電極38a、38
bのいずれのものか判断することができ、タッチパネル
31の座標と表示部32の座標とが一致することから、その
座標データから押圧座標を検出して対応するキー画像が
入力されたと判断する。このMPU11は、例えば、タッ
チパネル31のX軸の電極38aに電圧供給部40が切換スイ
ッチ39により接続されていた場合、X軸の電極38a間に
は電圧差〔V+−V-(V+>V-)〕が加えられることに
なり、このときにY軸の電極38b間から観測される〔V
max〜Vmin(V+>Vmax>Vmin>V-)〕の押圧された
位置に応じた座標電圧から押圧座標を検出し対応するキ
ー画像の入力を判断する。すなわち、表示部32が画像表
示手段を構成し、MPU11が座標検出手段を構成してい
る。なお、A/Dコンバータ41のフルスケールを〔Vma
x−Vmin〕以上にしておくことによりタッチパネル31全
面の座標データを数値で知ることができる。
【0022】そして、タッチパネル31が検出する押圧座
標は、キー画像を入力するための押圧がゆっくり押える
ものであったり、素早く押えるものであったり、つま
り、指先先端からゆっくり指先の腹まで使っての押圧入
力(図4の(a)から(c)まで)や指先先端のみの素
早い押圧入力(図4の(a)から(b)まで)のように
オペレータによって、また同じオペレータであっても押
圧状態に差異が生じるのでばらつく。この指先の押し付
け方により発生する座標電圧(座標データ)は、タッチ
パネル31としてアナログ接点式を用いているので、図5
のような電圧波形で観測される。この電圧波形の図5中
のD1〜D3期間は図4の(a)〜(c)に対応してお
り、D1期間はタッチパネル31に触れる前まで、D2期
間は指先先端が触れた状態、D3はび指先の腹まで押し
付けた状態での電圧波形を示している。この座標データ
から得られる押圧座標は、D2期間の長さや変化量がオ
ペレータやその時々によってばらつくが、素早い押圧で
は図中のa点が得られるのみで一定となるb点に達する
ことはなく、ゆっくりの押圧では図中のa点からb点へ
移動して一定となる。なお、D1期間からa点までの時
間はタッチパネル31の電気的特性による電圧の充電時間
でその材質によって定まる値であるので電圧が立ち上が
ってから所定時間後に有効な座標データとすればよい。
また、このような押圧座標の変化は縦方向(Y軸方向)
に現れることが多いがオペレータによっては横方向(X
軸方向)にも現れることがある。
【0023】そこで、本実施例のMPU11は、押圧する
仕方(個人差等)を設定可能に構成されており、ゆっく
りの押圧または素早い押圧のいずれであっても押圧座標
を指先に対して安定した位置に補正してキー入力の誤入
力を防止する。例えば、通常入力モード時に表示される
キー画像として多用される長方形の表示の一例で説明す
ると、このMPU11は、オペレーションボード部22のモ
ードキー(選択手段)34bにより設定モードが選択され
たとき、図6に示すような所定面積のボタン画像1を補
正用画像としてHDD14から読み出して表示制御部35に
より表示部32に表示させ、オペレータにゆっくり押圧す
るよう促し、この後に検出した押圧座標の変化(検出情
報)に基づいて前記a点およびb点の変化(相関)を検
知してHDD14に格納(設定)するようになっており、
通常入力モード時には押圧がゆっくりの押圧であるか素
早い押圧であるかを判別し、ゆっくりの押圧でb点が得
られたときにはそのまま、素早い押圧でb点が得られな
いときにはa点をb点との相関を用いて演算することに
よって指先に対して一定の押圧座標を導出し入力座標と
する。すなわち、MPU11は、画像制御手段、押圧指示
手段、押圧相関検知手段、押圧判別手段、および座標導
出手段を構成している。なお、ボタン画像1の押圧は個
人差を際立たせるためゆっくり押圧してもらう方が好ま
しい。
【0024】次に、図7および図8に示すフローチャー
トを用いてMPU11による上記補正を具体的に説明す
る。ここでは、検出される座標データは、正電圧として
検出されるとし、図9に示すように、表示部32の上から
下への指先の移動で得られる電圧波形を図5と逆にして
いる。このようにすることによってD2期間を観測し易
くして検出したa点(指先先端のデータ)およびb点
(指先の腹のデータ)の座標データをHDD14に記憶す
る。なお、実際の電圧波形は、図5では連続曲線で図示
しているが、X軸・Y軸交互に切り換えて検出している
ので図9に図示するような不連続であり、この間隔はA
/Dコンバータ41のデータ取り込みタイミングのサンプ
リング時間ts(t1〜tn時刻(ts=t2−t1=
t3−t2・・・))に相当し、検出時間はサンプリン
グされるデータ数で判断することができる。
【0025】まず、設定モードが選択されると、表示部
32にボタン画像1を表示して座標データを監視し、図9
に示すように、時刻t1および時刻t2で正(電圧)の
座標データが検出されると(ステップP1、P2)、時
刻t2の座標データをas点のデータとして図10に示す
ようにHDD14内に格納する(ステップP3)。次い
で、ノイズ等の無効なデータと区別するために次のデー
タも正であるか確認し(ステップP4)、正ではなく
(負または零)無効のときには「もう一度押して下さ
い。」と表示部32に表示させて(ステップP5)ステッ
プP1へ戻る。
【0026】また、ステップP4で有効な正のデータで
あることが確認されたときには、さらに次のデータも正
で有効であるか確認し(ステップP6)、無効のときに
はステップP5を実行してステップP1に戻り、有効の
ときには一つ前と略一致するか確認する(ステップP
7)。そして、ステップP7で前後のデータが一致しな
いときには図示していないカウンタ機能の値(カウン
ト)をクリアして(ステップP8)ステップP6に戻
り、一致したときにはカウンタの値を1加算して(ステ
ップP9)、その値(サンプリング回数)が5以上とな
るまでステップP6〜P9を繰り返し(ステップP1
0)、5以上となったときにはその最終の時刻tdの座
標データをbs点のデータとしてHDD14に格納する
(ステップP11)。
【0027】なお、このas点およびbs点の検出は、
X方向およびY方向の成分が検出され、またas点およ
びbs点の距離が指先よりも極端に大きい場合には何等
かの操作ミスが発生しているのでHDD14内に格納した
データをクリアしてステップP5に戻って再度同様な処
理を繰り返す。また、ステップP10においてbs点を検
出(判断)するために略一致する座標データが5回連続
することを確認しているのは、サンプリング間隔と人の
反応時間との関係を考慮して十分に長い時間一定になっ
たと判断するためには5回程度必要であると考えたため
であり、この回数に限るものではない。
【0028】この後、設定モードの終了後に通常入力モ
ードが選択されてタッチパネル31の押圧(入力)が開始
されると、ゆっくりの押圧の場合には座標データが時刻
t1からtnまで検出される図9に示す電圧波形E1と
なって一定期間のbm点を押圧座標とすることができ
る。また、素早い押圧の場合には座標データが時刻tm
までの図9に破線で示す電圧波形E2となって一定期間
(bm点)が観測されずam点のみとなるので設定モー
ドで得られたas点およびbs点の相関を用いてbm点
を算出し押圧座標とする。
【0029】この通常入力モード時の処理は、まず、表
示部32にキー画像を表示して座標データを監視し、時刻
t1および時刻t2で正の座標データが検出されると
(ステップP21、P22)、時刻t2の座標データをRA
M13内のバッファ領域に保持する(ステップP23)。次
いで、ノイズ等の無効なデータと区別するために次のデ
ータも正であるか確認し(ステップP24)、正ではなく
無効のときにはRAM13内の時刻t2の座標データをク
リアして(ステップP25)ステップP21へ戻る。
【0030】また、ステップP24で有効な正のデータで
あることが確認されたときには、さらに次の時刻tmの
データDm(m=4〜nの整数)が正(Dm>00)で
有効であるか確認する(ステップP26)。このステップ
P26で座標データの無効が確認されたときにはbm点の
ない電圧波形E2と判断してRAM13内の時刻t2の座
標データをam点とし(ステップP27)、図10に示すH
DD14内に予め設定されている例えば、次式の算出式に
よりbm点を算出し(ステップP28)、HDD14の有効
領域と比較してどのキー画像が押圧されたのか確認して
キー入力を確定する(ステップP29)。
【0031】この押圧座標のbm点を算出する算出式
は、am点を(Damx,Damy)と、bm点を(D
bmx,Dbmy)とし、設定モードで検出されたHD
D14内のas点を(dasx,Dasy)と、bs点を
(Dbsx,Dbsy)とした次式で表される。 Dbmx=Damx−(Dasx−Dbsx) ・・・(1) Dbmy=Damy−(Dasx−Dbsy) ・・・(2) 一方、ステップP26で座標データの有効が確認されたと
きには一つ前と略一致(D(m−1)=Dm)するか確
認し(ステップP30)、一致しないときには前記カウン
タの値をクリアして(ステップP31)ステップP26に戻
り、一致したときにはそのカウンタの値を1加算して
(ステップP32)、その値が5以上となっなるまでステ
ップP26〜P32を繰り返し(ステップP33)、5以上と
なったときには図9に示すように5個以上の座標データ
が連続する電圧波形E1であってその最終の時刻tdの
座標データDmがbm点であると判別してそのまま押圧
座標とし(ステップP34)、ステップP29でHDD14の
有効領域のどのキー画像が押圧されたのか確認しキー入
力を確定する。
【0032】このように本実施例では、設定モード時に
ゆっくり押圧された座標データから素早い押圧によるa
s点およびゆっくりの押圧によるbs点が検出される。
そして、通常入力モード時には、検出された座標データ
からbm点の検出の有無に基づいてゆっくりの押圧であ
るか素早い押圧であるかが判別され、bm点が検出され
たときにはそのまま押圧座標とされ、bm点が検出され
ないときには設定モード時に検出されたas点とbsと
の差(相関)が用いられてam点からbm点が算出(導
出)され押圧座標とされる。したがって、通常入力モー
ド時の押圧座標は押圧状態に応じて指先に対して安定し
た位置に補正され、押圧状態でばらつくことがなく、入
力操作が安定する。この結果、常にオペレータが指した
い場所を押圧座標とすることができ、キー画像を小面積
化しても誤入力がなく、表示性および操作性が向上す
る。
【0033】さらに、押圧されている時間も考慮して素
早い押圧かゆっくりの押圧かを判別するように構成して
もよく、例えば、指先先端だけでゆっくり押圧した場合
も区別して押圧座標を補正し、より精度を上げてもよ
い。なお、本実施例では、指先先端のみで押圧したam
点の押圧座標を指先の腹まで押圧したbm点の押圧座標
に補正しているが、逆にbm点の押圧座標をam点の押
圧座標に補正することによって、押圧状態によるばらつ
きをなくし入力操作を安定させてもよい。
【0034】また、本実施例では、ボタン画像1を表示
部32に表示してa点およびb点を検出しているが、ボタ
ン画像1を表示することなく単にタッチパネル31の押圧
を促すのみでもよい。次に、図11〜図14は本発明に係る
タッチパネル付き入力装置の第2実施例を搭載したファ
クシミリ装置の一例を示す図であり、本実施例は請求項
1または2記載の発明に対応する。なお、本実施例で
は、上述実施例と略同様に構成されている。
【0035】まず、構成を説明する。本実施例のMPU
11は、上述第1実施例と同様な処理に加え、タッチパネ
ル31が検出する押圧座標が有効領域外となってしまう、
例えば、小さなキー画像の場合にその内容(機能)を示
す文字等の表示が指先で隠れないように押圧するオペレ
ータでは利き手に応じた左右下側にずれるため、精度の
高いキー入力が行なえるようにオペレータに応じた座標
データと指し示したい場所との相関から押圧座標を補正
するように構成されており、上述実施例の設定モード時
にボタン画像1とともに図11に示すような指先程度の面
積のボタン画像2を補正用画像として表示部32に追加し
て表示させ、その表示位置に対する押圧座標のずれ、す
なわち画像の中心座標と押圧座標とのずれ(相関)を検
知して上述実施例のbm点を補正して入力座標とするよ
うになっている。すなわち、本実施例のMPU11は、入
力相関検知手段および座標補正手段をも構成している。
なお、表示部32に追加表示させるボタン画像2の大きさ
は他に、通常入力モードで用いるキー画像の何分の一か
(例えば、1/4)の大きさにしてもよく、実際に使用
するキー画像に近似する何種類かにしてもよい。
【0036】次に、図12および図13に示すフローチャー
トを用いてMPU11による上記補正を具体的に説明す
る。ここでは、上述実施例で検出したa点およびb点と
指し示したい座標とが一対一の位置関係で定まる簡単な
一例を説明する。なお、ボタン画像2の中心座標はc点
(Cx,Cy)とする。まず、設定モードが選択される
と、表示部32にボタン画像1およびボタン画像2を表示
して、上述実施例のステップP1〜P11を実行して、ボ
タン画像1に対する押圧でa1点およびb1点を、ボタ
ン画像2に対する押圧でa2点およびb2点を図14にし
めすようにHDD14内に格納する(ステップP41〜P4
3)。なお、このうちのa2点のデータは、ボタン画像
1の中心座標c点(Cx、Cy)に向かう押圧による検
出情報なので、as点の座標データとしてHDD14内に
格納する。
【0037】次いで、各点間の線分a1b1と線分a2
b2の長さの大小を比較し(ステップP44)、大きな線
分の方のb1点またはb2点をbs点の座標データとし
て採用し(ステップP45、P46)、HDD14に格納する
(ステップP47)。このようにすることによって、指先
の腹までじっくり押圧された押圧状態の相関を採用して
押圧座標を算出することができる。なお、このとき、大
きなボタン画像1の方がじっくり押される傾向があるの
で線分a1b1を選択してそのb1点をbs点としても
よい。
【0038】この後、設定モードの終了後に通常入力モ
ードが選択されてタッチパネル31の押圧(入力)が開始
されると、上述実施例のステップP21〜P26を実行し
て、ステップP26で座標データの無効が確認されbm点
のない電圧波形E2と判断されたらステップP27でRA
M13内の時刻t2の座標データをam点とした後に、ス
テップP28で用いた(1)式、(2)式によりbm点を
算出してHDD14内にbs点の座標データとして格納す
る(ステップP51)。次いで、HDD14内に予め設定さ
れている例えば、次式の算出式により補正した押圧座標
を算出し(ステップP52)、HDD14内の有効領域と比
較してどのキー画像が押圧されたのか確認してキー入力
を確定する(ステップP53)。
【0039】この押圧座標を算出する算出式は、補正済
みの押圧座標を(Dbmx’,Dbmy’)とした次式
で表される。 Dbmx’=Dbmx−(Cx−Dbsx) ・・・(3) Dbmy’=Dbmy−(Cy−Dbsy) ・・・(4) 一方、ステップP26で座標データの有効が確認されステ
ップP30〜P34でbm点のある電圧波形E1と判断され
たら5個以上連続する最終の時刻tdの座標データDm
をbm点と判別して、ステップP52、P53で上記
(3)、(4)式により補正した押圧座標を算出しHD
D14内の有効領域のどのキー画像が押圧されたのか確認
してキー入力を確定する。
【0040】このように本実施例では、上述実施例の作
用効果に加え、設定モード時に指先程度のボタン画像2
が表示部32に表示され、その中心座標のc点とのずれ
(相関)で指先に対して安定した位置のbm点が補正さ
れる。したがって、通常入力モード時の押圧座標は表示
するキー画像の面積に応じた位置に補正され、指し示し
たいキー画像の入力有効領域(表示領域)外となってし
まうことがない。この結果、小面積化しても、キー画像
の誤入力をより確実に防止することができ、表示性およ
び操作性がより向上する。
【0041】次に、図15〜図17は本発明に係るタッチパ
ネル付き入力装置の第3実施例を搭載したファクシミリ
装置の一例を示す図であり、本実施例は請求項1または
3記載の発明に対応する。なお、本実施例では、上述実
施例と略同様に構成されている。まず、構成を説明す
る。
【0042】本実施例のMPU11は、上述第1実施例と
同様な処理に加え、指先により手書き入力する機能を備
え、モードキー34bにより本発明に係る手書きモードが
選択されたときには指先を押し付けている状態と指先を
移動させている状態とを区別することによって誤入力を
防止するように構成されており、例えば、オペレータに
より図15(a)に示すような文字の一筆(図形)の軌跡
でタッチパネル31が押圧されると、タッチパネル31の座
標データとして図15(b)に示すような電圧波形が観測
されるが、文字と関係のない上述実施例のキー入力のよ
うな指先の押し付けの軌跡が図中破線の円内に示すよう
に含まれてしまうので、検出した座標データ(軌跡)か
ら指先の押圧に相当(一致)する座標データ(軌跡)を
削除することによってオペレータの意図する軌跡のみに
修正して該当する文字選択の確度を向上させるようにな
っている。すなわち、本実施例のMPU11は、軌跡認識
手段、一致軌跡検出手段、および軌跡削除手段をも構成
している。
【0043】このキー入力のような指先の押し付けの軌
跡(以下、単に指先の軌跡)は、図示するように図形の
先頭部分と途中で鋭角に変化する部分に現れることが多
く、手書きによる座標データの変化と上述実施例のa点
からb点へ変化する曲線abとを比較することで検出す
ることができ、直線に近似できる場合もあるが、図9に
示すように自由曲線で観測されることもあるので、座標
データの変化を微分したパターンに基づいて削除するこ
とにより純粋な意図する文字部分だけにすることができ
る。なお、図15(b)の電圧波形は図9のように不連続
に検出されるが、検出時間が長く見難くなるので連続曲
線で示している。
【0044】ここで、手書き入力による座標データの微
分データを説明する。時刻tm(m=1,2,3,・・
・,n)で検出された座標データDm(Dmx、Dm
y)は、サンプリング周期が十分に短ければ微分データ
ΔDmをX軸方向、Y軸方向の成分毎に次のように表す
ことができ、 ΔDm=(Dmx−D(m−1)x,Dmy−D(m−1)y) ・・・(5) 手書き入力による座標データ中の微分データΔDmは、
押し付け方の時間にもよるが上述第1実施例の設定モー
ドの曲線abの微分データのk倍(1/2≦k≦2、整
数とは限らない)の範囲内と考えられるので、手書き入
力モード時の微分データΔDmがその範囲内であるか否
かを比較することにより、指先の軌跡による座標データ
を区別することができ、その指先の軌跡を手書き入力に
よる軌跡から削除することができる。そして、設定モー
ドの曲線abに対する微分データΔDmの変化の程度で
あるkは、通常の指の大きさ(曲線abの距離)、サン
プリング時間、表示部32の大きさやA/Dコンバータ41
の特性から予め定められることから所定数の値しか取る
ことができず、本実施例では1/2≦k≦2の8つの値
とすると、設定モード時に曲線abから微分データが5
個取れた場合には手書き入力による微分データΔDmと
比較する40個の微分データの微分データ群SDを準備
することができ、これらkの値および微分データ群SD
をHDD14に図16のように格納しておく。
【0045】次に、図17および図18に示すフローチャー
トを用いてMPU11による上記修正を具体的に説明す
る。まず、設定モードが選択されると、上述実施例のス
テップP1〜P11を実行して、時刻t2の座標データの
as点および時刻tdの座標データのbs点をHDD14
に格納するとともにステップP8の後に一つ前と略一致
しない曲線ab間の座標データDmをHDD14に格納し
(ステップP61)、kの値を用いて微分データ群SDを
算出してHDD14に格納する(ステップP62)。
【0046】この後、設定モードの終了後に手書き入力
モードが選択され、タッチパネル31の押圧(手書き入
力)が開始されると、まず、時刻t1および時刻t2で
正の座標データD1、D2が検出されると(ステップP
61)、座標データD2を図19に示すようにRAM13内の
バッファ領域αに保持する(ステップP62)。次いで、
ノイズ等の無効なデータと区別するために次の座標デー
タD3も正であるか確認し(ステップP63)、正でなく
無効のときにはRAM13内の座標データD2をクリアし
て(ステップP64)ステップP61へ戻る。
【0047】また、ステップP63で有効な正の座標デー
タD3であることが確認されるとその微分データΔDm
を上記(5)式を用いて算出しバッファ領域β内に格納
する(ステップP65)。次いで、RAM13のバッファ領
域β内に微分データΔDmが5個詰まったか確認し(ス
テップP66)、5個に満たないときには次の座標データ
Dmが正であるか確認して(ステップP67)座標データ
Dmが正(Dm>00)のときにはその微分データΔD
mを算出し上にシフトしたRAM13内のバッファ領域
α、βの最下段にデータDm、ΔDmを挿入し(ステッ
プP68、P69)、ステップP66に戻って5個詰まるまで
繰り返す。そして、ステップP66でRAM13のバッファ
領域β内に微分データDmが5個詰まったことが確認さ
れると、随時、微分データ群SDと比較して曲線abと
不一致であるか確認し(ステップP70)、一致しないと
きにはRAM13のバッファ領域βの最上段の微分データ
ΔDmの座標データD(m−1)を表示部32に手書き入
力による文字の軌跡の一部として表示し(ステップP7
1)、一致したときはRAM13のバッファ領域β内の5
個の微分データΔDmに対応する座標データDmを最上
段に対応するものから破棄して表示部32に表示しないよ
うにした後に(ステップP72)、ステップP67に戻って
同様な処理を継続する。
【0048】一方、ステップP67で座標データDmが正
でないことが確認されると、これが5回連続しているか
確認し(ステップP73)連続していない場合にはステッ
プP65へ戻って処理を継続する。また、ステップP73で
正でない座標データDmが5回連続していることが確認
された場合にはオペレータにより手書き入力モードが終
了されたか確認し(ステップP74)終了でなければステ
ップP61に戻って次の一筆に対する処理を継続し、終了
の場合には破棄した座標データ以外により構成される部
分でHDD14内の文字認識パターンと比較して(ステッ
プP75)、候補の文字を表示部32に表示し手書きによる
文字入力を終了する(ステップP76)。
【0049】このとき、手書き入力が図15(a)に示す
一筆の軌跡で終了したとすると、円内も含めて文字認識
した場合にはカタカナの「フ」や「ク」、平仮名の
「つ」や数字の7等が該当すると考えられるのでこれら
から選択しなければならないが、本実施例のように指先
の軌跡である図15中円内は文字と無関係で、かつ急激な
変化点として削除されているので、少なくとも「ク」や
「つ」は選択枝から除外され、オペレータによる選択枝
を少なくすることができる。なお、ステップP73で座標
データDmの5回連続の「00」を確認しているのは、
5回連続すれば少なくとも一筆は終了したとすることが
でき、かつ、ノイズを区別することができるからであ
る。
【0050】このように本実施例では、手書き入力機能
を利用する際に手書きによる軌跡の座標データから指先
の軌跡である文字と関係のない曲線abと一致する座標
データが検出されて削除される。したがって、手書きに
より生じる意図していない軌跡が削除され、適正な手書
きの軌跡で文字認識パターンと比較することができ、高
い確度で文字候補を選択することができる。この結果、
手書き入力において精度良く意図する文字を選択するこ
とがで、その指定が容易になる。
【0051】また、本実施例の他の態様としては、図示
していないが、本実施例では、指先の軌跡のような文字
と無関係で、かつ急激な変化点である図15中円内の座標
データDmは削除しているが、このままでは手書き入力
による軌跡をそのまま若しくは縮小して表示する描画の
場合等には切れ切れの画像になってしまうので、MPU
11にスムージング処理手段を構成させ、ステップP72で
破棄する微分データΔDmを加工してスムージング処理
するようにしてもよい。
【0052】この微分データΔDmは、Dm−D(m−
1)であるので、破棄された微分データの和を取ると、
次式となる。 ΔD(m−4)+ΔD(m−3)+・・・+ΔDm =Dm−D(m−5) この座標データDm、D(m−5)は、曲線abと一致
しなくなった点および一致する前の点であるので、RA
M13のバッファ領域βの微分データΔDmを破棄せずに
これらの和の1/2にした点を中点として表示部32に表
示した座標データDmとつないで表示させるように構成
することによって、断続的な軌跡をスムーズに連続する
文字や図形等として表示部32に表示させることができ、
意図する軌跡で精度良く容易に描画することができる。
なお、このスムージング処理は、上記の中点に代えて曲
線abの長さに応じた幾つかの点を採用してもよく、ま
た前後の座標データDmから滑らかに変化するようにし
たり、逆に極点を持つようにしてもよい。この他の態様
は請求項4記載の発明に対応する。
【0053】
【発明の効果】請求項1記載の発明によれば、ゆっくり
の押圧および素早い押圧による押圧座標の相関を検知
し、入力座標はゆっくりの押圧であるか素早い押圧であ
るかに応じてこれらの相関を加え導出するので、入力座
標を押圧状態に応じて補正することができ、押圧状態で
ばらつくことがない。したがって、誤入力の防止および
入力用画像の小面積化を図ることができ、表示性および
操作性が向上する。
【0054】請求項2記載の発明によれば、さらに、所
定面積の補正用画像の表示位置に対する導出座標(入力
座標)の相関を検知し、通常入力モード時の入力座標は
その相関に基づいて補正するので、入力座標を画像面積
に応じた位置に補正することができ、入力座標が画像の
表示領域外となってしまうことがない。したがって、誤
入力の防止および入力用画像の小面積化を図ることがで
き、表示性および操作性が向上する。
【0055】また、請求項3記載の発明によれば、手書
き入力機能を利用する際、手書きによる軌跡から押圧状
態の変化による軌跡を削除するので、手書きにより生じ
る意図していない軌跡を削除することができ、手書きの
軌跡が適正になる。したがって、予め格納されている文
字や図形等を高い確度で選択することができ、その指定
が容易になるとともに精度が向上する。
【0056】請求項4記載の発明によれば、さらに、手
書き入力機能を利用する際、手書きによる軌跡で削除し
た部分をスムージング処理するので、断続的になってい
た軌跡がスムーズに連続する手書きの軌跡にすることが
でき、手書きの軌跡が適正になる。したがって、描画が
容易になるとともに精度が向上する。
【図面の簡単な説明】
【図1】本発明に係るタッチパネル付き入力装置の第1
実施例を搭載したファクシミリ装置の一例を示す図であ
り、その全体構成を示すブロック図である。
【図2】その要部を示す平面図である。
【図3】その要部の表示制御および座標検出を説明する
ブロック図である。
【図4】その押圧座標を説明する説明図である。
【図5】図4に示す押圧による座標電圧を説明するグラ
フである。
【図6】その補正用画像の一例を示す説明図である。
【図7】その設定モードを説明するフローチャートであ
る。
【図8】その通常入力モードを説明するフローチャート
である。
【図9】その押圧による座標データの変化を説明するグ
ラフである。
【図10】その設定モード時に検出した情報の格納を説明
する説明図である。
【図11】本発明に係るタッチパネル付き入力装置の第2
実施例を搭載したファクシミリ装置の一例を示す図であ
り、その補正用画像の一例の表示を示す説明図である。
【図12】その設定モードを説明するフローチャートであ
る。
【図13】その通常入力モードを説明するフローチャート
である。
【図14】その設定モード時に検出した情報の格納を説明
する説明図である。
【図15】本発明に係るタッチパネル付き入力装置の第3
実施例を搭載したファクシミリ装置の一例を示す図であ
り、その手書き入力の一例の表示を説明する説明図であ
る。
【図16】その設定モード時に検出した情報の格納を説明
する説明図である。
【図17】その設定モードを説明するフローチャートであ
る。
【図18】その通常入力モードを説明するフローチャート
である。
【図19】その手書き入力モード時に検出した情報の格納
を説明する説明図である。
【符号の説明】
11 MPU(座標検出手段、押圧指示手段、押圧相関
検知手段、押圧判別手段、座標導出手段、画像制御手
段、入力相関検知手段、座標補正手段、軌跡認識手段、
一致軌跡検出手段、軌跡削除手段、およびスムージング
処理手段) 12 ROM 13 RAM 14 HDD 15 スキャナ 17 プロッタ 19 符号化復号化部 20 NCU 21 G3ファクシミリモデム 22 オペレーションボード部 31 タッチパネル 32 表示部(画像表示手段) 34 キーマトリックス部 34b モードキー(選択手段) 35 表示制御部 42 タッチパネル制御部
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06F 3/033 - 3/037 G06F 3/03 G06F 3/00 601 - 680

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】タッチパネルと、該タッチパネル内の押圧
    された座標を検出する座標検出手段と、設定モードまた
    は通常入力モードを選択する選択手段と、設定モード時
    にゆっくりの押圧または素早い押圧のうちの少なくとも
    ゆっくりの押圧を指示する押圧指示手段と、設定モード
    時の指示に対応した押圧による座標検出手段の検出情報
    に基づいてゆっくりの押圧および素早い押圧により検出
    される座標の相関を検知する押圧相関検知手段と、座標
    検出手段の検出情報に基づいて押圧がゆっくりの押圧で
    あるか素早い押圧であるかを判別する押圧判別手段と、
    入力座標を押圧判別手段の判別結果に基づいて座標検出
    手段の検出情報および押圧相関検知手段の検知情報から
    導出する座標導出手段と、を備えたことを特徴とするタ
    ッチパネル付き入力装置。
  2. 【請求項2】前記タッチパネルを表示面上に設置され入
    力用画像を表示する画像表示手段と、前記設定モード時
    に画像表示手段に所定面積の補正用画像を表示させる画
    像制御手段と、設定モード時の補正用画像の表示位置と
    前記座標導出手段の導出座標との相関を検知する入力相
    関検知手段と、前記通常入力モード時の座標導出手段に
    よる導出座標を入力相関検知手段の検知情報に基づいて
    補正する座標補正手段と、を設けたことを特徴とする請
    求項1記載のタッチパネル付き入力装置。
  3. 【請求項3】手書きによる軌跡を前記座標検出手段の検
    出情報に基づいて認識する軌跡認識手段と、該軌跡認識
    手段の認識情報から前記設定モード時の指示された押圧
    による座標検出手段の検出情報と一致する軌跡を検出す
    る一致軌跡検出手段と、軌跡認識手段の認識情報から一
    致軌跡検出手段の検出情報を削除する軌跡削除手段と、
    を具備する手書き入力機能を備えたこと特徴とする請求
    項1記載のタッチパネル付き入力装置。
  4. 【請求項4】前記手書き入力機能に、前記軌跡認識手段
    による認識情報の前記軌跡削除手段により削除された部
    分をスムージング処理するスムージング処理手段を設け
    たことを特徴とする請求項3記載のタッチパネル付き入
    力装置。
JP4952395A 1995-03-09 1995-03-09 タッチパネル付き入力装置 Expired - Fee Related JP3357214B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4952395A JP3357214B2 (ja) 1995-03-09 1995-03-09 タッチパネル付き入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4952395A JP3357214B2 (ja) 1995-03-09 1995-03-09 タッチパネル付き入力装置

Publications (2)

Publication Number Publication Date
JPH08249109A JPH08249109A (ja) 1996-09-27
JP3357214B2 true JP3357214B2 (ja) 2002-12-16

Family

ID=12833506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4952395A Expired - Fee Related JP3357214B2 (ja) 1995-03-09 1995-03-09 タッチパネル付き入力装置

Country Status (1)

Country Link
JP (1) JP3357214B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013065272A1 (ja) * 2011-11-02 2013-05-10 シャープ株式会社 タッチパネル及びタッチパネル付き表示装置
JP5418580B2 (ja) 2011-12-07 2014-02-19 株式会社デンソー 入力装置
JP2016076156A (ja) * 2014-10-08 2016-05-12 ローム株式会社 タッチパネル、タッチパネルコントローラおよびその制御方法、および電子機器
CN113918043B (zh) * 2021-09-08 2023-12-05 华人运通(上海)云计算科技有限公司 一种触控方法

Also Published As

Publication number Publication date
JPH08249109A (ja) 1996-09-27

Similar Documents

Publication Publication Date Title
EP0554492B1 (en) Method and device for optical input of commands or data
EP0557282B1 (en) Computer with tablet input to standard programs
EP0557284B1 (en) Computer with separate display plane and user interface processor
US6937226B2 (en) Input device and pointer control method
EP0622723A2 (en) System and method for dynamically labeled touch sensitive buttons in a digitizing display
US7259754B2 (en) Pen sensor coordinate narrowing method and apparatus
EP1457864A1 (en) INPUT APPARATUS, COMPUTER APPARATUS, METHOD FOR IDENTIFYING INPUT OBJECT, METHOD FOR IDENTIFYING INPUT OBJECT IN KEYBOARD, AND COMPUTER PROGRAM
EP1655659A2 (en) Portable terminal and data input method therefor
US20120212440A1 (en) Input motion analysis method and information processing device
JPH11283026A (ja) 指紋検出機能付きタッチパッド及び情報処理装置
US6466197B1 (en) Method and apparatus for driving pointing device of computer system
JP2011146067A (ja) 手操作入力を統合する方法
JP3357214B2 (ja) タッチパネル付き入力装置
US10228798B2 (en) Detecting method of touch system for avoiding inadvertent touch
US20050122322A1 (en) Document creating method apparatus and program for visually handicapped person
JP4728540B2 (ja) 会議等支援用画像投影装置
JP2000010720A (ja) 座標入力装置
JP2001067183A (ja) 座標入力/検出装置および電子黒板システム
JPS5887664A (ja) 認識エラ−修正方式
JP4266076B2 (ja) 電子黒板システム
JP2986234B2 (ja) 入力/表示装置
JPS60182977A (ja) 電子ゲ−ム装置
JP7467391B2 (ja) 情報処理装置および情報処理装置の制御方法
JPH0689143A (ja) タッチパネル入力装置
JPH07271511A (ja) 感圧式タブレットおよび情報処理装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081004

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081004

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091004

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101004

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111004

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121004

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131004

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees