JP3791649B2 - 入力装置 - Google Patents
入力装置 Download PDFInfo
- Publication number
- JP3791649B2 JP3791649B2 JP9830998A JP9830998A JP3791649B2 JP 3791649 B2 JP3791649 B2 JP 3791649B2 JP 9830998 A JP9830998 A JP 9830998A JP 9830998 A JP9830998 A JP 9830998A JP 3791649 B2 JP3791649 B2 JP 3791649B2
- Authority
- JP
- Japan
- Prior art keywords
- input
- numeric keypad
- image
- display
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Drawing Aids And Blackboards (AREA)
- Position Input By Displaying (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力装置に関する。
【０００２】
【従来の技術】
従来、コンピュータへの入力装置として、座標位置を入力するタブレット，タッチパネルなどのヒューマンインタフェースに優れたものが普及し始めている。また、液晶タブレットやインタラクティブ電子黒板のように表示装置と連動させることにより、機能とインタフェースを向上させたものもある。この表示付き入力装置において、入力やファイルアクセスなどに対するセキュリティは重要である。特に、インタラクティブ電子黒板のように不特定多数の人間が使用できる環境にあるものはなおさらである。このセキュリティ機能の最も代表的なものとして、暗証番号の入力がある。
【０００３】
この種の暗証番号を入力する装置として、特開平９−２９７８７５号に示されているような装置が知られている。この装置では、０〜９の各入力キーを複数設けることで、暗証番号の各桁の数値を入力する場合に、利用者は複数の同一入力キーから１つの入力キーを選択することとなり、この選択の自由度により、暗証番号が利用者の指などの動きから他人に知られないようにすることを意図している。
【０００４】
【発明が解決しようとする課題】
しかしながら、インタラクティブ電子黒板は大画面であり、通常、多数の人間が見やすいように設置されている。従って、暗証番号入力の際、その番号が見られる可能性が極めて高い。すなわち、入力装置において、セキュリティ上、暗証番号入力は必要であるが、他人から見られる恐れがある。上述した従来の技術は、テンキーを複数設けて、これを避けようとしているが、双方向電子黒板のような大型の入力装置では有効に機能しにくいという欠点がある。
【０００５】
本発明は、双方向電子黒板のような大型の入力装置においても、暗証番号入力が他人から見られるのを有効に回避することの可能な入力装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者を撮像する撮像手段と、前記撮像手段によって撮像された画像に基づいて入力者の位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることを特徴としている。
【０００７】
また、請求項２記載の発明は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者の３次元位置を計測する計測手段と、前記計測手段により得られた入力者の３次元位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることを特徴としている。
【０００８】
また、請求項３記載の発明は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者が乗るとその位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることを特徴としている。
【０００９】
また、請求項４記載の発明は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、物体の距離を計測する測距手段と、前記測距手段の値に基づいて入力者の位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることを特徴としている。
【００１２】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。本発明は、周囲の人にとって、入力者が影になる位置にテンキーを表示するものである(暗証番号入力用のテンキーが入力者に隠れて、他人から見えないようにするものである)。
【００１３】
図１は本発明に係る入力装置の第１の構成例を示す図である。この入力装置は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有するもの(例えば、電子黒板)であって、入力者を撮像する撮像手段２と、撮像手段２によって撮像された画像に基づいて入力者の位置を検出する位置検出手段１１と、画像表示手段の位置検出手段１１により得られた位置に基づいた位置に、テンキーを表示させるテンキー表示位置指定手段１２とを有している。
【００１４】
図２は第１の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。第１の構成例では、表示付き電子黒板１に、この前に立った入力者を撮像するための撮像手段(カメラ)２を設置する。カメラ２で撮像された画像は、表示付き電子黒板１に内蔵された位置検出手段(位置検出部)１１に送られる。位置検出部１１では、カメラ２によって撮像された入力者の像から、その位置を検出する。
【００１５】
なお、画像からの人物の位置検出方法として、種々のものを用いることができる。例えば、先ず、入力画像全面において、局所的な周波数を算出する。次いで、このように求めた周波数成分に対し閾値処理により、図３のように画像内を高周波が含まれる部分(領域２１)と高周波成分が少ない部分(領域２２)とに分離する。なお、この処理は、ピントの合った人物像は高い周波数成分が比較的多いが、ピントの合っていない背景は高い周波数成分が少ないことに着目したものであり、画像内において高周波が含まれる部分(領域２１)を人物の部分として推測できる。次いで、人物が撮像されていると推測される領域２１の重心(ＧＸ，ＧＹ)を求める。以上の処理により、画像上のどの位置に人物がいるのかが算出される。
【００１６】
このようにして、人物の位置が例えば(ＧＸ，ＧＹ)として検出されると、この位置(ＧＸ，ＧＹ)から、入力面のどの位置にテンキーを表示させるのかを、テンキー表示位置指定手段(テンキー表示位置指定部)１２で算出する。なお、位置(ＧＸ，ＧＹ)に対するテンキーの表示位置の決定方法としては、種々のものを用いることができる。例えば、人物がいる場所と同じ位置が確率的に最も他人から見にくいと考えられるので、その位置にテンキー３を表示する。また、入力者のみならず観察者の位置を画像等から推測し、それも考慮した位置にテンキー３を表示してもよい。例えば、図１３を使って表示位置の決定方法を示す。図１３は電子黒板１を上から見た図であり、電子黒板１の側にいる人物１１２、１１３にとって、入力者１１１が影になる位置は太線で示した領域１１４であるので、この領域１１４内の位置にテンキー３を表示する。このような処理を経て、図１のように、この表示位置にテンキー３を表示させる。このとき、暗証番号入力用のテンキー３は、入力者１１１に隠れて他人から見えないようになる。
【００１７】
図４は、本発明に係る入力装置の第２の構成例を示す図である。この入力装置は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有するもの(例えば、電子黒板)であって、入力者の３次元位置を計測する計測手段３１と、計測手段３１により得られた３次元位置に基づいた画像表示手段の位置に、テンキーを表示させるテンキー表示位置指定手段４１とを有している。
【００１８】
図５は第２の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。図５の例では、表示付き電子黒板１に、この前に立った入力者の３次元位置を計測する計測手段(３次元位置計測装置)３１を設置する。なお、３次元位置計測装置３１としては、種々のものを用いることができる。例えば、２眼カメラによる立体視の原理を用いたものや、参照パターンを投影しその像のずれを画像から読み取るような光切断法を用いたものなどを用いることができる。
【００１９】
このような構成では、３次元位置計測装置３１で人物の３次元位置(ＲＸ，ＲＹ，ＲＺ)の検出を行ない、入力面のどの位置にテンキーを表示させるのかをテンキー表示位置指定手段４１で算出する。なお、位置(ＲＸ，ＲＹ，ＲＺ)に対するテンキーの表示位置の決定方法としては種々のものを用いることができる。例えば第１の構成例の説明において示した方法を用いることができる。このようにして、位置(ＲＸ，ＲＹ，ＲＺ)に対するテンキーの表示位置が決定すると、図５のように、この表示位置にテンキー３を表示させる。このとき、図１３に示したと同様の原理で、暗証番号入力用のテンキー３は、入力者１１１に隠れて、他人から見えないようになる。
【００２０】
図６は本発明に係る入力装置の第３の構成例を示す図である。この入力装置は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有するもの(例えば、電子黒板)であって、入力者が乗るとその位置を検出する位置検出手段５１と、位置検出手段５１により得られた位置に基づいた画像表示手段の位置に、テンキーを表示させるテンキー表示位置指定手段６１とを有している。
【００２１】
図７は第３の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。図７の例では、表示付き電子黒板１の前に立った入力者の位置が分かるシート状の位置検出手段(位置検出装置)５１を配置する。この位置検出装置５１による位置検出方法としては、種々のものを用いることができる。例えば、感圧シートのようにシート面において圧力が加わった位置を検出するものを用いることができる。
【００２２】
このような構成では、位置検出手段５１で人物の位置(ＳＸ，ＳＹ)の検出を行ない、入力面のどの位置にテンキーを表示させるのかをテンキー表示位置指定手段６１で算出する。なお、位置(ＳＸ，ＳＹ)に対するテンキーの表示位置の決定方法としては種々のものを用いることができる。例えば第１の構成例の説明において示した方法を用いることができる。このようにして、位置(ＳＸ，ＳＹ)に対するテンキーの表示位置が決定すると、図７のように、この表示位置にテンキー３を表示させる。このとき、図１３に示したと同様の原理で、暗証番号入力用のテンキー３は、入力者１１１に隠れて、他人から見えないようになる。
【００２３】
図８は本発明に係る入力装置の第４の構成例を示す図である。この入力装置は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有するもの(例えば、電子黒板)であって、アレイ状に配置した複数の測距手段７１と、測距手段７１の値に基づいて入力者の位置を検出する位置検出手段８１と、位置検出手段８１により得られた位置に基づいた画像表示手段の位置に、テンキーを表示させるテンキー表示位置指定手段８２とを有している。
【００２４】
図９は第４の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。図９の例では、表示付き電子黒板１に、１次元方向(入力面に垂直な方向)にある物体の距離を超音波などを利用して計測する測距手段(アレイ状に配置した複数の測距センサ)７１をアレイ状に配列する。これにより、電子黒板１の前に立った人物の位置情報(距離情報)を求めることができる。このようにして複数の測距センサ７１で得られた距離情報は位置検出手段(位置検出部)８１に与えられ、位置検出手段８１では、複数の測距センサ７１で得られた距離情報に基づいて入力者の位置を特定する。複数の測距センサ７１から得られる距離情報から入力者の位置を特定する方法としては種々のものを用いることができる。例えば、最も近い距離を示した測距センサの位置を入力者の位置(ＤＸ)とすることができる。このようにして入力者の位置(ＤＸ)が求まると、この位置(ＤＸ)から入力面のどの位置にテンキーを表示させるのかをテンキー表示位置指定手段８２で算出する。位置(ＤＸ)に対するテンキーの表示位置の決定方法としては種々のものを用いることができる。例えば第１の構成例の説明において示した方法を用いることができる。このようにして、位置(ＤＸ)に対するテンキーの表示位置が決定すると、図９のように、この表示位置にテンキー３を表示させる。このとき、図１３に示したと同様の原理で、暗証番号入力用のテンキー３は、入力者１１１に隠れて、他人から見えないようになる。
【００２５】
図１０は本発明に係る入力装置の第５の構成例を示す図である。この入力装置は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有するもの(例えば、電子黒板)であって、テンキーの表示位置を指定するテンキー位置指定手段９０と、画像表示手段のテンキー位置指定手段９０により指定された位置に、テンキーを表示させるテンキー表示位置指定手段９１とを有している。
【００２６】
図１１は第５の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。図１１の例では、表示付き電子黒板１にテンキーを表示させる位置を入力できるテンキー位置指定手段９０を配置する。入力者は、このテンキー位置指定手段９０を用いて、入力画面のどこにテンキーを表示させるかを指定する。テンキー位置指定手段９０による指定方法としては、種々のものを用いることができる。例えば、位置座標を手書きで入力したり、サムネイル画像を表示させ所望の位置をタッチ入力するなどの方法を用いることができる。
【００２７】
また、この第５の構成例において、テンキー位置指定装置９０を用いずに、ジェスチャなどでテンキー表示位置を指定するための入力窓(テンキー表示指定窓)を入力面上に表示させても良い。図１２はテンキー表示位置を指定するための入力窓(テンキー表示指定窓)を入力面上に表示させるとした入力装置の構成例を示す図であり、図１２の入力装置は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、テンキーの表示位置を指定するためのテンキー表示指定窓を画像表示手段上に表示させるテンキー表示指定窓表示手段１００と、テンキー表示指定窓表示手段によって画像表示手段に表示されたテンキー表示指定窓に入力された位置に、テンキーを表示させるテンキー表示位置指定手段９１とを有している。
【００２８】
図１４は図１，図４，図６，図８，図１０または図１２の入力装置のハードウェア構成例を示す図である。図１４を参照すると、この入力装置(例えば、電子黒板)は、例えば電子黒板に内蔵されたマイクロコンピュータまたはＤＳＰ(デジタル信号処理プロセッサ)等とソフトウェアで実現され、全体を制御するＣＰＵ２１と、ＣＰＵ２１の制御プログラム等が記憶されているＲＯＭ２２と、ＣＰＵ２１のワークエリア等として使用されるＲＡＭ２３と、座標入力部２４と、画像表示部２５とを少なくとも有している。
【００２９】
ここで、ＣＰＵ２１は、図１の位置検出手段１１，テンキー表示位置指定手段１２、図４の計測手段３１，テンキー表示位置指定手段４１、図６の位置検出手段５１，テンキー表示位置指定手段６１、図８の位置検出手段８１，テンキー表示位置指定手段８２、図１０のテンキー位置指定手段９０，テンキー表示位置指定手段９１、または、図１２のテンキー表示指定窓表示手段１００，テンキー表示位置指定手段９１の機能を有している。
【００３０】
なお、ＣＰＵ２１におけるこのような機能は、例えばソフトウェアパッケージ(具体的には、ＣＤ−ＲＯＭ等の情報記録媒体)の形で提供することができ、このため、図１４の例では、情報記録媒体２６がセットさせるとき、これを駆動する媒体駆動装置２７が設けられている。
【００３１】
換言すれば、本発明の入力装置は、電子黒板等に内蔵されたプロセッサシステムにＣＤ−ＲＯＭ等の情報記録媒体に記録されたプログラムを読み込ませて、マイクロプロセッサ等にテンキー表示処理などを実行させる構成においても実施することが可能である。この場合、本発明の処理を実行するためのプログラム(すなわち、ハードウェアシステムで用いられるプログラム)は、媒体に記録された状態で提供できる。プログラムなどが記録される情報記録媒体としては、ＣＤ−ＲＯＭに限られるものではなく、ＲＯＭ，ＲＡＭ，フレキシブルディスク，メモリカード等が用いられても良い。媒体に記録されたプログラムは、ハードウェアシステムに組み込まれている記憶装置、例えばＲＡＭ２３にインストールされることにより、このプログラムを実行して、本発明の処理機能を実現できる。
【００３２】
また、本発明の処理を実現するためのプログラムは、媒体の形で提供されるのみならず、通信によって(例えばサーバによって)提供されるものであっても良い。
【００３３】
なお、上述した各構成例の説明においては、表示位置の決定方法として図１１のような場合を用いたが、観察者が一人の場合、観察者と入力者との延長線上に、暗証番号用テンキーを表示するようにしても良く、また、観察者が複数の場合、観察者達と入力者との位置を考慮し、観察者達のブラインドエリアに暗証番号用テンキーを表示するなど、場合に応じて、種々の決定方法を用いることができる。
【００３４】
また、上述した各構成例の説明においては、入力装置が電子黒板であるとしたが、例えば銀行のＡＴＭ，ビルの入り口などにおいて、暗証番号の入力が必要な種々の入力装置に本発明を適用することができる。
【００３５】
【発明の効果】
以上に説明したように、請求項１記載の発明によれば、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者を撮像する撮像手段と、前記撮像手段によって撮像された画像に基づいて入力者の位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有しており、撮像手段で入力者の位置を検出することにより、入力者が影になる位置にテンキーを表示することで、暗証番号入力を他人に見られる恐れを低減できる。
【００３６】
また、請求項２記載の発明によれば、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者の３次元位置を計測する計測手段と、前記計測手段により得られた入力者の３次元位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有しており、３次元位置計測手段を用いることにより、より適確にテンキー表示位置を決めることができる。
【００３７】
また、請求項３記載の発明によれば、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者が乗るとその位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有しており、例えば入力面の前方の床面に入力者が立った位置を検出できる位置検出手段を設置することにより、より適確にテンキー表示位置を決めることができる。
【００３８】
また、請求項４記載の発明によれば、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、物体の距離を計測する測距手段と、前記測距手段の値に基づいて入力者の位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることにより、より適確にテンキー表示位置を決めることができる。
【図面の簡単な説明】
【図１】本発明に係る入力装置の第１の構成例を示す図である。
【図２】第１の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。
【図３】画像からの人物の位置検出方法の一例を示す図である。
【図４】本発明に係る入力装置の第２の構成例を示す図である。
【図５】第２の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。
【図６】本発明に係る入力装置の第３の構成例を示す図である。
【図７】第３の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。
【図８】本発明に係る入力装置の第４の構成例を示す図である。
【図９】第４の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。
【図１０】本発明に係る入力装置の第５の構成例を示す図である。
【図１１】第５の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。
【図１２】テンキー表示位置を指定するための入力窓(テンキー表示指定窓)を入力面上に表示させるとした入力装置の構成例を示す図である。
【図１３】テンキー表示位置の決定方法を説明するための図である。
【図１４】図１，図４，図６，図８，図１０または図１２の入力装置のハードウェア構成例を示す図である。
【符号の説明】
１ 電子黒板
２ 撮像手段
１１，５１，８１ 位置検出手段
１２，４１，６１，８２，９１ テンキー表示位置指定手段
３１ 計測手段
７１ 測距手段
９０ テンキー位置指定手段
１００ テンキー表示指定窓表示手段
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ 座標入力部
２５ 画像表示部
２６ 情報記憶媒体
２７ 媒体駆動装置
【発明の属する技術分野】
本発明は、入力装置に関する。
【０００２】
【従来の技術】
従来、コンピュータへの入力装置として、座標位置を入力するタブレット，タッチパネルなどのヒューマンインタフェースに優れたものが普及し始めている。また、液晶タブレットやインタラクティブ電子黒板のように表示装置と連動させることにより、機能とインタフェースを向上させたものもある。この表示付き入力装置において、入力やファイルアクセスなどに対するセキュリティは重要である。特に、インタラクティブ電子黒板のように不特定多数の人間が使用できる環境にあるものはなおさらである。このセキュリティ機能の最も代表的なものとして、暗証番号の入力がある。
【０００３】
この種の暗証番号を入力する装置として、特開平９−２９７８７５号に示されているような装置が知られている。この装置では、０〜９の各入力キーを複数設けることで、暗証番号の各桁の数値を入力する場合に、利用者は複数の同一入力キーから１つの入力キーを選択することとなり、この選択の自由度により、暗証番号が利用者の指などの動きから他人に知られないようにすることを意図している。
【０００４】
【発明が解決しようとする課題】
しかしながら、インタラクティブ電子黒板は大画面であり、通常、多数の人間が見やすいように設置されている。従って、暗証番号入力の際、その番号が見られる可能性が極めて高い。すなわち、入力装置において、セキュリティ上、暗証番号入力は必要であるが、他人から見られる恐れがある。上述した従来の技術は、テンキーを複数設けて、これを避けようとしているが、双方向電子黒板のような大型の入力装置では有効に機能しにくいという欠点がある。
【０００５】
本発明は、双方向電子黒板のような大型の入力装置においても、暗証番号入力が他人から見られるのを有効に回避することの可能な入力装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者を撮像する撮像手段と、前記撮像手段によって撮像された画像に基づいて入力者の位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることを特徴としている。
【０００７】
また、請求項２記載の発明は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者の３次元位置を計測する計測手段と、前記計測手段により得られた入力者の３次元位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることを特徴としている。
【０００８】
また、請求項３記載の発明は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者が乗るとその位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることを特徴としている。
【０００９】
また、請求項４記載の発明は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、物体の距離を計測する測距手段と、前記測距手段の値に基づいて入力者の位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることを特徴としている。
【００１２】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。本発明は、周囲の人にとって、入力者が影になる位置にテンキーを表示するものである(暗証番号入力用のテンキーが入力者に隠れて、他人から見えないようにするものである)。
【００１３】
図１は本発明に係る入力装置の第１の構成例を示す図である。この入力装置は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有するもの(例えば、電子黒板)であって、入力者を撮像する撮像手段２と、撮像手段２によって撮像された画像に基づいて入力者の位置を検出する位置検出手段１１と、画像表示手段の位置検出手段１１により得られた位置に基づいた位置に、テンキーを表示させるテンキー表示位置指定手段１２とを有している。
【００１４】
図２は第１の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。第１の構成例では、表示付き電子黒板１に、この前に立った入力者を撮像するための撮像手段(カメラ)２を設置する。カメラ２で撮像された画像は、表示付き電子黒板１に内蔵された位置検出手段(位置検出部)１１に送られる。位置検出部１１では、カメラ２によって撮像された入力者の像から、その位置を検出する。
【００１５】
なお、画像からの人物の位置検出方法として、種々のものを用いることができる。例えば、先ず、入力画像全面において、局所的な周波数を算出する。次いで、このように求めた周波数成分に対し閾値処理により、図３のように画像内を高周波が含まれる部分(領域２１)と高周波成分が少ない部分(領域２２)とに分離する。なお、この処理は、ピントの合った人物像は高い周波数成分が比較的多いが、ピントの合っていない背景は高い周波数成分が少ないことに着目したものであり、画像内において高周波が含まれる部分(領域２１)を人物の部分として推測できる。次いで、人物が撮像されていると推測される領域２１の重心(ＧＸ，ＧＹ)を求める。以上の処理により、画像上のどの位置に人物がいるのかが算出される。
【００１６】
このようにして、人物の位置が例えば(ＧＸ，ＧＹ)として検出されると、この位置(ＧＸ，ＧＹ)から、入力面のどの位置にテンキーを表示させるのかを、テンキー表示位置指定手段(テンキー表示位置指定部)１２で算出する。なお、位置(ＧＸ，ＧＹ)に対するテンキーの表示位置の決定方法としては、種々のものを用いることができる。例えば、人物がいる場所と同じ位置が確率的に最も他人から見にくいと考えられるので、その位置にテンキー３を表示する。また、入力者のみならず観察者の位置を画像等から推測し、それも考慮した位置にテンキー３を表示してもよい。例えば、図１３を使って表示位置の決定方法を示す。図１３は電子黒板１を上から見た図であり、電子黒板１の側にいる人物１１２、１１３にとって、入力者１１１が影になる位置は太線で示した領域１１４であるので、この領域１１４内の位置にテンキー３を表示する。このような処理を経て、図１のように、この表示位置にテンキー３を表示させる。このとき、暗証番号入力用のテンキー３は、入力者１１１に隠れて他人から見えないようになる。
【００１７】
図４は、本発明に係る入力装置の第２の構成例を示す図である。この入力装置は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有するもの(例えば、電子黒板)であって、入力者の３次元位置を計測する計測手段３１と、計測手段３１により得られた３次元位置に基づいた画像表示手段の位置に、テンキーを表示させるテンキー表示位置指定手段４１とを有している。
【００１８】
図５は第２の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。図５の例では、表示付き電子黒板１に、この前に立った入力者の３次元位置を計測する計測手段(３次元位置計測装置)３１を設置する。なお、３次元位置計測装置３１としては、種々のものを用いることができる。例えば、２眼カメラによる立体視の原理を用いたものや、参照パターンを投影しその像のずれを画像から読み取るような光切断法を用いたものなどを用いることができる。
【００１９】
このような構成では、３次元位置計測装置３１で人物の３次元位置(ＲＸ，ＲＹ，ＲＺ)の検出を行ない、入力面のどの位置にテンキーを表示させるのかをテンキー表示位置指定手段４１で算出する。なお、位置(ＲＸ，ＲＹ，ＲＺ)に対するテンキーの表示位置の決定方法としては種々のものを用いることができる。例えば第１の構成例の説明において示した方法を用いることができる。このようにして、位置(ＲＸ，ＲＹ，ＲＺ)に対するテンキーの表示位置が決定すると、図５のように、この表示位置にテンキー３を表示させる。このとき、図１３に示したと同様の原理で、暗証番号入力用のテンキー３は、入力者１１１に隠れて、他人から見えないようになる。
【００２０】
図６は本発明に係る入力装置の第３の構成例を示す図である。この入力装置は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有するもの(例えば、電子黒板)であって、入力者が乗るとその位置を検出する位置検出手段５１と、位置検出手段５１により得られた位置に基づいた画像表示手段の位置に、テンキーを表示させるテンキー表示位置指定手段６１とを有している。
【００２１】
図７は第３の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。図７の例では、表示付き電子黒板１の前に立った入力者の位置が分かるシート状の位置検出手段(位置検出装置)５１を配置する。この位置検出装置５１による位置検出方法としては、種々のものを用いることができる。例えば、感圧シートのようにシート面において圧力が加わった位置を検出するものを用いることができる。
【００２２】
このような構成では、位置検出手段５１で人物の位置(ＳＸ，ＳＹ)の検出を行ない、入力面のどの位置にテンキーを表示させるのかをテンキー表示位置指定手段６１で算出する。なお、位置(ＳＸ，ＳＹ)に対するテンキーの表示位置の決定方法としては種々のものを用いることができる。例えば第１の構成例の説明において示した方法を用いることができる。このようにして、位置(ＳＸ，ＳＹ)に対するテンキーの表示位置が決定すると、図７のように、この表示位置にテンキー３を表示させる。このとき、図１３に示したと同様の原理で、暗証番号入力用のテンキー３は、入力者１１１に隠れて、他人から見えないようになる。
【００２３】
図８は本発明に係る入力装置の第４の構成例を示す図である。この入力装置は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有するもの(例えば、電子黒板)であって、アレイ状に配置した複数の測距手段７１と、測距手段７１の値に基づいて入力者の位置を検出する位置検出手段８１と、位置検出手段８１により得られた位置に基づいた画像表示手段の位置に、テンキーを表示させるテンキー表示位置指定手段８２とを有している。
【００２４】
図９は第４の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。図９の例では、表示付き電子黒板１に、１次元方向(入力面に垂直な方向)にある物体の距離を超音波などを利用して計測する測距手段(アレイ状に配置した複数の測距センサ)７１をアレイ状に配列する。これにより、電子黒板１の前に立った人物の位置情報(距離情報)を求めることができる。このようにして複数の測距センサ７１で得られた距離情報は位置検出手段(位置検出部)８１に与えられ、位置検出手段８１では、複数の測距センサ７１で得られた距離情報に基づいて入力者の位置を特定する。複数の測距センサ７１から得られる距離情報から入力者の位置を特定する方法としては種々のものを用いることができる。例えば、最も近い距離を示した測距センサの位置を入力者の位置(ＤＸ)とすることができる。このようにして入力者の位置(ＤＸ)が求まると、この位置(ＤＸ)から入力面のどの位置にテンキーを表示させるのかをテンキー表示位置指定手段８２で算出する。位置(ＤＸ)に対するテンキーの表示位置の決定方法としては種々のものを用いることができる。例えば第１の構成例の説明において示した方法を用いることができる。このようにして、位置(ＤＸ)に対するテンキーの表示位置が決定すると、図９のように、この表示位置にテンキー３を表示させる。このとき、図１３に示したと同様の原理で、暗証番号入力用のテンキー３は、入力者１１１に隠れて、他人から見えないようになる。
【００２５】
図１０は本発明に係る入力装置の第５の構成例を示す図である。この入力装置は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有するもの(例えば、電子黒板)であって、テンキーの表示位置を指定するテンキー位置指定手段９０と、画像表示手段のテンキー位置指定手段９０により指定された位置に、テンキーを表示させるテンキー表示位置指定手段９１とを有している。
【００２６】
図１１は第５の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。図１１の例では、表示付き電子黒板１にテンキーを表示させる位置を入力できるテンキー位置指定手段９０を配置する。入力者は、このテンキー位置指定手段９０を用いて、入力画面のどこにテンキーを表示させるかを指定する。テンキー位置指定手段９０による指定方法としては、種々のものを用いることができる。例えば、位置座標を手書きで入力したり、サムネイル画像を表示させ所望の位置をタッチ入力するなどの方法を用いることができる。
【００２７】
また、この第５の構成例において、テンキー位置指定装置９０を用いずに、ジェスチャなどでテンキー表示位置を指定するための入力窓(テンキー表示指定窓)を入力面上に表示させても良い。図１２はテンキー表示位置を指定するための入力窓(テンキー表示指定窓)を入力面上に表示させるとした入力装置の構成例を示す図であり、図１２の入力装置は、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、テンキーの表示位置を指定するためのテンキー表示指定窓を画像表示手段上に表示させるテンキー表示指定窓表示手段１００と、テンキー表示指定窓表示手段によって画像表示手段に表示されたテンキー表示指定窓に入力された位置に、テンキーを表示させるテンキー表示位置指定手段９１とを有している。
【００２８】
図１４は図１，図４，図６，図８，図１０または図１２の入力装置のハードウェア構成例を示す図である。図１４を参照すると、この入力装置(例えば、電子黒板)は、例えば電子黒板に内蔵されたマイクロコンピュータまたはＤＳＰ(デジタル信号処理プロセッサ)等とソフトウェアで実現され、全体を制御するＣＰＵ２１と、ＣＰＵ２１の制御プログラム等が記憶されているＲＯＭ２２と、ＣＰＵ２１のワークエリア等として使用されるＲＡＭ２３と、座標入力部２４と、画像表示部２５とを少なくとも有している。
【００２９】
ここで、ＣＰＵ２１は、図１の位置検出手段１１，テンキー表示位置指定手段１２、図４の計測手段３１，テンキー表示位置指定手段４１、図６の位置検出手段５１，テンキー表示位置指定手段６１、図８の位置検出手段８１，テンキー表示位置指定手段８２、図１０のテンキー位置指定手段９０，テンキー表示位置指定手段９１、または、図１２のテンキー表示指定窓表示手段１００，テンキー表示位置指定手段９１の機能を有している。
【００３０】
なお、ＣＰＵ２１におけるこのような機能は、例えばソフトウェアパッケージ(具体的には、ＣＤ−ＲＯＭ等の情報記録媒体)の形で提供することができ、このため、図１４の例では、情報記録媒体２６がセットさせるとき、これを駆動する媒体駆動装置２７が設けられている。
【００３１】
換言すれば、本発明の入力装置は、電子黒板等に内蔵されたプロセッサシステムにＣＤ−ＲＯＭ等の情報記録媒体に記録されたプログラムを読み込ませて、マイクロプロセッサ等にテンキー表示処理などを実行させる構成においても実施することが可能である。この場合、本発明の処理を実行するためのプログラム(すなわち、ハードウェアシステムで用いられるプログラム)は、媒体に記録された状態で提供できる。プログラムなどが記録される情報記録媒体としては、ＣＤ−ＲＯＭに限られるものではなく、ＲＯＭ，ＲＡＭ，フレキシブルディスク，メモリカード等が用いられても良い。媒体に記録されたプログラムは、ハードウェアシステムに組み込まれている記憶装置、例えばＲＡＭ２３にインストールされることにより、このプログラムを実行して、本発明の処理機能を実現できる。
【００３２】
また、本発明の処理を実現するためのプログラムは、媒体の形で提供されるのみならず、通信によって(例えばサーバによって)提供されるものであっても良い。
【００３３】
なお、上述した各構成例の説明においては、表示位置の決定方法として図１１のような場合を用いたが、観察者が一人の場合、観察者と入力者との延長線上に、暗証番号用テンキーを表示するようにしても良く、また、観察者が複数の場合、観察者達と入力者との位置を考慮し、観察者達のブラインドエリアに暗証番号用テンキーを表示するなど、場合に応じて、種々の決定方法を用いることができる。
【００３４】
また、上述した各構成例の説明においては、入力装置が電子黒板であるとしたが、例えば銀行のＡＴＭ，ビルの入り口などにおいて、暗証番号の入力が必要な種々の入力装置に本発明を適用することができる。
【００３５】
【発明の効果】
以上に説明したように、請求項１記載の発明によれば、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者を撮像する撮像手段と、前記撮像手段によって撮像された画像に基づいて入力者の位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有しており、撮像手段で入力者の位置を検出することにより、入力者が影になる位置にテンキーを表示することで、暗証番号入力を他人に見られる恐れを低減できる。
【００３６】
また、請求項２記載の発明によれば、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者の３次元位置を計測する計測手段と、前記計測手段により得られた入力者の３次元位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有しており、３次元位置計測手段を用いることにより、より適確にテンキー表示位置を決めることができる。
【００３７】
また、請求項３記載の発明によれば、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者が乗るとその位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有しており、例えば入力面の前方の床面に入力者が立った位置を検出できる位置検出手段を設置することにより、より適確にテンキー表示位置を決めることができる。
【００３８】
また、請求項４記載の発明によれば、入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、物体の距離を計測する測距手段と、前記測距手段の値に基づいて入力者の位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることにより、より適確にテンキー表示位置を決めることができる。
【図面の簡単な説明】
【図１】本発明に係る入力装置の第１の構成例を示す図である。
【図２】第１の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。
【図３】画像からの人物の位置検出方法の一例を示す図である。
【図４】本発明に係る入力装置の第２の構成例を示す図である。
【図５】第２の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。
【図６】本発明に係る入力装置の第３の構成例を示す図である。
【図７】第３の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。
【図８】本発明に係る入力装置の第４の構成例を示す図である。
【図９】第４の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。
【図１０】本発明に係る入力装置の第５の構成例を示す図である。
【図１１】第５の構成例の入力装置の具体例としての表示付き電子黒板を示す図である。
【図１２】テンキー表示位置を指定するための入力窓(テンキー表示指定窓)を入力面上に表示させるとした入力装置の構成例を示す図である。
【図１３】テンキー表示位置の決定方法を説明するための図である。
【図１４】図１，図４，図６，図８，図１０または図１２の入力装置のハードウェア構成例を示す図である。
【符号の説明】
１ 電子黒板
２ 撮像手段
１１，５１，８１ 位置検出手段
１２，４１，６１，８２，９１ テンキー表示位置指定手段
３１ 計測手段
７１ 測距手段
９０ テンキー位置指定手段
１００ テンキー表示指定窓表示手段
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ 座標入力部
２５ 画像表示部
２６ 情報記憶媒体
２７ 媒体駆動装置
Claims (4)
- 入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者を撮像する撮像手段と、前記撮像手段によって撮像された画像に基づいて入力者の位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることを特徴とする入力装置。
- 入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者の３次元位置を計測する計測手段と、前記計測手段により得られた入力者の３次元位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることを特徴とする入力装置。
- 入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、入力者が乗るとその位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることを特徴とする入力装置。
- 入力面に接触した物体の該入力面における位置を検出する座標入力手段と、入力面と共通な面上に画像を表示する画像表示手段とを有する入力装置において、物体の距離を計測する測距手段と、前記測距手段の値に基づいて入力者の位置を検出する位置検出手段と、前記位置検出手段により得られた入力者の位置に基づいて、前記入力者に隠れる前記画像表示手段の面上の領域に、テンキーを表示させるテンキー表示位置指定手段とを有していることを特徴とする入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9830998A JP3791649B2 (ja) | 1998-03-26 | 1998-03-26 | 入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9830998A JP3791649B2 (ja) | 1998-03-26 | 1998-03-26 | 入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11282616A JPH11282616A (ja) | 1999-10-15 |
| JP3791649B2 true JP3791649B2 (ja) | 2006-06-28 |
Family
ID=14216332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9830998A Expired - Fee Related JP3791649B2 (ja) | 1998-03-26 | 1998-03-26 | 入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3791649B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4533117B2 (ja) * | 2004-12-07 | 2010-09-01 | 日立オムロンターミナルソリューションズ株式会社 | 情報表示装置 |
| JP4966778B2 (ja) * | 2007-07-26 | 2012-07-04 | シャープ株式会社 | 表示装置 |
-
1998
- 1998-03-26 JP JP9830998A patent/JP3791649B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11282616A (ja) | 1999-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7738916B2 (en) | Portable terminal device with built-in fingerprint sensor | |
| US8063889B2 (en) | Biometric data collection system | |
| US5936615A (en) | Image-based touchscreen | |
| JP5434997B2 (ja) | 画像表示装置 | |
| WO2009139214A1 (ja) | 表示装置および制御方法 | |
| CN1311322C (zh) | 移动终端 | |
| US20150185857A1 (en) | User interface method and apparatus based on spatial location recognition | |
| CN102193730B (zh) | 图像处理设备，图像处理方法和程序 | |
| US20140237401A1 (en) | Interpretation of a gesture on a touch sensing device | |
| US20070018966A1 (en) | Predicted object location | |
| EP2339435A1 (en) | Device and method for setting instruction position during three-dimensional display, and program | |
| JP2002352234A (ja) | 指紋センサーおよび位置調節装置 | |
| KR101127517B1 (ko) | 터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린장치 | |
| KR100968205B1 (ko) | 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치 | |
| KR102566520B1 (ko) | 터치 스크린을 위한 제어 및 프로세싱 유닛, 이를 포함하는 시스템 및 사용 방법 | |
| JP4870651B2 (ja) | 情報入力システムおよび情報入力方法 | |
| JP3791649B2 (ja) | 入力装置 | |
| KR100983051B1 (ko) | 깊이 센서 방식의 공간 터치 감지 장치, 방법 및 스크린장치 | |
| US20120314076A1 (en) | Security system and method of using a self-service terminal | |
| CN108234703A (zh) | 电子装置、摄像头检测方法及相关产品 | |
| JP2016024747A (ja) | 自動取引装置、表示画像制御方法、および表示画像制御プログラム | |
| US20230004255A1 (en) | Systems and methods for interacting with a user interface of an electronic device | |
| KR101036452B1 (ko) | 비접촉식 키패드 및 그 구현방법 | |
| CN110502095B (zh) | 具备手势感测功能的三维显示器 | |
| EP3654212B1 (en) | Electronic device and method of operation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050404 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060329 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |