JP4037086B2 - コマンド入力装置 - Google Patents

コマンド入力装置 Download PDF

Info

Publication number
JP4037086B2
JP4037086B2 JP2001335470A JP2001335470A JP4037086B2 JP 4037086 B2 JP4037086 B2 JP 4037086B2 JP 2001335470 A JP2001335470 A JP 2001335470A JP 2001335470 A JP2001335470 A JP 2001335470A JP 4037086 B2 JP4037086 B2 JP 4037086B2
Authority
JP
Japan
Prior art keywords
command
pulse
time
input device
command input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001335470A
Other languages
English (en)
Other versions
JP2003143683A (ja
Inventor
雅朗 福本
利明 杉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2001335470A priority Critical patent/JP4037086B2/ja
Publication of JP2003143683A publication Critical patent/JP2003143683A/ja
Application granted granted Critical
Publication of JP4037086B2 publication Critical patent/JP4037086B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明はコマンド入力装置に関し、特に使用者の身体に装着され、入力されるコマンドに対応する動作を行う機器に用いるコマンド入力装置に関する。
【0002】
【従来の技術】
携帯電話機やPHS(Personal Handyphone System)をはじめとする携帯機器は、近年において急速に普及している。この種の携帯機器の筐体には、イヤホンマイクを装着するためのジャック端子が設けられていることが多い。このジャック端子にイヤホンマイクを装着することにより、携帯機器本体に設けられている送受話器としてのイヤホンやマイクロホンを使用しなくても通話等を行うことができる。
【0003】
イヤホンマイクには種々のタイプが存在するが、耳孔挿入式のものがもっとも普及している。耳孔挿入式のイヤホンマイクは、耳孔に挿入するための挿入部と、携帯機器の筐体に設けられたジャック端子に挿入するプラグと、挿入部とプラグとの間で信号を授受するためのケーブルとから構成されている。挿入部の端部には音声を出力するための小型スピーカが設けられており、イヤホンの機能による受話器が実現される。また、挿入部の一部、例えばケーブルとの接続部付近には、マイクロホンが設けられており、送話器が実現される。
【0004】
【発明が解決しようとする課題】
上述した耳孔挿入式のイヤホンマイク等に対してのコマンド入力動作には、その筐体に設けられたボタンを指先で押す方式が用いられている。しかしながら、この方式においては、イヤホンの装着後に小さなボタンを探して押すのは困難であり、操作性が悪いという欠点がある。
また、ボタンを押すためにある程度の力が要るので、ボタンを押したときにイヤホンの装着状態が当初の位置からずれてしまう。このため、装着状態をもとに戻さなければならず、使い勝手が悪いという欠点がある。
【0005】
本発明は上述した従来技術の欠点を解決するためになされたものであり、その目的は操作性が良く、かつ、使い勝手の良いコマンド入力装置を提供することである。
【0006】
【課題を解決するための手段】
本発明の請求項1によるコマンド入力装置は、入力されるコマンドに対応する動作を行う機器に用いるコマンド入力装置であって、自装置使用者が歯を噛み合わせる動作を行うことにより発した振動を検出する振動検出手段と、この振動検出手段により検出された振動に含まれている600〜650Hzの周波数成分を抽出するフィルタを用いて前記振動を前記コマンドに変換する変換手段とを含み、前記使用者の身体に装着されることを特徴とする。
【0007】
本発明の請求項2によるコマンド入力装置は、請求項1において、前記変換手段は、前記フィルタによって抽出された前記特定の周波数成分によるパルス列について、パルス同士の時間間隔の長短に応じて2値符号に変換することを特徴とする。
【0009】
するに本発明では、装置筐体(どの部分でも良い)を軽く叩くか、筐体装着部分付近の人体部位を軽く叩くことによって、コマンド入力を行う。こうすることによって、小さなボタンを探す必要が無いので操作性が良く、また押下動作によって機器装着位置がずれることが無いので使い勝手が良い。このため、携帯機器における迅速な情報入力を実現できるのである。
【0010】
【発明の実施の形態】
次に、図面を参照して本発明の実施の形態について説明する。なお、以下の説明において参照する各図においては、他の図と同等部分に同一符号が付されている。
図1は本発明によるコマンド入力装置の実施の一形態を示す図であり、コマンド入力装置が携帯電話機のイヤホンマイクである場合が示されている。
【0011】
同図に示されているように、本実施形態によるコマンド入力装置1は、使用者の顔20の耳孔に挿入して使用するものであり、耳孔に挿入するイヤホン11と、マイクロホン(以下、マイクと呼ぶ)12と、携帯電話機(TEL)10の図示せぬジャック端子に挿入されたプラグとの間に設けられたケーブル100とを含んで構成されている。このように構成されたコマンド入力装置においては、後述するように、指2A等で装置1の筐体を叩くことによって、コマンドの入力を実現する。
【0012】
図2は、コマンド入力装置の内部構成例等を示すブロック図である。同図において、本例のコマンド入力装置は、上述したイヤホン(EARP)11及びマイク(MIC)12の他に、使用者が発した振動を検出するための加速度センサ(SN)13と、加速度センサの検出出力を増幅するためのセンサアンプ(SA)14と、増幅された検出出力から特定の周波数成分を抽出するためのバンドパスフィルタ(BPF)15と、所定レベルとの比較によってバンドパスフィルタ15の出力をパルスに変換するためのコンパレータ(CMP)16と、タイマ(TIM)17と、携帯電話機に送るべきコマンドが記憶保持されているコマンドテーブル(CCB)18と、タイマ17の出力及びコマンドテーブル18の内容を参照してコンパレータ16から出力されるパルスを対応するコマンドに変換するコマンド生成部(CAM)19とを含んで構成されている。なお、以上の各部は装置筐体1aの内部に設けられている。
【0013】
以下、以上の構成からなるコマンド入力装置を用いたコマンド入力動作について説明する。
使用者の指2Aによってイヤホンマイクの筐体1aが軽く叩かれると、その衝撃加速度は加速度センサ13によって検出される。検出された信号はセンサアンプ14で増幅され、バンドパスフィルタ15によって、指で叩いた時に特有の周波数成分だけが選択される。この場合、80〜100Hz付近の周波数成分を抽出して用いることで、指で叩く以外の動作によるノイズを排除することができる。
【0014】
その後、コンパレータ16によって、叩く動作1回につき1つのパルスへと変換され、「0」又は「1」による2値符号からなるタイミングパルス列TYPとしてコマンド生成部19に送られる。コマンド生成部19では、送られてきたパルス列のタイミングをタイマ17から出力されるパルスを参照して判断し、コマンドテーブル18に記述されたタイミングとコマンドとの関連を元にコマンドCCMを決定する。この決定されたコマンドCCMは、携帯電話機10に送出される。
【0015】
次に、タイミングパルス列TYPからコマンドを生成する手法の一例について、図3を参照して説明する。タイミングパルス列TYPは、叩く動作1回に対して1度発生し、そのパルス幅Mは一定である。時間T1及び時間T2は、識別用時定数であり、本例ではT1<T2である。なお、この時間の長短は、タイマ17の出力データによって計測できる。
叩く動作が行われ、1つのパルスが発生すると、パルス立上りの時刻を基準として、次のパルスが発生するまでの時間、すなわちパルス同士の時間間隔について、その長短を判断する。最初のパルス立上り時刻からT1時間以内に次のパルスが発生すると、「0」とみなし、基準時刻を0に戻して次のパルスを待つ。また、最初のパルス立上り時刻からT1時間を経過し、T2時間以内に次のパルスが発生すると、「1」とみなし、基準時刻を0に戻して次のパルスを待つ。なお、T2時間以内に次のパルスが発生しない場合、パルス列解析を打ち切る。
【0016】
以上の手法によって、パルスの発生時間間隔を用いて、モールス符号のように「0」及び「1」の符号列ができる。なお、モールス符号と異なり、本手法によって生成される符号列の最終符号を常に「1」とする。
図3(A)を参照すると、最初のパルスP1が発生した後、T2時間以内に第2のパルスP2が発生していないので、最終符号である「1」に変換される。
また、同図(B)を参照すると、最初のパルスP1が発生した後、T1時間以内に第2のパルスP2が発生しているので、「0」とみなされる。その後、T2時間以内に次のパルスが発生していないので、最終符号である「1」が付加されて「01」に変換される。
【0017】
さらに、同図(C)を参照すると、最初のパルスP1が発生した後、T1時間を経過してT2時間以内に第2のパルスP2が発生しているので、「1」とみなされる。その後、T2時間以内に次のパルスが発生していないので、最終符号である「1」が付加されて「11」に変換される。
同様に、同図(D)を参照すると、最初のパルスP1から第2のパルスP2までT1時間以内、第2のパルスP2から第3のパルスP3までT1時間を経過してT2時間以内、第3のパルスP3から第4のパルスP4までT1時間以内、第4のパルスP4から第5のパルスP5までT1時間を経過してT2時間以内であり、第5のパルスP5の後、T2時間以内に次のパルスが発生していない。このため、最終符号である「1」が付加されて「01011」に変換される。
【0018】
以上のようにして得られた打鍵コマンド、すなわち「0」、「1」の符号列を、テーブル18を参照することによって送信コマンドCCMに変換する。この送信コマンドCCMが携帯電話機10に送られると、携帯電話機10において所定の動作が行われる。
操作コマンドの例が図4に示されている。操作コマンドは、周囲の雑音や、通常の動作による誤動作を避けるために、ある程度の長さが必要である。ただし、ダイヤルにおける数字等、使用シチュエーションが明確であるものについては、短いコマンドを用いて、操作性を向上させることができる。
【0019】
本実施例では、コマンド「1101」をオフフックに、「0101」をオンフックとして割当てている。したがって、3つのパルスの間隔が順にT1時間を経過してT2時間内、T1時間を経過してT2時間内、T1時間内となるように装置筐体等を叩けば、最後に「1」が付加され、符号列「1101」を発生させる。この符号列「1101」が携帯電話機に送られると、携帯電話機はオフフック状態となる。
【0020】
同様に、3つのパルスの間隔が順にT1時間内、T1時間を経過してT2時間内、T1時間内となるように装置筐体等を叩けば、最後に「1」が付加され、符号列「0101」を発生させる。この符号列「0101」が携帯電話機に送られると、携帯電話機はオンフック状態となる。
なお、本例では、パルス幅Mは一定であるが、叩く動作の強度を検出し、異なるパルス幅を与えることによって、叩く動作の強弱を用いて、より複雑なコマンドを発生させることもできる。
【0021】
ここで、打鍵コマンドの生成手法について更に図5を参照して説明する。同図はパルス列からのコマンドを生成する処理を示すフローチャートである。
同図において、筐体を叩く等の入力動作によるパルスが入力されるまで待ち状態であり(ステップS501)、最初のパルスからT1時間内に次のパルスが入力されると、「0」とみなす(ステップS502→S503)。一方、最初のパルスからT1時間を経過してT2時間内に次のパルスが入力されると、「1」とみなす(ステップS502→S504→S505)。以上の処理を繰返し行うことによってパルス同士の入力間隔を「0」又は「1」の符号に置き換える処理が行われる。
【0022】
そして、最初のパルスからT2時間を経過しても次のパルスが入力されなければ末尾に「1」を付加してパルス符号を確定させる(ステップS504→S506)。
以上のようにコマンド入力装置を構成すれば、装置筐体全体のどの部分を叩いても電話機のコントロールができるようになり、従来のように装置筐体上に設けられた小さなボタンを探して押下する必要がなくなる。したがって、イヤホンの装着状態が当初の位置からずれることはなく、使い勝手が良い。
【0023】
なお、本実施例では、指先で直接筐体1aを叩いているが、これ以外にも、イヤホンマイクが装着された部位の近傍の部位である頬骨2B、耳の後ろの骨、こめかみ、鼻、顎等を軽く指先で叩くことでも入力が行える。
この場合にも、それぞれの入力方法に応じて、バンドパスフィルタ15の定数を適切に選択することで、ノイズを排除することができる。多くの場合、80〜100Hz付近の成分の利用が効果的である。
【0024】
本実施例では耳孔挿入型のイヤホンマイクを用いているが、使用者の身体に装着される装置について本発明を広く適用できることは明らかである。すなわち、耳殻部分に装着される耳かけ型であっても、ヘッドホンのようなバンドで頭や首に設置するタイプであってもかまわない。
さらに、指先を用いた入力動作以外にも、歯を噛み合わせる動作等の反復動作によって生じる衝撃加速度を加速度センサ13によって検出するようにしても良い。この場合には、歯を噛み合わせる動作2Cによって生じた振動が顎及び頭骨を伝わり、これを加速度センサ13によって検出することになる。なお、この場合、バンドパスフィルタ15の通過周波数を600〜650Hz付近に設定することで、効率良く検出が行える。以上のように構成した場合には、ハンズフリーな入力動作を実現できる。
【0025】
また、イヤホンマイクとしての携帯電話機やボイスレコーダの操作以外にも、例えば眼鏡型の情報端末装置等との組み合わせも可能である。この場合にも、本装置の筐体に直接与えられた衝撃によって生じる振動や、本装置の装着部位付近(耳孔やこめかみ付近)に与えられる衝撃によって生じる振動を、加速度センサで検出してコマンドに変換すれば良い。
さらに、腕時計型や指輪型の情報端末との組み合わせも考えられる。この場合にも、本装置の筐体に直接与えられた衝撃によって生じる振動や、本装置の装着部位付近(手首や腕付近)に与えられる衝撃によって生じる振動を、加速度センサで検出してコマンドに変換すれば良い。その他の機器に用いるコマンド入力装置について本発明が広く適用できることは明らかである。
【0026】
【発明の効果】
以上説明したように本発明は、使用者が発した振動を検出し、この検出された振動をコマンドに変換して出力することより、操作性が良く、かつ、使い勝手の良いコマンド入力装置を実現できるという効果がある。
【図面の簡単な説明】
【図1】本発明によるコマンド入力装置の使用例を示す実施の一形態を示すブロック図である。
【図2】本発明によるコマンド入力装置の構成例を示すブロック図である。
【図3】パルス列からのコマンドを生成する処理の例を示す図である。
【図4】パルス列とコマンドとの対応関係を示す図である。
【図5】本発明によるパルス列からのコマンドを生成する処理を示すフローチャートである。
【符号の説明】
1 コマンド入力装置
1a 筐体
10 携帯電話機
11 イヤホン
12 マイクロホン
13 加速度センサ
14 センサアンプ
15 バンドパスフィルタ
16 コンパレータ
17 タイマ
18 コマンドテーブル
19 コマンド生成部
100 ケーブル

Claims (2)

  1. 入力されるコマンドに対応する動作を行う機器に用いるコマンド入力装置であって、自装置使用者が歯を噛み合わせる動作を行うことにより発した振動を検出する振動検出手段と、この振動検出手段により検出された振動に含まれている600〜650Hzの周波数成分を抽出するフィルタを用いて前記振動を前記コマンドに変換する変換手段とを含み、前記使用者の身体に装着されることを特徴とするコマンド入力装置。
  2. 前記変換手段は、前記フィルタによって抽出された前記特定の周波数成分によるパルス列について、パルス同士の時間間隔の長短に応じて2値符号に変換することを特徴とする請求項1記載のコマンド入力装置。
JP2001335470A 2001-10-31 2001-10-31 コマンド入力装置 Expired - Fee Related JP4037086B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001335470A JP4037086B2 (ja) 2001-10-31 2001-10-31 コマンド入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001335470A JP4037086B2 (ja) 2001-10-31 2001-10-31 コマンド入力装置

Publications (2)

Publication Number Publication Date
JP2003143683A JP2003143683A (ja) 2003-05-16
JP4037086B2 true JP4037086B2 (ja) 2008-01-23

Family

ID=19150455

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001335470A Expired - Fee Related JP4037086B2 (ja) 2001-10-31 2001-10-31 コマンド入力装置

Country Status (1)

Country Link
JP (1) JP4037086B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100566022C (zh) * 2003-03-07 2009-12-02 株式会社日立制作所 频率选择性屏蔽结构

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8023659B2 (en) 2005-06-21 2011-09-20 Japan Science And Technology Agency Mixing system, method and program
JP2007019787A (ja) * 2005-07-07 2007-01-25 Yamaha Motor Co Ltd 入力装置、入力機能付きヘルメットシステムおよびそれを備えた車両システム
US7841967B1 (en) 2006-04-26 2010-11-30 Dp Technologies, Inc. Method and apparatus for providing fitness coaching using a mobile device
US8902154B1 (en) 2006-07-11 2014-12-02 Dp Technologies, Inc. Method and apparatus for utilizing motion user interface
JP4997962B2 (ja) 2006-12-27 2012-08-15 ソニー株式会社 音声出力装置、音声出力方法、音声出力処理用プログラムおよび音声出力システム
US8620353B1 (en) 2007-01-26 2013-12-31 Dp Technologies, Inc. Automatic sharing and publication of multimedia from a mobile device
US8949070B1 (en) 2007-02-08 2015-02-03 Dp Technologies, Inc. Human activity monitoring device with activity identification
US7753861B1 (en) 2007-04-04 2010-07-13 Dp Technologies, Inc. Chest strap having human activity monitoring device
US8555282B1 (en) 2007-07-27 2013-10-08 Dp Technologies, Inc. Optimizing preemptive operating system with motion sensing
JP5018511B2 (ja) 2008-01-30 2012-09-05 セイコーエプソン株式会社 プリンタおよびその制御方法
US8320578B2 (en) * 2008-04-30 2012-11-27 Dp Technologies, Inc. Headset
US8872646B2 (en) 2008-10-08 2014-10-28 Dp Technologies, Inc. Method and system for waking up a device due to motion
JP2010187218A (ja) * 2009-02-12 2010-08-26 Sony Corp 制御装置、制御方法及び制御プログラム
JP2010213099A (ja) * 2009-03-11 2010-09-24 Sony Ericsson Mobile Communications Ab 音声信号処理装置及び音声信号処理方法
JP2010258623A (ja) * 2009-04-22 2010-11-11 Yamaha Corp 操作検出装置
US9529437B2 (en) 2009-05-26 2016-12-27 Dp Technologies, Inc. Method and apparatus for a motion state aware device
JP5716287B2 (ja) 2010-04-07 2015-05-13 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラム
JP2012194901A (ja) * 2011-03-17 2012-10-11 Sharp Corp 電子機器、電子機器の制御方法、制御プログラムおよび記録媒体
CN103873644A (zh) * 2012-12-10 2014-06-18 联想(北京)有限公司 一种数据处理方法及终端
WO2015041206A1 (ja) * 2013-09-17 2015-03-26 株式会社ジーデバイス 端末自動起動装置、携帯情報端末、携帯情報端末システム、及びプログラム
US10291975B2 (en) * 2016-09-06 2019-05-14 Apple Inc. Wireless ear buds
WO2018167901A1 (ja) * 2017-03-16 2018-09-20 ヤマハ株式会社 ヘッドフォン
CN209462561U (zh) * 2019-02-20 2019-10-01 深圳市冠旭电子股份有限公司 一种无按键控制装置及耳机
CN110896511A (zh) * 2019-12-10 2020-03-20 深圳市沃特沃德股份有限公司 一种耳机控制方法、装置、存储介质及计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3525665B2 (ja) * 1997-01-07 2004-05-10 日本電信電話株式会社 常装着型電話装置
JP3298578B2 (ja) * 1998-03-18 2002-07-02 日本電信電話株式会社 装着型コマンド入力装置
JP3677149B2 (ja) * 1998-05-26 2005-07-27 日本電信電話株式会社 手首装着型入力装置
JP2001156903A (ja) * 1999-11-24 2001-06-08 Nec Software Okinawa Ltd 携帯電話機

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100566022C (zh) * 2003-03-07 2009-12-02 株式会社日立制作所 频率选择性屏蔽结构

Also Published As

Publication number Publication date
JP2003143683A (ja) 2003-05-16

Similar Documents

Publication Publication Date Title
JP4037086B2 (ja) コマンド入力装置
JP3298578B2 (ja) 装着型コマンド入力装置
US9601102B2 (en) Ambient noise cancellation for voice communication device
JP3525665B2 (ja) 常装着型電話装置
JP4706629B2 (ja) 携帯端末機器
WO2005025185A3 (en) Three-way call detection using steganography
WO2007051911A1 (en) Method and device for wireless sound production into user's ear
WO2000076184A1 (fr) Unite de communication mobile comprenant un haut-parleur a conduction par les os
WO2012089098A1 (en) Method for communicating with a portable device having audio output
JPH05292167A (ja) 電話器
KR100664095B1 (ko) 블루투스 단말기의 무선 핸드셋 사용방법
KR20090071996A (ko) 압력 센서가 내장된 휴대 단말기 및 그의 압력 측정 방법
KR20070099940A (ko) 다기능 손목 시계
JP2002009918A (ja) 送受話装置および受話装置
KR20170007114A (ko) 음성 신호 처리 장치 및 방법, 그리고 단말
KR20190028832A (ko) 어금니 마찰음을 이용하는 인이어 마이크가 내장된 외부 소음환경 적응형 블루투스 이어셋 및 이의 제어방법
KR100489898B1 (ko) 이동통신단말기에서의통화상태표시장치
KR101121063B1 (ko) 인공성대 기능이 구비된 이동통신단말기
KR200305251Y1 (ko) 스피커와 이어폰의 수신선택수단을 구비한 음향수신장치
KR20020072702A (ko) 마이크로폰 일체형 이어폰 또는 헤드폰
KR200219089Y1 (ko) 스피커 기능이 내장된 무선송수신장치를 이용한마우스겸용 전화기
JP2005175764A (ja) 装着型音声受信装置および装着型音声通信装置
KR200228932Y1 (ko) 이동 전화기의 음성 송/수신 장치
KR20100119469A (ko) 싱글크리스탈을 이용한 이어폰 겸용 귓속형 마이크 및 진동센서 마이크
WO2003056785A3 (de) Tragbares telefonempfangsgerät

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060704

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071031

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131109

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees