JP3975999B2 - カラオケネットワークシステムおよびカラオケ端末装置 - Google Patents

カラオケネットワークシステムおよびカラオケ端末装置 Download PDF

Info

Publication number
JP3975999B2
JP3975999B2 JP2003366289A JP2003366289A JP3975999B2 JP 3975999 B2 JP3975999 B2 JP 3975999B2 JP 2003366289 A JP2003366289 A JP 2003366289A JP 2003366289 A JP2003366289 A JP 2003366289A JP 3975999 B2 JP3975999 B2 JP 3975999B2
Authority
JP
Japan
Prior art keywords
data
video
song
information
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003366289A
Other languages
English (en)
Other versions
JP2004102306A (ja
Inventor
博万 加藤
実 荻田
祐二 仙場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2003366289A priority Critical patent/JP3975999B2/ja
Publication of JP2004102306A publication Critical patent/JP2004102306A/ja
Application granted granted Critical
Publication of JP3975999B2 publication Critical patent/JP3975999B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明は、ローカルエリアネットワーク(LAN)を介して複数のカラオケ端末と共通のセンタ局との間を接続したカラオケネットワークシステムおよびカラオケ端末装置に関する。
カラオケの伴奏に併せて歌い手が歌唱するカラオケシステムは、1台のカラオケ装置だけで演奏曲再生から、歌詞表示、さらには背景となる動画表示の全てを行う自己完結型のものが依然として高い割合を占めている。1例として、レーザカラオケと呼ばれるカラオケ装置を例とすれば、演奏曲の音響信号とそれに対応する歌詞と動画映像の混合データを曲毎に格納した多数のレーザディスクと、その一枚を選択するディスクチェンジャと、選択されたディスクからリクエストされた曲のデータを再生する専用のプレーヤなどを備える。
楽音合成型のカラオケ装置では、曲データに含まれる楽音データをトーンジェネレータと呼ばれる楽音合成装置(音源)に入力する事で演奏曲を合成再生することができる。このタイプのカラオケ装置では、映像データと楽音データを分離して格納することが可能であるので、1つの映像データを複数の曲で共用するシステム構成を実現した場合には、映像データ格納用のディスクの容量を減らすことができ、カラオケ装置全体の構成を簡略化することができる。また、この考えを更に発展させ、センタ局とカラオケ端末との間を電話回線で接続し、必要な曲データをセンタ局にリクエストして転送してもらうシステムでは、カラオケ端末側に曲データを格納しておく記憶媒体が基本的に不要になる。
しかしながら、その様にしてもカラオケ装置毎に映像データを格納したディスクおよびそのプレーヤなどを必要とする従来のシステムでは、再生側に設置される装置構成の簡略化が阻まれ、またコストダウンもしにくい。本発明の一つの目的は、カラオケ端末側の構成を簡略化し、しかもサービス内容を低下させることのないカラオケネットワークシステムを提供することにある。本発明の他の目的は、映像データの種類を限ることでセンタ局側の構成も複雑化させないカラオケネットワークシステムを提供することにある。本発明の異なる目的は、この様なネットワークシステムに接続するカラオケ端末装置を提供することにある。
本発明のカラオケネットワークシステムは、センタ局と複数のカラオケ端末装置とが曲データ、リクエストデータ及び背景映像信号が相互に独立に伝送される共通のネットワーク回線を介して接続されたカラオケネットワークシステムにおいて、センタ局は、ネットワーク回線に、センタ局側で管理される複数の相異なる背景映像信号を周波数分割多重化して常時出力する映像データ供給手段と、カラオケ端末装置から送出されたリクエストデータを受信してこのリクエストデータに応答して曲データを送出する曲データ供給手段とを有し、カラオケ端末装置は、所望する曲のリクエストデータをネットワーク回線に出力するリクエスト手段と、リクエストデータに応答してセンタ局から伝送された、端末指定情報、楽音情報、歌詞情報及びセンタ局側で管理される映像周波数指定情報を含む曲データを受信する曲データ受信手段と、ネットワーク回線を介して送られてくる複数の背景映像信号のうち、曲データ受信手段で受信された曲データに含まれる映像周波数指定情報で指示された周波数の背景映像信号だけを選択的に復調する映像選択手段と、曲データ受信手段で受信された曲データに含まれる楽音情報を入力して楽音信号を形成し出力する音源手段と、曲データ受信手段で受信された曲データに含まれる端末指定情報が自端末宛ての情報か否かを判断するアドレス判定手段と、受信された曲データがアドレス判定手段によって自端末宛ての情報であると判定されたときに、その曲データに含まれる映像周波数指定情報によって映像選択手段に選択する背景映像信号の周波数を指示すると共に、楽音情報を適宜音源手段に出力し、楽音情報に対応する歌詞情報に基づいて歌詞画像信号を形成して出力するデータ処理手段と、映像選択手段で選択された背景映像信号とデータ処理手段で生成された歌詞画像信号とを合成して合成映像信号を出力する画像合成部と、この画像合成部から出力される合成映像信号を表示する表示手段とを備えたことを特徴とする。
上記構成において、ローカルエリアネットワーク(LAN)を周波数的に複数のチャンネルに分割する場合、データ量の少ない前記曲データの転送には例えば1つのチャンネルを使用し、データ量の多い前記複数の映像データの転送には残り複数のチャンネルを使用する。この場合、曲データの転送にはパケット方式を採用して送信先端末を区別し、また映像データの転送には周波数分割方式を適用して常時複数チャンネルの映像データを切れ目なく転送できるようにすることができる。
この発明のカラオケ端末装置は、センタ局側で管理される複数の相異なる背景映像信号が周波数分割多重化されて伝送されると共に、曲データ、リクエストデータ、前記背景映像信号が相互に独立に伝送されるネットワーク回線に接続されるカラオケ端末装置であって、所望する曲のリクエストデータをネットワーク回線に出力するリクエスト手段と、リクエストデータに応答してセンタ局から伝送された、端末指定情報、楽音情報、歌詞情報及びセンタ局側で管理される映像周波数指定情報を含む曲データを受信する曲データ受信手段と、ネットワーク回線を介して送られてくる複数の背景映像信号のうち、曲データ受信手段で受信された曲データに含まれる映像周波数指定情報で指示された周波数の背景映像信号だけを選択的に復調する映像選択手段と、曲データ受信手段で受信された曲データに含まれる楽音情報を入力して楽音信号を形成し出力する音源手段と曲データ受信手段で受信された曲データに含まれる端末指定情報が自端末宛ての情報か否かを判断するアドレス判定手段と、受信された曲データがアドレス判定手段によって自端末宛ての情報であると判定されたときに、その曲データに含まれる映像周波数指定情報によって映像選択手段に選択する背景映像信号の周波数を指示すると共に、楽音情報を適宜音源手段に出力し、楽音情報に対応する歌詞情報に基づいて歌詞画像信号を形成して出力するデータ処理手段と、映像選択手段で選択された背景映像信号とデータ処理手段で生成された歌詞画像信号とを合成して合成映像信号を出力する画像合成部と、この画像合成部から出力される合成映像信号を表示する表示手段とを備えたことを特徴とする。
本発明のカラオケネットワークシステムでは、複数のカラオケ端末とセンタ局との間はLANで接続されており、カラオケ端末は希望する演奏曲の曲データをセンタ局にリクエストする。センタ局は、このリクエストに対応した曲データをリクエストした端末に転送する。この曲データの転送とは独立してセンタ局は常時複数チャンネルの映像データを流し続ける。このため、端末側では曲データに含まれる楽音データに基づき演奏曲を再生し、また歌詞データに基づき歌詞画像を形成し、更に映像チャンネル指定データに基づき映像データを選択して動画映像を再生することができる。
本発明のカラオケ端末装置は、自端末宛の演奏データだけをアドレス判断して取り込む。この演奏データには、楽音情報、歌詞情報、映像周波数指定情報が含まれるので、楽音情報から楽音信号を形成し、また歌詞情報から歌詞画像を形成する。背景映像については映像周波数指定情報に基づき、常時伝送されている背景映像データの中から該当する周波数のものを選択して使用する。従って、端末側に映像データの蓄積媒体が不要になり、構成が簡単になる。
以上述べたように 本発明のカラオケネットワークシステムでは、カラオケ端末側にレーザディスクのような映像データ供給源を必要としないので、端末構成が簡略化される。にもかかわらず、映像データはセンタ局から供給されるので、端末側でのカラオケ演奏に欠かせない動画映像が欠落することはない。本発明のカラオケ端末側にはカラオケ演奏に必要な曲データも保存されていない。しかし、端末側でリクエストすればセンタ局から対応する曲データが高速転送されるので、多数の端末が接続されたシステム状態においても、リクエストした端末側での演奏開始が極端に遅れることはない。本システムにおいては、再生継続される複数の映像CHからCHを選択するようにしている。このシステム構成は、多数の映像データ中からリクエストされたものを選択して供給するシステムと比較して、ディスクチェンジャが不要となるため、センタ局側の構成を簡略化することができる。また、この映像データは常時流れているので、選択すれば直ちに、しかも複数の端末で異なるタイミングで同じ曲のリクエストがあってもセンタ側に単一のディスクを再生するだけで複数の端末において同時にモニタに表示することができる。
以下、図面を参照して本発明の好ましい実施例を説明する。本発明のカラオケLANシステムは、図1の概略システム図に示すように構成される。同軸または光ケーブルのような周波数帯域の広い伝送路を用いたLAN10に、カラオケサーバとしてのセンタ局20が接続され、更にカラオケ演奏を希望する位置には、複数のカラオケ端末30が追加可能に接続される。センタ局20は、複数チャンネルの映像データを繰り返し送出する映像データ供給部21と、カラオケ端末30からリクエストされた演奏曲の曲データを送出する曲データ供給部22とを備える。
カラオケ端末30は、リクエストした曲データを取り込む曲データ入力部31と、前記曲データに含まれる楽音データに基づき演奏曲を合成する楽音合成部(TG)32と、前記曲データに含まれる歌詞データに基づき歌詞画像を形成する機能を有するデータ処理部33と、前記曲データに含まれる映像チャンネル指定データに基づき前記複数チャンネルの映像データの中から対応するチャンネルの映像データを選択する映像選択部34と、前記映像データに基づく動画映像に前記歌詞画像をスーパーインポーズする画像合成部35と、前記合成された映像信号を表示するモニタ36とを備える。
LAN10には、端末30からセンタ局20に対し希望曲をリクエストするリクエストCH(チャンネル)と、センタ局20の曲データ供給部22から前記端末30からのリクエストに対応する曲データを転送する曲データCHと、センタ局20の映像データ供給部21から同時に複数の映像データを供給する複数の映像データCHとが設定される。
LAN10を周波数的に複数のチャンネルに分割して使用する場合、データ量の少ない曲データの転送には例えば1つのチャンネルを使用し、データ量の多い前記複数の映像データの転送には複数のチャンネルを使用する。例えば、CATVのようなプライベート回線をLAN10として使用する場合、使用可能な帯域の上限は1GHz程度まである。そこで、次のような周波数分割により複数のチャンネルを設定することができる。
1)リクエストCH20MHzから0.1MHz間隔で各端末毎に異なるリクエストCHを割り当てる。上限を曲データCHより6MHz低い65MHzとすれば、最大450端末を接続しても各端末を識別することができる。
2)曲データCH71MHzの1CHだけを使用し、送信先端末をアドレスで区別するデジタルパケット転送を行う。
3)映像データCH77MHzから6MHz間隔で映像データ毎に異なる映像データCHを割り当てる。上限が1GHzであれば、最大150CH程度の映像データを同時に供給できる。
図2〜図4は、図1の各部詳細図である。図2に示すように、映像データ供給部21は、複数のレーザディスク(LD)プレーヤ41A,41B,41C,41D…と、そこで再生された映像データ(ビデオ信号)をそれぞれ周波数の異なるキャリア77MHz,83MHz,89MHz,95MHz…で変調して出力するRF(高周波)モジュレータ42A,42B,42C,42D…とを備える。これらのキャリア周波数はCATVのCH4,CH5,…に相当する。
LDプレーヤ41A,41B,41C,41D…はそれぞれ異なる内容のLD1〜4を繰り返し再生する。例えば、LD1は夏向きの演歌の背景映像、LD2は冬向きの演歌の背景映像、LD3は夏向きのポップスの背景映像、LD4は冬向きのポップスの背景映像を、それぞれ格納したものである。このように、センタ側で、CH毎に異なる映像を流し続けているため、端末側は映像CHをそのCHに併せるだけで、カラオケの背景映像を得ることができる。
図3に示すように、曲データ供給部22は、カラオケ端末からのリクエストデータをRFモデム51で復調し、どの端末からのリクエストであるかを周波数別に識別してそのリクエスト内容を次段のメモリ52に書き込む。CPU53は例えばポーリング方式でメモリ52をスキャンし、その内容(リクエスト曲)を読む。CPU53は、リクエストを検出したら、曲データベース54にアクセスし、リクエストに対応する演奏曲の曲データを読み出す。この曲データはデジタル信号であり、これにリクエストのあった送信先端末のアドレスを付して、RFモデム55に受け渡す。RFモデム55はこの曲データを71MHzのキャリアで変調して送信する。
曲データのフォーマットは、図4に示すように、ヘッダHで始まり、テイラーTで終わるまでの間に、送信先端末アドレス、映像CH指定データ、楽音および歌詞データ、チェックビットコードを挿入したシリアルデータであり、これを高速に(例えば、5〜10M/bpsで)転送する。映像CH指定データは楽音および歌詞データと対をなすよう、予め定められたものである。
カラオケ端末30は、図5に示すように、カラオケコマンダ61から希望する演奏曲の曲番号を入力するなどしてリクエストすることができる。このリクエストは、RFモデム62において端末固有の周波数(例えば20.3MHz)のキャリアで変調され、LAN10に出力され、センタ局20によって受信される。このリクエストに応答してセンタ局20から71MHzのキャリアで曲データが転送されると、71MHzの信号を受信しているRFモデム63はこれを復調し、アドレスチェック回路64が自己のアドレスであるか否かをチェックする。自己のアドレスであれば、その曲データは自端末に宛てられたカラオケ曲データであるのでデータ処理部33に転送する。アドレスが自端末のものでなければ、他端末のデータであるためデータ処理部33へは転送されない。従って、このコマンダ61、RFモデム62,63およびアドレスチェック回路64は、図1の曲データ入力部31を構成する。
データ処理部33は、取り込んだ曲データの中から楽音データを楽音合成部32に入力し、スピーカ65から演奏曲を出力させる。同時に歌詞データから楽音に対応する歌詞画像を形成し、画像合成部35に出力する。つまり、歌詞画像を合成する際には、歌詞データに基づき、画像ロム(図示せず)から文字のドットパターンをビデオメモリ(図示せず)に書き込む。画像ロム、ビデオメモリ共にデータ処理部を構成するものであるが、図面においてはその記載を省略してある。ビデオメモリに書き込まれた歌詞画像データは、やはり図示せぬビデオコントローラの制御のもと歌詞画像信号として画像合成部35に入力される。
更に、映像CH指定データに基づきRFモジュレータ(映像選択部)34で指定周波数の映像データだけを復調する。この復調データは画像合成部35に供給され、歌詞画像信号をスーパーインポーズした映像信号をモニタ36に出力し、歌詞と背景映像の合成映像がモニタ36に表示される。この場合、曲の雰囲気にあった映像のCHを指定するデータが映像CH指定データとして、曲データと共に送られてくるため、端末側に映像再生装置がなくても、カラオケの背景画像をモニタに表示できる。また、センタ局では常に背景映像を再生しているため端末側では映像再生準備等の時間を待つ必要がない。スピーカ65には図示せぬマイクからの歌唱音声が混合入力されるが、この部分の構成は図面上省略してある。
本発明の一実施例を示す概略システム構成図である。 映像データ供給部の詳細構成図である。 曲データ供給部の詳細構成図である。 曲データのフォーマットを示す図である。 カラオケ端末の詳細構成図である。
符号の説明
10…LAN、20…センタ局、21…映像データ供給部、22…曲データ供給部、30…カラオケ端末、31…曲データ入力部、32…楽音合成部、33…データ処理部、34…映像選択部、35…モニタ。

Claims (2)

  1. センタ局と複数のカラオケ端末装置とが曲データ、リクエストデータ及び背景映像信号が相互に独立に伝送される共通のネットワーク回線を介して接続されたカラオケネットワークシステムにおいて、
    センタ局は、
    ネットワーク回線に、センタ局側で管理される複数の相異なる背景映像信号を周波数分割多重化して常時出力する映像データ供給手段と、
    カラオケ端末装置から送出されたリクエストデータを受信してこのリクエストデータに応答して曲データを送出する曲データ供給手段とを有し、
    カラオケ端末装置は、
    所望する曲のリクエストデータをネットワーク回線に出力するリクエスト手段と、
    リクエストデータに応答してセンタ局から伝送された、端末指定情報、楽音情報、歌詞情報及びセンタ局側で管理される映像周波数指定情報を含む曲データを受信する曲データ受信手段と、
    ネットワーク回線を介して送られてくる複数の背景映像信号のうち、曲データ受信手段で受信された曲データに含まれる映像周波数指定情報で指示された周波数の背景映像信号だけを選択的に復調する映像選択手段と、
    曲データ受信手段で受信された曲データに含まれる楽音情報を入力して楽音信号を形成し出力する音源手段と、
    曲データ受信手段で受信された曲データに含まれる端末指定情報が自端末宛ての情報か否かを判断するアドレス判定手段と、
    受信された曲データがアドレス判定手段によって自端末宛ての情報であると判定されたときに、その曲データに含まれる映像周波数指定情報によって映像選択手段に選択する背景映像信号の周波数を指示すると共に、楽音情報を適宜音源手段に出力し、楽音情報に対応する歌詞情報に基づいて歌詞画像信号を形成して出力するデータ処理手段と、
    映像選択手段で選択された背景映像信号とデータ処理手段で生成された歌詞画像信号とを合成して合成映像信号を出力する画像合成部と、
    この画像合成部から出力される合成映像信号を表示する表示手段と
    を備えた
    ことを特徴とするカラオケネットワークシステム。
  2. センタ局側で管理される複数の相異なる背景映像信号が周波数分割多重化されて伝送されると共に、曲データ、リクエストデータ、前記背景映像信号が相互に独立に伝送されるネットワーク回線に接続されるカラオケ端末装置であって、
    所望する曲のリクエストデータをネットワーク回線に出力するリクエスト手段と、
    リクエストデータに応答してセンタ局から伝送された、端末指定情報、楽音情報、歌詞情報及びセンタ局側で管理される映像周波数指定情報を含む曲データを受信する曲データ受信手段と、
    ネットワーク回線を介して送られてくる複数の背景映像信号のうち、曲データ受信手段で受信された曲データに含まれる映像周波数指定情報で指示された周波数の背景映像信号だけを選択的に復調する映像選択手段と、
    曲データ受信手段で受信された曲データに含まれる楽音情報を入力して楽音信号を形成し出力する音源手段と、
    曲データ受信手段で受信された曲データに含まれる端末指定情報が自端末宛ての情報か否かを判断するアドレス判定手段と、
    受信された曲データがアドレス判定手段によって自端末宛ての情報であると判定されたときに、その曲データに含まれる映像周波数指定情報によって映像選択手段に選択する背景映像信号の周波数を指示すると共に、楽音情報を適宜音源手段に出力し、楽音情報に対応する歌詞情報に基づいて歌詞画像信号を形成して出力するデータ処理手段と、
    映像選択手段で選択された背景映像信号とデータ処理手段で生成された歌詞画像信号とを合成して合成映像信号を出力する画像合成部と、
    この画像合成部から出力される合成映像信号を表示する表示手段と
    を備えたことを特徴とするカラオケ端末装置。
JP2003366289A 2003-10-27 2003-10-27 カラオケネットワークシステムおよびカラオケ端末装置 Expired - Fee Related JP3975999B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003366289A JP3975999B2 (ja) 2003-10-27 2003-10-27 カラオケネットワークシステムおよびカラオケ端末装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003366289A JP3975999B2 (ja) 2003-10-27 2003-10-27 カラオケネットワークシステムおよびカラオケ端末装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000078634A Division JP3503055B2 (ja) 1993-08-26 2000-03-21 カラオケネットワークシステムおよびカラオケ端末装置

Publications (2)

Publication Number Publication Date
JP2004102306A JP2004102306A (ja) 2004-04-02
JP3975999B2 true JP3975999B2 (ja) 2007-09-12

Family

ID=32290932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003366289A Expired - Fee Related JP3975999B2 (ja) 2003-10-27 2003-10-27 カラオケネットワークシステムおよびカラオケ端末装置

Country Status (1)

Country Link
JP (1) JP3975999B2 (ja)

Also Published As

Publication number Publication date
JP2004102306A (ja) 2004-04-02

Similar Documents

Publication Publication Date Title
JP3248792B2 (ja) カラオケネットワークシステムおよびカラオケ端末装置
JP3250336B2 (ja) カラオケシステムおよびカラオケ端末装置
JP4013281B2 (ja) カラオケデータ伝送方法、カラオケ装置およびカラオケデータ記録媒体
US6022223A (en) Video/audio data supplying device
US5319452A (en) Control system for concentratively controlling a plurality of music accompanying apparatuses
US5589947A (en) Karaoke system having a plurality of terminal and a center system
US9143544B2 (en) Information processing apparatus for reproducing and identifying content streams at plural network devices
JPH09127962A (ja) カラオケデータの送信方法および送受信装置
JPH07302091A (ja) カラオケ通信システム
JP3975999B2 (ja) カラオケネットワークシステムおよびカラオケ端末装置
JP3503055B2 (ja) カラオケネットワークシステムおよびカラオケ端末装置
JP4083712B2 (ja) カラオケ装置
JP3676521B2 (ja) カラオケ装置
JP3183374B2 (ja) カラオケデータ配信装置および通信カラオケシステム
KR100334209B1 (ko) 가라오께장치
JP4103405B2 (ja) ネットワーク自動演奏システムの楽音生成方法および自動演奏装置
JPH11259080A (ja) ネットワークカラオケシステム、カラオケ端末装置、および、カラオケセンタ局装置
JPH07281687A (ja) 映像カラオケ装置
JPH07220373A (ja) 映像再生装置
JP2000347676A (ja) 衛星通信カラオケシステム
JP3760685B2 (ja) Avシステム
JP3141012B2 (ja) カラオケデータの送信方法
JP3345092B2 (ja) カラオケ端末装置の集中管理システム
JP2000047679A (ja) カラオケデ―タ配信装置
JPH0962277A (ja) カラオケ情報供給システム、カラオケ情報供給装置及びカラオケ端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20031030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070611

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees