JP4062257B2 - 楽譜表示装置及び楽譜表示プログラム - Google Patents

楽譜表示装置及び楽譜表示プログラム Download PDF

Info

Publication number
JP4062257B2
JP4062257B2 JP2004001584A JP2004001584A JP4062257B2 JP 4062257 B2 JP4062257 B2 JP 4062257B2 JP 2004001584 A JP2004001584 A JP 2004001584A JP 2004001584 A JP2004001584 A JP 2004001584A JP 4062257 B2 JP4062257 B2 JP 4062257B2
Authority
JP
Japan
Prior art keywords
lyrics
data
score
display
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004001584A
Other languages
English (en)
Other versions
JP2005195827A (ja
Inventor
隆志 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2004001584A priority Critical patent/JP4062257B2/ja
Publication of JP2005195827A publication Critical patent/JP2005195827A/ja
Application granted granted Critical
Publication of JP4062257B2 publication Critical patent/JP4062257B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Auxiliary Devices For Music (AREA)

Description

本発明は、電子楽器やコンピュータミュージック等における演奏データに基づいてその楽譜表示を行う楽譜表示装置及び楽譜表示をコンピュータに実行させるための楽譜表示プログラムに関する。
従来、電子楽器やコンピュータミュージック等における自動演奏データに基づいて見栄えのよい楽譜表示を行う装置あるいはプログラムがある。例えば特開平11−327427号公報に開示された技術では、各小節内でタイミングの異なる音符(その一部)が重なって表示されないように、各小節の表示幅や各音符の表示幅を考慮して、各音符の表示位置を割付制御するようにしている。また、特開2001−75472号公報に開示された技術では、クレッシェンドやデクレッシェンドなどの強弱記号やペダル記号を五線譜の上下のスペースに表示することを可能にしている。
特開平11−327427号公報 特開2001−75472号公報
ところで、自動演奏データや楽譜表示データには歌詞を表す情報(歌詞情報)が含まれているものがある。また、この歌詞情報も楽譜表示データの音符情報と同様に表示位置やタイミングを示す情報を持っており、このタイミングを示す情報に基づいて、表示される楽譜の音符に合わせて歌詞も表示される。この歌詞は、通常は五線譜の下側のスペースに表示される。
しかし、自動演奏データもしくは楽譜表示データ内に五線譜の下側のスペースに表示するような音楽記号情報が含まれている場合、あるいは、自動演奏データ(例えばMIDI形式)を分析して同様なスペースに表示するような音楽記号情報を生成し表示する場合など、歌詞と音楽記号とが重なってしまい、見栄えのわるい楽譜となってしまう。
本発明は、楽譜表示において歌詞と音楽記号の表示の重なりを防ぎ、見栄えのよい楽譜表示を行えるようにすることを課題とする。
本発明は、楽譜表示データの中に歌詞を表すデータが含まれている場合、楽譜内での表示領域が歌詞と重なる音楽記号表示データが該楽譜表示データの中に含まれているかどうかを判断し、歌詞と重なる音楽記号表示データが含まれている場合には、歌詞か音楽記号のどちらを表示するかを選択手段によりユーザ等が選択できるようにし、選択された歌詞か音楽記号かのどちらか一方を表示するようにし、歌詞と重なる音楽記号表示データが楽譜表示データの中に含まれていない場合には選択手段による選択を不可状態にするようにした。
本発明の請求項1または請求項2によれば、歌詞を表すデータと音楽記号表示データとで表示領域が重なるような場合には、歌詞を表示するか音楽記号を表示するかを選択できるようにしたので、歌詞を表示するか音楽記号を表示するかを選択できるので、ユーザの使用目的に応じて、見栄えのよい、分かり易い楽譜表示を得ることができる。
以下、図面を参照して本発明の一実施の形態について説明する。図1は本発明の楽譜表示装置をパーソナルコンピュータとソフトウエアで構成した実施形態のブロック図である。パーソナルコンピュータは、CPU1、ROM2、RAM3、入力操作部4、表示部5、ディスプレイ6、音源7、サウンドシステム8、外部記憶装置9、通信インターフェース10を備えている。
入力操作部4はマウスやキーボード等であり、例えばマウスの操作に応じてデータを入力し、ディスプレイ6上のマウスポインタ(カーソル)の表示位置とクリック操作の検出により、表示とマウスの操作による所謂グラフィカル・ユーザ・インターフェース(GUI)の処理を行う。なお、音源7はサウンドボード等により実装されており、自動演奏時などCPU1から設定されるデータによりデジタル処理を行い、生成したオーディオ信号をアンプやスピーカ等のサウンドシステム8に出力して楽音を発生する。
外部記憶装置9はハードディスク装置(HDD)、フレキシブルディスク装置(FDD)、CD−ROM装置、光磁気ディスク(MO)装置、デジタル多目的ディスク(DVD)装置等であり、例えばこの外部記憶装置9から、本発明の楽譜表示プログラムや、楽譜表示あるいは自動伴奏のための曲データを供給する。また、通信インターフェース(I/F)10を介して他のMIDI機器(例えばMIDI鍵盤)などの外部機器11との間で各種データの授受を行い、曲データを取り込むこともできる。なお、この実施形態では、楽譜表示プログラムを含む実施形態の制御プログラム及び曲データは外部記憶装置9のハードディスク装置(HDD)に記憶されており、CPU1は、このハードディスク装置の制御プログラムをRAM3に展開し、このRAM3のプログラムに基づいて楽譜表示等の動作を制御する。
図2は実施形態における楽譜表示データのフォーマットの一例を示す図であり、この実施形態では楽譜表示データは曲データ中に予め含まれているものとする。なお、曲データには、例えばSMF(スタンダードMIDIファイル)あるいはそれに準じた形式の演奏データ(図示せず)が含まれており、これにより自動演奏を行うことができる。楽譜表示データには、音符表示データ(図2(A) )、歌詞表示データ(図2(B) )、第1の音楽記号表示データとしてのペダル記号表示データ(図2(C) )、第2の音楽記号表示データとしての強弱記号表示データ(図2(D) )が含まれている。これらの各表示データは、演奏データにおける曲内でのロケーションを示すタイミングデータとともに音符、歌詞、ペダル記号、強弱記号の情報が、順次記録されている。なお、以下の説明では、楽譜上で曲の進行方向(ロケーションの方向)を「時間方向」、五線譜に対して音高の高低方向(第1線から第5線の並び方向)を「縦方向」とする。
音符表示データは、一つの音符毎に、ノートナンバ等の音高データ、「四分音符」であるとか「八分音符」であるとかを示す音符種類データ、楽譜表示用の音符の図柄の大きさを示すフォントサイズデータ、楽譜上の時間方向における表示位置を示す表示位置データを持っている。
歌詞表示データは、歌詞の一文字毎に、文字の漢字コード等の歌詞データ、表示用の文字の大きさを示すフォントサイズデータ、楽譜上の時間方向における表示位置を示す表示位置データ、楽譜上の縦方向の表示位置を示す表示位置データを持っている。なお、この歌詞データは「ひらがな」の1文字に対応している。
ペダル記号表示データは、ペダルオンかペダルオフかを示すペダルON/OFFデータ、ペダルオンに対応するペダルオン記号あるいはペダルオフに対応するペダルオフ記号の図柄の画像データ等の描画情報データ、楽譜上の時間方向における表示位置を示す表示位置データ、楽譜上の縦方向の表示位置を示す表示位置データを持っている。
強弱記号表示データは、クレッシェンドであるかデクレッシェンドであるかを示す記号種類データ、クレッシェンド記号あるいはデクレッシェンド記号の図柄の画像データ等の描画情報データ、楽譜上の時間方向における記号開始位置を示す表示位置データ、楽譜上の時間方向における記号終了位置を示す表示位置データ、楽譜上の縦方向の表示位置を示す表示位置データを持っている。
ここで、音符については五線譜に対する縦方向の表示位置は音高データによって決まるが、歌詞、音楽記号の縦方向の表示位置を示す表示位置データは、例えば「五線譜の縦方向の幅(第1線と第五線との間隔)を基準にして、この幅の何割だけ第1線から下の位置を表示位置とする」など、五線譜に対する相対的な表示位置を指定するデータである。
そして、音符、歌詞(文字)、音楽記号の画像表示に関するデータ処理は、例えば次のように行う。先ず、ディスプレイ画面の解像度に応じて、画面上の各ドット(画素)には座標が対応しており、ユーザによる楽譜サイズの設定及び五線譜等の表示位置、五線譜の時間方向の長さと縦方向の幅、小節線の位置等に関する座標データが決定される。そして、音符を例にすると、音符の図柄のフォントサイズデータから、上記五線譜の大きさに応じて音符の図柄のサイズを決定し、フォントサイズデータを元に、適宜拡大縮小した画像データを生成する。次に、五線譜(あるいは小節線)の位置(座標)を基準にして、音符の音高データと表示位置データ(時間方向)に基づいて、五線譜上での音符の図柄の表示位置(例えばフォント中の所定の基準点についての座標)を決定する。そして、五線譜の画像データと音符の画像データとを合成してディスプレイ画面に表示する。歌詞、音楽記号についても同様に表示位置を決定することができ、表示位置データに応じた位置に表示することができる。上記の画像処理は一例であり、他の方法でもよいことはいうまでもない。
図3は実施形態における楽譜表示の表示例を示す図である。図3(A) と図3(B) は、ペダル記号表示データと歌詞表示データとの各々の表示位置データの内容が、ペダル記号の表示領域と歌詞の表示領域が重なるようになっている場合の表示例である。図3(C) は、ペダル記号表示データと歌詞表示データとの各々の表示位置データの内容が、歌詞の表示領域にペダル記号を表示するような内容になっていない場合の表示例である。
各表示画面には五線譜の図柄G1と音符の図柄G2が表示され、画面の下方には、「歌詞」と記された切替ボタンB1と、「音楽記号」と記された切替ボタンB2とが表示される。なお、各切替ボタンB1,B2は前述のGUI対応のものであり、操作可能な状態では切替ボタンB1,B2をマウスポインタでクリックすることによりオン/オフすることができる。そして、図3(A) のように切替ボタンB2がオンされると音楽記号の表示が選択され、五線譜の図柄G1の下にペダルオン記号の図柄G3や、ペダルオフ記号の図柄G4が表示される。また、図3(B) のように切替ボタンB1がオンされると歌詞の表示が選択され、五線譜の図柄G1の下に歌詞の文字G5(この例では文字を「○、△、…」で図示)が表示される。
ペダル記号表示データと歌詞表示データとが、歌詞の表示領域にペダル記号を表示するような内容になっていない場合は、図3(C) に示したように、音楽記号の切替ボタンB2は選択不可能状態となる。この状態では、切替ボタンB2はオン状態、オフ状態のいずれとも異なる態様(例えば網点表示等)で表示される。そして、この場合は、五線譜の図柄G1の下に、歌詞の文字G5が自動的に表示される。
なお、ペダルオン記号の図柄G3、ペダルオフ記号の図柄G4、歌詞の文字G5は、ペダルの操作タイミングや歌詞の発声タイミングに応じた「時間方向」の位置に表示され、例えば音符と同タイミングであればその対応する音符の図柄G2の直下に表示される。
図4はCPU1が実行する楽譜表示プログラムの要部フローチャートであり、このフローチャートの処理は、図示しないメインルーチンで例えば楽譜表示機能の実行を選択するなど、指定されたモードに応じて実行される。先ず、ステップS1でユーザ設定の処理を行う。このユーザ設定の処理では、ユーザの入力操作を受け付けて、楽譜表示データを持つ曲データの選択、あるいは楽譜表示データの選択、表示する楽譜の大きさの設定、表示対象とする音楽記号の種類の選択などの処理を行う。なお、このユーザ設定の処理で、楽譜表示データを持っていない曲データを分析して、楽譜表示データを生成するような処理を行ってもよい。
ユーザ設定の処理が終了すると、ステップS2で楽譜表示データの中に、歌詞表示データが存在するかを判定し、存在しなければ、ステップS3で楽譜表示データの音符表示データや音楽記号表示データ等に従って従来同様に楽譜表示し、処理を終了する。楽譜表示データの中に歌詞表示データが存在すれば、ステップS4以降の処理を行う。
ステップS4では、楽譜表示データの中に、歌詞表示データと縦方向で同じ領域に表示される音楽記号の表示データ(ペダル記号表示データまたは強弱記号表示データ)が存在するかを判定する。存在しなければ、ステップS5で、「音楽記号」の切替ボタンB2(音楽記号ボタン)を選択不可能状態とし、ステップS6で、楽譜表示データ中の歌詞表示データと異なる表示領域(重ならない表示領域)の表示データと歌詞表示データとに基づいて楽譜表示し、処理を終了する。すなわち、この場合には、例えば図3(C) のように、五線譜と音符が表示されるとともに歌詞が表示される。また、この場合は、音楽記号があれば、歌詞と表示領域が重ならないのでそのまま表示される。
一方、ステップS4で、歌詞表示データと縦方向で同じ領域に表示される音楽記号の表示データが存在すれば、ステップS7で、ユーザによる表示の選択処理を行う。この表示の選択処理では、「歌詞」の切替ボタンB1(歌詞ボタン)と「音楽記号」の切替ボタンB2(音楽記号ボタン)を選択可能状態としてユーザの入力操作を受け付ける。そして、ステップS8で、「歌詞」の切替ボタンB1(歌詞ボタン)が選択状態となっているかを判定し、選択状態となっていれば前記ステップS6の処理を行う。すなわち、この場合には、例えば図3(B) のように、図五線譜と音符が表示されるとともに歌詞が表示され、この場合も、歌詞と表示領域が重ならない音楽記号があれば、表示される。
ステップS8で、「歌詞」の切替ボタンB1(歌詞ボタン)が選択状態となっていなければステップS9の処理を行う。ステップS9では、楽譜表示データ中の歌詞表示データと異なる表示領域の表示データと、歌詞表示データと同じ表示領域の音楽記号の表示データとの両方に基づいて楽譜表示し、処理を終了する。なお、この場合、歌詞表示データによる楽譜表示は行わない。すなわち、この場合には、例えば図3(A) のように、五線譜と音符が表示されるとともに音楽記号がそのまま表示される。
以上のように、楽譜表示データの中に歌詞表示データがなければ、従来同様に音符表示データや音楽記号表示データに従って、音符と音楽記号の楽譜表示が行われる。楽譜表示データの中に歌詞表示データがあり、歌詞と縦方向で表示領域が重なるような音楽記号(その表示データ)がなければ、音符と歌詞と音楽記号による楽譜表示が行われる。また、楽譜表示データの中に歌詞表示データがあり、歌詞と縦方向で表示領域が重なるような音楽記号(その表示データ)があれば、歌詞または音楽記号を選択することができ、歌詞を選択すると音符と歌詞による楽譜表示が行われ、さらに、歌詞と表示領域が重ならない音楽記号はそのまま表示される。また、音楽記号が選択されると音符と音楽記号による楽譜表示が行われる。
したがって、いずれの場合にもユーザの所望の楽譜表示が行われるとともに、歌詞と音楽記号が重なるようなことがなく、見栄えのよい楽譜表示となる。
なお、通信インターフェース10を介して通信ネットワークに接続し、サーバコンピュータ等から前記楽譜表示プログラムや曲データなどの各種データの配信を受けるようにすることもできる。
本発明は、実施形態のものに限定されず様々な態様とすることができる。例えば、実施形態はパーソナルコンピュータとソフトウエアで構成したものであるが、本発明を電子楽器に適用することもできる。その場合には、楽器のパネル面に設けた液晶表示パネル等で楽譜表示を行うこともできる。また、楽譜表示プログラムはROM2に記録しておいてもよい。さらに、楽譜表示用の専用の装置であってもよい。
実施形態では、既に1曲分の楽譜表示データが曲データ中に用意されているものとして説明したが、例えばMIDI形式の自動演奏データを分析し、楽譜表示データを生成して、この楽譜表示データで楽譜表示するような場合にも適用できる。
実施形態では、歌詞表示データと音符表示データはそれぞれ別のイベントとして扱っているが、例えば、音符表示データの中に対応する歌詞表示データを持つような形式でもよい。また、歌詞表示データと楽譜表示データは1つのファイルに纏めたものでもよいし、別のファイルに分かれていてもよい。さらに、歌詞表示データの歌詞のイベントの持つ歌詞情報の文字数は複数でもよいし、文字の種類はひらがなに限らず、漢字、カタカナ、数字やアルファベットなどでもよい。
なお、音符表示データによる音符の楽譜(五線譜の小節、拍など)への表示位置の割り付け方法は従来ある方法でよい。
音楽記号表示データを自動演奏データ(MIDI形式)から自動生成する方法は、例えば、エクスプレッションデータの変化を調べ単調増加している区間にクレッシェンド、単調減少している区間にデクレッシェンドを生成、もしくは、サスティンペダルのオン/オフを検出し、ペダル記号を生成するなどが考えられる。
各音楽記号を表示する場所(五線譜の上側/下側など)はユーザが設定できるようになっていてもよいし、デフォルトで固定であってもよい。
歌詞と音楽記号のどちらを表示するかの切替ボタンは、例えば電子楽器や専用の装置の画面上にタッチパネルのような形態で実装されていてもよいし、操作パネル上に実際のボタンとして配置されていてもよい。切替ボタンは歌詞用と音楽記号用それぞれ別でもよいし、一つのボタンでオン/オフにより、歌詞/音楽記号あるいは音楽記号/歌詞を切替えるようにしてもよい。
表示の切替対象となる音楽記号には、ペダル記号や強弱記号の他に例えば発想記号や速度記号などその他の記号があってもよい。
楽譜表示する音楽記号の種類を予め選択できるようにしておいてもよい。その場合、選択された音楽記号と歌詞の表示領域が重なるかどうかという判断だけでよい。
本発明を適用した電子楽器のハード構成ブロック図である。 本発明の実施形態における楽譜表示データのフォーマットの一例を示す図である。 本発明の実施形態における楽譜表示の表示例を示す図である。 本発明の実施形態における楽譜表示プログラムの要部フローチャートである。
符号の説明
1…CPU、6…ディスプレイ、9…外部記憶装置、B1,B2…切替ボタン、G1…五線譜の図柄、G2…音符の図柄、G3…ペダルオン記号の図柄、G4…ペダルオフ記号の図柄、G5…歌詞の文字

Claims (2)

  1. 楽譜表示データに基づいて楽譜を表示する処理をコンピュータに実行させる楽譜表示プログラムであって、
    楽譜表示データの中に歌詞を表すデータが含まれているかどうかを判断するステップと、
    楽譜表示データの中に歌詞を表すデータが含まれている場合、楽譜内での表示領域が歌詞と重なる音楽記号表示データが該楽譜表示データの中に含まれているかどうかを判断するステップと、
    該歌詞と重なる音楽記号表示データが含まれていない場合、歌詞か音楽記号かの選択を不可状態とするステップと、
    該歌詞と重なる音楽記号表示データが含まれている場合には、ユーザに歌詞か音楽記号かを選択させて該選択された歌詞または音楽記号のどちらか一方を表示するステップと、
    をコンピュータに実行させるための楽譜表示プログラム。
  2. 楽譜表示データに基づいて楽譜を表示する楽譜表示装置において、
    楽譜表示データの中に歌詞を表すデータが含まれているかどうかを判断する歌詞判断手段と、
    歌詞か音楽記号かを選択する選択手段と、
    楽譜表示データの中に歌詞を表すデータが含まれている場合、楽譜内での表示領域が歌詞と重なる音楽記号表示データが該楽譜表示データの中に含まれているかどうかを判断し、該歌詞と重なる音楽記号データが含まれていない場合には前記選択手段による選択を不可状態にし、該歌詞と重なる音楽記号データが含まれている場合には該選択手段で選択された歌詞または音楽記号のどちらか一方を表示する表示制御手段と、
    を備えたことを特徴とする楽譜表示装置。
JP2004001584A 2004-01-07 2004-01-07 楽譜表示装置及び楽譜表示プログラム Expired - Fee Related JP4062257B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004001584A JP4062257B2 (ja) 2004-01-07 2004-01-07 楽譜表示装置及び楽譜表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004001584A JP4062257B2 (ja) 2004-01-07 2004-01-07 楽譜表示装置及び楽譜表示プログラム

Publications (2)

Publication Number Publication Date
JP2005195827A JP2005195827A (ja) 2005-07-21
JP4062257B2 true JP4062257B2 (ja) 2008-03-19

Family

ID=34817057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004001584A Expired - Fee Related JP4062257B2 (ja) 2004-01-07 2004-01-07 楽譜表示装置及び楽譜表示プログラム

Country Status (1)

Country Link
JP (1) JP4062257B2 (ja)

Also Published As

Publication number Publication date
JP2005195827A (ja) 2005-07-21

Similar Documents

Publication Publication Date Title
JP4211672B2 (ja) 演奏データ作成装置及びプログラム
JPH07253779A (ja) 電子楽器
US5646362A (en) Sound parameter editing device for an electronic musical instrument
JP2003140643A (ja) 楽譜データ変換装置、及び楽譜データ変換プログラム
US20060185500A1 (en) Electronic musical apparatus for displaying character
JP4337515B2 (ja) 演奏指示装置及びプログラム
US8878044B2 (en) Processing device and method for displaying a state of tone generation apparatus
JP2006267254A (ja) 楽曲データ作成装置
JP4062257B2 (ja) 楽譜表示装置及び楽譜表示プログラム
JP4501590B2 (ja) 音楽情報表示装置および音楽情報表示方法を実現するためのプログラム
US20170278495A1 (en) Input Support Apparatus and Method Therefor
JPH096346A (ja) 自動演奏の制御データ入力方法
JP4613817B2 (ja) 運指表示装置、及びプログラム
JP2007086305A (ja) 歌詞編集装置および歌詞編集プログラム
JP5173725B2 (ja) 電子楽器及び楽譜情報処理プログラム
JP2007086304A (ja) 歌詞編集装置および歌詞編集プログラム
JP5041954B2 (ja) 歌詞編集装置及び歌詞編集プログラム
JP4093001B2 (ja) 楽譜表示データを記憶した記憶媒体、その楽譜表示データを用いた楽譜表示装置及びプログラム
JP3972942B2 (ja) 演奏パターン処理装置及び処理プログラム記録媒体
JPH11327544A (ja) 音符入力装置及び音符入力用プログラムを記録した記録媒体
JP4093000B2 (ja) 楽譜表示データを記憶した記憶媒体、その楽譜表示データを用いた楽譜表示装置及びプログラム
JP2962075B2 (ja) 電子楽器の編集装置
JP2002169540A (ja) 楽譜表示装置、及び記録媒体
JP4281636B2 (ja) 音楽アミューズメント装置および同装置に適用されるコンピュータプログラム
JP3896916B2 (ja) 表示位置操作装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070807

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4062257

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120111

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130111

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140111

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees