JP3747850B2 - 電子音楽装置 - Google Patents

電子音楽装置 Download PDF

Info

Publication number
JP3747850B2
JP3747850B2 JP2001391665A JP2001391665A JP3747850B2 JP 3747850 B2 JP3747850 B2 JP 3747850B2 JP 2001391665 A JP2001391665 A JP 2001391665A JP 2001391665 A JP2001391665 A JP 2001391665A JP 3747850 B2 JP3747850 B2 JP 3747850B2
Authority
JP
Japan
Prior art keywords
time
data
music
range
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001391665A
Other languages
English (en)
Other versions
JP2003195862A (ja
Inventor
栄一郎 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2001391665A priority Critical patent/JP3747850B2/ja
Publication of JP2003195862A publication Critical patent/JP2003195862A/ja
Application granted granted Critical
Publication of JP3747850B2 publication Critical patent/JP3747850B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

【0001】
【発明の属する技術の分野】
本発明は、講演、語り、各種式典、体操、ビデオ等のバックグランドミュージック等として所望時間の演奏に供される音楽を出力する電子音楽装置に関する。
【0002】
【従来の技術】
従来、例えば、ビデオ作品に付加するためのバックグランドミュージック用として、所望時間に合った演奏時間を有する音楽データを取得し、これを再生、記録等するようにした電子音楽装置が知られている。
【0003】
例えば、第1の従来の電子音楽装置では、自動作曲機能を備え、所望する指定時間分の曲を生成するための作曲用データを選択し、選択した作曲用データによって自動作曲して、これを演奏するようにしている。
【0004】
また、第2の従来の電子音楽装置(特許2551156号)では、複数の演奏データを記憶しておき、所望時間にほぼ等しい演奏時間を有する演奏データを選択し、その選択した演奏データについてテンポを微調整して所望の指定時間に合うように演奏を行うようにしている。
【0005】
【発明が解決しようとする課題】
しかしながら、上記第1の従来の電子音楽装置では、取得される曲データは自動作曲によるので、人が作曲したものに比べると、未だ音楽的完成度が低く、また、自動作曲機能を備えなければならないため構成が複雑化するという問題があった。
【0006】
また、上記第2の従来の電子音楽装置では、記憶している演奏データとしてMIDIデータを用いているので、演奏される楽曲は、人による生演奏を記録したものに比し、音楽性が豊かでなく音質のリアルさにも欠ける。さらに、テンポの調整により、選択した演奏データは指定時間に合わせて時間的に伸縮されるが、伸縮の程度が大き過ぎると、例えば、ロック曲なのにロック曲として聞こえない等のように、原曲の音楽性が維持されず、不自然な感じになる場合があるという問題があった。
【0007】
本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、簡単な構成で、豊かな音楽性、リアルな音質を維持しつつ、所望演奏時間に合った楽曲を得ることができる電子音楽装置を提供することにある。
【0009】
【課題を解決するための手段】
記目的を達成するために本発明の請求項1の電子音楽装置は、デジタル化されたオーディオデータと許容演奏時間範囲を規定する範囲情報とが対応付けられて複数記憶されたデータベースにアクセス可能なアクセス手段と、希望演奏時間の指定を受け付ける指定時間受付手段と、前記アクセス手段により前記データベースにアクセスし、前記指定時間受付手段により受け付けられた指定時間が含まれる許容演奏時間範囲を規定している範囲情報に対応するオーディオデータを前記データベースから抽出するデータ抽出手段と、演奏時間が前記指定時間受付手段により受け付けられた指定時間に適合するように、前記データ抽出手段により抽出されたオーディオデータに対して読み出し周波数の変更処理またはタイムストレッチ処理のいずれかの処理を施すことにより時間長調整処理を行って、該時間長調整処理を行ったオーディオデータを出力する調整出力手段とを備えたことを特徴とする。
【0010】
この構成によれば、指定時間に適合するものの抽出対象としてオーディオデータのデータベースが用いられるので、自動作曲機能等を備える必要がなく、構成が複雑化しない。また、オーディオデータを用いたので、MIDIデータを用いた場合に比し、音楽性が豊かで音質もリアルな楽曲を得ることができる。また、自動作曲によるものに比し、出力されるデータの音楽的完成度が高い。さらに、指定時間が含まれる許容演奏時間範囲を規定している範囲情報に対応するオーディオデータが抽出され、且つ該抽出されたオーディオデータに対して、その演奏時間が前記指定時間に適合するように時間長調整処理がされるので、時間長調整処理による演奏時間の伸縮が、許容演奏時間範囲内でなされることが確保される。従って、許容演奏時間範囲を、不自然とならないような伸縮範囲に設定しておくことで、時間長調整処理後も自然な感じ(例えば、ロック曲ならロック曲らしさ)を維持することができる。しかも、許容演奏時間範囲を規定している範囲情報をオーディオデータ毎に設定すれば、各曲毎に適当な許容演奏時間範囲を規定でき、全曲について自然な感じを維持することができる。よって、簡単な構成で、豊かな音楽性、リアルな音質を維持しつつ、所望演奏時間に合った楽曲を得ることができる。
【0011】
なお、請求項1において、「指定時間に適合」とは、指定時間に完全に一致する場合だけでなく、ほぼ等しい場合も含まれる。
【0013】
また、請求項2の電子音楽装置は、前記許容演奏時間範囲は、前記時間長調整処理を行うことによる前記オーディオデータのピッチ、エンベロープまたは音質のいずれかの変化特性を考慮して設定されたことを特徴とする。
【0015】
また、請求項3の電子音楽装置は、上記請求項1または2記載の構成において、前記データベースにおける各オーディオデータにはさらに、その記録時のサンプル数、または、記録時のサンプリング周波数及び演奏所要時間のいずれかを表す属性情報が対応付けられており、前記調整出力手段は、前記指定時間受付手段により受け付けられた指定時間と前記データ抽出手段により抽出されたオーディオデータに対応する前記属性情報とに基づいて、前記時間長調整処理を行うことを特徴とする。
【0017】
なお、請求項1〜3において、次のように構成してもよい。
【0018】
前記範囲情報については、最短及び最長の演奏時間として記憶される。
【0021】
また、請求項における、デジタル化されたオーディオデータと許容演奏時間範囲を規定する範囲情報とが対応付けられて複数記憶されたデータベースにアクセス可能な電子音楽装置を制御する電子音楽装置の制御方法をコンピュータに実現させるためのプログラムであって、前記コンピュータを、前記指定時間受付手段、前記データ抽出手段、及び前記調整出力手段として機能させるためのプログラムは、本発明を構成する。
【0022】
また、上記プログラムを格納したコンピュータ読み取り可能な記憶媒体は、本発明を構成する。
【0023】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【0024】
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係る電子音楽装置の全体構成を示すブロック図である。本装置は、例えばパーソナルコンピュータとして構成される。本装置は、講演、語り、各種式典、体操、CM、ビデオ作品等に付加するバックグランドミュージック(BGM)等として利用可能な楽曲を取得するのに用いられ、演奏時間として希望する時間を指定すると、それに合致した楽曲が得られるようにしたものである。
【0025】
本装置は、検出回路3、スイッチ検出回路4、ROM6、RAM7、タイマ8、表示制御回路9、フロッピ(登録商標)ディスクドライブ(FDD)10、ハードディスクドライブ(HDD)11、CD−ROM(コンパクトディスク−リード・オンリ・メモリ)ドライブ12、MIDIインターフェイス(MIDII/F)13、通信インターフェイス(通信I/F)14、音源回路15及び効果回路16が、バス18(アクセス手段)を介してCPU5(データ抽出手段、データ出力手段、調整出力手段)にそれぞれ接続されて構成される。
【0026】
さらに、検出回路3には鍵盤等の演奏操作子1が接続され、スイッチ検出回路4にはパネルスイッチ2(指定時間受付手段)が接続されている。表示制御回路9には例えばLCD若しくはCRTで構成される表示装置19が接続されている。CPU5にはタイマ8が接続され、MIDII/F13には他のMIDI機器100が接続されている。通信I/F14には通信ネットワーク101を介してサーバコンピュータ102が接続され、音源回路15には効果回路16を介してサウンドシステム17が接続されている。
【0027】
検出回路3は演奏操作子1の操作状態を検出する。パネルスイッチ2は、各種情報を入力するための複数のスイッチ(不図示)を備える。スイッチ検出回路4は、パネルスイッチ2の各スイッチの押下状態を検出する。CPU5は、本装置全体の制御を司る。ROM6は、CPU5が実行する制御プログラムや各種テーブルデータ等を記憶する。RAM7は、演奏データ、テキストデータ等の各種入力情報、各種フラグやバッファデータ及び演算結果等を一時的に記憶する。タイマ8は、タイマ割り込み処理における割り込み時間や各種時間を計時する。表示制御回路9は、表示装置19に楽譜等の各種情報を表示させる。
【0028】
FDD10は、フロッピディスク(FD)24をドライブする。HDD11は、不図示のハードディスクを内蔵し、上記制御プログラムを含む各種アプリケーションプログラムや各種データ等を記憶することができる。CD−ROMドライブ12は、上記制御プログラムを含む各種アプリケーションプログラムや各種データ等が格納されているCD−ROM(不図示)をドライブする。
【0029】
MIDII/F13は、他のMIDI機器100等の外部装置からのMIDI(Musical Instrument Digital Interface)信号を入力したり、MIDI信号を外部装置に出力したりする。通信I/F14は、通信ネットワーク101を介して、例えばサーバコンピュータ102とデータの送受信を行う。音源回路15は、FDD10、CD−ROMドライブ12、MIDII/F13または通信I/F14等から入力された自動演奏データ等の曲データを楽音信号に変換する。効果回路16は、音源回路15から入力される楽音信号に各種効果を付与し、DAC(Digital-to-Analog Converter)やアンプ、スピーカ等のサウンドシステム17は、効果回路16から入力される楽音信号等を音響に変換する。
【0030】
なお、ROM6に制御プログラムが記憶されていない場合には、HDD11内に制御プログラムを記憶させておき、それをRAM7に読み込むことにより、ROM6に制御プログラムを記憶している場合と同様の動作をCPU5にさせることができる。なお、CD−ROMドライブ12以外にも、外部記憶装置として、光磁気ディスク(MO)装置、DVD(Digital Versatile Disc)、半導体メモリ等、様々な形態のメディアを利用するための他の装置を設けるようにしてもよい。
【0031】
曲データは、上述したように、FDD10や通信I/F14等を介して読み出し乃至入力される。また、曲データはユーザが創作して演奏操作子1等で入力することもできる。読み出しあるいは入力された曲データは、データベース化されて、例えば、HDD11に格納される。なお、本実施の形態では、曲データは、MIDIデータとするが、これに準じるフォーマットの、いわゆるイベントデータ等で構成されるデータであればよく、MIDIに限定されるものではない。
【0032】
図2は、本実施の形態における曲データベースのデータ構成を示す概念図である。
【0033】
この曲データベースMDBは、複数の曲データが登録されて構築され、例えばHDD11に記憶されている。同図に示すように、各曲データMD(MD1、MD2…)には、属性情報ID(ID1、ID2…)(所定の属性情報)、範囲情報RE(RE1、RE2…)、及び「その他情報」が対応して記憶されている。
【0034】
ここで、属性情報IDは、対応する曲データMDの演奏時間にかかわるデータであり、属性情報IDとして、例えば4分音符数NNが採用される。なお、4分音符数NNは、曲中に存在する4分音符の数ではなく、4分音符相当を1拍とした場合の拍数を示すものである。あるいは、属性情報IDとして、小節数M及び拍子Bを採用してもよい。これは、NN=M×Bであるので、4分音符数NNを採用するのと同等だからである。
【0035】
範囲情報REは、対応する曲データMDの「許容演奏時間範囲」を規定するデータであり、この許容演奏時間範囲は、原曲である曲データMDを後述する時間長調整処理により時間的に伸縮した場合でも、不自然に感じられないような時間範囲に設定される。具体的には、原曲である曲データMDの基準演奏時間に対し、±約20%程度の範囲内となるように設定され、好ましくは±10%の範囲内に設定されるが、自然な範囲は曲想によっても異なるため、個々の曲目に応じて設定すればよい。
【0036】
許容演奏時間範囲は時間を単位として設定され、本実施の形態では、最短演奏時間tL及び最長演奏時間tH(すなわち、tL〜tHの範囲)とされる。範囲情報REは、許容演奏時間範囲を規定できればよく、本実施の形態では許容演奏時間範囲そのものが範囲情報REとされる。
【0037】
「その他情報」には、例えば、対応する曲データMDの音楽ジャンル、データ量等、曲データMDに関する情報が含まれる。分類DB(DB1、DB2…)は曲データMD群の分類等に用いられ、例えば、音楽ジャンルのほか、属性情報ID及び範囲情報REの設定態様を示す情報等である。しかし、分類の態様は問わない。また、曲データMD群は、必ずしも分類する必要はない。
【0038】
本装置は、主にビデオ作品等に付加するBGMを得るものであるから、一般に5秒〜300秒程度の曲が必要とされる。従って、後述する指定時間L1は5秒〜300秒の範囲内で指定できるものとする。これに伴い、曲データベースMDBの構築において、指定時間L1が5秒〜300秒の間でどのような値に指定されたとしても、いずれかの曲データMDの許容演奏時間範囲に指定時間L1が含まれるように(空きが生じないように)、各曲データMDの範囲情報REを設定しておくのが好ましい。
【0039】
なお、各曲データMDは異なる曲でも同じ曲の違う部分を用いたものでもよく、部分的に重複していてもよい。例えば、同じ曲について異なる許容演奏時間範囲(例えば、4小節分の曲データMDと8小節分の曲データMD)を用意してもよい。また、範囲情報REの設定において、5秒〜300秒のすべてをカバーできれば、各曲データMD間で許容演奏時間範囲は重複していなくても、重複していてもよい。重複させない場合は、例えば、4小節までの曲は5〜10秒用、8小節までの曲は10〜15秒用というように設定すればよく、重複させる場合は、例えば、4小節までの曲は5〜12秒用、8小節までの曲は10〜15秒用というように設定すればよい。
【0040】
図3は、本実施の形態におけるデータ生成、出力処理のフローチャートを示す図である。本処理は、ユーザによる所定の開始指示操作等を契機としてCPU5により実行される。以下、曲データベースMDBにおける属性情報ID及び範囲情報REの設定により処理が異なるので、場合分けをして説明する。
【0041】
[属性情報ID=NN、範囲情報RE=tL〜tHの場合(態様1)]
まず、図3のステップS301で、指定時間L1を受け付ける。この指定時間L1は、ユーザが希望する演奏時間であり、ユーザは、例えば、表示装置19に表示された受付画面(図示せず)とパネルスイッチ2とを用いて、秒を単位として指定することができる。なお、BGMを付加したいビデオ作品等のデータ上で、一部乃至全部の映像を指定させ、指定された映像の区間長を検出することで、指定時間L1が指定されるようにしてもよい。
【0042】
次に、曲データ抽出処理を行う(ステップS302)。この曲データ抽出処理では、バス18を介してHDD11内の曲データベースMDBにアクセスして、指定時間L1を包含する許容演奏時間範囲を規定している範囲情報REに対応する曲データMD、すなわち、tL≦L1≦tHであるような曲データMDのすべてを抽出する。
【0043】
図4は、本実施の形態における時間長調整処理を、ある曲データMDを例にとって示す図である。同図(a)は、属性情報IDを4分音符数NNで、範囲情報REを演奏時間tL〜tHでそれぞれ設定した例を示す。同図(b)〜(d)は、後述する時間長調整処理後に出力される曲データMD(すなわち、後述する出力データ)を4分音符で示す。同図(e)は、属性情報IDを「小節数M及び拍子B」で、範囲情報REを演奏時間tL〜tHでそれぞれ設定した例を示す。
【0044】
例えば、同図(a)に示すように、属性情報IDとしてNN=4、範囲情報REとして「tL〜tH=8〜12秒」が対応して記憶されている曲データMDが、曲データベースMDBに存在しているとする。この曲データMDは、原曲通りの演奏時間である基準演奏時間は10秒であり(同図(c)参照)、10秒で演奏したとき最も自然な感じとなるが、8〜12秒の範囲であれば、伸縮してもそれほど不自然に感じられず、BGMとして十分に利用できるとされているものである。ただし、実際に利用される曲データMDはこれよりはるかに複雑であり、拍数も多いが、ここでは説明の都合上、簡単なものを例にとった。
【0045】
図3のステップS301で、指定時間L1=8〜12秒の範囲内の値(例えば8秒)の指定を受け付けたとすると、ステップS302における曲データ抽出処理では当該曲データMDが抽出されることになる。なお、抽出される曲データMDは1つとは限らない。
【0046】
続いて、ステップS303では、抽出された曲データMD群から、曲データMDの選択を受け付ける。この曲データMDの選択も、例えば指定時間L1の場合と同様に、ユーザの任意により、表示装置19及びパネルスイッチ2を用いて行うことができる。なお、抽出された曲データMDが1つの場合は、その曲データMDが自動的に選択される。また、選択可能な曲データMDは1つとするが、2つ以上選択可能に構成してもよい。
【0047】
次に、ステップS304では、時間長調整パラメータ算出処理を行う。本実施の形態では、曲データMDとしてMIDIデータを用いたので、時間長調整パラメータとして、再生テンポRTPを採用する。再生テンポRTPは下記数式1により算出される。
【0048】
【数1】
RTP=NN×60/L1
次に、ステップS305で、時間長調整処理を実行する。この時間長調整処理では、選択された曲データMDの再生時のテンポが再生テンポRTPとなるように処理することで、出力データを生成する。例えば、図4(c)に示すように、L1=10秒であった場合は、RTP=24となって、原曲と同じ演奏時間を有する出力データが生成される。しかし、図4(b)に示すように、L1=8秒であった場合は、RTP=30となって、原曲に対して時間的に20%短縮された出力データが生成される。また、図4(d)に示すように、L1=12秒であった場合は、RTP=20となって、原曲に対して時間的に20%延長された出力データが生成される。
【0049】
次に、ステップS306では、上記生成された出力データを出力して、本処理を終了する。ここで、出力データの出力の態様は、事前にユーザの任意で設定可能であり、例えば、サウンドシステム17を通じて再生すること、ビデオ作品に関連付けて、ビデオと共にあるいは出力データ単独で、記録媒体であるFDD10やHDD11へ記録すること、通信I/F14を通じて外部装置へ送信すること、MIDII/F13を通じて他のMIDI機器100に送信すること等が考えられる。なお、時間長調整処理後に直ちに再生する場合は、原曲データMDから新たに出力データを生成する必要はなく、原曲データMDを再生テンポRTPで再生すれば足りる。
【0050】
[属性情報ID=M及びB、範囲情報RE=tL〜tHの場合(態様2)]
上述したように、属性情報IDとして、4分音符数NNの代わりに「小節数M及び拍子B」を採用してもよいので、図4(a)に例示した曲データMDと同一の曲データMDを例にとれば、図4(e)に示すように、属性情報IDとして「小節数M=1、拍子B=4/4」、範囲情報REとして「tL〜tH=8〜12秒」が曲データMDに対応して曲データベースMDBに登録されていてもよい。上述のように、NN=M×Bであるので、この場合は、図3のステップS304において、再生テンポRTPは下記数式2により算出される。
【0051】
【数2】
RTP=M×B×60/L1
その他の処理は「態様1」と同様である。この「態様2」では、L1=8秒、10秒、12秒であった場合に生成される出力データは、「態様1」での処理結果と同様のものとなる(図4(b)〜(d)参照)。
【0052】
本実施の形態によれば、属性情報IDと、不自然とならないように設定された範囲情報REとが曲データMDに対応付けられて複数記憶された曲データベースMDBを構築しておき、指定時間L1が含まれる許容演奏時間範囲を規定している範囲情報REに対応する曲データMDを、曲データベースMDBから抽出し、その演奏時間が指定時間L1に適合するように時間長調整処理するようにしたので、時間長調整処理による演奏時間の伸縮が、許容演奏時間範囲tL〜tH内でなされることが確保される。従って、時間長調整処理後に生成される出力データについても、自然な感じ(例えば、ロック曲ならロック曲らしさ)を維持することができる。また、生演奏を記録した既存曲等を利用できる曲データベースMDBを用いたので、自動作曲機能等を備える必要がなく、構成が複雑化しないだけでなく、自動作曲によるものに比し出力データの音楽的完成度が高い。しかも、範囲情報REを曲データMD毎に設定できるので、各曲毎に適当な許容演奏時間範囲を規定でき、全曲について自然な感じを維持することができる。よって、簡単な構成で、高い音楽的完成度及び自然な感じを維持しつつ、所望演奏時間に合った楽曲を得ることができる。
【0053】
本実施の形態ではまた、再生テンポRTPの算出において、対応する曲データMDの演奏時間にかかわる属性情報ID(例えば、4分音符数NN)を用いたので、楽曲の演奏時間を所望演奏時間に合わせる時間長調整処理を簡単にすることができる。
【0054】
なお、範囲情報REをテンポ値で設定することで許容演奏時間範囲を規定するようにしてもよい。例えば、範囲情報REとして、最高テンポtpH〜最低テンポtpL(すなわち、tpH〜tpLの範囲)という設定を採用してもよい。この場合でも、属性情報IDの設定には、4分音符数NN、または「小節数M及び拍子B」が採用される。以下、このような場合を説明する。
【0055】
図5(a)は、属性情報IDを4分音符数NNで、範囲情報REをテンポtpH〜tpLでそれぞれ設定した曲データMDの例を示す。図5(b)は、属性情報IDを「小節数M及び拍子B」で、範囲情報REをテンポtpH〜tpLでそれぞれ設定した例を示す。
【0056】
[属性情報ID=NN、範囲情報RE=tpH〜tpLの場合(態様3)]
一般に、テンポ値は1分間当たりの拍数であるから、許容演奏時間範囲を示す最短、最長演奏時間tL、tHはそれぞれ、下記数式3、4によって算出される。
【0057】
【数3】
tL=NN×60/tpH
【0058】
【数4】
tH=NN×60/tpL
図3のステップS302における曲データ抽出処理は、これら時間に換算されたtL、tH値を用いて行われる。例えば、図5(a)に示すように、属性情報IDとしてNN=4、範囲情報REとしてtpH〜tpL=30〜20が対応して記憶されている曲データMDが、曲データベースMDBに存在しているとする。範囲情報REを演奏時間に換算して許容演奏時間範囲を算出すると、tL〜tH=8〜12秒となり、許容演奏時間範囲は図4(a)、(e)に示す例と全く同じである。
【0059】
また、図3のステップS304における時間長調整パラメータ算出処理では、再生テンポRTPは上記数式1により算出される。図3のデータ生成、出力処理におけるその他の処理は「態様1」の場合と同様である。従って、L1=8秒、10秒、12秒であった場合に生成される出力データは、図4(b)〜(d)に示す処理結果と同様となる。
【0060】
[属性情報ID=M及びB、範囲情報RE=tpH〜tpLの場合(態様4)]
図5(a)に例示した曲データMDと同一の曲データMDを例にとれば、図5(a)に示す曲データMDに代えて、図5(b)に示すように、属性情報IDとして「小節数M=1、拍子B=4/4」、範囲情報REとして「tpH〜tpL=30〜20」が曲データMDに対応して曲データベースMDBに登録されていてもよい。この場合は、再生テンポRTPは上記数式2により算出される。許容演奏時間範囲tL〜tHへの換算をはじめとするその他の処理は、上記「態様3」の場合と同様であり、L1=8秒、10秒、12秒であった場合に生成される出力データも、図4(b)〜(d)に示す処理結果と同様となる。
【0061】
なお、本実施の形態において、図3のステップS302における曲データ抽出処理では、時間換算で、tL≦L1≦tHであるような曲データMDを抽出したが、これに限るものでなく、例えば、「態様1、2」では、指定時間L1及び範囲情報RE(tL〜tH)をテンポ値に換算した上で、テンポ値同士で比較することで曲データMDを抽出するようにしてもよい。また、「態様3、4」では、指定時間L1をテンポ値に換算するかテンポ値で受け付け、範囲情報RE(tpH〜tpL)との比較をテンポ値同士で行うことで曲データMDを抽出するようにしてもよい。
【0062】
(第2の実施の形態)
本発明の第2の実施の形態を、図1〜3、図6を用いて説明する。
【0063】
第1の実施の形態では、曲データMDはMIDIデータであるとして説明したが、本第2の実施の形態では、曲データMDは、デジタル化されたオーディオデータ、すなわち、音声波形データとする。従って、MIDIデータは含まれない。また、この場合の曲データMDは圧縮されていてもよく、その圧縮形式は問わない。従って、本装置の構成は、第1の実施の形態と基本的に同様で、図1に示す通りである。また、曲データベースMDBのデータ構成及びデータ生成、出力処理も基本的には第1の実施の形態と同様であるので、図2、図3を用いるが、異なる点は後述する。
【0064】
本第2の実施の形態では、属性情報IDとして、例えば、原曲データMDの書き込み時(記録時)のサンプル数SN0(以下、「書き込みサンプル数SN0」と称する)が採用される。あるいは、属性情報IDとして、「原曲データMDの書き込み時(記録時)のサンプリング周波数F0(以下、「書き込み周波数F0」と称する)及び原曲の演奏所用時間L0」を採用してもよい。これは、SN0=F0×L0であるので、書き込みサンプル数SN0を採用するのと同等だからである。なお、範囲情報REについては、第1の実施の形態と同様に、許容演奏時間範囲そのものが範囲情報REとされる。
【0065】
[属性情報ID=SN0、範囲情報RE=tL〜tHの場合(態様5)]
図6は、本実施の形態における時間長調整処理を、ある曲データMDを例にとって示す図である。同図(a)は、属性情報IDを書き込みサンプル数SN0で、範囲情報REを演奏時間tL〜tHでそれぞれ設定した例を示す。同図(b)〜(d)は、黒点の位置により、各サンプルデータの値を縦方向に、タイミングを横方向に示す。同図(e)は、属性情報IDを「書き込み周波数F0及び原曲の演奏所用時間L0」で、範囲情報REを演奏時間tL〜tHでそれぞれ設定した例を示す。
【0066】
例えば、同図(a)に示すように、属性情報IDとしてSN0=11、範囲情報REとして「tL〜tH=8〜12秒」が対応して記憶されている曲データMDが、曲データベースMDBに存在しているとする。この曲データMDは、原曲の所用演奏時間L0、すなわち基準演奏時間は10秒である(同図(c)参照)。
【0067】
ただし、実際に利用される曲データMDはこれよりはるかに複雑であり、書き込みサンプル数SN0ももっと多く、書き込み周波数F0も例えば、44.1KHz、あるいは48KHz等のように高い。しかし、ここでは説明の都合上、簡単なものを例にとった。
【0068】
図3のフローチャートに従って説明すれば、「態様1」の場合と同様に、図3のステップS301で、指定時間L1=8〜12秒の範囲内の値の指定を受け付けたとすると、ステップS302における曲データ抽出処理では、tL≦L1≦tHであるような曲データMDのすべてを抽出し、ステップS303では、抽出された曲データMD群から、曲データMDの選択を受け付ける。
【0069】
次に、ステップS304では、時間長調整パラメータ算出処理を行う。ただし、本実施の形態では、曲データMDとして音声波形データを用いたので、時間長調整パラメータとしては、読み出し時のサンプリング周波数RF(以下、「読み出し周波数RF」と称する)を採用する。この読み出し周波数RFは下記数式5により算出される。
【0070】
【数5】
RF=SN0/L1
続くステップS305の時間長調整処理では、選択された曲データMDを読み出し周波数RFで読み出すように設定処理することで、出力データを生成する。例えば、図6(c)に示すように、L1=10秒であった場合は、RF=1.10Hzとなって、原曲と同じ演奏時間を有する出力データが生成される。しかし、図6(b)に示すように、L1=8秒であった場合は、RF=1.38Hzとなって、原曲に対して時間的に約20%短縮された出力データが生成される。また、図6(d)に示すように、L1=12秒であった場合は、RF=0.92Hzとなって、原曲に対して時間的に約20%延長された出力データが生成される。なお、時間長の伸縮に伴い、ピッチも変動する。
【0071】
次に、ステップS306では、「態様1」の場合と同様に、上記生成された出力データを出力して、本処理を終了する。
【0072】
[属性情報ID=M及びB、範囲情報RE=tL〜tHの場合(態様6)]
上述したように、属性情報IDとして、書き込みサンプル数SN0の代わりに「書き込み周波数F0及び原曲の演奏所用時間L0」を採用してもよいので、図6(a)に例示した曲データMDと同一の曲データMDを例にとれば、図6(e)に示すように、属性情報IDとして「書き込み周波数F0=1.10Hz、演奏所用時間L0=10秒」、範囲情報REとして「tL〜tH=8〜12秒」が曲データMDに対応して曲データベースMDBに登録されていてもよい。上述のように、SN0=F0×L0であるので、この場合は、図3のステップS304において、読み出し周波数RFは下記数式6により算出される。
【0073】
【数6】
RF=F0×L0/L1
その他の処理は「態様5」と同様である。この「態様6」では、L1=8秒、10秒、12秒であった場合に生成される出力データは、「態様5」での処理結果と同様のものとなる(図6(b)〜(d)参照)。
【0074】
本実施の形態によれば、簡単な構成で、高い音楽的完成度及び自然な感じを維持しつつ、所望演奏時間に合った楽曲を得ること、及び時間長調整処理を簡単にすることに関し、第1の実施の形態と同様の効果を奏するだけでなく、音声波形データを用いたことから、MIDIデータを用いた場合に比し、音楽性が一層豊かで音質もリアルな楽曲を得ることができる。
【0075】
(第3の実施の形態)
本発明の第3の実施の形態を、図1〜3、図7を用いて説明する。
【0076】
第3の実施の形態では、第2の実施の形態と同様に、曲データMDはMIDIデータでなく音声波形データとする。従って、本装置の構成は、第1、第2の実施の形態と基本的に同様で、図1に示す通りである。また、曲データベースMDBのデータ構成及びデータ生成、出力処理も基本的には第2の実施の形態と同様であるので、図2、図3を用いるが、異なる点は後述する。
【0077】
本第3の実施の形態では、ピッチを代えることなく時間長を可変する公知のタイムストレッチ処理を用いて曲データMDを時間的に伸縮する。従って、本実施の形態では、属性情報IDとして、例えば、「書き込み周波数F0」が採用される。あるいは、属性情報IDとして、「書き込みサンプル数SN0及び原曲の演奏所用時間L0」、または「原曲の演奏所用時間L0」を採用することもできる。なお、範囲情報REについては、第1、第2の実施の形態と同様に、許容演奏時間範囲そのものが範囲情報REとされる。
【0078】
[属性情報ID=F0、範囲情報RE=tL〜tHの場合(態様7)]
図7は、本実施の形態における時間長調整処理を、ある曲データMDを例にとって示す図である。同図(a)は、属性情報IDを書き込み周波数F0で、範囲情報REを演奏時間tL〜tHでそれぞれ設定した例を示す。同図(b)〜(d)は、黒点の位置により、各サンプルデータの値を縦方向に、タイミングを横方向に示す。同図(e)は、属性情報IDを「書き込みサンプル数SN0及び原曲の演奏所用時間L0」で、範囲情報REを演奏時間tL〜tHでそれぞれ設定した例を示す。
【0079】
例えば、同図(a)に示すように、属性情報IDとして書き込み周波数F0=1.10Hz、範囲情報REとして「tL〜tH=8〜12秒」が対応して記憶されている曲データMDが、曲データベースMDBに存在しているとする。この曲データMDは、原曲の所用演奏時間L0、すなわち基準演奏時間は10秒である(同図(c)参照)。ここでも、第2の実施の形態と同様に、説明の都合上、簡単なものを例にとった。
【0080】
図3のフローチャートに従って説明すれば、図3のステップS301〜S303の処理は、「態様5」の場合と同様である。次に、ステップS304では、時間長調整パラメータ算出処理を行う。ただし、本「態様7」では、時間長調整パラメータとして、生成時(読み出し時)のサンプリング数RSN(以下、「読み出しサンプリング数RSN」と称する)を採用する。読み出しサンプリング数RSNは下記数式7により算出される。
【0081】
【数7】
RSN=F0×L1
タイムストレッチ処理は、読み出し時において、サンプリング周波数は変えずに、サンプル数を増減して時間長を調整する技術であり、例えば、時間的に長くする場合は同一波形の一部を繰り返し、短くする場合は一部を削除し、詳細にはサンプル単位での追加削除等の処理を行って、時間長を所望の長さに合わせるものである。この処理では、演奏時間を伸縮してもピッチが変わらない。
【0082】
続くステップS305の時間長調整処理では、選択された曲データMDを、書き込み周波数F0はそのままで、読み出しサンプリング数RSNという設定で読み出すように設定処理することで、出力データを生成する。例えば、原曲データMDが、図7(c)に示すようなサンプル数11であった場合を例にとれば、L1=10秒であった場合、上記数式7により、RSN=9(8.8)となるから、図7(b)に示すように、適当に離間したサンプルタイミングSAM1、SAM2でのサンプリングが省略され、原曲に対して時間的に約20%短縮されて8秒間で演奏が終わるような出力データが生成される。
【0083】
また、L1=10秒であった場合は、RSN=11となるから、図7(c)に示す通りの原曲と同じ演奏時間を有する出力データが生成される。また、図7(d)に示すように、L1=12秒であった場合は、RSN=13(13.2)となるから、サンプルタイミングSAM1、SAM2でのサンプリングがそれぞれ連続して(重複して)なされ、原曲に対して時間的に約20%延長されて12秒間で演奏が終わるような出力データが生成される。
【0084】
次に、ステップS306では、「態様1」の場合と同様に、上記生成された出力データを出力して、本処理を終了する。
【0085】
[属性情報ID=SN0及びL0、範囲情報RE=tL〜tHの場合(態様8)]
上述したように、属性情報IDとして、書き込み周波数F0の代わりに「書き込みサンプル数SN0及び原曲の演奏所用時間L0」を採用してもよいので、図7(a)に例示した曲データMDと同一の曲データMDを例にとれば、図7(e)に示すように、属性情報IDとして「書き込みサンプル数SN0=11、演奏所用時間L0=10秒」、範囲情報REとして「tL〜tH=8〜12秒」が曲データMDに対応して曲データベースMDBに登録されていてもよい。本「態様8」でも、時間長調整パラメータとして、読み出しサンプリング数RSNを採用する。上述のように、SN0=F0×L0であるので、この場合は、図3のステップS304において、読み出しサンプリング数RSNは下記数式8により算出される。
【0086】
【数8】
RSN=(SN0/L0)×L1
その他の処理は「態様7」と同様である。この「態様8」では、L1=8秒、10秒、12秒であった場合に生成される出力データは、「態様7」での処理結果と同様のものとなる(図7(b)〜(d)参照)。
【0087】
[属性情報ID=L0、範囲情報RE=tL〜tHの場合(態様9)]
本「態様9」を図3のフローチャートに従って説明すれば、図3のステップS301〜S303の処理は、「態様7」の場合と同様である。次に、ステップS304では、時間長調整パラメータ算出処理を行う。ただし、本「態様9」では、時間長調整パラメータとして、演奏所用時間を時間的に伸縮するための伸縮比RATを採用する。この場合は、図3のステップS304において、伸縮比RATは下記数式9により算出される。
【0088】
【数9】
RAT=L1/L0
続くステップS305の時間長調整処理では、選択された曲データMDを、伸縮比RATに応じて伸縮させて出力データを生成する。生成結果は図示しないが、生成された曲データMDの演奏時間は指定時間L1となる。図3のステップS306では、上記生成された出力データを出力して、本処理を終了する。
【0089】
本実施の形態によれば、第2の実施の形態と同様の効果を奏することができる。
【0090】
なお、本発明を達成するためのソフトウェアによって表される制御プログラムを記憶した記憶媒体を、本装置に読み出すことによって同様の効果を奏するようにしてもよく、その場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、プログラムコードを電送媒体(例えば、通信I/F14)等を介して取得または供給してもよく、その場合は、プログラムコード自体が本発明を構成することになる。なお、これらの場合の記憶媒体としては、ROMのほか、フロッピディスク、ハードディスク、光ディスク、CD−ROM、CD−R、磁気テープ、MO、DVD、不揮発性のメモリカード等を用いることができる。
【0091】
なお、上述したように、許容演奏時間範囲は、曲データMDを時間的に伸縮した場合でも、不自然に感じられないような時間範囲に設定される。しかし、曲データMDのデータ形式によってもそのような範囲は異なるので、データ形式をも考慮して許容演奏時間範囲を設定するのが望ましい。例えば、第1の実施の形態で採用したMIDIデータでは、再生テンポRTPがあまりに原曲からかけ離れると、原曲のリズムの感覚が無くなる。また、第2、第3の実施の形態で採用した音声波形データでは、読み出し周波数RFがあまりにかけ離れると、ピッチやエンベロープが大きく変わる。さらに、音声波形データに施すタイムストレッチ処理が過剰であると、音質が劣化する。従って、これらの特性を考慮して、適正な許容演奏時間範囲を設定するのが望ましい。
【0092】
なお、上記各実施の形態において、属性情報ID、範囲情報RE、時間長調整パラメータは、例示したものに限られない。例えば、範囲情報REについては、最短、最長演奏時間tL、tHのような絶対時間、または最高、最低テンポtpH、tpLのような絶対テンポ値であるとしたが、許容される演奏時間範囲を規定するものであればよく、これらに限定されない。具体的には、原曲である曲データMDの基準演奏時間LMに対する可変範囲(LM±20%)としてもよいし、非対称の可変範囲(LM+20%〜LM−15%)としてもよい。あるいは原曲である曲データMDの基準テンポTP0に対する可変範囲(TP0±20%)としてもよいし、非対称の可変範囲(TP0+20%〜TP0−15%)としてもよい。属性情報IDについては、曲データMDの演奏時間にかかわるデータであればよく、また、時間長調整パラメータについても、属性情報ID、範囲情報REの設定に応じて演奏時間を伸縮するのに利用し得るパラメータであれば、適宜選択可能である。
【0093】
なお、本装置に対してクライアントの関係になるクライアント装置に通信I/F14を通じて接続させ、本装置がサーバ側として機能することで、クライアント装置に対して適切な出力データを提供するように構成してもよい。その場合は、本装置は、最低限、図3のデータ生成、出力処理を実行できれば足りる。例えば、ステップS301、S303で受け付けるべき指定時間L1や、曲データMDの選択は、クライアント装置側で入力するようにすればよい。また、曲データベースMDB自体も本装置に備えている必要はなく、曲データ抽出処理時に、曲データベースMDBを蓄積している他の装置に通信I/F14等を通じてアクセスするようにしてもよい。
【0094】
なお、図3のステップS302の曲データ抽出処理では、tL≦L1≦tHであるような曲データMDが抽出されるようにしたが、複数の曲データMDを組み合わせたとき、許容演奏時間範囲に指定時間L1が含まれるように、複数の曲データMDを1組として抽出するようにしてもよい。例えば、L1=25秒であるとし、第1の曲データMDについてはtL〜tH=8〜12秒、第2の曲データMDについてはtL〜tH=12〜18秒であるとする。これら2つの曲データMDを組み合わせれば、tL〜tH=20〜30秒という範囲をカバーできるので、L1=25秒について、第1、第2の曲データMDの組み合わせが抽出され得る。そして、ステップS305の時間長調整処理では、例えば、第1の曲データMDを10秒で、第2の曲データMDを15秒でそれぞれ続けて演奏するように処理すれば、演奏時間25秒の1つの曲データMDを生成したのと同様の結果が得られる。なお、この場合、両曲データMDの演奏時間が25秒になればよく、個々の許容演奏時間範囲tL〜tH内で採択すれば、演奏時間の組み合わせは各種可能である。このようにすれば、曲データベースMDBに登録しておくべき曲データMD数を少なくして広範囲の指定時間L1に対応することが容易となる。
【0095】
なお、このような複数の曲データMDの組み合わせの抽出を行う場合、違和感を減少させる観点から、なるべく似たような曲想の曲データMDを組み合わせるのが望ましい。例えば、テンポ、拍子、調及び音楽ジャンルの少なくとも1つが同じか近似した曲データMD同士の組み合わせが望ましい。
【0096】
なお、曲データベースMDBにおいて、「その他情報」として、対応する曲データMDの音楽ジャンルを記憶しておき、図3の処理を開始する際に、音楽ジャンルの指定を受け付けることで、指定された音楽ジャンル内でのみ曲データMDが抽出され得るようにしてもよい。このようにすれば、ビデオ作品等の情景に最適なBGMを得られやすく、実用性が増す。
【0097】
なお、曲データベースMDBは、曲データMDの登録数を多くし、各曲データMDの許容演奏時間範囲を狭くしてもなおかつ、例えば5秒〜300秒の範囲ですきまがないようにできるならば、曲データMDの時間長調整処理は必ずしも必要ない。
【0098】
【発明の効果】
以上説明したように、本発明の請求項1によれば、簡単な構成で、豊かな音楽性、リアルな音質を維持しつつ、所望演奏時間に合った楽曲を得ることができる。
【0100】
また、請求項3によれば、楽曲の演奏時間を所望演奏時間に合わせる処理を簡単にすることができる。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態に係る電子音楽装置の全体構成を示すブロック図である。
【図2】 曲データベースのデータ構成を示す概念図である。
【図3】 データ生成、出力処理のフローチャートを示す図である。
【図4】 時間長調整処理を、ある曲データを例にとって示す図である。
【図5】 属性情報、範囲情報を各種設定した曲データの例を示す図である。
【図6】 本発明の第2の実施の形態における時間長調整処理を、ある曲データを例にとって示す図である。
【図7】 本発明の第3の実施の形態における時間長調整処理を、ある曲データを例にとって示す図である。
【符号の説明】
2 パネルスイッチ(指定時間受付手段)、 5 CPU(データ抽出手段、データ出力手段、調整出力手段)、 11 ハードディスクドライブ(HDD)、 14 通信インターフェイス(通信I/F)、 18 バス(アクセス手段)

Claims (3)

  1. デジタル化されたオーディオデータと許容演奏時間範囲を規定する範囲情報とが対応付けられて複数記憶されたデータベースにアクセス可能なアクセス手段と、
    希望演奏時間の指定を受け付ける指定時間受付手段と、
    前記アクセス手段により前記データベースにアクセスし、前記指定時間受付手段により受け付けられた指定時間が含まれる許容演奏時間範囲を規定している範囲情報に対応するオーディオデータを前記データベースから抽出するデータ抽出手段と、
    演奏時間が前記指定時間受付手段により受け付けられた指定時間に適合するように、前記データ抽出手段により抽出されたオーディオデータに対して読み出し周波数の変更処理またはタイムストレッチ処理のいずれかの処理を施すことにより時間長調整処理を行って、該時間長調整処理を行ったオーディオデータを出力する調整出力手段とを備えたことを特徴とする電子音楽装置。
  2. 前記許容演奏時間範囲は、前記時間長調整処理を行うことによる前記オーディオデータのピッチ、エンベロープまたは音質のいずれかの変化特性を考慮して設定されたことを特徴とする請求項1記載の電子音楽装置。
  3. 前記データベースにおける各オーディオデータにはさらに、その記録時のサンプル数、または、記録時のサンプリング周波数及び演奏所要時間のいずれかを表す属性情報が対応付けられており、前記調整出力手段は、前記指定時間受付手段により受け付けられた指定時間と前記データ抽出手段により抽出されたオーディオデータに対応する前記属性情報とに基づいて、前記時間長調整処理を行うことを特徴とする請求項1または2記載の電子音楽装置。
JP2001391665A 2001-12-25 2001-12-25 電子音楽装置 Expired - Fee Related JP3747850B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001391665A JP3747850B2 (ja) 2001-12-25 2001-12-25 電子音楽装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001391665A JP3747850B2 (ja) 2001-12-25 2001-12-25 電子音楽装置

Publications (2)

Publication Number Publication Date
JP2003195862A JP2003195862A (ja) 2003-07-09
JP3747850B2 true JP3747850B2 (ja) 2006-02-22

Family

ID=27599185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001391665A Expired - Fee Related JP3747850B2 (ja) 2001-12-25 2001-12-25 電子音楽装置

Country Status (1)

Country Link
JP (1) JP3747850B2 (ja)

Also Published As

Publication number Publication date
JP2003195862A (ja) 2003-07-09

Similar Documents

Publication Publication Date Title
JP3680749B2 (ja) 自動作曲装置及び自動作曲プログラム
KR101136974B1 (ko) 재생장치 및 재생방법
JP6191459B2 (ja) オーディオ波形データを使用する自動演奏技術
US9601029B2 (en) Method of presenting a piece of music to a user of an electronic device
JP2003509729A (ja) ディジタル音楽ファイルに基づいて楽器を演奏するための方法及び装置
US20020144587A1 (en) Virtual music system
KR100819775B1 (ko) 네트워크 기반의 음악연주/노래반주 서비스 장치, 시스템, 방법 및 기록매체
JP3747850B2 (ja) 電子音楽装置
JP3214623B2 (ja) 電子楽音再生装置
JP5969421B2 (ja) 楽器音出力装置及び楽器音出力プログラム
JP4107212B2 (ja) 楽曲再生装置
JPH1115481A (ja) カラオケ装置
JP4561561B2 (ja) カラオケ装置
JP3673385B2 (ja) 音楽演奏装置
JPH08248969A (ja) 音楽再生装置
JP4270102B2 (ja) 自動演奏装置及びプログラム
JPH10149184A (ja) カラオケ装置
JP4152502B2 (ja) 音響信号の符号化装置および符号データの編集装置
JP2797644B2 (ja) 発声機能付きカラオケ装置
JP2950379B2 (ja) 電子音楽再生装置
JP4479635B2 (ja) オーディオ装置及びカラオケ装置
JP2005148599A (ja) カラオケ装置、カラオケ方法、および、プログラム
JPH09311691A (ja) カラオケ装置
JP3892433B2 (ja) カラオケ装置、カラオケ方法、ならびに、プログラム
JPH07287576A (ja) 音楽再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20030327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051121

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081209

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121209

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131209

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees