JP3829549B2 - 楽音生成装置及びテンプレート編集装置 - Google Patents

楽音生成装置及びテンプレート編集装置 Download PDF

Info

Publication number
JP3829549B2
JP3829549B2 JP27210699A JP27210699A JP3829549B2 JP 3829549 B2 JP3829549 B2 JP 3829549B2 JP 27210699 A JP27210699 A JP 27210699A JP 27210699 A JP27210699 A JP 27210699A JP 3829549 B2 JP3829549 B2 JP 3829549B2
Authority
JP
Japan
Prior art keywords
data
template
template data
file
musical sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27210699A
Other languages
English (en)
Other versions
JP2001092464A (ja
Inventor
正宏 清水
秀雄 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP27210699A priority Critical patent/JP3829549B2/ja
Priority to US09/662,361 priority patent/US6281423B1/en
Publication of JP2001092464A publication Critical patent/JP2001092464A/ja
Priority to US09/896,981 priority patent/US6403871B2/en
Application granted granted Critical
Publication of JP3829549B2 publication Critical patent/JP3829549B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/02Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/095Inter-note articulation aspects, e.g. legato or staccato
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/116Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of sound parameters or waveforms, e.g. by graphical interactive control of timbre, partials or envelope
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/056MIDI or other note-oriented file format
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/541Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
    • G10H2250/615Waveform editing, i.e. setting or modifying parameters for waveform synthesis

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、複数の部分的時間区間に対応する楽音波形データを生成し、これらを接続して楽音を生成する楽音生成装置及びテンプレート編集装置に関する。
【0002】
【従来の技術】
電子楽器などの音源として波形メモリ音源が知られている。この波形メモリ音源においては、所定の音色に対応する1または複数周期の波形データをメモリに憶しておき、発生しようとする楽音の音高に対応する読出し速度で繰り返し読み出すことにより持続的な楽音波形を生成する。また、メモリに記憶した波形を単にそのまま読み出したものを楽音として発生するだけでなく、選択された音色データに従って、波形データを加工して出力することが行われている。例えば、音高に関しては、任意のピッチエンベロープに従って読み出し速度を適宜変調することにより、ビブラートなどのピッチ変調効果を付与することが行われている。音量に関しては、読み出した波形データに対して所要のエンベロープ波形に従う振幅エンベロープを付与することや読み出した波形データの音量振幅を周期的に変調制御することによりトレモロ効果などを付与することが行われている。また、音色に関しては、読み出した波形データをフィルタ処理することにより、適当な音色制御がなされている。
【0003】
前記波形メモリ音源の一種として、ユーザが録音した波形データあるいはメーカなどから供給された波形データを使用して楽音を形成するサンプラーも知られている。
また、実際に生演奏された連続的な演奏音(フレーズ)を一括してサンプリングして1つの記録トラックに記録し、こうして複数のトラックに貼り付けた各フレーズ波形を再生するようにしたデジタルレコーダも知られている。
さらに、実際に生演奏された1曲の楽音波形データ全部をPCMデータとして記録し、これを単純に再生するものは、CD(コンパクトディスク)における音楽記録方式としてよく知られている。
【0004】
上述した波形メモリ音源において、波形メモリには、アタック部からリリース部までの波形データ、又は、アタック部とループ部の波形データが記憶されている。従って、多数の音色を実現するためには、多くの波形データを記憶することが必要であった。また、演奏者の奏法に対応する楽音を発生させることは困難であった。
また、サンプラーにおいては、希望する音色の波形データがない場合には、新規に録音するかあるいはCDなどから新規の波形データを手に入れることが必要であった。
さらに、上述したデジタルレコーダにおいては、全サンプルの波形データを記憶しており、大容量の記録媒体が必要であった。
【0005】
そこで、本発明者らは、上述の問題点を解決することができ、電子楽器や電子的装置を用いて楽音を発生する場合において、アーティキュレーションのリアルな再現を実現するとともに、ユーザの自由な音作りと編集操作を許容するインタラクティブな高品質楽音作成技術を提供し、そのような技術に基づく波形生成の際に、隣接する部分的時間区間の波形生成用のデータ同士の接続をスムーズに行うことのできる波形生成装置および波形生成方法を提案している(特願平10−278306号)。なお、”アーティキュレーション”(articulation)の語は、「音節」、「音と音のつながり」、「複数の音のかたまり(フレーズ)」、「音の部分的な特徴」、「発音の手法」、「奏法」、「演奏表現」等の概念を含むが、一般に、楽器演奏の場合には、”アーティキュレーション”は、演奏家による「奏法」もしくは「演奏表現」の反映として顕れる。
【0006】
この波形生成装置は、音の部分的時間区間に対応する部分的音波形を形成するための基本データを記憶する記憶手段と、時間経過に従って複数の前記部分的音波形についての前記基本データを前記記憶手段から順次読み出し、該基本データに基づく区間波形データを順次生成する波形データ生成手段と、前記波形データ生成手段によって生成される各区間波形データ毎にそれに隣接する区間波形データとの接続の仕方を定義し、定義された接続の仕方に従って、前記区間波形データ生成手段によって生成された区間波形データに対して、それに隣接する区間波形データに接続するための処理を施す接続処理手段と、接続処理された区間波形データに基づき前記部分的音波形を生成する手段とを備えるものである。
この提案されている発明に係る楽音データ作成及び楽音合成の技術は、音のアーティキュレーションを分析し、アーティキュレーションエレメントを単位として楽音編集及び合成処理を行うことにより、音のアーティキュレーションをモデリングして楽音合成を行うものである。
【0007】
【発明が解決しようとする課題】
前記提案されている波形生成方法および装置によれば、部分的な時間区間の楽音波形を音色、音量、音高等の各楽音要素に対応して分析、分離した基本データを使用し、各部分的時間区間毎の各楽音要素に対応する基本データを適宜変更・差し替え等することができるとともに、隣接する区間での波形を滑らかに接続することが可能となり、”アーティキュレーション”を含む楽音波形を制御性あるいは編集性よく形成することが可能となる。
しかしながら、前記基本データなどの楽音波形を生成するためのデータを記憶した記憶手段の記憶容量を削減することが求められている。
【0008】
そこで本発明は、複数の部分的な時間区間の楽音波形を組み合わせることにより所望の音色を形成する場合に、より少ないデータ量でより多くの音色の楽音を生成することができる楽音生成装置及びテンプレート編集装置を提供することを目的としている。
【0009】
【課題を解決するための手段】
上記目的を達成するために、本発明の楽音生成装置は、テンプレートデータを複数記憶する第1記憶手段と、前記第1記憶手段に記憶されたテンプレートデータを指定する指定情報と、発生させる楽音の対応する部分的時間区分の種別と奏法とを示す属性情報とを含むパーツデータを、複数記憶する第2記憶手段と、入力する演奏情報と前記第2記憶手段に記憶された前記パーツデータの各々の属性情報とに基づいて、該演奏情報に最も合致するパーツデータを選択する選択手段と、前記第1記憶手段に記憶された前記複数のテンプレートデータのうちの、該選択手段により選択されたパーツデータの指定情報が示すテンプレートデータを用いて楽音波形データを生成する楽音生成手段とを有するものである。
【0010】
また、前記選択手段は、所定時間ごとに前記演奏情報に基づいて奏法を判定する判定手段を有し、該判定手段の判定した奏法に応じて選択されるパーツデータが変更されるものである。
さらに、前記楽音生成手段は、同時に複数の楽音波形データを生成するための複数のチャンネルと、前記選択手段が新たなパーツデータを選択したとき、該複数のチャンネルの何れか1つのチャンネルを該新たなパーツデータに割り当てる割当手段とを有し、該割り当てられたチャンネルにおいて、該新たなパーツデータの指定情報が示すテンプレートデータによる楽音波形データの生成が行われるとともに、そのとき発音していたチャンネルの楽音波形データから該割り当てられたチャンネルの楽音波形データへのクロスフェードが行われるものである。
【0011】
さらにまた、本発明の他の楽音生成装置は、第1のテンプレートデータと、該第1のテンプレートデータを指定する指定情報を含むパーツデータと、を含む基本ファイルと、依存する基本ファイルを示す依存情報と、第2のテンプレートデータと、該依存情報の示す基本ファイルないし該第2のテンプレートデータを指定する指定情報を含むパーツデータと、を含む従属ファイルとに基づいて楽音波形データを生成する楽音生成装置であって、記憶手段と、前記基本ファイルないし前記従属ファイルを前記記憶手段に導入する導入手段と、入力する演奏情報に基づいて、記憶手段に導入されたパーツデータを時間区分ごとに選択する選択手段と、前記選択手段によって選択されたパーツデータに基づいて、該パーツデータの示すテンプレートデータを前記記憶手段から読み出し、読み出されたテンプレートデータに基づいて楽音波形データを生成する楽音生成手段と、前記従属ファイルを前記記憶手段に導入する場合、当該従属ファイルの依存情報が示す基本ファイルが前記記憶手段に導入されているか否かを判定し、導入されていない場合は、その旨の警告表示を行なう手段とを有するものである。
【0012】
さらにまた、本発明のさらに他の楽音生成装置は、第1のテンプレートデータと、該第1のテンプレートデータを指定する指定情報を含むパーツデータと、を含む基本ファイルと、依存する基本ファイルを示す依存情報と、第2のテンプレートデータと、該依存情報の示す基本ファイルないし該第2のテンプレートデータを指定する指定情報を含むパーツデータと、を含む従属ファイルとに基づいて楽音波形データを生成する楽音生成装置であって、記憶手段と、前記基本ファイルないし前記従属ファイルを前記記憶手段に導入する導入手段と、前記記憶手段に導入されている基本ファイルないし従属ファイルを導入解除する解除手段と、入力する演奏情報に基づいて、記憶手段に導入されたパーツデータを時間区分ごとに選択する選択手段と、前記選択手段によって選択されたパーツデータに基づいて、該パーツデータの示すテンプレートデータを前記記憶手段から読み出し、読み出されたテンプレートデータに基づいて楽音波形データを生成する楽音生成手段と、前記基本ファイルを導入解除する場合、当該基本ファイルに依存する従属ファイルが前記記憶手段に導入されているか否かを判定し、導入されている場合は、その旨の警告を行なう手段とを有するものである。
さらにまた、さらに、前記記憶手段に導入された基本ファイルないし従属ファイルのテンプレートデータを編集することにより新規なパーツデータを作成する編集手段と、前記作成された新規なパーツデータと前記編集されたテンプレートデータとを、前記従属ファイルのパーツデータ及びテンプレートデータとして前記記憶手段に保存する保存手段とを有するものである。
【0013】
さらにまた、本発明のテンプレート編集装置は、楽音波形データを生成するためのテンプレートデータを複数記憶する第1記憶手段と、前記第1記憶手段に記憶されたテンプレートデータを指定する指定情報を含むパーツデータを複数記憶する第2記憶手段と、楽音波形を録音する録音手段と、録音された楽音波形を分析し、新たなテンプレートデータを作成する作成手段と、第1記憶手段に記憶された複数のテンプレートデータの中から、作成されたテンプレートデータとの相関値が所定値以上となるテンプレートデータを検出する検出手段と、前記検出手段でテンプレートデータが検出されなかった場合に、作成されたテンプレートデータを新たなテンプレートデータとして前記第1記憶手段に書き込み、同検出された場合には該テンプレートデータの書き込みを行わず、前記検出されたテンプレートデータを共用するよう制御する書込制御手段とを有するものである。
【0014】
さらにまた、本発明の他のテンプレート編集装置は、楽音波形データを生成するためのテンプレートデータを複数記憶する第1記憶手段と、前記第1記憶手段に記憶されたテンプレートデータを指定する指定情報を含むパーツデータを複数記憶する第2記憶手段と、前記第2記憶手段に記憶されている複数のパーツデータの1つを選択する第1選択手段と、選択されたパーツデータの指定情報が示す前記テンプレートデータを編集する編集手段と、前記編集手段で編集されたテンプレートデータについて、前記第1記憶手段に記憶された複数のテンプレートデータの中から相関値が所定値以上となるテンプレートデータを検出する検出手段と、前記検出手段でテンプレートデータが検出されたとき、検出されたテンプレートデータをユーザに提示し、ユーザの指示に応じて、編集されたテンプレートデータを新規のテンプレートデータとして保存するか、提示されたテンプレートデータをその代わりに使用するかを選択する第2選択手段と、新規のテンプレートデータとして保存することが選択されたとき、前記編集されたテンプレートデータを新規のテンプレートデータとして前記第1記憶手段に書き込む書込手段と、提示されたテンプレートデータをその代わりに使用することが選択されたとき、前記第1選択手段により選択されたパーツデータの指定情報を、その提示されたテンプレートデータを示すように変更する手段とを有するものである。
【0015】
【発明の実施の形態】
図1は、本発明の楽音生成装置の一実施の形態の全体構成を示すブロック図である。
この図において、11はこの楽音生成装置の動作を制御する中央処理装置(CPU)、12はこの楽音生成装置の動作制御プログラムや各種定数データなどを格納するROM、13は波形データやその他の各種データの記憶およびワークエリアとして使用されるRAM、14はシーケンサ、電子楽器、MIDIキーボードあるいはシーケンスソフトが搭載されたパーソナルコンピュータなどの外部MIDI機器との間でMIDI信号の入出力を行うためのMIDIインターフェース回路である。また、15は文字入力用キーボードおよびマウスやトラックボール等のポインティングデバイスなどからなる入力装置、16はグラフィック表示装置、17はコンパクトディスク(CD−ROM)や光磁気ディスク(MO)などの大容量記録媒体18を駆動する駆動回路、19はマイクやオーディオ機器などからの外部波形入力を所定のサンプリング周波数でA/D変換してデジタル波形データに変換し、前記RAM13あるいはハードディスク装置20に記憶する取込回路、20はハードディスク装置である。さらに、21は前記RAM13あるいは前記ハードディスク装置20を波形メモリとして使用する音源部であり、CPU11からの指示に応じて、時分割チャンネル動作により波形メモリに記憶された波形データに基づき複数の楽音波形データを同時に生成し、効果を付与し、混合して出力することができる。22は前記音源部21から出力される楽音波形データをアナログ信号に変換し、増幅して外部に出力するサウンドシステム、23は前記各構成要素間のデータ転送を行うためのバスである。
なお、このような楽音生成装置は、例えば、波形データをサンプリングして記録する機能と波形メモリ音源とを備えたパーソナルコンピュータとしても実現することができる。また、前記音源部21は、ソフトウエアにより楽音を生成するいわゆるソフトウエア音源により実現することもできる。
【0016】
このように構成された楽音生成装置において、前記CPU11はシーケンスソフトなどの自動演奏ソフトに基づいて曲データの自動演奏処理を行う。曲データ(演奏情報)としては、例えば、標準的なスタンダードMIDIファイル(SMF)が用いられる。このSMFでは、それぞれ独立して音色や音量が制御可能な複数のトラックを有し、各トラック毎に順次発生すべきMIDI情報(MIDIイベント)とその発生タイミング(デュレーションデータ)が記憶されている。前記CPU11は、前記自動演奏処理において、デュレーションデータにより示されるタイミングで対応するMIDIイベントを発生する。
前記CPU11は、音源ドライバソフトに基づいて、そのMIDIイベントに対応する音源制御処理を行い、前記音源部21に制御パラメータを送出する。例えば、ノートオンイベントが発生したときは、次の処理を実行する。
(1)該ノートオンイベントをバッファに取り込む。
(2)前記音源部21の発音チャンネルに発音割当てを行う。
(3)前記音源部21の割り当てたチャンネルのレジスタに、ノートオンに応じた楽音の発生を制御する制御データを設定する。
(4)前記チャンネルのレジスタにノートオンを指示する。この指示に従って、前記音源部21はそのチャンネルの楽音生成を開始する。
このようにして、MIDI信号に対応する楽音が生成される。
【0017】
ここで、本発明においては、前述したSAEMと同様に、楽音波形をその部分的時間区分に対応する部分的音波形(パーツ)を結合することにより生成している。そして、前記各パーツは、楽音要素に応じて分離された複数の基本データ(テンプレートデータ)を組み合わせることにより構成されている。各テンプレートデータは、そのパーツの部分的時間区分における各種楽音要素の時間変化を表わすデータであり、その部分的時間区分における波形の形状を表わす波形テンプレート(WT)、前記部分的時間区分におけるピッチ変化を表わすピッチテンプレート(PT)、前記部分的時間区分における振幅変化を表わす振幅テンプレート(AT)、前記部分的時間区分における高調波成分比などのスペクトル変化を表わすスペクトルテンプレート(ST)、および、前記部分的時間区分における時間軸の変化を表わすタイムテンプレート(TT)がある。後述するように、ユーザはテンプレートを任意に編集して新規なテンプレートを作成することができ、また、パーツを構成するテンプレートの組み合わせを任意に変更して新規なパーツを作成することができる。
そして、演奏時には、入力されるMIDI情報およびその奏法を示す情報からなる演奏情報に基づいて、該演奏情報に最も近い属性を有するパーツを選択し、対応する前記パーツを時間経過に従って順次選択し、前記音源部21により対応する楽音を発生させる。これにより、奏法などのアーティキュレーションを表現することのできる演奏を再現することが可能となる。
【0018】
まず、前記パーツおよびテンプレートについて、それらの編集操作を行うときの画面の一例を示す図2を参照しつつ説明する。ユーザはグラフィカルに各パーツおよびそのパーツの各テンプレートを編集することができる。
図2の(a)は編集対象となっているパーツを表示するパーツウインドウ30を示しており、該パーツウインドウ30には、このパーツの名前を示すパーツ名表示部31、このパーツの属性を表示するパーツ属性表示部32、このパーツの波形データの再生の開始および停止を指示するプレイボタン33およびステップトップボタン34、このパーツの波形データの再生時間長を表示するパーツ時間表示部35が設けられている。この図に示した例では、この前記パーツ名表示部31に(guitar-a-2)と表示されており、これより、楽器がギターでアタック部のパーツであることが分かる。
【0019】
また、前記パーツ属性表示部32には、図示するように、楽器名、そのパーツがアタック部、サスティン部、リリース部のいずれに対応するのかを示す種別情報、そのパーツが対応している奏法を示す情報、そのパーツのピッチを示す情報およびそのパーツのタッチを示す情報などが示されている。ここで、奏法を示す情報としては、ギターの場合を例にとれば、ハンマリングオン、プリングオフ、ピッチベンド、ハーモニクス、トレモロなど、フルートの場合には、スラー、タンギング、速い立上り、遅い立上り、トリルなどがあり、さらにそれぞれの奏法には、必要に応じてその特徴を示すパラメータが付与される。例えば、トレモロなら、トレモロの周期、深さなどを示すパラメータ、スラーならば、ピッチの変化カーブ、スラーの速さなどが付与される。
この図に示した例では、楽器がギター、種別がアタック部、奏法がハンマリングオン、ピットがC3、タッチが53となっている。さらに、前記パーツ時間表示部35にはこのパーツの演奏(再生)時間長が0.7秒であることが示されている。
【0020】
前記パーツ名称表示部31をマウス等で選択してクリックすることにより、ユーザは、このパーツの名称を編集することができる。また、前記パーツ属性表示部32を同様にマウス等で選択してクリックすることにより、ユーザは、このパーツ属性表示部32の内容を編集することもできる。さらに、前記再生時間を表示するパーツ時間表示部35も編集することができる。さらにまた、後述するようにしてこのパーツを構成する各テンプレートを編集したときに、ユーザは前記プレイボタン33およびストップボタン34を操作することにより、このパーツの楽音波形を再生して編集の成果を確認することができる。
【0021】
図2の(a)において、40はこのパーツを構成する波形テンプレートWTをグラフィカルに表示する波形テンプレート表示部であり、この波形テンプレート表示部40には、この波形テンプレートWTの名称を示す名称表示部41、このパーツの再生時間内における波形の形状の変化をグラフィカルに表示する波形表示部42、このパーツの再生時間(この場合は、0.7秒)内における前記波形表示部42に表示する波形の位置を変更するためのスクロールバー43、および、ユーザがこの波形テンプレートを編集したいときに、テンプレート編集モードに移行するための編集ボタンE44が設けられている。
【0022】
この図に示した例においては、前記名称表示部41にWT(guitar-a-10)と記載されており、この波形テンプレートがギターのアタック部の波形を示す10番の波形テンプレートであることが示されている。ユーザがこの名称表示部41をマウス等で選択してクリックと、他の波形テンプレートを選択して現在選択されている波形テンプレートに置換することができるように、このシステムに導入されている波形テンプレート名が表示される。そして、ユーザが採用したい波形テンプレートを選択することにより、その選択した波形テンプレートを呼び出して、この波形テンプレート表示部40に表示させることができる。
【0023】
また、50はこのパーツを構成するピッチテンプレートPTをグラフィカルに表示するピッチテンプレート表示部である。このピッチテンプレート表示部50も前記波形テンプレート表示部40と同様に、このピッチテンプレートの名称を示す名称表示部51、このパーツの再生時間内におけるピッチ変化をグラフィカルに表示するピッチ表示部52および該ピッチ表示部52に表示するピッチ変化の前記パーツの再生時間内における位置を制御するためのスクロールバー53、テンプレート編集モードに移行するための編集ボタンE54が設けられている。この図に示した例では、前記名称表示部51にPT(guitar-a-5)と表示されており、このピッチテンプレートがギターのアタック部のテンプレートの5番というピッチテンプレートであることが示されている。この名称表示部51を選択してクリックすることにより、前記波形テンプレートの場合と同様に、ユーザは他のピッチテンプレートに置換することができる。
【0024】
60は、このパーツを構成する振幅テンプレートATをグラフィカルに表示する振幅テンプレート表示部である。この振幅テンプレート表示部60も、前述した波形テンプレート表示部40およびピッチテンプレート表示部50と同様に、この振幅テンプレートATの名称を表示する名称表示部61、このパーツの再生時間内における振幅の変化をグラフィカルに表示する振幅表示部62、スクロールバー63および編集ボタン64を有している。この図に示した例では、前記名称表示部61にAT(baseguitar-a-2)と表示されており、この振幅テンプレートがベースギターのアタック部の2番の振幅テンプレートであることが示されている。また、前述の場合と同様に、この名称表示部62を選択してクリックすることにより、この振幅テンプレートをシステムに導入されている他の振幅テンプレートに変更することができる。
【0025】
70は、このパーツを構成するスペクトルテンプレートSTをグラフィカルに表示するスペクトルテンプレート表示部である。このスペクトルテンプレート表示部70も、前述の各テンプレート表示部40〜60と同様に、名称表示部71、このパーツの再生時間内におけるスペクトル変化を表示するスペクトル表示部72、スクロールバー73および編集ボタン74を有している。そして、前記名称表示部71を選択してクリックすることにより、システムに導入されているスペクトルテンプレートを選択することができるようになされている。この図に示した例においては、前記名称表示部71にST(flute-a-3)と表示されており、このスペクトルテンプレートがフルートのアタック部の3番のスペクトルテンプレートであることが示されている。この例に典型的に示されているように、本発明においては、楽器の種別にとらわれることなく、自由に各テンプレートを組み合わせて各パーツを形成することができる。
なお、このスペクトルテンプレートSTは、前記編集ボタンE74を操作することでユーザに作成されるテンプレートである。
【0026】
80は、このパーツを構成するタイムテンプレートTTをグラフィカルに表示するタイムテンプレート表示部である。このタイムテンプレート表示部80も、前記各テンプレート表示部40〜70と同様に、名称表示部81、このパーツの再生時間内における時間軸の変化をグラフィカルに示すタイム表示部82、スクロールバー83および編集ボタン84を有している。ここで、前記タイム表示部82に示されている時間軸の変化は、縦軸を時間圧縮率、横軸をこのパーツの再生時間として表わされており、時間圧縮率が高いほど、このパーツの対応する部分の再生時間を短くすることができる。上述のように、前記波形テンプレートWT、ピッチテンプレートPT、振幅テンプレートATおよびスペクトルテンプレートSTはいずれも、この部分的時間区分内における各特性の時間変化を表わしており、それらの時間軸の進行をこのタイムテンプレートTTの特性で一括して変化させることができる。
【0027】
この図に示した例では、前記名称表示部81にTT(guitar-a-3)と表示されており、このタイムテンプレートがギターのアタック部の3番のタイムテンプレートであることが示されている。他のテンプレートと同様に、この名称表示部81をクリックすることにより、ユーザは他のタイムテンプレートを選択することができる。
なお、このタイムテンプレートTTも、前記スペクトルテンプレートSTと同様に、ユーザにより作成されるテンプレートである。
【0028】
次に、前記各テンプレート表示部40〜80にそれぞれ設けられている編集ボタンEを操作することにより可能となる各テンプレートの編集について説明する。
前記各テンプレート表示部40〜80の編集ボタンE(44、54、64、74、84)をクリックすると、図2の(b)に示すテンプレートエディット画面90が表示される。図示するように、このテンプレートエディット画面90には、編集対象となっているテンプレートの名称を表示する名称表示部91、このテンプレートの属性を表示するテンプレート属性表示部92、このテンプレートの再生を制御するプレイボタン93およびストップボタン94、このテンプレートの再生時間長を示す時間長表示部95、現在このテンプレートとされているテンプレートの名称を表示しているテンプレート選択部96、および、このテンプレートの波形を表示するテンプレート表示部97が設けられている。
【0029】
この図に示した例は、前記パーツ・エディット画面において、タイムテンプレートTTのエディットボタンE84をクリックしたときに表示されるタイムテンプレートTTのエディット画面の例を示しており、前記名称表示部90にこのタイムテンプレートの名称TT(guitar-a-3)が表示されている。また、前記テンプレート選択部96にも同じ名称が表示されており、ユーザがこのテンプレート選択部96をクリックすることにより、このシステムに導入されている他のタイムテンプレートが表示され、ユーザは、任意の表示されたタイムテンプレートのうちから任意のものを選択して呼び出すことができる。さらに、波形表示部97には、このタイムテンプレートの波形が四角形で示す編集ポイントとともに表示され、ユーザは、この編集ポイントをマウス等でドラッグすることにより、このテンプレート波形を任意の波形に編集することができる。
【0030】
このようにして、ユーザは、各パーツを構成する各テンプレートを任意に変更して新しいパーツを作成することができる。したがって、既存のテンプレートを用いて、新規なパーツを作成することができ、データ量を増加させることなく、音色を増加させることが可能となる。
また、各テンプレートを任意に編集して新規なテンプレートを作成することもでき、この新規なテンプレートを用いた新規なパーツを作成することもできる。これにより、多彩な音色を発生させることが可能となる。
【0031】
次に、本発明において、上述した各パーツおよびそれらを構成する各テンプレートがどのような形態で保存され、かつ、配付されるかについて、図3を参照して説明する。本発明においては、前記各パーツおよびテンプレートのデータは、基本ファイルと従属ファイルとの2種類のファイルとして保存および配布されるようになされている。ここで、基本ファイルは、この基本ファイル単体で使用可能なデータが格納されているファイルであり、従属ファイルはそれが依存している他のファイルが用意されている場合に限り使用可能なデータが格納されているファイルである。典型的な場合には、基本ファイルに基本的な音色を生成させるためのパーツおよびそれを構成する各テンプレートのデータが含まれており、従属ファイルには所定の音色を生成させるために用いられるパーツおよびテンプレートのデータのうち、前記基本ファイルに含まれていないデータを格納したものということもできる。なお、各ファイルは、データ圧縮されて保存されている。
これらの各ファイルは、CD−ROMなどの記録媒体、通信ネットワーク、無線通信路などの各種の媒体を通じてユーザに配付される。また、ユーザは配付された各ファイルを前述のようにして編集し、それを新たな基本ファイルあるいは従属ファイルとして保存し、配布することができる。
【0032】
図3の(a)は、前記基本ファイルのファイル構成を示す図であり、(a−1)は典型的な基本ファイルの構成を示し、(a−2)および(a−3)は基本ファイルの他の構成例を示している。
(a−1)に示すように、典型的な基本ファイルは、ヘッダ部101、パーツPART領域102、波形テンプレートWT領域103、ピッチテンプレート領域104、振幅テンプレート領域AT105、スペクトルテンプレート領域106およびタイムテンプレート領域107から構成されている。
ここで、ヘッダ部101には、このファイルにどのような情報が含まれているかを示す構成情報、ファイルの依存情報、このファイルに格納されている各データのエディット権限(誰が編集可能であるか)を示すパーミッション情報、このファイルのコピー権限(コピー可能であるかあるいは何回のコピーを行うことができるか)を示すコピーライト情報などが含まれている。ここで、基本ファイルの場合には、前記ファイルの依存情報には依存ファイルが無いことが記録されている。
【0033】
また、パーツ領域102は、このファイルに含まれている各パーツに関するパーツ情報が記録される領域であり、各パーツ毎に、そのパーツの名称、そのパーツの属性情報、再生時間情報、そのパーツを構成する各テンプレートを指定する情報(例えば、テンプレートの名称)などが記録されている。
波形テンプレート(WT)領域103、ピッチテンプレート(PT)領域104、振幅テンプレート(AT)領域105、スペクトルテンプレート(ST)領域106およびタイムテンプレート(TT)領域107は、このファイルに格納されている各パーツを構成する各テンプレートをそれぞれの種別ごとにまとめて格納した領域である。前記パーツ領域102に格納されている各パーツを構成する各テンプレートの実体は、それぞれのテンプレートの種別ごとに分けられ、領域103〜107に格納されている。
【0034】
なお、この基本ファイルは、前記(a−1)に示した典型的な例に限らず、(a−2)および(a−3)に示したような、パーツ領域を持たずに、特定のテンプレート領域のみを含むファイルとすることもできる。これらの場合には、ユーザは、この基本ファイルに格納されているテンプレートを用いて任意のパーツを編集生成することとなる。
このような基本ファイルは、通常は、音色を作成するための基本的なデータとして、主としてメータにより供給されるものが多く、エディット不可およびコピー不可に設定されている。
【0035】
また、図3の(b−1)および(b−2)は前記従属ファイルの構成例を示す図である。これらの図に示すように、従属ファイルは、ヘッダ部111、パーツ(PART)領域112および任意の数のテンプレート領域(波形テンプレート領域113、ピッチテンプレート領域114、振幅テンプレート領域115、スペクトルテンプレート領域116およびタイムテンプレート領域117)を有している。これらの各領域111〜117は前記基本ファイルにおける各領域101〜107と同様のものである。ただし、従属ファイルにおける前記ヘッダ部111の依存情報には、この従属ファイルが依存する基本ファイル名が記載されている。また、従属ファイルにおけるパーミッション情報やコピーライト情報はユーザが任意に設定することができるようになされている。
【0036】
また、各従属ファイルは、必ずパーツ(PART)領域112を含んでいる。このパーツ領域112には前記基本ファイルのパーツ領域102と同様に、各パーツ毎に、パーツの名称、属性情報、それを構成する各テンプレートの名称などの情報が格納されている。このパーツ領域112に記録されている各パーツを構成する各テンプレートはこの従属ファイルが依存している基本ファイルのテンプレート領域およびこの従属ファイルに含まれているテンプレート領域に格納されており、テンプレートがこの従属ファイルが依存する基本ファイル内に格納されている場合には、その基本ファイルに格納されているテンプレートの名称が記録されている。したがって、この従属ファイルが依存している基本ファイルがシステムに導入されていないときには、前記パーツ領域112に記録されているパーツを使用することができない。
前記テンプレート領域113〜117には、この従属ファイルが依存する基本ファイルに格納されていないテンプレートデータが記録されている。
なお、従属ファイルが依存する基本ファイルは1つに限らず、複数の基本ファイルに従属することができる。また、逆に、基本ファイルは、複数の従属ファイルに依存されることもできる。
このように、本発明においては、ファイルを基本ファイルとそれに依存する従属ファイルの2通りのファイルとし、各ファイルで重複してテンプレートデータを記憶することが無いようにしているために、データ量を小さくすることが可能となっている。
【0037】
次に、前記波形データから前記テンプレートを作成する処理、および、前記パーツエディット処理について説明する。
図4の(a)は前記テンプレートを作成する処理を説明するためのフローチャートである。波形からテンプレートを作成するために、まず、ステップS11において、テンプレートのもととなる楽音波形を録音する。すなわち、各楽器ごと、各奏法ごと、各音高ごとなどにそれぞれ楽音波形を録音する。なお、このステップS11で録音した波形データは、その立上がりから立下がりまでがアタック部、サスティン部、リリース部、リンク部に分離されており、次のステップS12およびS13の処理は、その分離された各部分単位で実行される。従って、最終的に作成されるテンプレートも、その分離された各部分に対応したものとなっている。
【0038】
次に、ステップS12に進み、ステップS11で録音した楽音波形データを分析する。例えば、録音した波形そのものから波形テンプレートWTを作成するためのデータを得ることができ、ピッチ抽出することによりピッチテンプレートPTを作成するためのデータを得ることができ、録音した楽音のエンベロープから振幅テンプレートATを作成するためのデータを得ることができる。なお、スペクトル分析することによりスペクトルテンプレートSTを作成するためのデータを得ることも可能である。
【0039】
次に、ステップS13に進み、前記ステップS12で楽音を分析して得られた各要素に対応するデータに基づいてそれぞれ対応するテンプレートを作成する。このとき、すでに作成されているテンプレートの中に、類似の形状を有するテンプレートが存在している場合には、新たなテンプレートを作成しないようにする。これにより、テンプレートを共用することができ、記録容量を少なくすることができる。なお、形状が類似しているか否かは、前記ステップS12で分析して得られた各テンプレートに対応する波形データと既存のテンプレートの波形データとの相関演算を行い、相関値が所定値以上のものを類似していると判断することにより行うことができる。
【0040】
図4の(b)は、このようにして作成されたテンプレートの組み合わせとして構成されるパーツ(ないし、新規のパーツ)をユーザの指示に応じてエディットするパーツ編集処理のフローチャートである。この処理は、前記図2のパーツ・エディット画面およびテンプレート・エディット画面を用いて行われる。
このパーツ・エディット処理においては、まずステップS21において、編集対象となるパーツが指定される。この指定は、新規なパーツであることの指定あるいは既存のパーツの指定のいずれかで行うことができ、既存のパーツについては、該既存のパーツが記録されている前記基本ファイルあるいは従属ファイルのファイル名とそのパーツ名を指定することにより行われる。例えば、前記基本ファイルあるいは従属ファイルをユーザが選択すると、該ファイルに記録されているパーツの一覧を表示し、該一覧表示の中からユーザが編集したいパーツを選択することができるようにする。
新規なパーツであることが指定されると、ステップS22の判定結果がYESとなってステップS23に進み、該新規なパーツの初期値が生成され、全ての情報が空白状態とされた前記図2(a)のパーツウインドウ30が表示される。
また、既存のパーツが指定された場合には、該指定されたファイルおよび必要に応じてそれが依存するファイルから対応するパーツ情報およびそのパーツを構成するテンプレートデータが読み出され、前記パーツウインドウ30に表示される。
【0041】
そして、ユーザはエディット指示を行う(ステップS24)。そして、ステップS25においてそのエディット指示の内容が判定され、それぞれの指示に応じたステップに分岐する。
まず、このエディット指示がそのパーツの属性変更である場合、すなわち、前記パーツウインドウ30のパーツ属性表示部32がマウス等によりクリックされた場合には、ステップS26に進み、パーツの属性変更処理が行われる。すなわち、前記パーツ属性表示部32の表示色を変更し、そこに表示されている楽器名、種別、奏法、ピッチ、タッチなどの各情報をユーザが文字キーボードなどを操作することにより編集することができるようにする。
【0042】
また、前記エディット指示がテンプレート構成の編集であるときは、ステップS27に進み、テンプレート構成変更処理を実行する。すなわち、ユーザが前記パーツウインドウ30中の各テンプレート名表示部41、51、61、71あるいは81をクリックしたときに、このテンプレート構成編集処理であると判断し、前述のように、このシステムに導入されている対応する種別のテンプレートを一覧表示する。そして、テンプレートの選択が行われたとき、そのテンプレートのデータを対応するファイル(基本ファイルあるいは従属ファイル)から読み出し、前記パーツエディット画面の対応するテンプレート表示部40、50、60、70あるいは80に表示する。
【0043】
ユーザにより実行されたエディット指示がテンプレート変形指示であるとき、すなわち、前記パーツエディットウインドウ中の各テンプレートの編集ボタンE44、54、64、74あるいは84がマウス等によりクリックされたときは、ステップS28のテンプレート形状変更処理が実行される。このテンプレート形状変更処理S28においては、図2の(b)に示すような、クリックされた編集ボタンに対応するテンプレート・エディットウインドウが開かれる。そして、前記図2の(b)に関して説明したように、テンプレートの編集処理が行われる。そして、この編集処理が終了したとき、このテンプレート形状変更処理S28において、編集されたテンプレートの保存処理が行われる。このとき、編集された結果のテンプレートと類似の形状を有するテンプレートが既に存在しているか否かが判定され、類似のものが存在しているときには、その旨をユーザに知らせる。例えば、編集されたテンプレートの形状と既に存在しているテンプレートの形状との相関演算を順次実行し、所定の相関値以上となったテンプレートがあったときに、そのテンプレートをユーザに提示する。ユーザは、編集したテンプレートの代わりにその提示されたテンプレートを現在編集しているパーツのテンプレートとして選択することもできるし、あるいは、編集したテンプレートをあたらな名称を付して保存することもできる。このようにして、既存のテンプレートを使用した場合には、データ量を少なくすることができる。なお、新たなテンプレートとして保存するときには、このテンプレートは前述した従属ファイルの対応する種別のテンプレート領域に格納されることとなる。
【0044】
このようにしてパーツの属性変更処理(S26)、テンプレート構成変更処理(S27)あるいはテンプレート形状変更処理(S28)が終了し、ユーザがパーツエディット処理の終了を指示したときは、ステップS29の終了処理が実行される。この処理においては、編集されたパーツ情報の保存および従属ファイルの依存情報の更新が実行される。すなわち、編集したパーツ情報を従属ファイルの前記パーツ領域112に書き込むとともに、必要に応じて従属ファイルのヘッダ部に依存情報を書き込む。
このようにして、パーツ情報を編集することができる。このとき、上述のように、既存のテンプレートを使用することが可能なときには、それを使用することができるようになされているため、不必要にファイルのサイズが大きくなることを防止することができる。
【0045】
このようにして作成された各ファイル、例えば、メーカにより供給される基本ファイルおよび従属ファイル、他のユーザにより作成され配付された従属ファイルなどは、前述のように、CD−ROMやフレキシブルディスクなど記憶媒体を介して、あるいは、通信ネットワークを介して配付することができる。このように配付されたファイルを利用するためには、そのファイルを(必要に応じて解凍した後)、前記ハードディスク装置などに展開すること(導入すること)が必要となる。
そこで、前記ファイルの導入および導入解除について、図5を参照して説明する。
【0046】
図5の(a)は、前記各ファイルの導入処理を説明するためのフローチャートである。
ファイルの導入処理においては、まず、ステップS31において、導入するファイルの決定が行われる。すなわち、前記基本ファイルあるいは従属ファイルが記録されているCD−ROMやMOなどの記録媒体18を前記ドライブ装置17に挿入してマウントし、あるいは、通信回線等を介して前記ハードディスク装置20に基本ファイルや従属ファイルを読み込んで、ユーザに対し、導入可能なファイルを提示し、導入すべきファイルを選択させる。このとき、既に導入されているファイルについては、選択することができないように、ファイル名の表示形態を異なる形態(例えば、表示色を薄くするなど)で表示させる。また、このファイルの導入処理を最初に実行するときに、既に導入されているファイルを示す管理情報を作成するようにしてある。
次に、ステップS32に進み、ユーザにより指定されたファイルのヘッダ部を読み込み、その依存情報および前記管理情報を参照して、必要な基本ファイルが既に導入されているか否かを確認する。
【0047】
次に、ステップS33に進み、前記ステップS32の確認の結果、必要な基本ファイルが既に導入されているあるいは指定されたファイルが基本ファイルであるときには、ステップS34に進む。そして、このステップS34において、ユーザにより指定されたファイルを必要に応じて解凍し、各領域のデータをハードディスクに保存する。このとき、例えば、各ファイルごとにディレクトリが設けられ、そのディレクトリの中に前記各領域(パーツ領域、WT領域、PT領域、AT領域、ST領域、TT領域)ごとにサブディレクトリが設けられる。また、前記管理情報を更新する。
一方、前記ステップS32の確認の結果、必要な基本ファイルが導入されていないときには、ステップS35に進み、表示部にその旨の警告表示を行う。これにより、ユーザは、導入しようとしている従属ファイルが依存している基本ファイルを導入することとなる。
したがって、ユーザが使用することができない状態で従属ファイルを導入することを防止することができる。
【0048】
図5の(b)は、すでに導入されているファイルを前記ハードディスク装置20から取り除き使用できないようにする導入解除処理のフローチャートである。既に導入されているファイルを取り除くときには、まず、ステップS41において、解除するファイルの指定を行う。これは、前記管理情報に基づき、解除することのできるファイル名一覧をユーザに対して提示し、ユーザが解除したいファイルを選択することにより行われる。
次に、ステップS42に進み、ステップS41において指定されたファイルの依存情報に基づき、そのファイルに依存している下位の従属ファイルが存在しているか否かを確認する。そして、ステップS43に進み、下位の従属ファイルが導入されていないときには、ステップS44に進み、そのユーザにより指定されたファイルに属する各データを前述した各ディレクトリから削除する。一方、下位の従属ファイルが導入された状態となっているときには、ステップS45に進み、その旨を警告表示する。これにより、ユーザは、その従属するファイルを指定して導入解除を行うこととなる。
このようにして、本発明においては、導入解除を行うときに、単独で使用することができないファイルを削除し忘れることを防止することができる。
【0049】
このようして、ユーザは自己の楽音生成装置に基本ファイルおよび従属ファイルを導入することができる。各ファイルが導入された状態においては、前記ハードディスク装置20内に各ファイルに対するディレクトリが設けられ、該各ディレクトリ内には、それぞれ、前記各領域(パーツ領域および各テンプレート領域)に対応するサブディレクトリが設けられ、各サブディレクトリ内にそれぞれパーツ情報および各テンプレート情報が展開されている。
このように各ファイルが導入された状態で、ユーザは前述のようにパーツの編集処理を行うことができる。また、後述するように、演奏時には、MIDI情報および奏法を示す情報(演奏情報)から、前記パーツ領域に格納されている各パーツの属性情報を参照して、当該演奏情報に最も近い属性情報を有するパーツを選択して、そのパーツを構成する各テンプレートデータを前記音源部に供給することにより、対応する楽音を生成することとなる。このとき、前記ハードディスク20内に従属ファイルとそれが依存する基本ファイルとが導入されているものとすると、前記演奏情報に最も近いパーツをサーチするときに、まず、前記従属ファイルに対応するディレクトリの中のパーツ領域のサブディレクトリを検索し、次に、前記基本ファイルに対応するディレクトリの中のパーツ領域のサブディレクトリを検索することにより、最も近い属性を有するパーツを選択するようにしている。なお、前記RAM13の容量が十分に大きい場合には、演奏時には、前記導入したファイルのパーツ領域およびテンプレート領域をすべてRAM上に展開するようにしてもよい。
【0050】
最後に、このようにして作成されあるいは編集された前記各ファイルを使用して楽音を発生する処理について、図6を参照して説明する。
図6の(a)は、音源制御処理のフローチャートである。
音源制御処理が開始されると、まず、ステップS51において、音源部や前記RAM中のワークエリアの初期設定処理が実行される。そして、ステップS52に進み、MIDI処理が行われる。このMIDI処理は、前記MIDIインターフェース回路あるいは既にハードディスク装置や前記ドライブ装置に挿入されているCD−ROMなどの記憶媒体に格納されているSMF(Standard MIDI File)などの演奏情報を受け取り、それに含まれるMIDI信号に対応する処理を行う。例えば、ノートオンイベントであるときには、後述するように、図6の(c)に示すノートオンイベント処理を行う。
【0051】
次に、ステップS52に進み、パネルスイッチ処理が行われる。すなわち、前記入力装置15を介して何らかの操作が行われたか否かを判定し、何らかの操作が行われた場合には、それに対応する処理を行う。
そして、ステップS54に進み、所定時間が経過していなければ、前記ステップS52に戻り、所定時間が経過していれば、ステップS55の奏法処理へ進む。このように、この音源制御処理においては、MIDIイベントおよびパネル操作に対応する処理を繰り返し行うとともに、所定時間経過するごとに奏法処理S55を実行するようになされている。
【0052】
図6の(b)は前記奏法処理S55を説明するためのフローチャートである。この奏法処理では、入力されるMIDI信号に基づいて奏法を判定し、それに応じて、楽音の生成に使用するパーツを変更する処理およびパーツの変更があったときに前のパーツと後のパーツとをスムーズに接続する処理が行われる。
奏法処理が開始されると、まず、ステップS61において、前記MIDI処理において処理されているMIDI情報の変化に基づき、最も適切な奏法が何であるのかを判定する。例えば、ピッチベンドとして音のピッチにシフトが加えられているときはベンド奏法であると判断し、ピットベンドとして数Hzのゆらぎが付与されているときはビブラート奏法と判断する。また、ノートオンから次のノートオンまでの時間に比べてノートオンからノートオフまでの時間が50%以上短いときはスタッカート奏法と判断し、ノートオンが次のノートオンに重なるときはスラー奏法と判断する。
【0053】
そして、ステップS62に進み、前記ステップS61で判定された奏法と現在使用しているパーツの属性情報に含まれている奏法とを比較し、使用するパーツの変更が必要であるか否かを判定する。例えば、ノートオンのタイミングからアタック部のパーツに対応する時間が経過したときなどは、アタック部のパーツ(その終了部分)からサスティン部のパーツへの変更が必要となる。また、特定の奏法の付与されていないサスティン部のパーツによる楽音生成が継続中にステップS55でビブラート奏法が指定されたときは、該サスティン部のパーツからビブラートの付与されたサスティン部のパーツへの変更が必要となる。奏法の指定は、前記ステップS55だけではなく、前記SMFの自動演奏データに埋め込まれたスラーやスタッカート等の奏法記号を示す奏法コードに基づいて発生するようにしてもよい。
【0054】
このステップS62の結果、パーツを変更する必要がない場合には、そのまま、この奏法処理を終了する。一方、パーツの変更が必要である場合には、新しいパーツ(音色)のための発音チャンネルを割当て(ステップS63)、そのチャンネルに該新しいパーツの情報を設定する(ステップS64)。すなわち、前記判定において最も近いと判定された新しいパーツの各テンプレート情報を音源部のその発音チャンネルに対して設定する。
そして、ステップS65に進み、現在使用されているパーツによる楽音と新しいパーツによる楽音とが、スムーズに接続されるように接続処理を行う。これは、例えば、現在発音しているパーツの発音チャンネルとステップS64で設定された新しいパーツの発音チャンネルの楽音とをクロスフェードで接続することで実現される。
このようにして、所定時間おきに奏法処理が行われ、パーツの変更がスムーズに行われる。
【0055】
図6の(c)は、前記MIDI信号としてノートオンが検出されたときのノートオンイベント処理を説明するための図である。
この図に示すように、ノートオンイベントが検出されると、ノートナンバおよびベロシティデータが取り込まれ(ステップS71)、次に、奏法の判定処理(ステップS72)が行われる。この奏法の判定処理は、前述した奏法処理(S55)による判定結果、あるいは、前記SMFの自動演奏情報とともに、予め、楽譜に付けられている奏法を示す記号に基づいて付加されている奏法情報を用いて奏法を判定する。なお、ここでは、前記ステップS71において取り込んだノートナンバとベロシティデータ、および、このステップS72により判定された奏法情報をまとめて演奏情報と呼ぶこととする。
【0056】
次に、ステップS73に進み、前記演奏情報に基づいて、該演奏情報に最もよく合致する属性情報を有するパーツを選択する。すなわち、前記ステップS71からのノートナンバとベロシティ、および、前記ステップS72からの奏法情報に基づいて、現在選択されている音色に含まれる各パーツの属性情報を参照し、最も近い属性情報を有するパーツを発音すべきパーツとして選択する。前記図2(a)に関して説明したように、各パーツの属性情報には、そのパーツの奏法に関する情報およびその特徴を示すパラメータが記憶されている。これらの情報を用いて、前記演奏情報に最も合致するパーツが選択される。
【0057】
そして、ステップS74に進み、前記ステップS73において選択したパーツに対して発音チャンネルを割当てる。そして、ステップS75に進み、前記音源部の該ステップS74で割当てた発音チャンネルに対し、前記ステップS73において選択したパーツの各テンプレート波形データを制御パラメータとして設定する。例えば、前記波形テンプレートWTの波形データは波形メモリの出力として、前記ピッチテンプレートPTの波形はピッチを修飾するデータとして、前記振幅テンプレートATの波形は振幅エンベロープとして、前記スペクトルテンプレートSTの波形は音色フィルタ係数として設定される。このとき、前記タイムテンプレートTTの波形は、前記波形テンプレートWT、前記ピッチテンプレートPT、前記振幅テンプレートAT、前記スペクトルテンプレートSTの各波形をサンプリングタイミングごとに前記音源部に与えるときのタイミングの制御(時間軸の制御)のために用いられる。また、前記ステップS72において選択されたパーツの属性情報と演奏情報との間に特徴パラメータの誤差があるときには、この誤差に応じて前記制御パラメータを補正する。
【0058】
そして、ステップS76に進み、前記ステップS72で判定した奏法が通常の奏法であれば、該割当てられた発音チャンネルに対し発音の指示を行い、あるいは、前記ステップS72で判定した奏法がスラー奏法やポルタメント奏法等前後の音をつなぐような奏法である場合には、該割り当てられた発音チャンネルに対し、それまで発音していた他の発音チャンネルとの接続を指示する。
【0059】
このようにして、SMFなどの自動演奏情報に基づき前記各パーツを用いて楽音を発生させることができる。
また、本実施の形態では、MIDI等の演奏データからリアルタイムに奏法を判断し、判断された奏法に基づいてパーツを選択して、選択されたパーツに基づく楽音を生成している。これにより、奏法の指示されていない演奏データであっても、リアルタイムに奏法を判断しながら奏法対応の楽音を生成することができる。
さらに、本実施の形態では、MIDI等の演奏データに奏法を指定する奏法コードが埋め込まれている場合に、その奏法コードに応じてパーツを選択し楽音生成を行なっている。したがって、演奏データのシーケンス中の任意のタイミングに埋め込まれた奏法コードに対応して、奏法の付与された楽音の生成を行なうことができる。
さらにまた、本実施の形態では、上記2つのことを同時に行なっているので、演奏データの流れから判断される奏法と、演奏データに埋め込まれた奏法コードに対応した奏法の両方に応じた楽音生成を行なうことができる。
【0060】
なお、上述した実施の形態では、ファイル単位で依存関係を管理していたが、必ずしもファイル単位の管理でなくても良い。例えば、各パーツ毎に、どのファイルに依存しているか示す依存情報を持つようにしても良い。あるいは、各テンプレートに固有の識別データ(ID)を付与し、各パーツ毎に依存するテンプレートのIDを依存情報として持たせるようにしても良い。
また、従属ファイルとして導入されたパーツ群を、必要なテンプレートを含んだ基本ファイルとして再保存できるようにしても良い。だだし、その再保存は、コピーライト情報で許可されている場合のみ実行可能とされる。
【0061】
【発明の効果】
以上説明したように、本発明の楽音生成装置及びテンプレート編集装置によれば、複数のパーツを組合わせることにより、所望の音色を構成することができるため、パーツの組合わせにより、少ないデータ量で音色のバリエーションを増やすことができる。
また、複数のテンプレートを組み合わせることにより、所望のパーツを構成することができ、複数のパーツでテンプレートを共用できるようにしたため、テンプレートの組合わせにより、少ないデータ量で音色のバリエーションを増やすことが可能となり、小容量のデータで多くの音色の楽音を生成することができる。
さらに、演奏情報に応じてパーツを選択し接続することにより楽音を形成しているため、従来の波形メモリ音源に比べて、生成する楽音の表現力が豊かである。また、パーツに対応した演奏情報と、入力した演奏情報の距離に基づいて、パーツを選択しているので、入力する演奏情報の全ての値に対してパーツを用意する必要がなく、パーツの記憶量を減らすことができる。さらに、対応するパーツの無い演奏情報が入力された場合でも、楽音を生成することが可能である。
【0062】
さらに、ユーザが、複数のテンプレートを自由に組み合わせて新規の音色を生成でき、既存のテンプレートで実現できない場合のみ、新規のテンプレートを作成するようにしている。したがって、テンプレートの組合わせの範囲でエディットすることにより、データ量を余り増やさずに新規の音色を作成することができる。また、テンプレートをエディットする場合でも、形状の異なるテンプレートのみを記録するようになっているので、データ量の増加を抑えることができる。
さらにまた、各音色毎に、他の音色に対する依存関係を記録しており、依存する他の音色が用意されている場合にだけ、当該音色を使用することができる。また、各音色毎に、他の音色に対する依存関係を記録しており、依存する他の音色が用意されていない場合には、該他の音色が用意されていないことをユーザに通知するようにして、パーツの作成者が意図した音色を確実に再現することができる。
【図面の簡単な説明】
【図1】 本発明が適用される楽音生成装置を示すブロック図である。
【図2】 パーツ編集およびテンプレート編集時における表示画面の一例を示す図である。
【図3】 楽音生成用データを記録したファイルの構成例を示す図である。
【図4】 テンプレートの作成処理およびパーツ編集処理を説明するためのフローチャートである。
【図5】 ファイルの導入および導入解除の処理を説明するためのフローチャートである。
【図6】 音源制御処理、奏法処理およびノートオンイベント処理を説明するためのフローチャートである。
【符号の説明】
11 CPU、12 ROM、13 RAM、14 MIDIインターフェース回路、15 入力装置、16 表示装置、17 駆動装置、18 大容量記録媒体、19 取込回路、20 ハードディスク装置、21 音源部、22 サウンドシステム、23 バス、30 パーツ・エディット画面、31 パーツ名称表示部、32 パーツ属性表示部、35 パーツ時間表示部、40 波形テンプレート表示部、41 (テンプレート)名称表示部、42 波形表示部、43 スクロールバー、50 ピッチテンプレート表示部、60 振幅テンプレート表示部、70 スペクトルテンプレート表示部、80 タイムテンプレート表示部、90 テンプレート・エディット画面、92 テンプレート属性表示部

Claims (8)

  1. テンプレートデータを複数記憶する第1記憶手段と、
    前記第1記憶手段に記憶されたテンプレートデータを指定する指定情報と、発生させる楽音の対応する部分的時間区分の種別と奏法とを示す属性情報とを含むパーツデータを、複数記憶する第2記憶手段と、
    入力する演奏情報と前記第2記憶手段に記憶された前記パーツデータの各々の属性情報とに基づいて、該演奏情報に最も合致するパーツデータを選択する選択手段と、
    前記第1記憶手段に記憶された前記複数のテンプレートデータのうちの、該選択手段により選択されたパーツデータの指定情報が示すテンプレートデータを用いて楽音波形データを生成する楽音生成手段と
    を有することを特徴とする楽音生成装置。
  2. 前記選択手段は、所定時間ごとに前記演奏情報に基づいて奏法を判定する判定手段を有し、該判定手段の判定した奏法に応じて選択されるパーツデータが変更されることを特徴とする請求項1に記載の楽音生成装置。
  3. 前記楽音生成手段は、同時に複数の楽音波形データを生成するための複数のチャンネルと、前記選択手段が新たなパーツデータを選択したとき、該複数のチャンネルの何れか1つのチャンネルを該新たなパーツデータに割り当てる割当手段とを有し、
    該割り当てられたチャンネルにおいて、該新たなパーツデータの指定情報が示すテンプレートデータによる楽音波形データの生成が行われるとともに、そのとき発音していたチャンネルの楽音波形データから該割り当てられたチャンネルの楽音波形データへのクロスフェードが行われることを特徴とする請求項1ないし2に記載の楽音生成装置。
  4. 第1のテンプレートデータと、該第1のテンプレートデータを指定する指定情報を含むパーツデータと、を含む基本ファイルと、
    依存する基本ファイルを示す依存情報と、第2のテンプレートデータと、該依存情報の示す基本ファイルないし該第2のテンプレートデータを指定する指定情報を含むパーツデータと、を含む従属ファイルとに基づいて楽音波形データを生成する楽音生成装置であって、
    記憶手段と、
    前記基本ファイルないし前記従属ファイルを前記記憶手段に導入する導入手段と、
    入力する演奏情報に基づいて、記憶手段に導入されたパーツデータを時間区分ごとに選択する選択手段と、
    前記選択手段によって選択されたパーツデータに基づいて、該パーツデータの示すテンプレートデータを前記記憶手段から読み出し、読み出されたテンプレートデータに基づいて楽音波形データを生成する楽音生成手段と、
    前記従属ファイルを前記記憶手段に導入する場合、当該従属ファイルの依存情報が示す基本ファイルが前記記憶手段に導入されているか否かを判定し、導入されていない場合は、その旨の警告表示を行なう手段と
    を有することを特徴とする楽音生成装置。
  5. 第1のテンプレートデータと、該第1のテンプレートデータを指定する指定情報を含むパーツデータと、を含む基本ファイルと、
    依存する基本ファイルを示す依存情報と、第2のテンプレートデータと、該依存情報の示す基本ファイルないし該第2のテンプレートデータを指定する指定情報を含むパーツデータと、を含む従属ファイルとに基づいて楽音波形データを生成する楽音生成装置であって、
    記憶手段と
    前記基本ファイルないし前記従属ファイルを前記記憶手段に導入する導入手段と、
    前記記憶手段に導入されている基本ファイルないし従属ファイルを導入解除する解除手段と、
    入力する演奏情報に基づいて、記憶手段に導入されたパーツデータを時間区分ごとに選 択する選択手段と、
    前記選択手段によって選択されたパーツデータに基づいて、該パーツデータの示すテンプレートデータを前記記憶手段から読み出し、読み出されたテンプレートデータに基づいて楽音波形データを生成する楽音生成手段と、
    前記基本ファイルを導入解除する場合、当該基本ファイルに依存する従属ファイルが前記記憶手段に導入されているか否かを判定し、導入されている場合は、その旨の警告を行なう手段と
    を有することを特徴とする楽音生成装置。
  6. さらに、
    前記記憶手段に導入された基本ファイルないし従属ファイルのテンプレートデータを編集することにより新規なパーツデータを作成する編集手段と、
    前記作成された新規なパーツデータと前記編集されたテンプレートデータとを、前記従属ファイルのパーツデータ及びテンプレートデータとして前記記憶手段に保存する保存手段と
    を有することを特徴とする請求項4ないし5に記載の楽音生成装置。
  7. 楽音波形データを生成するためのテンプレートデータを複数記憶する第1記憶手段と、
    前記第1記憶手段に記憶されたテンプレートデータを指定する指定情報を含むパーツデータを複数記憶する第2記憶手段と、
    楽音波形を録音する録音手段と、
    録音された楽音波形を分析し、新たなテンプレートデータを作成する作成手段と、
    第1記憶手段に記憶された複数のテンプレートデータの中から、作成されたテンプレートデータとの相関値が所定値以上となるテンプレートデータを検出する検出手段と、
    前記検出手段でテンプレートデータが検出されなかった場合に、作成されたテンプレートデータを新たなテンプレートデータとして前記第1記憶手段に書き込み、同検出された場合には該テンプレートデータの書き込みを行わず、前記検出されたテンプレートデータを共用するよう制御する書込制御手段と
    を有することを特徴とするテンプレート編集装置。
  8. 楽音波形データを生成するためのテンプレートデータを複数記憶する第1記憶手段と、
    前記第1記憶手段に記憶されたテンプレートデータを指定する指定情報を含むパーツデータを複数記憶する第2記憶手段と、
    前記第2記憶手段に記憶されている複数のパーツデータの1つを選択する第1選択手段と、
    選択されたパーツデータの指定情報が示す前記テンプレートデータを編集する編集手段と、
    前記編集手段で編集されたテンプレートデータについて、前記第1記憶手段に記憶された複数のテンプレートデータの中から相関値が所定値以上となるテンプレートデータを検出する検出手段と、
    前記検出手段でテンプレートデータが検出されたとき、検出されたテンプレートデータをユーザに提示し、ユーザの指示に応じて、編集されたテンプレートデータを新規のテンプレートデータとして保存するか、提示されたテンプレートデータをその代わりに使用するかを選択する第2選択手段と、
    新規のテンプレートデータとして保存することが選択されたとき、前記編集されたテンプレートデータを新規のテンプレートデータとして前記第1記憶手段に書き込む書込手段と、
    提示されたテンプレートデータをその代わりに使用することが選択されたとき、前記第1選択手段により選択されたパーツデータの指定情報を、その提示されたテンプレートデータを示すように変更する手段と
    を有することを特徴とするテンプレート編集装置。
JP27210699A 1999-09-27 1999-09-27 楽音生成装置及びテンプレート編集装置 Expired - Fee Related JP3829549B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP27210699A JP3829549B2 (ja) 1999-09-27 1999-09-27 楽音生成装置及びテンプレート編集装置
US09/662,361 US6281423B1 (en) 1999-09-27 2000-09-13 Tone generation method based on combination of wave parts and tone-generating-data recording method and apparatus
US09/896,981 US6403871B2 (en) 1999-09-27 2001-06-29 Tone generation method based on combination of wave parts and tone-generating-data recording method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27210699A JP3829549B2 (ja) 1999-09-27 1999-09-27 楽音生成装置及びテンプレート編集装置

Publications (2)

Publication Number Publication Date
JP2001092464A JP2001092464A (ja) 2001-04-06
JP3829549B2 true JP3829549B2 (ja) 2006-10-04

Family

ID=17509175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27210699A Expired - Fee Related JP3829549B2 (ja) 1999-09-27 1999-09-27 楽音生成装置及びテンプレート編集装置

Country Status (2)

Country Link
US (2) US6281423B1 (ja)
JP (1) JP3829549B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4012691B2 (ja) * 2001-01-17 2007-11-21 ヤマハ株式会社 波形データ処理装置及び波形データ処理方法並びに波形データ処理装置において読み取り可能な記録媒体
US6740804B2 (en) * 2001-02-05 2004-05-25 Yamaha Corporation Waveform generating method, performance data processing method, waveform selection apparatus, waveform data recording apparatus, and waveform data recording and reproducing apparatus
US6835886B2 (en) * 2001-11-19 2004-12-28 Yamaha Corporation Tone synthesis apparatus and method for synthesizing an envelope on the basis of a segment template
JP3975772B2 (ja) * 2002-02-19 2007-09-12 ヤマハ株式会社 波形生成装置及び方法
US6911591B2 (en) * 2002-03-19 2005-06-28 Yamaha Corporation Rendition style determining and/or editing apparatus and method
US7319761B2 (en) * 2003-04-04 2008-01-15 Apple Inc. Method and apparatus for locating and correcting sound overload
JP4239706B2 (ja) * 2003-06-26 2009-03-18 ヤマハ株式会社 自動演奏装置及びプログラム
JP4201679B2 (ja) * 2003-10-16 2008-12-24 ローランド株式会社 波形発生装置
US7470855B2 (en) * 2004-03-29 2008-12-30 Yamaha Corporation Tone control apparatus and method
JP4154368B2 (ja) * 2004-06-15 2008-09-24 キヤノン株式会社 文書処理装置及び文書処理方法、文書処理プログラム
JP3915807B2 (ja) 2004-09-16 2007-05-16 ヤマハ株式会社 奏法自動判定装置及びプログラム
JP4525481B2 (ja) * 2005-06-17 2010-08-18 ヤマハ株式会社 楽音波形合成装置
JP4552769B2 (ja) * 2005-06-17 2010-09-29 ヤマハ株式会社 楽音波形合成装置
EP1734508B1 (en) * 2005-06-17 2007-09-19 Yamaha Corporation Musical sound waveform synthesizer
JP4876645B2 (ja) * 2006-03-13 2012-02-15 ヤマハ株式会社 波形編集装置
US7663046B2 (en) * 2007-03-22 2010-02-16 Qualcomm Incorporated Pipeline techniques for processing musical instrument digital interface (MIDI) files
JP5130809B2 (ja) * 2007-07-13 2013-01-30 ヤマハ株式会社 楽曲を制作するための装置およびプログラム
EP2136356A1 (en) * 2008-06-16 2009-12-23 Yamaha Corporation Electronic music apparatus and tone control method
JP5891401B2 (ja) 2011-02-17 2016-03-23 パナソニックIpマネジメント株式会社 画像編集装置、画像編集方法、およびプログラム
KR101478687B1 (ko) * 2013-05-31 2015-01-02 한국산업은행 스탬별 음원 편집 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3482685B2 (ja) * 1993-05-25 2003-12-22 ヤマハ株式会社 電子楽器の音源装置
EP1094442B1 (en) 1996-11-27 2005-01-19 Yamaha Corporation Musical tone-generating method
SG65729A1 (en) 1997-01-31 1999-06-22 Yamaha Corp Tone generating device and method using a time stretch/compression control technique
JP3008922B2 (ja) 1997-03-03 2000-02-14 ヤマハ株式会社 楽音発生装置および楽音発生方法
EP0907160B1 (en) * 1997-09-30 2004-05-19 Yamaha Corporation Tone data making method and device and recording medium
JP3744216B2 (ja) * 1998-08-07 2006-02-08 ヤマハ株式会社 波形形成装置及び方法
JP3617323B2 (ja) * 1998-08-25 2005-02-02 ヤマハ株式会社 演奏情報発生装置及びそのための記録媒体

Also Published As

Publication number Publication date
US6403871B2 (en) 2002-06-11
JP2001092464A (ja) 2001-04-06
US6281423B1 (en) 2001-08-28
US20010037722A1 (en) 2001-11-08

Similar Documents

Publication Publication Date Title
JP3829549B2 (ja) 楽音生成装置及びテンプレート編集装置
EP1469455B1 (en) Score data display/editing apparatus and method
JP3484988B2 (ja) 演奏情報編集方法および演奏情報編集プログラムを記録した記録媒体
JP3838353B2 (ja) 楽音生成装置および楽音生成用コンピュータプログラム
US6570081B1 (en) Method and apparatus for editing performance data using icons of musical symbols
JP3700532B2 (ja) 演奏情報編集再生装置
JP2001013962A (ja) 楽曲自動再生装置および連続楽曲情報作成再生プログラムを記録した記録媒体
JP3709821B2 (ja) 楽曲情報編集装置及び楽曲情報編集プログラム
JP3843688B2 (ja) 楽曲データ編集装置
JP4270102B2 (ja) 自動演奏装置及びプログラム
JP3587133B2 (ja) 発音長決定方法と装置及び記録媒体
JP3381581B2 (ja) 演奏データ編集装置及び演奏データ編集プログラムを記録した記録媒体
JP3797180B2 (ja) 楽譜表示装置及び楽譜表示プログラム
JP4803043B2 (ja) 楽音生成装置及びプログラム
JP3956961B2 (ja) 演奏データ処理装置及び方法
JP3709820B2 (ja) 楽曲情報編集装置及び楽曲情報編集プログラム
Souvignier Loops and grooves: The musician's guide to groove machines and loop sequencers
JP3794299B2 (ja) 演奏情報編集装置及び演奏情報編集プログラム
JP3797181B2 (ja) 楽譜表示装置及び楽譜表示プログラム
JP3832147B2 (ja) 曲データ加工方法
JP3832421B2 (ja) 楽音生成装置及び方法
JP3760909B2 (ja) 楽音生成装置及び方法
JP4456469B2 (ja) 演奏情報再生装置
JP3820817B2 (ja) 楽音信号発生装置
JP3532485B2 (ja) 電子楽譜式音楽データのチャンネル数の削減編集方法、装置、プログラム記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060703

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090721

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100721

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100721

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110721

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110721

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130721

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees