WO2007139034A1

WO2007139034A1 - 楽音合成装置及び方法

Info

Publication number: WO2007139034A1
Application number: PCT/JP2007/060732
Authority: WO
Inventors: Eiji Akazawa
Original assignee: Yamaha Corporation
Priority date: 2006-05-25
Filing date: 2007-05-25
Publication date: 2007-12-06
Also published as: US20090158919A1; US7816599B2; JP4802857B2; JP2007316269A

Abstract

　発音優先モード又は品質優先モードのいずれかを設定することができ、相前後する２つの音の間をつなぐ接続音を発生すべきときに、発音優先モードである場合には、記憶されたヘッド部の波形データとテール部の波形データとを選択し、選択したヘッド部の波形データ及びテール部の波形データの少なくとも一方のピッチ及び振幅の少なくとも一方を、接続音として滑らかに音が遷移するように加工し、テール部の波形データに基づき相前後する２つの音のうち時間的に先行する前音の立ち下がり区間の楽音を、ヘッド部の波形データに基づき相前後する２つの音のうち時間的に後続する後音の立ち上がり区間の楽音を、前記加工に従って別々に合成し、これらの合成された前音の立ち下がり区間の楽音と後音の立ち上がり区間の楽音との組み合わせにより接続音を実現する。

Description

明細書

楽音合成装置及び方法

技術分野

[0001] この発明は、波形メモリ等に記憶した波形サンプルデータに基づいて、楽音あるいは音声若しくはその他任意の音を合成する楽音合成装置及びプログラムに関する。特に、音を途切れさせることなく音と音との間をつなぐ場合に、後続する音について聴感上の発音遅れを生じさせることなく楽音を合成する楽音合成装置及び方法に関する。

背景技術

[0002] 従来から、自然楽器固有の各種奏法 (若しくはアーティキユレーシヨン)のリアルな再現とその制御を容易にした技術として、所謂 AEM (Articulation Element Modeling) 技術が知られており、該 AEM技術を用いて高品質な楽音波形を合成することが行われている。従来知られているように、 AEM技術においては、音の立ち上がり区間（へッド部（又はアタック部）と呼ぶ)）を表すヘッド系奏法モジュール、音の定常区間（ボディ部と呼ぶ）を表すボディ系奏法モジュール、音の立ち下がり区間（テール部（又はリリース部）と呼ぶ)）を表すテール系奏法モジュール、あるいは連続する音と音との間（又は音部分と音部分の間）を例えばレガート奏法などの任意の奏法で音を途切れさせることなくつなぐ接続区間（ジョイント部と呼ぶ)を表すジョイント系奏法モジュール、などの各区間に対応する奏法モジュールを時系列的に複数組み合わせることで、一連の音楽波形を高品質に生成することができるようになつている。上記したような AEM 技術に関連するものとして、例えば下記に示す特許文献 1に記載されている発明がその一例である。なお、この明細書において、楽音波形という場合、音楽的な音の波形に限るものではなぐ音声ある、はその他任意の音の波形を含んで、てもよヽ意味合いで用いるものとする。また、ジョイント系奏法モジュールにおいて、先行する 1 音目の音高が 2音目に比べて聴感上主に聴こえる領域までに相当するモジュール前半部分の波形データをプレノート部分と呼び、前記先行する 1音目の音高が 2音目に比べて聴感上主に聴こえる領域以降 (つまり、演奏者が初めて前音から後音へと音高が遷移して後音の発音が開始されたと聴感上認識することができる所定の切り替わりポイント以降）に相当するモジュール後半部分の波形データをポストノート部分と呼んで便宜上区別する。

特許文献 1：特開 2002-287759号公報

ところで、演奏者による演奏操作に応じて順次に楽音を合成するリアルタイム演奏時においては、上記ジョイント系奏法モジュールを適用して接続区間の楽音 (接続音 )を合成する際に、場合によっては後音のノートオン指示力後音が聴こえ始めるまでに聴感上の発音遅れ (レーテンシーとも呼ぶ）が生ずることがある。これは、例えばジョイント系奏法モジュールの音高やアンプ等を、隣接する前音と後音の各奏法モジユールにあわせて調整するなどの、既に発音中の前音にこれから発音する後音を滑らかに繋げて遷移させるための処理に時間が力かること、また前音から後音への音高遷移にかかる時間（つまりは、プレノート部分の楽音の合成開始力ポストノート部分の楽音の合成を開始するまでの時間に相当する）が前音の音高や楽器の種類、演奏方法などに依存して決まること、 t 、つたジョイント系奏法モジュール固有の特性によるものである。したがって、演奏者が楽音の音質を落としてでも後音の発音タイミングを優先させて（つまりレーテンシーを生じさせることなく）演奏を行、た、ような場合であっても、上記したジョイント系奏法モジュール固有の特性から、従来ではそうした演奏を行うことが難し力つた。この点、ジョイント系奏法モジュールを用いずに、前音についてテール系奏法モジュールを、後音についてヘッド系奏法モジュールを適用して楽音を合成することが考えられるが、そうした場合、従来では前音と後音との間の音の繋がり感が喪失されてしまうことが起こり問題となる。そこで、音を途切れさせることなく音と音との間をつなぐジョイント区間の楽音を合成する場合に、従来通りに後音の発音タイミングよりも音質を優先させて楽音を合成することができるだけでなぐ音質よりも後音の発音タイミングを優先させて楽音合成することができ、また発音タイミングを優先させた場合であっても、音質をできるだけ悪化させることなく楽音を合成することのできるものが望まれていた力そのようなものは従来考えられていな力つた発明の開示 [0004] 本発明は上述の点に鑑みてなされたもので、楽音の接続音を合成する場合に、音色変化を忠実に表現した高品質な楽音を合成する力又は聴感上の発音遅れを生じさせることなく楽音を合成するかを、演奏者の選択に応じて切り替えることができ、また音質のよい楽音を合成することができる楽音合成装置及び方法を提供しょうとするものである。

[0005] 本発明に係る楽音合成装置は、音の立ち上がり区間に対応したヘッド部の波形データと、音の立ち下がり区間に対応したテール部の波形データと、相前後する 2つの音の間をつなぐ接続区間に対応した接続部の波形データとを少なくとも記憶する記憶部と、発音優先モード又は品質優先モードのいずれかを設定するモード設定部と、演奏情報を取得する取得部と、前記取得した演奏情報に応じて相前後する 2つの音の間をつなぐ接続音を発生すべきときに、前記モード設定部によって設定されたモードが品質優先モードである場合には、前記記憶部力前記接続部の波形データを選択する一方で、前記設定されたモードが発音優先モードである場合には、前記記憶部から前記ヘッド部の波形データと前記テール部の波形データとを選択するデータ選択部と、前記設定されたモードが発音優先モードである場合に、前記取得した演奏情報に基づ!/、て、前記選択したヘッド部の波形データ及び前記テール部の波形データの少なくとも一方のピッチ及び振幅の少なくとも一方を、接続音として滑らかに音が遷移するように加工するデータ加工部と、前記データ選択部による選択に従って前記記憶部から読み出された波形データに基づき、かつ前記データ加ェ部での加工に従い、楽音を合成する楽音合成部とを具えてなり、前記設定されたモードが発音優先モードである場合に、前記楽音合成部では、前記記憶部から読み出したテール部の波形データに基づき相前後する 2つの音のうち時間的に先行する前音の立ち下がり区間の楽音を、前記記憶部から読み出したヘッド部の波形データに基づき相前後する 2つの音のうち時間的に後続する後音の立ち上がり区間の楽音を、前記データ加工部による加工に従ってそれぞれ別々に合成し、これらの合成された前音の立ち下がり区間の楽音と後音の立ち上がり区間の楽音との組み合わせにより接続音が実現されることを特徴とする。

[0006] 本発明によると、取得した演奏情報に応じて相前後する 2つの音の間をつなぐ接続音を発生すべきときに、発音優先モード又は品質優先モードのいずれかを設定することができ、前記設定されたモードが品質優先モードである場合には接続部の波形データを使用するよう選択し、前記設定されたモードが発音優先モードである場合にはヘッド部の波形データとテール部の波形データとを使用するよう選択して楽音を合成する。前記接続部の波形データは相前後する 2つの音の間をつなぐ接続区間に対応したデータ、前記ヘッド部の波形データは音の立ち上がり区間に対応したデータ、前記テール部の波形データは音の立ち下がり区間に対応したデータである。発音優先モードである場合には、指定されたヘッド部の波形データとテール部の波形データとを記憶部力読み出し、前記読み出したテール部の波形データに基づき相前後する 2つの音のうち時間的に先行する前音の立ち下がり区間の楽音を、前記読み出したヘッド部の波形データに基づき相前後する 2つの音のうち時間的に後続する後音の立ち上がり区間の楽音を、波形の加工に従いそれぞれ別々に合成する。データ加工部による加工に応じて、各波形データのピッチ及び Z又は振幅を、接続音として滑らかに音が遷移するように加工される。こうすると、発音優先モードにおいては、テール部の波形データとヘッド部の波形データとを同時並行的に合成して、るので両波形データの波形レベルでの細かな調整が不要であり、ただ、両者が滑らかに遷移するようピッチ及び振幅の少なくとも一方を加工すればよいので、音を途切れさせることなく音と音との間をつなぐ接続区間において、品質優先モード (接続部の波形データを用いる場合）に比べて、既に発音中の前音に後音をつなげるためのシステムの計算や音高の遷移時間などに時間が力からず、従って聴感上における後音の発音遅れ (レーテンシー）を生じさせることがない。また、前音と後音とを別々に合成しても、接続音として滑らかに音が遷移するレガート奏法などの楽音を高品質に合成することがでさるよう〖こなる。

従って、本発明によれば、相前後して発生される少なくとも 2つの音と音との間をつなぐ接続区間の楽音を合成する場合に、演奏者は音質を重視するか (品質優先モード）、後音の発音タイミングを重視するか (発音優先モード)を選択して楽音合成を行うことができ、また後音の発音タイミングを重視した場合であっても、音質を大きく悪化させることなくレガート奏法などの楽音を合成することができるようになる、という効果が得られる。

[0008] 本発明は、装置の発明として構成し、実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたは DSP等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。

図面の簡単な説明

[0009] [図 1]この発明に係る楽音合成装置を適用した電子楽器のハードウェア構成例を示すブロック図である。

[図 2]楽音合成機能を説明するための機能ブロック図である。

[図 3]奏法モジュールの一実施例を説明するための概念図である。

[図 4]ジョイント部楽音合成処理の一実施例を示したフローチャートである。

[図 5A]ベクタの変更による波形の加工を模式的に説明するための概要図であり、ノ一マルテールモジュールにおける各べクタの変更例を示す図である。

[図 5B]ベクタの変更による波形の加工を模式的に説明するための概要図であって、ジョイントヘッドモジュールにおける各べクタの変更例を示す図である。

[図 6]ジョイントヘッドモジュールの配置時間の調整による波形の加工について模式的に説明するための概要図である。

発明を実施するための最良の形態

[0010] 以下、この発明の実施の形態を添付図面に従って詳細に説明する。

図 1は、この発明に係る楽音合成装置を適用した電子楽器のハードウェア構成例を示すブロック図である。ここに示す電子楽器は、演奏者による演奏操作子 5の演奏操作に応じてリアルタイムに供給される演奏情報 (ノートオン情報やノートオフ情報などの演奏イベントデータ、ダイナミクス情報やピッチ情報などの各種コントロールデータを含む）に基づいて電子的に楽音を発生したり、あるいは演奏進行順に供給される予め作成済みの演奏情報に基づいて、データの先読みなどを行いながら自動的に楽音を発生する楽音合成機能を有する。前記楽音合成機能の実行時において、本発明では 2音が途切れることなく連続的につながつている接続区間（ジョイント部）にっ、て、演奏情報及びモード設定情報に基づき使用すべき波形サンプルデータ (以下、単に波形データと呼ぶ)の選択を行い、該選択された波形データに従って楽音を合成することにより、前記接続区間の楽音として特に聴感上の発音遅れ (レーテンシー）を生じさせることなぐかつレガート奏法などの楽音を高品質に再現することのできるようにしている。こうした接続区間の楽音合成については、後述する。

[0011] なお、この実施例に示す電子楽器はここに示す以外のハードウェアを有する場合もあるが、ここでは必要最小限の資源を用いた場合について説明する。また、音源としては、例えば様々な楽器毎の特有な奏法に対応する波形データとして、ヘッド区間、テール区間、ボディ区間などの 1音についての一部区間、あるいは連続する 2音間についての接続区間（ジョイント区間）において、任意の奏法に対応した波形全体を記憶しておき（奏法モジュール）、これらを時系列的に複数組み合わせることで 1音又は連続する複数音の楽音を形成することにより、自然楽器固有の各種奏法若しくはァ一ティキユレーシヨンによる音色変化を忠実に表現した奏法などのリアルな再現とその制御を目的とした、従来から知られて、る AEM (Articulation Element Modeling)と称する楽音波形制御技術を用いた音源 (所謂 AEM音源)を用いた場合を例にして説明する。

[0012] 図 1に示した電子楽器はコンピュータを用いて構成されており、そこにおいて、上記したような楽音合成機能を実現する「楽音合成処理」（ただし、この実施例では、そのうちのジョイント区間の楽音合成に関する処理についてのみ後述する：図 4参照）は、コンピュータが各々の処理を実現する所定のプログラム (ソフトウェア）を実行することにより実施される。勿論、これらの処理はコンピュータソフトウェアの形態に限らず、 D SP (ディジタル ·シグナル 'プロセッサ）によって処理されるマイクロプログラムの形態でも実施可能であり、また、この種のプログラムの形態に限らず、ディスクリート回路又は集積回路若しくは大規模集積回路等を含んで構成された専用ハードウェア装置の形態で実施してもよい。

[0013] 本実施例に示す電子楽器は、マイクロプロセッサユニット（CPU) 1、リードオンリメモリ（ROM) 2、ランダムアクセスメモリ（RAM) 3からなるマイクロコンピュータの制御の下に各種の処理が実行されるようになっている。 CPU1は、この電子楽器全体の動作を制御するものである。この CPU1に対して、通信バス 1D (例えば、データ及びァドレスバスなど）を介して ROM2、 RAM3、外部記憶装置 4、演奏操作子 5、パネル操作子 6、表示器 7、音源 8、インタフェース 9がそれぞれ接続されている。更に、 CP U1には、タイマ割込み処理 (インタラプト処理）における割込み時間や各種時間を計時するタイマ 1 Aが接続されている。すなわち、タイマ 1 Aは時間間隔を計数したり、所定の演奏情報に従つて楽曲を演奏する際の演奏テンポを設定したりするためのテンポクロックパルスを発生する。このテンポクロックパルスの周波数は、パネル操作子 6 の中の例えばテンポ設定スィッチ等によって調整される。このようなタイマ 1Aからのテンポクロックパルスは CPU1に対して処理タイミング命令として与えられたり、あるいは CPU1に対してインタラプト命令として与えられる。 CPU1は、これらの命令に従って各種処理を実行する。

ROM2は、 CPU1により実行される各種プログラム、あるいは波形メモリとして様々な楽器毎の特有な奏法に対応する波形データ (例えば、レガート奏法などの音色変化の有る波形やストレートな音色を持つ波形等)などの各種データを格納するものである。 RAM3は、 CPU 1が所定のプログラムを実行する際に発生する各種データを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを記憶するメモリ等として使用される。 RAM3の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、メモリなどとして利用される。外部記憶装置 4は、自動演奏の元となる演奏情報や奏法に対応する波形データなどの各種データや、 CPU 1により実行あるいは参照される「ジョイント部楽音合成処理」（図 4参照）などの各種制御プログラム等を記憶する。前記 ROM2に制御プログラムが記憶されて、な、場合、この外部記憶装置 4 (例えばノヽードディスク）に制御プログラムを記憶させておき、それを前記 RAM3に読み込むことにより、 RO M2に制御プログラムを記憶している場合と同様の動作を CPU1にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、外部記憶装置 4はハードディスク (HD)に限られず、フレキシブルディスク (FD) 、コンパクトディスク（CD— ROM 'CD— RAM)、光磁気ディスク（MO)、あるいは D VD (Digital Versatile Disk)等の着脱自在な様々な形態の外部記録媒体を利用する記憶装置であってもよい。あるいは、半導体メモリなどであってもよい。 [0015] 演奏操作子 5は楽音の音高を選択するための複数の鍵を備えた、例えば鍵盤等のようなものであり、各鍵に対応してキースィッチを有しており、この演奏操作子 5は演奏者自身の手弾きによる楽音のマニュアル演奏のために使用できるのは勿論のこと、自動演奏対象とする予め用意されている演奏情報を選択するなどの入力手段として使用することもできる。勿論、演奏操作子 5は鍵盤等の形態に限らず、楽音の音高を選択するための弦を備えたネック等のような形態のものなど、どのようなものであつてもよいことは言うまでもない。パネル操作子 (スィッチ等） 6は、例えば自動演奏対象とする演奏情報を選択するための演奏情報選択スィッチ、楽音の接続区間を合成する際に、音色変化を忠実に表現した高品質な楽音を合成する「品質優先モード」、又は聴感上の発音遅れを生じさせることなく楽音を合成する「発音優先モード」、の、ずれかのモードにモード設定情報を選択的に設定するためのモード選択スィッチ等、各種の操作子を含んで構成される。勿論、音高、音色、効果等を選択，設定，制御するために数値データ入力用のテンキーや文字データ入力用のキーボード、あるいは表示器 7に表示された各種画面の位置を指定するポインタを操作するマウスなどの各種操作子を含んで、てもよ、。表示器 7は例えば液晶表示パネル (LCD)や CRT 等カゝら構成されるディスプレイであって、上記スィッチ操作に応じた各種画面を表示するのは勿論のこと、演奏情報や波形データなどの各種情報あるいは CPU1の制御状態などを表示することもできる。演奏者は該表示器 7に表示されるこれらの各種情報を参照することで、演奏の際に使用する各種演奏パラメータの設定やモード設定あるいは自動演奏曲の選択などを容易に行うことができる。

[0016] 音源 8は複数のチャンネルで楽音信号の同時発生が可能であり、通信バス 1Dを経由して与えられた演奏情報を入力し、この演奏情報に基づいて楽音を合成して楽音信号を発生する。ここに示す電子楽器においては、演奏情報に基づき該当する波形データが ROM2や外部記憶装置 4など力読み出されると、該読み出された波形データはバスラインを介して音源 8に与えられて適宜バッファ記憶される。そして、音源 8ではバッファ記憶された波形データを所定の出力サンプリング周波数に従い出力する。この音源 8から発生された楽音信号は、図示しない効果回路 (例えば、 DSP (Di gital Signal Processor) )などにより所定のディジタル信号処理が施され、該信号処理された楽音信号はサウンドシステム 8Aに与えられて発音される。

[0017] インタフェース 9は該電子楽器と外部の演奏情報生成機器（図示せず)などとの間で各種情報を送受するための、例えば MIDIインタフェースや通信インタフェースなどである。 MIDIインタフェースは、外部の演奏情報生成機器 (この場合には、他の MIDI 機器等)から MIDI規格の演奏情報を当該電子楽器へ供給したり、あるいは当該電子楽器力 MIDI規格の演奏情報を他の MIDI機器等へ出力するためのインタフェースである。他の MIDI機器はユーザによる操作に応じて MIDI形式のデータを発生する機器であればよぐ鍵盤型、ギター型、管楽器型、打楽器型、身振り型等どのようなタイプの操作子を具えた (若しくは、操作形態力もなる)機器であってもよい。通信インタフェースは、例えば LANやインターネット、電話回線等の有線あるいは無線の通信ネットワーク（図示せず）に接続されており、概通信ネットワークを介して、外部の演奏情報生成機器 (この場合には、サーバコンピュータ等）と接続され、当該サーバコンビュータから制御プログラムや演奏情報などの各種情報を該電子楽器に取り込むためのインタフェースである。すなわち、 ROM2や外部記憶装置 4等に制御プログラムゃ演奏情報などの各種情報が記憶されていない場合に、サーバコンピュータ力も各種情報をダウンロードするために用いられる。クライアントとなる電子楽器は、通信インターフェース及び通信ネットワークを介してサーバコンピュータへと制御プログラムや演奏情報などの各種情報のダウンロードを要求するコマンドを送信する。サーバコンビュータは、このコマンドを受け、要求された各種情報を通信ネットワークを介して本電子楽器へと配信し、本電子楽器が通信インタフェースを介して各種情報を受信して外部記憶装置 4等に蓄積することにより、ダウンロードが完了する。

[0018] なお、上記インタフェース 9を MIDIインタフェースで構成した場合、該 MIDIインタフエースは専用の MIDIインタフェースを用いるものに限らず、 RS- 232C、 USB (ュ-バーサル'シリアル'バス）、 IEEE1394等の汎用のインタフェースを用いて MIDIインタフエースを構成するようにしてもよい。この場合、 MIDIデータ以外のデータをも同時に送受信するようにしてもよい。 MIDIインタフェースとして上記したような汎用のインタフエースを用いる場合には、他の MIDI機器は MIDIデータ以外のデータも送受信できるようにしてよい。勿論、演奏情報に関するデータフォーマットは MIDI形式のデータに限らず、他の形式であってもよぐその場合は MIDIインタフェースと他の MIDI機器はそれにあった構成とする。

[0019] 図 1に示した電子楽器においては、演奏者による演奏操作子 5の操作に伴い発生される演奏情報、あるいは予め用意された SMF (Standard MIDI File)形式等の演奏情報 (すなわち ROM2又は外部記憶装置 4に記憶された演奏情報、あるいはインタフェース 9を介して入力される演奏情報）に基づいて楽音を連続的に発生させることのできる楽音合成機能を有する。そして、該楽音合成機能の実行時において、演奏者による演奏操作子 5の操作に伴う演奏進行に応じてリアルタイムに順次に供給される演奏情報、あるいはシーケンサー（図示せず)など力演奏進行順に先読み等を行いながら順次に供給される演奏情報に基づいて、各区間について新たに使用すベき波形データの選択を行ヽ、該選択された波形データに従って楽音を合成するようにしている。そこで、こうした楽音合成機能の概要について、図 2を用いて説明する。図 2は、当該電子楽器が有する楽音合成機能を説明するための機能ブロック図である。図 2において、図中の矢印はデータの流れを表すものである。なお、演奏情報取得部に相当するものは、当該電子楽器における演奏操作子 5の操作を検出する機構及び当該電子楽器が内蔵するシーケンサー機能 (ROM2又は外部記憶装置 4に記憶された演奏情報を読み出して自動演奏する機能)あるいは外部のシーケンサーでの自動演奏実行に伴って供給される演奏情報をインタフェース 9を介して受信する機能などである。

[0020] 楽音合成機能の開始に伴い、まず奏法合成部 J3に対して入力部 (演奏情報取得部) J2から演奏情報が演奏進行順に順次に供給される。入力部 J2としては、演奏者による演奏操作に応じて適宜に演奏情報を発生する演奏操作子 5や、予め ROM2 等に記憶した演奏情報を演奏進行順に供給するシーケンサーなど、その他の入力装置がある。こうした入力部 J2から供給される演奏情報は、ノートオン情報やノートォフ情報 (これらを総称してノート情報と呼ぶ)などの演奏イベントデータと、ダイナミクス情報やピッチ情報などのコントロールデータとを少なくとも含む。奏法合成部 J3では演奏イベントデータやコントロールデータなどを受け取ると、例えばノートオン情報に従、ヘッド部やジョイント部を特定したり、ノートオフ情報に従、テール部を特定したり、あるいはコントロールデータとして受け取った情報を変換したりするなどして、楽音を合成するために必要とされる各種情報を含む「奏法情報」を生成する。すなわち、奏法合成部 J3はデータベース J 1 (波形メモリ）にあるデータテーブルなどを参照して、入力されたダイナミクス情報やピッチ情報に対応する奏法モジュールを選択し、該選択した奏法モジュールを特定する情報を該当する「奏法情報」に加える。

[0021] 上記奏法合成部 J3がジョイント部に適用すべき奏法モジュールを選択する際には、パラメータ記憶部 J5に記憶済みのモード設定情報を参照する。パラメータ記憶部 J5 に記憶されるモード設定情報は、上述したように後音の発音タイミングを重視する「発音優先モード」、又は音質を重視する「品質優先モード」 V、ずれかの設定情報であり、こうしたモード設定情報は演奏者自らが入力部 J2 (詳しくはモード選択スィッチ)を用いて適宜に設定することができる。奏法合成部 J3は、参照したモード設定情報が「品質優先モード」であるならばジョイント系奏法モジュールのみを単独で用いるようにし、「発音優先モード」であるならばジョイント部の前音に対してテール系奏法モジュールを、ジョイント部の後音に対してヘッド系奏法モジュールを組み合わせて用いるようにする。また、特に「発音優先モード」の場合には前記各奏法モジュールを特定する情報に加えて、さらにこれらの奏法モジュールを加工する情報を「奏法情報」に加えるとよい。奏法モジュールの加工についての詳細な説明は後述する（図 5〜図 6 参照)。楽音合成部 J4では奏法合成部 J3が生成した前記「奏法情報」に基づき、データベース J1から使用する波形データを適宜に読み出し、該読み出した波形データを必要に応じて加工した上で、楽音合成することにより楽音が出力される。すなわち、楽音合成部 J4では、生成された「奏法情報」に従って波形データの切り替え及びカロェを行!、ながら楽音合成を行う。

[0022] データベース J1 (波形メモリ）は、楽器毎の種々の奏法に対応する波形を再生する多数のオリジナルの奏法波形データとそれに関連するデータ群 (奏法パラメータと呼ぶ）を「奏法モジュール」として記憶している。 1つの「奏法モジュール」とは、奏法波形合成システムにお、て 1つのかたまりとして処理できる奏法波形の単位である。別の言い方をすると、「奏法モジュール」とは、 1つのイベントとして処理できる奏法波形の単位である。ここで、上述したデータベース J 1 (波形メモリ）に記憶される奏法モジュールについて、図 3を用いて簡単に説明する。図 3は、奏法モジュールの一実施例を説明するための概念図である。ただし、この図 3では、「奏法モジュール」のうち、奏法波形データにより表さられる波形の一例をそのエンベロープのみで略示したものを図示している。

図 3から理解できるように、種々有る奏法モジュールの奏法波形データの中には、例えば演奏音の奏法的特徴に応じて、ヘッド部やボディ部ある!、はテール部等の 1 音の部分的区間に対応して定義されているものもあれば (ヘッド系、ボディ系、テール系の各奏法モジュール）、また、音と音のつなぎの区間であるジョイント部に対応して定義されて、るものもある（ジョイント系奏法モジュール)。従来知られて、るように、奏法モジュールは、奏法の特徴若しくは演奏の時間的部位又は区間等に基づき、大きくいくつかの種類に分類することができる。その例を示すと、次の 5種類を挙げることがでさる。

1)「ノーマルヘッドモジュール」：（無音状態からの）音の立ち上がり区間（ヘッド部 )を受け持つヘッド系奏法モジュール。

2)「ノーマルテールモジュール」：（無音状態への）音の立ち下がり区間（テール部 )を受け持つテール系奏法モジュール。

3)「ノーマルジョイントモジュール」： 2つの音を (無音状態を経由せずに）レガート (スラー)で接続する接続区間 (ジョイント部)を受け持つジョイント系奏法モジュール。

4)「ノーマルボディモジュール」：ビブラートの力からない、音の立ち上がり以降から立ち下がり以前までの音の定常区間（ボディ部）を受け持つボディ系奏法モジユール。

5)「ジョイントヘッドモジュール」：上記したノーマルヘッドモジュールとは異なり、特殊な奏法であるタンギング奏法を実現する音の立ち上がり区間を受け持つヘッド系奏法モジュール。ここで、所謂タンギング奏法と呼ばれる奏法は例えばサックスなどの管楽器の演奏時に特徴的に表れる奏法であって、演奏者がサックスの吹き口を一且舌で止めることにより音を切った瞬間に指を変えて音を変更する奏法であり、一瞬だけ音が途切れるようにして発音されるものである。なお、これに似たものとして、バイォリンなどの弦楽器の演奏時に行われる弓返しがある。そこで、こうした弓返しなどによる一瞬だけ音が途切れるようにして発音される音楽的表現などを含め、こうした奏法をここでは便宜的にタンギング奏法と呼ぶことにしている。

なお、上記 5種類の分類法は本明細書での説明のための一例にすぎず、他の分類法を採用してもよいし、更に多くの種類が存在してもよい。また、奏法モジュールは、奏者、楽器の種類、演奏ジャンル等のオリジナル音源別にも分類されるのは勿論である。

[0024] この実施例において、 1つの奏法モジュールに対応する 1つの奏法波形データはそのままデータベースに記憶されているのではなぐ複数の波形構成要素の集合からなるものとしてデータベースに記憶されている。この波形構成要素を、以下、「ベタタ（又はベクトル）」データと呼ぶ。 1つの奏法モジュールに対応するべクタの種類には、一例として下記のようなものがある。なお、調和成分及び調和外成分とは、対象たるオリジナルの奏法波形をピッチ調和成分力なる波形とそれ以外の残りの波形成分とに分離することで定義されるものである。

1.調和成分の波形 (Timbre)ベクタ：調和成分の波形構成要素のうち、ピッチと振幅をノーマライズした波形形状のみの特徴を抽出したもの。

2.調和成分の振幅 (Amplitude)ベクタ：調和成分の波形構成要素のうち、振幅ェンべロープ特性 (時間的振幅変動特性)を抽出したもの。

3.調和成分のピッチ (Pitch)ベクタ：調和成分の波形構成要素のうち、ピッチ特性を抽出したもの（例えば或る基準ピッチを基準にした時間的ピッチ変動特性を示すもの)。

4.調和外成分の波形 (Timbre)ベクタ：調和外成分の波形構成要素のうち、振幅をノーマライズした波形形状 (ノイズ的波形)のみの特徴を抽出したもの。

5.調和外成分の振幅 (Amplitude)ベクタ：調和外成分の波形構成要素のうち、振幅エンベロープ特性を抽出したもの。

上記のほかに、更に別の種類のベクタ (例えば、波形の時間軸の進行を示す時間ベクタ）が含まれていてもよいが、便宜上、本実施例ではその説明を省略する。

[0025] 奏法波形の合成に際しては、これらのベクタデータに対して適宜の加工処理を施して時間軸上に配置することで、奏法波形の各構成要素に対応する波形若しくはェンベロープを楽音の再生時間軸に沿ってそれぞれ構築し、このようにして時間軸上に配置された各べクタデータに基づ！/ヽて所定の波形合成処理を行うことで、奏法波形を生成する。例えば、調和波形べクタに調和ピッチべクタに応じたピッチ及びその時間変化特性を付与すると共に調和振幅べクタに応じた振幅及びその時間変化特性を付与することで調和成分の波形を合成し、調和外波形べクタに調和外振幅べクタに応じた振幅及びその時間変化特性を付与することで調和外成分の波形を合成し、調和成分の波形と調和外成分の波形とを加算合成することで、最終的な所定の奏法的特徴を示す奏法波形つまり楽音波形を生成することができる。また、本発明においては、ジョイント区間の楽音を合成する際に、ジョイント系奏法モジュールを使用せずにテール系奏法モジュール及びヘッド系奏法モジュールを使用するよう指示された場合には、テール系奏法モジュール及びヘッド系奏法モジュールの各べクタデータが適宜に変更されることにより、波形に加工が施された上で楽音合成が行われるようになって!/、る（詳しくは後述する)。

上記データベース J1において、各波形データと共に付加的に記憶されるデータ群（奏法パラメータ）としては、例えばその記憶しているオリジナルの波形データのダイナミクス値やピッチ情報、あるいは合成時に用いられる基本のクロスフェード長（時間長 )などがある。こうしたデータ群は、「データテーブル」として一括管理することのできるようにして!/、る。奏法パラメータは当該奏法モジュールに係る波形の時間やレベルなどを制御するためのパラメータであり、各奏法モジュールの性格に応じて適宜異なる 1又は複数種類のパラメータが含まれていてよい。例えば、「ノーマルヘッドモジユール」や「ジョイントヘッドモジュール」の場合には、発音開始直後の絶対音高や音量などの種類の奏法パラメータが含まれて、てよ、し、「ノーマルボディモジュール」の場合には、当該奏法モジュールの絶対音高、ノーマルボディの終了時刻開始時刻、ノーマルボディ開始時のダイナミクス、ノーマルボディ終了時のダイナミクスなどの種類の奏法パラメータが含まれていてよい。また、上記したベクタデータの全部又は一部が、奏法パラメータに含まれていてよい。こうした奏法パラメータは、波形メモリ等に予め記憶されて、てもよ、し、ある、はユーザの入力操作によって入力するようにしたり、あるいは既存のパラメータをユーザの操作によって適宜変更できるようになっていたりしてもよい。なお、奏法波形の再生に際して、奏法パラメータが与えられなかつたような場合には、標準的な奏法パラメータを自動的に付加するようにしてもよい。また、処理の過程で、適宜のパラメータが自動的に生成されて付加されるようになっていてもよい。

[0027] 次に、ジョイント区間の楽音を合成する処理について、図 4を用いて説明する。図 4 は、「ジョイント部楽音合成処理」の一実施例を示したフローチャートである。なお、当該処理の実行前には、既に前音のヘッド部及びボディ部の波形が図示を省略した所定の「楽音合成処理」によって生成済みである。したがって、このヘッド部及びボディ部の楽音合成に引き続いて当該処理が実行されることにより、音を途切れさせることなく前音と後音とをつなぐジョイント区間の楽音が前音のボディ部に続いて合成される。

[0028] ステップ S1は、ノートオン情報を取得したか否かを判定する。このステップ S1は、ノートオン情報が取得されるまで繰り返される (ステップ S1の NO)。ノートオン情報を取得した場合には (ステップ S1の YES)、既に発音中の前音（直前ノート）と、該取得したノートオン情報に基づき新たに発音開始指示された後音 (現在ノート)とにおける発音時間の重なりを検出する (ステップ S2)。すなわち、前音の発音終了を指示するノートオフ情報の取得後に、該前音に後続する後音の発音開始を指示するノートオン情報が取得されており、前音と後音とが時間的に重複して発音されることがない状態 (これを前音と後音とが重なっていない状態と呼び、この状態はレガート奏法に該当しない）である力、あるいは前音の発音終了を指示するノートオフ情報の取得前に、該前音に後続する後音の発音開始を指示するノートオン情報が取得されており、前音と後音とが時間的に一部が重複して発音される状態 (これを前音と後音とが重なつている状態と呼び、この状態はレガート奏法に該当する）であるかを検出する。ステツプ S3は、上記検出に従い、前音と後音とが重なっている状態つまりレガート奏法であるか否かを判定する (ステップ S3)。

[0029] 前音と後音とが重なって、な、状態つまりレガート奏法でな、と判定した場合には（ステップ S3の NO)、前音と後音とを連続的につながった 1つの波形として合成することなぐ前音と後音とをそれぞれ独立した波形として合成するために、発音を開始するためのノーマルヘッドモジュール（又はジョイントヘッドモジュールであってもよ、）を使用するように指示した奏法情報を生成する (ステップ S8)。ステップ S9は、生成された奏法情報に従、楽音を合成する。

[0030] すなわち、この場合には、従来通りに前音と後音の 2音がそれぞれ独立して合成されることになる。つまり、ノーマルヘッドモジュール（又はジョイントヘッドモジュール）に対しては、ノートオン情報に基づき単に波形全体がピッチシフトされる処理が行われる。もし、ノートオン情報の受信前にノートオフ情報を受信しており、前音をテールモジュールを使って処理した場合、前音のテールモジュール及び前記ノーマルへッドモジュールそれぞれに対して、後述するような前音及び後音の音高や振幅等を反映しての波形の加工 (後述する図 5〜図 6参照）は行われない。なお、ノーマルヘッドモジュールを使用する力、ジョイントヘッドモジュールを使用するかの判定は、例えば前音のノートオフ時刻から後音のノートオン時刻までの時間長などを求め、求めた時間長に応じて自動的に判定させるようにしてよ！、。

[0031] 他方、前音と後音とが重なっている状態つまりレガート奏法であると判定した場合には (ステップ S3の YES)、パラメータ記憶部 J5に記憶されているモード設定情報を参照して、該モード設定情報が「発音優先モード」に設定されて!、るか否かを判定する（ステップ S4)。前記モード設定情報が「発音優先モード」でなく「品質優先モード」に設定されている場合には (ステップ S4の NO)、ノーマルジョイントモジュールを使用（選択)するように指示する奏法情報を生成する (ステップ S7)。ステップ S9は、生成された奏法情報 (すなわち、選択されたノーマルジョイントモジュール）に従い楽音を合成する。このように、ジョイント区間の楽音合成のためにノーマルジョイントモジュールを使用する場合には、従来の問題点で挙げたように、後音のノートオン指示力後音が聴こえ始めるまでに聴感上の発音遅れが発生する（つまり、相応のレーテンシ一が発生する)。ただし、音を途切れさせることなく前音と後音との間をつなぐレガート奏法を実現した楽音を高品質に合成することができる。したがって、「品質優先モード」は、ジョイント区間の楽音合成のためにノーマルジョイントモジュールを従来通りに使用することで、レーテンシーを犠牲にする代わりに、高品質な楽音を合成することのできるようにしたモードであると!/、える。 [0032] 前記モード設定情報が「発音優先モード」に設定されて!、る場合には (ステップ S4 の YES)、前音に対しては前音波形を終了するためのノーマルテールモジュールを使用（選択)するように指示する奏法情報を生成する一方で、後音に対しては後音波形を開始するためのジョイントヘッドモジュールを使用（選択)するように指示する奏法情報を生成する (ステップ S5)。すなわち、この場合にも前音と後音の 2音がそれぞれ独立した波形として合成されることになる。ただし、この場合には、該選択したノーマルテールモジュールとジョイントヘッドモジュールに対して、前音及び後音の音高や振幅等を反映した波形の加工を施すよう、該加工に関する情報を前記生成したそれぞれの奏法情報に対してカ卩える (ステップ S6)。ステップ S9は、生成された奏法情報（すなわち、選択されたノーマルテールモジュールとジョイントヘッドモジュール）に従い楽音を合成する。

[0033] 前記波形の加工とは、例えば、前音と後音の音高差や音量差等の前音と後音との間における音の前後関係に応じて、該選択したノーマルテールモジュールとジョイントヘッドモジュールそれぞれの振幅（Amp)ベクタ、ピッチ（Pitch)ベクタ、波开 (Timbre )ベクタを変更したり、各モジュールの配置時間を調整したりすることである（詳しくは後述する）。こうすることによって、ノーマルジョイントモジュールを用いる場合に比べて、楽音の品質 (合成品質)が悪くなることを防止するようにしている。したがって、「発音優先モード」は、ジョイント区間の楽音合成のためにノーマルジョイントモジュールを使用せずに、ノーマルテールモジュールとジョイントヘッドモジュールを使用し、またこれらのモジュールを前音と後音との音の前後関係に応じて適宜に加工することにより、レーテンシーを改善することに加えて、品質を落とすことなく楽音を合成することのできるようにした、従来にないモードであるといえる。また、ノーマルテールモジユールとジョイントヘッドモジュールをカ卩ェして用いることから、これらのデータを使いまわすことができ、データベースにおけるモジュールの記憶容量の増加を押えることができる、という利点がある。

[0034] 上記した「発音優先モード」の場合、後音については、前音の発音に左右されずに、ジョイントヘッドモジュールの発音に従って独立して発音処理がなされること（すなわち、既に発音されている前音に、これから発音する後音を繋ぐための処理が不要である）、ノーマルジョイントモジュールを用いた場合に見られるような音高遷移にか力る時間がなくなることなどの点から、ノーマルジョイントモジュールを用いる場合に比ベると後音の発音遅れ (レーテンシー）を短縮することができる。しかし、ノーマルテールモジュールとジョイントヘッドモジュールとを用いてジョイント区間の楽音を合成する場合には、前音と後音とを連続的につながった 1つの波形としてではなぐ前音と後音とをそれぞれ独立した波形として合成するために、前音から後音への音高遷移がノーマルジョイントモジュールを使用した時と比べるとどうしても唐突になってしまい、音と音との繋がりが悪くレガートとして聞こえにくい。そこで、こうした不都合を避け、前音力も後音への音高遷移のつながりをよくしてレガートとして聞こえるようにするために、上記した「ジョイント部楽音合成処理」では、選択したノーマルテールモジュールとジョイントヘッドモジュールそれぞれの各べクタを音の前後関係に応じて変更する、各モジュールを配置する時間を調整する、などの波形の加工を施して力も楽音を合成するようにしている。以下、波形の加工の一例について説明する。

[0035] ノーマルテールモジュールとジョイントヘッドモジュールにおける振幅（Amp)ベクタ及びピッチ（pitch)ベクタの変更、及び前記各モジュールの配置時間の調整につ!ヽて（図 4のステップ S6参照）、図 5及び図 6を用いて説明する。図 5A及び 5Bは、ベタタの変更による波形の加工を模式的に説明するための概要図である。図 5Aはノーマルテールモジュールにおける振幅べクタ及びピッチべクタの変更例を示し、図 5Bはジョイントヘッドモジュールにおける振幅べクタ及びピッチべクタの変更例を示す。上段は波形加工前を示すものであり、下段は波形加工後を示すものである。図中において「HA」は調和成分振幅べクタの代表点値列（一例として、 0, 1, 2の 3点からなる ) , 「HP」は調和成分ピッチべクタの代表点値列（一例として、 0, 1, 2の 3点からなる）、「HT」は調和成分波形べクタの一例（ただし、波形をそのエンベロープのみで略示している）を示す。なお、この図 5では、調和成分用の各べクタ例を示しており、調和外成分の各べクタ例については調和成分用と同様であるので、図示及び説明を省略している。また、代表点値列は図示のものに限らない。

[0036] ノーマルテールモジュールの振幅（Amp)ベクタにっ、ては、図 5Aに示すように、加ェ前に比べて代表点「HA2」の振幅値を下げることにより、代表点「HA1」から「HA 2」へと向かう振幅カーブを右下がりとなるように変更して、該変更後の振幅カーブに従い楽音合成時に前音をフェードアウトさせるようにしている。一方、ジョイントヘッドモジュールの振幅べクタについては、図 5Bに示すように、加工前に比べて代表点「 HA0'」の振幅値を下げることにより、代表点「HA0'」から「HA1 '」へと向かう振幅力ーブが右上がりとなるように変更して、該変更後の振幅カーブに従い楽音合成時に後音をフェードインさせるようにしている。すなわち、本発明においてはジョイント区間の楽音合成のために、ノーマルテールモジュールとジョイントヘッドモジュールとを時間的に重ねて楽音合成し、前音と後音とを別々に合成するようにしたことから、前記モジュールを時間的に重ねて楽音合成することによる楽音への影響を考慮する必要がある。そこで、前音と後音とが同時に発音される前音と後音とが重なり合う範囲にお V、て、前音の振幅をフェードアウトさせる一方で後音の振幅をフェードインさせるように、それぞれの振幅べクタを上記のように変更する。こうした振幅べクタの変更量については、予め取得され記憶しておいた前音の演奏情報と取得した後音の演奏情報とに基づき、例えば前音と後音との音量差を反映して決めるようにするとよい。なお、振幅べクタを変更する際には、ノーマルテールモジュールの振幅べクタにおける代表点「： HA1」から「HA2」へと向力う振幅カーブと、ジョイントヘッドモジュールの振幅ベクタにおける代表点「ΗΑ0'」から「ΗΑ1 '」へと向力う振幅カーブと力ある所定の時間軸に対して対称関係となるように変更するとよい。ただし、これに限られるものでない。

ノーマルテールモジュールのピッチ（pitch)ベクタにっ、ては、図 5Aに示すように、加工前に比べて代表点「HP2」のピッチべクタ値を変更し、代表点「HP1」から「HP2 」へと向力ピッチカーブを右上がりとなるように変更する (ただし、後音の音高が前音の音高よりも高い場合)。一方、ジョイントヘッドモジュールのピッチべクタについては、図 5Bに示すように、代表点「： HP0'」のピッチべクタ値を変更し、代表点「HP0'」から「HP1 '」へと向力ピッチカーブを右上がりとなるように変更する。すなわち、前音の音高から後音の音高へと音高が遷移して!/、くピッチカーブが付加されるように、各モジュールのピッチべクタをそれぞれ変更する。こうしたピッチべクタの変更量につヽては、上記振幅べクタの変更と同様にして、予め取得され記憶しておいた前音の演奏情報と取得した後音の演奏情報とに基づき、例えば前音と後音との音高差を反映して決めるようにするとよい。このようにして、音高差や音量差などの前音と後音との演奏情報の比較に応じて、振幅べクタやピッチべクタの一部 (奏法パラメータ)を変更して、予め記憶された元波形の振幅カーブやピッチカーブを適宜に変化させることにより、前音と後音の各音 (詳しくは、上記したように振幅及び音高遷移)の重なり具合を調整する。こうすることにより、前音から後音への音のつながりがよくなり、これらの各音が発音された際に聞こえる前音と後音とが重なり合う範囲にある音をよりレガート音に似せることができるようになる。

図 6は、ジョイントヘッドモジュールの配置時間の調整による波形の加工について模式的に説明するための概要図である。上段はジョイントヘッドモジュールの配置時間の調整前を示すものであり、下段はジョイントヘッドモジュールの配置時間の調整後を示すものである。なお、図中において点線で図示した波形は上記した振幅べクタの変更による波形の加工前を示し、実線で図示した波形は上記した振幅べクタの変更による波形の加工後を示している。本来ならば後音に使用するジョイントヘッドモジユールは、後音のノートオン情報の受信とほぼ同時に合成が開始される時間位置に配置されるが、本発明実施例においては、遅延制御部を設け、この遅延制御部の働きにより、図 6に示すように、後音の合成開始タイミングを、当該後音のノートオンタイミング (発音開始を指示するタイミング)よりも遅らせる制御を行うことができるようにしている。すなわち、遅延制御部では、前音と後音との音高差や音量差などに従う所定の条件を満たしたとき、後音に使用するジョイントヘッドモジュールについては後音のノートオン情報の受信とほぼ同時に合成が開始される時間位置に配置されることなぐジョイントヘッドモジュールが後音のノートオン情報の受信よりも時間的に所定の遅延時間（時間ずらし量：図中 A t)だけ時間的に後に合成開始されるように、ジョイントモジュールの配置時間をノートオン情報の受信時よりも後にずらすように変更する。そのようにすると、前音と後音との音高差又は音量差が大きい場合など、所定の条件を満たしたとき、後音の発生開始が幾分遅らされることとなり、前音から後音に移行する音高又は音量の変化を緩やかにすることができ、接続部における前音から後音への移行を滑らかにすることができる。この遅延制御部に相当する処理は、図 4中のステツプ S6 (カ卩エステップ)で行ってもょ、し、ある、はステップ S9 (楽音合成ステップ）で行ってもよいし、あるいは、ステップ S6と S9との間に遅延制御ステップを挿入してもよい。なお、遅延時間 A tは一定値であってもよいし、可変値であってもよい。例えば、前音と後音との音高差又は音量差の程度に応じて異なる値の遅延時間 A tが設定 Z選択されてよい。

[0039] なお、上記したノーマルテールモジュール及びジョイントヘッドモジュールのうちのどちらか一方のモジュールについてのみ、上記したような当該音の演奏情報だけに限らずに他の音 (前音又は後音)の演奏情報をも参照して、波形の加工を行うようにしてあってよい。また、上述した実施例では、ノーマルテールモジュールとジョイントへッドモジュールの振幅べクタ及びピッチべクタを変更する際に、各べクタの後音側 (H A2及び HP2)又は前音側 (ΗΑΟ'及び HPO' )の代表点 1つのみを変更して波形を加工する例を示したがこれに限らず、後音側又は前音側に近い方の代表点の複数を変更して波形をカ卩ェするようにしてもよい。例えば、図 5に示した例では、 ΗΑ2と Η A1及び ΗΡ2と HP1、 HAO'と HA1 '及び HPO'と HP1 'の各べクタにおける 2点を変更するなどしてよい。さらには、予め用意された他の振幅べクタやピッチべクタを使用する（つまり元のベクタとまるごと取りかえる）ようにしてもょ、。

なお、予め前音と後音との音高差や音量差に応じたベクタ変更量や時間ずらし量を決めておき、該ベクタ変更量や時間ずらし量に応じて、上記したノーマルテールモジュールとジョイントヘッドモジュールの各べクタの変更及び前記各モジュールの配置時間の調整を行うようにしてあってよい。また、ユーザがベクタ変更量や時間ずらし量を、前音と後音との音量差や音高差などに対応させて適宜設定できるようにしてあつてもよい。

[0040] なお、ベクタ変更後の振幅カーブやピッチカーブが楽器ごとにその変化を異ならせるようにして、楽器の種類に応じた所定の変化量にあわせて各べクタを変更するようにしてよい。また、音高差や音量差に限らずキースケールゃタツチスケールなどに応じて、所定の変化量だけ振幅カーブやピッチカーブを変化させるようにしてあってもよい。

なお、楽音の品質 (合成品質)をより上げるためには、ノーマルテールモジュールの波形べクタデータとして、レガート奏法を実現するノーマルジョイントモジュールのプレノート部分を記憶しておけばょ、し、またジョイントヘッドモジュールの波形べクタデータとして、レガート奏法を実現するノーマルジョイントモジュールのポストノート部分を記憶しておくようにするとよ、。

[0041] なお、本発明において使用する波形データは、上述したような各種奏法に対応して「奏法モジュール」化されたものに限らず、その他のタイプのものであってもよい。また、各モジュールの波形データは、メモリに記憶した PCM、 DPCM、 ADPCMのような適宜の符号化形式からなる波形サンプルデータを単純に読み出すことで生成されるようなものであってもよいし、あるいは、高調波合成演算や FM演算、 AM演算、フィルタ演算、フォルマント合成演算、物理モデル音源など、各種の公知の楽音波形合成方式を適宜採用したものであってもよいことは言うまでもない。すなわち、音源 8〖こおける楽音信号発生方式は、いかなるものを用いてもよい。例えば、発生すべき楽音の音高に対応して変化するアドレスデータに応じて波形メモリに記憶した楽音波形サンプル値データを順次読み出す波形メモリ読み出し方式、又は上記アドレスデータを位相角パラメータデータとして所定の周波数変調演算を実行して楽音波形サンプル値データを求める FM方式、あるいは上記アドレスデータを位相角パラメータデータとして所定の振幅変調演算を実行して楽音波形サンプル値データを求める AM方式等の公知の方式を適宜採用してよい。このように、音源回路 8の方式は波形メモリ方式、 FM方式、物理モデル方式、高調波合成方式、フォルマント合成方式、 VCO + VCF+VCAのアナログシンセサイザ方式、アナログシミュレーション方式等、どのような方式であってもよい。また、専用のハードウェアを用いて音源 8を構成するものに限らず、 DSPとマイクロプログラム、あるいは CPUとソフトウェアを用いて音源回路 8を構成するようにしてもよい。さらに、共通の回路を時分割で使用することによって複数の発音チャンネルを形成するようなものでもよ!/、し、各発音チャンネルがそれぞれ専用回路で構成されるようなものであってもよ、。

[0042] なお、楽音合成の方式としては、既存の演奏情報を本来の演奏時間到来前に先行取得しておき、これを解析して楽音を合成する所謂プレイバック方式であってもよ、し、リアルタイムに供給された演奏情報に基づき楽音を合成するリアルタイム方式のどちらであってもよい。

なお、前音と後音とが重なっていない、つまり前音の発音終了と後音の発音開始とが時間的に離れており（前音のノートオフ情報を取得する前に後音のノートオン情報が取得された場合)、それぞれが独立して楽音合成されるような場合であっても、後音に使用するヘッド系奏法モジュールの振幅べクタやピッチべクタなどを、前音との関係に基づき適宜に変更することにより、後音における音の立ち上がり区間について波形を加工するようにしてょ、。

なお、この楽音合成装置を電子楽器に適用する場合、電子楽器は鍵盤楽器の形態に限らず、弦楽器や管楽器、あるいは打楽器等どのようなタイプの形態でもよい。また、演奏操作子、表示器、音源等を 1つの電子楽器本体に内蔵したものに限らず、それぞれが別々に構成され、 MIDIインタフェースや各種ネットワーク等の通信手段を用いて各機器を接続するように構成されたものにも同様に適用できることはヽうまでもない。また、パソコンとアプリケーションソフトウェアという構成であってもよぐこの場合処理プログラムを磁気ディスク、光ディスクあるヽは半導体メモリ等の記憶メディァカも供給したり、ネットワークを介して供給するものであってもよい。さらに、カラオケ装置や自動演奏ピアノのような自動演奏装置、ゲーム装置、携帯電話等の携帯型通信端末などに適用してもよい。携帯型通信端末に適用した場合、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバコンピュータ側に持たせ、端末とサーバコンピュータとからなるシステム全体として所定の機能を実現するようにしてもよい。すなわち、本発明に従う所定のソフトウェア又はハードウェアを用いることによって、モード選択に応じてジョイント区間の楽音合成のために使用すべき奏法モジュールを適宜に切り替えることができ、また「発音優先モード」が選択された場合に、奏法モジュールを音の前後関係に応じて加工して力楽音合成するようにしたものであればどのようなものであってもよ！/、。

Claims

請求の範囲

[1] 音の立ち上がり区間に対応したヘッド部の波形データと、音の立ち下がり区間に対応したテール部の波形データと、相前後する 2つの音の間をつなぐ接続区間に対応した接続部の波形データとを少なくとも記憶する記憶部と、

発音優先モード又は品質優先モードのいずれかを設定するモード設定部と、演奏情報を取得する取得部と、

前記取得した演奏情報に応じて相前後する 2つの音の間をつなぐ接続音を発生すべきときに、前記モード設定部によって設定されたモードが品質優先モードである場合には、前記記憶部から前記接続部の波形データを選択する一方で、前記設定されたモードが発音優先モードである場合には、前記記憶部から前記ヘッド部の波形データと前記テール部の波形データとを選択するデータ選択部と、

前記設定されたモードが発音優先モードである場合に、前記取得した演奏情報に基づ、て、前記選択したヘッド部の波形データ及び前記テール部の波形データの少なくとも一方のピッチ及び振幅の少なくとも一方を、接続音として滑らかに音が遷移するように加工するデータ加工部と、

前記データ選択部による選択に従って前記記憶部から読み出された波形データに基づき、かつ前記データ加工部での加工に従い、楽音を合成する楽音合成部とを具えてなり、

前記設定されたモードが発音優先モードである場合に、前記楽音合成部では、前記記憶部から読み出したテール部の波形データに基づき相前後する 2つの音のうち時間的に先行する前音の立ち下がり区間の楽音を、前記記憶部から読み出したへッド部の波形データに基づき相前後する 2つの音のうち時間的に後続する後音の立ち上がり区間の楽音を、前記データ加工部による加工に従ってそれぞれ別々に合成し、これらの合成された前音の立ち下がり区間の楽音と後音の立ち上がり区間の楽音との組み合わせにより接続音が実現されることを特徴とする楽音合成装置。

[2] 前記記憶部は、元波形力抽出したヘッド部の波形データ及びテール部の波形データと共に、各部毎に元波形の時間的なピッチ変動及び Z又は振幅変動を記憶してなり、前記データ加工部は、後音の演奏情報を参照して前音との音高差及び Z又は音量差を求め、これに基づき前記記憶したテール部のピッチ変動及び z又は振幅変動を変更するよう加工する一方、前音の演奏情報を参照して後音との音高差及び

Z又は音量差を求め、これに基づき前記記憶したヘッド部のピッチ変動及び Z又は振幅変動を変更するよう加工することを特徴とする請求項 1に記載の楽音合成装置。

[3] 前記記憶部は、前記テール部の波形データとして、少なくとも 2つの音が連続する元波形を前音と後音とが切り替わる所定箇所で分割したうちの、該分割した所定箇所よりも前の波形力なるものを記憶することを特徴とする請求項 1又は 2に記載の楽音合成装置。

[4] 前記記憶部は、前記ヘッド部の波形データとして、少なくとも 2つの音が連続する元波形を前音と後音とが切り替わる所定箇所で分割したうちの、該分割した所定箇所以降の波形力なるものを記憶することを特徴とする請求項 1乃至 3のいずれかに記載の楽音合成装置。

[5] 前記設定されたモードが発音優先モードである場合に、前記テール部の波形データの合成開始タイミングを、前記後音の発音開始指示タイミングよりも遅らせる制御を行う遅延制御部を更に具備することを特徴とする請求項 1乃至 4のいずれかに記載の楽音合成装置。

[6] 前記遅延制御部は、前音と後音との音高差又は音量差の程度に応じて、前記合成開始タイミングの前記後音の発音開始指示タイミングに対する遅れ時間を決定することを特徴とする請求項 5に記載の楽音合成装置。

[7] 前記取得した演奏情報に基づき、相前後する 2つの演奏音がレガート奏法で演奏されるべきカゝ否かを判定する判定部を更に具備し、

前記データ選択部は、前記判定部がレガート奏法で演奏されるべきと判定したとき、相前後する 2つの音の間をつなぐ接続音を発生するために、前記接続部の波形データ、あるいは前記ヘッド部の波形データと前記テール部の波形データ、を選択することを特徴とする請求項 1乃至 6のいずれかに記載の楽音合成装置。

[8] 音の立ち上がり区間に対応したヘッド部の波形データと、音の立ち下がり区間に対応したテール部の波形データと、相前後する 2つの音の間をつなぐ接続区間に対応した接続部の波形データとを少なくとも記憶するメモリを使用して、コンピュータによつて実行される楽音合成方法であって、

発音優先モード又は品質優先モードのいずれかを設定するステップと、演奏情報を取得するステップと、

前記取得した演奏情報に応じて相前後する 2つの音の間をつなぐ接続音を発生すべきときに、前記モード設定部によって設定されたモードが品質優先モードである場合には、前記メモリから前記接続部の波形データを選択する一方で、前記設定されたモードが発音優先モードである場合には、前記メモリから前記ヘッド部の波形データと前記テール部の波形データとを選択するステップと、

前記設定されたモードが発音優先モードである場合に、前記取得した演奏情報に基づ、て、前記選択したヘッド部の波形データ及び前記テール部の波形データの少なくとも一方のピッチ及び振幅の少なくとも一方を、接続音として滑らかに音が遷移するように加工するステップと、

前記選択するステップでの選択に従って前記メモリから読み出された波形データに基づき、かつ前記加工するステップでの加工に従い、楽音を合成するステップとを具えてなり、

前記設定されたモードが発音優先モードである場合に、前記楽音を合成するステツプでは、前記メモリから読み出したテール部の波形データに基づき相前後する 2つの音のうち時間的に先行する前音の立ち下がり区間の楽音を、前記メモリから読み出したヘッド部の波形データに基づき相前後する 2つの音のうち時間的に後続する後音の立ち上がり区間の楽音を、前記カ卩ェするステップによる加工に従ってそれぞれ別々に合成し、これらの合成された前音の立ち下がり区間の楽音と後音の立ち上がり区間の楽音との組み合わせにより接続音が実現されることを特徴とする楽音合成方法。

[9] 前記設定されたモードが発音優先モードである場合に、前記テール部の波形データの合成開始タイミングを、前記後音の発音開始指示タイミングよりも遅らせる制御を行うステップを更に具備することを特徴とする請求項 8に記載の楽音合成方法。

[10] コンピュータ読み取り可能な記憶媒体であって、音の立ち上がり区間に対応したへッド部の波形データと、音の立ち下がり区間に対応したテール部の波形データと、相前後する 2つの音の間をつなぐ接続区間に対応した接続部の波形データとを少なくとも記憶するメモリを使用して、コンピュータに楽音合成手順を実行させるためのプログラムを記憶してなり、前記楽音合成手順は、

前記取得した演奏情報に応じて相前後する 2つの音の間をつなぐ接続音を発生すべきときに、前記設定されたモードが品質優先モードである場合には、前記メモリから前記接続部の波形データを選択する一方で、前記設定されたモードが発音優先モードである場合には、前記メモリから前記ヘッド部の波形データと前記テール部の波形データとを選択するステップと、

前記設定されたモードが発音優先モードである場合に、前記楽音を合成するステツプでは、前記メモリから読み出したテール部の波形データに基づき相前後する 2つの音のうち時間的に先行する前音の立ち下がり区間の楽音を、前記メモリから読み出したヘッド部の波形データに基づき相前後する 2つの音のうち時間的に後続する後音の立ち上がり区間の楽音を、前記カ卩ェするステップによる加工に従ってそれぞれ別々に合成し、これらの合成された前音の立ち下がり区間の楽音と後音の立ち上がり区間の楽音との組み合わせにより接続音が実現されることを特徴とするコンピュータ読み取り可能な記憶媒体。

前記設定されたモードが発音優先モードである場合に、前記テール部の波形データの合成開始タイミングを、前記後音の発音開始指示タイミングよりも遅らせる制御を行うステップを更に具備することを特徴とする請求項 10に記載のコンピュータ読み取り可能な記憶媒体。