JP4407473B2 - 奏法決定装置及びプログラム - Google Patents

Description

この発明は、演奏データの特徴に基づいて、付加すべき対象の音楽的表現を決定する奏法決定装置及びプログラムに関する。特に、相前後して発生される重なり合う２音に付加すべき対象とされている奏法の適用可否に応じて、付加すべき奏法を決定するようにした奏法決定装置及びプログラムに関する。

最近では、演奏者による演奏操作子の操作に伴い発生される演奏データ、あるいは予め用意された演奏データに基づいて電子的に楽音を発生する電子楽器が普及している。こうした電子楽器で用いられる演奏データは楽譜上の各音符や音楽記号に対応するＭＩＤＩデータなどとして構成されるが、一連の音符列の各音高をノートオン情報やノートオフ情報などの音高情報のみで構成すると、例えば該演奏データを再生することにより行われる楽音の自動演奏などでは機械的な無表情な演奏が行われることになってしまい、音楽的に不自然である。そこで、従来から、演奏データに基づく演奏をより音楽的に自然な演奏、美しい演奏、生々しい演奏とするために、ユーザ操作に応じて指定された奏法を付加しながら演奏を行うことのできる装置や、演奏データ中の特徴に基づいて奏法等に応じた様々な音楽的な表現の判定を行い、該判定結果に応じた奏法を自動的に付加しながら演奏を行うことのできる装置などが知られている。こうした装置の１例としては、例えば下記に示す特許文献１に記載の装置がある。従来知られた装置では、演奏データ中の特徴に基づき様々な音楽的な表情や楽器により特徴付けられる奏法（若しくはアーティキュレーション）の判定を行い、該奏法を演奏データに付加する。例えば、演奏データの中からスタッカートやレガートなどの奏法を行うのに適した箇所を自動的に判定し、該検索箇所の演奏データに対してスタッカートやレガート（スラーとも呼ぶ）などの奏法を実現することの可能な演奏情報（例えば奏法指定イベントなど）を新たに付加している。
特開2003-271139号公報

ところで、電子楽器において、アコースティック楽器等の自然楽器の演奏をよりリアルに再現するためには、さまざまな奏法を使い分けることが肝要であり、電子楽器に具備されている音源であれば原理的にはどのような奏法であっても実現可能ではある。しかし、実際の自然楽器での演奏を考慮すると、楽器の構造や奏法の特性あるいは演奏時における運指等の制約から、現実的には演奏が難しく、指定された奏法を付加することがそぐわない場合がある。例えば、相前後して発生される重なり合う２音の音高差（音程）が著しく小さいために、例えばグリッサンド奏法を付加することが実際の自然楽器の演奏では非常に難しいにも関わらず、従来の装置では、該重なり合う２音間に付加すべき奏法として判定された（あるいは予め指定済みの）グリッサンド奏法がそのまま適用されていた。このように、従来においては、付加すべき対象として指定された奏法が例え奏法としてそぐわないものであり、自然楽器での実現が難しい奏法であったとしても、一度指定された奏法がそのまま適用されてしまい、そうした場合に音楽的に不自然な表現での演奏が行われてしまい都合が悪い、という問題点があった。

本発明は上述の点に鑑みてなされたもので、現実的には演奏が困難である奏法の適用を回避し、よりリアルな自然楽器の演奏に近い現実的な演奏を行うことのできるようにした奏法決定装置及びプログラムを提供しようとするものである。

本発明に係る奏法決定装置は、演奏イベント情報を供給する供給手段と、所定の奏法毎に音高差制限範囲を設定する条件設定手段と、前記供給された演奏イベント情報に基づき、相前後して発生される重なり合う２音を検出し、該検出した２音の音高差を取得する取得手段と、前記検出した重なり合う２音に付加しようとする奏法を指示する情報を取得する奏法取得手段と、前記取得した情報に指示される奏法に対応する音高差制限範囲と前記取得した２音の音高差との比較により前記取得した情報に指示される奏法の適用可否を判定する判定手段と、前記取得した情報に指示される奏法が適用可である場合には前記取得した情報に指示される奏法を前記検出した２音に付加すべき奏法に決定する一方で、前記取得した情報に指示される奏法が適用否である場合にはさらに前記取得した２音の音高差が前記音高差制限範囲とは異なる所定の制限範囲を超えるか否かの判定を行なって、前記音高差が前記制限範囲を超えるときは２音が少し切れた演奏表現を実現するタンギング奏法を前記検出した２音に付加すべき奏法に決定し、前記音高差が前記制限範囲を超えないときは２音が滑らかに繋がった演奏表現を実現するレガート奏法を前記検出した２音に付加すべき奏法に決定する奏法決定手段とを具える。

本発明によると、演奏イベント情報に基づき、相前後して発生される重なり合う２音を検出し、また検出した２音の音高差を取得する。さらに、前記検出した重なり合う２音に付加しようとする奏法を指示する情報を取得する。そして、前記取得した情報に指示される奏法の適用可否を判定し、該適用可否に応じて前記検出した２音に付加すべき奏法を決定する。奏法の適用可否の判定は、前記取得した情報に指示される奏法に対応する音高差制限範囲と前記取得した２音の音高差との比較により行われるものであり、前記音高差制限範囲は条件設定手段により所定の奏法毎に設定されている判定条件である。この奏法の適用可否の判定に基づき、前記検出した２音に付加すべき奏法の決定手順が異なる。すなわち、前記取得した情報に指示される奏法が適用可である場合には、前記取得した情報に指示される奏法を付加すべき奏法に決定する。一方で、前記取得した情報に指示される奏法が適用否である場合には、さらに前記取得した２音の音高差が前記音高差制限範囲とは異なる所定の制限範囲を超えるか否かの判定を行なってタンギング奏法又はレガート奏法のうちのいずれかを付加すべき奏法に決定する。ここで、前記音高差が前記制限範囲を超えるときは２音が少し切れた演奏表現を実現するタンギング奏法に、前記音高差が前記制限範囲を超えないときは２音が滑らかに繋がった演奏表現を実現するレガート奏法に決定する。このようにすると、重なり合う２音に付加しようとする奏法が指定されており、該指定された奏法の音高差制限範囲から２音の音高差が外れているような場合において、そのまま指定された奏法が用いられることによる楽器の構造や奏法の特性などから実際には有り得ない音高差で奏法が適用されることを回避して音楽的に不自然な表現での演奏が行われることがないようにできるだけでなく、そうした場合であっても２音の音高差に従って違和感なく聞こえる範囲であれば２音を滑らかに繋げるレガート奏法を自動付加する一方で、どうしても２音を繋げることに無理がある場合にのみ２音の繋がりを切って短時間に音が移行するタンギング奏法を自動付加することから、状況に応じて表情豊かで自然な音楽的な流れからなる多様な演奏を行うことができるようになる。

本発明は、装置の発明として構成し、実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。

本発明によれば、相前後して発生される重なり合う２音の音高差（音程）に基づいて、該２音に付加すべき対象の奏法の適用可否を判定し、該適用可否に応じて付加すべき奏法の最終的な決定を行うことから、現実的には演奏が困難である奏法の適用が回避され、よりリアルな自然楽器の演奏に近い現実的な演奏を行うようになる、という効果が得られる。

以下、この発明の実施の形態を添付図面に従って詳細に説明する。

図１は、この発明に係る奏法決定装置を適用した電子楽器のハードウエア構成例を示すブロック図である。ここに示す電子楽器は、演奏者による演奏操作子５の操作に伴ってリアルタイムに供給される演奏データに基づき電子的に楽音を発生するマニュアル演奏、あるいは演奏進行順に供給される予め用意された演奏データに基づき電子的に楽音を連続発生する自動演奏などの演奏機能を有する。また、こうした演奏機能の実行時に、演奏者による奏法スイッチ等からの奏法指定操作に応じて指定された奏法（指定奏法）を付加しながらの演奏を適宜に行うことができるだけでなく、供給される演奏データの特徴に基づき新たに付加すべき対象の音楽的表現として奏法判定を行い、該判定に従って付加すべき対象の奏法（指定奏法）を指定する奏法自動判定機能を有し、さらには演奏者による奏法スイッチ等からの奏法指定操作に応じてあるいは前記奏法自動判定機能により指定された奏法（指定奏法）の適用可否に応じて、付加すべき奏法の最終的な決定を行う奏法決定機能を有している。

図１に示した電子楽器はコンピュータを用いて構成されており、そこにおいて、前記演奏機能を実現する「演奏処理」（図示せず）、前記奏法自動判定機能を実現する「奏法自動判定処理」（図示せず）、前記奏法決定機能を実現する「奏法決定処理」（後述する図５参照）などの各種処理は、コンピュータが各々の処理を実現する所定のプログラム（ソフトウエア）を実行することにより実施される。勿論、これらの各処理はコンピュータソフトウエアの形態に限らず、ＤＳＰ（ディジタル・シグナル・プロセッサ）によって処理されるマイクロプログラムの形態でも実施可能であり、また、この種のプログラムの形態に限らず、ディスクリート回路又は集積回路若しくは大規模集積回路等を含んで構成された専用ハードウエア装置の形態で実施してもよい。

本実施例に示す電子楽器は、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータの制御の下に各種の処理が実行されるようになっている。ＣＰＵ１は、この電子楽器全体の動作を制御するものである。このＣＰＵ１に対して、通信バス１Ｄ（例えば、データ及びアドレスバスなど）を介してＲＯＭ２、ＲＡＭ３、外部記憶装置４、演奏操作子５、パネル操作子６、表示器７、音源８、インタフェース９がそれぞれ接続されている。更に、ＣＰＵ１には、タイマ割込み処理（インタラプト処理）における割込み時間や各種時間を計時するタイマ１Ａが接続されている。すなわち、タイマ１Ａは時間間隔を計数したり、所定の演奏データに従って楽曲を演奏する際の演奏テンポを設定したりするためのテンポクロックパルスを発生する。このテンポクロックパルスの周波数は、パネル操作子６の中の例えばテンポ設定スイッチ等によって調整される。このようなタイマ１ＡからのテンポクロックパルスはＣＰＵ１に対して処理タイミング命令として与えられたり、あるいはＣＰＵ１に対してインタラプト命令として与えられる。ＣＰＵ１は、これらの命令に従って上記したような各種処理を実行する。なお、この実施例に示す電子楽器は上記した以外のハードウェアを有する場合もあるが、ここでは必要最小限の資源を用いた場合について説明する。

ＲＯＭ２は、ＣＰＵ１により実行される各種プログラム、あるいは波形メモリとして様々な楽器毎の特有な奏法に対応する波形データ（例えば、後述する図２（ｂ）に示す奏法モジュール）などの各種データを格納するものである。ＲＡＭ３は、ＣＰＵ１が所定のプログラムを実行する際に発生する各種データを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、メモリなどとして利用される。外部記憶装置４は、自動演奏の元となる演奏データや奏法に対応する波形データなどの各種データや、ＣＰＵ１により実行あるいは参照される例えば「奏法決定処理」（図５参照）などの各種制御プログラム等を記憶する。前記ＲＯＭ２に制御プログラムが記憶されていない場合、この外部記憶装置４（例えばハードディスク）に制御プログラムを記憶させておき、それを前記ＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、外部記憶装置４はハードディスク（ＨＤ）に限られず、フレキシブルディスク（ＦＤ）、コンパクトディスク（ＣＤ−ＲＯＭ・ＣＤ−ＲＡＭ）、光磁気ディスク（ＭＯ）、あるいはＤＶＤ（Digital Versatile Disk）等の着脱自在な様々な形態の外部記録媒体を利用する記憶装置であってもよい。あるいは、半導体メモリなどであってもよい。

演奏操作子５は楽音の音高を選択するための複数の鍵を備えた、例えば鍵盤等のようなものであり、各鍵に対応してキースイッチを有しており、この演奏操作子５は演奏者自身の手弾きに応じたリアルタイムなマニュアル演奏のために使用できるのは勿論のこと、自動演奏対象とする予め用意されている演奏データを選択するなどの入力手段として使用することもできる。勿論、演奏操作子５は鍵盤等の形態に限らず、楽音の音高を選択するための弦を備えたネック等のような形態のものなど、どのようなものであってもよいことは言うまでもない。パネル操作子（スイッチ等）６は、例えば自動演奏対象とする演奏データを選択するための演奏データ選択スイッチ、奏法の自動判定に用いる判定条件（奏法判定条件）を入力するための判定条件入力スイッチ、付加しようとする所望の奏法を直接指定するための奏法スイッチ、奏法の適用可否に用いる音高差制限（後述する図４参照）を入力するための音高差制限入力スイッチ等、各種の操作子を含んで構成される。勿論、演奏を行う際に用いる音高、音色、効果等を選択・設定・制御するために用いられる数値データ入力用のテンキーや文字データ入力用のキーボード、あるいは表示器７に表示された各種画面の位置を指定するポインタを操作するマウスなどの各種操作子を含んでいてもよい。表示器７は例えば液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成されるディスプレイであって、上記スイッチ操作に応じて図示しない各種画面を表示したり、演奏データや波形データなどの各種情報あるいはＣＰＵ１の制御状態などを表示したりする。

音源８は複数のチャンネルで楽音信号の同時発生が可能であり、通信バス１Ｄを経由して与えられた演奏データを入力し、この演奏データに基づいて楽音を合成して楽音信号を発生する。すなわち、演奏データの奏法指定情報（例えば奏法指定イベント）に対応する波形データがＲＯＭ２や外部記憶装置４などから読み出されると、該読み出された波形データはバスラインを介して音源８に与えられて適宜バッファ記憶される。そして、音源８ではバッファ記憶された波形データを所定の出力サンプリング周波数にしたがって出力する。この音源８から発生された楽音信号は、図示しない効果回路（例えばＤＳＰ（Digital Signal Processor））などにより所定のディジタル信号処理が施され、該信号処理された楽音信号はサウンドシステム８Ａに与えられて発音される。

インタフェース９は該電子楽器と外部の演奏データ生成機器（図示せず）などとの間で各種情報を送受するための、例えばＭＩＤＩインタフェースや通信インタフェースなどである。ＭＩＤＩインタフェースは、外部の演奏データ生成機器（この場合には、他のＭＩＤＩ機器等）からＭＩＤＩ規格の演奏データを当該電子楽器へ供給したり、あるいは当該電子楽器からＭＩＤＩ規格の演奏データを他のＭＩＤＩ機器等へ出力するためのインタフェースである。他のＭＩＤＩ機器はユーザによる操作に応じてＭＩＤＩ形式のデータを発生する機器であればよく、鍵盤型、ギター型、管楽器型、打楽器型、身振り型等どのようなタイプの操作子を具えた（若しくは、操作形態からなる）機器であってもよい。通信インタフェースは、例えばＬＡＮやインターネット、電話回線等の有線あるいは無線の通信ネットワーク（図示せず）に接続されており、概通信ネットワークを介して、外部の演奏データ生成機器（この場合には、サーバコンピュータ等）と接続され、当該サーバコンピュータから制御プログラムや演奏データなどの各種情報を該電子楽器に取り込むためのインタフェースである。すなわち、ＲＯＭ２や外部記憶装置４等に制御プログラムや演奏データなどの各種情報が記憶されていない場合に、サーバコンピュータから各種情報をダウンロードするために用いられる。クライアントとなる電子楽器は、通信インターフェース及び通信ネットワークを介してサーバコンピュータへと制御プログラムや演奏データなどの各種情報のダウンロードを要求するコマンドを送信する。サーバコンピュータは、このコマンドを受け、要求された各種情報を通信ネットワークを介して本電子楽器へと配信し、本電子楽器が通信インタフェースを介して各種情報を受信して外部記憶装置４等に蓄積することにより、ダウンロードが完了する。

なお、上記インタフェース９をＭＩＤＩインタフェースで構成した場合、該ＭＩＤＩインタフェースは専用のＭＩＤＩインタフェースを用いるものに限らず、ＲＳ２３２−Ｃ、ＵＳＢ（ユニバーサル・シリアル・バス）、ＩＥＥＥ１３９４（アイトリプルイー１３９４）等の汎用のインタフェースを用いてＭＩＤＩインタフェースを構成するようにしてもよい。この場合、ＭＩＤＩイベントデータ以外のデータをも同時に送受信するようにしてもよい。ＭＩＤＩインタフェースとして上記したような汎用のインタフェースを用いる場合には、他のＭＩＤＩ機器はＭＩＤＩイベントデータ以外のデータも送受信できるようにしてよい。勿論、音楽情報に関するデータフォーマットはＭＩＤＩ形式のデータに限らず、他の形式であってもよく、その場合はＭＩＤＩインタフェースと他のＭＩＤＩ機器はそれにあった構成とする。

ここで、上述したＲＯＭ２や外部記憶装置４などに記憶される演奏データ及び波形データについて、図２を用いてそれぞれ簡単に説明する。まず、演奏データについて説明する。図２（ａ）は、演奏データの一実施例を説明するための概念図である。

演奏データはＳＭＦ（Standard MIDI File）等のＭＩＤＩ形式のファイルで格納される、例えば１曲分の楽音全体を表わすデータである。該演奏データは、タイミングデータとイベントデータとの組み合わせからなる。イベントデータは、楽音の発音を指示するノートオンイベントや楽音の消音を指示するノートオフイベント、あるいは奏法を指示する演奏情報である奏法指定イベント等の演奏イベント情報に関するデータである。このイベントデータは、タイミングデータと組み合わされて使用される。本実施例でのタイミングデータとは、イベントデータから次のイベントデータまでの時間間隔を示す時間データ（すなわち、デュレーションデータ）であるがこれに限らず、ある特定の時間からの相対時間、あるいは絶対時間そのものを用いる等どのようなフォーマットでもよい。なお、通常のＳＭＦでは、時刻を示すものは秒などの時刻ではなく、例えば４分音符を４８０等分したものを１ティックとし、その数で表現する。要するに、演奏データの形式としては、イベントの発生時刻を曲や小節内における絶対時間で表した『イベント＋絶対時間』形式のもの、イベントの発生時刻を１つ前のイベントからの時間で表した『イベント＋相対時間』形式のもの、音符の音高と符長あるいは休符と休符長で演奏データを表した『音高（休符）＋符長』形式のもの、演奏の最小分解能毎にメモリの領域を確保し、演奏イベント情報の発生する時刻に対応するメモリ領域にイベントを記憶した『ベタ方式』形式のものなど、どのような形式のものでもよい。なお、演奏データは複数トラック分のイベントデータが混在して記録されているもの、つまりイベントデータをその割り当てられたトラックにかかわらず出力順に１列に並べて記憶しているものに限らず、各イベントデータを各トラック毎に独立して記憶するように演奏データを構成してもよいことは言うまでもない。また、演奏データは上記イベントデータやタイミングデータの他に、各種音源コントロールデータ（例えばボリュームなどを制御するデータ）などを含んでいてよい。

次に、波形データについて説明する。図２（ｂ）は、波形データの一実施例を説明するための概念図である。ただし、ここでは様々な楽器毎の特有な奏法に対応する波形データとして、アタック（又はヘッド）部、リリース（又はテール）部、ボディ部などの一音についての一部区間や、ジョイント部などの異なる２音間の接続区間において、各奏法に対応した波形全体（これを奏法モジュールと呼ぶ）を記憶しておき、これを時系列的に複数組み合わせることで一連の楽音を形成する、自然楽器固有の各種奏法若しくはアーティキュレーションによる音色変化を忠実に表現した奏法などのリアルな再現とその制御を目的としたＡＥＭ（Articulation Element Modeling）と称する楽音波形制御技術を用いた音源（所謂ＡＥＭ音源）に用いるのに適した波形データを例に示した。

上述したＲＯＭ２や外部記憶装置４においては、楽器毎の種々の奏法に対応する波形を再生する多数のオリジナルの奏法波形データとそれに関連するデータ群を「奏法モジュール」として記憶している。１つの「奏法モジュール」とは、奏法波形合成システムにおいて１つのかたまりとして処理できる奏法波形の単位である。別の言い方をすると、「奏法モジュール」とは、１つのイベントとして処理できる奏法波形の単位である。「奏法モジュール」は、奏法波形データと奏法パラメータとの組み合わせからなるデータである。図２（ｂ）から理解できるように、種々有る奏法モジュールの奏法波形データの中には、例えば演奏音の奏法的特徴に応じて、ヘッド部やボディ部あるいはテール部等の１音の部分的区間に対応して定義されているものもあれば（ヘッド系、ボディ系、テール系の各奏法モジュール）、また、スラーのような音と音のつなぎの区間であるジョイント部に対応して定義されているものもある（ジョイント系奏法モジュール）。

こうした各奏法モジュールは、奏法の特徴若しくは演奏の時間的部位又は区間等に基づき、大きくいくつかの種類に分類することができる。その例を示すと、ここでは次の７種類を挙げることができる。
１）「ノーマルヘッド（略称ＮＨ）」：（無音状態からの）音の立ち上がり部分（つまり「アタック」部）を受け持つヘッド系奏法モジュール。
２）「ジョイントヘッド（略称ＪＨ）」：通常のアタックとは異なる特殊な奏法であるタンギング奏法を実現した音の立ち上がり部分を受け持つヘッド系奏法モジュール。
３）「ノーマルボディ（略称ＮＢ）」：ビブラートのかからない、音の立ち上がり以降から立ち下がり以前までの部分（つまり「ボディ」部）を受け持つボディ系奏法モジュール。
４）「ノーマルテール（略称ＮＴ）」：（無音状態への）音の立ち下がり部分（つまり「リリース」部）を受け持つテール系奏法モジュール。
５）「ノーマルジョイント（略称ＮＪ）」：２つの音を（無音状態を経由せずに）レガート（スラー）で接続する部分（つまり「ジョイント」部）を受け持つジョイント系奏法モジュール。
６）「グリスジョイント（略称ＧＪ）」：２つの音を（無音状態を経由せずに）グリッサンドで接続する部分（つまり「ジョイント」部）を受け持つジョイント系奏法モジュール。
７）「シェイクジョイント（略称ＳＪ）」：２つの音を（無音状態を経由せずに）シェイクで接続する部分（つまり「ジョイント」部）を受け持つジョイント系奏法モジュール。
なお、上記７種類の分類法は本明細書での説明のための一例にすぎず、他の分類法を採用してもよいし、更に多くの種類が存在してもよい。また、奏法モジュールは、奏者、楽器の種類、演奏ジャンル等のオリジナル音源別にも分類されるのは勿論である。

この実施例において、１つの奏法モジュールに対応する１つの奏法波形データはそのままデータベースに記憶されているのではなく、複数の波形構成要素の集合からなるものとしてデータベースに記憶されている。この波形構成要素を、以下、「ベクトル」という。１つの奏法モジュールに対応するベクトルの種類には、一例として下記のようなものがある。なお、調和成分及び調和外成分とは、対象たるオリジナルの奏法波形をピッチ調和成分からなる波形ととそれ以外の残りの波形成分とに分離することで定義されるものである。
１．調和成分の波形（Timbre）ベクトル：調和成分の波形構成要素のうち、ピッチと振幅をノーマライズした波形形状のみの特徴を抽出したもの。
２．調和成分の振幅（Amplitude）ベクトル：調和成分の波形構成要素のうち、振幅エンベロープ特性を抽出したもの。
３．調和成分のピッチ（Pitch）ベクトル：調和成分の波形構成要素のうち、ピッチ特性を抽出したもの（例えば或る基準ピッチを基準にした時間的ピッチ変動特性を示すもの）。
４．調和外成分の波形（Timbre）ベクトル：調和外成分の波形構成要素のうち、振幅をノーマライズした波形形状（ノイズ的波形）のみの特徴を抽出したもの。
５．調和外成分の振幅（Amplitude）ベクトル：調和外成分の波形構成要素のうち、振幅エンベロープ特性を抽出したもの。
上記のほかに、更に別の種類のベクトル（例えば、波形の時間軸の進行を示す時間ベクトル）が含まれていてもよいが、便宜上、本実施例ではその説明を省略する。

なお、奏法波形の合成に際しては、これらのベクトルデータに対して制御データに応じた加工処理を適宜施して時間軸上に配置することで、奏法波形の各構成要素に対応する波形若しくはエンベロープを演奏音の再生時間軸に沿ってそれぞれ構築し、このようにして時間軸上に配置された各ベクトルデータに基づいて所定の波形合成処理を行うことで、奏法波形を生成する。例えば、調和波形ベクトルに調和ピッチベクトルに応じたピッチ及びその時間変化特性を付与すると共に調和振幅ベクトルに応じた振幅及びその時間変化特性を付与することで調和成分の波形を合成し、調和外波形ベクトルに調和外振幅ベクトルに応じた振幅及びその時間変化特性を付与することで調和外成分の波形を合成し、調和成分の波形と調和外成分の波形とを加算合成することで、最終的な所定の奏法的特徴を示す演奏音波形つまり奏法波形を生成することができる。

各奏法モジュールは、図２（ｂ）に示すような奏法波形データと共に奏法パラメータを含むデータである。奏法パラメータは、当該奏法モジュールに係る波形の時間やレベルなどを制御するためのパラメータである。奏法パラメータには、各奏法モジュールの性格に応じて適宜異なる１又は複数種類のパラメータが含まれていてよい。例えば、「ノーマルヘッド」や「ジョイントヘッド」の場合には、発音開始直後の絶対音高や音量などの種類の奏法パラメータが含まれていてよいし、「ノーマルボディ」の場合には、当該奏法モジュールの絶対音高、ノーマルボディの終了時刻−開始時刻、ノーマルボディ開始時のダイナミクス、ノーマルボディ終了時のダイナミクスなどの種類の奏法パラメータが含まれていてよい。この「奏法パラメータ」は、ＲＯＭ２等によって予め記憶されていてもよいし、あるいはユーザの入力操作によって入力するようにしたり、あるいは既存のパラメータをユーザの操作によって適宜変更できるようになっていたりしてもよい。また、奏法波形の再生に際して、奏法パラメータが与えられなかったような場合には標準的な奏法パラメータを自動的に付加するようにしてもよい。また、処理の過程で、適宜のパラメータが自動的に生成されて付加されるようになっていてもよい。

図１に示した電子楽器においては、演奏者による演奏操作子５の操作に伴って供給される演奏データに基づき楽音を発生したり、あるいは予め用意された演奏データに基づき楽音を発生したりする演奏機能を有する。該演奏機能の実行時には、供給される演奏データの特徴に基づき新たに付加すべき対象の音楽的表現として奏法判定を行い、該判定に従って付加すべき対象の奏法を指定することができる。そして、演奏者による奏法スイッチ等からの奏法指定操作に応じてあるいは前記奏法判定に従って指定された奏法の適用可否に応じて、付加すべき奏法の最終的な決定を行う。そこで、こうした奏法自動判定機能と奏法決定機能の概要について、図３を用いて説明する。図３は、奏法自動判定機能と奏法決定機能とについて説明するための機能ブロック図である。この図３において、図中の矢印はデータの流れを表す。

判定条件指定部Ｊ１は、判定条件入力スイッチ操作に応じて「判定条件入力画面」（図示せず）等を表示器７上に表示し、自動的に付加すべき対象の奏法を指定するための判定条件の入力を受け付ける。演奏機能の開始が指示されると、奏法自動判定部Ｊ２に対して、演奏者による演奏操作子５の操作に応じてあるいは予め指定された演奏データから、演奏イベント情報が演奏進行順に応じて順次に供給される。前記演奏データは少なくとも演奏イベント情報、つまりノートオンイベントやノートオフイベントなどの演奏イベント情報を含む。奏法自動判定部Ｊ２では従来知られた「奏法自動判定処理」（図示せず）を実行し、供給された演奏イベント情報に対して付加すべき対象の奏法を自動的に判定する。すなわち、奏法自動判定部Ｊ２では判定条件指定部Ｊ１からの判定条件に従って、奏法指定がなされていない音（ノート）に対して新たに所定の奏法を付加するか否かを判定する。ここでは、少なくとも相前後して発生される重なり合う２音（具体的には、１音目のノートオフの前に後続する２音目のノートオンが入力された場合）に対して、奏法を付加するか否かを判定する。そして、奏法自動判定部Ｊ２は新たに奏法を付加すると判定した場合に、該奏法に対応する奏法指定イベント（図中の指定奏法）を演奏イベント情報に付加して奏法決定部Ｊ４に送る。該「奏法自動判定処理」は公知のどのようなものであってもよいことから、ここでの詳しい説明は省略する。

音高差（音程）制限条件指定部Ｊ３は、音高差制限条件入力スイッチ操作に応じて「音高差制限条件入力画面」（図示せず）等を表示器７上に表示し、指定奏法の適用可否を判定するための音楽的な条件である音高差の入力を受け付ける。適用可否を判定される指定奏法は、演奏者による奏法指定スイッチ操作に応じて付加された奏法、及び奏法自動判定部Ｊ２での「奏法自動判定処理」の実行に応じて付加された奏法である。奏法決定部Ｊ４では「奏法決定処理」（後述する図５参照）を実行し、供給された指定奏法を含む演奏イベント情報に基づいて、付加すべき奏法の最終的な決定を行う。この実施例では、奏法決定部Ｊ４では音高差条件指定部Ｊ３からの音高差制限条件に従って、相前後して発生される重なり合う２音に付加すべき対象とされている指定奏法の適用可否を判定し、該２音の音高差が音高差条件範囲内（つまり適用可）である場合には指定奏法をそのまま付加すべき奏法として決定する一方、該２音の音高差が音高差条件範囲外（つまり適用否）である場合には指定奏法を適用せずに新たに奏法を決定し、奏法を指示する情報としてこれらの奏法に対応する奏法指定イベント（図中の決定奏法）を演奏イベント情報に付加して楽音合成部Ｊ６に送る。この際に、相前後して発生される重なり合う２音に付加すべき対象とされている指定奏法以外の指定奏法については、そのまま楽音合成部Ｊ６に送る。楽音合成部Ｊ６では送付された決定奏法に基づいて、奏法波形記憶部（波形メモリ）Ｊ５から該当する奏法を実現する波形データを読み出して楽音合成を行い、楽音を出力する。すなわち、決定奏法に従いヘッド系奏法モジュールと、ボディ系奏法モジュールと、テール系奏法モジュール又はジョイント系奏法モジュールとを適宜に切り替えながら組み合わせることによって、１音全体（あるいは連続する音）の楽音を合成する。このようにして、音源８が例えばＡＥＭ音源のような奏法対応機能を持つ音源である場合には、決定奏法を音源に渡すことで高品位の奏法表現を実現することができる。他方、音源８が奏法対応機能を持たない音源である場合には、上記決定奏法のかわりに、波形を切り替えたり、ＥＧその他の形状等を適切に指定した音源制御情報を音源に渡すことで、奏法表現を実現することは言うまでもない。

次に、音高差制限条件について、簡単に説明する。図４は、音高差制限条件の一実施例を示す概念図である。図４（ａ）から理解できるように、音高差制限条件は指定奏法毎に、該指定奏法が有効となる条件として２音の音高差（音程）を定義したものである。ここに示す実施例においては、「グリスジョイント」奏法を適用可とする２音の音高差は「＋1000〜＋1200セント」又は「−1000〜−1200セント」の各音高差制限範囲内にある場合であり、「シェイクジョイント」奏法を適用可とする２音の音高差は「−100〜−300セント」の音高差制限範囲内にある場合である。各指定奏法が上記音高差制限範囲内にない場合には、有効範囲外に適用する奏法として予め決められているデフォルト奏法を適用する。図4（ｂ）から理解できるように、ここではデフォルト奏法として音高の異なる２音を滑らかに繋いだ演奏を表現するレガート奏法である「ノーマルジョイント」奏法、２音が少し切れたような感じの演奏を表現するタンギング奏法である「ジョイントヘッド」奏法のいずれかの奏法が予め用意されており、このデフォルト奏法に対しても上記指定奏法と同様にして、各デフォルト奏法が有効となる条件として２音の音高差（音程）が定義されている。なお、こうした音高差制限条件は、ユーザが適宜に設定・変更可能である。また、奏法毎の音高差制限条件は、奏者、楽器の種類、演奏ジャンル等で異なる設定値を用いてよいことは言うまでもない。

次に、「奏法決定処理」について、図５を用いて説明する。図５は、該電子楽器におけるＣＰＵ１で実行する「奏法決定処理」の一実施例を示したフローチャートである。まず、ステップＳ１では、供給された演奏イベント情報がノートオンイベントであるか否かを判定する。ノートオンイベントでない場合には（ステップＳ１のＮＯ）、当該処理を終了する。ノートオンイベントである場合には（ステップＳ１のＹＥＳ）、ノートオン対象のノート（これを現在ノートと呼ぶ）が、既にノートオンされているが未だノートオフされていない直前のノート（これを直前ノートと呼ぶ）と時間的に重なり合って発生される音であるか否かを判定する（ステップＳ２）。直前ノートと重なり合うノートでないと判定された場合、つまり１音目の直前ノートのノートオフの前に２音目の現在ノートのノートオンが入力されていない場合には（ステップＳ２のＮＯ）、現在ノートの奏法をその他ヘッド系奏法に決定すると共に（ステップＳ３）、現在ノートの音高を取得し記憶する。この際に、ヘッド系の奏法を指定する奏法指定イベントが既に指定済みである場合には、指定されたヘッド系の奏法を付加すべき奏法とする。一方、ヘッド系の奏法を指定する奏法指定イベントが指定済みでない場合には、ヘッド系の奏法としてノーマルヘッドを付加すべき奏法とする。

上記ステップＳ２において、現在ノートが直前ノートと重なり合うと判定された場合、つまり１音目のノートオフの前に２音目のノートオンが入力された場合には（ステップＳ２のＹＥＳ）、ジョイント系の奏法指定イベントが既に指定されているか否かを判定する（ステップＳ４）。ジョイント系の奏法指定イベントが指定されている場合には（ステップＳ４のＹＥＳ）、音高差制限条件に基づき直前ノートと現在ノートの該２音の音高差が指定奏法の音高差制限範囲内か否かを判定する（ステップＳ５）。該２音の音高差が指定奏法の音高差制限範囲内である場合には（ステップＳ５のＹＥＳ）、当該指定奏法を適用可として付加すべき奏法に決定する（ステップＳ６）。ジョイント系の奏法指定イベントがない場合（ステップＳ４のＮＯ）、又は該２音の音高差が指定奏法の音高差制限範囲内でない場合には（ステップＳ５のＮＯ）、該２音の音高差がデフォルトとして予め指定済みのレガート奏法の音高差制限範囲内であるか否かを判定する（ステップＳ７）。該２音の音高差がレガート奏法の音高差制限範囲内である場合には（ステップＳ７のＹＥＳ）、デフォルトのレガート奏法を適用可として付加すべき奏法に決定する（ステップＳ８）。該２音の音高差がレガート奏法の音高差制限範囲内でない場合には（ステップＳ７のＮＯ）、デフォルトのレガート奏法を適用否として適用せず、ヘッド系奏法としてタンギング奏法を付加すべき奏法に決定する（ステップＳ９）。

ここで、上述した「奏法決定処理」（図５参照）により行われる奏法判定の結果に基づいて最終的に生成される波形について、図６を用いて簡単に説明する。図６は、直前ノートとそれに続く現在ノートとの音高差（音程）に応じて決定された奏法に基づき生成される音の波形を示す概念図である。この実施例では、図の左側に判定条件である音高差制限範囲と２音の音高差との関係を示し、図の右側に最終的に生成される波形をエンベロープ波形で示している。ただし、ここでは指定奏法としてシェイクジョイント（ＳＪ）が指定された場合を例に説明する。

直前ノートと現在ノートとの音高差が音高差制限範囲内である場合には、指定奏法であるシェイクジョイントがそのまま適用され、決定奏法として出力される（図５のステップＳ６参照）。したがって、この場合には一般的には独立した１音としてノーマルヘッド（ＮＨ）とノーマルボディ（ＮＢ）とノーマルテール（ＮＴ）とを組み合わせてなるノートを、図６（ａ）に示すように先行する直前ノートのノーマルテールと後続する現在ノートのノーマルヘッドとをシェイクジョイント（ＳＪ）に置きかえて連続する１音の波形を表わすことになる。他方、直前ノートと現在ノートとの音高差が音高差制限範囲内でない場合には、後続する現在ノートのヘッド系奏法としてデフォルトの奏法（ここではジョイントヘッド）が選択される（図５のステップＳ９参照）。したがって、この場合には図６（ｂ）に示すように、従来通りに直前ノートをノーマルヘッド（ＮＨ）とノーマルボディ（ＮＢ）とノーマルテール（ＮＴ）とを組み合わせた独立した１音の波形として表す一方で、後続する現在ノートをジョイントヘッド（ＪＨ）とノーマルボディ（ＮＢ）とノーマルテール（ＮＴ）とを組み合わせたタンギング奏法を表現した独立する１音の波形として表わし、直前ノートのノーマルテール（ＮＴ）と現在ノートのジョイントヘッド（ＪＨ）とが重なり合っている波形になる。このように、連続するノートが重なり合っている場合には、直前ノートの終端と後続する現在ノートの始端とを、直前ノートと現在ノートとの音高差に応じて指定奏法（ここではシェイクジョイント）又はデフォルト奏法（ここではノーマルテールとジョイントヘッド）を用いて、連続する１音の波形又は２音の一部が重なり合う波形として表わす。

また、直前ノートと現在ノートとが重なり合っていない場合には、現在ノートのヘッド系奏法としてその他ヘッド系奏法に決定される（図５のステップＳ３参照）。この場合には、図６（ｃ）に示すように、直前ノートのノートオフから現在ノートのノートオンがなされるまでの時間長（つまり休符長：図中において長方形で音符長を示した先行する直前ノートの最後から後続する現在ノートの始まりまで）に応じて、例えば現在ノートをノーマルヘッド（ＮＨ）とノーマルボディ（ＮＢ）とノーマルテール（ＮＴ）とを組み合わせたもの、現在ノートをジョイントヘッド（ＪＨ）とノーマルボディ（ＮＢ）とノーマルテール（ＮＴ）とを組み合わせたもののいずれかに構成され、直前ノートと現在ノートとをジョイント系奏法モジュールで接続していない独立した音の波形として表わすことになる。このように、ノーマルテールで終端された直前ノートに続く現在ノートの始端を休符長に応じてノーマルヘッド又はジョイントヘッドなどで始まらせ、それぞれのノートを独立した１音として表わす。

以上のようにして、リアルタイム演奏や自動演奏時において、付加しようとする奏法が指定済みの現在ノートと該現在ノートに対して時間的に直前に位置する直前ノートとの音高差を取得し、これを音高差制限範囲と比較することによって、指定済みの奏法を適用するか否かを判定する。そして、該適用可否に応じて付加すべき奏法を決定する。こうすると、楽器の構造や奏法の特性などから実際には有り得ない音高差で奏法が適用されることなどを回避して、そうした場合に標準的な奏法を適用することで、指定された奏法のニュアンスを変えることなく不自然な演奏を回避することができるようになり演奏のリアルさが増す。また、奏法決定処理を奏法自動判定処理などの奏法を指定する処理とは別の処理として構成したことから、従来知られた装置にも簡単に適用することができ有利でもある。

なお、上述した実施例においては、演奏者による奏法スイッチ等からの奏法指定、演奏進行順に順次に供給される演奏データの特徴に基づき自動的に付加された奏法に対応する奏法指定の両方について、音高差による制限による適用可否の判定に従って付加すべき奏法を決定するようにしたがこれに限らず、どちらか一方のみについて音高差による適用可否を判定させるようにしてもよい。
なお、重なり合う複数の音の音高差が全て音高差制限範囲内にあるような場合には、付加すべき奏法を一括して決定するようにしてあってもよい。
なお、上述した各実施例においては、ソフトウエア音源として単音発音するモノモードを例に説明したが複数音を発音するポリモードであってもよいことは言うまでもない。また、ポリモードで構成された演奏データを複数のモノフォニックなシーケンスに分解し、それぞれのシーケンスを複数の奏法決定機能で処理させるようにしてよい。その場合、分解の結果を表示器７上に表示させ、ユーザが確認及び修正できるようにすると便利である。

なお、波形データは上述したような「奏法モジュール」を用いることに限らず、ＰＣＭ、ＤＰＣＭ、ＡＤＰＣＭのようなサンプリングされた波形サンプルデータを用いてもよいことは言うまでもない。すなわち、音源８における楽音信号発生方式は、いかなるものを用いてもよい。例えば、発生すべき楽音の音高に対応して変化するアドレスデータに応じて波形メモリに記憶した楽音波形サンプル値データを順次読み出す波形メモリ読み出し方式、又は上記アドレスデータを位相角パラメータデータとして所定の周波数変調演算を実行して楽音波形サンプル値データを求めるＦＭ方式、あるいは上記アドレスデータを位相角パラメータデータとして所定の振幅変調演算を実行して楽音波形サンプル値データを求めるＡＭ方式等の公知の方式を適宜採用してよい。このように、音源回路８の方式は波形メモリ方式、ＦＭ方式、物理モデル方式、高調波合成方式、フォルマント合成方式、ＶＣＯ＋ＶＣＦ＋ＶＣＡのアナログシンセサイザ方式、アナログシミュレーション方式等、どのような方式であってもよい。また、専用のハードウェアを用いて音源８を構成するものに限らず、ＤＳＰとマイクロプログラム、あるいはＣＰＵとソフトウェアを用いて音源回路８を構成するようにしてもよい。さらに、１つの回路を時分割で使用することによって複数の発音チャンネルを形成するようなものでもよいし、１つの発音チャンネルが１つの回路で形成されるようなものであってもよい。したがって、奏法を指示する情報としては上述したような奏法指定イベントに限られず、上記したような音源８の方式等にあわせた情報であってよいことは言うまでもない。

なお、この奏法決定装置を電子楽器に適用する場合、電子楽器は鍵盤楽器の形態に限らず、弦楽器や管楽器、あるいは打楽器等どのようなタイプの形態でもよい。また、演奏操作子、表示器、音源等を１つの電子楽器本体に内蔵したものに限らず、それぞれが別々に構成され、ＭＩＤＩインタフェースや各種ネットワーク等の通信手段を用いて各機器を接続するように構成されたものにも同様に適用できることはいうまでもない。また、パソコンとアプリケーションソフトウェアという構成であってもよく、この場合処理プログラムを磁気ディスク、光ディスクあるいは半導体メモリ等の記憶メディアから供給したり、ネットワークを介して供給するものであってもよい。さらに、カラオケ装置や自動演奏ピアノのような自動演奏装置、ゲーム装置、携帯電話等の携帯型通信端末などに適用してもよい。携帯型通信端末に適用した場合、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバコンピュータ側に持たせ、端末とサーバコンピュータとからなるシステム全体として所定の機能を実現するようにしてもよい。すなわち、本発明に従う所定のソフトウエア又はハードウエアを用いることによって、楽器の構造や奏法の特性などから実際には有り得ない音高差での奏法の適用を回避することができるようにしたものであれば、どのようなものであってもよい。

この発明に係る奏法決定装置を適用した電子楽器のハードウエア構成例を示すブロック図である。 各種データを説明するための概念図であり、図２（ａ）は演奏データの一実施例を説明するための概念図、図２（ｂ）は波形データの一実施例を説明するための概念図である。 奏法自動判定機能と奏法決定機能とについて説明するための機能ブロック図である。 音高差制限条件の一実施例を示す概念図である。 奏法決定処理の一実施例を示したフローチャートである。 直前ノートとそれに続く現在ノートとの音高差に応じて決定された奏法に基づき生成される音の波形を示す概念図である。

符号の説明

１…ＣＰＵ、１Ａ…タイマ、２…ＲＯＭ、３…ＲＡＭ、４…外部記憶装置、５…演奏操作子（鍵盤等）、６…パネル操作子、７…表示器、８…音源、８Ａ…サウンドシステム、９…インタフェース、１Ｄ…通信バス、Ｊ１…判定条件指定部、Ｊ２…奏法自動判定部、Ｊ３…音高差制限条件指定部、Ｊ４…奏法決定部、Ｊ５…奏法波形記憶部、Ｊ６…楽音合成部

Claims (4)

1. 演奏イベント情報を供給する供給手段と、
   所定の奏法毎に音高差制限範囲を設定する条件設定手段と、
   前記供給された演奏イベント情報に基づき、相前後して発生される重なり合う２音を検出し、該検出した２音の音高差を取得する取得手段と、
   前記検出した重なり合う２音に付加しようとする奏法を指示する情報を取得する奏法取得手段と、
   前記取得した情報に指示される奏法に対応する音高差制限範囲と前記取得した２音の音高差との比較により前記取得した情報に指示される奏法の適用可否を判定する判定手段と、
   前記取得した情報に指示される奏法が適用可である場合には前記取得した情報に指示される奏法を前記検出した２音に付加すべき奏法に決定する一方で、前記取得した情報に指示される奏法が適用否である場合にはさらに前記取得した２音の音高差が前記音高差制限範囲とは異なる所定の制限範囲を超えるか否かの判定を行なって、前記音高差が前記制限範囲を超えるときは２音が少し切れた演奏表現を実現するタンギング奏法を前記検出した２音に付加すべき奏法に決定し、前記音高差が前記制限範囲を超えないときは２音が滑らかに繋がった演奏表現を実現するレガート奏法を前記検出した２音に付加すべき奏法に決定する奏法決定手段と
   を具えた奏法決定装置。
2. 前記奏法決定手段は、前記検出した重なり合う２音に付加しようとする奏法を指示する情報を取得できない場合に、前記取得した２音の音高差に基づいて予め決められている複数のデフォルト奏法のうちのいずれかを、前記検出した重なり合う２音に付加すべき奏法に自動的に決定することを特徴とする請求項１に記載の奏法決定装置。
3. 少なくとも相前後して発生される重なり合う２音に付加しようとする所望の奏法の指定に応じて、該指定された奏法を指示する情報を出力する操作子を具えてなり、
   前記奏法取得手段は、前記操作子から出力された奏法を指示する情報を取得することを特徴とする請求項１又は２に記載の奏法決定装置。
4. コンピュータに、
   演奏イベント情報を供給する手順と、
   所定の奏法毎に音高差制限範囲を設定する手順と、
   前記供給された演奏イベント情報に基づき、相前後して発生される重なり合う２音を検出し、該検出した２音の音高差を取得する手順と、
   前記検出した重なり合う２音に付加しようとする奏法を指示する情報を取得する手順と、
   前記取得した情報に指示される奏法に対応する音高差制限範囲と前記取得した２音の音高差との比較により前記取得した情報に指示される奏法の適用可否を判定する手順と、
   前記取得した情報に指示される奏法が適用可である場合には前記取得した情報に指示される奏法を前記検出した２音に付加すべき奏法に決定する一方で、前記取得した情報に指示される奏法が適用否である場合にはさらに前記取得した２音の音高差が前記音高差制限範囲とは異なる所定の制限範囲を超えるか否かの判定を行なって、前記音高差が前記制限範囲を超えるときは２音が少し切れた演奏表現を実現するタンギング奏法を前記検出した２音に付加すべき奏法に決定し、前記音高差が前記制限範囲を超えないときは２音が滑らかに繋がった演奏表現を実現するレガート奏法を前記検出した２音に付加すべき奏法に決定する手順と
   を実行させるためのプログラム。

Images