JP5703555B2 - 楽音信号処理装置及びプログラム - Google Patents

Description

この発明は、入力された楽音又は音声等のピッチ（音高）に基づきピッチ制御されるリード音を生成すると共に、前記生成したリード音のピッチ変動に追従してピッチ制御される付加音を生成する楽音信号処理装置及びプログラムに関する。特に、短い時間内にピッチが数多く変動する楽音又は音声等が入力された場合において、ピッチにふらつきがなく聴感上落ち着いた安定感のある付加音を生成する技術に関する。

従来から、入力された楽音又は音声等の楽音信号のピッチを検出し（最終的には音楽の音名のいずれかに対応する特定のピッチを検出する）、該検出したピッチのリード音の楽音信号（第１の楽音信号）を生成すると共に、前記検出したピッチと鍵盤等から入力されたコード情報とを元にして別途新たにピッチ（同様に音楽の音名のいずれかに対応する特定のピッチ）を決定し、前記生成したリード音を主音とする別途独立した付加音として前記決定したピッチのハーモニー音の楽音信号（第２の楽音信号）を自動的に生成する楽音生成機能を有する楽音信号処理装置及びプログラムが知られている。こうした装置の一例を挙げると、下記に示す特許文献１に記載の装置がある。なお、この明細書において、楽音信号という場合、音楽的な音の信号に限るものではなく、音声あるいはその他任意の音の信号を含んでいてもよい意味あいで用いるものとする。

ここで、特許文献１に記載された装置等における従来知られた楽音生成処理手順について説明する。図４は、従来知られた楽音生成処理手順を説明するための概念図である。図４左図は当該装置において実行される処理の流れを順に示し、図４右図は各処理の実行に伴う信号波形の変化を示している。縦軸は周波数であり、横軸は時間である。また、図５は、後述するようにしてハーモニー音の音高を決定する際に参照される従来知られた音高決定テーブルのデータ構成を示す概念図である。

まず、マイクロフォン等を介して入力される音声信号は「周波数検出」処理により、周波数信号に変換される。この「周波数検出」処理は、例えば音声分析の分野で周知の技術であるゼロクロス法などの公知のどのような技術を用いてもよいことから、ここでの詳しい説明を省略する。次に、前記周波数信号を「平坦化」処理することによって、周波数信号の変化を平坦化（又は平滑化とも呼ばれる）する。該平坦化された周波数信号は「階名検出」処理により、所定時間毎に１２音音階の階名（音名）のいずれかに離散化される。具体的には、平坦化された周波数信号が半音（１００セント）単位で定められた複数の音楽の音名のいずれかに対応する所定のピッチに丸められる（階名信号と呼ぶ）。このようにして、入力された音声信号のピッチを検出する。「収束曲線」処理では、前記階名信号を時間的に連続変化する信号とする。そして、この時間的に連続変化する信号を「出力変調」処理することによって、入力された音声信号のピッチを変調したリード音の出力信号を生成する。ただし、この例では検出された音声信号のピッチそのものをリード音の音高として決定するものを示す。

一方、ハーモニー音を付加する場合には、前記「階名検出」処理において得られた音声信号のピッチ検出結果（又は前記ピッチ検出結果に応じて決定されるリード音の音高）と鍵盤等から入力されたコード情報とに基づき、予め用意された図５に示すような音高決定テーブルに従って前記所定時間毎に１２音音階の階名（音名）のいずれかを決定する。すなわち、図５に示す音高決定テーブルはコード毎に１テーブルずつ複数のテーブルがＲＯＭやＲＡＭ等に予め記憶されており、前記コード情報に従って対応する１テーブルが特定される。ここでは一例として、「Ｃメジャー」コード用のテーブルのみを示している。そして、前記入力された音声信号のピッチ検出を契機（トリガ）としてすぐに、該ピッチ検出結果に基づき前記特定されたテーブルを参照することでハーモニー音の音高として音楽の音名のいずれかに対応した特定の音高が決定され、該音高にピッチ制御されたハーモニー音が生成されるようになっている。ここで、図５に示す音高決定テーブルにおいて、「Ｅ（０）」は検出されたリード音の音高と同じオクターブの「Ｅ」音であることを示し、「Ｃ（＋１）」は検出されたリード音の音高から１つ上のオクターブの「Ｃ」音であることを示す。したがって、例えばリード音の音高が「Ｅ３」である場合には第１のハーモニー音の音高として「Ｇ３」、第２のハーモニー音の音高として「Ｃ４」にそれぞれ決定されることになる。

このようにして、図５に示すような音高決定テーブルに従って決定された１２音音階の階名のいずれかに対応するピッチからなる階名信号に基づき、前記リード音の生成と同様にして「収束曲線」処理及び「出力変調」処理が順次に行われることによって、１乃至複数のハーモニー音の出力信号は生成される。なお、上記のようにして生成されるリード音及びハーモニー音のノートオンのタイミングは入力された音声信号のピッチが検出された時点であり、他方ノートオフのタイミングは入力された音声信号のピッチが検出されなくなった時点である。

特開平11-133954号公報

上述したように従来の装置では、入力された音声信号のピッチ検出結果（つまりはリード音の音高）に基づいてハーモニー音の音高を決定するようにしていることから、ハーモニー音の音高はリード音の音高に左右されることが理解できる。そうであるならば、入力された音声信号の母音検出から次の母音検出の間までのような短い時間内にビブラートのような音高が上下に揺らぎながら変動する音声信号が入力されている場合には、リード音の揺らぎに比べるとより大きく音高が連続的に揺らいでいるハーモニー音が生成される恐れがあり、そのようなハーモニー音は落ち着きがなく聴くに耐えがたいので都合が悪い。

例えば、図５に示した音高決定テーブルによれば、入力された音声信号（ひいてはリード音）が音高「Ｅ３」と音高「Ｆ３」との間で揺らぐようなビブラートである場合、第１のハーモニー音は音高「Ｇ３」と音高「Ｃ４」との間を揺らぐように連続的に変化する出力信号となってしまう。これは、入力された音声信号が僅か半音の間だけで揺らいでいるにも関わらず、付加されるハーモニー音は短い時間内に４半音もの大きな音高の揺らぎをもつ音跳びが繰り返されることを表しており、このようなハーモニー音はとてもビブラートに対する表情付けとして使えるものではない。

また、上記不都合を避けるために他の方法として、入力された音声信号のピッチ検出の頻度そのものを少なくすることが考えられる。しかし、リード音及びハーモニー音は共に前記音声信号のピッチ検出に応じて生成されることから、そうした場合にはハーモニー音だけでなくリード音自体の発生頻度も少なくなってしまい、入力された音声信号そのものが持っていた音楽的な個性や表現力等が失われる恐れがあることから、この方法を採用するのはとても都合が悪い。

本発明は上述の点に鑑みてなされたもので、入力された楽音信号のピッチ変動が短い時間内に数多く繰り返し生じている場合であっても、入力された楽音信号に基づき該信号の音楽的な個性や表現力を反映したリード音を生成すると共に、ピッチがふらつくことなく聴感上落ち着いた安定感ある付加音を生成することができるようにした楽音信号処理装置及びプログラムを提供しようとするものである。

本発明に係る楽音信号処理装置は、入力される楽音信号に基づき音高が制御される第１の楽音信号を生成すると共に、前記入力される楽音信号の音高変動に追従して音高が制御される第２の楽音信号を生成する楽音信号処理装置において、楽音信号を入力する入力手段と、前記入力される楽音信号の周波数を検出する検出手段と、前記検出手段により得られる周波数検出信号の変化を平坦化し、該平坦化した周波数検出信号に基づき音名に対応した音高のいずれかを検出する第１音高検出手段であって、該第１音高検出手段は第１の制御情報に基づき制御されるものと、前記第１音高検出手段により検出された音高に従う音高を持つ第１の楽音信号を生成する第１楽音生成手段と、前記検出手段により得られる周波数検出信号の変化を平坦化し、該平坦化した周波数検出信号に基づき音名に対応した音高のいずれかを検出する第２音高検出手段であって、該第２音高検出手段は第２の制御情報に基づき制御されるものと、前記第２音高検出手段により検出された音高に基づき決定される任意の音高にピッチ制御された第２の楽音信号を生成する第２楽音生成手段とを具えてなり、前記第１及び第２音高検出手段は、前記第１及び第２の制御情報に従って互いに独立に制御され、かつ、前記入力された楽音信号の音高変動に対する追従性が前記第１の楽音信号に比べて前記第２の楽音信号の方がゆるやかになるように前記第１及び第２の制御情報が設定されることを特徴とする。

本発明によれば、前記第１及び第２音高検出手段は、前記第１及び第２の制御情報に従って互いに独立に制御され、かつ、前記入力された楽音信号の音高変動に対する追従性が前記第１の楽音信号に比べて前記第２の楽音信号の方がゆるやかになるように前記第１及び第２の制御情報が設定されることを特徴としている。従って、例えばビブラートのような音高が上下に揺らぎながら変化する楽音信号が入力された場合、第１の楽音信号は該入力される楽音信号における音高変動により追従した音高変動を示すのに対して、第２の楽音信号は第１の楽音信号よりも低い追従度合いの音高変動を示すことになるので、第１の楽音信号に比べて、第２の楽音信号を落ち着いた聴感上安定感のある楽音として生成することができるようになる。従って、第１の楽音信号をリード音として利用し、第２の楽音信号をハーモニー音（若しくは付加音）として利用すれば、ピッチのふらつきの少ない聴感上落ち着いた安定感あるハーモニー音（若しくは付加音）を生成することができる。

本発明は装置の発明として構成し実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。

この発明によれば、前記第１及び第２音高検出手段は、前記第１及び第２の制御情報に従って互いに独立に制御され、かつ、前記入力された楽音信号の音高変動に対する追従性が前記第１の楽音信号に比べて前記第２の楽音信号の方がゆるやかになるように前記第１及び第２の制御情報が設定されることを特徴としているので、例えばビブラートのような音高が上下に揺らぎながら変化する音声信号が入力された場合であっても、該音高の揺らぎを反映した第１の楽音信号とは別途独立して、落ち着いた聴感上安定感のある第２の楽音信号を生成することができるようになる、という効果を得る。
また、入力された楽音信号のピッチ検出の頻度を少なくしなくてもよく第１の楽音信号の発生頻度は従来と変わることがないことから、入力された楽音信号が持っていた音楽的な個性や表現力等が失われることもない、という利点もある。

この発明に係る楽音信号処理装置の全体構成の一実施例を示したハード構成ブロック図である。 本発明に係る楽音信号処理装置の楽音生成機能を説明するための機能ブロック図である。 階名検出を説明するために音声信号の周波数変化を示す概念図である。 従来知られた楽音生成処理手順を説明するための概念図である。 従来知られた音高決定テーブルのデータ構成を示す概念図である。

以下、この発明の実施の形態を添付図面に従って詳細に説明する。

図１は、この発明に係る楽音信号処理装置の全体構成の一実施例を示したハード構成ブロック図である。本実施例に示す楽音信号処理装置は、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータによって制御される。ＣＰＵ１は、この装置全体の動作を制御する。このＣＰＵ１に対して、通信バス１Ｄ（例えばデータ及びアドレスバス）を介してＲＯＭ２、ＲＡＭ３、入力操作部４、表示部５、音源６、通信インタフェース（Ｉ／Ｆ）７、記憶装置８がそれぞれ接続されている。

ＲＯＭ２は、ＣＰＵ１により実行あるいは参照される各種制御プログラムや例えば図５に示した音高決定テーブルなどの各種データ等を格納する。ＲＡＭ３は、ＣＰＵ１が所定の制御プログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリとして、あるいは現在実行中の制御プログラムやそれに関連するデータを一時的に記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、メモリなどとして利用される。

入力操作部４は、例えば人が発した音声などの音声信号を入力するマイクロフォンなどの入力機器や、ハーモニー音の自動生成開始／停止を指示するスタート／ストップボタンや楽音生成のための各種パラメータ（詳しくは後述する）を設定するスイッチなどの各種操作子の他、数値データ入力用のテンキーや文字データ入力用のキーボードあるいはマウスなどであってよい。前記入力機器はマイクロフォンに限らず、ハーモニー音を生成する際に必要とされるコード音などの楽音信号をユーザ操作に応じて発生する例えば鍵盤等の演奏操作子や、予めＲＯＭ２等に記憶した楽音信号を演奏進行順に供給するシーケンサーなどの入力装置であってもよい。

表示部５は例えば液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成されてなり、生成したリード音及び／又はハーモニー音の楽譜、各種操作子により設定されたパラメータ設定状態、あるいは予め記憶されている各種データの一覧やＣＰＵ１の制御状態などといった各種情報を表示する。

音源６は複数のチャンネルで楽音信号の同時発生が可能であり、通信バス１Ｄを経由して与えられる例えばマイクロフォンを介して入力された音声信号等に基づきリード音（第１の楽音信号）やハーモニー音（第２の楽音信号）などの楽音信号を生成し、該生成した楽音信号に基づいて楽音を発生する。音源６から発生された楽音は、アンプやスピーカなどを含むサウンドシステム６Ａから発音される。また、音源６はリード音やハーモニー音などを生成する際に、例えばジェンダー（男性声、女性声といった声質のタイプおよび深さ）、ビブラート（深さと周期の変化率、ビブラート開始までの遅延時間）、トレモロ、音量、パン（定位）、デチューン、リバーブ（残響）などの各種効果を付与することができるようになっている。なお、音源６とサウンドシステム６Ａの構成には、従来のいかなる構成を用いてもよい。例えば、音源６はＦＭ、ＰＣＭ、物理モデル、フォルマント合成等の各種楽音合成方式のいずれを採用してもよく、専用のハードウェアで構成してもよいし、ＣＰＵ１あるいはＤＳＰによるソフトウェア処理で構成してもよい。

通信インタフェース（Ｉ／Ｆ）７は、当該装置と図示しない外部機器との間で楽音信号や音高決定テーブルさらには制御プログラムなどの各種情報を送受信するためのインタフェースである。この通信インタフェース７は、例えばMIDIインタフェース，ＬＡＮ，インターネット，電話回線等であってよく、また有線あるいは無線のものいずれかでなく双方を具えていてよい。

記憶装置８は、予め用意された音高決定テーブルやＣＰＵ１が実行する各種制御プログラムなどの各種情報を記憶する。あるいは、生成されたリード音やハーモニー音などの楽音信号を記憶できるようにしてもよい。

なお、前記ＲＯＭ２に制御プログラムが記憶されていない場合、この記憶装置８（例えばハードディスク）に制御プログラムを記憶させておき、それを前記ＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１に実行させることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、記憶装置８はハードディスク（HD）に限られず、フレキシブルディスク（FD）、コンパクトディスク（CD）、光磁気ディスク（MO）、あるいはDVD（Digital Versatile Disk）等の着脱自在な様々な形態の外部記録媒体を利用する記憶装置であってもよい。あるいは、半導体メモリなどであってもよい。

なお、上述した楽音信号処理装置において、入力操作部４や表示部５あるいは音源６などを１つの装置本体に内蔵したものに限らず、それぞれが別々に構成され、MIDIインタフェースや各種ネットワーク等の通信インタフェースを用いて各装置を接続するように構成されたものであってよいことは言うまでもない。
なお、本発明に係る楽音信号処理装置及びプログラムは、カラオケ装置、電子楽器、パーソナルコンピュータ、携帯電話等の携帯型通信端末、あるいはゲーム装置など、どのような形態の装置・機器に適用してもよい。携帯型通信端末に適用した場合、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバ側に持たせ、端末とサーバとからなるシステム全体として所定の機能を実現するようにしてもよい。

本発明に係る楽音信号処理装置においても、例えばマイクロフォン等を介して入力された音声信号のピッチを検出し（最終的には音楽の音名のいずれかに対応する特定のピッチ（音高）を検出する）、該検出したピッチのリード音の楽音信号を生成すると共に、前記検出したピッチと鍵盤等から入力されたコード情報を元にして別途新たにピッチ（同様に音楽の音名のいずれかに対応する特定のピッチ）を決定し、該決定したピッチのハーモニー音の楽音信号を自動的に生成する楽音生成機能を有する。ただし、本発明に係る楽音信号処理装置では、従来と異なりリード音とハーモニー音を生成する機能のそれぞれを独立に構成している。そこで、本発明に係る楽音信号処理装置の楽音生成機能について図２を用いて説明する。図２は、本発明に係る楽音信号処理装置の楽音生成機能を説明するための機能ブロック図である。図２において、図中の矢印は信号の流れを表す。

図２に示すように、音源６は信号入力部Ｉ、周波数検出部Ｆ、リード音用楽音生成部Ｍ１、ハーモニー音用楽音生成部Ｍ２、効果付与部Ｅ、信号出力制御部Ｏからなる楽音生成機能を有する。信号入力部Ｉは、楽音生成機能の開始に伴いマイクロフォン等を介して入力された音声信号を取得し、該取得した音声信号を周波数検出部Ｆに対して順次に供給する。周波数検出部Ｆは音声信号を受け取ると、該入力された音声信号を「周波数検出」処理して周波数検出信号（以下、「周波数信号」と略称する）に変換する。周波数検出部Ｆから出力される周波数信号は、リード音用楽音生成部Ｍ１及びハーモニー音用楽音生成部Ｍ２にそれぞれ供給される。

リード音用楽音生成部Ｍ１及びハーモニー音用楽音生成部Ｍ２はリード音の楽音信号とハーモニー音の楽音信号をそれぞれ生成するために別途独立に構成された楽音生成部であって、それぞれが平坦化部Ｈ１（Ｈ２）、音高変換部Ｃ１（Ｃ２）、リード音生成部Ａ１又はハーモニー音生成部Ａ２を有する。平坦化部Ｈ１（Ｈ２）は、周波数検出部Ｆから出力される周波数信号を「平坦化」処理することによって、周波数信号の変化を平坦化（平滑化）する。ただし、後述するように平坦化部Ｈ１と平坦化部Ｈ２とでは、指示されるパラメータ内容（後述する平坦化の時定数）に従って「平坦化」処理の結果として得られる「平坦化された周波数信号」は異なるものとなり得る。上記パラメータは、平坦化部Ｈ１に対してリード音用パラメータ設定部Ｔ１からリード音用パラメータ情報として、平坦化部Ｈ２に対してハーモニー音用パラメータ設定部Ｔ２からハーモニー音用パラメータ情報としてそれぞれ指示される。

平坦化された周波数信号は、音高変換部Ｃ１又は音高変換部Ｃ２にそれぞれ供給される。音高変換部Ｃ１では、該平坦化された周波数信号を「階名検出」処理することによって所定時間間隔毎に１２音音階の階名（音名）のいずれかに離散化する。すなわち、入力された音声信号のピッチに基づいて音楽の音名のいずれかに対応する特定のピッチを検出し、こうして得られた音楽の音名のいずれかに対応する特定のピッチがそのままリード音の音高として決定され用いられる。勿論、入力された音声信号のピッチ検出結果そのものをリード音の音高に決定するものに限らず、入力された音声信号のピッチ検出結果を例えば１オクターブや３半音等の所定ピッチだけ上下するなどして音高変換したものを、リード音の音高に決定するようにしてもよい。

他方、音高変換部Ｃ２では、該平坦化された周波数信号を「階名検出」処理することによって所定時間間隔毎に１２音音階の階名（音名）のいずれかに離散化する際に、「階名検出」処理により得られた入力された音声信号のピッチ検出結果を、さらに前記ピッチ検出結果と鍵盤等から入力されたコード情報とに基づいて、予め用意された図５に示すような音高決定テーブルに従って１２音音階の階名（音名）のいずれかに音高変換して離散化する。こうして得られた音楽の音名のいずれかに対応する特定のピッチが（１乃至複数であってよい）、ハーモニー音の音高として決定され用いられる。ただし、後述するように音高変換部Ｃ１と音高変換部Ｃ２とでは、指示されるパラメータ内容（後述する階名変化の閾値やオフセット値）に従って「階名検出」処理の結果として得られる入力された音声信号のピッチ検出結果が異なるものとなり得る。上記パラメータは、音高変換部Ｃ１に対してリード音用パラメータ設定部Ｔ１からリード音用パラメータ情報として、音高変換部Ｃ２に対してハーモニー音用パラメータ設定部Ｔ２からハーモニー音用パラメータ情報としてそれぞれ指示される。

音高変換部Ｃ１（Ｃ２）によって検出された音楽の音名のいずれかに対応する特定のピッチ（階名信号）は、リード音生成部Ａ１又はハーモニー音生成部Ａ２にそれぞれ供給される。リード音生成部Ａ１又はハーモニー音生成部Ａ２は階名信号を受け取ると、該供給された階名信号に基づきリード音又はハーモニー音をそれぞれ別途に生成する。すなわち、リード音生成部Ａ１は「収束曲線」処理によって階名信号を時間的に連続変化する信号とし、該時間的に連続変化する階名信号を「出力変調」処理することによって入力された音声信号のピッチを変調したリード音の出力信号を生成する。ハーモニー音生成部Ａ２は「収束曲線」処理によって階名信号を時間的に連続変化する信号とし、該時間的に連続変化する階名信号を「出力変調」処理することによって入力された音声信号のピッチを変調したハーモニー音の出力信号を前記リード音生成部Ａ１によるリード音の生成とは関係なしに別途独立して生成する。

リード音生成部Ａ１又はハーモニー音生成部Ａ２によってそれぞれ生成されたリード音又はハーモニー音は効果付与部Ｅに供給され、該効果付与部Ｅによってジェンダー、ビブラート、トレモロ、音量、パン、デチューン、リバーブなどの各種効果を付与されうる。信号出力制御部Ｏは、効果付与部Ｅから供給されるリード音及び／又はハーモニー音をサウンドシステム６Ａに出力する。その際には、リード音のみ、ハーモニー音のみ、リード音及びハーモニー音のように出力する楽音信号を適宜に選択することができる。

上述のように、本発明に係る楽音信号処理装置においては、リード音とハーモニー音を生成する機能のそれぞれを独立に構成している。そのため、リード音用楽音生成部Ｍ１及びハーモニー音用楽音生成部Ｍ２のそれぞれを別途に制御することができ、これによりリード音の生成タイミングとハーモニー音の生成タイミングとを必ずしも一致させることのないようにしている。具体的には、平坦化部Ｈ１と平坦化部Ｈ２、音高変換部Ｃ１と音高変換部Ｃ２とにそれぞれ異なる内容（パラメータ値）でパラメータを指示することによって、これら双方に独立の時間的な振る舞いを実現させて信号制御することができるようにしている。以下、説明する。

まず、平坦化部Ｈ１と平坦化部Ｈ２の制御について説明する。平坦化処理において、入力された音声信号が無音から有声音に変化する際には、多くの場合周波数がうまく検出できない期間が存在するので、有声音（母音）を検出してから周波数検出を行うまでの猶予期間（これを平坦化の時定数と呼ぶ）をパラメータとして指示することにより、うまく周波数を検出できない場合に検出されうる余計な周波数情報を排除することができる。平坦化の時定数は母音として検出された時点から平坦化を開始するまでの時間であって、例えば０〜５０ｍｓ（ミリ秒）の間に設定される。例えば平坦化の時定数を０ｍｓに設定した場合には、母音として検出された時点から平坦化を開始する。一方、平坦化の時定数を１０ｍｓに設定した場合には、母音として検出された時点から１０ｍｓまでは検出ピッチをそのまま出力して１０ｍｓ以降に平坦化を行う。

ところで、一般的には平坦化の時定数を遅くすると、半音に近い幅広いピッチ変化を階名変化と誤認識する可能性が低くなるが、半音を超えるピッチ変化への追従性が悪くなる。反対に、平坦化の時定数を速くすると、半音を超えるピッチ変化への追従性は良くなるが、半音に近い幅広いピッチ変化を階名変化と誤認識する可能性が高くなる。しかし、従来においてはリード音とハーモニー音とで平坦化処理を独立させておらず、リード音とハーモニー音とを同じ平坦化の時定数を使って制御することしかできなかった。すなわち、従来の場合には１つのある時定数でしか平坦化処理を制御することができず、そのため平坦化の時定数を遅くした場合にはリード音に都合が悪くハーモニー音に都合がよい一方、平坦化の時定数を速くした場合にはリード音に都合がよくハーモニー音に都合が悪いことが生じる結果となっていた。そこで、本発明においては、リード音とハーモニー音とで平坦化処理を独立させた上で、半音を超えるピッチ変化への追従性が必要とされるリード音については平坦化の時定数を速くする一方で、半音を超えるピッチ変化への追従性が必要とされないハーモニー音については平坦化の時定数を遅くするように設定して、平坦化部Ｈ１と平坦化部Ｈ２とを分けて制御することができるようにしている。

次に、音高変換部Ｃ１と音高変換部Ｃ２の制御について説明する。「階名検出」時において周波数情報を階名に離散化する際には、従来は上下の階名の中心周波数のどちらに近いかで判定して階名を決定するようにしているが、この実施例では一旦階名を決定すると指定した閾値以上の中心周波数から離れない限り新しい階名を採用しないようにしている。そのためのパラメータとして、ピッチ補正の目標音高の推移を抑止する範囲（階名検出の閾値と呼ぶ）を指定する。例えば、階名検出の閾値を７５セントと設定した場合、検出ピッチが現在の目標音高から±７５セント以内にある場合は、現在の目標音高が維持される（新しい階名を採用しない）ようにしている。これにより、ピッチ補正の目標音高の推移にヒステリシス効果をもたらしうる。

ここで、初めに階名（特定の音高）Ｘとして検出されてから、検出した周波数が図３に示すように変化する場合を例にして説明する。図３は、階名検出を説明するために音声信号の周波数変化を示す概念図である。縦軸は周波数であり、横軸は時間である。この図３においては、階名ｘと階名ｙは隣り合う階名（１００セント差）であって、階名ｘの周波数を基準として図中における破線が５０セント差の周波数、該破線の上の一点鎖線が７５セント差の周波数、該破線の下の一点鎖線が２５セント差の周波数をそれぞれ便宜的に表している。

周波数が変化してａ時点で初めて５０セント差を上回った場合、従来ではこの時点で階名（特定の音高）がｘからｙに変わる。その後、ｂ時点で再び５０セントを下回るので階名がｙからｘに変わる。しかし、このような変化は音楽的に少し深い表情で音高が変化しているだけで記譜上は階名変化に相当しない場合が多い。そこで、本発明において階名変化の閾値として例えば７５セントを指示する。この場合の動作は、周波数変化に伴い、ａ時点で５０セント差を上回ったとしても７５セント差には達していないことから該時点では階名Ｘを維持したままとし、ｃ時点で７５セント差を初めて上回るのでこの時点で階名をｘからｙに変える。そして、一旦階名がｘからｙに変わると、次は階名ｙの周波数から７５セント以上周波数が変化しないと階名がｙから他の階名に変わらないので、図３の例では７５セント以上周波数が変化したｆ時点で初めて階名がｙからｘに変わる。なお、上記７５セントという階名検出の閾値は、ユーザが歌い方などに応じて適宜の値に設定することができてよい。

また、図３において破線や一点鎖線で示される値は、リード音用パラメータ設定部Ｔ１又はハーモニー音用パラメータ設定部Ｔ２からそれぞれ指示されるオフセット値（パラメータ情報）に従って上下にオフセットさせることができる。これにより、入力された音声信号のピッチから音高を判定する際に、音高判定基準に異なるオフセットを加えることによって、リード音とハーモニー音とでそれぞれの階名変化のポイントを調整するように指示することができる。例えば、上ずり傾向の入力音声については、音高変換部Ｃ２に対してのみ階名変化の閾値（上記例において７５セント）を全体的に５セント程度上下にオフセットするオフセット値を指示するとよい。上記したような各種のパラメータを音高変換部Ｃ１と音高変換部Ｃ２にそれぞれ与えることによって、音高変換部Ｃ１と音高変換部Ｃ２はそれぞれ、幅の広いビブラートの音声信号が入力されたような場合すなわち音楽的な表情として音高変化が大きい場合であっても、余分な階名変化を検出することがない。

以上のようにして、本発明に係る楽音信号処理装置では、「周波数検出」処理、「平坦化」処理、「階名検出」処理及び「収束曲線」処理、「出力変調」処理を順次に行うことによりリード音とハーモニー音とを生成するが、前記「周波数検出」処理以降に行われる上記各処理を含んでなる同じ構成のリード音用楽音生成部Ｍ１とハーモニー音用楽音生成部Ｍ２とをリード音生成用とハーモニー音生成用とで別々に設けておき、これらに異なる内容のパラメータ情報を与えることによってそれぞれで異なる制御を行うことのできるようにしている。すなわち、音声信号のピッチ検出を契機としてすぐさま該ピッチ検出結果に基づき音高を決定してリード音が生成されるような場合であっても、従来と異なりハーモニー音用楽音生成部Ｍ２は当該音声信号のピッチ検出を契機に音高を検出しないようにできる場合がある（そのようにハーモニー音用楽音生成部Ｍ２に対してパラメータ情報を与える）。つまりは、ハーモニー音用楽音生成部Ｍ２がリード音用楽音生成部Ｍ１により検出された音高に従う音高変化とは時間的に異なる音高変化を伴う音高を順次に検出するように、ハーモニー音用パラメータ情報がハーモニー音用パラメータ設定部Ｔ２から指示される。こうすることによって、例えばビブラートのような音高が上下に揺らぎながら変化する音声信号が入力された場合であっても、落ち着いた聴感上安定感のあるハーモニー音を生成することができるようになる。
また、入力された音声信号のピッチ検出の頻度を少なくしなくてもよいことからリード音の発生頻度は従来と変わらず、入力された音声信号が持つ音楽的な個性や表現力等が失われることもない。

なお、上述した実施例においてはリード音やハーモニー音を生成するための元となる楽音信号はマイク入力された音声を例に説明したが、例えばマイク入力された楽器演奏音などであってもよい。楽器演奏音の場合、付加音は伴奏音であってよい。
なお、ハーモニー音は一度に１音のみ生成するものに限らず、同時に複数音を生成するものであってもよい。

なお、ハーモニー音生成のために入力されるコード情報は、上述したように本装置上あるいは本装置に接続された鍵盤などの演奏操作子からユーザ操作に応じて入力された入力情報から検出されたものでもよいし、あるいは和音名を順次入力する形式で得られるものであってもよい。
なお、上述した実施例では、ハーモニー音をコード情報を元に生成するものを示したがこれに限らず、コード情報を元にしないでハーモニー音を生成する公知の他の方法であってもよい。例えば、リード音の音高の３度上の音高でハーモニー音を生成する方法を採用するなどしてもよい。

１…ＣＰＵ、２…ＲＯＭ、３…ＲＡＭ、４…入力操作部、５…表示部、６…音源、６Ａ…サウンドシステム、７…通信インタフェース、８…記憶装置、１Ｄ…通信バス、Ａ１…リード音生成部、Ａ２…ハーモニー音生成部、Ｃ１（Ｃ２）…音高変換部、Ｅ…効果付与部、Ｆ…周波数検出部、Ｈ１（Ｈ２）…平坦化部、Ｉ…信号入力部、Ｍ１…リード音用楽音生成部、Ｍ２…ハーモニー音用楽音生成部、Ｏ…信号出力制御部、Ｔ１…リード音用パラメータ設定部、Ｔ２…ハーモニー音用パラメータ設定部

Claims (3)

1. 入力される楽音信号に基づき音高が制御される第１の楽音信号を生成すると共に、前記入力される楽音信号の音高変動に追従して音高が制御される第２の楽音信号を生成する楽音信号処理装置において、
   楽音信号を入力する入力手段と、
   前記入力される楽音信号の周波数を検出する検出手段と、
   前記検出手段により得られる周波数検出信号の変化を平坦化し、該平坦化した周波数検出信号に基づき音名に対応した音高のいずれかを検出する第１音高検出手段であって、該第１音高検出手段は第１の制御情報に基づき制御されるものと、
   前記第１音高検出手段により検出された音高に従う音高を持つ第１の楽音信号を生成する第１楽音生成手段と、
   前記検出手段により得られる周波数検出信号の変化を平坦化し、該平坦化した周波数検出信号に基づき音名に対応した音高のいずれかを検出する第２音高検出手段であって、該第２音高検出手段は第２の制御情報に基づき制御されるものと、
   前記第２音高検出手段により検出された音高に基づき決定される任意の音高にピッチ制御された第２の楽音信号を生成する第２楽音生成手段と
   を具えてなり、
   前記第１及び第２音高検出手段は、前記第１及び第２の制御情報に従って互いに独立に制御され、かつ、前記入力された楽音信号の音高変動に対する追従性が前記第１の楽音信号に比べて前記第２の楽音信号の方がゆるやかになるように前記第１及び第２の制御情報が設定されることを特徴とする楽音信号処理装置。
2. 前記第１及び第２の制御情報は、前記検出手段により得られる周波数検出信号の変化を平坦化する際の母音検出から平坦化開始までの時間情報、前記平坦化した周波数検出信号に従って音名に対応した音高のいずれかを検出する際に上下いずれの音高とするかを決める閾値の情報、前記閾値の情報と該閾値をさらに上下にオフセットするオフセット情報との組み合わせ、の少なくともいずれかを含み、
   前記第２音高検出手段は、前記少なくともいずれかの情報に基づいて前記第１音高検出手段により検出された音高の変化に比べて時間的な音高変化を抑えるように音高を検出することを特徴とする請求項１に記載の楽音信号処理装置。
   
3. 入力される楽音信号に基づき音高が制御される第１の楽音信号を生成すると共に、前記入力される楽音信号の音高変動に追従して音高が制御される第２の楽音信号を生成するコンピュータで実行可能なプログラムであって、前記プログラムは
   コンピュータに、
   楽音信号を入力する手順と、
   前記入力される楽音信号の周波数を検出する手順と、
   前記検出する手順により得られる周波数検出信号の変化を平坦化し、該平坦化した周波数検出信号に基づき音名に対応した音高のいずれかを検出する第１検出手順であって、該第１検出手順は第１の制御情報に基づき制御されるものと、
   前記第１検出手順により検出された音高に従う音高を持つ第１の楽音信号を生成する手順と、
   第２の制御情報に基づいて、前記検出する手順により得られる周波数検出信号の変化を平坦化し、該平坦化した周波数検出信号に基づき音名に対応した音高のいずれかを検出する第２検出手順であって、該第２検出手順は第２の制御情報に基づき制御されるものと
   前記第２検出手順により検出された音高に基づき決定される任意の音高にピッチ制御された第２の楽音信号を生成する手順と、
   を実行させるものであり、前記第１及び第２検出手順は、前記第１及び第２の制御情報に従って互いに独立に制御され、かつ、前記入力された楽音信号の音高変動に対する追従性が前記第１の楽音信号に比べて前記第２の楽音信号の方がゆるやかになるように前記第１及び第２の制御情報が設定されることを特徴とするプログラム。

Images