JP3617285B2 - 音声信号または楽音信号の処理装置および音声信号または楽音信号の処理プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
音声信号または楽音信号の処理装置および音声信号または楽音信号の処理プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3617285B2 JP3617285B2 JP31649597A JP31649597A JP3617285B2 JP 3617285 B2 JP3617285 B2 JP 3617285B2 JP 31649597 A JP31649597 A JP 31649597A JP 31649597 A JP31649597 A JP 31649597A JP 3617285 B2 JP3617285 B2 JP 3617285B2
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- signal
- sound
- name
- musical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声信号または第１の楽音信号のピッチに基づいてピッチが制御される第２の楽音信号を生成する音声信号または楽音信号処理装置、および、音声信号または楽音信号の処理機能を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
従来、使用者の音声のピッチを検出してキーデータを形成して順次記憶し、記憶されたキーデータを順次読み出して演奏する楽音信号処理装置が、特公平４−５１８３８号公報等で知られている。使用者は鍵盤を弾くことなく単に歌うだけでよい。しかし、検出された入力音声信号のピッチは、音楽の音名に対応するピッチに丸めて楽音を出力する。そのため、ピッチに段差が発生し、鍵盤楽器のようにピッチを区切って楽音を演奏するのに適している。しかし、人が歌を歌うときは、音声のピッチを連続的に変化させる場合もある。この場合は、連続的に変化する音声のピッチに応じてピッチが連続して変化する楽音を発生させる必要がある。取り込んたキーデータを編集して修正すれば、ピッチが区切られた楽音に対し、部分的に楽音のピッチに連続的な変化をつけることも不可能ではない。しかし、処理としては面倒である。
【０００３】
一方、入力音のピッチを演奏情報化する際に、ノート情報とピッチベンド情報を発生させる方法が、特開平４−２４２２９０号公報等に記載されている。しかし、ピッチベンドレンジを超えてピッチが連続的に変化する際の処理について何も検討されていない。
【０００４】
【発明が解決しようとする課題】
本発明は、上述した問題点を解決するためになされたもので、連続的に変化する音声信号または楽音信号のピッチに追従してピッチが連続して変化する楽音を再発音によって発生させるもので、その際の再発音が目立たないようにする音声信号または楽音信号の処理装置、および、音声信号または楽音信号の処理機能を実現させるためのコンピュータ読み取り可能な記録媒体を提供することを目的とするものである。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明においては、音声信号または楽音信号の処理装置において、音声信号または第１の楽音信号である信号のピッチを検出するピッチ検出手段、第２の楽音信号を生成する楽音信号生成手段、音名同定手段、および、ピッチベンド処理手段を有し、前記音名同定手段は、前記ピッチ検出手段が初めて前記信号のピッチを検出したとき、前記信号のピッチを音名に同定するとともに、前記信号のピッチが連続的に変化しかつ同定された音名のピッチとの差がピッチベンドレンジを超えたときに、前記信号のピッチを音名に新たに同定し直すとともに再発音制御信号を出力するものであり、前記ピッチベンド処理手段は、前記信号のピッチと前記音名同定手段により同定された音名のピッチとの差に応じて、前記楽音信号生成手段が生成する第２の楽音信号のピッチを、前記音名同定手段により同定された音名のピッチを中心音高として、前記信号のピッチに追従させるものであり、前記楽音信号生成手段は、前記ピッチ検出手段が初めて前記信号のピッチを検出したとき、前記音名同定手段により同定された音名で、かつ、該ピッチベンド処理手段により前記信号のピッチに追従させたピッチで前記第２の楽音信号を生成して発音させるとともに、前記音名同定手段から再発音制御信号を入力したとき、前記第２の楽音信号を消音させるとともに、前記音名同定手段により新たに同定し直された音名で、かつ、前記ピッチベンド処理手段により前記信号のピッチに追従させたピッチで前記第２の楽音信号を生成して再発音させ、かつ、再発音の前後で前記第２の楽音信号の振幅エンベロープの大きさを略一致させるものである。
したがって、連続的に変化する音声信号または楽音信号のピッチに追従してピッチが連続して変化する楽音を再発音によって発生させることができ、かつ、再発音を目立たないようにすることができる。
【０００６】
請求項２に記載の発明においては、音声信号または楽音信号の処理機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、該音声信号または楽音信号の処理機能は、音声信号または第１の楽音信号である信号のピッチを検出するピッチ検出機能、第２の楽音信号を生成する楽音信号生成機能、音名同定機能、および、ピッチベンド処理機能を有し、前記音名同定機能は、前記ピッチ検出機能が初めて前記信号のピッチを検出したとき、前記信号のピッチを音名に同定するとともに、前記信号のピッチが連続的に変化しかつ同定された音名のピッチとの差がピッチベンドレンジを超えたときに、前記信号のピッチを音名に新たに同定し直すとともに再発音制御信号を出力するものであり、前記ピッチベンド処理機能は、前記信号のピッチと前記音名同定機能により同定された音名のピッチとの差に応じて、前記楽音信号生成機能が生成する第２の楽音信号のピッチを、前記音名同定機能により同定された音名のピッチを中心音高として、前記信号のピッチに追従させるものであり、前記楽音信号生成機能は、前記ピッチ検出機能が初めて前記信号のピッチを検出したとき、前記音名同定機能により同定された音名で、かつ、該ピッチベンド処理機能により前記信号のピッチに追従させたピッチで前記第２の楽音信号を生成して発音させるとともに、前記音名同定機能から再発音制御信号を入力したとき、前記第２の楽音信号を消音させるとともに、前記音名同定機能により新たに同定し直された音名で、かつ、前記ピッチベンド処理機能により前記信号のピッチに追従させたピッチで前記第２の楽音信号を生成して再発音させ、かつ、再発音の前後で前記第２の楽音信号の振幅エンベロープの大きさを略一致させるものである。
したがって、請求項１に記載の発明と同様な作用をコンピュータ読み取り可能なプログラムをコンピュータに実行させることによって実現することができる。
【０００７】
【発明の実施の形態】
図１は、本発明の音声信号または楽音信号の処理装置の実施の一形態の機能ブロック図である。図中、１はマイクロフォン、２は効果付与部、３ａ，３ｂはピッチ変換部、４はピッチ検出部、５は鍵盤、６はピッチ制御部、７ａ，７ｂは効果付与部、８は音源、９は効果付与部、１０は信号出力制御部、１１は操作パネル、１２は機能制御部、１３はパン制御部、１４はアンプ、１５，１６はスピーカである。
【０００８】
最初に全体の構成を説明する。音声入力部であるマイクロフォン１の出力は、効果付与部２、ピッチ変換部３ａ、３ｂ、および、音声入力のピッチ（以下、「ボーカルピッチ」という）を検出するピッチ検出部４に入力される。ピッチ検出部４および鍵盤５の出力は、ピッチ制御部６に入力される。ピッチ制御部６の第１の出力はピッチ変換部３ａ，３ｂに入力される。ピッチ変換部３ａ，３ｂの出力およびピッチ制御部６の第２の出力は、効果付与部７ａ，７ｂに入力される。ピッチ制御部６の第３の出力は、音源８に入力され楽音のピッチを制御し、音源８の出力は効果付与部９に入力される。
【０００９】
効果付与部２の出力はリード音信号となり、効果付与部７ａ，７ｂの出力は第１，第２のハーモニー音信号となり、効果付与部９の出力は楽音信号となる。これらの各信号は、信号出力制御部１０に入力される。操作パネル１１の出力は機能制御部１２を介して、ピッチ制御部６、音源８，効果付与部２，７ａ，７ｂ，９、信号出力制御部１０、パン制御部１３の各機能を制御する。信号出力制御部１０は、リード音やハーモニー音、楽音の各々のチャンネルの出力バランスの制御を行う。例えば、混合割合を代えたり、特定の１または複数のチャンネルだけを出力したりする。また、パン制御部１３によって、複数のチャンネル、例えば第１，第２のハーモニー音の定位を決定する。信号出力制御部１０の出力信号は、ステレオ用のアンプ１４を介しスピーカ１５，１６に出力される。
【００１０】
上述した構成により、マイクロフォン１から入力された音声信号であるリード音、入力音声のピッチに基づいて生成された第１，第２のハーモニー音、および、楽音は、所望に応じて少なくとも１つが選択されミキシングされて放音されることになる。なお、音声のピッチ検出は、ゼロクロス法等、音声分析の分野で周知の技術を用いることができる。付与する効果としては、ジェンダー（男性声，女性声といった声質のタイプおよび深さ）、ビブラート（深さと周期の変化率、ビブラート開始までの遅延時間）、トレモロ、音量、パン（定位）、デチューン（後述するデチューンハーモニーモード以外のモードにおけるハーモニー音のデチューン）、リバーブ（残響）などがある。
【００１１】
図１においては、機能的にわかりやすくするために、効果付与部２，７ａ，７ｂ，９において効果の付与を行うものとしているが、ビブラート、デチューンなどのピッチの変化に関するものは、ピッチ変換部３ａ，３ｂにおけるピッチ変換と同時に行うことができる。また、音量およびパンについては信号出力制御部１０において行うことになる。ジェンダーの効果制御は、フォルマントシフトによって行う。
【００１２】
図４は、ピッチ・トゥ・ノートの説明図である。図４（ａ）は、第１の処理モード、図４（ｂ）は第２の処理モードの説明図である。なお、説明用の図であるため、実際のボーカルピッチの特性とは必ずしも一致しない。このピッチ・トゥ・ノートにおいては、入力音声信号のピッチを用いて任意の音色の楽音を出力する。
【００１３】
図４を参照しながら、図１の機能ブロック図に基づいて、ピッチ・トゥ・ノートの信号処理を説明する。本発明の実施の一形態においては、ボーカルピッチに基づいてノートオン、ノートオフ、ピッチベンド、ポルタメントコントロールの情報を生成し、指定した音色の楽音信号を生成している。ピッチ制御部６は、ピッチ検出部４の出力に基づいて、図４（ａ），（ｂ）に示すボーカルピッチを音名に同定する音名同定部、ボーカルピッチと同定された音名のピッチとの差に応じてピッチベンド処理を行うピッチベンド処理部等を有し、音源部８が出力する楽音信号のピッチを制御する。
【００１４】
図４（ａ）に示す第１の処理モードにおいては、ボーカルピッチと音楽上予め定められた複数の音名のピッチとのピッチ差を検出し、楽音信号のピッチを特定の音名のピッチに同定する。具体的には、ボーカルピッチを丸め処理等の方法で、半音（１００セント）単位で定められた音楽の複数の音名のうち、最も近いピッチの音名に同定し、この音名のピッチを楽音信号のピッチとする。なお、この処理は、後述する図１５のフローチャートにおいても説明している。このピッチは、ノートナンバに対応づけられる。このピッチは、図２に示したボーカルノートのピッチと一致する。
【００１５】
図４（ｂ）に示す第２の処理モードにおいては、ボーカルピッチに基づいてこれに追従して変化するピッチを楽音信号のピッチとする。この楽音信号のピッチは、図示のようなピッチが確定しないボーカルピッチをそのまま、あるいは、ボーカルピッチのわずかなピッチの揺れが消える程度の短期間の平均化を行ったボーカルピッチを使用する。いずれにしても、音名に定められたピッチのような１００セント単位の離散的な音高を取るのではなく、連続的に楽音信号のピッチが変化可能となるようにする。
【００１６】
上述した第１，第２の処理モードは、ピッチ・トゥ・ノートの処理開始前に、使用者の好みに応じて切り替える。あるいは、ピッチ制御部６がピッチ・トゥ・ノートの処理動作中に、操作スイッチ１つで切り替えるようにするとさらに好適である。このようにすれば、歌っている曲の中で選択が容易にできる。このような切り替えスイッチをマイクロフォン１の把持部に設ければ、使用者にとってさらに操作性が良好となる。
【００１７】
生成する楽音のノートオンのタイミングは、ピッチ検出部４で音声信号のピッチが検出できた時点とし、ノートオフのタイミングは、ピッチ検出部４で音声信号のピッチが検出できなくなった時点とする。ピッチ検出部４では、音声入力のレベルが所定レベル以上にならないと検出できないので、ノートオン，ノートオフのタイミングは実質的に入力音声の強度にも依存している。
【００１８】
なお、入力された音声信号の強度を検出するブロックをピッチ検出部４と独立して設け、音声入力の強度が第１の所定レベル以上となったときにノートオンとなり、音声入力の強度が第２の所定レベル以下となったときにノートオフとなるようにすることができる。第１，第２の所定レベルは同一レベルでもよい。
【００１９】
また、別にスイッチ手段を用いてこのオンオフのタイミングによってノートオン，ノートオフの時点を決めることも可能である。また、鍵盤５の鍵あるいは押しボタンスイッチを操作者が押圧し続けている場合に限り、ピッチ・トゥ・ノートの信号処理が可能となるようにすれば、音声を入力していないときの雑音によって楽音が発生するというような誤動作を防止することができる。
【００２０】
音源部８で生成された楽音信号は、効果付与部９を経て、信号出力制御部１０に入力されるが、ピッチ・トゥ・ノートによる楽音信号のみが信号出力制御部１０から出力されるようにしてもよい。また、本装置に備え付けられたＭＩＤＩ ＯＵＴ端子を介して、ＭＩＤＩデータで外部のＭＩＤＩ機器に出力することもできる。
【００２１】
図４（ｂ），図１を参照して、ピッチ・トゥ・ノートの第２の処理モードを説明する。音名同定部は、ボーカルピッチが連続的に変化して同定された音名のピッチとの差が所定の範囲を超えたときには、ボーカルピッチの音名を新たな音名に同定し直すとともに、アタック部のない振幅エンベロープを持つ楽音信号を発生するように音源８を制御する。
【００２２】
図４（ｂ）のｔ１の時点で、ピッチ検出部４は、ボーカルピッチを出力開始し、このボーカルピッチの値に最も近いピッチの音名をＥ４と判断し、基準の音名を決め、ノートオンを出力する。あるいは、上述した入力音声信号の強度を検出するブロックが発音開始を認知したときのノートオン、あるいは上述したスイッチからのノートオンの時点ｔ１でのボーカルピッチの値に最も近いピッチの音名をＥ４と判断し、基準の音名を決める。なお、上述した時点ｔ１の直後にボーカルピッチが音名Ｅ４のピッチになったときに、ピッチ検出部４が音名Ｅ４のノートオンを出力するようにしてもよい。
【００２３】
ピッチ制御部６は、このボーカルピッチに対応する音名Ｅ４のノートナンバを音源８に出力するとともに、音源８にノートオン処理を実行させる。その後、ボーカルピッチが変動すると、ボーカルピッチと同定された音名のピッチとの差に応じてピッチベンド処理を行う。すなわち、楽音信号のピッチを音名Ｅ４のピッチを中心音高としたピッチベンド処理によって追従させて楽音が連続的に変化するようにしている。しかし、ピッチベンドレンジ（範囲）を、図示の例では、各音名の音高の±１００セントの範囲に設定している。そのため、ピッチベンド処理だけでは、ピッチが途切れることなく連続的に変化してピッチベンドレンジを超えてしまうような楽音を発生することはできない。
【００２４】
そこで、ボーカルピッチの検出が途切れることなく連続的に変化して、ピッチベンドレンジを超える音高の発音が必要になったとき、図４（ｂ）のｔ２の時点で、同定された音名Ｅ４のピッチとの差がこのピッチベンドレンジを超えた際には、再発音制御信号を音源８に出力して、元の音名の前記第２の楽音信号を消音させるとともに新たに同定し直された音名で楽音信号を再発音させる。すなわち、ｔ１でノートオンとなった音名Ｅ４のノートは、ｔ２の時点でノートオフとし、ボーカルピッチを新たな音名Ｆ４に同定し直して、音源８が音名Ｆ４の楽音を新たに発生するように制御する。ボーカルピッチが音名Ｆ４のピッチになった後も、同様に±１００セントの変動範囲においては、音名Ｆ４のピッチを中心音高とするピッチベンド処理によって楽音信号のピッチをボーカルピッチに追従させる。つまり、ピッチベンドの基点とする中心音高のノートを変更して行き、そのつなぎをピッチベンドで処理して行く。このようにして、楽音信号のピッチをボーカルピッチに追従させてほぼ同様に連続的に変化させることができる。
【００２５】
検出されたボーカルピッチが連続的に変化して、ピッチベンドレンジを超える音高の発音が必要になったときの上述した処理に、ＸＧフォーマットで規定されているポルタメントコントロールを用いれば、新たな音名Ｆ４の楽音をアタック部のない振幅エンベロープを持つものとして音源８から出力させることができる。なお、振幅エンベロープは、通常、アタック、ディケイ、サステイン、リリースの部分に区分されるが、アタック部は、振幅エンベロープの立ち上がりを遅らせたり、オーバーシュートを発生させたりする。
【００２６】
したがって、楽音をつないで行く際にはアタック部をなくすことが望ましい。その結果、振幅エンベロープに関しては、再発音の前後で楽音信号の振幅エンベロープの大きさが一致するため、音名Ｅ４のノートから音名Ｆ４のノートにそのままつながりやすくなり、再発音を目立たなくすることができる。なお、前の音名Ｅ４の楽音のディケイ部は目立たないが、目立つ場合にはこれもなくすることが望ましい。また、アタック部が存在する振幅エンベロープであっても、前の音名Ｅ４の楽音のディケイ部とクロスフェードすることにより、再発音の前後で楽音信号の振幅エンベロープの大きさを略一致させることができるため、再発音時の前後における振幅エンベロープをつなぐことができる。
【００２７】
なお、ピッチベンドレンジを０に設定した場合は、実質的にピッチベンド動作が行われず、半音単位に矯正された出力結果、つまり、新たなキーオンデータだけの出力となる。したがって、ピッチベンドレンジを０に設定すれば、第１の処理モードが行われることになる。したがって、ピッチ制御部６が動作中であっても、ピッチベンドレンジの設定を変えるだけで、簡単に第１，第２の処理モードを切り替えることができる。その際、ボーカルピッチが連続的に変化して音名を同定しなおして再発音する際の振幅エンベロープについても、第１，第２の処理モードの切り替えに連動して切り替えるようにすることができる。
【００２８】
上述したように、ピッチ・トゥ・ノートの処理では、入力音声のピッチに基づいてピッチが制御される楽音を生成する際に、音名のピッチに同定されて階段状にピッチが変化する演奏と、入力音声のピッチに追従して段差がなく滑らかにピッチが変化する演奏とを使用者が任意に選択することができる。歌を歌っている最中に、楽音のピッチの変え方をリアルタイムに切り替えることができる。歌声を記録再生装置に取り込んでからでなくても、思うような楽音信号の音高が得られるまで自分の声を変えて歌い直してみることができる。
【００２９】
なお、楽音信号の強度は、操作パネル１１で設定していたため、演奏中は一定であった。そのため、力が抜けたような単調な音になってしまう場合がある。すなわち、キーオン毎に予め設定されたエンベロープを付与していたが、生成する楽音が単調になってしまう。そこで、入力音声信号の強度を検出する手段と、検出された入力音声信号の強度に基づいて、例えば、これに比例した強度で楽音信号の強度を制御する手段を加える。入力音声信号のボーカルピッチおよび強度に基づいて楽音信号のピッチおよび強度を制御することができる。このようにすれば、キーオン毎に変化を付けた力強い演奏ができるようになるとともに、使用者が歌っているときの感情を楽音信号の強度によって反映させることができるようになる。楽音信号は所定形状の振幅エンベロープを付けて出力されるが、この振幅エンベロープの強度（振幅エンベロープに掛け合わせる係数）を入力音声信号の発音強度に基づいて決定する。また、外部の機器にＭＩＤＩデータで出力する場合には、ノートオンのベロシティデータとして出力することができる。
【００３０】
次に、ボーカルハーモニーモードにおいて図１に示した各構成要素の機能的動作を説明することとする。上述した構成の楽音信号処理装置は、入力音声に基づいてボーカルハーモニー音信号を生成し、これを入力音声であるリード音に付加して出力する。同時に、リード音信号，ハーモニー音声信号に対してジェンダーコントロールを行うことができる。ボーカルハーモニーモードは、操作パネル１１により設定される。男性、女性、混成コーラス、カントリー、ジャズ、アカペラコーラス、低音コーラス等の特色あるボーカルハーモニーをそれぞれハーモーニーキットとしてまとめ、操作パネル１１によってこのハーモーニーキットを選択することにより、機能制御部１２で多数のパラメータを一括して設定することができる。
【００３１】
マイクロフォン１から入力された使用者の声のボーカルピッチは、ピッチ検出手段４で検出される。ピッチ制御部６は、ピッチ検出手段４の出力と鍵盤５による音高指定を制御入力とし、ピッチ変換部３ａ，３ｂを制御する。ピッチ変換部３ａ，３ｂは、使用者の声の信号を入力して、上述した使用者の声の信号のピッチを所望のピッチに変換する。引き続き、効果付与部７ａ，７ｂにおいて効果を付与し、第１，第２のハーモニー音信号を生成する。なお、ハーモニー音信号は２声に限らず、１声でも、３声以上であってもよい。
【００３２】
操作パネル１１および機能制御部１２は、使用者の音声信号に付与する効果と、第１，第２のハーモニー音信号に付与する効果とを独立して設定できるようにしている。そのため、使用者は、効果付与部７ａ，７ｂでは効果付与部２で付与する効果とは異なる効果、例えば、効果の種類を変えたり、およびまたは効果の程度を変えて効果を付与することができる。例えば、リード音信号に対してハーモニー音信号の効果の深さを大きくしたり、リード音信号に対しては音像の定位位置を変えずに、ハーモニー音信号に対してはランダムパンを行う。
また、機能制御部１２により、デフォルトの設定状態では、効果付与部７ａ，７ｂでは、効果付与部２とは常に効果が異なるようにしておく。このようにして、元の使用者の声に対し、くっきりとしたハーモニー音を生成することが可能となる。
【００３３】
ピッチ制御部６は、また、効果付与部７ａ，７ｂを制御し、ピッチ変換前後のピッチ差、すなわち、ボーカルピッチとピッチ変換されたハーモニー音信号とのピッチ差に応じてハーモニー音信号に付与する効果の種類を変更したり、およびまたは、効果の程度を変更する機能を有している。その結果、使用者の音声信号に対し、ハーモニー音声信号に変化に富んだ効果を付与したり、ハーモニー音信号に対して使用者の音声からのピッチ差に応じた適切な効果の付与を自動的に行うことができる。
【００３４】
なお、この機能ブロック図においては、アナログ信号処理とディジタル信号処理の区別をしていないので、Ａ／Ｄ変換器、Ｄ／Ａ変換器の記載を省略している。一例として、マイクロフォン１のアナログ信号は、Ａ／Ｄ変換器を通してディジタル信号に変換してから効果付与部２等に出力する。信号出力制御部１０においては、効果付与部２，７ａ，７ｂ、９の各出力を重み付けした後にディジタル加算し、Ｄ／Ａ変換器を通してアンプ１４に出力する。
【００３５】
図２は、ボーカルハーモニーモードの具体例の説明図である。
図２（ａ）にボコーダーハーモニーモードにおける各音声信号の関係を示す。マイクロフォン１から使用者が音声を入力すると同時に鍵盤５を弾くと、弾かれた鍵に対応する音高と一致する音高（キーオンノート）のハーモニーノートを元の音声であるリード音に付加して発音させる。このハーモニー音信号の音色は、操作者の「自分の声」ということになり、この音色の楽器を鍵盤５を弾いているようなものとなる。このハーモニー音の発音期間は、鍵盤５の押鍵により制御される。操作パネル１１で発音形態を設定することにより、例えば、サステイン期間のあるオルガンと同様にキーオンからキーオフまで持続音を発生させたり、ピアノのようにキーオンから所定期間減衰音を発生させることができる。
【００３６】
操作パネル１１でボコーダのタイプを選ぶことにより、発音するハーモニーノートを鍵盤５で指定されたノート（キーオンノート）のピッチからトランスポーズさせることができる。自動設定では、ボーカルノートを中心とする±６半音内に入る音高となるようにシフト量を設定することもできる。なお、ピッチ制御部６では、ボーカルピッチが前回計算したノートの上または下に半音を超えた場合に、波長比較で最も近い音高のノートをボーカルノートとしている。
【００３７】
図２（ｂ）にコーダルハーモニーモードにおける各音声信号の関係を示す。マイクロフォン１から使用者が音声を入力し、同時に鍵盤５でコード（和音）を指定する。ピッチ制御部６では、コードの種類を認識して、このコードを構成する音名に合ったハーモニー音をリード音に付加して発音させる。すなわち、使用者が音声を入力するだけで鍵盤５で指定されたコードに合うハーモニー音が付くことになる。例えば、コードがＣメジャーであるとき、ハーモニー音は、その構成音であるＣ，Ｅ，Ｇのいずれかの音高とする。操作パネル１１の設定によりすぐ上の音を鳴らす設定（デュエット・アバブ）になっていた場合、入力音声の音高がＣであるときに、ハーモニー音はＥのハーモニーノートで鳴ることになる。
コーダルハーモニモードでは、一度コードが確定すると鍵盤５を押さえなくても音声を入力するだけでその構成音のハーモニーがいつでも付くことになる。曲の進行に合わせて鍵盤５でコードを指定換えすることもできる。
【００３８】
図２（ｃ）にデチューンハーモニーモードおよびクロマチックハーモニーモードにおける各音声信号の関係を示す。デチューンハーモニーモードでは、ボーカルピッチまたはボーカルノートをわずかにずらせた音を鳴らす（いわゆるコーラス効果）。デチューン量は、デチューンタイプを切り替えることにより±数セントないし±２０セント程度まで変えるようにしている。
クロマチックハーモニーモードでは、ボーカルピッチまたはボーカルノートから固定ピッチ分シフトした音を鳴らす。ピッチシフト量は、同音程（ユニゾン）から±１オクターブ程度まで変えるようにしている。
【００３９】
図３は、ピッチ制御部による効果付与部の制御態様の説明図である。使用者の声のボーカルピッチとピッチ変換後のハーモニー音のピッチ（ハーモニーノート）とのピッチ差に応じてハーモニー音信号に付与する効果のパラメータ値を変化させる。ボーカルピッチは、丸め処理されたボーカルノートのピッチでもよい。図３（ａ）は、ピッチ差の絶対値が一定の閾値ｄ１を超えたときにパラメータ値Ｐｓで表される一定量の効果を付与する例を示す。ｄ１およびＰｓの値は、操作パネル１１および操作制御部１２によって可変設定することができる。図３（ｂ）は、ピッチ差が一定の閾値ｄ１を超えると効果が掛かり始め（本例はピッチ差ｄ１に設定）、その後はピッチ差の絶対値に対して比例的にパラメータ値が上昇し、パラメータ値がＰｓとなって飽和する例を示す。図３（ｃ）は、効果がかかり始めてから、その後はピッチ差の絶対値に対して増加率が上昇して、パラメータ値がＰｓとなって飽和する例を示す。図３（ｄ）は、閾値ｄ１を負側に設定した場合を示すものである。この場合、ピッチ差の絶対値が負となる領域のパラメータ値は使用されない。
【００４０】
図３（ｅ）は、ピッチ差が正負の場合に効果の種類を異ならせたものである。男性が歌っている低いオクターブの音高に対して、鍵盤５の１オクターブ上のキーによりハーモニー音の音高が１オクターブ上に指定されたとき、ハーモニー音の声質を男性のままにしておくと違和感があるために、ジェンダー制御を行い女性声にする。逆に、女性が歌っている高いオクターブの音高に対して、鍵盤５の１オクターブ下のキーによりハーモニー音の音高が１オクターブ下に指定されたときもジェンダー制御を行い男性声にする。
【００４１】
図３（ｅ）においては、ボーカルピッチあるいはボーカルノートのピッチを基準にして、例えば、ハーモニーノートがこれよりも高く、閾値ｄ１を超えるときには、パラメータＡとして女性声になるようにジェンダー制御を行い、ハーモニーノートがこれよりも低く、閾値ｄ２未満になるときには、パラメータＢとして男性声になるようにジェンダー制御を行う。同時に、ピッチ差に応じてパラメータ値を増加させジェンダー制御を深くする。
【００４２】
図示の例では、ピッチ差に応じてパラメータ値が増加するものだけを示したが、逆にパラメータ値が減少したり、増減する場合もある。ハーモニー音には同時に複数の効果が付与することができ、それぞれの効果に応じて、上述したピッチ差と効果パラメータの対応を表すルックアップテーブルおよびまたは、閾値ｄ１，ｄ２や飽和値Ｐｓの値を適宜選択すればよい。その結果、操作者の音声信号のボーカルピッチあるいはボーカルノートのピッチとハーモニー音信号のピッチとの差に応じて付与すべき効果の種類およびまたは効果の程度を変更することができる。なお、ルックアップテーブルに代えて、ピッチ差に対するパラメータ値の関数を記憶しておき、演算により効果のパラメータ値を算出してもよい。
【００４３】
ピッチ差によりハーモニー音信号に対する効果の制御を行うことにより、リード音信号に対する効果の付与とは効果の種類および効果の程度を異ならせることができる。さらに、曲の進行とともに鍵盤５の操作によりハーモニー音信号のピッチだけでなく、これに伴ってハーモニー音信号に対する効果を時々刻々変化させることができる。
【００４４】
図４（ｂ）に示す第２の処理モードにおいては、楽音信号のピッチが連続的に変化するピッチとするために、ポルタメントコントロールを実行してノートナンバーを変更して複数の楽音を連続して再発音させている。すなわち、ノートオンとなった最初の音高がノートオフとなる同時に、次の音高がノートオンとなるようにして、新しいノートを連続的に発生させながら同時に連続的にピッチを変化させている。一方、楽音信号に対し、楽音信号の発生開始より予め設定された遅延時間経過後に効果の付与を開始する、いわゆるディレイ効果があり、例えば、ディレイビブラート、ディレイトレモロ等がある。
【００４５】
図５は、連続的に発音させる楽音信号にディレイ効果を付与する場合の説明図である。図５（ａ）は本発明の実施の一形態の動作説明図、図５（ｂ）は比較例としての従来のディレイ効果付与の動作説明図である。ディレイビブラートを付与する例を示すが、説明用の図であるため、ビブラートの周期や深さは実際のものとは異なる。
【００４６】
図５（ｂ）において、ピッチを連続させて変化させるために、複数の楽音信号▲１▼〜▲４▼を連続的に発音する場合で説明する。楽音信号▲１▼がノートオフとなると同時に、楽音信号▲２▼がノートオンとなる。楽音信号▲２▼〜▲４▼についても同様である。このような連続する楽音信号▲１▼〜▲４▼にディレイビブラートを付与しようとすると、最初の楽音▲１▼に対してノートオンから所定時間経過後に効果が付与開始された後、この楽音の終了とともに効果の付与も終了する。そして、連続する▲２▼以降の楽音に対しても、同様に楽音の終了の度に効果の付与が終了した。その結果、演奏上実質的に連続した１つの音となるべき連続楽音▲１▼〜▲４▼に対する効果が途切れ途切れになり違和感があった。
【００４７】
図５（ａ）を参照して、楽音を連続的に発音させる場合に、ディレイビブラートを付与する場合を説明する。最初の楽音▲１▼に対し、ワンテンポおいてから所定時間経過後に効果が付与開始された後は、この楽音が終了しても効果の付与がそのまま持続する。そして、連続する▲２▼以降の楽音の発生によって効果の付与が新たに開始されないようにする。その結果、演奏上実質的に連続した１つの音となるべき連続楽音▲１▼〜▲４▼に対する効果は、途中で楽音信号が入れ替わっていても、一連の１つの音と見なすことにより、ディレイビブラートが途中で切れることなく連続して付与されることになるので、連続音に対して自然なディレイビブラートが違和感なく付与された楽音を発生させることができる。
【００４８】
図１において、上述した作用効果を達成するために、効果付与手段９は、ピッチ制御部６が第１番目の楽音信号から楽音信号を連続発生させている間においては、第１番目の楽音信号の発生により起動した効果をそのまま持続させるとともに、連続して発生する第２番目以後の楽音信号の発生による起動を阻止するようにしている。
【００４９】
上述した説明では、効果付与手段９は、楽音信号の発生開始から所定時間遅れて効果の付与を開始するディレイ効果を付与するものであった。しかし、所定の時間経過に従って、効果の種類が変更されたり、同じ種類の効果であっても効果の程度が変化して行くような、所定の時間経過に従って変化する効果であれば、同様に、効果が途中で切れることなく連続して付与されることになるので、自然な効果を付与することができる。
上述した説明では複数の楽音が重なることなく連続して発音される場合について説明したが、一連の連続音と認識されるようなものに対してディレイ効果を付与する場合にも同様の作用効果がある。連続する楽音は発音期間が一部重なっていても、あるいは、わずかに離れて発音されるような場合でもよい。
【００５０】
また、上述した説明では、ピッチ・トゥ・ノートのモードについて説明した。しかし、電子楽器の通常の演奏モードであってもよい。通常の演奏モードにおけるポルタメント効果は、新規に鍵盤５を押したときのノートオンによりに発生する楽音のピッチが、以前のノートオンにより発音された楽音のピッチからこの新規に押された鍵盤の指定ピッチまで連続的に移行させる効果である。ポルタメント効果の設定を演奏前に行うものでは、演奏中に常にポルタメント効果がかかる。演奏中において鍵をキーオフする前に次の鍵をキーオンする、いわゆるレガート奏法を行なうことによりポルタメント効果をかける場合もある。上述したポルタメント効果の一種として、ピッチを連続的に移行させる代わりに半音または全音単位で楽音のピッチを移行させる場合はグリサンド効果という場合もある。上述したポルタメント効果の演奏制御を行っている場合に「ディレイ効果」をかける場合にも、同様な動作で同様な作用効果を奏する。
【００５１】
図６は、本発明の音声信号または楽音信号の処理装置の実施の一形態の外観図である。図中、図１と同様な部分には同じ符号を付し説明を省略する。２１は電子楽器本体、２２は操作子群、２３は表示部、２４は接続コードである。
電子楽器本体２１は、鍵盤５と左右のスピーカ１５，１６を有し、これ自体で演奏ができるようになっている。操作パネル１１には複数の操作子からなる操作子群２２、表示部２３が設けられている。表示部２３は、各種の操作子によるパラメータ設定状態の表示やハーモニーキットの表示などを行う。接続コード２４は、電子楽器本体２１とマイクロフォン１とを接続するコードである。図示を省略したが、電子楽器本体２１には、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）端子を備え、外部のシーケンサ等のＭＩＤＩ機器に接続することができるようにしている。また、ピッチベンドホイールやモジュレーションホイールを備えていてもよい。
【００５２】
図６を参照し、図１に示したパン制御部１３が実行するランダムパンの動作を説明する。パン制御は、音像の定位を決めるものであり、左右の２つのスピーカ１５，１６を駆動するアンプ１４のＬチャンネル，Ｒチャンネルの音量比を制御することによって音像の定位位置を制御する。パン制御は個別の効果付与部２，７ａ，７ｂ，９とは別に示したが、パン制御も一種の効果付与である。図中、▲１▼〜▲３▼の右側に示した数字は、ＬチャンネルとＲチャンネルの信号の音量比率、すなわち、Ｌチャンネルの音量／（Ｌチャンネルの音量＋Ｒチャンネルの音量）に比例した値の数字であり、左右の幅方向における音像の定位位置を示す。図示の例では、▲１▼に示す０〜１２７の範囲の数字で設定し、０が最も左の定位位置を表し、１２７が最も右の定位位置を表す。０の時はＬチャンネル側一杯に定位し、Ｒ側は音が鳴らない。また、１２７のときはＲチャンネル側一杯に定位し、Ｌ側は音が鳴らない。
【００５３】
従来、一種の音響効果として、楽音信号をランダムに定位させるというランダムパンを行うことがあった。例えば、自分が弾いた楽音信号が押鍵毎に右から次に左からと、あちらこちらから聞こえるようにすることがあった。しかし、複数の楽音信号に対してそれらの音像をランダムに定位させようとすると、時々複数の楽音信号の音像が同じ位置に定位してしまうことがある。このときは一点に楽音信号がかたまって急に音幅域が狭く感られるという問題があった。複数の音像が中央に定位したときには、更に狭く感じられた。
【００５４】
図１に示した楽音信号処理装置において、パン制御部１３は、第１，第２のハーモニー音信号の音像定位を時間とともにランダムに制御する。第１，第２のハーモニー音信号の音像を定位させる領域である▲１▼に示す０〜１２７の領域が、例えば、▲２▼に示す０〜５７，７１〜１２７、あるいは、▲３▼に示す０〜３５，４６〜８１，９２〜１２７のように、複数の分割区域に分割されている。パン制御部１３は、所定の期間ごとに複数の楽音信号の定位位置を所定の領域内でランダムに決定する定位位置決定部、および、この定位位置決定部により既に決定された複数の楽音信号の定位位置の情報、例えば、上述した定位位置を表す数字、あるいは、定位位置の属する分割区域を特定する番号などを記憶する記憶部を有し、定位位置決定部は、記憶手段が記憶する定位位置の情報に基づいて、既に決定された定位位置を含まない全ての分割区域を上述した所定の領域とする。このようにして、第１，第２のハーモニー音信号の定位位置が集中しないように第１，第２のハーモニー音信号の定位位置を決定することにより、常に安定したランダムパンの効果を与えることができる。
【００５５】
例えば、第１，第２のハーモニー音信号の音像を定位させる領域を、図中、▲２▼に示す０〜５７，７１〜１２７の領域とする。ある時点において、第１のハーモニー音信号の定位位置を０〜５７、７１〜１２７の範囲で数値をランダムに選択し、例えば４０の位置とする。第２のハーモニー音信号の定位位置は、４０の位置を含む０〜５７の分割区域を除いた７１〜１２７の分割区域の範囲で数値をランダムに選択して、例えば１００の位置とする。
【００５６】
すなわち、所定の期間ごとに、第１，第２のハーモニー音信号の内の１つのハーモニー音信号の定位位置をランダムに決定し、他の１つのハーモニー音信号が定位する位置を、前者のハーモニー音信号が定位した分割区域を除く全ての領域においてランダムに決定する。楽音信号の数が増えた場合でも、複数の楽音信号が定位する位置を、既に定位する位置が決定された他の楽音信号が定位する分割区域を除く他の全ての分割区域においてランダムに決定することを、複数の楽音信号について順次繰り返すことにより、複数の楽音信号が同じ分割区域内に重複して定位しないこととなり、前記複数の楽音の定位する位置が集中しないようになる。より具体的なプログラムの処理ステップは図１６を参照して説明する。なお、上述した所定の期間は、一定時間に設定してもよいし、１つのノートのキーオンからキーオフまでの期間としてもよい。
【００５７】
その際、第１，第２のハーモニー音信号の音像を定位させる領域は、▲２▼，▲３▼に示したように２つの分割区域が所定距離だけ離れて隣接するように設定することにより、隣り合った分割区域に定位した２つの楽音が、たまたま近寄った位置に定位しても、所定距離だけは離れるようにすることができ、パン効果を引き立たせることができる。なお、▲２▼に示したように中央の部分をあけて左右２つの方向に定位させ、リード音信号の定位位置を中央に固定し、第１，第２のハーモニー音信号にパン効果を付与すれば、リード音信号に対して第１，第２のハーモニー音信号が引き立つことになる。
【００５８】
また、第１のハーモニー音信号の定位位置がランダムに設定され、次に、第２のハーモニー音信号の定位位置がランダムに設定されるときには、第１のハーモニー音信号の定位位置からある一定距離以上離れた位置に定位することを条件として第２のハーモニー音信号をランダムに設定するようにしてもよい。そのような場合には、必ずしも予め分割区域の間をあけておかずに、第１の定位位置を決めてから第２の分割区域の範囲を決めてもよい。例えば、第１，第２のハーモニー音信号の定位位置の範囲を０〜６３，６４〜１２７の２つの分割区域として、もし第１のハーモニー音信号の定位位置が６０に決まった場合には、第２のハーモニー音信号を定位させる位置の範囲を６０から１４だけ離した７４から１２７とし、この範囲で定位位置をランダムに選択する。
【００５９】
上述した説明では、第１，第２のハーモニー音信号に対してランダムパンの効果付与を行ったが、リード音信号、楽音信号を含め、音像定位させる音の数、音の種類は限定されない。分割区域はランダム定位させる音の数以上あればよい。
【００６０】
図７は、本発明の音声信号または楽音信号の処理装置の実施の一形態のハードウエア構成を示す図である。図中、図１，図６と同様な部分には同じ符号を付して説明を省略する。３１はＣＰＵバス、３２はＲＯＭ、３３はＲＡＭ、３４はＣＰＵ、３５は外部記憶装置、３６はＭＩＤＩインターフェース、３７はＡＤＣ、３８は音源部、３９はＤＳＰ、４０はＤＡＣである。
【００６１】
ＣＰＵバス３１にはＣＰＵ３４などの複数のハードウエアが接続されている。操作子群２２は、ピッチベンドホイールやモジュレーションホイール等の演奏操作子や音色等の楽音パラメータを設定する設定操作子である。表示部２３は、各種の操作子の操作状態等を表示する。ＲＯＭ３２には、ＣＰＵ３４を用いて実行される本発明の音声信号または楽音信号の処理プログラムのほか、プリセットデータやプリセット音色データ、変換テーブルなどが記憶されている。ＲＡＭ３３には、ＣＰＵ３４のワーキングエリア、音色編集バッファ等が設けられている。
【００６２】
外部記憶装置３５は、フレキシブル磁気ディスクドライブ（ＦＤＤ），ハードディスクドライブ（ＨＤＤ）等である。外部記憶装置３５には、音色データや曲データを保存したり、本発明の音声信号または楽音信号の処理プログラムをインストールしておきＲＡＭ３３にロードして実行させることもできる。ＭＩＤＩインターフェース３６は、シーケンサやパーソナルコンピュータとの間で、ＭＩＤＩデータの転送を行う。
【００６３】
ＡＤＣ３７は、マイクロフォン１からの入力音声信号をディジタル信号に変換しＣＰＵバス３１に出力するＡ／Ｄ変換器である。音源部３８は、図１に示した音源部８の機能ブロックとは必ずしも一致しないが、ＣＰＵバス３１から楽音パラメータを入力して楽音信号を生成しＤＳＰ３９に出力する。音源３８の機能もＣＰＵ３４のコンピュータプログラムで実現させる場合もある。ＤＳＰ３９は、ＣＰＵ３４によって制御されて信号処理を行い、入力音声信号のピッチ検出およびピッチ変換を行うとともに、入力音声信号、ピッチ変換信号、音源部８の出力信号に効果を付与する。なお、上述したＤＳＰ３９を機能分割することもできる。入力音声信号のピッチ検出およびピッチ変換関係の第１のＤＳＰと効果付与の第２のＤＳＰの２個を使用し、ＡＤＣ３７の出力を第１のＤＳＰに入力させ、第２のＤＳＰは音源部８の出力と第１のＤＳＰの出力を入力すればよい。ＤＡＣ４０は、ＤＳＰ３９の出力信号をアナログ信号に変換するＡ／Ｄ変換器であり、ステレオアンプ１４を経てスピーカ１５，１６に出力する。
【００６４】
ＣＰＵ３４は、マイクロフォン１からの入力音声信号、鍵盤５，操作子群２２からの操作情報、ＭＩＤＩインターフェース３６を介して入力された演奏情報に対し、ＲＡＭ３３を用いて処理を行い、各種設定パラメータの値を表示部２３に表示したり、処理された演奏情報を基に音源部３８をコントロールしたり、ＭＩＤＩデータをＭＩＤＩインターフェース３６を介して外部に出力する。ＤＡＣ４１もＣＰＵバス３１に接続されて、ＣＰＵ３４に制御されてミキシング処理などを行う場合もある。なお、リード音信号、ハーモニー音信号、楽音信号、これらの合成出力信号を外部記憶装置３５に保存できるようにしてもよい。
【００６５】
図８〜図１６は、本発明の音声信号または楽音信号の処理装置の実施の一形態の動作を説明する処理ステップのフローチャートである。
図８は、メインフローチャートおよび割り込み処理のフローチャートである。Ｓ５１においては装置が初期化され、Ｓ５２においては操作パネル１１上の複数の操作子群２２により楽音パラメータ等の各種の設定を行う。Ｓ５３においては、入力音声に対する効果付与などの制御を行う。入力音声自体の制御についてはフローチャートを用いた説明は省略する。Ｓ５４においては、各種の設定に基づきハーモニー音や楽音の演奏を行う。Ｓ５４の処理が終了すると再びＳ５２に戻り、Ｓ５２〜Ｓ５４が繰り返し実行される。この繰り返しループの途中において、Ｓ５５に示すピッチ検出の割り込み処理、および、Ｓ５６に示す音声，楽音出力とパン効果付与に関する割り込み処理がなされる。
【００６６】
図９は、操作パネル設定に関するフローチャートである。Ｓ６１においては、ハーモニーモードの選択があるか否かを判定し、ある場合にはＳ６２に処理を進め、ハーモニーに関する設定を行い、ない場合にはＳ６３に処理を進める。同様に、Ｓ６３，Ｓ６６，Ｓ６８の各ステップにおいては、それぞれ、ジェンダーコントロールの選択、ピッチ・トゥ・ノートの選択、パン設定モードの選択があるか否かを判定し、選択されたそれぞれの設定のステップに進む。
【００６７】
Ｓ６４においては、オリジナルの入力音声であるリード音に対して付与する効果として、ジェンダーコントロールの設定を行い、Ｓ６５において性別の声質、すなわち、男性声あるいは女性声の設定を行う。なお、ハーモニー音についは、図１を参照した説明では、ピッチ差によって自動的に男性声あるいは女性声を設定するようにした。しかし、ハーモニー音についても、リード音と同様に操作子でジェンダーコントロールの設定を行うようにすることも可能である。Ｓ６９においては、パンの種類、すなわち、通常のパンあるいはランダムパンの設定を行い、次のＳ７０においては、ランダムパンにおいて音像定位を移動させるタイミング間隔をパンの指定長さ（ｉｎｔ）として設定する。なお、図には記載を省略したが、キーオン（ノートオン）毎に音像定位をランダムに移動させる設定もここで行う。
【００６８】
図１０は、図９のＳ６２「ハーモニーの設定」ステップのフローチャートである。Ｓ８１においては、ハーモニーモードを解除し、Ｓ８２においては、ボコーダハーモニーモードが選択されたか否かを判定し、ボコーダハーモニーモードが選択されたときには、Ｓ８３に処理を進め、その他のモードが選択されたときには、Ｓ８６に処理を進める。同様にして、Ｓ８６，Ｓ８８，Ｓ９１においては、それぞれ、コーダルハーモニー，デチューンハーモニー，クロマチックハーモニーが選択されたか否かを判定し、選択されたそれぞれのモードの設定を行う。
【００６９】
Ｓ８３においては、ボコーダーハーモニーモードを設定し、次のＳ８４においては、必要に応じてピッチ差対応の効果の設定を行う。すなわち、図３を参照して説明したボーカルピッチとのピッチ差に応じてハーモニー音信号に付与する効果を変化させる設定を行う。ピッチ差対応の効果の設定を行わない場合には、そのままリターンさせるが、この設定を行う場合には、Ｓ８５において、ピッチ差対応の設定を行う効果の種類、例えば、ジェンダーコントロール，ビブラート，残響（リバーブ），トレモロ等の設定を行う。変化率特性は、例えばルックアップテーブル等を用いて設定できる。Ｓ９０においては、デチューン量をピッチ差で設定し、Ｓ９３においては、シフトさせる量をノート差で設定する。
【００７０】
図１１は、図９のＳ７１「その他の指定された処理」ステップのフローチャートである。Ｓ１０１においては、音色設定モードであるか否かを判定し、音色設定モードであるときにＳ１０２に処理を進め、音色設定モードでなければＳ１０３に処理を進める。Ｓ１０２においては、ピッチ・トゥ・ノートのモードおよび電子楽器の通常の演奏モードにおいて使用する音色を設定する。Ｓ１０３においては、効果設定モードであるか否かを判定し、効果設定モードであればＳ１０４に処理を進め、効果設定モードでなければＳ１０８に処理を進める。
【００７１】
Ｓ１０４〜Ｓ１０７においては、モード等に対応して決まる「音のパート」毎に複数種類の効果設定を行うとともに、効果を付与するタイミングを設定する。Ｓ１０４において、モード等の選択および効果付与の対象とする発音パートの選択を行い、Ｓ１０５に処理を進める。すなわち、ハーモニーモードを選択してリード音のパート、あるいは、１または複数のハーモニー音のパートを選択する。ジェンダーコントロールを行う場合においては、ジェンダーコントロールをする入力音声、あるいは、１または複数のハーモニー音のパートを選択する。ピッチ・トゥ・ノートのモードにおいては、入力音声によってピッチ指定される楽音のパートを選択する。通常演奏モードにおいては、鍵盤で指定される楽音のパートを選択する。
【００７２】
Ｓ１０５においては、効果種類の選択を行い、Ｓ１０６に処理を進める。すなわち、Ｓ１０４において選択されたパートの処理チャンネルに対して、ジェンダーコントロール，ビブラート，トレモロ，遅延信号の付加（ディレイ）、残響（リバーブ）等の効果の種類および程度（深さ）を設定する。Ｓ１０６においては、設定方法の選択を行い、Ｓ１０７に処理を進める。すなわち、Ｓ１０６においては、Ｓ１０４において選択されたパートの処理チャンネルに対して、効果を常に付加するのか、あるいは、状況を見て所定の条件を満たす時に効果を付与するのかを選択して設定する。後者の一例としては、予め設定された効果付与開始時間［ｕｔｉｍｅ］をおいたタイミングで効果を付与する場合があり、具体的にはディレイビブラート等の「ディレイ効果」がある。
【００７３】
後者の場合、時間によって変化させる効果の有無、あるいは、時間によって変化させる効果の程度等を示す効果変化表をルックアップテーブルとして持たせ、このテーブルを選択したり、およびまたは上述した効果付与開始時間［ｕｔｉｍｅ］などのパラメータの値を入力して演算する。これらの選択や入力を操作子で行う際には、表示器を入力画面に切り替えるようにする。Ｓ１０７においては、設定を終了するか否かを操作子の操作により判定し、終了する場合にはリターンとなるが、終了しない場合には、Ｓ１０４に処理を戻す。１つのパートに複数の種類の効果を設定することができ、この場合には、処理を戻した後に再び同じパートを選択して別の効果を設定すればよい。
【００７４】
Ｓ１０８においては、ピッチ決定モードであるか否かを判定する。ピッチ決定モードであるときにはＳ１０９に処理を進め、ピッチ決定モードでないときにはＳ１１０のその他の処理に進む。このステップは、図１，図４を参照して説明したピッチ・トゥ・ノートを実行する際に設定する。Ｓ１０９においては、入力音声のピッチを丸めて楽音信号の音高を表すノート値とする第１の処理モードか、入力音声のピッチをそのまま楽音信号のピッチとする第２の処理モードを選択する。なお、入力音声そのものに対する効果付与部２における機能として、入力音声のピッチを矯正して音楽の音名に対するピッチに変換してリード音を生成することができる。Ｓ１０９は、上述した機能に対する設定ができるように変更可能である。
【００７５】
図１２は、図８のＳ５３「演奏」ステップのフローチャートである。図１３は、図１２のＳ１２２「キーオンイベントに対応した音声，楽音信号を生成」ステップのフローチャートである。図１２のＳ１２１においては、キーオンイベントが発生したか否かを判定し、キーオンイベントがあるときには、Ｓ１２２に処理を進め、キーオンイベントがないときにはＳ１２８に処理を進める。なお、ピッチ・トゥ・ノートにおけるノートオンの発生は、キーオンイベントとして処理し、ノートオフの発生はキーオフイベントとして処理する。Ｓ１２２においては、キーオンイベントに対応する音声，楽音信号を生成する。Ｓ１２２における処理を図１３を参照して先に説明する。
【００７６】
図１３のＳ１４１においては、ハーモニーモードの設定があるか否かを判定し、この設定がある時にはＳ１４２に処理を進め、ない時にはＳ１４３に処理を進める。Ｓ１４２においてはハーモニー音の生成を行い、Ｓ１４３に処理を進める。Ｓ１４２の処理は、図１４を参照して後述する。Ｓ１４３においては、ピッチ・トゥ・ノートの設定があるか否かを判定し、この設定がある時には、Ｓ１４４に処理を進め、ないときにはＳ１４５に処理を進める。Ｓ１４４においては、入力音声から検出されたピッチに応じたピッチ、設定された音色で楽音信号を生成し、Ｓ１４５に処理を進める。Ｓ１４５においては、通常演奏モードの設定があるか否かを判定し、この設定があるときにはＳ１４６に処理を進め、ないときにはリターンする。Ｓ１４６においては、処理キーオンのノートナンバーで、設定されている音色にて楽音信号を生成してリターンする。
【００７７】
図１２に戻って、再び「演奏」ステップにおける処理を説明する。Ｓ１２３においては、効果設定があるか否かを判定し、この効果設定があるときにはＳ１２４に処理を進め、ないときにはＳ１２７に処理を進める。なお、ここでいう効果とは、図１１のＳ１０３〜Ｓ１０７において設定される効果である。Ｓ１２４においては、「ディレイ効果」の設定があるか否かを判定し、この設定があるときにはさらにＳ１２６に処理を進め、ないときにはＳ１２５に処理を進める。Ｓ１２６においては、ピッチ・トゥ・ノート及び通常楽音演奏モードにおける演奏形態がポルタメントコントロールされる演奏形態、または、ポルタメントコントロールされるレガート奏法の演奏形態であるか否かを判定し、これらの演奏形態である場合には、Ｓ１２５に処理を進め、これらの演奏形態でない場合には、Ｓ１２７に処理を進める。
【００７８】
すなわち、「ディレイ効果」が設定されているときには、キーオンイベント（ノートオン）によっては生成された音声，楽音信号に直ちには効果を付与しないが、ポルタメントまたはレガートコントロールされた演奏形態において、最初のノートに対応する楽音に付与された効果を引き続き継続させる。Ｓ１２７においては、生成した音声，楽音信号を処理チャンネルに出力して、Ｓ１３０に処理を進める。
【００７９】
一方、Ｓ１２８においては、キーオフイベントがあるか否かを判定し、あるときにはＳ１２９に処理を進め、ないときにはＳ１３０に処理を進める。Ｓ１２９においては、キーオフイベントに対応した音声，楽音信号の生成を停止し、Ｓ１３０に処理を進める。Ｓ１３０においては、音声，楽音出力中の処理チャンネル（ｎ）があるか否かを判定し、あるときには、Ｓ１３１に処理を進め、ないときにはリターンする。なお、この図では省略しているが、Ｓ１３１〜Ｓ１３６においては、リード音のパートの処理チャンネルを除く、音声，楽音信号中の処理チャンネルの全てについて処理ステップを実行する。Ｓ１３１においては、「ディレイ効果」の設定があるか否かを判定し、設定がある場合にはＳ１３２に処理を進め、ない場合にはリターンする。
【００８０】
Ｓ１３２においては、チャンネル（ｎ）毎に、時間［ｔｉｍｅ（ｎ）］を＋１加算し、Ｓ１３３に処理を進める。Ｓ１３３においては、時間［ｔｉｍｅ（ｎ）］が、図１１のＳ１０６において設定された効果付与開始時間［ｕｔｉｍｅ］に達したか否かを判定し、達していないときにはＳ１３４に処理を進め、達したときにはリターンする。Ｓ１３４においては、効果を付与するまでの時間［ｔｉｍｅ（ｎ）］を再び０に初期化し、Ｓ１３５に処理を進める。Ｓ１３５においては、音声，楽音信号に「ディレイ効果」を付与し、Ｓ１３６においては、「ディレイ効果」を付与した音声，楽音信号を該当する処理チャンネル（ｎ）に出力する。
【００８１】
図１４は、図１３のＳ１４２「ハーモニー音の生成」ステップのフローチャートである。Ｓ１６１においては、ボコーダーハーモニーモードの設定がある否かを判定し、この設定がある場合には、Ｓ１６２に処理を進め、ない場合はＳ１６３に処理を進め、Ｓ１６３においては、コーダルハーモニーの設定があるか否かを判定し、この設定がある場合にはＳ１６４に処理を進め、ない場合にはＳ１６５に処理を進め、Ｓ１６５においては、デチューンハーモニーの設定があるか否かを判定し、この設定があるときにはＳ１６６に処理を進め、ないときにはＳ１６７に処理を進める。Ｓ１６７においては、クロマチックハーモニーの設定があるか否かを判定し、この設定がある場合にはＳ１６８に処理を進め、ない場合にはＳ１６９に処理を進める。各ハーモニーモードにおける処理は、既に図１，図２を参照して説明したとおりである。
【００８２】
Ｓ１６９においては、ピッチ差対応の効果の設定があるか否かを判定し、この設定がある場合にはＳ１７０に処理を進め、ない場合にはリターンする。Ｓ１７０においては、キーオンのノートピッチからボーカルピッチを引いた値をピッチ差とし、Ｓ１７２において、選択されたルックアップテーブルからピッチ差に応じて効果のパラメータを設定し、リターンする。
【００８３】
図１５は、「ピッチ検出の割り込み処理」のフローチャートである。タイマー割り込みにより起動する。Ｓ１８１においては入力音声のピッチ検出を行い、Ｓ１８２に処理を進める。Ｓ１８２においては、ピッチ・トゥ・ノートの設定があるか否かを判定し、この設定がある場合にはＳ１８３に処理を進め、ない場合にはリターンする。Ｓ１８３においては、図４（ａ）を参照して説明した第１の処理モードであるか否かを判定し、第１の処理モードのときにはＳ１８４に処理を進め、図４（ｂ）を参照して説明した第２の処理モードのときにはＳ１８６に処理を進める。
【００８４】
Ｓ１８４においては、今回検出したピッチと前回検出したピッチにより決定したノートナンバーに対応する前回決定ピッチとの差が±１００セント（半音）を超えたか否かを判定し、超えた場合にはＳ１８５に処理を進め、超えないときにはＳ１８７に処理を進める。なお、初めてピッチを検出したときにもＳ１８５に処理を進める。Ｓ１８５においては、変換テーブル（ルックアップテーブル）により、音楽の複数の音名に対応する半音単位のピッチの中から、今回の検出ピッチに最も近いピッチを選択し、この音名のノートナンバを決定する。また、この音名に対応するノートナンバが、次の割り込み処理時の前回決定ピッチとなる。
【００８５】
一方、Ｓ１８６においては、検出したピッチそのものを楽音の音高とするための処理を行い、Ｓ１８７に処理を進める。具体的には、図４（ｂ）を参照して先に説明したように、ピッチベンド処理とポルタメントコントロールとの組み合わせで行う。Ｓ１８７においては、Ｓ１８５で検出したノートナンバー、あるいは、Ｓ１８６で指定したピッチベンドデータおよび中心音高のノートナンバーによって楽音の音高を指定してリターンする。
【００８６】
図１６は、「音声，楽音出力とパン効果に関する割り込み処理」のフローチャートである。タイマー割り込みにより起動する。Ｓ１９１においては、現在発音中のチャンネルにおいてランダムパンが設定されている処理チャンネルの数（ｒｄｎ）を求める。なお、この割り込み処理ではリード音のパートの処理チャンネルも含む。次のＳ１９２においては、ｒｄｎ＝０であるか否かを判定し、０のときにはＳ２０２に処理を進めるが、０でないときにはＳ１９３に処理を進め、時間［ｔｉｍｅ］に＋１を加算し、Ｓ１９４においては、時間［ｔｉｍｅ］がランダムパンの指定長さ［ｉｎｔ］を超えたか否かを判定し、超えたときにはＳ１９５に処理を進め、超えないときにはＳ２０２に処理を進める。Ｓ１９５においては、時間［ｔｉｍｅ］を初期設定しなおす。
【００８７】
次のＳ１９６〜Ｓ２０２までの処理は、図６を参照して説明したランダムパンの一具体例としての処理ステップである。Ｓ１９６においては、全分割区域内で音声，楽音の定位位置をランダムに決定する。次のＳ１９７においては、第１のランダムパンが設定されている発音中チャンネルに、決定したランダム位置に応じてパンのパラメータに数値を設定する。次のＳ１９８においては、ランダムパンの設定がされている処理チャンネルが他にあるか否かを検索し、ある場合にはＳ１９９に処理を進めるが、ない場合にはＳ２０２に処理を進める。Ｓ２０２においては、ランダムパンの設定がされていない処理チャンネルには、中央など所定の位置に定位位置を決定する。
【００８８】
Ｓ１９９においては、まだ選ばれていない分割区域をランダムに決定し、Ｓ２００において決定された分割区域の中で定位位置をランダムに決定する。次のＳ２０１においては、先にＳ１９８で検索されたランダムパンの設定された処理チャンネルに、Ｓ２００で決定した位置に応じてパンのパラメータの数値を設定し、Ｓ１９８に処理を戻す。Ｓ２０２においては、各処理チャンネルは、パン状態が付与された音声，楽音信号を出力制御して、リターンする。
【００８９】
なお、上述した説明では、マイクロフォン１から入力した使用者の音声を基にしてハーモニー音や楽音を生成した。しかし、基となる音声または楽音は、人の声や楽音に限られるものではなく、動物の声などピッチが検出可能なものであれば任意の種類の音でよい。また、パン効果を与える楽音信号については、ノイズ信号などピッチ検出ができない楽音信号でもよい。ピッチ検出ができない音も電子楽器の音色として通常使用されている。
【００９０】
本発明によれば、歌声をリアルタイムに入力する場合に好適であるが、予め使用者の音声が録音されたものを再生して音声を取り込んで処理することもできる。また、ハーモニー音のピッチを制御する音高指定手段としては、鍵盤５を使用する代わりに、曲データファイル中のＭＩＤＩデータによってハーモニー音の音高を指定することもできる。
【００９１】
上述した説明では、使用者の音声をピッチ変換しないものをリード音信号としてハーモニー音信号とミキシング合成してスピーカ１５，１６から放音するようにした。しかし、ハーモニー音信号だけを放音する装置であっても、演奏が可能である。また、使用者の音声そのものは、他のオーディオアンプから放音することもできる。
【００９２】
【発明の効果】
本発明は、上述した説明から明らかなように、連続的に変化する音声信号または楽音信号のピッチに追従してピッチが連続して変化する楽音信号を発生させることができ、かつ、再発音を目立たないようにすることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の音声信号または楽音信号処理装置の実施の一形態の機能ブロック図である。
【図２】ボーカルハーモニーモードの具体例の説明図である。
【図３】ピッチ制御部による効果付与部の制御態様の説明図である。
【図４】ピッチ・トゥ・ノートの説明図である。
【図５】連続的に発生する楽音信号にディレイ効果を付与する場合の説明図である。
【図６】本発明の音声信号または楽音信号処理装置の実施の一形態の外観図である。
【図７】本発明の音声信号または楽音信号処理装置の実施の一形態のハードウエア構成を示す図である。
【図８】本発明の音声信号または楽音信号の処理装置の実施の一形態の動作を説明する処理ステップのメインフローチャートおよび割り込み処理のフローチャートである。
【図９】「操作パネル設定」に関するフローチャートである。
【図１０】図９のＳ６２「ハーモニーの設定」ステップのフローチャートである。
【図１１】図９のＳ７１「その他の指定された処理」ステップのフローチャートである。
【図１２】図８のＳ５３「演奏」ステップのフローチャートである。
【図１３】図１２のＳ１２２「キーオンイベントに対応した音声，楽音信号を生成」ステップのフローチャートである。
【図１４】図１３のＳ１４２「ハーモニー音の生成」ステップのフローチャートである。
【図１５】「ピッチ検出の割り込み処理」のフローチャートである。
【図１６】「音声，楽音出力とパン効果に関する割り込み処理」のフローチャートである。
【符号の説明】
１ マイクロフォン、２ 効果付与部、３ａ，３ｂ，７ａ，７ｂ，９ ピッチ変換部、４ ピッチ検出部、５ 鍵盤、６ ピッチ制御部、８ 音源、１０ 信号出力制御部、１１ 操作パネル、１２ 機能制御部、１３ パン制御部、１４アンプ、１５，１６ スピーカ
【発明の属する技術分野】
本発明は、音声信号または第１の楽音信号のピッチに基づいてピッチが制御される第２の楽音信号を生成する音声信号または楽音信号処理装置、および、音声信号または楽音信号の処理機能を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
従来、使用者の音声のピッチを検出してキーデータを形成して順次記憶し、記憶されたキーデータを順次読み出して演奏する楽音信号処理装置が、特公平４−５１８３８号公報等で知られている。使用者は鍵盤を弾くことなく単に歌うだけでよい。しかし、検出された入力音声信号のピッチは、音楽の音名に対応するピッチに丸めて楽音を出力する。そのため、ピッチに段差が発生し、鍵盤楽器のようにピッチを区切って楽音を演奏するのに適している。しかし、人が歌を歌うときは、音声のピッチを連続的に変化させる場合もある。この場合は、連続的に変化する音声のピッチに応じてピッチが連続して変化する楽音を発生させる必要がある。取り込んたキーデータを編集して修正すれば、ピッチが区切られた楽音に対し、部分的に楽音のピッチに連続的な変化をつけることも不可能ではない。しかし、処理としては面倒である。
【０００３】
一方、入力音のピッチを演奏情報化する際に、ノート情報とピッチベンド情報を発生させる方法が、特開平４−２４２２９０号公報等に記載されている。しかし、ピッチベンドレンジを超えてピッチが連続的に変化する際の処理について何も検討されていない。
【０００４】
【発明が解決しようとする課題】
本発明は、上述した問題点を解決するためになされたもので、連続的に変化する音声信号または楽音信号のピッチに追従してピッチが連続して変化する楽音を再発音によって発生させるもので、その際の再発音が目立たないようにする音声信号または楽音信号の処理装置、および、音声信号または楽音信号の処理機能を実現させるためのコンピュータ読み取り可能な記録媒体を提供することを目的とするものである。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明においては、音声信号または楽音信号の処理装置において、音声信号または第１の楽音信号である信号のピッチを検出するピッチ検出手段、第２の楽音信号を生成する楽音信号生成手段、音名同定手段、および、ピッチベンド処理手段を有し、前記音名同定手段は、前記ピッチ検出手段が初めて前記信号のピッチを検出したとき、前記信号のピッチを音名に同定するとともに、前記信号のピッチが連続的に変化しかつ同定された音名のピッチとの差がピッチベンドレンジを超えたときに、前記信号のピッチを音名に新たに同定し直すとともに再発音制御信号を出力するものであり、前記ピッチベンド処理手段は、前記信号のピッチと前記音名同定手段により同定された音名のピッチとの差に応じて、前記楽音信号生成手段が生成する第２の楽音信号のピッチを、前記音名同定手段により同定された音名のピッチを中心音高として、前記信号のピッチに追従させるものであり、前記楽音信号生成手段は、前記ピッチ検出手段が初めて前記信号のピッチを検出したとき、前記音名同定手段により同定された音名で、かつ、該ピッチベンド処理手段により前記信号のピッチに追従させたピッチで前記第２の楽音信号を生成して発音させるとともに、前記音名同定手段から再発音制御信号を入力したとき、前記第２の楽音信号を消音させるとともに、前記音名同定手段により新たに同定し直された音名で、かつ、前記ピッチベンド処理手段により前記信号のピッチに追従させたピッチで前記第２の楽音信号を生成して再発音させ、かつ、再発音の前後で前記第２の楽音信号の振幅エンベロープの大きさを略一致させるものである。
したがって、連続的に変化する音声信号または楽音信号のピッチに追従してピッチが連続して変化する楽音を再発音によって発生させることができ、かつ、再発音を目立たないようにすることができる。
【０００６】
請求項２に記載の発明においては、音声信号または楽音信号の処理機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、該音声信号または楽音信号の処理機能は、音声信号または第１の楽音信号である信号のピッチを検出するピッチ検出機能、第２の楽音信号を生成する楽音信号生成機能、音名同定機能、および、ピッチベンド処理機能を有し、前記音名同定機能は、前記ピッチ検出機能が初めて前記信号のピッチを検出したとき、前記信号のピッチを音名に同定するとともに、前記信号のピッチが連続的に変化しかつ同定された音名のピッチとの差がピッチベンドレンジを超えたときに、前記信号のピッチを音名に新たに同定し直すとともに再発音制御信号を出力するものであり、前記ピッチベンド処理機能は、前記信号のピッチと前記音名同定機能により同定された音名のピッチとの差に応じて、前記楽音信号生成機能が生成する第２の楽音信号のピッチを、前記音名同定機能により同定された音名のピッチを中心音高として、前記信号のピッチに追従させるものであり、前記楽音信号生成機能は、前記ピッチ検出機能が初めて前記信号のピッチを検出したとき、前記音名同定機能により同定された音名で、かつ、該ピッチベンド処理機能により前記信号のピッチに追従させたピッチで前記第２の楽音信号を生成して発音させるとともに、前記音名同定機能から再発音制御信号を入力したとき、前記第２の楽音信号を消音させるとともに、前記音名同定機能により新たに同定し直された音名で、かつ、前記ピッチベンド処理機能により前記信号のピッチに追従させたピッチで前記第２の楽音信号を生成して再発音させ、かつ、再発音の前後で前記第２の楽音信号の振幅エンベロープの大きさを略一致させるものである。
したがって、請求項１に記載の発明と同様な作用をコンピュータ読み取り可能なプログラムをコンピュータに実行させることによって実現することができる。
【０００７】
【発明の実施の形態】
図１は、本発明の音声信号または楽音信号の処理装置の実施の一形態の機能ブロック図である。図中、１はマイクロフォン、２は効果付与部、３ａ，３ｂはピッチ変換部、４はピッチ検出部、５は鍵盤、６はピッチ制御部、７ａ，７ｂは効果付与部、８は音源、９は効果付与部、１０は信号出力制御部、１１は操作パネル、１２は機能制御部、１３はパン制御部、１４はアンプ、１５，１６はスピーカである。
【０００８】
最初に全体の構成を説明する。音声入力部であるマイクロフォン１の出力は、効果付与部２、ピッチ変換部３ａ、３ｂ、および、音声入力のピッチ（以下、「ボーカルピッチ」という）を検出するピッチ検出部４に入力される。ピッチ検出部４および鍵盤５の出力は、ピッチ制御部６に入力される。ピッチ制御部６の第１の出力はピッチ変換部３ａ，３ｂに入力される。ピッチ変換部３ａ，３ｂの出力およびピッチ制御部６の第２の出力は、効果付与部７ａ，７ｂに入力される。ピッチ制御部６の第３の出力は、音源８に入力され楽音のピッチを制御し、音源８の出力は効果付与部９に入力される。
【０００９】
効果付与部２の出力はリード音信号となり、効果付与部７ａ，７ｂの出力は第１，第２のハーモニー音信号となり、効果付与部９の出力は楽音信号となる。これらの各信号は、信号出力制御部１０に入力される。操作パネル１１の出力は機能制御部１２を介して、ピッチ制御部６、音源８，効果付与部２，７ａ，７ｂ，９、信号出力制御部１０、パン制御部１３の各機能を制御する。信号出力制御部１０は、リード音やハーモニー音、楽音の各々のチャンネルの出力バランスの制御を行う。例えば、混合割合を代えたり、特定の１または複数のチャンネルだけを出力したりする。また、パン制御部１３によって、複数のチャンネル、例えば第１，第２のハーモニー音の定位を決定する。信号出力制御部１０の出力信号は、ステレオ用のアンプ１４を介しスピーカ１５，１６に出力される。
【００１０】
上述した構成により、マイクロフォン１から入力された音声信号であるリード音、入力音声のピッチに基づいて生成された第１，第２のハーモニー音、および、楽音は、所望に応じて少なくとも１つが選択されミキシングされて放音されることになる。なお、音声のピッチ検出は、ゼロクロス法等、音声分析の分野で周知の技術を用いることができる。付与する効果としては、ジェンダー（男性声，女性声といった声質のタイプおよび深さ）、ビブラート（深さと周期の変化率、ビブラート開始までの遅延時間）、トレモロ、音量、パン（定位）、デチューン（後述するデチューンハーモニーモード以外のモードにおけるハーモニー音のデチューン）、リバーブ（残響）などがある。
【００１１】
図１においては、機能的にわかりやすくするために、効果付与部２，７ａ，７ｂ，９において効果の付与を行うものとしているが、ビブラート、デチューンなどのピッチの変化に関するものは、ピッチ変換部３ａ，３ｂにおけるピッチ変換と同時に行うことができる。また、音量およびパンについては信号出力制御部１０において行うことになる。ジェンダーの効果制御は、フォルマントシフトによって行う。
【００１２】
図４は、ピッチ・トゥ・ノートの説明図である。図４（ａ）は、第１の処理モード、図４（ｂ）は第２の処理モードの説明図である。なお、説明用の図であるため、実際のボーカルピッチの特性とは必ずしも一致しない。このピッチ・トゥ・ノートにおいては、入力音声信号のピッチを用いて任意の音色の楽音を出力する。
【００１３】
図４を参照しながら、図１の機能ブロック図に基づいて、ピッチ・トゥ・ノートの信号処理を説明する。本発明の実施の一形態においては、ボーカルピッチに基づいてノートオン、ノートオフ、ピッチベンド、ポルタメントコントロールの情報を生成し、指定した音色の楽音信号を生成している。ピッチ制御部６は、ピッチ検出部４の出力に基づいて、図４（ａ），（ｂ）に示すボーカルピッチを音名に同定する音名同定部、ボーカルピッチと同定された音名のピッチとの差に応じてピッチベンド処理を行うピッチベンド処理部等を有し、音源部８が出力する楽音信号のピッチを制御する。
【００１４】
図４（ａ）に示す第１の処理モードにおいては、ボーカルピッチと音楽上予め定められた複数の音名のピッチとのピッチ差を検出し、楽音信号のピッチを特定の音名のピッチに同定する。具体的には、ボーカルピッチを丸め処理等の方法で、半音（１００セント）単位で定められた音楽の複数の音名のうち、最も近いピッチの音名に同定し、この音名のピッチを楽音信号のピッチとする。なお、この処理は、後述する図１５のフローチャートにおいても説明している。このピッチは、ノートナンバに対応づけられる。このピッチは、図２に示したボーカルノートのピッチと一致する。
【００１５】
図４（ｂ）に示す第２の処理モードにおいては、ボーカルピッチに基づいてこれに追従して変化するピッチを楽音信号のピッチとする。この楽音信号のピッチは、図示のようなピッチが確定しないボーカルピッチをそのまま、あるいは、ボーカルピッチのわずかなピッチの揺れが消える程度の短期間の平均化を行ったボーカルピッチを使用する。いずれにしても、音名に定められたピッチのような１００セント単位の離散的な音高を取るのではなく、連続的に楽音信号のピッチが変化可能となるようにする。
【００１６】
上述した第１，第２の処理モードは、ピッチ・トゥ・ノートの処理開始前に、使用者の好みに応じて切り替える。あるいは、ピッチ制御部６がピッチ・トゥ・ノートの処理動作中に、操作スイッチ１つで切り替えるようにするとさらに好適である。このようにすれば、歌っている曲の中で選択が容易にできる。このような切り替えスイッチをマイクロフォン１の把持部に設ければ、使用者にとってさらに操作性が良好となる。
【００１７】
生成する楽音のノートオンのタイミングは、ピッチ検出部４で音声信号のピッチが検出できた時点とし、ノートオフのタイミングは、ピッチ検出部４で音声信号のピッチが検出できなくなった時点とする。ピッチ検出部４では、音声入力のレベルが所定レベル以上にならないと検出できないので、ノートオン，ノートオフのタイミングは実質的に入力音声の強度にも依存している。
【００１８】
なお、入力された音声信号の強度を検出するブロックをピッチ検出部４と独立して設け、音声入力の強度が第１の所定レベル以上となったときにノートオンとなり、音声入力の強度が第２の所定レベル以下となったときにノートオフとなるようにすることができる。第１，第２の所定レベルは同一レベルでもよい。
【００１９】
また、別にスイッチ手段を用いてこのオンオフのタイミングによってノートオン，ノートオフの時点を決めることも可能である。また、鍵盤５の鍵あるいは押しボタンスイッチを操作者が押圧し続けている場合に限り、ピッチ・トゥ・ノートの信号処理が可能となるようにすれば、音声を入力していないときの雑音によって楽音が発生するというような誤動作を防止することができる。
【００２０】
音源部８で生成された楽音信号は、効果付与部９を経て、信号出力制御部１０に入力されるが、ピッチ・トゥ・ノートによる楽音信号のみが信号出力制御部１０から出力されるようにしてもよい。また、本装置に備え付けられたＭＩＤＩ ＯＵＴ端子を介して、ＭＩＤＩデータで外部のＭＩＤＩ機器に出力することもできる。
【００２１】
図４（ｂ），図１を参照して、ピッチ・トゥ・ノートの第２の処理モードを説明する。音名同定部は、ボーカルピッチが連続的に変化して同定された音名のピッチとの差が所定の範囲を超えたときには、ボーカルピッチの音名を新たな音名に同定し直すとともに、アタック部のない振幅エンベロープを持つ楽音信号を発生するように音源８を制御する。
【００２２】
図４（ｂ）のｔ１の時点で、ピッチ検出部４は、ボーカルピッチを出力開始し、このボーカルピッチの値に最も近いピッチの音名をＥ４と判断し、基準の音名を決め、ノートオンを出力する。あるいは、上述した入力音声信号の強度を検出するブロックが発音開始を認知したときのノートオン、あるいは上述したスイッチからのノートオンの時点ｔ１でのボーカルピッチの値に最も近いピッチの音名をＥ４と判断し、基準の音名を決める。なお、上述した時点ｔ１の直後にボーカルピッチが音名Ｅ４のピッチになったときに、ピッチ検出部４が音名Ｅ４のノートオンを出力するようにしてもよい。
【００２３】
ピッチ制御部６は、このボーカルピッチに対応する音名Ｅ４のノートナンバを音源８に出力するとともに、音源８にノートオン処理を実行させる。その後、ボーカルピッチが変動すると、ボーカルピッチと同定された音名のピッチとの差に応じてピッチベンド処理を行う。すなわち、楽音信号のピッチを音名Ｅ４のピッチを中心音高としたピッチベンド処理によって追従させて楽音が連続的に変化するようにしている。しかし、ピッチベンドレンジ（範囲）を、図示の例では、各音名の音高の±１００セントの範囲に設定している。そのため、ピッチベンド処理だけでは、ピッチが途切れることなく連続的に変化してピッチベンドレンジを超えてしまうような楽音を発生することはできない。
【００２４】
そこで、ボーカルピッチの検出が途切れることなく連続的に変化して、ピッチベンドレンジを超える音高の発音が必要になったとき、図４（ｂ）のｔ２の時点で、同定された音名Ｅ４のピッチとの差がこのピッチベンドレンジを超えた際には、再発音制御信号を音源８に出力して、元の音名の前記第２の楽音信号を消音させるとともに新たに同定し直された音名で楽音信号を再発音させる。すなわち、ｔ１でノートオンとなった音名Ｅ４のノートは、ｔ２の時点でノートオフとし、ボーカルピッチを新たな音名Ｆ４に同定し直して、音源８が音名Ｆ４の楽音を新たに発生するように制御する。ボーカルピッチが音名Ｆ４のピッチになった後も、同様に±１００セントの変動範囲においては、音名Ｆ４のピッチを中心音高とするピッチベンド処理によって楽音信号のピッチをボーカルピッチに追従させる。つまり、ピッチベンドの基点とする中心音高のノートを変更して行き、そのつなぎをピッチベンドで処理して行く。このようにして、楽音信号のピッチをボーカルピッチに追従させてほぼ同様に連続的に変化させることができる。
【００２５】
検出されたボーカルピッチが連続的に変化して、ピッチベンドレンジを超える音高の発音が必要になったときの上述した処理に、ＸＧフォーマットで規定されているポルタメントコントロールを用いれば、新たな音名Ｆ４の楽音をアタック部のない振幅エンベロープを持つものとして音源８から出力させることができる。なお、振幅エンベロープは、通常、アタック、ディケイ、サステイン、リリースの部分に区分されるが、アタック部は、振幅エンベロープの立ち上がりを遅らせたり、オーバーシュートを発生させたりする。
【００２６】
したがって、楽音をつないで行く際にはアタック部をなくすことが望ましい。その結果、振幅エンベロープに関しては、再発音の前後で楽音信号の振幅エンベロープの大きさが一致するため、音名Ｅ４のノートから音名Ｆ４のノートにそのままつながりやすくなり、再発音を目立たなくすることができる。なお、前の音名Ｅ４の楽音のディケイ部は目立たないが、目立つ場合にはこれもなくすることが望ましい。また、アタック部が存在する振幅エンベロープであっても、前の音名Ｅ４の楽音のディケイ部とクロスフェードすることにより、再発音の前後で楽音信号の振幅エンベロープの大きさを略一致させることができるため、再発音時の前後における振幅エンベロープをつなぐことができる。
【００２７】
なお、ピッチベンドレンジを０に設定した場合は、実質的にピッチベンド動作が行われず、半音単位に矯正された出力結果、つまり、新たなキーオンデータだけの出力となる。したがって、ピッチベンドレンジを０に設定すれば、第１の処理モードが行われることになる。したがって、ピッチ制御部６が動作中であっても、ピッチベンドレンジの設定を変えるだけで、簡単に第１，第２の処理モードを切り替えることができる。その際、ボーカルピッチが連続的に変化して音名を同定しなおして再発音する際の振幅エンベロープについても、第１，第２の処理モードの切り替えに連動して切り替えるようにすることができる。
【００２８】
上述したように、ピッチ・トゥ・ノートの処理では、入力音声のピッチに基づいてピッチが制御される楽音を生成する際に、音名のピッチに同定されて階段状にピッチが変化する演奏と、入力音声のピッチに追従して段差がなく滑らかにピッチが変化する演奏とを使用者が任意に選択することができる。歌を歌っている最中に、楽音のピッチの変え方をリアルタイムに切り替えることができる。歌声を記録再生装置に取り込んでからでなくても、思うような楽音信号の音高が得られるまで自分の声を変えて歌い直してみることができる。
【００２９】
なお、楽音信号の強度は、操作パネル１１で設定していたため、演奏中は一定であった。そのため、力が抜けたような単調な音になってしまう場合がある。すなわち、キーオン毎に予め設定されたエンベロープを付与していたが、生成する楽音が単調になってしまう。そこで、入力音声信号の強度を検出する手段と、検出された入力音声信号の強度に基づいて、例えば、これに比例した強度で楽音信号の強度を制御する手段を加える。入力音声信号のボーカルピッチおよび強度に基づいて楽音信号のピッチおよび強度を制御することができる。このようにすれば、キーオン毎に変化を付けた力強い演奏ができるようになるとともに、使用者が歌っているときの感情を楽音信号の強度によって反映させることができるようになる。楽音信号は所定形状の振幅エンベロープを付けて出力されるが、この振幅エンベロープの強度（振幅エンベロープに掛け合わせる係数）を入力音声信号の発音強度に基づいて決定する。また、外部の機器にＭＩＤＩデータで出力する場合には、ノートオンのベロシティデータとして出力することができる。
【００３０】
次に、ボーカルハーモニーモードにおいて図１に示した各構成要素の機能的動作を説明することとする。上述した構成の楽音信号処理装置は、入力音声に基づいてボーカルハーモニー音信号を生成し、これを入力音声であるリード音に付加して出力する。同時に、リード音信号，ハーモニー音声信号に対してジェンダーコントロールを行うことができる。ボーカルハーモニーモードは、操作パネル１１により設定される。男性、女性、混成コーラス、カントリー、ジャズ、アカペラコーラス、低音コーラス等の特色あるボーカルハーモニーをそれぞれハーモーニーキットとしてまとめ、操作パネル１１によってこのハーモーニーキットを選択することにより、機能制御部１２で多数のパラメータを一括して設定することができる。
【００３１】
マイクロフォン１から入力された使用者の声のボーカルピッチは、ピッチ検出手段４で検出される。ピッチ制御部６は、ピッチ検出手段４の出力と鍵盤５による音高指定を制御入力とし、ピッチ変換部３ａ，３ｂを制御する。ピッチ変換部３ａ，３ｂは、使用者の声の信号を入力して、上述した使用者の声の信号のピッチを所望のピッチに変換する。引き続き、効果付与部７ａ，７ｂにおいて効果を付与し、第１，第２のハーモニー音信号を生成する。なお、ハーモニー音信号は２声に限らず、１声でも、３声以上であってもよい。
【００３２】
操作パネル１１および機能制御部１２は、使用者の音声信号に付与する効果と、第１，第２のハーモニー音信号に付与する効果とを独立して設定できるようにしている。そのため、使用者は、効果付与部７ａ，７ｂでは効果付与部２で付与する効果とは異なる効果、例えば、効果の種類を変えたり、およびまたは効果の程度を変えて効果を付与することができる。例えば、リード音信号に対してハーモニー音信号の効果の深さを大きくしたり、リード音信号に対しては音像の定位位置を変えずに、ハーモニー音信号に対してはランダムパンを行う。
また、機能制御部１２により、デフォルトの設定状態では、効果付与部７ａ，７ｂでは、効果付与部２とは常に効果が異なるようにしておく。このようにして、元の使用者の声に対し、くっきりとしたハーモニー音を生成することが可能となる。
【００３３】
ピッチ制御部６は、また、効果付与部７ａ，７ｂを制御し、ピッチ変換前後のピッチ差、すなわち、ボーカルピッチとピッチ変換されたハーモニー音信号とのピッチ差に応じてハーモニー音信号に付与する効果の種類を変更したり、およびまたは、効果の程度を変更する機能を有している。その結果、使用者の音声信号に対し、ハーモニー音声信号に変化に富んだ効果を付与したり、ハーモニー音信号に対して使用者の音声からのピッチ差に応じた適切な効果の付与を自動的に行うことができる。
【００３４】
なお、この機能ブロック図においては、アナログ信号処理とディジタル信号処理の区別をしていないので、Ａ／Ｄ変換器、Ｄ／Ａ変換器の記載を省略している。一例として、マイクロフォン１のアナログ信号は、Ａ／Ｄ変換器を通してディジタル信号に変換してから効果付与部２等に出力する。信号出力制御部１０においては、効果付与部２，７ａ，７ｂ、９の各出力を重み付けした後にディジタル加算し、Ｄ／Ａ変換器を通してアンプ１４に出力する。
【００３５】
図２は、ボーカルハーモニーモードの具体例の説明図である。
図２（ａ）にボコーダーハーモニーモードにおける各音声信号の関係を示す。マイクロフォン１から使用者が音声を入力すると同時に鍵盤５を弾くと、弾かれた鍵に対応する音高と一致する音高（キーオンノート）のハーモニーノートを元の音声であるリード音に付加して発音させる。このハーモニー音信号の音色は、操作者の「自分の声」ということになり、この音色の楽器を鍵盤５を弾いているようなものとなる。このハーモニー音の発音期間は、鍵盤５の押鍵により制御される。操作パネル１１で発音形態を設定することにより、例えば、サステイン期間のあるオルガンと同様にキーオンからキーオフまで持続音を発生させたり、ピアノのようにキーオンから所定期間減衰音を発生させることができる。
【００３６】
操作パネル１１でボコーダのタイプを選ぶことにより、発音するハーモニーノートを鍵盤５で指定されたノート（キーオンノート）のピッチからトランスポーズさせることができる。自動設定では、ボーカルノートを中心とする±６半音内に入る音高となるようにシフト量を設定することもできる。なお、ピッチ制御部６では、ボーカルピッチが前回計算したノートの上または下に半音を超えた場合に、波長比較で最も近い音高のノートをボーカルノートとしている。
【００３７】
図２（ｂ）にコーダルハーモニーモードにおける各音声信号の関係を示す。マイクロフォン１から使用者が音声を入力し、同時に鍵盤５でコード（和音）を指定する。ピッチ制御部６では、コードの種類を認識して、このコードを構成する音名に合ったハーモニー音をリード音に付加して発音させる。すなわち、使用者が音声を入力するだけで鍵盤５で指定されたコードに合うハーモニー音が付くことになる。例えば、コードがＣメジャーであるとき、ハーモニー音は、その構成音であるＣ，Ｅ，Ｇのいずれかの音高とする。操作パネル１１の設定によりすぐ上の音を鳴らす設定（デュエット・アバブ）になっていた場合、入力音声の音高がＣであるときに、ハーモニー音はＥのハーモニーノートで鳴ることになる。
コーダルハーモニモードでは、一度コードが確定すると鍵盤５を押さえなくても音声を入力するだけでその構成音のハーモニーがいつでも付くことになる。曲の進行に合わせて鍵盤５でコードを指定換えすることもできる。
【００３８】
図２（ｃ）にデチューンハーモニーモードおよびクロマチックハーモニーモードにおける各音声信号の関係を示す。デチューンハーモニーモードでは、ボーカルピッチまたはボーカルノートをわずかにずらせた音を鳴らす（いわゆるコーラス効果）。デチューン量は、デチューンタイプを切り替えることにより±数セントないし±２０セント程度まで変えるようにしている。
クロマチックハーモニーモードでは、ボーカルピッチまたはボーカルノートから固定ピッチ分シフトした音を鳴らす。ピッチシフト量は、同音程（ユニゾン）から±１オクターブ程度まで変えるようにしている。
【００３９】
図３は、ピッチ制御部による効果付与部の制御態様の説明図である。使用者の声のボーカルピッチとピッチ変換後のハーモニー音のピッチ（ハーモニーノート）とのピッチ差に応じてハーモニー音信号に付与する効果のパラメータ値を変化させる。ボーカルピッチは、丸め処理されたボーカルノートのピッチでもよい。図３（ａ）は、ピッチ差の絶対値が一定の閾値ｄ１を超えたときにパラメータ値Ｐｓで表される一定量の効果を付与する例を示す。ｄ１およびＰｓの値は、操作パネル１１および操作制御部１２によって可変設定することができる。図３（ｂ）は、ピッチ差が一定の閾値ｄ１を超えると効果が掛かり始め（本例はピッチ差ｄ１に設定）、その後はピッチ差の絶対値に対して比例的にパラメータ値が上昇し、パラメータ値がＰｓとなって飽和する例を示す。図３（ｃ）は、効果がかかり始めてから、その後はピッチ差の絶対値に対して増加率が上昇して、パラメータ値がＰｓとなって飽和する例を示す。図３（ｄ）は、閾値ｄ１を負側に設定した場合を示すものである。この場合、ピッチ差の絶対値が負となる領域のパラメータ値は使用されない。
【００４０】
図３（ｅ）は、ピッチ差が正負の場合に効果の種類を異ならせたものである。男性が歌っている低いオクターブの音高に対して、鍵盤５の１オクターブ上のキーによりハーモニー音の音高が１オクターブ上に指定されたとき、ハーモニー音の声質を男性のままにしておくと違和感があるために、ジェンダー制御を行い女性声にする。逆に、女性が歌っている高いオクターブの音高に対して、鍵盤５の１オクターブ下のキーによりハーモニー音の音高が１オクターブ下に指定されたときもジェンダー制御を行い男性声にする。
【００４１】
図３（ｅ）においては、ボーカルピッチあるいはボーカルノートのピッチを基準にして、例えば、ハーモニーノートがこれよりも高く、閾値ｄ１を超えるときには、パラメータＡとして女性声になるようにジェンダー制御を行い、ハーモニーノートがこれよりも低く、閾値ｄ２未満になるときには、パラメータＢとして男性声になるようにジェンダー制御を行う。同時に、ピッチ差に応じてパラメータ値を増加させジェンダー制御を深くする。
【００４２】
図示の例では、ピッチ差に応じてパラメータ値が増加するものだけを示したが、逆にパラメータ値が減少したり、増減する場合もある。ハーモニー音には同時に複数の効果が付与することができ、それぞれの効果に応じて、上述したピッチ差と効果パラメータの対応を表すルックアップテーブルおよびまたは、閾値ｄ１，ｄ２や飽和値Ｐｓの値を適宜選択すればよい。その結果、操作者の音声信号のボーカルピッチあるいはボーカルノートのピッチとハーモニー音信号のピッチとの差に応じて付与すべき効果の種類およびまたは効果の程度を変更することができる。なお、ルックアップテーブルに代えて、ピッチ差に対するパラメータ値の関数を記憶しておき、演算により効果のパラメータ値を算出してもよい。
【００４３】
ピッチ差によりハーモニー音信号に対する効果の制御を行うことにより、リード音信号に対する効果の付与とは効果の種類および効果の程度を異ならせることができる。さらに、曲の進行とともに鍵盤５の操作によりハーモニー音信号のピッチだけでなく、これに伴ってハーモニー音信号に対する効果を時々刻々変化させることができる。
【００４４】
図４（ｂ）に示す第２の処理モードにおいては、楽音信号のピッチが連続的に変化するピッチとするために、ポルタメントコントロールを実行してノートナンバーを変更して複数の楽音を連続して再発音させている。すなわち、ノートオンとなった最初の音高がノートオフとなる同時に、次の音高がノートオンとなるようにして、新しいノートを連続的に発生させながら同時に連続的にピッチを変化させている。一方、楽音信号に対し、楽音信号の発生開始より予め設定された遅延時間経過後に効果の付与を開始する、いわゆるディレイ効果があり、例えば、ディレイビブラート、ディレイトレモロ等がある。
【００４５】
図５は、連続的に発音させる楽音信号にディレイ効果を付与する場合の説明図である。図５（ａ）は本発明の実施の一形態の動作説明図、図５（ｂ）は比較例としての従来のディレイ効果付与の動作説明図である。ディレイビブラートを付与する例を示すが、説明用の図であるため、ビブラートの周期や深さは実際のものとは異なる。
【００４６】
図５（ｂ）において、ピッチを連続させて変化させるために、複数の楽音信号▲１▼〜▲４▼を連続的に発音する場合で説明する。楽音信号▲１▼がノートオフとなると同時に、楽音信号▲２▼がノートオンとなる。楽音信号▲２▼〜▲４▼についても同様である。このような連続する楽音信号▲１▼〜▲４▼にディレイビブラートを付与しようとすると、最初の楽音▲１▼に対してノートオンから所定時間経過後に効果が付与開始された後、この楽音の終了とともに効果の付与も終了する。そして、連続する▲２▼以降の楽音に対しても、同様に楽音の終了の度に効果の付与が終了した。その結果、演奏上実質的に連続した１つの音となるべき連続楽音▲１▼〜▲４▼に対する効果が途切れ途切れになり違和感があった。
【００４７】
図５（ａ）を参照して、楽音を連続的に発音させる場合に、ディレイビブラートを付与する場合を説明する。最初の楽音▲１▼に対し、ワンテンポおいてから所定時間経過後に効果が付与開始された後は、この楽音が終了しても効果の付与がそのまま持続する。そして、連続する▲２▼以降の楽音の発生によって効果の付与が新たに開始されないようにする。その結果、演奏上実質的に連続した１つの音となるべき連続楽音▲１▼〜▲４▼に対する効果は、途中で楽音信号が入れ替わっていても、一連の１つの音と見なすことにより、ディレイビブラートが途中で切れることなく連続して付与されることになるので、連続音に対して自然なディレイビブラートが違和感なく付与された楽音を発生させることができる。
【００４８】
図１において、上述した作用効果を達成するために、効果付与手段９は、ピッチ制御部６が第１番目の楽音信号から楽音信号を連続発生させている間においては、第１番目の楽音信号の発生により起動した効果をそのまま持続させるとともに、連続して発生する第２番目以後の楽音信号の発生による起動を阻止するようにしている。
【００４９】
上述した説明では、効果付与手段９は、楽音信号の発生開始から所定時間遅れて効果の付与を開始するディレイ効果を付与するものであった。しかし、所定の時間経過に従って、効果の種類が変更されたり、同じ種類の効果であっても効果の程度が変化して行くような、所定の時間経過に従って変化する効果であれば、同様に、効果が途中で切れることなく連続して付与されることになるので、自然な効果を付与することができる。
上述した説明では複数の楽音が重なることなく連続して発音される場合について説明したが、一連の連続音と認識されるようなものに対してディレイ効果を付与する場合にも同様の作用効果がある。連続する楽音は発音期間が一部重なっていても、あるいは、わずかに離れて発音されるような場合でもよい。
【００５０】
また、上述した説明では、ピッチ・トゥ・ノートのモードについて説明した。しかし、電子楽器の通常の演奏モードであってもよい。通常の演奏モードにおけるポルタメント効果は、新規に鍵盤５を押したときのノートオンによりに発生する楽音のピッチが、以前のノートオンにより発音された楽音のピッチからこの新規に押された鍵盤の指定ピッチまで連続的に移行させる効果である。ポルタメント効果の設定を演奏前に行うものでは、演奏中に常にポルタメント効果がかかる。演奏中において鍵をキーオフする前に次の鍵をキーオンする、いわゆるレガート奏法を行なうことによりポルタメント効果をかける場合もある。上述したポルタメント効果の一種として、ピッチを連続的に移行させる代わりに半音または全音単位で楽音のピッチを移行させる場合はグリサンド効果という場合もある。上述したポルタメント効果の演奏制御を行っている場合に「ディレイ効果」をかける場合にも、同様な動作で同様な作用効果を奏する。
【００５１】
図６は、本発明の音声信号または楽音信号の処理装置の実施の一形態の外観図である。図中、図１と同様な部分には同じ符号を付し説明を省略する。２１は電子楽器本体、２２は操作子群、２３は表示部、２４は接続コードである。
電子楽器本体２１は、鍵盤５と左右のスピーカ１５，１６を有し、これ自体で演奏ができるようになっている。操作パネル１１には複数の操作子からなる操作子群２２、表示部２３が設けられている。表示部２３は、各種の操作子によるパラメータ設定状態の表示やハーモニーキットの表示などを行う。接続コード２４は、電子楽器本体２１とマイクロフォン１とを接続するコードである。図示を省略したが、電子楽器本体２１には、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）端子を備え、外部のシーケンサ等のＭＩＤＩ機器に接続することができるようにしている。また、ピッチベンドホイールやモジュレーションホイールを備えていてもよい。
【００５２】
図６を参照し、図１に示したパン制御部１３が実行するランダムパンの動作を説明する。パン制御は、音像の定位を決めるものであり、左右の２つのスピーカ１５，１６を駆動するアンプ１４のＬチャンネル，Ｒチャンネルの音量比を制御することによって音像の定位位置を制御する。パン制御は個別の効果付与部２，７ａ，７ｂ，９とは別に示したが、パン制御も一種の効果付与である。図中、▲１▼〜▲３▼の右側に示した数字は、ＬチャンネルとＲチャンネルの信号の音量比率、すなわち、Ｌチャンネルの音量／（Ｌチャンネルの音量＋Ｒチャンネルの音量）に比例した値の数字であり、左右の幅方向における音像の定位位置を示す。図示の例では、▲１▼に示す０〜１２７の範囲の数字で設定し、０が最も左の定位位置を表し、１２７が最も右の定位位置を表す。０の時はＬチャンネル側一杯に定位し、Ｒ側は音が鳴らない。また、１２７のときはＲチャンネル側一杯に定位し、Ｌ側は音が鳴らない。
【００５３】
従来、一種の音響効果として、楽音信号をランダムに定位させるというランダムパンを行うことがあった。例えば、自分が弾いた楽音信号が押鍵毎に右から次に左からと、あちらこちらから聞こえるようにすることがあった。しかし、複数の楽音信号に対してそれらの音像をランダムに定位させようとすると、時々複数の楽音信号の音像が同じ位置に定位してしまうことがある。このときは一点に楽音信号がかたまって急に音幅域が狭く感られるという問題があった。複数の音像が中央に定位したときには、更に狭く感じられた。
【００５４】
図１に示した楽音信号処理装置において、パン制御部１３は、第１，第２のハーモニー音信号の音像定位を時間とともにランダムに制御する。第１，第２のハーモニー音信号の音像を定位させる領域である▲１▼に示す０〜１２７の領域が、例えば、▲２▼に示す０〜５７，７１〜１２７、あるいは、▲３▼に示す０〜３５，４６〜８１，９２〜１２７のように、複数の分割区域に分割されている。パン制御部１３は、所定の期間ごとに複数の楽音信号の定位位置を所定の領域内でランダムに決定する定位位置決定部、および、この定位位置決定部により既に決定された複数の楽音信号の定位位置の情報、例えば、上述した定位位置を表す数字、あるいは、定位位置の属する分割区域を特定する番号などを記憶する記憶部を有し、定位位置決定部は、記憶手段が記憶する定位位置の情報に基づいて、既に決定された定位位置を含まない全ての分割区域を上述した所定の領域とする。このようにして、第１，第２のハーモニー音信号の定位位置が集中しないように第１，第２のハーモニー音信号の定位位置を決定することにより、常に安定したランダムパンの効果を与えることができる。
【００５５】
例えば、第１，第２のハーモニー音信号の音像を定位させる領域を、図中、▲２▼に示す０〜５７，７１〜１２７の領域とする。ある時点において、第１のハーモニー音信号の定位位置を０〜５７、７１〜１２７の範囲で数値をランダムに選択し、例えば４０の位置とする。第２のハーモニー音信号の定位位置は、４０の位置を含む０〜５７の分割区域を除いた７１〜１２７の分割区域の範囲で数値をランダムに選択して、例えば１００の位置とする。
【００５６】
すなわち、所定の期間ごとに、第１，第２のハーモニー音信号の内の１つのハーモニー音信号の定位位置をランダムに決定し、他の１つのハーモニー音信号が定位する位置を、前者のハーモニー音信号が定位した分割区域を除く全ての領域においてランダムに決定する。楽音信号の数が増えた場合でも、複数の楽音信号が定位する位置を、既に定位する位置が決定された他の楽音信号が定位する分割区域を除く他の全ての分割区域においてランダムに決定することを、複数の楽音信号について順次繰り返すことにより、複数の楽音信号が同じ分割区域内に重複して定位しないこととなり、前記複数の楽音の定位する位置が集中しないようになる。より具体的なプログラムの処理ステップは図１６を参照して説明する。なお、上述した所定の期間は、一定時間に設定してもよいし、１つのノートのキーオンからキーオフまでの期間としてもよい。
【００５７】
その際、第１，第２のハーモニー音信号の音像を定位させる領域は、▲２▼，▲３▼に示したように２つの分割区域が所定距離だけ離れて隣接するように設定することにより、隣り合った分割区域に定位した２つの楽音が、たまたま近寄った位置に定位しても、所定距離だけは離れるようにすることができ、パン効果を引き立たせることができる。なお、▲２▼に示したように中央の部分をあけて左右２つの方向に定位させ、リード音信号の定位位置を中央に固定し、第１，第２のハーモニー音信号にパン効果を付与すれば、リード音信号に対して第１，第２のハーモニー音信号が引き立つことになる。
【００５８】
また、第１のハーモニー音信号の定位位置がランダムに設定され、次に、第２のハーモニー音信号の定位位置がランダムに設定されるときには、第１のハーモニー音信号の定位位置からある一定距離以上離れた位置に定位することを条件として第２のハーモニー音信号をランダムに設定するようにしてもよい。そのような場合には、必ずしも予め分割区域の間をあけておかずに、第１の定位位置を決めてから第２の分割区域の範囲を決めてもよい。例えば、第１，第２のハーモニー音信号の定位位置の範囲を０〜６３，６４〜１２７の２つの分割区域として、もし第１のハーモニー音信号の定位位置が６０に決まった場合には、第２のハーモニー音信号を定位させる位置の範囲を６０から１４だけ離した７４から１２７とし、この範囲で定位位置をランダムに選択する。
【００５９】
上述した説明では、第１，第２のハーモニー音信号に対してランダムパンの効果付与を行ったが、リード音信号、楽音信号を含め、音像定位させる音の数、音の種類は限定されない。分割区域はランダム定位させる音の数以上あればよい。
【００６０】
図７は、本発明の音声信号または楽音信号の処理装置の実施の一形態のハードウエア構成を示す図である。図中、図１，図６と同様な部分には同じ符号を付して説明を省略する。３１はＣＰＵバス、３２はＲＯＭ、３３はＲＡＭ、３４はＣＰＵ、３５は外部記憶装置、３６はＭＩＤＩインターフェース、３７はＡＤＣ、３８は音源部、３９はＤＳＰ、４０はＤＡＣである。
【００６１】
ＣＰＵバス３１にはＣＰＵ３４などの複数のハードウエアが接続されている。操作子群２２は、ピッチベンドホイールやモジュレーションホイール等の演奏操作子や音色等の楽音パラメータを設定する設定操作子である。表示部２３は、各種の操作子の操作状態等を表示する。ＲＯＭ３２には、ＣＰＵ３４を用いて実行される本発明の音声信号または楽音信号の処理プログラムのほか、プリセットデータやプリセット音色データ、変換テーブルなどが記憶されている。ＲＡＭ３３には、ＣＰＵ３４のワーキングエリア、音色編集バッファ等が設けられている。
【００６２】
外部記憶装置３５は、フレキシブル磁気ディスクドライブ（ＦＤＤ），ハードディスクドライブ（ＨＤＤ）等である。外部記憶装置３５には、音色データや曲データを保存したり、本発明の音声信号または楽音信号の処理プログラムをインストールしておきＲＡＭ３３にロードして実行させることもできる。ＭＩＤＩインターフェース３６は、シーケンサやパーソナルコンピュータとの間で、ＭＩＤＩデータの転送を行う。
【００６３】
ＡＤＣ３７は、マイクロフォン１からの入力音声信号をディジタル信号に変換しＣＰＵバス３１に出力するＡ／Ｄ変換器である。音源部３８は、図１に示した音源部８の機能ブロックとは必ずしも一致しないが、ＣＰＵバス３１から楽音パラメータを入力して楽音信号を生成しＤＳＰ３９に出力する。音源３８の機能もＣＰＵ３４のコンピュータプログラムで実現させる場合もある。ＤＳＰ３９は、ＣＰＵ３４によって制御されて信号処理を行い、入力音声信号のピッチ検出およびピッチ変換を行うとともに、入力音声信号、ピッチ変換信号、音源部８の出力信号に効果を付与する。なお、上述したＤＳＰ３９を機能分割することもできる。入力音声信号のピッチ検出およびピッチ変換関係の第１のＤＳＰと効果付与の第２のＤＳＰの２個を使用し、ＡＤＣ３７の出力を第１のＤＳＰに入力させ、第２のＤＳＰは音源部８の出力と第１のＤＳＰの出力を入力すればよい。ＤＡＣ４０は、ＤＳＰ３９の出力信号をアナログ信号に変換するＡ／Ｄ変換器であり、ステレオアンプ１４を経てスピーカ１５，１６に出力する。
【００６４】
ＣＰＵ３４は、マイクロフォン１からの入力音声信号、鍵盤５，操作子群２２からの操作情報、ＭＩＤＩインターフェース３６を介して入力された演奏情報に対し、ＲＡＭ３３を用いて処理を行い、各種設定パラメータの値を表示部２３に表示したり、処理された演奏情報を基に音源部３８をコントロールしたり、ＭＩＤＩデータをＭＩＤＩインターフェース３６を介して外部に出力する。ＤＡＣ４１もＣＰＵバス３１に接続されて、ＣＰＵ３４に制御されてミキシング処理などを行う場合もある。なお、リード音信号、ハーモニー音信号、楽音信号、これらの合成出力信号を外部記憶装置３５に保存できるようにしてもよい。
【００６５】
図８〜図１６は、本発明の音声信号または楽音信号の処理装置の実施の一形態の動作を説明する処理ステップのフローチャートである。
図８は、メインフローチャートおよび割り込み処理のフローチャートである。Ｓ５１においては装置が初期化され、Ｓ５２においては操作パネル１１上の複数の操作子群２２により楽音パラメータ等の各種の設定を行う。Ｓ５３においては、入力音声に対する効果付与などの制御を行う。入力音声自体の制御についてはフローチャートを用いた説明は省略する。Ｓ５４においては、各種の設定に基づきハーモニー音や楽音の演奏を行う。Ｓ５４の処理が終了すると再びＳ５２に戻り、Ｓ５２〜Ｓ５４が繰り返し実行される。この繰り返しループの途中において、Ｓ５５に示すピッチ検出の割り込み処理、および、Ｓ５６に示す音声，楽音出力とパン効果付与に関する割り込み処理がなされる。
【００６６】
図９は、操作パネル設定に関するフローチャートである。Ｓ６１においては、ハーモニーモードの選択があるか否かを判定し、ある場合にはＳ６２に処理を進め、ハーモニーに関する設定を行い、ない場合にはＳ６３に処理を進める。同様に、Ｓ６３，Ｓ６６，Ｓ６８の各ステップにおいては、それぞれ、ジェンダーコントロールの選択、ピッチ・トゥ・ノートの選択、パン設定モードの選択があるか否かを判定し、選択されたそれぞれの設定のステップに進む。
【００６７】
Ｓ６４においては、オリジナルの入力音声であるリード音に対して付与する効果として、ジェンダーコントロールの設定を行い、Ｓ６５において性別の声質、すなわち、男性声あるいは女性声の設定を行う。なお、ハーモニー音についは、図１を参照した説明では、ピッチ差によって自動的に男性声あるいは女性声を設定するようにした。しかし、ハーモニー音についても、リード音と同様に操作子でジェンダーコントロールの設定を行うようにすることも可能である。Ｓ６９においては、パンの種類、すなわち、通常のパンあるいはランダムパンの設定を行い、次のＳ７０においては、ランダムパンにおいて音像定位を移動させるタイミング間隔をパンの指定長さ（ｉｎｔ）として設定する。なお、図には記載を省略したが、キーオン（ノートオン）毎に音像定位をランダムに移動させる設定もここで行う。
【００６８】
図１０は、図９のＳ６２「ハーモニーの設定」ステップのフローチャートである。Ｓ８１においては、ハーモニーモードを解除し、Ｓ８２においては、ボコーダハーモニーモードが選択されたか否かを判定し、ボコーダハーモニーモードが選択されたときには、Ｓ８３に処理を進め、その他のモードが選択されたときには、Ｓ８６に処理を進める。同様にして、Ｓ８６，Ｓ８８，Ｓ９１においては、それぞれ、コーダルハーモニー，デチューンハーモニー，クロマチックハーモニーが選択されたか否かを判定し、選択されたそれぞれのモードの設定を行う。
【００６９】
Ｓ８３においては、ボコーダーハーモニーモードを設定し、次のＳ８４においては、必要に応じてピッチ差対応の効果の設定を行う。すなわち、図３を参照して説明したボーカルピッチとのピッチ差に応じてハーモニー音信号に付与する効果を変化させる設定を行う。ピッチ差対応の効果の設定を行わない場合には、そのままリターンさせるが、この設定を行う場合には、Ｓ８５において、ピッチ差対応の設定を行う効果の種類、例えば、ジェンダーコントロール，ビブラート，残響（リバーブ），トレモロ等の設定を行う。変化率特性は、例えばルックアップテーブル等を用いて設定できる。Ｓ９０においては、デチューン量をピッチ差で設定し、Ｓ９３においては、シフトさせる量をノート差で設定する。
【００７０】
図１１は、図９のＳ７１「その他の指定された処理」ステップのフローチャートである。Ｓ１０１においては、音色設定モードであるか否かを判定し、音色設定モードであるときにＳ１０２に処理を進め、音色設定モードでなければＳ１０３に処理を進める。Ｓ１０２においては、ピッチ・トゥ・ノートのモードおよび電子楽器の通常の演奏モードにおいて使用する音色を設定する。Ｓ１０３においては、効果設定モードであるか否かを判定し、効果設定モードであればＳ１０４に処理を進め、効果設定モードでなければＳ１０８に処理を進める。
【００７１】
Ｓ１０４〜Ｓ１０７においては、モード等に対応して決まる「音のパート」毎に複数種類の効果設定を行うとともに、効果を付与するタイミングを設定する。Ｓ１０４において、モード等の選択および効果付与の対象とする発音パートの選択を行い、Ｓ１０５に処理を進める。すなわち、ハーモニーモードを選択してリード音のパート、あるいは、１または複数のハーモニー音のパートを選択する。ジェンダーコントロールを行う場合においては、ジェンダーコントロールをする入力音声、あるいは、１または複数のハーモニー音のパートを選択する。ピッチ・トゥ・ノートのモードにおいては、入力音声によってピッチ指定される楽音のパートを選択する。通常演奏モードにおいては、鍵盤で指定される楽音のパートを選択する。
【００７２】
Ｓ１０５においては、効果種類の選択を行い、Ｓ１０６に処理を進める。すなわち、Ｓ１０４において選択されたパートの処理チャンネルに対して、ジェンダーコントロール，ビブラート，トレモロ，遅延信号の付加（ディレイ）、残響（リバーブ）等の効果の種類および程度（深さ）を設定する。Ｓ１０６においては、設定方法の選択を行い、Ｓ１０７に処理を進める。すなわち、Ｓ１０６においては、Ｓ１０４において選択されたパートの処理チャンネルに対して、効果を常に付加するのか、あるいは、状況を見て所定の条件を満たす時に効果を付与するのかを選択して設定する。後者の一例としては、予め設定された効果付与開始時間［ｕｔｉｍｅ］をおいたタイミングで効果を付与する場合があり、具体的にはディレイビブラート等の「ディレイ効果」がある。
【００７３】
後者の場合、時間によって変化させる効果の有無、あるいは、時間によって変化させる効果の程度等を示す効果変化表をルックアップテーブルとして持たせ、このテーブルを選択したり、およびまたは上述した効果付与開始時間［ｕｔｉｍｅ］などのパラメータの値を入力して演算する。これらの選択や入力を操作子で行う際には、表示器を入力画面に切り替えるようにする。Ｓ１０７においては、設定を終了するか否かを操作子の操作により判定し、終了する場合にはリターンとなるが、終了しない場合には、Ｓ１０４に処理を戻す。１つのパートに複数の種類の効果を設定することができ、この場合には、処理を戻した後に再び同じパートを選択して別の効果を設定すればよい。
【００７４】
Ｓ１０８においては、ピッチ決定モードであるか否かを判定する。ピッチ決定モードであるときにはＳ１０９に処理を進め、ピッチ決定モードでないときにはＳ１１０のその他の処理に進む。このステップは、図１，図４を参照して説明したピッチ・トゥ・ノートを実行する際に設定する。Ｓ１０９においては、入力音声のピッチを丸めて楽音信号の音高を表すノート値とする第１の処理モードか、入力音声のピッチをそのまま楽音信号のピッチとする第２の処理モードを選択する。なお、入力音声そのものに対する効果付与部２における機能として、入力音声のピッチを矯正して音楽の音名に対するピッチに変換してリード音を生成することができる。Ｓ１０９は、上述した機能に対する設定ができるように変更可能である。
【００７５】
図１２は、図８のＳ５３「演奏」ステップのフローチャートである。図１３は、図１２のＳ１２２「キーオンイベントに対応した音声，楽音信号を生成」ステップのフローチャートである。図１２のＳ１２１においては、キーオンイベントが発生したか否かを判定し、キーオンイベントがあるときには、Ｓ１２２に処理を進め、キーオンイベントがないときにはＳ１２８に処理を進める。なお、ピッチ・トゥ・ノートにおけるノートオンの発生は、キーオンイベントとして処理し、ノートオフの発生はキーオフイベントとして処理する。Ｓ１２２においては、キーオンイベントに対応する音声，楽音信号を生成する。Ｓ１２２における処理を図１３を参照して先に説明する。
【００７６】
図１３のＳ１４１においては、ハーモニーモードの設定があるか否かを判定し、この設定がある時にはＳ１４２に処理を進め、ない時にはＳ１４３に処理を進める。Ｓ１４２においてはハーモニー音の生成を行い、Ｓ１４３に処理を進める。Ｓ１４２の処理は、図１４を参照して後述する。Ｓ１４３においては、ピッチ・トゥ・ノートの設定があるか否かを判定し、この設定がある時には、Ｓ１４４に処理を進め、ないときにはＳ１４５に処理を進める。Ｓ１４４においては、入力音声から検出されたピッチに応じたピッチ、設定された音色で楽音信号を生成し、Ｓ１４５に処理を進める。Ｓ１４５においては、通常演奏モードの設定があるか否かを判定し、この設定があるときにはＳ１４６に処理を進め、ないときにはリターンする。Ｓ１４６においては、処理キーオンのノートナンバーで、設定されている音色にて楽音信号を生成してリターンする。
【００７７】
図１２に戻って、再び「演奏」ステップにおける処理を説明する。Ｓ１２３においては、効果設定があるか否かを判定し、この効果設定があるときにはＳ１２４に処理を進め、ないときにはＳ１２７に処理を進める。なお、ここでいう効果とは、図１１のＳ１０３〜Ｓ１０７において設定される効果である。Ｓ１２４においては、「ディレイ効果」の設定があるか否かを判定し、この設定があるときにはさらにＳ１２６に処理を進め、ないときにはＳ１２５に処理を進める。Ｓ１２６においては、ピッチ・トゥ・ノート及び通常楽音演奏モードにおける演奏形態がポルタメントコントロールされる演奏形態、または、ポルタメントコントロールされるレガート奏法の演奏形態であるか否かを判定し、これらの演奏形態である場合には、Ｓ１２５に処理を進め、これらの演奏形態でない場合には、Ｓ１２７に処理を進める。
【００７８】
すなわち、「ディレイ効果」が設定されているときには、キーオンイベント（ノートオン）によっては生成された音声，楽音信号に直ちには効果を付与しないが、ポルタメントまたはレガートコントロールされた演奏形態において、最初のノートに対応する楽音に付与された効果を引き続き継続させる。Ｓ１２７においては、生成した音声，楽音信号を処理チャンネルに出力して、Ｓ１３０に処理を進める。
【００７９】
一方、Ｓ１２８においては、キーオフイベントがあるか否かを判定し、あるときにはＳ１２９に処理を進め、ないときにはＳ１３０に処理を進める。Ｓ１２９においては、キーオフイベントに対応した音声，楽音信号の生成を停止し、Ｓ１３０に処理を進める。Ｓ１３０においては、音声，楽音出力中の処理チャンネル（ｎ）があるか否かを判定し、あるときには、Ｓ１３１に処理を進め、ないときにはリターンする。なお、この図では省略しているが、Ｓ１３１〜Ｓ１３６においては、リード音のパートの処理チャンネルを除く、音声，楽音信号中の処理チャンネルの全てについて処理ステップを実行する。Ｓ１３１においては、「ディレイ効果」の設定があるか否かを判定し、設定がある場合にはＳ１３２に処理を進め、ない場合にはリターンする。
【００８０】
Ｓ１３２においては、チャンネル（ｎ）毎に、時間［ｔｉｍｅ（ｎ）］を＋１加算し、Ｓ１３３に処理を進める。Ｓ１３３においては、時間［ｔｉｍｅ（ｎ）］が、図１１のＳ１０６において設定された効果付与開始時間［ｕｔｉｍｅ］に達したか否かを判定し、達していないときにはＳ１３４に処理を進め、達したときにはリターンする。Ｓ１３４においては、効果を付与するまでの時間［ｔｉｍｅ（ｎ）］を再び０に初期化し、Ｓ１３５に処理を進める。Ｓ１３５においては、音声，楽音信号に「ディレイ効果」を付与し、Ｓ１３６においては、「ディレイ効果」を付与した音声，楽音信号を該当する処理チャンネル（ｎ）に出力する。
【００８１】
図１４は、図１３のＳ１４２「ハーモニー音の生成」ステップのフローチャートである。Ｓ１６１においては、ボコーダーハーモニーモードの設定がある否かを判定し、この設定がある場合には、Ｓ１６２に処理を進め、ない場合はＳ１６３に処理を進め、Ｓ１６３においては、コーダルハーモニーの設定があるか否かを判定し、この設定がある場合にはＳ１６４に処理を進め、ない場合にはＳ１６５に処理を進め、Ｓ１６５においては、デチューンハーモニーの設定があるか否かを判定し、この設定があるときにはＳ１６６に処理を進め、ないときにはＳ１６７に処理を進める。Ｓ１６７においては、クロマチックハーモニーの設定があるか否かを判定し、この設定がある場合にはＳ１６８に処理を進め、ない場合にはＳ１６９に処理を進める。各ハーモニーモードにおける処理は、既に図１，図２を参照して説明したとおりである。
【００８２】
Ｓ１６９においては、ピッチ差対応の効果の設定があるか否かを判定し、この設定がある場合にはＳ１７０に処理を進め、ない場合にはリターンする。Ｓ１７０においては、キーオンのノートピッチからボーカルピッチを引いた値をピッチ差とし、Ｓ１７２において、選択されたルックアップテーブルからピッチ差に応じて効果のパラメータを設定し、リターンする。
【００８３】
図１５は、「ピッチ検出の割り込み処理」のフローチャートである。タイマー割り込みにより起動する。Ｓ１８１においては入力音声のピッチ検出を行い、Ｓ１８２に処理を進める。Ｓ１８２においては、ピッチ・トゥ・ノートの設定があるか否かを判定し、この設定がある場合にはＳ１８３に処理を進め、ない場合にはリターンする。Ｓ１８３においては、図４（ａ）を参照して説明した第１の処理モードであるか否かを判定し、第１の処理モードのときにはＳ１８４に処理を進め、図４（ｂ）を参照して説明した第２の処理モードのときにはＳ１８６に処理を進める。
【００８４】
Ｓ１８４においては、今回検出したピッチと前回検出したピッチにより決定したノートナンバーに対応する前回決定ピッチとの差が±１００セント（半音）を超えたか否かを判定し、超えた場合にはＳ１８５に処理を進め、超えないときにはＳ１８７に処理を進める。なお、初めてピッチを検出したときにもＳ１８５に処理を進める。Ｓ１８５においては、変換テーブル（ルックアップテーブル）により、音楽の複数の音名に対応する半音単位のピッチの中から、今回の検出ピッチに最も近いピッチを選択し、この音名のノートナンバを決定する。また、この音名に対応するノートナンバが、次の割り込み処理時の前回決定ピッチとなる。
【００８５】
一方、Ｓ１８６においては、検出したピッチそのものを楽音の音高とするための処理を行い、Ｓ１８７に処理を進める。具体的には、図４（ｂ）を参照して先に説明したように、ピッチベンド処理とポルタメントコントロールとの組み合わせで行う。Ｓ１８７においては、Ｓ１８５で検出したノートナンバー、あるいは、Ｓ１８６で指定したピッチベンドデータおよび中心音高のノートナンバーによって楽音の音高を指定してリターンする。
【００８６】
図１６は、「音声，楽音出力とパン効果に関する割り込み処理」のフローチャートである。タイマー割り込みにより起動する。Ｓ１９１においては、現在発音中のチャンネルにおいてランダムパンが設定されている処理チャンネルの数（ｒｄｎ）を求める。なお、この割り込み処理ではリード音のパートの処理チャンネルも含む。次のＳ１９２においては、ｒｄｎ＝０であるか否かを判定し、０のときにはＳ２０２に処理を進めるが、０でないときにはＳ１９３に処理を進め、時間［ｔｉｍｅ］に＋１を加算し、Ｓ１９４においては、時間［ｔｉｍｅ］がランダムパンの指定長さ［ｉｎｔ］を超えたか否かを判定し、超えたときにはＳ１９５に処理を進め、超えないときにはＳ２０２に処理を進める。Ｓ１９５においては、時間［ｔｉｍｅ］を初期設定しなおす。
【００８７】
次のＳ１９６〜Ｓ２０２までの処理は、図６を参照して説明したランダムパンの一具体例としての処理ステップである。Ｓ１９６においては、全分割区域内で音声，楽音の定位位置をランダムに決定する。次のＳ１９７においては、第１のランダムパンが設定されている発音中チャンネルに、決定したランダム位置に応じてパンのパラメータに数値を設定する。次のＳ１９８においては、ランダムパンの設定がされている処理チャンネルが他にあるか否かを検索し、ある場合にはＳ１９９に処理を進めるが、ない場合にはＳ２０２に処理を進める。Ｓ２０２においては、ランダムパンの設定がされていない処理チャンネルには、中央など所定の位置に定位位置を決定する。
【００８８】
Ｓ１９９においては、まだ選ばれていない分割区域をランダムに決定し、Ｓ２００において決定された分割区域の中で定位位置をランダムに決定する。次のＳ２０１においては、先にＳ１９８で検索されたランダムパンの設定された処理チャンネルに、Ｓ２００で決定した位置に応じてパンのパラメータの数値を設定し、Ｓ１９８に処理を戻す。Ｓ２０２においては、各処理チャンネルは、パン状態が付与された音声，楽音信号を出力制御して、リターンする。
【００８９】
なお、上述した説明では、マイクロフォン１から入力した使用者の音声を基にしてハーモニー音や楽音を生成した。しかし、基となる音声または楽音は、人の声や楽音に限られるものではなく、動物の声などピッチが検出可能なものであれば任意の種類の音でよい。また、パン効果を与える楽音信号については、ノイズ信号などピッチ検出ができない楽音信号でもよい。ピッチ検出ができない音も電子楽器の音色として通常使用されている。
【００９０】
本発明によれば、歌声をリアルタイムに入力する場合に好適であるが、予め使用者の音声が録音されたものを再生して音声を取り込んで処理することもできる。また、ハーモニー音のピッチを制御する音高指定手段としては、鍵盤５を使用する代わりに、曲データファイル中のＭＩＤＩデータによってハーモニー音の音高を指定することもできる。
【００９１】
上述した説明では、使用者の音声をピッチ変換しないものをリード音信号としてハーモニー音信号とミキシング合成してスピーカ１５，１６から放音するようにした。しかし、ハーモニー音信号だけを放音する装置であっても、演奏が可能である。また、使用者の音声そのものは、他のオーディオアンプから放音することもできる。
【００９２】
【発明の効果】
本発明は、上述した説明から明らかなように、連続的に変化する音声信号または楽音信号のピッチに追従してピッチが連続して変化する楽音信号を発生させることができ、かつ、再発音を目立たないようにすることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の音声信号または楽音信号処理装置の実施の一形態の機能ブロック図である。
【図２】ボーカルハーモニーモードの具体例の説明図である。
【図３】ピッチ制御部による効果付与部の制御態様の説明図である。
【図４】ピッチ・トゥ・ノートの説明図である。
【図５】連続的に発生する楽音信号にディレイ効果を付与する場合の説明図である。
【図６】本発明の音声信号または楽音信号処理装置の実施の一形態の外観図である。
【図７】本発明の音声信号または楽音信号処理装置の実施の一形態のハードウエア構成を示す図である。
【図８】本発明の音声信号または楽音信号の処理装置の実施の一形態の動作を説明する処理ステップのメインフローチャートおよび割り込み処理のフローチャートである。
【図９】「操作パネル設定」に関するフローチャートである。
【図１０】図９のＳ６２「ハーモニーの設定」ステップのフローチャートである。
【図１１】図９のＳ７１「その他の指定された処理」ステップのフローチャートである。
【図１２】図８のＳ５３「演奏」ステップのフローチャートである。
【図１３】図１２のＳ１２２「キーオンイベントに対応した音声，楽音信号を生成」ステップのフローチャートである。
【図１４】図１３のＳ１４２「ハーモニー音の生成」ステップのフローチャートである。
【図１５】「ピッチ検出の割り込み処理」のフローチャートである。
【図１６】「音声，楽音出力とパン効果に関する割り込み処理」のフローチャートである。
【符号の説明】
１ マイクロフォン、２ 効果付与部、３ａ，３ｂ，７ａ，７ｂ，９ ピッチ変換部、４ ピッチ検出部、５ 鍵盤、６ ピッチ制御部、８ 音源、１０ 信号出力制御部、１１ 操作パネル、１２ 機能制御部、１３ パン制御部、１４アンプ、１５，１６ スピーカ
Claims (2)
- 音声信号または第１の楽音信号である信号のピッチを検出するピッチ検出手段、第２の楽音信号を生成する楽音信号生成手段、音名同定手段、および、ピッチベンド処理手段を有し、
前記音名同定手段は、
前記ピッチ検出手段が初めて前記信号のピッチを検出したとき、前記信号のピッチを音名に同定するとともに、前記信号のピッチが連続的に変化しかつ同定された音名のピッチとの差がピッチベンドレンジを超えたときに、前記信号のピッチを音名に新たに同定し直すとともに再発音制御信号を出力するものであり、
前記ピッチベンド処理手段は、
前記信号のピッチと前記音名同定手段により同定された音名のピッチとの差に応じて、前記楽音信号生成手段が生成する第２の楽音信号のピッチを、前記音名同定手段により同定された音名のピッチを中心音高として、前記信号のピッチに追従させるものであり、
前記楽音信号生成手段は、
前記ピッチ検出手段が初めて前記信号のピッチを検出したとき、前記音名同定手段により同定された音名で、かつ、該ピッチベンド処理手段により前記信号のピッチに追従させたピッチで前記第２の楽音信号を生成して発音させるとともに、
前記音名同定手段から再発音制御信号を入力したとき、前記第２の楽音信号を消音させるとともに、前記音名同定手段により新たに同定し直された音名で、かつ、前記ピッチベンド処理手段により前記信号のピッチに追従させたピッチで前記第２の楽音信号を生成して再発音させ、かつ、再発音の前後で前記第２の楽音信号の振幅エンベロープの大きさを略一致させるものである、
ことを特徴とする音声信号または楽音信号の処理装置。 - 音声信号または第１の楽音信号である信号のピッチを検出するピッチ検出機能、第２の楽音信号を生成する楽音信号生成機能、音名同定機能、および、ピッチベンド処理機能を有し、
前記音名同定機能は、
前記ピッチ検出機能が初めて前記信号のピッチを検出したとき、前記信号のピッチを音名に同定するとともに、前記信号のピッチが連続的に変化しかつ同定された音名のピッチとの差がピッチベンドレンジを超えたときに、前記信号のピッチを音名に新たに同定し直すとともに再発音制御信号を出力するものであり、
前記ピッチベンド処理機能は、
前記信号のピッチと前記音名同定機能により同定された音名のピッチとの差に応じて、前記楽音信号生成機能が生成する第２の楽音信号のピッチを、前記音名同定機能により同定された音名のピッチを中心音高として、前記信号のピッチに追従させるものであり、
前記楽音信号生成機能は、
前記ピッチ検出機能が初めて前記信号のピッチを検出したとき、前記音名同定機能により同定された音名で、かつ、該ピッチベンド処理機能により前記信号のピッチに追従させたピッチで前記第２の楽音信号を生成して発音させるとともに、
前記音名同定機能から再発音制御信号を入力したとき、前記第２の楽音信号を消音させるとともに、前記音名同定機能により新たに同定し直された音名で、かつ、前記ピッチベンド処理機能により前記信号のピッチに追従させたピッチで前記第２の楽音信号を生成して再発音させ、かつ、再発音の前後で前記第２の楽音信号の振幅エンベロープの大きさを略一致させるものである、
ことを特徴とする、音声信号または楽音信号の処理機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31649597A JP3617285B2 (ja) | 1997-10-31 | 1997-10-31 | 音声信号または楽音信号の処理装置および音声信号または楽音信号の処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| EP03011215A EP1343139B1 (en) | 1997-10-31 | 1998-10-27 | audio signal processor with pitch and effect control |
| EP98120313A EP0913808B1 (en) | 1997-10-31 | 1998-10-27 | Audio signal processor with pitch and effect control |
| CA002249731A CA2249731C (en) | 1997-10-31 | 1998-10-29 | Audio signal processor with pitch and effect control |
| US09/183,641 US6816833B1 (en) | 1997-10-31 | 1998-10-30 | Audio signal processor with pitch and effect control |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31649597A JP3617285B2 (ja) | 1997-10-31 | 1997-10-31 | 音声信号または楽音信号の処理装置および音声信号または楽音信号の処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11133955A JPH11133955A (ja) | 1999-05-21 |
| JP3617285B2 true JP3617285B2 (ja) | 2005-02-02 |
Family
ID=18077744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31649597A Expired - Fee Related JP3617285B2 (ja) | 1997-10-31 | 1997-10-31 | 音声信号または楽音信号の処理装置および音声信号または楽音信号の処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3617285B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3975719B2 (ja) | 2001-10-19 | 2007-09-12 | 株式会社ジェイテクト | オートテンショナ |
| JP4480650B2 (ja) * | 2005-09-08 | 2010-06-16 | ローランド株式会社 | ピッチ制御装置及びピッチ制御プログラム |
| JP2011197564A (ja) * | 2010-03-23 | 2011-10-06 | Yamaha Corp | 電子音楽装置及びプログラム |
| JP7528487B2 (ja) * | 2020-03-23 | 2024-08-06 | ヤマハ株式会社 | 再生制御方法、再生制御システムおよびプログラム |
-
1997
- 1997-10-31 JP JP31649597A patent/JP3617285B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11133955A (ja) | 1999-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0913808B1 (en) | Audio signal processor with pitch and effect control | |
| JP3879357B2 (ja) | 音声信号または楽音信号の処理装置およびその処理プログラムが記録された記録媒体 | |
| JP3365354B2 (ja) | 音声信号または楽音信号の処理装置 | |
| JP3598598B2 (ja) | カラオケ装置 | |
| KR100319478B1 (ko) | 효과부가장치 | |
| US8735709B2 (en) | Generation of harmony tone | |
| JP3324477B2 (ja) | 付加音信号生成装置および付加音信号生成機能を実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US8791350B2 (en) | Accompaniment data generating apparatus | |
| JPH04330495A (ja) | 自動伴奏装置 | |
| JP3617285B2 (ja) | 音声信号または楽音信号の処理装置および音声信号または楽音信号の処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3329245B2 (ja) | 音声信号または楽音信号の処理装置および音声信号または楽音信号の処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3617286B2 (ja) | 音声信号または楽音信号の処理装置および音声信号または楽音信号の処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3293536B2 (ja) | 音声信号または楽音信号の処理装置および処理方法および音声信号または楽音信号の処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP7529083B2 (ja) | 電子楽器、制御方法およびプログラム | |
| JP4094441B2 (ja) | 電子楽器 | |
| JP2009216769A (ja) | 音処理装置およびプログラム | |
| JP3895139B2 (ja) | 自動演奏装置 | |
| JP3499672B2 (ja) | 自動演奏装置 | |
| JP3614117B2 (ja) | 楽音信号処理装置 | |
| JP3399629B2 (ja) | 電子楽器の楽音特性変化処理装置 | |
| JP6036800B2 (ja) | 音信号生成装置及びプログラム | |
| JP5776205B2 (ja) | 音信号生成装置及びプログラム | |
| JP2006154526A5 (ja) | ||
| JP2006154526A (ja) | ボコーダ装置 | |
| JPH08227288A (ja) | 押鍵速度変換器および電子楽器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041019 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041101 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |