JP6753250B2 - 楽音生成装置、楽音生成方法、電子楽器、及びプログラム - Google Patents

Description

本発明は、電子楽器の楽音生成技術に関する。

管楽器を電子技術によって実現する電子楽器として、演奏者の吹奏する強さと発声する音声とを検出し、両検出結果から発音する楽音信号をシームレスに変化させる電子楽器の技術が開示されている（例えば特許文献１）。

このような従来技術によれば、伝統的な管楽器において、ただ吹いたりタンギングしたりするだけでなく、演奏時に「ウーーーーー」っと実際に声を出しながら吹奏を行い、音に濁りを与える特殊奏法「グロウル音」を実現することができる。

特開２０１５−２２５２７１号公報

しかし、上述の従来技術では、吹奏する強さを検出するブレス(気圧)センサと、音声を検出するボイスセンサの２種類のセンサを搭載する必要があった。

また、ブレス(気圧)センサは一定以上に気密された状態において正しい検出を行うことが可能であるため、ブレスセンサとボイスセンサは、管楽器の場合と同様の構造を有するマウスピース内に実装される場合が多い。そのために演奏者は、マウスピースを口で咥える必要があるため、複数の演奏者が１台の電子楽器を共有するには心理面や衛生面のでの障壁が存在するという課題があった。

更に、マウスピースが必要なことから、電子楽器はマウスピースに接続された管楽器形状のボディーを有する構造をとらざるを得ず、従来は、例えば電子鍵盤楽器を使って管楽器の吹奏効果を得ることが難しいという課題があった。

本発明は、１種類のセンサで吹奏楽器としてのブレス音とグロウル音の効果を同時に出すことを可能とし、心理面や衛生面のでの障壁を取り除けると共に、電子鍵盤楽器等でも吹奏効果を簡単に実現可能とすることを目的とする。

態様の一例では、カルマン渦を生じさせる部材を介して音声センサからブレス音及び発声音が入力され、入力に応じて音声センサから連続して出力される出力値に基づいて算出される複数の自己相関値から偏差を算出する偏差算出手段と、自己相関値の偏差に基づいて、発音部に発音させる楽音を生成する楽音生成手段と、を有する。

本発明によれば、１種類のセンサで吹奏楽器としてのブレス音とグロウル音の効果を同時に検出することが可能となり、心理面や衛生面のでの障壁を取り除くことができると共に、電子鍵盤楽器等でも吹奏効果を簡単に実現することが可能となる。

電子鍵盤楽器の一実施形態の外観図及びボイスセンサの構成図である。 本実施形態によるボイスセンサの特性を説明する特性図である。 電子鍵盤楽器の制御システムの一実施形態のブロック図である。 合成比決定手段の構成例を示すブロック図である。 本実施形態のハードウェア構成例を示すブロック図である。 第２の実施形態のメイン処理の例を示すフローチャートである。 初期化処理の詳細例を示すフローチャートである。 ボイス信号処理の例を示すフローチャートである。 自己相関＋偏差検出処理の詳細例を示すフローチャートである。 信号強度検出処理の詳細例を示すフローチャートである。 音高決定処理の詳細例を示すフローチャートである。 楽音制御処理の詳細例を示すフローチャートである。 発音処理の詳細例を示すフローチャートである。

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。

図１は、本発明による電子楽器である電子鍵盤楽器１００の一実施形態の外観図である。

鍵盤部１０２を有する電子鍵盤楽器１００の楽器本体１０８のボイス入力端子１０４に、接続ケーブル１０５及びヘッドバンド１０６に取り付けられたマイクアーム１０７を介して、ボイスセンサ１０１（音声センサ）が取り付けられている。また、楽器本体１０８のライン出力端子１０９には、ラインケーブル１１０が接続されてもよい。

ボイスセンサ１０１は、左側拡大図に示されるように、マイクアーム１０７が結合接続されるセンサ基部１１１に、例えば音声マイクであるボイスセンサ本体１１２が取り付けられ、更にボイスセンサ本体１１２の開口部側に、金属網１１３が取り付けられ、この金属網１１３とボイスセンサ本体１１２の開口部間に積層繊維１１４が充填された構造を有する。積層繊維１１４と金属網１１３は、ボイスセンサ本体１１２から取り外すことができ、中性洗剤等により洗浄することが可能である。金属網１１３及び積層繊維１１４からなる部分は、ボイスセンサ１０１の開口部に障害物として配置されている。

本実施形態では、電子鍵盤楽器１００を、管楽器をシミュレートする電子楽器として使用できるようにするために、演奏者は、ボイス入力端子１０４に、ヘッドバンド１０６、マイクアーム１０７、ボイスセンサ１０１、及び接続ケーブル１０５からなる吹奏入力装置を接続することができる。演奏者は、ボイスセンサ１０１が口元にくるようにヘッドバンド１０６を自分の頭部に装着して、鍵盤部１０２でキー操作を行いながら、ボイスセンサ１０１を用いて吹奏演奏を行うことができる。そして、演奏者は、ボイスセンサ１０１に向かって「フー」という感じで息を吹きかけることにより、ボイスセンサ１０１をブレスセンサとして機能させて、電子鍵盤楽器１００からブレス音を発音させることができる。また、演奏者は、ボイスセンサ１０１に向かって「ウ〜」という感じでグロウル音を発声することにより、ボイスセンサ１０１を本来のボイスセンサとして機能させて、電子鍵盤楽器１００がグロウル音を発音させることができる。更に、演奏者は、自身の発声する音声をコントロールすることにより、ブレス音とグロウル音がミックスされた楽音を発音させることができ、あたかも管楽器でブレス音とグロウル音をミックスさせてシームレスに発音させるような演奏を行うことができる。

本実施形態では、上述のようにボイスセンサ１０１にブレスセンサと本来のボイスセンサの両方の機能を持たせるために、図１に示されるように、ボイスセンサ本体１１２の開口部側に、金属網１１３と積層繊維１１４とからなる障害物が取り付けられている。本実施形態では、演奏者がボイスセンサ１０１に向かって吹奏する気流が金属網１１３及び積層繊維１１４からなる障害物を通過したり反射したりする際に発生するカルマン渦の乱流により、ブレスノイズを発生させ、そのブレスノイズの信号強度をボイスセンサ１０１で取得することにより吹奏する強さの検出を可能にするものである。更に、上述の乱流により発生するブレスノイズがホワイトノイズになるように障害物を構成し、演奏者が吹奏のみ行った場合と音声による特殊奏法を行った場合とを容易に判別できるようにするものである。より具体的には、演奏者が吹奏のみを行った場合には、ボイスセンサ１０１からホワイトノイズのボイス信号が取得されることによりブレス演奏が検出され、同時に演奏者が発声による特殊奏法を行ったことが、ボイス信号の自己相関値の偏差から検出され、ノーマル音とグロウル音の合成比が調整されて出力される。

図２（ａ）は、ボイスセンサ本体１１２の開口部に取り付けられる障害物として、図１の金属網１１３のみを用い積層繊維１１４は用いないで息を吹きかけた時の、ボイスセンサ１０１が出力するボイス信号における周波数分布の例を示すグラフである。低周波域の信号成分を多く含み、高周波域になるにつれて信号成分が徐々に下がる特性を示している。

図２（ｂ）は、金属網１１３の内側に繊維シートを複数枚かぶせたもの（以下「積層繊維１１４」と記載する）を、ボイスセンサ本体１１２に取り付けて息を吹きかけた時の、ボイスセンサ１０１が出力するボイス信号における周波数分布の例を示すグラフである。低周波域から４ｋＨｚ（キロヘルツ）近辺に至るまでほぼ均等な分布となり、図２（ａ）に比べて、ホワイトノイズに近い特性を示している。このように障害物を変更することによりボイスセンサ１０１が出力するボイス信号の周波数分布の特性を調整することが可能である。特に、気流が円筒の障害物を通過する際に発生するカルマン渦の周波数は円筒の直径に反比例することが知られており、障害物の金属網１１３や積層繊維１１４の径から周波数分布特性を調整することができる。

図２（ｃ）は、図２（ｂ）と同じ金属網１１３及び積層繊維１１４からなる障害物に息を吹きかける際に同時に発声を行った場合の、ボイスセンサ１０１が出力するボイス信号の周波数分布の例を示すグラフである。発声音には基音周波数（ピッチ周波数）及びその倍数の周波数が多く含まれており、図２（ｂ）と比較して７０Ｈｚから１０００Ｈｚの周波数領域にその特性が現れており、ピッチ周波数及びその倍音周波数の位置に櫛形の極大値のピークが現れている。図２（ｂ）及び図２（ｃ）の周波数特性の違いにより、図１の構造を有するボイスセンサ１０１を用いた場合に、吹奏のみの通常演奏と発声を伴う特殊演奏は、各周波数成分が一様の場合と特定の周波数成分を多く含む場合とで、判別できることがわかる。

特定の周波数成分を多く含む状態を検出する手法として、自己相関関数を計算することから算出される自己相関値を判定する手法が知られている。いま、自己相関関数Ｇ(τ)は、時刻ｔにおけるボイス値をＶ(ｔ)とすると、下式となることが知られている。ここで、τは遅れ時間であり、周波数をｆ（Ｈｚ）とすると１／ｆ（秒）である。また、Ｔは積分区間である。

ボイス値の信号に含まれる周波数成分ｆが少ない場合は低い値となり、周波数成分ｆを多く含む場合は高い値となる。しかし、数１式から分かる通り、Ｇ(τ)はボイス値の信号レベルの影響を強く受けてしまう。このため自己相関関数Ｇ(τ)に、下記数２式を用いると、信号レベルの影響を受け難くなることが知られている。

ボイス値の信号に含まれる周波数成分ｆが少ない場合は高い値となり、周波数成分ｆを多く含む場合は低い値となる。

ここで、演奏者が音声の発声による特殊奏法音の入力を行った場合は、発声による基音周波数及びその倍音周波数の存在により、自己相関値は該当する基音周波数で最も低い値となることから、自己相関値が最小となる音高を検出することで、特殊奏法音の音高を検出することが可能となる。そして、数２式の演算により算出される自己相関関数Ｇ(τ)から得られる値(以降「自己相関値」と記載)を、発声可能な基音の周波数範囲で算出し、その偏差を求めることで、発声による特殊奏法とその強さが検出できる。なお、自己相関値を算出する際の遅れ時間τ(＝１／ｆ)は、電子楽器のキーとして指定され得る例えば基音４９音階の周波数に対応する離散時間についてのみ計算することで十分であり、少ない演算量で自己相関値を計算することが可能である。

なお、自己相関値からの音高検出は演奏者が発声している場合のみ可能であるが、発声しているかどうかは自己相関値の偏差から判断可能である。即ち自己相関値の偏差は、演奏者が息を吹きかけた場合はホワイトノイズとなるためその値は低い値となる。また、演奏者が何もしない場合においてもボイス信号は全て０近傍値となるため、自己相関値の偏差も極めて低い値になる。よって、演奏者が発声した場合のみ自己相関値の偏差は高い値となり、その偏差値が所定の偏差閾値より高い値である場合に、音高判定が可能であると判断できる。

一方、自己相関値の偏差の値が偏差閾値以下の値である場合には、演奏者がボイスセンサ１０１に向かって単に息を吹きかけ、ブレス音が入力されたと判定することができる。この場合には、ボイス値の信号強度を検出することにより、ブレス音の強さを決定することができる。この信号強度の検出にあたっては、いかに安定した信号強度を検出するかが課題となる。図２（ｄ）及び（ｅ）は、ボイスセンサ１０１に障害物がなし／ありの場合を比較した、ボイス値の入力波形図である。図２（ｄ）はボイスセンサ本体１１２に障害物が取り付けられていない場合、図２（ｅ）はボイスセンサ本体１１２に金属網１１３と積層繊維１１４からなる障害物が取り付けられている場合であり、それぞれ息を３回吹きかけた時の入力波形を示している。図２（ｄ）及び（ｅ）において、濃い部分が入力波形（のピーク部）、薄い部分はその実効値（≒検出レベル）となっている。図２（ｄ）及び（ｅ）を比較して理解されるように、障害物を設置した場合（図２（ｅ））のほうがホワイトノイズに近い高周波成分を多く含み、その結果として実効値（≒検出レベル）が安定的に検出されることがわかる。このように、本実施形態では、図１のボイスセンサ本体１１２に金属網１１３と積層繊維１１４からなる障害物を取り付けることにより、演奏者がボイスセンサ１０１に息を吹きかけてブレス奏法を行ったときの情報を効率よく音声として入力することができ、信号強度の検出における応答性及び安定性を向上させることが可能となる。

図３は、図１の電子鍵盤楽器１００の制御システムの一実施形態のブロック図である。この制御システムは、ボイス入力手段３０１、自己相関値・偏差検出手段３０２、信号強度決定手段３０３、エンベロープ決定手段３０４、キー検出手段３０５、音高制御手段３０６、発音指示手段３０７、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ（ウェーブ・ジェネレータ）３０８（音源）、ノーマル音波形データ３０９、グロウル音波形データ３１０、合成比決定手段３１１、乗算器３１２、３１３、３１５（音源）、加算器３１４（音源）、及びＤＡＣ（デジタルアナログコンバータ）／増幅器３１６を備える。

ボイス入力手段３０１（音声入力手段）は、ボイスセンサ１０１が出力するボイス値（音声値）を所定の離散時間間隔で逐次ボイス入力情報として取得する。

自己相関値・偏差検出手段３０２は、前述の数２式に従って、上記ボイス入力情報として得られる所定のボイス信号処理単位数（音声信号処理単位数）（＝Ｔ）のボイス値に対して、ボイス信号に含まれる各波長の自己相関値を算出し、ボイス信号全体の自己相関値の偏差を演算する。

信号強度決定手段３０３は、上記ボイス信号処理単位数のボイス値の振幅変化の大きさに基づき、信号強度を検出する。信号強度決定手段３０３は、ボイス入力手段３０１で順次取得される所定のボイス信号処理単位数のボイス値の各振幅値を積分し、当該積分の結果に対してローパスフィルタ処理を実行して得られる値を信号強度情報として出力する、

キー検出手段３０５は、例えば演奏者による図１の鍵盤部１０２でのキー操作（押鍵操作又は離鍵操作）をキー検出情報として検出する。なお、キー操作は、必ずしも演奏者が鍵盤部１０２で演奏したものである必要はなく、キー装置は、例えば特には図示しないＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）端子を介して外部の他の演奏楽器又はシーケンサ（自動演奏装置）などから入力されるものであってもよい。

音高制御手段３０６は、キー検出手段３０５がキー検出情報として検出した演奏キー操作により指定される音高に変化があった場合には、キー検出情報から得られる音高を新たな音高情報として決定し出力する。

この音高制御手段３０６は更に、キー検出手段３０５がキー検出情報として検出した演奏キー操作により指定される音高に変化がなかった場合には、自己相関値・偏差検出手段３０２からの破線で示される制御線を介して、自己相関値・偏差検出手段３０２から入力する自己相関値の偏差が所定の偏差閾値よりも高いか否かを判定する。そして、音高制御手段３０６は、自己相関値の偏差が所定の偏差閾値よりも高いと判定した場合に、図３の破線の制御線を介して自己相関値・偏差検出手段３０２から入力する自己相関値が最も低い値に対応する周波数によって、音高の変更又はピッチベンドを指示する音高情報を出力する。

合成比決定手段３１１は、自己相関値・偏差検出手段３０２が検出する自己相関値の偏差と信号強度決定手段３０３が出力する信号強度情報とに基づいて決定される合成比（割合）情報を出力する。合成比情報は、後述するようにＷａｖｅ Ｇｅｎｅｒａｔｏｒ３０８から出力される管楽器の通常の楽音であるノーマル音と、管楽器のグロウリング奏法によって発音される楽音であるグロウル音の合成比率（割合）を決定し、乗算器３１２、３１３に対してそれぞれ乗算値を与える。

エンベロープ決定手段３０４は、信号強度決定手段３０３で得られた信号強度情報に基づいてエンベロープ情報を決定する。エンベロープ情報は、ノーマル音とグロウル音が加算器３１４で合成された後に、乗算器３１５で乗算される最終ゲインである。

発音指示手段３０７は、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ３０８が発音をしていない状態で、信号強度決定手段３０３が出力する信号強度情報の値が所定の発音開始閾値未満から発音開始閾値以上に変化した場合に、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ３０８に音高制御手段３０６が出力する音高情報が示す音高による発音開始を指示する発音指示情報を出力する。このとき、発音指示手段３０７は、発音開始のベロシティ情報として、信号強度決定手段３０３が出力する信号強度情報の値を設定する。また、発音指示手段３０７は、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ３０８が発音中の状態で、音高制御手段３０６が出力する音高情報が示す音高が変化した場合に、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ３０８に音高変更又はピッチベンドを指示する発音指示情報を出力する。更に、発音指示手段３０７は、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ３０８が発音中の状態で、信号強度決定手段３０３が出力する信号強度情報の値が発音停止閾値以上の状態から発音停止閾値未満の状態に変化した場合に、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ３０８に音高制御手段３０６が出力する音高情報が示す音高による発音の停止を指示する発音指示情報を出力する。

Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ３０８は、それが内蔵するＲＯＭに記憶されたノーマル音波形データ３０９及びグロウル音波形データ３１０を、発音指示手段３０７による発音指示に基づく音高でそれぞれ並列に読み出して出力する。ノーマル音波形データ３０９は例えば、管楽器の通常演奏時の楽音をサンプリングした波形データである。グロウル音波形データ３１０は例えば、管楽器のグロウリング奏法による演奏時の楽音をサンプリングした波形データである。

乗算器３１２、３１３はそれぞれ、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ３０８から出力されるノーマル音及びグロウル音に対して、合成比決定手段３１１から与えられた各乗算値を乗算する。

加算器３１４は、乗算器３１２及び３１３の各出力を加算することにより、ノーマル音とグロウル音を混合する。

乗算器３１５は、加算器３１４の出力に対して、エンベロープ決定手段３０４から与えられた乗算値を乗算する。

ＤＡＣ／増幅器３１６は、乗算器３１５から出力される楽音信号を、デジタル信号からアナログ信号に変換した後、増幅する。

図１のスピーカ１０３は、ＤＡＣ／増幅器３１６から出力される増幅された楽音信号を放音する。或いは、この楽音信号は、図１のライン出力端子１０９からラインケーブル１１０を介して外部の音響装置に出力されてもよい。

ここで、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ３０８から出力されるノーマル音波形データ３０９とグロウル音波形データ３１０は同位相で鳴る（以下これを「シンクロスタート」と呼ぶ）ように信号処理されていて、加算器３１４で混合されても音量が不自然に打ち消しあうようなことはない。

図４は、図１の合成比決定手段３１１及びエンベロープ決定手段３０４の構成例を示す図である。

合成比決定手段３１１は、自己相関値・偏差検出手段３０２が出力する自己相関値の偏差が大きくなりかつ信号強度決定手段３０３が出力する信号強度情報の値が小さくなるほど出力値が大きくなり、逆に、上記自己相関値の偏差が小さくなりかつ上記信号強度情報の値が大きくなるほど出力値が小さくなるようなグロウル値を生成する。合成比決定手段３１１は、このような特性を有するグロウル値を、例えば次の数３式に従って生成する。ここで、Ｇrはグロウル値、Ｄvは自己相関値の偏差、Ｄgは偏差調整用のゲイン(固定値)、Ｌvは信号強度情報の値、Ｌgは強度調整用のゲイン(固定値)、Ｌaは強度調整用のオフセット(固定値)である。

そして、合成比決定手段３１１は、上記グロウル値が（横軸）が大きくなるほど１から０に向かって出力乗算値（縦軸）が減少する特性を有するノーマル音用テーブル４０１と、グロウル値（横軸）が大きくなるほど０から１に向かって出力乗算値（縦軸）が増加する特性を有するグロウル音用テーブル４０２を備える。合成比決定手段３１１は、ボイス・レベルの入力値に対して、ノーマル音用テーブル４０１及びグロウル音用テーブル４０２をそれぞれ参照することにより、乗算器３１２及び３１３に対する各乗算値をそれぞれ決定する。

合成比決定手段３１１、乗算器３１２、３１３、及び加算器３１４により、自己相関値の偏差が大きくなりかつ信号強度が小さくなるほどグロウル音（第２の楽音信号）の出力レベルが大きくなり、自己相関値の偏差が小さくなりかつ信号強度が大きくなるほど第１の楽音信号（ノーマル音）の出力レベルが大きくなるように、ノーマル音とグロウル音が混合された楽音信号が得られることになる。

エンベロープ決定手段３０４は、信号強度決定手段３０３が出力する信号強度情報の値が所定の発音開始閾値に達するまではゲイン出力がゼロで、信号強度が発音開始閾値を超えると信号強度が大きくなるほどゲイン出力が増加する特性を有するエンベロープテーブル４０３を備える。エンベロープ決定手段３０４は、信号強度情報の値に対して、エンベロープテーブル４０３を参照することにより、乗算器３１５に対する乗算値であるエンベロープ情報を決定する。

エンベロープ決定手段３０４及び乗算器３１５により、信号強度情報の値が発音開始閾値に達するまではノーマル音とグロウル音の混合出力がゼロで、信号強度が発音開始閾値を超えると、信号強度が大きくなるほど上記混合出力が増加する制御が実現される。これにより、演奏者は、ボイスセンサ１０１に対する吹奏の強弱をコントロールすることにより、ノーマル音とグロウル音の出力を自在に変更することが可能となる。

以上のようにして、図３及び図４の構成を有する電子鍵盤楽器１００の制御システムの実施形態によれば、１種類のボイスセンサ１０１で吹奏楽器としてのブレス音（ノーマル音）とグロウル音を、シームレスに混合しながら同時に発音させることが可能となる。本実施形態では、演奏者はボイスセンサ１０１を口で咥える必要がないため、複数の演奏者が１台の電子楽器を共有する場合でも心理面や衛生面のでの障壁を取り除くことができると共に、電子鍵盤楽器１００等でもボイスセンサ１０１のヘッドセットのユニットを接続するだけで、吹奏効果を簡単に実現することが可能となる。

図５は、図３及び図４に示した電子鍵盤楽器１００の制御システムの実施形態の機能をソフトウェア処理によって実現可能な電子楽器の第２の実施形態のハードウェア構成例を示すブロック図である。

図５に示されるハードウェア構成例は、ＣＰＵ（セントラルプロセッシングユニット：中央演算処理装置）５０１、ＲＯＭ（リードオンリーメモリ）５０２、ＲＡＭ（ランダムアクセスメモリ）５０３、図１のボイスセンサ１０１の出力が接続されるＡＤＣ（アナログデジタルコンバータ）５０４、図１の鍵盤部１０２の出力が接続されるＧＰＩＯ（ジェネラルパーパスインプットアウトプット）５０５、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６、出力が図１のスピーカ１０３に接続される図３と同様のＤＡＣ／増幅器３１６を備え、これらがバス５０７によって相互に接続された構成を有する。同図に示される構成は、電子鍵盤楽器１００の制御システムを実現できるハードウェア構成の一例であり、そのようなハードウェア構成はこの構成に限定されるものではない。

ＣＰＵ５０１は、当該電子鍵盤楽器１００の制御を行う。ＲＯＭ５０２は、発音制御プログラムを記憶する。ＲＡＭ５０３は、発音制御プログラムの実行時に、前述したボイス入力情報、信号強度情報、キー検出情報、音高情報、合成比情報、エンベロープ情報データ、発音指示情報等を一時的に格納する。

ボイスセンサ１０１の出力は、図３のボイス入力手段３０１と同様の機能を有するＡＤＣ５０４でアナログ信号からデジタル信号のボイス入力情報に変換されて、ＲＡＭ１０３に書き込まれる。

図１の鍵盤部１０２の各操作状態は、図３のキー検出手段３０５と同様の機能を有するＧＰＩＯ１０７を介してＣＰＵ１０１に読み込まれる。

Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６は、図３のＷａｖｅ Ｇｅｎｅｒａｔｏｒ３０８と乗算器３１２、３１３、加算器３１４、乗算器３１５の機能を実現する、例えばデジタルシグナルプロセッサ（ＤＳＰ）である。

Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６から出力された楽音信号は、ＣＰＵ５０１を介してＤＡＣ／増幅器３１６においてデジタル信号からアナログ信号に変換されて増幅された後、スピーカ１０３を介して放音される。

図６は、図５のハードウェア構成例を有する第２の実施形態のメイン処理の例を示すフローチャートである。この処理は、図５のＣＰＵ５０１が、ＲＯＭ５０２に記憶された発音制御処理プログラムを実行する動作として実現される。この処理は、図３のボイス入力手段３０１、自己相関値・偏差検出手段３０２、信号強度決定手段３０３、エンベロープ決定手段３０４、キー検出手段３０５、音高制御手段３０６、発音指示手段３０７、及び合成比決定手段３１１の各機能を実現する。以下、随時図５の構成を参照するものとする。

まず、ＣＰＵ５０１は、初期化処理を実行する（ステップＳ６０１）。図７は、ステップＳ６０１の初期化処理の詳細例を示すフローチャートである。初期化処理では、ＲＡＭ５０３内の関連する各変数に初期値を格納する処理等が実行される。図７のステップＳ７０１において、まず、ウェーブ・ジェネレータの初期化として、ＲＡＭ５０３内の変数GeneratorStatusに、ＲＯＭ５０２に記憶されている定数値GENERATOR_DEADが格納される。また、エンベロープ情報の値の初期化として、ＲＡＭ５０３内の変数Envelopeに０（ゼロ）が格納される。また、合成比の初期化として、ＲＡＭ５０３内の変数NomalRatioにノーマル音の初期ゲイン値０（ゼロ）が格納される。また、ＲＡＭ５０３内の変数GrowlRatioにグロウル音の初期ゲイン値０（ゼロ）が格納される。そして、発音開始閾値の初期化として、ＲＡＭ５０３内の変数ThreshNoteOnにＲＯＭ５０２に記憶されている定数値THRESHOLD_NOTEONが格納される。

図６の処理に戻って、ＣＰＵ５０１は、ボイス信号処理（ステップＳ６０２）と、楽音制御処理（ステップＳ６０３）を繰り返し実行する。

図８は、図６のステップＳ６０２のボイス信号処理の詳細例を示すフローチャートである。図３のボイス入力手段３０１、自己相関値・偏差検出手段３０２、信号強度決定手段３０３、キー検出手段３０５、及び音高制御手段３０６の各機能を実現する。

まず、ＣＰＵ５０１は、ステップＳ８０１からＳ８０４の一連の処理で示されるボイス入力処理を実行する。この処理は、図３のボイス入力手段３０１の機能を実現する。

始めに、ＣＰＵ５０１は、一定の短い時間だけ待機する（ステップＳ８０１）。

次に、ＣＰＵ５０１は、図１のボイスセンサ１０１からＡＤＣ５０４を介して、ボイス値を取得する（ステップＳ８０２）。

ＣＰＵ５０１は、取得したボイス値をボイス入力情報としてＲＡＭ１０３に格納する（ステップＳ８０３）。

ＣＰＵ５０１は、所定のボイス信号処理単位数のボイス値を取得したか否かを判定する（ステップＳ８０４）。

ステップＳ８０４の判定がＮＯならば、ＣＰＵ５０１は、図８のフローチャートで示される図６のステップＳ６０２のボイス信号処理を終了する。

ステップＳ８０４の判定がＹＥＳになると、ＣＰＵ５０１は、自己相関値・偏差検出処理（ステップＳ８０５）、信号強度決定処理（ステップＳ８０６）、及び音高制御処理（ステップＳ８０７）を順次実行する。これらは、図３の自己相関値・偏差検出手段３０２、信号強度決定手段３０３、及び音高制御手段３０６の各機能を実現する。これらの処理が終了すると、ＣＰＵ５０１は、図８のフローチャートで示される図６のステップＳ６０２のボイス信号処理を終了する。なお、ステップＳ８０７の処理が終了した時点で、ＣＰＵ５０１は、ＲＡＭ１０３に記憶されていたいままでのボイス信号処理単位数のボイス値をクリアする。

図９は、図８のステップＳ８０５の自己相関値・偏差検出処理の詳細例を示すフローチャートである。ＣＰＵ５０１は、数２式で示した自己相関関数の遅れ時間τについて、ステップＳ９０１で音階Ｎを音階Ｃ２(約６５．４Ｈｚ)に初期設定した後、ステップＳ９０４で音階Ｎを＋１ずつインクリメントしながら、ステップＳ９０３で音階Ｎが音階Ｃ６(約１０４６．５Ｈｚ)を超えたと判定するまで、発声可能な基音４９音階について、前述した数２式により、自己相関値を算出する（ステップＳ９０２）。

ステップＳ９０３の判定がＹＥＳになると、ＣＰＵ５０１は、ステップＳ９０２で算出された音階Ｃ２からＣ６までの全自己相関値の偏差を算出する（ステップＳ９０５）。

ＣＰＵ５０１は、ステップＳ９０２で算出した音階Ｃ２からＣ６までの全自己相関値と、ステップＳ９０５で算出した自己相関値の偏差を、自己相関値・偏差情報としてＲＡＭ１０３に記憶させる。

図１０は、図８のステップＳ８０６の信号強度決定処理の詳細例を示すフローチャートである。ＣＰＵ５０１は、図８のステップＳ８０１からＳ８０４の繰返し処理でＲＡＭ１０３にボイス入力情報として取得されたボイス信号処理単位数のボイス値の各振幅値を積分する（ステップＳ１００１）。

次に、ＣＰＵ５０１は、ステップＳ１００１での積分の結果に対して、ローパスフィルタ処理を実行する（ステップＳ１００２）。

そして、ＣＰＵ５０１は、ステップＳ１００２のローパスフィルタ処理の結果を、信号強度情報としてＲＡＭ１０３内の変数SignalStrengthに記憶させる（ステップＳ１００３）。

図１１は、図８のステップＳ８０７の音高制御処理の詳細例を示すフローチャートである。ＣＰＵ５０１はまず、ＧＰＩＯ５０５が出力する鍵盤部１０２のキー検出情報より、検出されたキーの音高を検出する（ステップＳ１１０１）。

次に、ＣＰＵ５０１は、前回のキー検出結果と比較してキーによる音高に変化があるか否かを判定する（ステップＳ１１０２）。

ステップＳ１１０２の判定がＹＥＳの場合、ＣＰＵ５０１は、ステップＳ１１０１で検出したキーによる音高を、音高情報を示す変数NoteNumberとしてＲＡＭ１０３に格納する（ステップＳ１１０３）。その後、ＣＰＵ５０１は、図１１のフローチャートで例示される図８のステップＳ８０７の音高制御処理を終了する。

ステップＳ１１０２の判定がＮＯの場合、ＣＰＵ５０１は、図８のステップＳ８０５でＲＡＭ１０３に得られている自己相関値・偏差情報の自己相関値の偏差の値が所定の偏差閾値より高いか否かを判定することにより、自己相関値から音高を検出可能か否かを判定する（ステップＳ１１０４）。この動作については、図３の音高制御手段３０６の説明で前述した。

ステップＳ１１０４の判定がＮＯの場合には、演奏者は特殊奏法音の発声を行っていないと判定できるため、ＣＰＵ５０１は、図１１のフローチャートで例示される図８のステップＳ８０７の音高制御処理を終了する。

ステップＳ１１０４の判定がＹＥＳの場合には、演奏者は特殊奏法音の発声を行っていると判定できる。そこで、ＣＰＵ５０１は、図８のステップＳ８０５でＲＡＭ１０３に得られている自己相関値・偏差情報の自己相関値のうち、最小値となる自己相関値に対応する遅れ時間τから、その逆数１／τとして音高を検出する（ステップＳ１１０５）。

ＣＰＵ５０１は、ステップＳ１１０５で算出した自己相関値による音高を、新たな音高情報として、ＲＡＭ１０３内の変数NoteNumberに記憶させる。

以上の図８から図１１で示される図６のステップＳ６０２のボイス信号処理の後、ＣＰＵ５０１は、図６のステップＳ６０３の楽音制御処理を実行する。図１２は、ステップＳ６０３の楽音制御処理の詳細例を示すフローチャートである。

まず、ＣＰＵ５０１は、発音状態を示すＲＡＭ５０３内の変数GeneratorStatusの値が未発音状態を示すＲＯＭ５０２内の定数値GENERATOR_DEADになっているか否かを判定する（ステップＳ１２０１）。

ステップＳ１２０１の判定がＹＥＳ（未発音状態）ならば、ＣＰＵ５０１は、ステップＳ１２０２の処理に移行する。ここでは、ＣＰＵ５０１は、図８のステップＳ８０６の信号強度決定処理でＲＡＭ５０３内の変数SignalStrengthに得られている信号強度情報の値が、図３の発音指示手段３０７の説明で前述した発音開始閾値を示すＲＯＭ５０２内の定数値ThreshNoteOnを超えたか否かを判定する。

ステップＳ１２０２の判定がＮＯならば、発音は開始されないため、ＣＰＵ５０１は、図１２のフローチャートで例示される図６のステップＳ６０３の楽音制御処理を終了する。

ステップＳ１２０２の判定がＹＥＳになると、ＣＰＵ５０１は、音高情報を記憶するＲＡＭ５０３内の変数NoteNumberと図８のステップＳ８０６の信号強度決定処理でＲＡＭ５０３内の変数SignalStrengthに得られている信号強度情報の値とを入力として、発音処理を実行する（ステップＳ１２０３）。この処理の詳細については、図１３のフローチャートの説明で後述する。

次に、ＣＰＵ５０１は、発音後処理として、発音状態か否かを示すＲＡＭ５０３内の変数GeneratorStatusに、発音状態を示すＲＯＭ５０２内の定数値GENERATOR_ALIVEを格納する（ステップＳ１２０４）。その後、ＣＰＵ５０１は、図１２のフローチャートの処理を終了し、図６のステップＳ６０５の楽音制御処理を終了する。

ステップＳ１２０１の判定がＮＯ（発音状態）ならば、ＣＰＵ５０１は、ステップＳ１２０５の処理に移行する。ここでは、ＣＰＵ５０１は、図８のステップＳ８０６の信号強度決定処理でＲＡＭ５０３内の変数SignalStrengthに得られている信号強度情報の値に基づいてエンベロープ情報の値を決定する、エンベロープ決定処理を実行し、この処理の結果得られるエンベロープ情報の値をＲＡＭ１０３内の変数Envelopeに格納する。この処理の詳細については、図４のエンベロープ決定手段３０４の説明で前述した。この結果得られたエンベロープ情報の値は、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６に与えられる。Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６は、このゲイン値に基づいて、図３又は図４の乗算器３１５に対応する機能を実行する。

次に、ＣＰＵ５０１は、図８のステップＳ８０５でＲＡＭ１０３に得られている自己相関値・偏差情報の値と、図８のステップＳ８０６でＲＡＭ１０３の変数SignalStrengthに得られている信号強度情報の値とに基づいて、合成比決定処理を実行する（ステップＳ１２０６）。この処理の詳細は、図４の合成比決定手段３１１の説明において前述した。図４のノーマル音用テーブル４０１及びグロウル音用テーブル４０２にアクセスして決定された合成比はそれぞれ、ＲＡＭ５０３内の変数NormalRatioと変数GrowlRatioに格納される。変数NormalRatioは、ノーマル音の合成比を示し、図３又は図４の乗算器３１２に与えられる乗算値に対応する。変数GrowlRatioは、グロウル音の合成比を示し、図３又は図４の乗算器３１３に与えられる乗算値に対応する。これらの変数値は、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６に与えられる。Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６は、これらの変数値に基づいて、図３又は図４の乗算器３１２及び３１３に対応する機能を実行する。

その後、ＣＰＵ５０１は、図８のステップＳ８０６の信号強度決定処理でＲＡＭ５０３内の変数SignalStrengthに得られている信号強度情報の値が、図３の発音指示手段３０７の説明で前述した発音開始閾値を示すＲＯＭ５０２内の定数値ThreshNoteOn以下となったか否かを判定する（ステップＳ１２０７）。ステップＳ１２０７の判定がＹＥＳになると、ＣＰＵ５０１は、発音後処理として、発音状態か否かを示すＲＡＭ５０３内の変数GeneratorStatusに、未発音状態を示すＲＯＭ５０２内の定数値GENERATOR_DEADを格納する（ステップＳ１２０８）。

ステップＳ１２０７の判定がＮＯの場合又はステップＳ１２０８の処理の後、ＣＰＵ５０１は、図１２のフローチャートで例示される図６のステップＳ６０５の楽音制御処理を終了する。

図１３は、図１２のステップＳ１２０３の発音処理の詳細例を示すフローチャートである。

まず、ＣＰＵ５０１は、図８のステップＳ８０７の音高制御処理でＲＡＭ５０３内の変数NoteNumberに得られている音高情報を入力として、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６におけるノーマル音用の初期化処理を実行する（ステップＳ１３０１）。ここでは、ＣＰＵ５０１は、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６に対して、ノーマル音波形データ３０９（図３参照）のスタートアドレスを設定し、また変数NoteNumberが示す音高に対応するノーマル音波形データ３０９の読出し速度を設定する。

次に、ＣＰＵ５０１は、音高を記憶するＲＡＭ５０３内の変数NoteNumberを入力として、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６におけるグロウル音用の初期化処理を実行する（ステップＳ１３０２）。ここでは、ＣＰＵ５０１は、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６に対して、グロウル音波形データ３１０（図３参照）のスタートアドレスを設定し、また変数NoteNumberが示す音高に対応するグロウル音波形データ３１０の読出し速度を設定する。

次に、ＣＰＵ５０１は、合成比決定処理を実行する（ステップＳ１３０３）。この処理は、発音状態で実行される図１２のステップＳ１２０６の処理と同様であり、図３又は図４の合成比決定手段３１１の機能を実現する。図４のノーマル音用テーブル４０１及びグロウル音用テーブル４０２にアクセスして決定された合成比はそれぞれ、ＲＡＭ５０３内の変数NormalRatioと変数GrowlRatioに格納され、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６に与えられる。Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６は、これらの変数値に基づいて、図３又は図４の乗算器３１２及び３１３に対応する機能を実行する。

次に、ＣＰＵ５０１は、エンベロープ決定処理を実行する（ステップＳ１３０４）。この処理は、発音状態で実行される図１２のステップＳ１２０５の処理と同様である。この処理で得られたエンベロープ情報の値は、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６に与えられる。Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６は、このゲイン値に基づいて、図３又は図４の乗算器３１５に対応する機能を実行する。

最後に、ＣＰＵ５０１は、ジェネレータ・シンクロ・スタート処理を実行する（ステップＳ１３０５）。この処理では、ＣＰＵ５０１は、Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ５０６に対してノーマル音波形データ３０９とグロウル音波形データ３１０を同期（シンクロ）させて出力処理させるための発音開始指示を出す。

以上説明した第２の実施形態の動作により、第１の実施形態における図３又は図４の電子楽器の機能が、ソフトウェア処理として実現される。

以上説明したようにして、第１及び第２の実施形態では、図１のボイスセンサ本体１１２に金属網１１３と積層繊維１１４からなる障害物を取り付けることにより、演奏者がボイスセンサ１０１に息を吹きかけてブレス奏法を行ったときの情報を効率よく音声として入力することができ、信号強度の検出における応答性及び安定性を向上させることが可能となる。ボイスセンサ本体１１２に被せる障害物としては、息を吹きかけたときの周波数特性がホワイトノイズに近くなるようなものであれば、金属網１１３と積層繊維１１４の組合せには限られず、様々なものを適用できる。

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
カルマン渦を生じさせる部材を介して音声センサからブレス音及び発声音が入力され、前記入力に応じて前記音声センサから連続して出力される出力値に基づいて算出される複数の自己相関値から偏差を算出する偏差算出手段と、
前記自己相関値の前記偏差に基づいて、発音部に発音させる楽音を生成する楽音生成手段と、
を有する楽音生成装置。
（付記２）
前記楽音生成手段は、
前記自己相関値の前記偏差が閾値より大きい場合に、ノーマル音の第１の楽音信号の合成比率よりもグロウル音の第２の楽音信号の合成比率を大きくすることにより、前記第１の楽音信号と前記第２の楽音信号とを合成して前記楽音を生成する、付記１に記載の楽音生成装置。
（付記３）
前記楽音生成手段は、
前記自己相関値の前記偏差が閾値より小さい場合に、ノーマル音の第１の楽音信号の合成比率よりもグロウル音の第２の楽音信号の合成比率を小さくすることにより、前記第１の楽音信号と前記第２の楽音信号とを合成して前記楽音を生成する、付記１または２に記載の楽音生成装置。
（付記４）
前記音声センサの前記出力値からブレスの信号強度情報を取得する信号強度決定手段と、
を更に有し、
前記楽音生成手段は、
前記自己相関値の前記偏差及び前記信号強度情報に基づいて決定される合性比率により、ノーマル音の第１の楽音信号とグロウル音の第２の楽音信号とを合成して前記楽音を生成する、付記１から３のいずれかに記載の楽音生成装置。
（付記５）
付記１乃至４のいずれかに記載の楽音生成装置と、
前記楽音生成装置により生成された楽音を発音する発音部と、
を有する電子楽器。
（付記６）
カルマン渦を生じさせる部材を介して音声センサからブレス音及び発声音が入力され、前記入力に応じて前記音声センサから連続して出力される出力値に基づいて算出される複数の自己相関値から偏差を算出し、
前記自己相関値の前記偏差に基づいて、発音部に発音させる楽音を生成する、楽音生成方法。
（付記７）
コンピュータに、
カルマン渦を生じさせる部材を介して音声センサからブレス音及び発声音が入力され、前記入力に応じて前記音声センサから連続して出力される出力値に基づいて算出される複数の自己相関値から偏差を算出するステップと、
前記自己相関値の前記偏差に基づいて、発音部に発音させる楽音を生成するステップと、
を実行させるためのプログラム。

１００ 電子鍵盤
１０１ ボイスセンサ
１０２ 鍵盤部
１０３ スピーカ
１０４ ボイス入力端子
１０５ 接続ケーブル
１０６ ヘッドバンド
１０７ マイクアーム
１０８ 楽器本体
１０９ ライン出力端子
１１０ ラインケーブル
１１１ センサ基部
１１２ ボイスセンサ本体
１１３ 金属網
１１４ 積層繊維
３０１ ボイス入力手段
３０２ 自己相関値・偏差検出手段
３０３ 信号強度決定手段
３０４ エンベロープ決定手段
３０５ キー検出手段
３０６ 音高制御手段
３０７ 発音指示手段
３０８、５０６ Ｗａｖｅ Ｇｅｎｅｒａｔｏｒ
３０９ ノーマル音波形データ
３１０ グロウル音波形データ
３１１ 合成比決定手段
３１２、３１３、３１５ 乗算器
３１４ 加算器
３１６ ＤＡＣ／増幅器
４０１ ノーマル音用テーブル
４０２ グロウル音用テーブル
５０１ ＣＰＵ（セントラルプロセッシングユニット：中央演算処理装置）
５０２ ＲＯＭ（リードオンリーメモリ）
５０３ ＲＡＭ（ランダムアクセスメモリ）
５０４ ＡＤＣ（アナログデジタルコンバータ）
５０５ ＧＰＩＯ（ジェネラルパーパスインプットアウトプット）
５０７ バス

Claims (7)

1. カルマン渦を生じさせる部材を介して音声センサからブレス音及び発声音が入力され、前記入力に応じて前記音声センサから連続して出力される出力値に基づいて算出される複数の自己相関値から偏差を算出する偏差算出手段と、
   前記自己相関値の前記偏差に基づいて、発音部に発音させる楽音を生成する楽音生成手段と、
   を有する楽音生成装置。
2. 前記楽音生成手段は、
   前記自己相関値の前記偏差が閾値より大きい場合に、ノーマル音の第１の楽音信号の合成比率よりもグロウル音の第２の楽音信号の合成比率を大きくすることにより、前記第１の楽音信号と前記第２の楽音信号とを合成して前記楽音を生成する、請求項１に記載の楽音生成装置。
3. 前記楽音生成手段は、
   前記自己相関値の前記偏差が閾値より小さい場合に、ノーマル音の第１の楽音信号の合成比率よりもグロウル音の第２の楽音信号の合成比率を小さくすることにより、前記第１の楽音信号と前記第２の楽音信号とを合成して前記楽音を生成する、請求項１または２に記載の楽音生成装置。
4. 前記音声センサの前記出力値からブレスの信号強度情報を取得する信号強度決定手段と、
   を更に有し、
   前記楽音生成手段は、
   前記自己相関値の前記偏差及び前記信号強度情報に基づいて決定される合成比率により、ノーマル音の第１の楽音信号とグロウル音の第２の楽音信号とを合成して前記楽音を生成する、請求項１から３のいずれかに記載の楽音生成装置。
5. 請求項１乃至４のいずれかに記載の楽音生成装置と、
   前記楽音生成装置により生成された楽音を発音する発音部と、
   を有する電子楽器。
6. カルマン渦を生じさせる部材を介して音声センサからブレス音及び発声音が入力され、前記入力に応じて前記音声センサから連続して出力される出力値に基づいて算出される複数の自己相関値から偏差を算出し、
   前記自己相関値の前記偏差に基づいて、発音部に発音させる楽音を生成する、楽音生成方法。
7. コンピュータに、
   カルマン渦を生じさせる部材を介して音声センサからブレス音及び発声音が入力され、前記入力に応じて前記音声センサから連続して出力される出力値に基づいて算出される複数の自己相関値から偏差を算出するステップと、
   前記自己相関値の前記偏差に基づいて、発音部に発音させる楽音を生成するステップと、
   を実行させるためのプログラム。