JP6572916B2

JP6572916B2 - 発音制御装置及び方法、プログラム

Info

Publication number: JP6572916B2
Application number: JP2017005823A
Authority: JP
Inventors: 英昭竹久
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2016-03-11
Filing date: 2017-01-17
Publication date: 2019-09-11
Anticipated expiration: 2037-01-17
Also published as: JP2017167519A

Description

本発明は、演奏者による演奏操作に基づき発生する音を演奏者の操作によって制御する技術に関する。

従来、演奏者による演奏操作に基づき発せられる音にディレイ等のエフェクト（効果）の付加等を行う発音制御がなされる。演奏される楽曲のイベント間時間が曲の進行や演奏テンポによって変化し、ディレイにおける遅延時間の設定が固定値だと、付加されるエフェクトが不自然になる場合がある。そこで、特許文献１では、楽器演奏による演奏速度情報に基づき効果付加の特性を制御することが開示されている。

ところで一般に、演奏者は、演奏曲の途中における自身が演奏操作しない非演奏操作期間あるいはハイハットのオープン／クローズの制御操作をしない非制御操作期間等の非演奏制御操作期間でも、テンポキープ等のために何らかの動作をする場合が多い。例えば、演奏者は、演奏操作子を、発音に至らないような態様で操作する動作をすることもある。このような動作をここでは「ゴーストモーション」と称する。例えば、演奏者は、ハイハットシンバルでの演奏時にはペダルを踏んでオープン／クローズを制御するが、制御操作をしない期間においては、ゴーストモーションとして、つま先をペダルに置きつつ、かかとを上下動させて（上下動の下の位置では、かかとはペダルに触れることもあれば、触れないこともある。）ビートを刻む。

特開平６−１１０４５４号公報

しかしながら、上述のようにゴーストモーション自体は演奏者にとってのテンポキープを目的とするので、その操作が発音に反映されることはなく、また、エフェクトはそれにより変化することはない。例えば、上述のハイハットペダルに対して演奏者がゴーストモーションをしているとき、演奏音として鳴ることもなければ、他のパッドの打撃による音のエフェクトに反映されることもない。上記特許文献１においては、楽器演奏による演奏速度を変更すればそれがエフェクトに反映されるが、ゴーストモーションがエフェクトに反映されることはない。

ゴーストモーションは、演奏以外で演奏者が通常行っている動作であって、演奏者が演奏テンポの正確さを保ったり演奏の抑揚や臨場感を表現したりすることに関係している。このように、曲のテンポや「のり」が影響した動作を発音制御に利用できれば、一層豊かな音響を得られると考えられる。

本発明は上記従来技術の問題を解決するためになされたものであり、その第１の目的は、非演奏制御操作期間であっても演奏者の動作で発音を制御することである。第２の目的は、非演奏制御操作期間であっても演奏者の動作から演奏テンポを推定することである。

上記第１の目的を達成するために本発明の請求項１の発音制御装置は、演奏者の動作を検出して検出情報を取得する情報取得手段（５、３０）と、前記演奏者の動作のうち発音トリガを生じる操作であると判断された動作から前記情報取得手段によって取得された検出情報に基づき発音する発音手段（５、３６）と、前記情報取得手段によって取得された検出情報に基づいて、前記演奏者の動作が発音トリガを生じる操作であるか否かを判断すると共に、前記演奏者の動作のうち発音トリガを生じない操作であると判断された動作から前記情報取得手段によって取得された検出情報（Ｗ２のピーク）に基づいて、前記発音手段の発音の態様を制御する制御手段（５、３４、３５）と、を有することを特徴とする。

上記第１の目的を達成するために本発明の請求項８の発音制御方法は、演奏者の動作を検出して検出情報を取得する情報取得ステップと、前記演奏者の動作のうち発音トリガを生じる操作であると判断された動作から前記情報取得ステップによって取得された検出情報に基づき発音する発音ステップと、前記情報取得ステップによって取得された検出情報に基づいて、前記演奏者の動作が発音トリガを生じる操作であるか否かを判断すると共に、前記演奏者の動作のうち発音トリガを生じない操作であると判断された動作から前記情報取得ステップによって取得された検出情報に基づいて、前記発音ステップにおける発音の態様を制御する制御ステップと、を有することを特徴とする。

なお、上記括弧内の符号は例示である。

本発明の請求項１、９によれば、非演奏制御操作期間であっても演奏者の動作で発音を制御することができる。

請求項２によれば、演奏操作子に対する演奏のためでない動作を発音制御に反映させることができる。請求項３によれば、演奏操作子への演奏動作による発音を演奏操作子への演奏以外の演奏者の動作により制御することができる。請求項４によれば、演奏者の身体変位を発音制御に反映させることができる。請求項５によれば、演奏以外の動作であってビートを刻む動作を発音制御に反映させることができる。請求項６によれば、演奏以外の演奏者の動作を効果に反映させることができる。請求項７によれば、演奏以外の演奏者の動作からテンポを推定することができる。

本発明の請求項８、１０によれば、非演奏制御操作期間であっても演奏者の動作から演奏テンポを推定し、例えばそれを、発音制御に反映させることができる。

本発明の一実施の形態に係る楽器の斜視図である。電子打楽器の全体構成を示すブロック図である。ペダルセンサの出力波形（図（ａ））、波形の拡大図（図（ｂ））、波形に基づき発生させるパルス波形（図（ｃ））を示す図である。発音制御を実現するための機能機構のブロック図である。メイン処理のフローチャートである。ディレイ設定値決定処理のフローチャートである。効果制御処理のフローチャートである。割り込み処理のフローチャートである。変形例に係る、発音制御を実現するための機能機構のブロック図である。変形例の検出機構の模式図（図（ａ）〜（ｃ））である。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、本発明の一実施の形態に係る楽器の斜視図である。この楽器は電子打楽器２０として構成され、スタンド２２と、床面に設置されたキックユニット（バスドラムユニット）２８とハイハットユニット２９とを有する。スタンド２２には、複数のパッド２１が着脱自在に取り付けられると共に、コントローラ２３が取り付けられる。複数のパッド２１の形状は互いに異なるが、いずれもパッド２１と呼称する。各パッド２１には、不図示の打撃センサが設けられる。打撃センサにより振動を介して打撃が検出されて、その検出信号がコントローラ２３に供給される。また、キックユニット２８は、パッド２６及びキックペダル２４を有する。キックペダル２４は床面に載置され、ペダル部２４ａが演奏者のつま先で踏み込み操作される。キックペダル２４には、ペダル部２４ａの動作を連続的に検出するためのペダルセンサ２５が設けられ、ペダルセンサ２５によりペダル部２４ａの操作ストロークに応じた検出値が連続量で出力される。また、ハイハットユニット２９は、ハイハットペダル部２９ａとハイハットパッド２９ｂとそれらを連結して床面に載置されるハイハットスタンド２９ｃとを有する。ハイハットペダル部２９ａには、ハイハットペダルの動作を連続的に検出するためのペダルセンサ２９ｄが設けられ、ペダルセンサ２９ｄによりハイハットペダル部２９ａの操作ストローク（変位）に応じた検出値が連続量で出力される。なお、ペダルセンサは、一例として挙げた連続量で検出するものに限られず、多段階スイッチなどで操作量を多段階で検出するものでもよい。

図２は、電子打楽器２０の全体構成を示すブロック図である。ＣＰＵ５には、バス１６を介して、検出回路３、検出回路４、ＲＯＭ６、ＲＡＭ７、タイマ８、表示部９、記憶装置１０、各種Ｉ／Ｆ（インターフェイス）１１、音源回路１３及び効果回路１４が接続される。演奏操作子１には、上記した複数のパッド２１、２６が含まれる。検出回路３は打撃センサやペダルセンサ２５の出力から演奏操作子１の操作状態を検出し、検出回路４は設定操作子２の操作状態を検出する。コントローラ２３は、本発明における発音制御装置であり、ＣＰＵ５と、ＣＰＵ５に接続された各構成要素（演奏操作子を除く）と、設定操作子２とを含む。

表示部９はＬＣＤ等で構成され、各種情報を表示する。ＣＰＵ５にはタイマ８が接続される。音源回路１３には効果回路１４を介してサウンドシステム１５が接続されている。各種Ｉ／Ｆ１１には、ＭＩＤＩ（Musical Instrument Digital Interface）Ｉ／Ｆ、通信Ｉ／Ｆが含まれる。ＣＰＵ５は、本楽器全体の制御を司る。ＲＯＭ６は、ＣＰＵ５が実行する制御プログラムや各種テーブルデータ等を記憶する。ＲＡＭ７は、各種入力情報、各種フラグやバッファデータ及び演算結果等を一時的に記憶する。記憶装置１０は、例えば不揮発性のメモリであり、上記制御プログラムや各種楽曲データ、各種データ等を記憶する。音源回路１３は、演奏操作子１から入力された演奏データや予め設定された演奏データ等を楽音信号に変換する。効果回路１４は、音源回路１３から入力される楽音信号に各種効果を付与し、ＤＡＣ（Digital-to-Analog Converter）やアンプ、スピーカ等で構成されるサウンドシステム１５は、効果回路１４から入力される楽音信号等を音響に変換する。ＣＰＵ５は、検出回路３の検出結果に基づいて、音源回路１３及び効果回路１４を制御してサウンドシステム１５から音を発生させる。なお、各パッド２１、２６の打撃により発生する音のエフェクト（効果）の設定例については図６〜図８で後述する。

本実施の形態では、演奏者の動作のうち演奏（発音）のためでない動作を検出し、その検出結果から、演奏（発音）のための動作により発せられる音を制御する。発音の制御としては、付加するエフェクトの制御を例示し、演奏者の動作のうち発音トリガに用いない情報を少なくとも用いてエフェクト制御パラメータを決定してそれに基づきエフェクトを制御する。演奏者は一般に、演奏曲の途中における自身が演奏操作をしない非演奏操作期間においても、テンポキープ等のために、発音トリガが発生しないような態様で何らかの動作をする場合が多い。このように、発音に至らないような態様の動作を「ゴーストモーション：（以下、Ｇモーションと略記する）」と称する。一例として、本実施の形態では、ハイハットペダル部２９ａでＧモーションの操作をしたときにその操作を検出してエフェクト制御パラメータとしてのディレイ音のディレイ時間（遅延時間）を設定する。

図３（ａ）は、ペダルセンサ２９ｄの出力波形を示す図である。横軸に時間ｔ、縦軸にセンサ出力をとる。図３（ａ）において、ピークの高い波形Ｗ１と波形Ｗ１よりもピークの十分に低い波形Ｗ２とが示される。演奏者は、ハイハットユニット２９のオープン・クローズの発音態様制御やフットクローズの発音のためにペダル部２４ａを深く踏み込む。なお、以下では説明を簡略にするため、ハイハットペダル部２９ａの踏込動作の説明は、実際には行われるオープン・クローズの発音態様制御の説明は省略し、フットクローズ発音動作を演奏操作として説明する。このフットクローズ演奏操作（発音トリガを生じる操作）によりペダルセンサ２９ｄから生じる波形が波形Ｗ１である。一方、演奏者は、非演奏制御操作期間においては、Ｇモーションとして、つま先をハイハットペダル部２９ａに置きつつ、かかとを上下動させてビートを刻む。このＧモーションによりペダルセンサ２９ｄから生じる波形が波形Ｗ２である。波形Ｗ１のピーク同士の間隔、及び波形Ｗ２のピーク同士の間隔はいずれも、通常、演奏曲のビート間隔と一致する。

図３（ｂ）は波形Ｗ２の拡大図である。波形Ｗ１のピークタイミングは通常、拍タイミングと一致するが、波形Ｗ２のピークタイミングは拍タイミングとは少しずれるのが通常である。これは、演奏者が拍タイミングに合わせてかかとを上下動させようとするために、その直前にかかとを床から持ち上げることでつま先に力が掛かってペダル部２４ａが少し踏み込まれるからである。図３（ｂ）において、時点ｔｐは波形Ｗ２のピークタイミングである。時点ｔ０はかかとの上下動において最も下の位置に到達したタイミングである。本実施の形態では、ＣＰＵ５は、ビート間隔及び演奏テンポのパラメータを、演奏期間においては主として波形Ｗ１のピークタイミングに基づき決定し、非演奏制御操作期間においては主として波形Ｗ２の時点ｔ０のタイミングに基づき決定する。

図３（ｃ）は、検出された波形Ｗ１、Ｗ２に基づき発生させるパルス波形を示す図である。図４は、発音制御を実現するための機能機構のブロック図である。この機能機構は、情報取得部３０、演奏検出部３３、解析部３４、効果設定部３５及び発音処理部３６を有する。情報取得部３０は、Ｇモーション検出部３１及び演奏検出部３２を有する。情報取得部３０、演奏検出部３３の機能は、主にＣＰＵ５と検出回路３との協働により実現される。解析部３４及び効果設定部３５の機能は、主にＣＰＵ５、ＲＡＭ７及びタイマ８の協働により実現される。発音処理部３６の機能は、主にＣＰＵ５、音源回路１３、効果回路１４及びサウンドシステム１５の協働により実現される。

図４に示すように、ペダルセンサ２９ｄからの検出出力は情報取得部３０に入力される。情報取得部３０は、第１の閾値ｔｈ１と、第２の閾値ｔｈ２（ｔｈ１＞ｔｈ２；図３（ａ）参照）とを用いて、ハイハットペダル部２９ａの動作ストローク（ペダルセンサ２９ｄの出力）から出力波形のピークを検出する。特に、Ｇモーション検出部３１は波形Ｗ２のピークタイミングを検出し、演奏検出部３２は波形Ｗ１のピークタイミングを検出する。Ｇモーション検出部３１及び演奏検出部３２の出力は解析部３４に入力される。演奏検出部３２の出力は、フットクローズの発音トリガの生成に用いられ、さらに発音処理部３６にも入力される。ハイハットユニット２９以外のパッド２１のそれぞれに対応する打撃センサやキックユニット２８のペダルセンサ２５からの検出出力は演奏検出部３３に入力される。演奏検出部３３の出力は発音処理部３６に入力される。すなわち、演奏検出部３２、３３の出力は、それぞれに対応する発音の発音トリガの生成に用いられる。一方、Ｇモーション検出部３１の出力は、発音トリガの生成には用いられない。演奏検出部３２及びＧモーション検出部３１の出力は、解析部３４を介して効果設定に用いられる。

図３（ｃ）に示すように、解析部３４は、Ｇモーション検出部３１及び演奏検出部３２によりそれぞれ検出されたピークに基づき、検出波形のピークタイミングに応じたテンポパルス（クリックパルス）を発生させる。具体的には、解析部３４は、波形Ｗ１に関してはピークタイミングでパルス（の立ち上がり）を発生させる。これは、波形Ｗ１については、ピークタイミングが、演奏者が意図したビートのタイミングだからである。一方、波形Ｗ２に関してはピークタイミングよりも補正値「ｔ０−ｔｐ」だけ後のタイミングでパルス（の立ち上がり）を発生させる。これは、時点ｔ０が、演奏者が意図した真のビートのタイミングだからである。補正値「ｔ０−ｔｐ」は、演奏テンポに応じた値としてテーブルの形態または演算式の形態で、予めＲＯＭ６等に格納されている。補正値「ｔ０−ｔｐ」は、演奏テンポが速いほど小さい値に設定される。補正値「ｔ０−ｔｐ」の適切な設定は演奏者によっても異なるので、各々の演奏者のクセ等を予め把握して、演奏者ごとにテーブル等を設けてもよい。

解析部３４はさらに、発生させたパルスを解析してビート間隔Ｄを推定すると共に、演奏テンポＴＰも推定する。ここで、基本的には、パルス位置は演奏曲のビートに対応している。隣接するパルス同士の時間間隔はビート間隔Ｄと一致する。しかし、検出誤差や演奏者の動作のばらつきは生じ得る。なお、途中で動作が途切れることもあり、その場合はパルスも途切れる。そこで、ビート間隔Ｄを推定する段階で移動平均を用いる。例えば、解析部３４は、隣接するパルス同士の時間間隔を、ビート間隔Ｄの算出時の直前に得られた所定数（例えば、１０個）のパルスから算出する。解析部３４は、それらのパルス同士の時間間隔の値のうち最小値と最大値を除いた後の値の平均をビート間隔Ｄと定める。演奏テンポＴＰは、１分間当たりのビート数であるので、ＴＰ＝６０００／ビート間隔（ｍｓ）により算出される。なお、ビート間隔Ｄを算出する際に用いるパルス数は例示に限定されず、パルス間隔からビート間隔Ｄを算出する手法も例示に限定されない。

効果設定部３５は、エフェクトの一例としてディレイ効果を設定する。具体的には、効果設定部３５は、ディレイ設定値ＤＴを決定し、ディレイ設定値ＤＴからディレイ時間ＤＴＴ（カウンタの設定値）を設定する。ディレイ時間ＤＴＴは、全てのパッド、すなわち全ての発音チャンネルで共通としてもよい。しかし、本実施の形態では、発音チャンネルごとに設定するとし、ディレイ時間ＤＴＴｎ＝ＤＴ×Ｋ（ｎ）により設定される。ここで、Ｋ（ｎ）は、パッド（発音チャンネル）ごとの補正係数であって、予め決定されている値である。発音処理部３６は、リアルタイム再生として、演奏検出部３２、３３からの出力信号に応じた発音処理を実行する。その際、発音処理部３６は、出力信号に基づき生成した演奏信号に、効果設定部３５により設定されたエフェクト制御パラメータに基づきエフェクトを付加し、増幅して出力する。

図５は、メイン処理のフローチャートである。このフローチャートにおける各処理は、ＣＰＵ５が、記憶装置１０またはＲＯＭ６に記憶されたプログラムをＲＡＭ７に読み出して実行することにより実現される。まず、ＣＰＵ５は、初期設定を実行、すなわち、制御プログラムの実行を開始し、各種レジスタに初期値を設定すると共に、設定操作子２による機器の設定を受け付けて設定する（ステップＳ１０１）。このステップＳ１０１では、演奏者は、リアルタイム演奏による発音にディレイ効果を付加するか否か（ＯＮ／ＯＦＦ）を設定できる。

次に、ＣＰＵ５が、演奏検出部３２、３３の機能として、キックユニット２８のパッド２６に対する打撃とハイハットユニット２９によるフットクローズ発音操作とその他のパッド２１の各々に対する打撃を検出する（ステップＳ１０２）。具体的には、パッド２１に設けたそれぞれのセンサの出力が、対応して設定された所定値（閾値）を超えているときに打撃有りと検出する。なお、ハイハットユニット２９のフットクローズの発音指示検出は、ペダルセンサ２９ｄの出力が、第１の閾値ｔｈ１を超えているときに打撃有りと検出する。次に、ＣＰＵ５は、図６、図７でそれぞれ後述するディレイ設定値決定処理（ステップＳ１０３）、効果制御処理（ステップＳ１０４）を順次実行する。そしてＣＰＵ５は、その他処理を実行する（ステップＳ１０５）。その他処理においては、例えば、自動再生処理を実行している場合は、ＣＰＵ５は、演奏データを読み出し、生成された演奏信号に設定された効果処理を付加し、増幅して出力するよう制御する。その後、処理はステップＳ１０２に戻る。

図６は、図５のステップＳ１０３で実行されるディレイ設定値決定処理のフローチャートである。まず、ＣＰＵ５は、情報取得部３０の機能として、ペダルセンサ２９ｄからの検出出力から、第１の閾値ｔｈ１を用いてピークを検出する。すなわち、情報取得部３０の演奏検出部３２は、検出波形のピーク値が第１の閾値ｔｈ１を超えたか（ピーク値＞ｔｈ１）否かを判別する（ステップＳ２０１）。その判別の結果、ピーク値が第１の閾値ｔｈ１を超えた場合は、演奏のための操作が検出されたと判断され、波形Ｗ１のピーク（第１の検出情報）が取得されたので（図３（ａ）参照）、処理はステップＳ２０２に進む。

一方、ピーク値が第１の閾値ｔｈ１を超えない場合（ピーク値≦ｔｈ１）は、情報取得部３０は、ペダルセンサ２９ｄからの検出出力から、第２の閾値ｔｈ２を用いてピークを検出する（ステップＳ２０７）。すなわち、情報取得部３０のＧモーション検出部３１は、検出波形のピーク値が第２の閾値ｔｈ２を超えたか（ピーク値＞ｔｈ２）否かを判別する。その判別の結果、ピーク値が第２の閾値ｔｈ２を超えた場合（ｔｈ１＞ピーク値＞ｔｈ２）は、Ｇモーションの操作が検出されたと判断され、波形Ｗ２のピーク（第２の検出情報）が取得されるので（図３（ａ）、（ｂ）参照）、処理はステップＳ２０８に進む。ピーク値が第２の閾値ｔｈ２を超えない場合（ピーク値≦ｔｈ２）は、動作が検出されず、検出情報が取得されなかった（すなわち、何も操作されていない状態と等しい）ので、図６の処理は終了する。

ステップＳ２０１でフットクローズ演奏のための操作が検出されたと判断されたときは、ＣＰＵ５は、解析部３４の機能として、出力が第１の閾値ｔｈ１を超えたときのピークタイミング（波形Ｗ１のピークタイミング）で立ち上がるテンポパルスを発生させ、処理をステップＳ２０３に進める（ステップＳ２０２）。一方、ステップＳ２０７でＧモーションの操作が検出されたと判断されたときは、ＣＰＵ５は、解析部３４の機能として、現在の演奏テンポＴＰ（初回を除き、前回のステップＳ２０５で推定されたもの）に応じた補正値「ｔ０−ｔｐ」をＲＯＭ６から読み出す（ステップＳ２０８）。次に、ＣＰＵ５は、解析部３４の機能として、出力がｔｈ１＞ピーク値＞ｔｈ２となったときのピークタイミング（波形Ｗ２のピークタイミング）よりも、読み出した補正値「ｔ０−ｔｐ」だけ後のタイミングで立ち上がるテンポパルスを発生させる（ステップＳ２０９）。その後、処理はステップＳ２０３に進む。ステップＳ２０２、Ｓ２０９で発生したパルスを時系列に合成したものが、図３（ｃ）に示すものである。

続いて、ＣＰＵ５は、解析部３４の機能として、レジスタＴｍ（ｍは例えば０〜９）の最も古い値を消去すると共に、現在のカウンタＣＮＴの値をレジスタＴｍの最新値として記憶する（ステップＳ２０３）。従って、レジスタＴｍの値は先入れ先出しにより更新され、レジスタＴｍには常に最新の１０個の値が保持される。次に、ＣＰＵ５は、解析部３４の機能として、カウンタＣＮＴをリセットする（ステップＳ２０４）。従って、前回のパルス発生から今回のパルス発生までの時間（すなわち、パルス時間間隔）がレジスタＴｍに記録されていく。ＣＰＵ５は、解析部３４の機能として、レジスタＴｍの値から、ビート間隔Ｄを推定すると共に、ビート間隔Ｄから演奏テンポＴＰを推定する（ステップＳ２０５）。すなわち、上述したように、ＣＰＵ５は、解析部３４の機能として、複数のレジスタＴｍのうち最小値と最大値を除いた後の値の平均値をビート間隔Ｄとして算出する。さらに解析部３４の機能は、演奏テンポＴＰをビート間隔から算出する。

次に、ステップＳ２０６で、ＣＰＵ５は、効果設定部３５の機能として、ビート間隔Ｄからディレイ設定値ＤＴを算出する。ここで、ビート間隔Ｄとディレイ設定値ＤＴとの関係を規定するテーブルまたは演算式が予めＲＯＭ６等に格納されており、これらを参照してディレイ設定値ＤＴが決定される。その後、図６の処理は終了する。

図７は、図５のステップＳ１０４で実行される効果制御処理のフローチャートである。この処理は、パッドごと、従って、発音チャンネルごとに実行される。まず、ＣＰＵ５は、上述のステップＳ１０２において処理対象となるパッド２６、キックユニット２８またはハイハットユニット２９に打撃等の操作があったか否かを判別する（ステップＳ３０１）。ここでいう操作には、ハイハットペダル部２９ａによるフットクローズ演奏操作も含まれる。次に、検出対象となるパッド２１、キックユニット２８またはハイハットユニット２９に操作があったときに、ＣＰＵ５は、今回の発音制御処理対象となる発音ｃｈ（発音チャンネル）に、チャンネルカウンタｃｈ（ｎ）の値を割り当てる（ステップＳ３０２）。ここで、ｎはチャンネル番号を示す。なお、使用するチャンネル数をｍａｘ（例えば１６個）とする。

次に、ＣＰＵ５は、処理対象のパッド２１、キックユニット２８、ハイハットユニット２９の発音がディレイ効果を付加する設定となっている（ディレイＯＮ）か否かを判別する（ステップ３０３）。その判別の結果、ディレイ効果を付加する設定となっていない場合は、ＣＰＵ５は、処理をステップＳ３０６に進める。一方、ディレイ効果を付加する設定となっている場合は、ＣＰＵ５は、効果設定部３５の機能として、上述したようにディレイ時間ＤＴＴｎをＤＴＴｎ＝ＤＴ×Ｋ（ｎ）により設定する（ステップＳ３０４）。次に、ＣＰＵ５は、ディレイ音フラグをセットし（ステップＳ３０５）、発音フラグをセットして（ステップＳ３０６）、図７の処理を終了させる。発音フラグのセット、ディレイ音フラグのセットはそれぞれ、発音すること、ディレイ効果を付加することを意味する。

図８は、割り込み処理のフローチャートである。この処理は、ＣＰＵ５が、記憶装置１０またはＲＯＭ６に記憶されたプログラムをＲＡＭ７に読み出して実行することにより実現される。この処理は、電源がオンにされた後、一定時間間隔（例えば、１ｍｓごと）で実行される。

まず、ＣＰＵ５は、チャンネルカウンタｃｈ（ｎ）に１を設定し（ステップＳ４０１）、発音フラグがセットされているか否かを判別する（ステップＳ４０２）。その判別の結果、ＣＰＵ５は、発音フラグがセットされていない場合は、発音を実施する必要がないので、処理をステップＳ４０５に進める。一方、発音フラグがセットされている場合は、ＣＰＵ５は、音源回路１３における今回の処理対象となる発音ｃｈに対し発音トリガを発生させることで発音処理を実行し（ステップＳ４０３）、発音フラグをリセットして（ステップＳ４０４）、処理をステップＳ４０５に進める。

ステップＳ４０５では、ＣＰＵ５は、ディレイ効果を付加する設定となっている（ディレイＯＮ）か否かを判別し、ディレイ効果を付加する設定となっていない場合は、ディレイ効果を付加する必要がないので、処理をステップＳ４１３に進める。一方、ディレイ効果を付加する設定となっている場合は、ＣＰＵ５は、ディレイ音フラグがセットされているか否かを判別する（ステップＳ４０６）。その判別の結果、ディレイ音フラグがセットされていない場合は、ディレイ効果を付加する必要がないので、ＣＰＵ５は、処理をステップＳ４１３に進める。一方、ディレイ音フラグがセットされている場合は、ディレイ時間ＤＴＴｎから１を減算してディレイ時間ＤＴＴｎを更新する（ステップＳ４０７）。

次に、ステップＳ４０８で、ＣＰＵ５は、ディレイ時間ＤＴＴｎが０になったか（ＤＴＴｎ＝０）否かを判別する。その判別の結果、ディレイ時間ＤＴＴｎが０になっていない場合は、ＣＰＵ５は、ディレイを付加するタイミングにまだ達していないので、処理をステップＳ４１１に進める。一方、ディレイ時間ＤＴＴｎが０になった場合は、ＣＰＵ５は、ディレイ音を発音し（ステップＳ４０９）、繰り返しカウンタＤＣＮＴに１を加算して繰り返しカウンタＤＣＮＴを更新する（ステップＳ４１０）。次に、ＣＰＵ５は、ステップＳ４１１では、繰り返しカウンタＤＣＮＴがディレイ繰り返し回数（例えば、３回とする）に達したか（ＤＣＮＴ＝３）否かを判別し、ＤＣＮＴ＝３が成立しない場合は、処理をステップＳ４１３に進める。一方、ＤＣＮＴ＝３が成立した場合は、ＣＰＵ５は、繰り返しカウンタＤＣＮＴをリセットすると共に、ディレイ音フラグをリセットして（ステップＳ４１２）、処理をステップＳ４１３に進める。従って、打撃に応じた発音の後、ディレイ時間ＤＴＴが経過すると、ディレイ繰り返し回数だけディレイ音が続けて発生する。なお、ディレイ音の発音回数は１回以上であればよい。

続いて、ＣＰＵ５は、チャンネルカウンタｃｈ（ｎ）に１を加算してチャンネルカウンタｃｈ（ｎ）を更新し（ステップＳ４１３）、チャンネルカウンタｃｈ（ｎ）がチャンネル数ｍａｘに達したか（ｃｈ（ｎ）＝ｍａｘ）否かを判別する（ステップＳ４１４）。ＣＰＵ５は、その判別の結果、ｃｈ（ｎ）＝ｍａｘが成立しない場合は、処理をステップＳ４０２に戻す一方、ｃｈ（ｎ）＝ｍａｘが成立する場合は、カウンタＣＮＴに１を加算してカウンタＣＮＴを更新し（ステップＳ４１５）、図８の処理を終了させる。

本実施の形態によれば、演奏者の動作を検出して取得される検出情報のうち、少なくとも発音トリガを生じない操作から情報取得部３０（そこに含まれるＧモーション検出部３１）によって取得される情報（波形Ｗ２のピークタイミング）に基づいて発音制御がなされる。よって、非演奏制御操作期間であっても演奏者の動作で発音態様を制御することができる。特に、発音態様の制御は、ディレイ付加等の音響効果を付加する制御であるので、演奏以外の演奏者の動作を効果に反映させることができる。また、演奏操作子であるハイハットペダル部２９ａの動作から検出情報が取得されるので、演奏操作子に対する演奏のためでない動作を発音制御に反映させることができる。特に、Ｇモーションは、抑揚、臨場感、曲のテンポや「のり」が影響した動作であるので、Ｇモーションを発音制御に利用することで、一層豊かな音響を得られる。

また、ハイハットペダル部２９ａの操作により発生する音に対しても、ハイハットペダル部２９ａに対するＧモーションに基づく効果付与がなされるので、演奏操作子への演奏動作による発音を演奏操作子への演奏以外の演奏者の動作により制御することができる。また、発音トリガに用いない情報に基づいてビート間隔Ｄを推定し、推定したビート間隔Ｄに基づき発音が制御されるので、演奏以外の動作であってビートを刻む動作を発音制御に反映させることができる。さらには、推定したビート間隔Ｄに基づき演奏テンポＴＰが算出されるので、演奏以外の演奏者の動作から演奏テンポＴＰを推定することができる。従って、非演奏制御操作期間であっても演奏者の動作から演奏テンポＴＰを推定し、発音制御に反映させることができる。

なお、本実施の形態では、Ｇモーションは演奏操作子であるハイハットペダル部２９ａの動作から検出された。しかしこれに限るものではなく、演奏者の動作検出情報のうち発音トリガを生じない情報をＧモーションとして検出すればよい。従って、Ｇモーションの検出に用いる操作子と、制御対象となる音のトリガを発生させるための演奏操作子とは別であってもよい。例えば、図９に例示するように、演奏者にとって操作可能に、Ｇモーション検出専用の操作子または機器を設けてもよい。

図９は、変形例に係る、発音制御を実現するための機能機構のブロック図である。図４の構成に対し、ハイハットペダル部２９ａで検出するＧモーション構造に代えて専用検出器４１を設けてその操作からＧモーションを検出する。ハイハットペダル部２９ａは演奏操作子１に含まれる。情報取得部３０は演奏検出部３２を備えない。専用検出器４１は、例えば、オンオフ型のフットコントローラであり、オンとオフの２値検出を行える。専用検出器４１は、演奏者が非演奏制御操作期間に足で操作できるような場所に設置する。なお、専用検出器４１は、演奏発音に関係しないダミーパッドのように、スティックで打撃操作されるものであってもよい。情報取得部３０は専用検出器４１のオンのタイミングでパルスを発生させる。パルス発生後の解析部３４、効果設定部３５及び発音処理部３６による処理は上述したのと同じである。

なお、Ｇモーションを検出する機器は、例えば、演奏者の身体におけるＧモーションが反映されるような位置に取り付けてもよい。また、Ｇモーションを操作子に対する操作から検出することは必須でない。例えば、カメラで演奏者の特定の部位の動作を撮影し、映像を解析して、リズムを始めとして動作の量や方向も加味してＧモーションを検出してもよい。

なお、本発明はハイハットペダル部２９ａに対する動作からエフェクトを設定したが、キックペダル２４に対する動作からＧモーションを検出してエフェクトを設定してもよい。また、スネアドラム等のように、直接に打撃されるパッド２１において、振動の大きさから、動作を打撃とＧモーションとに区別し、信号レベルが一定以下で発音トリガに至らないような小さい打撃に対してはＧモーションとしてみなして処理してもよい。

なお、本発明は、打楽器以外の楽器にも適用可能である。例えば、鍵盤楽器においては、ペダルの動作からＧモーションを検出し、ビート間隔Ｄ、ディレイ時間ＤＴＴｎ、演奏テンポＴＰ等の制御パラメータを決定してもよい。また、楽器に限らず、音楽ゲーム等での発音制御に本発明を適用してもよい。また、楽音制御の態様としては、ディレイの付加に限らず、音量、音色の制御であってもよい。従って、フランジャやフェイザーのうねり時間、ワウにけるＬＦＯの設定、トレモロやロータリースピーカにおける周期変化時間、ディストーションの歪み量、フィルタのカットオフ周波数等の制御パラメータを決定することにも応用が可能である。なお、図３（ｂ）における波形Ｗ２のピーク値Ｈに基づいて、エフェクト量（効果の程度）をさらに制御するようにしてもよい。

また、非演奏制御操作期間における演奏者のＧモーションの動作の検出結果から制御パラメータを推定したり決定したりして、発音制御に反映させるようにしたが、少なくとも非演奏制御操作期間における演奏者のＧモーションの動作の検出結果から推定あるいは決定すればよい。従って、演奏操作や制御操作等を行う演奏制御操作期間の演奏者の動作から制御パラメータを推定あるいは決定することを併用してもよいし、非演奏制御操作期間における演奏者のＧモーションの動作と演奏制御操作期間の演奏者の動作の双方の検出結果から制御パラメータを推定あるいは決定して、発音制御に反映させるようにしてもよい。

なお、発音トリガを生じる操作または発音トリガを生じない操作を検出する検出機構の具体的な構成として図１０（ａ）〜（ｃ）に示す変形例が考えられる。検出機構は、ペダルセンサ２９ｄ（図４）または専用検出器４１（図９）に対応する。図１０（ａ）に示す例では、身体部位の変位を検出するためのセンサとして、例えば加速度センサ４２を演奏者の身体に装着する。Ｇモーションを検出する場合、加速度センサ４２は例えば左足首に装着される。加速度センサ４２の検出信号は情報取得部３０に入力される。Ｇモーション検出用の加速度センサ４２の検出信号は、効果設定部３５による効果設定に用いられる。例えば、ＣＰＵ５は、左足首が所定量以上変位または往復変位した場合にＧモーションがなされたと判断し、発音態様を変化させる。なお、加速度センサ４２の装着の数は複数でもよく、Ｇモーション検出用の加速度センサ４２とは別に、発音トリガを生成するのに用いる加速度センサを、演奏者の身体（例えば、左手、右手または右足首等）に装着してもよい。発音トリガ生成用の加速度センサの検出信号は、発音処理部３６によるリアルタイム再生に用いられる。

また、図１０（ｂ）に示す例では、演奏者の身体に反射材等のマーカ４３を装着し、マーカ４３をカメラ４４で撮影する。変位検出部４５は、カメラ４４で撮影された映像を解析してマーカ４３の変位を検出する。変位検出部４５の出力は情報取得部３０に入力される。マーカ４３は例えば両足首に装着される。ＣＰＵ５は、検出開始時にキャリブレーションを実施し、各マーカ４３の初期位置を特定した後、両マーカ４３を追従し、両マーカ４３の変位に応じて発音態様を変化させる。撮影には赤外光を用いてもよい。なお、右足首のマーカ４３の変位に応じて発音させ、その発音態様を左足首のマーカ４３の変位に応じて変化させてもよい。また、マーカ４３の装着数は問わず、変位検出結果の利用の態様についても図１０（ａ）の例と同様に考えることができる。

また、図１０（ｃ）に示す例では、カメラ４６で演奏者の全身を撮影し、認識部４７が映像を解析して主として四肢の変位を取得する。四肢等の身体部位の変位検出には、骨格追跡による人体パーツ識別技術（公知）等を利用できる。この技術を用いればマーカを用いる必要がない。例えば、インターネット＜ＵＲＬ：http://news.mynavi.jp/series/computer_vision/069/＞に開示される、身体部位認識手段(Random Decision Forestsアルゴリズム)を用いることができる。図１０（ｃ）の例では、検出対象となる身体部位によって、発音トリガ生成用と効果設定用とで用途を分けてもよい。例えば、一部（左手、右手、右足首等）の検出結果は発音トリガの生成に用い、他の一部（左足首等）の検出結果はＧモーションの検出に用いてもよい。検出対象とする身体部位の数は問わず、変位検出結果の利用の態様についても図１０（ａ）の例と同様に考えることができる。

なお、本発明を達成するためのソフトウェアによって表される制御プログラムを記憶した記憶媒体を、本装置またはコンピュータに読み出すことによって同様の効果を奏するようにしてもよく、その場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、プログラムコードを伝送媒体等を介して供給してもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

５ＣＰＵ（制御手段）、２５ペダルセンサ、３０情報取得部（情報取得手段）、３１Ｇモーション検出部、３２、３３演奏検出部、３４解析部（制御手段、推定手段）、３５効果設定部（制御手段）、３６発音処理部（発音手段）、ｔｈ１第１の閾値、ｔｈ２第２の閾値、Ｄビート間隔、ＴＰ演奏テンポ

Claims

演奏者の動作を検出して検出情報を取得する情報取得手段と、
前記演奏者の動作のうち発音トリガを生じる操作であると判断された動作から前記情報取得手段によって取得された検出情報に基づき発音する発音手段と、
前記情報取得手段によって取得された検出情報に基づいて、前記演奏者の動作が発音トリガを生じる操作であるか否かを判断すると共に、前記演奏者の動作のうち発音トリガを生じない操作であると判断された動作から前記情報取得手段によって取得された検出情報に基づいて、前記発音手段の発音の態様を制御する制御手段と、を有することを特徴とする発音制御装置。
前記情報取得手段は、演奏操作子の変位から前記検出情報を取得することを特徴とする請求項１に記載の発音制御装置。
前記情報取得手段は、第１の閾値と前記第１の閾値より小さい第２の閾値とを用いて、前記演奏操作子の動作ストロークから前記検出情報を取得し、
前記制御手段は、前記第１の閾値に基づいて前記情報取得手段により取得された第１の検出情報を前記発音トリガの発生に用いると共に、前記第２の閾値に基づいて前記情報取得手段により取得された第２の検出情報を前記発音手段の発音の態様の制御に用いることを特徴とする請求項２に記載の発音制御装置。
前記情報取得手段は、前記演奏者の身体の変位から前記検出情報を取得することを特徴とする請求項１に記載の発音制御装置。
前記制御手段は、前記演奏者の動作のうち発音トリガを生じない操作であると判断された動作から前記情報取得手段によって取得された検出情報に基づいてビート間隔を推定し、推定したビート間隔に基づき前記発音手段の発音の態様を制御することを特徴とする請求項１〜４のいずれか１項に記載の発音制御装置。
前記制御手段による発音の制御は、音響効果を付加する制御であることを特徴とする請求項１〜５のいずれか１項に記載の発音制御装置。
前記制御手段は、前記演奏者の動作のうち発音トリガを生じない操作であると判断された動作から前記情報取得手段によって取得された検出情報に基づいて、前記演奏者による演奏のテンポを推定することを特徴とする請求項１〜６のいずれか１項に記載の発音制御装置。
演奏者の動作を検出して検出情報を取得する情報取得ステップと、
前記演奏者の動作のうち発音トリガを生じる操作であると判断された動作から前記情報取得ステップによって取得された検出情報に基づき発音する発音ステップと、
前記情報取得ステップによって取得された検出情報に基づいて、前記演奏者の動作が発音トリガを生じる操作であるか否かを判断すると共に、前記演奏者の動作のうち発音トリガを生じない操作であると判断された動作から前記情報取得ステップによって取得された検出情報に基づいて、前記発音ステップにおける発音の態様を制御する制御ステップと、を有することを特徴とする発音制御方法。
請求項８に記載の発音制御方法をコンピュータに実行させることを特徴とするプログラム。