JP6295597B2 - 複数人による協調演奏を実現する装置およびシステム - Google Patents

Description

この発明は、複数人が協調して楽器や歌唱合成装置等の音源に音信号を生成させて演奏を行うための技術に関する。

複数の演奏者が同時に演奏するアンサンブル演奏がある。このアンサンブル演奏の各演奏者は、各自が担当する楽器で各自が担当する旋律を演奏することにより、当該アンサンブル演奏の他の演奏者と協調してひとつの響きを作り出している。そのため、アンサンブル演奏の各演奏者は、当該アンサンブル演奏の他の演奏者との間に一体感を得ることが可能である。また、アンサンブル演奏は、その編成によって多様な音楽表現を具現化することが可能である。

特表２０１０−５１８４５９号公報

このようにアンサンブル演奏は、複数の演奏者による多様な音楽表現を具現化することができるとともに、複数の演奏者に一体感を与えることができる優れた演奏形態である。しかし、この演奏形態では、複数の演奏者の各々が楽器を持っていなければならない。また、多様な音楽表現を具現化し、各演奏者が一体感を得るためには、各演奏者が優れたスキルを持っていなければならない。従って、アンサンブル演奏は、多様な音楽表現を具現化することができ、一体感を得ることができるため面白く楽しいかもしれないが、スキルの不十分な演奏者にとっては難しい。

この発明は以上のような事情に鑑みてなされたものであり、多様な音楽表現を容易に具現化することができ、複数人に一体感を与えることができる新規な演奏形態を実現するための技術的手段を提供することを目的としている。

この発明は、複数の端末装置に対する操作に応じて各端末装置が各々出力する演奏パラメータに基づいて、音信号を生成する音源を制御するための制御パラメータを生成する制御パラメータ生成手段を具備することを特徴とする協調演奏制御装置を提供する。

この発明によれば、複数の端末装置は、各端末装置のユーザの操作に応じて各々演奏パラメータを生成する。協調演奏制御装置は、各端末装置が生成した演奏パラメータに基づいて、音信号を生成する音源を制御するための制御パラメータを生成する。そして、生成した制御パラメータに基づいて音源が制御されることにより、音信号が生成される。各ユーザが各々の端末装置を操作することで音源に音信号を生成させるため、各ユーザは、協調して演奏することとなる。各ユーザが協調して演奏するため、各ユーザは、一体感を得ることが可能である。また、音信号の生成に複数のユーザが関わるため、音源が生成する音信号は多様なものとなる。すなわち、各ユーザは、多様な音楽表現を行うことがきる。従って、協調演奏制御装置を用いることで、多様な音楽表現を容易に具現化することができ、複数人に一体感をあたえることができる新規な演奏形態を実現することができる。また、協調演奏制御装置は、複数人による各端末装置の操作により音信号を生成させるための制御パラメータを生成するため、各人の演奏における操作負担を減らすことができる。

なお、複数人が協調して１つの曲を作曲するための技術的手段が特許文献１に開示されている。しかし、この特許文献１は、複数の演奏者に協調演奏を行わせ、多様な音楽表現を容易に具現化することができ、一体感を与えるための技術的手段を開示していない。

この発明の一実施形態による協調演奏制御装置１０を含む協調演奏システム１の構成を示すブロック図である。 同協調演奏システム１における音源２０の構成を示すブロック図である。 同協調演奏システム１における端末装置３０の構成を示すブロック図である。 同協調演奏システム１における協調演奏制御装置１０の構成を示すブロック図である。 同協調演奏制御装置１０の制御部１１０が演奏に先立って行う処理の内容を示すフローチャートである。 同協調演奏制御装置１０の制御部１１０が演奏時において行う処理の内容を示すフローチャートである。

以下、図面を参照し、この発明の実施形態について説明する。
＜実施形態＞
図１は、この発明の一実施形態による協調演奏制御装置１０を含む協調演奏システム１の構成を示すブロック図である。協調演奏システム１は、協調演奏制御装置１０と音源２０と端末装置３０とから構成される。協調演奏制御装置１０は、例えば、パーソナルコンピュータである。協調演奏制御装置１０は、協調演奏システム１を動作させる主装置である。協調演奏制御装置１０には、音源２０が接続されている。また、協調演奏制御装置１０には、複数の端末装置３０（図１では３個）が無線チャネルを介して接続されるようになっている。なお、各端末装置３０を区別して説明する場合、端末装置３０−ｎ（ｎ＝１、２、３〜）と表記する。また、端末装置３０の各構成要素の表記についても同様とする。

図２は、音源２０の構成を示すブロック図である。音源２０は、例えば、歌唱合成ソフトウェア２４０ａを搭載した音源ボックスである。音源２０は、制御部２１０、サーバ・音源インターフェース（以下、Ｉ／Ｆという）２２０、記憶部２４０、発音部２５０およびこれら構成要素間のデータ授受を媒介するバス２６０を有している。記憶部２４０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性記憶部と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：電気的に書き換え可能な読み出し専用メモリ）などの不揮発性記憶部を有している。記憶部２４０（より正確には記憶部２４０の不揮発性記憶部）には、歌唱合成ソフトウェア２４０ａが格納されている。サーバ・音源Ｉ／Ｆ２２０は、例えばＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）インターフェースであり、協調演奏制御装置１０と制御部２１０との間のデータの授受を行う装置である。音源２０には、サーバ・音源Ｉ／Ｆ２２０を介して音源２０を制御するための各種の制御パラメータが協調演奏制御装置１０から入力される。制御パラメータは、例えば、音程や歌詞情報などのスコア情報や、開口パラメータ（口の開きに対応するパラメータ）やビブラートなどの合成歌唱音の音楽的表情に関係する情報などである。例に挙げた開口パラメータは、合成歌唱音の声質を制御するための制御パラメータのひとつであり、ビブラートは、合成歌唱音の音程を時間軸上において細かく変化させるための制御パラメータである。制御部２１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）である。制御部２１０は、歌唱合成ソフトウェア２４０ａを実行し、入力された制御パラメータを用いて音信号である合成歌唱音を生成する。発音部２５０は、例えば、スピーカである。発音部２６０は、歌唱合成ソフトウェア２４０ａにより生成された合成歌唱音を放音する。すなわち、音源２０では、各種の制御パラメータの内容が反映された合成歌唱音が放音される。また、歌唱合成ソフトウェア２４０ａによって生成される合成歌唱音は、基本的に単一の旋律である。従って、協調演奏システム１では、音源２０を単一の旋律を放音する楽器として機能させている。

図３は、端末装置３０の構成を示すブロック図である。端末装置３０は、例えば、スマートフォンやタブレットである。端末装置３０は、基本的に、当該協調演奏システム１を利用するユーザの数だけ協調演奏制御装置１０に接続される。端末装置３０は、演奏に関する操作をユーザが行うための操作子としての役割を担う。また、協調演奏制御装置１０は、クライアントサーバシステムにおけるサーバとして機能し、端末装置３０は、クライアントサーバシステムにおけるクライアントとして機能する。

端末装置３０は、制御部３１０、クライアント・サーバＩ／Ｆ３３０、記憶部３４０、ユーザＩ／Ｆ３５０、およびこれら構成要素間のデータ授受を媒介するバス３６０を有している。ユーザＩ／Ｆ３５０は、例えば、マルチタッチ機能を備えたタッチパネルである。ユーザは、タッチパネルをタッチ等することにより演奏に関する操作を行う。端末装置３０の記憶部３４０は、ＲＡＭなどの揮発性記憶部と、ＥＥＰＲＯＭなどの不揮発性記憶部を有している。記憶部３４０（より正確には記憶部３４０の不揮発性記憶部）には、演奏パラメータを生成する処理を含むクライアントプログラム３４０ａが格納されている。演奏パラメータは、ユーザＩ／Ｆ３５０に対してユーザが行ったタッチなどの動作の内容を示す情報（例えば、タッチのタイミングやタッチの位置などを示す情報）である。演奏パラメータは、通常の楽器操作よりも簡単な操作により生成されるようにすると良い。また、記憶部３４０には、例えば、ＭＩＤＩ演奏シーケンスなどの曲データや演奏に関する情報が格納されていても良い。制御部３１０は、例えば、ＣＰＵである。制御部３１０は、クライアントプログラム３４０ａを実行する。これにより、制御部３１０は、ユーザＩ／Ｆ３５０が検出したユーザのタッチなどの動作に基づいて、逐次演奏パラメータを生成する。クライアント・サーバＩ／Ｆ３３０は、例えば無線ＬＡＮ装置であり、協調演奏制御装置１０と制御部３１０との間のデータの授受を無線通信により行う装置である。生成された演奏パラメータは、クライアント・サーバＩ／Ｆ３３０を介して協調演奏制御装置１０に送られる。

図４は、協調演奏制御装置１０の構成を示すブロック図である。協調演奏制御装置１０は、制御部１１０、サーバ・音源Ｉ／Ｆ１２０、クライアント・サーバＩ／Ｆ１３０、記憶部１４０、ユーザＩ／Ｆ１５０およびこれら構成要素間のデータ授受を媒介するバス１６０を有している。クライアント・サーバＩ／Ｆ１３０は、例えば無線ＬＡＮ装置であり、端末装置３０と制御部１１０との間のデータの授受を無線通信により行う装置である。協調演奏制御装置１０は、クライアント・サーバＩ／Ｆ１３０を介して各端末装置３０が各々出力する演奏パラメータを受け取る。サーバ・音源Ｉ／Ｆ１２０は、例えばＭＩＤＩインターフェースであり、音源２０と制御部１１０との間のデータの授受を行う装置である。協調演奏制御装置１０は、サーバ・音源Ｉ／Ｆ１２０を介して制御パラメータを音源２０に送る。ユーザＩ／Ｆ１５０は、例えばマウスやディスプレイである。制御部１１０は、例えばＣＰＵである。制御部１１０は、記憶部１４０（より正確には不揮発性記憶部１４４）に格納されているプログラムを実行することにより協調演奏制御装置１０の各部を制御する制御中枢である。記憶部１４０は、揮発性記憶部１４２と不揮発性記憶部１４４とを有している。揮発性記憶部１４２は、例えばＲＡＭである。揮発性記憶部１４２は、制御部１１０によりワークエリアとして利用される。不揮発性記憶部１４４は、例えば、ハードディスクドライブなどである。不揮発性記憶部１４４には、本実施形態に特有なものとして、システム制御プログラム１４４ａおよび制御パラメータマッピング情報１４４ｂが格納されている。

システム制御プログラム１４４ａは、協調演奏制御装置１０を協調演奏システム１の主装置として動作させるための主プログラムである。システム制御プログラム１４４ａは、割り当て処理１４４ａ１、演奏パラメータ取得処理１４４ａ２、制御パラメータ生成処理１４４ａ３を含んでいる。そして、制御部１１０は、システム制御プログラム１４４ａを実行することにより、割り当て手段、演奏パラメータ取得手段、制御パラメータ生成手段として機能する。

割り当て処理１４４ａ１は、演奏に先立ち実行される処理である。割り当て処理１４４ａ１は、各種の制御パラメータのうちいずれの制御パラメータについての演奏パラメータをいずれの端末装置３０が提供するかを決定する処理である。そして、割り当て処理１４４ａ１では、その決定した内容を各端末装置３０に通知する。従って、割り当て処理１４４ａ１により、各端末装置３０における演奏操作の対象となる制御パラメータの種類が決定される。なお、各種の制御パラメータのうち１の制御パラメータについての演奏パラメータを１の端末装置３０に提供させるようにしても良いし、各種の制御パラメータのうち複数種の制御パラメータについての演奏パラメータを１の端末装置３０に提供させるようにしても良い。また、各種の制御パラメータのうち１の制御パラメータについての演奏パラメータを複数の端末装置３０に提供させるようにしても良い。また、各種の制御パラメータのうち予め定められている種類の制御パラメータについての演奏パラメータを予め定められている端末装置３０に提供させるようにしても良いし、各種の制御パラメータのうち端末装置３０からの要求によって指定された種類の制御パラメータについての演奏パラメータを当該要求のあった端末装置３０に提供させるようにしても良い。

制御パラメータマッピング情報１４４ｂは、音源２０を制御するための制御パラメータの種類と協調演奏制御装置１０に接続されている端末装置３０とを関連付けたテーブルである。すなわち、制御パラメータマッピング情報１４４ｂは、割り当て処理１４４ａ１において決定した内容を管理するものである。

演奏パラメータ取得処理１４４ａ２および制御パラメータ生成処理１４４ａ３は、演奏中においてリアルタイムに実行される処理である。演奏パラメータ取得処理１４４ａ２は、各端末装置３０において生成された演奏パラメータを各端末装置３０から逐次取得する処理である。

制御パラメータ生成処理１４４ａ３は、演奏パラメータ取得処理１４４ａ２により取得した各演奏パラメータに基づいて音源２０を制御する新たな内容の制御パラメータを生成する処理である。この制御パラメータ生成処理１４４ａ３は、例えば、複数の端末装置３０から取得した複数の演奏パラメータに対して、マトリクスを乗算することにより制御パラメータを生成するものである。より詳細に説明すると、制御パラメータ生成処理１４４ａ３は、下記式（１）に示す線形マトリクス演算により行う。

ここで、行ベクトルｘｉ（ｉ＝０、１、・・・ｋ）は、協調演奏制御装置１０に接続されているｉ個目の端末装置３０から取得した演奏パラメータである。また、列ベクトル（ｘ_０、ｘ_１、・・・ｘ_ｉ）^Ｔは、協調演奏制御装置１０に接続されている全ての端末装置３０（ｋ個の端末装置３０）から取得した全ての演奏パラメータを示すものである。また、列ベクトル（ｘ_０、ｘ_１、・・・ｘ_ｉ）^Ｔは、ｍ次元列ベクトルであり、接続されている全ての端末装置３０の演奏パラメータの合計の次元がｍである。また、ｙは、音源２０のｎ個の制御パラメータを表わすｎ次元列ベクトルである。また、Ａは、ｎ×ｍ次のマトリクスである。マトリクスＡは、例えば、制御パラメータマッピング情報１４４ｂを参照して生成される。マトリクスＡは、端末装置３０から取得する演奏パラメータを音源２０の制御パラメータに対応付けるためのものである。従って、上記式（１）の線形マトリクス演算により各演奏パラメータが反映された各種の制御パラメータが生成される。

なお、制御パラメータ生成処理１４４ａ３は、演奏パラメータに対してマトリクスを乗算することにより制御パラメータを生成するものに限られず、例えば、演奏パラメータに対して他のマトリクス演算を行うことにより制御パラメータを生成するものであっても良い。より具体的には、演奏パラメータのオフセット処理のように演奏パラメータに対してマトリクスを加減算することにより制御パラメータを生成するものであっても良いし、演奏パラメータの対数変換を行うことにより制御パラメータを生成するものであっても良いし、演奏パラメータを所定の閾値に制限する閾値処理などの非線形演算を行うことにより制御パラメータを生成するものであっても良い。

各演奏パラメータが反映された各種の制御パラメータは、音源２０に引き渡され、音源２０は、受け取った各種の制御パラメータに基づいて合成歌唱音を生成する。このため、各ユーザが行った各々の演奏操作は、合成歌唱音に各々反映される。各ユーザの各々の演奏操作が合成歌唱音に各々反映されるため、各ユーザが行う演奏操作の内容が簡単なものであったとしても、合成歌唱音は多様な内容となり得る。

システム制御プログラム１４４ａは、マトリクスＡの生成および編集を行う手段も提供する。例えば、協調演奏制御装置１０に学習機能を付与し、システム制御プログラム１４４ａの実行による制御の下、最適なマトリクスＡを自動生成するようにしても良い。マトリクスＡを自動生成する例として、まず、制御部１１０は、何れの種類の制御パラメータについての演奏パラメータを何れの端末装置３０に提供させる確率が高いかを計算する。次に、制御パラメータの種類と端末装置３０との組み合わせにおいて最も確率が高かった組み合わせを取得する。そして、端末装置３０から取得する演奏パラメータが当該端末装置３０との組み合わせにおいて最も確率が高かった制御パラメータにマッピングされるようにマトリクスＡを自動生成する。また、マトリクスＡを自動生成する他の例として、制御部１１０は、何れの端末装置３０が何れの種類の制御パラメータについての演奏パラメータを提供するように設定されるかのパターンを解析する。次に、解析したパターンから次回に設定されるべき制御パラメータの種類と端末装置３０との組み合わせを推定する。そして、端末装置３０から取得する演奏パラメータが、当該端末装置３０との組み合わせにおいて設定されるべき制御パラメータにマッピングされるようにマトリクスＡを自動生成する。

また、マトリクスＡを編集する手段をユーザＩ／Ｆ１５０を介して提供しても良い。また、システム制御プログラム１４４ａの実行による制御の下、マトリクスＡを編集する手段を端末装置３０に提供しても良い。すなわち、ユーザが手動でマトリクスＡを編集することができるようにしても良い。このようにすると、ユーザはマトリクスＡを詳細に編集することができる。

また、マトリクスＡは、各演奏パラメータを均等の割合で各制御パラメータにマッピングするものであっても良いし、各演奏パラメータに重みをつけて各制御パラメータにマッピングするものであっても良い。演奏パラメータに重みをつけるようにした場合、特定のユーザの演奏操作の影響が大きい音信号を音源２０から出力することができる。従って、各ユーザに多様な演奏をさせることができ、より興趣性の高い演奏を各ユーザに体験させることができる。

また、マトリクスＡの作り方や内容を工夫することにより、各ユーザの演奏操作における負担（責任）を重くしたり軽くしたりすることができる。例えば、各ユーザが操作すべき操作量や操作項目を加減するなどである。

また、各種の制御パラメータのうち１の制御パラメータについての演奏パラメータを複数の端末装置３０に提供させるようにした場合、当該複数の端末装置３０が生成する演奏パラメータの内容が競合することがある。このような場合、マトリクスＡを制御することにより、演奏パラメータの内容が競合したとしても演奏を成立させることができる。例えば、演奏パラメータの内容が競合する恐れのある各端末装置３０から取得する各演奏パラメータに重み付けするような内容を含むマトリクスＡを用いる、あるいは、同各演奏パラメータに優先順位が付加されるような内容を含むマトリクスＡを用いる、というような具合である。このようにして、演奏パラメータの内容が競合する恐れのある状態をつくることにより、より興趣性の高い演奏を各ユーザに体験させることができる。

また、演奏中において、マトリクスＡを一定にしても良いし、マトリクスＡを時間変化させても良い。マトリクスＡを時間変化させる例として、演奏中における所定の小節に達した時にマトリクスＡを自動的に変化させる、というような態様が挙げられる。また、他の例として、ユーザが演奏中にマトリクスＡを変化させる指示を端末装置３０または協調演奏制御装置１０に入力したときにマトリクスＡを変化させる、というような態様が挙げられる。

さらに、マトリクスＡを各演奏パラメータに重みをつけるようなマトリクスＡに演奏中に時間変化させる、というような態様が挙げられる。この態様では、例えば、マトリクスＡを変化させるユーザの指示を受け取る毎に各演奏パラメータに重みをつける順番を順次変える、というようにしても良い。この態様によれば、マトリクスＡを変化させるユーザは、指揮者のような役割を果たすことができる。このため、指揮者の指示の下に他のユーザが演奏を行うような関係を実現することができる。

また、先生と生徒とが各々の端末装置３０を操作する態様が考えられる。この場合、例えば、曲の始めの方では、先生が操作する端末操作３０の演奏パラメータの重みを重くするマトリクスＡを用い、曲が進むに従って、生徒が操作する端末装置３０の演奏パラメータの重みを重くするマトリクスＡに徐々に変化させる、というような態様が挙げられる。これらのように、マトリクスＡを時間変化させる態様は種々考えられる。そして、マトリクスＡを時間変化させることにより、各ユーザに多様な演奏をさせることができ、より興趣性の高い演奏を各ユーザに体験させることができる。

また、特定の端末装置３０に多くの種類の制御パラメータを関連付けてその端末装置３０を操作するユーザの演奏操作量を増やし、他の端末装置３０に少しの種類の制御パラメータを関連付けてその端末装置３０を操作するユーザの演奏操作量を減らし、さらに、特定の端末装置３０の演奏パラメータの重みを重くするマトリクスＡを用いる態様が挙げられる。この態様では、生成される音信号のほとんどは特定の端末装置３０の演奏操作に基づくことになる。すなわち、特定の端末装置３０を操作するユーザはステージ上の演奏者のような役割を果たし、他の端末装置３０を操作するユーザは観客のような役割を果たす。このように、端末装置３０と制御パラメータの種類の組み合わせを工夫し、マトリクスＡの内容を工夫することにより各ユーザに様々な役割を提供することができる。

また、マトリクスＡを編集する手段が与えられる端末装置３０の数は、１つに限られず、複数であっても良い。例えば、マトリクスＡを編集する手段が２つの端末装置３０に各々与えられた場合、一方の端末装置３０のユーザがマトリクスＡを編集することにより他方の端末装置３０における演奏パラメータの重みを変え、他方の端末装置３０のユーザがマトリクスＡを編集することにより一方の端末装置３０における演奏パラメータの重みを変える、という具合に、相互に演奏パラメータの重み付けを変えることができるようにしても良い。
以上が、協調演奏制御装置１０を含む協調演奏システム１の構成である。

次に、協調演奏制御装置１０を含む協調演奏システム１の動作について説明する。まず、協調演奏制御装置１０は、サーバ・音源Ｉ／Ｆ１２０を介して音源２０とのみ接続されている。この状態で、協調演奏制御装置１０の制御部１１０は、不揮発性記憶部１４４に格納されているシステム制御プログラム１４４ａを揮発性記憶部１４２の所定の領域に読み込んでシステム制御プログラム１４４ａを実行する。これにより、割り当て処理１４４ａ１、演奏パラメータ取得処理１４４ａ２、制御パラメータ生成処理１４４ａ３が行われる。

まず、制御部１１０が演奏に先立って行う処理の内容について説明する。図５は、このときの処理内容を示すフローチャートである。システム制御プログラム１４４ａの実行が開始されると（ＳＡ１１０）、まず、協調演奏制御装置１０の制御部１１０は、音源２０とサーバ・音源Ｉ／Ｆ１２０の初期化を行う（ＳＡ１２０）。次に、制御部１１０は、不揮発性記憶部１４４に格納されている制御パラメータマッピング情報１４４ｂを揮発性記憶部１４２の所定の領域に読み込む（ＳＡ１３０）。そして、協調演奏制御装置１０は、端末装置３０から接続要求があるのを待つ接続待機状態に入る（ＳＡ１４０）。

制御部１１０は、接続待機状態において、協調演奏制御装置１０にすでに接続済みの端末装置３０が有り、かつ、演奏開始の指示を受け取った時に（ＳＡ１５０：有）、接続待機状態を終了する（ＳＡ２１０）。一方、制御部１１０は、協調演奏制御装置１０に端末装置３０が１個も接続されていない場合、または、協調演奏制御装置１０にすでに接続済みの端末装置３０は有るが演奏開始の指示が無い場合、端末装置３０からの接続要求を検知するまで接続待機状態を維持する。

次に、協調演奏システム１が提供する協調演奏に参加する各ユーザ（演奏者）は、当該ユーザが操作する端末装置３０を協調演奏制御装置１０に各々接続していく。より詳細に説明すると、端末装置３０−１を操作するユーザは、協調演奏制御装置１０に端末装置３０−１を接続する指示を端末装置３０−１のユーザＩ／Ｆ３５０−１に入力する。端末装置３０−１の制御部３１０−１は、ユーザＩ／Ｆ３５０−１から接続指示を受け取ると、接続先として予めセットされている協調演奏制御装置１０からのビーコンの有無を確認する。協調演奏制御装置１０からのビーコンを受信した場合、端末装置３０−１の制御部３１０−１は、クライアント・サーバＩ／Ｆ３３０−１を介して、協調演奏制御装置１０に接続要求を送る。協調演奏制御装置１０の制御部１１０は、端末装置３０−１からの接続要求を検知すると（ＳＡ１６０）、その接続要求の送信元である端末装置３０−１を特定する。次に、制御部１１０は、音源２０を制御する各種の制御パラメータのうち何れの制御パラメータについての演奏パラメータをその特定した端末装置３０−１に提供させるかを決定する（ＳＡ１７０）。すなわち、ステップＳＡ１７０は、割り当て処理１４４ａ１である。例えば、端末装置３０−１に、「音程」と「歌詞情報」についての演奏パラメータを提供させるように決定する、という具合である。このとき、制御部１１０は、「音程」と「歌詞情報」についての演奏パラメータを端末装置３０−１が提供することとなった旨を端末装置３０−１に通知する。次に、制御部１１０は、「音程」と「歌詞情報」という制御パラメータの種別と端末装置３０−１のＭＡＣアドレスとを関連付けて、それらを制御パラメータマッピング情報１４４ｂに追加して制御パラメータマッピング情報１４４ｂを更新する（ＳＡ１８０）。そして、協調演奏制御装置１０は、端末装置３０−１との接続を完了する（ＳＡ１９０）。

次に、制御部１１０は、当該協調演奏制御装置１０に接続している端末装置３０の数が所定数に達したか否かを判定する（ＳＡ２００）。接続している端末装置３０の数が所定数に達した場合、制御部１１０は接続待機状態を終了する（ＳＡ２１０）。一方、接続している端末装置３０の数が所定数に達していない場合、制御部１１０は接続待機状態を維持し（ＳＡ１４０）、ＳＡ１４０からＳＡ２００のステップを繰り返す。このようにして、複数の端末装置３０が協調演奏制御装置１０に接続される。
以上が、制御部１１０が演奏に先立って行う処理の内容である。

次に、演奏時における各端末装置３０の動作を説明する。ここで、協調演奏制御装置１０には、３個の端末装置３０−１〜３０−３が接続されており、端末装置３０−１には、「音程」と「歌詞情報」についての演奏パラメータを提供させるように、端末装置３０−２には、「開口パラメータ」についての演奏パラメータを提供させるように、端末装置３０−３には、「ビブラート」についての演奏パラメータを提供させるように決定しているものとする。また、端末装置３０−１〜３０−３を操作する各々のユーザは、同一の部屋内に居るものとする。また、演奏する曲のデータは、予め作成済みであり、例えば、端末装置３０−１の記憶部３４０−１にＭＩＤＩ演奏シーケンスとして格納されているものとする。

端末装置３０−１を操作するユーザは、端末装置３０−１のユーザＩ／Ｆ３５０−１のタッチパネルをタッチ等することにより「音程」と「歌詞情報」に関する演奏操作を行う。例えば、タッチするタイミングにより歌詞の発音タイミングを操作するという具合である。より詳細に説明すると、端末装置３０−１の制御部３１０−１は、タッチの有無を検出し、タッチを検出する毎に端末装置３０−１の記憶部３４０−１が保持するＭＩＤＩ演奏シーケンスから音程と歌詞情報を１音ずつ取り出す。次に、制御部３１０−１は、タッチの検出タイミングを演奏パラメータとし、取り出した音程と歌詞情報とを演奏パラメータに関連付ける。そして、演奏パラメータと１音毎の音程および歌詞情報とをクライアント・サーバＩ／Ｆ３３０−１から協調演奏制御装置１０に逐次送信する。演奏パラメータの送信は、例えば、タッチを検出する毎に行われる。なお、端末装置３０−１の記憶部３４０−１が保持するＭＩＤＩ演奏シーケンスから音程と歌詞情報を１音ずつ取り出して協調演奏制御装置１０に送信する態様を例に説明したが、この態様に限られない。例えば、協調演奏制御装置１０の記憶部１４０に音程と歌詞情報とが格納され、端末装置３０−１の記憶部３４０−１にシーケンスのみが格納されており、端末装置３０−１は、演奏パラメータとシーケンスとを協調演奏制御装置１０に送信し、協調演奏制御装置１０は、シーケンスに音程と歌詞情報とを関連付ける、というようにしても良い。また、音程や歌詞情報は、一連のシーケンスでリアルタイムに連続してＭＩＤＩ演奏シーケンスから取り出されるようにしても良い。すなわち、音程や歌詞情報は、ユーザの演奏操作レベルに合わせて、ＭＩＤＩ演奏シーケンスから１フレーズ毎、１メロディー毎または１曲毎などに取り出されるようにしても良い。

また、端末装置３０−２を操作するユーザは、端末装置３０−２のユーザＩ／Ｆ３５０−２のタッチパネルをタッチ等することにより「開口パラメータ」に関する演奏操作を行う。例えば、複数の手指を同時にタッチし、タッチした各手指の各々を近づけたり離したりすることにより開口パラメータを操作するという具合である。より詳細に説明すると、端末装置３０−２の制御部３１０−２は、複数の位置に同時にタッチされていることを検出し、その複数のタッチの位置を結ぶことにより形成される領域の面積を算出し、その算出した面積を演奏パラメータとしてクライアント・サーバＩ／Ｆ３３０−２から協調演奏制御装置１０に逐次送信する。演奏パラメータの送信は、例えば、面積の大きさの変化がリアルタイムに反映されるように行われる。

また、端末装置３０−３を操作するユーザは、端末装置３０−３のユーザＩ／Ｆ３５０−３のタッチパネルをタッチ等することにより「ビブラート」に関する演奏操作を行う。例えば、タッチした手指をタッチパネルにおける上下方向に移動することによりビブラートの深さや周期を操作するという具合である。より詳細に説明すると、端末装置３０−３の制御部３１０−３は、タッチの位置を検出し、その位置情報を演奏パラメータとしてクライアント・サーバＩ／Ｆ３３０−３から協調演奏制御装置１０に逐次送信する。演奏パラメータの送信は、例えば、タッチの位置の変化がリアルタイムに反映されるように行われる。

各ユーザは、同一の部屋内に居るため、音源２０の合成歌唱音を同時に聴くことになる。このため、各ユーザが各々行う演奏操作は、同期して行われる。なお、協調演奏制御装置１０に接続される端末装置３０の数は３個に限られない。また、端末装置３０におけるユーザＩ／Ｆ３５０の操作は上記の例に限られない。
以上が、演奏時における各端末装置３０の動作である。

次に、各ユーザが協調して演奏するときの協調演奏制御装置１０の制御部１１０が行う処理の内容を説明する。図６は、このときの処理内容を示すフローチャートである。なお、協調演奏制御装置１０には、端末装置３０の動作説明において説明した各端末装置３０−１〜３０−３が接続されているものとする。

協調演奏制御装置１０の制御部１１０は、演奏開始の指示を受け取ると（ＳＢ１１０）、ステップＳＢ１２０以降の処理を行う。なお、演奏開始の指示は、協調演奏制御装置１０に接続された何れかの端末装置３０から受け取っても良いし、協調演奏制御装置１０のユーザＩ／Ｆ１５０から受け取っても良い。

まず、制御部１１０は、クライアント・サーバＩ／Ｆ１３０を介して各端末装置３０−１〜３０−３から演奏パラメータを各々取得する（ＳＢ１２０）。すなわち、ステップＳＢ１２０は演奏パラメータ取得処理１４４ａ２である。より具体的には、端末装置３０−１から「音程」と「歌詞情報」についての演奏パラメータ（すなわちタッチのタイミングを示す情報）を取得し、端末装置３０−２から「開口パラメータ」についての演奏パラメータ（すなわちタッチの面積を示す情報）を取得し、端末装置３０−３から「ビブラート」についての演奏パラメータ（すなわちタッチの位置を示す情報）を取得する。なお、端末装置３０−１からは演奏パラメータに関連付けられた１音毎の音程および歌詞情報も取得する。

次に、制御部１１０は、取得した各演奏パラメータを用いて新たな内容の制御パラメータを生成する（ＳＢ１３０）。すなわち、ステップＳＢ１３０は制御パラメータ生成処理１４４ａ３である。具体的には、取得した全ての演奏パラメータ（例えば、タッチのタイミングを示す情報、タッチの面積を示す情報およびタッチの位置を示す情報）とマトリクスＡとの線形マトリクス演算を行う。これにより、各端末装置３０から取得した演奏パラメータの内容を反映した新たな内容の制御パラメータが生成される。さらに具体的には、端末装置３０−１のユーザが演奏操作したタッチのタイミングが反映された新たな内容の「音程」および「歌詞情報」が生成され、端末装置３０−２のユーザが演奏操作したタッチの面積の大きさが反映された新たな内容の「開口パラメータ」が生成され、端末装置３０−３のユーザが演奏操作したタッチの位置が反映された新たな内容の「ビブラート」が生成される。なお、「音程」と「歌詞情報」の生成においては、演奏パラメータに関連付けられて取得した１音毎の音程および歌詞情報が利用される。

次に、制御部１１０は、生成した新たな内容の各制御パラメータをサーバ・音源Ｉ／Ｆ１２０を介して音源２０に送る（ＳＢ１４０）。

制御部１１０は、曲の終了を検知した場合、または、演奏終了の指示を受け取った場合（ＳＢ１５０）、演奏を終了する（ＳＢ１６０）。なお、演奏終了の指示は、各端末装置３０から受け取っても良いし、協調演奏制御装置１０のユーザＩ／Ｆ１５０から受け取っても良い。一方、制御部１１０は、曲の終了を検知するまで、または、演奏終了の指示を受け取るまで、演奏パラメータの取得（ＳＢ１２０）、制御パラメータの生成（ＳＢ１３０）および制御パラメータの送信（ＳＢ１４０）を逐次繰り返す。
以上が、演奏時において制御部１１０が行う処理の内容である。

次に、演奏時における音源２０の動作を説明する。演奏時、音源２０は、サーバ・音源Ｉ／Ｆ２２０を介して協調演奏制御装置１０が生成した音源２０を制御する各種の制御パラメータを協調演奏制御装置１０から逐次受け取る。制御パラメータを受け取った音源２０の制御部２１０は、受け取った制御パラメータを用いて歌唱合成ソフトフェア２４０ａを実行し、合成歌唱音を生成する。そして、制御部２１０は、生成した合成歌唱音を発音部２５０から放音させる。音源２０は、演奏が終了するまで、制御パラメータの取得、合成歌唱音の生成および合成歌唱音の放音を逐次繰り返す。
以上が、演奏時における音源２０の動作である。

このように、本実施形態による協調演奏システム１は、協調演奏制御装置１０と、音信号（本実施形態では合成歌唱音）を生成する音源２０と、ユーザが演奏に関する操作を行う端末装置３０とから構成されている。協調演奏システム１において協調演奏制御装置１０は、演奏に先立ち、音源２０を制御する各種の制御パラメータのうちいずれの制御パラメータについての演奏パラメータをいずれの端末装置３０に提供させるかを決定する。そして、演奏時、各ユーザは、各々の端末装置３０に対して演奏操作を行う。この演奏時、協調演奏制御装置１０は、各ユーザが端末装置３０を操作することにより生成される演奏パラメータを各端末装置３０から取得し、取得した各演奏パラメータに基づいて音源２０を制御するための新たな内容の各種の制御パラメータを生成する。そして、音源２０は、協調演奏制御装置１０が生成した制御パラメータに基づいて合成歌唱音を生成し放音する。従って、協調演奏システム１における各ユーザは、端末装置３０に対する演奏操作を行うことにより間接的に音源２０の制御をリアルタイムに行うことになる。

本実施形態による協調演奏システム１では、各ユーザの端末装置３０への演奏操作に基づいて合成歌唱音が放音されるため、各ユーザが協調して演奏を行うことになる。また、協調演奏システム１では、楽器として機能する音源２０とその音源２０を間接的に操作する端末装置３０とを有している。このため、ユーザは、個別に楽器を持つ必要がない。また、協調演奏システム１では、端末装置３０のユーザＩ／Ｆ３５０にタッチなどの簡単な操作を行うことにより演奏を行うことができる。このため、ユーザは、楽器演奏に関する優れたスキルを持っていることを要求されない。これらより、本実施形態による協調演奏制御装置１０を含む協調演奏システム１は、楽器演奏のスキル等に関わらずいろいろな人に協調演奏をする機会を提供することができる。また、同協調演奏システム１は、楽器演奏のスキル等に関わらず、当該協調演奏システム１を利用する各ユーザに、演奏時に一体感を与えることができる。また、同協調演奏システム１では、音信号の生成に複数のユーザが関わるため、音源２０が生成する音信号は多様なものとなる。このため、同協調演奏システム１は、各ユーザの操作に従う多様な音楽表現を容易に具現化することができる。
そして、同協調演奏システム１は、楽器演奏のスキル等に関わらずいろいろな人に協調演奏の面白さや楽しさを体験させることができる。

また、従来のアンサンブル演奏では、複数人が協調して複数の旋律を演奏している。これに対し、本実施形態による協調演奏システム１では、複数人が協調して単一の旋律を演奏している。換言すると、本実施形態による協調演奏システム１では、複数人が協調して単一の旋律を発音する単音楽器を操作しているといえる。このように、複数人が協調して単一の旋律を演奏する演奏形態は、新規な演奏形態である。このため、協調演奏システム１は、協調演奏における新たな楽しみ方を各ユーザに提供することができる。

また、本実施形態による協調演奏システム１は、複数人による各端末装置３０の操作により１つの楽器（あるいは単一の旋律）を演奏するための制御パラメータが生成されるため、楽器の演奏のための各人の操作負担を減らすことができる。

また、本実施形態による協調演奏システム１では、複数人が協調して単一の旋律を演奏するため、各ユーザは、複数の旋律を同時に聴くスキルを持っていることを要求されない。このような点からも、協調演奏システム１は、各ユーザに、演奏時に一体感を与えることができるといえる。

また、本実施形態による協調演奏制御装置１０は、各端末装置３０から取得した演奏パラメータとマトリクスＡとのマトリクス演算を行い新たな内容の制御パラメータを生成している。協調演奏制御装置１０では、このマトリクスＡを、演奏時に時間変化させるなど、様々に制御可能である。このため、協調演奏制御装置１０を含む協調演奏システム１は、マトリクスＡを制御することで、各ユーザに多様な演奏をさせることができ、より興趣性の高い演奏を各ユーザに体験させることができる。

また、本実施形態による協調演奏制御装置１０では、各種の制御パラメータのうち１の制御パラメータについての演奏パラメータを複数の端末装置３０に提供させるようにすることも可能である。このようにすると、各ユーザの演奏のバリエーションが広がり、より興趣性の高い演奏を各ユーザに体験させることができる。

また、本実施形態による協調演奏制御装置１０では、各種の制御パラメータのうち一部の制御パラメータについての演奏パラメータを協調演奏制御装置１０が生成しても良い。このとき、協調演奏制御装置１０は、予めプリセットされた内容の演奏パラメータを生成すれば良い。このようにすると、協調演奏制御装置１０に接続される端末装置３０の数が所定数に達する前に演奏を開始することが可能となる。従って、所定数のユーザが集まらない状況においても協調演奏システム１を利用することができる。

また、本実施形態による協調演奏システム１の音源２０は、歌唱合成ソフトウェア２４０ａを搭載している。歌唱合成ソフトウェア２４０ａには、バーチャルキャラクターが設定されている場合がある。このため、本実施形態による協調演奏システム１では、歌唱合成ソフトウェア２４０ａに設定されているバーチャルキャラクターを複数のユーザが協調して操作するという感覚を各ユーザに与えることもできる。

＜他の実施形態＞
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば次の通りである。

（１）上記実施形態における音源２０は、歌唱合成ソフトウェア２４０ａを搭載したものであった。しかし、音源は、音信号を生成するものであれば良く、この態様に限られない。例えば、物理的な発音機構を持つ従来のアコースティック楽器（例えばヴァイオリンなど）を音源としても良い。この場合、演奏用のロボットによりそのアコースティック楽器を操作させるという態様が挙げられる。この態様では、アコースティック楽器を操作するロボットの各種の制御パラメータのうちいずれかの制御パラメータについての演奏パラメータを端末装置３０に提供させるようにすれば良い。このようにすると、各ユーザは、各々の端末装置３０に対して演奏操作を行うことにより協調してロボットを動かすことになる。従って、各ユーザは、ロボットを介してアコースティック楽器を協調して演奏することができる。

（２）上記実施形態における協調演奏制御装置１０では、音源２０を制御する制御パラメータを演奏パラメータに基づいて生成していた。しかし、協調演奏制御装置は、音源以外の装置を制御する制御パラメータを演奏パラメータに基づいて生成しても良い。例えば、画像制御装置の制御パラメータを演奏パラメータに基づいて生成しても良い。より具体的には、画像制御装置の制御により表示されるバーチャルキャラクター画像の手の動きや顔の表情などを制御する制御パラメータを演奏パラメータに基づいて生成する、という具合である。この態様では、各ユーザの端末装置３０の操作により、バーチャルキャラクター画像がリアルタイムに変化する。このため、バーチャルキャラクターを複数のユーザが協調して操作するという感覚を、より強く各ユーザに与えることができる。

また、協調演奏制御装置は、演奏パラメータに基づいて、音源を制御する制御パラメータと音源以外の装置を制御する制御パラメータの両方を生成しても良い。この例として、開口パラメータについての演奏パラメータに基づいて、音源における新たな開口パラメータを生成するとともに、画像制御装置におけるバーチャルキャラクター画像の口の動きを制御する制御パラメータを生成する、という態様が挙げられる。また、他の例として、演奏パラメータに基づいて音源を制御する制御パラメータを生成するとともに、それとは別個の演奏パラメータに基づいて画像制御装置の制御により表示されるバーチャルキャラクター画像の手の動きや顔の表情などを制御する制御パラメータを生成する、という態様が挙げられる。これらの態様では、各ユーザの端末装置３０の操作により、音信号が生成されるとともにバーチャルキャラクター画像がリアルタイムに変化する。このため、前述の態様と同様に、バーチャルキャラクターを複数のユーザが協調して操作するという感覚を、より強く各ユーザに与えることができる。

また、変形例（１）において述べたように、演奏用ロボットを制御する制御パラメータを演奏パラメータに基づいて生成しても良い。これらのように、音源以外の装置を制御する制御パラメータを演奏パラメータに基づいて生成することにより、より興趣性の高い演奏を各ユーザに体験させることができる。

（３）上記実施形態における端末装置３０のユーザＩ／Ｆ３５０は、タッチパネルであった。しかし、ユーザＩ／Ｆ３５０は、タッチパネルに限られない。例えば、カメラなどであっても良い。この態様では、各ユーザは、カメラに向かってジェスチャーなどを行うことにより演奏操作を行う。例えば、「開口パラメータ」に関する演奏操作を行う場合、ユーザは、手や指で表現した形、手や指の動作、口の輪郭または口の動きなどを端末装置３０のカメラに撮像させる、という具合である。端末装置３０は、カメラが撮像するユーザのジェスチャーを画像認識し、その認識した画像を示す情報を演奏パラメータとして協調演奏制御装置１０に送る。このような態様においても、協調演奏制御装置１０におけるマトリクスＡの内容を工夫することにより、音源２０を制御する制御パラメータを生成することができる。このように、端末装置３０のユーザＩ／Ｆ３５０を様々な態様のものにすることにより、各ユーザが行う演奏操作をより容易なものにすることができる。演奏操作がより容易なものになるため、ユーザは、協調演奏システム１が提供する協調演奏に参加し易くなる。そして、この態様においても、協調演奏システム１は、各ユーザに多様な演奏をさせることができ、より興趣性の高い演奏を各ユーザに体験させることができる。

（４）上記実施形態において音源２０を制御する制御パラメータは、音程、歌詞情報、開口パラメータおよびビブラートであった。しかし、音源２０を制御する制御パラメータは、これらに限られない。例えば、音源２０を制御する制御パラメータとして、歌唱合成ソフトウェア２４０ａにおけるピッチカーブ、ブレスネス、ブライトネスなど、種々のものを用いることができる。

（５）上記実施形態における協調演奏システム１では、協調演奏制御装置１０に所定数の端末装置３０が接続されている状態で演奏が行われていた。しかし、協調演奏制御装置１０に接続される端末装置３０の数を演奏中に変化させても良い。すなわち、協調演奏制御装置１０に新たな端末装置３０が演奏中に接続されても良いし、協調演奏制御装置１０に接続されているいずれかの端末装置３０と協調演奏制御装置１０との間の接続が演奏中に解除されても良い。この態様では、次のようにするとなお良い。制御部１１０は、割り当て処理１４４ａ１において、端末装置３０の現在の接続数以外の接続数の場合についても、予め、制御パラメータの種類と端末装置３０との関連付けを行う。また、制御部１１０は、端末装置３０の現在の接続数以外の接続数の場合におけるマトリクスＡを予め決定しておく。この態様においても、各ユーザに多様な演奏をさせることができる。

（６）上記実施形態において、協調演奏制御装置１０は、クライアント・サーバＩ／Ｆ１５０を介して端末装置３０と無線通信により接続されていた。しかし、協調演奏制御装置１０と端末装置３０との間の接続は無線通信に限られない。例えば、クライアント・サーバＩ／Ｆ１５０および３５０を通信ケーブルを接続するポートを有する装置とし、協調演奏制御装置１０と端末装置３０との間を有線通信により接続しても良い。また、クライアント・サーバＩ／Ｆ１５０および３５０を赤外線通信を行うことができる機能を有する装置とし、協調演奏制御装置１０と端末装置３０との間を赤外線通信により接続しても良い。

（７）上記実施形態では、制御部１１０がシステム制御プログラム１４４ａを実行することによりパーソナルコンピュータを協調演奏制御装置１０として機能させていた。このシステム制御プログラム１４４ａは、協調演奏制御装置１０にインストールされた状態で取引されても良いし、コンピュータ読み取り可能な記憶媒体に記憶された状態で別個に取引されても良い。また、システム制御プログラム１４４ａは、ネットワークを介したダウンロードにより取引されても良い。また、システム制御プログラム１４４ａにおける各処理を電子回路により実現しても良い。

１…協調演奏システム、１０…協調演奏制御装置、２０…音源、３０…端末装置、１１０，２１０，３１０…制御部、１２０，２２０…サーバ・音源Ｉ／Ｆ、１３０，３３０…クライアント・サーバＩ／Ｆ、１４０，２４０、３４０…記憶部、１４２…揮発性記憶部、１４４…不揮発性記憶部、１４４ａ…システム制御プログラム、１４４ａ１…割り当て処理、１４４ａ２…演奏パラメータ取得処理、１４４ａ３…制御パラメータ生成処理、１４４ｂ…制御パラメータマッピング情報、１５０，３５０…ユーザＩ／Ｆ、１６０，２６０，３６０…バス、３４０ａ…クライアントプログラム、２４０ａ…歌唱合成ソフトウェア、２５０…発音部。

Claims (5)

1. 複数の端末装置に対する操作に応じて各端末装置が各々出力する演奏パラメータに基づいて、音信号を生成する音源を制御するための複数の制御パラメータを生成する制御パラメータ生成手段であって、前記複数の端末装置が出力する複数の演奏パラメータにおける任意の演奏パラメータを前記複数の制御パラメータにおける任意の制御パラメータの生成に関与させる要素からなるマトリックスにより、前記複数の演奏パラメータから前記複数の制御パラメータを生成する制御パラメータ生成手段と、
   前記マトリックスを時間変化させるマトリックス変更手段と
   を具備することを特徴とする協調演奏制御装置。
2. 前記マトリックス変更手段は、演奏中に所定の小節に達した時にマトリックスを変化させることを特徴とする請求項１に記載の協調演奏制御装置。
3. 前記マトリックス変更手段は、前記端末装置または前記協調演奏制御装置への指示入力に応じてマトリックスを変化させることを特徴とする請求項１に記載の協調演奏制御装置。
4. 前記制御パラメータは、スコア情報または合成歌唱音の音楽的表情に関する情報の少なくとも１つを含んでおり、
   前記制御パラメータに基づいて前記音源に合成歌唱音を生成させることを特徴とする請求項１から３のいずれか１の請求項に記載の協調演奏制御装置。
5. 請求項１から４のいずれか１の請求項に記載の協調演奏制御装置と、
   前記協調演奏制御装置に接続される音源と、
   前記協調演奏制御装置に接続される複数の端末装置と、
   を具備することを特徴とする協調演奏システム。

Images