JP4314964B2 - 合奏システム - Google Patents

Description

本発明は、互いに離れた場所にいる複数の演奏者による合奏をミキシングして聴取したり録音したりする合奏システムに関するものである。

楽器演奏において、複数の演奏者が各自の演奏パートを決めて合奏する場合がある、（特許文献１参照）。このような合奏は、バンド演奏あるいはセッションと呼ばれることもある。
全ての演奏者が同じ場所にいる場合、合図と共に演奏を開始し、相手の演奏操作を見ながら合奏をすることが容易である。この合奏は、音として直接に聴取されたり、音響装置や放送を通して聴取されたりレコーディングされたりする。
しかし、それぞれの演奏者が、遠隔地にいて、お互いの演奏操作がわからない場合は、合奏が困難である。

そのため、例えば、合奏する相手の場所にビデオカメラやマイクロフォンをセッティングし、モニターテレビジョンやスピーカで合奏する相手の演奏操作がわかるようにする。このような大がかりなシステムであれば、各演奏者の演奏による楽音信号を、ミキシングすることにより、各演奏者から離れた遠隔の地でも合奏を聴取したり、レコーディング（録音）したりすることが可能となる。
しかし、実施するには多大な費用と設置作業が必要であり、一般のユーザには向かない。

一方、聴取あるいは記録する側からタイムコード等の時刻同期信号を演奏者の側に継続的に送信することも考えられる。各演奏者は、この時刻同期信号を基準にして演奏を開始し、テンポに従った演奏ができる。
しかし、演奏中、時刻同期信号を遠隔地にいる演奏者に送信しなければならない。しかも、この時刻同期信号を送信したとしても、演奏する場所との距離差等に応じて通信遅延時間に差が生じ、受信した互いの演奏にずれが生じたまま楽音信号をミキシングすることになる。その結果、聴感上、違和感が生じる場合がある。

特開平１１−２１９１７４号公報

本発明は、上述した問題点を解決するためになされたもので、複数の演奏者が行う演奏による楽音信号を、各演奏者がいる各演奏情報発信装置との間の通信遅延時間に差があっても、小規模な構成で、互いに同期した楽音信号としてミキシングできる合奏システムを提供することを目的とするものである。

本発明は、請求項１に記載の発明においては、複数の演奏情報発信装置とオーディオ・ミキサー装置とが通信ネットワークを介して接続され、前記各演奏情報発信装置における各演奏者の演奏による楽音信号を前記オーディオ・ミキサー装置においてミキシングする合奏システムであって、前記オーディオ・ミキサー装置は、当該設置場所における標準時の受信により時刻基準を較正する第１の計時手段と、前記各演奏情報発信装置から送信された演奏情報を受信し、該演奏情報に基づいて楽音信号をミキシングする楽音信号受信・ミキシング手段と、前記各演奏情報発信装置との間の通信遅延時間に応じて、前記各演奏情報発信装置に対し、該通信遅延時間の相対時間差を相殺するように演奏開始タイミングを設定させるための演奏開始信号を、前記各演奏情報発信装置に送信する演奏開始信号送信手段を有し、前記各演奏情報発信装置は、当該設置場所における標準時の受信により時刻基準を較正する第２の計時手段と、前記演奏者の演奏による演奏情報を送信する演奏情報送信手段と、前記オーディオ・ミキサー装置から送信された演奏開始信号に基づいて前記演奏開始タイミングを設定し、前記演奏者に対し演奏開始を促す報知をするとともに、該演奏開始を促す報知の後は、前記第２の計時手段による時刻に従って、前記演奏者に対し正確なテンポに従った演奏操作を促す報知をする報知手段を有するものである。
請求項２に記載の発明においては、請求項１に記載の合奏システムにおいて、前記第１の計時手段、および、前記第２の計時手段は電波時計であるものである。
請求項３に記載の発明においては、請求項１または２に記載の合奏システムにおいて、前記オーディオ・ミキサー装置は、遅延時間測定手段を有し、該遅延時間測定手段は、前記各演奏情報発信装置に測定信号を送信し応答信号を受信することにより通信遅延時間を測定し、前記オーディオ・ミキサー装置における演奏開始信号送信手段は、前記演奏開始信号により、前記通信遅延時間と前記応答信号に含まれる前記第２の計時手段の時刻と前記第１の計時手段の時刻とに基づいて、前記演奏開始タイミングを前記各演奏情報発信装置における前記第２の計時手段が計時する時刻で通知し、前記各演奏情報発信装置は、遅延時間測定応答手段を有し、該遅延時間測定応答手段は、前記応答信号に、当該演奏情報発信装置における前記第２の計時手段の時刻を含めて返信し、前記各演奏情報発信装置における報知手段は、前記演奏開始信号により通知された前記演奏開始タイミングの時刻に従って、前記演奏開始タイミングを設定するものである。

上述した演奏情報は、波形で表現される楽音信号である。または、MIDIデータなど演奏操作等をコードデータで表現する演奏データである。演奏データの場合は、音源部に入力されて楽音信号が再生される。
上述した演奏開始信号送信手段は、前記各演奏情報発信装置に対し、前記各演奏情報発信装置の設置場所における、設定させた演奏開始タイミングからの時間経過に従って、前記演奏者に対して正確なテンポに従った演奏操作を促す報知をさせてもよい。
上述したオーディオ・ミキサー装置は、より具体的には、前記各演奏情報発信装置に対し、測定信号を送信し該測定信号の応答信号を受信することにより、当該オーディオ・ミキサー装置と前記各演奏情報発信装置との間の通信遅延時間を測定する通信遅延時間測定手段を有し、前記各演奏情報発信装置は、前記測定信号を受信して応答信号を返信する応答信号返信手段を有する。

ここで、上述した演奏開始信号は、前記各演奏情報発信装置と前記オーディオ・ミキサー装置との間の通信遅延時間の相対時間差に応じて該相対時間差が相殺されるように、例えば、前記オーディオ・ミキサー装置から前記各演奏発信装置へ異なる時刻に送信され、前記各演奏情報発信装置における報知音発生手段は、演奏開始信号受信部により受信された演奏開始信号に基づいて、前記演奏の開始タイミングを設定するとともに、演奏開始を促す報知をさせる。
あるいは上述した演奏開始信号は、前記各演奏情報発信装置における現地時刻の時差を加えた演奏開始時刻から前記通信遅延時間を差し引いた時刻がわかるような情報を含む信号としてもよい。
この場合、前記各演奏情報発信装置は、前記演奏開始信号に含まれた情報に基づいて、現地時刻の時差を加えた演奏開始時刻よりも前記通信遅延時間だけ早い時刻において、演奏開始タイミングを設定するとともに、演奏開始を促す報知をさせればよい。

本発明は、遠隔地にいる複数の演奏者が行う演奏による楽音信号を、各演奏情報の発信地との間に通信遅延時間差があっても、小規模な構成で、互いに同期した合奏としてミキシングできるという効果がある。
演奏開始信号を一度送信すれば、その後は、各演奏場所での時刻に基づいて演奏進行ができるので、演奏中に、聴取側からタイムコードなどの同期制御信号を送らなくても常に同期した演奏を聴取したり録音したりできるという効果がある。

図１は、本発明の実施の一形態を説明するためのシステム構成図である。
図中、１はオーディオ・ミキサーＡ、２はオーディオ・ミキサーＢ、３はオーディオ・ミキサーＣであって、互いに離れた遠隔地、例えば、浜松、福岡、ロンドンに設置されていて、ネットワーク４により相互に接続されることにより、全体として遠隔地間の合奏システムを構成している。
ネットワークがインターネット接続されるものである場合は、IP（Internet Protocol）に従ったパケット転送形式で演奏情報、その他、測定信号、応答信号、演奏開始信号等が伝送される。

オーディオ・ミキサーＢ２，オーディオ・ミキサーＣ３は、演奏情報の発信側であって、演奏者によりリアルタイムで演奏された楽器の楽音信号、あるいは、楽器から出力されるMIDIデータなどの楽音データを、演奏情報として発信する。各オーディオ・ミキサーＢ２，Ｃ３においては、複数の演奏者がいる場合がある。この場合は、通常、各演奏者の演奏による演奏情報をミキシングしたものを演奏情報として送信する。
オーディオ・ミキサーＡ１は、複数の演奏情報の受け入れ側であって、各オーディオ・ミキサーＢ２，オーディオ・ミキサーＣ３において、演奏者により演奏された楽音信号をミキシングし、これを聴取したり録音したりする。

図示の例では、オーディオ・ミキサーＡ１がマスターとなり、オーディオ・ミキサーＢ２，オーディオ・ミキサーＣ３を制御する。
オーディオ・ミキサーＢ２は、演奏情報送信部２１，通信遅延時間測定応答部２２，演奏開始信号受信部２３，電波時計２３，報知音発生部２５を有する。オーディオ・ミキサーＣ３も同様であるが、電波時計３４のみを図示している。
オーディオ・ミキサーＡ１は、楽音信号受信・ミキシング部１１，通信遅延時間測定部１２，演奏開始信号送信部１３，電波時計１４を有する。

オーディオ・ミキサーＢ２において、楽音信号送信部２１は、演奏される電子楽器から直接的に出力される楽音波形信号や、演奏音やボーカル音をマイクロフォンで拾って得られる楽音信号、または、電子楽器から出力されるMIDIデータ等の演奏データ、を演奏情報として送信する。
通信遅延時間測定応答部２２は、後述するオーディオ・ミキサーＡ１から送信された測定信号を受信し、返信信号を送信する。
演奏開始信号受信部２３は、オーディオ・ミキサーＡ１から演奏開始信号を受信する。
電波時計２４は、このオーディオ・ミキサーＢ２における正確なテンポおよび正確な時刻を、煩雑な時刻合わせをすることなく得るため（メンテナンスフリー）に用いる計時手段の一例である。
日本においては、日本標準時(JST)の時刻が標準電波で国内の２カ所から送信されており、これを受信する。
外国においても、多くの国で各国の標準時を標準電波で送信しており、これを受信する。

報知音発生部２５は、演奏開始信号受信部２３により受信された演奏開始信号に基づいて、演奏開始タイミングを設定し、演奏開始を促すための報知音を発生して演奏者に知らせるとともに、この演奏開始タイミングから電波時計２４による時刻に従って、演奏者に対して正確な演奏操作を促すための、所定のテンポに従った報知音を発生する。
その結果、演奏者は、演奏開始を知らせる報知音を合図として、自分のパートを演奏し、演奏継続中は、所定のテンポに従い、好ましくはさらに所定の拍子にも従い強拍と弱拍とで報知音を異ならせるなどして、正確な時間に基づいて発生される報知音を聞きながら演奏を続けることができる。ここで、報知音は、メトロノームのようなクリック音の他に、例えば、合成音声でもよい。
上述した説明では、演奏開始を促す報知、正確なテンポに従った演奏操作を促す報知は、報知音を用いた可聴表示で実現したが、これとは別にあるいは同時に、ランプの点灯やディスプレイ上の画像表示等を用いた可視表示で実現することもできる。
オーディオ・ミキサーＣ３についても同様であり、説明を省略する。

オーディオ・ミキサーＡ１において、楽音信号受信・ミキシング部１１は、上述した少なくとも２カ所の演奏発信装置である、オーディオ・ミキサーＢ２，Ｃ３からそれぞれ送信された演奏情報を受信し、この演奏情報に基づいて複数の楽音信号を再生する。なお、演奏情報が演奏データであれば、音源部１５において演奏データに応じて楽音信号を再生しミキシングに用いる。
再生された複数の楽音信号はミキシング（混合）され、放音されて聴取者がこれを聞いたり、放送されたり、録音されたりする。録音時にも、ミキシングされたモニターとして聴取する。

通信時間測定部１２は、各オーディオ・ミキサーＢ２，Ｃ３に対し、測定信号を送信し、この測定信号に応答する信号を受信することにより、このオーディオ・ミキサーＡ１と各オーディオ・ミキサーＢ２，Ｃ３との間の通信遅延時間を測定する。
演奏開始信号送信部１３は、通信遅延時間測定部１２により測定されたこのオーディオ・ミキサーＡ１と上述した各オーディオ・ミキサーＢ２，Ｃ３との間の通信遅延時間に応じて、各オーディオ・ミキサーＢ２，Ｃ３に応じた演奏開始信号を作成し、この演奏開始信号を各オーディオ・ミキサーＢ２，Ｃ３に送信する。

図２は、図１に示したオーディオ・ミキサーＡ１，Ｂ２，Ｃ３に共通するハードウェア構成の一例を示すブロック図である。
オーディオ・ミキサーの機能は、楽音信号をディジタル信号に変換して実現される。
以下の説明では、最初に、オーディオ・ミキサーＢ２，Ｃ３として用いるときの各部の機能について説明する。
図中、CPU（Central Processing Unit）４２は、ROM（Read Only Memory）４３に格納された、オーディオ・ミキサーの制御プログラムや各種プリセットデータを用い、RAM（Random Access Memory）４４をワークエリアとして、装置全体の制御動作を行う。

CPU４２は、バス４１を介し、パネル上の各種の操作子（ダイアル、フェーダ、ボタンスイッチ等のパネルスイッチ）４５の操作イベントを検出して、複数のオーディオ信号制御パラメータを、ミキシングDSP（Digital Signal Processor）４７に設定することにより、ミキシング入力チャンネルの選択や、各ミキシング入力チャンネルの音量レベル等を制御する。
また、オーディオ信号制御パラメータを音源部５７に設定することにより、音源の制御をする。

さらにまた、オーディオ信号制御パラメータをエフェクト部５８に設定することにより、ミキシングDSP４７から出力される楽音信号のエフェクト制御をした楽音信号を送信することができる。
従って、オーディオ・ミキサーの制御プログラムは、図１に示した各部の機能を実現させるため、CPU４２を制御することにより、演奏情報を送信させるステップ、通信遅延時間測定に応答させるステップ、演奏開始信号を受信させるステップ、報知音を発生させるステップを実行する。

ディスプレイ４６は、パネル上に設けられた液晶ディスプレイあるいは発光ダイオード等のランプである。液晶ディスプレイには、メニューを表示したり、操作子によってこれから設定されたり、現に設定されたりしているオーディオ信号制御パラメータの設定状況を表示したりする。楽譜を表示させてもよい。
なお、演奏開始を促す報知、正確なテンポに従った演奏操作を促す報知のために、ランプを点灯したり、ディスプレイ上の画像表示（例えば、仮想的なランプ表示あるいは、指揮者のキャラクタ画像を用いたアニメーション）で報知したりすることができる。拍子に応じて、強拍と弱拍とでランプの明るさを変えたり、指揮者の身振りを変えたりすることもできる。

ミキシングDSP４７には、CPU４２により、入力チャンネルの選択、ミキシング信号経路の設定等を含む、オーディオ信号制御パラメータの値等が設定される。ミキシングDSP４７は、オーディオ信号入力インターフェース４８（アナログ／ディジタル変換器を含む）を介して、マイクロフォンＡ４９，電子楽器Ａ５０，マイクロフォンＢ５１から入力されるアナログ波形信号の楽音信号に対してミキシング処理をする。
ミキシングした楽音信号をモニターする場合は、オーディオ信号出力インターフェース５２（ディジタル／アナログ変換器を含む）、アンプ５３を介して、スピーカ５４から出力する。ミキシングした楽音信号は、また、演奏情報としてネットワークインターフェース５５を介してオーディオ・ミキサーＡ１に送信される。
MIDIインターフェース５６を介して電子楽器Ｂ５７からMIDIデータを入力し、これを演奏情報としてネットワークインターフェース５５を介し、オーディオ・ミキサーＡ１に送信することもできる。

電波時計６０は、このオーディオ・ミキサーが設置されている現地の時刻情報を計時して、CPU４２の処理動作の時刻基準（内部時計）を較正する。図示の例では、バス４１に接続されているが、図示しないインターフェースで外部接続されたものでもよい。
音源部５８は、ネットワークインターフェース５５から受信した演奏開始信号に基づいて演奏開始報知音を生成し、ミキシングDSP４７を介してスピーカ５４から出力させる。
音源部５８は、また、上述した演奏開始信号と電波時計６０から出力される計時信号に基づいて、メトロノームのように、テンポを知らせるクリック音を発生させ、スピーカ５４から出力させる。その際、エフェクト部５９でクリック音に効果を付加することもできる。

なお、報知音は、音源部５８を用いずに、電子機器一般で用いられているようなサウンダ等の発音体から出力させてもよい。
レコーディングHDD（Hard Disk Drive）６１は、ネットワークインターフェース５５を介しオーディオ・ミキサーＡ１に送信する演奏情報を録音することができる。フラッシュメモリ等、その他の記録媒体に録音してもよい。
ROM４３に制御プログラムが記憶されていない場合、ハード磁気ディスクに制御プログラムを記憶させておき、それをRAM４４に読み込むことができる。

次に、オーディオ・ミキサーＡ１として用いるときの各部の機能について説明する。
オーディオ・ミキサーの制御プログラムは、図１に示した各部の機能を実現させるため、CPU４２を制御することにより、楽音信号を受信させミキシングさせるステップ、通信遅延時間を測定させるステップ、演奏開始信号を送信させるステップを実行する。
ネットワークインターフェース５５を介して受信された、オーディオ・ミキサーＢ２、Ｃ３から送信された演奏情報は、この演奏情報が楽音信号であるときには、ミキシングDSP４７において、オーディオ信号の制御パラメータに応じてミキシングされ、オーディオ信号出力インターフェース５２を介して、スピーカ５４から出力される。
その際、オーディオ信号制御パラメータをエフェクト部５８に設定することにより、受信された楽音信号のエフェクト制御をして、ミキシングDSP（Digital Signal Processor）４７に出力して、スピーカ５４から出力させる。

上述した演奏信号が、演奏データである場合には、音源部５８に入力されて楽音信号を発生させ、これをエフェクト部５９においてエフェクトを付加し、ミキシングDSP４７に出力する。
上述した演奏情報は、レコーディングHDD６１に記録できる。演奏データである場合は、音源部５８で楽音信号を再生し、必要に応じてエフェクト部５９において効果を加して録音する。

なお、録音する場合は、通常、ミキシング後の楽音信号を録音する。しかし、ミキシングする前の、各オーディオ・ミキサーＢ２，Ｃ３別の楽音信号を別トラックに録音してもよい。MIDIデータで受信した場合には、MIDIデータを所定のトラックに録音してもよい。
また、演奏情報を発信する各オーディオ・ミキサーＢ２，Ｃ３の側において、複数の演奏者が演奏している場合に、演奏者別にそれぞれチャンネルを区別した演奏情報として送信することができる。このような場合は、ミキシングする前の各チャンネルの演奏情報を別のトラックに録音することもできる。

図２に示した構成では、ミキシングDSP４７が内蔵されている。これに代えて、ミキシングDSP４７を外部装置としてオーディオ・ミキサーの操作部（コンソールパネル部）から独立させてもよい。また、逆に、CPU４２自体がミキシング機能をソフトウェアプログラムで実現することも可能である。
オーディオ・ミキサーＡ１，Ｂ２，Ｃ３は、図２に示したような共通の構成を有し、設定操作によって、演奏情報の発信側になったり、楽音信号の聴取または録音側になったりする。しかし、発信側、聴取または録音側の専用装置であってもよい。

図３は、通信遅延時間測定用の測定信号および返信信号、演奏開始信号を説明するためのシーケンス図である。
図３（ａ）は第１の具体例を示す。
まず、オーディオ・ミキサーＡ１から遅延時間確認信号として、例えば、ICMP（Internet Control Message Protocol）に規定された「ping」コマンドをオーディオ・ミキサーＢ２，Ｃ３の各IPアドレスを指定して送信する。
オーディオ・ミキサーＢ２，Ｃ３からは、それぞれ、受け取った「ping」コマンドのパケットを返信する。
その結果、オーディオ・ミキサーＡ１においては、コマンドを送信してから返信を受信するまでに要した往復時間の半分の値として、通信遅延時間を知ることができる。
例えば、オーディオ・ミキサーＢ２との間の通信遅延時間はt1であり、オーディオ・ミキサーＣ３との間の通信遅延時間はt2であることがわかる。

次に、オーディオ・ミキサーＡ１がマスターとなって、演奏を開始させるときは、演奏開始信号をオーディオ・ミキサーＢ２，Ｃ３に送信する。その際、所定時間（t0）を設定（図示の例ではt0＝0）し、聴取あるいは録音したい演奏開始時刻（例えば、現在時刻から所定秒経過後）よりも、オーディオ・ミキサーＢ２に対しては、［所定時間（t0）＋往復通信遅延時間（t1×２）］だけ早く送信し、オーディオ・ミキサーＣ３に対しては、［所定時間（t0）＋往復通信遅延時間（t2×２）］だけ早く送信する。
通信遅延時間t1と通信遅延時間t2との相対時間差をなくすることが、各オーディオ・ミキサーＢ２，Ｃ３から送信された演奏情報を同期再生するのに必要な要件である。

オーディオ・ミキサーＢ２においては、演奏開始信号を受信すると、所定時間（t0）経過後（t0＝0のときは、直ちに）、演奏開始を知らせるクリック音を発生して、演奏者に演奏の開始を促す。以降は、電波時計２４に従ったクリック音を発生することにより、演奏者に所定のテンポを知らせる。
オーディオ・ミキサーＣ３においても、同様にして、演奏者に演奏開始および所定のテンポを知らせる。
演奏者は、演奏開始のクリック音を合図として演奏を開始し、テンポを報知するクリック音に従って演奏を継続し、リアルタイムで楽音信号あるいは演奏データである演奏情報を継続的にオーディオ・ミキサーＡ１に送信する。それぞれからの演奏情報が、オーディオ・ミキサーＡ１に到達したときから所定時間（t0）経過後に、聴取あるいは録音する演奏開始時刻になる。

図３（ｂ）を参照して第２の具体例を示す。
オーディオ・ミキサーＡ１から遅延時間確認信号として、「ping」コマンドを送信することは、図３（ａ）の場合と同じである。
次に、オーディオ・ミキサーＢ２，Ｃ３から受信した「ping」コマンドのパケットを返信する際に、パケットに現地の時刻情報（オーディオ・ミキサーＡ１側で現地の時刻情報がわかるような国や地域を示す情報である場合を含む）を入れて返信する。この時刻情報は、電波時計２４，３４において計時された時刻である。すなわち、オーディオ・ミキサーＢ２は福岡にあるので、日本標準時（JST）を用いる。これに対し、オーディオ・ミキサーＣ３は、ロンドンにあるので、グリニッジ平均時（GMT）である。GMTは、JSTを基準にすれば、9時間の遅れがある。
その結果、オーディオ・ミキサーＡ１においては、通信遅延時間t1，t2に加えて、オーディオ・ミキサーＢ２，Ｃ３の設置場所における正確な現地時刻を知る。従って、オーディオ・ミキサーＡ１の設置場所での時刻を参照することにより、演奏情報発信地との時差がわかる。

次に、オーディオ・ミキサーＡ１がマスターとなり、演奏を開始させるときに送信する演奏開始信号として、オーディオ・ミキサーＡ１の設置場所での聴取あるいは録音する演奏開始時刻に時差を加えた、現地時間に換算した演奏開始時刻を指示する情報と、通信遅延時間t1（オーディオ・ミキサーＣ３に対してはt2）を指示する情報とを含んだものを、オーディオ・ミキサーＢ２，Ｃ３に送信する。
あるいは、現地時間に換算した演奏開始時刻から通信遅延時間t1を減算した結果得られる、現地時間での演奏開始時刻（演奏開始タイミングの時刻）自体を指示する情報を通知しても同じである。
すなわち、聴取あるいは録音する演奏開始時刻に、演奏情報発信地の時差と通信遅延時間とを考慮して、通信遅延時間t1だけ早い演奏開始時刻を、現地時間で通知している。

オーディオ・ミキサーＢ２においては、演奏開始信号を受信し、これに含まれる情報に基づいて、通信遅延時間t1を考慮した演奏開始時刻を、時差を加えた現地時間で知り、この現地時間になったときに、演奏開始タイミングを知らせるクリック音を発生し、演奏者に演奏の開始を促す。
以降は、図３（ａ）と同様に、電波時計２４を用い、演奏者にテンポを知らせるクリック音を発生する。
オーディオ・ミキサーＣ３においても同様である。

演奏者は、クリック音にタイミングを合わせて演奏をし、オーディオ・ミキサーＡ１に送信する。オーディオ・ミキサーＢ２，Ｃ３のそれぞれからの演奏情報は、聴取あるいは録音する演奏開始時刻にオーディオ・ミキサーＡ１に到達することになる。
この方式によれば、時差を知っておく必要があるが、演奏開始時刻を正確に任意の時刻に設定することができる。
この方式を実行するには、オーディオ・ミキサーＡ１においても、電波時計１４のような正確な時計を備える必要がある。演奏開始時刻が一致するように、演奏を発信するオーディオ・ミキサーＢ２，Ｃ３における現地時刻との時差を加えて、演奏開始時刻を決定し、演奏開始信号に含めて送信させている。

図１に示した通信遅延時間測定部１２を、演奏情報を発信するオーディオ・ミキサーＢ２，Ｃ３の側に設け、通信遅延時間測定応答部２３を、オーディオ・ミキサーＡ１の側に設けてもよい。この場合、測定された通信遅延時間をオーディオ・ミキサーＡ１に送信すれば、以後は、図３（ｂ）と同様な手順を踏めばよい。
他の具体化手段として、オーディオ・ミキサーＡ１からは、オーディオ・ミキサーＢ２，Ｃ３に対し、同時に演奏開始信号を送信する方法がある。
各オーディオ・ミキサーＢ２，Ｃ３においては、演奏開始信号を受信した時刻から所定時間（t0）遅れた時刻から往復通信遅延時間（t1×２），（t2×２）だけ早くした時刻を、現地での演奏開始タイミングとして、演奏開始を報知してもよい。
結果として、オーディオ・ミキサーＡ１においては、演奏開始信号を送信した時刻から所定時間（t0）遅れた時刻が演奏開始タイミングとなる。

なお、通信遅延時間測定の実行制御をするサーバ装置を、オーディオ・ミキサーＡ１，Ｂ２，Ｃ３とは別に設置してもよい。各オーディオ・ミキサーＡ１，Ｂ２，Ｃ３に対し、上述した通信遅延時間測定を実行させる。また、演奏情報も、このサーバ装置を中継して送信されるようにしてもよい。

図４は、図１に示したオーディオ・ミキサーの動作を説明するためのフローチャートである。図４（ａ）は、オーディオ・ミキサーＡ１、図４（ｂ）はオーディオ・ミキサーＢ２，Ｃ３のフローチャートである。
図５は、図４（ａ）に示した発音処理のステップを説明するフローチャートである。
図４のＳ７１において、セッティングの変更があれば、一旦、Ｓ７２に処理を進め、演奏情報発信側となるオーディオ・ミキサーの追加や削除を、そのID番号およびIPアドレス等を入力することにより行う。以下の説明では、図１に示したように、オーディオ・ミキサーＢ２，Ｃ３が接続されているものとして説明する。

次に、演奏する楽曲を選択し、スコアあるいはパート譜等の楽譜、テンポ、拍子等の情報を、オーディオ・ミキサーＢ２，Ｃ３に予め送信して通知する。
楽譜は、MIDIデータなどの演奏データでもよい。紙楽譜が各演奏者の手元にある場合は、曲目だけを通知すればよい。テンポや拍子も楽譜に記載された通りで演奏するのであれば通知する必要がない。
Ｓ７３において、スタートボタンを押す等の操作を検出することにより、演奏開始準備が完了したかを判定し、そうであればＳ７４に処理を進め、そうでなければＳ７１に処理を戻す。

Ｓ７４において、オーディオ・ミキサーＢ，Ｃに、遅延時間確認信号「ping」を送信し、返信された信号を受信する。往復時間の半分を通信遅延時間t1,t2とする。
Ｓ７５において、演奏開始ボタンの操作を検出するなどして演奏開始を判定する。以下の動作は、図３（ａ）の手順をとる場合について説明する。
演奏を開始するときはＳ７６に処理を進め、基準となる演奏開始時刻（例：現在時刻から５秒後）を設定し、オーディオ・ミキサーＢ２に対し、(５−t1×２)秒後に演奏開始信号を送信する。一方、オーディオ・ミキサーＣに対し、(５−t2×２)秒後に演奏開始信号を送信する。
演奏情報の受信準備をし、聴取者側での受信開始の合図音「４，３，２，１，０」を発音して出力する。
Ｓ７７において、演奏情報（楽音信号または演奏データ）を受信したか否かを判定し、受信したときにはＳ７８に処理を進め、発音処理をさせる。そうでなければ、Ｓ７７の検出処理を繰り返す。

図５を参照して発音処理を説明する。
発音処理には、固定遅延を許容するバッファモードとバッファを用いないリアルタイムモードが用意されている。インターネットでは、遅延補償がないので、通信遅延の変動が大きい。そのため、リアルタイムモードではうまく動作できない場合がある。このような場合に、バッファモードを用いる。ユーザの選択操作によっていずれのモードにするかを選択しておく。通信遅延時間測定を常時行うことにより、通信遅延時間の変動が大きいときにはバッファモードを自動選択するようにしてもよい。

Ｓ１１０において、バッファ時間を設けるか否かを、予めバッファモードに設定されていたか否かによって判定する。
バッファモードに設定されていたときは、Ｓ１１１に処理を進め、各オーディオ・ミキサーＢ２，Ｃ３側から送信された演奏情報を、バッファ（メモリ）に一時記憶することにより、演奏情報に基づいた発音時間を所定バッファ時間（例：30秒）だけ遅らせる。バッファからの演奏情報の読み出しは、オーディオ・ミキサーＢ２，Ｃ３からの各演奏情報に含まれたタイムコードに基づいて、30秒後に読み出すようにする。

このような、30秒遅れの発音処理と、新たな演奏情報を受信してバッファに蓄積する処理とを同時並行して行う。バッファから読み出された楽音信号または演奏データに基づき、30秒遅れの発音を継続的に行う。演奏情報が演奏データであるときには、この演奏データを音源に入力し、楽音信号を再生して発音させる。
バッファ時間を設けることにより、インターネットを介した受信時に遅延時間の変動があっても、聴取者は、音の抜けや飛びのない楽音信号を聞くことができる。
ただし、バッファモードにした場合は、オーディオ・ミキサーＢ２，Ｃ３に対し、タイムコードを含む演奏情報を送信させる必要がある。タイムコードには、MIDIタイムコードやSMPTEタイムコードがあり、曲頭からの絶対時間情報を示す情報である。

一方、Ｓ１１０においてバッファモードでないときは、Ｓ１１２に処理を進め、オーディオ・ミキサーＢ２，Ｃ３から発信されて受信された演奏情報（楽音信号または演奏データ）に基づいて、着順で順次、発音処理をして、図４（ａ）のＳ７９に処理を戻す。演奏データにタイムコードが含まれていてもよいが、これは利用しなくてよい。

再び、図４（ａ）に戻って説明する。
Ｓ７９において、演奏終了であるか否かを判定し、演奏終了でなければＳ７７に処理を戻し、演奏を継続する。一方、演奏終了であればＳ８０に処理を進め、発音終了処理を行う。演奏終了とするのは、マスターであるオーディオ・ミキサーＡ１の聴取者が終了ボタン操作をしたときである。Ｓ８０における発音終了処理においては、スレーブであるオーディオ・ミキサーＢ２，Ｃ３に演奏終了信号を送信する。また、聴取者が、合奏を終了させたいときには、終了ボタンを操作する。
なお、演奏中に、オーディオ・ミキサーＢ２，Ｃ３の演奏者が演奏終了を要求するコマンドをオーディオ・ミキサーＡ１に送信し、聴取者がこれに応答して、終了ボタン操作をするようにしてもよい。
Ｓ８１において、聴取者により合奏を終了する操作がなされたか否かを判定し、そうであれば終了し、そうでなければＳ７１に処理を戻し、演奏を再開できるようにする。

図４（ｂ）を参照して、オーディオ・ミキサーＢ２，Ｃ３側の動作を説明する。
Ｓ９１において、合奏する楽曲のスコア，テンポ，拍子等の情報をオーディオ・ミキサーＡ１から受信する。あるいは、演奏者により別途入力させる。
Ｓ９２において、遅延時間確認信号「ping」を受信したときは、一旦、Ｓ９３に処理を進め、「ping」の返信信号をすぐに送信する。それとともに、演奏者に演奏開始準備を促す「ブザー音」を発音する。

Ｓ９４において、演奏開始信号を受信したときには、Ｓ９５に処理を進め、直ちに演奏開始のクリック音を発音して演奏開始の合図とする。演奏開始信号を受信しないときは、Ｓ９１に処理を戻す。
Ｓ９６において、オーディオ・ミキサーＢ２，あるいは、オーディオ・ミキサーＣ３のそれぞれにおいて、複数の演奏者がいて演奏する場合には、各演奏者の演奏した楽音信号をミキシングした楽音信号を、順次、マスターであるオーディオ・ミキサーＡ１に送信する。楽音信号ではなく、MIDIデータを入力する場合も同様である。
あるいは、各演奏者の演奏した楽音信号は、異なるチャンネルに割り当てて、チャンネル番号を付加して、区別できる形式で送信してもよい。各演奏者がMIDIデータを入力する場合も同様である。

Ｓ９７において、電波時計の計時機能に基づき、基準時間情報を修正し、その結果、演奏テンポのタイミングを修正する。従って、各オーディオ・ミキサーＢ２，Ｃ３の設置された現地での正確な時刻が補償されるとともに、時間の進遅も高精度で較正できる。
Ｓ９８において、演奏テンポに従い、例えば、１拍毎にクリック音（メトロノーム音）を発音することにより、正確な演奏テンポに従った演奏操作を促す。

Ｓ９９において、演奏終了であるか否かを判定し、演奏終了でなければ、Ｓ９６に処理を戻して演奏を継続する。演奏終了は、オーディオ・ミキサーＡ１が演奏終了信号を送信したことを検出して判定する。Ｓ９９の前に、演奏者が演奏終了を要求するボタンを操作して、演奏終了要求コマンドをオーディオ・ミキサーＡ１に送信するステップを設けてもよい。
一方、演奏終了であればＳ１００に処理を進め、演奏終了処理を行う。演奏者が、合奏を終了させたいときには、終了ボタンを操作する。Ｓ１０１において、演奏者が終了ボタンを操作したことを検出して、合奏を終了する。検出していないときは、Ｓ９１に処理を戻し、演奏を再開できるように待機する。

上述した説明では、オーディオ・ミキサーＡ１，Ｂ２、Ｃ３…が、インターネットに接続できる通信機能を有し、遠隔地にある他のオーディオ・ミキサーとの間で、演奏開始信号や演奏情報を送受信するものとした。このような構成に代えて、それぞれ、各オーディオ・オーディオ・ミキサーＡ１，Ｂ２、Ｃ３に、上述した通信機能を備えるパーソナルコンピュータを接続し、このパーソナルコンピュータに上述した各種の信号や演奏情報の送受信を行わせるようにしてもよい。
また、オーディオ・ミキサーＡ１，Ｂ２、Ｃ３は、ミキシング機能を実現するソフトウェアプログラムがインストールされ、かつ、外部機器からオーディオ信号やMIDIデータ等の演奏情報の入出力が可能なパーソナルコンピュータで構成されてもよい。

上述した説明では、ネットワークとして、IPプロトコルが規定されているインターネットを利用している。インターネットへのアクセス手段は、固定電話回線、携帯電話回線、LAN（Local Area Network）など、何でもよい。また、LAN上にオーディオ・ミキサーＡ１，Ｂ２、Ｃ３…が接続されて配置されていてもよい。
また、上述した通信遅延時間測定信号、演奏開始信号、演奏情報等が転送できればよいので、特にIPプロトコルを用いなくても、専用のプロトコルを構築すれば、任意の通信回線を利用して転送させることができる。

上述した説明において、電波時計は、正確なテンポ、具体例によっては正確な時刻をメンテナンスフリーで得るために用いている。GPS（全地球測位システム：Global Positioning Systems）を用いても、正確な時間および時刻を知ることができるので、電波時計の代わりにGPSを用いてもよい。
また、誤差や時刻合わせの手数が問題にならないときは、水晶時計を用いるだけでもよい。

上述した説明では、聴取側のオーディオ・ミキサーＡ１には、マイクロフォン、電子楽器等の演奏装置が接続されていないものとした。これに代えて、聴取側のオーディオ・ミキサーＡ１においても、第３の演奏者、あるいは、聴取者自身が、通信遅延時間ゼロとして、演奏情報を入力してミキシングするようにしてもよい。
上述した説明では、既存のオーディオ・ミキサーあるいはパーソナルコンピュータを前提として本発明の実施の一形態を説明した。これに代えて、既存のカラオケ装置や電子楽器等、他の装置において本発明の機能を実現するようにしてもよい。

本発明の実施の一形態を説明するためのシステム構成図である。 図１に示したオーディオ・ミキサーに共通するハードウェア構成の一例を示すブロック図である。 通信遅延時間測定用の測定信号および応答信号、演奏開始信号を説明するためのシーケンス図である。 図１に示したオーディオ・ミキサーの動作を説明するためのフローチャートである。 図４に示した発音処理のステップの詳細を示すフローチャートである。

符号の説明

１…オーディオ・ミキサーＡ、２…オーディオ・ミキサーＢ、３…オーディオ・ミキサーＣ、１１…楽音信号受信・ミキシング部、１２…通信遅延時間測定部、１３…演奏開始信号送信部、２２…通信遅延時間測定応答部、２３…演奏開始信号受信部、１４，２４，３４…電波時計、２５…報知音発生部

Claims (3)

1. 複数の演奏情報発信装置とオーディオ・ミキサー装置とが通信ネットワークを介して接続され、前記各演奏情報発信装置における各演奏者の演奏による楽音信号を前記オーディオ・ミキサー装置においてミキシングする合奏システムであって、
   前記オーディオ・ミキサー装置は、
   当該設置場所における標準時の受信により時刻基準を較正する第１の計時手段と、
   前記各演奏情報発信装置から送信された演奏情報を受信し、該演奏情報に基づいて楽音信号をミキシングする楽音信号受信・ミキシング手段と、
   前記各演奏情報発信装置との間の通信遅延時間に応じて、前記各演奏情報発信装置に対し、該通信遅延時間の相対時間差を相殺するように演奏開始タイミングを設定させるための演奏開始信号を、前記各演奏情報発信装置に送信する演奏開始信号送信手段を有し、
   前記各演奏情報発信装置は、
   当該設置場所における標準時の受信により時刻基準を較正する第２の計時手段と、
   前記演奏者の演奏による演奏情報を送信する演奏情報送信手段と、
   前記オーディオ・ミキサー装置から送信された演奏開始信号に基づいて前記演奏開始タイミングを設定し、前記演奏者に対し演奏開始を促す報知をするとともに、該演奏開始を促す報知の後は、前記第２の計時手段による時刻に従って、前記演奏者に対し正確なテンポに従った演奏操作を促す報知をする報知手段を有する、
   ことを特徴とする合奏システム。
2. 前記第１の計時手段、および、前記第２の計時手段は電波時計である、
   ことを特徴とする請求項１に記載の合奏システム。
3. 前記オーディオ・ミキサー装置は、遅延時間測定手段を有し、
   該遅延時間測定手段は、前記各演奏情報発信装置に測定信号を送信し応答信号を受信することにより通信遅延時間を測定し、
   前記オーディオ・ミキサー装置における演奏開始信号送信手段は、前記演奏開始信号により、前記通信遅延時間と前記応答信号に含まれる前記第２の計時手段の時刻と前記第１の計時手段の時刻とに基づいて、前記演奏開始タイミングを前記各演奏情報発信装置における前記第２の計時手段が計時する時刻で通知し、
   前記各演奏情報発信装置は、遅延時間測定応答手段を有し、
   該遅延時間測定応答手段は、前記応答信号に、当該演奏情報発信装置における前記第２の計時手段の時刻を含めて返信し、
   前記各演奏情報発信装置における報知手段は、前記演奏開始信号により通知された前記演奏開始タイミングの時刻に従って、前記演奏開始タイミングを設定する、
   ことを特徴とする請求項１または２に記載の合奏システム。

Images