JP5729393B2 - 演奏システム - Google Patents

Description

本発明は、映像に同期して自動演奏する技術に関する。

遠隔地での楽器演奏を自動演奏装置の自動演奏で再現する技術がある。特許文献１は、自動演奏に用いられるＭＩＤＩデータ等の演奏データと、配信映像及び配信音声を示すオーディオビデオ信号とを別系統の伝送系統で送受信するシステムにおいて、オーディオビデオ信号と演奏データとを、受信側のシステムで同期再生することを開示している。具体的には、送信側のシステムは、クリック信号を発生させた場合、クリック信号をオーディオ信号に含ませて送信する一方で、クリック発生時刻を示すクリックタイムデータに、送信側のシステムの内部時計に基づいてタイプスタンプを付加して送信する。受信側のシステムは、クリック信号を受信した時刻をクリックタイムデータが示す時刻とするように内部時計を補正し、補正した内部時計を基に映像に同期した自動演奏を行う。

特開２００５−８４５７８号公報

特許文献１が開示する技術では、送信側のシステムは、内部時計に基づいて特定したクリック発生時刻と、内部時計とは関係なしに発生させたクリック信号とを別の伝送系統で、かつ、ほぼ同時に送信する。しかしながら、受信側のシステムでクリック信号とクリックタイムデータとを受信したときのこれらの相対的な遅延については、特許文献１が開示する技術では特に考慮されていない。この技術では、クリック信号とクリックタイムデータとの時間差が所定の時間間隔内であるもの同士を同一時刻のものとして対応付けるが、例えば一方の伝送系統の通信遅延が極端に大きい場合には、ほぼ同時に送信されたクリック信号とクリックタイムデータとの対応付けが正しく行われず、受信側のシステムで内部時計を正しく補正できないことがある。
本発明は上述した課題に鑑みてなされたものであり、その目的は、動画配信サーバを経由する通信経路の状態の影響を抑えつつ、複数の自動演奏装置で配信映像に同期した自動演奏を行うことである。

上述した目的を達成するために、本発明に係る演奏システムは、演奏情報を出力する複数の演奏情報出力装置と、記憶装置と、映像及び音声を配信する動画配信サーバの配信映像に同期して前記演奏情報を再生する複数の自動演奏装置と、を備える演奏システムであって、前記演奏情報出力装置は、前記複数の演奏情報出力装置で互いに異なるように割り当てられた識別子を記憶する第１識別子記憶手段と、演奏情報を生成する演奏情報生成手段と、時刻を計る計時手段と、前記演奏情報生成手段で演奏情報が生成される毎に、前記第１識別子記憶手段に記憶された識別子と、前記計時手段で計られている時刻を示す時刻情報と、当該演奏情報との組である演奏データを、前記動画配信サーバを経由せずに前記記憶装置に送信する第１演奏データ送信手段とを有し、前記複数の演奏情報出力装置の少なくとも一部の演奏情報出力装置が、前記計時手段で計られている時刻を示す同期信号を、前記音声の音声信号の伝送経路を用いて前記動画配信サーバへ送信する同期信号送信手段を有し、前記記憶装置は、前記第１演奏データ送信手段により送信された演奏データを受信する第１演奏データ受信手段と、前記第１演奏データ受信手段が受信した演奏データを記憶する演奏データ記憶手段と、前記演奏データ記憶手段が前記受信した演奏データを記憶することと並行して、前記演奏データ記憶手段が記憶する演奏データを、前記動画配信サーバを経由せずに前記複数の自動演奏装置のいずれかへ送信する第２演奏データ送信手段とを有し、前記自動演奏装置は、前記第１識別子記憶手段に記憶される識別子のいずれかであって、前記複数の自動演奏装置で互いに異なるように割り当てられた識別子を記憶する第２識別子記憶手段と、前記第２演奏データ送信手段により送信された演奏データを受信する第２演奏データ受信手段と、前記同期信号送信手段により送信された同期信号を、前記伝送経路を用いて前記動画配信サーバから受信する同期信号受信手段と、前記第２演奏データ受信手段が受信した前記第２識別子記憶手段に記憶された識別子が含まれる演奏データの時刻情報が示す時刻と、前記同期信号受信手段が受信した同期信号が示す時刻とに応じたタイミングで、当該同期信号が配信された時刻の配信映像に同期して当該演奏データの演奏情報を再生する再生手段とを有することを特徴とする。
本発明によれば、動画配信サーバを経由する通信経路の状態の影響を抑えつつ、複数の自動演奏装置で配信映像に同期した自動演奏を行うことができる。

本発明において、前記複数の演奏情報出力装置は、１の第１の演奏情報出力装置と、それ以外である第２の演奏情報出力装置とを含み、前記第１の演奏情報出力装置が前記同期信号送信手段を有し、かつ、当該同期信号送信手段は前記動画配信サーバ及び前記第２の演奏情報出力装置のそれぞれに共通の前記同期信号を送信し、前記第２の演奏情報出力装置は、前記同期信号送信手段により送信された同期信号を受信し、受信した同期信号が示す時刻に基づいて、前記複数の演奏情報出力装置の計時部が計る時刻が一致するように自装置の計時部の時刻を補正する計時補正手段を有し、前記複数の自動演奏装置の同期信号受信手段は、前記同期信号送信手段により送信された共通の前記同期信号を受信するようにしてもよい。

本発明において、前記自動演奏装置は、自装置に割り当てられる識別子を設定して、前記第２識別子記憶手段に記憶させる第２識別子設定手段と、前記第２識別子設定手段で設定された識別子、又は自装置以外で設定可能な識別子を、前記第２識別子設定手段により識別子が未設定であるいずれか１つの自動演奏装置に送信する第２識別子送信手段とを有し、前記第２識別子設定手段は、自装置以外の第２識別子送信手段により送信された識別子を受信した場合、受信した識別子に基づいて自装置に割り当てられる識別子を設定するようにしてもよい。
本発明において、前記第１及び第２の演奏情報出力装置は、自装置に割り当てられる識別子を設定して、前記第１識別子記憶手段に記憶させる第１識別子設定手段と、前記第１識別子設定手段で設定された識別子、又は自装置以外で設定可能な識別子を、前記第１識別子設定手段により識別子が未設定であるいずれか１つの演奏情報出力装置に送信する第１識別子送信手段とを有し、前記第１識別子設定手段は、自装置以外の第１識別子送信手段により送信された識別子を受信した場合、受信した識別子に基づいて自装置に割り当てられる識別子を設定するようにしてもよい。

演奏システム１００の概略構成を示す図。 送信側システム１の構成を示すブロック図。 サーバ装置２０のハードウェア構成を示すブロック図。 受信側システム３の構成を示すブロック図。 同期信号のデータ構造を示す図。 演奏データ群２４１のデータ構造を示す図。 演奏システム１００の機能的構成を示す機能ブロック図。 演奏システム１００の処理手順を示すシーケンスチャート。 演奏システム１００の処理手順を示すシーケンスチャート。 送信側システム１の機能的構成を示す機能ブロック図。 受信側システム３の機能的構成を示す機能ブロック図。 送信側システム１の機能的構成を示す機能ブロック図。 受信側システム３の機能的構成を示す機能ブロック図。 楽器ＩＤの設定手順を説明する図。 演奏システム１００の機能的構成を示す機能ブロック図。 演奏テーブルのフォーマットを例示した図。 演奏システム１００の機能的構成を示す機能ブロック図。 合成部１０５の回路構成を示す図。 分離部３０２の回路構成を示す図。 同期信号のデータ構造を示す図。

１…送信側システム、１０，１０ａ，１０ｂ…楽器端末、１００…演奏システム、１０１…ビデオカメラ、１０２…ＨＤＤレコーダ、１０３…遅延装置、１０４，３０１…ＰＣ、１０５…合成部、１１…制御部、１１１，３１１…計時部、１１２…演奏情報生成部、１１３…第２演奏データ送信部、１１４…同期信号送信部、１１５…同期信号受信部、１１６…計時補正部、１１７ａ，１１７ｂ…第１楽器ＩＤ設定部、１１８…第１楽器ＩＤ送信部、１２…記憶部、１３…楽音生成部、１４…スピーカ、１５…操作部、１６…表示部、１７…通信部、１８…演奏部、１９…信号送信部、２０…サーバ装置、２１…制御部、２１１…第１演奏データ受信部、２１２…第２演奏データ送信部、２２…第１通信部、２３…第２通信部、２４…記憶部、２４１，２４１ａ、２４１ｂ…演奏データ群、３…受信側システム、３０…自動演奏楽器、３０２…分離部、３１…制御部、３１２…第２演奏データ受信部、３１３…バッファリング部、３１４…同期信号受信部、３１５…計時補正部、３１６…補正部、３１７ａ，３１７ｂ…第２楽器ＩＤ設定部、３１８…第２楽器ＩＤ送信部、３２…記憶部、３３…操作部、３４…表示部、３５…信号受信部、３６…通信部、３７…データバッファ、３８…演奏部、４０…動画配信サーバ、９０…通信ネットワーク。

［第１実施形態］
（演奏システム１００の構成）
以下、図面を参照しつつ本発明の一実施形態について説明する。
図１は、この実施形態の演奏システム１００の概略構成を示す図である。図１に示すように、演奏システム１００は、送信側システム１と、サーバ装置２０と、受信側システム３とを備え、これらは通信ネットワーク９０経由で接続されている。通信ネットワーク９０は、ここではインターネットを含む通信網である。通信ネットワーク９０には、演奏システム１００の各装置のほかに、動画配信サーバ４０が接続されている。動画配信サーバ４０は、不特定のユーザが閲覧可能な映像及び音声を含む動画を配信する、いわゆる動画共有サービスを提供するものである。動画配信サーバ４０は、ビデオストリーミングなどのプラットフォームを提供し、映像及び音声を含む動画（以下、「ライブ動画」という。）を配信することができるものである。この実施形態では、動画配信サーバ４０は、送信側システム１及び受信側システム３の双方と通信可能であり、送信側システム１から提供されるライブ動画を、受信側システム３に配信する機能を実現する。
なお、本実施形態のライブ動画には、撮影が行われてから、遅延処理によって所定時間遅延させて配信される動画も含む。

送信側システム１は、コンサート等の楽器演奏が行われる場所に構成されるものである。送信側システム１は、例えば、楽器演奏の様子を撮影した映像を動画配信サーバ４０に配信するために必要な設備や、受信側システム３でその楽器演奏を自動演奏で再現させるために必要な設備を備える。受信側システム３は、楽器演奏の観客側の場所に構成されるものであり、楽器演奏の様子を撮影した映像をユーザが視聴するために必要な設備や、その楽器演奏を自動演奏により再現するために必要な設備を備える。サーバ装置２０は、送信側システム１及び受信側システム３の双方と通信可能であり、自動演奏に必要なデータを、両システムの間で中継する役割を担う記憶装置である。

送信側システム１は、互いに異なる２種類の通信経路で受信側システム３にデータを送信する。第１に、送信側システム１は、通信ネットワーク９０及びサーバ装置２０を経由し、かつ、動画配信サーバ４０を経由しない第１経路で、演奏データを送信する。演奏データについては詳しくは後述する。第２に、送信側システム１は、通信ネットワーク９０及び動画配信サーバ４０を経由し、かつ、サーバ装置２０を経由しない第２経路で、ライブ動画の放映に用いられる映像信号などのデータを送信する。また、この第２経路で送信されるデータには、さらに、受信側システム３側で映像信号が示す映像と、演奏データに基づいて行われる自動演奏とを同期させるために用いられる同期信号も含まれる。同期信号は、Ｌ，Ｒチャネルである２チャネルの音声信号の伝送経路を介して送受信される。
第１経路及び第２経路は、各々、通信ネットワーク９０を経由するから一部の経路は共通するが、他の経路は異なっている。このように第１経路及び第２経路は、互いに独立した伝送系統といえるから、通信状況（例えば、通信遅延の程度）が相違することがある。

（送信側システム１の構成）
図２は、送信側システム１の構成を示すブロック図である。図２に示すように、送信側システム１は、楽器端末１０と、ビデオカメラ１０１と、ＨＤＤ（HardDisk Drive）レコーダ１０２と、ＰＣ（Personal Computer）１０４とにより構成される。
まず、楽器端末１０の構成を説明する。楽器端末１０は、ここでは電子ピアノであり、制御部１１と、記憶部１２と、楽音生成部１３と、スピーカ１４と、操作部１５と、表示部１６と、通信部１７と、演奏部１８と、信号送信部１９とを備える。図２に示すように、スピーカ１４を除く楽器端末１０の各部はバスによって互いに接続され、バスを介して各部間で信号の遣り取りが行われる。

制御部１１は、ＣＰＵ（Central Processing Unit）や、楽器端末１０の各部を制御するためのプログラムを記憶したＲＯＭ（Read Only Memory）、プログラムを実行する際のワークエリアとして使用されるＲＡＭ（Random Access Memory）を備える。ＣＰＵは、ＲＯＭに記憶されているプログラムを実行して、楽器端末１０の各部を制御する。制御部１１は計時部１１１を備え、計時部１１１により日時（ここでは、現在日時）を計る。また、制御部１１は、演奏部１８にされた操作（以下、「演奏操作」という。）に応じてＭＩＤＩ（Musical Instrument Digital Interface：登録商標）メッセージを生成したり、生成したＭＩＤＩメッセージと、その演奏が行われた日時を示す日時情報と、自身の楽器端末１０を識別する識別子（以下、「楽器ＩＤ」という。）との組である演奏データを生成したりする。ＭＩＤＩメッセージは、楽器端末１０で行われた演奏内容を示すＭＩＤＩ形式の演奏情報である。日時情報は、日付を示す日付情報と、時刻を示す時刻情報との双方を含む情報である。
なお、楽器端末１０で演奏が行われた日時は、計時部１１１が計時する日時により特定される。

また、制御部１１は、動画配信サーバ４０の配信映像に同期して自動演奏を行うために用いられる同期信号を生成する。図６は、同期信号のデータ構造を示す図である。図６に示すように、同期信号は、「楽器ＩＤ」と「タイムコード」とをそれぞれ示す信号である。タイムコードは、計時部１１１が計る日時であり、送信側システム１から動画配信サーバ４０に、映像信号及び同期信号が送信される日時（つまり、絶対時刻を含む。）とみなすことができる。タイムコードは、これら各信号を受信した受信側システム３で、動画配信サーバ４０から配信された映像がどの日時の演奏に対応しているのかを特定するために用いられる。なお、同期信号は、ホワイトノイズと似た周波数成分となるように生成され、人間が同期信号に応じた音を聞いた場合に耳障りにならないものであることが好ましい。
なお、計時部１１１が計る日時は、楽器端末１０ａ，１０ｂとで一致する場合を想定するが、この実施形態ではこれらの一致を必須の条件とはしない。

記憶部１２は、不揮発性メモリを備え、楽器端末１０を識別する楽器ＩＤ等を記憶する第１識別子記憶手段である。ここでは、楽器端末１０ａの記憶部１２は、自楽器に割り当てられた楽器ＩＤとして「０００１」を記憶する。楽器端末１０ｂの記憶部１２は、自楽器に割り当てられた楽器ＩＤとして「０００２」を記憶する。楽器ＩＤは、製造段階で予め決められていてもよいし、楽器端末１０の利用者により設定されたものでもよいし、演奏開始時に制御部１１により自動で設定されてもよい。楽音生成部１３は、ＭＩＤＩメッセージに基づいて、ＭＩＤＩメッセージに応じた楽音信号を生成し、生成した楽音信号をスピーカ１４に供給する。スピーカ１４は、楽音生成部１３により生成された楽音信号に応じて、楽器端末１０の演奏音を出力するものである。操作部１５は、楽器端末１０を操作するための各種ボタンを備え、ユーザから楽器端末１０に対する各種指示の入力が行われるものである。表示部１６は、液晶ディスプレイを備え、楽器端末１０を操作するための各種画面を表示する。

通信部１７は、通信ネットワーク９０に接続し、通信ネットワーク９０経由で通信を行うためのインタフェースを備える。演奏部１８は、例えば複数の鍵を備え、楽器端末１０の演奏者であるユーザにより演奏操作されることで、楽器端末１０の演奏が行われる。演奏部１８は、ユーザにより鍵が操作されると、その鍵の操作に応じた操作信号を制御部１１に出力する。信号送信部１９は、ＨＤＤレコーダ１０２と接続するためのオーディオケーブルが接続される端子を有し、制御部１１から供給される同期信号を、この端子に接続されるオーディオケーブルを介してＨＤＤレコーダ１０２に送信する。
以上の構成の楽器端末１０は、演奏情報を生成して出力する演奏情報出力装置として機能する。楽器端末１０の構成の説明は以上である。

ビデオカメラ１０１は、ユーザが楽器端末１０を演奏している様子等を撮影して、その映像（映像）を示す映像信号を生成するものである。ビデオカメラ１０１は、生成した映像信号を、ＨＤＤレコーダ１０２に送信する。ＨＤＤレコーダ１０２は、ビデオカメラ１０１から送信された映像信号と、信号送信部１９から送信された同期信号とを、同じ時間軸上で日時毎に対応させて一時的に自身のＨＤＤに記録するビデオレコーダである。この記録において、ＨＤＤレコーダ１０２は、ステレオチャネルのうち、Ｌチャネルを用いて楽器端末１０ａからの同期信号を記録し、Ｒチャネルを用いて楽器端末１０ｂからの同期信号を記録する。

また、ＨＤＤレコーダ１０２は、遅延装置１０３を内蔵する。遅延装置１０３は、ＨＤＤに記録した映像信号及び同期信号に対して遅延処理を施す。この遅延処理は、例えば１分間程度、ＨＤＤレコーダ１０２からの各信号の送信タイミングを遅延するために行われるものである。この遅延処理を行う理由は、自動演奏ピアノ３０における自動演奏をより確実に行えるようにするためであるが、その作用については後述する。
なお、各日時の映像信号及び同期信号の時間軸上での関係は、遅延処理が施された後も、遅延処理前から変化することはないものとする。また、遅延装置１０３がＨＤＤレコーダ１０２に内蔵されるのではなく、ＨＤＤレコーダ１０２とＰＣ１０４との間に外部接続されていてもよい。

ＰＣ１０４は、通信ネットワーク９０に接続するインタフェースを備え、ＨＤＤレコーダ１０２から送信される映像信号及び同期信号を、通信ネットワーク９０経由で動画配信サーバ４０に送信する。動画配信サーバ４０は、ＰＣ１０４から受信した映像信号及び同期信号を配信する。これら配信された各信号は、受信側システム３で受信される。
なお、動画配信サーバ４０が、映像信号及び同期信号をＰＣ１０４から受信したときから、これらを受信側システム３に配信するときまでに、例えば１分間程度要する。この遅延は、動画配信サーバ４０で意図的な遅延処理によって奏するものであり、一般的な動画共有サービスでも採られることがある。
以上のように、送信側システム１は、動画配信サーバ４０を経由して、ストリーミング形式で各種信号を送信するものとみなしてよい。

（サーバ装置２０の構成）
図３は、サーバ装置２０のハードウェア構成を示すブロック図である。図３に示すように、サーバ装置２０は、制御部２１と、第１通信部２２と、第２通信部２３と、記憶部２４とを備える。
制御部２１は、ＣＰＵや、サーバ装置２０の各部を制御するためのプログラムを記憶したＲＯＭ、プログラムを実行する際のワークエリアとして使用されるＲＡＭを備える。ＣＰＵは、ＲＯＭに記憶されているプログラムを実行して、サーバ装置２０の各部を制御する。第１通信部２２は、通信ネットワーク９０に接続するインタフェースを備え、楽器端末１０と通信する。第２通信部２３は通信ネットワーク９０に接続するインタフェースを備え、自動演奏ピアノ３０と通信する。第１通信部２２及び第２通信部２３という２つの通信手段が設けられるのは、制御部２１が楽器端末１０から演奏データを受信して記憶部２４に記憶する処理と、記憶部２４から演奏データを読み出して自動演奏ピアノ３０へ送信する処理とを、並行して行うことを可能にするためである。よって、この並行処理が実現可能である限り、これら各通信手段はそれぞれ独立していなくてもよい。

記憶部２４は、ハードディスク装置を備え、楽器端末１０から送信される演奏データにより構成される演奏データ群２４１ａ，２４１ｂや、演奏システム１００でのサーバの機能を実現するサーバプログラムを記憶する。制御部２１のＣＰＵはサーバプログラムを実行して、楽器端末１０から受信した演奏データを記憶部２４に記憶させたり、記憶部２４に記憶された演奏データを自動演奏ピアノ３０へ送信したりする。ここでは、楽器端末１０ａから受信した演奏データからなる演奏データ群を、「演奏データ群２４１ａ」とし、楽器端末１０ｂからの演奏データからなる演奏データ群を、「演奏データ群２４１ｂ」とする。

図５は、演奏データ群２４１ａ，ｂのデータ構造を示す図である。演奏データ群２４１ａ，ｂにあっては、楽器端末１０での各演奏に対応する演奏データが、楽器ＩＤ、日時情報及びＭＩＤＩメッセージの組で構成される。例えば、楽器端末１０ａで押鍵操作が行われた場合、図５（ａ）の第１行に示すように、楽器端末１０の楽器ＩＤ「０００１」と、その押鍵操作が行われた日時を示す日時情報「2010-12-28T19:00:00:00」（２０１０年１２月２８日１９時００分００秒００であることを示す。）と、演奏情報「ＭＩＤＩメッセージ＃ａ１」という組の演奏データが、演奏データ群２４１ａに含まれる。他の行及び演奏データ群２４１ｂの各行に対応する演奏データも、これと同様のデータ構造である。以下、演奏データ群２４１ａ，２４１ｂを特に区別する必要しない場合には、「演奏データ群２４１」と総称することがある。

（受信側システム３の構成）
図４は、受信側システム３の構成を示すブロック図である。図４に示すように、受信側システム３は、２台の自動演奏ピアノ３０ａ，３０ｂとＰＣ３０１とにより構成される。なお、自動演奏ピアノ３０ａ，３０ｂはそれぞれ共通の構成であるから、以下の説明でこれらを特に区別する必要がない場合は、「自動演奏ピアノ３０」と総称することがある。ＰＣ３０１は、通信ネットワーク９０経由で動画配信サーバ４０と通信し、動画配信サーバ４０から配信された映像信号及び同期信号を受信する。ＰＣ３０１は、受信した信号のうち映像信号を再生して、自身又は外部のモニタを用いてライブ動画を出力する。また、ＰＣ３０１は、映像信号と同時に再生される同期信号を、オーディオケーブルで接続された自動演奏ピアノ３０ａ，３０ｂへ送信する。ここでは、ＰＣ３０１は、楽器端末１０ａの楽器ＩＤを自動演奏ピアノ３０ａに送信し、楽器端末１０ｂの楽器ＩＤを自動演奏ピアノ３０ｂに送信するように、自動演奏ピアノ３０ａ，３０ｂのそれぞれと接続される。

次に、自動演奏ピアノ３０の構成を説明する。自動演奏ピアノ３０は、ＭＩＤＩメッセージに基づいて自動演奏を行う機能を有する。自動演奏ピアノ３０は、制御部３１と、記憶部３２と、操作部３３と、表示部３４と、信号受信部３５と、通信部３６と、データバッファ３７と、演奏部３８とを備える。自動演奏ピアノ３０の各部はバスによって互いに接続され、バスを介して各部間で信号の遣り取りが行われる。

制御部３１は、ＣＰＵ、自動演奏ピアノ３０の各部を制御するためのプログラムを記憶したＲＯＭ、ＲＡＭなどを備えている。制御部３１のＣＰＵは、ＲＯＭに記憶されているプログラムを読み出して実行することにより、自動演奏ピアノ３０の各部を制御する。また、制御部３１は計時部３１１を備え、計時部３１１により日時を計る。また、制御部３１は、ＰＣ３０１から信号受信部３５により受信した同期信号から楽器ＩＤ及びタイムコードを復号して、復号結果を記憶部３２に記憶させる。制御部３１は、復号したタイムコードに基づいて計時部３１１が計る日時を補正したり、復号した楽器ＩＤを用いて再生対象の演奏データを特定したりする。また、制御部３１は、通信部３６により受信した演奏データをデータバッファ３７にバッファリングし、それと並行して、データバッファ３７にバッファリングされた演奏データを読み出し、その演奏データに含まれるＭＩＤＩメッセージを再生して、演奏部３８に演奏させる（つまり、自動演奏を行う）。
記憶部３２は、ハードディスク装置を備え、各種プログラム等を記憶する。記憶部３２は、自動演奏ピアノ３０によりＰＣ３０１から同期信号が受信されると、この同期信号が示す楽器ＩＤを記憶する第２識別子記憶手段である。記憶部３２は、自動演奏ピアノ３０毎に異なる楽器ＩＤを予め記憶しているが、同期信号が受信されると、その同期信号が示す楽器ＩＤを新たに記憶する。操作部３３は、自動演奏ピアノ３０を操作するための各種ボタンを備え、ユーザから自動演奏ピアノ３０に対する各種指示の入力が行われるものである。表示部３４は、液晶ディスプレイを備え、自動演奏ピアノ３０を操作するための各種画面を表示する。

信号受信部３５は、ＰＣ３０１と接続するためのオーディオケーブルを接続する端子を有し、この端子とオーディオケーブルを介して接続されるＰＣ３０１から送信された同期信号を受信する。通信部３６は、通信ネットワーク９０に接続するインタフェースを備え、サーバ装置２０と通信する。データバッファ３７は、制御部３１により演奏データがバッファリングされるバッファ領域を有する。制御部３１は、データバッファ３７にバッファリングされた演奏データを読み出し、その演奏データに含まれるＭＩＤＩメッセージを、その演奏データに含まれる日時情報と、ＰＣ３０１から受信された同期信号が示す特定したタイムコードとに応じたタイミングで演奏部３８に供給することにより、ＭＩＤＩメッセージを再生する。このＭＩＤＩメッセージにより自動演奏ピアノ３０から演奏音が出力される。

演奏部３８は、演奏データから抽出されたＭＩＤＩメッセージに従って演奏音を出力するほか、ユーザによる図示せぬ鍵の操作に応じて打弦による演奏音を出力する。前者を「自動演奏」と呼び、後者を「手動演奏」という。
演奏部３８は、駆動機構３８ａと、キーセンサ３８ｂと、ペダルセンサ３８ｃと、ピアノ電子回路３８ｄと、ピアノ音源３８ｅと、ミキサ３８ｆと、アンプ３８ｇと、スピーカ３８ｈとを有している。駆動機構３８ａは、複数の鍵や複数のペダルのほか、各鍵に対応して設けられた駆動ソレノイド群等を有している。キーセンサ３８ｂ及びペダルセンサ３８ｃは、手動演奏を行うための構成であり、複数の鍵やペダルの各々に対応して設けられている。キーセンサ３８ｂ及びペダルセンサ３８ｃは、鍵及びペダルを押したときの強さや深さなどを検出し、検出した鍵やペダルを特定するキー番号、ペダル番号、ベロシティ情報等を含む検出結果を、ピアノ電子回路３８ｄに供給する。ピアノ電子回路３８ｄは、自動演奏を行う場合、ＭＩＤＩメッセージをピアノ音源３８ｅに供給する。ピアノ音源３８ｅは、ＭＩＤＩメッセージにより指示された演奏音を出力するためのオーディオ信号を生成する。また、ピアノ電子回路３８ｄは、ＭＩＤＩメッセージに従って、駆動機構３８ａが備える駆動ソレノイド群を制御する。具体的には、ピアノ電子回路３８ｄは、ある演奏音についてノートオン（押鍵）のＭＩＤＩメッセージを受け取った場合に、その演奏音の鍵に対応したソレノイドに駆動電流を流し、鍵を押下させるのに必要な磁力をソレノイドにより発生させる。一方、ある演奏音についてノートオフ（離鍵）のイベントを受け取った場合、ピアノ電子回路３８ｄは、その演奏音の鍵に対応したソレノイドに駆動電流を流し、鍵を離鍵させるのに必要な磁力をソレノイドにより発生させる。また、ピアノ電子回路３８ｄは、手動演奏を行う場合、キーセンサ３８ｂ及びペダルセンサ３８ｃから供給される検出結果に基づいてイベントを生成し、そのイベントをピアノ音源３８ｅに供給する。ピアノ音源３８ｅは、このＭＩＤＩメッセージに従って、指示された演奏音を出力するためのオーディオ信号を生成する。
上記のようにしてピアノ音源３８ｅにより生成されたオーディオ信号は、ミキサ３８ｆへ出力される。ミキサ３８ｆは、ピアノ音源３８ｅから出力されるオーディオ信号を、必要に応じて他のオーディオ信号と混合してアンプ３８ｇに出力する。この信号はアンプ３８ｇによって増幅され、スピーカ３８ｈから演奏音として出力される。

（演奏システム１００の機能的構成）
図７は、自動演奏に関する演奏システム１００の機能的構成を示す機能ブロック図である。
楽器端末１０は、計時部１１１と、演奏情報生成部１１２と、第１演奏データ送信部１１３と、同期信号送信部１１４とに相当する機能を実現する。サーバ装置２０は、第１演奏データ受信部２１１と、第２演奏データ送信部２１２とに相当する機能を実現する。自動演奏ピアノ３０は、計時部３１１と、第２演奏データ受信部３１２と、バッファリング部３１３と、同期信号受信部３１４と、計時補正部３１５と、再生部３１６とに相当する機能を実現する。
計時部１１１は、上述したように日時を計る。演奏情報生成部１１２は、演奏部１８の演奏操作に応じて、楽器端末１０の演奏情報としてＭＩＤＩメッセージを生成する。第１演奏データ送信部１１３は、演奏情報生成部１１２で演奏情報（ＭＩＤＩメッセージ）が生成される毎に、計時部１１１で計られている日時を示す日時情報と、その演奏情報と、記憶部１２に記憶された楽器ＩＤとの組である演奏データをサーバ装置２０に送信する。同期信号送信部１１４は、計時部１１１で計られている日時であるタイムコード及び記憶部１２に記憶された楽器ＩＤを示す同期信号を生成し、生成した同期信号を動画配信サーバ４０に送信する。

第１演奏データ受信部２１１は、第１演奏データ送信部１１３により送信された演奏データを受信する。第１演奏データ受信部２１１が受信した演奏データは演奏データ群２４１に含められる。第２演奏データ送信部２１２は、記憶部２４に演奏データが記憶されることと並行して、記憶部２４が記憶する演奏データ群２４１のうち、自動演奏ピアノ３０から受信した演奏データ要求メッセージであって楽器ＩＤ及び日時情報を含む演奏データ要求メッセージに応じた演奏データを、自動演奏ピアノ３０へ送信する。具体的には、第２演奏データ送信部２１２は、演奏データ要求メッセージに含まれる日時情報が示す日時から開始して当該日時の時系列順に、演奏データ要求メッセージと共通する楽器ＩＤを含む演奏データを送信する。

計時部３１１は、上述したように日時を計る。第２演奏データ受信部３１２は、第２演奏データ送信部２１２により送信された演奏データを、動画配信サーバ４０を経由しないで受信する。第２演奏データ受信部３１２は、演奏データ要求メッセージをサーバ装置２０に送信して、その演奏データ要求メッセージに応じてサーバ装置２０により送信された演奏データを受信する。バッファリング部３１３は、第２演奏データ受信部３１２が受信した演奏データをバッファ領域にバッファリングする。同期信号受信部３１４は、同期信号送信部１１４により動画配信サーバ４０経由で送信された同期信号を受信する。計時補正部３１５は、計時部３１１が計時する日時を、同期信号を復号して得られるタイムコードに基づいて補正する。計時補正部３１５は、例えば、タイムコードと一致する日時を計るように、計時部３１１が計る日時を補正する。

再生部３１６は、第２演奏データ受信部３１２が受信した演奏データであって、自装置に割り当てられ記憶部３２に記憶された楽器ＩＤを含む演奏データの日時情報が示す日時と、同期信号受信部３１４が受信した同期信号が示すタイムコード（つまり、補正後の計時部３１１が計る日時）とに応じたタイミングで、当該同期信号が配信された時刻の配信映像に同期して当該演奏データのＭＩＤＩメッセージを再生する。例えば、再生部３１６は、計時部３１１が計る日時と演奏データに含まれる日時情報が示す日時とを所定の関係となるように連動させ、配信映像と演奏音とを同期させるべく、ＭＩＤＩメッセージの再生の間隔を日時情報で規定される長さから変更したり、ＭＩＤＩメッセージを再生するときのテンポを変えたり、再生するＭＩＤＩメッセージを変更したりする（つまり、スキップしたりする）。ここでは、再生部３１６は、計時部３１１が計時する日時から予め決められた時間前（ここでは、５００ミリ秒前）を示す日時情報を含む演奏データのＭＩＤＩメッセージを、バッファリング部３１３から取得してこれを再生する。ＭＩＤＩメッセージを演奏部３８に供給してから、上述したように演奏部３８の各部が動作して、そのＭＩＤＩメッセージの再生に応じた演奏音が出力されるまでには、ある程度の時間を要する（つまり、演奏部３８で処理の遅延が生じる）。そこで、この処理遅延を見越して、再生部３１６が各演奏情報の再生タイミングを定めることで、ライブ動画と再生部３１６のＭＩＤＩメッセージの再生により出力される演奏音とが同期する。この再生タイミングについては、例えばＰＣ３０１がライブ動画を表示する際の処理遅延を考慮して定められてもよい。

（実施形態の動作）
次に、演奏システム１００の動作を説明する。
まず、ユーザが楽器端末１０の電源を入れると、制御部１１のＲＯＭに記憶されているプログラムをＣＰＵが実行する。そして、楽器端末１０は、電子ピアノの機能を実現し、また通信ネットワーク９０と通信を行うことが可能となる。
次に、楽器端末１０ａ，１０ｂの制御部１１は、演奏の開始に先立って、自楽器の演奏を再現する自動演奏を行わせる自動演奏ピアノ３０を決定するべく、記憶部１２に記憶された楽器ＩＤを示す同期信号を生成し、信号送信部１９によりＨＤＤレコーダ１０２に送信する。ＨＤＤレコーダ１０２は、Ｌチャネルで楽器端末１０ａからの楽器ＩＤ「０００１」を受信し、Ｒチャネルで楽器端末１０ｂからの楽器ＩＤ「０００２」を受信して、これらを記録する。そして、ＨＤＤレコーダ１０２は、楽器ＩＤ「０００１」，「０００２」を、それぞれ独立した伝送経路であるＬ，Ｒチャネルの伝送経路を用いて動画配信サーバ４０に送信する。動画配信サーバ４０は配信映像に同期して、各時刻の同期信号をＰＣ３０１に送信する。ＰＣ３０１は、Ｌチャネルで受け取った同期信号を自動演奏ピアノ３０ａに送信し、Ｒチャネルで受け取った同期信号を自動演奏ピアノ３０ｂに送信する。自動演奏ピアノ３０ａ，３０ｂの制御部３１は、受信した同期信号が示す楽器ＩＤを、自装置の記憶部３２に記憶させる。これにより、自動演奏ピアノ３０ａの記憶部３２には、楽器ＩＤ「０００１」が記憶され、自動演奏ピアノ３０ｂの記憶部３２には、楽器ＩＤ「０００２」が記憶される。記憶部３２に楽器ＩＤが記憶されることで、各自動演奏ピアノ３０の楽器ＩＤの設定が完了する。
以上が、楽器演奏の開始前に行われる動作である。なお、受信側システム３側にいるユーザが楽器ＩＤを知ることができる場合（例えば、ｗｅｂページで通知するなど）、そのユーザの手入力によって、自動演奏ピアノ３０ａ，３０ｂに対して楽器ＩＤが設定されてもよい。自動演奏ピアノ３０に設定される楽器ＩＤは、楽器端末１０ａ，１０ｂの記憶部１２に記憶されている楽器ＩＤのいずれかであって、自動演奏ピアノ３０ａ，３０ｂで互いに異なるように割り当てられた楽器ＩＤであれば、どのような形式のものでもよい。

次に、演奏開始後の動作について図８，９を参照しつつ説明する。図８，９は、自動演奏の際の楽器端末１０、サーバ装置２０及び自動演奏ピアノ３０が実行する処理手順を示すシーケンスチャートである。
ユーザが楽器端末１０の鍵を押鍵すると（ステップＳ１）、制御部１１は、ノートオンのメッセージ、押下された鍵に対応するノート番号、鍵にされた操作に対応するベロシティなどの演奏動作の情報を含むＭＩＤＩメッセージを生成する。また、制御部１１は、計時部１１１を用いて、このノートオンのＭＩＤＩメッセージを生成した日時を示す日時情報を生成する。制御部１１は、生成した演奏情報、日時情報、及び記憶部１２に記憶されている楽器ＩＤを含む演奏データを生成して、通信部１７によりサーバ装置２０へ送信する（ステップＳ２）。
一方で、制御部１１は、ＭＩＤＩメッセージを楽音生成部１３へ送る。楽音生成部１３は、ＭＩＤＩメッセージが供給されると、ＭＩＤＩメッセージで指定されるノート番号およびベロシティに対応した楽音の信号を生成し、生成した信号をスピーカ１４に供給する。楽音生成部１３から供給された信号がスピーカ１４に供給されると、供給された信号に応じて楽音がスピーカ１４から放音される。

サーバ装置２０の制御部２１は、楽器端末１０から送信された演奏データを第１通信部２２により受信すると、受信した演奏データを記憶部２４に記憶させる（ステップＳ３）。例えば、制御部２１は、日時情報「2010-12-28T19:00:00:00」と、楽器ＩＤ「０００１」と、演奏情報「ＭＩＤＩメッセージ♯ａ１」とを組とした演奏データを楽器端末１０ａから受信すると、これを演奏データ群２４１ａに含ませるように記憶部２４に記憶させる（図５（ａ）の第１行参照）。
次に、楽器端末１０の制御部１１は、計時部１１１が計る日時を示すタイムコード、及び記憶部１２に記憶された楽器ＩＤを符号化して同期信号を生成して、信号送信部１９によりこれをＨＤＤレコーダ１０２に送信する（ステップＳ４）。この同期信号は、ＰＣ１０４により、ＨＤＤレコーダ１０２から動画配信サーバ４０に送信される。上述したように、楽器端末１０ａは楽器ＩＤ「０００１」を示す同期信号を送信し、楽器端末１０ｂは楽器ＩＤ「０００２」を示す同期信号を送信する。本実施形態では、制御部１１は、計時部１１１が計る日時に基づいて、１秒間に１回だけ同期信号を送信するものとする。
なお、同期信号は遅延装置１０３による遅延処理を経るとともに、動画配信サーバ４０を経由する。本実施形態では、遅延装置１０３の遅延処理によって、ある時刻に生成された同期信号が受信側システム３で受信される時刻は、同時刻に生成された演奏情報を含む演奏データがサーバ装置２０に受信されるときよりも２分程度遅延する。

次に、楽器端末１０において、押下された鍵からユーザが指を離すと（ステップＳ５）、制御部１１は、ノートオフのメッセージ、離鍵された鍵に対応するノート番号、鍵にされた操作に対応するベロシティなどの演奏動作の情報を含むＭＩＤＩメッセージを生成する。また、制御部１１は、このノートオフのＭＩＤＩメッセージを生成した日時を示す日時情報を計時部１１１を用いて生成する。制御部１１は、生成したＭＩＤＩメッセージ、日時情報及び記憶部１２に記憶されている楽器ＩＤを含む演奏データを生成して、通信部１７により送信する（ステップＳ６）。また、制御部１１は、ＭＩＤＩメッセージを楽音生成部１３へ送る。楽音生成部１３は、ノートオフのＭＩＤＩメッセージが供給されると、ＭＩＤＩメッセージで指定されるノート番号に対応した楽音の信号の生成を停止する。これにより、楽音のスピーカ１４からの演奏音の出力が停止する。

楽器端末１０から送信された演奏データを第１通信部２２により受信すると、制御部２１は、受信した演奏データを記憶部２４に記憶させる（ステップＳ７）。
ここで、制御部２１は、日時情報「2010-12-28T19:00:02:24」と、楽器ＩＤ「０００１」と、「ＭＩＤＩメッセージ♯ａ２」との組である演奏データを楽器端末１０から受信すると、これを演奏データ群２４１ａに含ませるように、記憶部２４に記憶する（図５（ａ）の第２行参照）。
以降も、楽器端末１０は、演奏操作がある毎に演奏情報を生成して、通信部１７により演奏データをサーバ装置２０に送信する。サーバ装置２０にあっては、楽器端末１０から演奏データを第１通信部２２により受信すると、制御部２１は、受信した演奏データを記憶部２４に記憶させる。また、楽器端末１０は、１秒毎に同期信号を送信する処理を繰り返す（ステップＳ８，Ｓ９）。
以上のような演奏データの送信及び記憶と並行して、サーバ装置２０と自動演奏ピアノ３０との間では、以下のような自動演奏に係る処理が実行される。これにより、サーバ装置２０には、図５に示されるような演奏データ群２４１が記憶されているものとする。

自動演奏ピアノ３０の制御部３１は、楽器端末１０により送信された同期信号がＰＣ３０１によって受信されると、信号受信部３５を介してこれを受信する。次に、制御部３１は、受信した同期信号を復号して、楽器ＩＤ及びタイムコードをそれぞれ特定する（ステップＳ１０）。この楽器ＩＤ及びタイムコードによれば、ＰＣ３０１で出力されるライブ動画が、どの楽器によりどの日時に撮影されたかを特定することができる。
制御部３１は、記憶部３２に記憶された楽器ＩＤに従って、再生対象のＭＩＤＩメッセージを含む演奏データをサーバ装置２０から取得する。

次に、制御部３１は、記憶部３２に記憶した楽器ＩＤと共通する楽器ＩＤを含む同期信号に基づいて、ステップＳ１０の処理で特定したタイムコードに従って、計時部３１１が計る日時を補正する（ステップＳ１１）。ここでは、制御部３１は、タイムコードが示す日時と共通する日時に補正する。これにより、楽器端末１０ａの計時部１１１が計る日時と、自動演奏ピアノ３０ａの計時部３１１が計る日時とが同期する。また、楽器端末１０ｂの計時部１１１が計る日時と、自動演奏ピアノ３０ｂの計時部３１１が計る日時とが同期する。

次に、制御部３１は、ステップＳ１１の処理で特定した楽器ＩＤ及びタイムコードに基づいて、楽器ＩＤ及び日時情報を含む演奏データ要求メッセージを送信する（ステップＳ１２）。ここでは、制御部３１は、最新のタイムコードが示す日時及び記憶部３２に記憶された楽器ＩＤを指定して、演奏データ要求メッセージを送信する。
なお、上述したように、ＨＤＤレコーダ１０２は遅延装置１０３を有しており、楽器端末１０側から１分程度遅れてタイムコード及び楽器ＩＤがＰＣ３０１で受信される。これに対し、楽器端末１０からサーバ装置２０への演奏データの送信には、このような遅延を意図的に生じさせていない。自動演奏ピアノ３０が送信要求する演奏データは、サーバ装置２０に確実に記憶されていると考えられる。

サーバ装置２０の制御部２１は、第２通信部２３により演奏データ要求メッセージを受信すると、記憶部２４に記憶された演奏データ群２４１に基づいて、当該送信要求メッセージで指定される日時の日時情報を含む演奏データから開始して、当該日時の時系列順に、演奏データ要求メッセージと共通の楽器ＩＤを含む演奏データを送信する（ステップＳ１３）。ここでは、自動演奏ピアノ３０ａからの演奏データ要求メッセージで指定される日時が「２０１０年１２月２８日の１９時００分００秒００」で、かつ、楽器ＩＤが「０００１」であれば、制御部２１は、日時情報「2010-12-28T19:00:00:00」を含む演奏データから送信し、それに続けて、「2010-12-28T19:00:02:24」に対応する演奏データ、「2010-12-28T19:00:03:59」に対応する演奏データを順次送信する。一方、自動演奏ピアノ３０ｂからの演奏データ要求メッセージで指定される日時が「２０１０年１２月２８日の１９時００分００秒００」で、かつ、楽器ＩＤが「０００２」であれば、制御部２１は、日時情報「2010-12-28T19:00:00:02」を含む演奏データから送信し、それに続けて、「2010-12-28T19:00:01:43」に対応する演奏データ、「2010-12-28T19:00:04:21」に対応する演奏データを順次送信する。

このように、自動演奏ピアノ３０ａ，３０ｂのそれぞれが、自装置に対応する楽器端末１０からの一の同期信号を受信したことを契機に、複数の演奏データを時系列順に次々と受信する。一方で、サーバ装置２０の制御部２１は、自動演奏ピアノ３０に送信した演奏データや既に過ぎた日時の日時情報を含む演奏データを、記憶部２４に残しておく。これにより、楽器端末１０で演奏が行われたときからある程度の時間が経過した後であっても、自動演奏ピアノ３０が演奏データを取得して、演奏情報を再生することも可能である。また、このような演奏データの蓄積により、自動演奏ピアノ３０のデータバッファ３７のバッファ領域の記憶容量を小さくすることができる。

自動演奏ピアノ３０の制御部３１は、通信部３６により演奏データを受信すると、それをデータバッファ３７に順次バッファリングする（ステップＳ１４）。このとき、制御部３１は、データバッファ３７の記憶容量に対するバッファ量が閾値以上になった場合など、演奏データの受信及びバッファリングを一時的に停止する場合には、演奏データの消失を防ぐため、その停止をサーバ装置２０に要求するとよい。

次に、自動演奏ピアノ３０の制御部３１は、通信部３６により受信した演奏データの日時情報が示す日時と、計時部３１１が計時する日時（つまり、受信した同期信号が示すタイムコード）とに応じたタイミングで、ＭＩＤＩメッセージを演奏部３８に供給して、ＭＩＤＩメッセージを再生する（ステップＳ１５）。ここでは、制御部３１は、計時部３１１が計時する日時よりも５００ミリ秒前の日時情報との組であるＭＩＤＩメッセージを再生する。換言すると、計時部３１１が計時する日時が、ＭＩＤＩメッセージとの組である日時情報が示す日時の５００ミリ秒前になると、そのＭＩＤＩメッセージを再生する。このように、計時部３１１の補正に用いた同期信号の配信時刻の映像が出力されるときに、制御部３１は、この同期信号が示すタイムコードを用いて、ＭＩＤＩメッセージの再生タイミングを調整して、同期再生（自動演奏）を実現する。
以上の自動演奏において、自動演奏ピアノ３０ａは楽器端末１０ａから送信された同期信号に応じて、楽器端末１０ａにより生成された演奏データのＭＩＤＩメッセージの再生タイミングを調整し、自動演奏ピアノ３０ｂは楽器端末１０ｂから送信された同期信号に応じて、楽器端末１０ｂにより生成された演奏データのＭＩＤＩメッセージの再生タイミングを調整する。このように独立した同期信号に応じて、自動演奏ピアノ３０ａ，３０ｂのそれぞれでＭＩＤＩメッセージの再生タイミングが調整されるが、それぞれの同期信号は同じ時間軸で記録・伝送されるため、楽器端末１０ａ，１０ｂの計時部１１１が計る日時が同期しているか否かに関わらず、自動演奏ピアノ３０ａ，３０ｂの自動演奏が同期する。
なお、制御部３１は、再生した演奏データについてはデータバッファ３７から消去して、その記憶容量を確保する。

制御部３１は、以降引き続き、データバッファ３７から時系列順にＭＩＤＩデータを読み出して再生する。同期信号が受信されない期間も、制御部３１は計時部３１１の計る日時に従って各演奏データのＭＩＤＩメッセージを再生するので、このときライブ動画と自動演奏とが同期する。
そして、自動演奏ピアノ３０の制御部３１は、動画配信サーバ４０から同期信号を受信する（ステップＳ１６）。この場合も、制御部３１は、受信した同期信号を復号して、楽器ＩＤ及びタイムコードをそれぞれ特定する（ステップＳ１７）。そして、制御部３１はステップＳ１５の処理で特定したタイムコードに従って、計時部３１１が計る日時を補正する（ステップＳ１８）。そして、制御部３１は、上記手順で、ＰＣ３０１が出力する映像に同期するタイミングで、ＭＩＤＩメッセージを再生する。
そして、制御部３１は、データバッファ３７の記憶容量が閾値以下になった場合などは、再び、サーバ装置２０に対して演奏データ要求メッセージを送信する（ステップＳ１９）。このときも制御部３１は、計時部３１１が計る日時を指定して演奏データ要求メッセージを自動演奏ピアノ３０に送信する。そして、制御部３１は、演奏データ要求メッセージに応じて受信した演奏データを、データバッファ３７にバッファリングして（ステップＳ２０）、上記手順でＭＩＤＩメッセージに基づく自動演奏を継続する。
以上のような動作が、楽器端末１０の演奏が終了して自動演奏ピアノ３０の自動演奏が終了するまで継続して行われる。

以上説明した第１実施形態の演奏システム１００では、動画画配信サーバ４０を経由する通信経路の状態の影響を抑えつつ、複数の自動演奏装置３０で配信映像に同期した自動演奏を行うことができる。具体的には、動画配信サーバ４０を経由するのは、各楽器端末１０から送信された同期信号であって、音声信号の伝送経路を楽器端末１０毎に分けて送信された同期信号である。よって、受信側システム３の自動演奏ピアノ３０ａ，３０ｂはそれぞれ、自装置に割り当てられる楽器ＩＤを、各々独立した伝送経路で送信される同期信号から特定することができる。これにより、自動演奏ピアノ３０ａ，３０ｂのそれぞれが、映像に同期再生すべきＭＩＤＩメッセージを含む演奏データをサーバ装置２０から取得して、取得したＭＩＤＩメッセージを再生することができる。
また、演奏データは、動画配信サーバ４０を経由しない。よって、動画配信サーバ４０に多数のアクセスがあったり、何らかの原因でシステムダウンが発生したり、また、通信状態によって同期信号、映像信号及び音声信号の配信が遅延した場合であっても、自動演奏ピアノ３０はこれとは別経路で受信する演奏データで、自動演奏を行うことができる。また、自動演奏ピアノ３０のユーザにしてみれば、仮にライブ動画が一時的に途絶えても、自動演奏ピアノ３０の自動演奏が継続する分だけ、その演奏音が途切れることによる違和感を持つことがない。また、自動演奏ピアノ３０は、タイムコードに従って日時を特定するので、仮に、動画配信サーバ４０の各信号の配信が中断し、その後復旧した場合であっても、その復旧後のタイミングから自動演奏を開始することができる。
また、本実施形態では、映像と同期して鍵等の演奏部３８の各部が動作し、楽器端末１０の動きを再現することにもなるので、自動演奏ピアノ３０のユーザは遠隔地にいながら演奏会場の臨場感を味わうことができる。

また、同時に複数の会場に送信側システム１が構成されて、生演奏が行われている場合にも、本発明を適用可能である。この場合、動画配信サーバ４０がチャネル毎に各送信側システム１（演奏会場）が割り当てられていればよいだけである。すなわち、ＰＣ３０１で現在設定されているチャネルに対応した同期信号が、自動演奏ピアノ３０では受信される。チャネルの切り替えがあってから自動演奏ピアノ３０が受信した同期信号に基づいて、自動演奏ピアノ３０は楽器ＩＤ及び日時情報を特定し、自動演奏を行うことができる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。
上述した第１実施形態では、楽器端末１０及び自動演奏ピアノ３０がそれぞれ２台ずつである構成で、各自動演奏ピアノ３０に送信される同期信号を、楽器端末１０がＬ，Ｒチャネルの伝送経路を用いて送信していた。この構成では、ビデオカメラ１０１での収音音声を示す音声信号は送信されず、受信側システム３ではこの音声信号が示す音声を出力することができない。これに対し、この第２実施形態では、ＰＣ３０１からのこの音声出力を可能にしている。すなわち、この実施形態の演奏システム１００では、Ｌ，Ｒチャネルの２チャネルのうち、一方のチャネルを同期信号が伝送し、他方のチャネルをビデオカメラ１０１の収音音声を示す音声信号が伝送する。なお、自動演奏ピアノ３０に割り当てられる楽器ＩＤは、それぞれ受信側システム３側のユーザにより手動設定されるものとする。以下の説明において、この実施形態の演奏システムの構成のうち、第１実施形態と共通するものは同一の符号を付して表し、それらの構成の説明及び図示を適宜省略する。

図１０は、送信側システム１のうち楽器端末１０ａ，１０ｂの機能構成を示すブロック図である。図１１は、受信側システム３のうち自動演奏ピアノ３０ａ，３０ｂの機能構成を示すブロック図である。
この実施形態では、楽器端末１０ａがマスタ端末（第１の楽器）となって、それ以外である楽器端末１０ｂがスレーブ端末（第２の楽器）となり、楽器端末１０ｂは楽器端末１０ａから受信する同期信号に従って動作する。具体的には、楽器端末１０ａの同期信号送信部１１４は、楽器端末１０ａの楽器ＩＤとタイムコードとを示す同期信号を、動画配信サーバ４０（自動演奏ピアノ３０）だけでなく、スレーブ端末である楽器端末１０ｂにも送信する。すなわち、自動演奏ピアノ３０のそれぞれと、楽器端末１０ｂに送信される同期信号はすべて共通する。

楽器端末１０ｂの同期信号受信部１１５は、楽器端末１０ａから送信された同期信号を受信する。計時補正部１１６は、同期信号受信部１１５で受信された同期信号から特定したタイムコードに基づいて、このタイムコードの日時に一致させるように、楽器端末１０ｂの計時部１１１が計る日時を補正する。これにより、楽器端末１０ａ，１０ｂの計時部１１１が計る日時が一致する。このように、本実施形態では、計時補正部１１６による補正後は、楽器端末１０ａ，１０ｂの計時部１１１が計る日時が互いに同期している必要がある。
これにより、楽器端末１０ａ，１０ｂから送信される演奏データにおいて、例えば同時に行われた演奏に対応する演奏データには、同日時の同時刻を示す日時情報が含まれる。

図１１に示すように、自動演奏ピアノ３０ａ，３０ｂの各同期信号受信部３１４は、それぞれ共通の同期信号を受信する。そして、再生部３１６は、第１実施形態と同様にして、この同期信号から得たタイムコードに応じたタイミングで、演奏データのＭＩＤＩメッセージを再生する。同期信号には楽器端末１０ａの楽器ＩＤが含まれるが、自動演奏ピアノ３０ａ，３０ｂはタイムコードを参照し、自装置の記憶部３２に記憶された楽器ＩＤに従ってサーバ装置２０から受信する演奏データを選別する。自動演奏ピアノ３０ａ，３０ｂが演奏データを受信した以降の動作は、上述した第１実施形態と同じである。上述したように、楽器端末１０ａ，１０ｂの計時部１１１は同期しているから、受信側システム３の複数の自動演奏ピアノ３０が共通の同期信号のタイムコードに従って自動演奏を行っても、本来一致すべき自動演奏ピアノ３０同士の演奏タイミングがずれてしまうことがない。
以上の構成によれば、ＰＣ３０１で映像及び音声を含むライブ動画を出力しつつ、この映像に同期する自動演奏を実現することができる。同期信号を複数端末に供給するために、ＰＣ１０４やＰＣ３０１がこれらを分配する機能を有してもよいし、別途設けられた信号処理装置がこの機能を実現してもよい。

［第３実施形態］
次に、本発明の第３実施形態について説明する。
上述した第２実施形態では、共通の同期信号が自動演奏ピアノ３０ａ，３０ｂの双方に送信される構成であるため、それぞれ楽器ＩＤを手入力で設定する必要があった。これに対し、この実施形態では、楽器端末１０及び自動演奏ピアノ３０の双方が、楽器ＩＤを自動設定する機能を有している。以下の説明において、この実施形態の演奏システムの構成のうち、第１実施形態と共通するものは同一の符号を付して表し、それらの構成の説明及び図示を適宜省略する。
図１２は、送信側システム１のうち楽器端末１０ａ，１０ｂの機能構成を示すブロック図である。図１３は、受信側システム３のうち自動演奏ピアノ３０ａ，３０ｂの機能構成を示すブロック図である。

楽器端末１０ａにおいて、第１楽器ＩＤ設定部１１７ａは、楽器端末１０ａに割り当てられる楽器ＩＤを設定して、記憶部１２に記憶させる。マスタ端末である楽器端末１０ａでは、第１楽器ＩＤ設定部１１７ａが楽器ＩＤ「０００１」を設定するものとする。また、第１楽器ＩＤ設定部１１７ａは、楽器端末１０ａの楽器ＩＤを予め決められた規則で変換することで、楽器端末１０ｂに割り当てられる楽器ＩＤを生成する。ここでは、第１楽器ＩＤ設定部１１７ａは、楽器端末１０ａの楽器ＩＤ「０００１」に「１」を加算して、楽器ＩＤ「０００２」を生成し、これを第１楽器ＩＤ送信部１１８に供給する。第１楽器ＩＤ送信部１１８は、第１楽器ＩＤ設定部１１７ａからの楽器ＩＤ「０００２」を、楽器ＩＤが未設定である楽器端末１０ｂに送信する。この楽器ＩＤの伝送経路は、同期信号の伝送経路とは異なるものである。
楽器端末１０ｂにおいて、第１楽器ＩＤ設定部１１７ｂは、第１楽器ＩＤ送信部１１８から送信された楽器ＩＤを受信し、この楽器ＩＤを、楽器端末１０ｂに割り当てられる楽器ＩＤとして設定する。すなわち、第１楽器ＩＤ設定部１１７ｂは、楽器ＩＤ「０００２」を楽器端末１０ｂに割り当てられる楽器ＩＤとして、記憶部１２に記憶させる。
以上の手順により、楽器端末１０，１０ｂの楽器ＩＤの設定が完了したことになる。

図１３に示すように、自動演奏ピアノ３０ａの同期信号受信部３１４は、楽器端末１０ａの同期信号送信部１１４で送信された同期信号を受信する。第２楽器ＩＤ設定部３１７ａは、同期信号受信部３１４で受信された同期信号が示す楽器ＩＤと同一である楽器ＩＤを、自動演奏ピアノ３０ａの楽器ＩＤとして設定し、記憶部３２に記憶させる。また、第２楽器ＩＤ設定部３１７ａは、自動演奏ピアノ３０ａに設定された楽器ＩＤを、楽器端末１０と共通する規則で変換することで、自動演奏ピアノ３０ｂに割り当てられる楽器ＩＤを生成する。つまり、ここでは、第２楽器ＩＤ設定部３１７ａは、自動演奏ピアノ３０ａの楽器ＩＤ「０００１」に「１」を加算して、楽器ＩＤ「０００２」を生成し、これを第２楽器ＩＤ送信部３１８に供給する。第２楽器ＩＤ送信部３１８は、第２楽器ＩＤ設定部３１７ａからの楽器ＩＤ「０００２」を、楽器ＩＤが未設定である自動演奏ピアノ３０ｂに送信する。

自動演奏ピアノ３０ｂは、第２楽器ＩＤ設定部３１７ｂを実現する。第２楽器ＩＤ設定部３１７ｂは、第２楽器ＩＤ送信部３１８から送信された楽器ＩＤを受信し、この楽器ＩＤを、自動演奏ピアノ３０ｂに割り当てられる楽器ＩＤとして設定する。すなわち、第２楽器ＩＤ設定部３１７ｂは、楽器ＩＤ「０００２」を、自動演奏ピアノ３０ｂに割り当てられる楽器ＩＤとして、自装置の記憶部３２に記憶させる。
以上の手順により、自動演奏ピアノ３０ａ，３０ｂの楽器ＩＤの設定が完了したことになる。
以降、上述した第２実施形態と同じ手順で、自動演奏が実現されることになる。この実施形態によれば、送信側システム１及び受信側システム３の双方で事前に楽器ＩＤを設定する必要がなく、その手間を省くことができる。
なお、ここでは、各楽器端末１０ａが楽器ＩＤの送信先である楽器端末１０ｂの楽器ＩＤを生成していたが、楽器端末１０ａが自楽器の楽器ＩＤを楽器端末１０ｂに送信し、楽器端末１０ｂが楽器端末１０ａの楽器ＩＤを変換して、自楽器に割り当てられる楽器ＩＤを生成し設定してもよい。同様に、自動演奏ピアノ３０ａが自装置の楽器ＩＤを自動演奏ピアノ３０ｂに送信し、自動演奏ピアノ３０ｂが自動演奏ピアノ３０ａの楽器ＩＤを変換して、自装置に割り当てられる楽器ＩＤを設定してもよい。また、楽器ＩＤの変換の仕方は、予め決められた規則に従っており、かつ、この規則が楽器端末１０と自動演奏ピアノ３０とで共通していればよく、例えばインクリメントに代えてデクリメントにしてもよい。

［他の実施形態］
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。なお、以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。なお、以下の説明において、実施形態と同じ符号を付した構成要素は実施形態と同じものであるから、その説明を適宜省略する。
（変形例１）
上述した各実施形態の演奏システム１００では、楽器端末１０及び自動演奏ピアノ３０がそれぞれ２台ずつであった。これに対し、第２及び第３実施形態の構成で、楽器端末１０及び自動演奏ピアノ３０をそれぞれ３台以上とすることも可能である。
第２実施形態の構成であれば、スレーブ端末となる楽器端末１０が複数になるだけであり、このスレーブ端末となる楽器端末１０のそれぞれにおいて、マスタ端末である楽器端末１０からの同期信号に基づいて、計時補正部１１６が計時部１１１が計る日時を補正すればよい。また、自動演奏ピアノ３０においても、第２演奏データ受信部３１２は、受信した同期信号に含まれる楽器ＩＤを無視して、タイムコードに基づいてサーバ装置２０から演奏データを受信すればよい。

第３実施形態の構成であれば、図１４に示される手順で楽器ＩＤが設定される。
まず、楽器端末１０ａが自楽器の楽器ＩＤ「０００１」を設定すると、この楽器ＩＤに「１」を加算した楽器ＩＤ「０００２」を生成し、楽器端末１０ｂに送信する。楽器端末１０ｂは、楽器端末１０ａからの楽器ＩＤ「０００２」を自楽器の楽器ＩＤとして設定するとともに、この楽器ＩＤに「１」を加算した楽器ＩＤ「０００３」を生成し、楽器端末１０ｃに送信する。楽器端末１０ｃは、楽器端末１０ｂからの楽器ＩＤ「０００３」を生成し、自楽器の楽器ＩＤとして設定する。楽器端末１０ｃは、この楽器ＩＤに「１」を加算した楽器ＩＤ「０００４」を生成し、楽器ＩＤが未設定である１つの楽器端末１０に送信する。このように、送信側システム１では、楽器端末１０の数に応じて楽器ＩＤの設定及び送信が繰り返される。

一方、楽器端末１０ａは、自楽器の楽器ＩＤ「０００１」を自動演奏ピアノ３０ａに送信する。自動演奏ピアノ３０ａが自装置の楽器ＩＤ「０００１」を設定すると、この楽器ＩＤに「１」を加算した楽器ＩＤ「０００２」を生成し、自動演奏ピアノ３０ｂに送信する。自動演奏ピアノ３０ｂは、自動演奏ピアノ３０ａからの楽器ＩＤ「０００２」を自装置の楽器ＩＤとして設定するとともに、この楽器ＩＤに「１」を加算した楽器ＩＤ「０００３」を生成し、自動演奏ピアノ３０ｃに送信する。自動演奏ピアノ３０ｃは、自動演奏ピアノ３０ｂからの楽器ＩＤ「０００３」を自装置の楽器ＩＤとして設定する。自動演奏ピアノ３０ｃは、この楽器ＩＤに「１」を加算した楽器ＩＤ「０００４」を生成し、楽器ＩＤが未設定である１つの自動演奏ピアノ３０に送信する。このように、受信側システム３でも、自動演奏ピアノ３０の数に応じて楽器ＩＤの設定及び送信が繰り返される。

以上の手順によれば、楽器端末１０及び自動演奏ピアノ３０がいくつずつあっても、楽器ＩＤの自動設定を実現することができる。また、この構成でも、例えばインクリメントに代えてデクリメントにしてもよい。また、マスタ端末である楽器端末１０ａが、設定可能である複数の楽器ＩＤのセットを予め生成しておき、各楽器端末１０がこのセットから楽器ＩＤを１つだけ選択して自楽器の楽器ＩＤとするとともに、残りの楽器ＩＤを別の楽器端末１０が設定可能な楽器ＩＤとして、楽器ＩＤが未設定である１つの楽器端末１０に送信してもよい。同様に、自動演奏ピアノ３０ａが、設定可能である複数の楽器ＩＤのセットを楽器端末１０ａから受信すると、各自動演奏ピアノ３０がこのセットから楽器ＩＤを１つだけ選択して自楽器の楽器ＩＤとするとともに、残りの楽器ＩＤを別の自動演奏ピアノ３０が設定可能な楽器ＩＤとして、楽器ＩＤが未設定である１つの自動演奏ピアノ３０に送信するようにしてもよい。
なお、楽器端末１０と自動演奏ピアノ３０との一方についてだけ、手動により楽器ＩＤが設定されてもよい。
また、第１実施形態の構成でも、音声信号の伝送経路が「３」以上あれば、その同数の楽器端末１０及び自動演奏ピアノ３０で自動演奏を実現可能である。この場合、この伝送経路のチャネル数と同数の楽器端末１０が、上述の同期信号送信部１１４を実現することとなる。

（変形例２）
上述した実施形態及び各変形例では、楽器端末１０と自動演奏ピアノ３０とが同数であったが、互いの数が異なっていてもよい。
例えば、楽器端末１０の数よりも自動演奏ピアノ３０の数が少ないのであれば、自動演奏ピアノ３０が複数の楽器の楽器ＩＤを記憶して、対応する複数の楽器端末１０で生成された演奏データをサーバ装置２０から受信して、受信したすべての演奏データに基づいてＭＩＤＩメッセージを再生するとよい。また、楽器端末１０の数よりも自動演奏ピアノ３０の数が多いのであれば、１の楽器端末１０の楽器ＩＤが複数の自動演奏ピアノ３０に割り当てられることで、複数の自動演奏ピアノ３０が同一の楽器に対応した自動演奏を行ってもよい。

（変形例３）
上述した各実施形態では、自動演奏ピアノ３０は、同期信号の受信を契機に、演奏データ要求メッセージをサーバ装置２０に送信して、データバッファ３７にバッファリングするための演奏データを受信していた。これに代えて、自動演奏ピアノ３０がデータバッファ３７を有さない構成であってもよい。図１５は、本変形例の演奏システム１００の機能的構成を示すブロック図である。これら機能のうち、上述した実施形態と同じ機能については同じ符号を付して表し、その説明を省略する。図１５に示すように、本実施形態では、自動演奏ピアノ３０がバッファリング部３１３を実現しない。

例えば、自動演奏ピアノ３０とサーバ装置２０との間とが、高速のデータ通信が可能である通信路を介して接続される場合など、信頼性の高い通信路でこれらが接続される場合、自動演奏ピアノ３０とサーバ装置２０との間の通信遅延と、演奏部３８が演奏情報が供給されてから演奏音を出力するまでの時間との合計時間を、ある程度正確に特定することができる。そこで、制御部３１は、計時部３１１が計る日時からおよそこの合計時間分前の日時情報を含む演奏データを受信するように、演奏データ要求メッセージをサーバ装置２０に送信する。そして、制御部３１は、演奏データを受信するとこれをＲＡＭに記憶させて、その演奏データに含まれるＭＩＤＩメッセージを、動画配信サーバ４０の配信映像に同期するタイミングで読み出して再生する。
この変形例では、サーバ装置２０の記憶部２４がデータバッファ３７と同等の機能を果たすこということもでき、自動演奏ピアノ３０の構成を簡略化することもできる。

（変形例４）
上述した各実施形態では、自動演奏ピアノ３０の制御部３１は、所定の周期（ここでは、１秒間）で通信部３６により同期信号を受信する。この場合に、制御部３１はこの受信の周期よりも長い所定期間（例えば、１分間）内で同期信号が受信されなかった場合、ＭＩＤＩメッセージを継続して再生するが、この所定期間を超えて同期信号が受信されなかった場合、ＭＩＤＩメッセージの再生を中断してもよい。
例えば、動画配信サーバ４０に何らかのアクシデントが発生した場合、自動演奏ピアノ３０は演奏データを受信できるが、同期信号を受信できない状態が継続する。このとき、自動演奏ピアノ３０はアクシデントが発生した後で合っても、演奏データを受信することはできるので、自動演奏を継続することができる。よって、演奏システム１００によれば、自動演奏が突然停止するといった違和感をユーザが持つことがない。一方で、同期信号がある一定時間以上受信されないと、動画配信サーバ４０の配信映像と自動演奏のタイミングとが大きくずれてしまって、好ましくない事態になることが考えられる。よって、制御部３１は、同期信号がある程度受信できない場合であって、このような同期信号が受信されなくても問題ない期間を超えた場合には、演奏情報の演奏部３８への供給を停止して、自動演奏を中断する。
なお、この変形例において、自動演奏ピアノ３０は同期信号の受信が再開すると、自動演奏も再開するとよい。

（変形例５）
上述した各実施形態では、生演奏を撮影したライブ動画に同期する自動演奏の実現を前提としていたが、ライブ動画に代えて録画映像を用いた演奏システムにも本発明を適用可能である。この場合、サーバ装置２０は、演奏の収録時に演奏データを蓄積する。自動演奏を実現する機会には、サーバ装置２０が動画配信サーバ４０に対して蓄積しておいた映像信号及び同期信号を動画配信サーバ４０に送信する。そして、動画配信サーバ４０はこの映像信号及び同期信号を配信する。また、これらの信号の記録をＨＤＤレコーダ１０２が行ってもよい。一方、受信側システム３では、動画配信サーバ４０から受信した各信号に基づいて、上記実施形態と同様の手順で自動演奏を行う。
この変形例の構成で、サーバ装置２０は受信した演奏データをファイル化して記録してもよい。その理由は、例えばひとつの楽器端末１０が複数回の演奏を行った場合に、自動演奏したい演奏を区別できるようにしたい場合がある。また、サーバ装置２０において、コンサート単位や曲単位で演奏データをまとめておくことが、演奏データの管理上好ましい場合もあると考えられる。このファイル化について、手動によってコンサート単位や曲単位で複数の演奏情報がまとめられてファイル化されてもよいが、手動操作なしにこれを実現できることが好ましい。この場合、以下の手順でサーバ装置２０がファイル化を行うとよい。なお、この構成で、サーバ装置２０が日時を計る計時部を有しているものとする。

サーバ装置２０の制御部２１は、楽器端末１０の演奏中には、第１通信部２２により演奏データを受信してＲＡＭに記憶する。やがて、楽器端末１０の演奏が終了すると、楽器端末１０からサーバ装置２０に演奏データの送信が行われなくなる。楽器端末１０から演奏データの送信が行われなくなると、サーバ装置２０においては、自装置の計時部で計っている日時と、最後に受信した演奏データの日時情報が示す日時との差が次第に大きくなる。そこで、制御部２１は、自装置の計時部で計っている日時と、最後に受信した演奏データの日時情報が示す日時との差が閾値（ここでは、５秒）以上となると、楽器ＩＤ「０００１」で特定される楽器端末１０での演奏が終了したと判断する。この場合、制御部２１は、ＲＡＭに記憶した演奏データをファイル化して、記憶部２４に記憶する処理を行う。具体的には、制御部２１は、ＲＡＭに記憶されている演奏データのうち、ＲＡＭに記憶されている楽器ＩＤ「０００１」を含む全ての演奏データを一つのファイルとしてまとめた演奏ファイルを生成する。また、制御部２１は、演奏ファイルを一意に識別する演奏ファイル識別子を生成し、演奏ファイル識別子を含む演奏ファイルを記憶部２４に記憶させる。このファイル識別子は、例えばコンサート単位や曲単位である一群の演奏情報である演奏情報群に対して割り当てられる識別子であるといえる。
また、制御部２１は、演奏ファイルの演奏データに含まれている楽器ＩＤ、演奏ファイル中の演奏データに含まれている日時のうち最も早い日時情報が示す演奏開始日時と、最も遅い日時情報が示す演奏終了日時とを取得して、これらを対応付けて記憶してもよい。

図１６は、楽器ＩＤ、演奏開始日時、演奏終了日時及び演奏ファイル識別子の組を記述した演奏テーブルの構造を示す図である。記憶部２４は、この演奏テーブルを記憶している。例えば、演奏ファイル中の演奏データ含まれている場合において最も早い日時情報が「2010-12-28T19:00:00:00」、演奏の最後で楽器端末１０から送信された演奏データに含まれていた日時情報が「2010-12-28T19:31:23:05」、楽器ＩＤが「０００１」、ファイル識別子として「Ｆ０００１」が生成された場合、これらの情報が、図１６に示したように演奏テーブルの同じ行に格納される。このように、楽器端末１０の電源を入れた後にユーザが楽器端末１０で演奏を行うと、演奏の記録開始のためのボタン操作や終了のためのボタン操作をユーザが行わなくても、ユーザが行った演奏を表すＭＩＤＩメッセージを含む演奏ファイルがサーバ装置２０に記憶される。そして、上述した動作は、ユーザが演奏を行う度に行われ、サーバ装置２０においては、ユーザが行った演奏毎に演奏ファイルが記憶される。

そして、この変形例では、ファイル識別子により自動演奏ピアノ３０がサーバ装置２０から受信する演奏データを特定するとよい。よって、楽器ＩＤに代えて、又は楽器ＩＤと併用してファイル識別子を用いて、楽器端末１０が同期信号を生成して送信する。一方、自動演奏ピアノ３０は同期信号が示すファイル識別子を含む演奏データのみをサーバ装置２０から受信し、同期信号が示すファイル識別子を含まない演奏データを受信しないようにするとよい。
なお、この変形例のような録画映像の配信という態様によれば、映像のスキップや早送り、巻き戻しが行われて動画の再生位置が変更された場合でも、それに応じて動画配信サーバ４０から配信される信号が変更後の再生位置に対応したものとなるので、自動演奏ピアノ３０はその動画に同期した自動演奏を実現することができる。

（変形例６）
上述した第２，第３実施形態では、音声信号と同期信号とを別チャネルの音声信号の伝送経路を用いて送信していたが、いわゆる透かし技術を用いて音声信号に同期信号を重畳（合成）して送信してもよい。
図１７は、本変形例の演奏システム１００の機能的構成を示すブロック図である。これら機能のうち、上述した実施形態と同じ機能については同じ符号を付して表し、その説明を省略する。図１７に示すように、本変形例では、合成部１０５は送信側システム１側に構成されるが、楽器端末１０の外部に構成される。また、分離部３０２は受信側システム３に構成されるが、自動演奏ピアノ３０の外部に構成される。
合成部１０５は、例えば、音声信号を搬送するための搬送波を表す搬送波信号を透かし情報に基づいて位相変調することにより、音声信号の周波数成分よりも高い帯域に透かし情報を重畳（合成）する。また、合成部１０５は、いわゆるＯＦＤＭ（Orthogonal Frequency-Division Multiplexing）変調により、音声信号に透かし情報を合成してもよい。分離部３０２にあっては、合成部１０５での同期信号の合成の方式に応じた方式で、音声信号と同期信号とを分離する。また、以下の手順で合成及び分離を行ってもよい。

図１８は、同期信号Ｓを音声信号Ａと合成する合成部１０５の回路構成を示す図である。なお、以下では、音声信号Ａの位相を反転した信号を「音声信号−Ａ」と表し、同期信号Ｓの位相を反転した信号を「楽音信号−Ｓ」と表す。
合成部１０５は、入力端ｃ１、ｃ２を有している。入力端ｃ１は、音声信号Ａが入力されるものである。入力端ｃ２は、同期信号Ｓが入力されるものである。反転部ｃ３は、入力された信号の位相を反転して出力する。ここでは、反転部ｃ３は、入力端ｃ２に入力された同期信号Ｓの位相を反転して、同期信号−Ｓを出力する。加算部ｃ４，ｃ５は、それぞれ入力される信号どうしを加算して出力するものである。加算部ｃ４は、入力端ｃ１に入力される音声信号Ａと、反転部ｃ３から出力される同期信号−Ｓとを加算して、その加算結果を第１差信号ｍｄ（＝Ａ−Ｓ）として出力端ｃ６に出力する。すなわち、反転部ｃ３及び加算部ｃ４は、楽音信号と同期信号との差を表す差信号を生成するものである。加算部ｃ５は、入力端ｃ１に入力される音声信号Ａと、入力端ｃ２に入力される同期信号Ｓとを加算して、その加算結果を第１和信号ｍｓ（＝Ａ＋Ｓ）として出力端ｃ７に出力する。加算部ｃ５は、楽音信号と同期信号との和を表す和信号を生成する。
出力端ｃ６は、一方のチャネル（ここでは、Ｌチャネル）に対応しており、第１差信号ｍｄを出力する。出力端ｃ７は、他方のチャネル（ここでは、Ｒチャネル）に対応しており、第１和信号ｍｓを出力する。ＰＣ１０４は、このように符号化された２チャネルの信号を、音声信号の伝送経路を用いて動画配信サーバ４０に送信する。

図１９は、同期信号Ｓと音声信号Ａとを分離する分離部３０２の回路構成を示す図である。なお、以下では、第１差信号ｍｄの位相を反転した信号を「第１差信号−ｍｄ」と表し、第１和信号ｍｓの位相を反転した信号を「第１和信号−ｍｓ」と表す。また、信号「Ａ」、「Ｓ」の前に付した整数は、それぞれ信号「Ａ」、「Ｓ」の振幅をその整数倍にすることを意味する。
入力端ｃ１１は、Ｌチャネルに対応しており、第１差信号ｍｄ（＝Ａ−Ｓ）が入力されるものである。入力端ｃ１２は、Ｒチャネルに対応しており、第１和信号ｍｓ（＝Ａ＋Ｓ）が入力されるものである。反転部ｃ１３は、入力される信号の位相を反転して出力する。ここでは、反転部ｃ１３は、入力端ｃ１１に入力された第１差信号ｍｓの位相を反転して出力する。すなわち、反転部ｃ１３は、第１差信号ｍｄ（＝Ａ−Ｓ）が入力されると、その逆位相の信号である第１差信号−ｍｄ（＝−Ａ＋Ｓ）を出力する。加算部ｃ１４、ｃ１５は、それぞれ入力される信号どうしを加算して出力するものである。加算部ｃ１４は、反転部ｃ１３から出力される第１差信号−ｍｄ（＝−Ａ＋Ｓ）と、入力端ｃ１１に入力される第１和信号ｍｄ＝Ａ＋Ｓとを加算して、その加算結果を第２差信号ｄ（＝２Ｓ）として出力端ｃ１６に出力する。すなわち、反転部ｃ１３及び加算部ｃ１４は、第１和信号から第１差信号を減算したときの差を表す差信号を生成するものである。加算部ｃ１５は、入力端ｃ１１に入力される第１差信号ｍｄ（＝Ａ−Ｓ）と、入力端ｃ１２に入力される第１和信号ｍｓ（＝Ａ＋Ｓ）とを加算して、その加算結果を第２和信号ｄｓ（＝２Ａ）として出力端ｃ１７に出力する。すなわち、加算部ｃ１５は、第１差信号と第１和信号との和を表す和信号を生成するものである。
出力端ｃ１６は、例えば左チャネルに対応しており、第２差信号ｄｄを同期信号として出力する。出力端ｃ１７は、例えば右チャネルに対応しており、第２和信号ｄｓを音声信号として出力する。ＰＣ３０１は、このように分離された音声信号Ａに応じた音声を出力するとともに、同期信号Ｓを自動演奏ピアノ３０に送信する。
なお、第２差信号ｄｄ及び第２和信号ｄｓの振幅を元の振幅となるようにすれば（つまり、１／２にすれば）、符号化前の元情報である音声信号Ａ及び同期信号Ｓを復号し、これらの内容をすることができる。
この構成によれば、動画配信サーバ４０を経由する音声信号の伝送経路が２チャネルの場合であっても、送信側システム１から受信側システム３へステレオ方式の音声信号を送信することができる。また、同期信号Ｓの周波数成分の少なくとも一部が音声信号Ａの周波数成分と同じ帯域に含まれる場合であっても、両信号の加減算によって符号化・復号が可能であるから、楽音信号の質の低下を抑制することができる。

以上のような透かし情報の合成を行う場合、演奏システム１００にあって、例えばＰＣＭ（Pulse Code Modulation）方式を採用して、サンプリング周波数を高くして各信号を伝送させることが好ましい。また、上述した第２、第３実施形態で、ステレオ方式の音声信号を送信したい場合には、動画配信サーバ４０を経由する通信経路に、３チャネル以上の音声信号の伝送経路が存在していればよい。第１実施形態の構成であれば、２チャネル分の音声信号の伝送経路が確保されるように、そのチャネル数よりも楽器端末１０及び自動演奏ピアノ３０の数を少なくとも「２」だけ少なくすればよい。

（変形例７）
上述した各実施形態では、ＰＣ１０４及びＰＣ３０１が同期信号の送受信を行っていたが、ＰＣ１０４に代わって楽器端末１０が通信ネットワーク９０に接続して同期信号を送信してもよい。また、ＰＣ３０１に代わって自動演奏ピアノ３０が通信ネットワーク９０に接続して同期信号を送信してもよい。
また、サーバ装置２０が楽器端末１０と同じ場所にあり、例えば通信ネットワーク９０を介さないで、ＬＡＮ（Local Area Network）等の他の通信路を介してこれらが接続されてもよい。
また、同期信号及び映像信号の通信経路と演奏データの通信経路とは、それぞれ通信ネットワーク９０を含んでいたが、それぞれ独立した通信ネットワークを経由してもよい。
また、動画配信サーバ４０は不特定多数のユーザに利用されうるものに限らず、演奏システム１００専用に設けられたものであってもよい。
また、ＨＤＤレコーダ１０２が遅延装置１０３を有していた。これに代えて、ＨＤＤレコーダ１０２が遅延装置１０３を有さず、動画配信サーバ４０の遅延処理機能を利用して映像信号、音声信号及び同期信号の配信タイミングを遅延させてもよい。

（変形例８）
上述した実施形態において、計時部３１１は、例えば自動演奏開始時からの経過時間を計時するものであってもよい。この場合も、計時補正部３１５はタイムコードが示す日時に応じて計時部３１１が計る日時を補正するので、実施形態と同等の同期再生を実現可能である。
また、楽器端末１０は、日付情報と時刻情報とを含む日時情報に代えて、時刻情報のみを演奏データに含めて送信し、また、タイムコードにその時刻を含めてもよい。この場合、上述した実施形態の「日時情報」を「時刻情報」に置き換えた構成になるが、生演奏を自動演奏するような場合、日付を特定できなくても演奏操作の時刻さえ受信側システム３で分かれば、自動演奏を実現可能である。
また、上述した実施形態では、同期信号が楽器ＩＤ及び演奏が行われた日時を示す日時情報を示すものであったが、同期信号はこれ以外の情報を示すものであってもよい。例えば、図２０に示すように、同期信号は楽器ＩＤ、楽器端末１０で演奏が行われた時刻である演奏開始時刻、及び演奏開始時刻からの経過時間（つまり、相対時刻）を示すタイムコードを示すものであってもよい。演奏開始時刻は、実施形態の場合は、「２０１０年１２月２８日の１９時００分００秒００」を表す。また、タイムコードは、図５の例を用いると以下のようになる。第１行に対応する演奏データでは「０時間０分００秒００」を表し、第２行に対応する演奏データでは「０時間０分０２秒２４」を表し、第３行に対応する演奏データでは「０時間０分０３秒５９」を表す。
なお、演奏開始時刻は楽器端末１０から送信されるすべての同期信号に含まれるが、自動演奏ピアノ３０で再現する演奏が変化しない場合など、自動演奏ピアノ３０が演奏開始時刻を特定できるのであれば、楽器端末１０から送信される最初の同期信号にのみ演奏開始時刻が含まれていてもよい。この場合、自動演奏ピアノ３０は、楽器端末１０の演奏中には、最初に受信した同期信号が示す演奏開始時刻に基づいて、演奏開始時刻を特定する。
このように、自動演奏ピアノ３０は、演奏データの時刻情報が示す時刻と、受信した同期信号が示す時刻とが連動するように、ＭＩＤＩメッセージの再生タイミングを調整すれば、自動演奏を実現可能である。

（変形例９）
また、自動演奏ピアノ３０において楽器端末１０のピッチと一致させるように、自動演奏を行えるようにしてもよい。その手法は、特許第３８６７５７９号明細書にも開示されているとおりである。
具体的には、楽器端末１０が自端末の基準ピッチを検出し、この基準ピッチを示す信号を例えば同期信号と同じ方法で、自動演奏ピアノ３０に送信する。基準ピッチは、ある音程の音を演奏部１８から出力したときの周波数であり、この周波数が演奏システム１００の基準となるピッチを表す。なお、基準ピッチを示す信号の送信方法については、特に問わない。
自動演奏ピアノ３０は、基準ピッチを取得すると、自装置の演奏部３８の基準ピッチを検出して、これらの音程差を求める。そして、自動演奏ピアノ３０は、自動演奏時には、この音程差に応じた読み出し速度でデータバッファ３７から演奏データを読み出して再生することで、その音程の音の周波数が基準ピッチに近づくように（好ましくは、一致するように）再生する。
この変形例の構成によれば、楽器端末１０と自動演奏ピアノ３０との基準ピッチを近づけることができ、自動演奏ピアノ３０の個体差等による影響を抑制して、より生演奏に近い音程で自動演奏を実現することが期待できる。

（変形例１０）
上述した演奏システム１００にあって、一部又は全サービスについて課金を行ってもよい。例えば、サーバ装置２０がこの課金処理を行うものとし、演奏データの送信対象とする自動演奏ピアノ３０を予め登録しておく。そして、サーバ装置２０は自動演奏の開始前に自動演奏ピアノ３０を認証して、その認証に成功すれば課金して、演奏データの送信を許可する。また、プライベートコンサートのように、自動演奏に係るサービスを許可するユーザを制限したい場合、サーバ装置２０が演奏データの送信対象とする自動演奏ピアノ３０を予め登録しておき、自動演奏の開始前にサーバ装置２０が自動演奏ピアノ３０を認証して、その認証に成功すれば自動演奏を許可してもよい。

（変形例１１）
上述した実施形態では、本発明の演奏情報出力装置が楽器端末１０である場合であって、特に電子ピアノである場合を説明したが、演奏操作に応じた演奏情報として、例えばＭＩＤＩメッセージを出力可能な自動演奏ピアノであってもよい。この場合、楽器端末１０と自動演奏ピアノ３０とを同じ自動演奏ピアノにすることもできる。また、本発明の演奏情報出力装置は演奏情報を出力可能であれば、ピアノ以外に対応する楽器端末でもよく、例えば、エレクトーン（登録商標）やオルガンなどの鍵盤楽器や、フルートやクラリネットなどの吹奏楽器、ドラム等の打楽器などであってもよい。したがって、本発明の自動演奏装置においても、自動演奏ピアノには限定されず、ＭＩＤＩメッセージに基づいて自動演奏を行うことが可能な装置であってもよい。
また、本発明の演奏情報出力装置及び自動演奏装置は、例えば、楽器演奏用のアプリケーションプログラムがインストールされたスマートフォンやスレート型端末、スマートブックなどの情報端末、携帯型音楽プレーヤであってもよく、手動演奏の機能を有さないものであってもよい。
また、本発明の演奏情報はＭＩＤＩ形式のものに限らず、楽器端末１０の演奏内容を示し、自動演奏に利用できるものであればよい。

（変形例１２）
上述した各実施形態における楽器端末１０の制御部１１や、サーバ装置２０の制御部２１、自動演奏ピアノ３０の制御部３１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ、ＦＤ）など）、光記録媒体（光ディスク（ＣＤ、ＤＶＤ）など）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でダウンロードさせることも可能である。また、演奏システム１００の各装置で実現される機能は、１又は複数のソフトウェアにより実現されてもよいし、１又は複数のハードウェアにより実現されてもよい。

Claims (4)

1. 演奏情報を出力する複数の演奏情報出力装置と、記憶装置と、映像及び音声を配信する動画配信サーバの配信映像に同期して前記演奏情報を再生する複数の自動演奏装置と、を備える演奏システムであって、
   前記演奏情報出力装置は、
   前記複数の演奏情報出力装置で互いに異なるように割り当てられた識別子を記憶する第１識別子記憶手段と、
   演奏情報を生成する演奏情報生成手段と、
   時刻を計る計時手段と、
   前記演奏情報生成手段で演奏情報が生成される毎に、前記第１識別子記憶手段に記憶された識別子と、前記計時手段で計られている時刻を示す時刻情報と、当該演奏情報との組である演奏データを、前記動画配信サーバを経由せずに前記記憶装置に送信する第１演奏データ送信手段と
   を有し、
   前記複数の演奏情報出力装置の少なくとも一部の演奏情報出力装置が、
   前記計時手段で計られている時刻を示す同期信号を、前記音声の音声信号の伝送経路を用いて前記動画配信サーバへ送信する同期信号送信手段を有し、
   前記記憶装置は、
   前記第１演奏データ送信手段により送信された演奏データを受信する第１演奏データ受信手段と、
   前記第１演奏データ受信手段が受信した演奏データを記憶する演奏データ記憶手段と、
   前記演奏データ記憶手段が前記受信した演奏データを記憶することと並行して、前記演奏データ記憶手段が記憶する演奏データを、前記動画配信サーバを経由せずに前記複数の自動演奏装置のいずれかへ送信する第２演奏データ送信手段と
   を有し、
   前記自動演奏装置は、
   前記第１識別子記憶手段に記憶される識別子のいずれかであって、前記複数の自動演奏装置で互いに異なるように割り当てられた識別子を記憶する第２識別子記憶手段と、
   前記第２演奏データ送信手段により送信された演奏データを受信する第２演奏データ受信手段と、
   前記同期信号送信手段により送信された同期信号を、前記伝送経路を用いて前記動画配信サーバから受信する同期信号受信手段と、
   前記第２演奏データ受信手段が受信した前記第２識別子記憶手段に記憶された識別子が含まれる演奏データの時刻情報が示す時刻と、前記同期信号受信手段が受信した同期信号が示す時刻とに応じたタイミングで、当該同期信号が配信された時刻の配信映像に同期して当該演奏データの演奏情報を再生する再生手段と
   を有することを特徴とする演奏システム。
2. 前記複数の演奏情報出力装置は、１の第１の演奏情報出力装置と、それ以外である第２の演奏情報出力装置とを含み、
   前記第１の演奏情報出力装置が前記同期信号送信手段を有し、かつ、当該同期信号送信手段は前記動画配信サーバ及び前記第２の演奏情報出力装置のそれぞれに共通の前記同期信号を送信し、
   前記第２の演奏情報出力装置は、前記同期信号送信手段により送信された同期信号を受信し、受信した同期信号が示す時刻に基づいて、前記複数の演奏情報出力装置の計時部が計る時刻が一致するように自装置の計時部の時刻を補正する計時補正手段を有し、
   前記複数の自動演奏装置の同期信号受信手段は、前記同期信号送信手段により送信された共通の前記同期信号を受信する
   ことを特徴とする請求項１に記載の演奏システム。
3. 前記自動演奏装置は、
   自装置に割り当てられる識別子を設定して、前記第２識別子記憶手段に記憶させる第２識別子設定手段と、
   前記第２識別子設定手段で設定された識別子、又は自装置以外で設定可能な識別子を、前記第２識別子設定手段により識別子が未設定であるいずれか１つの自動演奏装置に送信する第２識別子送信手段と
   を有し、
   前記第２識別子設定手段は、自装置以外の第２識別子送信手段により送信された識別子を受信した場合、受信した識別子に基づいて自装置に割り当てられる識別子を設定する
   ことを特徴とする請求項２に記載の演奏システム。
4. 前記第１及び第２の演奏情報出力装置は、
   自装置に割り当てられる識別子を設定して、前記第１識別子記憶手段に記憶させる第１識別子設定手段と、
   前記第１識別子設定手段で設定された識別子、又は自装置以外で設定可能な識別子を、前記第１識別子設定手段により識別子が未設定であるいずれか１つの演奏情報出力装置に送信する第１識別子送信手段と
   を有し、
   前記第１識別子設定手段は、自装置以外の第１識別子送信手段により送信された識別子を受信した場合、受信した識別子に基づいて自装置に割り当てられる識別子を設定する
   ことを特徴とする請求項３に記載の演奏システム。

Images