JPWO2012093497A1 - 自動演奏装置 - Google Patents

Abstract

本発明は、動画配信サーバを経由する通信経路の状態の影響を抑えつつ、動画配信サーバの配信映像に同期して自動演奏を行うものである。楽器端末（１０）の演奏情報及びこの演奏情報が示す演奏が行われた日時を示す日時情報の組である演奏データを記憶するサーバ装置（２０）から、動画配信サーバ（４０）を経由しないで送信された演奏データを受信する第２演奏データ受信部（３１２）と、動画配信サーバ（４０）から音声信号の伝送経路で送信された同期信号を受信する同期信号受信部（３１４）と、第２演奏データ受信部（３１２）が受信した演奏データの日時情報が示す日時及び同期信号受信部（３１４）が受信した同期信号が示す日時に応じたタイミングで、当該同期信号が配信された時刻の配信映像に同期して当該受信した演奏データの演奏情報を再生する再生部（３１６）と、を備える。

Description

本発明は、映像に同期して自動演奏する技術に関する。

遠隔地での楽器演奏を自動演奏装置の自動演奏で再現する技術がある。特許文献１は、自動演奏に用いられるＭＩＤＩデータ等の演奏データと、配信映像及び配信音声を示すオーディオビデオ信号とを別系統の伝送系統で送受信するシステムにおいて、オーディオビデオ信号と演奏データとを、受信側のシステムで同期再生することを開示している。具体的には、送信側のシステムは、クリック信号を発生させた場合、クリック信号をオーディオ信号に含ませて送信する一方で、クリック発生時刻を示すクリックタイムデータに、送信側のシステムの内部時計に基づいてタイプスタンプを付加して送信する。受信側のシステムは、クリック信号を受信した時刻をクリックタイムデータが示す時刻とするように内部時計を補正し、補正した内部時計を基に映像に同期した自動演奏を行う。

特開２００５−８４５７８号公報

特許文献１が開示する技術では、送信側のシステムは、内部時計に基づいて特定したクリック発生時刻と、内部時計とは関係なしに発生させたクリック信号とを別の伝送系統で、かつ、ほぼ同時に送信する。しかしながら、受信側のシステムでクリック信号とクリックタイムデータとを受信したときのこれらの相対的な遅延については、特許文献１が開示する技術では特に考慮されていない。この技術では、クリック信号とクリックタイムデータとの時間差が所定の時間間隔内であるもの同士を同一時刻のものとして対応付けるが、例えば一方の伝送系統の通信遅延が極端に大きい場合には、ほぼ同時に送信されたクリック信号とクリックタイムデータとの対応付けが正しく行われず、受信側のシステムで内部時計を正しく補正できないことがある。
本発明は上述した課題に鑑みてなされたものであり、その目的は、動画配信サーバを経由する通信経路の状態の影響を抑えつつ、動画配信サーバの配信映像に同期して自動演奏を行うことである。

上述した目的を達成するために、本発明に係る自動演奏装置は、映像及び音声を配信する動画配信サーバの配信映像に同期して、演奏情報出力装置から受信した演奏情報を再生する自動演奏装置であって、前記演奏情報出力装置により出力された演奏情報と、前記演奏情報出力装置の計時部で計られた当該演奏情報の演奏が行われた時刻を示す時刻情報との組である演奏データを記憶する記憶装置から、前記動画配信サーバを経由せずに送信された演奏データを受信する演奏データ受信手段と、前記演奏情報出力装置により送信された前記計時部で計られた時刻を示す同期信号を、前記動画配信サーバ経由で前記音声の音声信号の伝送経路を用いて受信する同期信号受信手段と、前記演奏データ受信手段が受信した演奏データの時刻情報が示す時刻と、前記同期信号受信手段が受信した同期信号が示す時刻とに応じたタイミングで、当該同期信号が配信された時刻の配信映像に同期して当該演奏データの演奏情報を再生する再生手段とを備えることを特徴とする。
本発明によれば、動画配信サーバを経由する通信経路の状態の影響を抑えつつ、動画配信サーバの配信映像に同期して自動演奏を行うことができる。

本発明において、前記演奏データ受信手段が受信した演奏データをバッファ領域にバッファリングするバッファリング手段を備え、前記再生手段は、前記バッファリング手段によるバッファリングに並行して、バッファリングされた前記演奏データの演奏情報を前記バッファ領域から読み出して再生するようにしてもよい。
本発明において、前記同期信号受信手段は、前記再生手段が演奏情報を再生する間、前記同期信号を決められた周期で受信し、前記再生手段は、前記周期よりも長い予め決められた期間内で前記同期信号が受信されなかった場合、前記演奏情報を継続して再生するが、当該期間を超えて前記同期信号が受信されなかった場合、前記演奏情報の再生を中断するようにしてもよい。

本発明において、前記記憶装置は、前記演奏情報及び前記時刻情報のほか、前記演奏情報出力装置又は一群の前記演奏情報である演奏情報群を識別する識別子を記憶し、前記同期信号は、前記識別子及び前記演奏が行われた時刻を示す信号であり、前記再生手段は、前記同期信号が示す前記識別子を含む演奏データの演奏情報を再生するが、それ以外の識別子を含む演奏データの演奏情報を再生しないようにしてもよい。

また、本発明の記憶装置は、演奏情報を出力する演奏情報出力装置と、映像及び音声を配信する動画配信サーバが配信する映像に同期して前記演奏情報を再生する自動演奏装置とのそれぞれと通信可能である記憶装置であって、前記演奏情報出力装置で演奏情報が生成される毎に、当該演奏情報と、当該演奏情報が示す演奏が行われた時刻を示す時刻情報との組である演奏データを、前記動画配信サーバを経由せずに当該演奏情報出力装置から受信する演奏データ受信手段と、前記演奏データ受信手段が受信した演奏データを記憶する記憶手段と、前記記憶手段が前記受信した演奏データを記憶することと並行して、前記記憶手段が記憶する演奏データを、前記動画配信サーバを経由せずに前記自動演奏装置へ送信する演奏データ送信手段とを備えることを特徴とする。
本発明によれば、動画配信サーバを経由する通信経路の状態の影響を抑えつつ、動画配信サーバの配信映像に同期して自動演奏を行うことができる。

また、本発明の演奏情報出力装置は、記憶装置と、映像及び音声を配信する動画配信サーバが配信する映像に同期して演奏情報を再生する自動演奏装置とのそれぞれと通信可能である演奏情報出力装置であって、演奏情報を生成する演奏情報生成手段と、時刻を計る計時手段と、前記演奏情報生成手段で演奏情報が生成される毎に、前記計時手段で計られている時刻を示す時刻情報と当該演奏情報との組である演奏データを、前記動画配信サーバを経由せずに前記記憶装置へ送信する演奏データ送信手段と、前記計時手段で計られている時刻を示す同期信号を、前記音声の音声信号の伝送経路を介して前記動画配信サーバへ送信する同期信号送信手段とを備えることを特徴とする。

また、本発明の演奏システムは、演奏情報を出力する演奏情報出力装置と、記憶装置と、映像及び音声を配信する動画配信サーバが配信する映像に同期して前記演奏情報を再生する自動演奏装置と、を備える演奏システムであって、前記演奏情報出力装置は、演奏情報を生成する演奏情報生成手段と、時刻を計る計時手段と、前記演奏情報生成手段で演奏情報が生成される毎に、前記計時手段で計られている時刻を示す時刻情報と当該演奏情報との組である演奏データを、前記動画配信サーバを経由せずに前記記憶装置へ送信する第１演奏データ送信手段と、前記計時手段で計られている時刻を示す同期信号を、前記音声の音声信号の伝送経路を用いて前記動画配信サーバへ送信する同期信号送信手段とを有し、前記記憶装置は、前記第１演奏データ送信手段により送信された演奏データを受信する第１演奏データ受信手段と、前記演奏データ受信手段が受信した演奏データを記憶する記憶手段と、前記記憶手段が前記受信した演奏データを記憶することと並行して、前記記憶手段が記憶する演奏データを、前記動画配信サーバを経由せずに当該自動演奏装置へ送信する第２演奏データ送信手段とを有し、前記自動演奏装置は、前記第２演奏データ送信手段により送信された演奏データを受信する第２演奏データ受信手段と、前記同期信号送信手段により送信された同期信号を、前記伝送経路を用いて前記動画配信サーバから受信する同期信号受信手段と、前記第２演奏データ受信手段が受信した演奏データの時刻情報が示す時刻と、前記同期信号受信手段が受信した同期信号が示す時刻とに応じたタイミングで、当該同期信号が配信された時刻の配信映像に同期して当該演奏データの演奏情報を再生する再生手段とを有することを特徴とする。
本発明によれば、動画配信サーバを経由する通信経路の状態の影響を抑えつつ、動画配信サーバの配信映像に同期して自動演奏を行うことができる。

演奏システム１００の概略構成を示す図。 送信側システム１の構成を示すブロック図。 サーバ装置２０のハードウェア構成を示すブロック図。 受信側システム３の構成を示すブロック図。 同期信号のデータ構造を示す図。 演奏データ群２４１のデータ構造を示す図。 演奏システム１００の機能的構成を示す機能ブロック図。 演奏システム１００の処理手順を示すシーケンスチャート。 演奏システム１００の処理手順を示すシーケンスチャート。 演奏システム１００の機能的構成を示す機能ブロック図。 演奏テーブルのフォーマットを例示した図。 演奏システム１００の機能的構成を示す機能ブロック図。 合成部１０５の回路構成を示す図。 分離部３０２の回路構成を示す図。 同期信号のデータ構造を示す図。

１…送信側システム、１０…楽器端末、１００…演奏システム、１０１…ビデオカメラ、１０２…ＨＤＤレコーダ、１０３…遅延装置、１０４，３０１…ＰＣ、１０５…合成部１０５、１１…制御部、１１１，３１１…時計部、１１２…演奏情報生成部、１１３…第２演奏データ送信部、１１４…同期信号送信部、１２…記憶部、１３…楽音生成部、１４…スピーカ、１５…操作部、１６…表示部、１７…通信部、１８…演奏部、１９…信号送信部、２０…サーバ装置、２１…制御部、２１１…第１演奏データ受信部、２１２…第２演奏データ送信部、２２…第１通信部、２３…第２通信部、２４…記憶部、２４１…演奏データ群、３…受信側システム、３０…自動演奏楽器、３０２…分離部、３１…制御部、３１２…第２演奏データ受信部、３１３…バッファリング部、３１４…同期信号受信部、３１５…計時補正部、３１６…補正部、３２…記憶部、３３…操作部、３４…表示部、３５…信号受信部、３６…通信部、３７…データバッファ、３８…演奏部、４０…動画配信サーバ、９０…通信ネットワーク。

（演奏システム１００の構成）
以下、図面を参照しつつ本発明の一実施形態について説明する。
図１は、この実施形態の演奏システム１００の概略構成を示す図である。図１に示すように、演奏システム１００は、送信側システム１と、サーバ装置２０と、受信側システム３とを備え、これらは通信ネットワーク９０経由で接続されている。通信ネットワーク９０は、ここではインターネットを含む通信網である。通信ネットワーク９０には、演奏システム１００の各装置のほかに、動画配信サーバ４０が接続されている。動画配信サーバ４０は、不特定のユーザが閲覧可能な映像及び音声を含む動画を配信する、いわゆる動画共有サービスを提供するものである。動画配信サーバ４０は、ビデオストリーミングなどのプラットフォームを提供し、映像及び音声を含む動画（以下、「ライブ動画」という。）を配信することができるものである。この実施形態では、動画配信サーバ４０は、送信側システム１及び受信側システム３の双方と通信可能であり、送信側システム１から提供されるライブ動画を、受信側システム３に配信する機能を実現する。
なお、本実施形態のライブ動画には、撮影が行われてから、遅延処理によって所定時間遅延させて配信される動画も含む。

送信側システム１は、コンサート等の楽器演奏が行われる場所に構成されるものである。送信側システム１は、例えば、楽器演奏の様子を撮影した映像及び音声を動画配信サーバ４０に配信するために必要な設備や、受信側システム３でその楽器演奏を自動演奏で再現させるために必要な設備を備える。受信側システム３は、楽器演奏の観客側の場所に構成されるものであり、楽器演奏の様子を撮影した映像をユーザが視聴するために必要な設備や、その楽器演奏を自動演奏により再現するために必要な設備を備える。サーバ装置２０は、送信側システム１及び受信側システム３の双方と通信可能であり、自動演奏に必要なデータを、両システムの間で中継する役割を担う記憶装置である。

送信側システム１は、互いに異なる２種類の通信経路で受信側システム３にデータを送信する。第１に、送信側システム１は、通信ネットワーク９０及びサーバ装置２０を経由し、かつ、動画配信サーバ４０を経由しない第１経路で、演奏データを送信する。演奏データについては詳しくは後述する。第２に、送信側システム１は、通信ネットワーク９０及び動画配信サーバ４０を経由し、かつ、サーバ装置２０を経由しない第２経路で、ライブ動画の放映に用いられる映像信号や音声信号などのデータを送信する。また、この第２経路で送信されるデータには、さらに、受信側システム３側で映像信号が示す映像（及び音声）と、演奏データに基づいて行われる自動演奏とを同期させるために用いられる同期信号も含まれる。音声信号及び同期信号は、Ｌ，Ｒチャネルである２チャネルの音声信号の伝送経路を介して送受信される。
第１経路及び第２経路は、各々、通信ネットワーク９０を経由するから一部の経路は共通するが、他の経路は異なっている。このように第１経路及び第２経路は、互いに独立した伝送系統といえるから、通信状況（例えば、通信遅延の程度）が相違することがある。

（送信側システム１の構成）
図２は、送信側システム１の構成を示すブロック図である。図２に示すように、送信側システム１は、楽器端末１０と、ビデオカメラ１０１と、ＨＤＤ（HardDisk Drive）レコーダ１０２と、ＰＣ（Personal Computer）１０４とにより構成される。
まず、楽器端末１０の構成を説明する。楽器端末１０は、ここでは電子ピアノであり、制御部１１と、記憶部１２と、楽音生成部１３と、スピーカ１４と、操作部１５と、表示部１６と、通信部１７と、演奏部１８と、信号送信部１９とを備える。図２に示すように、スピーカ１４を除く楽器端末１０の各部はバスによって互いに接続され、バスを介して各部間で信号の遣り取りが行われる。

制御部１１は、ＣＰＵ（Central Processing Unit）や、楽器端末１０の各部を制御するためのプログラムを記憶したＲＯＭ（Read Only Memory）、プログラムを実行する際のワークエリアとして使用されるＲＡＭ（Random Access Memory）を備える。ＣＰＵは、ＲＯＭに記憶されているプログラムを実行して、楽器端末１０の各部を制御する。制御部１１は計時部１１１を備え、計時部１１１により日時（ここでは、現在日時）を計る。また、制御部１１は、演奏部１８にされた操作（以下、「演奏操作」という。）に応じてＭＩＤＩ（Musical Instrument Digital Interface：登録商標）メッセージを生成したり、生成したＭＩＤＩメッセージと、その演奏が行われた日時を示す日時情報と、自身の楽器端末１０を識別する識別子（以下、「楽器ＩＤ」という。）との組である演奏データを生成したりする。ＭＩＤＩメッセージは、楽器端末１０で行われた演奏内容を示すＭＩＤＩ形式の演奏情報である。日時情報は、日付を示す日付情報と、時刻を示す時刻情報との双方を含む情報である。
なお、楽器端末１０で演奏が行われた日時は、計時部１１１が計時する日時により特定される。

また、制御部１１は、動画配信サーバ４０の配信映像に同期して自動演奏を行うために用いられる同期信号を生成する。図６は、同期信号のデータ構造を示す図である。図６に示すように、同期信号は、「楽器ＩＤ」と「タイムコード」とをそれぞれ示す信号である。タイムコードは、計時部１１１が計る日時であり、送信側システム１から動画配信サーバ４０に、映像信号、音声信号及び同期信号が送信される日時（つまり、絶対時刻を含む。）とみなすことができる。タイムコードは、これら各信号を受信した受信側システム３で、動画配信サーバ４０から配信された映像がどの日時の演奏に対応しているのかを特定するために用いられる。なお、同期信号は、ホワイトノイズと似た周波数成分となるように生成され、人間が同期信号に応じた音を聞いた場合に耳障りにならないものであることが好ましい。

記憶部１２は、不揮発性メモリを備え、楽器端末１０を識別する楽器ＩＤ等を記憶する。記憶部１２は、ここでは、楽器端末１０の楽器ＩＤとして「０００１」を記憶する。楽器ＩＤは、製造段階で予め決められていてもよいし、楽器端末１０の利用者により設定されたものでもよいし、演奏開始時に制御部１１により自動で設定されてもよい。楽音生成部１３は、ＭＩＤＩメッセージに基づいて、ＭＩＤＩメッセージに応じた楽音信号を生成し、生成した楽音信号をスピーカ１４に供給する。スピーカ１４は、楽音生成部１３により生成された楽音信号に応じて、楽器端末１０の演奏音を出力するものである。操作部１５は、楽器端末１０を操作するための各種ボタンを備え、ユーザから楽器端末１０に対する各種指示の入力が行われるものである。表示部１６は、液晶ディスプレイを備え、楽器端末１０を操作するための各種画面を表示する。

通信部１７は、通信ネットワーク９０に接続し、通信ネットワーク９０経由で通信を行うためのインタフェースを備える。演奏部１８は、例えば複数の鍵を備え、楽器端末１０の演奏者により演奏操作されることで、楽器端末１０の演奏が行われる。演奏部１８は、演奏者により鍵が操作されると、その鍵の操作に応じた操作信号を制御部１１に出力する。信号送信部１９は、ＨＤＤレコーダ１０２と接続するためのオーディオケーブルが接続される端子を有し、制御部１１から供給される同期信号を、この端子に接続されるオーディオケーブルを介してＨＤＤレコーダ１０２に送信する。
以上の構成の楽器端末１０は、演奏情報を生成して出力する演奏情報出力装置として機能する。楽器端末１０の構成の説明は以上である。

ビデオカメラ１０１は、演奏者が楽器端末１０を演奏している様子等を撮影して、その映像を示す映像信号と、楽器端末１０周辺で収音して得られる音声信号とを生成するものである。ビデオカメラ１０１は、生成した映像信号及び音声信号を、ＨＤＤレコーダ１０２に送信する。ＨＤＤレコーダ１０２は、ビデオカメラ１０１から送信された映像信号及び音声信号と、信号送信部１９から送信された同期信号とを、自身のＨＤＤに記録する。この記録において、ＨＤＤレコーダ１０２は、ステレオチャネルのうち、一方のチャネルを用いて音声信号を記録し、他方のチャネルを用いて同期信号を記録する。つまり、ビデオカメラ１０１で生成された音声信号は、この時点でモノラル形式となる。

また、ＨＤＤレコーダ１０２は、遅延装置１０３を内蔵する。遅延装置１０３は、ＨＤＤに記録した映像信号、音声信号及び同期信号に対して遅延処理を施す。この遅延処理は、例えば１分間程度、ＨＤＤレコーダ１０２からの各信号の送信タイミングを遅延するために行われるものである。この遅延処理を行う理由は、自動演奏ピアノ３０で自動演奏をより確実に行えるようにするためであるが、その作用については後述する。
なお、映像信号、音声信号及び同期信号の時間軸上での関係は、遅延処理が施された後も、遅延処理前から変化することはないものとする。また、遅延装置１０３がＨＤＤレコーダ１０２に内蔵されるのではなく、ＨＤＤレコーダ１０２とＰＣ１０４との間に外部接続されていてもよい。

ＰＣ１０４は、通信ネットワーク９０に接続するインタフェースを備え、ＨＤＤレコーダ１０２から送信される映像信号、音声信号及び同期信号を、通信ネットワーク９０経由で動画配信サーバ４０に送信する。動画配信サーバ４０は、ＰＣ１０４から受信した映像信号、音声信号及び同期信号を配信する。
なお、動画配信サーバ４０が、映像信号、音声信号及び同期信号をＰＣ１０４から受信したときから、これらを受信側システム３に配信するときまでに、例えば１分間程度要する。この遅延は、動画配信サーバ４０で意図的な遅延処理によって奏するものであり、一般的な動画共有サービスでも採られることがある。

（サーバ装置２０の構成）
図３は、サーバ装置２０のハードウェア構成を示すブロック図である。図３に示すように、サーバ装置２０は、制御部２１と、第１通信部２２と、第２通信部２３と、記憶部２４とを備える。
制御部２１は、ＣＰＵや、サーバ装置２０の各部を制御するためのプログラムを記憶したＲＯＭ、プログラムを実行する際のワークエリアとして使用されるＲＡＭを備える。ＣＰＵは、ＲＯＭに記憶されているプログラムを実行して、サーバ装置２０の各部を制御する。第１通信部２２は、通信ネットワーク９０に接続するインタフェースを備え、楽器端末１０と通信する。第２通信部２３は、通信ネットワーク９０に接続するインタフェースを備え、自動演奏ピアノ３０と通信する。第１通信部２２及び第２通信部２３という２つの通信手段が設けられるのは、制御部２１が楽器端末１０から演奏データを受信して記憶部２４に記憶する処理と、記憶部２４から演奏データを読み出して自動演奏ピアノ３０へ送信する処理とを、並行して行うことを可能にするためである。よって、この並行処理が実現可能である限り、これら各通信手段はそれぞれ独立していなくてもよい。

記憶部２４は、ハードディスク装置を備え、楽器端末１０から送信される演奏データにより構成される演奏データ群２４１や、演奏システム１００でのサーバの機能を実現するサーバプログラムを記憶する。制御部２１のＣＰＵはサーバプログラムを実行して、楽器端末１０から受信した演奏データを記憶部２４に記憶させたり、記憶部２４に記憶された演奏データを自動演奏ピアノ３０へ送信したりする。

図５は、演奏データ群２４１のデータ構造を示す図である。演奏データ群２４１にあっては、楽器端末１０での各演奏に対応する演奏データが、楽器ＩＤ、日時情報及びＭＩＤＩメッセージの組で構成される。例えば、楽器端末１０で押鍵操作が行われた場合、図５の第１行に示すように、楽器端末１０の楽器ＩＤ「０００１」と、その押鍵操作が行われた日時を示す日時情報「2010-12-28T19:00:00:00」（２０１０年１２月２８日１９時００分００秒００であることを示す。）と、演奏情報「ＭＩＤＩメッセージ♯１」という組の演奏データが、演奏データ群２４１に含まれる。他の行に対応する演奏データもこれと同様のデータ構造を有している。

（受信側システム３の構成）
図４は、受信側システム３の構成を示すブロック図である。図４に示すように、受信側システム３は、自動演奏ピアノ３０とＰＣ３０１とにより構成される。ＰＣ３０１は、通信ネットワーク９０経由で動画配信サーバ４０と通信し、動画配信サーバ４０から配信された映像信号、音声信号及び同期信号を受信する。ＰＣ３０１は、受信した信号のうち、映像信号及び音声信号を再生して、自身又は外部のモニタを用いてライブ動画を出力する。また、ＰＣ３０１は、オーディオケーブルで接続された自動演奏ピアノ３０へ同期信号を送信する。

次に、自動演奏ピアノ３０の構成を説明する。自動演奏ピアノ３０は、ＭＩＤＩメッセージに基づいて自動演奏を行う機能を有する。自動演奏ピアノ３０は、制御部３１と、記憶部３２と、操作部３３と、表示部３４と、信号受信部３５と、通信部３６と、データバッファ３７と、演奏部３８とを備える。自動演奏ピアノ３０の各部はバスによって互いに接続され、バスを介して各部間で信号の遣り取りが行われる。

制御部３１は、ＣＰＵ、自動演奏ピアノ３０の各部を制御するためのプログラムを記憶したＲＯＭ、ＲＡＭなどを備えている。制御部３１のＣＰＵは、ＲＯＭに記憶されているプログラムを読み出して実行することにより、自動演奏ピアノ３０の各部を制御する。また、制御部３１は計時部３１１を備え、計時部３１１により日時を計る。また、制御部３１は、ＰＣ３０１から信号受信部３５により受信した同期信号から楽器ＩＤ及びタイムコードを復号して、これらを特定する。制御部３１は、タイムコードに基づいて計時部３１１が計る日時を補正したり、楽器ＩＤを用いて再生対象の演奏データを特定したりする。また、制御部３１は、通信部３６により受信した演奏データをデータバッファ３７にバッファリングし、それと並行して、データバッファ３７にバッファリングされた演奏データを読み出し、その演奏データに含まれるＭＩＤＩメッセージを再生して、演奏部３８に演奏させる（つまり、自動演奏を行う）。
記憶部３２は、ハードディスク装置を備え、各種プログラムや楽器ＩＤ等を記憶する。記憶部３２が記憶する楽器ＩＤは、楽器端末１０の楽器ＩＤ「０００１」と異なる、例えば「０００２」に予め設定される。この楽器ＩＤは、自動演奏ピアノ３０固有のものである。操作部３３は、自動演奏ピアノ３０を操作するための各種ボタンを備え、ユーザから自動演奏ピアノ３０に対する各種指示の入力が行われるものである。表示部３４は、液晶ディスプレイを備え、自動演奏ピアノ３０を操作するための各種画面を表示する。

信号受信部３５は、ＰＣ３０１と接続するためのオーディオケーブルを接続する端子を有し、この端子とオーディオケーブルを介して接続されるＰＣ３０１から送信された同期信号を受信する。通信部３６は、通信ネットワーク９０に接続するインタフェースを備え、サーバ装置２０と通信する。データバッファ３７は、制御部３１により演奏データがバッファリングされるバッファ領域を有する。制御部３１は、データバッファ３７にバッファリングされた演奏データを読み出し、その演奏データに含まれるＭＩＤＩメッセージを、その演奏データに含まれる日時情報と、ＰＣ３０１から受信された同期信号が示す特定したタイムコードとに応じたタイミングでＭＩＤＩメッセージを演奏部３８に供給することにより、ＭＩＤＩメッセージを再生する。このＭＩＤＩメッセージにより自動演奏ピアノ３０から演奏音が出力される。

演奏部３８は、演奏データから抽出されたＭＩＤＩメッセージに従って演奏音を出力するほか、ユーザによる図示せぬ鍵の操作に応じて打弦による演奏音を出力する。前者を「自動演奏」と呼び、後者を「手動演奏」という。
演奏部３８は、駆動機構３８ａと、キーセンサ３８ｂと、ペダルセンサ３８ｃと、ピアノ電子回路３８ｄと、ピアノ音源３８ｅと、ミキサ３８ｆと、アンプ３８ｇと、スピーカ３８ｈとを有している。駆動機構３８ａは、複数の鍵や複数のペダルのほか、各鍵に対応して設けられた駆動ソレノイド群等を有している。キーセンサ３８ｂ及びペダルセンサ３８ｃは、手動演奏を行うための構成であり、複数の鍵やペダルの各々に対応して設けられている。キーセンサ３８ｂ及びペダルセンサ３８ｃは、鍵及びペダルを押したときの強さや深さなどを検出し、検出した鍵やペダルを特定するキー番号、ペダル番号、ベロシティ情報等を含む検出結果を、ピアノ電子回路３８ｄに供給する。ピアノ電子回路３８ｄは、自動演奏を行う場合、ＭＩＤＩメッセージをピアノ音源３８ｅに供給する。ピアノ音源３８ｅは、ＭＩＤＩメッセージにより指示された演奏音を出力するためのオーディオ信号を生成する。また、ピアノ電子回路３８ｄは、ＭＩＤＩメッセージに従って、駆動機構３８ａが備える駆動ソレノイド群を制御する。具体的には、ピアノ電子回路３８ｄは、ある演奏音についてノートオン（押鍵）のＭＩＤＩメッセージを受け取った場合に、その演奏音の鍵に対応したソレノイドに駆動電流を流し、鍵を押下させるのに必要な磁力をソレノイドにより発生させる。一方、ある演奏音についてノートオフ（離鍵）のイベントを受け取った場合、ピアノ電子回路３８ｄは、その演奏音の鍵に対応したソレノイドに駆動電流を流し、鍵を離鍵させるのに必要な磁力をソレノイドにより発生させる。また、ピアノ電子回路３８ｄは、手動演奏を行う場合、キーセンサ３８ｂ及びペダルセンサ３８ｃから供給される検出結果に基づいてイベントを生成し、そのイベントをピアノ音源３８ｅに供給する。ピアノ音源３８ｅは、このＭＩＤＩメッセージに従って、指示された演奏音を出力するためのオーディオ信号を生成する。
上記のようにしてピアノ音源３８ｅにより生成されたオーディオ信号は、ミキサ３８ｆへ出力される。ミキサ３８ｆは、ピアノ音源３８ｅから出力されるオーディオ信号を、必要に応じて他のオーディオ信号と混合してアンプ３８ｇに出力する。この信号はアンプ３８ｇによって増幅され、スピーカ３８ｈから演奏音として出力される。

（演奏システム１００の機能的構成）
図７は、自動演奏に関する演奏システム１００の機能的構成を示す機能ブロック図である。
楽器端末１０は、計時部１１１と、演奏情報生成部１１２と、第１演奏データ送信部１１３と、同期信号送信部１１４とに相当する機能を実現する。サーバ装置２０は、第１演奏データ受信部２１１と、第２演奏データ送信部２１２とに相当する機能を実現する。自動演奏ピアノ３０は、計時部３１１と、第２演奏データ受信部３１２と、バッファリング部３１３と、同期信号受信部３１４と、計時補正部３１５と、再生部３１６とに相当する機能を実現する。
計時部１１１は、上述したように日時を計る。演奏情報生成部１１２は、演奏部１８の演奏操作に応じて、楽器端末１０の演奏情報としてＭＩＤＩメッセージを生成する。第１演奏データ送信部１１３は、演奏情報生成部１１２で演奏情報（ＭＩＤＩメッセージ）が生成される毎に、計時部１１１で計られている日時を示す日時情報と、その演奏情報と、楽器ＩＤとの組である演奏データをサーバ装置２０に送信する。同期信号送信部１１４は、演奏情報生成部１１２で生成された演奏情報が示す演奏が楽器端末１０で行われたときに、計時部１１１で計られている日時であるタイムコード及び楽器ＩＤを示す同期信号を生成し、生成した同期信号を動画配信サーバ４０に送信する。

第１演奏データ受信部２１１は、第１演奏データ送信部１１３により送信された演奏データを受信する。第１演奏データ受信部２１１が受信した演奏データは演奏データ群２４１に含められる。第２演奏データ送信部２１２は、記憶部２４に演奏データが記憶されることと並行して、記憶部２４が記憶する演奏データ群２４１のうち、自動演奏ピアノ３０から受信した演奏データ要求メッセージであって楽器ＩＤ及び日時情報を含む演奏データ要求メッセージに応じた演奏データを、自動演奏ピアノ３０へ送信する。具体的には、第２演奏データ送信部２１２は、演奏データ要求メッセージに含まれる日時情報が示す日時から開始して当該日時の時系列順に、演奏データ要求メッセージと共通する楽器ＩＤを含む演奏データを送信する。

計時部３１１は、上述したように日時を計る。第２演奏データ受信部３１２は、第２演奏データ送信部２１２により送信された演奏データを、動画配信サーバ４０を経由せずに受信する。第２演奏データ受信部３１２は、計時部３１１で計時される日時に応じた演奏データをサーバ装置２０に要求して、その要求に応じて送信された演奏データを受信する。バッファリング部３１３は、第２演奏データ受信部３１２が受信した演奏データをバッファ領域にバッファリングする。同期信号受信部３１４は、同期信号送信部１１４により送信された同期信号を受信する。計時補正部３１５は、計時部３１１が計時する日時を、同期信号を復号して得られるタイムコードに基づいて補正する。計時補正部３１５は、例えば、タイムコードと一致する日時を計るように、計時部３１１が計る日時を補正する。

再生部３１６は、第２演奏データ受信部３１２が受信した演奏データの日時情報が示す日時と、同期信号受信部３１４が受信した同期信号が示す日時（つまり、補正後の計時部３１１が計る日時）とに応じたタイミングで、当該同期信号が配信された時刻の配信映像に同期して当該受信した演奏データのＭＩＤＩメッセージを再生する。例えば、再生部３１６は、計時部３１１が計時する日時と演奏データに含まれる日時情報が示す日時とを所定の関係となるように連動させて、配信映像と演奏音とを同期させるべく、ＭＩＤＩメッセージの再生の間隔を日時情報で規定される長さから変更したり、ＭＩＤＩメッセージを再生するときのテンポを変えたり、再生するＭＩＤＩメッセージを変更（スキップ）したりする。ここでは、再生部３１６は、計時部３１１が計時する日時から予め決められた時間前（ここでは、５００ミリ秒前）を示す日時情報を含む演奏データのＭＩＤＩメッセージを、バッファリング部３１３から取得してこれを再生する。ＭＩＤＩメッセージを演奏部３８に供給してから、上述したように演奏部３８の各部が動作して、そのＭＩＤＩメッセージの再生に応じた演奏音が出力されるまでには、ある程度の時間を要するからである（つまり、演奏部３８で処理の遅延が生じるからである）。この処理遅延を見越して、再生部３１６の各演奏情報の再生タイミングが定められることで、ライブ動画と再生部３１６のＭＩＤＩメッセージの再生により出力される演奏音とが同期する。この再生タイミングについては、例えばＰＣ３０１がライブ動画を表示する際の処理遅延を考慮して定められてもよい。

（実施形態の動作）
次に、本実施形態の動作について説明する。図８，９は、自動演奏の際の楽器端末１０、サーバ装置２０及び自動演奏ピアノ３０が実行する処理手順を示すシーケンスチャートである。
ユーザが楽器端末１０の電源を入れると、制御部１１のＲＯＭに記憶されているプログラムをＣＰＵが実行する。そして、楽器端末１０は、電子ピアノの機能を実現し、また通信ネットワーク９０と通信を行うことが可能となる。
演奏者が楽器端末１０の鍵を押鍵すると（ステップＳ１）、制御部１１は、ノートオンのメッセージ、押下された鍵に対応するノート番号、鍵にされた操作に対応するベロシティなどの演奏動作の情報を含むＭＩＤＩメッセージを生成する。また、制御部１１は、計時部１１１を用いて、このノートオンのＭＩＤＩメッセージを生成した日時を示す日時情報を生成する。制御部１１は、生成した演奏情報、日時情報、及び記憶部１２に記憶されている楽器ＩＤ「０００１」を含む演奏データを生成して、通信部１７によりサーバ装置２０へ送信する（ステップＳ２）。ここでは、ステップＳ１の処理時に制御部１１が計っている日時が「２０１０年１２月２８日の１９時００分００秒００」であったとする。
一方で、制御部１１は、ＭＩＤＩメッセージを楽音生成部１３へ送る。楽音生成部１３は、ＭＩＤＩメッセージが供給されると、ＭＩＤＩメッセージで指定されるノート番号およびベロシティに対応した楽音の信号を生成し、生成した信号をスピーカ１４に供給する。楽音生成部１３から供給された信号がスピーカ１４に供給されると、供給された信号に応じて楽音がスピーカ１４から放音される。

サーバ装置２０の制御部２１は、楽器端末１０から送信された演奏データを第１通信部２２により受信すると、受信した演奏データを記憶部２４に記憶させる（ステップＳ３）。ここで、制御部２１は、日時情報「2010-12-28T19:00:00:00」と、楽器ＩＤ「０００１」と、演奏情報「ＭＩＤＩメッセージ♯１」とを組とした演奏データを、記憶部２４に記憶させる。
次に、楽器端末１０の制御部１１は、計時部１１１が計る日時を示すタイムコード、及び記憶部１２に記憶された楽器ＩＤを符号化して同期信号を生成して、信号送信部１９によりＨＤＤレコーダ１０２に送信する（ステップＳ４）。この同期信号は、ＰＣ１０４により、ＨＤＤレコーダ１０２から動画配信サーバ４０に送信される。本実施形態では、制御部１１は、計時部１１１が計る日時に基づいて、１秒間に１回だけ同期信号を送信するものとする。
なお、同期信号は遅延装置１０３による遅延処理を経るとともに、動画配信サーバ４０を経由する。本実施形態では、遅延装置１０３の遅延処理によって、ある時刻に生成された同期信号が受信側システム３で受信される時刻は、同時刻に生成された演奏情報を含む演奏データがサーバ装置２０に受信されるときよりも２分程度遅延する。

次に、楽器端末１０において、押下された鍵からユーザが指を離すと（ステップＳ５）、制御部１１は、ノートオフのメッセージ、離鍵された鍵に対応するノート番号、鍵にされた操作に対応するベロシティなどの演奏動作の情報を含むＭＩＤＩメッセージを生成する。また、制御部１１は、このノートオフのＭＩＤＩメッセージを生成した日時を示す日時情報を、計時部１１１を用いて生成する。制御部１１は、生成したＭＩＤＩメッセージ、日時情報及び記憶部１２に記憶されている楽器ＩＤ「０００１」を含む演奏データを生成して、通信部１７により送信する（ステップＳ６）。また、制御部１１は、ＭＩＤＩメッセージを楽音生成部１３へ送る。楽音生成部１３は、ノートオフのＭＩＤＩメッセージが供給されると、ＭＩＤＩメッセージで指定されるノート番号に対応した楽音の信号の生成を停止する。これにより、楽音のスピーカ１４からの演奏音の出力が停止する。

楽器端末１０から送信された演奏データを第１通信部２２により受信すると、制御部２１は、受信した演奏データを記憶部２４に記憶させる（ステップＳ７）。
ここで、日時情報が示す日時が「２０１０年１２月２８日の１９時００分０２秒２４」である場合、制御部２１は、この日時を示す日時情報「2010-12-28T19:00:02:24」と、楽器ＩＤ「０００１」と、「ＭＩＤＩメッセージ♯２」との組である演奏データを、記憶部２４に記憶する。
以降も、楽器端末１０は、演奏操作がある毎に演奏情報を生成して、通信部１７により演奏データをサーバ装置２０に送信する。サーバ装置２０にあっては、楽器端末１０から演奏データを第１通信部２２により受信すると、制御部２１は、受信した演奏データを記憶部２４に記憶させる。また、楽器端末１０は、１秒毎に同期信号を送信する処理を繰り返す（ステップＳ８，Ｓ９）。
以上のような演奏データの送信及び記憶と並行して、サーバ装置２０と自動演奏ピアノ３０との間では、以下のような自動演奏に係る処理が実行される。これにより、サーバ装置２０には、図５に示されるような演奏データ群２４１が記憶されているものとする。

自動演奏ピアノ３０の制御部３１は、楽器端末１０により送信された同期信号がＰＣ３０１によって受信されると、信号受信部３５を介してこれを受信する。次に、制御部３１は、受信した同期信号を復号して、楽器ＩＤ及びタイムコードをそれぞれ特定する（ステップＳ１０）。この楽器ＩＤ及びタイムコードによれば、ＰＣ３０１で出力されるライブ動画が、どの楽器によりどの日時に撮影されたかを特定することができる。
制御部３１は、同期信号を受信すると、その同期信号が示す楽器ＩＤを記憶部３２に記憶させる。ここでは、制御部３１は、予め記憶部３２に記憶された楽器ＩＤ「０００２」を保持したまま、それとは別に、同期信号が示す楽器ＩＤ「０００１」を記憶部３２に記憶させる。以降、制御部３１は、同期信号に基づいて記憶部３２に記憶された楽器ＩＤ「０００１」に従って、再生対象のＭＩＤＩメッセージを含む演奏データをサーバ装置２０から取得する。

次に、制御部３１は、ステップＳ１０の処理で特定したタイムコードに従って、計時部３１１が計る日時を補正する（ステップＳ１１）。ここでは、制御部３１は、タイムコードが示す日時と共通する日時に補正する。これにより、計時部３１１が計る日時と、ＰＣ３０１で現在出力されている映像の日時とが一致することとなる。

次に、制御部３１は、ステップＳ１１の処理で特定した楽器ＩＤ及びタイムコードに基づいて、楽器ＩＤ及び日時情報を含む演奏データ要求メッセージを送信する（ステップＳ１２）。ここでは、制御部３１は、タイムコードが示す日時及び記憶部３２に記憶された楽器ＩＤを指定して、演奏データ要求メッセージを送信する。
なお、上述したように、ＨＤＤレコーダ１０２は遅延装置１０３を有しており、楽器端末１０側から１分程度遅れてタイムコード及び楽器ＩＤがＰＣ３０１で受信される。これに対し、楽器端末１０からサーバ装置２０への演奏データの送信には、このような遅延を意図的に生じさせていない。自動演奏ピアノ３０が送信要求する演奏データは、サーバ装置２０に確実に記憶されていると考えられる。

サーバ装置２０の制御部２１は、第２通信部２３により演奏データ要求メッセージを受信すると、記憶部２４に記憶された演奏データ群２４１に基づいて、当該送信要求メッセージで指定される日時の日時情報を含む演奏データから開始して、当該日時の時系列順に、演奏データ要求メッセージと共通の楽器ＩＤを含む演奏データを送信する（ステップＳ１３）。演奏データ要求メッセージで指定される日時が「２０１０年１２月２８日の１９時００分００秒００」であれば、制御部２１は、図５の第１行に示すように、日情報「2010-12-28T19:00:00:00」を含む演奏データから送信し、それに続けて、「2010-12-28T19:00:02:24」に対応する演奏データ、「2010-12-28T19:00:03:59」に対応する演奏データを順次送信する。

このように、自動演奏ピアノ３０は一の同期信号を受信したことを契機に、複数の演奏データを時系列順に次々と受信する。一方で、サーバ装置２０の制御部２１は、自動演奏ピアノ３０に送信した演奏データや既に過ぎた日時の日時情報を含む演奏データを、記憶部２４に残しておく。これにより、楽器端末１０で演奏が行われたときからある程度の時間が経過した後であっても、自動演奏ピアノ３０が演奏データを取得して、演奏情報を再生することも可能である。また、このような演奏データの蓄積により、自動演奏ピアノ３０のデータバッファ３７のバッファ領域の記憶容量を小さくすることができる。

自動演奏ピアノ３０の制御部３１は、通信部３６により演奏データを受信すると、それをデータバッファ３７に順次バッファリングする（ステップＳ１４）。このとき、制御部３１は、データバッファ３７の記憶容量に対するバッファ量が閾値以上になった場合など、演奏データの受信及びバッファリングを一時的に停止する場合には、演奏データの消失を防ぐため、その停止をサーバ装置２０に要求するとよい。

次に、制御部３１は、通信部３６により受信した演奏データの日時情報が示す日時と、計時部３１１が計時する日時（つまり、受信した同期信号が示す日時）とに応じたタイミングで、ＭＩＤＩメッセージを演奏部３８に供給して、ＭＩＤＩメッセージを再生する（ステップＳ１５）。ここでは、制御部３１は、計時部３１１が計時する日時よりも５００ミリ秒前の日時情報との組であるＭＩＤＩメッセージを再生する。換言すると、計時部３１１が計時する日時が、ＭＩＤＩメッセージとの組である日時情報が示す日時の５００ミリ秒前になると、そのＭＩＤＩメッセージを再生する。このように、計時部３１１の補正に用いた同期信号の配信時刻の映像が出力されるときに、制御部３１は、この同期信号が示す時刻を用いて、ＭＩＤＩメッセージの再生タイミングを調整して、同期再生（自動演奏）を実現する。
なお、制御部３１は、再生した演奏データについてはデータバッファ３７から消去して、その記憶容量を確保する。

制御部３１は、以降引き続き、データバッファ３７から時系列順にＭＩＤＩデータを読み出して再生する。同期信号が受信されない期間も、制御部３１は計時部３１１の計る日時に従って各演奏データのＭＩＤＩメッセージを再生するので、このときライブ動画と自動演奏とが同期する。
そして、自動演奏ピアノ３０の制御部３１は、動画配信サーバ４０から同期信号を受信する（ステップＳ１６）。この場合も、制御部３１は、受信した同期信号を復号して、楽器ＩＤ及びタイムコードをそれぞれ特定する（ステップＳ１７）。そして、制御部３１はステップＳ１７の処理で特定したタイムコードに従って、計時部３１１が計る日時を補正する（ステップＳ１８）。そして、制御部３１は、上記手順で、ＰＣ３０１が出力する映像及び音声に同期するタイミングで、ＭＩＤＩメッセージを再生する。
そして、制御部３１は、データバッファ３７の記憶容量が閾値以下になった場合などは、再び、サーバ装置２０に対して演奏データ要求メッセージを送信する（ステップＳ１９）。そして、制御部３１は、演奏データ要求メッセージに応じて受信した演奏データを、データバッファ３７にバッファリングして（ステップＳ２０）、上記手順でＭＩＤＩメッセージに基づく自動演奏を継続する。
以上のような動作が、楽器端末１０の演奏が終了して自動演奏ピアノ３０の自動演奏が終了するまで継続して行われる。

以上説明した実施形態の演奏システム１００では、映像の伝送経路の状態による影響を抑えつつ、映像に同期させて自動演奏を行うことができる。具体的には、動画配信サーバ４０を経由するのは同期信号であり、演奏データは経由しない。よって、動画配信サーバ４０に多数のアクセスがあったり、何らかの原因でシステムダウンが発生したり、また、通信状態によって同期信号、映像信号及び音声信号の配信が遅延した場合であっても、自動演奏ピアノ３０はこれとは別経路で受信する演奏データで、自動演奏を行うことができる。また、自動演奏ピアノ３０のユーザにしてみれば、仮にライブ動画が一時的に途絶えても、自動演奏ピアノ３０の自動演奏が継続する分だけ、その演奏音が途切れることによる違和感を持つことがない。また、自動演奏ピアノ３０は、タイムコードに従って日時を特定するので、仮に、動画配信サーバ４０の各信号の配信が中断し、その後復旧した場合であっても、その復旧後のタイミングから自動演奏を開始することができる。
また、本実施形態では、映像と同期して鍵等の演奏部３８の各部が動作し、楽器端末１０の動きを再現することにもなるので、自動演奏ピアノ３０のユーザは遠隔地にいながら演奏会場の臨場感を味わうことができる。

また、同時に複数の会場に送信側システム１が構成されて、生演奏が行われている場合にも、本発明を適用可能である。この場合、動画配信サーバ４０がチャネル毎に各受信側システム１（演奏会場）が割り当てられていればよいだけである。すなわち、ＰＣ３０１で現在設定されているチャネルに対応した同期信号が、自動演奏ピアノ３０では受信される。チャネルの切り替えがあってから受信した同期信号に基づいて、自動演奏ピアノ３０は、楽器ＩＤ及び日時情報を特定し、自動演奏を行うことができる。

［他の実施形態］
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。なお、以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。

（変形例１）
上述した実施形態では、自動演奏ピアノ３０は、同期信号の受信を契機に、演奏データ要求メッセージをサーバ装置２０に送信して、データバッファ３７にバッファリングするための演奏データを受信していた。これに代えて、自動演奏ピアノ３０がデータバッファ３７を有さない構成であってもよい。図１０は、本変形例の演奏システム１００の機能的構成を示すブロック図である。これら機能のうち、上述した実施形態と同じ機能については同じ符号を付して表し、その説明を省略する。図１０に示すように、本実施形態では、自動演奏ピアノ３０がバッファリング部３１３を実現しない。

例えば、自動演奏ピアノ３０とサーバ装置２０との間とが、高速のデータ通信が可能である通信路を介して接続される場合など、信頼性の高い通信路でこれらが接続される場合、自動演奏ピアノ３０とサーバ装置２０との間の通信遅延と、演奏部３８が演奏情報が供給されてから演奏音を出力するまでの時間との合計時間を、ある程度正確に特定することができる。そこで、制御部３１は、計時部３１１が計る日時からおよそこの合計時間分前の日時情報を含む演奏データを受信するように、演奏データ要求メッセージをサーバ装置２０に送信する。そして、制御部３１は、演奏データを受信するとこれをＲＡＭに記憶させて、その演奏データに含まれるＭＩＤＩメッセージを、動画配信サーバ４０の配信映像に同期するタイミングで読み出して再生する。
この変形例では、サーバ装置２０の記憶部２４がデータバッファ３７と同等の機能を果たすこということもでき、自動演奏ピアノ３０の構成を簡略化することもできる。

（変形例２）
自動演奏ピアノ３０の制御部３１は、所定の周期（ここでは、１秒間）で通信部３６により同期信号を受信する。この場合に、制御部３１はこの受信の周期よりも長い所定期間（例えば、１分間）内で同期信号が受信されなかった場合、ＭＩＤＩメッセージを継続して再生するが、この所定期間を超えて同期信号が受信されなかった場合、ＭＩＤＩメッセージの再生を中断してもよい。
例えば、動画配信サーバ４０に何らかのアクシデントが発生した場合、自動演奏ピアノ３０は演奏データを受信できるが、同期信号を受信できない状態が継続する。このとき、自動演奏ピアノ３０はアクシデントが発生した後で合っても、演奏データを受信することはできるので、自動演奏を継続することができる。よって、演奏システム１００によれば、自動演奏が突然停止するといった違和感をユーザが持つことがない。一方で、同期信号がある一定時間以上受信されないと、動画配信サーバ４０の配信映像と自動演奏のタイミングとが大きくずれてしまって、好ましくない場合がある。よって、制御部３１は、同期信号がある程度受信できない場合であって、このような同期信号が受信されなくても問題ない期間を超えた場合には、演奏情報の演奏部３８への供給を停止して、自動演奏を中断する。
なお、この変形例において、自動演奏ピアノ３０は同期信号の受信が再開すると、自動演奏も再開するとよい。

（変形例３）
上述した実施形態では、生演奏を撮影したライブ動画に同期する自動演奏の実現を前提としていた、ライブ動画に代えて録画映像を含む動画を用いた演奏システムにも、本発明を適用可能である。この場合、サーバ装置２０は、演奏の収録時に演奏データを蓄積する。自動演奏を実現する機会には、サーバ装置２０が蓄積しておいた映像信号、音声信号及び同期信号を、動画配信サーバ４０に送信する。そして、動画配信サーバ４０はこの映像信号、音声信号及び同期信号を配信する。また、これらの信号の記録をＨＤＤレコーダ１０２が行ってもよい。一方、受信側システム３では、動画配信サーバ４０から受信した各信号に基づいて、上記実施形態と同様の手順で自動演奏を行う。
この変形例の構成で、サーバ装置２０は、受信した演奏データをファイル化して記録してもよい。その理由は、例えばひとつの楽器端末１０が複数回の演奏を行った場合に、自動演奏したい演奏を区別できるようにしたい場合がある。また、サーバ装置２０において、コンサート単位や曲単位で演奏データをまとめておくことが、演奏データの管理上好ましい場合もあると考えられる。このファイル化について、手動によってコンサート単位や曲単位で複数の演奏情報がまとめられてファイル化されてもよいが、手動操作なしにこれを実現できることが好ましい。この場合、以下の手順でサーバ装置２０がファイル化を行うとよい。なお、この構成で、サーバ装置２０が日時を計る計時部を有しているものとする。

サーバ装置２０の制御部２１は、楽器端末１０の演奏中には、第１通信部２２により演奏データを受信してＲＡＭに記憶する。やがて、楽器端末１０の演奏が終了すると、楽器端末１０からサーバ装置２０に演奏データの送信が行われなくなる。楽器端末１０から演奏データの送信が行われなくなると、サーバ装置２０においては、自装置の計時部で計っている日時と、最後に受信した演奏データの日時情報が示す日時との差が次第に大きくなる。そこで、制御部２１は、自装置の計時部で計っている日時と、最後に受信した演奏データの日時情報が示す日時との差が閾値（ここでは、５秒）以上となると、楽器ＩＤ「０００１」で特定される楽器端末１０での演奏が終了したと判断する。この場合、制御部２１は、ＲＡＭに記憶した演奏データをファイル化して、記憶部２４に記憶する処理を行う。具体的には、制御部２１は、ＲＡＭに記憶されている演奏データのうち、ＲＡＭに記憶されている楽器ＩＤ「０００１」を含む全ての演奏データを一つのファイルとしてまとめた演奏ファイルを生成する。また、制御部２１は、演奏ファイルを一意に識別する演奏ファイル識別子を生成し、演奏ファイル識別子を含む演奏ファイルを記憶部２４に記憶させる。このファイル識別子は、例えばコンサート単位や曲単位である一群の演奏情報である演奏情報群に対して割り当てられる識別子であるといえる。
また、制御部２１は、演奏ファイルの演奏データに含まれている楽器ＩＤ、演奏ファイル中の演奏データに含まれている日時のうち最も早い日時情報が示す演奏開始日時と、最も遅い日時情報が示す演奏終了日時とを取得して、これらを対応付けて記憶してもよい。

図１１は、楽器ＩＤ、演奏開始日時、演奏終了日時及び演奏ファイル識別子の組を記述した演奏テーブルの構造を示す図である。記憶部２４は、この演奏テーブルを記憶している。例えば、演奏ファイル中の演奏データ含まれている場合において最も早い日時情報が「2010-12-28T19:00:00:00」、演奏の最後で楽器端末１０から送信された演奏データに含まれていた日時情報が「2010-12-28T19:31:23:05」、楽器ＩＤが「０００１」、ファイル識別子として「Ｆ０００１」が生成された場合、これらの情報が、図１１に示したように演奏テーブルの同じ行に格納される。このように、楽器端末１０の電源を入れた後にユーザが楽器端末１０で演奏を行うと、演奏の記録開始のためのボタン操作や終了のためのボタン操作をユーザが行わなくても、ユーザが行った演奏を表すＭＩＤＩメッセージを含む演奏ファイルがサーバ装置２０に記憶される。そして、上述した動作は、ユーザが演奏を行う度に行われ、サーバ装置２０においては、ユーザが行った演奏毎に演奏ファイルが記憶される。

そして、この変形例では、ファイル識別子により自動演奏ピアノ３０がサーバ装置２０から受信する演奏データを特定するとよい。よって、楽器ＩＤに代えて、又は楽器ＩＤと併用してファイル識別子を用いて、楽器端末１０が同期信号を生成して送信する。一方、自動演奏ピアノ３０は同期信号が示すファイル識別子を含む演奏データのみをサーバ装置２０から受信し、同期信号が示すファイル識別子を含まない演奏データを受信しないようにするとよい。
なお、この変形例のような録画映像の配信という態様によれば、映像のスキップや早送り、巻き戻しが行われて動画の再生位置が変更された場合でも、それに応じて動画配信サーバ４０から配信される信号が変更後の再生位置に対応したものとなるので、自動演奏ピアノ３０はその動画に同期した自動演奏を実現することができる。

（変形例４）
上述した実施形態では、音声信号と同期信号とを別チャネルの音声信号の伝送経路を用いて送信していたが、いわゆる透かし技術を用いて音声信号に同期信号を重畳（つまり、合成）して送信してもよい。
図１２は、本変形例の演奏システム１００の機能的構成を示すブロック図である。これら機能のうち、上述した実施形態と同じ機能については同じ符号を付して表し、その説明を省略する。図１２に示すように、本変形例では、合成部１０５は送信側システム１側に構成され、楽器端末１０の外部に構成される。また、分離部３０２は受信側システム３に構成され、自動演奏ピアノ３０の外部に構成される。
合成部１０５は、例えば、音声信号を搬送するための搬送波を表す搬送波信号を透かし情報に基づいて位相変調することにより、音声信号の周波数成分よりも高い帯域に透かし情報を合成する。また、合成部１０５は、いわゆるＯＦＤＭ（Orthogonal Frequency-Division Multiplexing）変調により、音声信号に透かし情報を合成してもよい。分離部３０２にあっては、合成部１０５での同期信号の合成の方式に応じた方式で、音声信号と同期信号とを分離する。また、以下の手順で合成及び分離を行ってもよい。

図１３は、同期信号Ｓを音声信号Ａと合成する合成部１０５の回路構成を示す図である。なお、以下では、音声信号Ａの位相を反転した信号を「音声信号−Ａ」と表し、同期信号Ｓの位相を反転した信号を「楽音信号−Ｓ」と表す。
合成部１０５は、入力端ｃ１、ｃ２を有している。入力端ｃ１は、音声信号Ａが入力されるものである。入力端ｃ２は、同期信号Ｓが入力されるものである。反転部ｃ３は、入力された信号の位相を反転して出力する。ここでは、反転部ｃ３は、入力端ｃ２に入力された同期信号Ｓの位相を反転して、同期信号−Ｓを出力する。加算部ｃ４，ｃ５は、それぞれ入力される信号どうしを加算して出力するものである。加算部ｃ４は、入力端ｃ１に入力される音声信号Ａと、反転部ｃ３から出力される同期信号−Ｓとを加算して、その加算結果を第１差信号ｍｄ（＝Ａ−Ｓ）として出力端ｃ６に出力する。すなわち、反転部ｃ３及び加算部ｃ４は、楽音信号と同期信号との差を表す差信号を生成するものである。加算部ｃ５は、入力端ｃ１に入力される音声信号Ａと、入力端ｃ２に入力される同期信号Ｓとを加算して、その加算結果を第１和信号ｍｓ（＝Ａ＋Ｓ）として出力端ｃ７に出力する。加算部ｃ５は、楽音信号と同期信号との和を表す和信号を生成する。
出力端ｃ６は、一方のチャネル（ここでは、Ｌチャネル）に対応しており、第１差信号ｍｄを出力する。出力端ｃ７は、他方のチャネル（ここでは、Ｒチャネル）に対応しており、第１和信号ｍｓを出力する。ＰＣ１０４は、このように符号化された２チャネルの信号を、音声信号の伝送経路を用いて動画配信サーバ４０に送信する。

図１４は、同期信号Ｓと音声信号Ａとを分離する分離部３０２の回路構成を示す図である。なお、以下では、第１差信号ｍｄの位相を反転した信号を「第１差信号−ｍｄ」と表し、第１和信号ｍｓの位相を反転した信号を「第１和信号−ｍｓ」と表す。また、信号「Ａ」、「Ｓ」の前に付した整数は、それぞれ信号「Ａ」、「Ｓ」の振幅をその整数倍にすることを意味する。
入力端ｃ１１は、Ｌチャネルに対応しており、第１差信号ｍｄ（＝Ａ−Ｓ）が入力されるものである。入力端ｃ１２は、Ｒチャネルに対応しており、第１和信号ｍｓ（＝Ａ＋Ｓ）が入力されるものである。反転部ｃ１３は、入力される信号の位相を反転して出力する。ここでは、反転部ｃ１３は、入力端ｃ１１に入力された第１差信号ｍｓの位相を反転して出力する。すなわち、反転部ｃ１３は、第１差信号ｍｄ（＝Ａ−Ｓ）が入力されると、その逆位相の信号である第１差信号−ｍｄ（＝−Ａ＋Ｓ）を出力する。加算部ｃ１４、ｃ１５は、それぞれ入力される信号どうしを加算して出力するものである。加算部ｃ１４は、反転部ｃ１３から出力される第１差信号−ｍｄ（＝−Ａ＋Ｓ）と、入力端ｃ１１に入力される第１和信号ｍｄ＝Ａ＋Ｓとを加算して、その加算結果を第２差信号ｄ（＝２Ｓ）として出力端ｃ１６に出力する。すなわち、反転部ｃ１３及び加算部ｃ１４は、第１和信号から第１差信号を減算したときの差を表す差信号を生成するものである。加算部ｃ１５は、入力端ｃ１１に入力される第１差信号ｍｄ（＝Ａ−Ｓ）と、入力端ｃ１２に入力される第１和信号ｍｓ（＝Ａ＋Ｓ）とを加算して、その加算結果を第２和信号ｄｓ（＝２Ａ）として出力端ｃ１７に出力する。すなわち、加算部ｃ１５は、第１差信号と第１和信号との和を表す和信号を生成するものである。
出力端ｃ１６は、第２差信号ｄｄを同期信号として出力する。出力端ｃ１７は、第２和信号ｄｓを音声信号として出力する。ＰＣ３０１は、このように分離された音声信号Ａに応じた音声を出力するとともに、同期信号Ｓを自動演奏ピアノ３０に送信する。
なお、第２差信号ｄｄ及び第２和信号ｄｓの振幅を元の振幅となるようにすれば（つまり、１／２にすれば）、符号化前の元情報である音声信号Ａ及び同期信号Ｓを特定する（つまり、復号）することができる。
この構成によれば、動画配信サーバ４０を経由する音声信号の伝送経路が２チャネルの場合であっても、送信側システム１から受信側システム３へステレオ方式の音声信号を送信することができる。また、同期信号Ｓの周波数成分の少なくとも一部が音声信号Ａの周波数成分と同じ帯域に含まれる場合であっても、両信号の加減算によって符号化・復号が可能であるから、楽音信号の質の低下を抑制することができる。

以上のような透かし情報の合成を行う場合、演奏システム１００にあって、例えばＰＣＭ（Pulse Code Modulation）方式を採用して、サンプリング周波数を高くして各信号を伝送させることが好ましい。
なお、上述した実施形態の構成で、ステレオ方式の音声信号を送信したい場合には、動画配信サーバ４０を経由する通信経路に、３チャネル以上の音声信号の伝送経路が存在していればよい。

（変形例５）
上述した実施形態では、ＰＣ１０４及びＰＣ３０１が同期信号の送受信を行っていたが、ＰＣ１０４に代わって楽器端末１０が通信ネットワーク９０に接続して同期信号を送信してもよい。また、ＰＣ３０１に代わって、自動演奏ピアノ３０が通信ネットワーク９０に接続して同期信号を送信してもよい。
また、サーバ装置２０が楽器端末１０と同じ場所にあり、例えば通信ネットワーク９０を介さないで、ＬＡＮ（Local Area Network）等の他の通信路を介してこれらが接続されてもよい。
また、同期信号、映像信号及び音声信号の通信経路と演奏データの通信経路とは、それぞれ通信ネットワーク９０を含んでいたが、それぞれ独立した通信ネットワークを経由してもよい。
また、動画配信サーバ４０は不特定多数のユーザに利用されうるものに限らず、演奏システム１００専用に設けられたものであってもよい。
また、上述した実施形態では、ＨＤＤレコーダ１０２が遅延装置１０３を有していた。これに代えて、ＨＤＤレコーダ１０２が遅延装置１０３を有さず、動画配信サーバ４０の遅延処理機能を利用して映像信号、音声信号及び同期信号の配信タイミングを遅延させてもよい。

（変形例６）
上述した実施形態において、楽器ＩＤを省略することも可能である。例えば、サーバ装置２０が１つの楽器で生成された演奏情報を含む演奏データを記憶するものであれば（例えば、楽器端末１０が１つである場合）、楽器ＩＤがなくともタイムコードのみで自動演奏ピアノ３０は自動演奏を実現可能である。
また、計時部３１１は、例えば自動演奏開始時からの経過時間を計時するものであってもよい。この場合も、計時補正部３１５はタイムコードが示す日時に応じて計時部３１１が計る日時を補正するので、実施形態と同等の同期再生を実現可能である。
また、楽器端末１０は、日付情報と時刻情報とを含む日時情報に代えて、時刻情報のみを演奏データに含めて送信し、また、タイムコードにその時刻を含めてもよい。この場合、上述した実施形態の「日時情報」を「時刻情報」に置き換えた構成になるが、生演奏を自動演奏するような場合、日付を特定できなくても演奏操作の時刻さえ受信側システム３で分かれば、自動演奏を実現可能である。
また、上述した実施形態では、同期信号が楽器ＩＤ及び演奏が行われた日時を示す日時情報を示すものであったが、同期信号はこれ以外の情報を示すものであってもよい。例えば、図１５に示すように、同期信号は楽器ＩＤ、楽器端末１０で演奏が行われた時刻である演奏開始時刻、及び演奏開始時刻からの経過時間（つまり、相対時刻）を示すタイムコードを示すものであってもよい。演奏開始時刻は、実施形態の場合は、「２０１０年１２月２８日の１９時００分００秒００」を表す。また、タイムコードは、図５の例を用いると以下のようになる。第１行に対応する演奏データでは「０時間０分００秒００」を表し、第２行に対応する演奏データでは「０時間０分０２秒２４」を表し、第３行に対応する演奏データでは「０時間０分０３秒５９」を表す。
なお、演奏開始時刻は楽器端末１０から送信されるすべての同期信号に含まれるが、自動演奏ピアノ３０で再現する演奏が変化しない場合など、自動演奏ピアノ３０が演奏開始時刻を特定できるのであれば、楽器端末１０から送信される最初の同期信号にのみ演奏開始時刻が含まれていてもよい。この場合、自動演奏ピアノ３０は、楽器端末１０の演奏中には、最初に受信した同期信号が示す演奏開始時刻に基づいて、演奏開始時刻を特定する。
このように、自動演奏ピアノ３０は、演奏データの時刻情報が示す時刻と、受信した同期信号が示す時刻とが連動するように、ＭＩＤＩメッセージの再生タイミングを調整すれば、自動演奏を実現可能である。

（変形例７）
また、自動演奏ピアノ３０において楽器端末１０のピッチと一致させるように、自動演奏を行えるようにしてもよい。その手法は、特許第３８６７５７９号明細書にも開示されているとおりである。
具体的には、楽器端末１０が自端末の基準ピッチを検出し、この基準ピッチを示す信号を例えば同期信号と同じ方法で、自動演奏ピアノ３０に送信する。基準ピッチは、或る音程の音を演奏部１８から出力したときの周波数であり、この周波数が演奏システム１００の基準となるピッチを表す。なお、基準ピッチを示す信号の送信方法については、特に問わない。
自動演奏ピアノ３０は、基準ピッチを取得すると、自装置の演奏部３８の基準ピッチを検出して、これらの音程差を求める。そして、自動演奏ピアノ３０は、自動演奏時には、この音程差に応じた読み出し速度でデータバッファ３７から演奏データを読み出して再生することで、その音程の音の周波数が基準ピッチに近づくように（好ましくは、一致するように）する。
この変形例の構成によれば、楽器端末１０と自動演奏ピアノ３０との基準ピッチを近づけることができ、自動演奏ピアノ３０の個体差等による影響を抑制して、より生演奏に近い音程で自動演奏を実現することが期待できる。

（変形例８）
上述した演奏システム１００にあって、一部又は全サービスについて課金を行ってもよい。例えば、サーバ装置２０がこの課金処理を行うものとし、演奏データの送信対象とする自動演奏ピアノ３０を予め登録しておく。そして、サーバ装置２０は自動演奏の開始前に自動演奏ピアノ３０を認証して、その認証に成功すれば課金して、演奏データの送信を許可する。また、プライベートコンサートのように、自動演奏に係るサービスを許可するユーザを制限したい場合、サーバ装置２０が演奏データの送信対象とする自動演奏ピアノ３０を予め登録しておき、自動演奏の開始前にサーバ装置２０が自動演奏ピアノ３０を認証して、その認証に成功すれば自動演奏を許可してもよい。

（変形例９）
上述した実施形態では、本発明の演奏情報出力装置が楽器端末１０である場合であって、特に、電子ピアノである場合を説明したが、演奏操作に応じて例えばＭＩＤＩメッセージを出力可能な自動演奏ピアノであってもよい。この場合、楽器端末１０と自動演奏ピアノ３０とを同じ自動演奏ピアノにすることもできる。また、本発明の演奏情報出力装置は演奏情報を出力可能であれば、ピアノ以外に対応する楽器端末でもよく、例えば、エレクトーン（登録商標）やオルガンなどの鍵盤楽器や、フルートやクラリネットなどの吹奏楽器、ドラム等の打楽器などであってもよい。したがって、本発明の自動演奏装置においても、自動演奏ピアノには限定されず、ＭＩＤＩメッセージに基づいて自動演奏を行うことが可能な装置であってもよい。
また、本発明の演奏情報出力装置及び自動演奏装置は、例えば、楽器演奏用のアプリケーションプログラムがインストールされたスマートフォンやスレート型端末、スマートブックなどの情報端末、携帯型音楽プレーヤであってもよく、手動演奏の機能を有さないものであってもよい。
また、本発明の演奏情報はＭＩＤＩ形式のものに限らず、楽器端末１０の演奏内容を示し、自動演奏に利用できるものであればよい。

（変形例１０）
上述した実施形態における楽器端末１０の制御部１１や、サーバ装置２０の制御部２１、自動演奏ピアノ３０の制御部３１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ、ＦＤ）など）、光記録媒体（光ディスク（ＣＤ、ＤＶＤ）など）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でダウンロードさせることも可能である。また、制御部１１、制御部２１及び制御部３１によって実現される機能は、１又は複数のソフトウェアにより実現されてもよいし、１又は複数のハードウェアにより実現されてもよい。

Claims (7)

1. 映像及び音声を配信する動画配信サーバの配信映像に同期して、演奏情報出力装置から受信した演奏情報を再生する自動演奏装置であって、
   前記演奏情報出力装置により出力された演奏情報と、前記演奏情報出力装置の計時部で計られた当該演奏情報の演奏が行われた時刻を示す時刻情報との組である演奏データを記憶する記憶装置から、前記動画配信サーバを経由せずに送信された演奏データを受信する演奏データ受信手段と、
   前記演奏情報出力装置により送信された前記計時部で計られた時刻を示す同期信号を、前記動画配信サーバ経由で前記音声の音声信号の伝送経路を用いて受信する同期信号受信手段と、
   前記演奏データ受信手段が受信した演奏データの時刻情報が示す時刻と、前記同期信号受信手段が受信した同期信号が示す時刻とに応じたタイミングで、当該同期信号が配信された時刻の配信映像に同期して当該演奏データの演奏情報を再生する再生手段と
   を備えることを特徴とする自動演奏装置。
2. 前記演奏データ受信手段が受信した演奏データをバッファ領域にバッファリングするバッファリング手段を備え、
   前記再生手段は、前記バッファリング手段によるバッファリングに並行して、バッファリングされた前記演奏データの演奏情報を前記バッファ領域から読み出して再生する
   ことを特徴とする請求項１に記載の自動演奏装置。
3. 前記同期信号受信手段は、前記再生手段が演奏情報を再生する間、前記同期信号を決められた周期で受信し、
   前記再生手段は、前記周期よりも長い予め決められた期間内で前記同期信号が受信されなかった場合、前記演奏情報を継続して再生するが、当該期間を超えて前記同期信号が受信されなかった場合、前記演奏情報の再生を中断する
   ことを特徴とする請求項１又は２に記載の自動演奏装置。
4. 前記記憶装置は、前記演奏情報及び前記時刻情報のほか、前記演奏情報出力装置又は一群の前記演奏情報である演奏情報群を識別する識別子を記憶し、
   前記同期信号は、前記識別子及び前記演奏が行われた時刻を示す信号であり、
   前記再生手段は、前記同期信号が示す前記識別子を含む演奏データの演奏情報を再生するが、それ以外の識別子を含む演奏データの演奏情報を再生しない
   ことを特徴とする請求項１から３のいずれか１項に記載の自動演奏装置。
5. 演奏情報を出力する演奏情報出力装置と、映像及び音声を配信する動画配信サーバが配信する映像に同期して前記演奏情報を再生する自動演奏装置とのそれぞれと通信可能である記憶装置であって、
   前記演奏情報出力装置で演奏情報が生成される毎に、当該演奏情報と、当該演奏情報が示す演奏が行われた時刻を示す時刻情報との組である演奏データを、前記動画配信サーバを経由せずに当該演奏情報出力装置から受信する演奏データ受信手段と、
   前記演奏データ受信手段が受信した演奏データを記憶する記憶手段と、
   前記記憶手段が前記受信した演奏データを記憶することと並行して、前記記憶手段が記憶する演奏データを、前記動画配信サーバを経由せずに前記自動演奏装置へ送信する演奏データ送信手段と
   を備えることを特徴とする記憶装置。
6. 記憶装置と、映像及び音声を配信する動画配信サーバが配信する映像に同期して演奏情報を再生する自動演奏装置とのそれぞれと通信可能である演奏情報出力装置であって、
   演奏情報を生成する演奏情報生成手段と、
   時刻を計る計時手段と、
   前記演奏情報生成手段で演奏情報が生成される毎に、前記計時手段で計られている時刻を示す時刻情報と当該演奏情報との組である演奏データを、前記動画配信サーバを経由せずに前記記憶装置へ送信する演奏データ送信手段と、
   前記計時手段で計られている時刻を示す同期信号を、前記音声の音声信号の伝送経路を介して前記動画配信サーバへ送信する同期信号送信手段と
   を備えることを特徴とする演奏情報出力装置。
7. 演奏情報を出力する演奏情報出力装置と、記憶装置と、映像及び音声を配信する動画配信サーバが配信する映像に同期して前記演奏情報を再生する自動演奏装置と、を備える演奏システムであって、
   前記演奏情報出力装置は、
   演奏情報を生成する演奏情報生成手段と、
   時刻を計る計時手段と、
   前記演奏情報生成手段で演奏情報が生成される毎に、前記計時手段で計られている時刻を示す時刻情報と当該演奏情報との組である演奏データを、前記動画配信サーバを経由せずに前記記憶装置へ送信する第１演奏データ送信手段と、
   前記計時手段で計られている時刻を示す同期信号を、前記音声の音声信号の伝送経路を用いて前記動画配信サーバへ送信する同期信号送信手段と
   を有し、
   前記記憶装置は、
   前記第１演奏データ送信手段により送信された演奏データを受信する第１演奏データ受信手段と、
   前記演奏データ受信手段が受信した演奏データを記憶する記憶手段と、
   前記記憶手段が前記受信した演奏データを記憶することと並行して、前記記憶手段が記憶する演奏データを、前記動画配信サーバを経由せずに当該自動演奏装置へ送信する第２演奏データ送信手段と
   を有し、
   前記自動演奏装置は、
   前記第２演奏データ送信手段により送信された演奏データを受信する第２演奏データ受信手段と、
   前記同期信号送信手段により送信された同期信号を、前記伝送経路を用いて前記動画配信サーバから受信する同期信号受信手段と、
   前記第２演奏データ受信手段が受信した演奏データの時刻情報が示す時刻と、前記同期信号受信手段が受信した同期信号が示す時刻とに応じたタイミングで、当該同期信号が配信された時刻の配信映像に同期して当該演奏データの演奏情報を再生する再生手段と
   を有することを特徴とする演奏システム。

Images