JP4001091B2

JP4001091B2 - 演奏システム及び楽音映像再生装置

Info

Publication number: JP4001091B2
Application number: JP2003319320A
Authority: JP
Inventors: 春喜上原
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2003-09-11
Filing date: 2003-09-11
Publication date: 2007-10-31
Anticipated expiration: 2023-09-11
Also published as: JP2005084578A; US7129408B2; US20050056141A1

Description

本発明は、送信側から例えば遠隔地の受信側に演奏データとオーディオビデオ信号を送信して、該受信側で演奏データに基づく楽音と該オーディオビデオ信号に基づく映像を再生する演奏システム及び楽音映像再生装置に関する。

従来、この種の演奏システムは、例えば自動演奏ピアノを使った遠隔コンサートや遠隔レッスンなどを行うために開発されている。図７は従来の演奏システムの概略図であり、送信側のコントローラ５１と受信側のコントローラ６１、送信側のビデオフォン５２と受信側のビデオフォン６２は、インターネット１０でそれぞれ接続されている。送信側の例えば鍵盤式の電子楽器５３の演奏で発生する演奏データ（ＭＩＤＩデータ）はコントローラ５１に入力され、コントローラ５１は内部時計５１ａを参照してＭＩＤＩデータが発生した時刻をタイムスタンプとしてＭＩＤＩデータに付加し、これらのデータをパケットセンドモジュール５１ｂからパケットデータとして送信する。また、ビデオフォン５２で再生されるオーディオビデオ信号は（例えばストリーミングシステムやビデオ会議システムにより）受信側のビデオフォン６２に送信される。

受信側のコントローラ６１は、インターネット１０を介して送信されるパケットデータをパケットレシーブモジュール６１ｂで受信し、ＭＩＤＩデータを抽出してＭＩＤＩアウトバッファ６１ｃに格納する。このＭＩＤＩデータは内部時計６１ａとタイムスタンプとに基づいてＭＩＤＩ出力のタイミングを調整して電子楽器６３に出力し、電子楽器６３でＭＩＤＩデータに基づく楽音を発生する。また、受信側のビデオファン６２は、受信するオーディオビデオ信号に基づいて映像を再生する。

ここで、例えば遠隔コンサートの場合、送信側でプレーヤが電子楽器５３を演奏するとともに、その映像を撮影してそのときのＭＩＤＩデータとオーディオビデオ信号を受信側に送信するが、このとき、受信側において発生する楽音と再生する映像とは同期していることが要求される。このことは、遠隔レッスンの場合も同様である。なお、１つのシステム内にＭＩＤＩデータとオーディオビデオ信号を送信するものを収めたシステムは、ほとんど実現されていないとともに、別のシステムにしておいたほうが伝送系の選択自由度が増すことから、それぞれ別系統の通信システム（異なる伝送系統）で送受信される。

そこで従来は、受信側において映像と楽音とを同期させるために、ＭＩＤＩデータか映像のどちらか（あるいは両方）にディレイを入れて、そのディレイ時間を調整することで映像と楽音との同期再生を行うようにしている。この場合、ディレイ時間の調整は、映像と自動演奏を同時に再生し、オペレータが目と耳をたよりに手動で調整する必要があった。また、映像や楽音のどちらかの経路（伝送系統）が通信状態や送受信ソフトの影響で同期がずれた場合には、再度ディレイ時間の調整を実施する必要があり、長時間の安定した同期を確保することが困難である。なお、通信開始時に同期を合わせるだけの場合には、長時間後に映像と楽音との時間ずれが生じてしまう。

なお、異なるデータを同期して再生する技術として、本出願人が先に出願した特願平２００２−７８７３号のもの、あるいは本出願人が提案し特開２００３−２０８１６４号公報に開示されたものがあるが、これらの技術は特に記録媒体（メディア）に記録したデータの再生に適したものであり、ＣＤレベルのオーディオクオリティが要求されるため、ネットワーク等の通信システムでリアルタイムに送受信及び再生するためには、改良の余地を残している。
特開２００３−２０８１６４号公報

ここで、送信側の内部時計に基づいてＬＴＣ（絶対時間をオーディオ信号に変調したコード）を生成し、このＬＴＣをオーディオビデオ信号で受信側に送信し、受信側でこのＬＴＣを復号して絶対時間を得、この絶対時間とＭＩＤＩデータに付加されたタイムスタンプとに基づいて同期を取ることも考えられる。しかし、このように、ＬＴＣを送信する場合は、オーディオビデオ信号を送信する伝送系統がブロードバンドを前提とした高品質なシステムであれば可能であるが、例えばビデオ会議システムなどのように低品質な（圧縮率が高い）システムでは、ＬＴＣを復号できないという問題がある。

本発明は、ＭＩＤＩデータ等の演奏データとオーディオビデオ信号を別系統の伝送系統で送受信するシステムにおいて、オーディオビデオ信号の伝送系統が低品質であっても、受信側で演奏データによる楽音とオーディオビデオ信号による映像とを自動的に同期させ、例えば長時間後でも同期が確保できるようにすることを課題とする。

本発明の請求項１の演奏システムは、送信側では、ＭＩＤＩデータ等の演奏データが発生するとパケット通信等による第１伝送系統で送信する。また、所定間隔でクリック音等のパルス信号を発生して、このパルス信号をオーディオビデオ信号のオーディオ信号にて第２伝送系統で送信するとともに、コントローラの内部時計等に基づいて各パルス信号の発生時刻を示すパルス時間データをパルス信号に対応させて第１伝送系統から送信する。受信側では、パルス信号とこれに対応するパルス時間データとを検出し、このパルス信号の受信タイミングをパルス時間データが示す時刻とし、計時手段（内部時計等）を補正する。なお、「オーディオビデオ信号」とは映像用のビデオ信号に音声用のオーディオ信号が付加された信号のことである。また、請求項２の楽音映像再生装置は上記受信側の構成とする。

パルス信号は伝送系統が低品質であっても確実に送信でき、受信側においてもこのパルス信号を容易に検出することができる。また、このパルス信号に対応するパルス時間データはＭＩＤＩデータ等と同じ伝送系統から受信できるので、パルス信号とパルス時間データをペアにして検出でき、計時手段を逐次補正することができる。パルス信号はオーディオ信号で送信するのでビデオ信号と同期している。また、このパルス信号で補正した計時手段の時間をタイムベースとして演奏データで楽音を発生するので、ビデオ信号による映像と楽音とが同期する。

本発明の請求項１の演奏システム及び請求項２の楽音映像再生装置によれば、オーディオビデオ信号の伝送系統が低品質であっても、受信側で演奏データによる楽音とオーディオビデオ信号による映像とを自動的に同期させることができ、さらに、長時間後でも同期が確保できる。

以下、図面を参照して本発明の一実施形態について説明する。図１は本発明の実施形態における演奏システム及び楽音映像再生装置の要部機能を説明する機能ブロック図である。送信側のコントローラ１１及び受信側のコントローラ２１はコンピュータ等で構成されており、送信側の内部時計１１ａ、タイムスタンプ付加モジュール１１ｂ、パケットセンドモジュール１１ｃ、クリック発生モジュール１１ｄはコントローラ１１の機能である。また、受信側の内部時計２１ａ、クリック発生時刻バッファ２１ｂ、パケットレシーブモジュール２１ｃ、ＭＩＤＩアウトバッファ２１ｄ、クリックタイミング検出モジュール２１ｅはコントローラ２１の機能である。なお、内部時計２１ａは「計時手段」に相当し、パケットレシーブモジュール２１ｃは「パルス時間データ受信手段」に相当し、クリックタイミング検出モジュール２１ｅは「パルス信号受信手段」に相当する。

送信側のコントローラ１１は送信開始時にクリック発生モジュール１１ｄを起動して該クリック発生モジュール１１ｄは一定間隔でクリック信号を発生し、このクリック信号はビデオフォン１３に入力されるとともにコントローラ１１で内部処理される。コントローラ１１は、電子楽器１２からＭＩＤＩデータが発生されると、そのＭＩＤＩデータに対して、内部時計１１ａを参照して得られる該ＭＩＤＩデータの発生時刻を示すタイムスタンプを付加し、パケットセンドモジュール１１ｃからパケットデータとして送信する。また、クリック信号が検出されると、このクリック信号のクリック発生時刻を示すクリックタイムデータ（パルス時間データ）を生成し、このクリックタイムデータをパケットセンドモジュール１１ｃからパケットデータとして送信する。また、ビデオフォン１３は、クリック発生部１５からクリック信号が発生する毎に、そのクリック信号をオーディオ信号に含ませて送信する。なお、パケットデータにはＭＩＤＩ／クリックタイムかを識別するデータがヘッダ等に記録され、受信側ではこのヘッダの情報でＭＩＤＩデータとクリックタイムデータを識別する。

受信側のコントローラ２１は、パケットレシーブモジュール２１ｃでパケットデータを受信し、そのパケットデータがＭＩＤＩデータである場合は、ＭＩＤＩデータをＭＩＤＩアウトバッファ２１ｄに格納し、パケットデータがクリックタイムデータである場合は、クリックタイムデータをクリック発生時刻バッファ２１ｂに格納する。また、ビデオフォン２３で受信したオーディオ信号から、クリックタイミング検出モジュール２１ｅでクリック信号が検出されると、このクリック信号に対応するクリックタイムデータとにより、内部時計２１ａを補正する。

図２は実施形態における演奏システムのハードウエア構成を示すブロック図であり、この演奏システムでは、送信側のコントローラ１１と受信側のコントローラ２１とでインターネット１０を介して信号の送受信を行い、送信側の電子楽器１２の演奏操作により受信側の自動演奏ピアノ２２でピアノの楽音を発生して遠隔コンサートを行う。また、送信側のビデオカメラ１４で撮影した生演奏の映像をビデオフォン１３から送信して、受信側のビデオフォン２３及びディスプレイ２４で映像を再生する。なお、自動演奏ピアノ２２は、ＭＩＤＩデータに基づいて鍵駆動用のソレノイドを制御し、打弦によりピアノ音を発生することは公知の技術である。また、アンサンブル音源２５及びサウンドシステム２６は、ピアノ音以外のＭＩＤＩデータにより別パート音や伴奏音を電子的に発生するためのものである。

コントローラ１１からのＭＩＤＩデータ及び前記クリックタイムデータ（クリック信号のクリック発生時刻）は、インターネット１０を利用したパケット通信システム（第１伝送系統）でパケットデータとしてコントローラ２１に送信する。また、ビデオフォン１３はビデオ信号とモノラルのオーディオ信号を圧縮して出力し、このビデオ信号とオーディオ信号は、インターネット１０を利用したビデオ会議システムの伝送系統（第２伝送系統）により、ビデオフォン２３に送信する。そして、このオーディオ信号にはクリック発生モジュール１１ｄからのクリック信号（パルス信号）を含めて送信する。

図３は実施形態における時間進行に対するパケットデータとクリック信号（オーディオ信号）の関係を概念的に示す図である。クリック信号は所定間隔のパルス信号として出力される。パケットデータは主にＭＩＤＩデータ（図中「ＭＩＤＩ」）を送信するが、送信側でクリック信号が発生したときにクリックタイムデータ（図中「クリック」）も送信する。このクリック信号とクリックタイムデータとは、受信側でクリックタイムデータを検出するタイミングとクリック信号を検出するタイミングが略同時となるように送信することで、互いにペアとなるように対応付けられている。この対応するクリック信号とクリックタイムデータとは同時に受信できるとは限らないので所定の時間間隔内で検出されたもの同士を対応するものとする。

図４はクリック信号とクリックタイムデータの受信タイミングの差を吸収してペアを検出する例を示す図である。図４(A) のようにクリック信号が先に到来すると、そのクリック信号の立ち上がりでクリック検出信号がえられる。そこでこのクリック検出信号により、所定時間を計時するタイマを起動し、クリックタイムデータが検出されるまでの時間ΔＴを計時する。そして、クリックタイムデータが検出された時点で、そのクリックタイムデータが示すクリックタイムｔにタイマ値ΔＴを加算した時刻を、受信側の現時刻として内部時計２１ａを補正する。これにより、内部時計２１ａはクリック信号が検出された時点でそのクリック信号に対応する（ペアの）クリックタイムデータに基づいて補正されたと同様な結果となる。なお、タイマが計時終了する所定時間は、断続的に送信（及び受信）するクリック信号間の間隔（インターバル）に応じて設定されており、このクリック信号が検出されてから所定時間内にクリックタイムデータが検出されない場合は、この検出した今回のクリック信号による補正動作を中止する。

また、図４(B) のように、クリックタイムデータが先に到来した場合は、そのクリックタイムデータが示すクリックタイムｔを前記クリック発生時刻バッファ２１ｂに記憶しておき、所定時間内にクリック信号（クリック検出信号）が検出されると、クリック発生時刻バッファ２１ｂに記憶しているクリックタイムｔを、受信側のクリック信号検出時の現時刻として内部時計２１ａを補正する。この場合も、クリックタイムデータが検出されてから所定時間内にクリック信号が検出されない場合は、この検出した今回のクリックタイムデータによる補正動作を中止する。

次に第２伝送系統のシステムの違い（ビデオ会議系とストリーミング系）に応じた所定時間について説明する。第１伝送系統のＭＩＤＩ信号側の遅延は、ネットワーク状態によって変化する部分もあるが、通常は１０〜１００ｍ秒（ミリ秒）程度である。

（ビデオ会議系）ビデオ会議系は、ビデオ側の遅延時間が２００〜３００ｍ秒程度であり、ネットワーク状態によってクリックタイムデータが検出信号より先に来る場合（図４(B) ）とクリックタイムデータが検出信号より後に来る場合（図４(A) ）を想定してタイミング補正動作をする。クリックタイムデータが検出信号より先に来る場合には、第１伝送系統の最小遅延時間１０ｍ秒と第２伝送系統の最大遅延時間の差である３００ｍ秒弱程度の遅延時間をカバーできればよいものであり、所定時間は３００＋αｍ秒（α：数十〜２００ｍ秒）あればよい。クリックタイムデータが検出信号より後に来る場合は、上述のＭＩＤＩ信号側で想定する遅延時間の範囲を超える遅延が生じた場合のものなので、仮に３００ｍ秒程度の遅延でもカバーできるものにするとすれば、所定時間は第２伝送系統の最小遅延時間の差である１００ｍ秒弱程度あればよい。なお、第１伝送系統のネットワーク状態が悪く、ＭＩＤＩパケットの送信に時間がかかることを想定しているもので、このような場合には、受信した側はタイミング補正と並行して通信の停止を送信側に促したりするようにしてもよい。

（ストリーミング系）ストリーミング系は、ビデオ側の遅延が１５〜３０秒程度であり、第１伝送系統の遅延時間と比較して桁違いに大きいものとなっている。このため、クリックタイムデータが先に来る場合にタイミング補正動作をする。クリックタイムデータが検出信号より後に来る場合は考えられなくはないが、その場合はＭＩＤＩ信号自体がエラーとして処理され同期処理には利用されない。クリックタイムデータが先に来る場合の上記所定時間は、第１伝送系統の最小遅延時間と第２伝送系統の最大遅延時間との差分の補正ができればよいのだが、上述のように第２伝送系統の遅延時間が第１伝送系統に比べて非常に長いので、所定時間は３０秒＋β（β：数秒）あればよい。また、クリックタイムデータが後に来る場合の上記所定時間は０に設定すればよい。なお、αとβは、いずれもビデオ系の遅延が急激に変化する可能性のある値をさす。

これらのことに基づき、所定時間とクリック信号のインターバルの例をあげると、クリック信号（オーディオビデオ信号）を送信する第２伝送系統は、この実施形態ではビデオ会議システムであり、この場合には送信から受信に係る遅延が２００〜３００ｍ秒程度であり、クリック信号間の間隔（インターバル）は２秒程度に設定されている。なお、クリックタイムデータが先に来る場合に対応して想定する所定時間を「所定時間Ｂ」とし、クリックタイムデータが後に来る場合に対応して想定する所定時間を「所定時間Ａ」とする。この場合、上記タイマにより規制する所定時間Ｂは例えば０．５秒程度でよい。また、所定時間Ａとしては、０．１秒程度でよい。なお、この第２伝送系統としてストリーミングシステムを利用する場合は、この伝送系統は遅延が５〜２０秒程度であり、クリック信号間の間隔（インターバル）は余裕を見て３０秒程度に設定するとよい。この場合は上記タイマにより規制する所定時間Ｂは２５秒程度でよく、所定時間Ａは０秒でよい。

図５は送信側のコントローラ１１の送信処理の要部を示すフローチャートである。先ず、ステップＳ１１で電子楽器１３からＭＩＤＩデータが発生するのを監視するとともに、ステップＳ１２でクリック発生モジュール１１ｄからクリック信号が発生するのを監視する。ＭＩＤＩデータが発生したら、ステップＳ１３でＭＩＤＩデータにタイムスタンプを付加し、ステップＳ１４でパケットデータとして送信する。また、クリック信号が発生したら、ステップＳ１６で内部時計１１ａからクリックタイムを取得し、そのクリックタイムデータにタイムスタンプを付加してパケットデータとして送信する。そして、処理終了の指示があれば処理を終了する。なお、クリック発生モジュール１１ｄからのクリック信号（オーディオ信号）はビデオフォン１３により、コントローラ１１の処理とは独立して送信される。

図６は受信側のコントローラ２１の受信処理の要部を示すフローチャートであり、この処理では、前記図４(A) 及び図４(B) の処理を併用するために、ＡフラグとＢフラグを用いている。また、所定時間Ａを計時する所定時間Ａタイマ、所定時間Ｂを計時する所定時間Ｂタイマを用いている。なお、パケットレシーブモジュール２１ｃでの受信処理は別途割込み処理により行われ、ＭＩＤＩデータあるいはクリックタイムデータの受信の有無に応じた処理を行う。先ず、ステップＳ２１でＡフラグ及びＢフラグを“０”にリセットし、ステップＳ２２でＭＩＤＩデータが有るかを判定する。受信したＭＩＤＩデータが有ればステップＳ２３で発音時刻（イベントのタイミング）の調整などのＭＩＤＩデータ処理を行ってステップＳ２４に進む。ＭＩＤＩデータがなければステップＳ２４でクリックタイムデータが有るかを判定する。クリックタイムデータが無ければステップＳ２５でクリック信号を検出したかを判定し、検出していなければステップＳ２２以降を繰り返す。

ステップＳ２４でクリックタイムデータが無く、ステップＳ２５でクリック信号が検出されていれば、前記図４(A) の場合（クリック信号が先）であり、ステップＳ２６でＢフラグ＝“１”かを判定する。このＢフラグはクリックタイムデータが先の場合に“１”にセットされるので、この場合は、ステップＳ２７に進み、前記所定時間Ａタイマを起動する。そして、ステップＳ２８でＡフラグを“１”にセットする。そして、ステップＳ２９で所定時間Ａタイマが計時終了したか否かを判定し、計時を終了していればステップＳ２１に戻ってＡフラグとＢフラグをリセットする。所定時間Ａタイマが計時終了していなければ、ステップＳ２０１に進み、処理終了の指示がなければステップＳ２２に戻る。

すなわち、この状態では、所定時間Ａタイマによる所定時間Ａの計時を行いながら、クリックタイムデータの検出を監視する。そして、所定時間Ａ内にクリックタイムデータが検出されれば、ステップＳ２０２でＡフラグ＝“１”かを判定する。このＡフラグはクリック信号が先の場合に“１”にセットされるので、この場合は、ステップＳ２０３に進み、クリックタイムｔにタイマ値ΔＴを加算して現時刻を求め、内部時計２１ａを補正する。そして、２０４でＡフラグ及び所定時間Ａタイマをリセットし、ステップＳ２９に進む。

一方、クリック信号が検出される前にステップＳ２４でクリックタイムデータが検出されていれば、前記図４(B) の場合であり、この場合は、ステップＳ２０２からステップＳ２０５に進み、前記所定時間Ｂタイマを起動する。次に、ステップＳ２０６でクリックタイムデータをクリック発生時刻バッファ２１ｂに記憶し、ステップＳ２０７でＢフラグを“１”にセットする。そして、ステップＳ２９で所定時間Ｂタイマが計時終了したか否かを判定し、計時を終了していればステップＳ２１に戻ってＡフラグとＢフラグをリセットする。所定時間Ｂタイマが計時終了していなければ、ステップＳ２０１に進み、処理終了の指示がなければステップＳ２２に戻る。

この状態では、所定時間Ｂタイマによる所定時間Ｂの計時を行いながら、クリック信号の検出を監視する。所定時間Ｂ内にクリック信号が検出されれば、ステップＳ２５からステップＳ２６に進み、さらにステップＳ２６からステップＳ２０８に進む。そして、ステップＳ２０８で、クリック発生時刻バッファ２１ｂに記憶したクリックタイムｔを現時刻（クリック信号検出タイミング）として、内部時計２１ａを補正する。そして、ステップＳ２０９でＢフラグ及び所定時間Ｂタイマをリセットする。

このように、クリック信号の到来時にそれに対応するクリックタイムデータを現時刻とし、あるいは、クリックタイムデータが先に到来したときは、それに対応するクリック信号が到来した時点の時刻をクリックタイムデータから求め、それぞれ内部時計２１ａを補正している。また、クリック信号を含んでいるオーディオビデオ信号はそのクリック信号と当然に同期している（同時性が保証されている）ので、内部時計２１ａをタイムベースとしてＭＩＤＩデータによる自動演奏を行ったとき、この自動演奏と再生される映像とが同期したものとなる。すなわち、自動的に同期をとることができる。

なお、何らかの事情でクリック信号あるいはクリックタイムデータを受信できなかった場合（取り逃した場合）でも、次のペアあるいはその次のペアによって時計を補正することができる。このような場合でも、一旦補正されると同期外れが生じるまで（あるいは時間のズレが目立つようになるまで）、有る程度の時間がかかるので問題はない。

以上の実施形態では、遠隔コンサートを行う例について説明したが、遠隔レッスンの場合でも適用できる。また、送信側から送信するＭＩＤＩデータ、あるいはビデオ信号等は予め記憶装置や記録メディア等に記録されているものを送信するようにしてもよい。また、ストリーミングシステムのように、オーディオ信号として左右（ＬＲ）のステレオ信号を伝送できる場合は、片方のチャンネルにクリック信号を含ませて他のチャンネルで音声信号をそのまま送信するようにしてもよい。また、実施形態のようにオーディオ信号がモノラルの場合、例えば音声信号として頻繁には出現しないような周波数（例えば４０Ｈｚ）のクリック信号として音声信号に含ませ、受信側でフィルタを通してクリック信号を検出するようにしてもよい。

また、実施形態では、パルス信号の間隔（インターバル）が受信側においても予め既知であり、この間隔に応じて所定時間Ａタイマ及び所定時間Ｂタイマの計時終了時間が予め決められているものとして説明したが、送信開始から受信側である程度の数のパルス信号を検出して、それに基づいてパルス信号の間隔を検出するとともに、所定時間Ａタイマ及び所定時間Ｂタイマの計時終了時間を決定するようにしてもよい。

なお、実施形態ではパルス信号を「クリック信号」として説明しているが、オーディオ信号に含ませて圧縮しても、復号によりパルス信号として検出できるような信号であれば、どのような信号でもよい。

なお、クリック信号（パルス信号）とその発生時刻を示すクリックタイムデータ（パルス時間データ）とを対応させる方法として、実施形態では所定時間Ａタイマ及び所定時間Ｂタイマの計時終了内に検出されるものをペアとして対応つけるようにしている。しかし、クリック信号あるいはクリックタイムデータが到来する間隔（あるいはタイミング）は予測がつくので、この予測した所定間隔のタイミングで検出できなければ、次のペアを目標とするような方法で、クリック信号とクリックタイムデータとを対応付けるようにしてもよい。

本発明の実施形態における演奏システムの要部機能を説明する機能ブロック図である。実施形態における演奏システムのハードウエア構成を示すブロック図である。実施形態におけるパケットデータとクリック信号の関係を概念的に示す図である。実施形態におけるクリック信号とクリックタイムデータの受信タイミングの差を吸収してペアを検出する例を示す図である。実施形態における送信処理の要部を示すフローチャートである。実施形態における受信処理の要部を示すフローチャートである。従来の演奏システムの概略図である。

符号の説明

１１…コントローラ（送信側）、１１ａ…内部時計、１２…電子楽器、１３…ビデオフォン（送信側）、１１ｄ…クリック発生モジュール、２１…コントローラ（受信側）、２１ａ…内部時計、２２…自動演奏ピアノ、２３…ビデオフォン（受信側）

Claims

送信側にて発生する演奏データを第１伝送系統で送信するとともにオーディオビデオ信号を第２伝送系統で送信し、受信側にて該演奏データとオーディオビデオ信号とを受信して計時手段の時間情報を基に該演奏データによって楽音を生成するとともに、該オーディオビデオ信号によって映像を生成する演奏システムにおいて、
前記送信側で所定間隔のパルス信号を発生して該パルス信号を前記第２伝送系統で送信するとともに、該パルス信号の個々の信号の発生時刻を示すパルス時間データを該パルス信号の送信に対応して前記第１伝送系統で送信し、
前記受信側で前記パルス信号と該パルス信号に対応する前記パルス時間データを受信し、該パルス信号の受信タイミングを該パルス時間データが示す時刻として前記計時手段の時間情報を補正することを特徴とする演奏システム。
第１伝送系統にて演奏データを受信して計時手段の時間情報を基に該演奏データによって楽音を生成するとともに、第２伝送系統にてオーディオビデオ信号を受信して該オーディオビデオ信号によって映像を生成する楽音映像再生装置であって、
所定間隔で発生され前記第２伝送系統で送信されるパルス信号を受信するパルス信号受信手段と、
該パルス信号の個々の信号の発生時刻を示すパルス時間データであって前記第１伝送系統で送信されるパルス時間データを受信するパルス時間データ受信手段と、
を備え、
前記パルス信号受信手段で受信したパルス信号の受信タイミングを、該パルス信号に対応して前記パルス時間データ受信手段で受信したパルス時間データが示す時刻として前記計時手段の時間情報を補正することを特徴とする楽音映像再生装置。