JP4259423B2 - 同期演奏制御システム、方法及びプログラム - Google Patents

Description

本発明は、時間進行に従ってビデオデータ等のシリアル情報とこれに対応する演奏情報とを同期再生する同期演奏制御システム、方法及びプログラムに関する。

従来、演奏と画像とを同期再生するものとして、下記特許文献１に示されるカラオケ装置等の同期演奏制御システムが知られている。このシステムでは、楽曲データと時系列的な画像シーケンスデータとを対応付けて記憶し、その対応関係をインデックスファイルで管理する。そして、楽曲データの演奏を行う際に、対応する画像シーケンスデータに従って、画像を表示させる。
特開平１０−７４０９２号公報

しかしながら、上記特許文献１のシステムでは、表示される画像に対応する楽曲データが１つであるため、管理が容易であるが、例えば、時間進行に従って再生されるビデオデータ等のシリアル情報に対して、対応する演奏情報が複数あってそれが時間的に変わる場合は、管理が困難である。また、上記のようなシリアル情報を途中から再生する場合においては、演奏情報の再生位置を対応する途中の位置に的確に合わせて同期をとることも困難である。

本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、シリアル情報と該シリアル情報に対応する演奏情報とを、容易な管理にて、任意の時間的位置から同期させて再生することができる同期演奏制御システム、方法及びプログラムを提供することにある。

上記目的を達成するために本発明の請求項１の同期演奏制御システムは、時間進行に従って再生可能なシリアル情報（ｖｄ）を記憶するシリアル情報記憶手段（３１）と、前記シリアル情報に対応する演奏情報（ｍｄ）を記憶する演奏情報記憶手段（３４）と、前記シリアル情報記憶手段により記憶されたシリアル情報を時間進行に従って読み出して再生するシリアル情報再生手段と、前記演奏情報記憶手段により記憶された演奏情報を読み出して再生する演奏情報再生手段と、前記シリアル情報再生手段による前記シリアル情報の再生と前記演奏情報再生手段による前記演奏情報の再生とを制御する再生制御手段とを有し、前記シリアル情報には、ビデオ情報が含まれ、該ビデオ情報には、ＳＭＴＰＥ（Society of Motion Picture and Television Engineers）に準拠したタイムコードであるＬＴＣが含まれ、前記ＬＴＣには、特定のビットに記憶され、対応する演奏情報を特定するための特定情報と、前記対応する演奏情報の現在再生すべき時間的位置を規定する時間情報とが含まれ、前記再生制御手段は、前記シリアル情報再生手段により読み出されたシリアル情報の再生中に、該シリアル情報から前記ＬＴＣを分離すると共に、該分離したＬＴＣの前記特定のビットに記憶されている特定情報で特定される演奏情報の現在再生されている現在再生時間的位置が前記分離したＬＴＣに含まれている時間情報が示す時刻に一致するように、前記シリアル情報の再生中に前記現在再生時間的位置を移動させることで、前記演奏情報が、前記分離したＬＴＣに含まれている時間情報に基づいて再生されるように制御することを特徴とする。

上記目的を達成するために本発明の請求項３の同期演奏制御方法は、時間進行に従って再生可能な記憶されたシリアル情報を時間進行に従って読み出して再生するシリアル情報再生工程と、前記シリアル情報に対応する記憶された演奏情報を読み出して再生する演奏情報再生工程と、前記シリアル情報再生工程による前記シリアル情報の再生と前記演奏情報再生工程による前記演奏情報の再生とを制御する再生制御工程とを有し、前記シリアル情報には、ビデオ情報が含まれ、該ビデオ情報には、ＳＭＴＰＥ（Society of Motion Picture and Television Engineers）に準拠したタイムコードであるＬＴＣが含まれ、前記ＬＴＣには、特定のビットに記憶され、対応する演奏情報を特定するための特定情報と、前記対応する演奏情報の現在再生すべき時間的位置を規定する時間情報とが含まれ、前記再生制御工程は、前記シリアル情報再生工程により読み出されたシリアル情報の再生中に、該シリアル情報から前記ＬＴＣを分離すると共に、該分離したＬＴＣの前記特定のビットに記憶されている特定情報で特定される演奏情報の現在再生されている現在再生時間的位置が前記分離したＬＴＣに含まれている時間情報が示す時刻に一致するように、前記シリアル情報の再生中に前記現在再生時間的位置を移動させることで、前記演奏情報が、前記分離したＬＴＣに含まれている時間情報に基づいて再生されるように制御することを特徴とする。

上記目的を達成するために本発明の請求項４の同期演奏制御プログラムは、時間進行に従って再生可能な記憶されたシリアル情報を時間進行に従って読み出して再生するシリアル情報再生ステップと、前記シリアル情報に対応する記憶された演奏情報を読み出して再生する演奏情報再生ステップと、前記シリアル情報再生ステップによる前記シリアル情報の再生と前記演奏情報再生ステップによる前記演奏情報の再生とを制御する再生制御ステップとをコンピュータに実行させるための同期演奏制御プログラムであり、前記シリアル情報には、ビデオ情報が含まれ、該ビデオ情報には、ＳＭＴＰＥ（Society of Motion Picture and Television Engineers）に準拠したタイムコードであるＬＴＣが含まれ、前記ＬＴＣには、特定のビットに記憶され、対応する演奏情報を特定するための特定情報と、前記対応する演奏情報の現在再生すべき時間的位置を規定する時間情報とが含まれ、前記再生制御ステップは、前記シリアル情報再生ステップにより読み出されたシリアル情報の再生中に、該シリアル情報から前記ＬＴＣを分離すると共に、該分離したＬＴＣの前記特定のビットに記憶されている特定情報で特定される演奏情報の現在再生されている現在再生時間的位置が前記分離したＬＴＣに含まれている時間情報が示す時刻に一致するように、前記シリアル情報の再生中に前記現在再生時間的位置を移動させることで、前記演奏情報が、前記分離したＬＴＣに含まれている時間情報に基づいて再生されるように制御することを特徴とする。

なお、請求項４記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体は、本発明を構成する。なお、上記括弧内の符号は例示である。

本発明によれば、シリアル情報と該シリアル情報に対応する演奏情報とを、容易な管理にて、任意の時間的位置から同期させて再生することができる。

以下、本発明の実施の形態を図面を参照して説明する。

図１は、本発明の一実施の形態に係る同期演奏制御システムの全体構成を示す外観図である。この同期演奏制御システムは、演奏制御装置１５と自動ピアノ２０とビデオ装置３０とから構成される。演奏制御装置１５には、電源コード１６が接続されている。演奏制御装置１５と自動ピアノ２０とは、ＭＩＤＩ（Musical Instrument Digital Interface）信号用ケーブル１７で通信可能に接続され、さらに、両者は電源ケーブル１８で接続されている。自動ピアノ２０は、鍵盤２１、ペダル２２等を備えた電子鍵盤楽器である。ビデオ装置３０は表示装置３２を備え、複合ケーブル２９で演奏制御装置１５に接続されている。なお、ＭＩＤＩ信号用ケーブル１７、複合ケーブル２９は一例であり、通信の手段としては、無線を含む他の手段を採用してもよい。

図２は、上記同期演奏制御システムの全体構成を示すブロック図である。

まず、演奏制御装置１５は、ＣＰＵ１に、バス２６を介して、ＲＡＭ２、ＲＯＭ３、入出力インターフェイス６、バックアップＲＡＭ１１、ソリッドステートリレー１４、ＭＩＤＩインターフェイス１２、ＤＭＡＣ（ダイレクト・メモリ・アクセス・クロック）９、ハードティスクインターフェイス１９、ＲＴＣ（リアルタイム・クロック）８及びビデオ装置用インターフェイス２５が接続されて構成される。

ＣＰＵ１は、演奏制御装置１５全体を制御する。ＲＡＭ２は、演奏データ、テキストデータ等の各種入力情報、各種フラグやバッファデータ及び演算結果等を一時的に記憶する。ＲＯＭ３は、ＣＰＵ１が実行する制御プログラムや各種テーブルデータ等を記憶する。入出力インターフェイス６には、表示部５及び操作部７が接続されている。表示部５は、ＬＣＤ等で構成され、ＲＡＭ２に記憶されたデータ、メッセージ、楽譜等の各種情報を表示する。操作部７は、演奏制御装置１５に対する各種入力指示に用いられる。

ＲＴＣ８は、タイマ割り込み処理における割り込み時間や各種時間を計時する。ＤＭＡＣ９は、フロッピー（登録商標）ディスク１０ａに記憶されたデータをフロッピー（登録商標）ディスクドライブ１０を介してＲＡＭ２へ読み込む。ＭＩＤＩインターフェイス１２は、ＭＩＤＩ信号用ケーブル１７を介して、演奏制御装置１５と自動ピアノ２０との間のＭＩＤＩ信号の送受信を可能にする。電源１３は、演奏制御装置１５全体に電力を供給する。また、電源１３は、ソリッドステートリレー１４及び電源ケーブル１８を介して、自動ピアノ２０にも電力を供給する。上記ソリッドステートリレー１４は、所定の時刻もしくは時間でＣＰＵ１が出力する指示に従って、オン状態またはオフ状態をとる。ハードティスクインターフェイス１９は、供給される演奏データ等の各種データをハードディスク（ＨＤＤ）３５に記憶させる。

複合ケーブル２９は、ビデオ装置用インターフェイス２５に接続され、自動ピアノ２０とビデオ装置３０との間で、映像信号、オーディオ信号、及びＭＩＤＩ信号の送受信を可能とする。

ビデオ装置３０は、上記表示装置３２のほか、ＤＶＤまたはビデオテープ等の記録媒体３１、フラッシュメモリ等の記録媒体３４、及び発音装置３３を備える。記録媒体３１には、映像データ及びオーディオデータを含んで成るビデオデータｖｄが複数記憶されると共に、記録媒体３４には、各ビデオデータｖｄに対応するＭＩＤＩの演奏データ群ｍｄＧが記憶されている。表示装置３２は、ビデオデータｖｄ中の映像データに基づく映像を表示でき、発音装置３３は、ビデオデータｖｄ中のオーディオデータに基づく楽音を発生させることができる。

自動ピアノ２０は、発音装置２３及び演奏ガイド装置２４を備える。発音装置２３は、いずれも図示しない音源回路、効果回路及びサウンドシステムを有し、鍵盤２１による演奏音をリアルタイムに発生させるほか、演奏データに基づいて、各鍵に設けられた不図示の鍵駆動用のソレノイドを駆動することにより、演奏データに従った自動演奏音も発生させる。演奏ガイド装置２４は、例えば、鍵盤２１の各鍵を演奏データに従って発光させるものであり、演奏練習に用いることができる。なお、自動ピアノ２０は、奏者による鍵盤２１及びペダル２２の動作を検出し、これに基づいて演奏制御装置１５が演奏データを生成することもできるようになっている。

図３は、演奏制御装置１５の操作パネルの平面図である。操作パネルには、上記表示部５、操作部７が含まれる。操作部７には、電源キー、ＰＬＡＹ／ＰＡＵＳＥキー、ＳＴＯＰキー、ＣＳ（キャンセルスペース）キー３６、ＳＳ（スキップスペース）キー３７、及び上下カーソルキー２７、２８等、各種機能キーが含まれる。

図４は、記録媒体３１、３４に記憶されたビデオデータｖｄ及び演奏データ群ｍｄＧのデータ構成を示す概念図である。

ビデオデータｖｄは、例えば教習用に記録され、撮像した先生の演奏風景（鍵盤における指の動き等）の映像と、先生による説明等のナレーションの音声とを記録したものである。また、演奏データ群ｍｄＧは、ビデオデータｖｄの再生に同期させて再生すべき模範の演奏等をＭＩＤＩ形式で記録したものである。演奏データ群ｍｄＧは、別途作成されたものが、事後的にビデオデータｖｄに対応付けされる場合もあるが、上記先生の演奏風景の撮像と並行して先生の演奏をデータ化することで対応付けされつつリアルタイムに記録される場合もある。演奏データ群ｍｄＧは、自動ピアノ２０においては演奏ガイドにも利用することができる。

図４に示すように、記録媒体３１は、映像トラックと２チャンネル（Ｌ／Ｒ）のオーディオトラックとを有し、ビデオデータｖｄ中の映像データは、映像トラックに記録される。映像データは、２トラックで１フレームを構成する一般的な構造を有し、例えば、第１トラック４３と第２トラック４４とに１フレーム分の画像データが記録されている。また、オーディオデータは、一方の音声信号チャンネル、例えばＬチャンネルにのみ一般的な態様で記録されているが、他方のチャンネル、例えばＲチャンネルには記録されていない。Ｒチャンネルには、後述するＬＴＣが、一定の時間間隔（例えば３０ｍｓ）で多数記録されている。

一方、記録媒体３４には、ビデオデータｖｄに対応する演奏データ群ｍｄＧが記憶されている。本実施の形態では、ビデオデータｖｄに対応する演奏データ群ｍｄＧ中の個々の演奏データは、演奏データｍｄ（１）、ｍｄ（２）、ｍｄ（３）・・・と示されるように、複数存在するものとするが、対応する演奏データは１つであってもよい。以降、個々の演奏データを「演奏データｍｄ」と記す。個々の演奏データｍｄには、ファイル名、データ容量、テンポ、拍子、対応乃至関連する映像の名称等の各情報で構成される「曲情報」が付加されており、これらが一緒に記憶される。上記ファイル名の情報は、各演奏データｍｄ毎に異なるユニークな（一意の）情報であり、例えば、当該演奏データｍｄを記録した装置、及び記録開始時刻等の情報を含んでいる。

図４では、ビデオデータｖｄのシリアル再生に際し、対応して再生されるべき個々の演奏データｍｄが時系列的に表されているが、実際には、各演奏データｍｄ自体に再生開始時刻の情報は無い。従って、ビデオデータｖｄの再生時には、演奏データｍｄとビデオデータｖｄとの対応関係を何らかの手段でとって再生を同期させる必要があるが、これは、ＬＴＣによって実現される。

まず、ＬＴＣは、ＳＭＴＰＥ（Society of Motion Picture and Television Engineers）に準拠したタイムコードであり、図４に示すように、時間情報４１と、ユーザーズビットに記憶されたファイル特定情報４２とを含んで成る。演奏制御装置１５のハードディスク３５には、ファイル特定情報４２と演奏データｍｄとを１対１に対応付けたデータベースが予め記憶されており、ファイル特定情報４２により、演奏データｍｄが１つ特定される。上記データベースには、例えば、ファイル特定情報４２と、対応する演奏データｍｄのファイル名との組み合わせが複数登録されている。そして、具体的には、ビデオデータｖｄのシリアル再生時において、演奏制御装置１５は、ＬＴＣを読み出す度に、当該ＬＴＣ中のファイル特定情報４２に対応する演奏データｍｄを、上記データベースを参照して特定し、該特定した演奏データｍｄを、当該ＬＴＣの読み出しタイミングで再生されるべき「再生対象の演奏データ」であるとする。

一方、時間情報４１は、現在シリアル再生しているビデオデータｖｄの先頭からの時刻（絶対時間）を指定する情報であり、映像データの各フレームに対応した時、分、秒までの情報が含まれている。時間情報４１により、現在、すなわち、当該ＬＴＣ乃至時間情報４１が読み出されたタイミングで、上記「再生対象の演奏データ」のどの時間的位置を再生すべきかが規定される。これにより、ビデオデータｖｄの再生に際し、対応する演奏データｍｄの再生の同期がとられる。

なお、時間的に隣接する２つのＬＴＣのユーザーズビットを１組とし、１組中の２つのＬＴＣで、対応する演奏データｍｄとその再生タイミングが規定されるようにしてもよい。その場合、例えば、１つのＬＴＣのユーザーズビットが３２ビットのデータであるとすると、３２ビットのうちの１ビットを、同組中のＬＴＣのうち前側のＬＴＣか後ろ側のＬＴＣかを区別するために用いてもよい。

本同期演奏制御システムを教習用に用いる一例として、本実施の形態では、生徒は、自動ピアノ２０に着き、表示装置３２が見えるようにビデオ装置３０を設置する。そして、ビデオ装置３０において、ビデオデータｖｄの再生をスタートさせる。すると、ビデオデータｖｄ中の映像トラックの映像データが表示装置３２に表示されると共に、ビデオデータｖｄ中のオーディオトラックのオーディオデータ（図４の例ではＬチャンネルのデータ）が発音装置３３から発音される。生徒は、それらを見聞きしながら練習を行う。オーディオトラックの信号はさらに、複合ケーブル２９を介して演奏制御装置１５に送信され、ＬＴＣが分離される。また、ビデオデータｖｄの再生に同期して、後述する処理により、対応する演奏データｍｄがビデオ装置３０の記録媒体３１から読み出され、それが後述の所定の処理を経て自動ピアノ２０へ送られ、自動ピアノ２０の発音装置２３から楽音が発生すると共に、モードによっては演奏ガイド装置２４による演奏ガイドもなされる。

なお、これに限られず、ビデオデータｖｄの再生時においては、ビデオデータｖｄ中の映像データもビデオ装置３０から演奏制御装置１５に送るようにしてもよく、さらには、その映像データを演奏制御装置１５の表示部５で表示させてもよい。また、演奏制御装置１５にも発音装置を設け、オーディオデータ及び演奏データｍｄも発音可能にしてもよい。あるいは、演奏制御装置１５と自動ピアノ２０との間でも、映像データ及びオーディオデータを送受信できるように構成し、演奏制御装置１５がビデオ装置３０から受信した映像データ及びオーディオデータを自動ピアノ２０に送り、自動ピアノ２０でビデオデータｖｄの表示、再生を行えるように構成してもよい。

図５は、１つの演奏データｍｄのデータ構成を示す概念図である。後述する図７の変換処理の前後の状態を区別するため、元の演奏データｍｄ−Ａと、変換処理後の演奏データｍｄ−Ｂとが並列して示されている。

演奏データｍｄ−Ａは、複数のイベントデータ（キーオンイベントデータＫＯＮ（発音指示情報）、キーオフイベントデータＫＯＦＦ、複数のタイミングデータＴＩＭＥ、及び末尾に配置される１つのエンドデータＥＮＤを含んだシーケンスデータ列で構成される。各イベントデータは、音高を示すデータ、発音／消音を指示するデータおよびベロシティを示すデータ（いずれも図示せず）によって構成されている。各タイミングデータＴＩＭＥは、直後に位置するイベントデータの読み出しタイミングを規定するものである。タイミングデータＴＩＭＥのうち、例えば、３００００ｍｓｅｃを超えるような非常に長い時間間隔を規定するもの（同図ではＴＩＭＥ４５、４６、４７が相当する）が存在する点を除けば、演奏データｍｄ−Ａは、一般的な演奏データと変わりはない。このような非常に長い時間間隔は、演奏や教習の解説時等において、ビデオの音声のみでこれらが進められ、自動演奏が行われない時間帯に対応するものである。

図６は、演奏制御装置１５のＣＰＵ１によって実行される、メイン処理のフローチャートである。まず、初期化、すなわち、所定プログラムの実行を開始し、各種レジスタ、フラグ、パラメータ、タイマ等のクリアを行う（ステップＳ６０１）。次に、記録媒体３４から、すべての演奏データｍｄの曲情報を読み込み、それを表示部５に表示させる（ステップＳ６０２）。ここでは、曲情報のうち少なくともファイル名が表示され、例えば、上下方向に配列されて一覧表示される。当初は一番上のファイル名が反転表示され、該ファイル名に対応する演奏データｍｄが再生対象として選択状態とされる。

そして、上下カーソルキー２７、２８の操作を受け付けて、その操作に応じて反転表示を上下に移動させることで、所望の演奏データｍｄを選択させる（ステップＳ６０３、Ｓ６０４）。次に、ＳＳキー３７のオン／オフ操作に応じてスキップスペース実行フラグＦＳＳを０／１で反転させ（ステップＳ６０５、Ｓ６０６）、ＣＳキー３６のオン操作があれば、現在、選択状態にある演奏データｍｄについて、後述する図７の変換処理を実行する（ステップＳ６０７、Ｓ６０８）。そして、演奏データの再生指示を受け付けて、該指示があれば再生実行フラグＦＲＵＮを０／１で反転させ（ステップＳ６０９、Ｓ６１０）、次に、後述する図９の信号受信処理を実行して（ステップＳ６１１）、その他処理を実行し（ステップＳ６１２）、前記ステップＳ６０３に戻る。

図７は、図６のステップＳ６０８で実行される変換処理のフローチャートである。本処理は、再生対象として選択された演奏データ（図５の例では演奏データｍｄ−Ａ）内のデータを順次読み出し、タイミングデータＴＩＭＥの前後で区切られるデータ群を１つの区間ファイルとして、各区間ファイルを積み重ねて書き込んでいくことで、新たな演奏データ（図５の例では演奏データｍｄ−Ｂ）を生成する処理を基本とする（ステップＳ７０９→Ｓ７１０→Ｓ７０３）。そして、タイミングデータＴＩＭＥが所定時間Ｔｃｓ（例えば、３００００ｍｓｅｃ）を超える場合は、新たな演奏データｍｄ−Ｂに書き込む際にそのタイミングデータＴＩＭＥを削除する（ステップＳ７０５→Ｓ７０６→Ｓ７０７→Ｓ７０２）。

まず、スキップスペース実行フラグＦＳＳを「０」に設定し（ステップＳ７０１）、最初の区間ファイルをオープンして（ステップＳ７０２）、演奏データｍｄ内のデータをアドレスポインタの位置から読み出し（ステップＳ７０３）、今回読み出したデータがタイミングデータＴＩＭＥであるか否かを判別し（ステップＳ７０４）、タイミングデータＴＩＭＥであればそれが所定時間Ｔｃｓより長いか否かを判別して（ステップＳ７０５）、ＴＩＭＥ＞Ｔｃｓが成立するならば、現在オープンしている区間ファイルをクローズして（ステップＳ７０６）、アドレス歩進を行う（ステップＳ７０７）。

例えば、図５の例でいえば、最初はアドレスポインタが先頭位置にあるから、最初にオープンした第１の区間ファイル（「ａａａ．ｃｈａｐ１．ｍｄｉ」と呼称する）にはＴＩＭＥ４５が入り、ＴＩＭＥ４５の長さは「４００００ｍｓｅｃ」であって所定時間Ｔｃｓより長いから、ａａａ．ｃｈａｐ１．ｍｄｉは直ちにクローズされる。これにより、ＴＩＭＥ４５が実質的にキャンセルされる。なお、ここで、「ａａａ」はファイル名の一例である。前記ステップＳ７０７の後は、前記ステップＳ７０２に戻って新たな第２の区間ファイル（ａａａ．ｃｈａｐ２．ｍｄｉ）をオープンし、前記ステップＳ７０３以降を同様に実行する。

そして、前記ステップＳ７０４またはＳ７０５において、今回読み出したデータがタイミングデータＴＩＭＥでないか、またはタイミングデータＴＩＭＥであっても所定時間Ｔｃｓ以下である場合は、今回読み出したデータがエンドデータＥＮＤであるか否かを判別し（ステップＳ７０８）、エンドデータＥＮＤでなければ、今回読み出したデータをそのまま新たな演奏データｍｄ−Ｂのシーケンスデータとして書き込み（ステップＳ７０９）、アドレス歩進を行って（ステップＳ７１０）、前記ステップＳ７０３に戻る。

図５の例でいえば、第２の区間ファイル（ａａａ．ｃｈａｐ２．ｍｄｉ）に、ＫＯＮ（Ｃ）が読み出されるので、ステップＳ７０４→Ｓ７０８→Ｓ７０９へと進み、ＫＯＮ（Ｃ）が書き込まれる。また、次のループでは、ＴＩＭＥ（２０ｍｓｅｃ）が読み出され、これは所定時間Ｔｃｓ以下であるから、ステップＳ７０５→Ｓ７０８→Ｓ７０９へと進み、当該ＴＩＭＥ（２０ｍｓｅｃ）がそのまま書き込まれる。これを繰り返していき、ＴＩＭＥ４６が読み出されると、ＴＩＭＥ４６の長さが「５５０００ｍｓｅｃ」であって所定時間Ｔｃｓより長いから、ａａａ．ｃｈａｐ２．ｍｄｉがクローズされる（ステップＳ７０５→Ｓ７０６）。その後、前記ステップＳ７０２で第３の区間ファイル（ａａａ．ｃｈａｐ３．ｍｄｉ）がオープンされる。このような処理が、エンドデータＥＮＤが読み出されるまで繰り返される。エンドデータＥＮＤが読み出されると、そのときオープンしている区間ファイルをクローズして（ステップＳ７１１）、本処理を終了する。

このようにして、本処理により、選択された元の演奏データｍｄ−Ａに対して、所定時間Ｔｃｓより長いタイミングデータＴＩＭＥが削除（乃至無視）された新たな演奏データｍｄ−Ｂが生成され（図５参照）、この演奏データｍｄ−Ｂが、元の演奏データｍｄ−Ａに代わって実際の再生対象の演奏データｍｄとされる。すなわち、演奏データｍｄが書き換えられる。

図８は、割り込み処理のフローチャートである。本処理は一定時間間隔で実行される。本処理は、再生対象の演奏データｍｄ内のデータを順次読み出し、イベントデータを自動ピアノ２０の発音装置２３に順次出力（ステップＳ８１０）して楽音を発生させる処理を基本とする。その際、所定時間Ｔｓｓ（例えば、３００００ｍｓｅｃ）より短いタイミングデータＴＩＭＥを読み出した場合は、それに応じた時間を次のイベントデータ出力まで空けるが（ステップＳ８１１、Ｓ８０４、Ｓ８１２）、タイミングデータＴＩＭＥが所定時間Ｔｓｓを超える場合は、次のイベントデータ出力までの時間間隔を短く修正する（ステップＳ８０９）。

まず、再生実行フラグＦＲＵＮ＝１であるか否かを判別し（ステップＳ８０１）、ＦＲＵＮ＝０であれば本処理を終了する一方、ＦＲＵＮ＝１であれば、ビデオ装置３０からビデオデータｖｄ中のオーディオトラックの信号を受信することを「１」で示す受信フラグＦＲＣＶが「１」に設定されているか否かを判別する（ステップＳ８０２）。そして、ＦＲＣＶ＝１であるときのみ、スキップスペース実行フラグＦＳＳを「０」に設定して（ステップＳ８０３）、後述するステップＳ８０９またはＳ８１１で値が設定される、デュレーションを示すカウンタＤＵＲが「０」であるか否かを判別し（ステップＳ８０４）、ＤＵＲ＝０になるまでカウンタＤＵＲを１だけインクリメントする処理（ステップＳ８１２）を繰り返す一方、ＤＵＲ＝０になると、再生対象の演奏データｍｄ内におけるアドレスポインタの位置のデータを読み出す（ステップＳ８０５）。

次に、今回読み出したデータがタイミングデータＴＩＭＥでないなら、今回のキーオン等のイベントデータを自動ピアノ２０の発音装置２３に出力する（ステップＳ８０６、Ｓ８１０）。これにより、発音装置２３で順次発音がなされる。一方、今回読み出したデータがタイミングデータＴＩＭＥである場合は、ＦＳＳ＝１であるか否かを判別し（ステップＳ８０７）、ＦＳＳ＝１であればさらにそのタイミングデータＴＩＭＥが、所定時間Ｔｓｓより長いか否かを判別する（ステップＳ８０８）。

その結果、ＦＳＳ＝０であるかまたはＴＩＭＥ≦Ｔｓｓである場合は、カウンタＤＵＲに当該タイミングデータＴＩＭＥの値を設定する一方（ステップＳ８１１）、ＴＩＭＥ＞Ｔｓｓである場合は、カウンタＤＵＲに所定時間Ｔｓｓより十分に短い所定時間Ｔｓｓ２（例えば３０００ｍｓｅｃ）を設定する（ステップＳ８０９）。これにより、演奏データｍｄ（ｎ）の再生処理上においては、所定時間Ｔｓｓより長いタイミングデータＴＩＭＥは、短い所定時間Ｔｓｓ２であるとして処理されるので、極端に長い無音時間の発生が防止される。

前記ステップＳ８１０、Ｓ８０９、Ｓ８１１の処理後は、アドレス歩進を行い（ステップＳ８１３）、本処理を終了する。

本処理を、再生対象の演奏データｍｄが図５に示す演奏データｍｄ−Ａである場合を例にとって説明すると、各タイミングデータＴＩＭＥは、カウンタＤＵＲに反映される際に、所定時間Ｔｓｓ以下のものはそのままの長さで反映されるが、所定時間Ｔｓｓより長いＴＩＭＥ４５、４６、４７は、短い所定時間Ｔｓｓ２に修正されて反映される。

ところで、演奏データｍｄの再生は、所望の演奏データｍｄの単独再生時だけでなく、ビデオデータｖｄとの同期再生時も図８の処理で実現される。

図９は、図６のステップＳ６１１で実行される信号受信処理のフローチャートである。

本処理は、主に、ＬＴＣに基づき演奏データを特定する処理（ステップＳ９０３〜Ｓ９０５）、特定した演奏データを再生対象の演奏データと一致させる処理（ステップＳ９０７、Ｓ９１０）、及び、ビデオデータｖｄと演奏データとの再生タイミングを同期させる処理（ステップＳ９１１、Ｓ９１２）を有している。

まず、ビデオ装置３０からの入力信号を監視し、ビデオ装置３０においてビデオデータｖｄの再生がスタートし、ビデオデータｖｄ中のオーディオトラックの信号がビデオ装置用インターフェイス２５を介して受信されたとき（ステップＳ９０１）、ステップＳ９０２以降の処理に移る。

ステップＳ９０２では、受信フラグＦＲＣＶに「１」を設定し、受信された信号中にＬＴＣがあれば、それを分離して（ステップＳ９０３、Ｓ９０４）、分離したＬＴＣ中のユーザーズビットに記憶されたファイル特定情報４２に対応する演奏データｍｄを、記録媒体３４に記憶されたすべての演奏データ群ｍｄＧ中のすべての演奏データｍｄの中から１つ特定する（ステップＳ９０５）。

次に、ＦＲＵＮ＝１でない場合は（ステップＳ９０６）、上記特定された演奏データｍｄの先頭にアドレスポインタの位置を合わせてＦＲＵＮ←１とすることで、次回ループ時における再生開始準備をして（ステップＳ９０８、Ｓ９０９）、ステップＳ９１１に進む。一方、ＦＲＵＮ＝１であって（ステップＳ９０６）、上記特定された演奏データｍｄが、現在再生対象となっている演奏データと一致しているか否かを判別し（ステップＳ９０７）、一致していなければ、上記特定された演奏データｍｄを、現在の「再生対象の演奏データ」に設定して（ステップＳ９１０）、前記ステップＳ９１１に進む。

ステップＳ９１１では、上記分離したＬＴＣ中の時間情報４１が示す時刻と、上記再生対象とされた演奏データｍｄにおける現在再生時刻（アドレスポインタの位置）とが合致するか否かを判別する。そして、合致しなければ、時間情報４１が示す時刻に合わせて、演奏データｍｄにおけるアドレスポインタの位置を移動させる（ステップＳ９１２）。

その後、ストップ指示があるまで上記処理を繰り返し、ストップ指示があると（ステップＳ９１３）、ＦＲＵＮ←０として（ステップＳ９１４）、本処理を終了する。

本実施の形態によれば、演奏データｍｄ中のタイミングデータＴＩＭＥが、所定時間Ｔｓｓ、または所定時間Ｔｃｓより長い発音空白時間を示す場合は、これを短縮または削除して再生するので、長時間の発音空白時間を有する演奏データｍｄであっても、実際の長い発音空白時間が生じないような再生を実現することができる。従って、現在が演奏データｍｄの再生中なのかどうかもわからなかったり、終わりまで再生するのに時間がかかりすぎたりという不便さが解消される。

本実施の形態によればまた、ビデオデータｖｄ中のオーディオチャンネルの１つにＬＴＣを定期的に記録しておき、当該ビデオデータｖｄのシリアル再生に際し、ＬＴＣに基づき再生対象の演奏データｍｄを一意に特定すると共に、この特定した演奏データｍｄの再生タイミングをＬＴＣに基づき規定するので、ビデオデータｖｄと対応する演奏データｍｄとを、容易な管理にて、任意の時間的位置から同期させて再生することができる。すなわち、１つのビデオデータｖｄに対応する演奏データｍｄが複数あってそれが時間的に変わる場合であっても、管理が容易である。また、ビデオデータｖｄを任意の途中から再生する場合においても、その時点に対応する演奏データｍｄを的確に特定し、且つその特定した演奏データｍｄの再生位置を的確に合わせて同期をとることも容易である。また、ＬＴＣは、ビデオデータｖｄ中の音声信号チャンネルを利用して記憶されるので、構成が簡単で、汎用性も高い。

なお、ビデオデータｖｄ中の音声信号チャンネルの数は、３チャンネル以上としてもよく、ＬＴＣが２つ以上の音声信号チャンネルに跨って記憶されていてもよい。あるいは、ＬＴＣは、オーディオトラックではなく、ビデオデータｖｄ中の映像トラック（例えば、図４に示す第１、第２トラック４３、４４の一部分４３ａ、４４ａ）に記録するようにしてもよい。

なお、本実施の形態では、ビデオデータｖｄと演奏データｍｄとの同期再生を実現したが、対応する演奏データｍｄを同期させて再生するデータは、音声付きのビデオデータｖｄに限られず、時間進行に従って再生可能なシリアルデータであればよく、オーディオデータのみ、あるいは映像データのみとしてもよい。その場合でも、上記のように、空きのトラックを設けてＬＴＣを記録するか、オーディオまたは映像データとＬＴＣとを圧縮して同じトラックに記録すればよい。

なお、所定時間Ｔｃｓ、Ｔｓｓ、Ｔｓｓ２の値は、例示した値に限定されず、適宜変更可能である。特に、所定時間Ｔｓｓ２は所定時間Ｔｓｓより短ければよく、「０」であってもよい。また、図７の変換処理では、所定時間Ｔｃｓを超えたタイミングデータＴＩＭＥは削除扱いされるようにしたが、所定時間Ｔｃｓより短い値（例えば、所定時間Ｔｓｓ２と同じ値）に変換して新たな演奏データｍｄに書き込まれるように構成してもよい。

なお、記録媒体３４に記憶された演奏データｍｄについて自動ピアノ２０で単独再生を行う用途に限っていえば、複合ケーブル２９及びビデオ装置用インターフェイス２５は、自動ピアノ２０が少なくともＭＩＤＩ信号の受信が可能なように構成すればよい。

なお、本実施の形態では、ビデオデータｖｄ及び演奏データ群ｍｄＧは、ビデオ装置３０に記憶されているものとしたが、これに限るものではなく、演奏制御装置１５がアクセス可能な場所に記憶されていればよい。例えば、演奏制御装置１５自身に記憶しておいてもよい。また、ビデオデータｖｄと演奏データ群ｍｄＧとは、別々の場所に記憶しておきてもよく、例えば、ビデオデータｖｄはビデオ装置３０に、演奏データ群ｍｄＧは演奏制御装置１５に記憶しておいてもよい。

なお、本実施の形態では、同期演奏制御システムは、それぞれ別体の、演奏制御装置１５と自動ピアノ２０とビデオ装置３０とから構成されたが、これに限るものではない。例えば、演奏制御装置１５と自動ピアノ２０とを一体としてもよいし、自動ピアノ２０とビデオ装置３０とを一体としてもよいし、三者を一体としてもよい。

なお、ビデオデータｖｄの再生に伴い、同期再生された演奏データを聞きながら、生徒がピアノ演奏をして記録した新たな演奏データを、元の演奏データに代えて、ビデオデータｖｄに対応付けてもよい。その場合、元の演奏データを消去すると共に元の演奏データのファイル名を新たな演奏データに付加すればよい。あるいは、両演奏データを併存させる場合は、ビデオデータｖｄ中のＬＴＣ中のファイル特定情報４２を、新たな演奏データを特定するように書き換えてもよい。

なお、本発明の目的は、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵ１やＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、プログラムコードが伝送媒体等を介して供給される場合も、プログラムコード自体が本発明を構成することになる。なお、これらの場合の記憶媒体としては、ＲＯＭのほか、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ／ＲＷ、ＤＶＤ＋ＲＷ、ＮＶ−ＲＡＭ、磁気テープ、不揮発性のメモリカード、或いはネットワークを介したダウンロード等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も本発明に含まれることは言うまでもない。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も本発明に含まれることは言うまでもない。

本発明の一実施の形態に係る同期演奏制御システムの全体構成を示す外観図である。 同期演奏制御システムの全体構成を示すブロック図である。 演奏制御装置の操作パネルの平面図である。 記録媒体に記憶されたビデオデータ及び演奏データ群のデータ構成を示す概念図である。 １つの演奏データのデータ構成を示す概念図である。 演奏制御装置のＣＰＵによって実行される、メイン処理のフローチャートである。 図６のステップＳ６０８で実行される変換処理のフローチャートである。 割り込み処理のフローチャートである。 図６のステップＳ６１１で実行される信号受信処理のフローチャートである。

符号の説明

１ ＣＰＵ（シリアル情報再生手段、演奏情報再生手段、再生制御手段）、 １５ 演奏制御装置、 ２０ 自動ピアノ、 ３０ ビデオ装置、 ３１ 記録媒体（シリアル情報記憶手段）、 ３４ 記録媒体（演奏情報記憶手段）、 ４１ 時間情報、 ４２ ファイル特定情報（特定情報）、 ｖｄ ビデオデータ（シリアル情報）、 ｍｄＧ 演奏データ群、 ｍｄ 演奏データ（演奏情報）

Claims (4)

1. 時間進行に従って再生可能なシリアル情報を記憶するシリアル情報記憶手段と、
   前記シリアル情報に対応する演奏情報を記憶する演奏情報記憶手段と、
   前記シリアル情報記憶手段により記憶されたシリアル情報を時間進行に従って読み出して再生するシリアル情報再生手段と、
   前記演奏情報記憶手段により記憶された演奏情報を読み出して再生する演奏情報再生手段と、
   前記シリアル情報再生手段による前記シリアル情報の再生と前記演奏情報再生手段による前記演奏情報の再生とを制御する再生制御手段とを有し、
   前記シリアル情報には、ビデオ情報が含まれ、該ビデオ情報には、ＳＭＴＰＥ（Society of Motion Picture and Television Engineers）に準拠したタイムコードであるＬＴＣが含まれ、
   前記ＬＴＣには、特定のビットに記憶され、対応する演奏情報を特定するための特定情報と、前記対応する演奏情報の現在再生すべき時間的位置を規定する時間情報とが含まれ、
   前記再生制御手段は、前記シリアル情報再生手段により読み出されたシリアル情報の再生中に、該シリアル情報から前記ＬＴＣを分離すると共に、該分離したＬＴＣの前記特定のビットに記憶されている特定情報で特定される演奏情報の現在再生されている現在再生時間的位置が前記分離したＬＴＣに含まれている時間情報が示す時刻に一致するように、前記シリアル情報の再生中に前記現在再生時間的位置を移動させることで、前記演奏情報が、前記分離したＬＴＣに含まれている時間情報に基づいて再生されるように制御することを特徴とする同期演奏制御システム。
2. 前記シリアル情報記憶手段は、前記ビデオ情報に含まれるオーディオ情報を記憶するオーディオトラックを有し、前記ＬＴＣは、前記オーディオトラックに記憶されていることを特徴とする請求項１記載の同期演奏制御システム。
3. 時間進行に従って再生可能な記憶されたシリアル情報を時間進行に従って読み出して再生するシリアル情報再生工程と、
   前記シリアル情報に対応する記憶された演奏情報を読み出して再生する演奏情報再生工程と、
   前記シリアル情報再生工程による前記シリアル情報の再生と前記演奏情報再生工程による前記演奏情報の再生とを制御する再生制御工程とを有し、
   前記シリアル情報には、ビデオ情報が含まれ、該ビデオ情報には、ＳＭＴＰＥ（Society of Motion Picture and Television Engineers）に準拠したタイムコードであるＬＴＣが含まれ、
   前記ＬＴＣには、特定のビットに記憶され、対応する演奏情報を特定するための特定情報と、前記対応する演奏情報の現在再生すべき時間的位置を規定する時間情報とが含まれ、
   前記再生制御工程は、前記シリアル情報再生工程により読み出されたシリアル情報の再生中に、該シリアル情報から前記ＬＴＣを分離すると共に、該分離したＬＴＣの前記特定のビットに記憶されている特定情報で特定される演奏情報の現在再生されている現在再生時間的位置が前記分離したＬＴＣに含まれている時間情報が示す時刻に一致するように、前記シリアル情報の再生中に前記現在再生時間的位置を移動させることで、前記演奏情報が、前記分離したＬＴＣに含まれている時間情報に基づいて再生されるように制御することを特徴とする同期演奏制御方法。
4. 時間進行に従って再生可能な記憶されたシリアル情報を時間進行に従って読み出して再生するシリアル情報再生ステップと、
   前記シリアル情報に対応する記憶された演奏情報を読み出して再生する演奏情報再生ステップと、
   前記シリアル情報再生ステップによる前記シリアル情報の再生と前記演奏情報再生ステップによる前記演奏情報の再生とを制御する再生制御ステップとをコンピュータに実行させるための同期演奏制御プログラムであり、
   前記シリアル情報には、ビデオ情報が含まれ、該ビデオ情報には、ＳＭＴＰＥ（Society of Motion Picture and Television Engineers）に準拠したタイムコードであるＬＴＣが含まれ、
   前記ＬＴＣには、特定のビットに記憶され、対応する演奏情報を特定するための特定情報と、前記対応する演奏情報の現在再生すべき時間的位置を規定する時間情報とが含まれ、
   前記再生制御ステップは、前記シリアル情報再生ステップにより読み出されたシリアル情報の再生中に、該シリアル情報から前記ＬＴＣを分離すると共に、該分離したＬＴＣの前記特定のビットに記憶されている特定情報で特定される演奏情報の現在再生されている現在再生時間的位置が前記分離したＬＴＣに含まれている時間情報が示す時刻に一致するように、前記シリアル情報の再生中に前記現在再生時間的位置を移動させることで、前記演奏情報が、前記分離したＬＴＣに含まれている時間情報に基づいて再生されるように制御することを特徴とする同期演奏制御プログラム。

Images