JP4126246B2

JP4126246B2 - Performance data communication system

Info

Publication number: JP4126246B2
Application number: JP2003101314A
Authority: JP
Inventors: 孝嗣桑野; 郁松永
Original assignee: Kawai Musical Instrument Manufacturing Co Ltd
Current assignee: Kawai Musical Instrument Manufacturing Co Ltd
Priority date: 2003-04-04
Filing date: 2003-04-04
Publication date: 2008-07-30
Anticipated expiration: 2023-04-04
Also published as: JP2004309685A

Description

【０００１】
【発明の属する技術分野】
本発明は、演奏データ通信技術に関し、特に演奏制御データに応じて演奏データを生成して通信する技術に関する。
【０００２】
【従来の技術】
図７（Ａ）は、３個の端末７０１〜７０３が、セッションサーバー７０４を介して、ネットワークで接続され、合奏を行う例を示す。端末７０１は、リズム生成ユニット７１１を有し、リズムパートの自動伴奏を行うことができる。端末７０２は、ベース生成ユニット７１２を有し、ベースパートの自動伴奏を行うことができる。端末７０３は、コード生成ユニット７１３を有し、コードパートの自動伴奏を行うことができる。リズム生成ユニット７１１は、リズムパートの自動伴奏データを生成することができる。ベース生成ユニット７１２は、ベースパートの自動伴奏データを生成することができる。コード生成ユニット７１３は、コードパートの自動伴奏データを生成することができる。
【０００３】
図７（Ｂ）は、２個の端末７２１及び７２２がネットワークで直接接続され、合奏を行う例を示す。端末７２１は、リズム生成ユニット７３１を有し、リズムパートの自動伴奏を行うことができる。端末７２２は、ベース生成ユニット７３２を有し、ベースパートの自動伴奏を行うことができる。
【０００４】
上記の端末は、例えば電子楽器である。ネットワークで接続された電子楽器を利用して自動演奏による合奏を行う場合に、各々の電子楽器７０１〜７０３，７２１，７２２が個別に自動伴奏生成ユニット７１１〜７１３，７３１，７３２を設けていると、通信経路においてデータ通信の遅延が発生するため、同期をとるのが困難であるという問題がある。
【０００５】
何れかの電子楽器又はセッションサーバーがマスターとなって同期信号を発生させて、一斉に自動伴奏を開始させることも考えられるが、その場合、通信経路における遅延が発生するため、各々の電子楽器にそれぞれの演奏（リズム、ベース、コード）が到達するまでの時間がまちまちになってしまう。このため、それぞれの演奏の同期をとるのが非常に難しい。
【０００６】
図８（Ａ）では、第１のグループとして３個の端末８０１〜８０３が合奏を行い、別の第２のグループとして３個の端末８１１〜８１３が合奏を行う例を示す。３個の端末８０１〜８０３は、セッションサーバー８００を介して、ネットワークで接続される。３個の端末８１１〜８１３は、セッションサーバー８００を介して、ネットワークで接続される。セッションサーバー８００は、伴奏生成ユニット８２１及び８２２を有する。伴奏生成ユニット８２１及び８２２は、リズムパート、ベースパート及びコードパートの自動伴奏データを生成可能である。第１のグループの端末８０１〜８０３は、伴奏生成ユニット８２１を用いて、自動伴奏を行うことができる。第２のグループの端末８１１〜８１３は、伴奏生成ユニット８２２を用いて、自動伴奏を行うことができる。
【０００７】
セッションサーバー８００に自動伴奏生成ユニット８２１，８２２を設けた場合には、同期の問題は解決されるが、セッションサーバー８００に複数の自動伴奏生成ユニット８２１及び８２２を設けなければならず、そのセッションサーバー８００の負荷が大きくなってしまう。
【０００８】
また、このような方法では、セッションサーバー８００に自動伴奏生成ユニット８２１，８２２があるため、図８（Ｂ）に示すように、サーバーを介さずに端末８３１及び８３２を直接接続した場合に、自動伴奏ユニットが利用できなくなるという問題がある。
【０００９】
また、下記の特許文献１が公開されている。
【００１０】
【特許文献１】
特許第３２９８４１９号公報
【００１１】
【発明が解決しようとする課題】
本発明の目的は、サーバーの負荷を大きくせずに、複数の演奏者端末が同期がとれた自動演奏を行うことである。
【００１２】
【課題を解決するための手段】
本発明の一観点によれば、複数の端末が直接又はサーバーを介して接続される演奏データ通信システムであって、前記複数の端末は、パート情報を含む演奏制御データを生成するための演奏制御データ生成手段と、他の端末からパート情報を含む演奏制御データを受信するための受信手段と、複数のパートの演奏データを記憶し、前記生成された演奏制御データ又は前記受信した演奏制御データに応じて、演奏データを生成するための演奏データ生成手段と、前記生成された演奏データを他の端末に送信するための送信手段とを有し、前記複数の端末のうちのいずれか１つの端末の演奏データ生成手段のみが活性化する演奏データ通信システムが提供される。
【００１３】
本発明によれば、自己の端末が生成した演奏制御データ又は他の端末から受信した演奏制御データに応じて、演奏データを生成することができる。１つの端末が自己の端末で生成した演奏制御データ又は他の端末から受信した演奏制御データを基に演奏データを生成するので、複数の端末が異なるパートを自動演奏制御しても、パート間での同期ずれを防止することができる。具体的には、１つの端末が、同じテンポで複数のパートの演奏データを生成することができ、同期ずれを防止することができる。
【００１４】
【発明の実施の形態】
図１は、本発明の実施形態によるデータ通信システムの第１の構成例を示す。２個の端末１１０及び１２０は、２人の演奏者が遠隔地で合奏を行うために、直接接続され、相互に演奏データ、音声データ及び映像データを通信する。例えば、端末１１０がサーバーであり、端末１２０がクライアントである。端末１１０及び１２０は、それぞれ、鍵盤１０１、音源１０２、マイク１０３、スピーカ１０４、カメラ１０５及びディスプレイ１０６を有する。
【００１５】
演奏者が鍵盤（電子楽器）１０１を演奏すると、鍵盤１０１は演奏データを生成して端末１１０に供給する。演奏データは、例えばＭＩＤＩ(Musical Instrument Digital Interface)データである。端末１１０は、鍵盤１０１からＭＩＤＩデータを入力すると、音源１０２に出力すると共に、インターネット（ネットワーク）１３０を介して端末１２０に送信する。音源１０２は、ＭＩＤＩデータを基に楽音信号を生成し、スピーカ１０４から楽音を発音させる。端末１２０でも、同様に、音源１０２及びスピーカ１０４により楽音が発音される。
【００１６】
マイク１０３は、演奏者の歌声等の音声を基に音声信号を生成し、端末１１０に出力する。端末１１０は、マイク１０３からアナログ形式の音声信号を入力すると、デジタル形式の音声データに変換し、スピーカ１０４から発音させると共に、インターネット１３０を介して端末１２０に送信する。端末１２０でも、同様に、スピーカ１０４から音声が発音される。
【００１７】
カメラ１０５は、演奏者又は楽譜等の映像データを生成し、端末１１０に出力する。端末１１０は、カメラ１０５から映像データを入力すると、ディスプレイ１０６に表示すると共に、インターネット１３０を介して端末１２０に送信する。端末１２０でも、同様に、ディスプレイ１０６に映像が表示される。
【００１８】
同様に、端末１２０においても、生成されたＭＩＤＩデータ、音声データ及び映像データが再生されると共に、端末１１０に送信される。端末１１０では、同じＭＩＤＩデータ、音声データ及び映像データが再生される。これにより、２人の演奏者が遠隔地においてリアルタイムで合奏を行うことができる。
【００１９】
インターネット１３０環境下では、端末１１０及び１２０は、ＴＣＰ(Transmission Control Protocol)ポート１３１を介して音声データ及び映像データ等を通信し、ＵＤＰ(User Datagram Protocol)ポート１３２を介してＭＩＤＩデータ等を通信する。ＭＩＤＩデータは、音声データ及び映像データに比べて、高速性（リアルタイム性）が要求される。したがって、ＭＩＤＩデータはＵＤＰポート１３２を使用し、音声データ及び映像データはＴＣＰポート１３１を使用する。ＴＣＰポート１３１及びＵＤＰポート１３２を分けずにＵＤＰポートだけを使用してもよい。その場合には、データに優先順位を付けて、ＭＩＤＩデータを優先して送受信するようにするのがよい。なお、２人モードでは、２個の端末１１０及び１２０のうち、先に接続要求した方がサーバーになり、他方がクライアントになる。
【００２０】
図２は、本発明の実施形態によるデータ通信システムの第２の構成例を示す。４個の端末２１１〜２１４は、４人の演奏者が遠隔地で合奏を行うために、セッションサーバー２６０を介して接続され、相互に演奏データ、音声データ及び映像データを通信する。３人以上であればこのモードになるが、４人の場合を例に説明する。４個の端末２１１〜２１４はすべてクライントであり、セッションサーバー２６０がサーバーになる。端末２１１〜２１４は、図１と同様に、それぞれ、鍵盤１０１、音源１０２、マイク１０３、スピーカ１０４、カメラ１０５及びディスプレイ１０６を有する。
【００２１】
各端末２１１〜２１４とセッションサーバー２６０とは、インターネット（ネットワーク）２５０を介して接続される。インターネット２５０環境下では、端末２１１〜２１４は、ＴＣＰポート２５１を介して音声データ及び映像データ等を通信し、ＵＤＰポート２５２を介してＭＩＤＩデータ等を通信する。各端末２１１〜２１４は、セッションサーバー２６０を介して、相互にＭＩＤＩデータ、音声データ及び映像データを通信する。これにより、３人以上（例えば４人）の演奏者が遠隔地においてリアルタイムで合奏を行うことができる。
【００２２】
図１のように、２人の端末で合奏する場合には、２人の端末を直接接続して通信を行うのが好ましい。端末間を直接接続すると、高速に通信を行うことができる。しかし、３個以上の端末を直接接続すると、各端末がそれぞれ複数の端末に対して通信を行うため負荷が増大する。したがって、図２のように、３人以上の端末で合奏する場合にはセッションサーバー２６０を介して３人以上の端末を接続して通信を行うのが好ましい。セッションサーバー２６０を介して端末を接続すると、各端末はセッションサーバー２６０のみに対して通信すればよいので、各端末の負荷を軽減することができる。
【００２３】
図３（Ａ）は、３個の端末３０１〜３０３が、セッションサーバー３０４を介して、ネットワークで接続され、合奏を行う例を示す。端末３０１〜３０３は、それぞれ伴奏生成ユニット３０５を有し、リズムパート、ベースパート及びコードパート等の自動伴奏を行うことができる。伴奏生成ユニット３０５は、リズムパート、ベースパート及びコードパート等の自動伴奏データを記憶し、各パートの自動伴奏データを生成することができる。
【００２４】
３個の端末３０１〜３０３内の伴奏生成ユニット３０５のうち、いずれか１つのみが活性化する。例えば、端末３０１の伴奏生成ユニット３０５が活性化状態になり、端末３０２及び３０３の伴奏生成ユニット３０５が不活性化状態になる。例えば、３個の端末３０１〜３０３のうち、一番最初に、接続要求した端末の伴奏生成ユニット３０５のみが活性化状態になり、動作する。３個の端末３０１〜３０３は、端末３０１内の伴奏生成ユニット３０５を用いて、自動伴奏を行う。各端末３０１〜３０３は、伴奏制御データを伴奏生成ユニット３０５に出力することにより、自動伴奏を制御することができる。伴奏制御データは、例えば、伴奏のスタートデータ及びストップデータ等を含み、演奏のスタート、ストップ、コード指定、パターンの選択、テンポ指定、音色選択等を制御することができる。例えば、端末３０１はリズムパートの自動伴奏を制御し、端末３０２はベースパートの自動伴奏を制御し、端末３０３はコードパートの自動伴奏を制御する。
【００２５】
３個の端末３０１〜３０３は、セッションサーバー３０４を利用した同一グループ内の端末である。３個の端末３０１〜３０３のそれぞれに伴奏生成ユニット３０５を用意しておき、そのうちの１つの伴奏生成ユニット３０５を動作させることにより、同期のとれた自動伴奏を行うことができる。
【００２６】
図３（Ｂ）は、２個の端末３１１及び３１２がネットワークで直接接続され、合奏を行う例を示す。端末３１１及び３１２は、それぞれ伴奏生成ユニット３１３を有し、リズムパート、ベースパート及びコードパート等の自動伴奏を行うことができる。この場合も、２個の端末３１１及び３１２の伴奏生成ユニット３１３のうち、いずれかの端末の伴奏生成ユニット３１３のみが活性化して動作する。例えば、最初に接続要求した端末３１１の伴奏生成ユニット３１３が活性化して動作し、端末３１２の伴奏生成ユニット３１３が不活性化状態になる。例えば、端末３１１がリズムパートの自動伴奏を制御し、端末３１２がベースパートの自動伴奏を制御する。これにより、同期のとれた自動伴奏を行うことができる。
【００２７】
図４は、図３（Ａ）の３個の端末３０１〜３０３及び端末３０１内の活性化した伴奏生成ユニット３０５を示す。伴奏生成ユニット３０５は、本来、端末３０１内に存在するが、説明の簡単のため、図上では、伴奏生成ユニット３０５を端末３０１の外に表す。スイッチ４１１〜４１３及び加算器４１０は、実際には、端末３０１の中に存在する。
【００２８】
伴奏生成ユニット３０５は、リズム生成ユニット４０１、ベース生成ユニット４０２及びコード（和音）生成ユニット４０３を有する。リズム生成ユニット４０１は、リズムパートの自動伴奏データを生成することができる。ベース生成ユニット４０２は、ベースパートの自動伴奏データを生成することができる。コード生成ユニット４０３は、コードパートの自動伴奏データを生成することができる。
【００２９】
端末３０１は、スイッチ４１１及び加算器４１０を介して、ベース生成ユニット４０２に伴奏制御データ（コマンド）ＣＴＬを出力することができる。端末３０２は、スイッチ４１２及び加算器４１０を介して、ベース生成ユニット４０２に伴奏制御データＣＴＬを送信することができる。端末３０３は、スイッチ４１３及び加算器４１０を介して、ベース生成ユニット４０２に伴奏制御データＣＴＬを送信することができる。
【００３０】
また、端末３０１は、ベースパートの伴奏制御のオン及びオフのスイッチ情報を生成して出力することができる。スイッチ４１１は、そのスイッチ情報に応じて、オン又はオフする。端末３０１は、ベースパートの伴奏制御を行うときには、まずスイッチオン情報によりスイッチ４１１を閉じ、その後、伴奏制御データＣＴＬをベース生成ユニット４０２に出力してベースの伴奏制御を行い、伴奏終了後、スイッチオフ情報によりスイッチ４１１を開く。
【００３１】
同様に、端末３０２は、ベースパートの伴奏制御のオン及びオフのスイッチ情報を生成して出力し、スイッチ４１２をオン又はオフすることができる。端末３０３は、ベースパートの伴奏制御のオン及びオフのスイッチ情報を生成して出力し、スイッチ４１３をオン又はオフすることができる。
【００３２】
加算器４１０は、端末３０１〜３０３からの伴奏制御データＣＴＬを加算して、ベース生成ユニット４０２に出力する。すなわち、端末３０１〜３０３のうち、スイッチ４１１〜４１３がオンしている端末が、ベース生成ユニット４０２を制御することができる。伴奏制御データＣＴＬは、先着順に処理され、それに応じた伴奏データが生成される。
【００３３】
ベース生成ユニット４０２は、伴奏制御データＣＴＬに応じて生成された伴奏データＤＴを端末３０１〜３０３に送信する。端末３０１は、発音手段を有し、受信した伴奏データＤＴを基に発音処理し、伴奏音を発音する。端末３０２及び３０３は、ネットワークを介して伴奏データＤＴを受信し、発音処理する。
【００３４】
以上は、ベース生成ユニット４０２についての構成を示したが、リズム生成ユニット４０１及びコード生成ユニット４０３についても、同様の構成を有する。各端末は、パート毎に伴奏制御のスイッチ情報を生成することができ、他の端末からパート毎に伴奏制御のスイッチ情報を受信することができる。伴奏生成ユニット３０５は、自己の端末３０１で生成されたスイッチ情報又は他の端末３０２及び３０３から受信したスイッチ情報に応じて、伴奏制御データＣＴＬの入力を受け付け、伴奏データを生成することができる。
【００３５】
例えば、端末３０１は、リズムパートのスイッチのみをオンし、リズムパートの自動伴奏を行い、端末３０２は、ベースパートのスイッチのみをオンし、ベースパートの自動伴奏を行い、端末３０３は、コードパートのスイッチのみをオンし、コードパートの自動伴奏を行う。
【００３６】
ベースパート生成ユニット４０２について、すべての端末３０１〜３０３に対応するスイッチ４１１〜４１３がオフになったときには、ベース生成ユニット４０２は、伴奏データの生成を終了する。リズム生成ユニット４０１及びコード生成ユニット４０３についても同様である。すなわち、伴奏生成ユニット３０５は、パート毎のすべての端末のスイッチ情報がオフになったときにはそのスイッチ情報に対応するパートの伴奏データの生成を終了する。
【００３７】
スイッチ情報により、端末毎に各パートの制御を行うか否かを設定できる。伴奏データＤＴが生成されると、すべての端末３０１〜３０３に送信される。パート毎にすべての端末３０１〜３０３のスイッチがオフになると、伴奏データの生成を終了する。
【００３８】
図５は、図４の構成において、リズム生成ユニット４０１についてのスイッチ４１１〜４１３を削除したものである。すなわち、リズム生成ユニット４０１は、すべての端末３０１〜３０３に常時接続されている。ベース生成ユニット４０２及びコード生成ユニット４０３については、図４と同様に、スイッチ４１１〜４１３が存在する。
【００３９】
リズムパートは、ベースパート及びコードパートと異なり、単独で常に伴奏し続ける性格を有する。そこで、リズム生成ユニット４０１のみは、スイッチ情報による制御を不可とし、リズムパートの伴奏データ生成を持続させることができる。
【００４０】
伴奏生成ユニット３０５は、リズムパート、ベースパート及びコードパート等の複数のパートの伴奏データを生成することができる。各々のパートのテンポは、１つの端末が一括して管理しているため、パート間で同期ずれが発生することがない。端末毎に伴奏制御データ（パターンの選択、テンポ変更、音色の選択等）による制御が行われ、これに基づいた伴奏データが生成され、各端末に伴奏データが配信される。
【００４１】
また、スイッチ情報により、端末毎に各パートの制御を行うか否かが設定できるため、第１の端末はベースの制御を担当、第２の端末はコードの制御を担当する等といったことができるようになる。この場合にも、すべての端末に伴奏データが配信される。このように、１つの伴奏生成ユニットであっても、複数の端末から制御が可能であるため、端末毎に伴奏生成ユニットを設けていたのと同様の効果を得ることができる。
【００４２】
上記の伴奏制御データＣＴＬ及び伴奏データＤＴは、ＭＩＤＩデータを使用することができる。また、上記では自動伴奏について説明したが、自動伴奏に限定されず、伴奏パート及びメロディパートを演奏可能な自動演奏であってもよい。
【００４３】
図６は、上記の端末及びセッションサーバーのコンピュータのハードウェア構成図である。バス６０１には、中央処理装置（ＣＰＵ）６０２、ＲＯＭ６０３、ＲＡＭ６０４、ネットワークインタフェース６０５、入力装置６０６、出力装置６０７及び外部記憶装置６０８が接続されている。
【００４４】
ＣＰＵ６０２は、データの処理及び演算を行うと共に、バス６０１を介して接続された上記の構成ユニットを制御するものである。ＲＯＭ６０３には、予めブートプログラムが記憶されており、このブートプログラムをＣＰＵ６０２が実行することにより、コンピュータが起動する。外部記憶装置６０８にコンピュータプログラムが記憶されており、そのコンピュータプログラムがＲＡＭ６０４にコピーされ、ＣＰＵ６０２により実行される。このコンピュータは、コンピュータプログラムを実行することにより、上記の処理を行うことができる。
【００４５】
外部記憶装置６０８は、例えばハードディスク記憶装置等であり、電源を切っても記憶内容が消えない。外部記憶装置６０８は、コンピュータプログラム、演奏データ、音声データ及び映像データ等を記録媒体に記録したり、記録媒体からコンピュータプログラム等を読み出すことができる。
【００４６】
ネットワークインタフェース６０５は、ネットワークに対して演奏データ、音声データ及び映像データの他、コンピュータプログラム等を送受信することができる。入力装置６０６は、例えばキーボード及びポインティングデバイス（マウス）等であり、各種指定又は入力等を行うことができる。出力装置６０７は、ディスプレイ等であり、種々の情報を表示することができる。
【００４７】
本実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体及びコンピュータプログラムプロダクトは、本発明の範疇に含まれる。記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４８】
以上のように、本実施形態によれば、演奏データ通信システムは、複数の端末が直接又はサーバーを介して接続される。各端末は、パート情報を含む演奏制御データを生成し、他の端末からパート情報を含む演奏制御データを受信する。演奏データ生成ユニットは、複数のパートの演奏データを記憶し、自己の端末で生成した演奏制御データ又は他の端末から受信した演奏制御データに応じて、演奏データを生成し、他の端末に送信する。
【００４９】
１つの端末が自己の端末で生成した演奏制御データ又は他の端末から受信した演奏制御データを基に演奏データを生成するので、複数の端末が異なるパートを自動演奏制御しても、パート間での同期ずれを防止することができる。具体的には、１つの端末が、同じテンポで複数のパートの演奏データを生成することができ、同期ずれを防止することができる。
【００５０】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００５１】
【発明の効果】
以上説明したように、自己の端末が生成した演奏制御データ又は他の端末から受信した演奏制御データに応じて、演奏データを生成することができる。１つの端末が自己の端末で生成した演奏制御データ又は他の端末から受信した演奏制御データを基に演奏データを生成するので、複数の端末が異なるパートを自動演奏制御しても、パート間での同期ずれを防止することができる。具体的には、１つの端末が、同じテンポで複数のパートの演奏データを生成することができ、同期ずれを防止することができる。
【図面の簡単な説明】
【図１】本発明の実施形態によるデータ通信システムの第１の構成例を示す図である。
【図２】本発明の実施形態によるデータ通信システムの第２の構成例を示す図である。
【図３】図３（Ａ）及び（Ｂ）は、複数の端末がネットワークで接続され、合奏を行う例を示す図である。
【図４】図３（Ａ）の３個の端末及び活性化した伴奏生成ユニットの構成例を示す図である。
【図５】図３（Ａ）の３個の端末及び活性化した伴奏生成ユニットの他の構成例を示す図である。
【図６】端末及びセッションサーバーのコンピュータのハードウェア構成図である。
【図７】図７（Ａ）及び（Ｂ）は複数の端末がネットワークで接続され、合奏を行う例を示す図である。
【図８】図８（Ａ）及び（Ｂ）は複数の端末がネットワークで接続され、合奏を行う例を示す図である。
【符号の説明】
１０１鍵盤
１０２音源
１０３マイク
１０４スピーカ
１０５カメラ
１０６ディスプレイ
１１０，１２０端末
１３０インターネット
１３１ＴＣＰポート
１３２ＵＤＰポート
２１１〜２１４端末
２５０インターネット
２５１ＴＣＰポート
２５２ＵＤＰポート
２６０セッションサーバー
６０１バス
６０２ＣＰＵ
６０３ＲＯＭ
６０４ＲＡＭ
６０５ネットワークインタフェース
６０６入力装置
６０７出力装置
６０８外部記憶装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to performance data communication technology, and more particularly to technology for generating and communicating performance data in accordance with performance control data.
[0002]
[Prior art]
FIG. 7A shows an example in which three terminals 701 to 703 are connected via a network via a session server 704 and perform an ensemble. The terminal 701 includes a rhythm generation unit 711 and can perform automatic accompaniment of a rhythm part. The terminal 702 includes a base generation unit 712 and can perform automatic accompaniment of the base part. The terminal 703 has a chord generation unit 713 and can perform automatic accompaniment of chord parts. The rhythm generation unit 711 can generate automatic accompaniment data for the rhythm part. The bass generation unit 712 can generate automatic accompaniment data for the bass part. The chord generation unit 713 can generate automatic accompaniment data for chord parts.
[0003]
FIG. 7B shows an example in which two terminals 721 and 722 are directly connected via a network and perform an ensemble. The terminal 721 has a rhythm generation unit 731 and can perform automatic rhythm part accompaniment. The terminal 722 has a bass generating unit 732 and can perform automatic accompaniment of the bass part.
[0004]
The terminal is an electronic musical instrument, for example. When performing an ensemble by automatic performance using an electronic musical instrument connected via a network, each of the electronic musical instruments 701 to 703, 721, and 722 is provided with automatic accompaniment generating units 711 to 713, 731, and 732 individually. Since there is a delay in data communication in the communication path, there is a problem that it is difficult to achieve synchronization.
[0005]
One of the electronic musical instruments or the session server may become a master to generate a synchronization signal and start automatic accompaniment all at once, but in this case, a delay in the communication path occurs, so each electronic musical instrument The time to reach each performance (rhythm, bass, chord) will vary. For this reason, it is very difficult to synchronize each performance.
[0006]
FIG. 8A shows an example in which three terminals 801 to 803 perform an ensemble as a first group and three terminals 811 to 813 perform an ensemble as another second group. The three terminals 801 to 803 are connected via a session server 800 via a network. Three terminals 811 to 813 are connected via a session server 800 via a network. The session server 800 includes accompaniment generation units 821 and 822. The accompaniment generation units 821 and 822 can generate automatic accompaniment data for rhythm parts, bass parts, and chord parts. The terminals 801 to 803 of the first group can perform automatic accompaniment using the accompaniment generation unit 821. The terminals 811 to 813 of the second group can perform automatic accompaniment using the accompaniment generation unit 822.
[0007]
When the automatic accompaniment generation units 821 and 822 are provided in the session server 800, the synchronization problem is solved, but a plurality of automatic accompaniment generation units 821 and 822 must be provided in the session server 800. The 800 load will increase.
[0008]
Further, in such a method, since there are automatic accompaniment generation units 821 and 822 in the session server 800, as shown in FIG. 8B, when the terminals 831 and 832 are directly connected without going through the server, There is a problem that the accompaniment unit cannot be used.
[0009]
Moreover, the following patent document 1 is disclosed.
[0010]
[Patent Document 1]
Japanese Patent No. 3298419 [0011]
[Problems to be solved by the invention]
An object of the present invention is to perform automatic performance in which a plurality of player terminals are synchronized without increasing the load on the server.
[0012]
[Means for Solving the Problems]
According to one aspect of the present invention, a performance data communication system in which a plurality of terminals are connected directly or via a server, wherein the plurality of terminals perform performance control for generating performance control data including part information. Data generating means; receiving means for receiving performance control data including part information from another terminal; storing performance data of a plurality of parts; and storing the generated performance control data or the received performance control data in the generated performance control data Correspondingly, it possesses the performance data generating means for generating performance data, and transmitting means for transmitting the performance data said generated to other terminals, one of the terminals of the plurality of terminals A performance data communication system in which only the performance data generation means is activated is provided.
[0013]
According to the present invention, performance data can be generated according to performance control data generated by its own terminal or performance control data received from another terminal. Since one terminal generates performance data based on performance control data generated by its own terminal or performance control data received from another terminal, even if multiple terminals automatically control different parts, Of synchronization can be prevented. Specifically, one terminal can generate performance data of a plurality of parts at the same tempo, and synchronization loss can be prevented.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a first configuration example of a data communication system according to an embodiment of the present invention. The two terminals 110 and 120 are directly connected so that two performers can perform ensembles at remote locations, and communicate performance data, audio data, and video data with each other. For example, the terminal 110 is a server and the terminal 120 is a client. The terminals 110 and 120 each have a keyboard 101, a sound source 102, a microphone 103, a speaker 104, a camera 105, and a display 106.
[0015]
When the performer plays the keyboard (electronic musical instrument) 101, the keyboard 101 generates performance data and supplies it to the terminal 110. The performance data is, for example, MIDI (Musical Instrument Digital Interface) data. When the MIDI data is input from the keyboard 101, the terminal 110 outputs the MIDI data to the sound source 102 and transmits it to the terminal 120 via the Internet (network) 130. The sound source 102 generates a tone signal based on the MIDI data, and causes the speaker 104 to generate a tone. Similarly, at the terminal 120, a musical sound is generated by the sound source 102 and the speaker 104.
[0016]
The microphone 103 generates a sound signal based on the sound such as the performer's singing voice and outputs the sound signal to the terminal 110. When an analog audio signal is input from the microphone 103, the terminal 110 converts the audio signal into digital audio data, generates a sound from the speaker 104, and transmits the sound to the terminal 120 via the Internet 130. Similarly, at the terminal 120, sound is produced from the speaker 104.
[0017]
The camera 105 generates video data such as a performer or a score and outputs it to the terminal 110. When the video data is input from the camera 105, the terminal 110 displays the video data on the display 106 and transmits it to the terminal 120 via the Internet 130. Similarly, the terminal 120 displays the video on the display 106.
[0018]
Similarly, at the terminal 120, the generated MIDI data, audio data, and video data are reproduced and transmitted to the terminal 110. In the terminal 110, the same MIDI data, audio data, and video data are reproduced. Thereby, two performers can perform an ensemble in a remote place in real time.
[0019]
Under the Internet 130 environment, the terminals 110 and 120 communicate audio data and video data via a TCP (Transmission Control Protocol) port 131 and communicate MIDI data via a UDP (User Datagram Protocol) port 132. . MIDI data is required to be faster (real time) than audio data and video data. Therefore, the MIDI data uses the UDP port 132, and the audio data and video data use the TCP port 131. Only the UDP port may be used without dividing the TCP port 131 and the UDP port 132. In that case, it is preferable to prioritize the data and send / receive MIDI data with priority. In the two-person mode, of the two terminals 110 and 120, the one that requests the connection first is the server, and the other is the client.
[0020]
FIG. 2 shows a second configuration example of the data communication system according to the embodiment of the present invention. The four terminals 211 to 214 are connected via a session server 260 so that four performers can perform ensembles at remote locations, and communicate performance data, audio data, and video data with each other. This mode is used when there are three or more people, but the case of four people will be described as an example. The four terminals 211 to 214 are all clients, and the session server 260 is a server. Similarly to FIG. 1, the terminals 211 to 214 each have a keyboard 101, a sound source 102, a microphone 103, a speaker 104, a camera 105, and a display 106.
[0021]
The terminals 211 to 214 and the session server 260 are connected via the Internet (network) 250. Under the Internet 250 environment, the terminals 211 to 214 communicate audio data, video data, and the like via the TCP port 251, and communicate MIDI data and the like via the UDP port 252. The terminals 211 to 214 communicate MIDI data, audio data, and video data with each other via the session server 260. Thereby, three or more (for example, four) performers can perform an ensemble in real time in a remote place.
[0022]
As shown in FIG. 1, when performing an ensemble with two terminals, it is preferable to communicate by directly connecting the two terminals. If the terminals are directly connected, high-speed communication can be performed. However, when three or more terminals are directly connected, the load increases because each terminal communicates with a plurality of terminals. Therefore, as shown in FIG. 2, when performing an ensemble with three or more terminals, it is preferable to connect and communicate with three or more terminals via the session server 260. When a terminal is connected via the session server 260, each terminal only needs to communicate with the session server 260 only, so that the load on each terminal can be reduced.
[0023]
FIG. 3A shows an example in which three terminals 301 to 303 are connected via a network via the session server 304 and perform an ensemble. Each of the terminals 301 to 303 includes an accompaniment generation unit 305 and can perform automatic accompaniment such as a rhythm part, a bass part, and a chord part. The accompaniment generation unit 305 can store automatic accompaniment data such as a rhythm part, a bass part, and a chord part, and can generate automatic accompaniment data for each part.
[0024]
Only one of the accompaniment generation units 305 in the three terminals 301 to 303 is activated. For example, the accompaniment generation unit 305 of the terminal 301 is activated and the accompaniment generation units 305 of the terminals 302 and 303 are deactivated. For example, among the three terminals 301 to 303, only the accompaniment generation unit 305 of the terminal that requested connection is first activated and operates. The three terminals 301 to 303 perform automatic accompaniment using the accompaniment generation unit 305 in the terminal 301. Each terminal 301 to 303 can control automatic accompaniment by outputting accompaniment control data to the accompaniment generation unit 305. The accompaniment control data includes, for example, accompaniment start data and stop data, and can control performance start, stop, chord designation, pattern selection, tempo designation, tone color selection, and the like. For example, the terminal 301 controls the automatic accompaniment of the rhythm part, the terminal 302 controls the automatic accompaniment of the bass part, and the terminal 303 controls the automatic accompaniment of the chord part.
[0025]
Three terminals 301 to 303 are terminals in the same group using the session server 304. An accompaniment generation unit 305 is prepared for each of the three terminals 301 to 303, and by operating one of the accompaniment generation units 305, synchronized automatic accompaniment can be performed.
[0026]
FIG. 3B shows an example in which two terminals 311 and 312 are directly connected via a network to perform an ensemble. Each of the terminals 311 and 312 has an accompaniment generation unit 313 and can perform automatic accompaniment such as a rhythm part, a bass part, and a chord part. Also in this case, only the accompaniment generation unit 313 of any one of the accompaniment generation units 313 of the two terminals 311 and 312 is activated and operates. For example, the accompaniment generation unit 313 of the terminal 311 that first requested a connection is activated and operates, and the accompaniment generation unit 313 of the terminal 312 is deactivated. For example, the terminal 311 controls the automatic accompaniment of the rhythm part, and the terminal 312 controls the automatic accompaniment of the bass part. Thereby, synchronized automatic accompaniment can be performed.
[0027]
FIG. 4 shows the three accompaniment generating units 305 in the three terminals 301 to 303 and the terminal 301 in FIG. The accompaniment generation unit 305 originally exists in the terminal 301, but for simplicity of explanation, the accompaniment generation unit 305 is represented outside the terminal 301 in the figure. The switches 411 to 413 and the adder 410 are actually present in the terminal 301.
[0028]
The accompaniment generation unit 305 includes a rhythm generation unit 401, a bass generation unit 402, and a chord (chord) generation unit 403. The rhythm generation unit 401 can generate rhythm part automatic accompaniment data. The bass generating unit 402 can generate automatic accompaniment data for the bass part. The chord generation unit 403 can generate automatic accompaniment data for chord parts.
[0029]
The terminal 301 can output accompaniment control data (command) CTL to the bass generation unit 402 via the switch 411 and the adder 410. The terminal 302 can transmit the accompaniment control data CTL to the bass generation unit 402 via the switch 412 and the adder 410. The terminal 303 can transmit the accompaniment control data CTL to the bass generation unit 402 via the switch 413 and the adder 410.
[0030]
Also, the terminal 301 can generate and output on / off switch information of the accompaniment control of the bass part. The switch 411 is turned on or off according to the switch information. When performing the accompaniment control of the bass part, the terminal 301 first closes the switch 411 according to the switch-on information, and then outputs the accompaniment control data CTL to the bass generation unit 402 to perform the bass accompaniment control. The switch 411 is opened according to the off information.
[0031]
Similarly, the terminal 302 can generate and output on / off switch information of the accompaniment control of the bass part, and can turn on or off the switch 412. The terminal 303 can generate and output on / off switch information of the accompaniment control of the bass part, and can turn on or off the switch 413.
[0032]
The adder 410 adds the accompaniment control data CTL from the terminals 301 to 303 and outputs the result to the base generation unit 402. That is, among the terminals 301 to 303, the terminal in which the switches 411 to 413 are turned on can control the base generation unit 402. The accompaniment control data CTL is processed on a first-come-first-served basis, and corresponding accompaniment data is generated.
[0033]
The base generation unit 402 transmits accompaniment data DT generated according to the accompaniment control data CTL to the terminals 301 to 303. The terminal 301 has sound generation means, performs sound generation processing based on the received accompaniment data DT, and generates an accompaniment sound. The terminals 302 and 303 receive the accompaniment data DT via the network and perform sound generation processing.
[0034]
The above has described the configuration of the base generation unit 402, but the rhythm generation unit 401 and the chord generation unit 403 also have the same configuration. Each terminal can generate switch information for accompaniment control for each part, and can receive switch information for accompaniment control for each part from other terminals. The accompaniment generation unit 305 can receive the input of the accompaniment control data CTL and generate accompaniment data according to the switch information generated by the terminal 301 or the switch information received from the other terminals 302 and 303.
[0035]
For example, the terminal 301 turns on only the rhythm part switch and performs automatic accompaniment of the rhythm part, the terminal 302 turns on only the base part switch and performs automatic accompaniment of the base part, and the terminal 303 Turn on only the switch and perform automatic accompaniment of chord parts.
[0036]
When the switches 411 to 413 corresponding to all the terminals 301 to 303 are turned off for the base part generation unit 402, the base generation unit 402 ends the generation of accompaniment data. The same applies to the rhythm generation unit 401 and the chord generation unit 403. That is, the accompaniment generation unit 305 ends the generation of the accompaniment data of the part corresponding to the switch information when the switch information of all the terminals for each part is turned off.
[0037]
Whether or not to control each part can be set for each terminal by the switch information. When the accompaniment data DT is generated, it is transmitted to all the terminals 301 to 303. When the switches of all the terminals 301 to 303 are turned off for each part, the generation of accompaniment data ends.
[0038]
FIG. 5 is obtained by deleting the switches 411 to 413 for the rhythm generation unit 401 in the configuration of FIG. That is, the rhythm generation unit 401 is always connected to all the terminals 301 to 303. As for the base generation unit 402 and the code generation unit 403, switches 411 to 413 exist as in FIG.
[0039]
Unlike the bass part and the chord part, the rhythm part has a personality that always accompanies alone. Therefore, only the rhythm generation unit 401 cannot be controlled by the switch information, and can continue the accompaniment data generation of the rhythm part.
[0040]
The accompaniment generation unit 305 can generate accompaniment data of a plurality of parts such as a rhythm part, a bass part, and a chord part. Since the tempo of each part is collectively managed by one terminal, there is no synchronization shift between the parts. Control by accompaniment control data (pattern selection, tempo change, timbre selection, etc.) is performed for each terminal, accompaniment data based on this is generated, and accompaniment data is distributed to each terminal.
[0041]
In addition, since it is possible to set whether or not to control each part for each terminal by the switch information, the first terminal can be in charge of base control, the second terminal can be in charge of code control, and so on. It becomes like this. Also in this case, accompaniment data is distributed to all terminals. Thus, even if it is one accompaniment production | generation unit, since it can control from several terminals, the effect similar to having provided the accompaniment production | generation unit for every terminal can be acquired.
[0042]
MIDI data can be used for the accompaniment control data CTL and the accompaniment data DT. Moreover, although the automatic accompaniment was demonstrated above, it is not limited to an automatic accompaniment, The automatic performance which can play an accompaniment part and a melody part may be sufficient.
[0043]
FIG. 6 is a hardware configuration diagram of the above-described terminal and session server computer. A central processing unit (CPU) 602, ROM 603, RAM 604, network interface 605, input device 606, output device 607, and external storage device 608 are connected to the bus 601.
[0044]
The CPU 602 performs processing and calculation of data, and controls the above constituent units connected via the bus 601. A boot program is stored in the ROM 603 in advance, and the computer is activated when the CPU 602 executes the boot program. A computer program is stored in the external storage device 608, and the computer program is copied to the RAM 604 and executed by the CPU 602. This computer can perform the above-described processing by executing a computer program.
[0045]
The external storage device 608 is, for example, a hard disk storage device or the like, and the stored content does not disappear even when the power is turned off. The external storage device 608 can record computer programs, performance data, audio data, video data, and the like on a recording medium, and can read out computer programs and the like from the recording medium.
[0046]
The network interface 605 can transmit and receive performance data, audio data, and video data as well as computer programs and the like to the network. The input device 606 is, for example, a keyboard and a pointing device (mouse), and can perform various designations or inputs. The output device 607 is a display or the like and can display various information.
[0047]
This embodiment can be realized by a computer executing a program. Also, means for supplying a program to a computer, for example, a computer-readable recording medium such as a CD-ROM recording such a program, or a transmission medium such as the Internet for transmitting such a program is also applied as an embodiment of the present invention. Can do. A computer program product such as a computer-readable recording medium in which the above program is recorded can also be applied as an embodiment of the present invention. The above program, recording medium, transmission medium, and computer program product are included in the scope of the present invention. As the recording medium, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0048]
As described above, according to the present embodiment, in the performance data communication system, a plurality of terminals are connected directly or via a server. Each terminal generates performance control data including part information, and receives performance control data including part information from other terminals. The performance data generation unit stores performance data of a plurality of parts, generates performance data according to performance control data generated by its own terminal or performance control data received from another terminal, and transmits it to other terminals To do.
[0049]
Since one terminal generates performance data based on performance control data generated by its own terminal or performance control data received from another terminal, even if multiple terminals automatically control different parts, Of synchronization can be prevented. Specifically, one terminal can generate performance data of a plurality of parts at the same tempo, and synchronization loss can be prevented.
[0050]
The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
[0051]
【The invention's effect】
As described above, the performance data can be generated according to the performance control data generated by the terminal itself or the performance control data received from another terminal. Since one terminal generates performance data based on performance control data generated by its own terminal or performance control data received from another terminal, even if multiple terminals automatically control different parts, Of synchronization can be prevented. Specifically, one terminal can generate performance data of a plurality of parts at the same tempo, and synchronization loss can be prevented.
[Brief description of the drawings]
FIG. 1 is a diagram showing a first configuration example of a data communication system according to an embodiment of the present invention.
FIG. 2 is a diagram showing a second configuration example of the data communication system according to the embodiment of the present invention.
FIGS. 3A and 3B are diagrams illustrating an example in which a plurality of terminals are connected via a network to perform an ensemble.
FIG. 4 is a diagram illustrating a configuration example of three terminals and an activated accompaniment generation unit in FIG.
FIG. 5 is a diagram illustrating another configuration example of the three terminals and the activated accompaniment generating unit in FIG. 3 (A).
FIG. 6 is a hardware configuration diagram of a computer of a terminal and a session server.
FIGS. 7A and 7B are diagrams illustrating an example in which a plurality of terminals are connected via a network to perform an ensemble.
FIGS. 8A and 8B are diagrams illustrating an example in which a plurality of terminals are connected via a network to perform an ensemble.
[Explanation of symbols]
101 Keyboard 102 Sound Source 103 Microphone 104 Speaker 105 Camera 106 Display 110, 120 Terminal 130 Internet 131 TCP Port 132 UDP Port 211-214 Terminal 250 Internet 251 TCP Port 252 UDP Port 260 Session Server 601 Bus 602 CPU
603 ROM
604 RAM
605 Network interface 606 Input device 607 Output device 608 External storage device

Claims

A performance data communication system in which a plurality of terminals are connected directly or via a server,
The plurality of terminals are:
Performance control data generating means for generating performance control data including part information;
Receiving means for receiving performance control data including part information from another terminal;
Performance data generating means for storing performance data of a plurality of parts and generating performance data in accordance with the generated performance control data or the received performance control data;
Have a transmission means for transmitting the performance data said generated to other terminals,
A performance data communication system in which only the performance data generating means of any one of the plurality of terminals is activated .

Wherein the plurality of terminal further performance data communication system according to claim 1, further comprising a sound generating means for performing sound processing on the basis of the performance data that is generated.

The performance data communication system according to claim 1 or 2, wherein the performance data generation means can generate performance data of at least one of a rhythm part, a base part, and a chord part.

The performance data communication system according to claim 1 or 2, wherein the performance data generation means can generate performance data of a rhythm part, a base part, and a chord part.

The performance control data generating means can generate performance control on / off switch information for each part,
The receiving means can receive performance control on and off switch information for each part from other terminals,
It said performance data generating means, in response to the generated switching information or the received switch information, accepts the input of the performance control data, according to any one of claims 1-4 for generating performance data Performance data communication system.

6. The performance data communication system according to claim 5, wherein said performance data generating means does not generate performance data of a part corresponding to the switch information when switch information of all terminals for each part is turned off.

The performance data communication system according to claim 6 , wherein the switch information includes no switch information for a rhythm part and switch information for a part other than the rhythm part.

7. The performance data communication system according to claim 6 , wherein the switch information includes no rhythm part switch information and base part and chord part switch information.

The performance data communication system according to any one of claims 1 to 8 , wherein the performance control data includes performance start data and stop data.