JPH10319950A - データ送受信方法およびシステム - Google Patents

データ送受信方法およびシステム

Info

Publication number
JPH10319950A
JPH10319950A JP9148670A JP14867097A JPH10319950A JP H10319950 A JPH10319950 A JP H10319950A JP 9148670 A JP9148670 A JP 9148670A JP 14867097 A JP14867097 A JP 14867097A JP H10319950 A JPH10319950 A JP H10319950A
Authority
JP
Japan
Prior art keywords
data
midi
network
performance
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9148670A
Other languages
English (en)
Other versions
JP3242028B2 (ja
Inventor
Takeshi Kikuchi
菊池　　健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP14867097A priority Critical patent/JP3242028B2/ja
Priority to US09/079,672 priority patent/US6088733A/en
Publication of JPH10319950A publication Critical patent/JPH10319950A/ja
Application granted granted Critical
Publication of JP3242028B2 publication Critical patent/JP3242028B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

(57)【要約】 【課題】インターネットなどを利用したネットワークコ
ンサートなどの、ネットワークを介して演奏データ、画
像データ、音声データなどを配信し、受信側でそれらの
データから演奏会場の環境を再現するようなシステムに
おいて、演奏者の演奏による楽音、演奏時の画像、およ
び音声などを同期をとってタイミングを合わせて再生で
きるようにすることを目的とする。 【解決手段】ＭＩＤＩ楽器の演奏操作によるＭＩＤＩ形
式演奏データの発生と並行して発生される画像データ
（演奏風景など）、音声データ（ボーカルやＭＩＤＩ以
外の楽器など）、およびそれらに付随する各種のデータ
をＭＩＤＩイベント化してＭＩＤＩ形式演奏データと合
わせて配信し、受信側ではＭＩＤＩベースで再生、すな
わちＭＩＤＩ化された画像データや音声データをＭＩＤ
Ｉ上で通常の演奏データとして取り扱って再生する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、データ送受信方
法およびシステムに関し、特に電子楽器の演奏情報、並
びに、音声情報および画像情報などタをネットワークを
介して送受信する方法およびシステムに関する。
【０００２】
【従来の技術】従来、演奏会場において演奏者が演奏し
た電子楽器から出力されるＭＩＤＩ（Musical Instrume
nt Digital Interface）演奏データを、インターネット
などのネットワークを介して配信し、配信先の例えば家
庭内のコンピュータおよびＭＩＤＩ機器で該ＭＩＤＩ演
奏データを再生して、演奏会場における演奏者の演奏を
家庭内で再現する試み（いわゆるインターネットコンサ
ート）が行なわれている。この際、ＭＩＤＩデータとと
もに、会場での演奏者の演奏の様子や会場にいる観客の
様子などを画像（静止画や動画）データで配信したり、
ＭＩＤＩ以外で取り込んだ音声データを配信するものが
あった。これにより、あたかも演奏者が家庭内で演奏し
ているようなイメージで演奏を聞くことができる。
【０００３】
【発明が解決しようとする課題】ところで、上述のイン
ターネットコンサートなどでは、ＭＩＤＩデータはＭＩ
ＤＩデータとして配信し、画像や音声はＭＩＤＩデータ
とは独立に入力され配信している。そのため、家庭内で
再生する際、画像データや音声データとＭＩＤＩデータ
との同期がとれない場合があった。例えば、演奏者が電
子楽器の鍵盤を押下したとき、その押下の動作を写した
画像データとその押下イベントのＭＩＤＩデータとは別
個に配信されるので、家庭内で再生したとき、受信した
ＭＩＤＩデータにより先に音が鳴った後で演奏者の鍵盤
押下の動作の画像がモニタに出力される、というような
ことがある。また、電子楽器から取り込んだＭＩＤＩ演
奏データによる楽音と、マイクから取り込み音声データ
として配信されるボーカルの音声とが、再生時にタイミ
ングがずれてしまう、というようなことがある。
【０００４】この発明は、ネットワークを介して演奏デ
ータ、画像データ、音声データなどを配信し、受信側で
それらのデータから演奏会場の環境を再現するようなシ
ステムにおいて、演奏者の演奏による楽音、演奏時の画
像、および音声などを同期をとってタイミングを合わせ
て再生できるようにすることを目的とする。
【０００５】
【課題を解決するための手段】この目的を達成するた
め、請求項１に係る発明は、演奏者によるＭＩＤＩ楽器
の演奏操作により出力されるＭＩＤＩ形式演奏データ
を、該演奏操作と並行して発生される画像データ、音声
データ、およびそれらに付随する各種のデータととも
に、送信端末からネットワークに配信し、該ネットワー
クからそれらのデータを受信端末で受信してそれぞれ再
生するシステムにおけるデータ送受信方法であって、前
記送信端末で、前記画像データ、音声データ、およびそ
れらに付随する各種のデータをＭＩＤＩイベント化し、
前記ＭＩＤＩ形式演奏データと合わせてＭＩＤＩデータ
とし、そのＭＩＤＩデータを前記ネットワークに配信す
るステップと、前記受信端末で、前記ネットワークから
前記ＭＩＤＩデータを受信するステップと、受信した前
記ＭＩＤＩデータから、前記ＭＩＤＩ形式演奏データお
よび前記ＭＩＤＩイベント化された各データを順次取り
出して再生するステップとを備えたことを特徴とする。
【０００６】請求項２に係る発明は、演奏者によるＭＩ
ＤＩ楽器の演奏操作により出力されるＭＩＤＩ形式演奏
データを、該演奏操作と並行して発生される画像デー
タ、音声データ、およびそれらに付随する各種のデータ
とともに、送信端末からネットワークに配信し、該ネッ
トワークからそれらのデータを受信端末で受信してそれ
ぞれ再生するシステムにおけるデータ送受信方法であっ
て、前記送信端末で、所定時間間隔ごとに、前記画像デ
ータ、音声データ、およびそれらに付随する各種のデー
タをＭＩＤＩイベント化し、前記ＭＩＤＩ形式演奏デー
タと合わせてＭＩＤＩデータとするとともに、該ＭＩＤ
Ｉデータを含むパケットデータを生成するステップと、
前記所定時間間隔ごとに作成したパケットデータを前記
ネットワークに配信するステップと、前記受信端末で、
前記ネットワークから前記パケットデータを受信するス
テップと、受信したパケットデータ中のＭＩＤＩイベン
トデータから、前記ＭＩＤＩ形式演奏データおよび前記
ＭＩＤＩイベント化された各データを順次取り出して再
生するステップとを備えたことを特徴とする。
【０００７】請求項３に係る発明は、演奏者によるＭＩ
ＤＩ楽器の演奏操作により出力されるＭＩＤＩ形式演奏
データを、該演奏操作と並行して発生される画像デー
タ、音声データ、およびそれらに付随する各種のデータ
とともに、送信端末からネットワークに配信し、該ネッ
トワークからそれらのデータを受信端末で受信してそれ
ぞれ再生するデータ送受信システムにおいて、前記送信
端末は、前記画像データ、音声データ、およびそれらに
付随する各種のデータをＭＩＤＩイベント化し、前記Ｍ
ＩＤＩ形式演奏データと合わせてＭＩＤＩデータとする
手段と、そのＭＩＤＩデータを前記ネットワークに配信
する手段とを備え、前記受信端末は、前記ネットワーク
から前記ＭＩＤＩデータを受信する手段と、受信した前
記ＭＩＤＩデータから、前記ＭＩＤＩ形式演奏データお
よび前記ＭＩＤＩイベント化された各データを順次取り
出して再生する手段とを備えたことを特徴とする。
【０００８】請求項４に係る発明は、演奏者によるＭＩ
ＤＩ楽器の演奏操作により出力されるＭＩＤＩ形式演奏
データを、該演奏操作と並行して発生される画像デー
タ、音声データ、およびそれらに付随する各種のデータ
とともに、送信端末からネットワークに配信し、該ネッ
トワークからそれらのデータを受信端末で受信してそれ
ぞれ再生するデータ送受信システムにおいて、前記送信
端末は、所定時間間隔ごとに、前記画像データ、音声デ
ータ、およびそれらに付随する各種のデータをＭＩＤＩ
イベント化し、前記ＭＩＤＩ形式演奏データと合わせて
ＭＩＤＩデータとするとともに、該ＭＩＤＩデータを含
むパケットデータを生成する手段と、前記所定時間間隔
ごとに作成したパケットデータを前記ネットワークに配
信する手段とを備え、前記受信端末は、前記ネットワー
クから前記パケットデータを受信する手段と、受信した
パケットデータ中のＭＩＤＩイベントデータから、前記
ＭＩＤＩ形式演奏データおよび前記ＭＩＤＩイベント化
された各データを順次取り出して再生する手段とを備え
たことを特徴とする。
【０００９】
【発明の実施の形態】以下、図面を用いてこの発明の実
施の形態を説明する。
【００１０】図１は、この発明に係るデータ送受信シス
テムの接続例を示す。これは、従来技術の欄で説明した
ようなインターネットコンサートを行なう際のシステム
例である。
【００１１】演奏会場１００には、演奏者が演奏操作す
るＭＩＤＩ楽器１０１、その演奏の様子や会場の様子な
どを画像（静止画や動画）として取り込むカメラ１０
２、および、ボーカルや自然楽器やＭＩＤＩ以外の楽器
からの音声や楽音を取り込んで音声データとして出力す
るマイクロフォンなどの音声データ取り込み機器１０３
を備えている。ＭＩＤＩ楽器１０１から出力されるＭＩ
ＤＩデータ（ＭＩＤＩパートデータと呼ぶ）、カメラ１
０２から出力される画像データ、および音声データ取り
込み機器１０３から出力される音声データは、送信端末
として動作するエンコーダ１０４に入力する。エンコー
ダ１０４は、後述する図４の処理ルーチンで、入力した
これらのデータをパケット化し、後述する図２のような
パケットデータを生成して出力する。このパケットデー
タは、ルータ１０５を介して、外部のメインフレーム１
１０に送られる。
【００１２】メインフレーム１１０は、インターネット
などのネットワークを介して、上記パケットデータをＷ
ＷＷ（World Wide Web）サーバ１２１〜１２３などに配
信する。ＷＷＷサーバ１２１〜１２３は、例えばインタ
ーネットの各プロバイダのサーバである。
【００１３】各家庭などでこのインターネットコンサー
トを視聴したいときは、各家庭内にあるホームコンピュ
ータ１３１〜１３４などを、各プロバイダのＷＷＷサー
バ１３１〜１３４に接続する。ホームコンピュータ１３
１〜１３４には、受信端末として動作するための再生プ
ログラムがあらかじめインストールされており、動作し
ている。この再生プログラムの動作については図５で詳
しく説明するが、要するに、ＷＷＷサーバ１２１〜１２
３から配信されるデータを受信し、そのデータを再生す
る時間や順序を管理するとともに、ＭＩＤＩパートデー
タはＭＩＤＩ音源モジュール（例えば、図１のホームコ
ンピュータ１３３に接続されているＭＩＤＩ音源１４
３）に送って再生し、画像データは画像制御モジュール
（例えば、図１の各ホームコンピュータ１３１〜１３４
のモニタ）に送って表示器（例えば、図１の各ホームコ
ンピュータ１３１〜１３４のモニタ）に表示し、音声デ
ータは音声制御モジュール（例えば、図１の音声出力装
置１４１，１４２，１４４，１４５）に送って音声出力
する処理を行なうものである。これにより、家庭内で演
奏会場の様子をリアルタイムに再現できる。
【００１４】特に、この実施の形態のシステムでは、画
像データおよび音声データは、イベントが発生した時点
で送信側のエンコーダ１０４内でＭＩＤＩイベント化さ
れ（ＭＩＤＩの拡張形式であるイクスクルーシブ（excl
usive）で表すものとする）、ＭＩＤＩパートデータと
合わせてＭＩＤＩデータとして、配信される。受信端末
１３１〜１３４側では、これらのＭＩＤＩパートデー
タ、画像データ、および音声データをすべて含むＭＩＤ
Ｉデータを受信し、ＭＩＤＩイベントとして再生するの
で、各データの再生のタイミングが揃う。すなわち、す
べてＭＩＤＩ化されているデータなので、受信端末内の
シーケンサにより再生する際、画像出力および音声出力
も含めて、小節単位あるいは拍単位などでのタイミング
調整が可能である。また、ＭＩＤＩパートデータによ
り、演奏者が不特定多数の受信端末に接続されたＭＩＤ
Ｉ楽器を演奏している状況が実現できる。さらに、これ
らのデータはすべてＭＩＤＩデータ化されているため、
ＭＩＤＩファイラなどに記録させ、後で再現することも
できる。
【００１５】図２は、エンコーダ１０４が取り込んだＭ
ＩＤＩパートデータ、画像データ、および音声データか
ら生成して配信するパケットデータの構造を示す。パケ
ットデータ２００は、チェックサム２０１、データＩＤ
２０２、シーケンスナンバ２０３、再生時間２０４、イ
ベントデータ長２０５、およびＭＩＤＩデータ２０６を
有する。チェックサム２０１からイベントデータ長２０
５までがこのパケットデータ２００のヘッダ部であり、
ＭＩＤＩデータ２０６がこのパケットデータ２００のデ
ータ部を構成する。
【００１６】チェックサム２０１は、このパケットデー
タ２００のデータＩＤ２０２以降のデータから生成した
チェックサムである。データＩＤ２０２は、このパケッ
トデータ２００の識別子（ＩＤ）であり、各種データの
種類を示す情報なども含む。シーケンスナンバ２０３
は、このパケットデータ２００の再生順を示す番号（コ
マ割りのコマ番号のようなもの）である。再生時間２０
４は、このパケットデータ２００中のＭＩＤＩデータ２
０６の再生を開始する時間（演奏開始時からの相対時
刻）である。イベントデータ長２０５は、ＭＩＤＩデー
タ２０６のデータ長を示す。ＭＩＤＩデータ２０６は、
ＭＩＤＩの実データそのものであり、図１で説明したＭ
ＩＤＩパートデータ、ＭＩＤＩ化された画像データ、お
よびＭＩＤＩ化された音声データを含む。
【００１７】なお、１つのパケットデータ２００のＭＩ
ＤＩデータ２０６中のＭＩＤＩ化された画像データは、
所定時間（パケットを生成する単位時間であり、例えば
５００ｍｓｅｃ程度）間隔で取り込んだ単位を１つのイ
ベントとしてイクスクルーシブで表したデータ（以下、
画像イクスクルーシブと呼ぶ）である。ＭＩＤＩデータ
２０６中のＭＩＤＩ化された音声データも同様に、この
所定時間間隔で取り込んだ単位を１つのイベントとして
イクスクルーシブで表したデータ（以下、音声イクスク
ルーシブと呼ぶ）である。ＭＩＤＩデータ２０６中のＭ
ＩＤＩパートデータは、この所定時間の間にＭＩＤＩ楽
器１０１から発生したＭＩＤＩイベントをまとめたデー
タである。ＭＩＤＩパートデータは、イクスクルーシブ
でないデータ（以下、演奏ＭＩＤＩデータと呼ぶ）だけ
でなく、必要に応じてイクスクルーシブデータ（以下、
音源イクスクルーシブと呼ぶ）を含む。また、このパケ
ットデータ２００は、実際には、ネットワークに配信す
る際に所定の形式でエンコードされたデータである。
【００１８】図３は、図１のホームコンピュータ（受信
端末）１３１〜１３４内でのデータの流れを示すフロー
チャートである。ステップ３０１で、図２で説明したよ
うなパケットデータ２００を受信すると、ステップ３０
２以降の処理で、受信したパケットデータ２００中のＭ
ＩＤＩデータ２０６を解析する。なお、ステップ３０２
以降の処理は、ＭＩＤＩデータ２０６中の各イベントデ
ータを単位として繰り返し（ＭＩＤＩデータ２０６中に
イベントが無くなるまで）実行される処理である。
【００１９】まずステップ３０２で、イクスクルーシブ
データであるか否か判別する。イクスクルーシブデータ
でないときは、ＭＩＤＩ楽器１０１から出力されたＭＩ
ＤＩパートデータのうちの演奏ＭＩＤＩデータであると
いうことだから、そのＭＩＤＩパートデータをイベント
としてＭＩＤＩ音源モジュール３０４に渡す。ステップ
３０２でイクスクルーシブデータであるときは、ステッ
プ３０３でそのイクスクルーシブデータの種類を判別
し、その種類に応じて、音源イクスクルーシブならＭＩ
ＤＩ音源モジュール３０４に、画像イクスクルーシブな
ら画像制御モジュール３０６に、音声イクスクルーシブ
なら音声制御モジュール３０８に、それぞれイベントと
して渡す。
【００２０】音源モジュール３０４は、上述したように
渡されたＭＩＤＩパートデータ（演奏ＭＩＤＩデータと
音源イクスクルーシブ）を再生して、楽音をスピーカ３
０５から出力する。画像制御モジュール３０６は、上述
したように渡された画像イクスクルーシブの画像データ
をモニタ３０７に表示出力する。音声制御モジュール３
０８は、上述したように渡された音声イクスクルーシブ
の音声データをスピーカ３０９から出力する。これらの
モジュール３０４，３０６，３０８は、イベント起動型
のモジュールで、イベントが入力すると、渡されたデー
タに基づいて発音や表示を行なうモジュールである。こ
れらのモジュール３０４，３０６，３０８は、ソフトウ
エア、ハードウエア、あるいはそれらの組合わせの何れ
で実現しても良い。
【００２１】図４は、図１のエンコーダ（送信端末）１
０４における入力データ処理ルーチンを示す。この処理
ルーチンは、所定時間（データをパケット化する単位時
間）ごとに繰り返し実行される。まずステップ４０１
で、ＭＩＤＩ楽器１０１、カメラ１０２、および音声デ
ータ取り込み機器１０３から出力されるＭＩＤＩパート
データ、画像データ、および音声データを受信する。次
にステップ４０２で、これらの受信データを所定のバッ
ファにバッファリングする。ステップ４０３で、バッフ
ァリングしたデータを取り出し、イベントごとに別処理
を行なう。取り出したデータが画像データであるとき
は、ステップ４０４で当該画像データをＭＩＤＩのイク
スクルーシブの形式にするとともに、ＩＤを付加して、
画像イクスクルーシブとし、ステップ４０６に渡す。取
り出したデータが音声データであるときは、ステップ４
０５で当該音声データをＭＩＤＩのイクスクルーシブの
形式にするとともに、ＩＤを付加して、音声イクスクル
ーシブとし、ステップ４０６に渡す。取り出したデータ
がＭＩＤＩパートデータであるときは、そのままステッ
プ４０６に渡す。
【００２２】ステップ４０６では、図２で説明した構造
のパケットデータ２００を生成する。すなわち、上記の
ように渡された画像イクスクルーシブ、ＭＩＤＩパート
データ、および音声イクスクルーシブをまとめてＭＩＤ
Ｉデータ２０６とするとともに、データＩＤ２０２、シ
ーケンスナンバ２０３、再生時間２０４、およびイベン
トデータ長２０５を付加し、さらにチェックサムを求め
てチェックサム２０１として付加する。シーケンスナン
バ２０３には、演奏が開始されてからこのパケットが幾
つ目のパケットかを示す値を設定する。再生時間２０４
には、このパケットのＭＩＤＩデータ２０６が再生を開
始する時刻を、演奏が開始されてからの相対時間で表し
た値を設定する。シーケンスナンバ２０３や再生時間２
０４は、エンコーダ１０４内で管理している。ステップ
４０６で生成したパケットデータ２００は、ステップ４
０７で、ルータ１０５を介して、メインフレーム１１０
に送信される。
【００２３】なお、ステップ４０３〜４０６の処理は、
１パスの処理ではない。すなわち、ステップ４０２でバ
ッファリングしたデータは、画像データ、ＭＩＤＩパー
トデータ、および音声データの何れをも含むものである
ので、画像データはステップ４０３→４０４→４０６の
ように、ＭＩＤＩパートデータはステップ４０３→４０
６のように、音声データはステップ４０３→４０５→４
０６のように、それぞれ処理され、そのバッファ内の全
データが１つのパケットデータにパケット化されるもの
である。
【００２４】図５は、図１の各ホームコンピュータ（受
信端末）１３１〜１３４における受信データ処理ルーチ
ンを示す。この処理ルーチンは、パケットデータを受信
するごとに実行される。まずステップ５０１で、当該受
信端末が接続しているＷＷＷサーバ１２１〜１２３か
ら、図２のパケットデータ２００を受信する。次にステ
ップ５０２で、受信したパケットデータ２００のチェッ
クサム２０１を確認し、エラーが発生していないかどう
か判別する。チェックサムエラーのときは、ステップ５
０４で何もせずに処理を終了する。なお、データの再送
を要求するなど、発生しているエラーに応じた処理を行
なうようにしてもよい。
【００２５】エラーがなければ、ステップ５０５で、受
信したパケットデータ２００のシーケンスナンバ２０３
を確認する。また、受信したパケットデータが演奏の先
頭のパケットであったときは、再生用タイマを０に初期
化する。再生用タイマは、受信端末内での経過時間をカ
ウントするタイマである。次に、ステップ５０６で、受
信パケットデータの再生時間２０４に所定のオフセット
分を足す。このオフセット分とは、再生時間を遅らせる
ためのオフセットである。すなわち、受信パケットデー
タの再生時間２０４にオフセットを足し込んで、再生を
開始する時間をこのオフセット分だけ遅らせる。インタ
ーネットなどのオープンなネットワークでは、各種の状
況によりデータ転送速度が変化するし、パケットデータ
が送出された順に受信できるとは限らない。そこで、所
定のオフセット分だけ再生時間を遅らせて、その間に受
信したパケットをバッファリングしてある程度ためてか
ら再生開始するようにしたものである。この遅れ時間の
間に、画像データや音声データのパケット間のつなぎの
処理を行なって、画像や音声をパケット切れ目のノイズ
を発生させることなく再生出力できる。
【００２６】次に、ステップ５０７で、受信パケットデ
ータが再生すべきシーケンスナンバのデータであり、か
つ、その再生時間２０４（ステップ５０６でオフセット
分が足されている）が再生用タイマの現在値以下か否か
判別する。この判定結果がＮＯのときは、未だそのパケ
ットデータを再生するタイミングではないので、ステッ
プ５０８で、当該受信パケットデータを所定のバッファ
にバッファリングして処理を終了する。
【００２７】ステップ５０７の判定結果がＹＥＳである
ときは、当該受信パケットデータを再生すべきであると
いうことだから、ステップ５０９で、当該受信パケット
データのＭＩＤＩデータ２０６内の各イベントごとにス
テップ５１０〜５１２の処理を行なう。これらの処理
は、図３で説明した、各データを音源モジュール３０
４、画像制御モジュール３０６、および音声制御モジュ
ール３０８に振り分けて渡し、各モジュールで各データ
を出力する処理である。これにより、当該パケットデー
タのＭＩＤＩデータ２０６に含まれているＭＩＤＩパー
トデータ、画像データ、および音声データがそれぞれ再
生・出力される。
【００２８】ステップ５０９の後、ステップ５１３で、
この受信端末内部で管理しているシーケンスナンバの値
をカウントアップする。次にステップ５１４で、再生す
べきシーケンスナンバのパケットデータがバッファ内に
存在しているか否かを判別する。存在していたときは、
ステップ５１５に進んで、そのパケットデータが再生す
べきシーケンスナンバのデータであり、かつ、その再生
時間２０４（ステップ５０６でオフセット分が足された
後、バッファリングされている）が再生用タイマの現在
値以下か否か判別する。この判定結果がＮＯのときは、
未だそのパケットデータを再生するタイミングではない
ので、そのままリターンする。ステップ７１５の判定結
果がＹＥＳのときは、当該パケットデータを再生すべき
であるということだから、ステップ５０９に進む。ステ
ップ５１４で再生すべきシーケンスナンバのパケットデ
ータがバッファ内に存在していないときは、そのままリ
ターンする。
【００２９】さらに、バッファリングされたパケットデ
ータを再生・出力するために、所定の時間間隔（パケッ
トを受信する間隔より充分短い間隔）で、ステップ５１
６のバッファサーチを行ない、バッファリングされてい
るパケットデータがあるときは、当該パケットデータを
再生すべきか否か判別するステップ５１５に進むように
する。
【００３０】なお、上述の実施の形態では、画像および
音声をＭＩＤＩ化する例を示したが、画像や音声のほ
か、歌詞を表示するためのデータ、演奏者のプロフィー
ルを表示するためのデータ、著作権表示のためのデー
タ、スポンサーのコマーシャルを表示するためのデータ
などをＭＩＤＩ化して配信するようにしても良い。ま
た、配信されるデータは、ＭＩＤＩ化されているので、
ＭＩＤＩファイラーなどに記録しておき、後で再生する
ようにできる。
【００３１】図１では、ルータ１０５およびメインフレ
ーム１１０を介して、インターネットに配信する例を示
したが、ルータ１０５やメインフレーム１１０無しに直
接、インターネットなどのネットワークにデータを流し
ても良い。また、インターネットに限らず、他の任意の
ネットワークに適用することもできる。
【００３２】
【発明の効果】以上説明したように、この発明によれ
ば、ネットワークを介して演奏データ、画像データ、音
声データなどを配信し、受信側でそれらのデータから演
奏会場の環境を再現するようなシステムにおいて、ＭＩ
ＤＩ楽器の演奏操作と並行して発生される画像データ、
音声データ、およびそれらに付随する各種のデータをＭ
ＩＤＩイベント化してＭＩＤＩ形式演奏データと合わせ
て配信し、受信側ではＭＩＤＩベースで再生しているの
で、インターネットなどでネットワークコンサートを催
すような場合、受信側に転送されるＭＩＤＩデータとＭ
ＩＤＩ以外の楽器やボーカルの音声データとの音声上の
同期がとれ、またＭＩＤＩデータと演奏風景などの画像
データとの同期がとれる。また、ネットワークコンサー
トの状況を、すべてＭＩＤＩ形式のデータで転送するの
で、受信したデータをＭＩＤＩファイラーに記録でき、
後で完全に再現することが可能である。さらに、ＭＩＤ
Ｉ楽器からのＭＩＤＩ演奏データは、音声データでなく
ＭＩＤＩデータで記録されるため、データ量も少なくて
済む。
【図面の簡単な説明】
【図１】この発明に係るデータ送受信システムの接続例
を示す図
【図２】パケットデータの構造を示す図
【図３】受信端末内でのデータの流れを示すフローチャ
ート図
【図４】送信端末における入力データ処理ルーチンのフ
ローチャート図
【図５】受信端末における受信データ処理ルーチンのフ
ローチャート図
【符号の説明】
１００…演奏会場、１０１…ＭＩＤＩ楽器、１０２…カ
メラ、１０３…音声データ取り込み機器、１０４…エン
コーダ、１０５…ルータ、１１０…メインフレーム、１
２１〜１２３…ＷＷＷサーバ、１３１〜１３４…ホーム
コンピュータ、１４１，１４２，１４４，１４５…音声
出力装置、１４３…ＭＩＤＩ音源。

Claims (4)

    【特許請求の範囲】
  1. 【請求項１】演奏者によるＭＩＤＩ楽器の演奏操作によ
    り出力されるＭＩＤＩ形式演奏データを、該演奏操作と
    並行して発生される画像データ、音声データ、およびそ
    れらに付随する各種のデータとともに、送信端末からネ
    ットワークに配信し、該ネットワークからそれらのデー
    タを受信端末で受信してそれぞれ再生するシステムにお
    けるデータ送受信方法であって、 前記送信端末で、前記画像データ、音声データ、および
    それらに付随する各種のデータをＭＩＤＩイベント化
    し、前記ＭＩＤＩ形式演奏データと合わせてＭＩＤＩデ
    ータとし、そのＭＩＤＩデータを前記ネットワークに配
    信するステップと、 前記受信端末で、前記ネットワークから前記ＭＩＤＩデ
    ータを受信するステップと、 受信した前記ＭＩＤＩデータから、前記ＭＩＤＩ形式演
    奏データおよび前記ＭＩＤＩイベント化された各データ
    を順次取り出して再生するステップとを備えたことを特
    徴とするデータ送受信方法。
  2. 【請求項２】演奏者によるＭＩＤＩ楽器の演奏操作によ
    り出力されるＭＩＤＩ形式演奏データを、該演奏操作と
    並行して発生される画像データ、音声データ、およびそ
    れらに付随する各種のデータとともに、送信端末からネ
    ットワークに配信し、該ネットワークからそれらのデー
    タを受信端末で受信してそれぞれ再生するシステムにお
    けるデータ送受信方法であって、 前記送信端末で、所定時間間隔ごとに、前記画像デー
    タ、音声データ、およびそれらに付随する各種のデータ
    をＭＩＤＩイベント化し、前記ＭＩＤＩ形式演奏データ
    と合わせてＭＩＤＩデータとするとともに、該ＭＩＤＩ
    データを含むパケットデータを生成するステップと、 前記所定時間間隔ごとに作成したパケットデータを前記
    ネットワークに配信するステップと、 前記受信端末で、前記ネットワークから前記パケットデ
    ータを受信するステップと、 受信したパケットデータ中のＭＩＤＩイベントデータか
    ら、前記ＭＩＤＩ形式演奏データおよび前記ＭＩＤＩイ
    ベント化された各データを順次取り出して再生するステ
    ップとを備えたことを特徴とするデータ送受信方法。
  3. 【請求項３】演奏者によるＭＩＤＩ楽器の演奏操作によ
    り出力されるＭＩＤＩ形式演奏データを、該演奏操作と
    並行して発生される画像データ、音声データ、およびそ
    れらに付随する各種のデータとともに、送信端末からネ
    ットワークに配信し、該ネットワークからそれらのデー
    タを受信端末で受信してそれぞれ再生するデータ送受信
    システムにおいて、 前記送信端末は、前記画像データ、音声データ、および
    それらに付随する各種のデータをＭＩＤＩイベント化
    し、前記ＭＩＤＩ形式演奏データと合わせてＭＩＤＩデ
    ータとする手段と、そのＭＩＤＩデータを前記ネットワ
    ークに配信する手段とを備え、 前記受信端末は、前記ネットワークから前記ＭＩＤＩデ
    ータを受信する手段と、受信した前記ＭＩＤＩデータか
    ら、前記ＭＩＤＩ形式演奏データおよび前記ＭＩＤＩイ
    ベント化された各データを順次取り出して再生する手段
    とを備えたことを特徴とするデータ送受信システム。
  4. 【請求項４】演奏者によるＭＩＤＩ楽器の演奏操作によ
    り出力されるＭＩＤＩ形式演奏データを、該演奏操作と
    並行して発生される画像データ、音声データ、およびそ
    れらに付随する各種のデータとともに、送信端末からネ
    ットワークに配信し、該ネットワークからそれらのデー
    タを受信端末で受信してそれぞれ再生するデータ送受信
    システムにおいて、 前記送信端末は、所定時間間隔ごとに、前記画像デー
    タ、音声データ、およびそれらに付随する各種のデータ
    をＭＩＤＩイベント化し、前記ＭＩＤＩ形式演奏データ
    と合わせてＭＩＤＩデータとするとともに、該ＭＩＤＩ
    データを含むパケットデータを生成する手段と、前記所
    定時間間隔ごとに作成したパケットデータを前記ネット
    ワークに配信する手段とを備え、 前記受信端末は、前記ネットワークから前記パケットデ
    ータを受信する手段と、受信したパケットデータ中のＭ
    ＩＤＩイベントデータから、前記ＭＩＤＩ形式演奏デー
    タおよび前記ＭＩＤＩイベント化された各データを順次
    取り出して再生する手段とを備えたことを特徴とするデ
    ータ送受信システム。
JP14867097A 1997-05-22 1997-05-22 データ送受信方法およびシステム Expired - Fee Related JP3242028B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP14867097A JP3242028B2 (ja) 1997-05-22 1997-05-22 データ送受信方法およびシステム
US09/079,672 US6088733A (en) 1997-05-22 1998-05-15 Communications of MIDI and other data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14867097A JP3242028B2 (ja) 1997-05-22 1997-05-22 データ送受信方法およびシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2001195579A Division JP3705581B2 (ja) 2001-06-27 2001-06-27 データ送信方法および送信システム

Publications (2)

Publication Number Publication Date
JPH10319950A true JPH10319950A (ja) 1998-12-04
JP3242028B2 JP3242028B2 (ja) 2001-12-25

Family

ID=15458002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14867097A Expired - Fee Related JP3242028B2 (ja) 1997-05-22 1997-05-22 データ送受信方法およびシステム

Country Status (2)

Country Link
US (1) US6088733A (ja)
JP (1) JP3242028B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100404761B1 (ko) * 1999-09-22 2003-11-10 김유성 정보통신망을 이용한 원격합주 교육방법
US6700048B1 (en) 1999-11-19 2004-03-02 Yamaha Corporation Apparatus providing information with music sound effect
JP2004147283A (ja) * 2002-08-27 2004-05-20 Yamaha Corp 音像定位装置、音像定位方法、サウンドデータ配信システム、サウンドデータ配信方法およびプログラム
JP2005017992A (ja) * 2003-06-30 2005-01-20 Yamaha Corp 演奏データ送信装置及び演奏システム並びに演奏方法
US6859692B2 (en) 2002-07-11 2005-02-22 Yamaha Marine Kabushiki Kaisha Information transmitting device and information transmitting method for watercraft
US7254419B2 (en) 2002-05-27 2007-08-07 Yamaha Corporation Tone generation system, communication terminal and tone generator module
US7408950B2 (en) 2002-07-11 2008-08-05 Yamaha Marine Kabushiki Kaisha Multiple node network and communication method within the network
JP2009025386A (ja) * 2007-07-17 2009-02-05 Yamaha Corp 楽曲を制作するための装置およびプログラム
CN112447155A (zh) * 2019-09-05 2021-03-05 中移(苏州)软件技术有限公司 一种电子乐谱翻页方法、装置及存储介质

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6782299B1 (en) * 1998-02-09 2004-08-24 Sony Corporation Method and apparatus for digital signal processing, method and apparatus for generating control data, and medium for recording program
US6462264B1 (en) * 1999-07-26 2002-10-08 Carl Elam Method and apparatus for audio broadcast of enhanced musical instrument digital interface (MIDI) data formats for control of a sound generator to create music, lyrics, and speech
US8977621B1 (en) 2000-02-24 2015-03-10 Richard Paiz Search engine optimizer
US9355352B1 (en) 2000-02-24 2016-05-31 Richard Paiz Personal search results
US20010037304A1 (en) * 2000-03-28 2001-11-01 Paiz Richard S. Method of and apparatus for delivery of proprietary audio and visual works to purchaser electronic devices
JP3987296B2 (ja) * 2001-03-21 2007-10-03 株式会社ソニー・コンピュータエンタテインメント 情報処理方法、情報処理プログラムを情報処理装置に実行させる媒体、プログラム実行装置、情報処理プログラム
US7221852B2 (en) * 2001-05-10 2007-05-22 Yamaha Corporation Motion picture playback apparatus and motion picture playback method
US20030158816A1 (en) * 2002-01-09 2003-08-21 Emediapartners, Inc. Internet-based content billing and protection system
US7046771B2 (en) * 2002-05-31 2006-05-16 Oracle International Corp. Method and apparatus for internet protocol voice based telephony communication
US20050010531A1 (en) * 2003-07-09 2005-01-13 Kushalnagar Nandakishore R. System and method for distributing digital rights management digital content in a controlled network ensuring digital rights
US7794370B2 (en) * 2004-06-29 2010-09-14 Joseph A Tackett Exercise unit and system utilizing MIDI signals
US11468128B1 (en) 2006-10-20 2022-10-11 Richard Paiz Search engine optimizer
US10959090B1 (en) 2004-08-25 2021-03-23 Richard Paiz Personal search results
US20070014298A1 (en) * 2005-07-15 2007-01-18 Bloomstein Richard W Providing quick response to events in interactive audio
US20070163428A1 (en) * 2006-01-13 2007-07-19 Salter Hal C System and method for network communication of music data
US10915523B1 (en) 2010-05-12 2021-02-09 Richard Paiz Codex search patterns
US11048765B1 (en) 2008-06-25 2021-06-29 Richard Paiz Search engine optimizer
US10922363B1 (en) 2010-04-21 2021-02-16 Richard Paiz Codex search patterns
US11423018B1 (en) 2010-04-21 2022-08-23 Richard Paiz Multivariate analysis replica intelligent ambience evolving system
US11379473B1 (en) 2010-04-21 2022-07-05 Richard Paiz Site rank codex search patterns
US10936687B1 (en) 2010-04-21 2021-03-02 Richard Paiz Codex search patterns virtual maestro
US11809506B1 (en) 2013-02-26 2023-11-07 Richard Paiz Multivariant analyzing replicating intelligent ambience evolving system
US11741090B1 (en) 2013-02-26 2023-08-29 Richard Paiz Site rank codex search patterns

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2538921B2 (ja) 1987-06-02 1996-10-02 日本放送協会 音楽演奏情報伝送方法および送信装置と受信装置
JPH02208697A (ja) * 1989-02-08 1990-08-20 Victor Co Of Japan Ltd Ｍｉｄｉ信号誤動作防止方式及びｍｉｄｉ信号記録再生装置
JP2969783B2 (ja) * 1990-05-11 1999-11-02 ヤマハ株式会社 演奏情報送受信装置
JPH0440133A (ja) * 1990-06-06 1992-02-10 Yamaha Corp リング型ｌａｎ
JPH0472973A (ja) * 1990-07-13 1992-03-06 Yamaha Corp データ多重記録装置およびデータ再生装置
JP3235629B2 (ja) * 1993-04-06 2001-12-04 ヤマハ株式会社 楽音発生装置のデ−タ転送方式
SG76495A1 (en) * 1996-01-26 2000-11-21 Yamaha Corp Electronic musical system controlling chain of sound sources
US5734119A (en) * 1996-12-19 1998-03-31 Invision Interactive, Inc. Method for streaming transmission of compressed music

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100404761B1 (ko) * 1999-09-22 2003-11-10 김유성 정보통신망을 이용한 원격합주 교육방법
US6700048B1 (en) 1999-11-19 2004-03-02 Yamaha Corporation Apparatus providing information with music sound effect
US7326846B2 (en) 1999-11-19 2008-02-05 Yamaha Corporation Apparatus providing information with music sound effect
US7254419B2 (en) 2002-05-27 2007-08-07 Yamaha Corporation Tone generation system, communication terminal and tone generator module
US6859692B2 (en) 2002-07-11 2005-02-22 Yamaha Marine Kabushiki Kaisha Information transmitting device and information transmitting method for watercraft
US7408950B2 (en) 2002-07-11 2008-08-05 Yamaha Marine Kabushiki Kaisha Multiple node network and communication method within the network
JP2004147283A (ja) * 2002-08-27 2004-05-20 Yamaha Corp 音像定位装置、音像定位方法、サウンドデータ配信システム、サウンドデータ配信方法およびプログラム
JP2005017992A (ja) * 2003-06-30 2005-01-20 Yamaha Corp 演奏データ送信装置及び演奏システム並びに演奏方法
US7642446B2 (en) 2003-06-30 2010-01-05 Yamaha Corporation Music system for transmitting enciphered music data, music data source and music producer incorporated therein
JP2009025386A (ja) * 2007-07-17 2009-02-05 Yamaha Corp 楽曲を制作するための装置およびプログラム
CN112447155A (zh) * 2019-09-05 2021-03-05 中移(苏州)软件技术有限公司 一种电子乐谱翻页方法、装置及存储介质
CN112447155B (zh) * 2019-09-05 2023-08-15 中移(苏州)软件技术有限公司 一种电子乐谱翻页方法、装置及存储介质

Also Published As

Publication number Publication date
JP3242028B2 (ja) 2001-12-25
US6088733A (en) 2000-07-11

Similar Documents

Publication Publication Date Title
JP3242028B2 (ja) データ送受信方法およびシステム
JP4001091B2 (ja) 演奏システム及び楽音映像再生装置
US20060224261A1 (en) Method and apparatus for producing and distributing live performance
US8918541B2 (en) Synchronization of audio and video signals from remote sources over the internet
US8301790B2 (en) Synchronization of audio and video signals from remote sources over the internet
JP5733321B2 (ja) 自動演奏装置
JP5729393B2 (ja) 演奏システム
WO2007130410A2 (en) System and method for processing data signals
US6627807B2 (en) Communications apparatus for tone generator setting information
JP2006215460A (ja) カラオケ音声送受信システムおよびその方法
JP3705581B2 (ja) データ送信方法および送信システム
US6525253B1 (en) Transmission of musical tone information
US6757303B1 (en) Technique for communicating time information
JP5109496B2 (ja) データ配信装置、データ配信方法およびプログラム
JP4422656B2 (ja) ネットワークを用いた遠隔多地点合奏システム
US7631094B1 (en) Temporary storage of communications data
JP2003085068A (ja) ライブ情報提供サーバ、情報通信端末、ライブ情報提供システムおよびライブ情報提供方法
JP3271572B2 (ja) 楽音情報の通信方法、通信装置及びプログラムを記録した媒体
WO2022168375A1 (ja) 通信方法、通信システムおよび通信装置
JP3786039B2 (ja) 通信装置及び方法
JP2024001600A (ja) 再生装置、再生方法、および再生プログラム
JP2004093975A (ja) 通信端末及びプログラム
JP3700693B2 (ja) 楽音情報転送装置
JP2004294519A (ja) 通信装置、通信方法及びプログラム
JP2004301998A (ja) データ通信装置、方法及びプログラム

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071019

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081019

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091019

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees