JP3870490B2

JP3870490B2 - 音楽演奏情報伝送方式

Info

Publication number: JP3870490B2
Application number: JP17488997A
Authority: JP
Inventors: 茂樹藤井
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1997-06-30
Filing date: 1997-06-30
Publication date: 2007-01-17
Anticipated expiration: 2017-06-30
Also published as: US5977468A; JPH1124661A

Description

【０００１】
【発明の属する技術分野】
この発明は、通信衛星やインターネット等を介してＭＩＤＩ（Musical Instrument Digital Interface）プロトコルに基づく音楽演奏情報を伝送する音楽演奏情報伝送方式に関する。
【０００２】
【従来の技術】
近年、インターネットや衛星通信（ＣＳ）ディジタル放送において、ＭＩＤＩメッセージからなる音楽演奏情報をリアルタイムに伝送するための各種の試みがなされている。インターネットやＣＳディジタル放送では、伝送エラーを考慮したプロトコルが要求されるが、ＭＩＤＩは、リアルタイム性を重視して設計されており、伝送エラーレートの高い環境では多くの問題を引き起こす。特に問題となるのは、ノートオフ情報の欠落による音の鳴りっぱなしという問題である。現状できる対策としては、データの欠落が検出された段階で全ての音を消音し、新たなノートオン情報の受信により発音を再開するということが考えられる。しかしこの場合、しばしば伝送エラーが発生する環境では音楽の完全中断が頻繁に発生することになり、サービスの低下を招く。
【０００３】
また、音楽演奏情報の伝送を行う放送サービスの場合、曲の途中から音楽演奏情報の再生が可能であることが望ましいが、ＭＩＤＩでは、音色設定情報や音源制御情報が曲の先頭で伝送されるため、それらの情報が送られた後から受信・再生を開始する場合には、意図した音と異なる音が再生されることがある。ＭＩＤＩの場合、音色情報以外にもボリュームやサスティンペダルのようなコントロールチェンジ情報等も過去の状態が音楽再現に影響を与えるため、途中再生については何らかの考慮が必要である。
【０００４】
更に、ＭＩＤＩの場合、その物理的な伝送レートは３１．２５kbpsであるが、音楽演奏情報そのものの実質的なデータレートはそれよりもかなり低い場合が多い。伝送帯域が制限されている環境では、データレートの低減も重要なポイントであり、インターネットのように伝送帯域がリアルタイムに変動する環境にも柔軟に耐え得ることが必要である。
【０００５】
【発明が解決しようとする課題】
このように、従来の音楽演奏情報伝送方式では、▲１▼伝送エラーレートの高い環境でも音楽演奏の再生に大きな影響を与えないこと、▲２▼曲の途中からの受信でも音楽演奏の再生に支障を来さないこと、▲３▼予め定められた伝送ビットレートやその変動に対しても、それをクリア可能なレートで伝送が行われること−を全て満足することができないという問題があった。
【０００６】
この発明は、このような点に鑑みなされたもので、伝送エラーレートの高い環境や曲の途中からの受信でも音楽演奏の再生に支障を来すことが無く、しかも伝送ビットレートやサービスの内容に応じた適切な伝送制御が可能な音楽演奏情報伝送方式を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明の音楽演奏情報伝送方式は、ＭＩＤＩプロトコルに基づく音楽演奏情報パケットと、この音楽演奏情報パケットの再生開始時のＭＩＤＩの各チャネルの音楽演奏状態を示す状態情報パケットとを一対のパケットとして生成し、前記音楽演奏情報パケットと前記状態情報パケットとを多重化して送信する送信部と、
この送信部から送信されたパケットを受信すると共に、前記音楽演奏情報パケットによって内部状態を更新しながら、受信された前記状態情報パケットの内容と前記内部状態とを比較して、両者が異なる場合に前記内部状態を前記状態情報パケットの内容に書き換え、且つ前記内部状態に基づいて前記音楽演奏情報を再生する受信部とを有し、前記音楽演奏情報パケットは、ノートオン／ノートオフ状態を示す情報を含み、前記受信部は、前記内部状態がノートオフである場合は状態情報のノート状態がノートオンであっても前記内部状態をノートオフの状態に維持することを特徴とする。
【０００９】
更に、この発明の音楽演奏情報受信装置は、ＭＩＤＩプロトコルに基づく音楽演奏情報パケットと、そのパケットの再生開始時のＭＩＤＩの各チャネルの音楽演奏状態を示す状態情報パケットとを多重化して送信されたパケットを受信して前記音楽演奏情報パケットと前記状態情報パケットとを分離するパケット受信分離手段と、このパケット受信分離手段で分離された音楽演奏情報パケットによって内部状態を更新しながら、前記パケット受信分離手段で分離された状態情報パケットの内容と前記内部状態とを比較して、両者が異なる場合に前記内部状態を前記状態情報パケットの内容に書き換え、且つ前記内部状態に基づいて前記音楽演奏情報を再生する再生手段とを備え、前記音楽演奏情報パケットは、ノートオン／ノートオフ状態を示す情報を含み、前記再生手段は、前記内部状態がノートオフである場合は状態情報のノート状態がノートオンであっても前記内部状態をノートオフの状態に維持することを特徴とする。
【００１０】
この発明によれば、送信側では音楽演奏情報パケットに状態情報パケットを適宜付加して送信し、受信側では音楽演奏情報パケットによって内部状態を更新しつつ、受信された状態情報パケットの内容によって上記内部状態を修正するようにしている。このため、曲の途中から音楽演奏情報を受信した場合には、当初の受信側の内部状態が受信された状態情報パケットの内容に書き替えられることにより、直ちに音楽演奏情報の正しい再生が可能になる。また、受信パケットの欠落があった場合には、受信側の内部状態が本来の状態とは異なる状態となることがあるが、状態情報パケットを受信した時点で内部状態は正しい状態に修正され、その間は前の状態を維持しているので、音楽の完全中断の状態が発生することが無く、伝送エラーレートの高い環境においても聴感上大きな影響を及ぼさない。
【００１１】
更に、この発明によれば、状態情報パケットは、音楽演奏情報パケットに適宜付加されて伝送されるので、伝送帯域やサービスの内容に応じた頻度で状態情報パケットを伝送することにより、伝送ビットレートやサービスの内容に応じた適切な伝送制御が可能になる。
【００１２】
なお、音楽演奏情報パケットが、ノートオン情報及びノートオフ情報のペアから生成されたノートオン情報及びその音長情報からなるＭＩＤＩイベントを含むものであると、ノートオフ情報が単独で欠落することがなくなるので、音の鳴りっぱなしという問題を解決することができる。
【００１３】
【発明の実施の形態】
以下、図面を参照して、この発明の好ましい実施の形態について説明する。
図１は、この発明の一実施例に係る音楽演奏情報伝送システムのブロック図である。
送信部１に供給されるＭＩＤＩデータからなる音楽演奏情報は、音楽演奏情報エンコーダ１１に入力され、ここで時間的に隣接するイベント間の時間差情報とイベント情報とに変換される。これらの情報は、次段の音楽演奏情報パケットエンコーダ１２に入力され、一定間隔毎にパケット化される。この音楽演奏情報パケットの構成例を図２（ａ）に示す。即ち、音楽演奏情報パケットは、同期バイト、パケットＩＤ等からなるパケットヘッダ、パケットの長さを示すパケットデータ長、基準クロック発生部１３からの基準クロックを参照して記録される各パケット毎のパケット再生開始時刻、この再生開始時刻を基準とした隣接イベント間の時間差情報ΔＴ及び各ＭＩＤＩイベントの組、並びにエラー訂正コード（ＣＲＣ）から構成される。この音楽演奏情報パケットは、伝送パケット多重化部１４に送られ、後述する他情報と多重化されて受信部２に伝送される。
【００１４】
一方、音楽演奏情報は、状態情報エンコーダ１５にも与えられる。状態情報エンコーダ１５は、音楽演奏情報から現在のＭＩＤＩの各チャネルの音色情報、ノートオン／オフ状態、ボリューム状態等の状態情報を生成し、これを逐次更新する。生成された状態情報は、状態情報パケットエンコーダ１６に与えられる。状態情報パケットエンコーダ１６は、音楽演奏情報パケットエンコーダ１２で生成された各パケットの再生開始時刻における状態情報をパケット化する。この状態情報パケットの構成例を図２（ｂ）に示す。即ち、状態情報パケットは、同期バイト、パケットＩＤ等からなるパケットヘッダ、パケットの長さを示すパケットデータ長、パケット再生開始時刻、各チャネルの音色番号、ノートオン／オフ状態、その他の状態情報及びエラー訂正コード（ＣＲＣ）等から構成される。
【００１５】
この状態情報パケットは、各音楽演奏情報パケット毎に生成されるが、生成された状態情報パケットを実際に送出するか否かは、状態情報パケット送出制御部１７において平均データレートやデフォルト送出タイミング等を勘案して判断される。パケット送出制御部１７での制御は、基本的には受信側のデータがアンダーフロー、オーバーフローしないように送信部１でシミュレートしながら送出することが肝要である。その他、要求されるサービス形態、品質、伝送レート等に応じて状態情報パケットの送出を制御することも考えられる。例えば、途中再生を素早く実行させることが要求されるシステムにおいては、その送出頻度を通常よりも上げる必要がある。また、伝送レートの上限が設定されているシステムでは、そのレート以上に状態情報パケット等の付加情報を挿入することはできない。同様に、平均伝送レートが一定になるように求められるシステムでも、実際のレートを監視しつつ送出制御する必要がある。
【００１６】
そのほか、送信部１では、映像信号、オーディオ信号に基づく映像音声情報を映像音声情報エンコーダ１８で圧縮符号化し、映像音声情報パケットエンコーダ１９でこれをパケット化して伝送パケット多重化部１４に供給する。伝送パケット多重化部１４では、これらの音楽演奏情報パケット、状態情報パケット、映像音声情報パケットを多重化して送信する。
【００１７】
一方、受信部２では、送信部１から伝送された多重化パケット情報を伝送パケット分離部２１で、音楽演奏情報パケット、状態情報パケット、映像音声情報パケットの３つのパケットに分離する。音楽演奏情報パケットは、音楽演奏情報パケットデコーダ２２に与えられる。パケットデコーダ２２は、パケット再生開始時刻及び隣接イベント間の時間差情報ΔＴに基づいて、各ＭＩＤＩイベントからなるシーケンス情報を生成する。その際、基準クロック発生部２３からは、ＭＩＤＩシーケンス情報の時間基準を与える基準クロックが与えられる。このＭＩＤＩシーケンス情報は、音楽演奏情報デコーダ２４に与えられ、オーディオ信号に再生される。
【００１８】
伝送パケット分離部２１で分離された状態情報パケットは、状態情報パケットデコーダ２５に供給される。状態情報パケットデコーダ２５は、状態情報パケットからパケット再生開始時刻のデータに基づいて各チャネルの状態情報を時系列に並べ、状態情報デコーダ２６に供給する。状態情報デコーダ２６は、入力された各チャネルの状態情報の時系列から各パケット再生開始時点の状態情報を音楽演奏情報と時間的な同期をとって音楽演奏情報デコーダ２４に供給する。音楽演奏情報デコーダ２４では、音楽演奏情報によって逐次更新される内部状態と状態情報デコーダ２６から各パケット単位で与えられる状態情報とを比較して、その内容が異なる場合には、デコーダ２６から与えられた状態情報によって内部状態を書き替える。
【００１９】
更に、伝送パケット分離部２１で分離された映像音声情報パケットは、映像音声情報パケットデコーダ２７及び映像音声情報デコーダ２８で順次デコードされて映像音声再生信号として出力される。
【００２０】
このように構成されたシステムによれば、音楽演奏情報パケットと状態情報パケットとが一対のパケットデータとして伝送されるので、曲の途中から音楽演奏情報を受信した場合には、状態情報パケットを参照してその時点における各チャネルの音楽演奏情報が正しく再生される。
【００２１】
伝送エラーレートの高い伝送路で受信パケットに欠落が生じた場合には、次の３つの態様が考えられる。
【００２２】
【表１】

【００２３】
▲１▼の場合には、欠落した音楽演奏情報パケットの次のパケットに対応する状態情報パケットで音楽演奏情報デコーダ２４の内部状態を強制書き換えすることにより、第ｎ＋２パケットからの再生は支障無く続行される。
▲２▼の場合には、受信した音楽演奏情報パケットによって音楽演奏情報デコーダ２４の内部状態を更新すれば良いので、再生に影響は全く与えない。
▲３▼の場合には、次の音楽演奏情報パケット又は状態情報パケットを受信するまで、現在の状態を維持すれば良い。この場合、１又は数パケット分は、同一の内部状態が続くことになるが、この期間は通常は短いため、音が中断される場合に比べて聴覚上違和感が少ない。
【００２４】
いずれの場合においても、音楽演奏情報パケットの受信によって音楽演奏情報デコーダ２４の内部状態を更新しつつ、この内部状態と受信された状態情報の内容とを比較して、両者が異なる場合に、デコーダ２４の内部状態を状態情報の内容に置き換えるという操作をデコーダ２４の内部で行えばよい。
【００２５】
次に、伝送エラー発生時の内部状態の強制書き換え処理の流れ及び各処理内容について、より具体的に説明する。
＜処理１＞プログラムチェンジ情報のリカバリー
プログラムチェンジ情報は、各ＭＩＤＩチャネル毎に設定される音色情報である。通常、曲の先頭で使用する各チャネル毎に音色設定を行うが、曲の途中で音色を変更することも可能であり、この情報が欠落すると意図した音色とは異なった音色で演奏されることとなる。デコーダ内部状態と状態情報パケットの状態が異なる場合には、即時状態情報パケットに示された音色になるようプログラムチェンジイベントを発行して、互いの内部状態が一致するように処理する。強制更新された音色とは異なる音色で、既に発音されたノートがある場合には、これを消音しても良い。
【００２６】
＜処理２＞ノート状態のリカバリー
まず、状態情報パケットを受信した際、各ＭＩＤＩチャネル毎に０から１２７までのノート番号の内部状態と状態情報パケットに示された状態とを比較する。このとき以下の４つの組み合わせが存在する。
【００２７】
【表２】

【００２８】
▲１▼、▲４▼の場合は、互いの状態が一致するので、特に処理は必要としない。
▲２▼の場合は、現状態情報パケットを受信する以前の音楽演奏情報パケットで欠落があったものと判断される。このときの処理としては、次の２つが考えられる。
１）対応するノート番号のノートオンイベントを強制的に生成し、デコーダ内部状態と状態情報パケットの状態を一致させる方法。この方法の場合、発音タイミングの遅れとして知覚され、聴感上逆効果となるケースも考えられる。
２）状態情報パケットの情報を無視して、特に処理は行わない方法。この方法の場合、そのノートは発音中ではないので、強制発音しなくても聴感上はあまり違和感はないものと判断される。但し、そのノート音が音楽的に重要である場合には、不自然に感じられるかもしれない。処理的には前者に比べ簡便である。
▲３▼の場合、そのノート番号のノートオフイベントを含んだ音楽演奏情報パケットが欠落したものと判断される。この場合は、そのノート番号に対する発音を強制的に停止し、デコーダ内部状態と状態情報パレットの状態を一致させることが聴感上有効である。
【００２９】
＜処理３＞コントロールチェンジ情報のリカバリー
コントロールチェンジ情報は各ＭＩＤＩチャネル毎に設定されるボリュームやサスティンペダルに代表される演奏制御情報である。一般的にコントロールチェンジ情報の欠落は、前者２つの情報に比較すると聴感上与える影響は小さいと判断されるが、即時強制変更する方が良い。処理的には状態情報パケットに示された状態と一致するようコントロールチェンジイベントを生成することで対応する。
【００３０】
なお、図２に示した音楽演奏情報パケットは、ノートオン、ノートオフ等のイベントが発生した時点でＭＩＤＩメッセージを送出するようにしているため、ノートオンイベントの発生後、ノートオフイベントが受信側で欠落すると、次の状態情報パケットが受信されるまで音が鳴りっぱなしになる。これを防止するため、既に記録されているシーケンス情報をリアルタイムで送信するシステムの場合、予め、例えば図３に示すように、ノートオンメッセージとノートオフメッセージとのペアを見つけておき、これをノートオン情報（ノートナンバ）と音長という形式のデータに変換して同一パケット内で送信するようにすれば、少なくともノートオフ情報が単独で欠落することはないので、音が鳴りっぱなしになるという問題も回避される。
【００３１】
【発明の効果】
以上述べたように、この発明によれば、送信側では音楽演奏情報パケットに状態情報パケットを適宜付加して送信し、受信側では音楽演奏情報パケットによって内部状態を更新しつつ、受信された状態情報パケットの内容によって内部状態を修正するようにしているため、曲の途中から音楽演奏情報を受信した場合には、当初の受信側の内部状態が受信された状態情報パケットの内容に書き替えられることにより、直ちに音楽演奏情報の正しい再生が可能になり、受信パケットの欠落があった場合には、状態情報パケットを受信した時点で内部状態は正しい状態に修正され、その間は前の状態を維持しているので、音楽の完全中断の状態が発生することが無く、伝送エラーレートの高い環境においても聴感上大きな影響を及ぼさない。
【００３２】
更に、この発明によれば、状態情報パケットは、音楽演奏情報パケットに適宜付加されて伝送されるので、伝送帯域やサービスの内容に応じた頻度で状態情報パケットを伝送することにより、伝送ビットレートやサービスの内容に応じた適切な伝送制御が可能になる。
【図面の簡単な説明】
【図１】この発明の一実施例に係る音楽演奏情報伝送システムのブロック図である。
【図２】同システムにおける音楽演奏情報パケット及び状態情報パケットの例を示す図である。
【図３】同音楽演奏情報パケットにおけるＭＩＤＩイベントの構成例を示す図である。
【符号の説明】
１…送信部、２…受信部、１１…音楽演奏情報エンコーダ、１２…音楽演奏情報パケットエンコーダ、１３，２３…基準クロック発生部、１４…伝送パケット多重化部、１５…状態情報エンコーダ、１６…状態情報パケットエンコーダ、１７…状態情報パケット送出制御部、１８…映像音声情報エンコーダ、１９…映像音声情報パケットエンコーダ、２１…伝送パケット分離部、２２…音楽演奏情報パケットデコーダ、２４…音楽演奏情報デコーダ、２５…状態情報パケットデコーダ、２６…状態情報デコーダ、２７…映像音声情報パケットデコーダ、２８…映像音声情報デコーダ。

Claims

ＭＩＤＩプロトコルに基づく音楽演奏情報パケットと、この音楽演奏情報パケットの再生開始時のＭＩＤＩの各チャネルの音楽演奏状態を示す状態情報パケットとを一対のパケットとして生成し、前記音楽演奏情報パケットと前記状態情報パケットとを多重化して送信する送信部と、
この送信部から送信されたパケットを受信すると共に、前記音楽演奏情報パケットによって内部状態を更新しながら、受信された前記状態情報パケットの内容と前記内部状態とを比較して、両者が異なる場合に前記内部状態を前記状態情報パケットの内容に書き換え、且つ前記内部状態に基づいて前記音楽演奏情報を再生する受信部
とを有し、
前記音楽演奏情報パケットは、ノートオン／ノートオフ状態を示す情報を含み、
前記受信部は、前記内部状態がノートオフである場合は状態情報のノート状態がノートオンであっても前記内部状態をノートオフの状態に維持することを特徴とする音楽演奏情報伝送方式。
ＭＩＤＩプロトコルに基づく音楽演奏情報パケットと、そのパケットの再生開始時のＭＩＤＩの各チャネルの音楽演奏状態を示す状態情報パケットとを多重化して送信されたパケットを受信して前記音楽演奏情報パケットと前記状態情報パケットとを分離するパケット受信分離手段と、
このパケット受信分離手段で分離された音楽演奏情報パケットによって内部状態を更新しながら、前記パケット受信分離手段で分離された状態情報パケットの内容と前記内部状態とを比較して、両者が異なる場合に前記内部状態を前記状態情報パケットの内容に書き換え、且つ前記内部状態に基づいて前記音楽演奏情報を再生する再生手段
とを備え、
前記音楽演奏情報パケットは、ノートオン／ノートオフ状態を示す情報を含み、
前記再生手段は、前記内部状態がノートオフである場合は状態情報のノート状態がノートオンであっても前記内部状態をノートオフの状態に維持することを特徴とする音楽演奏情報受信装置。