JPH11284588A

JPH11284588A - 通信装置、通信方法及びプログラムを記録した媒体

Info

Publication number: JPH11284588A
Application number: JP10081324A
Authority: JP
Inventors: Takeshi Kikuchi; 菊池　　健
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1998-03-27
Filing date: 1998-03-27
Publication date: 1999-10-15
Also published as: US6928060B1

Abstract

(57)【要約】【課題】オーディオデータとその他のメディアデータ
を送信する際に、オーディオデータのデータ量をダイナ
ミックに制御することができる通信装置、通信方法又は
プログラムを記録した媒体を提供することを課題とす
る。【解決手段】デジタル化されたオーディオデータ及び
前記オーディオデータ以外の他のメディアデータを送信
する場合の、前記他のメディアデータを送信する際の送
信レートを見積もる見積手段（６４）と、前記見積手段
が見積もる送信レートに応じて送信すべき前記デジタル
オーディオデータのデータ量を変更する変更手段（６
２）と、前記他のメディアデータ及び前記変更手段によ
り変更されたオーディオデータを送信する送信手段（６
６）とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、オーディオデータ
の通信技術に関し、特に音質の良いオーディオデータを
通信するための通信技術に関する。

【０００２】

【従来の技術】電子楽器間の通信の統一規格として、Ｍ
ＩＤＩ（musical instrument digitalinterface）規格
がある。ＭＩＤＩ規格のインターフェースを備えた電子
楽器は、ＭＩＤＩ用ケーブルを用いて、他の電子楽器と
接続することができる。電子楽器は、ＭＩＤＩ用ケーブ
ルを介して、ＭＩＤＩデータを通信することができる。
例えば、一つの電子楽器は、演奏者が演奏した情報をＭ
ＩＤＩデータとして送信し、他の電子楽器は、当該ＭＩ
ＤＩデータを受信し、楽音を発音することができる。一
つの電子楽器で演奏すると、他の電子楽器でリアルタイ
ムに発音することができる。

【０００３】また、複数の汎用コンピュータを接続する
通信ネットワークでは、種々の情報を通信することがで
きる。例えば、コンピュータに接続されているハードデ
ィスク等にオーディオデータ（生の楽音情報）やＭＩＤ
Ｉデータ等の情報を一度蓄積しておき、通信ネットワー
クを介して、当該情報を送信する。他のコンピュータ
は、当該情報を受信して、ハードディスク等の記憶装置
に記憶する。汎用の通信ネットワークは、情報の通信を
行うのみであり、ＭＩＤＩとは性質を異にする。

【０００４】ＭＩＤＩ規格は、電子楽器間のリアルタイ
ム通信を可能にするが、長距離の通信及び多数ノード間
の通信に適していない。一方、汎用通信ネットワーク
は、長距離の通信及び多数ノード間の通信に適している
が、電子楽器間のリアルタイム通信を考慮したものでは
ない。

【０００５】

【発明が解決しようとする課題】汎用ネットワークにお
いて、マルチメディアの通信が普及しつつある。オーデ
ィオデータとその他のメディアデータ（例えばＭＩＤＩ
データ）を通信する場合を考える。

【０００６】図２は、オーディオデータＡＤとその他の
メディアデータＯＤについての通信レート（転送レー
ト）と時間の関係を示すグラフである。横軸が時間であ
り、縦軸が通信レートである。通信レートは、ビット／
秒（ＢＰＳ）で表す。

【０００７】オーディオデータＡＤは、所定のサンプリ
ング周波数によりサンプリングされたデジタル形式のデ
ータである。オーディオデータＡＤは、サンプリング周
波数が一定であり、音質が一定である。そのため、オー
ディオデータの通信レートは、原則として時間に対して
一定である。

【０００８】通信を行う際、オーディオデータを圧縮す
ることがある。その場合は、圧縮率が一定でないことが
あるため、通信レートは必ずしも一定とはならないが、
ほぼ一定といえる。ただし、この場合も、オーディオデ
ータＡＤの時間当たりのサンプル数は一定であり、音質
も一定である。

【０００９】他のメディアデータＯＤは、オーディオデ
ータＡＤ以外の一つ又は複数のメディアデータであり、
例えばＭＩＤＩデータや画像データである。ＭＩＤＩデ
ータは、発音指示を示すノートオンデータや消音指示を
示すノートオフデータ等を含むものである。例えば、電
子鍵盤楽器では、押鍵時にノートオンデータが生成さ
れ、離鍵時にノートオフデータが生成される。ＭＩＤＩ
データは、単位時間当たりのデータ量が一定ではない。

【００１０】オーディオデータＡＤは、通信レートがほ
ぼ一定であり、他のメディアデータＯＤは、通信レート
が可変である。他のメディアデータＯＤは、例えば、最
低の通信レートが０であり、最高の通信レートがＢ１で
ある。この通信レートＢ１は、例えばＭＩＤＩデータと
画像データの両方のデータの合計通信レートである。

【００１１】通信においては、通信できる単位時間当た
りのデータ量（通信帯域幅）に限界がある。オーディオ
データＡＤとその他のメディアデータＯＤの合計通信レ
ートは限界通信レートを超えてはならない。そのため、
以下の方法により、通信レートを決めることが考えられ
る。

【００１２】他のメディアデータＯＤは、通信レートが
変化し得るので、変化し得る最高通信レートＢ１を調べ
る。上記の限界通信レートをＢ０とすると、オーディオ
データＡＤの通信レートＢ２は、以下のようにして求め
られる。

【００１３】Ｂ２＝Ｂ０−Ｂ１つまり、他のメディアデータＯＤの最高通信レートＢ１
とオーディオデータＡＤの通信レートＢ２の合計が、限
界通信レートＢ０を超えないように設定する必要があ
る。

【００１４】オーディオデータＡＤは、他のメディアデ
ータＯＤの通信レートが高くても低くても、常にほぼ一
定である。したがって、オーディオデータＡＤと他のメ
ディアデータＯＤとの合計通信レートは、時間に対して
変化し、通信回線の占有率は高いときもあるし低いとき
もあり、必ずしも通信効率が高いとは言えない。

【００１５】本発明の目的は、効率的にオーディオデー
タを通信することができる通信装置、通信方法又はプロ
グラムを記録した媒体を提供することである。

【００１６】

【課題を解決するための手段】本発明の一観点によれ
ば、デジタル化されたオーディオデータ及び前記オーデ
ィオデータ以外の他のメディアデータを送信する場合
の、前記他のメディアデータを送信する際の送信レート
を見積もる見積手段と、前記見積手段が見積もる送信レ
ートに応じて送信すべき前記デジタルオーディオデータ
のデータ量を変更する変更手段と、前記他のメディアデ
ータ及び前記変更手段により変更されたオーディオデー
タを送信する送信手段とを有する通信装置が提供され
る。

【００１７】オーディオデータ以外の他のメディアデー
タは、送信レートが時間に対して変化することがある。
他のメディアデータの送信レートが高いときにはオーデ
ィオデータのデータ量を比較的少なくし、他のメディア
データの送信レートが低いときにはオーディオデータの
データ量を比較的多くすることにより、オーディオデー
タの平均的音質を高めることができる。

【００１８】

【発明の実施の形態】図１は、本発明の実施例によるオ
ーディオデータＡＤとその他のメディアデータＯＤにつ
いての通信レート（転送レート）と時間の関係を示すグ
ラフである。横軸が時間であり、縦軸が通信レートであ
る。通信レートは、ビット／秒（ＢＰＳ）で表す。

【００１９】マルチメディア通信により、オーディオデ
ータＡＤとその他のメディアデータＯＤを並列的に通信
することができる。

【００２０】他のメディアデータＯＤは、オーディオデ
ータＡＤ以外の一つ又は複数のメディアデータであり、
例えばＭＩＤＩデータや画像データである。ＭＩＤＩデ
ータは、発音指示を示すノートオンデータや消音指示を
示すノートオフデータ等を含むものであり、単位時間当
たりのデータ量は一定ではない。

【００２１】もし、オーディオデータＡＤの通信レート
を時間に対して一定とすれば、オーディオデータＡＤと
他のメディアデータＯＤとの合計通信レートは、時間に
対して変化し、必ずしも通信効率（通信回線の占有率）
が高いとは言えない。

【００２２】そこで、オーディオデータＡＤの通信レー
トは、他のメディアデータＯＤの通信レートが低い期間
ｔ１，ｔ２，ｔ３，ｔ４には高い通信レートＢ３とし、
他のメディアデータＯＤの通信レートが高い期間には標
準の通信レートＢ２とする。

【００２３】オーディオデータＡＤの通信レートが高い
ときには他のメディアデータＯＤの通信レートが低く、
オーディオデータＡＤの通信レートが低いときには他の
メディアデータＯＤの通信レートが高くなる。これによ
り、常に通信効率を高くすることができ、しかもオーデ
ィオデータＡＤと他のメディアデータＯＤの合計通信レ
ートが限界通信レートを超えることはない。

【００２４】オーディオデータＡＤの通信レートは、他
のメディアデータＯＤの通信レートに応じてダイナミッ
クに制御される。この制御により、他のメディアデータ
ＯＤの通信レートが低いときには、オーディオデータＡ
Ｄの通信レートを高くして、オーディオデータＡＤの音
質を上げることができる。

【００２５】なお、オーディオデータの通信レートは、
Ｂ２とＢ３の２段階に限定されず、３段階以上の通信レ
ートを設定することもできる。

【００２６】図３は、マルチメディアの通信ネットワー
クを示す図である。演奏会場１には、音声入力装置１
２、ＭＩＤＩ楽器２、カメラ４、エンコーダ３、及びル
ータ６が備えられる。音声入力装置１２は、例えばマイ
クロフォンである。演奏会場１では、演奏者がＭＩＤＩ
楽器２を演奏し、歌手がその演奏にあわせて音声入力装
置１２に向かって歌う。さらに、他の音声入力装置１２
を生ドラムや生ピアノや生ギターのそばに置いて、それ
らの音を音声入力装置１２に入力する。

【００２７】音声入力装置１２は、歌手の歌声又はドラ
ムの音等を電気信号に変換してアナログ形式のオーディ
オ信号（音声信号）を生成し、リアルタイムでエンコー
ダ３に供給する。エンコーダ３は、アナログ形式のオー
ディオ信号をデジタル形式のオーディオデータ（音声デ
ータ）に変換する。このオーディオデータが図１のオー
ディオデータＡＤに相当する。

【００２８】ＭＩＤＩ楽器２は、演奏者の演奏操作に応
じてＭＩＤＩデータを生成し、エンコーダ３に供給す
る。カメラ４は、演奏者が演奏している様子を撮影し、
その様子を画像データとしてエンコーダ３に供給する。
このＭＩＤＩデータ及び画像データが図１の他のメディ
アデータＯＤに相当する。

【００２９】エンコーダ３は、ＭＩＤＩデータ及び画像
データの単位時間当たりのデータ量を調べ、それに応じ
てオーディオデータの単位時間当たりのデータ量（サン
プル数）を制御する。ＭＩＤＩデータ及び画像データの
データ量が多いときには、オーディオデータのデータ量
を少なくし、逆の場合にはオーディオデータのデータ量
を多くする。その詳細は、後に図４を参照しながら説明
する。

【００３０】エンコーダ３は、オーディオデータ、ＭＩ
ＤＩデータ及び画像データを所定のデータ形式で、ルー
タ６を介してインターネット上にパケット送信する。デ
ータ形式は、後に図８（Ａ）、（Ｂ）を参照しながら説
明する。

【００３１】ルータ６は、以下に示すインターネットを
介して、オーディオデータ、ＭＩＤＩデータ及び画像デ
ータを送信する。当該データは、電話回線又は専用回線
を通り、ルータ６からサーバ７に供給され、さらに複数
のＷＷＷ（world wide web）サーバ８に供給される。Ｗ
ＷＷサーバ８は、いわゆるプロバイダである。

【００３２】ユーザは、ホームコンピュータ９をＷＷＷ
サーバ８に接続することにより、インターネットを使用
することができる。ホームコンピュータ９は、インター
ネットを使用し、オーディオデータ、ＭＩＤＩデータ及
び画像データを受信することができる。ホームコンピュ
ータ９は、ディスプレイ装置とＭＩＤＩ音源を有し、Ｍ
ＩＤＩ音源は音声出力装置１１に接続される。

【００３３】画像データは、ディスプレイ装置に表示さ
れる。ＭＩＤＩデータは、ＭＩＤＩ音源で楽音信号に変
換され、音声出力装置１１で発音される。オーディオデ
ータは、デジタル形式からアナログ形式に変換されて、
音声出力装置１１で発音される。ホームコンピュータ９
は、ＭＩＤＩデータとオーディオデータの同期をとっ
て、両データに応じて音声出力装置１１で発音させる。
演奏会場１の演奏音や歌声と同等の音が音声出力装置１
１からリアルタイムで発音される。

【００３４】また、ホームコンピュータ９の外部に、Ｍ
ＩＤＩ音源１０を接続すれば、ホームコンピュータ９
は、ＭＩＤＩ音源１０に楽音信号を生成させ、音声出力
装置１１から発音させることができる。

【００３５】なお、音楽の演奏において、ユーザにとっ
ては、画像データよりもＭＩＤＩデータ及びオーディオ
データの方が重要な情報であるので、画像データよりも
ＭＩＤＩデータ及びオーディオデータを優先して処理を
行う。画像データは、画質が悪く、コマ数が少なくても
さほど気にならないが、ＭＩＤＩデータ及びオーディオ
データに基づく楽音信号は高品質が要求される。なお、
スポーツの中継等の場合は、画像と音との関係が逆にな
る。

【００３６】ユーザは、演奏会場１に赴かなくても、自
宅にいながらディスプレイ装置で演奏会場１の模様を見
ながら、リアルタイムで演奏音及び歌声を聴くことがで
きる。また、自宅のホームコンピュータ９をインターネ
ットに接続すれば、誰でも演奏音及び歌声を聴くことが
できる。例えば、演奏会場１でコンサートを行った場合
には、不特定多数人が自宅でそのコンサートを楽しむこ
とができる。

【００３７】演奏会場からＭＩＤＩデータを自宅に送信
することにより、演奏者が複数のユーザのそれぞれの自
宅で電子楽器を演奏しているかのような状況を作り出す
ことができる。ＭＩＤＩデータの通信は、雑音により音
質を下げることはない。

【００３８】図４は、送信端であるエンコーダ３の機能
を示すブロック図である。実線はオーディオデータ又は
他のメディアデータの流れを示し、破線は制御信号の流
れを示す。

【００３９】音声入力装置（例えばマイクロフォン）１
２は、歌声や演奏音をアナログ形式の電気信号（オーデ
ィオ信号）に変換する。Ａ／Ｄコンバータ６１は、その
アナログ形式のオーディオ信号をデジタル形式のオーデ
ィオデータ８１（図６）に変換する。

【００４０】処理部６５は、ＭＩＤＩデータ及び画像デ
ータを含む他のメディアデータＯＤをＭＩＤＩ楽器及び
カメラから入力し、圧縮やその他の処理を行う。

【００４１】パケット送信部６６は、バッファ６６ａ、
ＢＰＳカウンタ６６ｂ、ＢＰＳ集計値レジスタ６６ｃを
有する。バッファ６６ａは、処理部６５で処理された他
のメディアデータを格納する。ＢＰＳカウンタ６６ｂ
は、バッファ６６ａ内の他のメディアデータのデータ量
をカウントする。ＢＰＳ集計値レジスタ６６ｃは、ＢＰ
Ｓカウンタ６６ｂが所定時間（例えば１秒）内にカウン
トしたデータ量を格納する。ＢＰＳ集計値レジスタ６６
ｃには、所定時間当たりのデータ量、すなわち他のメデ
ィアデータの通信レートが格納される。

【００４２】帯域監視部６４は、ＢＰＳ集計値レジスタ
６６ｃに格納されている通信レートに応じて、オーディ
オデータのサンプリング周波数及び圧縮モードを決定
し、サンプリング周波数コンバータ６２に供給する。

【００４３】サンプリング周波数コンバータ６２は、Ａ
／Ｄコンバータ６１から供給されたデジタル形式のオー
ディオデータをバッファ６２ａに格納し、バッファ６２
ａ内のオーディオデータを帯域監視部６４から指示され
たサンプリング周波数のオーディオデータ８２ｂ（図
６）に変換する。図６に示すように、オーディオデータ
８２ｂには、サンプリング周波数及び圧縮モードを含む
ヘッダ８２ａが付与され、データ８２が生成される。

【００４４】例えば、Ａ／Ｄコンバータ６１は、可能な
限り高いサンプリング周波数（例えば５０ｋＨｚ）でＡ
／Ｄ変換を行い、サンプリング周波数コンバータ６２
は、オーディオデータを間引くことにより、サンプリン
グ周波数を変えることができる。

【００４５】帯域監視部６４で決定されたサンプリング
周波数及び圧縮モードは、サンプリング周波数コンバー
タ６２を介して圧縮部６３に供給される。圧縮モード
は、圧縮方法を指定するものである。

【００４６】圧縮部６３は、指示されるサンプリング周
波数及び圧縮モードに従って、サンプリング周波数コン
バータ６２から供給されるオーディオデータを圧縮し、
圧縮データ４８（図６）を生成する。圧縮データ４８
は、ヘッダ４８ａとオーディオデータ４８ｂを有する。
ヘッダ４８ａは、サンプリング周波数と圧縮モードを含
む。

【００４７】パケット送信部６６は、図６に示すよう
に、圧縮データ４８にヘッダ５１及びフッタ５２を付与
してパケット５０を生成し、インターネット上に送信す
る。パケット送信部６６は、オーディオデータの他、バ
ッファ６６ａ内の他のメディアデータも同様にパケット
化して送信する。

【００４８】オーディオを送信する際、その時の他のメ
ディアデータの通信レートを正確に取得する方法を示
す。オーディオデータを送信する時間における他のメデ
ィアデータの通信レートを取得し、その通信レートに応
じてオーディオデータのサンプリング周波数を決める。
その後、オーディオデータを周波数変換、圧縮、パケッ
ト化する。その間、他のメディアデータをバッファ内で
待機させる。オーディオデータのパケットが生成された
時点で、オーディオデータ及び他のメディアデータを送
信する。

【００４９】次に、オーディオデータ及び他のメディア
データが作成した後、リアルタイムで（直ぐに）送信す
る方法を示す。他のメディアデータの通信レートが時間
に対して急激に変化しない場合には、オーディオデータ
の周波数変換等を待たずに他のメディアデータを先に送
信してしまうことができる。この場合は、過去の他のメ
ディアデータの通信レートが現在のものとほぼ同じであ
ると仮定して、オーディオデータのサンプリング周波数
を決定することになる。すなわち、過去の通信レートを
基に、現在の通信レートを予測することになる。この場
合、他のメディアデータは、オーディオデータのパケッ
ト化を待たずに送信される。

【００５０】なお、サンプリング周波数コンバータ６２
は、Ａ／Ｄコンバータ６１からオーディオデータを受け
る代わりに、オーディオ再生部から再生されたデジタル
オーディオデータを受けたり、記憶部（例えば、図７の
外部記憶装置２５）に格納されている再生用のデジタル
オーディオデータを受けてもよい。

【００５１】図５は、受信端であるホームコンピュータ
９の機能を示すブロック図である。実線はオーディオデ
ータの流れを示し、破線は制御信号の流れを示す。

【００５２】ホームコンピュータ９が他のメディアデー
タを受信する場合は上記で図３を参照しながら説明した
ので、ここでは、オーディオデータを受信する場合を説
明する。

【００５３】伸長部７１は、図６に示すように、オーデ
ィオデータのパケット５０を受信し、ヘッダ５１及びフ
ッタ５２を除去した圧縮データ４８を受信バッファ７１
ａに格納する。そして、圧縮データ４８を伸長して伸長
データ８２を生成し、出力バッファ７１ｂに格納する。
伸長データ８２は、ヘッダ８２ａとオーディオデータ８
２ｂを有する。伸長は、ヘッダ８２ａ内のサンプリング
周波数及び圧縮モードに従って行われる。

【００５４】サンプリング周波数コンバータ７２は、バ
ッファ７２ａ内のオーディオデータ８２ｂをサンプリン
グ周波数変換してオーディオデータ８３を生成し、Ｄ／
Ａコンバータ７３内のバッファ７３ａに格納する。サン
プリング周波数コンバータ７２は、パケット毎に異なっ
ていた周波数を、全てのパケットについて同じ周波数に
変換する。

【００５５】例えば、図４のＡ／Ｄコンバータ６１のサ
ンプリング周波数と同じものに戻す。その場合、サンプ
リング周波数コンバータ７２は、オーディオデータ８２
ｂを補間することにより、オーディオデータ８３を生成
する。受信後のオーディオデータ８３と送信前のオーデ
ィオデータ８１は、サンプリング周波数が同じである。

【００５６】Ｄ／Ａコンバータ７３は、オーディオデー
タ８３をデジタル形式からアナログ形式に変換する。音
声出力装置１１は、アナログ形式のオーディオ信号を基
に発音する。

【００５７】図７は、エンコーダ３とホームコンピュー
タ９の具体的なハードウエア構成を示す図である。エン
コーダ３とホームコンピュータ９は、共に汎用コンピュ
ータ又はパーソナルコンピュータ等を用いることができ
る。

【００５８】エンコーダ３とホームコンピュータ９は、
基本的に同じ構成である。両者の構成を説明する。バス
２１には、ＣＰＵ２２、ＲＡＭ２４、外部記憶装置２
５、外部に対してＭＩＤＩデータを送受信するためのＭ
ＩＤＩインターフェース２６、サウンドカード２７、Ｒ
ＯＭ２８、表示装置２９、キーボードやスイッチやマウ
ス等の入力手段３０、インターネットを行うための通信
インターフェース３１が接続されている。

【００５９】サウンドカード２７は、バッファ２７ａと
コーデック回路２７ｂを有する。バッファ２７は、外部
に対して入力又は出力するためのデータをバッファリン
グする。コーデック回路２７ｂは、Ａ／Ｄ変換器及びＤ
／Ａ変換器を有し、アナログ形式とデジタル形式の両者
間の変換を行うことができる。さらに、コーデック回路
２７ｂは、圧縮／伸張回路を有し、データの圧縮及び伸
張を行うことができる。データは、圧縮された状態で、
インターネット通信される。

【００６０】外部記憶装置２５は、例えばハードディス
クドライブ、フロッピーディスクドライブ、ＣＤ−ＲＯ
Ｍドライブ、光磁気ディスクドライブ等であり、ＭＩＤ
Ｉデータ、オーディオデータ、画像データ又はコンピュ
ータプログラム等を記憶することができる。

【００６１】ＲＯＭ２８は、コンピュータプログラム及
び各種パラメータを記憶することができる。ＲＡＭ２４
は、バッファやレジスタ等のワーキングエリアを有し、
外部記憶装置２５に記憶されている内容をコピーして記
憶することができる。

【００６２】ＣＰＵ２２は、ＲＯＭ２８又はＲＡＭ２４
に記憶されているコンピュータプログラムに従って、各
種演算または処理を行う。システムクロック２３は、時
間情報を生成する。ＣＰＵ２２は、システムクロック２
３から時間情報を得て、タイマ割り込み処理を行うこと
ができる。

【００６３】インターネット回線３２には、エンコーダ
３の通信インターフェース３１及びホームコンピュータ
９の通信インタフェース３１が接続される。通信インタ
ーフェース３１は、インターネットにより、ＭＩＤＩデ
ータ、オーディオデータ及び画像データを送受信するた
めのインターフェースである。エンコーダ３とホームコ
ンピュータ９は、インターネット回線３２により接続さ
れる。

【００６４】まず、エンコーダ３について説明する。Ｍ
ＩＤＩインタフェース２６には、ＭＩＤＩ楽器２が接続
され、サウンドカード２７には、音声入力装置１２が接
続される。ＭＩＤＩ楽器２は、演奏者の演奏操作に応じ
てＭＩＤＩデータを生成し、ＭＩＤＩインタフェース２
６に出力する。音声入力装置１２は、演奏会場における
音声を入力し、アナログ形式のオーディオ信号をサウン
ドカード２７に出力する。サウンドカード２７は、アナ
ログ形式のオーディオ信号をバッファ２７ａにバッファ
リングし、コーデック回路２７ｂでアナログ形式のオー
ディオ信号をデジタル形式のオーディオデータに変換
し、そのデータを圧縮する。

【００６５】次に、ホームコンピュータ９について説明
する。図３に示すように、ＭＩＤＩインタフェース２６
には、ＭＩＤＩ音源１０が接続され、サウンドカード２
７には、音声出力装置１１が接続される。ＣＰＵ２２
は、通信インタフェース３１を介して、インタネット回
線３２上からＭＩＤＩデータとオーディオデータと画像
データを受信する。

【００６６】通信インタフェース３１は、インターネッ
ト用インタフェースの他、イーサネット用インタフェー
ス、ＩＥＥＥ１３９４規格のデジタル通信インタフェー
ス、ＲＳ−２３２Ｃ用インタフェースでもよく、種々の
ネットワークに接続することができる。

【００６７】エンコーダ３は、オーディオデータのサン
プリング周波数を変換したり、オーディオデータ等を送
信するためのコンピュータプログラムを記憶する。ホー
ムコンピュータ９は、オーディオデータ等を受信するた
めのコンピュータプログラムを記憶する。コンピュータ
プログラムや各種パラメータ等を外部記憶装置２５に記
憶させておき、それをＲＡＭ２４に読み込むことによ
り、コンピュータプログラム等の追加やバージョンアッ
プ等が容易に行える。

【００６８】ＣＤ−ＲＯＭ（コンパクトディスク−リー
ド・オンリィ・メモリ）ドライブは、ＣＤ−ＲＯＭに記
憶されているコンピュータプログラム等を読み出す装置
である。読み出したコンピュータプログラム等は、ハー
ドディスクにストアされる。コンピュータプログラムの
新規インストールやバージョンアップ等が容易に行え
る。

【００６９】通信インターフェース３１はＬＡＮ（ロー
カルエリアネットワーク）やインターネット、電話回路
等の通信ネットワーク３２に接続されており、該通信ネ
ットワーク３２を介して、コンピュータ３３と接続され
る。外部記憶装置２５内に上記のコンピュータプログラ
ム等が記憶されていない場合、コンピュータ３３からコ
ンピュータプログラム等をダウンロードすることができ
る。エンコーダ３又はホームコンピュータ９は、通信イ
ンターフェース３１及び通信ネットワーク３２を介して
コンピュータ３３へコンピュータプログラム等のダウン
ロードを要求するコマンドを送信する。コンピュータ３
３は、このコマンドを受け、要求されたコンピュータプ
ログラム等を、通信ネットワーク３２を介してエンコー
ダ３又はホームコンピュータ９へ配信する。エンコーダ
３又はホームコンピュータ９が通信インタフェース３１
を介して、コンピュータプログラム等を受信して外部記
憶装置２５に蓄積することにより、ダウンロードが完了
する。

【００７０】なお、本実施例は、本実施例に対応するコ
ンピュータプログラム等をインストールした市販のパー
ソナルコンピュータ等によって、実施させるようにして
もよい。その場合には、本実施例に対応するコンピュー
タプログラム等を、ＣＤ−ＲＯＭやフロッピディスク等
の、コンピュータが読み込むことができる記憶媒体に記
憶させた状態で、ユーザーに提供してもよい。そのパー
ソナルコンピュータ等が、ＬＡＮ、インターネット、電
話回線等の通信ネットワークに接続されている場合に
は、通信ネットワークを介して、コンピュータプログラ
ムや各種データ等をパーソナルコンピュータ等に提供し
てもよい。

【００７１】また、エンコーダ３又はホームコンピュー
タ９は、パーソナルコンピュータの他、電子楽器、ゲー
ム機、カラオケ装置、テレビ等の形態として適用しても
よい。

【００７２】図８（Ａ）は、エンコーダ３が送信するオ
ーディオデータパケット５０の構造を示す。

【００７３】オーディオデータパケット５０は、ヘッダ
５１とオーディオデータ４８とフッタ５２を有する。ヘ
ッダ５１は、時間情報を表すタイムスタンプ４１、パケ
ットの順番を示すシーケンスナンバ５３、当該パケット
がオーディオデータであることを示す識別子（ＩＤ）４
２、当該パケットのサイズ４３を有する。

【００７４】タイムスタンプ４１は、パケット内のオー
ディオデータ４８の送信時刻を表すと共に、演奏時刻、
録音時刻、或いは再生時刻をも表す。エンコーダ３は、
自己のシステムクロックが生成する時間情報に応じて、
タイムスタンプ４１を生成する。

【００７５】識別子４２は、オーディオデータパケット
やＭＩＤＩデータパケットや画像データパケット等のパ
ケットの種類を表すことが可能である。ここでは、オー
ディオデータ４８を送信するので、オーディオデータパ
ケットを表すものとなる。

【００７６】オーディオデータ４８は、サンプリング周
波数及び圧縮モードを含むヘッダ４８ａとオーディオデ
ータ４８ｂを含む。オーディオデータ４８ｂは、音声入
力装置１２（図３）で生成されたデータを、Ａ／Ｄ変換
し、サンプリング周波数変換し、圧縮したデータであ
る。

【００７７】フッタ５２は、データの終了を表すデータ
を有する。ヘッダ５１又はフッタ５２に、チェックサム
を含ませてもよい。チェックサムは、例えばオーディオ
データ４８の合計値である。この場合、エンコーダ３
は、当該合計値を計算し、チェックサムとしてパケット
中に付与する。ホームコンピュータ９は、当該合計値を
計算し、チェックサムの値と合っていれば、通信エラー
がないことを確認することができる。

【００７８】図８（Ｂ）は、エンコーダ３が送信するＭ
ＩＤＩデータパケット４９の構造を示す。

【００７９】ＭＩＤＩデータパケット４９は、ヘッダ５
１とＭＩＤＩデータ４４とフッタ５２を有する。

【００８０】ヘッダ５１は、ＭＩＤＩデータパケットの
場合と同様に、タイムスタンプ４１、シーケンスナンバ
５３、当該パケットがＭＩＤＩデータであることを示す
識別子（ＩＤ）４２、当該パケットのサイズ４３を有す
る。

【００８１】ＭＩＤＩデータ４４は、スタンダードＭＩ
ＤＩファイルフォーマットに準拠したものであり、デル
タタイム（インターバル）とＭＩＤＩイベントを１組に
したデータの列である。デルタタイムは、直前のＭＩＤ
Ｉイベントと当該ＭＩＤＩイベントの間の時間間隔を表
す。ただし、デルタタイムが０であるときには、デルタ
タイムを省略することができる。

【００８２】画像データについても、上記と同様なパケ
ット構造を有する。その場合、識別子４２は、画像デー
タであることを示す。

【００８３】図９〜図１３に、エンコーダ３が行う処理
のフローチャートを示す。図９は、エンコーダのサンプ
リング周波数コンバータ６２（図４）が行う処理を示す
フローチャートである。

【００８４】ステップＳＡ１では、Ａ／Ｄコンバータ６
１（図４）からの入力を検出したか否かをチェックす
る。検出した場合には、以下の処理を行う。

【００８５】ステップＳＡ８では、Ａ／Ｄコンバータ６
１から入力されたデジタル形式のオーディオデータを受
信バッファ６２ａに格納する。受信バッファ６２ａは、
初期時には空（エンプティ）である。

【００８６】ステップＳＡ２では、サンプリング周波数
コンバータ内の受信バッファ６２ａ（図４）に所定のデ
ータ量（所定の波形長）が格納されたか否かをチェック
する。受信バッファ６２ａに所定のデータ量が格納され
ていないときには、処理を終了する。

【００８７】受信バッファ６２ａに所定のデータ量が格
納された場合には、ステップＳＡ２からステップＳＡ３
へ進む。ステップＳＡ２の判断は、所定の波形長のオー
ディオ（音声）波形が受信バッファ６２ａに格納された
か否かで判断する。Ａ／Ｄコンバータ６１は、所定時間
（例えば１秒）のオーディオ波形を１単位として、Ａ／
Ｄ変換し、出力する。したがって、この単位を基準とし
て、サンプリング周波数コンバータも処理を行うのがよ
い。さらに、送信時には、この単位でパケット化するの
が好ましい。

【００８８】ステップＳＡ３では、サンプリング周波数
が変更されたか否かをチェックする。サンプリング周波
数は、帯域監視部６４（図４）から指示される。初期時
には、ステップＳＡ４へ進む。２回目以降は、前回のサ
ンプリング周波数の今回の周波数が異なるときには、ス
テップＳＡ４へ進む。

【００８９】ステップＳＡ４では、新しいサンプリング
周波数を取得し、ステップＳＡ５へ進む。ステップＳＡ
３でサンプリング周波数が変更されていないと判断され
たときには、サンプリング周波数及び圧縮モードを変更
せずにステップＳＡ５へ進む。圧縮モードは、圧縮方法
を指定するものであり、他のオーディオデータの通信レ
ートに応じてサンプリング周波数と共に決定される。

【００９０】ステップＳＡ５では、帯域監視部６４から
指示される圧縮モード及びサンプリング周波数をヘッダ
として作成する。

【００９１】ステップＳＡ６では、サンプリング周波数
を基に、受信バッファ６２ａ内のオーディオデータを間
引いてヘッダと共に、圧縮部（圧縮モジュール）６３ａ
に供給する。なお、指示されたサンプリング周波数がＡ
／Ｄコンバータ６１のサンプリング周波数と同じときに
は、間引きを行う必要はない。

【００９２】ステップＳＡ７では、受信バッファ６２ａ
をクリアし、次のオーディオデータの処理に備える。以
上で、サンプリング周波数コンバータの処理を終了す
る。

【００９３】以上のように、受信バッファ６２ａに格納
される所定波形長のオーディオ波形を１単位として、サ
ンプリング周波数が決められ、サンプリング周波数の変
換が行われる。

【００９４】図１０は、エンコーダの圧縮部（圧縮モジ
ュール）６３（図４）が行う処理を示すフローチャート
である。

【００９５】ステップＳＢ１では、サンプリング周波数
コンバータ６２（図４）からの入力を検出したか否かを
チェックする。検出した場合には、以下の処理を行う。

【００９６】ステップＳＢ２では、サンプリング周波数
コンバータ６２から入力されたデータのヘッダ内の圧縮
モード及びサンプリング周波数を取得し、その圧縮モー
ド及びサンプリング周波数を基に当該入力されたデータ
を圧縮する。

【００９７】ステップＳＢ３では、圧縮されたデータ
（ヘッダを含む）をパケット送信部６６（図４）に供給
する。以上で、圧縮部の処理を終了する。

【００９８】図１１は、エンコーダのパケット送信部６
６（図４）が行う第１の処理を示すフローチャートであ
る。

【００９９】ステップＳＣ１では、オーディオデータや
その他のメディアデータをパケット化し、図８（Ａ）、
（Ｂ）に示すパケットを生成する。そして、そのパケッ
トがオーディオデータのパケットであればそのパケット
を送信して処理を終了し、その他のメディアデータのパ
ケットであればステップＳＣ２へ進む。パケットがオー
ディオデータか或いはその他のメディアデータかは、識
別子４２（図８（Ａ）、（Ｂ））を参照することにより
判断することができる。

【０１００】ステップＳＣ２では、パケット内のパケッ
トサイズ４３（図８（Ｂ））を参照して、その他のメデ
ィアデータのデータ量を取得する。

【０１０１】ステップＳＣ３では、ＢＰＳカウンタ６６
ｂ（図４）に上記のデータ量を加算する。ＢＰＳカウン
タ６６ｂの初期値は０である。そして、所定時間経過
後、当該他のメディアデータのパケットを送信する。以
上で、パケット送信部の第１の処理を終了する。

【０１０２】以後、パケット送信部にオーディオデータ
又はその他のメディアデータが供給される度に、上記の
処理が繰り返され、他のメディアデータのパケットが生
成される度に、ＢＰＳカウンタ６６ｂに他のメディアデ
ータのデータ量が累算されて行く。

【０１０３】図１２は、エンコーダのパケット送信部６
６が行う第２の処理を示すフローチャートである。この
フローチャートは、所定時間間隔で定期的に処理され
る。

【０１０４】ステップＳＤ１では、所定時間経過したか
否かをチェックする。最初は、初期時（送信開始時）か
ら所定時間経過したか否かをチェックする。所定時間
は、例えば１秒又は１０ｍ秒である。

【０１０５】ステップＳＤ２では、ＢＰＳカウンタ６６
ｂの集計値をレジスタ６６ｃ（図４）に格納する。ＢＰ
Ｓカウンタ６６ｂは、所定時間だけデータ量を集計し続
ける。レジスタ６６ｃには、所定時間内に送信する他の
メディアデータのデータ量、すなわち通信レートが格納
される。所定時間を短くすれば、細かな通信レートの変
化を取得することができ、オーディオデータのサンプリ
ング周波数制御を高分解能で行うことができる。

【０１０６】なお、上記のレジスタ６６ｃに通信レート
が格納されると、帯域監視部６４（図４）が起動され
る。

【０１０７】ステップＳＤ３では、ＢＰＳカウンタ６６
ｂをリセットし、処理を終了する。以後、ＢＰＳカウン
タ６６ｂは、他のメディアデータのデータ量を新たにカ
ウントし始める。所定時間間隔で、上記のフローチャー
トの処理を繰り返す。

【０１０８】図１３は、エンコーダの帯域監視部６４
（図４）の処理を示すフローチャートである。このフロ
ーチャートは、パケット送信部の第２の処理（図１２）
に同期して、所定周期で起動されるのが好ましい。

【０１０９】ステップＳＥ１では、レジスタ６６ｃに格
納されているＢＰＳカウンタ６６ｂの集計値（通信レー
ト）を取得する。

【０１１０】ステップＳＥ２では、送信システム（通信
インタフェースを含むエンコーダ）の許容最大通信レー
トから当該取得した通信レートを減算する。この減算値
が、最も好ましいオーディオデータの通信レートであ
る。

【０１１１】ステップＳＥ３では、減算値の通信レート
以下であり、かつ送信システムが対応可能な最大通信レ
ートを取得する。送信システムが対応可能な通信レート
は、連続値ではなく、一般的に通信インタフェースの種
類により数種類に限定されている。

【０１１２】ステップＳＥ４では、取得した通信レート
にて送信可能なサンプリング周波数のうちで最大のサン
プリング周波数を取得する。サンプリング周波数コンバ
ータ６２（図４）は、間引きにより、周波数変換を行う
ので、整数比の周波数変換を行うのが簡単で好ましい。
したがって、このステップでは、サンプリング周波数コ
ンバータが変換可能なサンプリング周波数を取得する。
通信レートを基に、サンプリング周波数の他、圧縮モー
ドも決定される。

【０１１３】ステップＳＥ５では、取得したサンプリン
グ周波数及び圧縮モードをサンプリング周波数コンバー
タ６２に引き渡す。以上で、帯域監視部の処理を終了す
る。

【０１１４】図１４及び図１５に、ホームコンピュータ
９が行う処理のフローチャートを示す。

【０１１５】図１４は、ホームコンピュータの伸長部７
１（図５）が行う処理を示すフローチャートである。

【０１１６】ステップＳＦ１では、パケットデータを受
信し、パケット単位でデータを受信バッファ７１ａに格
納する。

【０１１７】ステップＳＦ２では、ヘッダ内の音質情報
（サンプリング周波数及び圧縮モード）を取得する。

【０１１８】ステップＳＦ３では、音質情報に基づきデ
ータを伸長する。ステップＳＦ４では、サンプリング周
波数コンバータ７２（図５）に音質情報を引き渡す。

【０１１９】ステップＳＦ５では、伸長したデータを出
力バッファ７１ｂ（図５）に格納する。出力バッファ７
１ｂ内のデータは、順次サンプリング周波数コンバータ
７２に出力される。以上で、伸長部の処理を終了する。

【０１２０】図１５は、ホームコンピュータのサンプリ
ング周波数コンバータ７２（図５）が行う処理を示すフ
ローチャートである。

【０１２１】ステップＳＧ１では、ヘッダ内の音質情報
を取得する。ステップＳＧ２では、バッファ内のオーデ
ィオデータを、それに対応する音質情報を基に補間す
る。具体的には、音質情報のうちのサンプリング周波数
に応じてオーディオデータを補間する。この補間によ
り、全てのパケットのオーディオデータは一定のサンプ
リング周波数に変換される。

【０１２２】ステップＳＧ３では、Ｄ／Ａコンバータ内
の入力バッファ７３ａに、補間されたオーディオデータ
を格納する。補間は、例えば線形補間である。以上で、
サンプリング周波数コンバータの処理を終了する。

【０１２３】その後、Ｄ／Ａコンバータ７３は、所定の
周波数でバッファ内のデータをＤ／Ａ変換し、アナログ
形式のオーディオデータを音声出力装置１１に供給す
る。音声出力装置１１は、オーディオデータに応じて発
音する。

【０１２４】以上のように、例えばＭＩＤＩデータと画
像データを含む他のメディアデータは通信レートが時間
に対して変化する。他のメディアデータの通信レートが
高いときにはオーディオデータの通信レートを標準値に
し、他のメディアデータの通信レートが低いときにはオ
ーディオデータの通信レートを高くすることにより、オ
ーディオデータの音質を高めることができる。また、オ
ーディオデータの通信レートをダイナミックに制御する
ことにより、通信効率（通信回線占有率）を高くするこ
とができる。

【０１２５】例えば、電子鍵盤楽器によりＭＩＤＩデー
タを生成し、生ピアノによりオーディオデータを生成す
ることができる。その場合、電子鍵盤楽器と生ピアノと
の合奏が可能になる。楽譜中のあるフレーズにおいて、
生ピアノのソロ演奏を行うと、その時、ＭＩＤＩデータ
は生成されず、オーディオデータだけが生成される。そ
の時には、オーディオデータのサンプリング周波数を高
くすることにより、高品質の生ピアノのオーディオデー
タを再生することができる。

【０１２６】なお、本実施例は、オーディオデータ及び
ＭＩＤＩデータ等をインターネットで通信する場合に限
定されない。例えば、ＩＥＥＥ１３９４規格のデジタル
シリアル通信や通信衛星等の他の通信にも適用すること
ができる。

【０１２７】以上実施例に沿って本発明を説明したが、
本発明はこれらに制限されるものではない。例えば、種
々の変更、改良、組み合わせ等が可能なことは当業者に
自明であろう。

【０１２８】

【発明の効果】以上説明したように、本発明によれば、
他のメディアデータの送信レートが高いときにはオーデ
ィオデータのデータ量を比較的少なくし、他のメディア
データの送信レートが低いときにはオーディオデータの
データ量を比較的多くすることにより、オーディオデー
タの平均的音質を高めることができる。

【０１２９】他のメディアデータの送信レートに応じ
て、オーディオデータのデータ量を決めるので、通信効
率（通信回線の占有率）を向上させることができる。

【図面の簡単な説明】

【図１】本発明の実施例によるオーディオデータとそ
の他のメディアデータについての通信レートと時間の関
係を示すグラフである。

【図２】オーディオデータとその他のメディアデータ
についての通信レートと時間の関係を示すグラフであ
る。

【図３】マルチメディアの通信ネットワークを示す図
である。

【図４】送信端であるエンコーダの機能を示すブロッ
ク図である。

【図５】受信端であるホームコンピュータの機能を示
すブロック図である。

【図６】オーディオデータの変化を示す図である。

【図７】エンコーダ及びホームコンピュータのハード
ウエアの構成を示す図である。

【図８】図８（Ａ）はオーディオデータパケットの構
造を示し、図８（Ｂ）はＭＩＤＩデータパケットの構造
を示す図である。

【図９】エンコーダのサンプリング周波数コンバータ
が行う処理を示すフローチャートである。

【図１０】エンコーダの圧縮部が行う処理を示すフロ
ーチャートである。

【図１１】エンコーダのパケット送信部が行う第１の
処理を示すフローチャートである。

【図１２】エンコーダのパケット送信部が行う第２の
処理を示すフローチャートである。

【図１３】エンコーダの帯域監視部が行う処理を示す
フローチャートである。

【図１４】ホームコンピュータの伸長部が行う処理を
示すフローチャートである。

【図１５】ホームコンピュータのサンプリング周波数
コンバータが行う処理を示すフローチャートである。

【符号の説明】

１演奏会場、２ＭＩＤＩ楽器、３エンコ
ーダ、４カメラ、６ルータ、７サー
バ、８ＷＷＷサーバ、９ホームコンピュー
タ、１０ＭＩＤＩ音源、１１音声出力装
置、１２音声入力装置、２１バス、２
２ＣＰＵ、２３システムクロック、２４
ＲＡＭ、２５外部記憶装置、２６ＭＩＤＩ
インタフェース、２７サウンドカード、２７
ａバッファ、２７ｂコーデック回路、２８
ＲＯＭ、２９表示装置、３０入力手段、
３１通信インタフェース、３２通信ネットワー
ク、３３コンピュータ、４１タイムスタン
プ、４２識別子（ＩＤ）、４３パケットサ
イズ、４４ＭＩＤＩデータ、４５，４７Ｍ
ＩＤＩイベント、４６デルタタイム、４８デジ
タルオーディオデータ、４９ＭＩＤＩデータパケ
ット、５０オーディオデータパケット、５１
ヘッダ、５２フッタ、５３シーケンスナ
ンバ、６１Ａ／Ｄコンバータ、６２サンプ
リング周波数コンバータ、６２ａバッファ、６３
圧縮部、６４帯域監視部、６５処理部、
６６パケット送信部、６６ａバッファ、
６６ｂＢＰＳカウンタ、６６ｃＢＰＳ集計値
レジスタ、７１伸長部、７１ａ，７１ｂバ
ッファ、７２サンプリング周波数コンバータ、７
２ａバッファ、７３Ｄ／Ａコンバータ、７
３ａバッファ、ＡＤオーディオデータ、Ｏ
Ｄ他のメディアデータ

Claims

【特許請求の範囲】

【請求項１】デジタル化されたオーディオデータ及び
前記オーディオデータ以外の他のメディアデータを送信
する場合の、前記他のメディアデータを送信する際の送
信レートを見積もる見積手段と、前記見積手段が見積もる送信レートに応じて送信すべき
前記デジタルオーディオデータのデータ量を変更する変
更手段と、前記他のメディアデータ及び前記変更手段により変更さ
れたオーディオデータを送信する送信手段とを有する通
信装置。
【請求項２】前記送信手段は、前記変更手段により変
更されたデータ量の変更情報を前記オーディオデータと
共に送信する請求項１記載の通信装置。
【請求項３】オーディオデータ及びそのデータ量の変
更情報を受信する受信手段と、前記データ量の変更情報に応じて前記オーディオデータ
のデータ量を変更前のデータ量に戻す復元手段と、前記復元手段により復元されるオーディオデータの再生
を指示する再生指示手段とを有する通信装置。
【請求項４】（ａ）デジタル化されたオーディオデー
タ及び前記オーディオデータ以外の他のメディアデータ
を送信する場合の、前記他のメディアデータを送信する
際の送信レートを見積もる工程と、（ｂ）前記見積もった送信レートに応じて送信すべき前
記デジタルオーディオデータのデータ量を変更する工程
と、（ｃ）前記他のメディアデータ及び前記工程（ｂ）で変
更されたオーディオデータを送信する工程とを有する通
信方法。
【請求項５】前記工程（ｃ）は、前記工程（ｂ）で変
更されたデータ量の変更情報を前記オーディオデータと
共に送信する請求項４記載の通信方法。
【請求項６】（ａ）オーディオデータ及びそのデータ
量の変更情報を受信する工程と、（ｂ）前記データ量の変更情報に応じて前記オーディオ
データのデータ量を変更前のデータ量に戻す工程と、（ｃ）前記戻されたオーディオデータの再生を指示する
工程とを有する通信方法。
【請求項７】（ａ）デジタル化されたオーディオデー
タ及び前記オーディオデータ以外の他のメディアデータ
を送信する場合の、前記他のメディアデータを送信する
際の送信レートを見積もる手順と、（ｂ）前記見積もった送信レートに応じて送信すべき前
記デジタルオーディオデータのデータ量を変更する手順
と、（ｃ）前記他のメディアデータ及び前記手順（ｂ）で変
更されたオーディオデータを送信する手順とをコンピュ
ータに実行させるためのプログラムを記録した媒体。
【請求項８】前記手順（ｃ）は、前記手順（ｂ）で変
更されたデータ量の変更情報を前記オーディオデータと
共に送信する請求項７記載のプログラムを記録した媒
体。
【請求項９】（ａ）オーディオデータ及びそのデータ
量の変更情報を受信する手順と、（ｂ）前記データ量の変更情報に応じて前記オーディオ
データのデータ量を変更前のデータ量に戻す手順と、（ｃ）前記戻されたオーディオデータの再生を指示する
手順とをコンピュータに実行させるためのプログラムを
記録した媒体。