JP3907973B2 - データ送信装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばディジタル化されたビデオデータ、オーディオデータ、および汎用データなどの複数種類のマルチメディアデータを伝送する通信装置に関するものである。
【０００２】
【従来の技術】
例えば、固定帯域の伝送路を介して、ビデオ、オーディオなどのマルチメディアデータを配送するビデオサーバは、出力するデータレートが伝送路の帯域を超えないように予め送信すべきマルチメディアデータを作成しておく。
【０００３】
特に、ITU-T勧告H.324などに準拠したオーディオビジュアル端末では、伝送路の伝送路クロックすなわち網（ネットワーク）の網クロックに同期して音声データを復号するため、ビデオサーバは伝送路クロックに同期して音声データを送信する必要がある。
【０００４】
【発明が解決しようとする課題】
しかし、ITU-T勧告H.324に準拠した端末間の通信では、多重化フォーマットを端末間のネゴシエーションによって決定したり、通信中に制御情報を送ったりするため、固定帯域の伝送路を使用していても、多重化フォーマットの違いや制御情報により、正味のマルチメディアデータに与えられる伝送帯域が一定とならない場合がある。
【０００５】
そのため、送信しようとしているマルチメディアデータが必要とする伝送帯域を確保できなくなった場合には、ビデオサーバから所望のタイミングでマルチメディアデータが送信できない場合が生じる。
【０００６】
このような場合に、それでもマルチメディアデータを送ろうとすれば、所望のタイミングより少しずつ遅れながら受信端末に届くことになり、受信端末側では、音声データが伝送路クロックより遅いクロックで届くことになり、伝送路クロックで復号再生動作をすると、再生する音声データがなくなってしまうという問題点があった。
【０００７】
また、音声データだけ伝送路クロックに同期して送信すると、他のメディアデータとの再生同期が崩れてしまうという問題点もあった。
【０００８】
この発明は、上記のような問題点を解決するためになされたもので、送信すべきマルチメディアデータの伝送帯域が所望の帯域より小さくなっても、伝送路の伝送路クロックに同期して音声データなどの特定のメディアデータを送りつつ他のメディアデータとの同期を保つことのできるデータ送信装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、本発明では、複数種類のメディアデータをパケット化して送信するデータ送信装置において、特定種類のメディアデータにのみダミーデータを挿入しながら送信することを特徴とする。
【００１０】
特に、特定種類のメディアデータと他のメディアデータとの間での同期が保持されるようにダミーデータを挿入することを特徴とする。
【００１１】
また、前記特定種類のメディアデータを予め決められた送出タイミングで送出できない時に前記ダミーデータを挿入することを特徴とする。
【００１２】
また、前記ダミーデータを入れる特定のメディアデータは、音声データであることを特徴とする。
【００１３】
また、前記ダミーデータは、無音データを符号化したデータであることを特徴とする。
【００１４】
また、前記ダミーデータは、背景雑音データを符号化したデータであることを特徴とする。
【００１５】
また、前記ダミーデータは、一つ前の音声フレームデータと同一のデータであることを特徴とする。
【００１６】
また、前記ダミーデータは、無音を示す制御データであることを特徴とする。
【００１７】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１のデータ送信装置を示す構成図である。
図において、１はこの発明のデータ送信装置、２は配信用コンテンツを蓄積している蓄積部、３は蓄積されたコンテンツをメディア毎に分離する分離部、４はメディアデータの中にダミーデータを挿入するダミーデータ挿入部、５は各メディアデータを多重化して１つのストリームにする多重化部、６は配信用のコンテンツ、７ａ〜７ｃはコンテンツ６を音声や映像、データ等メディア毎に分離したメディアデータ、８はメディアデータ７を多重化して１つのストリームにした多重化ストリームである。なお、この実施の形態１では、ダミーデータ挿入部４は、１つしか示していないが、複数あっても勿論よい。また、多重化すべきメディアデータ７ａ〜７ｃの種類は、３種類でなく、２種類でも、３種類より多い等いくつでもよい。
【００１８】
次に動作について説明する。
データ送信装置１は、網（ネットワーク）を介して通信端末（図示せず）と通信を行う。その際、データ送信装置１は、蓄積部２に蓄積されているコンテンツ６を読出し、分離部３でメディア毎にメディアデータ７ａ〜７ｃに分離する。この時、分離されたメディアデータ７ｂ，７ｃは直接多重化部５へ出力される一方、伝送路クロックすなわち網クロックに同期してデータを出力する必要のあるメディアデータ７ａは、ダミーデータ挿入部４を介して多重化部５へ出力される。この伝送路クロックに同期してデータを出力するメディアデータ７ａは、受信側では網クロックに同期して復号再生しなければならないデータであり、例えば音声データがあげられる。
【００１９】
多重化部５は、伝送路のクロックにあわせて一定周期でダミーデータ挿入部４からメディアデータ７ａを読出し、多重化部５が直接分離部４より読出した他のメディアデータ７ｂ，７ｃと多重して送信する。この時、ダミーデータ挿入部４は、次のメディアデータ７ａが既に分離部３から送られてきている場合には、そのメディアデータ７ａを多重化部５へ渡すが、送られてきていない場合、すなわちまだ多重化部５が前のメディアデータ７ａと同期させる必要のある他のメディアデータ７ｂ，７ｃを多重して送信している場合には、次のメディアデータ７ａの代わりにダミーデータを生成して多重化部５へ渡すようにする。
【００２０】
つまり、本実施の形態１の多重化部５では、メディアデータ７ｂ，７ｃの送信は、メディアデータ７ａまたはダミーデータを送信していない時間に行うようにする。つまり、多重化部５は、メディアデータ７ａまたはダミーデータが多重されていない帯域に、メディアデータ７ｂ，７ｃを多重するようにする。
【００２１】
ここで、ダミーデータの具体例を説明すると、網クロックに同期して復号再生しなければならないメディアデータ７ａを例えば音声データとした場合、一般に通話中では有音時間より無音時間の方が長いので、ダミーデータとして、無音データもしくは背景雑音データを符号化したものが使用できる。このようにすれば、ダミーデータが挿入されたことに気づく可能性が低くなり、スムーズな通話が行える。
【００２２】
また、そのダミーデータを挿入する直前の音声符号化データをダミーデータとして用いるようにしてもよい。このようにすれば、受信側の通信装置では、直前の音声と同じ音声が繰り返されることになるので、背景雑音が聞こえている状況でも、ダミーデータが挿入されたことに気づかないぐらいスムーズな音声を再生することができる。
【００２３】
さらに、有効となる音声データがないこと、つまり無音であることを示す制御データをダミーデータとして送るようにしても良い。このようにすれば、通常の音声符号化データを送信するよりも、送信データ量を削減できることになる。
【００２４】
このようにして、網クロックに同期して復号再生しなければならない音声データ等のメディアデータ７ａは、伝送路クロックに同期してダミーデータを含みながらもデータを出力することができ、またメディアデータ７ｂ，７ｃは伝送路の空き具合に応じて送信されることになる。
【００２５】
なお、分離部３による蓄積部２からの読出しは、各メディアデータ７ａ〜７ｃが送信すべき順番で蓄積されているため、特定のメディアデータだけが読み出されることはなく、送信すべき順番で読み出される。そのため、分離部３で分離され別々に多重化部５から読み出されるメディアデータ間の送信順序もほぼ送信すべき順序と同一となる。
【００２６】
図２は、多重化ストリーム８内の各メディアデータ７の送信タイミングを示す図である。
送信すべきコンテンツ４の所望の送信タイミングＴ１，Ｔ２，Ｔ３，…を（ａ）に示し、（ａ）と同じ送信順序で伝送帯域、すなわち情報レートが小さくなったときの送信タイミングＴ１，Ｔ２，Ｔ３，…とメディアデータ７ａ〜７ｃの送信タイミングのずれを（ｂ）に示した。さらに、伝送帯域が小さくなったときの実施の形態１で実現するメディアデータ７ａ〜７ｃの送信タイミングを（ｃ）に示す。
【００２７】
つまり、図２の（ａ）では、メディアデータ７ａ〜７ｃが定期的に送信されている状態にある。このコンテンツを伝送帯域、すなわち情報レートを小さくした場合にそのままの順序で送信したのが、図２（ｂ）である。
【００２８】
図２（ｂ）は、メディアデータ７ａ〜７ｃが定期的に送信されているが、メディアデータ７ａは、本来図２（ａ）に示す所望の送信タイミングＴ１，Ｔ２，Ｔ３，…の間隔で送信しなければ、この多重化ストリーム８を受信する通信端末では、再生復号するメディアデータ７ａがなくなってしまう状況に陥る。
【００２９】
そこで、図２（ａ）に示すメディアデータ７ａを送信する所望のタイミングＴ１，Ｔ２，Ｔ３，…と同じタイミングでメディアデータ７ａのデータを送信したいのだが、受信端末側の受信スペックや、通信環境の状況の変化により、図２（ｂ）に示すように情報レート、すなわち伝送レートが十分に確保できなくなり、図２（ａ）に示す場合より伝送レートが小さくなった場合は、例えばメディアデータ７ａ２を送信する所望のタイミングＴ２が到来しても、メディアデータ７ｃの読み出しが続いており、次のメディアデータ７ａ２がまだ分離部３から読み出せない場合が生じる。
【００３０】
このような状況が生じた場合、この実施の形態１のダミーデータ挿入部４は、ダミーデータを生成して、図２（ｃ）に示すように送信する。
【００３１】
つまり、図２（ｃ）に示すように、図２（ａ）に示すメディアデータ７ａを送信する所望のタイミングＴ２が来たときに、分離部３からメディアデータ７ｃ１の読み出しが続いており、まだメディアデータ７ａ２が分離部３から読み出せない場合は、次のメディアデータ７ａ２が届いていないので、ダミーデータ挿入部４は、メディアデータ７ａ２の代わりにダミーデータを生成して、多重化部５へ出力する。
【００３２】
すると、多重化部５は、図２（ａ）に示すメディアデータ７ａを送信する所望のタイミングＴ２が来た時に、ダミーデータ挿入部４からメディアデータ７ａ２のダミーデータが入力されるので、そのダミーデータを優先的に多重化する。このため、図２（ａ）に示すメディアデータ７ａを送信する所望のタイミングＴ２のときは、ダミーデータ挿入部４からメディアデータ７ａのダミーデータが多重化されることになる。
【００３３】
このため、図２（ｃ）に示すように、多重化ストリーム８に図２（ａ）に示すメディアデータ７ａを送信する所望のタイミングＴ２でメディアデータ７ａのダミーデータが優先的に挿入されるため、メディアデータ７ｃ１は分割されて送信することになる。
【００３４】
その結果、メディアデータ７ａまたはそのダミーデータは、メディアデータ７ａを送信する所望のタイミングＴ２で必ず多重化され、しかも、他のメディアデータ７ｂ，７ｃとの同期も確保されているので、受信端末側では、所望のタイミングより少しずつ遅れながらメディアデータ７ａ〜７ｃが届くものの、メディアデータ７ａを伝送路クロックで復号再生動作しても、再生するメディアデータ７ａがないということはなく、しかも、メディアデータ７ａが他のメディアデータ７ｂ，７ｃとの再生同期が崩れるということも防止できる。つまり、メディアデータ７ａを送信する所望のタイミングＴ１，Ｔ２，Ｔ３，…では、必ずメディアデータ７ａまたはそのダミーデータが多重化され、かつ、同期を取るべきメディアデータ７ａ，７ｂ，７ｃ、すなわちメディアデータ７ａ１，７ｂ１，７ｃ１、メディアデータ７ａ２，７ｂ２，７ｃ２、メディアデータ７ａ３，７ｂ３，７ｃ３…は、多少の多重順序は前後したり、多重化の際メディアデータが分割される場合が発生するものの同期を取るべきメディアデータ７ａ，７ｂ，７ｃ同士が固まって、すなわち同期をとって多重化され送信されるので、メディアデータ７ａ，７ｂ，７ｃの送信が遅れるものの、メディアデータ７ａの再生抜けや、他のメディアデータ７ｂ，７ｃとの間の再生同期が崩れることはなくなる。
【００３５】
特に、ITU-T勧告H.324などに準拠したオーディオビジュアル通信端末では、伝送路クロックすなわち網クロックに同期して音声データを復号するため、音声データがメディアデータ７ａに相当するので、受信端末側では、所望のタイミングより少しずつ遅れながら音声データや他の映像データ等のメディアデータが届くものの、音声データを伝送路クロックで復号再生動作しても、再生する音声データがないということはなく、しかも、音声データが他の映像データとの再生同期が崩れるということも防止できる。
【００３６】
そして、図２（ｃ）に示すように、タイミングＴ２でメディアデータ７ａのダミーデータが優先的に挿入された後、メディアデータ７ｃ１が分割されて送信され、メディアデータ７ｃ１の送信が終了し、同期すべきメディアデータ７ａ１〜７ｃ１の送信が終了した時、次のメディアデータ７ａを送信する所望のタイミングＴ３まで時間が空いた場合には、メディアデータ７ａ２を送信せず、メディアデータ７ｂ２を送信するようにする。
【００３７】
そしてさらに、図２（ｃ）に示すように、次のメディアデータ７ａを送信する所望のタイミングＴ３がきた時には、そのときまで送信していたメディアデータ７ｂ２の送信が完了しなくても、メディアデータ７ｂ２の送信を止めて、メディアデータ７ａ２を優先的に多重して送信するようにし、メディアデータ７ａ２の送信終了後に、残りのメディアデータ７ｂ２があれば送信して、残りのメディアデータ７ｂ２の送信終了後にこれらのメディアデータと同期するメディアデータ７ｃ３を送信するようにする。勿論、メディアデータ７ｃ３の送信中に、次のメディアデータ７ａを送信する所望のタイミングＴ４がきた時には、上述のように、まだメディアデータ７ｃ３の送信が終了していないので、ダミーデータ挿入部４は、メディアデータ７ａ３の代わりにダミーデータを生成して多重化部５へ出力するようにする。
【００３８】
よって、メディアデータ７ａもしくはそのダミーデータは、伝送路クロックに同期した所望のタイミングに優先的に多重化されて送信され、メディアデータ７ａを送信していない時間（帯域）で、メディアデータ７ａと同期を確保すべきメディアデータ７b,７cが対応するメディアデータ７ａと同期をとって任意のタイミングで送信されることになる。
【００３９】
従って、実施の形態１によれば、メディアデータ７ａもしくはそのダミーデータのみを伝送路クロックに同期した所望のタイミングで他のメディアデータ７ｂ，７ｃより優先的に送信するようにしたため、この多重ストリーム８を受信する受信端末では、メディアデータ７ａのデータを常に過不足なく受信できるという効果がある。
【００４０】
また、本実施の形態１では、伝送帯域が送信しようとするコンテンツの情報レートより低かった場合に、全体的にコンテンツをゆっくり転送することになり、例えば１０分のコンテンツが１２分になるかもしれないが、データの廃棄等を行っていないので、すべてのメディアデータを同期させて送ることができ、しかも定期的にデータが必要な音声系のメディアデータにもダミーデータを使用することで、悪影響を及ぼさずにコンテンツの配信が行えるといえる。
【００４１】
実施の形態２．
以上の実施形態１では、各メディアデータが送信すべき時系列に多重化され１つのコンテンツとして蓄積されていたものであるが、次に各メディアデータが別々に蓄積されている場合の実施の形態について説明する。
【００４２】
図３は、この実施の形態２のデータ送信装置の構成を示すブロック図である。図において、２ａ、２ｂ、２ｃは、それぞれメディアデータ７ａ〜７ｃ用のコンテンツを蓄積している蓄積部である。つまり、本実施の形態１では、図１に示す実施の形態１のデータ送信装置と異なり、複数のメディアデータ７ａ〜７ｃから構成される番組を１つの蓄積部２に蓄積しておき、分離部３にて分離するという構成を取らずに、予め各メディアデータ７ａ〜７ｃをそれぞれ対応する蓄積部２ａ，２ｂ，２ｃに蓄積したことを特徴とするものである。なお、他の構成は、図１と同様なので省略する。
【００４３】
次に動作について説明する。
データ送信装置１は、３つの蓄積部２ａ〜２ｃそれぞれに蓄積されているコンテンツをそれぞれ読出す。ただし、それぞれのコンテンツのメディアデータのパケット単位に、メディア間の同期を取るために送信すべきタイミング情報が付与されており、その送信すべきタイミングの順に各蓄積部２ａ〜２ｃよりメディアデータを読み出す。
【００４４】
これにより、上記実施の形態１の場合と同様に、特定のメディアデータだけが読み出されることなく、メディア間で送信のための同期を保ちながら、３つの蓄積部２ａ〜２ｃそれぞれからコンテンツとしてのメディアデータ７ａ〜７ｃを読み出すことができる。
【００４５】
そして、伝送路クロックに同期してデータを出力する必要のあるメディアデータ７ａだけは、上記実施の形態１の場合と同様に、ダミーデータ挿入部４へ入力される。
【００４６】
その後は、上記実施の形態１の場合と同様で、多重化部５は、伝送路のクロックにあわせて一定周期でダミーデータ挿入部４からメディアデータ７ａを読出し多重化して送信するが、この時、ダミーデータ挿入部４ではすでに送信すべきメディアデータ７ａが蓄積部２から読み出されていればそのメディアデータ７ａを多重化部５へ渡し、送られてきていなければその代わりにダミーデータを生成し多重化部５へ渡し、多重化部５は、メディアデータ７ｂ，７ｃに関してはメディアデータ７ａを送信していない時間に読み出されたデータを送信する。これにより、メディアデータ７ａは伝送路クロックに同期して、ダミーデータを含みながらもデータを出力することができ、またメディアデータ７ｂ，７ｃは伝送路の空き具合に応じて送信されることになる。
【００４７】
また、各蓄積部２ａ〜２ｃから読み出されるメディアデータ７ａ〜７ｃは、ほぼ同じ時刻に送信すべきデータであるため、各メディアデータ７ａ〜７ｃ間の同期を保つことができる。
【００４８】
従って、実施の形態２によれば、各メディアデータ７ａ〜７ｃに対応した蓄積部２ａ〜２ｃそれぞれから送信タイミング情報の値の近いデータを常に読み出すように制御すると共に、メディアデータ７ａもしくはそのダミーデータを伝送路クロックに同期した所望のタイミングで他のメディアデータ７ｂ，７ｃより優先的に送信するようにしたため、上記実施の形態１と同様に、メディアデータ７ａのデータを常に過不足なく受信でき再生できると共に、各メディアデータ７ａ〜７ｃ間の同期を保つことができるという効果がある。
【００４９】
なお、上記実施の形態１，２の説明では、予め決められた送出タイミングで送信すべきメディアデータ７ａとして音声データを一例に説明したが、本発明は、これに限らず、所望のタイミングで送信すべきメディアデータであれば、音声データ以外でも勿論よい。
【００５０】
【発明の効果】
以上説明したように、本発明では、複数種類のメディアデータをパケット化して送信する際、特定種類のメディアデータにのみダミーデータを挿入しながら送信するようにしたので、例えば、当該特定種類のメディアデータと他のメディアデータとの間での同期が保持されるようにダミーデータを挿入するようにすれば、複数種類のメディアデータの同期が取れ、受信側で複数種類のメディアデータの同期再生が可能となる。
【００５１】
また、特に、特定種類のメディアデータが音声データ等のように予め決められた送出タイミングで送出することが決められているメディアデータの場合に、当該特定種類のメディアデータを予め決められた送出タイミングで送信できない時にダミーデータを挿入するようにすれば、特定種類のメディアデータの再生抜けを防止などすることができる。
【図面の簡単な説明】
【図１】 本発明に係る実施の形態１のデータ送信装置の構成例を示す図。
【図２】 実施の形態１における多重化ストリーム８内の各メディアデータ７の送信タイミングを示す図。
【図３】 実施の形態２のデータ送信装置の構成例を示すブロック図。
【符号の説明】
１ データ送信装置、２ 蓄積部、３ 分離部、４ ダミーデータ挿入部、５多重化部、６ 配信用コンテンツ、７ａ〜７ｃ メディアデータ、８ 多重化ストリーム。

Claims (7)

1. 伝送路クロックに同期して特定種類のメディアデータを送信するデータ送信装置であって、
   伝送路クロックに同期させるために前記特定種類のメディアデータに対してダミーデータを挿入するダミーデータ挿入手段と、
   伝送路クロックに同期した一定周期で前記特定種類のメディアデータまたは前記ダミーデータを送信し、前記特定種類のメディアデータ以外のメディアデータについては前記特定種類のメディアデータまたは前記ダミーデータを送信していない時間に送信することにより、伝送帯域以上のレートを持つマルチメディアデータを送信する場合に、伝送帯域にあわせて所望のタイミングよりも遅れながらマルチメディアデータを送信する多重化手段と、
   を備えることを特徴とするデータ送信装置。
2. 前記ダミーデータ挿入手段は、前記特定種類のメディアデータと他のメディアデータとの間での同期が保持されるようにダミーデータを挿入することを特徴とする請求項１記載のデータ送信装置。
3. 前記ダミーデータを入れる特定種類のメディアデータは、音声データであることを特徴とする請求項１または２に記載のデータ送信装置。
4. 前記ダミーデータは、無音データを符号化したデータであることを特徴とする請求項１〜３のいずれか一つに記載のデータ送信装置。
5. 前記ダミーデータは、背景雑音データを符号化したデータであることを特徴とする請求項１〜３のいずれか一つに記載のデータ送信装置。
6. 前記ダミーデータは、一つ前の音声フレームデータと同一のデータであることを特徴とする請求項１〜３のいずれか一つに記載のデータ送信装置。
7. 前記ダミーデータは、無音を示す制御データであることを特徴とする請求項１〜３のいずれか一つに記載のデータ送信装置。

Images