JP3910763B2 - Data multiplexing apparatus and recording medium recording program - Google Patents
Data multiplexing apparatus and recording medium recording program Download PDFInfo
- Publication number
- JP3910763B2 JP3910763B2 JP23157399A JP23157399A JP3910763B2 JP 3910763 B2 JP3910763 B2 JP 3910763B2 JP 23157399 A JP23157399 A JP 23157399A JP 23157399 A JP23157399 A JP 23157399A JP 3910763 B2 JP3910763 B2 JP 3910763B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- streaming data
- output
- packet
- packets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Time-Division Multiplex Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、データ多重装置に係り、更に詳しくは、複数種類のデータを多重するデータ多重装置およびプログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
図１２は、この種の従来から用いられているデータ多重装置の伝送用帯域利用方法を示す概念図である。
【０００３】
図１２に示すデータ多重方式は、固定ビットレート方式と呼ばれるデータ多重方式であり、オーディオデータやビデオデータといったストリーミングデータと、静止画データやテキストデータといった非ストリーミングデータとの多重を行なう場合、各ストリーミングデータ用の帯域および非ストリーミングデータ用の帯域をそれぞれ独立に一定のビットレート（送信速度）でクライアント側に送信している。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来のデータ多重装置では、以下のような問題がある。
【０００５】
すなわち、従来のデータの多重装置では、図１２において斜線で示すようなストリーミングデータが存在しない空き帯域がある場合、その空き帯域を活用していない。
【０００６】
これを、たとえば図１２を用いて説明すると、ビデオやオーディオのデータが、連続的ではなく断続的に再生される場合、データが送信されない空き帯域（Ａ１、Ａ２、Ｖ１、Ｖ２）が存在する。この空き帯域（Ａ１、Ａ２、Ｖ１、Ｖ２）では、固定ビットレートでデータを送信することが可能な状態になっているにもかかわらず何のデータも送られておらず、空き帯域は全く活用されていない。
【０００７】
空き帯域を活用する方法としては、随時ストリーミングデータのビットレートを監視しながら、空き帯域にその都度非ストリーミングデータを組み入れる方法がある。
【０００８】
このような方法では、非ストリーミングデータを、クライアント側で再生される時間前にすべて届いているように送信しなければならない。
【０００９】
しかしながら、空き帯域は、オーディオデータやビデオデータの内容に依存するので、いつも同じ容量とは限らない。
【００１０】
例えば、図１２においてオーディオストリーミングデータとビデオストリーミングデータの空き帯域Ａ１、Ｖ１、Ａ２、Ｖ２を用いて非ストリーミングデータを送出する場合、まずオーディオストリーミングデータが送信される前の空き帯域Ａ１を利用して非ストリーミングデータのパケットの一部を送信することになる。次の空き帯域は、ビデオストリーミングデータの空き帯域Ｖ１である。この空き帯域Ｖ１についても、非ストリーミングデータのパケットの一部を送信することになる。また、その他の空き帯域である空き帯域Ａ２、Ｖ２についても非ストリーミングデータのパケットの一部を送信することになる。
【００１１】
しかしながら、ストリーミングデータ同士でも、オーディオデータとビデオデータとでは、同じビットレートとは限らない。この場合、空き帯域Ａ２と空き帯域Ｖ２とに示すように、空き帯域の時間が同一であっても空き帯域で送信可能なデータ量は、オーディオデータとビデオデータとでは異なる。
【００１２】
このように、空き帯域で送信可能なパケットの数は、空き帯域の各々の容量によって異なる。
【００１３】
従って、ストリーミングデータの空き帯域を用いて、非ストリーミングデータのパケットを送信する場合、空き帯域の容量に応じて送信可能なパケット数を算出するとともに、空き帯域の開始時間にあわせてパケットの送信を開始し、空き帯域の終了時間までに所定個数のパケットの送信を完了させなければならない。
【００１４】
そして、以降の空き帯域についても同様に、個々の空き帯域に応じたパケット数を算出し、空き帯域のタイミングに合わせて所定個数のパケットを送信する必要がある。
【００１５】
このように、非ストリーミングデータのデータパケットを、ストリーミングデータの空き帯域を利用して送信するのは極めて煩雑なので、従来のデータ多重装置では、空き帯域は活用されておらず、限定された回線容量を有効に活用していないという問題点があった。
【００１６】
本発明はこのような事情に鑑みてなされたものであり、ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信し、もって、限定された回線容量を有効に活用することができるデータ多重装置を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記の目的を達成するために、本発明では、以下のような手段を講じる。
【００１９】
すなわち、請求項１の発明では、ビデオデータやオーディオデータ等のストリーミングデータと、テキストデータや静止画データ等の非ストリーミングデータとを多重化して出力するデータ多重装置において、非ストリーミングデータをいくつかのパケット毎に順に出力し、ストリーミングデータが存在しない空き帯域で出力できるパケットの数を算出するとともに、空き帯域を当該パケットの数で分割した各々の領域である第１のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付け、非ストリーミングデータのパケットの数が、第１のパケットエリアの数よりも多い場合には、ストリーミングデータか非ストリーミングデータかのいずれかの出力が開始された時から、前記ストリーミングデータおよび前記非ストリーミングデータの全ての出力が終了するまでの時間内で、空き帯域で出力できない全てのパケットを出力できる出力速度を決定するとともに、空き帯域で出力できない各々のパケットを出力速度で出力する各々の領域である第２のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付け、非ストリーミングデータのパケットを、第１のパケットエリアの各々および第２のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを各パケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力し、非ストリーミングデータのパケットの数が、第１のパケットエリアの数と等しいか、あるいはそれよりも少ない場合には、非ストリーミングデータのパケットを、第１のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを第１のパケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力する。
【００２０】
請求項２の発明では、請求項１に記載のデータ多重装置において、ストリーミングデータは、ビデオカメラやオーディオ装置等のハードウェアからリアルタイムで入力され、入力されたストリーミングデータを複数のストリーミングデータパケットに分割し、複数のストリーミングデータパケットのそれぞれに出力開始時刻および出力終了時刻情報を関連付け、関連付けられた出力開始時刻および出力終了時刻情報に基づいて複数のストリーミングデータパケットを出力する。
【００２１】
請求項３の発明では、ビデオデータやオーディオデータ等のストリーミングデータと、テキストデータや静止画データ等の非ストリーミングデータとをそれぞれいくつかのパケットに分割して多重化した後に順に出力するデータ多重装置を制御するプログラムを記録した記録媒体であって、コンピュータに、ストリーミングデータが存在しない空き帯域で出力できるパケットの数を算出させるとともに、空き帯域を当該パケットの数で分割された各々の領域である第１のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付けさせ、非ストリーミングデータのパケットの数が、第１のパケットエリアの数よりも多い場合には、ストリーミングデータか非ストリーミングデータかのいずれかの出力が開始された時から、前記ストリーミングデータおよび前記非ストリーミングデータの全ての出力が終了するまでの時間内で、空き帯域で出力できない全てのパケットを出力できる出力速度を決定させるとともに、空き帯域で出力できない各々のパケットを出力速度で出力する各々の領域である第２のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付けさせ、非ストリーミングデータのパケットを、第１のパケットエリアの各々および第２のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを各パケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力させ、非ストリーミングデータのパケットの数が、第１のパケットエリアの数と等しいか、あるいはそれよりも少ない場合には、非ストリーミングデータのパケットを、第１のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを第１のパケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力させる。
【００２２】
従って、請求項１から２の発明のデータ多重装置、および請求項３の発明のプログラムを記録した記録媒体においては、ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信することにより、トータルビットレートを減少させることができる。
【００２３】
特に、請求項２の発明のデータ多重装置においては、更に、ストリーミングデータをビデオカメラやオーディオ装置などのハードウェアから直接的に取り込む場合においても適用できる。
【００２４】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照しながら説明する。
【００２５】
（第１の実施の形態）
本発明の第１の実施の形態を図１から図６を用いて説明する。
【００２６】
図１は、本発明の実施の形態によるデータ多重装置の一例を示す全体構成図である。
【００２７】
すなわち、本実施の形態によるデータ多重装置１は、ビデオデータ３、オーディオデータ５といったストリーミングデータと、静止画データ７、テキストデータ９といった非ストリーミングデータとを多重する多重手段１０と、多重手段１０により多重された多重データを保存する多重データ記憶手段２０と、多重データ記憶手段２０から多重データを取り出し、多重データをいくつかのパケットに分割してパケット毎に送信する送出サーバ３０と、送出サーバ３０から送信されたパケットを受信・再生し合成表示する表示手段４０とを備えている。
【００２８】
ビデオデータ３、オーディオデータ５といったストリーミングデータは、表示手段４０で受信されるのと同時に再生が可能となるデータである。
【００２９】
一方、静止画データ７、テキストデータ９といった非ストリーミングデータは、表示手段４０で全て受信がなされてから再生可能となるデータである。
【００３０】
なお、ストリーミングデータおよび非ストリーミングデータのフォーマットについては特に規定しない。
【００３１】
多重手段１０は、このようなストリーミングデータおよび非ストリーミングデータがそれぞれ入力されるようになっている。また、ストリーミングデータについては、単位時間当たりに送信されるデータ量、すなわち送信速度であるビットレートもそれぞれ入力されるようになっている。更に、多重データのビットレートであるトータルビットレートも入力されるようになっている。
【００３２】
多重手段１０は、入力されたこれらのストリーミングデータおよび非ストリーミングデータを固定サイズのパケットに分割すると共に、それぞれをタイムスタンプ情報と関連付ける。タイムスタンプとは送出サーバ３０から表示手段４０に送信されるときにおけるパケットの送信開始および終了時刻である。
【００３３】
更に、多重手段１０は、これらパケットを、表示手段４０での再生開始および終了時刻とタイムスタンプ情報とを比較することにより、パケットの送信順序を決定し、これらの情報を多重データとして多重データ記憶手段２０に保存する。
【００３４】
送出サーバ３０は、このような多重データを多重データ記憶手段２０から取り出すとともに、多重手段１０に入力されたビットレートに応じて、パケット単位で表示手段４０に送信する。
【００３５】
送出サーバ３０から表示手段４０へのパケット送信は、ネットワーク回線を介して行なっても良い。このネットワーク回線は、インターネット、イーサネット等のＬＡＮ、あるいは公衆回線や専用回線を介して複数のＬＡＮが接続されるＷＡＮ等も含まれる。インターネット、ＷＡＮ等の場合には、公衆回線に接続するためのファイアウォール等を適宜備えているが、ここではその図示及び詳細説明を省略する。
【００３６】
表示手段４０は、送出サーバ３０より送信されたパケットを受信・再生し、ビデオ、オーディオ、テキスト、静止画すべてのデータを一つの画面上に合成表示する。ストリーミングデータについては、パケットを受信しながら表示し、非ストリーミングデータについては、パケットを全て受信後に表示する。表示のタイミングについては、各パケットが有している再生開始および終了時刻データに従う。
【００３７】
次に、以上のように構成した本実施の形態のデータ多重装置の動作について説明する。
【００３８】
図２は、本実施の形態に係るデータ多重装置の動作を示すフローチャートである。
【００３９】
先ず、合成表示したい全てのデータを多重手段１０に入力する（Ｓ１）。データの種類としてはビデオ、オーディオなどのストリーミングデータと、静止画、テキストなどの非ストリーミングデータとがあり、各データは表示手段４０における再生開始および終了時刻データも含んでいる。
【００４０】
データの入力は、ファイル形式で行なっても、また、別の手段を経由して行なっても良い。なお、データ形式としてはビデオ、オーディオ、静止画、テキストデータ以外のデータでも構わない。
【００４１】
次に、ストリーミングデータのビットレートについて、各ストリーミングデータ毎（例えば、オーディオデータとビデオデータのそれぞれ毎）に多重手段１０に入力する（Ｓ２）。
【００４２】
更に、多重データのビットレートであるトータルビットレートを多重手段１０に入力する（Ｓ３）。
【００４３】
多重手段１０では、ストリーミングデータの空き帯域で送信される非ストリーミングデータのパケットの送信順序、および送信開始および終了時刻が決定され、データの多重がなされる（Ｓ４）。
【００４４】
なお、Ｓ４において行われる多重手段１０の動作の詳細については、後述する。
【００４５】
多重手段１０において多重された多重データは、多重データ記憶手段２０で保存される（Ｓ５）。
【００４６】
多重データ記憶手段２０で保存された多重データは、送出サーバ３０によって取り出され、更に各々のストリーミングデータの固定ビットレートで表示手段４０に送信される（Ｓ６）。
【００４７】
このようにして送信された多重データは、表示手段４０においてパケット毎に受信・再生され合成表示される（Ｓ７）。
【００４８】
このとき、多重データに含まれていたビデオ、オーディオ、テキスト、静止画すべてのデータが一つの画面上に合成表示される。
【００４９】
表示手段４０では、ストリーミングデータはパケットが受信されながら再生されることが可能である。一方、非ストリーミングデータは受信が完了したパケットから再生される。
【００５０】
次に、Ｓ４において行われる多重手段１０の動作の詳細について説明する。
【００５１】
図３は、前述したような多重手段１０の動作を示すフローチャートである。
【００５２】
なお、ここで、多重データの再生開始時刻を番組開始時刻、再生終了時刻を番組終了時刻、番組開始時刻から番組終了時刻までを番組時間と称する。
【００５３】
先ず、多重手段１０において、全データの帯域（トータル帯域）から、全ストリーミングデータの帯域が差し引かれる（Ｓ１１）。次に、全ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と一致するかの比較がなされる（Ｓ１２）。
【００５４】
図４は、全ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と一致する場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図である。
【００５５】
図４に示すように、全ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と一致する（Ｓ１２：ＹＥＳ）場合においては、ストリーミングデータの空き帯域が存在しないので、非ストリーミングデータに使用できる帯域は番組開始および終了時刻まで一定である（Ｓ１３）。
【００５６】
このとき、下記に示す（１）式に従って、非ストリーミングデータの送信可能なパケット数が算出される（Ｓ１４）。また、番組時間をパケット数で除することにより、各パケットを送信するためのエリア毎にタイムスタンプ（送信開始および終了時刻情報）が割り振られる（Ｓ１５）。
【００５７】
（送信可能なパケット数）
＝（ビットレート）×（番組時間）／（パケットサイズ） …（１）
このようにして非ストリーミングデータの全パケットを送信するためのエリアが確保される。同様にして、ストリーミングデータについても全パケットを送信するためのエリアが確保される。これらエリアに、再生時刻に間に合うようにパケットの割り振りがなされ、そのデータは多重手段１０から多重データ記憶手段２０へと出力される（Ｓ１６）。
【００５８】
図４は、１秒間に１パケットを送信する場合であり、２秒後と６秒後とにそれぞれ「Ｃａｒｒｏｔｓ」、「Ｉｔ ｉｓ ａ ｓａｍｐｌｅ」という非ストリーミングデータを表示できるようにそれぞれのパケットを送信している例を示している。
【００５９】
一方、ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と異なっている場合（Ｓ１２：ＮＯ）においては、非ストリーミングデータのパケット送信パターンは、ストリーミングデータの空き帯域に依存する。これを図５を用いて説明する。
【００６０】
図５は、ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と異なる場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図である。
【００６１】
ここでは、送信開始後１分から９分まで送信されるビデオストリーミングデータと、送信開始後３分から９分まで送信されるオーディオストリーミングデータと、送信開始から送信終了まで継続して送信される非ストリーミングデータの例を示している。
【００６２】
また、ビデオストリーミングデータのビットレートＲｖ１は毎秒２０００ビット、オーディオストリーミングデータのビットレートＲａ１は毎秒１０００ビット、非ストリーミングデータのビットレートＲｎ１は毎秒１０００ビットとする。すなわち、トータルビットレートＲｔ１は毎秒４０００ビットである。
【００６３】
非ストリーミングデータは１分毎に１パケット送信され、送信が完了する１０分後までに１０パケットが送信される。すなわち、非ストリーミングデータの１パケットサイズは６００００ビットである。
【００６４】
図５のように、ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と異なる場合には、ストリーミングデータが伝送されない空き帯域ａ１、ａ２、ｖ１、ｖ２が存在する。
【００６５】
空き帯域の容量は、各ストリーミングデータのビットレートと、時間との積で決定される。従って、空き帯域を利用して送信できる非ストリーミングデータのパケット数も空き帯域ａ１、ａ２、ｖ１、ｖ２毎に異なる。
【００６６】
このように、ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と異なる場合におけるパケットの割り振りは、多重手段１０において以下の様にして行われる。
【００６７】
先ず、多重手段１０において、各ストリーミングデータの空き帯域の容量が計算される（Ｓ２１）。
【００６８】
この帯域は、番組開始および終了時刻と、各ストリーミングデータの再生開始および終了時刻とから、以下に示す（２）式に従って算出される。
【００６９】
（ストリーミングデータ再生開始前と終了後との空き帯域）
＝{（再生開始時刻−番組開始時刻）＋（番組終了時刻−再生終了時刻）}
×（ビットレート）…（２）
図５の場合だと、空き帯域の容量はそれぞれ以下の通りとなる。
【００７０】
空き帯域ａ１＝１８００００ビット
空き帯域ａ２＝ ６００００ビット
空き帯域ｖ１＝１２００００ビット
空き帯域ｖ２＝１２００００ビット
更に、このように算出された空き帯域を非ストリーミングデータの１パケットサイズで除することで、その空き帯域で送信可能な非ストリーミングデータのパケット数が算出される（Ｓ２２）。
【００７１】
いま、非ストリーミングデータのパケットサイズは６００００ビットであるので、各空き帯域で送信可能な非ストリーミングデータのパケット数は以下の通りとなる。
【００７２】
空き帯域ａ１＝３パケット
空き帯域ａ２＝１パケット
空き帯域ｖ１＝２パケット
空き帯域ｖ２＝２パケット
なお、残りの２パケット（１２００００ビット）は、空き帯域では送信できないので、非ストリーミングデータ用帯域で送信する。この場合、２パケットを１０分間かけて送信すれば良いので、非ストリーミングデータのビットレートは毎秒２００ビット必要となる。
【００７３】
すなわち、このように空き帯域を利用することによって、非ストリーミングデータ用帯域のビットレートを毎秒１０００ビットから毎秒２００ビットに減少させることが可能となる。
【００７４】
このようにして、空き帯域を利用して非ストリーミングデータを送信する場合、各データは図６に示すようにして送信される。
【００７５】
図６は、図５に示すような状態において、ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信する場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図である。
【００７６】
ストリーミングデータの空き帯域ａ１、ａ２、ｖ１、ｖ２はそれぞれ非ストリーミングデータの送信に用いられ、非ストリーミングデータのビットレートＲｎ１’は毎秒２００ビットとなったことにより、トータルビットレートＲｔ１’は毎秒３２００ビットとなる。
【００７７】
このようにして、各空き帯域に割り振られた非ストリーミングデータのパケットを送信するためのエリアには、タイムスタンプが付され（Ｓ２３）、送信開始時間と送信終了時間との関連付けがなされる。
【００７８】
次に、各エリアは、付されたタイムスタンプ情報に従って、連続したデータにマージされる（Ｓ２４）。
【００７９】
更に、各エリアのタイムスタンプ情報と各パケットの再生開始時刻との比較がなされ、再生開始時刻前に送信が完了するようにパケットがエリアに割り振られる（Ｓ２５）。
【００８０】
図６中に示す数字は、このようにして各エリアに割り振られたパケットの送信順を示すものである。請求項でいう第１のパケットエリアで送信されるパケットは、それぞれ１、２、４、５、６、８、９、１０番目に送信されるパケットが相当する。また、請求項でいう第２のパケットエリアで送信されるパケットは、それぞれ３、７番目に送信されるパケットが相当する。
【００８１】
このようにして各エリアに割り振られた各パケットは、多重手段１０から多重データ記憶手段２０へと出力される（Ｓ２６）。
【００８２】
上述したように、本実施の形態のデータ多重装置においては、ストリーミングデータの空き帯域を利用して、非ストリーミングデータを送信することにより、トータルビットレートを減少させることができる。
【００８３】
その結果、限定された回線容量を有効に活用し、もって、データの送信負荷を低減したデータ多重装置を実現することが可能となる。
【００８４】
（第２の実施の形態）
本発明の第２の実施の形態を図７から図９を用いて説明する。
【００８５】
本発明の第２の実施の形態におけるデータ多重装置は、その構成を第１の実施の形態のデータ多重装置と同一とし、ストリーミングデータの空き帯域のパターンが異なるのみである。
【００８６】
図７は、あるストリーミングデータの送信終了後と別のストリーミングデータの送信開始前との間に空き帯域が存在するパターンにおける帯域利用方法を示す概念図である。
【００８７】
ここでは、送信開始後１分から５分まで送信されるビデオストリーミングデータＡと、送信開始後６分から９分まで送信されるビデオストリーミングデータＢと、送信開始から送信終了まで継続して送信される非ストリーミングデータの例を示している。
【００８８】
また、ビデオストリーミングデータのビットレートＲｖ２はビデオストリーミングデータＡ、ビデオストリーミングデータＢともに毎秒２０００ビット、非ストリーミングデータのビットレートＲｎ２は毎秒１０００ビットとする。すなわち、トータルビットレートＲｔ２は毎秒３０００ビットである。
【００８９】
非ストリーミングデータは１分毎に１パケット送信され、送信が完了する１０分後までに１０パケットが送信される。すなわち、非ストリーミングデータの１パケットサイズは６００００ビットである。
【００９０】
また、ビデオストリーミングデータが伝送されない空き帯域ｖ３、ｖ４、ｖ５が存在する。
【００９１】
本実施の形態によるデータ多重装置は、図７に示すように、あるストリーミングデータの送信が終了した後、別のストリーミングデータの送信が開始するまでの空き帯域も利用して非ストリーミングデータを送信する。
【００９２】
このような本実施の形態のデータ多重装置の動作について説明する。
【００９３】
図８は、本実施の形態に係るデータ多重装置の動作を示すフローチャートである。
【００９４】
先ず、番組開始時刻から、ビデオストリーミングデータＡの再生開始時刻までの空き帯域ｖ３の容量が計算され（Ｓ３１）、次にビデオストリーミングデータＡの再生終了時刻から、ビデオストリーミングデータＢの再生開始時刻までの空き帯域ｖ４の容量が計算される（Ｓ３２）。
【００９５】
更に、ビデオストリーミングデータＢの再生終了時刻から、番組終了時刻までの空き帯域ｖ５の容量が計算される（Ｓ３３）とともに、これら空き帯域ｖ３、ｖ４、ｖ５のそれぞれにおいて送信可能な非ストリーミングデータのパケット数が算出される（Ｓ３４）。
【００９６】
いま、非ストリーミングデータのパケットサイズは６００００ビットであるので、各空き帯域で送出可能な非ストリーミングデータのパケット数は以下の通りとなる。
【００９７】
空き帯域ｖ３＝２パケット
空き帯域ｖ４＝２パケット
空き帯域ｖ５＝２パケット
なお、残りの４パケット（２４００００ビット）は、これら空き帯域では送信できないので、非ストリーミングデータ用帯域で送信する。４パケットを１０分間かけて送信すれば良いので、非ストリーミングデータのビットレートは毎秒４００ビット必要となる。
【００９８】
すなわち、このように空き帯域を利用することによって、非ストリーミングデータ用の帯域のビットレートを毎秒１０００ビットから毎秒４００ビットに減少させることが可能となる。
【００９９】
このようにして、空き帯域を利用して非ストリーミングデータを送信する場合、各データは図９に示すようにして送信される。
【０１００】
図９は、図７に示すような状態において、ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信する場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図である。
【０１０１】
ストリーミングデータの空き帯域ｖ３、ｖ４、ｖ５はそれぞれ非ストリーミングデータの送信に用いられ、非ストリーミングデータのビットレートＲｎ２’は毎秒４００ビットとなったことにより、トータルビットレートＲｔ２’は毎秒２４００ビットとなる。
【０１０２】
Ｓ３５、Ｓ３６、Ｓ３７、Ｓ３８はそれぞれ既に説明したＳ２３、Ｓ２４、Ｓ２５、Ｓ２６と同様であるのでここではその説明を省略する。
【０１０３】
なお、図９中に示す数字は図８のフローチャートに示すルーチンに従って各エリアに割り振られたパケットの送信順を示すものである。請求項でいう第１のパケットエリアで送信されるパケットは、それぞれ１、３、５、７、９、１０番目に送信されるパケットが相当する。また、請求項でいう第２のパケットエリアで送信されるパケットは、それぞれ２、４、６、８番目に送信されるパケットが相当する。
【０１０４】
上述したように、本実施の形態のデータ多重装置においては、あるストリーミングデータの送信終了後から別のストリーミングデータの送信が開始するまでの空き帯域を利用して、非ストリーミングデータを送信することによりトータルビットレートを減少させることができる。
【０１０５】
その結果、限定された回線容量を有効に活用し、もって、データの送信負荷を低減したデータ多重装置を実現することが可能となる。
【０１０６】
（第３の実施の形態）
本発明の第３の実施の形態を図１０と図１１とを用いて説明する。
【０１０７】
図１０は、本発明の第３の実施の形態に係るデータ多重装置の一例を示す全体構成図であり、図１と同一部分には同一符号を付してその説明を省略し、ここでは異なる部分についてのみ述べる。
【０１０８】
本実施の形態におけるデータ多重装置は、多重手段１０に入力されるストリーミングデータが、予め保存されたデータとして入力されるのでは無く、ハードウェアから直接、かつリアルタイムで入力されるところが、第１の実施の形態におけるデータ多重装置と異なる。その他の構成は第１の実施の形態のデータ多重装置と同一の構成をなす。
【０１０９】
すなわち、本実施の形態におけるデータ多重装置は、ストリーミングデータが、ビデオカメラ４やオーディオ装置６からリアルタイムで多重手段１０に入力されるようになっている。また、このようなストリーミングデータの再生開始および終了時刻、ビットレートは別途図示しない入力手段を介して多重手段１０に入力されるようになっている。
【０１１０】
一方、非ストリーミングデータについては、第１の実施の形態において説明したものと同様にファイル形式、またはその他のハードウェア等から入力されるようになっている。
【０１１１】
次に、以上のように構成した本実施の形態に係るデータ多重装置の動作について説明する。
【０１１２】
図１１は、本実施の形態に係るデータ多重装置の動作を示すフローチャートである。
【０１１３】
先ず、合成表示したいデータを多重手段１０に入力する（Ｓ４１）。データの種類としてはビデオ、オーディオなどのストリーミングデータと、静止画、テキストなどの非ストリーミングデータとがあり、それぞれ表示手段４０における再生開始および終了時刻データも含んでいる。
【０１１４】
尚、この時点では、リアルタイムで入力がなされるビデオデータやオーディオデータといったストリーミングデータについてはまだ入力しない。
【０１１５】
データの入力は、ファイル形式で行なっても、また、別の手段を経由して行なっても良い。なお、データ形式としてはビデオ、オーディオ、静止画、テキストデータ以外のデータでも構わない。
【０１１６】
次に、ストリーミングデータのビットレートについて、ストリーミングデータ毎にそれぞれ多重手段１０に入力する（Ｓ４２）。更に、多重データのビットレートであるトータルビットレートを多重手段１０に入力する（Ｓ４３）。また、全データの再生開始および終了時刻を多重手段１０に入力する（Ｓ４４）。
【０１１７】
多重手段１０では、空き帯域を利用して送信される非ストリーミングデータのパケットの送信順序が決定される（Ｓ４５）。なお、ここで行われるパケットの送信順序決定方法については、図３で説明した方法と同様である。
【０１１８】
次に、リアルタイムで入力されるストリーミングデータをビデオやオーディオ装置を介してエンコードし、多重手段１０に入力する（Ｓ４６）。
【０１１９】
その後、多重手段１０において、Ｓ４６で入力されたストリーミングデータがバッファリングされると同時に、非ストリーミングデータとの多重化がなされ、その多重化されたデータはリアルタイムで送出サーバ３０に出力される（Ｓ４７）。
【０１２０】
尚、このとき、必要に応じて多重データ記憶手段２０にデータを送信して多重データを一旦保存しても良い。また、多重データ記憶手段２０を介さずに、多重手段１０から直接的に送出サーバ３０にデータを送信しても良い。
【０１２１】
このようにして送出サーバ３０に出力された多重データは、更に送出サーバ３０から表示手段４０へと、パケット毎に固定ビットレートで送信される（Ｓ４８）。
【０１２２】
表示手段４０では、送出サーバ３０から送信されたパケットに基づいて、ストリーミングデータと非ストリーミングデータとの再生がなされた後に合成表示される（Ｓ４９）。
【０１２３】
上述したように、本実施の形態のデータ多重装置においては、ビデオデータや音声データなどのストリーミングデータがリアルタイムで入力される場合においても、第１および第２の実施の形態で説明したように、ストリーミングデータの空き帯域を利用して、非ストリーミングデータを送信することにより、トータルビットレートを減少させることができる。
【０１２４】
その結果、ビデオデータや音声データなどのストリーミングデータを直接送信するような場合においても、第１および第２の実施の形態で説明したもの同様の効果を奏することができ、もって、データの送信負荷を低減したデータ多重装置を実現することが可能となる。
【０１２５】
また、各実施の形態に記載した方法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウェア手段）として、例えば磁気ディスク（フロッピーディスク、ハ一ドディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含むものである。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。
【０１２６】
一方、各実施の形態では、図１に示すデータ多重装置１をデータ多重装置として説明したが、本発明でいうデータ多重装置は、このデータ多重装置１のみならず、多重手段１０単体、または多重手段１０と多重データ記憶手段２０と送出サーバ３０からなるものをも含むものである。
【０１２７】
また、多重手段１０により多重された多重データを、多重データ記憶手段２０を介さずに、多重装置１０から送出サーバ３０に直接送るようにしても良い。
【０１２８】
【発明の効果】
以上説明したように、本発明のデータ多重装置によれば、ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信できる。
【０１２９】
以上により、限定された回線容量を有効に活用することができるデータ多重装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るデータ多重装置の一例を示す全体構成図。
【図２】本発明の第１の実施の形態に係るデータ多重装置の動作を示すフローチャート。
【図３】本発明の第１の実施の形態に係る多重手段の動作を示すフローチャート。
【図４】全ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と一致する場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図。
【図５】ストリーミングデータの再生開始および終了時刻が、番組開始および終了時刻と異なる場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図。
【図６】ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信する場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図。
【図７】あるストリーミングデータの再生終了後と別のストリーミングデータの再生開始前との間に空き帯域が存在するパターンにおける帯域利用方法を示す概念図。
【図８】本発明の第２の実施の形態に係るデータ多重装置の動作を示すフローチャート。
【図９】ストリーミングデータの空き帯域を利用して非ストリーミングデータを送信する場合におけるデータ多重装置の伝送用帯域利用方法を示す概念図。
【図１０】本発明の第３の実施の形態に係るデータ多重装置の一例を示す全体構成図。
【図１１】本発明の第３の実施の形態に係るデータ多重装置の動作を示すフローチャート。
【図１２】従来から用いられているデータ多重装置における帯域利用方法を示す概念図。
【符号の説明】
１…データ多重装置、
３…ビデオデータ、
４…ビデオ、
５…オーディオデータ、
６…オーディオ装置、
７…静止画データ、
９…テキストデータ、
１０…多重手段、
２０…多重データ記憶手段、
３０…送出サーバ、
４０…表示手段。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a data multiplexing apparatus, and more particularly to a data multiplexing apparatus that multiplexes a plurality of types of data and a recording medium that records a program.
[0002]
[Prior art]
FIG. 12 is a conceptual diagram showing a transmission band utilization method of this type of data multiplexing apparatus conventionally used.
[0003]
The data multiplexing method shown in FIG. 12 is a data multiplexing method called a fixed bit rate method. When multiplexing streaming data such as audio data and video data and non-streaming data such as still image data and text data, each streaming is performed. A bandwidth for data and a bandwidth for non-streaming data are independently transmitted to the client side at a constant bit rate (transmission speed).
[0004]
[Problems to be solved by the invention]
However, such a conventional data multiplexing apparatus has the following problems.
[0005]
That is, in the conventional data multiplexing apparatus, when there is a free band in which there is no streaming data as shown by the oblique lines in FIG. 12, the free band is not utilized.
[0006]
This will be described with reference to FIG. 12, for example. When video or audio data is reproduced intermittently rather than continuously, there are free bands (A1, A2, V1, V2) in which no data is transmitted. In this free band (A1, A2, V1, V2), no data is sent even though data can be transmitted at a fixed bit rate, and the free band is not used at all. It has not been.
[0007]
As a method of utilizing the free bandwidth, there is a method of incorporating non-streaming data into the free bandwidth each time while monitoring the bit rate of streaming data as needed.
[0008]
In such a method, the non-streaming data must be transmitted so that it arrives all before the time for playback on the client side.
[0009]
However, the vacant bandwidth depends on the contents of audio data and video data, and is not always the same capacity.
[0010]
For example, in FIG. 12, when non-streaming data is transmitted using the free bandwidths A1, V1, A2, and V2 of the audio streaming data and the video streaming data, first, the free bandwidth A1 before the audio streaming data is transmitted is used. A part of the packet of non-streaming data is transmitted. The next available bandwidth is the available bandwidth V1 for video streaming data. A part of the packet of non-streaming data is also transmitted for this free band V1. Also, a part of the non-streaming data packet is transmitted also in the free bands A2 and V2 which are other free bands.
[0011]
However, even in streaming data, audio data and video data are not necessarily the same bit rate. In this case, as shown in the free bandwidth A2 and the free bandwidth V2, the amount of data that can be transmitted in the free bandwidth is different between the audio data and the video data even if the free bandwidth time is the same.
[0012]
Thus, the number of packets that can be transmitted in the free band varies depending on the capacity of each free band.
[0013]
Therefore, when sending non-streaming data packets using the free bandwidth of streaming data, calculate the number of packets that can be sent according to the free bandwidth capacity, and send the packets according to the free bandwidth start time. The transmission of a predetermined number of packets must be completed before the start time of the free bandwidth.
[0014]
Similarly, for the subsequent free bandwidths, it is necessary to calculate the number of packets corresponding to each free bandwidth and transmit a predetermined number of packets in accordance with the free bandwidth timing.
[0015]
Thus, since it is extremely complicated to transmit data packets of non-streaming data using the free bandwidth of the streaming data, the conventional data multiplexing device does not utilize the free bandwidth and has a limited line capacity. There was a problem that it was not used effectively.
[0016]
The present invention has been made in view of such circumstances, and is a data multiplexing apparatus that can transmit non-streaming data by using a free bandwidth of streaming data, and thereby can effectively use a limited line capacity. The purpose is to provide.
[0017]
[Means for Solving the Problems]
In order to achieve the above object, the present invention takes the following measures.
[0019]
That is,
[0020]
[0021]
[0022]
Therefore, from
[0023]
In particular, the
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0025]
(First embodiment)
A first embodiment of the present invention will be described with reference to FIGS.
[0026]
FIG. 1 is an overall configuration diagram showing an example of a data multiplexing apparatus according to an embodiment of the present invention.
[0027]
That is, the
[0028]
Streaming data such as
[0029]
On the other hand, non-streaming data such as
[0030]
The format of streaming data and non-streaming data is not particularly specified.
[0031]
The multiplexing means 10 is adapted to receive such streaming data and non-streaming data. As for streaming data, a data amount transmitted per unit time, that is, a bit rate which is a transmission speed is also input. Further, the total bit rate that is the bit rate of the multiplexed data is also input.
[0032]
The multiplexing means 10 divides the input streaming data and non-streaming data into fixed-size packets, and associates them with time stamp information. The time stamp is the transmission start and end time of the packet when it is transmitted from the
[0033]
Further, the multiplexing means 10 determines the transmission order of the packets by comparing the reproduction start and end times on the display means 40 with the time stamp information, and stores these information as multiplexed data in the multiplexed data storage. Save in
[0034]
The sending
[0035]
Packet transmission from the sending
[0036]
The display means 40 receives and reproduces the packet transmitted from the
[0037]
Next, the operation of the data multiplexing apparatus of the present embodiment configured as described above will be described.
[0038]
FIG. 2 is a flowchart showing the operation of the data multiplexing apparatus according to the present embodiment.
[0039]
First, all data desired to be synthesized and displayed are input to the multiplexing means 10 (S1). The data types include streaming data such as video and audio, and non-streaming data such as still images and text, and each data includes reproduction start and end time data on the display means 40.
[0040]
Data input may be performed in a file format or via another means. The data format may be data other than video, audio, still image, and text data.
[0041]
Next, the bit rate of the streaming data is input to the multiplexing means 10 for each streaming data (for example, for each of audio data and video data) (S2).
[0042]
Further, the total bit rate which is the bit rate of the multiplexed data is input to the multiplexing means 10 (S3).
[0043]
The multiplexing means 10 determines the transmission order and the transmission start and end times of the non-streaming data packets transmitted in the free streaming data band, and multiplexes the data (S4).
[0044]
Details of the operation of the multiplexing means 10 performed in S4 will be described later.
[0045]
The multiplexed data multiplexed by the multiplexing means 10 is stored in the multiplexed data storage means 20 (S5).
[0046]
The multiplexed data stored in the multiplexed data storage means 20 is taken out by the sending
[0047]
The multiplexed data transmitted in this way is received / reproduced for each packet by the display means 40 and synthesized and displayed (S7).
[0048]
At this time, the video, audio, text, and still image data included in the multiplexed data are combined and displayed on one screen.
[0049]
In the display means 40, the streaming data can be reproduced while the packet is received. On the other hand, non-streaming data is reproduced from a packet that has been received.
[0050]
Next, details of the operation of the multiplexing means 10 performed in S4 will be described.
[0051]
FIG. 3 is a flowchart showing the operation of the multiplexing means 10 as described above.
[0052]
Here, the reproduction start time of the multiplexed data is called a program start time, the reproduction end time is called a program end time, and the program start time to the program end time is called a program time.
[0053]
First, in the multiplexing means 10, the bandwidth of all streaming data is subtracted from the bandwidth of all data (total bandwidth) (S11). Next, a comparison is made as to whether the reproduction start and end times of all streaming data match the program start and end times (S12).
[0054]
FIG. 4 is a conceptual diagram showing a transmission band utilization method of the data multiplexing device when the reproduction start and end times of all streaming data coincide with the program start and end times.
[0055]
As shown in FIG. 4, when the playback start and end times of all streaming data coincide with the program start and end times (S12: YES), there is no free bandwidth for streaming data, so it is used for non-streaming data. The available bandwidth is constant until the program start and end times (S13).
[0056]
At this time, the number of packets that can transmit non-streaming data is calculated according to the following equation (1) (S14). Further, by dividing the program time by the number of packets, a time stamp (transmission start and end time information) is assigned to each area for transmitting each packet (S15).
[0057]
(Number of packets that can be sent)
= (Bit rate) x (program time) / (packet size) (1)
In this way, an area for transmitting all packets of non-streaming data is secured. Similarly, an area for transmitting all packets is secured for streaming data. Packets are allocated to these areas in time for the reproduction time, and the data is output from the multiplexing means 10 to the multiplexed data storage means 20 (S16).
[0058]
FIG. 4 shows a case in which one packet is transmitted per second. Each packet is transmitted so that non-streaming data “Carrots” and “It is a sample” can be displayed after 2 seconds and 6 seconds, respectively. An example is shown.
[0059]
On the other hand, when the reproduction start and end times of the streaming data are different from the program start and end times (S12: NO), the packet transmission pattern of the non-streaming data depends on the free band of the streaming data. This will be described with reference to FIG.
[0060]
FIG. 5 is a conceptual diagram showing a transmission band use method of the data multiplexing device when the reproduction start and end times of streaming data are different from the program start and end times.
[0061]
Here, video streaming data transmitted from 1 minute to 9 minutes after the start of transmission, audio streaming data transmitted from 3 minutes to 9 minutes after the start of transmission, and non-streaming data transmitted continuously from the start of transmission to the end of transmission. An example is shown.
[0062]
Also, the bit rate R of the video streaming data v1 Is 2000 bits per second, bit rate R of audio streaming data a1 Is 1000 bits per second, bit rate R of non-streaming data n1 Is 1000 bits per second. That is, the total bit rate R t1 Is 4000 bits per second.
[0063]
One packet of non-streaming data is transmitted every minute, and 10 packets are transmitted by 10 minutes after transmission is completed. That is, one packet size of non-streaming data is 60000 bits.
[0064]
As shown in FIG. 5, when the reproduction start and end times of the streaming data are different from the program start and end times, there are free bands a1, a2, v1, and v2 in which the streaming data is not transmitted.
[0065]
The capacity of the free bandwidth is determined by the product of the bit rate of each streaming data and time. Therefore, the number of non-streaming data packets that can be transmitted using the free bandwidth also differs for each of the free bandwidths a1, a2, v1, and v2.
[0066]
As described above, packet allocation in the case where the reproduction start and end times of the streaming data are different from the program start and end times is performed in the
[0067]
First, the multiplexing means 10 calculates the free bandwidth capacity of each streaming data (S21).
[0068]
This band is calculated according to the following equation (2) from the program start and end times and the reproduction start and end times of each streaming data.
[0069]
(Available bandwidth before and after streaming data playback)
= {(Reproduction start time−Program start time) + (Program end time−Reproduction end time)}
X (bit rate) (2)
In the case of FIG. 5, the capacity of the free bandwidth is as follows.
[0070]
Free bandwidth a1 = 180000 bits
Free bandwidth a2 = 60000 bits
Free bandwidth v1 = 120,000 bits
Free bandwidth v2 = 120,000 bits
Further, the number of packets of non-streaming data that can be transmitted in the free bandwidth is calculated by dividing the free bandwidth thus calculated by one packet size of the non-streaming data (S22).
[0071]
Now, since the packet size of non-streaming data is 60000 bits, the number of non-streaming data packets that can be transmitted in each free bandwidth is as follows.
[0072]
Free bandwidth a1 = 3 packets
Free bandwidth a2 = 1 packet
Free bandwidth v1 = 2 packets
Free bandwidth v2 = 2 packets
Since the remaining two packets (120,000 bits) cannot be transmitted in the free band, they are transmitted in the non-streaming data band. In this case, since it is sufficient to transmit two packets over 10 minutes, the bit rate of non-streaming data requires 200 bits per second.
[0073]
That is, by using the free bandwidth in this way, the bit rate of the non-streaming data bandwidth can be reduced from 1000 bits per second to 200 bits per second.
[0074]
In this way, when non-streaming data is transmitted using the free bandwidth, each data is transmitted as shown in FIG.
[0075]
FIG. 6 is a conceptual diagram showing a transmission band use method of the data multiplexing apparatus when non-streaming data is transmitted using a free band of streaming data in the state shown in FIG.
[0076]
The free bandwidths a1, a2, v1, and v2 of the streaming data are respectively used for transmission of non-streaming data, and the bit rate R of the non-streaming data. n1 'Is 200 bits per second, so the total bit rate R t1 'Is 3200 bits per second.
[0077]
In this manner, an area for transmitting a packet of non-streaming data allocated to each free band is given a time stamp (S23), and the transmission start time and the transmission end time are associated with each other.
[0078]
Next, each area is merged into continuous data according to the attached time stamp information (S24).
[0079]
Further, the time stamp information of each area is compared with the reproduction start time of each packet, and the packet is allocated to the area so that transmission is completed before the reproduction start time (S25).
[0080]
The numbers shown in FIG. 6 indicate the transmission order of packets allocated to each area in this way. The packets transmitted in the first packet area in the claims correspond to the first, second, fourth, fifth, sixth, eighth, ninth, and tenth transmitted packets. Further, the packets transmitted in the second packet area in the claims correspond to the third and seventh packets transmitted, respectively.
[0081]
Each packet allocated to each area in this way is output from the multiplexing means 10 to the multiplexed data storage means 20 (S26).
[0082]
As described above, in the data multiplexing apparatus of the present embodiment, the total bit rate can be reduced by transmitting the non-streaming data using the free bandwidth of the streaming data.
[0083]
As a result, it is possible to realize a data multiplexing apparatus that effectively uses the limited line capacity and reduces the data transmission load.
[0084]
(Second Embodiment)
A second embodiment of the present invention will be described with reference to FIGS.
[0085]
The data multiplexing apparatus according to the second embodiment of the present invention has the same configuration as the data multiplexing apparatus according to the first embodiment, except that the pattern of the free bandwidth of streaming data is different.
[0086]
FIG. 7 is a conceptual diagram showing a band utilization method in a pattern in which an empty band exists between the end of transmission of certain streaming data and the start of transmission of another streaming data.
[0087]
Here, the video streaming data A transmitted from 1 minute to 5 minutes after the start of transmission, the video streaming data B transmitted from 6 minutes to 9 minutes after the start of transmission, and the non-continuous transmission transmitted from the start of transmission to the end of transmission. An example of streaming data is shown.
[0088]
Also, the bit rate R of the video streaming data v2 Is the video streaming data A and the video streaming data B are both 2000 bits per second, the bit rate R of the non-streaming data n2 Is 1000 bits per second. That is, the total bit rate R t2 Is 3000 bits per second.
[0089]
One packet of non-streaming data is transmitted every minute, and 10 packets are transmitted by 10 minutes after transmission is completed. That is, one packet size of non-streaming data is 60000 bits.
[0090]
In addition, there are vacant bands v3, v4, and v5 in which video streaming data is not transmitted.
[0091]
As shown in FIG. 7, the data multiplexing apparatus according to the present embodiment transmits non-streaming data by using a free band after transmission of a certain streaming data is completed and transmission of another streaming data is started. .
[0092]
The operation of the data multiplexing apparatus of this embodiment will be described.
[0093]
FIG. 8 is a flowchart showing the operation of the data multiplexing apparatus according to this embodiment.
[0094]
First, the capacity of the free band v3 from the program start time to the playback start time of the video streaming data A is calculated (S31), and then from the playback end time of the video streaming data A to the playback start time of the video streaming data B The capacity of the free bandwidth v4 is calculated (S32).
[0095]
Further, the capacity of the free band v5 from the playback end time of the video streaming data B to the program end time is calculated (S33), and packets of non-streaming data that can be transmitted in each of these free bands v3, v4, and v5 are calculated. A number is calculated (S34).
[0096]
Since the packet size of non-streaming data is 60000 bits, the number of non-streaming data packets that can be transmitted in each free band is as follows.
[0097]
Free bandwidth v3 = 2 packets
Free bandwidth v4 = 2 packets
Free bandwidth v5 = 2 packets
Since the remaining 4 packets (240000 bits) cannot be transmitted in these free bands, they are transmitted in the non-streaming data band. Since 4 packets need only be transmitted over 10 minutes, the bit rate of non-streaming data requires 400 bits per second.
[0098]
That is, by using the free bandwidth in this way, the bit rate of the bandwidth for non-streaming data can be reduced from 1000 bits per second to 400 bits per second.
[0099]
In this way, when non-streaming data is transmitted using the free bandwidth, each data is transmitted as shown in FIG.
[0100]
FIG. 9 is a conceptual diagram showing a transmission band use method of the data multiplexing apparatus when non-streaming data is transmitted using the free band of streaming data in the state shown in FIG.
[0101]
The free bandwidths v3, v4, v5 of the streaming data are respectively used for transmission of non-streaming data, and the bit rate R of the non-streaming data n2 'Is 400 bits per second, so the total bit rate R t2 'Is 2400 bits per second.
[0102]
Since S35, S36, S37, and S38 are the same as S23, S24, S25, and S26 already described, description thereof is omitted here.
[0103]
The numbers shown in FIG. 9 indicate the transmission order of the packets allocated to each area according to the routine shown in the flowchart of FIG. The packets transmitted in the first packet area referred to in the claims correspond to the first, third, fifth, seventh, ninth and tenth transmitted packets, respectively. The packets transmitted in the second packet area in the claims correspond to the second, fourth, sixth, and eighth transmitted packets, respectively.
[0104]
As described above, in the data multiplexing apparatus according to the present embodiment, by transmitting non-streaming data by using a free band from the end of transmission of a certain streaming data to the start of transmission of another streaming data. The total bit rate can be reduced.
[0105]
As a result, it is possible to realize a data multiplexing apparatus that effectively uses the limited line capacity and reduces the data transmission load.
[0106]
(Third embodiment)
A third embodiment of the present invention will be described with reference to FIGS.
[0107]
FIG. 10 is an overall configuration diagram showing an example of a data multiplexing apparatus according to the third embodiment of the present invention. The same parts as those in FIG. Only the part is described.
[0108]
In the data multiplexing apparatus according to the present embodiment, the streaming data input to the multiplexing means 10 is not input as data stored in advance, but is input directly from hardware in real time. Different from the data multiplexing device in the embodiment. Other configurations are the same as those of the data multiplexing apparatus of the first embodiment.
[0109]
That is, in the data multiplexing apparatus in the present embodiment, streaming data is input from the
[0110]
On the other hand, the non-streaming data is input from a file format, other hardware, or the like, as described in the first embodiment.
[0111]
Next, the operation of the data multiplexing apparatus according to the present embodiment configured as described above will be described.
[0112]
FIG. 11 is a flowchart showing the operation of the data multiplexing apparatus according to the present embodiment.
[0113]
First, data to be synthesized and displayed is input to the multiplexing means 10 (S41). The data types include streaming data such as video and audio, and non-streaming data such as still images and text, and also includes reproduction start and end time data on the display means 40, respectively.
[0114]
At this point, streaming data such as video data and audio data input in real time is not yet input.
[0115]
Data input may be performed in a file format or via another means. The data format may be data other than video, audio, still image, and text data.
[0116]
Next, the bit rate of the streaming data is input to the multiplexing means 10 for each streaming data (S42). Further, the total bit rate that is the bit rate of the multiplexed data is input to the multiplexing means 10 (S43). Further, the reproduction start and end times of all data are input to the multiplexing means 10 (S44).
[0117]
The multiplexing means 10 determines the transmission order of the non-streaming data packets transmitted using the free bandwidth (S45). Note that the packet transmission order determination method performed here is the same as the method described in FIG.
[0118]
Next, the streaming data input in real time is encoded via a video or audio device and input to the multiplexing means 10 (S46).
[0119]
Thereafter, in the multiplexing means 10, the streaming data input in S46 is buffered and simultaneously multiplexed with the non-streaming data, and the multiplexed data is output to the
[0120]
At this time, if necessary, data may be transmitted to the multiplex data storage means 20 to temporarily store the multiplex data. Further, the data may be transmitted directly from the multiplexing means 10 to the
[0121]
The multiplexed data output to the
[0122]
In the display means 40, the streaming data and the non-streaming data are reproduced based on the packet transmitted from the
[0123]
As described above, in the data multiplexing device of the present embodiment, even when streaming data such as video data and audio data is input in real time, as described in the first and second embodiments, The total bit rate can be reduced by transmitting non-streaming data using the free bandwidth of streaming data.
[0124]
As a result, even when streaming data such as video data and audio data is directly transmitted, the same effects as those described in the first and second embodiments can be obtained, and the data transmission load can be achieved. It is possible to realize a data multiplexing device that reduces the above.
[0125]
In addition, the method described in each embodiment is a program (software unit) that can be executed by a computer (computer), for example, a magnetic disk (floppy disk, hard disk, etc.), an optical disk (CD-ROM, DVD). Etc.), can be stored in a recording medium such as a semiconductor memory, or can be transmitted and distributed by a communication medium. The program stored on the medium side includes a setting program for configuring software means (including not only the execution program but also a table and data structure) to be executed in the computer. A computer that implements this apparatus reads a program recorded on a recording medium, constructs software means by a setting program as the case may be, and executes the above-described processing by controlling the operation by this software means.
[0126]
On the other hand, in each embodiment, the
[0127]
Alternatively, the multiplexed data multiplexed by the multiplexing means 10 may be sent directly from the multiplexing
[0128]
【The invention's effect】
As described above, according to the data multiplexing device of the present invention, it is possible to transmit non-streaming data using the free bandwidth of streaming data.
[0129]
As described above, it is possible to realize a data multiplexing apparatus that can effectively use the limited line capacity.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram showing an example of a data multiplexing apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing an operation of the data multiplexing apparatus according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing the operation of the multiplexing means according to the first embodiment of the present invention.
FIG. 4 is a conceptual diagram showing a transmission band use method of a data multiplexing device when the playback start and end times of all streaming data coincide with the program start and end times.
FIG. 5 is a conceptual diagram showing a transmission band use method of the data multiplexing device when the reproduction start and end times of streaming data are different from the program start and end times.
FIG. 6 is a conceptual diagram illustrating a transmission bandwidth usage method of a data multiplexing device when non-streaming data is transmitted using an empty bandwidth of streaming data.
FIG. 7 is a conceptual diagram showing a band use method in a pattern in which an empty band exists between the end of playback of certain streaming data and the start of playback of another streaming data.
FIG. 8 is a flowchart showing the operation of the data multiplexing apparatus according to the second embodiment of the present invention.
FIG. 9 is a conceptual diagram illustrating a transmission band use method of a data multiplexing device when non-streaming data is transmitted using a free band of streaming data.
FIG. 10 is an overall configuration diagram showing an example of a data multiplexing device according to a third embodiment of the present invention.
FIG. 11 is a flowchart showing the operation of the data multiplexing apparatus according to the third embodiment of the present invention.
FIG. 12 is a conceptual diagram showing a bandwidth utilization method in a data multiplexing apparatus conventionally used.
[Explanation of symbols]
1 ... Data multiplexer,
3 ... Video data,
4 ... video,
5. Audio data,
6 ... Audio device,
7: Still image data,
9 ... text data,
10: Multiple means,
20: Multiple data storage means,
30 ... sending server,
40: Display means.
Claims (3)
前記非ストリーミングデータをいくつかのパケット毎に順に出力し、
前記ストリーミングデータが存在しない空き帯域で出力できる前記パケットの数を算出するとともに、前記空き帯域を当該パケットの数で分割した各々の領域である第１のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付け、
前記非ストリーミングデータのパケットの数が、前記第１のパケットエリアの数よりも多い場合には、
前記ストリーミングデータか前記非ストリーミングデータかのいずれかの出力が開始された時から、前記ストリーミングデータおよび前記非ストリーミングデータの全ての出力が終了するまでの時間内で、前記空き帯域で出力できない全てのパケットを出力できる出力速度を決定するとともに、前記空き帯域で出力できない各々のパケットを前記出力速度で出力する各々の領域である第２のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付け、
前記非ストリーミングデータのパケットを、前記第１のパケットエリアの各々および前記第２のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを各パケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力し、
前記非ストリーミングデータのパケットの数が、前記第１のパケットエリアの数と等しいか、あるいはそれよりも少ない場合には、
前記非ストリーミングデータのパケットを、前記第１のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを前記第１のパケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力する
ことを特徴とするデータ多重装置。In a data multiplexing device that multiplexes and outputs streaming data such as video data and audio data and non-streaming data such as text data and still image data,
The non-streaming data is output in order every several packets,
The number of packets that can be output in the free bandwidth where the streaming data does not exist is calculated, and the output start time and the output end are set in each of the first packet areas that are areas obtained by dividing the free bandwidth by the number of packets. Associate time information,
If the number of non-streaming data packets is greater than the number of the first packet areas,
From the time when the output of either the streaming data or the non-streaming data is started until all the output of the streaming data and the non-streaming data is finished, all the outputs that cannot be output in the free band and determines the output speed that can output a packet, the output start time and the output end time information to each of the second path Ke Ttoeria each packet that can not be output in the free band is a region of each output in the output speed Association,
The non-streaming data packets are allocated in order from the packet area with the earlier output end time in each of the first packet area and each of the second packet areas, and the allocated packets are assigned to the respective packet areas. Output based on the associated output start time and output end time information,
If the number of non-streaming data packets is equal to or less than the number of the first packet areas,
Wherein a packet of non-streaming data, the first with allocated from fast packet area of the output end time of each packet areas in the order of output starting associated with each allocated said packet first path Ke Ttoeria A data multiplexing apparatus for outputting based on time and output end time information.
前記ストリーミングデータは、ビデオカメラやオーディオ装置等のハードウェアからリアルタイムで入力され、
入力された前記ストリーミングデータを複数のストリーミングデータパケットに分割し、前記複数のストリーミングデータパケットのそれぞれに出力開始時刻および出力終了時刻情報を関連付け、関連付けられた出力開始時刻および出力終了時刻情報に基づいて前記複数のストリーミングデータパケットを出力する
ことを特徴とするデータ多重装置。The data multiplexing device according to claim 1, wherein
The streaming data is input in real time from hardware such as a video camera or an audio device,
The input streaming data is divided into a plurality of streaming data packets, output start time and output end time information is associated with each of the plurality of streaming data packets, and based on the associated output start time and output end time information A data multiplexing apparatus for outputting the plurality of streaming data packets.
前記ストリーミングデータが存在しない空き帯域で出力できる前記パケットの数を算出させるとともに、前記空き帯域を当該パケットの数で分割した各々の領域である第１のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付けさせ、
前記非ストリーミングデータのパケットの数が、前記第１のパケットエリアの数よりも多い場合には、
前記ストリーミングデータか前記非ストリーミングデータかのいずれかの出力が開始された時から、前記ストリーミングデータおよび前記非ストリーミングデータの全ての出力が終了するまでの時間内で、前記空き帯域で出力できない全てのパケットを出力できる出力速度を決定させるとともに、前記空き帯域で出力できない各々のパケットを前記出力速度で出力する各々の領域である第２のパケットエリアのそれぞれに出力開始時刻および出力終了時刻情報を関連付けさせ、
前記非ストリーミングデータのパケットを、前記第１のパケットエリアの各々および前記第２のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを各パケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力させ、
前記非ストリーミングデータのパケットの数が、前記第１のパケットエリアの数と等しいか、あるいはそれよりも少ない場合には、
前記非ストリーミングデータのパケットを、前記第１のパケットエリアの各々のうち出力終了時刻の早いパケットエリアから順に割り振るとともに、割り振られたパケットを前記第１のパケットエリアのそれぞれに関連付けられた出力開始時刻および出力終了時刻情報に基づいて出力させる
コンピュータ読み取り可能なプログラムを記録した記録媒体。Recording a program for controlling a data multiplexing device that outputs streaming data such as video data and audio data, and non-streaming data such as text data and still image data after dividing them into several packets and then multiplexing them. A recording medium, to a computer,
Calculate the number of packets that can be output in the free bandwidth in which the streaming data does not exist, and output start time and output end in each of the first packet areas that are the areas obtained by dividing the free bandwidth by the number of packets Associate time information,
If the number of non-streaming data packets is greater than the number of the first packet areas,
From the time when the output of either the streaming data or the non-streaming data is started until all the output of the streaming data and the non-streaming data is finished, all the outputs that cannot be output in the free band together to determine an output speed that can output a packet, the output start time and the output end time information to each of the second path Ke Ttoeria each packet that can not be output in the free band is a region of each output in the output speed Let's associate
The non-streaming data packets are allocated in order from the packet area with the earlier output end time in each of the first packet area and each of the second packet areas, and the allocated packets are assigned to the respective packet areas. Based on the associated output start time and output end time information,
If the number of non-streaming data packets is equal to or less than the number of the first packet areas,
Wherein a packet of non-streaming data, the first with allocated from fast packet area of the output end time of each packet areas in the order of output starting associated with each allocated said packet first path Ke Ttoeria A recording medium on which a computer-readable program to be output based on time and output end time information is recorded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23157399A JP3910763B2 (en) | 1999-08-18 | 1999-08-18 | Data multiplexing apparatus and recording medium recording program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23157399A JP3910763B2 (en) | 1999-08-18 | 1999-08-18 | Data multiplexing apparatus and recording medium recording program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001057570A JP2001057570A (en) | 2001-02-27 |
| JP3910763B2 true JP3910763B2 (en) | 2007-04-25 |
Family
ID=16925644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23157399A Expired - Fee Related JP3910763B2 (en) | 1999-08-18 | 1999-08-18 | Data multiplexing apparatus and recording medium recording program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3910763B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003060638A (en) * | 2001-08-15 | 2003-02-28 | Sony Corp | Content providing device and method therefor |
| JP4404180B2 (en) | 2002-04-25 | 2010-01-27 | ソニー株式会社 | Data distribution system, data processing apparatus, data processing method, and computer program |
| JP2007150845A (en) * | 2005-11-29 | 2007-06-14 | Samsung Electronics Co Ltd | Data reproducing apparatus, data reproducing method, and program thereof |
| JP5269850B2 (en) * | 2010-09-17 | 2013-08-21 | 株式会社東芝 | Broadcast material reproduction apparatus and data transmission method |
| JP5861088B2 (en) * | 2011-02-28 | 2016-02-16 | パナソニックＩｐマネジメント株式会社 | Intercom system for housing complex |
| CN110545469B (en) * | 2018-05-29 | 2021-07-06 | 北京字节跳动网络技术有限公司 | Webpage playing method, device and storage medium of non-streaming media file |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07123115A (en) * | 1993-10-21 | 1995-05-12 | Matsushita Electric Ind Co Ltd | Transmission equipment |
| JPH09214935A (en) * | 1996-02-02 | 1997-08-15 | Mitsubishi Electric Corp | Video information service system |
| JP3912841B2 (en) * | 1997-04-10 | 2007-05-09 | キヤノン株式会社 | Data communication device |
-
1999
- 1999-08-18 JP JP23157399A patent/JP3910763B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001057570A (en) | 2001-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0727126B1 (en) | Mpeg information signal conversion system | |
| CN103559165A (en) | Video distribution system including progressive playback | |
| JP3290851B2 (en) | Stream multiplexing apparatus, stream multiplexing method, and recording medium | |
| JP3557216B2 (en) | Interactive communication system | |
| JP2003114845A (en) | Media conversion method and media conversion device | |
| JP2001229616A (en) | Data recording method and data recorder using the method | |
| KR100744594B1 (en) | Content reproduce system, reproduce device, reproduce method, and distribution server | |
| JP2007288364A (en) | Information transmission device and information transmission method | |
| JP2011029936A (en) | File transfer system and file transfer method | |
| JP3910763B2 (en) | Data multiplexing apparatus and recording medium recording program | |
| JPH11187367A (en) | Video transmitter, video receiver and video transmitting system using these | |
| JP4715306B2 (en) | STREAM CONTROL DEVICE, STREAM REPRODUCTION METHOD, VIDEO RECORDING / REPRODUCTION SYSTEM | |
| JP3557217B2 (en) | Storage medium device for storing information data such as video data and / or audio data and information providing device | |
| KR101731829B1 (en) | Device and method for processing digital contents in digital video receiver | |
| US7627226B2 (en) | Reproducing apparatus, reproducing method, transmitting apparatus and transmitting method | |
| JP3557219B2 (en) | Information-on-demand system with multicasting function | |
| JP3557218B2 (en) | Information service system | |
| JP4484220B2 (en) | Video distribution device | |
| JP3894362B2 (en) | Multiple moving image viewing apparatus and recording medium | |
| US6185366B1 (en) | Method for recording and reproducing coded signal and, apparatus for recording and reproducing the coded signals transmitted | |
| JPH05252495A (en) | Transmission method for television program | |
| JP3670581B2 (en) | Video / audio distribution apparatus and video / audio file analysis method | |
| JP3907973B2 (en) | Data transmission device | |
| JP2000333104A (en) | Video image storage method, video image distribution system and storage medium | |
| JPH10276408A (en) | Video information providing control method and system therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061031 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070125 |
|
| LAPS | Cancellation because of no payment of annual fees |