JP3925311B2 - データ配信システム - Google Patents
データ配信システム Download PDFInfo
- Publication number
- JP3925311B2 JP3925311B2 JP2002161911A JP2002161911A JP3925311B2 JP 3925311 B2 JP3925311 B2 JP 3925311B2 JP 2002161911 A JP2002161911 A JP 2002161911A JP 2002161911 A JP2002161911 A JP 2002161911A JP 3925311 B2 JP3925311 B2 JP 3925311B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- decoding
- reception
- time
- data stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000005540 biological transmission Effects 0.000 claims description 133
- 238000009825 accumulation Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 8
- 238000002716 delivery method Methods 0.000 claims 3
- 238000013127 simulated treatment comparison Methods 0.000 description 52
- 238000010586 diagram Methods 0.000 description 18
- 238000012937 correction Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009751 slip forming Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/062—Synchronisation of signals having the same nominal but fluctuating bit rates, e.g. using buffers
- H04J3/0632—Synchronisation of packets and cells, e.g. transmission of voice via a packet network, circuit emulation service [CES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介してデジタルコンテンツを配信するデータ配信システムに関するものである。
【０００２】
【従来の技術】
近年、インターネット等のネットワークを介したデジタル動画像やデジタル音声等のデジタルコンテンツのリアルタイム配信が行われ始めている。
【０００３】
ネットワークを利用したコンテンツのリアルタイム配信システム１０１は、図１０に示すように、コンテンツを送信する送信装置１０２と、送信されたコンテンツを受信する受信装置１０３とにより構成される。送信装置１０２は、例えば、ネットワークを介してコンテンツを配信する例えばコンテンツプロバイダ側の装置である。受信装置１０３は、ネットワークを介して提供されるコンテンツを視聴するユーザ側の装置である。ネットワーク１０４は、例えば、インターネット、ケーブル放送、デジタル地上波放送、衛星通信システム等のデータ伝送が可能な媒体である。このようなコンテンツ配信システムでは、ネットワーク１０４を介して送信装置１０２から受信装置１０３にコンテンツがリアルタイムで配信される。
【０００４】
送信装置１０２は、コンテンツをデータ配信用のデータストリームに符号化するエンコーダ１１１と、符号化されたデータストリームを一旦蓄積する送信バッファ１１２とを備えている。また、受信装置１０３は、受信したデータストリームを一旦蓄積する受信バッファ１２１と、データストリームからデジタルコンテンツを復号するデコーダ１２２とを備えている。
【０００５】
データ配信時における送信装置１０２及び受信装置１０３の動作について以下説明する。
【０００６】
送信装置１０２には、リアルタイムで順次生成される例えばビデオデータやオーディオデータ等のコンテンツが入力される。送信装置１０２のエンコーダ１１１は、順次入力されてくるコンテンツを符号化し、所定の伝送形式のデータストリームを生成する。エンコーダ１１１は、生成したデータストリームを、送信バッファ１１２に一旦格納する。そして、送信装置１０２は、送信バッファ１１２に格納されているデータストリームをネットワーク１０４を介して受信装置１０３に送信する。
【０００７】
送信装置１０２は、ネットワーク１０４にデータストリームを送出する際に、受信装置１０３の基準クロックを制御するための基準時間情報（ＳＴＣ：System Time Clock）、並びに、各アクセスユニットのデコード時刻を示すタイムスタンプ（ＤＴＳ：Decoding Time Stamp）を、データストリームに付加する。送信装置１０２は、データストリームの到着時刻を想定し、その想定した到着時刻に基づき発生されたＳＴＣをデータストリーム内に離散的に挿入しておく。すなわち、送信装置１０２は、受信側の基準時刻を符号化時に想定して、その想定した基準時刻に従ったＳＴＣをデータストリームに挿入する。送信装置１０２は、各アクセスユニットのデコード時刻を想定し、各アクセスユニットに対してその想定したデコード時刻が記述されたＤＴＳを付加する。なお、アクセスユニットは、単独でデータを復号することができるデータストリームの最小単位である。例えば、動画像のデータストリームであれば１フレームがアクセスユニットに該当することとなる。ネットワーク１０３を介して配信されるデータストリームは、複数のアクセスユニットが連続して形成されたデータ列である。
【０００８】
受信装置１０３は、ネットワーク１０４を介してデータストリームを受信すると、そのデータストリームに付加されているＳＴＣを抜き出す。受信装置１０３は、データストリーム上に離散的に配置されたＳＴＣからＰＬＬ制御し、ＳＴＣに記述された時刻情報に同期した基準クロックを再生する。受信装置１０３は、この基準クロックに基づき復号動作の時刻を制御する。
【０００９】
受信装置１０３の受信バッファ１２１は、受信したデータストリームを一旦格納する。受信装置１０３のデコーダ１２２は、アクセスユニットに付加されているＤＴＳを参照し、このＤＴＳと基準クロックとが一致したときに、そのアクセスユニットを受信バッファ１２１から抜き出して復号を行う。
【００１０】
ところで、リアルタイム配信システム１０１では、ネットワークの伝送エラー等が生じていない定常状態においては、送信バッファ１１２及び受信バッファ１２１に一定のバッファ占有量を確保した状態で、データストリームの配信がされることとなる。データ配信時における送信バッファ１１２及び受信バッファ１２１のバッファ占有量について、図１１を参照して説明をする。
【００１１】
データ配信動作が開始されると、送信装置１０１は、コンテンツを１アクセスユニットごとに符号化していく。符号化されたデータは、送信バッファ１１２に格納される。このとき、まだ、送信バッファ１１２からネットワーク１０４へデータの送出は開始されていない。そのため、データ配信の開始時には、送信バッファ１１２のバッファ占有量が階段状に増加していく。
【００１２】
続いて、送信バッファ１１２に、ある一定量のデータストリームが確保されると、データストリームの送出が開始される。この一定量のことを、ここでは送信マージンＢＳという。送信マージンは、例えば、エンコーダ１１１による符号化エラー等が生じてデータストリームが予定どおりに符号化されなかったときでも、ネットワーク１０４に送出されるデータストリームの連続性が途切れないように設定されたマージンである。データの送出が開始された後は、送信バッファ１１２には、所定の伝送レートで連続的にデータが抜き出されていくとともに、１つのアクセスユニットに対する符号化間隔ごとに一定量のデータが蓄積されていく。なお、送信装置１０２では、符号化エラー等が生じていない定常状態のときには、データ転送レートとエンコードレートとのバランスがとられており、送信バッファ１１２内のバッファ占有量が、送信マージンを下回らず一定となる。
【００１３】
ネットワーク１０４に対してデータの送出が開始されると、受信装置１０３の受信バッファ１２１に対してデータの蓄積が開始される。このとき、まだ、データストリームの復号は開始されていない。そのため、受信バッファ１２１のバッファ占有量は、データの伝送レートで増加していく。
【００１４】
続いて、受信バッファ１２１に、ある一定量のデータストリームが確保されると、データストリームの復号が開始される。この一定量のことを、ここでは受信マージンＢＲという。受信マージンは、ネットワーク１０４の伝送品質により、送信装置１０２から受信装置１０３へのデータ転送時間にジッタが生じる場合であっても、復号の連続性が途切れないように設定されたマージンである。つまり、ネットワーク１０４のデータ伝送時間にジッタある場合、データストリームの到着時間が、送信側で想定した到着時間からずれることがある。このずれが大きいと、復号が開始されるまでに、データストリームが到着せず、出力する画像や音声が途切れてしまうという状態となる。受信マージンは、このような出力停止の状態を回避するために設けられたマージンである。受信マージンの容量は、ネットワーク１０４の伝送品質に応じて、データ転送に或る一定以上のジッタが生じることを想定し、その想定した大きさ以上に設定されている。
【００１５】
データの復号が開始された後は、受信バッファ１２１には、所定の伝送レートで連続的にデータが入力されるとともに、１つのアクセスユニットに対する復号間隔ごとに一定量のデータが抜き出されていく。なお、受信装置１０３では、ネットワーク１０４にジッタ等が生じていない定常状態のときには、データ転送レートとデコードレートとのバランスがとられており、受信バッファ１２１内のバッファ占有量が、受信マージンを下回らず一定となる。
【００１６】
【発明が解決しようとする課題】
ところで、以上のようにネットワーク１０４のデータ伝送時間のジッタを考慮して、受信マージンを設定した場合、エンコードが開始されてからデコードが開始されるまでの遅延時間（エンドトゥエンドディレイタイム）が非常に長くなる。つまり、送信側でコンテンツの配信を開始してから、実際にユーザがコンテンツを鑑賞できるまでの遅延時間が、非常に長くなる。
【００１７】
本発明は、データの送信を開始してからデコードを開始するまでの時間を短縮したデータ配信システム、データ配信方法、受信装置及び送信装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明は、ネットワークを介してデータストリームを送信する送信装置と、当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームをデコーダにより単独でデータを復号することができる単位であるアクセスユニット毎に復号する受信装置とを備えるデータ配信システムにおいて、上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらず受信したデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定されており、上記受信装置は、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された上記デコーダの復号動作速度よりも遅い復号動作速度で受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記デコーダの復号動作速度を符号化時に想定された復号動作速度に変更することを特徴とする。
【００１９】
また、本発明は、送信側がネットワークを介してデータストリームを送信し、受信側が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームをデコーダにより単独でデータを復号することができる単位であるアクセスユニット毎に復号するデータ配信方法において、上記ネットワークを介したデータ転送時間の変動に関わらず受信したデータストリームを連続して復号できる受信バッファのデータ蓄積量（連続復号可能データ蓄積量）を想定し、上記受信側は、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された上記デコーダの復号動作速度よりも遅い復号動作速度で、受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記デコーダの上記復号動作速度を符号化時に想定された復号速度に変更することを特徴とする。
【００２０】
また、本発明は、送信装置がネットワークを介してデータストリームを送信し、受信装置が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームをデコーダにより単独でデータを復号することができる単位であるアクセスユニット毎に復号するデータ配信システムにおける受信装置において、上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらずデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定され、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された上記デコーダの復号動作速度よりも遅い復号速度で、受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記デコーダの復号動作速度を符号化時に想定された復号動作速度に変更することを特徴とする。
【００２１】
さらに、本発明は、送信装置がネットワークを介してデータストリームを送信し、受信装置が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームをデコーダにより単独でデータを復号することができる単位であるアクセスユニット毎に復号するデータ配信システムにおける送信装置において、上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらずデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定され、上記受信装置に対して、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された上記デコーダの復号動作速度よりも遅い復号動作速度で、受信したデータストリームの復号を開始させ、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記デコーダの復号動作速度を符号化時に想定された復号動作速度に変更させ、上記デコーダにより基準クロックの速度に応じた復号動作速度でデータストリームを復号させることを特徴とする送信装置。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態として、ネットワークを利用したコンテンツのリアルタイム配信システムについて説明をする。
【００２３】
本発明の実施の形態のコンテンツのリアルタイム配信システムの構成図を図１に示す。リアルタイム配信システム１は、コンテンツを送信する送信装置２と、送信されたコンテンツを受信する受信装置３とにより構成される。送信装置２は、例えば、ネットワークを介してコンテンツを配信する例えばコンテンツプロバイダ側の装置である。受信装置３は、ネットワークを介して提供されるコンテンツを視聴するユーザ側の装置である。ネットワーク４は、例えば、インターネット、ケーブル放送、デジタル地上波放送、衛星通信システム等のデータ伝送が可能な媒体である。このようなコンテンツ配信システムでは、ネットワーク４を介して送信装置２から受信装置３にコンテンツがリアルタイムで配信される。
【００２４】
送信装置２は、コンテンツをデータ配信用のデータストリームに符号化するエンコーダ１１と、符号化されたデータストリームを一旦蓄積する送信バッファ１２とを備えている。また、受信装置３は、受信したデータストリームを一旦蓄積する受信バッファ１３と、データストリームからデジタルコンテンツを復号するデコーダ１４とを備えている。
【００２５】
データ配信時における送信装置２及び受信装置３の動作について以下説明する。
【００２６】
送信装置２には、リアルタイムで順次生成されるコンテンツが入力される。送信装置２のエンコーダ１１は、順次入力されてくるコンテンツを符号化し、所定の伝送形式のデータストリームを生成する。エンコーダ１１は、生成したデータストリームを、送信バッファ１２に一旦格納する。そして、送信装置２は、送信バッファ１２に格納されたデータストリームを、ネットワーク４を介して受信装置３に送信する。
【００２７】
送信装置２は、ネットワーク４にデータストリームを送出する際に、受信装置３の基準クロックを制御するためのＳＴＣ、並びに、各アクセスユニットのデコード時刻を示すＤＴＳを、データストリームに付加する。送信装置２は、データストリームの到着時刻を想定し、その想定した到着時刻に基づき発生されたＳＴＣをデータストリーム内に離散的に挿入しておく。すなわち、送信装置２は、受信側の基準時刻を符号化時に想定して、その想定した基準時刻に従ったＳＴＣをデータストリームに挿入する。送信装置２は、各アクセスユニットのデコード時刻を想定し、各アクセスユニットに対してその想定したデコード時刻が記述されたＤＴＳを付加する。
【００２８】
受信装置３は、ネットワーク４を介してデータストリームを受信すると、そのデータストリームに付加されているＳＴＣを抜き出す。受信装置３は、データストリーム上に離散的に配置されたＳＴＣからＰＬＬ制御し、ＳＴＣに記述された時刻情報に同期した基準クロックを再生する。受信装置３は、この基準クロックに基づき復号動作の時刻を制御する。
【００２９】
受信装置３の受信バッファ１３は、受信したデータストリームを一旦格納する。受信装置３のデコーダ１４は、アクセスユニットに付加されているＤＴＳを参照し、このＤＴＳと基準クロックとが一致したときに、そのアクセスユニットを受信バッファ１３から抜き出して復号を行う。
【００３０】
ここで、受信装置３では、受信バッファ１３に格納されているデータストリームの容量が受信マージンＢＲに達する前に、符号化時に想定されている通常の復号速度より遅い速度で、復号を開始する。つまり、受信したデータストリームに対する通常の符号開始時刻よりも早い時刻から復号を開始し、且つ、受信したデータストリームに対する通常の復号速度よりも遅い速度で、復号を行う。
【００３１】
符号化時に想定されている通常の復号速度と、ネットワーク４上のデータ転送レートとはバランスがとられている。そのため、符号化時に想定されている復号速度より遅い速度で復号を行った場合、復号を連続して行っていったとしても、受信バッファ１３のバッファ占有量は増加し続けることとなる。
【００３２】
続いて、受信装置３は、受信バッファ１３に対して受信マージン分のデータストリームが確保されると、復号速度を、符号化時に想定されている通常の復号速度に変更する。符号化時に想定されている通常の復号速度で復号を行った場合には、受信バッファ１３のバッファ占有量は、受信マージンの状態を維持することとなる。
【００３３】
つぎに、以上のような制御を行った場合における送信バッファ１２及び受信バッファ１３のバッファ占有量の遷移について、図２を参照して説明をする。
【００３４】
データ配信動作が開始されると、送信装置１は、コンテンツを１アクセスユニットごとに符号化していく。符号化されたデータは、送信バッファ１２に格納される。このとき、まだ、送信バッファ１２からネットワーク４へデータの送出は開始されていない。そのため、データ配信の開始時には、送信バッファ１２のバッファ占有量が階段状に増加していく。
【００３５】
続いて、送信バッファ１２に、送信マージン分のデータストリームが確保されると、データストリームの送出が開始される。データの送出が開始された後は、送信バッファ１２には、所定の伝送レートで連続的にデータが抜き出されていくとともに、１つのアクセスユニットに対する符号化間隔ごとに一定量のデータが蓄積されていく。なお、送信装置２では、エンコードエラー等が生じてない定常状態のときには、データ転送レートとエンコードレートとのバランスがとられており、送信バッファ１２内のバッファ占有量が、送信マージンを下回らず一定となる。
【００３６】
ネットワーク４へのデータの送出が開始されると、受信装置３の受信バッファ１３に対してデータの蓄積が開始される。このとき、まだ、データストリームの復号は開始されていない。そのため、受信バッファ１３のバッファ占有量は、データの伝送レートで増加していく。
【００３７】
続いて、受信バッファ１３に、少なくとも１アクセスユニット分以上のデータが蓄積されると、データストリームの復号が開始される。ここで、データストリームの復号の開始時刻は、データストリームの符号化時に想定されている時刻よりも、早いタイミングとする。つまり、受信バッファ１３に対して受信マージン分のデータが確保された本来のタイミングよりも、早いタイミングで復号を開始する。さらに、このときの復号速度は、データストリームの符号化時に想定されている通常の復号速度よりも、遅い速度で復号を行っていく。低速で復号をする方法としては、例えば、受信装置３の基準クロックを遅くしたり、各アクセスユニットの復号間隔を広げたりすることにより実現できる。低速復号が開始された後は、受信バッファ１３には、所定の伝送レートで連続的にデータが入力されるとともに、１つのアクセスユニットに対する復号間隔ごとに一定量のデータが抜き出されていく。ここで、通常の復号速度で復号を行っていった場合には、データの伝送レートと、復号で抜き出されるデータ量のバランスがとられているため、受信バッファ１３のバッファ占有量は平均すると一定となるが、ここでは、復号速度が通常の速度よりも低速となっているので、受信バッファ１３のバッファ占有量は増加していく。そして、受信装置３は、受信バッファ１３に、受信マージン分のデータが確保されると、復号速度を通常の復号速度に変更する。復号速度を、通常の復号速度に変更したのちは、データ転送レートと復号速度とのバランスがとられた状態となり、受信バッファ１３のバッファ占有量は受信マージンを下回らず一定となる。
【００３８】
以上のように本発明の実施の形態のリアルタイム配信システムでは、データストリームの復号開始時刻を、符号化時に想定されている通常の復号開始時刻よりも早くすることができる。従って、本発明の実施の形態のリアルタイム配信システムでは、符号化が開始されてから復号が開始されるまでの遅延時間（エンドトゥエンドディレイタイム）を短くすることができる。つまり、送信側でコンテンツの配信を開始してから、実際にユーザがコンテンツを鑑賞できるまでの遅延時間を短くすることができる。
【００３９】
なお、本発明は、リアルタイム配信のみならず、予めエンコード済みのデータストリームをサーバに格納しておき配信するノンリアルタイム配信にも適用することができる。具体的には、リアルタイム配信システムの送信マージンを無限に大きくしたモデルをノンリアルタイム配信システムとすれば、本実施の形態のリアルタイム配信システム１をそのままノンリアルタイム配信に適用することができる。
【００４０】
つぎに、以上のような本実施の形態のリアルタイム配信システム１を実現するための、送信装置及び受信装置の第１〜第４の具体的な構成例を示す。
【００４１】
まず、第１の適用例のリアルタイム配信システムについて説明をする。図３に第１の適用例の送信装置のブロック構成図を示し、図４に第１の適用例のリアルタイム配信システムのブロック構成図を示す。第１の適用例は、コンテンツとしてビデオデータを配信する場合に適用されるリアルタイム配信システムである。
【００４２】
第１の適用例の送信装置２は、図３に示すように、ビデオエンコーダ（Ｖ．エンコーダ）２１と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）２２と、マルチプレクサ（ＭＵＸ）２３と、ストリームバッファ２４と、ＳＴＣ発生部２５と、ＤＴＳ制御部２６と、エンコード制御部２７とを備えて構成される。
【００４３】
ビデオエンコーダ２１には、ベースバンドのビデオデータが入力される。ビデオエンコーダ２１は、例えばＭＰＥＧ-２やＭＰＥＧ-４といった符号化方式に従い、ベースバンドのビデオデータを符号化し、ビデオエレメンタリストリームを生成する。生成されたビデオエレメンタリストリームは、ビデオエレメンタリバッファ２２に格納される。
【００４４】
ＳＴＣ発生部２５は、ネットワーク上に伝送する多重化ストリームに挿入するＳＴＣを生成する。生成されたＳＴＣは、マルチプレクサ２３に供給される。
【００４５】
マルチプレクサ２３は、例えばＭＰＥＧ-２システムズ等のデータ伝送規格に従い、ビデオエレメンタリバッファ２２に格納されているビデオエレメンタリストリーム、エンコード制御部２８により生成されるシステムデータ等を多重化して、多重化ストリームを生成する。また、マルチプレクサ２３は、多重化ストリームの受信装置３への到着時間を想定して、多重化ストリームに対して離散的にＳＴＣを挿入する。これとともに、マルチプレクサ２３は、各アクセスユニット（例えばフレーム）に対してＤＴＳ及びＰＴＳ（Presentation Time Stamp）を付加する。なお、ＤＴＳ及びＰＴＳは、ビデオエンコーダ２１による符号化時に付加してもよい。マルチプレクサ２３により生成された多重化ストリームは、ストリームバッファ２４に格納される。
【００４６】
ストリームバッファ２４は、マルチプレクサ２４により生成された多重化ストリームを一旦格納したのち、ネットワーク４に送出を行う。
【００４７】
ＤＴＳ制御部２６は、マルチプレクサ２３により付加されたＤＴＳに対して補正を行う。
【００４８】
エンコード制御部２７は、送信装置２の各回路の制御、並びに、ネットワーク４を介して受信装置３に伝送するシステムデータの生成等を行う。
【００４９】
第１の適用例の受信装置３は、図４に示すように、ＳＴＣ検出部３１と、時間情報比較部３２と、クロック制御部３３と、ストリームバッファ３４と、デマルチプレクサ（Ｄｅ-ＭＵＸ）３５と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）３６と、ビデオデコーダ（Ｖ．デコーダ）３７と、出力制御部３８と、デコード制御部３９とを備えて構成される。
【００５０】
受信装置３は、ネットワーク４を介して送信装置２から伝送された多重化ストリームを受信する。受信された多重化ストリームは、ＳＴＣ検出部３１に入力される。
【００５１】
ＳＴＣ検出部３１は、受信した多重化ストリームからＳＴＣを抽出し、時間情報比較器３２に供給する。
【００５２】
時間情報比較部３２は、多重化ストリームから抽出したＳＴＣと、クロック制御部３３により生成された基準クロックとを比較し、その誤差情報を検出する。検出された誤差情報は、クロック制御部３３に供給される。
【００５３】
クロック制御部３３は、時間情報比較部３２により検出された誤差情報に基づきＰＬＬ制御を行い、多重化ストリームに含められたＳＴＣに同期した基準クロックを生成する。クロック制御部３３により生成された基準クロックは、受信装置３の基準時間情報として、各回路に用いられる。
【００５４】
ストリームバッファ３４は、受信した多重化ストリームを格納する。
【００５５】
デマルチプレクサ３５は、ストリームバッファ３４に格納されている多重化ストリームを、各要素ごとに分割する。第１の適用例では、ビデオエレメンタリストリームとシステムデータとに分割する。システムデータは、デコード制御部３９に供給され、ビデオエレメンタリストリームはビデオエレメンタリバッファ３６に格納される。
【００５６】
ビデオデコーダ３７は、例えばＭＰＥＧ-２やＭＰＥＧ-４といった符号化方式に従い、ビデオエレメンタリストリームを復号し、ベースバンドのビデオデータを生成する。生成されたベースバンドのビデオデータは、出力制御部３８に供給される。
【００５７】
出力制御３８は、復号されたビデオデータの出力制御を行う。
【００５８】
デコード制御部３９は、送信装置３０の各回路の制御、並びに、ネットワーク４を介して受信装置３に伝送されたシステムデータに基づく動作を行う。
【００５９】
以上のような第１の適用例のリアルタイム配信システムでは、受信バッファ１３に対応するバッファは、ストリームバッファ３４及びビデオエレメンタリバッファ３６となる。
【００６０】
このような第１の適用例のリアルタイム配信システムでは、ビデオデータの復号間隔を、符号化時に想定した通常の復号間隔よりも長くすることで、復号を行いながらデータの蓄積を実現している。具体的には、送信装置２側のＤＴＳ制御部２６が、ビデオエレメンタリストリームに付加されているＤＴＳを補正することで、復号間隔を制御している。
【００６１】
ＤＴＳ制御部２６によるＤＴＳの具体的な補正方法について説明をする。
【００６２】
まず、ＤＴＳ制御部２６によりＤＴＳの補正が行われなかった場合、受信装置３は、ビデオエレメンタリストリームが受信マージンに達した時点で復号を開始するとともに、符号化時に想定された通常の復号間隔でビデオエレメンタリストリームの復号を行っていくこととなる。
【００６３】
復号の開始時刻を早めようとする時間間隔をオフセット時間Ｔｘとする。つまり、通常の復号開始点からの減算する時間間隔をオフセット時間Ｔｘとする。ＤＴＳ制御部２６は、ビデオエレメンタリストリームの最初のアクセスユニットに付加されているＤＴＳの値から、このオフセット時間Ｔｘ分減算する。この結果、符号化時に想定されているデコード開始タイミングよりも、早いタイミングで最初のアクセスユニットの復号が開始される。つまり、受信装置３が蓄積する多重化ストリーム量が受信マージンに達したときのタイミングよりも、早いタイミングで最初のアクセスユニットのデコードが開始される。
【００６４】
続いて、ストリームの２番目以降のアクセスユニットに付加されているＤＴＳからも、オフセット時間Ｔｘを減算する。ただし、符号化時に想定されている通常の復号間隔よりも長くなるように、つまり、アクセスユニットの間隔が通常の間隔よりも長くなるように、オフセット時間Ｔｘをアクセスユニット毎に徐々に減少させ、ＤＴＳの補正を行う。オフセット時間Ｔｘを減少させていく時間間隔は、オフセット時間Ｔｘが０となった時点で、受信装置３に蓄積される多重化ストリームが受信マージンに達するような時間間隔に設定する。
【００６５】
続いて、オフセット時間Ｔｘが０となったのちのアクセスユニットに対しては、ＤＴＳの補正を行わない。従って、受信装置３に蓄積される多重化ストリームが受信マージンに達する前は、通常の復号間隔よりも長い間隔でアクセスユニットが復号されていき、受信装置３に蓄積される多重化ストリームが受信マージンに達した後は、通常の復号間隔でアクセスユニットが復号されることとなる。
【００６６】
以上のように第１の適用例のリアルタイム配信システムでは、送信側で復号間隔の制御を行い、受信側は通常の装置で処理が行われる。
【００６７】
つぎに、第２の適用例のリアルタイム配信システムについて説明をする。第２の適用例のリアルタイム配信システムでは、送信装置２の構成が、図３に示す第１の適用例の送信装置２のＤＴＳ制御部２６を除いた構成と同一であり、受信装置３の構成が、図４に示す第１の適用例の受信装置３の構成と同一である。第２の適用例の送信装置２及び受信装置３の図示は省略する。
【００６８】
第２の適用例のリアルタイム配信システムも、第１の適用例のリアルタイム配信システムと同様に、ビデオデータの復号間隔を、符号化時に想定した通常の復号間隔よりも長くすることで、復号を行いながらデータの蓄積を実現している。具体的に、第２の適用例のリアルタイム配信システムでは、ビデオエレメンタリストリームに付加されているＤＴＳに関わらず、ビデオデコーダ３７がアクセスユニットの復号を行うことによって、復号間隔を制御している。
【００６９】
まず、ビデオデコーダ３７が、ビデオエレメンタリストリームに付加されているＤＴＳに従って復号を行っていった場合、ビデオエレメンタリストリームが受信マージンに達した時点で復号を開始するとともに、符号化時に想定された通常の復号間隔でビデオエレメンタリストリームの復号を行っていくこととなる。
【００７０】
これに対して、第２の適用例のビデオデコーダ３９は、図５に示すように、ビデオエレメンタリバッファ３６に１アクセスユニット以上のデータが格納されると（ステップＳ１）、通常の復号間隔以上の復号間隔で、各アクセスユニットの復号を開始する（ステップＳ２）。続いて、通常の復号間隔以上の復号間隔で各アクセスユニットに対する復号を行いながら、ビデオエレメンタリバッファ３６及びストリームバッファ３４に格納されているデータ量を検出し、受信マージン以上の多重化ストリームが格納されたか否かを判断する（ステップＳ３）。受信マージン以上の多重化ストリームが格納されていれば、以後、通常の復号間隔で復号を開始する。
【００７１】
以上のように第２の適用例のリアルタイム配信システムでは、受信側で復号間隔の制御を行い、送信側では通常の装置で処理が行われる。
【００７２】
つぎに、第３の適用例のリアルタイム配信システムについて説明をする。第３の適用例は、コンテンツとしてビデオデータ及びオーディオデータを配信する場合に適用されるリアルタイム配信システムである。図６に第３の適用例の送信装置のブロック構成図を示し、図７に第３の適用例のリアルタイム配信システムのブロック構成図を示す。
【００７３】
第３の適用例の送信装置２は、図６に示すように、ビデオエンコーダ（Ｖ．エンコーダ）４１と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）４２と、オーディオエンコーダ（Ａ．エンコーダ）４３と、オーディオエレメンタリバッファ（Ａ．Ｅ．バッファ）４４と、マルチプレクサ（ＭＵＸ）４５と、ストリームバッファ４６と、ＳＴＣ発生部４７と、ＳＴＣ制御部４８と、エンコード制御部４９とを備えて構成される。
【００７４】
ビデオエンコーダ４１には、ベースバンドのビデオデータが入力される。ビデオエンコーダ４１は、例えばＭＰＥＧ-２やＭＰＥＧ-４といった符号化方式に従い、ベースバンドのビデオデータを符号化し、ビデオエレメンタリストリームを生成する。生成されたビデオエレメンタリストリームは、ビデオエレメンタリバッファ４２に格納される。
【００７５】
オーディオエンコーダ４３には、ベースバンドのオーディオデータが入力される。オーディオエンコーダ４３は、例えばＭＰＥＧ-２やＭＰＥＧ-４といった符号化方式に従い、ベースバンドのオーディオデータを符号化し、オーディオエレメンタリストリームを生成する。生成されたオーディオエレメンタリストリームは、オーディオエレメンタリバッファ４４に格納される。
【００７６】
ＳＴＣ発生部４７は、伝送する多重化ストリームに挿入するＳＴＣを生成する。生成されたＳＴＣは、時間情報制御部４８に供給される。
【００７７】
ＳＴＣ制御部２６は、マルチプレクサ２３により付加されたＳＴＣに対して補正を行う。補正されたＳＴＣは、マルチプレクサ４５に供給される。
【００７８】
マルチプレクサ４５は、例えばＭＰＥＧ-２システムズ等のデータ伝送規格に従い、ビデオエレメンタリバッファ４２に格納されているビデオエレメンタリストリーム、オーディオエレメンタリバッファ４４に格納されているオーディオエレメンタリストリーム、エンコード制御部４９により生成されるシステムデータ等を多重化して、伝送用の多重化ストリームを生成する。また、マルチプレクサ４５は、多重化ストリームに対して離散的にＳＴＣを挿入するとともに、各アクセスユニット（例えばフレーム）に対してＤＴＳを付加する。受信装置３は、マルチプレクサ２３により生成された多重化ストリームは、ストリームバッファ２４に格納される。
【００７９】
ストリームバッファ２４は、マルチプレクサ２４により生成された多重化ストリームを一旦格納したのち、ネットワーク４に送出を行う。
【００８０】
エンコード制御部２７は、送信装置２の各回路の制御、並びに、ネットワーク４を介して受信装置３に伝送するシステムデータの生成等を行う。
【００８１】
第３の適用例の受信装置３は、図７に示すように、ＳＴＣ検出部５１と、時間情報比較部５２と、クロック制御部５３と、ストリームバッファ５４と、デマルチプレクサ（Ｄｅ-ＭＵＸ）５５と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）５６と、ビデオデコーダ（Ｖ．デコーダ）５７と、オーディオエレメンタリバッファ（Ａ．Ｅ．バッファ）５８と、オーディオデコーダ（Ａ．デコーダ）５９と、出力制御部６０と、デコード制御部６１とを備えて構成される。
【００８２】
受信装置３は、ネットワーク４を介して送信装置２から伝送された多重化ストリームを受信する。受信された多重化ストリームは、ＳＴＣ検出部５１に入力される。
【００８３】
ＳＴＣ検出部５１は、受信した多重化ストリームからＳＴＣを抽出し、抽出したＳＴＣを時間情報比較器５２に供給する。
【００８４】
時間情報比較部５２は、多重化ストリームから抽出したＳＴＣと、クロック制御部５３により生成された基準クロックとを比較し、その誤差情報を検出する。検出された誤差情報は、クロック制御部５３に供給される。
【００８５】
クロック制御部５３は、時間情報比較部５２により検出された誤差情報に基づきＰＬＬ制御を行い、多重化ストリームに含められたＳＴＣに同期した基準クロックを生成する。クロック制御部３３により生成された基準クロックは、受信装置３の基準時間情報として各回路に用いられる。
【００８６】
ストリームバッファ５４は、受信した多重化ストリームを格納する。
【００８７】
デマルチプレクサ５５は、ストリームバッファ５４に格納されている多重化ストリームを、各要素ごとに分割する。第３の適用例では、ビデオエレメンタリストリームとオーディオエレメンタリストリームとシステムデータとに分割する。システムデータは、デコード制御部６１に供給され、ビデオエレメンタリストリームはビデオエレメンタリバッファ５６に格納され、オーディオエレメンタリストリームはオーディオエレメンタリバッファ５８に格納される。
【００８８】
ビデオデコーダ５７は、ビデオエレメンタリバッファ５６に格納されているビデオエレメンタリストリームを１アクセスユニットごとに読み出して、例えばＭＰＥＧ-２やＭＰＥＧ-４といった符号化方式に従い、ベースバンドのビデオデータを復号する。なお、ビデオデコーダ５７は、ビデオエレメンタリストリームの各アクセスユニットに含まれているＤＴＳと、クロック制御部５３から発生される基準クロックとを比較し、ＤＴＳと基準クロックとが一致したタイミングで、各アクセスユニットの復号を行う。復号されたベースバンドのビデオデータは、出力制御部６０に供給される。
【００８９】
オーディオデコーダ５９は、オーディオエレメンタリバッファ５８に格納されているオーディオエレメンタリストリームを１アクセスユニットごとに読み出して、例えばＭＰＥＧ-２やＭＰＥＧ-４といった符号化方式に従い、ベースバンドのオーディオデータを復号する。なお、オーディオデコーダ５９は、オーディオエレメンタリストリームの各アクセスユニットに含まれているＤＴＳと、クロック制御部５３から発生される基準クロックとを比較し、ＤＴＳと基準クロックとが一致したタイミングで、各アクセスユニットの復号を行う。復号されたベースバンドのオーディオデータは、出力制御部６０に供給される。
【００９０】
出力制御部６０は、復号されたビデオデータ及びオーディオデータの出力制御を行う。
【００９１】
デコード制御部６１は、受信装置３内の各回路の制御、並びに、ネットワーク４を介して受信装置３に伝送されたシステムデータに基づく動作を行う。
【００９２】
以上のような第３の適用例のリアルタイム配信システムでは、受信装置３の基準クロックの速度を、符号化時に想定した通常のクロック速度よりも長くすることで、復号を行いながらデータの蓄積を実現している。具体的には、送信装置２側のＳＴＣ制御部４８が、多重化ストリームに付加するＳＴＣを補正することで、基準クロックの速度を制御している。
【００９３】
ＳＴＣ制御部４８によるＳＴＣの具体的な補正方法について説明をする。
【００９４】
まず、ＳＴＣ制御部４８によりＳＴＣの補正が行われなかった場合、受信装置３は、ビデオエレメンタリストリームが受信マージンに達した時点で、ビデオエレメンタリストリーム及びオーディオエレメンタリストリームを同時に復号を開始するとともに、符号化時に想定された基準クロックの速度でビデオエレメンタリストリーム及びオーディオエレメンタリストリームの復号を行っていくこととなる。
【００９５】
ＳＴＣ制御部４８は、最初のアクセスユニットが復号される時刻から、多重化ストリームに付加するＳＴＣにオフセット時間Ｔｙを加算していく。最初のアクセスユニットが復号される時刻は、受信装置３に蓄積されたビデオエレメンタリストリームが受信マージンに達した時刻ではなく、オーディオエレメンタリストリームが受信マージンに達した時刻とする。一般にオーディオデータは、ビデオデータよりもデータ量が少ない。そのため、ネットワークのジッタを考慮した受信マージンは、ビデオデータよりもオーディオデータの方が少なくなる。従って、オーディオデータが受信マージンに達したときに復号を開始すると、ビデオデータはまだ受信マージンに達していないこととなる。
【００９６】
加算するオフセット時間Ｔｙは、最初のアクセスユニットに対しては０とし、時間が進むにつれ増加させていく。
【００９７】
続いて、ビデオデータのデータ蓄積量が受信マージンに達する時刻で、オフセット時間Ｔｙの増加を停止し、以後のＳＴＣには、最後に加算したオフセット時間Ｔｙを加算しつづける。従って、受信装置３に蓄積される多重化ストリームが受信マージンに達する前は、通常の基準クロックよりも速度が遅くなり、受信装置３に蓄積される多重化ストリームが受信マージンに達した後は、通常の基準クロックの速度となる。
【００９８】
以上のように第３の適用例のリアルタイム配信システムでは、送信側で基準クロックの速度制御を行い、受信側では通常の装置で処理が行われる。
【００９９】
つぎに、第４の適用例のリアルタイム配信システムについて説明をする。第４の適用例は、コンテンツとしてビデオデータ及びオーディオデータを配信する場合に適用されるリアルタイム配信システムである。図８に第４の適用例の送信装置のブロック構成図を示し、図９に第４の適用例のリアルタイム配信システムのブロック構成図を示す。なお、第４の適用例を説明するにあたり、第３の適用例の構成要素と同一の構成要素については、同一の符号をつけている。
【０１００】
第４の適用例の送信装置２は、図８に示すように、ビデオエンコーダ（Ｖ．エンコーダ）４１と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）４２と、オーディオエンコーダ（Ａ．エンコーダ）４３と、オーディオエレメンタリバッファ（Ａ．Ｅ．バッファ）４４と、マルチプレクサ（ＭＵＸ）４５と、ストリームバッファ４６と、ＳＴＣ発生部４７と、エンコード制御部４９とを備えて構成される。第４の適用例の送信装置２は、第３の適用例の送信装置のＳＴＣ制御部４８が除かれた構成である。つまり、ＳＴＣの補正が送信側では行われない構成となる。
【０１０１】
第４の適用例の受信装置３は、図９に示すように、ＳＴＣ検出部５１と、時間情報比較部５２と、クロック制御部５３と、ストリームバッファ５４と、デマルチプレクサ（Ｄｅ-ＭＵＸ）５５と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）５６と、ビデオデコーダ（Ｖ．デコーダ）５７と、オーディオエレメンタリバッファ（Ａ．Ｅ．バッファ）５８と、オーディオデコーダ（Ａ．デコーダ）５９と、出力制御部６０と、デコード制御部６１と、基準時間制御部６５とを備えて構成される。
【０１０２】
基準時間制御部６５は、受信装置３内の各回路に供給する基準クロックの値を補正する回路である。ただし、時間情報比較部５２に供給する基準クロックの値に対しては補正を行わない。
【０１０３】
以上のような第４の適用例のリアルタイム配信システムでは、受信装置３の基準クロックの速度を、符号化時に想定した通常のクロック速度よりも長くすることで、復号を行いながらデータの蓄積を実現している。具体的には、受信装置３側の基準時間制御部６５が、基準クロックの速度を制御している。
【０１０４】
基準時間制御部６５による具体的な補正方法について説明をする。
【０１０５】
まず、基準時間制御部６５により基準クロックの補正が行われなかった場合、受信装置３は、ビデオエレメンタリストリームが受信マージンに達した時点で、ビデオエレメンタリストリーム及びオーディオエレメンタリストリームを同時に復号を開始するとともに、符号化時に想定された基準クロックの速度でビデオエレメンタリストリーム及びオーディオエレメンタリストリームの復号を行っていくこととなる。
【０１０６】
基準時間制御部６５は、最初のアクセスユニットが復号される時刻から、多重化ストリームに付加する基準クロックにオフセット時間Ｔｙを加算していく。最初のアクセスユニットが復号される時刻は、受信装置３に蓄積されたビデオエレメンタリストリームが受信マージンに達した時刻ではなく、オーディオエレメンタリストリームが受信マージンに達した時刻とする。一般にオーディオデータは、ビデオデータよりもデータ量が少ない。そのため、ネットワークのジッタを考慮した受信マージンは、ビデオデータよりもオーディオデータの方が少なくなる。従って、オーディオデータが受信マージンに達したときに復号を開始すると、ビデオデータはまだ受信マージンに達していないこととなる。
【０１０７】
続いて、加算するオフセット時間Ｔｙは、復号開始時刻では、その値を０とし、時間が進むにつれ増加させていく。
【０１０８】
続いて、ビデオデータのデータ蓄積量が受信マージンに達する時刻で、オフセット時間Ｔｙの増加を停止し、以後の基準クロックには、最後に加算したオフセット時間Ｔｙを加算しつづける。従って、受信装置３に蓄積される多重化ストリームが受信マージンに達する前は、通常の基準クロックよりも速度が遅くなり、受信装置３に蓄積される多重化ストリームが受信マージンに達した後は、通常の基準クロックの速度となる。
【０１０９】
【発明の効果】
本発明にかかるデータ配信システム及び方法、並びに、送信装置及び受信装置では、データの受信を開始してから受信バッファに対して連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された復号速度よりも遅い復号速度で受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記復号速度を符号化時に想定された復号速度に変更する。
【０１１０】
このため、本発明では、データの送信を開始してからデコードを開始するまでの時間を短縮することができる。
【図面の簡単な説明】
【図１】本発明を適用したデータ配信システムの構成図である。
【図２】本発明を適用したデータ配信システムの送信バッファ及び受信バッファのバッファ占有量を示す図である。
【図３】本発明の第１の適用例の送信装置の具体的なブロック構成図である。
【図４】本発明の第１の適用例の受信装置の具体的なブロック構成図である。
【図５】本発明の第２の適用例の受信装置内のデコーダの処理フローを示す図である。
【図６】本発明の第３の適用例の送信装置の具体的なブロック構成図である。
【図７】本発明の第３の適用例の受信装置の具体的なブロック構成図である。
【図８】本発明の第４の適用例の送信装置の具体的なブロック構成図である。
【図９】本発明の第４の適用例の受信装置の具体的なブロック構成図である。
【図１０】従来のデータ配信システムの構成図である。
【図１１】従来のデータ配信システムの送信バッファ及び受信バッファのバッファ占有量を示す図である。
【符号の説明】
１ データ配信システム、２ 送信装置、３ 受信装置、４ ネットワーク、１１ エンコーダ、１２ 送信バッファ、１３ 受信バッファ、１４ デコーダ
【発明の属する技術分野】
本発明は、ネットワークを介してデジタルコンテンツを配信するデータ配信システムに関するものである。
【０００２】
【従来の技術】
近年、インターネット等のネットワークを介したデジタル動画像やデジタル音声等のデジタルコンテンツのリアルタイム配信が行われ始めている。
【０００３】
ネットワークを利用したコンテンツのリアルタイム配信システム１０１は、図１０に示すように、コンテンツを送信する送信装置１０２と、送信されたコンテンツを受信する受信装置１０３とにより構成される。送信装置１０２は、例えば、ネットワークを介してコンテンツを配信する例えばコンテンツプロバイダ側の装置である。受信装置１０３は、ネットワークを介して提供されるコンテンツを視聴するユーザ側の装置である。ネットワーク１０４は、例えば、インターネット、ケーブル放送、デジタル地上波放送、衛星通信システム等のデータ伝送が可能な媒体である。このようなコンテンツ配信システムでは、ネットワーク１０４を介して送信装置１０２から受信装置１０３にコンテンツがリアルタイムで配信される。
【０００４】
送信装置１０２は、コンテンツをデータ配信用のデータストリームに符号化するエンコーダ１１１と、符号化されたデータストリームを一旦蓄積する送信バッファ１１２とを備えている。また、受信装置１０３は、受信したデータストリームを一旦蓄積する受信バッファ１２１と、データストリームからデジタルコンテンツを復号するデコーダ１２２とを備えている。
【０００５】
データ配信時における送信装置１０２及び受信装置１０３の動作について以下説明する。
【０００６】
送信装置１０２には、リアルタイムで順次生成される例えばビデオデータやオーディオデータ等のコンテンツが入力される。送信装置１０２のエンコーダ１１１は、順次入力されてくるコンテンツを符号化し、所定の伝送形式のデータストリームを生成する。エンコーダ１１１は、生成したデータストリームを、送信バッファ１１２に一旦格納する。そして、送信装置１０２は、送信バッファ１１２に格納されているデータストリームをネットワーク１０４を介して受信装置１０３に送信する。
【０００７】
送信装置１０２は、ネットワーク１０４にデータストリームを送出する際に、受信装置１０３の基準クロックを制御するための基準時間情報（ＳＴＣ：System Time Clock）、並びに、各アクセスユニットのデコード時刻を示すタイムスタンプ（ＤＴＳ：Decoding Time Stamp）を、データストリームに付加する。送信装置１０２は、データストリームの到着時刻を想定し、その想定した到着時刻に基づき発生されたＳＴＣをデータストリーム内に離散的に挿入しておく。すなわち、送信装置１０２は、受信側の基準時刻を符号化時に想定して、その想定した基準時刻に従ったＳＴＣをデータストリームに挿入する。送信装置１０２は、各アクセスユニットのデコード時刻を想定し、各アクセスユニットに対してその想定したデコード時刻が記述されたＤＴＳを付加する。なお、アクセスユニットは、単独でデータを復号することができるデータストリームの最小単位である。例えば、動画像のデータストリームであれば１フレームがアクセスユニットに該当することとなる。ネットワーク１０３を介して配信されるデータストリームは、複数のアクセスユニットが連続して形成されたデータ列である。
【０００８】
受信装置１０３は、ネットワーク１０４を介してデータストリームを受信すると、そのデータストリームに付加されているＳＴＣを抜き出す。受信装置１０３は、データストリーム上に離散的に配置されたＳＴＣからＰＬＬ制御し、ＳＴＣに記述された時刻情報に同期した基準クロックを再生する。受信装置１０３は、この基準クロックに基づき復号動作の時刻を制御する。
【０００９】
受信装置１０３の受信バッファ１２１は、受信したデータストリームを一旦格納する。受信装置１０３のデコーダ１２２は、アクセスユニットに付加されているＤＴＳを参照し、このＤＴＳと基準クロックとが一致したときに、そのアクセスユニットを受信バッファ１２１から抜き出して復号を行う。
【００１０】
ところで、リアルタイム配信システム１０１では、ネットワークの伝送エラー等が生じていない定常状態においては、送信バッファ１１２及び受信バッファ１２１に一定のバッファ占有量を確保した状態で、データストリームの配信がされることとなる。データ配信時における送信バッファ１１２及び受信バッファ１２１のバッファ占有量について、図１１を参照して説明をする。
【００１１】
データ配信動作が開始されると、送信装置１０１は、コンテンツを１アクセスユニットごとに符号化していく。符号化されたデータは、送信バッファ１１２に格納される。このとき、まだ、送信バッファ１１２からネットワーク１０４へデータの送出は開始されていない。そのため、データ配信の開始時には、送信バッファ１１２のバッファ占有量が階段状に増加していく。
【００１２】
続いて、送信バッファ１１２に、ある一定量のデータストリームが確保されると、データストリームの送出が開始される。この一定量のことを、ここでは送信マージンＢＳという。送信マージンは、例えば、エンコーダ１１１による符号化エラー等が生じてデータストリームが予定どおりに符号化されなかったときでも、ネットワーク１０４に送出されるデータストリームの連続性が途切れないように設定されたマージンである。データの送出が開始された後は、送信バッファ１１２には、所定の伝送レートで連続的にデータが抜き出されていくとともに、１つのアクセスユニットに対する符号化間隔ごとに一定量のデータが蓄積されていく。なお、送信装置１０２では、符号化エラー等が生じていない定常状態のときには、データ転送レートとエンコードレートとのバランスがとられており、送信バッファ１１２内のバッファ占有量が、送信マージンを下回らず一定となる。
【００１３】
ネットワーク１０４に対してデータの送出が開始されると、受信装置１０３の受信バッファ１２１に対してデータの蓄積が開始される。このとき、まだ、データストリームの復号は開始されていない。そのため、受信バッファ１２１のバッファ占有量は、データの伝送レートで増加していく。
【００１４】
続いて、受信バッファ１２１に、ある一定量のデータストリームが確保されると、データストリームの復号が開始される。この一定量のことを、ここでは受信マージンＢＲという。受信マージンは、ネットワーク１０４の伝送品質により、送信装置１０２から受信装置１０３へのデータ転送時間にジッタが生じる場合であっても、復号の連続性が途切れないように設定されたマージンである。つまり、ネットワーク１０４のデータ伝送時間にジッタある場合、データストリームの到着時間が、送信側で想定した到着時間からずれることがある。このずれが大きいと、復号が開始されるまでに、データストリームが到着せず、出力する画像や音声が途切れてしまうという状態となる。受信マージンは、このような出力停止の状態を回避するために設けられたマージンである。受信マージンの容量は、ネットワーク１０４の伝送品質に応じて、データ転送に或る一定以上のジッタが生じることを想定し、その想定した大きさ以上に設定されている。
【００１５】
データの復号が開始された後は、受信バッファ１２１には、所定の伝送レートで連続的にデータが入力されるとともに、１つのアクセスユニットに対する復号間隔ごとに一定量のデータが抜き出されていく。なお、受信装置１０３では、ネットワーク１０４にジッタ等が生じていない定常状態のときには、データ転送レートとデコードレートとのバランスがとられており、受信バッファ１２１内のバッファ占有量が、受信マージンを下回らず一定となる。
【００１６】
【発明が解決しようとする課題】
ところで、以上のようにネットワーク１０４のデータ伝送時間のジッタを考慮して、受信マージンを設定した場合、エンコードが開始されてからデコードが開始されるまでの遅延時間（エンドトゥエンドディレイタイム）が非常に長くなる。つまり、送信側でコンテンツの配信を開始してから、実際にユーザがコンテンツを鑑賞できるまでの遅延時間が、非常に長くなる。
【００１７】
本発明は、データの送信を開始してからデコードを開始するまでの時間を短縮したデータ配信システム、データ配信方法、受信装置及び送信装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
本発明は、ネットワークを介してデータストリームを送信する送信装置と、当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームをデコーダにより単独でデータを復号することができる単位であるアクセスユニット毎に復号する受信装置とを備えるデータ配信システムにおいて、上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらず受信したデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定されており、上記受信装置は、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された上記デコーダの復号動作速度よりも遅い復号動作速度で受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記デコーダの復号動作速度を符号化時に想定された復号動作速度に変更することを特徴とする。
【００１９】
また、本発明は、送信側がネットワークを介してデータストリームを送信し、受信側が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームをデコーダにより単独でデータを復号することができる単位であるアクセスユニット毎に復号するデータ配信方法において、上記ネットワークを介したデータ転送時間の変動に関わらず受信したデータストリームを連続して復号できる受信バッファのデータ蓄積量（連続復号可能データ蓄積量）を想定し、上記受信側は、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された上記デコーダの復号動作速度よりも遅い復号動作速度で、受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記デコーダの上記復号動作速度を符号化時に想定された復号速度に変更することを特徴とする。
【００２０】
また、本発明は、送信装置がネットワークを介してデータストリームを送信し、受信装置が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームをデコーダにより単独でデータを復号することができる単位であるアクセスユニット毎に復号するデータ配信システムにおける受信装置において、上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらずデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定され、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された上記デコーダの復号動作速度よりも遅い復号速度で、受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記デコーダの復号動作速度を符号化時に想定された復号動作速度に変更することを特徴とする。
【００２１】
さらに、本発明は、送信装置がネットワークを介してデータストリームを送信し、受信装置が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームをデコーダにより単独でデータを復号することができる単位であるアクセスユニット毎に復号するデータ配信システムにおける送信装置において、上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらずデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定され、上記受信装置に対して、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された上記デコーダの復号動作速度よりも遅い復号動作速度で、受信したデータストリームの復号を開始させ、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記デコーダの復号動作速度を符号化時に想定された復号動作速度に変更させ、上記デコーダにより基準クロックの速度に応じた復号動作速度でデータストリームを復号させることを特徴とする送信装置。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態として、ネットワークを利用したコンテンツのリアルタイム配信システムについて説明をする。
【００２３】
本発明の実施の形態のコンテンツのリアルタイム配信システムの構成図を図１に示す。リアルタイム配信システム１は、コンテンツを送信する送信装置２と、送信されたコンテンツを受信する受信装置３とにより構成される。送信装置２は、例えば、ネットワークを介してコンテンツを配信する例えばコンテンツプロバイダ側の装置である。受信装置３は、ネットワークを介して提供されるコンテンツを視聴するユーザ側の装置である。ネットワーク４は、例えば、インターネット、ケーブル放送、デジタル地上波放送、衛星通信システム等のデータ伝送が可能な媒体である。このようなコンテンツ配信システムでは、ネットワーク４を介して送信装置２から受信装置３にコンテンツがリアルタイムで配信される。
【００２４】
送信装置２は、コンテンツをデータ配信用のデータストリームに符号化するエンコーダ１１と、符号化されたデータストリームを一旦蓄積する送信バッファ１２とを備えている。また、受信装置３は、受信したデータストリームを一旦蓄積する受信バッファ１３と、データストリームからデジタルコンテンツを復号するデコーダ１４とを備えている。
【００２５】
データ配信時における送信装置２及び受信装置３の動作について以下説明する。
【００２６】
送信装置２には、リアルタイムで順次生成されるコンテンツが入力される。送信装置２のエンコーダ１１は、順次入力されてくるコンテンツを符号化し、所定の伝送形式のデータストリームを生成する。エンコーダ１１は、生成したデータストリームを、送信バッファ１２に一旦格納する。そして、送信装置２は、送信バッファ１２に格納されたデータストリームを、ネットワーク４を介して受信装置３に送信する。
【００２７】
送信装置２は、ネットワーク４にデータストリームを送出する際に、受信装置３の基準クロックを制御するためのＳＴＣ、並びに、各アクセスユニットのデコード時刻を示すＤＴＳを、データストリームに付加する。送信装置２は、データストリームの到着時刻を想定し、その想定した到着時刻に基づき発生されたＳＴＣをデータストリーム内に離散的に挿入しておく。すなわち、送信装置２は、受信側の基準時刻を符号化時に想定して、その想定した基準時刻に従ったＳＴＣをデータストリームに挿入する。送信装置２は、各アクセスユニットのデコード時刻を想定し、各アクセスユニットに対してその想定したデコード時刻が記述されたＤＴＳを付加する。
【００２８】
受信装置３は、ネットワーク４を介してデータストリームを受信すると、そのデータストリームに付加されているＳＴＣを抜き出す。受信装置３は、データストリーム上に離散的に配置されたＳＴＣからＰＬＬ制御し、ＳＴＣに記述された時刻情報に同期した基準クロックを再生する。受信装置３は、この基準クロックに基づき復号動作の時刻を制御する。
【００２９】
受信装置３の受信バッファ１３は、受信したデータストリームを一旦格納する。受信装置３のデコーダ１４は、アクセスユニットに付加されているＤＴＳを参照し、このＤＴＳと基準クロックとが一致したときに、そのアクセスユニットを受信バッファ１３から抜き出して復号を行う。
【００３０】
ここで、受信装置３では、受信バッファ１３に格納されているデータストリームの容量が受信マージンＢＲに達する前に、符号化時に想定されている通常の復号速度より遅い速度で、復号を開始する。つまり、受信したデータストリームに対する通常の符号開始時刻よりも早い時刻から復号を開始し、且つ、受信したデータストリームに対する通常の復号速度よりも遅い速度で、復号を行う。
【００３１】
符号化時に想定されている通常の復号速度と、ネットワーク４上のデータ転送レートとはバランスがとられている。そのため、符号化時に想定されている復号速度より遅い速度で復号を行った場合、復号を連続して行っていったとしても、受信バッファ１３のバッファ占有量は増加し続けることとなる。
【００３２】
続いて、受信装置３は、受信バッファ１３に対して受信マージン分のデータストリームが確保されると、復号速度を、符号化時に想定されている通常の復号速度に変更する。符号化時に想定されている通常の復号速度で復号を行った場合には、受信バッファ１３のバッファ占有量は、受信マージンの状態を維持することとなる。
【００３３】
つぎに、以上のような制御を行った場合における送信バッファ１２及び受信バッファ１３のバッファ占有量の遷移について、図２を参照して説明をする。
【００３４】
データ配信動作が開始されると、送信装置１は、コンテンツを１アクセスユニットごとに符号化していく。符号化されたデータは、送信バッファ１２に格納される。このとき、まだ、送信バッファ１２からネットワーク４へデータの送出は開始されていない。そのため、データ配信の開始時には、送信バッファ１２のバッファ占有量が階段状に増加していく。
【００３５】
続いて、送信バッファ１２に、送信マージン分のデータストリームが確保されると、データストリームの送出が開始される。データの送出が開始された後は、送信バッファ１２には、所定の伝送レートで連続的にデータが抜き出されていくとともに、１つのアクセスユニットに対する符号化間隔ごとに一定量のデータが蓄積されていく。なお、送信装置２では、エンコードエラー等が生じてない定常状態のときには、データ転送レートとエンコードレートとのバランスがとられており、送信バッファ１２内のバッファ占有量が、送信マージンを下回らず一定となる。
【００３６】
ネットワーク４へのデータの送出が開始されると、受信装置３の受信バッファ１３に対してデータの蓄積が開始される。このとき、まだ、データストリームの復号は開始されていない。そのため、受信バッファ１３のバッファ占有量は、データの伝送レートで増加していく。
【００３７】
続いて、受信バッファ１３に、少なくとも１アクセスユニット分以上のデータが蓄積されると、データストリームの復号が開始される。ここで、データストリームの復号の開始時刻は、データストリームの符号化時に想定されている時刻よりも、早いタイミングとする。つまり、受信バッファ１３に対して受信マージン分のデータが確保された本来のタイミングよりも、早いタイミングで復号を開始する。さらに、このときの復号速度は、データストリームの符号化時に想定されている通常の復号速度よりも、遅い速度で復号を行っていく。低速で復号をする方法としては、例えば、受信装置３の基準クロックを遅くしたり、各アクセスユニットの復号間隔を広げたりすることにより実現できる。低速復号が開始された後は、受信バッファ１３には、所定の伝送レートで連続的にデータが入力されるとともに、１つのアクセスユニットに対する復号間隔ごとに一定量のデータが抜き出されていく。ここで、通常の復号速度で復号を行っていった場合には、データの伝送レートと、復号で抜き出されるデータ量のバランスがとられているため、受信バッファ１３のバッファ占有量は平均すると一定となるが、ここでは、復号速度が通常の速度よりも低速となっているので、受信バッファ１３のバッファ占有量は増加していく。そして、受信装置３は、受信バッファ１３に、受信マージン分のデータが確保されると、復号速度を通常の復号速度に変更する。復号速度を、通常の復号速度に変更したのちは、データ転送レートと復号速度とのバランスがとられた状態となり、受信バッファ１３のバッファ占有量は受信マージンを下回らず一定となる。
【００３８】
以上のように本発明の実施の形態のリアルタイム配信システムでは、データストリームの復号開始時刻を、符号化時に想定されている通常の復号開始時刻よりも早くすることができる。従って、本発明の実施の形態のリアルタイム配信システムでは、符号化が開始されてから復号が開始されるまでの遅延時間（エンドトゥエンドディレイタイム）を短くすることができる。つまり、送信側でコンテンツの配信を開始してから、実際にユーザがコンテンツを鑑賞できるまでの遅延時間を短くすることができる。
【００３９】
なお、本発明は、リアルタイム配信のみならず、予めエンコード済みのデータストリームをサーバに格納しておき配信するノンリアルタイム配信にも適用することができる。具体的には、リアルタイム配信システムの送信マージンを無限に大きくしたモデルをノンリアルタイム配信システムとすれば、本実施の形態のリアルタイム配信システム１をそのままノンリアルタイム配信に適用することができる。
【００４０】
つぎに、以上のような本実施の形態のリアルタイム配信システム１を実現するための、送信装置及び受信装置の第１〜第４の具体的な構成例を示す。
【００４１】
まず、第１の適用例のリアルタイム配信システムについて説明をする。図３に第１の適用例の送信装置のブロック構成図を示し、図４に第１の適用例のリアルタイム配信システムのブロック構成図を示す。第１の適用例は、コンテンツとしてビデオデータを配信する場合に適用されるリアルタイム配信システムである。
【００４２】
第１の適用例の送信装置２は、図３に示すように、ビデオエンコーダ（Ｖ．エンコーダ）２１と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）２２と、マルチプレクサ（ＭＵＸ）２３と、ストリームバッファ２４と、ＳＴＣ発生部２５と、ＤＴＳ制御部２６と、エンコード制御部２７とを備えて構成される。
【００４３】
ビデオエンコーダ２１には、ベースバンドのビデオデータが入力される。ビデオエンコーダ２１は、例えばＭＰＥＧ-２やＭＰＥＧ-４といった符号化方式に従い、ベースバンドのビデオデータを符号化し、ビデオエレメンタリストリームを生成する。生成されたビデオエレメンタリストリームは、ビデオエレメンタリバッファ２２に格納される。
【００４４】
ＳＴＣ発生部２５は、ネットワーク上に伝送する多重化ストリームに挿入するＳＴＣを生成する。生成されたＳＴＣは、マルチプレクサ２３に供給される。
【００４５】
マルチプレクサ２３は、例えばＭＰＥＧ-２システムズ等のデータ伝送規格に従い、ビデオエレメンタリバッファ２２に格納されているビデオエレメンタリストリーム、エンコード制御部２８により生成されるシステムデータ等を多重化して、多重化ストリームを生成する。また、マルチプレクサ２３は、多重化ストリームの受信装置３への到着時間を想定して、多重化ストリームに対して離散的にＳＴＣを挿入する。これとともに、マルチプレクサ２３は、各アクセスユニット（例えばフレーム）に対してＤＴＳ及びＰＴＳ（Presentation Time Stamp）を付加する。なお、ＤＴＳ及びＰＴＳは、ビデオエンコーダ２１による符号化時に付加してもよい。マルチプレクサ２３により生成された多重化ストリームは、ストリームバッファ２４に格納される。
【００４６】
ストリームバッファ２４は、マルチプレクサ２４により生成された多重化ストリームを一旦格納したのち、ネットワーク４に送出を行う。
【００４７】
ＤＴＳ制御部２６は、マルチプレクサ２３により付加されたＤＴＳに対して補正を行う。
【００４８】
エンコード制御部２７は、送信装置２の各回路の制御、並びに、ネットワーク４を介して受信装置３に伝送するシステムデータの生成等を行う。
【００４９】
第１の適用例の受信装置３は、図４に示すように、ＳＴＣ検出部３１と、時間情報比較部３２と、クロック制御部３３と、ストリームバッファ３４と、デマルチプレクサ（Ｄｅ-ＭＵＸ）３５と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）３６と、ビデオデコーダ（Ｖ．デコーダ）３７と、出力制御部３８と、デコード制御部３９とを備えて構成される。
【００５０】
受信装置３は、ネットワーク４を介して送信装置２から伝送された多重化ストリームを受信する。受信された多重化ストリームは、ＳＴＣ検出部３１に入力される。
【００５１】
ＳＴＣ検出部３１は、受信した多重化ストリームからＳＴＣを抽出し、時間情報比較器３２に供給する。
【００５２】
時間情報比較部３２は、多重化ストリームから抽出したＳＴＣと、クロック制御部３３により生成された基準クロックとを比較し、その誤差情報を検出する。検出された誤差情報は、クロック制御部３３に供給される。
【００５３】
クロック制御部３３は、時間情報比較部３２により検出された誤差情報に基づきＰＬＬ制御を行い、多重化ストリームに含められたＳＴＣに同期した基準クロックを生成する。クロック制御部３３により生成された基準クロックは、受信装置３の基準時間情報として、各回路に用いられる。
【００５４】
ストリームバッファ３４は、受信した多重化ストリームを格納する。
【００５５】
デマルチプレクサ３５は、ストリームバッファ３４に格納されている多重化ストリームを、各要素ごとに分割する。第１の適用例では、ビデオエレメンタリストリームとシステムデータとに分割する。システムデータは、デコード制御部３９に供給され、ビデオエレメンタリストリームはビデオエレメンタリバッファ３６に格納される。
【００５６】
ビデオデコーダ３７は、例えばＭＰＥＧ-２やＭＰＥＧ-４といった符号化方式に従い、ビデオエレメンタリストリームを復号し、ベースバンドのビデオデータを生成する。生成されたベースバンドのビデオデータは、出力制御部３８に供給される。
【００５７】
出力制御３８は、復号されたビデオデータの出力制御を行う。
【００５８】
デコード制御部３９は、送信装置３０の各回路の制御、並びに、ネットワーク４を介して受信装置３に伝送されたシステムデータに基づく動作を行う。
【００５９】
以上のような第１の適用例のリアルタイム配信システムでは、受信バッファ１３に対応するバッファは、ストリームバッファ３４及びビデオエレメンタリバッファ３６となる。
【００６０】
このような第１の適用例のリアルタイム配信システムでは、ビデオデータの復号間隔を、符号化時に想定した通常の復号間隔よりも長くすることで、復号を行いながらデータの蓄積を実現している。具体的には、送信装置２側のＤＴＳ制御部２６が、ビデオエレメンタリストリームに付加されているＤＴＳを補正することで、復号間隔を制御している。
【００６１】
ＤＴＳ制御部２６によるＤＴＳの具体的な補正方法について説明をする。
【００６２】
まず、ＤＴＳ制御部２６によりＤＴＳの補正が行われなかった場合、受信装置３は、ビデオエレメンタリストリームが受信マージンに達した時点で復号を開始するとともに、符号化時に想定された通常の復号間隔でビデオエレメンタリストリームの復号を行っていくこととなる。
【００６３】
復号の開始時刻を早めようとする時間間隔をオフセット時間Ｔｘとする。つまり、通常の復号開始点からの減算する時間間隔をオフセット時間Ｔｘとする。ＤＴＳ制御部２６は、ビデオエレメンタリストリームの最初のアクセスユニットに付加されているＤＴＳの値から、このオフセット時間Ｔｘ分減算する。この結果、符号化時に想定されているデコード開始タイミングよりも、早いタイミングで最初のアクセスユニットの復号が開始される。つまり、受信装置３が蓄積する多重化ストリーム量が受信マージンに達したときのタイミングよりも、早いタイミングで最初のアクセスユニットのデコードが開始される。
【００６４】
続いて、ストリームの２番目以降のアクセスユニットに付加されているＤＴＳからも、オフセット時間Ｔｘを減算する。ただし、符号化時に想定されている通常の復号間隔よりも長くなるように、つまり、アクセスユニットの間隔が通常の間隔よりも長くなるように、オフセット時間Ｔｘをアクセスユニット毎に徐々に減少させ、ＤＴＳの補正を行う。オフセット時間Ｔｘを減少させていく時間間隔は、オフセット時間Ｔｘが０となった時点で、受信装置３に蓄積される多重化ストリームが受信マージンに達するような時間間隔に設定する。
【００６５】
続いて、オフセット時間Ｔｘが０となったのちのアクセスユニットに対しては、ＤＴＳの補正を行わない。従って、受信装置３に蓄積される多重化ストリームが受信マージンに達する前は、通常の復号間隔よりも長い間隔でアクセスユニットが復号されていき、受信装置３に蓄積される多重化ストリームが受信マージンに達した後は、通常の復号間隔でアクセスユニットが復号されることとなる。
【００６６】
以上のように第１の適用例のリアルタイム配信システムでは、送信側で復号間隔の制御を行い、受信側は通常の装置で処理が行われる。
【００６７】
つぎに、第２の適用例のリアルタイム配信システムについて説明をする。第２の適用例のリアルタイム配信システムでは、送信装置２の構成が、図３に示す第１の適用例の送信装置２のＤＴＳ制御部２６を除いた構成と同一であり、受信装置３の構成が、図４に示す第１の適用例の受信装置３の構成と同一である。第２の適用例の送信装置２及び受信装置３の図示は省略する。
【００６８】
第２の適用例のリアルタイム配信システムも、第１の適用例のリアルタイム配信システムと同様に、ビデオデータの復号間隔を、符号化時に想定した通常の復号間隔よりも長くすることで、復号を行いながらデータの蓄積を実現している。具体的に、第２の適用例のリアルタイム配信システムでは、ビデオエレメンタリストリームに付加されているＤＴＳに関わらず、ビデオデコーダ３７がアクセスユニットの復号を行うことによって、復号間隔を制御している。
【００６９】
まず、ビデオデコーダ３７が、ビデオエレメンタリストリームに付加されているＤＴＳに従って復号を行っていった場合、ビデオエレメンタリストリームが受信マージンに達した時点で復号を開始するとともに、符号化時に想定された通常の復号間隔でビデオエレメンタリストリームの復号を行っていくこととなる。
【００７０】
これに対して、第２の適用例のビデオデコーダ３９は、図５に示すように、ビデオエレメンタリバッファ３６に１アクセスユニット以上のデータが格納されると（ステップＳ１）、通常の復号間隔以上の復号間隔で、各アクセスユニットの復号を開始する（ステップＳ２）。続いて、通常の復号間隔以上の復号間隔で各アクセスユニットに対する復号を行いながら、ビデオエレメンタリバッファ３６及びストリームバッファ３４に格納されているデータ量を検出し、受信マージン以上の多重化ストリームが格納されたか否かを判断する（ステップＳ３）。受信マージン以上の多重化ストリームが格納されていれば、以後、通常の復号間隔で復号を開始する。
【００７１】
以上のように第２の適用例のリアルタイム配信システムでは、受信側で復号間隔の制御を行い、送信側では通常の装置で処理が行われる。
【００７２】
つぎに、第３の適用例のリアルタイム配信システムについて説明をする。第３の適用例は、コンテンツとしてビデオデータ及びオーディオデータを配信する場合に適用されるリアルタイム配信システムである。図６に第３の適用例の送信装置のブロック構成図を示し、図７に第３の適用例のリアルタイム配信システムのブロック構成図を示す。
【００７３】
第３の適用例の送信装置２は、図６に示すように、ビデオエンコーダ（Ｖ．エンコーダ）４１と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）４２と、オーディオエンコーダ（Ａ．エンコーダ）４３と、オーディオエレメンタリバッファ（Ａ．Ｅ．バッファ）４４と、マルチプレクサ（ＭＵＸ）４５と、ストリームバッファ４６と、ＳＴＣ発生部４７と、ＳＴＣ制御部４８と、エンコード制御部４９とを備えて構成される。
【００７４】
ビデオエンコーダ４１には、ベースバンドのビデオデータが入力される。ビデオエンコーダ４１は、例えばＭＰＥＧ-２やＭＰＥＧ-４といった符号化方式に従い、ベースバンドのビデオデータを符号化し、ビデオエレメンタリストリームを生成する。生成されたビデオエレメンタリストリームは、ビデオエレメンタリバッファ４２に格納される。
【００７５】
オーディオエンコーダ４３には、ベースバンドのオーディオデータが入力される。オーディオエンコーダ４３は、例えばＭＰＥＧ-２やＭＰＥＧ-４といった符号化方式に従い、ベースバンドのオーディオデータを符号化し、オーディオエレメンタリストリームを生成する。生成されたオーディオエレメンタリストリームは、オーディオエレメンタリバッファ４４に格納される。
【００７６】
ＳＴＣ発生部４７は、伝送する多重化ストリームに挿入するＳＴＣを生成する。生成されたＳＴＣは、時間情報制御部４８に供給される。
【００７７】
ＳＴＣ制御部２６は、マルチプレクサ２３により付加されたＳＴＣに対して補正を行う。補正されたＳＴＣは、マルチプレクサ４５に供給される。
【００７８】
マルチプレクサ４５は、例えばＭＰＥＧ-２システムズ等のデータ伝送規格に従い、ビデオエレメンタリバッファ４２に格納されているビデオエレメンタリストリーム、オーディオエレメンタリバッファ４４に格納されているオーディオエレメンタリストリーム、エンコード制御部４９により生成されるシステムデータ等を多重化して、伝送用の多重化ストリームを生成する。また、マルチプレクサ４５は、多重化ストリームに対して離散的にＳＴＣを挿入するとともに、各アクセスユニット（例えばフレーム）に対してＤＴＳを付加する。受信装置３は、マルチプレクサ２３により生成された多重化ストリームは、ストリームバッファ２４に格納される。
【００７９】
ストリームバッファ２４は、マルチプレクサ２４により生成された多重化ストリームを一旦格納したのち、ネットワーク４に送出を行う。
【００８０】
エンコード制御部２７は、送信装置２の各回路の制御、並びに、ネットワーク４を介して受信装置３に伝送するシステムデータの生成等を行う。
【００８１】
第３の適用例の受信装置３は、図７に示すように、ＳＴＣ検出部５１と、時間情報比較部５２と、クロック制御部５３と、ストリームバッファ５４と、デマルチプレクサ（Ｄｅ-ＭＵＸ）５５と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）５６と、ビデオデコーダ（Ｖ．デコーダ）５７と、オーディオエレメンタリバッファ（Ａ．Ｅ．バッファ）５８と、オーディオデコーダ（Ａ．デコーダ）５９と、出力制御部６０と、デコード制御部６１とを備えて構成される。
【００８２】
受信装置３は、ネットワーク４を介して送信装置２から伝送された多重化ストリームを受信する。受信された多重化ストリームは、ＳＴＣ検出部５１に入力される。
【００８３】
ＳＴＣ検出部５１は、受信した多重化ストリームからＳＴＣを抽出し、抽出したＳＴＣを時間情報比較器５２に供給する。
【００８４】
時間情報比較部５２は、多重化ストリームから抽出したＳＴＣと、クロック制御部５３により生成された基準クロックとを比較し、その誤差情報を検出する。検出された誤差情報は、クロック制御部５３に供給される。
【００８５】
クロック制御部５３は、時間情報比較部５２により検出された誤差情報に基づきＰＬＬ制御を行い、多重化ストリームに含められたＳＴＣに同期した基準クロックを生成する。クロック制御部３３により生成された基準クロックは、受信装置３の基準時間情報として各回路に用いられる。
【００８６】
ストリームバッファ５４は、受信した多重化ストリームを格納する。
【００８７】
デマルチプレクサ５５は、ストリームバッファ５４に格納されている多重化ストリームを、各要素ごとに分割する。第３の適用例では、ビデオエレメンタリストリームとオーディオエレメンタリストリームとシステムデータとに分割する。システムデータは、デコード制御部６１に供給され、ビデオエレメンタリストリームはビデオエレメンタリバッファ５６に格納され、オーディオエレメンタリストリームはオーディオエレメンタリバッファ５８に格納される。
【００８８】
ビデオデコーダ５７は、ビデオエレメンタリバッファ５６に格納されているビデオエレメンタリストリームを１アクセスユニットごとに読み出して、例えばＭＰＥＧ-２やＭＰＥＧ-４といった符号化方式に従い、ベースバンドのビデオデータを復号する。なお、ビデオデコーダ５７は、ビデオエレメンタリストリームの各アクセスユニットに含まれているＤＴＳと、クロック制御部５３から発生される基準クロックとを比較し、ＤＴＳと基準クロックとが一致したタイミングで、各アクセスユニットの復号を行う。復号されたベースバンドのビデオデータは、出力制御部６０に供給される。
【００８９】
オーディオデコーダ５９は、オーディオエレメンタリバッファ５８に格納されているオーディオエレメンタリストリームを１アクセスユニットごとに読み出して、例えばＭＰＥＧ-２やＭＰＥＧ-４といった符号化方式に従い、ベースバンドのオーディオデータを復号する。なお、オーディオデコーダ５９は、オーディオエレメンタリストリームの各アクセスユニットに含まれているＤＴＳと、クロック制御部５３から発生される基準クロックとを比較し、ＤＴＳと基準クロックとが一致したタイミングで、各アクセスユニットの復号を行う。復号されたベースバンドのオーディオデータは、出力制御部６０に供給される。
【００９０】
出力制御部６０は、復号されたビデオデータ及びオーディオデータの出力制御を行う。
【００９１】
デコード制御部６１は、受信装置３内の各回路の制御、並びに、ネットワーク４を介して受信装置３に伝送されたシステムデータに基づく動作を行う。
【００９２】
以上のような第３の適用例のリアルタイム配信システムでは、受信装置３の基準クロックの速度を、符号化時に想定した通常のクロック速度よりも長くすることで、復号を行いながらデータの蓄積を実現している。具体的には、送信装置２側のＳＴＣ制御部４８が、多重化ストリームに付加するＳＴＣを補正することで、基準クロックの速度を制御している。
【００９３】
ＳＴＣ制御部４８によるＳＴＣの具体的な補正方法について説明をする。
【００９４】
まず、ＳＴＣ制御部４８によりＳＴＣの補正が行われなかった場合、受信装置３は、ビデオエレメンタリストリームが受信マージンに達した時点で、ビデオエレメンタリストリーム及びオーディオエレメンタリストリームを同時に復号を開始するとともに、符号化時に想定された基準クロックの速度でビデオエレメンタリストリーム及びオーディオエレメンタリストリームの復号を行っていくこととなる。
【００９５】
ＳＴＣ制御部４８は、最初のアクセスユニットが復号される時刻から、多重化ストリームに付加するＳＴＣにオフセット時間Ｔｙを加算していく。最初のアクセスユニットが復号される時刻は、受信装置３に蓄積されたビデオエレメンタリストリームが受信マージンに達した時刻ではなく、オーディオエレメンタリストリームが受信マージンに達した時刻とする。一般にオーディオデータは、ビデオデータよりもデータ量が少ない。そのため、ネットワークのジッタを考慮した受信マージンは、ビデオデータよりもオーディオデータの方が少なくなる。従って、オーディオデータが受信マージンに達したときに復号を開始すると、ビデオデータはまだ受信マージンに達していないこととなる。
【００９６】
加算するオフセット時間Ｔｙは、最初のアクセスユニットに対しては０とし、時間が進むにつれ増加させていく。
【００９７】
続いて、ビデオデータのデータ蓄積量が受信マージンに達する時刻で、オフセット時間Ｔｙの増加を停止し、以後のＳＴＣには、最後に加算したオフセット時間Ｔｙを加算しつづける。従って、受信装置３に蓄積される多重化ストリームが受信マージンに達する前は、通常の基準クロックよりも速度が遅くなり、受信装置３に蓄積される多重化ストリームが受信マージンに達した後は、通常の基準クロックの速度となる。
【００９８】
以上のように第３の適用例のリアルタイム配信システムでは、送信側で基準クロックの速度制御を行い、受信側では通常の装置で処理が行われる。
【００９９】
つぎに、第４の適用例のリアルタイム配信システムについて説明をする。第４の適用例は、コンテンツとしてビデオデータ及びオーディオデータを配信する場合に適用されるリアルタイム配信システムである。図８に第４の適用例の送信装置のブロック構成図を示し、図９に第４の適用例のリアルタイム配信システムのブロック構成図を示す。なお、第４の適用例を説明するにあたり、第３の適用例の構成要素と同一の構成要素については、同一の符号をつけている。
【０１００】
第４の適用例の送信装置２は、図８に示すように、ビデオエンコーダ（Ｖ．エンコーダ）４１と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）４２と、オーディオエンコーダ（Ａ．エンコーダ）４３と、オーディオエレメンタリバッファ（Ａ．Ｅ．バッファ）４４と、マルチプレクサ（ＭＵＸ）４５と、ストリームバッファ４６と、ＳＴＣ発生部４７と、エンコード制御部４９とを備えて構成される。第４の適用例の送信装置２は、第３の適用例の送信装置のＳＴＣ制御部４８が除かれた構成である。つまり、ＳＴＣの補正が送信側では行われない構成となる。
【０１０１】
第４の適用例の受信装置３は、図９に示すように、ＳＴＣ検出部５１と、時間情報比較部５２と、クロック制御部５３と、ストリームバッファ５４と、デマルチプレクサ（Ｄｅ-ＭＵＸ）５５と、ビデオエレメンタリバッファ（Ｖ．Ｅ．バッファ）５６と、ビデオデコーダ（Ｖ．デコーダ）５７と、オーディオエレメンタリバッファ（Ａ．Ｅ．バッファ）５８と、オーディオデコーダ（Ａ．デコーダ）５９と、出力制御部６０と、デコード制御部６１と、基準時間制御部６５とを備えて構成される。
【０１０２】
基準時間制御部６５は、受信装置３内の各回路に供給する基準クロックの値を補正する回路である。ただし、時間情報比較部５２に供給する基準クロックの値に対しては補正を行わない。
【０１０３】
以上のような第４の適用例のリアルタイム配信システムでは、受信装置３の基準クロックの速度を、符号化時に想定した通常のクロック速度よりも長くすることで、復号を行いながらデータの蓄積を実現している。具体的には、受信装置３側の基準時間制御部６５が、基準クロックの速度を制御している。
【０１０４】
基準時間制御部６５による具体的な補正方法について説明をする。
【０１０５】
まず、基準時間制御部６５により基準クロックの補正が行われなかった場合、受信装置３は、ビデオエレメンタリストリームが受信マージンに達した時点で、ビデオエレメンタリストリーム及びオーディオエレメンタリストリームを同時に復号を開始するとともに、符号化時に想定された基準クロックの速度でビデオエレメンタリストリーム及びオーディオエレメンタリストリームの復号を行っていくこととなる。
【０１０６】
基準時間制御部６５は、最初のアクセスユニットが復号される時刻から、多重化ストリームに付加する基準クロックにオフセット時間Ｔｙを加算していく。最初のアクセスユニットが復号される時刻は、受信装置３に蓄積されたビデオエレメンタリストリームが受信マージンに達した時刻ではなく、オーディオエレメンタリストリームが受信マージンに達した時刻とする。一般にオーディオデータは、ビデオデータよりもデータ量が少ない。そのため、ネットワークのジッタを考慮した受信マージンは、ビデオデータよりもオーディオデータの方が少なくなる。従って、オーディオデータが受信マージンに達したときに復号を開始すると、ビデオデータはまだ受信マージンに達していないこととなる。
【０１０７】
続いて、加算するオフセット時間Ｔｙは、復号開始時刻では、その値を０とし、時間が進むにつれ増加させていく。
【０１０８】
続いて、ビデオデータのデータ蓄積量が受信マージンに達する時刻で、オフセット時間Ｔｙの増加を停止し、以後の基準クロックには、最後に加算したオフセット時間Ｔｙを加算しつづける。従って、受信装置３に蓄積される多重化ストリームが受信マージンに達する前は、通常の基準クロックよりも速度が遅くなり、受信装置３に蓄積される多重化ストリームが受信マージンに達した後は、通常の基準クロックの速度となる。
【０１０９】
【発明の効果】
本発明にかかるデータ配信システム及び方法、並びに、送信装置及び受信装置では、データの受信を開始してから受信バッファに対して連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された復号速度よりも遅い復号速度で受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記復号速度を符号化時に想定された復号速度に変更する。
【０１１０】
このため、本発明では、データの送信を開始してからデコードを開始するまでの時間を短縮することができる。
【図面の簡単な説明】
【図１】本発明を適用したデータ配信システムの構成図である。
【図２】本発明を適用したデータ配信システムの送信バッファ及び受信バッファのバッファ占有量を示す図である。
【図３】本発明の第１の適用例の送信装置の具体的なブロック構成図である。
【図４】本発明の第１の適用例の受信装置の具体的なブロック構成図である。
【図５】本発明の第２の適用例の受信装置内のデコーダの処理フローを示す図である。
【図６】本発明の第３の適用例の送信装置の具体的なブロック構成図である。
【図７】本発明の第３の適用例の受信装置の具体的なブロック構成図である。
【図８】本発明の第４の適用例の送信装置の具体的なブロック構成図である。
【図９】本発明の第４の適用例の受信装置の具体的なブロック構成図である。
【図１０】従来のデータ配信システムの構成図である。
【図１１】従来のデータ配信システムの送信バッファ及び受信バッファのバッファ占有量を示す図である。
【符号の説明】
１ データ配信システム、２ 送信装置、３ 受信装置、４ ネットワーク、１１ エンコーダ、１２ 送信バッファ、１３ 受信バッファ、１４ デコーダ
Claims (24)
- ネットワークを介してデータストリームを送信する送信装置と、当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームをデコーダにより単独でデータを復号することができる単位であるアクセスユニット毎に復号する受信装置とを備えるデータ配信システムにおいて、
上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらず受信したデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定されており、
上記受信装置は、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された上記デコーダの復号動作速度よりも遅い復号動作速度で受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記デコーダの復号動作速度を符号化時に想定された復号動作速度に変更すること
を特徴とするデータ配信システム。 - 上記受信装置は、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、復号動作の時刻を制御する基準クロックを、符号化時に想定された速度よりも遅い速度に設定して、受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記基準クロックを符号化時に想定された速度に変更し、上記デコーダにより基準クロックの速度に応じた復号動作速度でデータストリームを復号することを特徴とする請求項１記載のデータ配信システム。
- 上記送信装置は、送信するデータストリームに含める上記基準クロックを再生するための同期情報を制御して、受信装置の上記基準クロックの速度を制御することを特徴とする請求項２記載のデータ配信システム。
- 上記受信装置は、受信したデータストリームに含められている上記基準クロックを再生するための同期情報を変更して、基準クロックの速度を制御すること
を特徴とする請求項２記載のデータ配信システム。 - 上記受信装置は、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、上記デコーダにより単独でデータを復号することができる単位であるアクセスユニットの復号タイミングの間隔を、符号化時に想定された上記デコーダの復号動作速度における間隔よりも広い間隔に設定して、受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記アクセスユニットの上記復号タイミングの間隔を、符号化時に想定された上記デコーダの復号動作速度における間隔に変更することを特徴とする請求項１記載のデータ配信システム。
- 上記送信装置は、送信するデータストリームに含める各アクセスユニットの復号タイミングを示したタイミング情報を制御して、受信装置のアクセスユニットの復号タイミングの間隔を制御することを特徴とする請求項５記載のデータ配信システム。
- 上記受信装置は、受信したデータストリームに含められている各アクセスユニットの復号タイミングを示したタイミング情報を変更して、アクセスユニットの復号タイミングの間隔を制御することを特徴とする請求項５記載のデータ配信システム。
- 送信側がネットワークを介してデータストリームを送信し、受信側が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームをデコーダにより単独でデータを復号することができる単位であるアクセスユニット毎に復号するデータ配信方法において、
上記ネットワークを介したデータ転送時間の変動に関わらず受信したデータストリームを連続して復号できる受信バッファのデータ蓄積量（連続復号可能データ蓄積量）を想定し、
上記受信側は、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された上記デコーダの復号動作速度よりも遅い復号動作速度で、受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記デコーダの上記復号動作速度を符号化時に想定された復号速度に変更すること
を特徴とするデータ配信方法。 - 上記受信側は、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、復号動作の時刻を制御する基準クロックを、符号化時に想定された速度よりも遅い速度に設定して、受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記基準クロックを符号化時に想定された速度に変更し、上記デコーダにより上記基準クロックの速度に応じた復号動作速度でデータストリームを復号することを特徴とする請求項８記載のデータ配信方法。
- 上記送信側は、送信するデータストリームに含める上記基準クロックを再生するための同期情報を制御して、受信側の上記基準クロックの速度を制御することを特徴とする請求項９記載のデータ配信方法。
- 上記受信側は、受信したデータストリームに含められている上記基準クロックを再生するための同期情報を変更して、基準クロックの速度を制御することを特徴とする請求項９記載のデータ配信方法。
- 上記受信側は、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、上記デコーダにより単独でデータを復号することができる単位であるアクセスユニットの復号タイミングの間隔を、符号化時に想定された上記デコーダの復号動作速度における間隔よりも広い間隔に設定して、受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記アクセスユニットの上記復号タイミングの間隔を、符号化時に想定された上記デコーダの復号動作速度における間隔に変更することを特徴とする請求項８記載のデータ配信方法。
- 上記送信側は、送信するデータストリームに含める各アクセスユニットの復号タイミングを示したタイミング情報を制御して、受信側のアクセスユニットの復号タイミングの間隔を制御することを特徴とする請求項１２記載のデータ配信方法。
- 上記受信側は、受信したデータストリームに含められている各アクセスユニットの復号タイミングを示したタイミング情報を変更して、アクセスユニットの復号タイミングの間隔を制御することを特徴とする請求項１２記載のデータ配信方法。
- 送信装置がネットワークを介してデータストリームを送信し、受信装置が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームをデコーダにより単独でデータを復号することができる単位であるアクセスユニット毎に復号するデータ配信システムにおける受信装置において、
上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらずデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定され、
データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された上記デコーダの復号動作速度よりも遅い復号速度で、受信したデータストリームの復号を開始し、
上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記デコーダの復号動作速度を符号化時に想定された復号動作速度に変更すること
を特徴とする受信装置。 - データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、復号動作の時刻を制御する基準クロックを、符号化時に想定された上記デコーダの復号動作速度における速度よりも遅い速度に設定して、受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記基準クロックを符号化時に想定された上記デコーダの復号動作速度における速度に変更し、上記デコーダにより基準クロックの速度に応じた復号動作速度でデータストリームを復号することを特徴とする請求項１５記載の受信装置。
- 受信したデータストリームに含められている上記基準クロックを再生するための同期情報を変更して、基準クロックの速度を制御することを特徴とする請求項１６記載の受信装置。
- データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、単独でデータを復号することができる単位であるアクセスユニットの復号タイミングの間隔を、符号化時に想定された上記デコーダの復号動作速度における間隔よりも広い間隔に設定して、受信したデータストリームの復号を開始し、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記アクセスユニットの上記復号タイミングの間隔を、符号化時に想定された上記デコーダの復号動作速度における間隔に変更することを特徴とする請求項１５記載の受信装置。
- 受信したデータストリームに含められている各アクセスユニットの復号タイミングを示したタイミング情報を変更して、アクセスユニットの復号タイミングの間隔を制御することを特徴とする請求項１８記載の受信装置。
- 送信装置がネットワークを介してデータストリームを送信し、受信装置が当該データストリームを受信して受信バッファに格納し、受信バッファに格納されたデータストリームをデコーダにより単独でデータを復号することができる単位であるアクセスユニット毎に復号するデータ配信システムにおける送信装置において、
上記ネットワークには、送信装置から受信装置へのデータ転送時間の変動に関わらずデータストリームを連続して復号できる上記受信バッファのデータ蓄積量（連続復号可能データ蓄積量）が想定され、
上記受信装置に対して、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、符号化時に想定された上記デコーダの復号動作速度よりも遅い復号動作速度で、受信したデータストリームの復号を開始させ、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記デコーダの復号動作速度を符号化時に想定された復号動作速度に変更させ、上記デコーダにより基準クロックの速度に応じた復号動作速度でデータストリームを復号させる
ことを特徴とする送信装置。 - 上記受信装置に対して、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、復号動作の時刻を制御する基準クロックを、符号化時に想定された上記デコーダの復号動作速度における速度よりも遅い速度に設定して、受信したデータストリームの復号を開始させ、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記基準クロックを符号化時に想定された上記デコーダの復号動作速度における速度に変更させ、上記デコーダにより基準クロックの速度に応じた復号動作速度でデータストリームを復号させることを特徴とする請求項２０記載の送信装置。
- 送信するデータストリームに含める上記基準クロックを再生するための同期情報を制御して、受信装置の上記基準クロックの速度を制御することを特徴とする請求項２１記載の送信装置。
- 上記受信装置に対して、データの受信を開始してから上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積される前までに、上記デコーダにより単独でデータを復号することができる単位であるアクセスユニットの復号タイミングの間隔を、符号化時に想定された上記デコーダの復号動作速度における間隔よりも広い間隔に設定して、受信したデータストリームの復号を開始させ、上記受信バッファに対して上記連続復号可能データ蓄積量分のデータが蓄積された後に、上記アクセスユニットの上記復号タイミングの間隔を、符号化時に想定された上記デコーダの復号動作速度における間隔に変更させることを特徴とする請求項２０記載の送信装置。
- 送信するデータストリームに含める各アクセスユニットの復号タイミングを示したタイミング情報を制御して、受信装置のアクセスユニットの復号タイミングの間隔を制御することを特徴とする請求項２３記載の送信装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002161911A JP3925311B2 (ja) | 2002-06-03 | 2002-06-03 | データ配信システム |
| US10/448,799 US7778372B2 (en) | 2002-06-03 | 2003-05-30 | Data delivery system and method, and receiver and transmitter |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002161911A JP3925311B2 (ja) | 2002-06-03 | 2002-06-03 | データ配信システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004015111A JP2004015111A (ja) | 2004-01-15 |
| JP3925311B2 true JP3925311B2 (ja) | 2007-06-06 |
Family
ID=30430844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002161911A Expired - Lifetime JP3925311B2 (ja) | 2002-06-03 | 2002-06-03 | データ配信システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7778372B2 (ja) |
| JP (1) | JP3925311B2 (ja) |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6263503B1 (en) | 1999-05-26 | 2001-07-17 | Neal Margulis | Method for effectively implementing a wireless television system |
| US8266657B2 (en) | 2001-03-15 | 2012-09-11 | Sling Media Inc. | Method for effectively implementing a multi-room television system |
| JP3925311B2 (ja) * | 2002-06-03 | 2007-06-06 | ソニー株式会社 | データ配信システム |
| US8397269B2 (en) * | 2002-08-13 | 2013-03-12 | Microsoft Corporation | Fast digital channel changing |
| US8838772B2 (en) | 2003-08-29 | 2014-09-16 | Ineoquest Technologies, Inc. | System and method for analyzing the performance of multiple transportation streams of streaming media in packet-based networks |
| US8031623B2 (en) * | 2004-10-25 | 2011-10-04 | Ineoquest Technologies, Inc. | System and method for creating multiple transportation streams of streaming media network test traffic in packet-based networks |
| US8588069B2 (en) | 2003-08-29 | 2013-11-19 | Ineoquest Technologies, Inc. | System and method for analyzing the performance of multiple transportation streams of streaming media in packet-based networks |
| US20150341812A1 (en) | 2003-08-29 | 2015-11-26 | Ineoquest Technologies, Inc. | Video quality monitoring |
| US7769756B2 (en) | 2004-06-07 | 2010-08-03 | Sling Media, Inc. | Selection and presentation of context-relevant supplemental content and advertising |
| US9998802B2 (en) | 2004-06-07 | 2018-06-12 | Sling Media LLC | Systems and methods for creating variable length clips from a media stream |
| US7917932B2 (en) | 2005-06-07 | 2011-03-29 | Sling Media, Inc. | Personal video recorder functionality for placeshifting systems |
| US8099755B2 (en) | 2004-06-07 | 2012-01-17 | Sling Media Pvt. Ltd. | Systems and methods for controlling the encoding of a media stream |
| US7975062B2 (en) | 2004-06-07 | 2011-07-05 | Sling Media, Inc. | Capturing and sharing media content |
| US7647614B2 (en) | 2004-06-07 | 2010-01-12 | Sling Media, Inc. | Fast-start streaming and buffering of streaming content for personal media player |
| US8346605B2 (en) | 2004-06-07 | 2013-01-01 | Sling Media, Inc. | Management of shared media content |
| EP1770920A4 (en) * | 2004-07-16 | 2011-10-12 | Brother Ind Ltd | CONNECTING MODE CONTROL DEVICE, CONNECTION MODE CONTROL METHOD AND CONNECTION MODE CONTROL PROGRAM |
| JP4496872B2 (ja) * | 2004-07-16 | 2010-07-07 | ブラザー工業株式会社 | 接続態様制御装置及び中継装置、接続態様制御方法及び中継方法並びに接続態様制御用プログラム及び中継装置用プログラム |
| JP4624121B2 (ja) * | 2005-01-31 | 2011-02-02 | 日本電気株式会社 | 符号化装置、これで用いるｓｔｃ補正方法、符号化システム、送出系、及び音声送受信システム |
| US7676591B2 (en) * | 2005-09-22 | 2010-03-09 | Packet Video Corporation | System and method for transferring multiple data channels |
| US9794605B2 (en) * | 2007-06-28 | 2017-10-17 | Apple Inc. | Using time-stamped event entries to facilitate synchronizing data streams |
| EP2048890A1 (en) * | 2007-10-11 | 2009-04-15 | Thomson Licensing | System and method for an early start of audio-video rendering |
| JP5172303B2 (ja) * | 2007-12-06 | 2013-03-27 | 三菱電機株式会社 | デジタル放送受信機 |
| US8060609B2 (en) | 2008-01-04 | 2011-11-15 | Sling Media Inc. | Systems and methods for determining attributes of media items accessed via a personal media broadcaster |
| JP5037371B2 (ja) * | 2008-01-25 | 2012-09-26 | Ｎｅｃパーソナルコンピュータ株式会社 | デジタル放送受信機およびプログラム |
| JP2010028633A (ja) * | 2008-07-23 | 2010-02-04 | Nec Personal Products Co Ltd | デジタル放送受信機、及びプログラム |
| US9191610B2 (en) | 2008-11-26 | 2015-11-17 | Sling Media Pvt Ltd. | Systems and methods for creating logical media streams for media storage and playback |
| US8978077B2 (en) * | 2009-02-23 | 2015-03-10 | Qualcomm Incorporated | Video content presentation |
| US8406431B2 (en) | 2009-07-23 | 2013-03-26 | Sling Media Pvt. Ltd. | Adaptive gain control for digital audio samples in a media stream |
| JP5493564B2 (ja) * | 2009-08-04 | 2014-05-14 | 日本電気株式会社 | 動画出力装置、動画出力方法およびプログラム |
| US9479737B2 (en) | 2009-08-06 | 2016-10-25 | Echostar Technologies L.L.C. | Systems and methods for event programming via a remote media player |
| US9525838B2 (en) | 2009-08-10 | 2016-12-20 | Sling Media Pvt. Ltd. | Systems and methods for virtual remote control of streamed media |
| US8966101B2 (en) | 2009-08-10 | 2015-02-24 | Sling Media Pvt Ltd | Systems and methods for updating firmware over a network |
| US8799408B2 (en) | 2009-08-10 | 2014-08-05 | Sling Media Pvt Ltd | Localization systems and methods |
| US9565479B2 (en) | 2009-08-10 | 2017-02-07 | Sling Media Pvt Ltd. | Methods and apparatus for seeking within a media stream using scene detection |
| US8532472B2 (en) | 2009-08-10 | 2013-09-10 | Sling Media Pvt Ltd | Methods and apparatus for fast seeking within a media stream buffer |
| US8799485B2 (en) | 2009-12-18 | 2014-08-05 | Sling Media, Inc. | Methods and apparatus for establishing network connections using an inter-mediating device |
| US8626879B2 (en) | 2009-12-22 | 2014-01-07 | Sling Media, Inc. | Systems and methods for establishing network connections using local mediation services |
| US9275054B2 (en) | 2009-12-28 | 2016-03-01 | Sling Media, Inc. | Systems and methods for searching media content |
| US8856349B2 (en) | 2010-02-05 | 2014-10-07 | Sling Media Inc. | Connection priority services for data communication between two devices |
| US20140082504A1 (en) * | 2012-09-14 | 2014-03-20 | Kevin B. Stanton | Continuous data delivery with energy conservation |
| JP6275506B2 (ja) | 2014-02-21 | 2018-02-07 | ルネサスエレクトロニクス株式会社 | コンテンツ出力装置 |
| US20160073168A1 (en) * | 2014-09-09 | 2016-03-10 | Cisco Technology, Inc. | Channel of top socially-commented audio visual content |
| TWI708488B (zh) * | 2019-08-20 | 2020-10-21 | 智易科技股份有限公司 | 傳輸系統、傳送裝置及傳輸路徑分配方法 |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS52102014A (en) * | 1976-02-24 | 1977-08-26 | Sony Corp | Signal processing apparatus |
| JP2520404B2 (ja) | 1986-11-10 | 1996-07-31 | 日本電気株式会社 | 圧縮復号化装置 |
| CA2000156C (en) * | 1989-02-14 | 1995-05-02 | Kohtaro Asai | Picture signal encoding and decoding apparatus |
| JPH07170503A (ja) | 1993-12-15 | 1995-07-04 | Sony Corp | 受信装置 |
| US5652627A (en) * | 1994-09-27 | 1997-07-29 | Lucent Technologies Inc. | System and method for reducing jitter in a packet-based transmission network |
| US5541646A (en) * | 1995-01-24 | 1996-07-30 | Proxima Corporation | Display image stabilization apparatus and method of using same |
| US5790543A (en) * | 1995-09-25 | 1998-08-04 | Bell Atlantic Network Services, Inc. | Apparatus and method for correcting jitter in data packets |
| US6269078B1 (en) * | 1997-04-04 | 2001-07-31 | T. V. Lakshman | Method and apparatus for supporting compressed video with explicit rate congestion control |
| KR100251710B1 (ko) * | 1997-07-07 | 2000-04-15 | 윤종용 | 비동기 전송 모드망과 플레스이오크로너스 디지탈 계층구조망 간의 접속에 따른 지터와 원더 감소 장치 |
| US6360271B1 (en) * | 1999-02-02 | 2002-03-19 | 3Com Corporation | System for dynamic jitter buffer management based on synchronized clocks |
| JPH11127420A (ja) | 1997-10-24 | 1999-05-11 | Matsushita Electric Ind Co Ltd | 映像提供システム |
| DE19813784A1 (de) * | 1998-03-27 | 1999-09-30 | Nokia Deutschland Gmbh | Verfahren zum Erhöhen der Speicherkapazität für Serviceinformation in einem Empfänger für digitale TV-Sendungen |
| GB9822087D0 (en) * | 1998-10-09 | 1998-12-02 | Snell & Wilcox Ltd | Improvements in data compression |
| US6625655B2 (en) * | 1999-05-04 | 2003-09-23 | Enounce, Incorporated | Method and apparatus for providing continuous playback or distribution of audio and audio-visual streamed multimedia reveived over networks having non-deterministic delays |
| US6754276B1 (en) * | 1999-09-20 | 2004-06-22 | Matsushita Electric Industrial Co., Ltd. | System stream creating apparatus which adjusts system clock reference based on total number of pictures to be stored and decoded during certain time period |
| US6993081B1 (en) * | 1999-11-23 | 2006-01-31 | International Business Machines Corporation | Seamless splicing/spot-insertion for MPEG-2 digital video/audio stream |
| US20020075857A1 (en) * | 1999-12-09 | 2002-06-20 | Leblanc Wilfrid | Jitter buffer and lost-frame-recovery interworking |
| JP2001169281A (ja) | 1999-12-13 | 2001-06-22 | Matsushita Electric Ind Co Ltd | 動画像符号化装置、および動画像符号化方法 |
| US6658199B1 (en) * | 1999-12-16 | 2003-12-02 | Sharp Laboratories Of America, Inc. | Method for temporally smooth, minimal memory MPEG-2 trick play transport stream construction |
| CA2299943A1 (en) * | 2000-03-03 | 2001-09-03 | Shane M. Rogers | Apparatus for adjusting a local sampling rate based on the rate of reception of packets |
| EP1143671B1 (en) * | 2000-04-07 | 2004-07-21 | NTT DoCoMo, Inc. | Device and method for reducing delay jitter in data transmission |
| JP2002077233A (ja) * | 2000-08-25 | 2002-03-15 | Matsushita Electric Ind Co Ltd | リアルタイム情報受信装置 |
| JP4591939B2 (ja) | 2001-05-15 | 2010-12-01 | Ｋｄｄｉ株式会社 | 適応的符号化伝送装置および受信装置 |
| US6792449B2 (en) | 2001-06-28 | 2004-09-14 | Microsoft Corporation | Startup methods and apparatuses for use in streaming content |
| JP4712238B2 (ja) | 2001-07-30 | 2011-06-29 | パナソニック株式会社 | 映像信号符号化装置、映像信号送信装置、および映像信号符号化方法 |
| US7023942B1 (en) * | 2001-10-09 | 2006-04-04 | Nortel Networks Limited | Method and apparatus for digital data synchronization |
| US7263109B2 (en) * | 2002-03-11 | 2007-08-28 | Conexant, Inc. | Clock skew compensation for a jitter buffer |
| JP3925311B2 (ja) * | 2002-06-03 | 2007-06-06 | ソニー株式会社 | データ配信システム |
-
2002
- 2002-06-03 JP JP2002161911A patent/JP3925311B2/ja not_active Expired - Lifetime
-
2003
- 2003-05-30 US US10/448,799 patent/US7778372B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004015111A (ja) | 2004-01-15 |
| US7778372B2 (en) | 2010-08-17 |
| US20040032916A1 (en) | 2004-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3925311B2 (ja) | データ配信システム | |
| US9066061B2 (en) | Video information reproduction method and system, and video information content | |
| US8335262B2 (en) | Dynamic rate adjustment to splice compressed video streams | |
| US9426335B2 (en) | Preserving synchronized playout of auxiliary audio transmission | |
| EP1786209B1 (en) | Content receiver, video-audio output timing control method, and content providing system | |
| EP1662793B1 (en) | Content reception device, video/audio output timing control method, and content providing system | |
| JP2022075735A (ja) | 送信方法および送信装置 | |
| US6414970B1 (en) | Digital signal multiplexing method and apparatus, digital signal transmission method and apparatus, digital signal recording method and apparatus and recording medium | |
| US20050190872A1 (en) | Transcoding system and method for maintaining timing parameters before and after performing transcoding process | |
| US8275233B2 (en) | System and method for an early start of audio-video rendering | |
| US8010863B2 (en) | Method and apparatus for synchronizing multiple multimedia streams | |
| KR100581159B1 (ko) | 디지털 신호 다중화 방법 및 장치, 디지털 신호 송신 방법 및 장치, 디지털 신호 기록 방법 및 장치, 및 기록 매체 | |
| US20060161676A1 (en) | Apparatus for IP streaming capable of smoothing multimedia stream | |
| JP3906712B2 (ja) | データストリーム処理装置 | |
| US20030018983A1 (en) | Data broadcasting service system of storage type | |
| JP4192766B2 (ja) | 受信装置および方法、記録媒体、並びにプログラム | |
| CN101291292B (zh) | 调制解调器前端设备和方法 | |
| JP4874272B2 (ja) | 映像信号処理装置および映像信号処理方法 | |
| JP2005519541A (ja) | 第１データストリームを第２データストリームに変換する方法及び装置 | |
| JP2005519541A5 (ja) | ||
| JP3705231B2 (ja) | トランスポートストリーム・スプライサー | |
| JP2012016066A (ja) | 映像信号処理装置および映像信号処理方法 | |
| JP2004158921A (ja) | データ送信装置及びデータ受信装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040416 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060904 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070219 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |