JP4006840B2 - システムターゲットデコーダのオーディオバッファ、多重化方法および装置、再生方法および装置 - Google Patents
システムターゲットデコーダのオーディオバッファ、多重化方法および装置、再生方法および装置 Download PDFInfo
- Publication number
- JP4006840B2 JP4006840B2 JP22603298A JP22603298A JP4006840B2 JP 4006840 B2 JP4006840 B2 JP 4006840B2 JP 22603298 A JP22603298 A JP 22603298A JP 22603298 A JP22603298 A JP 22603298A JP 4006840 B2 JP4006840 B2 JP 4006840B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- stream
- buffer
- video
- skew
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000009825 accumulation Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000008707 rearrangement Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4392—Processing of audio elementary streams involving audio buffer management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
- H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、システムターゲットデコーダの技術分野に属し、特に、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームとは離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダにおけるオーディオバッファの容量に関する。
【０００２】
【従来の技術】
ＭＰＥＧ２システム規格では、パケット多重化したストリームから個々のエレメンタリーストリーム（ビデオストリームやオーディオストリーム）を分離し、それらを復号して同期させて表示する過程を規定した仮想的なデコーダモデルとしてのＳＴＤ（システムターゲットデコーダ）を、ＰＳ（プログラムストリーム），ＴＳ（トランスポートストリーム）のそれぞれについて定義している。
しかし、ＭＰＥＧ２システム規格には、複数のストリームを接続してシームレスに再生する方法についての規定はない。
【０００３】
そこで、ＤＶＤ（ディジタルバーサタイルディスク）についての規格のうちのＤＶＤ−Ｖｉｄｅｏ規格では、ユーザーがディレクターズカットやマルチアングルといった操作を行なえるようにすることを目的として、こうしたシームレス再生機能を導入した拡張デコーダモデルとしてのＥ−ＳＴＤ（エクステンデッドシステムターゲットデコーダ）を定義している。
【０００４】
シームレス再生用のストリームは、インターリーブユニットと呼ぶ単位に分割してインターリーブブロックと呼ぶ記録領域に配置される。そして再生時には、それらのインターリーブユニットのうちユーザーに指定されないものはジャンプされ、ユーザーに指定されたものだけが読み出されてＥ−ＳＴＤに連続的に入力される。
【０００５】
このＥ−ＳＴＤでは、ストリームの接続部分で発生するオーディオスキューを、それに対応する（同期再生すべき）ビデオストリームとは離して多重化する記録方式を前提としていた。即ち、例えば図８に示すように、或るストリームＳ１に続くストリームとして、マルチアングルのためにＡｎｇｌｅ１，Ａｎｇｌｅ２，Ａｎｇｌｅ３の３つのインターリーブユニットが用意される場合には、ストリームＳ１とＡｎｇｌｅ１，２，３との接続部分で発生するオーディオスキューを、ストリームＳ１中のビデオストリームとは離してＡｎｇｌｅ１，２，３のほうに多重化していた。
【０００６】
【発明が解決しようとする課題】
しかし、このような記録方式では、図８におけるＡｎｇｌｅ１，Ａｎｇｌｅ２，Ａｎｇｌｅ３中に、復号や表示のための基準時刻が互いに異なるデータが混在してしまうので、その論理構造が不明確になってしまうという問題を生じる。
【０００７】
また、ストリームの境界とは異なる箇所でストリームが切り離されるので、この切り離された１まとまりのデータ（図８におけるストリームＳ１やＡｎｇｌｅ１，２，３）のことを「クリップ」と呼ぶことにすると、図９にも示すように、クリップの境界とストリームの境界とが一致しなくなることにより、境界の意味が不明確になるという問題を生じる。特に、個々のクリップをファイルとしてパーソナルコンピュータ等で管理する場合には、オーディオスキューとそれに対応するビデオストリームとが別々のファイル内に含まれてしまうことになるので、ファイル管理に支障が生じかねない。
【０００８】
これに対し、ストリームの接続部分で発生するオーディオスキューを、それに対応するビデオストリームと離れないように多重化する記録方式を採用すれば、こうした問題を回避することができる。
【０００９】
しかし、後に理由を説明するように、こうした記録方式のストリームのシームレス再生を行なうためのシステムターゲットデコーダとしては、ＭＰＥＧ２システム規格で定義されるＰ−ＳＴＤのハードウェア資源のうちのオーディオバッファの容量を増加させたものか、あるいは、このハードウェア資源はそのままにして、単一のバッファのうちビデオバッファとして割り当てる領域とオーディオバッファとして割り当てる領域とを時間的に変化させるソフトウェア処理を行なうようにしたものが必要になる。
【００１０】
本発明の目的は、このうちのオーディオバッファの容量を増加させたほうのシステムターゲットデコーダにおける、増加すべきオーディオバッファの容量を規定することにある。
【００１１】
【課題を解決するための手段】
本発明は、ストリームの接続部分で発生するオーディオスキューをそれに対応するビオオストリームと離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダのオーディオバッファにおいて、この接続部分で発生するオーディオスキュー部分であって、このオーディオバッファにオーディオストリームが入力されるがこのシステムターゲットデコーダのビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、オーディオスキューを、オーディオスキューに対応するビデオストリームと離して多重化する場合に比べて、容量を増大させておくことを特徴としている。
また本発明は、ストリームの接続部分で発生するオーディオスキューを、このオーディオスキューに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なう再生方法において、この接続部分で発生するオーディオスキュー部分であって、オーディオバッファにオーディオストリームが入力されるがビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、オーディオスキューを、オーディオスキューに対応するビデオストリームと離して多重化した場合に比べて、このオーディオバッファの容量を増大させておくことを特徴とする。
また本発明は、ストリームの接続部分で発生するオーディオスキューを、このオーディオスキューに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なう再生装置において、この接続部分で発生するオーディオスキュー部分であって、この再生装置のオーディオバッファにオーディオストリームが入力されるがこの再生装置のビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、オーディオスキューを、オーディオスキューに対応するビデオストリームと離して多重化した場合に比べて、このオーディオバッファの容量を増大させておくことを特徴とする。
【００１２】
本発明によれば、オーディオバッファの容量を上記の量だけ増大させたことにより、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダシステムに、オーディオバッファをオーバーフローさせることなくシームレス再生を行わせることが可能になる。
また本発明によれば、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行う再生装置に、オーディオバッファをオーバーフローさせることなくシームレス再生を行わせることが可能になる。
【００１３】
【発明の実施の形態】
最初に、本発明が前提とする記録方式について説明する。
この記録方式は、シームレス再生すべき２つのクリップのうちの先のクリップ（以下クリップＣ１と呼ぶ）中のオーディオストリームの最後のパケットに、クリップＣ１中のビデオストリームのうちの最後のピクチャの表示の終了時と一致した表示時刻のサンプルを含め、且つ、この２つのクリップのうちの後のクリップ（以下クリップＣ２と呼ぶ）中のオーディオストリームの最初のパケットに、クリップＣ２中のビデオストリームのうちの最初のピクチャのパケットの表示の開始時と一致した表示時刻のサンプルを含めることにより、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームと離れないように多重化するものである。
【００１４】
この記録方式（以下では「クリーンブレーク」と呼ぶことにする。）を、従来の記録方式を例示した図８と関連付けて示すと、図１の通りである。
このクリーンブレークによれば、１つのクリップ中には、復号や表示のための基準時刻が共通なデータのみが存在するようになるので、その論理構造が明確になる。
【００１５】
また、ストリームが境界で切り離されたものがクリップとなるので、図２にも示すようにクリップの境界とストリームの境界とが一致することにより、境界の意味が明確になり、クリップをファイル管理する場合にもオーディオスキューとそれに対応するビデオストリームとが同一のファイル内に含まれるようになる。
【００１６】
次に、本発明を適用したシステムターゲットデコーダの構成の一例について、図３を用いて説明する。
このシステムターゲットデコーダは、ディジタルビデオテープレコーダ用のシステムターゲットデコーダであり、以下「ＤＶＲ−ＳＴＤ」と呼ぶことにする。
【００１７】
図示しないビデオテープから読み出されてＤＶＲ−ＳＴＤに入力されたパケット多重化ストリーム（前述のクリーンブレークによるストリーム）は、デマルチプレクサ１により、エレメンタリーストリームであるビデオストリームとオーディオストリームとサブピクチャストリーム（グラフィックデータ等）とに分離されて、ビデオバッファ２，オーディオバッファ３，グラフィックバッファ４にそれぞれ蓄積される。
【００１８】
ＤＴＳ（デコードタイムスタンプ）の示す復号時刻になると、ビデオストリームのうちのＩピクチャ及びＰピクチャが、ビデオバッファ２からビデオデコーダ５に転送されて復号され、再配列バッファ６に蓄積される。
【００１９】
その後ＰＴＳ（プレゼンテーションタイムスタンプ）の示す表示時刻になると、ビデオストリームのうちのＢピクチャ，オーディオストリーム，サブピクチャストリームが、それぞれビデオバッファ２，オーディオバッファ３，グラフィックバッファ４からビデオデコーダ５，オーディオデコーダ７，グラフィックデコーダ８に転送されて復号及び表示される。このとき、再配列バッファ６に蓄積されたＩピクチャ及びＰピクチャも同時に表示される。
【００２０】
ＳＴＣ生成部９では、入力ストリーム中のＳＣＲ（システムクロックリファレンス）から、基準時刻であるＳＴＣ（システムタイムクロック）の時刻合わせが行われる。
【００２１】
ＳＴＣ＿ｄｅｌｔａ算出部１０では、シームレス再生すべき２つのクリップのうちの先のクリップＣ１中のビデオストリームのうちの最後のフレームのＰＴＳの値ＰＴＳ１ｅｎｄ，後のクリップＣ２中のビデオストリームのうちの最初のフレームのＰＴＳの値ＰＴＳ２ｓｔａｒｔ，クリップＣ１中のビデオストリームのうちの最後のフレームの表示期間Ｔｐｐから、次のようにして、クリップＣ１とクリップＣ２との時間基準の差であるＳＴＣ＿ｄｅｌｔａが算出される。
ＳＴＣ＿ｄｅｌｔａ＝ＰＴＳ１ｅｎｄ−ＰＴＳ２ｓｔａｒｔ＋Ｔｐｐ
【００２２】
加算器１１からは、ＳＴＣ生成部９で生成されたＳＴＣとＳＴＣ＿ｄｅｌｔａ算出部１０で算出されたＳＴＣ＿ｄｅｌｔａとを加算した出力ＳＴＣ’が得られる。
【００２３】
このＤＶＲ−ＳＴＤは、１つのクリップの再生時には、そのクリップ中のＳＣＲにより時刻合わせを行なったＳＴＣを基準時刻として、Ｐ−ＳＴＤと全く同様に動作する。
【００２４】
しかし、シームレス再生時には、クリップＣ１のビデオデータとクリップＣ２のビデオデータとを連続的に表示するために、クリップＣ１からクリップＣ２への移行期間に、図のスイッチＳＷ１，ＳＷ２，ＳＷ３等により基準時刻をＳＴＣとＳＴＣ’との間で切り替える。
例えばこのＤＶＲ−ＳＴＤへのパケット多重化ストリームの入力タイミングは、次のようにして決定される。
（ａ）クリップＣ１が入力され終えてクリップＣ２の入力が開始される時刻までは、クリップＣ１中のＳＣＲにより時刻合わせを行なった基準時刻ＳＴＣによって決定される。
【００２５】
（ｂ）クリップＣ２の入力が開始される時刻から、クリップＣ１中の最後のビデオデータが表示され終える時刻まで（即ちクリップＣ１からクリップＣ２への移行期間）は、基準時刻がＳＴＣ’に切り替えられ、クリップＣ２中のＳＣＲによりＳＴＣの時刻合わせが行われる。
【００２６】
（ｃ）クリップＣ１中の最後のビデオデータが表示され終える時刻になると、ＳＴＣがその時刻でのＳＴＣ’にリセットされ、基準時刻がＳＴＣに切り替えられる。
【００２７】
次に、本発明の特徴となるオーディオバッファ３の容量について、このＤＶＲ−ＳＴＤと前述のＥ−ＳＴＤとを対比しつつ説明する。
Ｅ−ＳＴＤの場合には、図９にも示したようにクリップの境界とストリームの境界とが一致しないことから、先のクリップＣ１及び後のクリップＣ２から分離されたビデオストリーム，オーディオストリームがそれぞれビデオバッファ，オーディオバッファに送られる過程でのビデオストリームとオーディオストリームとの時間軸上での関係は、図４Ａに例示する通りになる。
【００２８】
同図において、時刻ｔａは、クリップＣ１とクリップＣ２との境界であると共に、２つのビデオストリームの境界であり、時刻ｔｂは、２つのオーディオストリームの境界である。ビデオストリームのうちの時刻ｔａのビデオデータとオーディオストリームのうちの時刻ｔｂのオーディオデータとは、同期再生すべき関係にある。オーディオストリームのうちの時刻ｔａからｔｂまでの期間Ｔに送られる部分が、オーディオスキューである。尚、ＲVideo ，ＲAudio はそれぞれビデオテープからのビデオストリーム，オーディオストリームの読み出しレートである。
【００２９】
図４Ｂは、この過程でのビデオバッファの状態を例示するものである。本例では、ビデオバッファへのデータの入力レートＲINとビデオバッファからのデータの出力レートＲOUT とが共にＲVideo と一致しているので、ビデオバッファのデータ蓄積量は一定になっている。また、時刻ｔａのビデオデータは、時刻ｔｂのオーディオデータと同期再生させるために、期間Ｔの間ビデオバッファに蓄積されている。（尚、ＭＰＥＧ２システム規格では、同一データがＰ−ＳＴＤのバッファに１秒を超えて蓄積されることを禁じているので、期間Ｔの長さは１秒が上限となる。）
【００３０】
図４Ｃは、この過程でのオーディオバッファの状態を例示するものである。本例では、オーディオバッファへのデータの入力レートＲINとオーディオバッファからのデータの出力レートＲOUT とが共にＲAudio と一致しているので、オーディオバッファのデータ蓄積量は一定になっている。
【００３１】
これに対し、図３のＤＶＲ−ＳＴＤの場合には、図１にも示したようにクリップの境界とストリームの境界とが一致することから、先のクリップＣ１及び後のクリップＣ２からデマルチプレクサ１により分離されたビデオストリーム，オーディオストリームがそれぞれビデオバッファ２，オーディオバッファ３に送られる過程でのビデオストリームとオーディオストリームとの時間軸上での位置関係を図４Ａと関連付けて示すと、図５Ａの通りになる。
【００３２】
この場合には、時刻ｔａまでのビデオストリームとオーディオストリームとの関係は、Ｅ−ＳＴＤの場合におけると同じになる。しかし時刻ｔａからは、クリップＣ１中の残りのオーディオストリーム（図４Ａの期間Ｔのオーディオスキューに相当する部分であり、図１ではクリップの右端から突出した部分）がＲVide o ＋ＲAudio のレートで図３のオーディオバッファ３に送られ、ビデオバッファ２にはビデオストリームが送られない。そして、そのオーディオストリームの送付が完了した時刻ｔｃが、クリップＣ１とクリップＣ２との境界になる。
【００３３】
時刻ｔｃから時刻ｔｂまでは、クリップＣ２中のビデオストリーム（図１でクリップの左端から突出した部分）がＲVideo ＋ＲAudio のレートで図３のビデオバッファ２に送られ、オーディオバッファ３にはオーディオストリームが送られない。そして、時刻ｔｂからのビデオストリームとオーディオストリームとの関係は、Ｅ−ＳＴＤの場合におけると同じになる。
【００３４】
期間Ｔのうち、時刻ｔａから時刻ｔｃまでの期間ＴA と、時刻ｔｃから時刻ｔｂまでの期間ＴV との内訳は、次の通りになる。
ＴA ＝Ｔ×ＲAudio ÷（ＲVideo ＋ＲAudio ）
ＴV ＝Ｔ×ＲVideo ÷（ＲVideo ＋ＲAudio ）
【００３５】
図５Ｂは、この過程でのビデオバッファ２の状態を、図４Ｂと関連付けて示すものである。時刻ｔａから時刻ｔｃまでの期間ＴA にはデータの入力がないのでデータ蓄積量が減少するが、時刻ｔａからｔｂまでの期間Ｔに必要となるデータは時刻ｔａまでに入力済みなので、この期間Ｔの間にビデオバッファ２がアンダーフローを起こすことはない。そして時刻ｔｃから時刻ｔｂまでの期間ＴV に、出力レートＲOUT ＝ＲVideo よりも大きな入力レートＲIN＝ＲVideo ＋ＲAudio でデータが入力されることにより、時刻ｔｂには、Ｅ−ＳＴＤの場合におけると同じデータ蓄積量にまで増加している。
【００３６】
図５Ｃは、この過程でのオーディオバッファ３の状態を、図４Ｃと関連付けて示すものである。時刻ｔａから時刻ｔｃまでの期間ＴA には、出力レートＲOUT ＝ＲAudio よりも大きな入力レートＲIN＝ＲVideo ＋ＲAudio でデータが入力されるので、データ蓄積量がＥ−ＳＴＤの場合におけるよりも増加する。そして時刻ｔｃから時刻ｔｂまでの期間ＴV にはデータの入力がないので、時刻ｔｂには、Ｅ−ＳＴＤの場合におけると同じデータ蓄積量にまで減少している。
【００３７】
従って、ビデオバッファ２の容量はＥ−ＳＴＤの場合におけると同じであってよいのに対し、オーディオバッファ３の容量は、オーバーフローを起こさないようにするために、Ｅ−ＳＴＤの場合におけるよりも増大させなければならない。その増大すべき量の最小値は、データの最大蓄積量である図５Ｃの時刻ｔｃでのデータ蓄積量と時刻ｔａでのデータ蓄積量との差ＥＯAudio である。この差ＥＯAudio の大きさは、次のようにして算出される。
【００３８】
ＥＯAudio
＝（ＲIN−ＲOUT ）×ＴA
＝｛（ＲVideo ＋ＲAudio ）−ＲAudio ｝
×Ｔ×ＲAudio ÷（ＲVideo ＋ＲAudio ）
＝Ｔ×ＲVideo ×ＲAudio ÷（ＲVideo ＋ＲAudio ）
【００３９】
そこで、図３のＤＶＲ−ＳＴＤでは、オーディオバッファ３として、このＥＯAudio だけ容量を増大させたもの（図４Ｃに示したオーディオバッファのデータ蓄積量をＯAudio とするとＯAudio ＋ＥＯAudio の容量のもの）を用いている。これにより、このＤＶＲ−ＳＴＤでは、オーディオバッファ３をオーバーフローさせることなくシームレス再生が行われる。
【００４０】
図６は、このＥＯAudio の大きさとＲAudio の大きさとの関係を、ＲVideo ＋ＲAudio ＝１０Ｍｂｐｓ，１５Ｍｂｐｓのときについてそれぞれグラフ化して示したものである。
【００４１】
また図７は、パケット多重化ストリーム中のオーディオストリームが、ＭＰＥＧオーディオまたはドルビーＡＣ−３により圧縮されたもの（圧縮オーディオ）である場合，ＰＣＭにより符号化されたものである場合のそれぞれについて、ＲVideo ＋ＲAudio ＝５，１０，１５ＭｂｐｓのときのＥＯAudio の好適な大きさの具体例を示したものである。
【００４２】
この図７のうち、圧縮オーディオの場合のＲAudio の大きさ３８４ｋｂｐｓ，４４８ｋｂｐｓは、それぞれＭＰＥＧオーディオ，ドルビーＡＣ−３の最大ビットレートである。またＰＣＭの場合のＲAudio の大きさ７６８ｋｂｐｓは、量子化ビット数１２，チャンネル数２のときサンプリング周波数３２ｋＨｚに相当し（３２×１２×２＝７６８）、１５３６ｋｂｐｓは、量子化ビット数１６，チャンネル数２のときサンプリング周波数４８ｋＨｚに相当する（４８×１６×２＝１５３６）。
【００４３】
尚、以上の例では、オーディオバッファ３の容量を、オーバーフローを起こさないようにするための最小値ＥＯAudio だけ増大させている。しかし、オーディオバッファ３の容量をこの値ＥＯAudio よりも大きい量だけ増大させてもよいことはもちろんである。
【００４４】
また、以上の例では、オーディオバッファ３の容量を増大させている。しかし、時刻ｔａから時刻ｔｂまでのオーディオバッファ３のデータ蓄積量の増加量とビデオバッファ２のデータ蓄積量の減少量とは等しいので、Ｅ−ＳＴＤの場合におけるビデオバッファとオーディオバッファとの容量の総和に等しい容量の単一のバッファを設け、そのバッファのうちのビデオバッファ２として割り当てる領域とオーディオバッファ３として割り当てる領域とを時刻ｔａから時刻ｔｂにかけて変化させるソフトウェア処理を行なうようにしてもよい。
【００４５】
また、以上の例では、ディジタルビデオテープレコーダ用のシステムターゲットデコーダに本発明を適用しているが、それ以外のシステムターゲットデコーダ（例えばＤＶＤ用のシステムターゲットデコーダ）に本発明を適用してもよい。また、本発明は、以上の例に限らず、本発明の要旨を逸脱することなく、その他様々の構成をとりうることはもちろんである。
【００４６】
【発明の効果】
以上のように、本発明によれば、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダにおいて増大すべきオーディオバッファの容量を規定したことにより、このシステムターゲットデコーダに、オーディオバッファをオーバーフローさせることなくシームレス再生を行わせることができる。
【図面の簡単な説明】
【図１】クリーンブレークの説明に供給する図である。
【図２】クリーンブレークにおけるクリップの境界とストリームの境界とを示す図である。
【図３】本発明を適用したシステムターゲットデコーダの構成の一例を示すブロック図である。
【図４】Ｅ−ＳＴＤの場合のビデオストリームとオーディオストリームとの時間軸上での関係等を示すタイミングチャートである。
【図５】図３のシステムターゲットデコーダの場合のビデオストリームとオーディオストリームとの時間軸上での関係等を示すタイミングチャートである。
【図６】図３のオーディオバッファの容量の増大量と読み出しレートとの関係を示す図である。
【図７】図３のオーディオバッファの容量の増大量の具体例を示す図である。
【図８】従来のパケット多重記録方式の説明に供給する図である。
【図９】従来のパケット多重記録方式におけるクリップの境界とストリームの境界とを示す図である。
【符号の説明】
１…デマルチプレクサ、 ２…ビデオバッファ、 ３…オーディオバッファ、４…グラフィックバッファ、 ５…ビデオデコーダ、 ６…再配列バッファ、７…オーディオデコーダ、 ８…グラフィックデコーダ、 ９…ＳＴＣ生成部、 １０…ＳＴＣ＿ｄｅｌｔａ算出部
【発明の属する技術分野】
本発明は、システムターゲットデコーダの技術分野に属し、特に、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームとは離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダにおけるオーディオバッファの容量に関する。
【０００２】
【従来の技術】
ＭＰＥＧ２システム規格では、パケット多重化したストリームから個々のエレメンタリーストリーム（ビデオストリームやオーディオストリーム）を分離し、それらを復号して同期させて表示する過程を規定した仮想的なデコーダモデルとしてのＳＴＤ（システムターゲットデコーダ）を、ＰＳ（プログラムストリーム），ＴＳ（トランスポートストリーム）のそれぞれについて定義している。
しかし、ＭＰＥＧ２システム規格には、複数のストリームを接続してシームレスに再生する方法についての規定はない。
【０００３】
そこで、ＤＶＤ（ディジタルバーサタイルディスク）についての規格のうちのＤＶＤ−Ｖｉｄｅｏ規格では、ユーザーがディレクターズカットやマルチアングルといった操作を行なえるようにすることを目的として、こうしたシームレス再生機能を導入した拡張デコーダモデルとしてのＥ−ＳＴＤ（エクステンデッドシステムターゲットデコーダ）を定義している。
【０００４】
シームレス再生用のストリームは、インターリーブユニットと呼ぶ単位に分割してインターリーブブロックと呼ぶ記録領域に配置される。そして再生時には、それらのインターリーブユニットのうちユーザーに指定されないものはジャンプされ、ユーザーに指定されたものだけが読み出されてＥ−ＳＴＤに連続的に入力される。
【０００５】
このＥ−ＳＴＤでは、ストリームの接続部分で発生するオーディオスキューを、それに対応する（同期再生すべき）ビデオストリームとは離して多重化する記録方式を前提としていた。即ち、例えば図８に示すように、或るストリームＳ１に続くストリームとして、マルチアングルのためにＡｎｇｌｅ１，Ａｎｇｌｅ２，Ａｎｇｌｅ３の３つのインターリーブユニットが用意される場合には、ストリームＳ１とＡｎｇｌｅ１，２，３との接続部分で発生するオーディオスキューを、ストリームＳ１中のビデオストリームとは離してＡｎｇｌｅ１，２，３のほうに多重化していた。
【０００６】
【発明が解決しようとする課題】
しかし、このような記録方式では、図８におけるＡｎｇｌｅ１，Ａｎｇｌｅ２，Ａｎｇｌｅ３中に、復号や表示のための基準時刻が互いに異なるデータが混在してしまうので、その論理構造が不明確になってしまうという問題を生じる。
【０００７】
また、ストリームの境界とは異なる箇所でストリームが切り離されるので、この切り離された１まとまりのデータ（図８におけるストリームＳ１やＡｎｇｌｅ１，２，３）のことを「クリップ」と呼ぶことにすると、図９にも示すように、クリップの境界とストリームの境界とが一致しなくなることにより、境界の意味が不明確になるという問題を生じる。特に、個々のクリップをファイルとしてパーソナルコンピュータ等で管理する場合には、オーディオスキューとそれに対応するビデオストリームとが別々のファイル内に含まれてしまうことになるので、ファイル管理に支障が生じかねない。
【０００８】
これに対し、ストリームの接続部分で発生するオーディオスキューを、それに対応するビデオストリームと離れないように多重化する記録方式を採用すれば、こうした問題を回避することができる。
【０００９】
しかし、後に理由を説明するように、こうした記録方式のストリームのシームレス再生を行なうためのシステムターゲットデコーダとしては、ＭＰＥＧ２システム規格で定義されるＰ−ＳＴＤのハードウェア資源のうちのオーディオバッファの容量を増加させたものか、あるいは、このハードウェア資源はそのままにして、単一のバッファのうちビデオバッファとして割り当てる領域とオーディオバッファとして割り当てる領域とを時間的に変化させるソフトウェア処理を行なうようにしたものが必要になる。
【００１０】
本発明の目的は、このうちのオーディオバッファの容量を増加させたほうのシステムターゲットデコーダにおける、増加すべきオーディオバッファの容量を規定することにある。
【００１１】
【課題を解決するための手段】
本発明は、ストリームの接続部分で発生するオーディオスキューをそれに対応するビオオストリームと離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダのオーディオバッファにおいて、この接続部分で発生するオーディオスキュー部分であって、このオーディオバッファにオーディオストリームが入力されるがこのシステムターゲットデコーダのビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、オーディオスキューを、オーディオスキューに対応するビデオストリームと離して多重化する場合に比べて、容量を増大させておくことを特徴としている。
また本発明は、ストリームの接続部分で発生するオーディオスキューを、このオーディオスキューに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なう再生方法において、この接続部分で発生するオーディオスキュー部分であって、オーディオバッファにオーディオストリームが入力されるがビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、オーディオスキューを、オーディオスキューに対応するビデオストリームと離して多重化した場合に比べて、このオーディオバッファの容量を増大させておくことを特徴とする。
また本発明は、ストリームの接続部分で発生するオーディオスキューを、このオーディオスキューに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なう再生装置において、この接続部分で発生するオーディオスキュー部分であって、この再生装置のオーディオバッファにオーディオストリームが入力されるがこの再生装置のビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、オーディオスキューを、オーディオスキューに対応するビデオストリームと離して多重化した場合に比べて、このオーディオバッファの容量を増大させておくことを特徴とする。
【００１２】
本発明によれば、オーディオバッファの容量を上記の量だけ増大させたことにより、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダシステムに、オーディオバッファをオーバーフローさせることなくシームレス再生を行わせることが可能になる。
また本発明によれば、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行う再生装置に、オーディオバッファをオーバーフローさせることなくシームレス再生を行わせることが可能になる。
【００１３】
【発明の実施の形態】
最初に、本発明が前提とする記録方式について説明する。
この記録方式は、シームレス再生すべき２つのクリップのうちの先のクリップ（以下クリップＣ１と呼ぶ）中のオーディオストリームの最後のパケットに、クリップＣ１中のビデオストリームのうちの最後のピクチャの表示の終了時と一致した表示時刻のサンプルを含め、且つ、この２つのクリップのうちの後のクリップ（以下クリップＣ２と呼ぶ）中のオーディオストリームの最初のパケットに、クリップＣ２中のビデオストリームのうちの最初のピクチャのパケットの表示の開始時と一致した表示時刻のサンプルを含めることにより、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームと離れないように多重化するものである。
【００１４】
この記録方式（以下では「クリーンブレーク」と呼ぶことにする。）を、従来の記録方式を例示した図８と関連付けて示すと、図１の通りである。
このクリーンブレークによれば、１つのクリップ中には、復号や表示のための基準時刻が共通なデータのみが存在するようになるので、その論理構造が明確になる。
【００１５】
また、ストリームが境界で切り離されたものがクリップとなるので、図２にも示すようにクリップの境界とストリームの境界とが一致することにより、境界の意味が明確になり、クリップをファイル管理する場合にもオーディオスキューとそれに対応するビデオストリームとが同一のファイル内に含まれるようになる。
【００１６】
次に、本発明を適用したシステムターゲットデコーダの構成の一例について、図３を用いて説明する。
このシステムターゲットデコーダは、ディジタルビデオテープレコーダ用のシステムターゲットデコーダであり、以下「ＤＶＲ−ＳＴＤ」と呼ぶことにする。
【００１７】
図示しないビデオテープから読み出されてＤＶＲ−ＳＴＤに入力されたパケット多重化ストリーム（前述のクリーンブレークによるストリーム）は、デマルチプレクサ１により、エレメンタリーストリームであるビデオストリームとオーディオストリームとサブピクチャストリーム（グラフィックデータ等）とに分離されて、ビデオバッファ２，オーディオバッファ３，グラフィックバッファ４にそれぞれ蓄積される。
【００１８】
ＤＴＳ（デコードタイムスタンプ）の示す復号時刻になると、ビデオストリームのうちのＩピクチャ及びＰピクチャが、ビデオバッファ２からビデオデコーダ５に転送されて復号され、再配列バッファ６に蓄積される。
【００１９】
その後ＰＴＳ（プレゼンテーションタイムスタンプ）の示す表示時刻になると、ビデオストリームのうちのＢピクチャ，オーディオストリーム，サブピクチャストリームが、それぞれビデオバッファ２，オーディオバッファ３，グラフィックバッファ４からビデオデコーダ５，オーディオデコーダ７，グラフィックデコーダ８に転送されて復号及び表示される。このとき、再配列バッファ６に蓄積されたＩピクチャ及びＰピクチャも同時に表示される。
【００２０】
ＳＴＣ生成部９では、入力ストリーム中のＳＣＲ（システムクロックリファレンス）から、基準時刻であるＳＴＣ（システムタイムクロック）の時刻合わせが行われる。
【００２１】
ＳＴＣ＿ｄｅｌｔａ算出部１０では、シームレス再生すべき２つのクリップのうちの先のクリップＣ１中のビデオストリームのうちの最後のフレームのＰＴＳの値ＰＴＳ１ｅｎｄ，後のクリップＣ２中のビデオストリームのうちの最初のフレームのＰＴＳの値ＰＴＳ２ｓｔａｒｔ，クリップＣ１中のビデオストリームのうちの最後のフレームの表示期間Ｔｐｐから、次のようにして、クリップＣ１とクリップＣ２との時間基準の差であるＳＴＣ＿ｄｅｌｔａが算出される。
ＳＴＣ＿ｄｅｌｔａ＝ＰＴＳ１ｅｎｄ−ＰＴＳ２ｓｔａｒｔ＋Ｔｐｐ
【００２２】
加算器１１からは、ＳＴＣ生成部９で生成されたＳＴＣとＳＴＣ＿ｄｅｌｔａ算出部１０で算出されたＳＴＣ＿ｄｅｌｔａとを加算した出力ＳＴＣ’が得られる。
【００２３】
このＤＶＲ−ＳＴＤは、１つのクリップの再生時には、そのクリップ中のＳＣＲにより時刻合わせを行なったＳＴＣを基準時刻として、Ｐ−ＳＴＤと全く同様に動作する。
【００２４】
しかし、シームレス再生時には、クリップＣ１のビデオデータとクリップＣ２のビデオデータとを連続的に表示するために、クリップＣ１からクリップＣ２への移行期間に、図のスイッチＳＷ１，ＳＷ２，ＳＷ３等により基準時刻をＳＴＣとＳＴＣ’との間で切り替える。
例えばこのＤＶＲ−ＳＴＤへのパケット多重化ストリームの入力タイミングは、次のようにして決定される。
（ａ）クリップＣ１が入力され終えてクリップＣ２の入力が開始される時刻までは、クリップＣ１中のＳＣＲにより時刻合わせを行なった基準時刻ＳＴＣによって決定される。
【００２５】
（ｂ）クリップＣ２の入力が開始される時刻から、クリップＣ１中の最後のビデオデータが表示され終える時刻まで（即ちクリップＣ１からクリップＣ２への移行期間）は、基準時刻がＳＴＣ’に切り替えられ、クリップＣ２中のＳＣＲによりＳＴＣの時刻合わせが行われる。
【００２６】
（ｃ）クリップＣ１中の最後のビデオデータが表示され終える時刻になると、ＳＴＣがその時刻でのＳＴＣ’にリセットされ、基準時刻がＳＴＣに切り替えられる。
【００２７】
次に、本発明の特徴となるオーディオバッファ３の容量について、このＤＶＲ−ＳＴＤと前述のＥ−ＳＴＤとを対比しつつ説明する。
Ｅ−ＳＴＤの場合には、図９にも示したようにクリップの境界とストリームの境界とが一致しないことから、先のクリップＣ１及び後のクリップＣ２から分離されたビデオストリーム，オーディオストリームがそれぞれビデオバッファ，オーディオバッファに送られる過程でのビデオストリームとオーディオストリームとの時間軸上での関係は、図４Ａに例示する通りになる。
【００２８】
同図において、時刻ｔａは、クリップＣ１とクリップＣ２との境界であると共に、２つのビデオストリームの境界であり、時刻ｔｂは、２つのオーディオストリームの境界である。ビデオストリームのうちの時刻ｔａのビデオデータとオーディオストリームのうちの時刻ｔｂのオーディオデータとは、同期再生すべき関係にある。オーディオストリームのうちの時刻ｔａからｔｂまでの期間Ｔに送られる部分が、オーディオスキューである。尚、ＲVideo ，ＲAudio はそれぞれビデオテープからのビデオストリーム，オーディオストリームの読み出しレートである。
【００２９】
図４Ｂは、この過程でのビデオバッファの状態を例示するものである。本例では、ビデオバッファへのデータの入力レートＲINとビデオバッファからのデータの出力レートＲOUT とが共にＲVideo と一致しているので、ビデオバッファのデータ蓄積量は一定になっている。また、時刻ｔａのビデオデータは、時刻ｔｂのオーディオデータと同期再生させるために、期間Ｔの間ビデオバッファに蓄積されている。（尚、ＭＰＥＧ２システム規格では、同一データがＰ−ＳＴＤのバッファに１秒を超えて蓄積されることを禁じているので、期間Ｔの長さは１秒が上限となる。）
【００３０】
図４Ｃは、この過程でのオーディオバッファの状態を例示するものである。本例では、オーディオバッファへのデータの入力レートＲINとオーディオバッファからのデータの出力レートＲOUT とが共にＲAudio と一致しているので、オーディオバッファのデータ蓄積量は一定になっている。
【００３１】
これに対し、図３のＤＶＲ−ＳＴＤの場合には、図１にも示したようにクリップの境界とストリームの境界とが一致することから、先のクリップＣ１及び後のクリップＣ２からデマルチプレクサ１により分離されたビデオストリーム，オーディオストリームがそれぞれビデオバッファ２，オーディオバッファ３に送られる過程でのビデオストリームとオーディオストリームとの時間軸上での位置関係を図４Ａと関連付けて示すと、図５Ａの通りになる。
【００３２】
この場合には、時刻ｔａまでのビデオストリームとオーディオストリームとの関係は、Ｅ−ＳＴＤの場合におけると同じになる。しかし時刻ｔａからは、クリップＣ１中の残りのオーディオストリーム（図４Ａの期間Ｔのオーディオスキューに相当する部分であり、図１ではクリップの右端から突出した部分）がＲVide o ＋ＲAudio のレートで図３のオーディオバッファ３に送られ、ビデオバッファ２にはビデオストリームが送られない。そして、そのオーディオストリームの送付が完了した時刻ｔｃが、クリップＣ１とクリップＣ２との境界になる。
【００３３】
時刻ｔｃから時刻ｔｂまでは、クリップＣ２中のビデオストリーム（図１でクリップの左端から突出した部分）がＲVideo ＋ＲAudio のレートで図３のビデオバッファ２に送られ、オーディオバッファ３にはオーディオストリームが送られない。そして、時刻ｔｂからのビデオストリームとオーディオストリームとの関係は、Ｅ−ＳＴＤの場合におけると同じになる。
【００３４】
期間Ｔのうち、時刻ｔａから時刻ｔｃまでの期間ＴA と、時刻ｔｃから時刻ｔｂまでの期間ＴV との内訳は、次の通りになる。
ＴA ＝Ｔ×ＲAudio ÷（ＲVideo ＋ＲAudio ）
ＴV ＝Ｔ×ＲVideo ÷（ＲVideo ＋ＲAudio ）
【００３５】
図５Ｂは、この過程でのビデオバッファ２の状態を、図４Ｂと関連付けて示すものである。時刻ｔａから時刻ｔｃまでの期間ＴA にはデータの入力がないのでデータ蓄積量が減少するが、時刻ｔａからｔｂまでの期間Ｔに必要となるデータは時刻ｔａまでに入力済みなので、この期間Ｔの間にビデオバッファ２がアンダーフローを起こすことはない。そして時刻ｔｃから時刻ｔｂまでの期間ＴV に、出力レートＲOUT ＝ＲVideo よりも大きな入力レートＲIN＝ＲVideo ＋ＲAudio でデータが入力されることにより、時刻ｔｂには、Ｅ−ＳＴＤの場合におけると同じデータ蓄積量にまで増加している。
【００３６】
図５Ｃは、この過程でのオーディオバッファ３の状態を、図４Ｃと関連付けて示すものである。時刻ｔａから時刻ｔｃまでの期間ＴA には、出力レートＲOUT ＝ＲAudio よりも大きな入力レートＲIN＝ＲVideo ＋ＲAudio でデータが入力されるので、データ蓄積量がＥ−ＳＴＤの場合におけるよりも増加する。そして時刻ｔｃから時刻ｔｂまでの期間ＴV にはデータの入力がないので、時刻ｔｂには、Ｅ−ＳＴＤの場合におけると同じデータ蓄積量にまで減少している。
【００３７】
従って、ビデオバッファ２の容量はＥ−ＳＴＤの場合におけると同じであってよいのに対し、オーディオバッファ３の容量は、オーバーフローを起こさないようにするために、Ｅ−ＳＴＤの場合におけるよりも増大させなければならない。その増大すべき量の最小値は、データの最大蓄積量である図５Ｃの時刻ｔｃでのデータ蓄積量と時刻ｔａでのデータ蓄積量との差ＥＯAudio である。この差ＥＯAudio の大きさは、次のようにして算出される。
【００３８】
ＥＯAudio
＝（ＲIN−ＲOUT ）×ＴA
＝｛（ＲVideo ＋ＲAudio ）−ＲAudio ｝
×Ｔ×ＲAudio ÷（ＲVideo ＋ＲAudio ）
＝Ｔ×ＲVideo ×ＲAudio ÷（ＲVideo ＋ＲAudio ）
【００３９】
そこで、図３のＤＶＲ−ＳＴＤでは、オーディオバッファ３として、このＥＯAudio だけ容量を増大させたもの（図４Ｃに示したオーディオバッファのデータ蓄積量をＯAudio とするとＯAudio ＋ＥＯAudio の容量のもの）を用いている。これにより、このＤＶＲ−ＳＴＤでは、オーディオバッファ３をオーバーフローさせることなくシームレス再生が行われる。
【００４０】
図６は、このＥＯAudio の大きさとＲAudio の大きさとの関係を、ＲVideo ＋ＲAudio ＝１０Ｍｂｐｓ，１５Ｍｂｐｓのときについてそれぞれグラフ化して示したものである。
【００４１】
また図７は、パケット多重化ストリーム中のオーディオストリームが、ＭＰＥＧオーディオまたはドルビーＡＣ−３により圧縮されたもの（圧縮オーディオ）である場合，ＰＣＭにより符号化されたものである場合のそれぞれについて、ＲVideo ＋ＲAudio ＝５，１０，１５ＭｂｐｓのときのＥＯAudio の好適な大きさの具体例を示したものである。
【００４２】
この図７のうち、圧縮オーディオの場合のＲAudio の大きさ３８４ｋｂｐｓ，４４８ｋｂｐｓは、それぞれＭＰＥＧオーディオ，ドルビーＡＣ−３の最大ビットレートである。またＰＣＭの場合のＲAudio の大きさ７６８ｋｂｐｓは、量子化ビット数１２，チャンネル数２のときサンプリング周波数３２ｋＨｚに相当し（３２×１２×２＝７６８）、１５３６ｋｂｐｓは、量子化ビット数１６，チャンネル数２のときサンプリング周波数４８ｋＨｚに相当する（４８×１６×２＝１５３６）。
【００４３】
尚、以上の例では、オーディオバッファ３の容量を、オーバーフローを起こさないようにするための最小値ＥＯAudio だけ増大させている。しかし、オーディオバッファ３の容量をこの値ＥＯAudio よりも大きい量だけ増大させてもよいことはもちろんである。
【００４４】
また、以上の例では、オーディオバッファ３の容量を増大させている。しかし、時刻ｔａから時刻ｔｂまでのオーディオバッファ３のデータ蓄積量の増加量とビデオバッファ２のデータ蓄積量の減少量とは等しいので、Ｅ−ＳＴＤの場合におけるビデオバッファとオーディオバッファとの容量の総和に等しい容量の単一のバッファを設け、そのバッファのうちのビデオバッファ２として割り当てる領域とオーディオバッファ３として割り当てる領域とを時刻ｔａから時刻ｔｂにかけて変化させるソフトウェア処理を行なうようにしてもよい。
【００４５】
また、以上の例では、ディジタルビデオテープレコーダ用のシステムターゲットデコーダに本発明を適用しているが、それ以外のシステムターゲットデコーダ（例えばＤＶＤ用のシステムターゲットデコーダ）に本発明を適用してもよい。また、本発明は、以上の例に限らず、本発明の要旨を逸脱することなく、その他様々の構成をとりうることはもちろんである。
【００４６】
【発明の効果】
以上のように、本発明によれば、ストリームの接続部分で発生するオーディオスキューをそれに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダにおいて増大すべきオーディオバッファの容量を規定したことにより、このシステムターゲットデコーダに、オーディオバッファをオーバーフローさせることなくシームレス再生を行わせることができる。
【図面の簡単な説明】
【図１】クリーンブレークの説明に供給する図である。
【図２】クリーンブレークにおけるクリップの境界とストリームの境界とを示す図である。
【図３】本発明を適用したシステムターゲットデコーダの構成の一例を示すブロック図である。
【図４】Ｅ−ＳＴＤの場合のビデオストリームとオーディオストリームとの時間軸上での関係等を示すタイミングチャートである。
【図５】図３のシステムターゲットデコーダの場合のビデオストリームとオーディオストリームとの時間軸上での関係等を示すタイミングチャートである。
【図６】図３のオーディオバッファの容量の増大量と読み出しレートとの関係を示す図である。
【図７】図３のオーディオバッファの容量の増大量の具体例を示す図である。
【図８】従来のパケット多重記録方式の説明に供給する図である。
【図９】従来のパケット多重記録方式におけるクリップの境界とストリームの境界とを示す図である。
【符号の説明】
１…デマルチプレクサ、 ２…ビデオバッファ、 ３…オーディオバッファ、４…グラフィックバッファ、 ５…ビデオデコーダ、 ６…再配列バッファ、７…オーディオデコーダ、 ８…グラフィックデコーダ、 ９…ＳＴＣ生成部、 １０…ＳＴＣ＿ｄｅｌｔａ算出部
Claims (4)
- ストリームの接続部分で発生するオーディオスキューを、前記オーディオスキューに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なうシステムターゲットデコーダのオーディオバッファにおいて、
前記接続部分で発生するオーディオスキュー部分であって、前記オーディオバッファにオーディオストリームが入力されるが前記システムターゲットデコーダのビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、前記オーディオスキューを、前記オーディオスキューに対応するビデオストリームと離して多重化する場合に比べて、容量を増大させておくことを特徴とするシステムターゲットデコーダのオーディオバッファ。 - 請求項１に記載のシステムターゲットデコーダのオーディオバッファにおいて、前記データ蓄積量の増加量を
Ｔ×ＲVideo ×ＲAudio ÷（ＲVideo ＋ＲAudio ）
（但し、Ｔは前記オーディオバッファにオーディオストリームが入力されるが前記ビデオバッファにビデオストリームが入力されない期間と前記オーディオバッファにオーディオストリームが入力されないが前記ビデオバッファにビデオストリームが入力される期間との和、ＲVideo ，ＲAudio はそれぞれビデオストリーム，オーディオストリームの読み出しレート）
として算出することを特徴とするシステムターゲットデコーダのオーディオバッファ。 - ストリームの接続部分で発生するオーディオスキューを、前記オーディオスキューに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なう再生方法において、
前記接続部分で発生するオーディオスキュー部分であって、オーディオバッファにオーディオストリームが入力されるがビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、前記オーディオスキューを、前記オーディオスキューに対応するビデオストリームと離して多重化した場合に比べて、前記オーディオバッファの容量を増大させておくこと
を特徴とする再生方法。 - ストリームの接続部分で発生するオーディオスキューを、前記オーディオスキューに対応するビデオストリームと離れないように多重化したストリームのシームレス再生を行なう再生装置において、
前記接続部分で発生するオーディオスキュー部分であって、前記再生装置のオーディオバッファにオーディオストリームが入力されるが前記再生装置のビデオバッファにビデオストリームが入力されない期間のデータ蓄積量の増加量に応じて、前記オーディオスキューを、前記オーディオスキューに対応するビデオストリームと離して多重化した場合に比べて、前記オーディオバッファの容量を増大させておくこと
を特徴とする再生装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22603298A JP4006840B2 (ja) | 1998-08-10 | 1998-08-10 | システムターゲットデコーダのオーディオバッファ、多重化方法および装置、再生方法および装置 |
| CN99111996A CN1114210C (zh) | 1998-08-10 | 1999-08-05 | 解码设备和解码方法 |
| US09/369,916 US6718119B1 (en) | 1995-08-10 | 1999-08-06 | Video/audio decoding apparatus and method |
| KR1019990032526A KR100629093B1 (ko) | 1998-08-10 | 1999-08-09 | 디코딩 장치 및 디코딩 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22603298A JP4006840B2 (ja) | 1998-08-10 | 1998-08-10 | システムターゲットデコーダのオーディオバッファ、多重化方法および装置、再生方法および装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000057691A JP2000057691A (ja) | 2000-02-25 |
| JP2000057691A5 JP2000057691A5 (ja) | 2005-09-02 |
| JP4006840B2 true JP4006840B2 (ja) | 2007-11-14 |
Family
ID=16838715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22603298A Expired - Fee Related JP4006840B2 (ja) | 1995-08-10 | 1998-08-10 | システムターゲットデコーダのオーディオバッファ、多重化方法および装置、再生方法および装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6718119B1 (ja) |
| JP (1) | JP4006840B2 (ja) |
| KR (1) | KR100629093B1 (ja) |
| CN (1) | CN1114210C (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030113096A1 (en) * | 1997-07-07 | 2003-06-19 | Kabushiki Kaisha Toshiba | Multi-screen display system for automatically changing a plurality of simultaneously displayed images |
| US6993251B1 (en) * | 2000-03-31 | 2006-01-31 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for concealing disk soft errors in recorded digital television signals |
| JP4411499B2 (ja) * | 2000-06-14 | 2010-02-10 | ソニー株式会社 | 情報処理装置および情報処理方法、並びに記録媒体 |
| US7154906B2 (en) * | 2001-01-30 | 2006-12-26 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processing program code |
| US20040096199A1 (en) * | 2002-11-14 | 2004-05-20 | Chou Charles C.L. | Editing system and software for automatically creating interactive media |
| JP4902935B2 (ja) * | 2003-05-08 | 2012-03-21 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び記録媒体 |
| US20070110396A1 (en) * | 2003-07-30 | 2007-05-17 | Masanori Itoh | Data processor |
| US8190003B2 (en) * | 2004-01-14 | 2012-05-29 | Samsung Electronics Co., Ltd. | Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same |
| KR101022471B1 (ko) * | 2004-01-17 | 2011-03-16 | 삼성전자주식회사 | 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치 |
| EP2352304B1 (en) | 2008-09-17 | 2015-07-01 | Panasonic Intellectual Property Management Co., Ltd. | Recording medium, reproduction device, and integrated circuit |
| DE102013109911A1 (de) * | 2013-09-10 | 2015-03-12 | Kurt Putz | Orale Verabreichungsform, enthaltend ein Gemisch aus festen Stimulantien und Kräuterextrakte der traditionellen chinesischen Medizin |
| WO2015037373A1 (ja) * | 2013-09-12 | 2015-03-19 | ソニー株式会社 | 符号化装置、送信装置および受信装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5481543A (en) * | 1993-03-16 | 1996-01-02 | Sony Corporation | Rational input buffer arrangements for auxiliary information in video and audio signal processing systems |
| JPH07202820A (ja) * | 1993-12-28 | 1995-08-04 | Matsushita Electric Ind Co Ltd | ビットレート制御システム |
| US5652627A (en) * | 1994-09-27 | 1997-07-29 | Lucent Technologies Inc. | System and method for reducing jitter in a packet-based transmission network |
| TW436777B (en) * | 1995-09-29 | 2001-05-28 | Matsushita Electric Ind Co Ltd | A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween |
| US6148135A (en) * | 1996-01-29 | 2000-11-14 | Mitsubishi Denki Kabushiki Kaisha | Video and audio reproducing device and video decoding device |
| JPH09205618A (ja) * | 1996-01-29 | 1997-08-05 | Mitsubishi Electric Corp | 動画像音声伸張再生装置および動画像音声同期制御器 |
| US6212208B1 (en) * | 1996-11-11 | 2001-04-03 | Matsushita Electric Industrial Co., Ltd. | Method for coding and multiplexing multimedia data, apparatus for coding and multiplexing multimedia data, record media containing program for coding and multiplexing multimedia data |
| KR100240331B1 (ko) * | 1996-11-15 | 2000-01-15 | 전주범 | 디코더 시스템의 비디오/오디오 동기화 장치 |
| JP3063838B2 (ja) * | 1997-10-02 | 2000-07-12 | 日本電気株式会社 | オーディオ・ビデオ同期再生装置および方法 |
-
1998
- 1998-08-10 JP JP22603298A patent/JP4006840B2/ja not_active Expired - Fee Related
-
1999
- 1999-08-05 CN CN99111996A patent/CN1114210C/zh not_active Expired - Fee Related
- 1999-08-06 US US09/369,916 patent/US6718119B1/en not_active Expired - Fee Related
- 1999-08-09 KR KR1019990032526A patent/KR100629093B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| CN1244707A (zh) | 2000-02-16 |
| CN1114210C (zh) | 2003-07-09 |
| US6718119B1 (en) | 2004-04-06 |
| KR20000017185A (ko) | 2000-03-25 |
| KR100629093B1 (ko) | 2006-09-28 |
| JP2000057691A (ja) | 2000-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6163647A (en) | Apparatus for synchronized playback of audio-video signals | |
| US7058129B2 (en) | Decoding method and apparatus and recording method and apparatus for moving picture data | |
| KR100290331B1 (ko) | 오디오-비디오 신호의 동기 재생 장치 | |
| KR100694164B1 (ko) | 재생 방법 및 그 기록매체 | |
| JP2004297577A (ja) | 画像再生装置 | |
| JP2001229616A (ja) | データ記録方法及びそれを用いたデータ記録装置 | |
| JP4006840B2 (ja) | システムターゲットデコーダのオーディオバッファ、多重化方法および装置、再生方法および装置 | |
| KR100561414B1 (ko) | 브라우저블 슬라이드 쇼 제공을 위한 데이터 복호 장치,그 복호 방법 및 이를 위한 정보저장매체 | |
| EP1995731B1 (en) | Method to guarantee seamless playback of data streams | |
| JP3438223B2 (ja) | 多重化装置および多重化方法、並びに伝送装置および伝送方法 | |
| US7873263B2 (en) | Multiplexing method preventing overflow of audio decoder buffer | |
| CA2490879C (en) | Reproducing apparatus and method, and recording medium | |
| JP3986147B2 (ja) | 音響信号処理装置及びオーディオ高速再生方法 | |
| JP3592906B2 (ja) | データ処理同期装置 | |
| US20080292263A1 (en) | Accessibility of Graphics During and After Trick Play | |
| JP4763589B2 (ja) | 再生装置、および、その再生方法 | |
| JP2004110876A (ja) | 映像データの符号化レート制御方法 | |
| JPH10262219A (ja) | ディジタル信号再生方法及び装置 | |
| JPH11298859A (ja) | 映像信号符号化システム及び映像信号符号化方法 | |
| JP4861221B2 (ja) | 記録装置、記録方法、映像記録再生装置、および、その録画ファイル加工方法 | |
| JP2005276246A (ja) | 情報再生方法および情報再生装置 | |
| JP2003006985A (ja) | 情報記録装置及び情報再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050309 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070807 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070820 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |