JP3849144B2 - 符号化データ出力装置及び方法並びに符号化データ制御装置及び方法 - Google Patents

符号化データ出力装置及び方法並びに符号化データ制御装置及び方法 Download PDF

Info

Publication number
JP3849144B2
JP3849144B2 JP53483699A JP53483699A JP3849144B2 JP 3849144 B2 JP3849144 B2 JP 3849144B2 JP 53483699 A JP53483699 A JP 53483699A JP 53483699 A JP53483699 A JP 53483699A JP 3849144 B2 JP3849144 B2 JP 3849144B2
Authority
JP
Japan
Prior art keywords
amount
encoded data
data
encoded
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP53483699A
Other languages
English (en)
Inventor
智司 宮沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Application granted granted Critical
Publication of JP3849144B2 publication Critical patent/JP3849144B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

技術分野
本発明は符号化データ出力装置及びその方法に関し、例えば映像データ及び音声データを多重化して伝送する符号化データ出力装置及びその方法に適用して好適なものである。
背景技術
従来、ディジタル放送システムにおいては、図1に示すように映像データをビデオエンコーダ1によってMPEG(Moving Picture Experts Group)方式で圧縮符号化し、当該圧縮符号化してなる符号化データESを符号器FIFO2に格納した後、これをトランスポートストリームTSとして復号側のデコーダバッファ3に送出する。デコーダ4はデコーダバッファ3に蓄積されたデータを所定のタイミングで読み出し、これをデコードする。
かかるディジタル放送システムでは、所定のタイミングごとにほぼ等量の符号化データをデコーダバッファ3に伝送することにより、デコーダバッファ3のオーバフロー又はアンダフローを回避し得るようになされている。
ところが、符号化データを一定レートで伝送するようになされたディジタル放送システムでは、伝送レートを可変にして伝送すると、デコーダバッファにオーバフロー又はアンダフローが生じる問題があった。
発明の開示
本発明は以上の点を考慮してなされたもので、可変レートで符号化データを伝送してもデコーダバッファが破綻することを回避し得る符号化データ出力装置及びその方法を提案しようとするものである。
かかる課題を解決するため本発明においては、画像データを符号化して符号化データを生成した符号化データを復号側バッファに伝送するときに、符号化の際に生成された第1の符号化情報に基づいて、符号化データを伝送開始した後復号側バッファに蓄積される符号化データの蓄積量が予め設定された所定量となるまでの時間を一定とするように、復号側バッファのデータ蓄積量が所定量となるまでの符号化データの出力量を決定し、第1の符号化情報に続く第2の符号化情報に基づいて、復号側バッファのデータ蓄積量が所定量となった後の符号化データの出力量を決定するようにする。
符号化データの伝送開始後復号側バッファの蓄積量が所定量となるまでの時間を一定とするように符号化データの出力量を第1の符号化情報によって決定すると共に、所定量となった後の符号化データの出力量を第2の符号化情報によって決定するようにしたことにより、復号側バッファがオーバーフローや、アンダーフローしないような状態を維持しながら復号側バッファへの符号化データの伝送をなし得る。
【図面の簡単な説明】
図1は、従来のディジタル放送システムを示すブロック図である。
図2は、本発明による符号化システムを示すブロック図である。
図3は、本発明によるトランスポートストリーム生成装置の構成を示すブロック図である。
図4は、本発明によるビデオエンコーダの構成を示すブロック図である。
図5は、オーディオエンコーダの構成を示すブロック図である。
図6は、VBVディレイの説明に供するブロック図である。
図7は、本発明による伝送計画及びその実行の説明に供するフローチャートである。
図8は、伝送計画の説明に供する略線図である。
図9は、第1番目のビデオレポートに基づく伝送計画及びその実行の説明に供するフローチャートである。
図10は、符号化データを伝送するタイミング及び伝送量の説明に供する略線図である。
図11は、第2番目のビデオレポートに基づく伝送計画及びその実行の説明に供するフローチャートである。
図12は、プルダウン処理されたビデオデータの伝送計画の説明に供する略線図である。
図13は、プルダウン処理されたビデオデータの伝送計画の説明に供する略線図である。
図14は、伝送計画によって決定された符号化データの各読出しフレームごとの伝送量を示す略線図である。
図15は、伝送計画による伝送開始タイミングの説明に供する略線図である。
発明を実施するための最良の形態
以下図面について、本発明の一実施例を詳述する。
図2は符号化システム10の構成を示し、nチャンネルのトランスポートストリーム生成装置211、212、……21nは、それぞれビデオデータ、オーディオデータ及びプライベートデータ(付加データ)を入力し、これらをMPEG2によって符号化する。
各トランスポートストリーム生成装置211、212、……21nは、ビデオデータを符号化する際に画像の複雑度に応じて変化する符号化の難易度(difficulty)をそれぞれ算出し、当該算出結果(difficulty♯1〜difficulty♯n)をイーサネット等のLAN24を介してコンピュータ25に送出する。
コンピュータ25は、各トランスポートストリーム生成装置211、212、……21nから出力される符号化の難易度情報(difficulty♯1〜difficulty♯n)に基づいて、難易度に比例した目標符号化ビデオレート(target_bit_rate♯1〜target_bit_rate♯n)を各トランスポートストリーム生成装置211、212、……21nに割り振る。従って、複雑な画像や動きの速い画像を符号化するトランスポートストリーム生成装置に対しては高い目標符号化ビデオレートが割り当てられると共に、符号化難易度の低い画像を符号化するトランスポートストリーム生成装置に対しては低い目標符号化ビデオレートが割り当てられる。
各トランスポートストリーム生成装置211、212、……21nはコンピュータ25から与えられた目標符号化ビデオレート(target_bit_rate♯1〜target_bit_rate♯n)に応じて符号化レートを制御し、その出力データを多重化部22に送出する。
多重化部22は各チャンネル毎にEPG(Electronic Program Guide)データ及びCA(Conditional Access)データ生成部23から供給される番組ガイド情報やCA情報(ストリームに関するパラメータの設定情報)と各トランスポートストリーム生成装置211、212、……21nから供給されるトランスポートストリームを多重化する。
因みに、多重化部22は、スクランブル、エラー訂正符号化等の伝送路符号化部を含んでおり、多重化されたデータに対してこれらの処理を施した後、QSK変調部に出力する。
トランスポートストリーム生成装置211、212、……21nのそれぞれは、例えば図3に示す構成とされている。簡単のために以下の説明では、1チャンネル分のデータを多重化する例について説明する。図3において、ビデオエンコーダ31は、スイッチャ等の外部機器から入力される映像データを、例えばMPEG2方式により圧縮符号化する。ビデオエンコーダ31からのビデオエレメンタリストリームがバッファメモリとしての符号器FIFO(First In First Out)バッファ33に供給される。
このとき、ビデオエンコーダ31は難易度情報(difficulty)を一旦CPU39に取り込んだ後、イーサネットインタフェース44を介してコンピュータ25(図2)に送出する。
オーディオエンコーダ32は、外部機器から入力されるオーディオデータを、例えばMPEG2方式により圧縮符号化し、所定の長さのオーディオフレームごとに等しいデータ量のオーディオストリームを生成し、符号器FIFOバッファ34に対して出力する。MPEG2オーディオのレイヤ2では、1152サンプルを1オーディオフレームとして符号化、復号がなされる。サンプリング周波数としては、48kHz、44.1kHz、32kHz又はその他の周波数を使用できる。従って、各サンプリング周波数に対応して、1オーディオフレームが24ms、26.1ms、36msとなる。オーディオエンコーダ32からのオーディオエレメンタリストリームの伝送レートも固定レート例えば384k〔bit/s〕である。
また、プライベートデータ用のメモリとしてRAM35が設けられている。符号器FIFOバッファ33、34及びRAM35から出力されるストリームがスイッチ回路で表されるマルチプレクサ36の入力端子a、b、cにそれぞれ供給される。マルチプレクサ36で選択されたストリームがFIFOバッファ38を介してトランスポートストリームTSとして出力される。
図3に示すトランスポートストリーム生成装置は、エレメンタリストリームの多重化の制御のために、CPU39と、このCPU39とCPUバスを介して結合されたRAM40、41と、データサイズ計数用インタフェース42、43と、イーサネットインタフェース44、シリアルインタフェース45とが設けられている。
イーサネットインタフェース44及びシリアルインタフェース45を介してプライベートデータ1及びプライベートデータ2がCPUバス上に供給される。プライベートデータは、サブタイトル、付加オーディオ情報、テキスト情報、ユーザデータ等である。
CPU39は、ビデオエンコーダからピクチャ単位で出力されるビデオレポートVRを受け取るごとに、後述する読出しスケジュールを計画し、当該計画に従ってFIFOバッファ33に蓄積されているビデオエレメンタリストリームを読み出し、マルチプレクサ36に送出する。マルチプレクサ36は、CPU39からのコントロール信号の制御に従って、入力端子a、b、cのいずれかを選択し、これら入力端子のそれぞれに入力されるエレメンタリストリームのいずれかを選択する。マルチプレクサ36で多重化されたストリームが供給されるマルチプレクサ37も、CPU39からのコントロール信号で制御される。
なお、マルチプレクサ36は、入力端子のいずれにも入力されるエレメンタリストリームがない場合、あるいは、スタッフィング処理を行う場合等は、入力端子a、b、cのいずれをも選択せず、所定のブランクデータ(連続した論理値1又は0)を出力する。
マルチプレクサ37は、コトロール信号の制御に従って、入力端子d、eのいずれかを選択し、入力端子dからのエレメンタリストリームと、入力端子eからのヘッダデータ(TSパケットヘッダ又はPESパケットヘッダ)を選択して多重化し、FIFOバッファ38に対して出力する。
FIFOバッファ38は、マルチプレクサ37が多重化したデータストリームをバッファリングし、トランスポートストリームTSとして複数チャンネルのストリームを多重化するための多重化部等の外部機器(図示せず)に対して出力する。
必要に応じて、マルチプレクサ37からのトランスポートストリームを、ハードディスク装置、光磁気ディスク装置等の蓄積装置に出力して、記録するようにしても良い。
データサイズ係数用インタフェース42及び43は、ビデオエンコーダ31及びオーディオエンコーダ32から入力されるビデオストリーム及びオーディオストリームのフレーム又はフィールドごとのデータサイズを計数し、CPUバスを介してCPU39に対して供給する。プライベートストリームのデータ量は、CPU39が分かっているので、プライベートストリームに関してのデータサイズインタフェースは不要である。
なお、データサイズの計数は、データサイズインタフェース42、43のそれぞれに内蔵されたカウンタにより行われる。また、データサイズの計数は、ビデオエンコーダ31及びオーディオエンコーダ32が出力する各エレメンタリストリームのフレームごとのデータサイズを、データサイズインタフェース42及び43自身が検出することによっても可能である。
イーサネットインタフェース44は、イーサネット等のLAN(図示せず)を介して入力されてくるプライベートデータ2を受け入れ、CPUバスを介してCPU39に対して出力する。シリアルインタフェース45は、例えばコンピュータから入力されるシリアル形式のプライベートデータ1を受け入れ、CPUバスを介してCPU39に対して出力する。
CPU39は、例えば、マイクロプロセッサ及びプログラム格納用のROM及びこれらの周辺回路から構成され、トランスポートストリーム生成装置が所望の動作を行うように、トランスポートストリーム生成装置を制御する。具体的には、CPU39は、例えばビデオエンコーダ31のビットレート制御回路に対して目標ビデオ符号化レートを供給する。
また、CPU39は、制御データ用RAM40に記憶された制御データを用いて、PCR(Program Clock Reference)の情報を含むアダプテーションフィールド及びPES(Packetized Elementary Stream)パケットヘッダの内容を生成する。生成されたヘッダは、処理用RAM41に記憶された後、マルチプレクサ37の入力端子e及びその出力端子を介して出力される。このように、マルチプレクサ36によって、エレメンタリストリームの多重化がされ、マルチプレクサ37によってPESパケットヘッダ及びTSパケットヘッダが付加される。その結果、図3のトランスポートストリーム生成装置は、エレメンタリストリームからPESパケット及びTSパケットへの変換の両者を行っている。
また、CPU39は、データサイズインタフェース42及び43から入力されるデータサイズ、イーサネットインタフェース44から入力される目標符号化ビデオレート(target_bit_rate)、及び符号化器FIFOバッファ33、34の残り記録容量(バッファ残量)などに基づいて、多重化するエレメンタリストリームの順番、各エレメンタリストリームの多重化データ量等を決定し、その決定に基づいてマルチプレクサ36、37を制御する。この時に多重化のタイミング調整なども行う。
処理用RAM40は、上述したような処理をCPU39が行う際に、取り扱うデータ量等を記憶するメモリである。具体的には、例えばCPU39で生成されたヘッダがRAM40に記憶され、このRAM40からマルチプレクサ37の入力端子eに対して出力され、トランスポートストリーム上に挿入される。
また、CPU39がデータサイズ係数用インタフェース42、43等から読み込んだ符号化データ量のデータや、イーサネットインタフェース44またはシリアルインターフェース45を介して入力されたプライベートデータ等が処理用RAM40に一旦記憶され、CPU39における処理に供される。
制御データ用RAM41は、CPU39の処理にかかわる制御用データを記憶するメモリである。制御データ用RAM41には、例えばヘッダデータの作成に関連する制御データ、スケジュールデータ等が記憶される。
ビデオエンコーダ31は、図4に示す構成とされている。すなわち、入力ビデオデータから符号化難易度(difficulty)を算出する統計量算出回路50と、入力ビデオデータとローカル復号ビデオデータの差分を演算する減算回路51と、減算回路51の出力をDCT変換するDCT回路52と、DCT回路52からの係数データを量子化する量子化回路53と、量子化回路53の出力を可変長符号化(VLC)する可変長符号化回路54と、可変長符号化回路54の一定レートの出力として取り出すためのバッファメモリ55とが設けられる。可変長符号化回路54の発生データ量の情報がビットレート制御回路56に供給され、量子化スケールが制御される。それによって、発生データ量の制御がなされる。また、逆量子化回路57、逆DCT回路58、加算回路59およびフレームメモリ60からなるローカル復号部が設けられる。
さらに、図示を省略されているが、動き検出部が設けられ、動き検出部によって、マクロブロック単位の動きベクトルが検出される。この動きベクトルに基づいて、フレームメモリ60が制御され、動き補償がなされる。
なお、MPEGの場合では、ピクチャタイプが3種類ある。すなわち、フレーム内符号化画像であるI(Intra)ピクチャと、フレーム間前方向予測符号化画像であるP(Predictive)ピクチャと、双方向予測画像であるB(Bidirectionally predictive)ピクチャとがある。このピクチャタイプと同様に、マクロブロックタイプが3種類ある。すなわち、フレーム内符号化(Intra)マクロブロックと、過去から未来を予測する前方向(Forward)フレーム間予測マクロブロックと、未来から過去を予測する後方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する内挿的(Interpolative)マクロブロックとがある。
Iピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Pピクチャ内には、フレーム内符号化マクロブロックと前方向フレーム間予測マクロブロックとが含まれる。Bピクチャ内には、上述した4種類の全てのタイプのマクロブロックが含まれる。これらのマクロブロックタイプに応じて、ローカル復号データが形成され、また、予測符号化の場合に、減算回路51において差分が演算され、フレーム内符号化の場合では、差分が演算されず、入力ビデオデータが減算回路51の出力に現れる。
上述したトランスポートストリーム生成装置のCPU39は、ビデオエンコーダ31のビットレート制御回路56に対して目標符号化ビデオレート(target_bit_rate)を供給する。ビットレート制御回路56は、可変長符号化回路54が実際に生成したビデオエレメンタリストリームのデータ量に基づいて、圧縮符号化後のデータ量が、設定された目標符号化ビデオレート(target_bit_rate)と等しくなるように量子化回路53を制御する。
オーディオエンコーダ32は、図5に示すように、サブバンド分析フィルタバンク(SAFB)61、線形量子化回路62、ビット圧縮回路63、FFT(Fast Fourier Transfer)回路64、心理聴覚モデル65、動的ビット割り当て回路66、スケールファクタ選択情報記憶回路67、スケールファクタ抽出回路68、サイド情報符号化回路69およびビットストリーム生成回路70から構成される。
オーディオエンコーダ32は、外部機器から入力されたオーディオデータをMPEG2方式により圧縮符号化し、オーディオストリームを生成し、符号器FIFOバッファ34及びデータサイズ係数用インタフェース43に対して出力する。
上述した本発明の一実施例において、各トランスポートストリーム生成装置211、212、……21nは、ビデオエレメンタリストリーム、オーディオエレメンタリストリームおよびプライベートエレメンタリストリームを多重化し、MPEG2のトランスポートストリームTSを生成する。
かくして、図2について上述した多重化部22は、各トランスポートストリーム生成装置211、212、……21nからそれぞれの符号化難易度(difficulty♯1〜difficulty♯n)に応じた目標符号化ビデオレート(target_bit_rate♯1〜target_bit_rate♯n)で供給されるトランスポートストリームTSを多重化し、当該多重化した結果をQSK変調部を介して受信側に送信する。かくして、符号化難易度の高いビデオデータを符号化してなるトランスポートストリームTSは高い伝送レートで受信側に送信され、符号化難易度の低いビデオデータを符号化してなるトランスポートストリームTSは低い伝送レートで受信側に送信される。
受信側では、受信したデータを一旦デコードバッファ(VBV(Video Buffering Verifier)バッファ)に蓄積し、当該蓄積量が予め設定された蓄積量に達すると、デコーダがデコードバッファに蓄積されたデータを読み出して直ちにデコードを開始する。
因みに、図6は図2及び図3について上述した符号化システム10の各トランスポートストリーム生成装置211、212、……21nのいずれかのビデオエンコーダ31及び符号器FIFO33と、受信側のデコードバッファ103及びデコーダ104を示し、符号化システム10の各トランスポートストリーム生成装置211、212、……21nは、入力ビデオデータの符号化難易度(difficulty)に応じて目標符号化ビデオレート(target_bit_rate)が変化しても、各トランスポートストリームTSのVBVディレイが一定となるような伝送を行うようになされている。各トランスポートストリームTSのVBVディレイとは、ビデオエンコーダ31から出力されるビデオエレメンタリストリームESが符号器FIFO33に入力されるタイミングから、当該入力されたビデオエレメンタリストリームが符号器FIFO33から読み出されて受信側のデコーダバッファ(VBVバッファ)103を介してデコーダ104でデコード開始されるまでの時間をいう。
この実施例の場合、各トランスポートストリーム生成装置211、212、……21nの符号器FIFO33からデコーダバッファ103に対してフレーム単位でトランスポートストリームTSの伝送計画が実行され、VBVディレイは22フレームとされている。
以下、伝送ディレイを22フレームとする理由について説明する。MPEG2規格では、トランスポートストリームTSを伝送する際のディレイ値を16ビットで表現するようになされている。従って、当該16ビットで表される最大のディレイ値はFFFF(65535)となる。そして、符号化システム10におけるカウンタは90〔kHz〕で動作していることにより、ディレイ値の最大値は、65535/90000=0.73〔秒〕となる。このようにMPEG2における伝送ディレイは16ビットで表される最大値0.73〔秒〕までを考慮していれば良く、当該0.73〔秒〕を1/30〔秒〕ごとのフレーム数に換算すると、21.9フレームとなる。
従って、この実施例では、21.9フレームを越える最小のフレーム数(22フレーム)をVBVディレイとして設定することにより、MPEG2の規定による最大ディレイ値での伝送処理を可能としている。
以下、トランスポートストリームTSのVBVディレイを一定にする処理について説明する。
図7は各トランスポートストリーム生成装置211、212、……21nのCPU39において実行される符号器FIFOバッファ33からのデータ読み出し処理手順を示し、この処理手順によりVBVディレイを一定にして受信側のVBVバッファをオーバフロー又はアンダフローさせないようにする。
すなわち図7においてCPU39はビデオエンコーダ31のエンコード処理が開始されるとステップSP1から当該読出し処理手順に入り、続くステップSP2においてビデオエンコーダ31から最初のビデオレポートVR1を受け取ったか否かを判断する。ここで否定結果が得られると、このことはビデオエンコーダ31において未だ1ピクチャ分のエンコード処理が終了せずビデオレポートが出力されていなことを表しており、このときCPU39は当該ステップSP2の処理を繰り返すことにより、ビデオエンコーダ31からビデオレポートが出力されるのを待ち受ける。
この待ち受け状態は、図8に示すように時点t0においてビデオエンコーダ31のエンコードが開始された後、時点t1において1ピクチャ分のエンコードが終了してビデオレポートVR1がビデオエンコーダ31から出力されるまでのシステムディレイに相当する。
ビデオエンコーダ31において最初の1ピクチャ分のエンコード処理が終了すると当該ビデオエンコーダ31はCPU39に対して最初のビデオレポートVR1を出力する。これによりCPU39は図7に示すステップSP2において肯定結果を得、続くステップSP3に移る。ステップSP3においてCPU39はビデオエンコーダ31から出力されるビデオレポート番号iに1を代入し、続くステップSP4において後述するリスト1の制御を実行する。これにより、第1番目のビデオレポートVR1に含まれるフィールドごとのデータ量(field_bit〔i〕)に基づいて、デコーダ104が最初のフレームのトランスポートストリームTSのデコードを開始する時点t10(図8)までのデコーダバッファ103への22フレーム分(frame_bit〔0〕〜frame_bit〔21〕)のトランスポートストリームTSの伝送計画をたてると共にこれを実行開始する。
この場合、CPU39は、第1番目のビデオレポートVR1がビデオエンコーダ31からCPU39に出力された時点t1から、VBVディレイである22フレーム分(frame〔0〕〜frame〔21〕)の時間(1フレームは1/30〔秒〕)が経過した時点t10においてデコーダバッファ(VBVバッファ)103のデータ蓄積量が最大容量(1.75〔Mbit〕)に達するような伝送計画がたてられ、当該計画に従って、最初の22フレーム分(frame_bit〔0〕〜frame_bit〔21〕)のトランスポートストリームTSが符号器FIFO33から読み出され、伝送系を介してデコーダバッファ103に出力される。
そして、続くステップSP5において、CPU39は次の(第2番目の)ビデオレポートをビデオエンコーダ31から受け取ったか否かを判断する。ここで否定結果が得られると、このことはビデオエンコーダ31が第2番目のピクチャのエンコード処理を終了していないことを表しており、このときCPU39は当該ステップSP5の処理を繰り返すことにより、次のビデオレポートを受け取るのを待ち受ける。
ステップSP5において肯定結果が得られると、CPU39は続くステップSP6に移って、ビデオレポート番号iをi+1とし、ステップSP7に移る。ステップSP7は、第2番目以降のビデオレポートがビデオエンコーダ31からCPU39に出力されるごとに、図8について上述した時点t10からデコーダ104によってデコードされる1フレーム分ごとの伝送計画をたてると共にこれを実行する処理ステップであり、CPU39は当該処理ステップにおいてまず第2番目のレポートパルスVR2に基づいて第23番目のフレーム(frame_bit〔22〕)を符号器FIFO33から読み出してデコーダバッファ(VBVバッファ)103に送出する計画をたて、ステップSP4の処理において伝送が開始された22フレーム分のトランスポートストリームTSに続いて、第23番目のフレーム(frame_bit〔22〕)のデータを実際に符号器FIFO33から読み出して伝送系を介してデコーダバッファ(VBVバッファ)103に送出する。
ステップSP7において第23番目のフレームの伝送計画をたてると、CPU39はステップSP8に移って、ビデオシーケンスが終了であるか否かを判断し、肯定結果が得られるとステップSP9において当該処理手順を終了する。これに対してステップSP8において否定結果が得られると、このことはビデオエンコーダ31におけるエンコード処理が続いていることを表しており、このときCPU39は上述のステップSP5に戻って、次のビデオレポートVR3がビデオエンコーダ31から出力されるのを待ち受ける。
このようにして、CPU39は、ビデオエンコーダ31から第1番目のビデオレポートVR1が出力されると、これに基づいて第1番目〜第22番目のフレームの伝送計画をVBVディレイが22フレーム分となるようにたて、これを実行開始すると共に、第2番目のビデオレポートVR2を受け取ると、これに基づいて第23番目のフレームの伝送計画をたて、さらに第3番目のビデオレポートVR3を受け取ると、続く第24番目のフレームの伝送計画をたてる。そして、以後ビデオシーケンスが終了するまでビデオレポートを受け取るごとに第25番目以降のフレームの伝送計画を順次たてて行き、第22番目のフレームに続いて順次フレーム単位で発生符号量と同じ量のデータを符号器FIFO33から読み出してデコーダバッファ(VBVバッファ)103に送出して行く。これにより最初の22フレーム分のVBVディレイが維持されることになる。このVBVディレイはビデオエンコーダ31における符号発生量が変化しても一定となるように制御され、これによりビデオエンコーダ31における符号発生量が変化しても、デコーダバッファ(VBVバッファ)103のオーバフロー又はアンダフローを回避することができる。
ここで、図7に示したステップSP4の処理を詳細に説明する。図9はステップSP4の詳細な処理手順を示し、CPU39はステップSP4に入ると、続くステップSP11においてj=21とおき、続くステップSP12においてビデオレポートVR1に含まれるフィールドの符号発生量(field_bit〔1〕)の2倍の値をフレームビット量(frame_bit)とする。因みに、field_bit〔1〕はビデオエンコーダ31における目標符号発生量(target_bit_rate)に基づいてtarget_bit_rate/60によって求められる。
かくしてステップSP12において、符号器FIFO33に入力される第1番目のピクチャのフレームビット量が求まり、続くステップSP13において、CPU39はピクチャ〔j〕(j=21、すなわち第22番目のピクチャ)に対応するVBVバッファ103のビット占有量(vbv_bit〔j〕)にVBVバッファ103の最大容量(vbv_occupancy)を代入する。
これにより、図10に示すように、第22番目のピクチャ〔21〕に対応するVBVバッファ103のビット占有量(vbv_bit〔21〕)が最大容量として割り当てられ、以後当該最大容量を基準にして第1番目のピクチャに対応する符号器FIFO33からのフレーム単位での読出し量(frame_bit〔j〕)を算出する。
すなわち、CPU39はステップSP14に移って、j=j−1(=20)とし、さらに続くステップSP15においてこのときのVBVバッファ103のビット占有量(vbv_bit〔20〕)に上述のビット占有量(vbv_bit〔21〕)とステップSP12において求めたフレームビット量(frame_bit)との差を代入する。
そしてCPU39はステップSP16において、ビット占有量(vbv_bit〔20〕)がフレームビット量(frame_bit)以上であるか否かを判断する。ここで肯定結果が得られると、このことはビット占有量(vbv_bit〔20〕)がステップSP12において求められたフレームビット量(frame_bit)よりも大きく、1つ前の読出しタイミングにおいてフレームビット量(frame_bit)を符号器FIFO33から読み出すことができることを表しており、CPU39はステップSP17に移って、読出しフレームビット量(frame_bit〔j〕、j=20)にステップSP12において求められたフレームビット量(frame_bit)を代入する。
これにより、第21番目のピクチャを符号器FIFO33からフレーム単位で読み出す際の読出しフレームビット量(frame_bit〔j〕、j=20)が求まり、CPU39は当該求められたビット量をステップSP18において記憶する。
このようにして、ステップSP14〜ステップSP18の処理を繰り返すことにより、図10において第22番目、第21番目、……のピクチャを符号器FIFO33からフレーム単位で読み出す際のフレームビット量をステップSP12において求めたフレームビット量として順次割り当てて行く。
このようにして、符号器FIFO33に入力された第22番目のピクチャをステップSP12において求めたフレームビット量(frame_bit)で読み出すことによってVBVバッファ103のデータ量が最大値となるように設定し、以後第21番目、第20番目、……のように逆上ってそれぞれのピチクャをステップSP12において求めたフレームビット量(frame_bit)で読み出すように設定すると、あるピクチャを読み出すタイミングでフレームビット量(frame_bit)を読み出すことが困難になる。
このときCPU39は図9のステップSP16において否定結果を得ることにより、ステップSP19に移り、このときのVBVバッファ103のビット占有量(vbv_bit〔j〕)を読出しフレームビット量(frame_bit〔j〕)に代入する。
そして、続くステップSP20においてCPU39は、ステップSP19においてVBVバッファ103のビット占有量(vbv_bit〔j〕)を読出しフレームビット量(frame_bit〔j〕)に代入したピクチャ(フレーム)よりも前のピクチャの読出しフレームビット量(frame_bit〔j−1〕〜frame_bit〔0〕)の値をすべて0とし、ステップSP21において当該設定された値0を記憶する。
かくして、CPU39は、第1番目のピクチャのフレームビット量(frame_bit)を用いて、第1番目のピクチャから第22番目のピクチャの読出しフレームビット量(frame_bit〔0〕〜frame_bit〔21〕)を記憶し、この読出しフレームビット量(frame_bit〔0〕〜frame_bit〔21〕)に従って符号器FIFO33から第1番目のピクチャ(フレーム)〜第22番目のピクチャ(フレーム)を読み出してデコーダバッファ(VBVバッファ)103に送出することにより、第22番目のピクチャ(フレーム)をデコーダバッファ103に入力した時点で当該デコーダバッファ内のデータ量が容量満杯となり、この結果、第1番目のビデオレポートVR1がビデオエンコーダ31からCPU39に出力された後(すなわち、第1番目のピクチャがビデオエンコーダ31から符号器FIFO33に入力された後)、22フレーム後にデコーダ104におけるデコードが開始されることになる。
このようにして、第1番目のビデオレポートVR1に基づいて第1番目のピクチャ〜第22番目のピクチャの伝送計画がたてられ、実行開始されると、CPU39は、図7について上述したメインルーチンのステップSP7において、第23番目以降のピクチャについて、その伝送計画をたてる。
この場合、CPU39は各ピクチャごとに発生するビット量を用いて第23番目以降のピクチャの伝送計画をたてる。因みに、符号器FIFO33に書き込まれた各ピクチャの伝送単位はフレーム単位となる。
図11はステップSP7の詳細な処理手順を示し、CPU39はステップSP25において、まず第23番目の読出しフレームビット量(frame_bit〔j〕、j=22)を、第23番目のピクチャのフィールドビット量(field_bit〔i〕、i=2)と第22番目のピクチャのフィールドビット量(field_bit〔i−1〕、i=2)との和によって求める。但しiはビデオレポート番号である。
そして、CPU39は当該ステップSP25において求められた第23番目のフレームビット量をステップSP26において記憶し、ステップSP27に移る。CPU39はステップSP27において、第24番目のピクチャの読出しフレームビット量(frame_bit〔j+1〕、j=22)を、第23番目のピクチャのフィールドビット量(field_bit〔i〕、i=2)を2倍することにより求め、当該求められた読出しフレームビット量(frame_bit〔j+1〕、j=22)をステップSP28において記憶する。
かくして、図12に示すように、第23番目のピクチャの読出しフレームビット量(frame_bit〔22〕)及び第24番目のピクチャの読出しフレームビット量(frame_bit〔23〕)がそれぞれ第2番目のビデオレポートVR2に基づいて求められる。
ここで、ビデオエンコーダ31に対して、映画フィルムの映像(24〔コマ/秒〕)を30〔コマ/秒〕のテレビジョン信号にプルダウン変換したビデオデータが入力される場合、図13に示すように、入力ビデオデータとして2フィールドで構成されたピクチャ(プルダウン2)と3フィールドで構成されたピクチャ(プルダウン3)が混在する。
そして、ビデオエンコーダ31におけるエンコード処理において、入力ビデオデータとして入力されるピクチャは、そのピクチャタイプ(Iピクチャ、Pピクチャ及びBピクチャ)に応じて順序が入れ代わる。ビデオレポートは、当該入れ代わったピクチャの順序でビデオエンコーダ31からCPU39に対して出力され、これに応じてピクチャを構成するフィールド構成(2フィールド構成又は3フィールド構成)も入れ代わる。この入れ代わった結果は、図13においてtwo_three_orgとしてビデオレポートに含まれてCPU39に供給される。
この場合、入力ビデオデータのフィールド構成が2フィールド構成及び3フィールド構成の繰り返しであるのに対して、フィールド構成が入れ代わった結果(two_three_org)においては、2フィールド構成が続く場合と3フィールドが続く場合とが生じる。このように、2フィールド構成が続く場合と3フィールドが続く場合とが生じると、VBVバッファ103がアンダフロー又はオーバフローすることになるので、CPU39はIピクチャ及びPピクチャに対しては、3ピクチャ前のフィールド構成を適用し、これを新たなフィールド構成two_threeとして用いる。
かかる処理は図11のステップSP29、ステップSP30及びステップSP31において実行され、ステップSP30及びステップSP31においてピクチャタイプに応じて決定されたフィールド構成(two_three〔i〕)に、1ピクチャ前のフィールドカウント値(field_count〔i−1〕)を加算することにより、新たなフィールドカウント値(field_count〔i〕)を得る。
このフィールドカウント値は、第23番目のピクチャから順次フィールド数を加算した結果である。CPU39は、このようにして求めたフィールドカウント値(field_bit〔i〕)を用いて、ステップSP33の処理を実行する。この処理は、フィールドカウント値(field_bit〔i〕)を2で割った値の小数点を切り捨てた結果(整数)に値22を加算することにより、読出しフレームビット量として読み出す新たなフレーム番号を決定する処理である。例えばフィールドカウント値(field_bit〔i〕)が7であると、ステップSP33において得られる読出しフレーム番号(フレーム〔j〕)が25(すなわちj=24)であり、これに対してフィールドカウント値(field_bit〔i〕)が9であると、ステップSP33において得られる読出しフレーム番号(フレーム〔j〕)が26(すなわちj=25)となる。
このようにして読出しフレーム番号を求めると、図12において例えば第5番目のビデオレポート▲5▼に基づいて第26番目のフレーム番号にフレームビット量(frame_bit〔25〕)を記憶すると共に第27番目のフレーム番号にフレームビット量(frame_bit〔26〕)を記憶した後、新たなビデオレポート▲6▼によって記憶するフレーム番号(フレーム〔j〕)を第27番目のフレーム番号のフレームビット量(frame_bit〔26〕)としてオーバライトすることなく、第28番目のフレーム番号のフレームビット量(frame_bit〔27〕)として切り上げることができ、2フィールド構成及び3フィールド構成の混在に応じたフレーム番号の割り当てを行うことができる。
かくしてCPU39は図11のステップSP34から図7のメインルーチンに戻り、次のビデオレポートを受け取ることにより第23番目のフレーム以降の読出し計画及び実行を順次行う。
これにより、図14に示すように、第1番目のピクチャ(読出しフレーム)から第22番目のピクチャ(読出しフレーム)に対しては、第1番目のビデオレポートに基づいて実行されるリスト1の制御により符号器FIFO33からの読出し計画がたてられ、第23番目のピクチャ(読出しフレーム)以降のピクチャ(に対しては第2番目以降のビデオレポートにそれぞれ基づいて実行されるリスト2の制御により符号器FIFO33からの読出し計画がたてられる。
CPU39はこのようにして計画された読出しフレームビット量を順次1フレームごとに読み出して行くことにより、符号器FIFO33に入力されたデータをVBVバッファ103を介して22フレーム後にデコーダ104に出力することができる。従って、レートによらずVBVディレイを22フレームとして一定に保つことができる。
かくして以上の構成によれば、符号化データを伝送する際のビットレートの変更に対して、VBVディレイを一定にすると共にフレームごとのデータ出力量を逐次計算することにより、ビットレートの変更に関わらずVBVバッファ103のオーバフロー又はアンダフローを回避してVBVバッファ103から継ぎ目なく連続的にデータを得ることができる。因みに、図15は高レートのビデオデータ及び低レートのビデオデータについて上述のリスト1による制御によって符号器FIFO33からの読出しタイミングを変化させた状態を示し、ビデオエンコーダ33から出力されるビデオデータはそのレートによらずデコード開始タイミングが等しくなる。
なお上述の実施例においては、VBVディレイの時間を22フレーム分としたが、本発明はこれに限らず、他の種々のディレイ時間を適用することができる。
また上述の実施例においては、VBVバッファ103が満杯になる時点からデコードを開始する場合について述べたが、本発明はこれに限らず、所定のレベルに設定されたデータ量がVBVバッファ103に蓄積された時点でデコードを開始するようにしても良い。
また上述の実施例においては、本発明をビデオデータをエンコードする場合に適用したが、本発明はこれに限らず、他の種々のデータをエンコードする場合に広く適用することができる。
産業上の利用可能性
符号化データ出力装置及びその方法において、符号化されたビデオデータを多重化して伝送する場合等に利用できる。

Claims (13)

  1. 画像データを符号化して符号化データを生成する符号化手段と、
    上記符号化データを復号側バッファに伝送するバッファ手段と、
    上記符号化手段から出力される第1の符号化情報に基づいて、上記符号化データを伝送開始した後上記復号側バッファに蓄積される上記符号化データの蓄積量が予め設定された所定量となるまでの時間を一定とするように、上記復号側バッファのデータ蓄積量が上記所定量となるまでの上記符号化データの出力量を決定し、上記第1の符号化情報に続く第2の符号化情報に基づいて、上記復号側バッファのデータ蓄積量が上記所定量となった後の上記符号化データの出力量を決定する決定手段と
    を具える符号化データ出力装置。
  2. 上記決定手段は、上記符号化データの出力量をピクチャ単位で決定する
    請求の範囲第1項に記載の符号化データ出力装置。
  3. 上記決定手段は、上記所定量となるまでの時間における最後のピクチャに対応する上記復号側バッファの蓄積量が上記復号側バッファの最大容量となるように割り当て、上記最大容量を基準にして、上記所定量となるまでの上記符号化データの出力量を決定する
    請求の範囲第2項に記載の符号化データ出力装置。
  4. 上記決定手段は、上記第2の符号化情報に含まれる各ピクチャの符号化データに対してピクチャタイプに応じて決定するフレーム番号を割り当てる
    請求の範囲第2項に記載の符号化データ出力装置。
  5. 上記決定手段は、上記最大容量を基準にして、上記所定量となるまでの時間における最初のピクチャに対応する上記符号化データの出力量を決定する
    請求の範囲第3項に記載の符号化データ出力装置。
  6. 上記決定手段は、上記符号化情報に含まれるフィールドの符号発生量からフレームビット量を算出し、上記符号化データの出力量を決定するピクチャに対応する上記復号側バッファの蓄積量が上記フレームビット量以上である場合に、上記最後のピクチャから時間的に逆上っていく毎に上記フレームビット量を読み出して、上記所定量となるまでの上記符号化データの出力量を決定する
    請求の範囲第3項に記載の符号化データ出力装置。
  7. 上記符号化データは、MPEG方式のトランスポートストリームである
    請求の範囲第1項に記載の符号化データ出力装置。
  8. 上記復号側バッファに蓄積される上記符号化データの蓄積量が予め設定された所定量となるまでの時間は、VBVディレイである
    請求の範囲第7項に記載の符号化データ出力装置。
  9. 上記符号化手段は、上記第1の符号化情報及び第2の符号化情報をピクチャ単位で出力する
    請求の範囲第1項に記載の符号化データ出力装置。
  10. 上記画像データは、2フィールドで構成されたピクチャと3フィールドで構成されたピクチャとが混在したデータである
    請求の範囲第1項に記載の符号化データ出力装置。
  11. 画像データを符号化して符号化データを生成するステップと、
    上記符号化データを復号側バッファに伝送するステップと、
    上記符号化する際に生成された第1の符号化情報に基づいて、上記符号化データを伝送開始した後上記復号側バッファに蓄積される上記符号化データの蓄積量が予め設定された所定量となるまでの時間を一定とするように、上記復号側バッファのデータ蓄積量が上記所定量となるまでの上記符号化データの出力量を決定し、上記第1の符号化情報に続く第2の符号化情報に基づいて、上記復号側バッファのデータ蓄積量が上記所定量となった後の上記符号化データの出力量を決定するステップと
    を具える符号化データ出力方法。
  12. 画像データを符号化する符号化手段から生成される符号化データの出力量を制御する符号化データ制御装置において、
    上記符号化手段から出力される第1の符号化情報及び上記第1の符号化情報に続く第2の符号化情報を取得する取得手段と、
    上記取得手段により取得された上記第1の符号化情報に基づいて、上記符号化データの出力先である復号側バッファに蓄積される上記符号化データの蓄積量が予め設定された所定量となるまでの時間を一定とするように、上記復号側バッファのデータ蓄積量が上記所定量となるまでの上記符号化データの出力量を決定し、上記取得手段により取得された上記第2の符号化情報に基づいて、上記復号側バッファのデータ蓄積量が上記所定量となった後の上記符号化データの出力量を決定する決定手段と
    を具える符号化データ制御装置。
  13. 画像データを符号化する符号化手段から生成される符号化データの出力量を制御する符号化データ制御方法において、
    上記符号化手段から出力される第1の符号化情報及び上記第1の符号化情報に続く第2の符号化情報を取得するステップと、
    取得された上記第1の符号化情報に基づいて、上記符号化データの出力先である復号側バッファに蓄積される上記符号化データの蓄積量が予め設定された所定量となるまでの時間を一定とするように、上記復号側バッファのデータ蓄積量が上記所定量となるまでの上記符号化データの出力量を決定し、取得された上記第2の符号化情報に基づいて、上記復号側バッファのデータ蓄積量が上記所定量となった後の上記符号化データの出力量を決定するステップと
    を具える符号化データ制御方法。
JP53483699A 1997-12-31 1998-12-28 符号化データ出力装置及び方法並びに符号化データ制御装置及び方法 Expired - Fee Related JP3849144B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP36811697 1997-12-31
PCT/JP1998/006003 WO1999034543A1 (en) 1997-12-31 1998-12-28 Coded data output device and method

Publications (1)

Publication Number Publication Date
JP3849144B2 true JP3849144B2 (ja) 2006-11-22

Family

ID=18491010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP53483699A Expired - Fee Related JP3849144B2 (ja) 1997-12-31 1998-12-28 符号化データ出力装置及び方法並びに符号化データ制御装置及び方法

Country Status (3)

Country Link
US (3) US6868121B2 (ja)
JP (1) JP3849144B2 (ja)
WO (1) WO1999034543A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6868121B2 (en) * 1997-12-31 2005-03-15 Sony Corporation Coded data output device and method
GB2356508B (en) * 1999-11-16 2004-03-17 Sony Uk Ltd Data processor and data processing method
US7590178B2 (en) * 2001-03-12 2009-09-15 Robert Bosch Gmbh Method of multiplexing a number of video signals with a compressor
JP4586340B2 (ja) * 2003-07-08 2010-11-24 ソニー株式会社 符号化装置、および、符号化方法、並びに、プログラム
JP4289138B2 (ja) * 2003-12-09 2009-07-01 ソニー株式会社 データ処理装置およびその方法と符号化装置
JP4438059B2 (ja) * 2004-08-24 2010-03-24 キヤノン株式会社 画像再生装置及びその制御方法
JP4559878B2 (ja) * 2005-03-04 2010-10-13 株式会社東芝 デジタル放送信号送出装置及びこのデジタル放送信号送出装置の制御方法
US20080239163A1 (en) * 2007-03-26 2008-10-02 The Directv Group, Inc. Method and system for inserting digital video effects into a video stream after bypass routing and before encoding
US9055316B2 (en) * 2007-03-26 2015-06-09 The Directv Group, Inc. Method and system for inserting digital video effects into a video stream at a multiplexing device after routing
US8619822B2 (en) * 2007-03-26 2013-12-31 The Directv Group, Inc. Method and system for generating uplink signals from a ground segment
GB0707096D0 (en) * 2007-04-12 2007-05-23 Ntnu Technology Transfer As Method
WO2009088258A2 (ko) * 2008-01-09 2009-07-16 Lg Electronics Inc. 프레임 타입 식별 방법 및 장치
US20110002376A1 (en) * 2009-07-01 2011-01-06 Wham! Inc. Latency Minimization Via Pipelining of Processing Blocks
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69232343D1 (de) * 1991-08-13 2002-02-14 Canon Kk Bildübertragungsvorrichtung
US5461420A (en) 1992-09-18 1995-10-24 Sony Corporation Apparatus for coding and decoding a digital video signal derived from a motion picture film source
JP3531186B2 (ja) * 1992-09-18 2004-05-24 ソニー株式会社 ビデオ信号符号化方法及び装置
US6313863B1 (en) * 1994-07-29 2001-11-06 Canon Kabushiki Kaisha Image communication apparatus and system
JPH0898160A (ja) * 1994-09-28 1996-04-12 Victor Co Of Japan Ltd データ多重化装置
JPH08102952A (ja) * 1994-10-03 1996-04-16 Matsushita Electric Ind Co Ltd 実時間画像符号化装置及び方法
US5606369A (en) * 1994-12-28 1997-02-25 U.S. Philips Corporation Buffering for digital video signal encoders using joint bit-rate control
KR100226528B1 (ko) * 1995-03-29 1999-10-15 가나이 쓰도무 다중화 압축화상/음성데이타의 복호장치
US5686963A (en) * 1995-12-26 1997-11-11 C-Cube Microsystems Method for performing rate control in a video encoder which provides a bit budget for each frame while employing virtual buffers and virtual buffer verifiers
EP0784409A3 (en) 1996-01-11 2001-11-14 Sony Corporation Video coding and multiplexing
JPH09252290A (ja) * 1996-01-11 1997-09-22 Sony Corp 符号化装置、符号化方法、伝送装置、伝送方法及び記録媒体
AU719364B2 (en) * 1996-03-02 2000-05-04 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding or decoding digital video data
US5845083A (en) * 1996-03-07 1998-12-01 Mitsubishi Semiconductor America, Inc. MPEG encoding and decoding system for multimedia applications
DE69716365T2 (de) 1996-03-19 2003-06-05 Sony Corp Vorrichtung zur datenmultiplexierung
JPH09312625A (ja) * 1996-03-19 1997-12-02 Sony Corp データ多重化装置およびその方法
US6868121B2 (en) * 1997-12-31 2005-03-15 Sony Corporation Coded data output device and method

Also Published As

Publication number Publication date
US6868121B2 (en) 2005-03-15
US20030031252A1 (en) 2003-02-13
US7342961B2 (en) 2008-03-11
US7379497B2 (en) 2008-05-27
US20050190837A1 (en) 2005-09-01
WO1999034543A1 (en) 1999-07-08
US20050190833A1 (en) 2005-09-01

Similar Documents

Publication Publication Date Title
US7379497B2 (en) Encoded data outputting apparatus and method
US6542518B1 (en) Transport stream generating device and method, and program transmission device
US7551672B1 (en) Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
US6324217B1 (en) Method and apparatus for producing an information stream having still images
KR100557103B1 (ko) 데이터 처리방법 및 데이터 처리장치
US6671323B1 (en) Encoding device, encoding method, decoding device, decoding method, coding system and coding method
KR100213048B1 (ko) 아날로그와 디지탈 비디오 모드를 갖는 수신기와 그 수신방법
JP3516585B2 (ja) データ処理装置及びデータ処理方法
EP1279292A2 (en) Rate control and buffer protection for variable bit rate video programs over a constant rate channel
WO1997039588A1 (en) Image encoder, image encoding method and medium on which image encoding program is recorded
US6879634B1 (en) Method and system for transmitting media streams over a variable bandwidth network
KR20000069473A (ko) 비디오 데이터 다중화 장치, 비디오 데이터 다중화 제어 방법,부호화 스트림 다중화 장치 및 방법과 부호화 장치 및 방법
JPH0738857A (ja) 時分割ビデオ及びオーディオ信号の同期方式
JPH09510070A (ja) 可変ビットレート圧縮システムのバッファ管理
WO2004006446A2 (en) Hypothetical reference decoder for compressed image and video
JPH1118083A (ja) ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法
JP2000101537A (ja) 情報伝送方法、情報符号化方法及び情報伝送装置
KR100314329B1 (ko) 일정비트율엔코더를이용하는멀티플렉서
JPH1013826A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体
JPH10191331A (ja) 画像データの符号化方法及び装置
US7269839B2 (en) Data distribution apparatus and method, and data distribution system
JP2002171529A (ja) 映像符号化装置及び方法、記録媒体、並びに復号化装置
KR100530919B1 (ko) 동화상 데이터의 처리 및 송수신 방법 및 장치
JP2005072995A (ja) レート変換装置
KR0180174B1 (ko) Mpeg2 pat의 역패킷화기

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060418

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060821

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090908

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130908

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees