JP4717452B2 - データ多重化装置 - Google Patents

データ多重化装置 Download PDF

Info

Publication number
JP4717452B2
JP4717452B2 JP2005022838A JP2005022838A JP4717452B2 JP 4717452 B2 JP4717452 B2 JP 4717452B2 JP 2005022838 A JP2005022838 A JP 2005022838A JP 2005022838 A JP2005022838 A JP 2005022838A JP 4717452 B2 JP4717452 B2 JP 4717452B2
Authority
JP
Japan
Prior art keywords
audio
buffer
stream
pack
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005022838A
Other languages
English (en)
Other versions
JP2006211476A (ja
Inventor
健次 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2005022838A priority Critical patent/JP4717452B2/ja
Priority to US11/341,529 priority patent/US8249433B2/en
Publication of JP2006211476A publication Critical patent/JP2006211476A/ja
Application granted granted Critical
Publication of JP4717452B2 publication Critical patent/JP4717452B2/ja
Priority to US13/548,868 priority patent/US20120277895A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401Monitoring of the client buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/04Distributors combined with modulators or demodulators
    • H04J3/047Distributors with transistors or integrated circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Time-Division Multiplex Systems (AREA)

Description

本発明は複数のデータストリームを多重化するデータ多重化装置およびデータ多重化方法に関する。
ビデオデータおよびオーディオデータの符号化、およびこれらのデータの多重化に関する国際規格として、MPEG(Moving Picture Expert Group)規格やDVD-Video規格が広く知られている。ビデオデータやオーディオデータは、基本的にシーケンシャルにアクセスするデータ列であるため、ビデオストリーム、オーディオストリームとして符号化され、上記の規格に基づいて符号化、多重化が行われている。
図8は、このような規格に基づいたデータ多重化装置の概略を示す構成図である。なお、図8には、データ分離装置側の構成も一部示されている。従来のデータ多重化装置はビデオ符号化部101、符号化ビデオバッファ102、オーディオ符号化部103、符号化オーディオバッファ104、多重化部105、多重化制御部106を有している。
ビデオ符号化部101は、入力されたデジタルビデオ信号を符号化し、ビデオデータのデータ列であるビデオストリームを生成する。符号化ビデオバッファ102は、このビデオストリームを一時保持するバッファである。
オーディオ符号化部103は、入力されたオーディオPCM信号を符号化し、オーディオデータのデータ列であるオーディオストリームを生成する。符号化オーディオバッファ104は、このオーディオストリームを一時保持するバッファである。
多重化部105は、符号化ビデオバッファ102から出力されるビデオストリーム、符号化オーディオバッファから出力されるオーディオストリームを多重化し、システムストリームにする。多重化制御部106は、ビデオおよびオーディオのストリーム量を管理し、多重化するタイミングなどの決定を行う。
上述のような規格に基づいて、ビデオストリームとオーディオストリームを多重化する場合は、パックと呼ばれる単位で多重化が行われる。つまりシステムストリームは、複数のビデオパック、複数のオーディオパックから形成されている。
上述の多重化装置で生成されたシステムストリームを復号化する場合は、分離装置107で、システムストリームをオーディオストリームとビデオストリームに分離し、復号化ビデオバッファ108、復号化オーディオバッファ109などに一時保持され、復号が行われる。
そのため、符号化が行われるデータ多重化装置側では、分離装置側の復号化ビデオバッファ108、復号化オーディオバッファ109がオーバーフロー(あるいはアンダーフロー)しないように多重化タイミングが制御される。この制御を行うために、多重化制御部106では、その内部に仮想的な復号化ビデオバッファ、復号化オーディオバッファを用意して、その占有量を計算している。
図9は、この制御を行う多重化制御部106の詳細な構成を示すブロック図である。多重化制御部106は、符号化ビデオストリーム量記憶部201、仮想復号化ビデオバッファ占有量計算部202、仮想復号化ビデオバッファ203、符号化オーディオストリーム量記憶部204、仮想復号化オーディオバッファ占有量計算部205、仮想復号化オーディオバッファ206、制御信号生成部207および多重化データ決定部208を有している。
符号化ビデオストリーム量記憶部201は、符号化ビデオバッファ102内に保持されているビデオストリーム量を記憶する。仮想復号化ビデオバッファ占有量計算部202は、復号化ビデオバッファに蓄積されているビデオストリーム量を仮想計算し、その結果を仮想復号化ビデオバッファに保持する。仮想復号化ビデオバッファ203は、この計算結果を保持するレジスタなどであり、復号器側の復号化ビデオバッファの占有量の仮想値を保持している。
符号化オーディオストリーム量記憶部204は、符号化オーディオバッファ104内に保持されているオーディオストリーム量を記憶する。仮想復号化オーディオバッファ占有量計算部205は、復号化オーディオバッファに蓄積されているオーディオストリーム量を仮想計算し、その結果を仮想復号化オーディオバッファに保持する。仮想復号化オーディオバッファ206は、この計算結果を保持するレジスタなどであり、復号器側の復号化オーディオバッファの占有量の仮想値を保持している。
多重化データ決定部208は、上述の符号化ビデオバッファ102が保持するビデオストリーム量、符号化オーディオバッファ104が保持するオーディオストリーム量、仮想復号化ビデオバッファ203が保持する復号化ビデオバッファの仮想的な占有量、仮想復号化オーディオバッファ206が保持する復号化オーディオバッファの仮想的な占有量を元にして、多重化するパックの種類、ストリーム長、多重化するタイミングを決定する。制御信号生成部207は、多重化データ決定部208が決定した内容を多重化部105へ通知するための信号を生成する。
以下に図10を用いて、このような多重化装置がデータを多重化する動作について説明する。なお、以下の説明においては、オーディオストリームを中心に説明する。MPEGなどの規格では、データが階層化されて規定されている。オーディオストリームは、連続する複数のオーディオフレームから構成されている。このオーディオフレームは、オーディオデータの最小単位であり、その長さ(フレーム長:LF)は固定されている。このオーディオストリームをシステムストリームに多重化する場合は、複数のオーディオフレーム内のオーディオストリームを上述のオーディオパックとする必要がある。
その様子を模式的に示したのが図10(a)および図10(b)である。図10(a)は、オーディオストリーム全体であり、この場合は6個のオーディオフレームA1〜A6で構成されている。オーディオフレームA6の後に後述するランダムアクセスポイント(RAP)が設定されている。図10(b)は、固定長のオーディオパックAPを示している。オーディオパックにはヘッダが含まれており、パック長からヘッダ長を引いた長さがオーディオパックに含むことが可能な最大のストリーム長LPとなる。
図10(a)に示した6つのオーディオフレームA1〜A6を、図10(b)に示す4つのオーディオパックAP1〜AP4とする場合について説明する。ここで、オーディオパックの最大ストリーム長LPは、オーディオフレームのフレーム長LFとは異なっている。そのため図10(a)に示すオーディオフレームA1、A2を1つのオーディオパックにすると、通常オーディオフレームA2の途中までのストリームがオーディオパックAP1に含まれることになる。そこで、図10(b)に示すオーディオパックAP1は、オーディオフレームA1およびオーディオフレームA2の途中までを含んだオーディオパックAP1となる。その後のオーディオパックAP2ではオーディオフレームA2の途中からオーディオフレームA3およびオーディオフレームA4の途中までが含まれている。同様にオーディオパックAP3ではオーディオフレームA4の途中からオーディオフレームA5およびオーディオフレームA6の途中までが含まれている。オーディオパックAP4ではオーディオフレームA6の残りのストリームと無効なデータ(パディングパケット)が含まれている。このパディングパケットについては後述する。
このように複数のオーディオフレームを多重化したオーディオパックAPは、多重化部105において、ビデオパックVPと多重化され、システムストリームとされる。このシステムストリームを図10(c)に示す。
図10(d)は、上述の複数のオーディオフレームを、オーディオパックとする際の仮想復号化オーディオバッファが保持するバッファ占有量を示す図である。この値は仮想復号化オーディオバッファ占有量計算部204により計算されている。図中破線で示したBfMaxは、仮想復号化オーディオバッファの上限値に相当し、上述の規格などで定められた量である。
まず、通常動作について説明する。時刻t1において、仮想復号化オーディオバッファの空き領域が、最大ストリーム長LP以上あるため、最大ストリーム長LPに相当するオーディオパック多重化が決定される。従って、オーディオフレームA1、オーディオフレームA2の一部を含むストリームがオーディオパックAP1とされる。そのため、仮想復号化オーディオバッファの占有量は、図10(d)における時刻t1からt2にかけて示すように、最大ストリーム長LPに相当する分だけ増加する。この時の仮想復号化オーディオバッファの占有量が増加する傾きは、ビットレートに基づいている。図10(d)では、t2からt3の間にビデオパックの多重化が行われている。この間、オーディオパックは多重化されないので、仮想復号化オーディオバッファの占有量は変化しない。
図10(d)、時刻t3において、仮想復号化オーディオバッファの空き領域が最大ストリーム長LP以上あるため、最大ストリーム長LPに相当するオーディオパック多重化が決定される。仮想復号化オーディオバッファ占有量には、時刻t3からt4にかけてビットレートに基づいた傾きを持って加算が行われる。時刻t4からt5においては、仮想復号化オーディオバッファの空き領域が、最大ストリーム長LPより小さいため、システムストリームにオーディオパックが多重化されることはない。従って、多重化部ではビデオパックの多重化が行われるか、あるいは多重化を行わない待ち時間とされる。
一方、仮想復号化オーディオバッファの占有量は、所定時間ごとに、すでに復号化されたと仮想されるオーディオフレーム長LFに対応する長さが減算されている(図10(d)、t5、t6参照)。なお、この減算は、上述した規格では占有量が増加するときのようにビットレートに基づいた傾きはなく、瞬時に減算される。そのため、ある程度、時間が経過すると、仮想復号化オーディオバッファの空き領域が、最大ストリーム長LP以上となる。その時点で、再びオーディオパックを、システムストリームに多重化することが決定される(図10、t7参照)。そして、オーディオバッファ占有量は、図10(d)のt7からt8にかけて示すように、ビットレートの傾きに基づいて増加する。
次に、ランダムアクセスポイント(以下RAPと称す)と呼ばれる時点直前でのオーディオパックの作成について説明する。MPEGなどの規格では連続するストリームの任意の場所からの再生が不可能なため、所定時間ごとに再生開始が可能なポイント(RAP)が設けられている。このRAP直後のストリームではビデオストリームであれば他の画像と関連性のない画像のビデオストリームから始まることが必要であり、オーディオストリームであっても最小単位であるオーディオフレームの先頭から始まることが望ましい。
そのため、RAP直前では、仮想復号化オーディオバッファの空き領域が最大ストリーム長LPに満たない場合でもオーディオパックの多重化が行われる。この場合の占有量の変化が図10(d)においてt10からt11にかけて示されている。
RAP境界直前では、仮想復号化オーディオバッファの空き領域がオーディオフレームの残りのストリーム以上ある場合にはオーディオパックの多重化が行われる。このオーディオパックは図10(b)のオーディオパックAP4に相当し、オーディオフレームA6の残りのオーディオストリームがオーディオパックとされる。
ただし、この場合オーディオパックは固定長であるため、オーディオフレームA6の残りストリームに対し、オーディオパックの長さになるだけの無効なデータ(上述したパディングパケット)を挿入してオーディオパックとしている。仮想復号化オーディオバッファの占有量は、このオーディオパックAP4中、有効なデータであるオーディオフレームA6の残りのストリーム分だけ増加する。
RAP直前において、仮想復号化オーディオバッファの空き容量が残りのオーディオフレームよりも少ない場合は、オーディオパックの多重化を行うことが出来ない。そのため、図10(d)のt8からt9にかけて示すように、オーディオパックの多重化が出来るようになるまでパック全体が無効なデータである無効パックの挿入などが行われている。
上述したように、従来の多重化装置では、仮想復号化オーディオバッファの状態に応じて無効パックの挿入や、無効データの書き込みが行われる。その結果、装置全体としてのビットレートが低下すると言う問題があった。
本発明の1態様によるデータ多重化装置は、ビデオストリームおよびオーディオストリームをそれぞれパック化し、それらのパックを多重化してシステムストリームを生成するデータ多重化装置であって、前記オーディオストリームを一時保持する復号化オーディオバッファの占有量を仮想的に計算する仮想復号化オーディオバッファ占有量計算部と、前記復号化オーディオバッファに対するオーバーフロー制限容量として、オーディオフレームのフレーム長の整数倍の値を定め、ランダムアクセスポイントの直前である場合、前記オーバーフロー制限容量と前記占有量との差に基づいて、生成するオーディオパックのペイロード長を決定するペイロード長設定部と、を備える。
また、本発明のデータ多重化方法は、ビデオストリームおよびオーディオストリームをそれぞれパック化し、それらのパックを多重化してシステムストリームを生成するデータ多重化方法であって、前記オーディオストリームを一時保持する復号化オーディオバッファの占有量を計算し、ランダムアクセスポイントの直前である場合に、オーディオフレームのフレーム長の整数倍の値に定めた、前記復号化オーディオバッファに対するオーバーフロー制限容量と、前記占有量とを比較し、前記比較結果に基づいて生成するオーディオパックのペイロード長を決定する。
オーバーフロー制限値として、オーディオフレーム長の整数倍を設定しているので、ランダムアクセスポイント直前のオーディオパックで、フレームを終端させることが出来る。
システムストリームにおける無効パックなどの数を削減し、ビットレートの効率向上が可能となる。
実施の形態1
以下に図面を参照して本発明の実施の形態1について説明する。図1は、実施の形態1のデータ多重化装置の全体構成を示す図である。図1に示したデータ多重化装置において図8に示した構成要件と同じものに関しては、同一の符号を付し、その説明を省略する。本発明のデータ多重化装置は、図8に示したデータ多重化装置における多重化制御部106が異なり多重化制御部106'となっている。図1に示す多重化制御部106'も、ビデオおよびオーディオのストリーム量を管理し、多重化するタイミングなどの決定を行う部分である。図2にこの多重化制御部の詳細を示す。
多重化制御部106'は、符号化ビデオストリーム量記憶部1、仮想復号化ビデオバッファ占有量計算部2、仮想復号化ビデオバッファ3、符号化オーディオストリーム量記憶部4、仮想復号化オーディオバッファ占有量計算部5、仮想復号化オーディオバッファ6、制御信号生成部7および多重化データ決定部8を有している。
符号化ビデオストリーム量記憶部1は、符号化ビデオバッファ102内に保持されているビデオストリーム量を記憶する。仮想復号化ビデオバッファ占有量計算部2は、復号化ビデオバッファ108に蓄積されているビデオストリーム量を仮想計算し、その結果を仮想復号化ビデオバッファに保持する。仮想復号化ビデオバッファ3は、この計算結果を保持するレジスタなどであり、復号器側の復号化ビデオバッファ104の占有量の仮想値を保持している。
符号化オーディオストリーム量記憶部4は、符号化オーディオバッファ104内に保持されているオーディオストリーム量を記憶する。仮想復号化オーディオバッファ占有量計算部5は、復号化オーディオバッファ109に蓄積されているオーディオストリーム量を仮想計算し、その結果を仮想復号化オーディオバッファに保持する。仮想復号化オーディオバッファ6は、この計算結果を保持するレジスタなどであり、復号器側の復号化オーディオバッファ109の占有量の仮想値を保持している。
多重化データ決定部8は、上述の符号化ビデオバッファ102が保持するビデオストリーム量、符号化オーディオバッファ104が保持するオーディオストリーム量、仮想復号化ビデオバッファ3が保持する復号化ビデオバッファの仮想的な占有量、仮想復号化オーディオバッファ6が保持する復号化オーディオバッファの仮想的な占有量を元にして、多重化するパックの種類、ストリーム長、多重化するタイミングを決定する。制御信号生成部7は、多重化データ決定部8が決定した内容を多重化部105へ通知するための信号を生成する。
本実施の形態1では多重化データ決定部8内に、さらにペイロード長設定部9が設けられている。まず、ペイロード長について説明する。以後の説明においてペイロード長とは、1つのオーディオパックに含まれるオーディオストリーム長である。無効なデータであるパディングパケットなどを含むオーディオパックであれば、このパディングパケットはペイロード長には含まれない。パディングパケットがまったく含まれていない場合でも、最大のペイロード長はオーディオパックのパック長の制限を受ける。従って最大のペイロード長はパック長からヘッダ長を差し引いた最大ストリーム長LPに等しい。
実施の形態1では、このペイロード長設定部9がオーディオパックに含まれるペイロード長を設定する。以下にこのペイロード長設定部9が設定するペイロード長とオーディオパックの生成について説明する。
まず、本実施の形態においては、ペイロード長設定部9が仮想復号化オーディオバッファのオーバーフロー制限値として、仮想的な第2の容量BfMax'を、仮想復号化オーディオバッファ6に対して設定する。この第2の容量BfMax'(以降、オーバーフロー制限値と称す)は、オーディオフレーム長LFの整数倍の値であり、規格に定められた仮想復号化オーディオバッファの容量BfMaxよりも低い値であるとする。本実施の形態は、このオーバーフロー制限値BfMax'と仮想復号化オーディオバッファの占有率との差から、ペイロード長設定部9がペイロード長を設定するものである。オーディオパックの多重化は、オーバーフロー制限値BfMax'とバッファ占有量の差が、このペイロード長設定部9が設定したペイロード長よりも大きい場合に行われるものとする。
図3は、本実施の形態の仮想復号化オーディオバッファの占有率の遷移、オーディオパック、オーディオフレームなどを示す図である。特に図3(d)は、仮想復号化オーディオバッファ占有率計算部の計算結果に対応し、仮想復号化オーディオバッファ6が保持する値である。以下、図3を参照して本実施の形態のデータ多重化装置の具体的な動作について説明する。
なお、以下の説明では説明を分かりやすくするために10バイト、30バイトなどの取り扱いやすい値を用いて数値を示すが、実際に用いられるフレーム長、パック長などは、この限りではなく、規格などに応じて様々である。
まず、オーディオストリームとしては、フレーム長LF=10バイトのオーディオフレーム5つ(A11〜A15)からなるオーディオストリームであるとする。オーディオパック長は仮に20バイト、ヘッダ長は2バイトであるとする。この場合最大ペイロード長LPは18バイトである。また、ペイロード長設定部9はオーバーフロー制限値BfMax'として30バイトを定めているとする。
本実施の形態では多重化データ決定部8は、このオーバーフロー制限値BfMax'を超えないようにオーディオパックAPを形成していくものとする。
まず、通常のオーディオパック多重化動作時にペイロード長設定部9は、ペイロード長を常に最大ストリーム長LPに設定している。図3(d)の時刻t1において仮想復号化オーディオバッファのオーバーフロー制限値BfMax'に対しての空き容量が30バイトであるため、最大ストリーム長LPに対応するオーディオストリームをオーディオパックとすることが決定される。この場合、オーディオフレームA11の全て、およびオーディオフレームA12の前半の8バイトが、所定のビットレートの方向きを持って時刻t1からt2にかけてオーディオパックAP11として多重化される。
そのため、仮想復号化オーディオバッファは、18バイト占有された状態となる(図3(d)、t2参照)。
時刻t2からt3の期間は、オーバーフロー制限値BfMax'と仮想復号化オーディオバッファ占有量との間の差は12バイトである。最大ペイロード長LP(ここでは18バイト)に対応する空きがないため、オーディオパックの多重化は行われない。
その後、時刻t3において、オーディオバッファに蓄積されたストリーム量からフレーム長LFに対応する減算が行われる。ここでは、説明のためにLF=10バイトとしたため、仮想復号化オーディオバッファは18−10=8バイト占有された状態となる。この減算は、ビットレートに基づいた傾きはなく瞬時に行われるものとして規格に定められている。仮想復号化オーディオバッファは、オーバーフロー制限値BfMax'に対して22バイトの空き領域があるため、時刻t4からt5にかけて最大ペイロード長LP(18バイト)に対応するオーディオストリームのパック化が行われる。この場合オーディオパックAP12には、オーディオフレームA12の残り2バイト、オーディオフレームA13の全て10バイト、オーディオフレームA14の最初の6バイトが含まれる(図3(b)参照)。この場合、仮想復号化オーディオバッファは、18+8で26バイト占有された状態となる(図3(d)、t5参照)。
このように通常の動作時は従来と同様にオーバーフロー制限値BfMax'に対して最大ペイロード長LPの余裕が出来た場合にオーディオパックを多重化する動作を繰り返していく。
次に、ランダムアクセスポイント(RAP)直前の動作を説明する。RAP直前では、ペイロード長設定部9が、オーバーフロー制限値BfMax'と仮想復号化オーディオバッファ占有量との差分を計算する。ここで、オーバーフロー制限値としては、オーディオフレームの整数倍の値を定めているため、オーバーフロー制限値BfMax'と仮想復号化オーディオバッファ占有量との間には、少なくとも出力済みのオーディオフレームの残りのストリームLFRに相当する差が存在する。
すでに出力済みのオーディオフレームの残りのストリームLFR(ここではA14の残り4バイト)を仮想復号化オーディオバッファに加算してもオーバーフロー制限値BfMax'をオーバーしない場合は、ペイロード長としてLFR+n*LF(n:0以上の整数)を設定する。ここでは、4+1*10として14バイトをペイロード長LP'と設定する。このようにペイロード長を設定した後に、オーディオパックの多重化が行われる。
このように、実施の形態1ではペイロード長設定部9のRAP直前のペイロード長設定は、オーバーフロー制限値BfMax'と仮想復号化オーディオバッファの占有量の差を元に行われる。この差がすでに多重化されたオーディオフレームの残りストリーム以上であった場合に、オーディオパックとして多重化可能なペイロード長をLFR+n*LFとする。この結果、オーバーフロー制限値BfMax'はオーディオフレーム長の整数倍としているためRAP直前で定義されるペイロード長は、すでに多重化されたフレームの残りのストリーム(LFR)+(フレーム長の整数倍)となる。例えば上述の例ではRAP直前においてペイロード長設定部9は14バイトを設定する。
このようにオーバーフロー制限値BfMax'を設定し、RAP直前においては、オーバーフロー制限値BfMax'とバッファ占有量の差を元にペイロード長LP'を設定する。その上で、オーディオパックの多重化を行うことで、RAP直前のオーディオパックには確実に全てのオーディオフレームデータを完結させることが可能となる。
このように、本実施の形態ではペイロード長設定部9がオーディオフレームのフレーム長の整数倍となるオーバーフロー制限値BfMax'(第2の仮想復号化オーディーバッファの容量)を設定することで、従来のように、オーディオフレームの残りストリームに対応するオーディオパック生成までの間、無効なパックを出力することなどが低減される。
従来のデータ多重化装置では、仮にRAP直前でその画像のグループ(GROUP OF PICTURE)の最後のビデオパックの生成が終わっていた場合でも、オーディオフレームが完結せずに残りストリームがあった場合は、その残りストリームをシステムストリームと出来る状態になるまでパック全体が無効なデータとなる無効パックの出力などを行わなければならない場合があった(図10におけるt8〜t10区間参照)。しかし、この実施の形態ではRAP直前に生成されるオーディオパックは常にオーディオフレームが完結した状態のオーディオパックとすることが可能である。従ってオーディオフレームに残りストリームがあることなどが原因による無効パックの作成等を行うことが省略できる。その結果、システムストリームに含まれる無効なデータが低減されビットレートの効率化を図ることが可能である。
なお、以上の動作をフローチャートでまとめたものが図4である。図4において、ステップS301に示すように、まず、RAP直前かどうかによって設定するペイロード長(LPあるいはLP')が異なるため、その判断が行われる。その後RAP直前でない場合、ステップ305に示すようにバッファの占有量に対して、最大ペイロード長LPを加算して、オーバーフロー制限値BfMax'を超えるか超えないかが判定される。ここでオーバーフロー制限値を超えない場合は最大ペイロード長LPのオーディオパックの多重化が行われる(ステップS306)。オーバーフロー制限値を超えてしまう場合は、ビデオパックなどの多重化や、時間待ちが行われる(ステップS307)。
ステップS301において、RAP直前と判定された場合は、ステップS302において、上述のバッファ占有量とオーバーフロー制限値BfMax'の差と、フレームの残りストリームLFRの比較が行われる。そして、ステップS303は、上述のRAP直前のペイロード長LP'の設定動作であり、ステップ304は、他のパックの多重化、時間待ちを行う動作である。
実施の形態1では、オーディオパックAPの多重化に際し、この動作が繰り返されるものである。
実施の形態2
図5は、本発明の実施の形態2に関する仮想復号化オーディオバッファの占有量を示す図である。以下、図5を用いて実施の形態2のデータ多重化装置について詳細に説明する。
実施の形態1に示したデータ多重化装置および方法では、仮想復号化オーディオバッファの占有量が、次の条件を満たしてしまう恐れがある。
(1)バッファ占有量+1パックの最大ペイロード長(LP)>オーバーフロー制限値BfMax'
(2)バッファ占有量−オーディオフレーム長(LF)<0
つまり、実施の形態1では、RAP直前ではなく、通常の多重化動作時には、ペイロード長は最大ペイロード長LPに設定されている。この場合、上記(1)の条件が成立していれば、オーディオパックの多重化を行うことは出来ない。また上記(2)の条件が成立していた場合、次に固定フレーム長LFが減算された場合に仮想復号化オーディオバッファがアンダーフローしてしまう。
したがって、ある時点における仮想復号化オーディオバッファ占有量が上記(1)、(2)の条件を満たしてしまう場合に多重化データ決定部8が処理破綻を起こす可能性が生じる。分かりやすい数値を用いて説明すれば、フレーム長LF=10バイト、最大ペイロード長LP=18バイト、オーバーフロー制限値BfMax'を20バイトとすれば、最大ペイロード長LP(18バイト)を書き込んだ後、フレーム長LFに相当する10バイト減算されてバッファ占有量は8バイトとなる。この場合、最大ペイロード長LPに対応するオーディオパックの多重化も、フレーム長LFの減算も出来なくなってしまう。
上記(1)、(2)の条件を満たしてしまう可能性は、以下の(3)に示す関係が成立するときに発生する。
(3)オーディオフレーム長(LF)+最大ペイロード長(LP)>オーバーフロー制限値(BfMax')
図5は、このような可能性がある仮想復号化オーディオバッファメモリのオーディオフレーム、オーディオパック、仮想復号化オーディオバッファの占有量などを示す図である。以下、図5を用いて、実施の形態2のペイロード長設定動作について説明する。まず、図5(d)における時刻t1において、オーバーフロー制限値に対して最大ペイロード長LP以上の空きがあるため、最大ペイロード長LPに対応するオーディオパックAP21の多重化が決定される。仮想復号化オーディオバッファの保持する値は所定の傾きを持って時刻t1からt2にかけて上昇する。その結果、仮想復号化オーディオバッファの占有量が増大する(図5(d)、時刻t2参照)。その後、オーディオフレーム長LFに対応する減算が行われる(図5(d)、時刻t3参照)。この場合図5(d)、時刻t3において、上述の条件(1)、(2)が成立するとする。この第2の実施の形態では条件(1)、(2)が成立する場合に関し、ペイロード長設定部9がオーバーフロー制限値BfMax'と、仮想復号化オーディオバッファ占有量との差を計算し、この差をペイロード長LP'に設定する。そして、仮想復号化オーディオバッファ占有量とオーバーフロー制限値の差が、このペイロード長LP'以上となった場合にオーディオパックの多重化が行われる(図5(d)、t4参照)。
この場合のオーディオパックAP21は、BfMax'がオーディオフレーム長LFの整数倍とされているため、オーディオパックAP21に含まれなかったオーディオフレームA22の残りストリームおよびオーディオフレームA23内の全ストリームとなる。
このペイロード長LP'分のオーディオストリームにパディングパケットが追加され、オーディオパックAP22とされる。このオーディオパックはシステムストリームに多重化される。
本実施の形態のデータ多重化装置では、その後、上述の条件(1)、(2)に当てはまる場合はペイロード長をオーバーフロー制限値BfMax'と、仮想復号化オーディオバッファ占有量との差であるLP'と設定し、通常は、最大ペイロード長LPとしたオーディオパックの作成が繰り替えされる。
本実施の形態において、RAP直前においてペイロード長がオーバーフロー制限値BfMax'と仮想復号化オーディオバッファ占有量との差に基づいて決定される点は、第1の実施の形態と同じであるため、説明を省略する。
つまり、第2の実施の形態においては、通常の多重化が行われている時には基本的なペイロード長として、最大ペイロード長LPが設定されている。ただし、通常の多重化動作においても、上述の(1)、(2)の条件を満たす場合は、オーバーフロー制限値BfMax'と仮想復号化オーディオバッファの占有量との差がペイロード長LP'と設定される。
実施の形態2のようにペイロード長設定部9は上記(1)、(2)の条件を満たす場合にもペイロード長の設定を変更するため、処理破綻を起こすことなく、ビットレートを有効活用したオーディオストリームの多重化が可能である。
この一連の動作をフローチャートで表したものを図6に示す。図6において図4と異なる点は、上述の(2)の条件を判断するステップS501、ペイロード長LP'のオーディオパックを多重化するステップS502が設けられている点である。
仮に、実施の形態2のデータ多重化方法をDVD規格に適用した場合、上述の(3)の条件が成立するのは、DOLBY AC−3(登録商標)によるオーディオストリームを多重化する場合である。
仮にサンプリング周波数48kHz、ビットレート384kbpsのDOLBY AC−3(登録商標)によるオーディオストリームの場合、5フレームに1回、579バイトのパディングパケットの挿入が行われる。サンプリング周波数48kHz、ビットレート448kbpsのDOLBY AC−3(登録商標)によるオーディオストリームの場合、10フレームに1回、227バイトのパディングパケットの挿入が行われる。
実施の形態2のデータ多重化方法によれば、実施の形態1と同様にビットレートの効率化を図ることが可能である。また、オーディオフレーム長と、オーバーフロー制限値の設定によってアンダーフローなどが生じてしまう恐れを防ぐことも可能である。なお、本実施形態によるデータ多重化のビットレートと従来のデータ多重化によるビットレートとの比較を表1に示す。表1に示すように本実施の形態によりビットレートの効率が向上される。
Figure 0004717452
実施の形態3
実施の形態1、2においてはオーバーフロー制限値BfMax'として設定する値についてはオーディオフレームのフレーム長の整数倍のみを示し、常にオーバーフロー制限値を超えない範囲でオーディオパックの多重化の制御を行う場合について示している。
実施の形態3では、例えばサンプリング周波数44.1kHzのDOLBY AC−3(登録商標)などの場合において、微量ながらオーディオフレーム長が変化する場合に、オーバーフロー制限値BfMax'を設定する場合について説明する。
上述のサンプリング周波数44.1kHz、ビットレート256kbpsのDOLBY AC−3(登録商標)では、通常フレーム長は1114バイトである。しかしながら数フレームに1つの割合で1115バイトとなるオーディオフレームが存在する。そこで、本実施の形態では以下のようにペイロード長設定部9がオーバーフロー制限値、ペイロード長を設定する。
まず、最小のオーディオフレーム長をLBとすると、オーバーフロー制限値BfMax'はLBの整数倍と設定される。
このようにオーバーフロー制限値を設定した場合、通常動作時は、オーバーフロー制限値を超えないように、最大ペイロード長LPのオーディオパックを多重化している。また、実施の形態2と同様に(バッファ占有量+LP)がオーバーフロー制限値BfMax'を超えてしまう場合、オーバーフロー制限値BfMax'とバッファ占有量との差に基づいてペイロード長LP'を設定している。またRAP直前においても基本的に第1、第2の実施の形態と同じようにペイロード長が設定される。
ただし、実施の形態3においては、フレーム長が常にLBで一定ではなく、LBからLB+mの範囲で変化している。
そのため、フレーム長がLB+mとなるフレームの数に応じて、RAP直前において、ペイロード長をオーバーフロー制限値BfMax'との差に基づいて設定しても、必ずしも最終フレームの全ストリームが1つのオーディオパックに収まって終了しない場合がある。
ここで、オーバーフロー制限値BfMax'は、1フレームのデータをRAP直前で完結させるために設定した計算のための容量であることに注目すると、実際には仮想復号化オーディオバッファ上では(BfMax―BfMax')に相当する余裕が存在する。
そこで、オーバーフロー制限値BfMax'内で記憶することが出来るフレーム数Nは全てが最小フレーム長であったとして、N=Bfmax'/LBである。仮に全てのフレームがLB+mのフレーム長をもつものであったとしても、全てのフレームが最小フレームであった場合に対して、m*(Bfmax'/LB)バイト増えるだけである。そこで、本来の規格に定められた仮想復号化オーディオバッファの容量がオーバーフロー制限値BfMax'に対し、この差に相当する余裕があれば、オーディオフレーム長が変化する場合でもRAP直前において最終フレーム全てのストリームを含んだオーディオパックとして多重化が可能である。つまり以下の条件(4)を満たすように、オーバーフロー制限値BfMax'を設定することで、RAP直前においてもフレーム中のストリームを確実に完結することが可能となる。
(4)BfMax−BfMax'>m*(Bfmax'/LB)・・・(m:自然数)
つまり、オーバーフロー制限値BfMax'を最小のフレーム長の整数倍であり、かつ上記(4)の条件を満たすように設定することで、RAP直前に関して、オーバーフロー制限値BfMax'以上となっても、オーディオパックの多重化を許可し、実際の仮想復号化オーディオバッファをオーバーフローさせることなく、オーディオパックを多重化させることが可能である。
図7は、実施の形態3の仮想復号化オーディオバッファの占有量、オーディオフレームなどを示した図である。図7における時刻t9において、RAP直前の仮想復号化オーディオバッファ占有量が、オーバーフロー制限値BfMax'を越えてしまっているが、仮想復号化オーディオバッファの容量BfMaxは超えておらず、正常にオーディオパックを形成できる。
以上詳細に説明したように、本発明によれば、規格に規定された仮想復号化オーディオバッファの容量よりも低い、オーバーフロー制限値を設定し、この限界値を超えないように制御することで、RAP直前においてフレームが完結せず、無効なパックなどを生成することを削減ことが出来る。このことによりビットレートの効率が向上し、画質、画像などの高品質化を図ることが可能となる。
なお、実施の形態では、MPEG規格などにおけるオーディオストリームを例に説明したが、本発明は、データの単位が固定長である場合の符号化、復号化に適用することが可能である。
実施の形態1の多重化制御部の構成を示す概略図である。 本発明の実施の形態の多重化制御部の構成を示す概略図である。 実施の形態1のオーディオフレーム、オーディオパック、仮想復号化オーディオバッファの占有量を示す図である。 実施の形態1の多重化動作のフローを示すフローチャートである。 実施の形態2のオーディオフレーム、オーディオパック、仮想復号化オーディオバッファの占有量を示す図である。 実施の形態2の多重化動作のフローを示すフローチャートである。 実施の形態3のオーディオフレーム、オーディオパック、仮想復号化オーディオバッファの占有量を示す図である。 データ多重化装置の構成を示す図である。 従来の多重化制御部の構成を示す概略図である。 従来のオーディオフレーム、オーディオパック、仮想復号化オーディオバッファの占有量を示す図である。
符号の説明
1 符号化ビデオストリーム量記憶部
2 仮想復号化ビデオバッファ占有量計算部
3 仮想復号化ビデオバッファ
4 符号化オーディオストリーム量記憶部
5 仮想復号化オーディオバッファ占有量計算部
6 仮想復号化オーディオバッファ
7 制御信号生成部
8 多重化データ決定部
9 ペイロード長設定部
101 ビデオ符号化部
102 符号化ビデオバッファ
103 オーディオ符号化部
104 符号化オーディオバッファ
105 多重化部
106、106' 多重化制御部
201 符号化ビデオストリーム量記憶部
202 仮想復号化ビデオバッファ占有量計算部
203 仮想復号化ビデオバッファ
204 仮想復号化オーディオバッファ占有量計算部
204 符号化オーディオストリーム量記憶部
205 仮想復号化オーディオバッファ占有量計算部
206 仮想復号化オーディオバッファ
207 制御信号生成部
208 多重化データ決定部
BfMax' オーバーフロー制限値
LF オーディオフレーム長
LP 最大ストリーム長(最大ペイロード長)

Claims (7)

  1. ビデオストリームおよびオーディオストリームをそれぞれパック化し、それらのパックを多重化してシステムストリームを生成するデータ多重化装置であって、
    前記オーディオストリームを一時保持する復号化オーディオバッファの占有量を仮想的に計算する仮想復号化オーディオバッファ占有量計算部と、
    前記復号化オーディオバッファに対するオーバーフロー制限容量として、オーディオフレームのフレーム長の整数倍の値を定め、ランダムアクセスポイントの直前である場合、前記オーバーフロー制限容量と前記占有量との差に基づいて、生成するオーディオパックのペイロード長を決定するペイロード長設定部と、
    を備えたデータ多重化装置。
  2. 前記オーバーフロー制限容量は、前記復号化オーディオバッファの容量よりも小さな値であることを特徴とする請求項1記載のデータ多重化装置。
  3. ビデオストリームおよびオーディオストリームをそれぞれパック化し、それらのパックを多重化してシステムストリームを生成するデータ多重化方法であって、
    前記オーディオストリームを一時保持する復号化オーディオバッファの占有量を仮想計算し、
    ランダムアクセスポイントの直前である場合に、オーディオフレームのフレーム長の整数倍の値に定めた、前記復号化オーディオバッファに対するオーバーフロー制限容量と、前記占有量とを比較し、
    前記比較結果に基づいて生成するオーディオパックのペイロード長を決定するデータ多重化方法。
  4. 記オーバーフロー制限容量は、前記復号化オーディオバッファの容量よりも小さな値であることを特徴とする請求項記載のデータ多重化方法。
  5. ランダムアクセスポイントの直前ではなく、且つ前記占有量に対して、前記オーディオパックに含めることが可能な最大ペイロード長を加算した結果が、前記オーバーフロー制限容量を超える場合に、前記ペイロード長を前記オーバーフロー制限容量と前記占有量との差の値とすることを特徴とする請求項3あるいは4に記載のデータ多重化方法。
  6. 前記オーバーフロー制限容量と、前記復号化オーディオバッファの容量との差は、
    前記復号化オーディオバッファに保持可能なフレーム数に、前記オーディオフレームが有し得る最大フレーム長と最小フレーム長の差を乗じた値以上であることを特徴とする請求項乃至のいずれか1項に記載のデータ多重化方法。
  7. ストリームデータをパック化し、それらのパックを多重化するデータ多重化装置であって、
    前記ストリームデータを一時保持する復号化バッファの占有量を仮想的に計算する仮想復号化バッファ占有量計算部と、
    前記復号化バッファに対するオーバーフロー制限容量として、前記ストリームデータのフレーム長の整数倍の値を定め、他のストリームデータを形成する最後のパックが生成された時点で、前記オーバーフロー制限容量と前記占有量との差に基づいて、生成するパックのペイロード長を決定するペイロード長設定部と、
    を備えたデータ多重化装置。
JP2005022838A 2005-01-31 2005-01-31 データ多重化装置 Active JP4717452B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005022838A JP4717452B2 (ja) 2005-01-31 2005-01-31 データ多重化装置
US11/341,529 US8249433B2 (en) 2005-01-31 2006-01-30 Data multiplexing apparatus
US13/548,868 US20120277895A1 (en) 2005-01-31 2012-07-13 Data multiplexing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005022838A JP4717452B2 (ja) 2005-01-31 2005-01-31 データ多重化装置

Publications (2)

Publication Number Publication Date
JP2006211476A JP2006211476A (ja) 2006-08-10
JP4717452B2 true JP4717452B2 (ja) 2011-07-06

Family

ID=36756511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005022838A Active JP4717452B2 (ja) 2005-01-31 2005-01-31 データ多重化装置

Country Status (2)

Country Link
US (2) US8249433B2 (ja)
JP (1) JP4717452B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200828934A (en) * 2006-12-21 2008-07-01 Realtek Semiconductor Corp Audio data transmission method for transmitting encrypted audio data and audio processing system and computer system thereof
JP4900945B2 (ja) * 2007-01-18 2012-03-21 キヤノン株式会社 記録装置、及び記録方法
JP5152402B2 (ja) * 2009-02-27 2013-02-27 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
FR2956271B1 (fr) * 2010-02-09 2012-02-17 Canon Kk Procede et dispositif de calcul de l'espace disponible dans un paquet pour le transport de flux de donnees
JP2013026696A (ja) * 2011-07-15 2013-02-04 Sony Corp 送信装置、送信方法および受信装置
US8817725B2 (en) * 2012-01-13 2014-08-26 Blackberry Limited Scheduling transmission of traffic treated less preferentially despite timing requirements
KR20140070896A (ko) * 2012-11-29 2014-06-11 삼성전자주식회사 비디오 스트리밍 방법 및 그 전자 장치
US10055242B2 (en) * 2015-10-16 2018-08-21 Microsoft Technology Licensing, Llc Virtualizing audio decoding hardware

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0898160A (ja) * 1994-09-28 1996-04-12 Victor Co Of Japan Ltd データ多重化装置
JP3403865B2 (ja) * 1995-06-08 2003-05-06 株式会社東芝 ストリーム多重装置およびストリーム多重方法
US5802068A (en) * 1995-06-30 1998-09-01 Nippon Steel Corporation Multiplexing apparatus of a plurality of data having different bit rates
US6198728B1 (en) * 1996-12-19 2001-03-06 Phillips Electronics North America Corp. Medium access control (MAC) protocol for wireless ATM
US6021440A (en) * 1997-05-08 2000-02-01 International Business Machines Corporation Method and apparatus for coalescing and packetizing data
US6421720B2 (en) * 1998-10-28 2002-07-16 Cisco Technology, Inc. Codec-independent technique for modulating bandwidth in packet network
US6993081B1 (en) * 1999-11-23 2006-01-31 International Business Machines Corporation Seamless splicing/spot-insertion for MPEG-2 digital video/audio stream
US6856613B1 (en) * 1999-12-30 2005-02-15 Cisco Technology, Inc. Method and apparatus for throttling audio packets according to gateway processing capacity
JP4538908B2 (ja) * 2000-06-14 2010-09-08 ソニー株式会社 データ変換装置及び方法
US7778281B2 (en) * 2001-04-27 2010-08-17 Panasonic Corporation Wireless communication apparatus
US7395208B2 (en) * 2002-09-27 2008-07-01 Microsoft Corporation Integrating external voices

Also Published As

Publication number Publication date
US20120277895A1 (en) 2012-11-01
US8249433B2 (en) 2012-08-21
US20060171446A1 (en) 2006-08-03
JP2006211476A (ja) 2006-08-10

Similar Documents

Publication Publication Date Title
JP4717452B2 (ja) データ多重化装置
EP0663774B1 (en) Adaptive bit stream demultiplexing apparatus in a decoding system
US7983500B2 (en) Encoding method, encoding apparatus, decoding method, and decoding apparatus
JP2004194338A (ja) スライドショーの制作方法およびシステム
KR20030012761A (ko) 데이터 다중화 방법, 데이터 기록 매체, 데이터 기록 장치및 데이터 기록 프로그램
JP4676331B2 (ja) コード変換方法及びその装置
KR100629093B1 (ko) 디코딩 장치 및 디코딩 방법
US8369456B2 (en) Data processing apparatus and method and encoding device
JP5052220B2 (ja) 動画像符号化装置
JPH09509036A (ja) エンコーダシステムのレベルバッファ管理
US7873263B2 (en) Multiplexing method preventing overflow of audio decoder buffer
JP4091582B2 (ja) 動画像符号化装置、及び動画像符号化方法
JP4900945B2 (ja) 記録装置、及び記録方法
JPH0898160A (ja) データ多重化装置
JP4750759B2 (ja) 映像音声再生装置
JP3599035B2 (ja) 映像信号符号化装置
JP3403865B2 (ja) ストリーム多重装置およびストリーム多重方法
JP4608831B2 (ja) データ多重化装置およびデータ多重化方法
JP2002199356A (ja) Ps多重化システム及びps多重化方法
JP2008136001A (ja) 符号化方式変換装置
JP2001136520A (ja) 動画像符号化装置および動画像復号化システム
JPH10271463A (ja) データ多重化装置およびその方法
JP2003298544A (ja) プログラムストリーム多重化方法及び装置
JP2011155474A (ja) 符号化装置およびそれを用いたシステム
JP2005243083A (ja) ディスクドライブ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110330

R150 Certificate of patent or registration of utility model

Ref document number: 4717452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350