JPH11163817A - Digital encoding multiplexer - Google Patents

Digital encoding multiplexer

Info

Publication number
JPH11163817A
JPH11163817A JP32981797A JP32981797A JPH11163817A JP H11163817 A JPH11163817 A JP H11163817A JP 32981797 A JP32981797 A JP 32981797A JP 32981797 A JP32981797 A JP 32981797A JP H11163817 A JPH11163817 A JP H11163817A
Authority
JP
Japan
Prior art keywords
packet
stream
multiplexing
input
redundant code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP32981797A
Other languages
Japanese (ja)
Other versions
JP3429652B2 (en
Inventor
Norihide Omoto
憲英 大元
Jun Sawa
潤 佐波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP32981797A priority Critical patent/JP3429652B2/en
Publication of JPH11163817A publication Critical patent/JPH11163817A/en
Application granted granted Critical
Publication of JP3429652B2 publication Critical patent/JP3429652B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To multiplex program data without adding any change to a data transmission rate about a bit stream on the side of being multiplexed by inserting a redundant code stream into an idle time that appears in a packet data stream from a compression encoding means and outputting it as a multiplexed bit stream. SOLUTION: An acoustic video encoder 11 compresses a program A with compressibility that is indicated by a control signal CTL, makes it a packet and outputs it as a transport stream TS (A). When the stream TS (A) is inputted from the encoder 11, a multiplexer 13 outputs it in a transmission rate that is the same with the time of being inputted and when the stream TS (A) is not inputted, it inserts a null packet Null sent from a null packet generator 12 that is a redundant packet generating means into an idle period. Consequently, it is possible to generate a transport stream TS (C) which is easy to be remultiplexed.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、1又は複数のプロ
グラムデータ(映像データ、音響データ等)を他のビッ
トストリーム(プログラムデータを含む)に多重化し、
1つのビットストリームとして出力するディジタル符号
化多重化装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention multiplexes one or a plurality of program data (video data, audio data, etc.) into another bit stream (including program data),
The present invention relates to a digital encoding and multiplexing device that outputs a single bit stream.

【0002】[0002]

【従来の技術】MPEG2(ISO/IEC1381
8)に代表される多重化方式においては、複数のプログ
ラムデータ(例えば、音響データと映像データ)を、1
つのトランスポートストリームに多重化するための規約
が定められている(ITU−T勧告H.222.0)。
2. Description of the Related Art MPEG2 (ISO / IEC1381)
In the multiplexing method represented by 8), a plurality of program data (for example, audio data and video data) are
Rules for multiplexing into one transport stream are defined (ITU-T Recommendation H.222.0).

【0003】図2は、かかるディジタル符号化多重化装
置の従来例であり、図3は、その動作例である。なお、
図2及び図3は、いずれも2つのプログラムデータを、
1つのトランスポートストリームに多重化する場合につ
いて表している。
FIG. 2 shows a conventional example of such a digital encoding and multiplexing apparatus, and FIG. 3 shows an example of its operation. In addition,
FIGS. 2 and 3 both show two program data,
This shows a case where the data is multiplexed into one transport stream.

【0004】図2に示すディジタル符号化多重化装置
は、2つプログラムデータA及びBをそれぞれトランス
ポートストリームに符号化し出力する音響映像(AV)
符号化器1A及び1Bと、その出力であるトランスポー
トストリームTS(A)及びTS(B)を1本のトラン
スポートストリームTS(C)に多重して出力する多重
化器(MUX)2からなる。
A digital encoding and multiplexing apparatus shown in FIG. 2 encodes two program data A and B into a transport stream and outputs the encoded audio and video (AV).
It comprises encoders 1A and 1B and a multiplexer (MUX) 2 for multiplexing and outputting the transport streams TS (A) and TS (B) as one output to one transport stream TS (C). .

【0005】多重化器2は、音響映像(AV)符号化器
1A及び1Bから入力される各トランスポートストリー
ムA及びBを、各トランスポートストリームの2倍のデ
ータ伝送レートで多重化し、1つのトランスポートスト
リームTS(C)として出力するよう構成されている。
A multiplexer 2 multiplexes each of the transport streams A and B input from the audio / video (AV) encoders 1A and 1B at a data transmission rate twice that of each transport stream. It is configured to output as a transport stream TS (C).

【0006】[0006]

【発明が解決しようとする課題】しかし、かかる構成の
ディジタル符号化多重化装置の場合には、図3に示すよ
うに、多重化時にビットレートの変更が必須となるとい
う課題があった。しかも、かかる多重化処理(データ伝
送レートの変更)を行うと、各プログラムデータが正確
なクロックを復号側で再生できるように有している情報
が多重化により損なわれるという課題があった。
However, in the case of the digital coding and multiplexing apparatus having such a configuration, there is a problem that the bit rate must be changed at the time of multiplexing as shown in FIG. Moreover, when such a multiplexing process (change of the data transmission rate) is performed, there is a problem that information that each program data has so that an accurate clock can be reproduced on the decoding side is damaged by the multiplexing.

【0007】本発明は、以上の点を考慮してなされたも
ので、多重化される側のビットストリームについてはデ
ータ伝送レートに何らの変更を加えることなく、プログ
ラムデータを多重化できるディジタル符号化多重化装置
を提案しようとするものである。
SUMMARY OF THE INVENTION The present invention has been made in consideration of the above points, and has been made in consideration of the above-mentioned problems, and has been made in consideration of the above-described problems. A multiplexing device is proposed.

【0008】[0008]

【課題を解決するための手段】かかる課題を解決するた
め、第1の発明においては、(1) 入力されるプログラム
データを圧縮符号化し、パケットデータストリームとし
て出力する圧縮符号化手段と、(2) 符号に意味のない冗
長符号を発生し、冗長符号ストリームとして出力する冗
長符号発生手段と、(3) 圧縮符号化手段から入力される
パケットデータストリームに現れる空き時間に、冗長符
号発生手段から入力される冗長符号を挿入し、パケット
データストリームと同一伝送レートを有する多重化ビッ
トストリームを出力する多重化手段とをディジタル符号
化多重化装置に備えるようにする。
According to a first aspect of the present invention, there is provided a compression encoding unit for compressing and encoding input program data and outputting it as a packet data stream; ) Redundant code generation means for generating redundant codes having no meaning in codes and outputting them as redundant code streams, and (3) inputting from the redundant code generating means to idle time appearing in the packet data stream inputted from the compression encoding means. Multiplexing means for inserting a redundant code to be output and outputting a multiplexed bit stream having the same transmission rate as the packet data stream.

【0009】このように、圧縮符号化により得られるパ
ケットデータストリーム中の空き時間に冗長符号を多重
化して多重化ビットストリームを生成するようにしたの
で、当該プログラムデータを、他のビットストリームと
多重化する際に、伝送レートに変更を加えずに多重化す
るのに適した多重化ビットストリームに変更できる。
As described above, since a redundant bit stream is generated by multiplexing a redundant code in a free time in a packet data stream obtained by compression coding, the program data is multiplexed with another bit stream. When multiplexing, it is possible to change to a multiplexed bit stream suitable for multiplexing without changing the transmission rate.

【0010】また、かかる課題を解決するため、第2の
発明においては、(1) 入力されるビットストリームに、
符号に意味のない冗長符号が含まれているか否か検出
し、含まれている場合、冗長符号が検出されるたび、当
該冗長符号の検出期間を示す検出信号を出力する冗長符
号検出手段と、(2) 入力されたプログラムデータを圧縮
符号化し、パケットデータストリームとして出力する圧
縮符号化手段と、(3) 圧縮符号化手段から入力されるパ
ケットデータストリームについての送出タイミングを、
冗長符号検出手段から与えられる検出信号に基づいて調
整し、ビットストリームの有意パケットデータとパケッ
トデータストリーム中の有意パケットデータとの競合を
回避する遅延手段と、(4) 多重化ビットストリームに現
れる冗長符号期間又は空き時間に、遅延手段から入力さ
れる有意パケットデータを挿入し、ビットストリームと
同一伝送レートを有する多重化ビットストリームとして
出力する多重化手段とをディジタル符号化多重化装置に
備えるようにする。
In order to solve such a problem, according to the second aspect of the present invention, (1) an input bit stream includes:
A redundant code detecting unit that detects whether or not the code includes a meaningless redundant code, and when the redundant code is included, each time a redundant code is detected, a redundant code detecting unit that outputs a detection signal indicating a detection period of the redundant code; (2) compression encoding means for compressing and encoding the input program data, and outputting the packet data stream as a packet data stream; and (3) transmission timing for the packet data stream inputted from the compression encoding means,
Delay means for adjusting based on the detection signal given from the redundant code detection means to avoid competition between significant packet data in the bit stream and significant packet data in the packet data stream; and (4) redundancy appearing in the multiplexed bit stream. The digital coding and multiplexing apparatus is provided with a multiplexing unit that inserts significant packet data input from the delay unit into the code period or the idle time and outputs the multiplexed bit stream having the same transmission rate as the bit stream. I do.

【0011】このように、プログラムデータを圧縮符号
化してパケットデータストリームに空き時間を生成し、
当該空き時間を利用した遅延制御により、多重化対象と
なる他のビットストリームとの有意パケットデータの競
合を回避し、当該他のビットストリームに現れる冗長符
号期間又は空き時間にプログラムデータから得た有意パ
ケットデータを挿入することにより、伝送レートの変更
なく多重化できる。
Thus, the free time is generated in the packet data stream by compressing and encoding the program data,
The delay control using the idle time avoids competition of significant packet data with another bit stream to be multiplexed, and the redundant code period or significant time obtained from the program data during the idle time appearing in the other bit stream. By inserting packet data, multiplexing can be performed without changing the transmission rate.

【0012】[0012]

【発明の実施の形態】以下、本発明に係るディジタル符
号化多重化装置の実施形態例を、図面を用いて順番に説
明する。
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing an embodiment of a digital encoding and multiplexing apparatus according to the present invention.

【0013】(A)第1の実施形態 (A−1)第1の実施形態装置の構成 図1に、第1の実施形態に係るディジタル符号化多重化
装置の機能ブロック構成を示す。
(A) First Embodiment (A-1) Configuration of First Embodiment FIG. 1 shows a functional block configuration of a digital encoding and multiplexing apparatus according to a first embodiment.

【0014】このディジタル符号化多重化装置は、音響
映像(AV)符号化器11、ヌルパケット発生器12、
多重化器(MUX)13で構成されている。
This digital encoding and multiplexing apparatus includes an audio / video (AV) encoder 11, a null packet generator 12,
A multiplexer (MUX) 13 is provided.

【0015】音響映像(AV)符号化器11は、プログ
ラムデータA(音響データ又は映像データ)を圧縮符号
化してパケット化し、トランスポートストリームTS
(A)として出力する手段である。なお、ここでの圧縮
率は、制御信号CTLに基づいて制御され、圧縮後のデ
ータレート(単位時間あたりの発生情報量)が、データ
伝送レート(トランスポートストリームTS(A)及び
TS(C)の伝送レート)以下となるように定められて
いる。
The audio / video (AV) encoder 11 compresses and encodes the program data A (audio data or video data) into packets, and transports the transport stream TS.
This is a means for outputting as (A). Note that the compression rate here is controlled based on the control signal CTL, and the data rate after compression (the amount of information generated per unit time) depends on the data transmission rate (the transport streams TS (A) and TS (C)). Is set to be equal to or less than the transmission rate.

【0016】ヌルパケット発生器12は、ヌルパケット
(Null)と呼ばれる音響映像(AV)情報を含まな
いビットストリームを発生する冗長パケット生成手段で
ある。
The null packet generator 12 is a redundant packet generating means for generating a bit stream that does not include audiovisual (AV) information called a null packet (Null).

【0017】多重化器(MUX)13は、トランスポー
トストリームTS(A)の空き時間にヌルパケット(N
ull)を多重化し、トランスポートストリームTS
(C)として出力する多重化手段であり、そのデータ伝
送レートに応じた圧縮率を制御信号CTLとして、音響
映像(AV)符号化器11に指示するようになってい
る。なお、この多重化器(MUX)13に入力されるデ
ータ伝送レートと当該多重化器(MUX)13から出力
されるデータ伝送レートとは同じであり、入力側と出力
側とで同一クロックでの動作が可能なように構成されて
いる。
The multiplexer (MUX) 13 transmits a null packet (N) to the idle time of the transport stream TS (A).
ul) and the transport stream TS
The multiplexing means outputs the result as (C), and instructs the audio / video (AV) encoder 11 as a control signal CTL at a compression rate corresponding to the data transmission rate. The data transmission rate input to the multiplexer (MUX) 13 and the data transmission rate output from the multiplexer (MUX) 13 are the same, and the input side and the output side use the same clock. It is configured to be operable.

【0018】(A−2)第1の実施形態装置による多重
化動作 次に、第1の実施形態装置であるディジタル符号化多重
化装置の多重化動作を説明する。
(A-2) Multiplexing Operation by the First Embodiment The multiplexing operation of the digital encoding and multiplexing apparatus as the first embodiment will be described.

【0019】まず、ディジタル符号化多重化装置は、入
力されたプログラムデータAを、音響映像(AV)符号
化器11に入力する。音響映像(AV)符号化器11
は、制御信号CTLが指示する圧縮率で当該プログラム
Aを圧縮し、パケット化してトランスポートストリーム
TS(A)として出力する。図4上段に「A」と表され
ているパケットがこれに対応する。
First, the digital encoding and multiplexing apparatus inputs the input program data A to the audio / video (AV) encoder 11. Audio / video (AV) encoder 11
Compresses the program A at a compression ratio indicated by the control signal CTL, packetizes the program A, and outputs it as a transport stream TS (A). The packet indicated by “A” in the upper part of FIG. 4 corresponds to this.

【0020】なお、図4は、トランスポートストリーム
TS(A)のデータレート(単位時間あたりの発生情報
量)を、データ伝送レート(トランスポートストリーム
TS(A)及びTS(C)のデータ伝送レート)の1/
4に定めた場合の例である。
FIG. 4 shows the data rate (the amount of information generated per unit time) of the transport stream TS (A) as the data transmission rate (the data transmission rate of the transport streams TS (A) and TS (C)). 1)
4 is an example in the case where it is determined.

【0021】多重化器(MUX)13は、このように圧
縮符号化された有意パケットが音響映像(AV)符号化
器11から入力される場合には、これを入力時と同じデ
ータ伝送レートで出力する。これに対し、圧縮符号化さ
れた有意パケットが入力されない場合には(すなわち、
無入力時には)、ヌルパケット発生器12から入力され
るヌルパケット(Null)を当該空き期間に挿入す
る。これにより、図4下段に示すように、冗長ビットで
あるヌルパケット(Null)が任意のタイミングで現
れるトランスポートストリームTS(C)が出力される
ことになる。
When a significant packet compressed and encoded as described above is input from the audio / video (AV) encoder 11, the multiplexer (MUX) 13 converts the significant packet at the same data transmission rate as at the time of input. Output. On the other hand, when a significant packet that has been compressed and encoded is not input (that is,
When there is no input), a null packet (Null) input from the null packet generator 12 is inserted into the empty period. As a result, as shown in the lower part of FIG. 4, a transport stream TS (C) in which a null packet (Null), which is a redundant bit, appears at an arbitrary timing is output.

【0022】(A−3)第1の実施形態装置の効果 以上のように、第1の実施形態によれば、プログラムデ
ータAのデータレート(単位時間あたりの発生情報量)
を、多重化器13から出力されるトランスポートストリ
ームTS(C)のデータ伝送レート以下となるように圧
縮し、当該圧縮処理により生成された空き時間内に冗長
パケットを挿入するようにしたことにより、再多重化が
容易なトランスポートストリームTS(C)を生成でき
るディジタル符号化多重化装置を実現することができ
る。
(A-3) Effects of the first embodiment As described above, according to the first embodiment, the data rate of the program data A (the amount of information generated per unit time)
Is compressed so as to be equal to or lower than the data transmission rate of the transport stream TS (C) output from the multiplexer 13, and redundant packets are inserted within the idle time generated by the compression processing. And a digital encoding and multiplexing apparatus that can generate a transport stream TS (C) that can be easily remultiplexed.

【0023】また、多重化に際しては、多重化器13の
入出力間でデータ伝送レートの変更を必要としないの
で、従来生じていた課題、すなわち、データ伝送レート
の高速化やクロック再生に要する時間情報の損失等を有
効に回避できる。
In multiplexing, since it is not necessary to change the data transmission rate between the input and output of the multiplexer 13, the conventional problems, that is, the increase in the data transmission rate and the time required for clock recovery. Loss of information can be effectively avoided.

【0024】(B)第2の実施形態 (B−1)第2の実施形態装置の構成 図5に、第2の実施形態に係るディジタル符号化多重化
装置の機能ブロック構成を示す。なお、図5には、図1
との同一部分に同一符号を付して示している。
(B) Second Embodiment (B-1) Second Embodiment Configuration of Apparatus FIG. 5 shows a functional block configuration of a digital encoding and multiplexing apparatus according to a second embodiment. In FIG. 5, FIG.
The same reference numerals are given to the same parts as in FIG.

【0025】ディジタル符号化多重化装置は、音響映像
(AV)符号化器11、ヌルパケット発生器12、遅延
器21、ヌルパケット検出器22、多重化器(MUX)
23で構成される。すなわち、音響映像(AV)符号化
器11及びヌルパケット発生器12の構成は、それぞれ
第1の実施形態と同じである。従って、以下では、その
他の構成部分について説明する。
The digital encoding and multiplexing apparatus includes an audio / video (AV) encoder 11, a null packet generator 12, a delay unit 21, a null packet detector 22, and a multiplexer (MUX).
23. That is, the configurations of the audio / video (AV) encoder 11 and the null packet generator 12 are the same as those of the first embodiment. Therefore, other components will be described below.

【0026】遅延器21は、1又は複数のパケットを記
憶するのに十分な容量を有する先入れ先出しメモリ(F
IFOメモリ)からなる遅延手段であり、遅延出力をト
ランスポートストリームTS(A)’として出力する手
段である。ただし、その遅延時間は、当該遅延器21に
入力されるトランスポートストリームTS(A)と多重
される関係にある他方のビットストリーム(ここでは、
トランスポートストリームTS(B))との間で生じる
競合状態及び当該FIFOメモリの内部格納状態に応じ
て定まるため一定ではない。
The delay unit 21 has a first-in first-out memory (F) having a capacity sufficient to store one or a plurality of packets.
This is a means for outputting a delay output as a transport stream TS (A) ′. However, the delay time is equal to the other bit stream (here, the bit stream is multiplexed with the transport stream TS (A) input to the delay unit 21).
It is not constant because it is determined in accordance with a race condition occurring with the transport stream TS (B)) and the internal storage state of the FIFO memory.

【0027】例えば、ヌルパケット検出器22から与え
られるヌルパケット検出信号が有意(例えば「H」レベ
ル)の場合であって、送出待ちパケットがないときは、
遅延器21は、入力されたパケットを書き込みと同時に
読み出すのに対し(このとき、遅延時間は零)、送出待
ちのパケットがあるときは、遅延器21は、待ち時間が
最も長いパケットを読み出すように動作する(このとき
出力されるパケットの遅延時間は、送出までの待ち時間
に応じて可変する)。
For example, when the null packet detection signal provided from the null packet detector 22 is significant (for example, “H” level) and there is no packet waiting to be transmitted,
The delay unit 21 reads the input packet simultaneously with writing (at this time, the delay time is zero). If there is a packet waiting to be transmitted, the delay unit 21 reads the packet with the longest waiting time. (The delay time of the packet output at this time varies according to the waiting time until transmission).

【0028】一方、ヌルパケット検出器22から与えら
れるヌルパケット検出信号が有意でない(例えば「L」
レベル)場合、遅延器21は、競合状態が生じ得るとし
て、入力されたパケットを、送出待ちパケットの最後尾
に続くアドレスに格納する。
On the other hand, the null packet detection signal provided from the null packet detector 22 is not significant (for example, "L").
In the case of (level), the delay unit 21 stores the input packet in the address following the end of the packet waiting to be transmitted, assuming that a race condition may occur.

【0029】このため、遅延器21には、書き込みアド
レス及び読み出しアドレスの双方を任意に指定できるF
IFOメモリが用いられている。
For this reason, the delay unit 21 has an F which can arbitrarily designate both the write address and the read address.
An IFO memory is used.

【0030】ヌルパケット検出器22は、トランスポー
トストリームTS(A)’と多重される関係にあるトラ
ンスポートストリームTS(B)に、ヌルパケット(N
ull)と呼ばれる音響映像(AV)情報を含まないビ
ットストリームが含まれているか否か検出し、その検出
結果(タイミング)を示すヌルパケット検出信号を遅延
器21に与える手段である。
The null packet detector 22 adds a null packet (N) to the transport stream TS (B) which is multiplexed with the transport stream TS (A) '.
This is a means for detecting whether or not a bit stream called “ull” and not including audiovisual (AV) information is included, and providing a null packet detection signal indicating the detection result (timing) to the delay unit 21.

【0031】ヌルパケット検出器22は、ヌルパケット
(Null)が検出されたとき、ヌルパケット検出信号
を有意レベル(「H」レベル)とし、ヌルパケット(N
ull)が検出されなかったとき、ヌルパケット検出信
号を無意レベル(「L」レベル)とする。
When a null packet (Null) is detected, the null packet detector 22 sets the null packet detection signal to a significant level ("H" level), and sets the null packet (N
When “ull” is not detected, the null packet detection signal is set to an insignificant level (“L” level).

【0032】このヌルパケット検出器22と遅延器21
の存在により、多重化器(MUX)23の入力に、プロ
グラムデータAの有意パケットとトランスポートストリ
ームTS(B)の有意パケットが同タイミングで入力さ
れる事態の回避が図られている。
The null packet detector 22 and the delay unit 21
, The significant packet of the program data A and the significant packet of the transport stream TS (B) are prevented from being input to the input of the multiplexer (MUX) 23 at the same timing.

【0033】多重化器(MUX)23は、トランスポー
トストリームTS(A)’と、ヌルパケット(Nul
l)のビットストリームと、トランスポートストリーム
TS(B)を入力し、これらを多重して、1つのトラン
スポートストリームTS(C)として出力する手段であ
る。
The multiplexer (MUX) 23 includes a transport stream TS (A) ′ and a null packet (Nul).
1) A means for inputting the bit stream of 1) and the transport stream TS (B), multiplexing these, and outputting as one transport stream TS (C).

【0034】多重化器(MUX)23は、トランスポー
トストリームTS(A)’及びTS(B)のうち有意パ
ケットが含まれている方のストリームを選択し、その有
意パケットをトランスポートストリームTS(C)とし
て出力するが、両ストリーム共に有意パケットを含まな
い場合には、当該パケットタイミングにおいてヌルパケ
ット(Null)を出力するように構成されている。
The multiplexer (MUX) 23 selects one of the transport streams TS (A) ′ and TS (B) that contains a significant packet, and transfers the significant packet to the transport stream TS ( C), but when both streams do not include a significant packet, a null packet (Null) is output at the packet timing.

【0035】なお、多重化器(MUX)23が、そのデ
ータ伝送レートに応じた圧縮率を制御信号CTLとし
て、音響映像(AV)符号化器11に指示する点は、第
1の実施形態に係る多重化器(MUX)23の場合と同
じである。
The first embodiment is different from the first embodiment in that the multiplexer (MUX) 23 instructs the audio / video (AV) encoder 11 as a control signal CTL at a compression rate corresponding to the data transmission rate. This is the same as the case of the multiplexer (MUX) 23.

【0036】(B−2)第2の実施形態装置による多重
化動作 次に、第2の実施形態装置であるディジタル符号化多重
化装置の多重化動作を説明する。ここでは、その動作例
を、図6を用いて説明する。なお、図6では、多重化対
象であるビットストリームとして、ヌルパケット(Nu
ll)が任意のタイミングに含まれる、第1の実施形態
装置で得られるようなトランスポートストリームTS
(B)を用いるものとする。
(B-2) Multiplexing Operation by the Second Embodiment The multiplexing operation of the digital encoding and multiplexing apparatus as the second embodiment will be described. Here, an example of the operation will be described with reference to FIG. In FIG. 6, a null packet (Nu) is used as a bit stream to be multiplexed.
11) is included at an arbitrary timing, and the transport stream TS as obtained by the device of the first embodiment.
(B) shall be used.

【0037】また、このディジタル符号化多重化装置
は、第1の実施形態装置と異なり、2つのデータ入力を
有しており、一方のデータ入力には自装置内で得られた
ストリーム(以下、「自装置内ストリーム」という。)
を入力し、他方のデータ入力には他装置において処理さ
れたビットストリーム(以下、「他装置ストリーム」と
いう。)を入力するようになっている。
Also, unlike the first embodiment, the digital encoding and multiplexing apparatus has two data inputs, and one of the data inputs has a stream obtained in its own apparatus (hereinafter, referred to as a "stream"). It is called "stream in own device.")
, And a bit stream processed by another device (hereinafter, referred to as “other device stream”) is input to the other data input.

【0038】まず、音響映像(AV)符号化器11は、
自装置内ストリームであるプログラムデータA(音響デ
ータ又は映像データ)として有意データが入力される
と、制御信号CTLで指示された圧縮率で圧縮符号化後
パケット化し、トランスポートストリームTS(A)と
して出力する。このトランスポートストリームTS
(A)を、図6では、離散的に出現する有意パケット
「A」で表している。
First, the audio / video (AV) encoder 11
When significant data is input as the program data A (audio data or video data), which is a stream in the own device, it is packetized after compression encoding at a compression ratio specified by the control signal CTL, and is converted into a transport stream TS (A). Output. This transport stream TS
FIG. 6A shows a significant packet “A” that appears discretely in FIG.

【0039】他方、ヌルパケット検出器22は、他装置
ストリームであるトランスポートストリームTS(B)
を入力すると、現入力パケットがヌルパケット(Nul
l)か否か判断する。このトランスポートストリームT
S(B)を、図6では、「B」と「Null」のパケッ
ト列で表している。
On the other hand, the null packet detector 22 outputs a transport stream TS (B) which is another device stream.
Is input, the current input packet becomes a null packet (Nul
1) It is determined whether or not. This transport stream T
In FIG. 6, S (B) is represented by a packet string of “B” and “Null”.

【0040】さて、この図6の場合には、他装置ストリ
ームの先頭パケット(図6左端に示す)が有意パケット
「B」であるので、ヌルパケット(Null)でないこ
とを表す「L」レベルのヌルパケット検出信号が、ヌル
パケット検出器22から遅延器21に出力される。この
ヌルパケット検出信号を入力した遅延器21は、同タイ
ミングで当該遅延器21に入力された自装置内ストリー
ムの有意パケット「A」の読み出しを禁止し、そのデー
タ内容を保持するよう動作する。
In the case of FIG. 6, since the head packet (shown on the left end in FIG. 6) of the stream of the other device is a significant packet "B", the "L" level indicating that it is not a null packet (Null). A null packet detection signal is output from the null packet detector 22 to the delay unit 21. The delay unit 21 that has received the null packet detection signal operates to prohibit the reading of the significant packet “A” of the stream in its own device input to the delay unit 21 at the same timing, and to hold the data content.

【0041】従って、先頭パケットについて多重化器
(MUX)23に入力される有意パケットは、他装置ス
トリームから入力される有意パケット「B」のみとな
り、当該パケット「B」が、当該期間におけるトランス
ポートストリームTS(C)として出力されることにな
る。
Therefore, the significant packet input to the multiplexer (MUX) 23 for the first packet is only the significant packet “B” input from the other device stream, and the packet “B” is the transport packet in the period. It will be output as stream TS (C).

【0042】次のパケットタイミング(図6中、左から
2番目のパケットタイミング)では、自装置内ストリー
ムであるプログラムデータAの入力がデータの圧縮によ
り無入力となっているので、音響映像(AV)符号化器
11は、当該期間に何らのパケットを出力しない。これ
を図6では、空白で表している。
At the next packet timing (the second packet timing from the left in FIG. 6), since the input of the program data A, which is a stream in the own apparatus, is not input due to data compression, the audio video (AV ) The encoder 11 does not output any packets during the period. This is indicated by a blank space in FIG.

【0043】他方、他装置ストリームであるトランスポ
ートストリームTS(B)については、ヌルパケット
(Null)が入力されているので、当該ヌルパケット
(Null)の存在を検出したヌルパケット検出器22
が、遅延器21に「H」レベルのヌルパケット検出信号
を出力する。
On the other hand, since a null packet (Null) is input to the transport stream TS (B), which is another device stream, the null packet detector 22 which has detected the existence of the null packet (Null) has been input.
Outputs an “H” level null packet detection signal to the delay unit 21.

【0044】この結果、遅延器21は、前パケット期間
に取り込んだ有意パケット「A」の読み出し禁止を解除
し、当該有意パケット「A」をトランスポートストリー
ムTS(A)’のパケットとして、多重化器(MUX)
23に出力する。
As a result, the delay unit 21 releases the read prohibition of the significant packet “A” captured in the previous packet period, and multiplexes the significant packet “A” as a packet of the transport stream TS (A) ′. Container (MUX)
23.

【0045】すなわち、1パケット期間だけ遅延された
有意パケット「A」がトランスポートストリームTS
(A)’として、多重化器(MUX)23に出力される
ことになる。この対応関係を、図6では、トランスポー
トストリームTS(A)からトランスポートストリーム
TS(A)’への斜めの矢印で表している。
That is, the significant packet “A” delayed by one packet period is added to the transport stream TS.
(A) 'is output to the multiplexer (MUX) 23. In FIG. 6, this correspondence is indicated by oblique arrows from the transport stream TS (A) to the transport stream TS (A) ′.

【0046】かくして、当該タイミングについて多重化
器(MUX)23に入力される有意パケットは、自装置
内ストリームとして1パケット前に入力された有意パケ
ット「A」のみとなり、当該パケット「A」が、当該期
間におけるトランスポートストリームTS(C)として
出力されることになる。図6下段に表した有意パケット
「A」がこれに対応する。
Thus, the significant packet input to the multiplexer (MUX) 23 for the timing is only the significant packet “A” input one packet before as a stream in the own device, and the packet “A” is It will be output as the transport stream TS (C) in the period. The significant packet “A” shown in the lower part of FIG. 6 corresponds to this.

【0047】さらに次のパケットタイミング(図6中、
左から3番目のパケットタイミング)では、自装置内ス
トリームであるプログラムデータAとして有意データが
入力される一方で、他装置ストリームであるトランスポ
ートストリームTS(B)についてはヌルパケット(N
ull)が入力される。従って、遅延器21は、音響映
像(AV)符号化器11から入力される有意パケット
「A」を遅延時間なく読み出し、トランスポートストリ
ームTS(A)’として多重化器(MUX)23に出力
する。
The next packet timing (in FIG. 6,
At the third packet timing from the left), significant data is input as program data A which is a stream in the own device, while a null packet (N
(ull) is input. Therefore, the delay unit 21 reads out the significant packet “A” input from the audio-video (AV) encoder 11 without delay time, and outputs it to the multiplexer (MUX) 23 as a transport stream TS (A) ′. .

【0048】これにより、多重化器(MUX)23から
は、自装置ストリームの有意パケット「A」が、当該期
間におけるトランスポートストリームTS(C)として
出力されることになる。
As a result, the multiplexer (MUX) 23 outputs the significant packet “A” of the own apparatus stream as the transport stream TS (C) in the period.

【0049】なお、さらに続くパケットタイミングのよ
うに、自装置内ストリームであるプログラムデータAの
入力が無入力であり、かつ、他装置ストリームであるト
ランスポートストリームTS(B)がヌルパケット(N
ull)である場合には、いずれのストリームについて
も、多重化器(MUX)23への有意パケットの入力が
ないので、ヌルパケット発生器12から入力されたヌル
パケット(Null)がトランスポートストリームTS
(C)として出力されることになる。
As in the subsequent packet timing, the input of the program data A, which is a stream in the own apparatus, is not input, and the transport stream TS (B), which is another apparatus stream, is a null packet (N).
In the case of (ull), there is no significant packet input to the multiplexer (MUX) 23 for any of the streams, so the null packet (Null) input from the null packet generator 12 is used as the transport stream TS.
(C) will be output.

【0050】以上の動作が繰り返されることにより、多
重化器(MUX)23からは、他装置ストリームのヌル
パケット(Null)入力期間に、自装置内ストリーム
の有意パケット「A」を再多重化したパケット列(…
「B」、「A」、「A」、「Null」、「B」、
「A」、「A」…)が、トランスポートストリームTS
(C)として出力されることになる。
By repeating the above operations, the multiplexer (MUX) 23 remultiplexes the significant packet "A" of the stream in the own apparatus during the null packet (Null) input period of the stream of the other apparatus. Packet sequence (…
"B", "A", "A", "Null", "B",
"A", "A" ...) are the transport streams TS
(C) will be output.

【0051】なお、他装置ストリームであるトランスポ
ートストリームTS(B)が、トランスポートストリー
ムTS(A)と同様に圧縮符号化されたプログラムデー
タである場合には、トランスポートストリームTS
(A)及びTS(B)双方の無入力期間(有意パケット
の存在しない空白期間)に、ヌルパケット発生器12で
発生されたヌルパケット(Null)が、多重化器(M
UX)23から出力されることになる。
If the transport stream TS (B), which is another device stream, is program data that has been compression-encoded in the same manner as the transport stream TS (A), the transport stream TS (B)
The null packet (Null) generated by the null packet generator 12 in the non-input period (blank period in which no significant packet exists) in both (A) and TS (B) is transmitted to the multiplexer (M).
UX) 23.

【0052】(B−3)第2の実施形態の効果 以上のように、第2の実施形態によれば、多重化器23
が入力側と出力側とで同一のデータ伝送レートを用いて
多重化処理を行えるため、従来に比して多重化処理の容
易なディジタル符号化多重化装置を実現できる。
(B-3) Effects of the Second Embodiment As described above, according to the second embodiment, the multiplexer 23
Can perform multiplexing processing on the input side and the output side using the same data transmission rate, so that it is possible to realize a digital coding and multiplexing apparatus that can easily perform multiplexing processing as compared with the related art.

【0053】また、音響映像(AV)符号化器11で発
生されるパケット数は、その圧縮率の制御により自由に
増減できるため、再多重化に備えて必要となる空き時間
の設定も自由に行い得る。
Since the number of packets generated by the audio / video (AV) encoder 11 can be freely increased or decreased by controlling the compression ratio, the free time required for remultiplexing can be freely set. Can do.

【0054】しかも、その多重化の際には、多重化され
る側のビットストリーム(ここでは、トランスポートス
トリームTS(B))についての情報(ヌルパケット
(Null)の有無)以外は用いないので、その制御自
体も簡略化できる。
In addition, at the time of the multiplexing, information other than information on the bit stream to be multiplexed (here, the transport stream TS (B)) (the presence or absence of a null packet (Null)) is not used. The control itself can be simplified.

【0055】(C)第3の実施形態 (C−1)第3の実施形態装置の構成 図7に、第3の実施形態に係るディジタル符号化多重化
装置の機能ブロック構成を示す。なお、図7には、図5
との対応、同一部分に対応、同一符号を付して示してい
る。
(C) Third Embodiment (C-1) Third Embodiment Configuration of Apparatus FIG. 7 shows a functional block configuration of a digital encoding and multiplexing apparatus according to a third embodiment. Note that FIG.
, The same parts are denoted by the same reference numerals.

【0056】ディジタル符号化多重化装置は、音響映像
(AV)符号化器11、ヌルパケット発生器12、遅延
器21’、ヌルパケット検出器22、多重化器(MU
X)23、PCR(Program Clock Reference:プログ
ラム時刻基準参照値)変更器31からなる。
The digital encoding and multiplexing apparatus includes an audio / video (AV) encoder 11, a null packet generator 12, a delay unit 21 ', a null packet detector 22, and a multiplexer (MU).
X) 23, and a PCR (Program Clock Reference) changer 31.

【0057】すなわち、遅延器21’とPCR変更器3
1を除くその他の部分は、第2の実施形態装置と同一の
装置構成でなる。従って、ここでは、遅延器21’とP
CR変更器31のみについて説明し、その他の構成部分
については説明を省略する。
That is, the delay unit 21 'and the PCR changing unit 3
The other parts except 1 have the same device configuration as the device of the second embodiment. Therefore, here, the delay device 21 'and P
Only the CR changer 31 will be described, and description of other components will be omitted.

【0058】遅延器21’は、第2の実施形態に係るデ
ィジタル符号化多重化装置を構成する遅延器21に対応
する手段であり、その基本構成は遅延器21と同じであ
る。すなわち、当該遅延器21’は、1又は複数のパケ
ットを記憶するのに十分な容量を有する先入れ先出しメ
モリ(FIFOメモリ)からなる遅延手段で構成されて
いる。
The delay unit 21 'is a means corresponding to the delay unit 21 constituting the digital encoding and multiplexing apparatus according to the second embodiment, and its basic configuration is the same as that of the delay unit 21. That is, the delay unit 21 'is constituted by a delay unit including a first-in first-out memory (FIFO memory) having a sufficient capacity to store one or a plurality of packets.

【0059】この遅延器21’が遅延器21と異なる点
は、遅延処理を行っている間のみ有意レベル(例えば、
「H」レベル)を与える遅延時間信号TdをPCR変更
器31に与える機能が付加されている点である。これ
は、後述するように、遅延処理により生じる時間情報の
ずれが復号時に影響しないようにするためである。
The difference of the delay unit 21 ′ from the delay unit 21 is that a significant level (for example,
The difference is that a function of giving the delay time signal Td giving the “H” level) to the PCR changer 31 is added. This is to prevent time information deviation caused by the delay processing from affecting the decoding, as described later.

【0060】PCR変更器31は、PCR(Program Cl
ock Reference:プログラム時刻基準参照値)と呼ばれ
る、復号側の時刻基準となる基本同期信号の値を復号器
側が意図する値に設定又は校正するための時間情報を、
その遅延量に応じて変更するための手段である。
The PCR changing unit 31 has a PCR (Program Cl
time information for setting or calibrating a value of a basic synchronization signal, which is a time reference on the decoding side, to a value intended by the decoder side, which is called an “ock reference: program time reference value”.
This is a means for changing according to the delay amount.

【0061】このため、PCR変更器31は、前段に位
置する遅延器21’から入力される遅延時間信号Tdに
基づいて、その修正を行えるよう構成されている。な
お、かかる用途を目的とする手段であるため、PCR変
更器31は、PCRを含まないパケット(以下「非PC
Rパケット」という。)については、何らの処理を施す
ことなく通過させるよう構成されている。なお、PCR
を含むパケットについては、以下「PCRパケット」と
いう。
For this reason, the PCR changer 31 is configured so as to be able to correct it based on the delay time signal Td input from the delay unit 21 'located at the preceding stage. Note that, since this is a means intended for such a use, the PCR changer 31 transmits a packet that does not include a PCR (hereinafter, “non-PC
R packet ". ) Is configured to pass through without any processing. In addition, PCR
Is hereinafter referred to as a “PCR packet”.

【0062】図8に、PCR変更器31の構成例を示
す。図8に示すように、PCR変更器31は、PCR判
定回路32と、PCRレジスタ33と、タイマ34と、
加算器35と、セレクタ36とで構成されている。ま
た、PCR変更器31は、遅延器21’の出力であるト
ランスポートストリームTS(A)’を入力するための
入力端と、各パケットについての遅延時間信号Tdを入
力するための入力端とを有している。
FIG. 8 shows a configuration example of the PCR changer 31. As shown in FIG. 8, the PCR changer 31 includes a PCR determination circuit 32, a PCR register 33, a timer 34,
It comprises an adder 35 and a selector 36. Further, the PCR changer 31 has an input terminal for inputting the transport stream TS (A) ′ which is an output of the delay unit 21 ′, and an input terminal for inputting the delay time signal Td for each packet. Have.

【0063】PCR判定回路32は、入力パケットがP
CRパケットか非PCRパケットか判定する手段であ
る。ここで、PCRパケットであると判定した場合、P
CR判定回路32は、セレクタ36に選択させる入力を
加算器35側に切り替えるよう選択信号を出力すると共
に、PCRパケット内のPCR値を取り出してPCRレ
ジスタ33に格納する。一方、非PCRパケットである
と判定した場合、PCR判定回路32は、セレクタ36
に選択させる入力を遅延器21’側に切り替えるよう選
択信号を出力する。
The PCR determination circuit 32 determines that the input packet is P
This is a means for determining whether the packet is a CR packet or a non-PCR packet. Here, when it is determined that the packet is a PCR packet, P
The CR determination circuit 32 outputs a selection signal to switch the input to be selected by the selector 36 to the adder 35 side, extracts the PCR value from the PCR packet, and stores it in the PCR register 33. On the other hand, if it is determined that the packet is a non-PCR packet, the PCR determination circuit 32
The selection signal is output so as to switch the input to be selected to the delay device 21 'side.

【0064】PCRレジスタ33は、PCRパケットか
ら取り出されたPCR値を一時保持する一時記憶手段で
ある。
The PCR register 33 is temporary storage means for temporarily holding the PCR value extracted from the PCR packet.

【0065】タイマ34は、遅延時間信号Tdが有意レ
ベル(例えば、「H」レベル)である間動作し、遅延時
間をカウントする手段である。なお、当該カウント値
は、遅延時間信号Tdが無為レベル(例えば、「L」レ
ベル)に変化するとき、又は一旦無為レベルに変化した
遅延時間信号Tdが再度有意レベルに変化する時点でリ
セットされる。
The timer 34 is a means which operates while the delay time signal Td is at a significant level (for example, "H" level) and counts the delay time. The count value is reset when the delay time signal Td changes to an ineffective level (for example, “L” level) or when the delay time signal Td once changed to the ineffective level changes to the significant level again. .

【0066】加算器35は、PCRレジスタ33に記憶
されているPCR値にタイマ34のカウント値を加算し
出力する手段である。
The adder 35 is a means for adding the count value of the timer 34 to the PCR value stored in the PCR register 33 and outputting the result.

【0067】セレクタ36は、PCR判定回路32から
与えられる選択信号に基づいて、遅延器21’から入力
される非PCRパケット又はPCR値修正後のPCRパ
ケットのいずれか一方を選択的に出力する手段である。
The selector 36 selectively outputs one of the non-PCR packet input from the delay unit 21 ′ and the PCR packet after the PCR value correction, based on the selection signal supplied from the PCR determination circuit 32. It is.

【0068】(C−2)第3実施形態装置による多重化
動作 次に、第3の実施形態装置であるディジタル符号化多重
化装置の多重化動作を説明する。ここでは、その動作例
を、図9を用いて説明する。なお、この図9の場合も、
トランスポートストリームTS(B)には、ヌルパケッ
ト(Null)が任意のタイミングに含まれているもの
を用いる。
(C-2) Multiplexing Operation by Third Embodiment Next, the multiplexing operation of the digital encoding and multiplexing apparatus according to the third embodiment will be described. Here, an example of the operation will be described with reference to FIG. In the case of FIG.
As the transport stream TS (B), a stream containing a null packet (Null) at an arbitrary timing is used.

【0069】図9からも分かるように、この第3の実施
形態装置の基本動作は、基本構成を同じくする第2の実
施形態装置と基本的に同じである。
As can be seen from FIG. 9, the basic operation of the third embodiment is basically the same as that of the second embodiment having the same basic configuration.

【0070】すなわち、同タイミングで入力される自装
置内ストリームであるプログラムAのパケットと他装置
ストリームであるトランスポートストリームTS(B)
のパケットとが共に有意パケットである場合には、トラ
ンスポートストリームTS(B)のパケットを優先して
プログラムAのパケットを遅延させるのに対し、トラン
スポートストリームTS(B)にヌルパケット(Nul
l)が入力された場合には、遅延させておいた自装置内
ストリームのパケット又は同タイミングに入力される自
装置内ストリームの有意パケットを多重化器23から選
択的に出力させるよう動作する。
That is, a packet of the program A, which is a stream in the own device, which is input at the same timing, and a transport stream TS (B) which is a stream of another device.
Are both significant packets, the packet of the program A is delayed by giving priority to the packet of the transport stream TS (B), while the null packet (Nul) is added to the transport stream TS (B).
When l) is input, the multiplexer 23 selectively outputs the delayed packets of the internal device stream or the significant packets of the internal device stream input at the same timing.

【0071】従って、ここでは、第3実施形態に特有の
動作部分、特に、自装置内ストリームであるプログラム
データAとしてPCRパケットが入力される場合の動作
を説明する。
Therefore, here, an operation part specific to the third embodiment, particularly, an operation in the case where a PCR packet is input as program data A which is a stream in the own device will be described.

【0072】まず、音響映像(AV)符号化器11から
出力されるPCRパケットと、他装置ストリームである
トランスポートストリームTS(B)の有意パケットと
の競合がない場合(すなわち、ヌルパケット検出器22
においてヌルパケット(Null)が検出される場合)
について説明する。
First, when there is no competition between the PCR packet output from the audio / video (AV) encoder 11 and a significant packet of the transport stream TS (B) which is another device stream (that is, a null packet detector) 22
When a null packet (Null) is detected in
Will be described.

【0073】この場合、遅延器21’に入力されるPC
Rパケットは、待ち時間無く即座にPCR変更器31に
与えられる。このとき、PCR変更器31に対して入力
される遅延時間信号Tdは、一度も有意レベル(例え
ば、「H」レベル)に変化することなく、無為レベル
(例えば、「L」レベル)のままである。従って、タイ
マ34から出力されるカウント値は零のままであり、加
算器35の出力値は、当該PCR変更器31に入力され
た時の値と同じである。
In this case, the PC input to the delay unit 21 '
The R packet is immediately supplied to the PCR changer 31 without any waiting time. At this time, the delay time signal Td input to the PCR changer 31 never changes to a significant level (for example, “H” level) and remains at an indefinite level (for example, “L” level). is there. Therefore, the count value output from the timer 34 remains zero, and the output value of the adder 35 is the same as the value when input to the PCR changer 31.

【0074】この結果、PCR値に何らの変更が加えら
れなかったPCRパケットが、PCR変更器31の出力
であるトランスポートストリームTS(A)’’とし
て、多重化器(MUX)23に入力されて再多重化さ
れ、トランスポートストリームTS(C)として出力さ
れることになる。
As a result, the PCR packet in which no change has been made to the PCR value is input to the multiplexer (MUX) 23 as the transport stream TS (A) ″ output from the PCR modifier 31. To be remultiplexed and output as a transport stream TS (C).

【0075】次に、音響映像(AV)符号化器11から
出力されるPCRパケットと、他装置ストリームである
トランスポートストリームTS(B)の有意パケットと
が競合する場合(すなわち、ヌルパケット検出器22に
おいてヌルパケット(Null)が検出されない場合)
について説明する。この動作は、図9中、右から3番目
と2番目に表されているパケットタイミングの動作であ
る。
Next, when a PCR packet output from the audio / video (AV) encoder 11 and a significant packet of the transport stream TS (B), which is another device stream, compete with each other (that is, a null packet detector). 22 when a null packet (Null) is not detected)
Will be described. This operation is the operation of the packet timing shown in the third and second from the right in FIG.

【0076】この場合(図9中、右から3番目のパケッ
トタイミング)、遅延器21’に入力されるPCRパケ
ットは、所定アドレスに書き込まれたまま出力が禁止さ
れる。一方、同タイミングで入力されたトランスポート
ストリームTS(B)の有意パケット「B」について
は、多重化器(MUX)23で選択され、トランスポー
トストリームTS(C)としてそのまま出力されること
になる。
In this case (the third packet timing from the right in FIG. 9), the output of the PCR packet input to the delay unit 21 'is prohibited while being written at a predetermined address. On the other hand, the significant packet “B” of the transport stream TS (B) input at the same timing is selected by the multiplexer (MUX) 23 and output as it is as the transport stream TS (C). .

【0077】なお、このとき、遅延器21’からは有意
レベル(「H」レベル)の遅延時間信号Tdが出力され
る。
At this time, a delay time signal Td of a significant level ("H" level) is output from the delay unit 21 '.

【0078】ところが、次のパケットタイミング(図9
中、右から2番目のパケットタイミング)では、他装置
ストリームであるトランスポートストリームTS(B)
としてヌルパケット(Null)が入力されるので、ヌ
ルパケット検出器22から遅延器21’に対して有意レ
ベル(「H」レベル)のヌルパケット検出信号が出力さ
れ、遅延器21’に格納されていたPCRパケットがP
CR変更器31へ読み出される。なお、この読み出しと
同時に、遅延器21’から出力される遅延時間信号Td
は、無為レベル(「L」レベル)へと変化する。
However, the next packet timing (FIG. 9)
In the middle, second packet timing from the right), the transport stream TS (B) which is another device stream
, A null packet detection signal of a significant level (“H” level) is output from the null packet detector 22 to the delay unit 21 ′ and stored in the delay unit 21 ′. PCR packet is P
It is read out to the CR changer 31. At the same time as this reading, the delay time signal Td output from the delay unit 21 'is output.
Changes to the inaction level (“L” level).

【0079】ここで、PCR変更器31は、入力された
パケットがPCRパケットであることをPCR判定回路
32で判定すると、PCRレジスタ33にそのPCR値
を取り込むと共に、現パケットタイミングの出力として
は、変更後のPCR値を有するPCRパケットを出力す
るように選択信号をセレクタ36に出力する。
When the PCR change circuit 31 determines that the input packet is a PCR packet by the PCR determination circuit 32, the PCR changer 31 takes in the PCR value into the PCR register 33 and outputs the current packet timing as follows: The selection signal is output to the selector 36 so as to output the PCR packet having the changed PCR value.

【0080】この後、PCRレジスタ33からは入力の
あったPCRパケットから取り込まれたPCR値が読み
出され、当該PCRパケットが遅延器21’で遅延され
ている間、その遅延時間を計測していたタイマ34のカ
ウント値と、加算器35において加算される。これによ
り、PCRパケットのPCR値を正しい値に修正する。
そして、かかる修正後のPCR値を有するPCRパケッ
トがセレクタ36から多重化器23に与えられ、トラン
スポートストリームTS(C)として出力される。
Thereafter, the PCR value fetched from the input PCR packet is read out from the PCR register 33, and the delay time is measured while the PCR packet is delayed by the delay unit 21 '. The count value of the timer 34 is added by the adder 35. Thereby, the PCR value of the PCR packet is corrected to a correct value.
Then, the PCR packet having the corrected PCR value is provided from the selector 36 to the multiplexer 23, and output as the transport stream TS (C).

【0081】(C−3)第3の実施形態の効果 以上のように、第3の実施形態においても、第2の実施
形態の場合と同様、入出力ストリーム間でデータ伝送レ
ートの変更を必要としない多重化処理の容易なディジタ
ル符号化多重化装置を実現できる。また、圧縮率を変更
すれば音響映像(AV)符号化器11で発生されるパケ
ット数の増減も自在に行えるため、再度の多重化に備え
て空き時間の設定も自由に行い得る。
(C-3) Effect of Third Embodiment As described above, in the third embodiment, as in the second embodiment, it is necessary to change the data transmission rate between input and output streams. A digital coding and multiplexing apparatus that can easily perform multiplexing processing can be realized. Also, by changing the compression ratio, the number of packets generated by the audio-video (AV) encoder 11 can be freely increased or decreased, so that the idle time can be freely set in preparation for the re-multiplexing.

【0082】しかも、かかる第3の実施形態装置の出力
である再多重化後のトランスポートストリームでは、P
CR値が正しい値に変更されているので、当該トランス
ポートストリームを復号化する際にも、再多重化による
ジッタのない正確なPCR値を元にした正確なクロック
の再生が可能であり、再生クロックの時間変動による復
号器側での悪影響を排除することが可能となる。
Further, in the transport stream after remultiplexing, which is the output of the third embodiment, P
Since the CR value has been changed to a correct value, even when decoding the transport stream, it is possible to reproduce an accurate clock based on an accurate PCR value without jitter due to re-multiplexing. It is possible to eliminate the adverse effect on the decoder side due to the time variation of the clock.

【0083】(D)他の実施形態 なお、第1の実施形態においては、プログラムデータか
ら再多重化に適したトランスポートストリームを生成す
る装置単体について説明し、第2、第3の各実施形態に
おいては、かかるトランスポートストリームからなるビ
ットストリームに他のプログラムデータを多重化する装
置単体について説明したが、図10に示すように、第1
の実施形態装置と第2の実施形態装置をカスケード接続
し、又は、第1の実施形態装置と第3の実施形態装置を
カスケード接続して多重化システムを構築するようにし
ても良い。
(D) Other Embodiments In the first embodiment, a single device for generating a transport stream suitable for remultiplexing from program data will be described. Second and third embodiments Has described a single device for multiplexing other program data into a bit stream composed of such a transport stream, but as shown in FIG.
A multiplexing system may be constructed by cascading the devices of the second embodiment and the devices of the second embodiment, or by cascading the devices of the first embodiment and the devices of the third embodiment.

【0084】このようにすれば、さらに多くのプログラ
ムデータを、データ伝送レートを変更することなく多重
化し、1つのトランスポートストリームTS(C)とし
て出力することができるシステムを容易に構築すること
もできる。
In this way, it is possible to easily construct a system capable of multiplexing more program data without changing the data transmission rate and outputting the same as one transport stream TS (C). it can.

【0085】勿論、図10の構成に限られるものではな
く、第1〜第3の各実施形態装置を任意に組み合わせた
構成としても良い。
Of course, the configuration is not limited to the configuration shown in FIG. 10, but may be a configuration in which the first to third embodiments are arbitrarily combined.

【0086】また、第2、第3の各実施形態において
は、自装置内ストリームであるプログラムデータAを多
重化するビットストリームを他装置ストリームとして説
明し、その信号経路については何ら言及しなかったが、
かかるストリームはネットワークを介して接続された遠
隔地の装置から伝送されてくるようにしても良い。従っ
て、図10に示すシステムについても、必ずしも、同一
地点に構築されるものに限られない。
In each of the second and third embodiments, the bit stream for multiplexing the program data A, which is a stream in the own apparatus, is described as another apparatus stream, and the signal path is not mentioned at all. But,
Such a stream may be transmitted from a remote device connected via a network. Therefore, the system shown in FIG. 10 is not necessarily limited to the system constructed at the same point.

【0087】また、第3の実施形態においては、PCR
変更器31内に設けられたタイマ34によって計測され
た遅延時間を、PCRレジスタ33に加算することによ
りPCR値を正しい値に変更する場合について述べた
が、遅延器21’内にPCRパケットの判定回路と、当
該判定回路によって検出されたPCRパケットについて
の遅延時間を計測するカウンタとを設けるようにし、当
該カウンタで計測されたカウント値をPCR変更器31
に(遅延時間信号Tdに代えて)与えるようにしても良
い。このように構成しても、第3の実施形態と同様、P
CR値を正しい値に変更することができる。
In the third embodiment, the PCR
The case where the PCR value is changed to a correct value by adding the delay time measured by the timer 34 provided in the changer 31 to the PCR register 33 has been described. Circuit and a counter for measuring the delay time of the PCR packet detected by the determination circuit, and the count value measured by the counter is changed by the PCR changer 31.
(Instead of the delay time signal Td). Even with this configuration, as in the third embodiment, P
The CR value can be changed to a correct value.

【0088】また、第1〜第3の各実施形態において
は、音響映像(AV)符号化器11が行う圧縮符号化の
際の圧縮率を、多重化器(MUX)13又は23から制
御する構成として説明したが、圧縮後のデータレート
(単位時間あたりの発生情報量)が、多重化器13又は
23から出力されるトランスポートストリームTS
(C)のデータ伝送レート以下の関係が満たされればこ
れに限らない。すなわち、予め定めた固定の圧縮率で圧
縮符号化するようにしても良く、また、システム全体を
制御する制御手段からこれを制御させるようにしても良
い。
In each of the first to third embodiments, the compression ratio at the time of compression coding performed by the audio / video (AV) encoder 11 is controlled by the multiplexer (MUX) 13 or 23. Although described as a configuration, the data rate after compression (the amount of generated information per unit time) is determined by the transport stream TS output from the multiplexer 13 or 23.
It is not limited to this as long as the relationship below the data transmission rate of (C) is satisfied. That is, compression encoding may be performed at a predetermined fixed compression ratio, or control may be performed by a control unit that controls the entire system.

【0089】[0089]

【発明の効果】上述のように、第1の発明によれば、圧
縮符号化手段における圧縮符号化により生成したパケッ
トデータストリーム中の空き時間に、冗長符号を多重化
して多重化ビットストリームを生成することにより、伝
送レートに変更を加えずに、他のビットストリームと多
重化できる多重化ビットストリームを出力できるディジ
タル符号化多重化装置を容易に実現できる。
As described above, according to the first aspect, a multiplexed bit stream is generated by multiplexing a redundant code in a free time in a packet data stream generated by compression encoding in a compression encoding unit. By doing so, it is possible to easily realize a digital encoding and multiplexing apparatus that can output a multiplexed bit stream that can be multiplexed with another bit stream without changing the transmission rate.

【0090】また、上述のように、第2の発明によれ
ば、圧縮符号化手段における圧縮符号化により生成した
パケットデータストリーム中の空き時間を利用した遅延
制御により、多重化対象となる他のビットストリームと
の有意パケットデータの競合を回避し、当該他のビット
ストリームに現れる冗長符号期間又は空き時間にプログ
ラムデータから得た有意パケットデータを挿入すること
により、伝送レートの変更を必要とせず多重化処理を実
行できるディジタル符号化多重化装置を容易に実現でき
る。
Further, as described above, according to the second aspect of the present invention, the delay control using the vacant time in the packet data stream generated by the compression encoding by the compression encoding means makes it possible to multiplex other packets to be multiplexed. By avoiding contention of significant packet data with the bit stream and inserting significant packet data obtained from program data into the redundant code period or idle time appearing in the other bit stream, multiplexing can be performed without changing the transmission rate. Digital multiplexing and multiplexing apparatus capable of executing the conversion process can be easily realized.

【図面の簡単な説明】[Brief description of the drawings]

【図1】第1の実施形態装置であるディジタル符号化多
重化装置の構成を示すブロック図である。
FIG. 1 is a block diagram illustrating a configuration of a digital encoding and multiplexing apparatus that is a first embodiment apparatus.

【図2】従来装置の構成を示すブロック図である。FIG. 2 is a block diagram showing a configuration of a conventional device.

【図3】従来装置の多重化動作例を示す図である。FIG. 3 is a diagram illustrating an example of a multiplexing operation of a conventional device.

【図4】第1の実施形態装置による多重化動作例を示す
図である。
FIG. 4 is a diagram illustrating an example of a multiplexing operation performed by the device according to the first embodiment.

【図5】第2の実施形態装置であるディジタル符号化多
重化装置の構成を示すブロック図である。
FIG. 5 is a block diagram showing a configuration of a digital encoding and multiplexing apparatus as a second embodiment apparatus.

【図6】第2の実施形態装置による多重化動作例を示す
図である。
FIG. 6 is a diagram illustrating an example of a multiplexing operation performed by the device according to the second embodiment;

【図7】第3の実施形態装置であるディジタル符号化多
重化装置の構成を示すブロック図である。
FIG. 7 is a block diagram illustrating a configuration of a digital encoding and multiplexing apparatus that is a third embodiment apparatus.

【図8】PCR変更器の詳細構成を示すブロック図であ
る。
FIG. 8 is a block diagram showing a detailed configuration of a PCR changer.

【図9】第3の実施形態装置による多重化動作例を示す
図である。
FIG. 9 is a diagram illustrating an example of a multiplexing operation performed by the device according to the third embodiment.

【図10】第1〜第3の各実施形態装置により構築され
るシステム例を示す図である。
FIG. 10 is a diagram showing an example of a system constructed by the first to third embodiments.

【符号の説明】[Explanation of symbols]

11…音響映像(AV)符号化器、12…ヌルパケット
発生器、13、23…多重化器(MUX)、21、2
1’…遅延器、22…ヌルパケット検出器、31…PC
R変更器、32…PCR判定回路、33…PCRレジス
タ、34…タイマ、35…加算器、36…セレクタ。
11 audio video (AV) encoder, 12 null packet generator, 13, 23 multiplexer (MUX), 21, 2
1 ': delay unit, 22: null packet detector, 31: PC
R changer, 32 ... PCR determination circuit, 33 ... PCR register, 34 ... Timer, 35 ... Adder, 36 ... Selector.

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 入力されるプログラムデータを圧縮符号
化し、パケットデータストリームとして出力する圧縮符
号化手段と、 符号に意味のない冗長符号を発生し、冗長符号ストリー
ムとして出力する冗長符号発生手段と、 上記圧縮符号化手段から入力されるパケットデータスト
リームに現れる空き時間に、上記冗長符号発生手段から
入力される冗長符号を挿入し、上記パケットデータスト
リームと同一伝送レートを有する多重化ビットストリー
ムを出力する多重化手段とを備えることを特徴とするデ
ィジタル符号化多重化装置。
1. Compression encoding means for compressing and encoding input program data and outputting it as a packet data stream, redundant code generating means for generating a redundant code having no meaning in the code and outputting it as a redundant code stream, The redundant code input from the redundant code generating means is inserted into the idle time appearing in the packet data stream input from the compression encoding means, and a multiplexed bit stream having the same transmission rate as the packet data stream is output. A digital encoding and multiplexing device comprising multiplexing means.
【請求項2】 請求項1に記載のディジタル符号化多重
化装置において、 上記多重化手段は、上記圧縮符号化手段における上記プ
ログラムデータの圧縮率を、上記多重化ビットストリー
ムの伝送レートに基づいて設定することを特徴とするデ
ィジタル符号化多重化装置。
2. The digital encoding and multiplexing apparatus according to claim 1, wherein said multiplexing means sets a compression rate of said program data in said compression and encoding means based on a transmission rate of said multiplexed bit stream. A digital coding and multiplexing device characterized by setting.
【請求項3】 入力されるビットストリームに、符号に
意味のない冗長符号が含まれているか否か検出し、含ま
れている場合、冗長符号が検出されるたび、当該冗長符
号の検出期間を示す検出信号を出力する冗長符号検出手
段と、 入力されたプログラムデータを圧縮符号化し、パケット
データストリームとして出力する圧縮符号化手段と、 上記圧縮符号化手段から入力されるパケットデータスト
リームについての送出タイミングを、上記冗長符号検出
手段から与えられる検出信号に基づいて調整し、上記ビ
ットストリームの有意パケットデータと上記パケットデ
ータストリーム中の有意パケットデータとの競合を回避
する遅延手段と、 上記ビットストリームに現れる上記冗長符号期間又は空
き時間に、上記遅延手段から入力される有意パケットデ
ータを挿入し、上記ビットストリームと同一伝送レート
を有する多重化ビットストリームを出力する多重化手段
とを備えることを特徴とするディジタル符号化多重化装
置。
3. An input bit stream detects whether a redundant code having no meaning is included in a code. If the redundant bit code is included, a detection period of the redundant code is set every time a redundant code is detected. Redundant code detection means for outputting a detection signal indicating the compression data, compression encoding means for compressing and encoding the input program data and outputting it as a packet data stream, and transmission timing for the packet data stream inputted from the compression encoding means. And delay means for adjusting contention based on a detection signal given from the redundant code detection means to avoid competition between significant packet data of the bit stream and significant packet data in the packet data stream. In the redundant code period or the idle time, a significant packet input from the delay means is used. Multiplexing means for inserting multiplexed data and outputting a multiplexed bit stream having the same transmission rate as the bit stream.
【請求項4】 請求項3に記載のディジタル符号化多重
装置において、 上記遅延手段から上記多重化手段に入力されるパケット
データストリーム中に含まれるクロック再生情報を、当
該クロック再生情報を含む有意パケットデータの上記遅
延手段内における遅延時間に応じて更新するクロック再
生情報更新手段をさらに備えることを特徴とするディジ
タル符号化多重化装置。
4. The digital encoding and multiplexing apparatus according to claim 3, wherein clock recovery information included in a packet data stream input from said delay means to said multiplexing means is converted into a significant packet including said clock recovery information. A digital coding and multiplexing apparatus further comprising a clock reproduction information updating means for updating data in accordance with a delay time in the delay means.
JP32981797A 1997-12-01 1997-12-01 Digital coding and multiplexing equipment Expired - Fee Related JP3429652B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32981797A JP3429652B2 (en) 1997-12-01 1997-12-01 Digital coding and multiplexing equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32981797A JP3429652B2 (en) 1997-12-01 1997-12-01 Digital coding and multiplexing equipment

Publications (2)

Publication Number Publication Date
JPH11163817A true JPH11163817A (en) 1999-06-18
JP3429652B2 JP3429652B2 (en) 2003-07-22

Family

ID=18225570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32981797A Expired - Fee Related JP3429652B2 (en) 1997-12-01 1997-12-01 Digital coding and multiplexing equipment

Country Status (1)

Country Link
JP (1) JP3429652B2 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030080350A (en) * 2002-04-08 2003-10-17 주식회사 에어코드 A system for verifying authorial products for data broadcast
US6801536B1 (en) * 2000-03-23 2004-10-05 International Business Machines Corporation Remultiplexing audio/video PES streams from an MPEG transport system
US6996098B2 (en) * 1999-03-31 2006-02-07 Sedna Patent Services, Llc Method and apparatus for injecting information assets into a content stream
US7099279B2 (en) 2000-04-18 2006-08-29 Mitsubishi Denki Kabushiki Kaisha Media data coding and multiplexing apparatus, media data coding and multiplexing system, and media data coding and multiplexing method
JP2007251861A (en) * 2006-03-20 2007-09-27 Hitachi Kokusai Electric Inc Digital transmitter
US7394829B2 (en) 2003-04-11 2008-07-01 Matsushita Electric Industrial Co., Ltd. Data multiplexing apparatus, data multiplexing method, and transmission apparatus
WO2009108246A2 (en) * 2008-01-02 2009-09-03 Cisco Technology, Inc. Secure combined interoperable multiplexing
US7634796B2 (en) 1999-03-31 2009-12-15 Cox Communications, Inc. Method and apparatus providing process independence within a heterogeneous information distribution system
US8930998B2 (en) 1999-10-27 2015-01-06 Comcast Ip Holdings I, Llc Method and system for providing a program guide and multiple video streams using slice-based encoding
US9042446B2 (en) 1999-04-15 2015-05-26 Comcast Ip Holdings I, Llc Temporal slice persistence method and apparatus for delivery of interactive program guide
US9154813B2 (en) 2011-06-09 2015-10-06 Comcast Cable Communications, Llc Multiple video content in a composite video stream
US9264711B2 (en) 1999-10-27 2016-02-16 Comcast Ip Holdings I, Llc Apparatus and method for combining realtime and non-realtime encoded content
US9456241B2 (en) 1999-04-15 2016-09-27 Comcast Ip Holdings I, Llc Server-centric customized interactive program guide in an interactive television environment
US9674586B2 (en) 1998-07-23 2017-06-06 Comcast Ip Holdings I, Llc Data structure and methods for providing an interactive program guide
US9924234B2 (en) 1998-07-23 2018-03-20 Comcast Ip Holdings I, Llc Data structure and methods for providing an interactive program

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9924234B2 (en) 1998-07-23 2018-03-20 Comcast Ip Holdings I, Llc Data structure and methods for providing an interactive program
US9674586B2 (en) 1998-07-23 2017-06-06 Comcast Ip Holdings I, Llc Data structure and methods for providing an interactive program guide
US7634796B2 (en) 1999-03-31 2009-12-15 Cox Communications, Inc. Method and apparatus providing process independence within a heterogeneous information distribution system
US7248581B2 (en) 1999-03-31 2007-07-24 Sedna Patent Services, Llc Method and apparatus for injecting information assets into a content stream
US8553687B2 (en) 1999-03-31 2013-10-08 Comcast Ip Holdings I, Llc Method and apparatus for injecting information assets into a content stream
US6996098B2 (en) * 1999-03-31 2006-02-07 Sedna Patent Services, Llc Method and apparatus for injecting information assets into a content stream
US7903648B2 (en) 1999-03-31 2011-03-08 Comcast Ip Holdings I, Llc Method and apparatus for injecting information assets into a content stream
US9042446B2 (en) 1999-04-15 2015-05-26 Comcast Ip Holdings I, Llc Temporal slice persistence method and apparatus for delivery of interactive program guide
US9456241B2 (en) 1999-04-15 2016-09-27 Comcast Ip Holdings I, Llc Server-centric customized interactive program guide in an interactive television environment
US9264711B2 (en) 1999-10-27 2016-02-16 Comcast Ip Holdings I, Llc Apparatus and method for combining realtime and non-realtime encoded content
US8930998B2 (en) 1999-10-27 2015-01-06 Comcast Ip Holdings I, Llc Method and system for providing a program guide and multiple video streams using slice-based encoding
US6801536B1 (en) * 2000-03-23 2004-10-05 International Business Machines Corporation Remultiplexing audio/video PES streams from an MPEG transport system
US7099279B2 (en) 2000-04-18 2006-08-29 Mitsubishi Denki Kabushiki Kaisha Media data coding and multiplexing apparatus, media data coding and multiplexing system, and media data coding and multiplexing method
KR20030080350A (en) * 2002-04-08 2003-10-17 주식회사 에어코드 A system for verifying authorial products for data broadcast
US7394829B2 (en) 2003-04-11 2008-07-01 Matsushita Electric Industrial Co., Ltd. Data multiplexing apparatus, data multiplexing method, and transmission apparatus
JP2007251861A (en) * 2006-03-20 2007-09-27 Hitachi Kokusai Electric Inc Digital transmitter
US7995575B2 (en) 2008-01-02 2011-08-09 Cisco Technology, Inc. Packet error handling
US8432882B2 (en) 2008-01-02 2013-04-30 Cisco Technology, Inc. Multiple transport receiver
US9258582B2 (en) 2008-01-02 2016-02-09 Cisco Technology, Inc. Secure combined interoperable multiplexing
US8155151B2 (en) 2008-01-02 2012-04-10 Cisco Technology, Inc. Secure combined interoperable multiplexing
US7957423B2 (en) 2008-01-02 2011-06-07 Cisco Technology, Inc. Packet error correction
US9628832B2 (en) 2008-01-02 2017-04-18 Cisco Technology, Inc. Secure combined interoperable multiplexing
WO2009108246A3 (en) * 2008-01-02 2010-04-15 Cisco Technology, Inc. Secure combined interoperable multiplexing
WO2009108246A2 (en) * 2008-01-02 2009-09-03 Cisco Technology, Inc. Secure combined interoperable multiplexing
US9154813B2 (en) 2011-06-09 2015-10-06 Comcast Cable Communications, Llc Multiple video content in a composite video stream

Also Published As

Publication number Publication date
JP3429652B2 (en) 2003-07-22

Similar Documents

Publication Publication Date Title
KR100226528B1 (en) Decoder for compressed and multiplexed video and audio data
US6069902A (en) Broadcast receiver, transmission control unit and recording/reproducing apparatus
US5619337A (en) MPEG transport encoding/decoding system for recording transport streams
EP0626770B1 (en) Data demultiplexer
US7023488B2 (en) Circuit and method for live switching of digital video programs containing embedded audio data
US6359910B1 (en) Clock conversion apparatus and method
JPH11163817A (en) Digital encoding multiplexer
US6754239B2 (en) Multiplexing apparatus and method, transmitting apparatus and method, and recording medium
JP4676331B2 (en) Code conversion method and apparatus
JP2001094943A (en) Synchronization method and synchronization device for mpeg decoder
JPH11317768A (en) Transmission system, transmitting device, recording and reproducing device, and recording device
KR20020076315A (en) Demultiplexing devices and process for at least two transport streams and a corresponding digital stream
JPH0730886A (en) Method and device for processing picture and audio signal
JP3622451B2 (en) Data processing apparatus, data processing method, and recording medium
US6829429B1 (en) Video recording device for recording video signal including character information
JP2872104B2 (en) Time stamp adding apparatus and method, and moving image compression / expansion transmission system and method using the same
US20030018983A1 (en) Data broadcasting service system of storage type
JPH10126371A (en) Device and method for multiplexing
JPH09312656A (en) Transmitter and method therefor
KR0154005B1 (en) Apparatus for generating the presentation time stamp in the system encoder
JP3441257B2 (en) Data transmission equipment
JP3408458B2 (en) Packet conversion processing system
JP2000187940A (en) Recording/reproducing device and recorder
JP2002281498A (en) Reception reproducing device
JP4122624B2 (en) Data receiving method and data receiving apparatus

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080516

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090516

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100516

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100516

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130516

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140516

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees