JP3531324B2 - Encoding / multiplexing apparatus, multiplexing preprocessing apparatus, and encoding / multiplexing method - Google Patents

Encoding / multiplexing apparatus, multiplexing preprocessing apparatus, and encoding / multiplexing method

Info

Publication number
JP3531324B2
JP3531324B2 JP32182495A JP32182495A JP3531324B2 JP 3531324 B2 JP3531324 B2 JP 3531324B2 JP 32182495 A JP32182495 A JP 32182495A JP 32182495 A JP32182495 A JP 32182495A JP 3531324 B2 JP3531324 B2 JP 3531324B2
Authority
JP
Japan
Prior art keywords
multiplexing
memory
encoding
bit stream
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32182495A
Other languages
Japanese (ja)
Other versions
JPH09162829A (en
Inventor
伸久 帯包
健治 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP32182495A priority Critical patent/JP3531324B2/en
Publication of JPH09162829A publication Critical patent/JPH09162829A/en
Application granted granted Critical
Publication of JP3531324B2 publication Critical patent/JP3531324B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、例えばMPEGの
ようなディジタル符号化標準に沿って多重ビット・スト
リームを生成する際に使用される符号化・多重化装置,
多重化前処理装置及び符号化・多重化方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a coding / multiplexing device used for generating a multiple bit stream according to a digital coding standard such as MPEG.
The present invention relates to a multiplexing preprocessing device and an encoding / multiplexing method.

【0002】例えば、映画ソース,音楽ビデオソース等
のあらゆる種類のビデオ素材を対象にして、そのビデオ
素材の映像及び映像に対応した音声(所望により、サラ
ウンドを含める。),複数の言語による吹き替え,複数
の言語による字幕等の関連情報の各々をMPEG2,M
PEGオーディオ標準に沿って生成した個別符号化ビッ
ト・ストリームを、時分割多重化して多重ビット・スト
リームを生成し、光ディスク,光磁気ディスク,磁気テ
ープ等の蓄積メディアに対してディジタル記録する際に
使用される符号化・多重化装置,多重化前処理装置及び
符号化・多重化方法に関する。
For example, all kinds of video materials such as movie sources, music video sources, etc. are targeted, and images of the video materials and sounds (including surround, if desired) corresponding to the images, dubbing in a plurality of languages, Each of the related information such as subtitles in a plurality of languages is MPEG2, M
Individually encoded bit stream generated according to the PEG audio standard is time-division multiplexed to generate a multiplexed bit stream, which is used for digital recording on storage media such as optical disks, magneto-optical disks, and magnetic tapes. The present invention relates to an encoding / multiplexing device, a multiplexing preprocessing device, and an encoding / multiplexing method.

【0003】[0003]

【従来の技術】最初に、本発明を容易に理解出来るよう
にするため、本発明に関連するマルチメディアを多重化
するMPEG2(Moving Picture Experts Group)シス
テム及び最終的に生成される多重ビット・ストリームの
概要に関して説明する。
2. Description of the Related Art First, in order to facilitate understanding of the present invention, an MPEG2 (Moving Picture Experts Group) system for multiplexing multimedia related to the present invention and a finally generated multiple bit stream. Will be explained.

【0004】〔マルチメディアを多重化するMPEGシ
ステム〕MPEGシステムにおける多重ビット・ストリ
ームの生成は、MPEGビデオやMPEGオーディオの
符号化されたストリーム(ビット列)、更に他の符号化
ストリームを、同期を含めて統合し1本化すると共に、
そのストリームを蓄積メディアやネットワーク等がもつ
固有のフォーマットに適合したデータ形式にしている。
[MPEG System for Multiplexing Multimedia] Generation of a multiple bit stream in the MPEG system includes an encoded stream (bit string) of MPEG video or MPEG audio, and other encoded streams including synchronization. Integrated and integrated into one,
The stream is in a data format that conforms to the unique format of the storage medium or network.

【0005】これを規定するMPEG標準には、CD−
ROM等の蓄積メディアのための標準であるMPEG1
と、MPEG1のアプリケーションも含む広い範囲のア
プリケーションのための標準であるMPEG2とがあ
り、本発明は主にMPEG2を利用している。また、M
PEG2システムの多重化に関しては、一つのプログラ
ム(番組)を構成するプログラム・ストリーム(progra
m stream、MPEG2−PS)と、複数プログラムを同
時に構成できるトランスポート・ストリーム(transpor
t stream、MPEG2−TS)の2種類の方式があり、
本発明は主にMPEG2−PSを利用している。
The MPEG standard that defines this is the CD-
MPEG1 which is a standard for storage media such as ROM
And MPEG2, which is a standard for a wide range of applications including MPEG1 applications, and the present invention mainly uses MPEG2. Also, M
Regarding the multiplexing of the PEG2 system, a program stream (progra
m stream, MPEG2-PS, and a transport stream that can configure multiple programs simultaneously
t stream, MPEG2-TS),
The present invention mainly utilizes MPEG2-PS.

【0006】図7に、MPEG2システムの基本的な機
能を理解するためのシステム構成図を示す。このシステ
ムは、ビデオ符号器(エンコーダ)7及びオーディオ符
号器(エンコーダ)7′からなる符号化装置器1と、ビ
デオ符号器及びオーディオ符号器の出力を多重化する多
重化装置(MUX Multiplexer)5と、この多重化装置
からの多重ビット・ストリームを記録する蓄積メディア
又は伝達するケーブル,ネットワーク等の伝達手段21
と、蓄積メディアに記録され又はネットワーク等を介し
て伝達された多重ビット・ストリームを分離する分離装
置(DMUX Demultiplexer)23と、分離された符号
化データを夫々復号するビデオ復号器(デコーダ)27
及びオーディオ復号器27′からなる復号化装置25と
を備えている。
FIG. 7 shows a system configuration diagram for understanding the basic functions of the MPEG2 system. This system includes a coding device 1 including a video encoder (encoder) 7 and an audio encoder (encoder) 7 ', and a multiplexer (MUX Multiplexer) 5 that multiplexes outputs of the video encoder and the audio encoder. And a transmission means 21 such as a storage medium for recording a multi-bit stream from this multiplexing device or a cable or network for transmission.
A demultiplexer 23 for separating a multi-bit stream recorded on a storage medium or transmitted via a network or the like, and a video decoder (decoder) 27 for decoding the separated encoded data.
And a decoding device 25 consisting of an audio decoder 27 '.

【0007】このシステムの動作は、次のようになる。
ビデオ及びオーディオの個別素材(ソース信号)が、符
号化装置1のビデオ符号器7及びオーディオ符号器7′
に夫々入力され、例えばMPEG2標準に従って、夫々
の連携を保ちながら個別に符号化圧縮される。符号化さ
れた各個別のストリーム(データ列)を多重化装置5
で、ストリームの蓄積メディアのフォーマット,伝送ネ
ットワーク仕様等に適合した多重化処理して、記録す
る。即ち、複数の個別符号化ストリームを時分割多重化
して1本のストリームにする。伝達手段として蓄積メデ
ィアを用いるDVD(Digital Video Disc)の場合と、
放送に使用するDVB(Digital Video Broadcast )の
場合とが考えられ、本発明は両者を対象にしている。
The operation of this system is as follows.
Video and audio individual materials (source signals) are video encoder 7 and audio encoder 7'of the encoding device 1.
, And are encoded and compressed individually according to the MPEG2 standard while maintaining their cooperation. Multiplexer 5 encodes each encoded individual stream (data string)
Then, the data is multiplexed and recorded in conformity with the format of the storage medium of the stream, the transmission network specifications, etc. That is, a plurality of individual coded streams are time-division multiplexed into one stream. In the case of a DVD (Digital Video Disc) that uses a storage medium as a transmission means,
The case of DVB (Digital Video Broadcast) used for broadcasting is considered, and the present invention is directed to both.

【0008】多重ビットストリームは、分離装置23
で、ビデオ,オーディオ等の各個別のストリーム(デー
タ列)部分を分離して、復号化装置25の復号器27,
27′に夫々送られる。復号化装置25のビデオ復号器
27,オーディオ復号器27′は、多重化装置5側で意
図したように、復号化装置25側で個別ストリームを同
期復号する。各復号器により復号された個別信号は、出
力装置(テレビ・モニタ,スピーカ等)により出力され
る。
The multiple bit stream is separated by the separating device 23.
Then, each individual stream (data string) part of video, audio, etc. is separated, and the decoder 27 of the decoding device 25
27 'respectively. The video decoder 27 and the audio decoder 27 'of the decoding device 25 synchronously decode the individual streams on the decoding device 25 side, as intended on the multiplexing device 5 side. The individual signal decoded by each decoder is output by an output device (television monitor, speaker, etc.).

【0009】(多重,分離及び同期の方式)図8を用い
て、多重,分離及び同期の方式に関して概略的に説明す
る。多重ビット・ストリームの生成に関し、MPEG2
システムは、多くの時分割多重方式で用いられているパ
ケット(Packet)による多重方式を取り入れている。
(Multiplexing / Demultiplexing / Synchronizing Method) The multiplexing / demultiplexing / synchronizing method will be schematically described with reference to FIG. MPEG2 for generation of multiple bit streams
The system employs a packet-based multiplexing method that is used in many time-division multiplexing methods.

【0010】図8(1)に示すように、パケットによる
多重化とは、例えば、ビデオ,オーディオ等のデータを
多重化する場合、ビデオ,オーディオ等の夫々をパケッ
トと呼ばれる適当な長さのストリーム(ビット列)に分
割し、ヘッダ等の付加情報を付けて、適宜、ビデオ,オ
ーディオ等のデータのパケットを切り換えて時分割記録
して1本のビット列にする方式である。これらの各パケ
ットには、先頭部分にヘッダと称されるビデオ,オーデ
ィオ等の属性を識別する情報等がある。
As shown in FIG. 8 (1), the term "multiplexing by packet" means that, for example, when data such as video and audio is multiplexed, each of video, audio and the like is called a stream of a suitable length called a packet. This is a method of dividing into (bit string), attaching additional information such as a header, and appropriately switching data packets of video, audio, etc., and performing time-division recording into one bit string. At the beginning of each of these packets, there is information called a header for identifying attributes such as video and audio.

【0011】パケット長は、蓄積メディア又は伝送ネッ
トワークの仕様に依存する。例えば、光ディスク・シス
テムのように長いものもあり、MPEGでは上限を約2
16(64Kバイト)とし、フレキシビリティをもたせ
るために、各パケットは固定長でも可変長でも良いこと
になっている。
The packet length depends on the specifications of the storage medium or transmission network. For example, there is a long one such as an optical disc system, and the upper limit is about 2 in MPEG.
The packet size is 16 (64 Kbytes), and each packet may have a fixed length or a variable length in order to provide flexibility.

【0012】更に、図8(2)に示すように、MPEG
2−PS(プログラム・ストリーム)では、ビデオやオ
ーディオやその他のデータのパケットの上位にパック・
レイヤと称する階層があり、通常は複数個のパケットを
束ねたパック(Pack)と称される構成単位で取り扱われ
る。
Further, as shown in FIG. 8 (2), MPEG
In 2-PS (Program Stream), a pack is placed on the upper part of a packet of video, audio and other data.
There is a hierarchy called a layer, and it is usually handled in a unit called a pack that bundles a plurality of packets.

【0013】(タイムス・スタンプによるAV同期方
式)図7を再度参照すると、復号装化置25において、
個別ストリームの復号処理は、アクセク・ユニット単位
で行われる。例えば、ビデオでは1フレーム、オーディ
オでは1オーディオ・フレームが、アクセス・ユニット
となる。MPEG2の同期方式に関しては、ビデオ,オ
ーディオ,他のデータの各アクセス・ユニットに、何時
復号再生すべきかを示すタイム・スタンプと称される情
報が付加される。このタイム・スタンプに対しては、S
CR(System Clock Reference、システム時刻基準参照
値)と称される情報によって時間基準が与えられる。こ
のタイム・スタンプには、PTS(再生出力の時刻管理
情報)とDTS(復号の時刻管理情報)の2種類があ
る。
(Time-Stamp AV Synchronization System) Referring again to FIG. 7, in the decoding device 25,
The decoding process of the individual stream is performed in access unit units. For example, one frame for video and one audio frame for audio are access units. With regard to the MPEG2 synchronization method, information called a time stamp indicating when to decode and reproduce is added to each access unit of video, audio, and other data. S for this time stamp
The time reference is given by information called CR (System Clock Reference). There are two types of time stamps, PTS (playback output time management information) and DTS (decoding time management information).

【0014】蓄積メディアに記録された多重ビット・ス
トリームが、分離装置23により個別ストリームに分離
される。ビデオのビット・ストリームは、ビデオ復号器
27の前段にあるSTD(システムに対応したデコー
ダ)バッファ(図示せず。)に蓄積され、オーディオの
ビット・ストリームは、オーディオ復号器27′の前段
にあるのSTDバッファ(図示せず。)に蓄積される。
復号器側の時間基準であるSTC(基準となる同期情
報)はSCR(システム時刻基準参照値)に一致してお
り、タイム・スタンプ(PTS,DTS)に時間基準が
与えられる。
The multiple bit stream recorded on the storage medium is separated into individual streams by the separating device 23. The video bit stream is stored in an STD (decoder corresponding to the system) buffer (not shown) in the front stage of the video decoder 27, and the audio bit stream is in the front stage of the audio decoder 27 '. In the STD buffer (not shown).
STC (reference synchronization information), which is the time reference on the decoder side, matches SCR (system time reference reference value), and the time reference is given to the time stamp (PTS, DTS).

【0015】分離装置23及び復号化装置25を更に説
明すると、分離装置23で多重ビット・ストリームをビ
デオの個別ストリーム,オーディオの個別ストリーム等
に分離して、復号化装置25にある夫々のSTDバッフ
ァ(図示せず。)に逐次記録される。夫々の復号器2
7,27′では、対応するSTDバッファから所定のタ
イミングで1アクセス・ユニット分のビット・ストリー
ムを読み出し、復号化処理を行う。
The separating device 23 and the decoding device 25 will be further described. The separating device 23 separates the multi-bit stream into a video individual stream, an audio individual stream, etc., and the respective STD buffers in the decoding device 25 are separated. (Not shown) are sequentially recorded. Each decoder 2
In 7 and 27 ', a bit stream for one access unit is read from the corresponding STD buffer at a predetermined timing and a decoding process is performed.

【0016】例えば、ビデオに関して分離装置23で分
離された個別ビット・ストリームがSTDバッファに順
次蓄積される。ビデオ復号化器27は蓄積されたビット
・ストリームを1アクセス・ユニット分(1フレーム
分)だけ一度に読み出し、読み出されたビット・ストリ
ームの復号化処理を開始する。読み出しタイミングが所
定のタイミングより遅れると、STDバッファはオーバ
フローを生ずる。所定のタイミングより早すぎると、ア
ンダーフローを生じて、いずれにしてもバッファは破綻
する。
For example, the individual bit streams separated by the separating device 23 for video are sequentially accumulated in the STD buffer. The video decoder 27 reads the stored bit stream by one access unit (one frame) at a time, and starts the decoding process of the read bit stream. When the read timing is delayed from the predetermined timing, the STD buffer overflows. If it is too early than the predetermined timing, underflow will occur and the buffer will fail in any case.

【0017】更に、多重ビット・ストリームでは、ビデ
オに対して、対応するオーディオ等が適当な割合で送ら
れて、同期を取ることが必要である。例えば、ビデオの
み送られ、それに対応するオーディオ等が送られて来な
いと、ビデオとオーディオ等の同期が取れず、再現でき
なくなる。
Further, in the multi-bit stream, it is necessary to send corresponding audio and the like to the video at an appropriate ratio to establish synchronization. For example, if only the video is sent and the corresponding audio or the like is not sent, the video and the audio cannot be synchronized and cannot be reproduced.

【0018】従来、多重ビット・ストリームを生成する
符号化・多重化装置に関して、図9に示すようなビデオ
CD等に使用されるリアルタイム符号化・多重化装置が
知られている。図9のリアルタイム符号化・多重化装置
は符号化装置1と多重化装置23とを備え、符号化装置
1は、ビデオソース信号を符号化するビデオ符号器7
と、オーディオソース信号を符号化するオーディオ符号
器7′とを有する。
Conventionally, as a coding / multiplexing apparatus for generating a multi-bit stream, a real-time coding / multiplexing apparatus used for a video CD as shown in FIG. 9 is known. The real-time encoding / multiplexing device of FIG. 9 includes an encoding device 1 and a multiplexing device 23, and the encoding device 1 encodes a video source signal by a video encoder 7
And an audio encoder 7'for encoding the audio source signal.

【0019】多重化装置23は、前段にビデオ符号器7
に接続されたバッファメモリ29と、オーディオ符号器
7′に接続されたバッファメモリ29′とを有し、更に
後段に、これらバッファメモリ29,29′に接続され
た多重化部31とを有している。
The multiplexer 23 has a video encoder 7 in the front stage.
A buffer memory 29 connected to the audio encoder 7'and a buffer memory 29 'connected to the audio encoder 7', and a multiplexer 31 connected to the buffer memories 29 and 29 'in the subsequent stage. ing.

【0020】図9のリアルタイム符号化・多重化装置の
動作に関しては、ビデオソース信号がビデオ符号器7に
送られ、同様にオーディオソース信号がオーディオ符号
器7′に入力される。ビデオ符号器7及びオーディオ符
号器7′は、夫々の連携を保ちながら、個別に圧縮符号
化する。符号化されたビデオ・ビット・ストリームはバ
ッファメモリ29に逐次蓄積され、同様に符号化された
オーディオビット・ストリームはバッファメモリ29′
に逐次蓄積される。
Regarding the operation of the real-time encoding / multiplexing device shown in FIG. 9, the video source signal is sent to the video encoder 7, and the audio source signal is similarly inputted to the audio encoder 7 '. The video encoder 7 and the audio encoder 7 ′ individually perform compression encoding while maintaining their cooperation. The encoded video bit stream is sequentially stored in the buffer memory 29, and the similarly encoded audio bit stream is stored in the buffer memory 29 '.
Are sequentially accumulated in.

【0021】多重化部31は、バッファメモリ29,2
9′に或る程度蓄積された各ビット・ストリームを分析
しながら、ビデオパケットとオーディオパケットとを所
定の順序で多重化して、ビデオとオーディオが時分割多
重化された多重ビット・ストリームを生成する。この多
重ビットストリームは、適当な蓄積メディアに記録され
たり、適当なネットワークを介したりして、分離装置に
送られる。
The multiplexing unit 31 includes buffer memories 29 and 2
While analyzing each bit stream accumulated to some extent in 9 ', video packets and audio packets are multiplexed in a predetermined order to generate a multiplexed bit stream in which video and audio are time-division multiplexed. . This multiple bit stream is sent to the separation device by being recorded on an appropriate storage medium or via an appropriate network.

【0022】図9のような従来のリアルタイム符号化・
多重化装置を使用して多重ビット・ストリームを生成す
る場合、次のような問題が生じていた。従来は個別素材
としてビデオとオーディオのみを多重していたが、適用
範囲が拡大するにつれ、映画ソース,音楽ビデオ等を含
むあらゆるビデオソースが対象となっている。例えば、
1つの映像に対応して、オーディオに関してはサラウン
ドを付加したり、数カ国の言語で吹き替えし、また数カ
国語の言語の字幕を含んだ多重ビット・ストリームを生
成し、蓄積メディアに記録したい場合が生じる。
Conventional real-time encoding as shown in FIG.
When a multiplex device is used to generate a multiple bit stream, the following problems occur. Conventionally, only video and audio were multiplexed as individual materials, but as the scope of application expands, all video sources including movie sources, music videos, etc. are targeted. For example,
When you want to add surround for audio or dubbing in several languages corresponding to one video, generate a multi-bit stream containing subtitles in several languages, and record it on a storage medium Occurs.

【0023】このように多数の個別ビット・ストリーム
を多重化した場合であっても、多重ビット・ストリーム
を受け取った後段の分離・復号化装置(図示せず。)に
おいて、そのSTDバッファをオーバフロー又はアンダ
フローして破綻させてはならない。また、ビデオに対し
てオーディオ,字幕等が同期が取れた割合で組み合わせ
てあることが必要である。
Even when a large number of individual bit streams are multiplexed in this way, the STD buffer overflows or is overflowed in the demultiplexing / decoding device (not shown) at the subsequent stage after receiving the multiple bit streams. Don't underflow and fail. In addition, it is necessary that audio, subtitles, etc. be combined in a synchronized ratio with the video.

【0024】従って、個別ビット・ストリームを多重化
するに際して、予め多重化装置において、個別ビット・
ストリームの適切な組み合わ及び適切な個別ビット・ス
トリーム長の決定等のスケジューリング処理を行うこと
が必要になる。スケジューリング処理は、現在まさに多
重化(パケット化)しようとする部分の大きさを決める
ためには、多重化すべき各個別ビット・ストリームを先
読みし、それより先の部分(DTSの遅い部分)のアク
セス・ユニットの大きさを観察することにより、初めて
現在の多重化を決定することが可能となる。このスケジ
ューリングの先読みのために、多重化装置23のバッフ
ァメモリ29,29′は非常に容量の大きいものを備え
る必要がある。また、適用範囲の拡大にともない多数の
エレメンタリー・ストリームを多重化する場合、莫大な
容量のバッファメモリが必要になる。
Therefore, when the individual bit streams are multiplexed, the individual bit streams are previously set in the multiplexer.
It is necessary to perform scheduling processing such as proper combination of streams and determination of proper individual bit stream length. The scheduling process currently pre-reads each individual bit stream to be multiplexed in order to determine the size of the portion to be multiplexed (packetized), and accesses the portion before that (the portion where DTS is slow). -By observing the size of the unit, it is only possible to determine the current multiplexing. For the prefetching of this scheduling, the buffer memories 29 and 29 'of the multiplexer 23 need to have a very large capacity. Further, when a large number of elementary streams are multiplexed with the expansion of the applicable range, a huge capacity of buffer memory is required.

【0025】[0025]

【発明が解決しようとする課題】本発明者等は、このよ
うな多重化処理に伴う問題に対処するため、ビデオ,オ
ーディオ等の個別ビット・ストリームを分析することな
く、多重化可能な方法を検討した。多重化処理におい
て、上述のように復号装置側のSTDバッファのオーバ
フローやアンダフローを避け、且つビデオとオーディオ
の同期を取って組み合わせるため、多重化装置側におい
てスケジューリング処理が必要になる。このため、多重
化装置において、スケジューリング処理と多重ビット・
ストリーム生成とを分離することを検討した。このスケ
ジューリング処理を行うためには、多重化しようとする
各個別ビット・ストリームのデータ・サイズが必要とな
る。
SUMMARY OF THE INVENTION In order to deal with the problems associated with such multiplexing processing, the present inventors have proposed a method capable of multiplexing without analyzing individual bit streams such as video and audio. investigated. In the multiplexing process, as described above, overflow and underflow of the STD buffer on the decoding device side are avoided, and since the video and audio are combined in synchronization, the scheduling process is required on the multiplexing device side. Therefore, in the multiplexing device, scheduling processing and multi-bit
Considered separating stream generation. In order to perform this scheduling process, the data size of each individual bit stream to be multiplexed is required.

【0026】このような観点から、本出願人は当初、図
10に示すような多重化装置を検討した。図10は、多
重化装置の内の1つの個別ストリーム(例えば、ビデオ
のビット・ストリーム)に関連する部分を示す図であ
る。図10に示す多重化装置は、本来の多重化装置23
の前段に多重化前処理装置3を備えている。多重化前処
理装置3は、第1のメモリ9,ヘッダ検出器11,サイ
ズ計算機33,第2のメモリ35を有している。
From this point of view, the present applicant initially considered a multiplexer as shown in FIG. FIG. 10 is a diagram showing a portion related to one individual stream (for example, a video bit stream) in the multiplexer. The multiplexer shown in FIG. 10 is an original multiplexer 23.
The multiplexing preprocessing device 3 is provided in the preceding stage. The multiplexing preprocessing device 3 has a first memory 9, a header detector 11, a size calculator 33, and a second memory 35.

【0027】ビデオソース信号がビデオ符号器7に入力
される。図には示してないが、音声ソース信号を符号化
する音声符号化器,字幕ソース信号を符号化する字幕符
号化器も有している。
The video source signal is input to the video encoder 7. Although not shown in the figure, it also has a voice encoder for encoding a voice source signal and a subtitle encoder for encoding a subtitle source signal.

【0028】ビデオ符号器7は、MPEG2標準に沿っ
てビデオソース信号を符号化し、符号化ビット・ストリ
ームを生成する。この符号化ビット・ストリームが第1
のメモリ9に蓄積される。この第1のメモリ9は、符号
化ビット・ストリームが蓄積されるため、比較的大容量
のものを必要とする。MPEG2ビット・ストリームに
は、先頭にその特性を表示する数バイトのユニークなヘ
ッダ(例えば、ビデオの場合ピクチャ毎にピクチャ・ヘ
ッダ等)が付加されている。ヘッダ検出器11は、ソフ
トウェアを利用した手段によりビット・ストリームの各
バイトを順次検索してこのヘッダを検出し、検出する毎
にヘッダ検出トリガ信号をサイズ計算機33に出力す
る。サイズ計算機33は、例えば適当なクロックを内蔵
して第1のメモリ9からの読み出し速度に同期させカウ
ンタを回しながら、ヘッダ検出トリガが入ってくる毎に
カウント値を読み取ることによりデータのサイズを計算
する。この処理が終了した後、ビット・ストリームはそ
のまま第2のメモリ35に蓄積される。この第2のメモ
リ35も、符号化ビット・ストリームが蓄積されるた
め、比較的大容量のものを必要とする。
The video encoder 7 encodes the video source signal according to the MPEG2 standard and produces an encoded bit stream. This coded bit stream is the first
Is stored in the memory 9. This first memory 9 requires a relatively large capacity because the coded bit stream is stored therein. A unique header of several bytes (for example, a picture header for each picture in the case of video) for displaying the characteristic is added to the beginning of the MPEG2 bit stream. The header detector 11 sequentially searches each byte of the bit stream by means of software to detect this header, and outputs a header detection trigger signal to the size calculator 33 each time it is detected. The size calculator 33 calculates the size of the data by reading a count value each time a header detection trigger comes in while rotating a counter in synchronization with the reading speed from the first memory 9 by incorporating an appropriate clock, for example. To do. After this processing is completed, the bit stream is stored in the second memory 35 as it is. This second memory 35 also needs a relatively large capacity because the coded bit stream is stored therein.

【0029】図には示してないが、同様に、オーディオ
の多重化前処理装置3′と、字幕の多重化前処理装置
3″が用意される。
Although not shown in the figure, similarly, an audio multiplexing preprocessing device 3'and a subtitle multiplexing preprocessing device 3 "are prepared.

【0030】多重化装置23のスケジューリング器15
は、ビデオ,オーディオ,字幕等の各サイズ計算機から
各データのサイズを受け取り、多重ビット・ストリーム
のビデオ,オーディオ,字幕等の組み込む順序・割合及
びビデオ,オーディオ,字幕等の各パッケットのデータ
長を決定するスケジューリング処理を行う。スケジュー
リング処理の結果得られたスケジュール・データが多重
ビット・ストリーム生成器17に送られ、多重ビット・
ストリーム生成器17はスケジュール・データに基づ
き、第2のメモリ35,35′,35″から得られた個
別ビット・ストリームを時分割多重化して、多重ビット
・ストリームを生成する。
The scheduler 15 of the multiplexer 23
Receives the size of each data from each size calculator for video, audio, subtitles, etc. Perform a scheduling process to determine. The schedule data obtained as a result of the scheduling process is sent to the multi-bit stream generator 17,
The stream generator 17 time-division-multiplexes the individual bit streams obtained from the second memories 35, 35 ', 35 "on the basis of the schedule data to generate a multiplexed bit stream.

【0031】しかし、図10に示すような多重化装置の
場合、ビデオ,オーディオ,字幕等の個別ビットストリ
ーム毎に、個別ビット・ストリームが蓄積可能な比較的
大容量のメモリを2個ずつ必要とする。また、ヘッダ検
出器は、ヘッダ検出に関してソフトウェア手段によって
いるため各ビット・ストリームを順次検索する時間を要
する。更に、ヘッダ検出器の後段に、サイズ計算機を必
要としハードウェア構成が複雑である等の問題がある。
However, in the case of the multiplexer as shown in FIG. 10, two relatively large-capacity memories capable of accumulating individual bit streams are required for each individual bit stream of video, audio, subtitles, etc. To do. Also, the header detector requires time to sequentially search each bit stream as it relies on software means for header detection. Further, there is a problem that a size calculator is required after the header detector and the hardware configuration is complicated.

【0032】本発明は、上述のような問題に鑑み、ビデ
オ,オーディオ等の個別ビット・ストリームを分析する
ことなく多重化が可能な符号化・多重化装置,多重化前
処理装置及び符号化・多重化方法を提供することを目的
とする。
In view of the above problems, the present invention provides a coding / multiplexing device, a multiplexing preprocessing device, and a coding / multiplexing device capable of multiplexing without analyzing individual bit streams such as video and audio. It is an object to provide a multiplexing method.

【0033】更に、本発明は、多重化処理の負担を軽減
する多重化前処理装置の必要とするメモリ容量を減少
し、全体として高速処理可能な符号化・多重化装置,多
重化前処理装置及び符号化・多重化方法を提供すること
を目的とする。
Furthermore, the present invention reduces the memory capacity required for the multiplexing preprocessing device for reducing the load of the multiplexing process, and is capable of high-speed processing as a whole as an encoding / multiplexing device and a multiplexing preprocessing device. And an encoding / multiplexing method.

【0034】[0034]

【課題を解決するための手段】本発明にかかる符号化・
多重化装置は、例えばMPEG標準のようなディジタル
符号化標準に沿って、ビデオソース信号,オーディオソ
ース信号,字幕ソース信号等を含む複数の個別ソース信
号を夫々符号化して多重ビット・ストリームを生成する
符号化・多重化装置であって、上記個別ソース信号を夫
々符号化する複数の符号化装置と、多重化前処理装置
と、多重化装置とを備えており、上記多重化前処理装置
は、個別符号化ビット・ストリームを蓄積する第1のメ
モリ手段と、該個別符号化ビット・ストリームからヘッ
ダ情報を検出するヘッダ検出手段と、検出されたヘッダ
情報と対応する第1のメモリのメモリ・アドレスとを蓄
積する第2のメモリ手段とを有し、上記多重化手段は、
上記複数の個別ビット・ストリーム及び第2のメモリ手
段からのメモリ・アドレスに基づきスケジューリングを
して多重化処理を行っている。
Encoding according to the present invention
The multiplexing device encodes a plurality of individual source signals including a video source signal, an audio source signal, a caption source signal, etc., respectively, in accordance with a digital encoding standard such as the MPEG standard to generate a multiple bit stream. An encoding / multiplexing device, comprising a plurality of encoding devices that respectively encode the individual source signals, a multiplexing preprocessing device, and a multiplexing device, wherein the multiplexing preprocessing device is First memory means for accumulating the individually encoded bit stream, header detection means for detecting header information from the individually encoded bit stream, and memory address of the first memory corresponding to the detected header information And a second memory means for storing
Multiplexing is performed by scheduling based on the plurality of individual bit streams and the memory address from the second memory means.

【0035】更に、この符号化・多重化装置において、
上記ヘッダ検出手段は、ハードウェア手段により構成さ
れている。
Further, in this encoding / multiplexing device,
The header detecting means is composed of hardware means.

【0036】更に、本発明にかかる符号化・多重化方法
は、例えばMPEGのようなディジタル符号化標準に沿
って、例えばビデオソース信号,オーディオソース信
号,字幕信号等を含む複数の個別ソース信号を夫々符号
化して多重ビット・ストリームを生成する符号化・多重
化方法であって、この符号化・多重化方法は、上記個別
ソース信号を夫々符号化する段階と、多重化前処理する
段階と、多重化処理する段階とを含み、該多重化前処理
する段階は、上記個別符号化ビット・ストリームを第1
のメモリ手段に蓄積し、該個別符号化ビット・ストリー
ムからヘッダ情報を検出し、検出されたヘッダ情報と対
応する第1のメモリのメモリ・アドレスとを第2のメモ
リ手段に蓄積し、上記多重化処理する段階は、上記複数
の個別ビット・ストリーム及び第2のメモリ手段からの
メモリ・アドレスに基づきスケジューリングをして多重
化処理を行っている。
Further, the encoding / multiplexing method according to the present invention is capable of transmitting a plurality of individual source signals including, for example, a video source signal, an audio source signal, a caption signal, etc. in accordance with a digital encoding standard such as MPEG. A coding / multiplexing method for respectively coding to generate a multiple bit stream, wherein the coding / multiplexing method includes a step of respectively coding the individual source signals, a step of pre-multiplexing processing, And subjecting the individual coded bit stream to a first
Of the individual coded bit stream, the header information is detected from the individually encoded bit stream, and the detected header information and the corresponding memory address of the first memory are stored in the second memory means, In the step of performing the multiplexing process, scheduling is performed based on the plurality of individual bit streams and the memory address from the second memory means to perform the multiplexing process.

【0037】この符号化・多重化装置及び符号化・多重
化方法によれば、多重化するに際し、個別ビット・スト
リームを分析することなく、多重化前処理装置からのヘ
ッダ情報及び対応するデータのサイズに基づきスケジュ
ーリング処理を行うことが可能になり、このスケジュー
リング結果に基づき、各個別データストリームを時分割
多重化処理することが出来る。また、多重化前処理装置
は、従来検討してきた多重化前処理装置に比較して、そ
の構成が簡単なものとなり、また必要なメモリ容量を全
体として減少することとが可能になる。
According to this encoding / multiplexing apparatus and the encoding / multiplexing method, the header information and the corresponding data from the multiplexing pre-processing apparatus are not analyzed at the time of multiplexing without analyzing the individual bit stream. The scheduling process can be performed based on the size, and each individual data stream can be time-division multiplexed based on the scheduling result. In addition, the multiplexing preprocessing device has a simpler configuration than the previously examined multiplexing preprocessing device, and the required memory capacity can be reduced as a whole.

【0038】[0038]

【発明の実施の形態】以下、本発明にかかる実施例に関
し、添付の図面を参照しながら説明する。なお、同一要
素に付いては同一符号を付与して、説明の重複を省略す
る。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the accompanying drawings. It should be noted that the same elements will be denoted by the same reference symbols and redundant description will be omitted.

【0039】〔MPEGシステムのデータ構造とビット
ス・トリーム構成〕最初に、本実施例の符号化・多重化
装置により生成される多重ビット・ストリームのデータ
構造に関して説明する。
[Data Structure and Bitstream Stream Structure of MPEG System] First, the data structure of a multiplex bit stream generated by the encoding / multiplexing apparatus of this embodiment will be described.

【0040】本実施例の多重ビット・ストリームのデー
タ構造は、MPEG2−PS(Program Stream)に準じ
ており、そのデータ構造とビット・ストリームは、以下
のように階層的構造になっている。このMPEGストリ
ームは、1ビットのフラグ等も多数あるが、ヘッダ等の
各単位毎にバイト整列されたバイトス・トリームとなっ
ていて、固定長でないデータ部分には、長さを示す情報
が先行して置かれ、不要な場合はその部分をスキップし
たり出来るようになっている。
The data structure of the multiple bit stream of this embodiment conforms to MPEG2-PS (Program Stream), and its data structure and bit stream have a hierarchical structure as follows. Although this MPEG stream has a large number of 1-bit flags and the like, it is a byte stream that is byte-aligned for each unit such as a header, and information indicating the length precedes the data portion that is not fixed length. If you don't need it, you can skip that part.

【0041】(MPEG2−PSのデータ構造)図8に
示したように、多重ビット・ストリーム(MPEG2−
PS)のデータ構造は、下位レイヤ(パケット・レイ
ヤ)と上位レイヤ(パック・レイヤ)とにわけられる。
図8(2)に示すように上位レイヤ(パック・レイヤ)
に関して、1つのプログラムは、シーケンスと称される
こともあるが、先頭のパック・ヘッダに始まり、終了コ
ードで終わる。パックは、一般に複数個のパケットから
構成され、プログラムの先頭のパックには、システム・
ヘッダと称されるストリーム全体の概要を記述(パラメ
ータ情報)した情報グループ(パケットと類似した構
成)がある。このシステム・ヘッダは、先頭のパックに
は、付加することが義務づけられているが、2番目以降
のパックではオプションとなっている。
(MPEG2-PS Data Structure) As shown in FIG. 8, a multi-bit stream (MPEG2-PS) is used.
The data structure of PS) is divided into a lower layer (packet layer) and an upper layer (pack layer).
As shown in FIG. 8 (2), the upper layer (pack layer)
With respect to, one program, sometimes referred to as a sequence, begins with a pack header at the beginning and ends with an end code. A pack is generally composed of multiple packets, and the first pack of the program contains the system
There is an information group (structure similar to a packet) called a header that describes an outline of the entire stream (parameter information). This system header is required to be added to the first pack, but it is an option in the second and subsequent packs.

【0042】下位レイヤ(パケット・レイヤ)MPEG
のパケットはPESパケット(Peckeized Elementary S
tream Packet)と称され、この構造はMPEG2−TS
と共用して用いられるため、ヘッダの部分が複雑になっ
ているが、階層的に理解し易くなっている。
Lower layer (packet layer) MPEG
Is a PES packet (Peckeized Elementary S
This structure is MPEG2-TS.
The header part is complicated because it is used in common, but it is easy to understand hierarchically.

【0043】32ビットの「パケット開始コード」は、
24ビットの固定部分と8ビットのストリームID(識
別)部分からなる。MPEG2−PSでは、最大で、ビ
デオ16チャネル、オーディオ32チャネルまで可能と
なるようにストリームIDが定義されている。
The 32-bit "packet start code" is
It consists of a 24-bit fixed part and an 8-bit stream ID (identification) part. In MPEG2-PS, the stream ID is defined so that up to 16 channels of video and 32 channels of audio can be used.

【0044】これに続く「パケット長」は、このフィー
ルドに続くパケットのデータ長を示す。
The "packet length" following this indicates the data length of the packet following this field.

【0045】パケット長に続く2ビットの制御コード
「10」は、前述したようにMPEG1の“00”,“01”
又は“11”との識別用に利用されている。
The 2-bit control code "10" following the packet length is "00", "01" of MPEG1 as described above.
Or, it is used for distinguishing from "11".

【0046】そのほかに、「スクランブル制御フラ
グ」,「プライオリティ・フラグ」,「DSM(Digita
l Storage Media )トリック・モード」,「コピー・ラ
イト」,「CRC(Cyclic Redundancy Check )」等の
情報を付加できるが、本実施例の説明に直接必要でない
ため省略する。
In addition, "scramble control flag", "priority flag", "DSM (Digita
Information such as "Storage Media) trick mode", "copy / write", and "CRC (Cyclic Redundancy Check)" can be added, but they are omitted because they are not directly necessary for the description of this embodiment.

【0047】〔実施例1〕図1は、本実施例のリアルタ
イム方式符号化・多重化装置の全体の構成を示す図であ
る。この符号化・多重化装置は、符号化装置1と、多重
化前処理装置3と、多重化装置5とを備えている。符号
化装置1は、各個別ソース信号に対応して、ビデオ符号
器7と、オーディオ符号器7′と、字幕符号器7″とを
夫々有する。なお、個別素材はビデオ,音声,字幕の3
個に限定されるものでなく、MPEG2−PSでは、例
えばオーディオに関して最大32個までの多重化が可能
であり、また字幕に関しても複数の字幕データを多重化
する場合があり、個別ソース信号の個数に応じて符号装
置,多重化前処理装置は増加される。
[Embodiment 1] FIG. 1 is a diagram showing the overall configuration of a real-time encoding / multiplexing device of the present embodiment. This coding / multiplexing device includes a coding device 1, a multiplexing preprocessing device 3, and a multiplexing device 5. The encoding device 1 has a video encoder 7, an audio encoder 7 ', and a subtitle encoder 7 ", corresponding to each individual source signal. The individual materials are video, audio, and subtitle.
The number of individual source signals is not limited to this, and in MPEG2-PS, for example, up to 32 audio signals can be multiplexed, and multiple subtitle data may be multiplexed for subtitles. Accordingly, the number of coding devices and multiplexing preprocessing devices are increased.

【0048】多重化前処理装置3は、各個別ビット・ス
トリームに対応して、符号化ビット・ストリームが書き
込まれる第1のメモリ9,9′,9″と、このビット・
ストリームからヘッダを検出するヘッダ検出器11,1
1′,11″と、検出されたヘッダのメモリ・アドレス
が書き込まれる第2のメモリ13,13′,13″とを
夫々有する。
The multiplexing preprocessor 3 corresponds to each individual bit stream, the first memories 9, 9 ', 9 "in which the coded bit stream is written, and this bit stream.
Header detector 11, 1 for detecting header from stream
1 ', 11 "and a second memory 13, 13', 13" in which the memory address of the detected header is written, respectively.

【0049】多重化装置5は、スケジューリング処理を
行うスケジューリング器15と多重ビット・ストリーム
生成器17を有する。
The multiplexing device 5 has a scheduling device 15 and a multiplex bit stream generator 17 for performing a scheduling process.

【0050】図1に示す符号化・多重化装置の内、多重
化前処理装置に関して、図2を参照しながら更に詳細に
説明する。図2は、図1の前処理装置の例えばビデオに
関する部分を示す図である。他のオーディオ,字幕等に
関する部分に関しても、実質的に同様である。
Of the coding / multiplexing apparatus shown in FIG. 1, the pre-multiplexing apparatus will be described in more detail with reference to FIG. FIG. 2 is a diagram showing a portion of the preprocessing apparatus shown in FIG. The same applies to other audio and subtitle parts.

【0051】多重化前処理装置3は、符号化ビット・ス
トリームが蓄積可能な比較的大容量の第1のメモリ9
と、第1のメモリ9からこの符号化ビット・ストリーム
を読み取りヘッダを検出するヘッダ検出器11と、検出
されたヘッダのメモリ・アドレスのファイルを蓄積する
第2のメモリ3とを有する。多重化前処理装置3の後段
には多重化装置5があり、この多重化装置5は、スケジ
ューリング器15と、多重ビット・ストリーム生成器1
7とを有する。
The multiplexing preprocessing device 3 includes a first memory 9 having a relatively large capacity capable of accumulating a coded bit stream.
And a header detector 11 for reading the coded bit stream from the first memory 9 to detect a header, and a second memory 3 for storing a file of the memory address of the detected header. A multiplexer 5 is provided downstream of the multiplexer preprocessor 3, and the multiplexer 5 includes a scheduling unit 15 and a multiplex bit stream generator 1.
7 and.

【0052】図2の多重化装置の一部分の動作を説明す
る。ビデオ符号化装置(図示せず。)から符号化された
個別ビット・ストリームが第1のメモリ9に蓄積され
る。ヘッダ検出器11が、第1のメモリ9に蓄積された
ビット・ストリームを読み込み、例えばPLD(Progra
mmable Logic Device )のようなハードウェア手段によ
りヘッダを検出する。PLDは、このようなヘッダ検出
論理を手元でプログラムできるLSIであり、PLA
(Programmable Logic Array)とも称される。ヘッダを
検出することにより、第1のメモリ9におけるそのヘッ
ダ開始位置のメモリ・アドレスが判明する。
The operation of a part of the multiplexer of FIG. 2 will be described. The individual bit stream encoded from the video encoder (not shown) is stored in the first memory 9. The header detector 11 reads the bit stream accumulated in the first memory 9 and, for example, PLD (Progra
mmable Logic Device) to detect the header. PLD is an LSI that can program such header detection logic at hand.
Also called (Programmable Logic Array). By detecting the header, the memory address of the header start position in the first memory 9 is known.

【0053】従来のリアルタイム符号化・多重化装置
(図9)の多重化装置23としてCPUを使用していた
場合、ヘッダ検出のためCPUは全ての個別ビット・ス
トリームを1バイトずつ検索しなければならなかった。
ここで、PLDを使用することにより、本実施例のヘッ
ダ検出器11によれば、多重装置の負担を減少し、全体
として、処理時間を大幅に短縮する。
When the CPU is used as the multiplexer 23 of the conventional real-time encoding / multiplexing apparatus (FIG. 9), the CPU must search all individual bit streams one byte at a time for header detection. did not become.
Here, by using the PLD, according to the header detector 11 of the present embodiment, the load on the multiplexer is reduced, and the processing time is greatly shortened as a whole.

【0054】符号化ビット・ストリームからヘッダを検
出する処理を、簡単に説明する。図3は、MPEG2の
ビデオデータのデータ構成を示す。データ構造は、シー
ケンス層,GOP層,ピクチャ層,スライス層,マクロ
ブロック(MB)層,ブロック層の6層階層からなって
いる。画像タイプに関しピクチャには、Iピクチャ(フ
レーム内符号化画像),Pピクチャ(フレーム間順方向
予測符号化画像),Bピクチャ(双方向予測符号化画
像)の3種があり、これらは、ピクチャ層のヘッダ中の
PSC(Picture Start Codeピクチャ層の開始コード、
00 00 01 00(H)), PCT(Picture Coding Type 、ピ
クチャ・タイプを示す。)によって特定し得る。
The process of detecting the header from the encoded bit stream will be briefly described. FIG. 3 shows the data structure of MPEG2 video data. The data structure is composed of 6 layers including a sequence layer, a GOP layer, a picture layer, a slice layer, a macroblock (MB) layer, and a block layer. Regarding the image type, there are three types of pictures: I picture (intra-frame encoded image), P picture (inter-frame forward predictive encoded image), and B picture (bidirectional predictive encoded image). PSC (Picture Start Code in layer header, start code of picture layer,
00 00 01 00 (H)), PCT (Picture Coding Type, which indicates a picture type).

【0055】また、オーディオの符号化ビット・ストリ
ームからのヘッダの検出に関しては、図4にMPEGオ
ーディオの構造を示す。MPEGオーディオのビット・
ストリームの1フレームをAAU(Audio Access Unit
)と呼ぶ。このヘッダの同期ワードを検出することに
より、オーディオデータであることが判明する。
Regarding the detection of the header from the encoded bit stream of audio, FIG. 4 shows the structure of MPEG audio. Bit of MPEG audio
One frame of the stream is AAU (Audio Access Unit)
). By detecting the sync word in this header, it is determined that the data is audio data.

【0056】また、ヘッダ検出器の処理は、図5に示す
ようにソフトウェア的に処理することも可能である。イ
ンデックスレジスタi(第1のメモリのバイト),j
(ヘッダの順番)にゼロを格納する(S1)。第1のメ
モリ9のi番地から4バイト分のデータを読み出す(S
2)。EOD(End of Data )か否かを判定する(S
3)。EODなら、終了する。EODでなければ、ビデ
オデータの場合はPCTか否かを判定する(S4)。P
CTでなければ、ステップS7に飛ぶ。PCT(ピクチ
ャ層の開始コード)ならば、第2のメモリ13内の「メ
モリ・アドレス−ヘッダ対応ファイル」(図6)のjレ
コード目にピクチャ・ヘッドとi(開始メモリ・アドレ
ス)を記録する(S5)。jを+1だけ増数する(S
6)。iを+1だけ増数する(S7)。ステップS2に
飛ぶ。
Further, the processing of the header detector can be processed by software as shown in FIG. Index register i (byte of first memory), j
Zero is stored in (order of header) (S1). Data of 4 bytes is read from the address i of the first memory 9 (S
2). Determine whether EOD (End of Data) (S
3). If EOD, end. If it is not EOD, it is judged whether it is PCT in the case of video data (S4). P
If not CT, jump to step S7. If it is PCT (start code of picture layer), the picture head and i (start memory address) are recorded in the jth record of the “memory address-header corresponding file” (FIG. 6) in the second memory 13. (S5). increment j by +1 (S
6). i is incremented by +1 (S7). Jump to step S2.

【0057】図6は、第2のメモリ13に格納されたメ
モリ・アドレス−ヘッダ対応ファイルである。ここで、
例えば、レコード1のヘッダAのメモリ・アドレス#2
からレコード0のヘッダAのメモリ・アドレス#1を差
し引くことで、(ヘッダ長は分かっているので)データ
のサイズが分かる。
FIG. 6 shows a memory address-header correspondence file stored in the second memory 13. here,
For example, memory address # 2 of header A of record 1
By subtracting the memory address # 1 of the header A of the record 0 from, the data size can be known (since the header length is known).

【0058】本実施例の特徴の一つに、第2のメモリに
はビット・ストリーム自体を蓄積する必要はなく、メモ
リ・アドレス−ヘッダ対応ファイルのみ蓄積するに必要
な容量が有れば良く、少ない容量のメモリでよい。従っ
て、図10に示す検討例の第2のメモリ35と比較し
て、第2のメモリ13の容量が非常に少なくて済むこと
が挙げられる。
One of the features of the present embodiment is that it is not necessary to store the bit stream itself in the second memory, as long as it has a capacity necessary to store only the memory address-header corresponding file, A small amount of memory is enough. Therefore, as compared with the second memory 35 of the study example shown in FIG. 10, the capacity of the second memory 13 can be very small.

【0059】多重化装置5のスケジューリング器15
は、先ず最初に、第2のメモリ13(及びオーディオ用
のメモリ13′,字幕用のメモリ13′)のメモリ・ア
ドレス−ヘッダ対応ファイルから、ヘッダ及びデータの
サイズを知る。ビデオ,オーディオ,字幕の各ヘッダ及
び対応するデータのサイズからスケジューリング処理が
実施される。この結果得られたスケジュール・データ
が、後段の多重ビット・ストリーム生成器17に送られ
る。
Scheduling unit 15 of multiplexer 5
First, the size of the header and the data is known from the memory address-header correspondence file of the second memory 13 (and the audio memory 13 ', the caption memory 13'). Scheduling processing is performed based on the size of each header of video, audio, and subtitles and the corresponding data. The resulting schedule data is sent to the multi-bit stream generator 17 in the subsequent stage.

【0060】多重ビット・ストリーム生成器17は、ビ
デオの第1のメモリ9の符号化ビット・ストリーム,オ
ーディオの第1のメモリ9′の符号化ビット・ストリー
ム,字幕の第1のメモリ9″の符号化ビット・ストリー
ムの時分割多重化を、これらスケジュール・データに基
づいて実施する。
The multi-bit stream generator 17 stores the coded bit stream of the first memory 9 for video, the coded bit stream of the first memory 9'for audio, and the first memory 9 "for caption. Time division multiplexing of the coded bit stream is performed based on these schedule data.

【0061】以上により、本発明にかかる符号化・多重
化装置及び符号化・多重化方法に関して説明したが、本
発明に使用されるディジタル動画像符号化標準はMPE
G2に限定されるものでない。将来規定される新しいフ
ェーズに対しても、本発明が同様に適用し得る限り、そ
れらは本発明の技術的範囲に属する。本発明の技術的範
囲は、特許請求の範囲の記載にづいて定められる。
The encoding / multiplexing apparatus and the encoding / multiplexing method according to the present invention have been described above. The digital moving image encoding standard used in the present invention is MPE.
It is not limited to G2. As long as the present invention is similarly applicable to new phases defined in the future, they belong to the technical scope of the present invention. The technical scope of the present invention is determined based on the description of the claims.

【0062】従来の多重化が、ビデオ,オーディオ,字
幕等の符号化ビット・ストリームを分析しながら実施し
ていたのに対し、この多重化処理は、これら個別ビット
・ストリームを分析することなく実施でき、多重化処理
の負担が軽減される。
Whereas the conventional multiplexing is performed while analyzing coded bit streams of video, audio, subtitles, etc., this multiplexing processing is performed without analyzing these individual bit streams. Therefore, the burden of the multiplexing process can be reduced.

【0063】更に本実施例は、必要とするメモリ容量を
全体として減少することが出来る。
Further, this embodiment can reduce the required memory capacity as a whole.

【0064】更に、本実施例によれば、高速処理可能な
多重化装置及び多重化方法を提供することができる。
Further, according to this embodiment, it is possible to provide a multiplexing device and a multiplexing method capable of high-speed processing.

【0065】[0065]

【発明の効果】本発明によれば、ビデオ,オーディオ等
の個別ビット・ストリームを分析することなく多重化が
可能な符号化・多重化装置,多重化前処理装置及び符号
化・多重化方法を提供することが出来る。
According to the present invention, there are provided a coding / multiplexing device, a multiplexing preprocessing device, and a coding / multiplexing method capable of multiplexing without analyzing individual bit streams of video, audio and the like. Can be provided.

【0066】更に、本発明によれば、多重化処理の負担
を軽減する多重化前処理装置の必要とするメモリ容量を
減少し、全体として高速処理可能な符号化・多重化装
置,多重化前処理装置及び符号化・多重化方法を提供す
ることが出来る。
Further, according to the present invention, the memory capacity required for the pre-multiplexing device for reducing the load of the multiplexing process is reduced, and the coding / multiplexing device capable of high-speed processing as a whole, the pre-multiplexing device. A processing device and an encoding / multiplexing method can be provided.

【図面の簡単な説明】[Brief description of drawings]

【図1】本実施例の符号化・多重化装置の全体の構成を
示す図である。
FIG. 1 is a diagram showing an overall configuration of an encoding / multiplexing device according to an embodiment.

【図2】図1の符号化・多重化装置のビデオ信号に関連
する部分を示す図であり、本実施例の構成・作用を説明
する図である。
FIG. 2 is a diagram showing a part related to a video signal of the encoding / multiplexing device of FIG. 1, and is a diagram for explaining a configuration / operation of the present embodiment.

【図3】図1の符号化・多重化装置が多重化処理の対象
とするMPEG2のビデオデータのデータ構造を説明す
る図である。
FIG. 3 is a diagram illustrating a data structure of MPEG2 video data that is a target of a multiplexing process by the encoding / multiplexing device of FIG. 1.

【図4】図1の符号化・多重化装置が多重化処理の対象
とするMPEG2のオーディオデータのデータ構造を説
明する図である。
FIG. 4 is a diagram illustrating a data structure of MPEG2 audio data that is a target of a multiplexing process by the encoding / multiplexing device of FIG. 1.

【図5】図1の符号化・多重化装置のヘッダ検出器の動
作をソフトウェアで処理した場合のフローを示す図であ
る。
5 is a diagram showing a flow when the operation of the header detector of the encoding / multiplexing apparatus of FIG. 1 is processed by software.

【図6】図1の符号化・多重化装置の第2のメモリに蓄
積されるメモリ・アドレス−ヘッダ対応ファイルの一例
を示す図である。
6 is a diagram showing an example of a memory address-header correspondence file stored in a second memory of the encoding / multiplexing apparatus of FIG.

【図7】MPEGシステムの基本システムを説明する図
である。
FIG. 7 is a diagram illustrating a basic system of an MPEG system.

【図8】ビデオ・オーディオ情報のパケットにより多重
化及びパックによる複数個のパケットのグループ化を説
明する図である。
[Fig. 8] Fig. 8 is a diagram for explaining multiplexing by packets of video / audio information and grouping of a plurality of packets by packs.

【図9】従来のリアルタイム符号化・多重化装置の構成
を示す図である。
FIG. 9 is a diagram showing a configuration of a conventional real-time encoding / multiplexing device.

【図10】本発明を成すに当たり、当初検討した符号化
・多重化装置の構成を示す図である。
FIG. 10 is a diagram showing a configuration of an encoding / multiplexing device that was initially studied in forming the present invention.

【符号の説明】[Explanation of symbols]

1 符号化装置 3 多重化前処理装置 5 多重化装置 7,7′,7″ 符号化器 9,9′,9″ 第1のメモリ 11,11′,11″ ヘッダ検出器 13,13′,13″ 第2のメモリ 15 スケジューリング器 17 多重ビット・ストリーム生成器 1 Encoding device 3 Multiplexing pretreatment device 5 Multiplexer 7,7 ', 7 "encoder 9,9 ', 9 "First memory 11, 11 ', 11 "header detector 13, 13 ', 13 "second memory 15 Scheduling device 17 Multi-bit stream generator

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04J 3/00 H04N 7/24 JICSTファイル(JOIS)─────────────────────────────────────────────────── ─── Continuation of the front page (58) Fields surveyed (Int.Cl. 7 , DB name) H04J 3/00 H04N 7/24 JISST file (JOIS)

Claims (7)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 ディジタル符号化標準に沿って、少なく
ともビデオソース信号,オーディオソース信号を含む複
数の個別ソース信号を夫々符号化して多重ビット・スト
リームを生成する符号化・多重化装置において、 上記個別ソース信号を夫々符号化する複数の符号化装置
と、多重化前処理装置と、多重化装置とを備え、 上記多重化前処理装置は、個別符号化ビット・ストリー
ムを蓄積する第1のメモリ手段と、該個別符号化ビット
・ストリームからヘッダ情報を検出するヘッダ検出手段
と、検出されたヘッダ情報と対応する第1のメモリのメ
モリ・アドレスとを蓄積する第2のメモリ手段とを有
し、 上記多重化手段は、上記複数の個別ビット・ストリーム
及び上記第2のメモリ手段からのメモリ・アドレスに基
づきスケジューリングをして多重化処理を行う符号化・
多重化装置。
1. An encoding / multiplexing apparatus for encoding a plurality of individual source signals including at least a video source signal and an audio source signal according to a digital encoding standard to generate a multiple bit stream, A plurality of coding devices for respectively coding the source signals, a multiplexing pre-processing device, and a multiplexing device, wherein the multiplexing pre-processing device stores first coded bit streams Header detecting means for detecting header information from the individually encoded bit stream, and second memory means for storing the detected header information and the memory address of the first memory corresponding thereto. The multiplexing means schedules based on the plurality of individual bit streams and the memory address from the second memory means. Encoding that performs multiplexing processing
Multiplexer.
【請求項2】 請求項1に記載の符号化・多重化装置に
おいて、 上記複数の個別ソース信号に、字幕ソース信号を含む符
号化・多重化装置。
2. The coding / multiplexing apparatus according to claim 1, wherein the plurality of individual source signals include a caption source signal.
【請求項3】 請求項1に記載の符号化・多重化装置に
おいて、 上記ディジタル符号化標準は、ビデオに関してはMPE
G2システムであり、オーディオに関してはMPEGオ
ーディオである符号化・多重化装置。
3. A coding / multiplexing apparatus according to claim 1, wherein the digital coding standard is MPE for video.
Encoding / multiplexing device that is a G2 system and is MPEG audio for audio.
【請求項4】 請求項1に記載の符号化・多重化装置に
おいて、 上記ヘッダ検出手段は、ハードウェア手段により構成さ
れている符号化・多重化装置。
4. The encoding / multiplexing apparatus according to claim 1, wherein the header detecting means is a hardware means.
【請求項5】 請求項1に記載の符号化・多重化装置に
おいて、 上記多重化手段は、第2のメモリ手段に蓄積された隣接
する2つのヘッダの各メモリ・アドレスの差分に基づき
そのヘッダに対応するデータのサイズを求めてスケジュ
ーリングを実施している符号化・多重化装置。
5. The encoding / multiplexing apparatus according to claim 1, wherein the multiplexing means is based on a difference between respective memory addresses of two adjacent headers stored in the second memory means. An encoding / multiplexing apparatus that performs scheduling by determining the size of data corresponding to.
【請求項6】 ディジタル動画像符号化標準に沿って、
少なくともビデオソース信号,オーディオソース信号を
含む複数の個別ソース信号を夫々符号化して多重ビット
・ストリームを生成する符号化・多重化装置に使用され
る多重化前処理装置において、 個別符号化ビット・ストリームを蓄積する第1のメモリ
手段と、 該個別符号化ビット・ストリームからヘッダ情報を検出
するヘッダ検出手段と、 検出されたヘッダ情報と対応
する第1のメモリのメモリ・アドレスとを蓄積する第2
のメモリ手段とを備え、 該第1のメモリ手段の個別ビット・ストリーム及び上記
第2のメモリ手段のメモリ・アドレスを後段の多重化装
置に送出する多重化前処理装置。
6. In line with digital video coding standards,
In a multiplexing preprocessing device used in a coding / multiplexing device for respectively coding a plurality of individual source signals including at least a video source signal and an audio source signal to generate a multiplexed bit stream, an individually coded bit stream A first memory means for storing the header information, a header detecting means for detecting header information from the individual coded bit stream, and a second memory for storing the memory address of the first memory corresponding to the detected header information.
Of the first memory means and the memory address of the second memory means are sent to a multiplexer in the subsequent stage.
【請求項7】 ディジタル動画像符号化標準に沿って、
少なくともビデオソース信号,オーディオソース信号を
含む複数の個別ソース信号を夫々符号化して多重ビット
・ストリームを生成する符号化・多重化方法において、
該符号化・多重化方法は、上記個別ソース信号を夫々符
号化する段階と、多重化前処理する段階と、多重化処理
する段階とを含み、該多重化前処理する段階は、 上記個別符号化ビット・ストリームを第1のメモリ手段
に蓄積し、 該個別符号化ビット・ストリームからヘッダ情報を検出
し、 検出されたヘッダ情報と対応する第1のメモリのメモリ
・アドレスとを第2のメモリ手段に蓄積し、 上記多重化処理する段階は、上記複数の個別ビット・ス
トリーム及び上記第2のメモリ手段からのメモリ・アド
レスに基づきスケジューリングをして多重化処理を行う
符号化・多重化方法。
7. In line with digital video coding standards,
In a coding / multiplexing method for respectively coding a plurality of individual source signals including at least a video source signal and an audio source signal to generate a multiple bit stream,
The encoding / multiplexing method includes a step of encoding the individual source signals, a step of performing a pre-multiplexing process, and a step of performing a multiplex process. An encoded bit stream is stored in a first memory means, header information is detected from the individually encoded bit stream, and the detected header information and the corresponding memory address of the first memory are stored in the second memory. The encoding / multiplexing method, wherein the step of accumulating in the means and carrying out the multiplexing processing carries out the multiplexing processing by scheduling based on the memory addresses from the plurality of individual bit streams and the second memory means.
JP32182495A 1995-12-11 1995-12-11 Encoding / multiplexing apparatus, multiplexing preprocessing apparatus, and encoding / multiplexing method Expired - Fee Related JP3531324B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32182495A JP3531324B2 (en) 1995-12-11 1995-12-11 Encoding / multiplexing apparatus, multiplexing preprocessing apparatus, and encoding / multiplexing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32182495A JP3531324B2 (en) 1995-12-11 1995-12-11 Encoding / multiplexing apparatus, multiplexing preprocessing apparatus, and encoding / multiplexing method

Publications (2)

Publication Number Publication Date
JPH09162829A JPH09162829A (en) 1997-06-20
JP3531324B2 true JP3531324B2 (en) 2004-05-31

Family

ID=18136835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32182495A Expired - Fee Related JP3531324B2 (en) 1995-12-11 1995-12-11 Encoding / multiplexing apparatus, multiplexing preprocessing apparatus, and encoding / multiplexing method

Country Status (1)

Country Link
JP (1) JP3531324B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3185863B2 (en) 1997-09-22 2001-07-11 日本電気株式会社 Data multiplexing method and apparatus
JP2005123856A (en) 2003-10-16 2005-05-12 Ricoh Co Ltd System and method for processing picture, program and information recording medium

Also Published As

Publication number Publication date
JPH09162829A (en) 1997-06-20

Similar Documents

Publication Publication Date Title
US8218581B2 (en) Method and apparatus for generating information signal to be recorded
US7359006B1 (en) Audio module supporting audio signature
US8244108B2 (en) After-recording apparatus
EP2012322B1 (en) Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program
JP3491401B2 (en) Data encoding device and method, and data decoding device and method
JP2000331421A (en) Information recorder and information recording device
JP3531324B2 (en) Encoding / multiplexing apparatus, multiplexing preprocessing apparatus, and encoding / multiplexing method
JP3536493B2 (en) Authoring system, encoder and multiplexer used in the system, and method for generating multiple bit streams
JPH104539A (en) Data multiplexing method and multiplexed data reproduction device
JPH09298748A (en) Method and device sending private data in mpeg bit stream in place of stuffing bit
JPH1083632A (en) Digital signal coding method and device, digital signal transmitting method and signal recording medium
KR20010017611A (en) Method for recoding digital data stream and method for transmitting presentation control information for digital data stream thereof
JP2005245006A (en) Postrecording signal reproducing apparatus
JP2005253093A (en) After recording signal transmitting instrument
JP2005260978A (en) Program for generating after-recording signal
KR19990058390A (en) Real-time data conversion method between MPEG format
JP2005260979A (en) Method for transmitting after-recording signal

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20031222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040223

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080312

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090312

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100312

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees