JPH09162829A - 符号化・多重化装置，多重化前処理装置及び符号化・多重化方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 ビデオ，オーディオ等の個別ビット・ストリ
ームを分析することなく多重化が可能な符号化・多重化
装置，多重化前処理装置及び符号化・多重化方法を提供
する。 【解決手段】 ＭＰＥＧ２に沿って、ビデオソース信
号，オーディオソース信号，字幕ソース信号等の個別ソ
ース信号を夫々符号化する複数の符号化装置１と、多重
化前処理する多重化前処理装置３と、多重化装置５とを
備えており、多重化前処理装置は、個別符号化ビット・
ストリームを蓄積する第１のメモリ９，９′，９″と、
個別符号化ビット・ストリームからヘッダ情報を検出す
るヘッダ検出器１１，１１′，１１″と、検出されたヘ
ッダ情報とそれに対応する第１のメモリのメモリ・アド
レスとを蓄積する第２のメモリ１３，１３′，１３″と
を有し、多重化装置は、複数の個別ビット・ストリーム
及び第２のメモリ手段からのメモリ・アドレスに基づき
スケジューリングをして多重化処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばＭＰＥＧの
ようなディジタル符号化標準に沿って多重ビット・スト
リームを生成する際に使用される符号化・多重化装置，
多重化前処理装置及び符号化・多重化方法に関する。

【０００２】例えば、映画ソース，音楽ビデオソース等
のあらゆる種類のビデオ素材を対象にして、そのビデオ
素材の映像及び映像に対応した音声（所望により、サラ
ウンドを含める。），複数の言語による吹き替え，複数
の言語による字幕等の関連情報の各々をＭＰＥＧ２，Ｍ
ＰＥＧオーディオ標準に沿って生成した個別符号化ビッ
ト・ストリームを、時分割多重化して多重ビット・スト
リームを生成し、光ディスク，光磁気ディスク，磁気テ
ープ等の蓄積メディアに対してディジタル記録する際に
使用される符号化・多重化装置，多重化前処理装置及び
符号化・多重化方法に関する。

【０００３】

【従来の技術】最初に、本発明を容易に理解出来るよう
にするため、本発明に関連するマルチメディアを多重化
するＭＰＥＧ２（Moving Picture Experts Group）シス
テム及び最終的に生成される多重ビット・ストリームの
概要に関して説明する。

【０００４】〔マルチメディアを多重化するＭＰＥＧシ
ステム〕ＭＰＥＧシステムにおける多重ビット・ストリ
ームの生成は、ＭＰＥＧビデオやＭＰＥＧオーディオの
符号化されたストリーム（ビット列）、更に他の符号化
ストリームを、同期を含めて統合し１本化すると共に、
そのストリームを蓄積メディアやネットワーク等がもつ
固有のフォーマットに適合したデータ形式にしている。

【０００５】これを規定するＭＰＥＧ標準には、ＣＤ−
ＲＯＭ等の蓄積メディアのための標準であるＭＰＥＧ１
と、ＭＰＥＧ１のアプリケーションも含む広い範囲のア
プリケーションのための標準であるＭＰＥＧ２とがあ
り、本発明は主にＭＰＥＧ２を利用している。また、Ｍ
ＰＥＧ２システムの多重化に関しては、一つのプログラ
ム（番組）を構成するプログラム・ストリーム（progra
m stream、ＭＰＥＧ２−ＰＳ）と、複数プログラムを同
時に構成できるトランスポート・ストリーム（transpor
t stream、ＭＰＥＧ２−ＴＳ）の２種類の方式があり、
本発明は主にＭＰＥＧ２−ＰＳを利用している。

【０００６】図７に、ＭＰＥＧ２システムの基本的な機
能を理解するためのシステム構成図を示す。このシステ
ムは、ビデオ符号器（エンコーダ）７及びオーディオ符
号器（エンコーダ）７′からなる符号化装置器１と、ビ
デオ符号器及びオーディオ符号器の出力を多重化する多
重化装置（ＭＵＸ Multiplexer）５と、この多重化装置
からの多重ビット・ストリームを記録する蓄積メディア
又は伝達するケーブル，ネットワーク等の伝達手段２１
と、蓄積メディアに記録され又はネットワーク等を介し
て伝達された多重ビット・ストリームを分離する分離装
置（ＤＭＵＸ Demultiplexer）２３と、分離された符号
化データを夫々復号するビデオ復号器（デコーダ）２７
及びオーディオ復号器２７′からなる復号化装置２５と
を備えている。

【０００７】このシステムの動作は、次のようになる。
ビデオ及びオーディオの個別素材（ソース信号）が、符
号化装置１のビデオ符号器７及びオーディオ符号器７′
に夫々入力され、例えばＭＰＥＧ２標準に従って、夫々
の連携を保ちながら個別に符号化圧縮される。符号化さ
れた各個別のストリーム（データ列）を多重化装置５
で、ストリームの蓄積メディアのフォーマット，伝送ネ
ットワーク仕様等に適合した多重化処理して、記録す
る。即ち、複数の個別符号化ストリームを時分割多重化
して１本のストリームにする。伝達手段として蓄積メデ
ィアを用いるＤＶＤ（Digital Video Disc）の場合と、
放送に使用するＤＶＢ（Digital Video Broadcast ）の
場合とが考えられ、本発明は両者を対象にしている。

【０００８】多重ビットストリームは、分離装置２３
で、ビデオ，オーディオ等の各個別のストリーム（デー
タ列）部分を分離して、復号化装置２５の復号器２７，
２７′に夫々送られる。復号化装置２５のビデオ復号器
２７，オーディオ復号器２７′は、多重化装置５側で意
図したように、復号化装置２５側で個別ストリームを同
期復号する。各復号器により復号された個別信号は、出
力装置（テレビ・モニタ，スピーカ等）により出力され
る。

【０００９】（多重，分離及び同期の方式）図８を用い
て、多重，分離及び同期の方式に関して概略的に説明す
る。多重ビット・ストリームの生成に関し、ＭＰＥＧ２
システムは、多くの時分割多重方式で用いられているパ
ケット（Packet）による多重方式を取り入れている。

【００１０】図８（１）に示すように、パケットによる
多重化とは、例えば、ビデオ，オーディオ等のデータを
多重化する場合、ビデオ，オーディオ等の夫々をパケッ
トと呼ばれる適当な長さのストリーム（ビット列）に分
割し、ヘッダ等の付加情報を付けて、適宜、ビデオ，オ
ーディオ等のデータのパケットを切り換えて時分割記録
して１本のビット列にする方式である。これらの各パケ
ットには、先頭部分にヘッダと称されるビデオ，オーデ
ィオ等の属性を識別する情報等がある。

【００１１】パケット長は、蓄積メディア又は伝送ネッ
トワークの仕様に依存する。例えば、光ディスク・シス
テムのように長いものもあり、ＭＰＥＧでは上限を約２
１６（６４Ｋバイト）とし、フレキシビリティをもたせ
るために、各パケットは固定長でも可変長でも良いこと
になっている。

【００１２】更に、図８（２）に示すように、ＭＰＥＧ
２−ＰＳ（プログラム・ストリーム）では、ビデオやオ
ーディオやその他のデータのパケットの上位にパック・
レイヤと称する階層があり、通常は複数個のパケットを
束ねたパック（Pack）と称される構成単位で取り扱われ
る。

【００１３】（タイムス・スタンプによるＡＶ同期方
式）図７を再度参照すると、復号装化置２５において、
個別ストリームの復号処理は、アクセク・ユニット単位
で行われる。例えば、ビデオでは１フレーム、オーディ
オでは１オーディオ・フレームが、アクセス・ユニット
となる。ＭＰＥＧ２の同期方式に関しては、ビデオ，オ
ーディオ，他のデータの各アクセス・ユニットに、何時
復号再生すべきかを示すタイム・スタンプと称される情
報が付加される。このタイム・スタンプに対しては、Ｓ
ＣＲ（System Clock Reference、システム時刻基準参照
値）と称される情報によって時間基準が与えられる。こ
のタイム・スタンプには、ＰＴＳ（再生出力の時刻管理
情報）とＤＴＳ（復号の時刻管理情報）の２種類があ
る。

【００１４】蓄積メディアに記録された多重ビット・ス
トリームが、分離装置２３により個別ストリームに分離
される。ビデオのビット・ストリームは、ビデオ復号器
２７の前段にあるＳＴＤ（システムに対応したデコー
ダ）バッファ（図示せず。）に蓄積され、オーディオの
ビット・ストリームは、オーディオ復号器２７′の前段
にあるのＳＴＤバッファ（図示せず。）に蓄積される。
復号器側の時間基準であるＳＴＣ（基準となる同期情
報）はＳＣＲ（システム時刻基準参照値）に一致してお
り、タイム・スタンプ（ＰＴＳ，ＤＴＳ）に時間基準が
与えられる。

【００１５】分離装置２３及び復号化装置２５を更に説
明すると、分離装置２３で多重ビット・ストリームをビ
デオの個別ストリーム，オーディオの個別ストリーム等
に分離して、復号化装置２５にある夫々のＳＴＤバッフ
ァ（図示せず。）に逐次記録される。夫々の復号器２
７，２７′では、対応するＳＴＤバッファから所定のタ
イミングで１アクセス・ユニット分のビット・ストリー
ムを読み出し、復号化処理を行う。

【００１６】例えば、ビデオに関して分離装置２３で分
離された個別ビット・ストリームがＳＴＤバッファに順
次蓄積される。ビデオ復号化器２７は蓄積されたビット
・ストリームを１アクセス・ユニット分（１フレーム
分）だけ一度に読み出し、読み出されたビット・ストリ
ームの復号化処理を開始する。読み出しタイミングが所
定のタイミングより遅れると、ＳＴＤバッファはオーバ
フローを生ずる。所定のタイミングより早すぎると、ア
ンダーフローを生じて、いずれにしてもバッファは破綻
する。

【００１７】更に、多重ビット・ストリームでは、ビデ
オに対して、対応するオーディオ等が適当な割合で送ら
れて、同期を取ることが必要である。例えば、ビデオの
み送られ、それに対応するオーディオ等が送られて来な
いと、ビデオとオーディオ等の同期が取れず、再現でき
なくなる。

【００１８】従来、多重ビット・ストリームを生成する
符号化・多重化装置に関して、図９に示すようなビデオ
ＣＤ等に使用されるリアルタイム符号化・多重化装置が
知られている。図９のリアルタイム符号化・多重化装置
は符号化装置１と多重化装置２３とを備え、符号化装置
１は、ビデオソース信号を符号化するビデオ符号器７
と、オーディオソース信号を符号化するオーディオ符号
器７′とを有する。

【００１９】多重化装置２３は、前段にビデオ符号器７
に接続されたバッファメモリ２９と、オーディオ符号器
７′に接続されたバッファメモリ２９′とを有し、更に
後段に、これらバッファメモリ２９，２９′に接続され
た多重化部３１とを有している。

【００２０】図９のリアルタイム符号化・多重化装置の
動作に関しては、ビデオソース信号がビデオ符号器７に
送られ、同様にオーディオソース信号がオーディオ符号
器７′に入力される。ビデオ符号器７及びオーディオ符
号器７′は、夫々の連携を保ちながら、個別に圧縮符号
化する。符号化されたビデオ・ビット・ストリームはバ
ッファメモリ２９に逐次蓄積され、同様に符号化された
オーディオビット・ストリームはバッファメモリ２９′
に逐次蓄積される。

【００２１】多重化部３１は、バッファメモリ２９，２
９′に或る程度蓄積された各ビット・ストリームを分析
しながら、ビデオパケットとオーディオパケットとを所
定の順序で多重化して、ビデオとオーディオが時分割多
重化された多重ビット・ストリームを生成する。この多
重ビットストリームは、適当な蓄積メディアに記録され
たり、適当なネットワークを介したりして、分離装置に
送られる。

【００２２】図９のような従来のリアルタイム符号化・
多重化装置を使用して多重ビット・ストリームを生成す
る場合、次のような問題が生じていた。従来は個別素材
としてビデオとオーディオのみを多重していたが、適用
範囲が拡大するにつれ、映画ソース，音楽ビデオ等を含
むあらゆるビデオソースが対象となっている。例えば、
１つの映像に対応して、オーディオに関してはサラウン
ドを付加したり、数カ国の言語で吹き替えし、また数カ
国語の言語の字幕を含んだ多重ビット・ストリームを生
成し、蓄積メディアに記録したい場合が生じる。

【００２３】このように多数の個別ビット・ストリーム
を多重化した場合であっても、多重ビット・ストリーム
を受け取った後段の分離・復号化装置（図示せず。）に
おいて、そのＳＴＤバッファをオーバフロー又はアンダ
フローして破綻させてはならない。また、ビデオに対し
てオーディオ，字幕等が同期が取れた割合で組み合わせ
てあることが必要である。

【００２４】従って、個別ビット・ストリームを多重化
するに際して、予め多重化装置において、個別ビット・
ストリームの適切な組み合わ及び適切な個別ビット・ス
トリーム長の決定等のスケジューリング処理を行うこと
が必要になる。スケジューリング処理は、現在まさに多
重化（パケット化）しようとする部分の大きさを決める
ためには、多重化すべき各個別ビット・ストリームを先
読みし、それより先の部分（ＤＴＳの遅い部分）のアク
セス・ユニットの大きさを観察することにより、初めて
現在の多重化を決定することが可能となる。このスケジ
ューリングの先読みのために、多重化装置２３のバッフ
ァメモリ２９，２９′は非常に容量の大きいものを備え
る必要がある。また、適用範囲の拡大にともない多数の
エレメンタリー・ストリームを多重化する場合、莫大な
容量のバッファメモリが必要になる。

【００２５】

【発明が解決しようとする課題】本発明者等は、このよ
うな多重化処理に伴う問題に対処するため、ビデオ，オ
ーディオ等の個別ビット・ストリームを分析することな
く、多重化可能な方法を検討した。多重化処理におい
て、上述のように復号装置側のＳＴＤバッファのオーバ
フローやアンダフローを避け、且つビデオとオーディオ
の同期を取って組み合わせるため、多重化装置側におい
てスケジューリング処理が必要になる。このため、多重
化装置において、スケジューリング処理と多重ビット・
ストリーム生成とを分離することを検討した。このスケ
ジューリング処理を行うためには、多重化しようとする
各個別ビット・ストリームのデータ・サイズが必要とな
る。

【００２６】このような観点から、本出願人は当初、図
１０に示すような多重化装置を検討した。図１０は、多
重化装置の内の１つの個別ストリーム（例えば、ビデオ
のビット・ストリーム）に関連する部分を示す図であ
る。図１０に示す多重化装置は、本来の多重化装置２３
の前段に多重化前処理装置３を備えている。多重化前処
理装置３は、第１のメモリ９，ヘッダ検出器１１，サイ
ズ計算機３３，第２のメモリ３５を有している。

【００２７】ビデオソース信号がビデオ符号器７に入力
される。図には示してないが、音声ソース信号を符号化
する音声符号化器，字幕ソース信号を符号化する字幕符
号化器も有している。

【００２８】ビデオ符号器７は、ＭＰＥＧ２標準に沿っ
てビデオソース信号を符号化し、符号化ビット・ストリ
ームを生成する。この符号化ビット・ストリームが第１
のメモリ９に蓄積される。この第１のメモリ９は、符号
化ビット・ストリームが蓄積されるため、比較的大容量
のものを必要とする。ＭＰＥＧ２ビット・ストリームに
は、先頭にその特性を表示する数バイトのユニークなヘ
ッダ（例えば、ビデオの場合ピクチャ毎にピクチャ・ヘ
ッダ等）が付加されている。ヘッダ検出器１１は、ソフ
トウェアを利用した手段によりビット・ストリームの各
バイトを順次検索してこのヘッダを検出し、検出する毎
にヘッダ検出トリガ信号をサイズ計算機３３に出力す
る。サイズ計算機３３は、例えば適当なクロックを内蔵
して第１のメモリ９からの読み出し速度に同期させカウ
ンタを回しながら、ヘッダ検出トリガが入ってくる毎に
カウント値を読み取ることによりデータのサイズを計算
する。この処理が終了した後、ビット・ストリームはそ
のまま第２のメモリ３５に蓄積される。この第２のメモ
リ３５も、符号化ビット・ストリームが蓄積されるた
め、比較的大容量のものを必要とする。

【００２９】図には示してないが、同様に、オーディオ
の多重化前処理装置３′と、字幕の多重化前処理装置
３″が用意される。

【００３０】多重化装置２３のスケジューリング器１５
は、ビデオ，オーディオ，字幕等の各サイズ計算機から
各データのサイズを受け取り、多重ビット・ストリーム
のビデオ，オーディオ，字幕等の組み込む順序・割合及
びビデオ，オーディオ，字幕等の各パッケットのデータ
長を決定するスケジューリング処理を行う。スケジュー
リング処理の結果得られたスケジュール・データが多重
ビット・ストリーム生成器１７に送られ、多重ビット・
ストリーム生成器１７はスケジュール・データに基づ
き、第２のメモリ３５，３５′，３５″から得られた個
別ビット・ストリームを時分割多重化して、多重ビット
・ストリームを生成する。

【００３１】しかし、図１０に示すような多重化装置の
場合、ビデオ，オーディオ，字幕等の個別ビットストリ
ーム毎に、個別ビット・ストリームが蓄積可能な比較的
大容量のメモリを２個ずつ必要とする。また、ヘッダ検
出器は、ヘッダ検出に関してソフトウェア手段によって
いるため各ビット・ストリームを順次検索する時間を要
する。更に、ヘッダ検出器の後段に、サイズ計算機を必
要としハードウェア構成が複雑である等の問題がある。

【００３２】本発明は、上述のような問題に鑑み、ビデ
オ，オーディオ等の個別ビット・ストリームを分析する
ことなく多重化が可能な符号化・多重化装置，多重化前
処理装置及び符号化・多重化方法を提供することを目的
とする。

【００３３】更に、本発明は、多重化処理の負担を軽減
する多重化前処理装置の必要とするメモリ容量を減少
し、全体として高速処理可能な符号化・多重化装置，多
重化前処理装置及び符号化・多重化方法を提供すること
を目的とする。

【００３４】

【課題を解決するための手段】本発明にかかる符号化・
多重化装置は、例えばＭＰＥＧ標準のようなディジタル
符号化標準に沿って、ビデオソース信号，オーディオソ
ース信号，字幕ソース信号等を含む複数の個別ソース信
号を夫々符号化して多重ビット・ストリームを生成する
符号化・多重化装置であって、上記個別ソース信号を夫
々符号化する複数の符号化装置と、多重化前処理装置
と、多重化装置とを備えており、上記多重化前処理装置
は、個別符号化ビット・ストリームを蓄積する第１のメ
モリ手段と、該個別符号化ビット・ストリームからヘッ
ダ情報を検出するヘッダ検出手段と、検出されたヘッダ
情報と対応する第１のメモリのメモリ・アドレスとを蓄
積する第２のメモリ手段とを有し、上記多重化手段は、
上記複数の個別ビット・ストリーム及び第２のメモリ手
段からのメモリ・アドレスに基づきスケジューリングを
して多重化処理を行っている。

【００３５】更に、この符号化・多重化装置において、
上記ヘッダ検出手段は、ハードウェア手段により構成さ
れている。

【００３６】更に、本発明にかかる符号化・多重化方法
は、例えばＭＰＥＧのようなディジタル符号化標準に沿
って、例えばビデオソース信号，オーディオソース信
号，字幕信号等を含む複数の個別ソース信号を夫々符号
化して多重ビット・ストリームを生成する符号化・多重
化方法であって、この符号化・多重化方法は、上記個別
ソース信号を夫々符号化する段階と、多重化前処理する
段階と、多重化処理する段階とを含み、該多重化前処理
する段階は、上記個別符号化ビット・ストリームを第１
のメモリ手段に蓄積し、該個別符号化ビット・ストリー
ムからヘッダ情報を検出し、検出されたヘッダ情報と対
応する第１のメモリのメモリ・アドレスとを第２のメモ
リ手段に蓄積し、上記多重化処理する段階は、上記複数
の個別ビット・ストリーム及び第２のメモリ手段からの
メモリ・アドレスに基づきスケジューリングをして多重
化処理を行っている。

【００３７】この符号化・多重化装置及び符号化・多重
化方法によれば、多重化するに際し、個別ビット・スト
リームを分析することなく、多重化前処理装置からのヘ
ッダ情報及び対応するデータのサイズに基づきスケジュ
ーリング処理を行うことが可能になり、このスケジュー
リング結果に基づき、各個別データストリームを時分割
多重化処理することが出来る。また、多重化前処理装置
は、従来検討してきた多重化前処理装置に比較して、そ
の構成が簡単なものとなり、また必要なメモリ容量を全
体として減少することとが可能になる。

【００３８】

【発明の実施の形態】以下、本発明にかかる実施例に関
し、添付の図面を参照しながら説明する。なお、同一要
素に付いては同一符号を付与して、説明の重複を省略す
る。

【００３９】〔ＭＰＥＧシステムのデータ構造とビット
ス・トリーム構成〕最初に、本実施例の符号化・多重化
装置により生成される多重ビット・ストリームのデータ
構造に関して説明する。

【００４０】本実施例の多重ビット・ストリームのデー
タ構造は、ＭＰＥＧ２−ＰＳ（Program Stream）に準じ
ており、そのデータ構造とビット・ストリームは、以下
のように階層的構造になっている。このＭＰＥＧストリ
ームは、１ビットのフラグ等も多数あるが、ヘッダ等の
各単位毎にバイト整列されたバイトス・トリームとなっ
ていて、固定長でないデータ部分には、長さを示す情報
が先行して置かれ、不要な場合はその部分をスキップし
たり出来るようになっている。

【００４１】（ＭＰＥＧ２−ＰＳのデータ構造）図８に
示したように、多重ビット・ストリーム（ＭＰＥＧ２−
ＰＳ）のデータ構造は、下位レイヤ（パケット・レイ
ヤ）と上位レイヤ（パック・レイヤ）とにわけられる。
図８（２）に示すように上位レイヤ（パック・レイヤ）
に関して、１つのプログラムは、シーケンスと称される
こともあるが、先頭のパック・ヘッダに始まり、終了コ
ードで終わる。パックは、一般に複数個のパケットから
構成され、プログラムの先頭のパックには、システム・
ヘッダと称されるストリーム全体の概要を記述（パラメ
ータ情報）した情報グループ（パケットと類似した構
成）がある。このシステム・ヘッダは、先頭のパックに
は、付加することが義務づけられているが、２番目以降
のパックではオプションとなっている。

【００４２】下位レイヤ（パケット・レイヤ）ＭＰＥＧ
のパケットはＰＥＳパケット（Peckeized Elementary S
tream Packet）と称され、この構造はＭＰＥＧ２−ＴＳ
と共用して用いられるため、ヘッダの部分が複雑になっ
ているが、階層的に理解し易くなっている。

【００４３】３２ビットの「パケット開始コード」は、
２４ビットの固定部分と８ビットのストリームＩＤ（識
別）部分からなる。ＭＰＥＧ２−ＰＳでは、最大で、ビ
デオ１６チャネル、オーディオ３２チャネルまで可能と
なるようにストリームＩＤが定義されている。

【００４４】これに続く「パケット長」は、このフィー
ルドに続くパケットのデータ長を示す。

【００４５】パケット長に続く２ビットの制御コード
「10」は、前述したようにＭＰＥＧ１の“00”，“01”
又は“11”との識別用に利用されている。

【００４６】そのほかに、「スクランブル制御フラ
グ」，「プライオリティ・フラグ」，「ＤＳＭ（Digita
l Storage Media ）トリック・モード」，「コピー・ラ
イト」，「ＣＲＣ（Cyclic Redundancy Check ）」等の
情報を付加できるが、本実施例の説明に直接必要でない
ため省略する。

【００４７】〔実施例１〕図１は、本実施例のリアルタ
イム方式符号化・多重化装置の全体の構成を示す図であ
る。この符号化・多重化装置は、符号化装置１と、多重
化前処理装置３と、多重化装置５とを備えている。符号
化装置１は、各個別ソース信号に対応して、ビデオ符号
器７と、オーディオ符号器７′と、字幕符号器７″とを
夫々有する。なお、個別素材はビデオ，音声，字幕の３
個に限定されるものでなく、ＭＰＥＧ２−ＰＳでは、例
えばオーディオに関して最大３２個までの多重化が可能
であり、また字幕に関しても複数の字幕データを多重化
する場合があり、個別ソース信号の個数に応じて符号装
置，多重化前処理装置は増加される。

【００４８】多重化前処理装置３は、各個別ビット・ス
トリームに対応して、符号化ビット・ストリームが書き
込まれる第１のメモリ９，９′，９″と、このビット・
ストリームからヘッダを検出するヘッダ検出器１１，１
１′，１１″と、検出されたヘッダのメモリ・アドレス
が書き込まれる第２のメモリ１３，１３′，１３″とを
夫々有する。

【００４９】多重化装置５は、スケジューリング処理を
行うスケジューリング器１５と多重ビット・ストリーム
生成器１７を有する。

【００５０】図１に示す符号化・多重化装置の内、多重
化前処理装置に関して、図２を参照しながら更に詳細に
説明する。図２は、図１の前処理装置の例えばビデオに
関する部分を示す図である。他のオーディオ，字幕等に
関する部分に関しても、実質的に同様である。

【００５１】多重化前処理装置３は、符号化ビット・ス
トリームが蓄積可能な比較的大容量の第１のメモリ９
と、第１のメモリ９からこの符号化ビット・ストリーム
を読み取りヘッダを検出するヘッダ検出器１１と、検出
されたヘッダのメモリ・アドレスのファイルを蓄積する
第２のメモリ３とを有する。多重化前処理装置３の後段
には多重化装置５があり、この多重化装置５は、スケジ
ューリング器１５と、多重ビット・ストリーム生成器１
７とを有する。

【００５２】図２の多重化装置の一部分の動作を説明す
る。ビデオ符号化装置（図示せず。）から符号化された
個別ビット・ストリームが第１のメモリ９に蓄積され
る。ヘッダ検出器１１が、第１のメモリ９に蓄積された
ビット・ストリームを読み込み、例えばＰＬＤ（Progra
mmable Logic Device ）のようなハードウェア手段によ
りヘッダを検出する。ＰＬＤは、このようなヘッダ検出
論理を手元でプログラムできるＬＳＩであり、ＰＬＡ
（Programmable Logic Array）とも称される。ヘッダを
検出することにより、第１のメモリ９におけるそのヘッ
ダ開始位置のメモリ・アドレスが判明する。

【００５３】従来のリアルタイム符号化・多重化装置
（図９）の多重化装置２３としてＣＰＵを使用していた
場合、ヘッダ検出のためＣＰＵは全ての個別ビット・ス
トリームを１バイトずつ検索しなければならなかった。
ここで、ＰＬＤを使用することにより、本実施例のヘッ
ダ検出器１１によれば、多重装置の負担を減少し、全体
として、処理時間を大幅に短縮する。

【００５４】符号化ビット・ストリームからヘッダを検
出する処理を、簡単に説明する。図３は、ＭＰＥＧ２の
ビデオデータのデータ構成を示す。データ構造は、シー
ケンス層，ＧＯＰ層，ピクチャ層，スライス層，マクロ
ブロック（ＭＢ）層，ブロック層の６層階層からなって
いる。画像タイプに関しピクチャには、Ｉピクチャ（フ
レーム内符号化画像），Ｐピクチャ（フレーム間順方向
予測符号化画像），Ｂピクチャ（双方向予測符号化画
像）の３種があり、これらは、ピクチャ層のヘッダ中の
ＰＳＣ（Picture Start Codeピクチャ層の開始コード、
00 00 01 00(H)）, ＰＣＴ（Picture Coding Type 、ピ
クチャ・タイプを示す。）によって特定し得る。

【００５５】また、オーディオの符号化ビット・ストリ
ームからのヘッダの検出に関しては、図４にＭＰＥＧオ
ーディオの構造を示す。ＭＰＥＧオーディオのビット・
ストリームの１フレームをＡＡＵ（Audio Access Unit
）と呼ぶ。このヘッダの同期ワードを検出することに
より、オーディオデータであることが判明する。

【００５６】また、ヘッダ検出器の処理は、図５に示す
ようにソフトウェア的に処理することも可能である。イ
ンデックスレジスタｉ（第１のメモリのバイト），ｊ
（ヘッダの順番）にゼロを格納する（Ｓ１）。第１のメ
モリ９のｉ番地から４バイト分のデータを読み出す（Ｓ
２）。ＥＯＤ（End of Data ）か否かを判定する（Ｓ
３）。ＥＯＤなら、終了する。ＥＯＤでなければ、ビデ
オデータの場合はＰＣＴか否かを判定する（Ｓ４）。Ｐ
ＣＴでなければ、ステップＳ７に飛ぶ。ＰＣＴ（ピクチ
ャ層の開始コード）ならば、第２のメモリ１３内の「メ
モリ・アドレス−ヘッダ対応ファイル」（図６）のｊレ
コード目にピクチャ・ヘッドとｉ（開始メモリ・アドレ
ス）を記録する（Ｓ５）。ｊを＋１だけ増数する（Ｓ
６）。ｉを＋１だけ増数する（Ｓ７）。ステップＳ２に
飛ぶ。

【００５７】図６は、第２のメモリ１３に格納されたメ
モリ・アドレス−ヘッダ対応ファイルである。ここで、
例えば、レコード１のヘッダＡのメモリ・アドレス＃２
からレコード０のヘッダＡのメモリ・アドレス＃１を差
し引くことで、（ヘッダ長は分かっているので）データ
のサイズが分かる。

【００５８】本実施例の特徴の一つに、第２のメモリに
はビット・ストリーム自体を蓄積する必要はなく、メモ
リ・アドレス−ヘッダ対応ファイルのみ蓄積するに必要
な容量が有れば良く、少ない容量のメモリでよい。従っ
て、図１０に示す検討例の第２のメモリ３５と比較し
て、第２のメモリ１３の容量が非常に少なくて済むこと
が挙げられる。

【００５９】多重化装置５のスケジューリング器１５
は、先ず最初に、第２のメモリ１３（及びオーディオ用
のメモリ１３′，字幕用のメモリ１３′）のメモリ・ア
ドレス−ヘッダ対応ファイルから、ヘッダ及びデータの
サイズを知る。ビデオ，オーディオ，字幕の各ヘッダ及
び対応するデータのサイズからスケジューリング処理が
実施される。この結果得られたスケジュール・データ
が、後段の多重ビット・ストリーム生成器１７に送られ
る。

【００６０】多重ビット・ストリーム生成器１７は、ビ
デオの第１のメモリ９の符号化ビット・ストリーム，オ
ーディオの第１のメモリ９′の符号化ビット・ストリー
ム，字幕の第１のメモリ９″の符号化ビット・ストリー
ムの時分割多重化を、これらスケジュール・データに基
づいて実施する。

【００６１】以上により、本発明にかかる符号化・多重
化装置及び符号化・多重化方法に関して説明したが、本
発明に使用されるディジタル動画像符号化標準はＭＰＥ
Ｇ２に限定されるものでない。将来規定される新しいフ
ェーズに対しても、本発明が同様に適用し得る限り、そ
れらは本発明の技術的範囲に属する。本発明の技術的範
囲は、特許請求の範囲の記載にづいて定められる。

【００６２】従来の多重化が、ビデオ，オーディオ，字
幕等の符号化ビット・ストリームを分析しながら実施し
ていたのに対し、この多重化処理は、これら個別ビット
・ストリームを分析することなく実施でき、多重化処理
の負担が軽減される。

【００６３】更に本実施例は、必要とするメモリ容量を
全体として減少することが出来る。

【００６４】更に、本実施例によれば、高速処理可能な
多重化装置及び多重化方法を提供することができる。

【００６５】

【発明の効果】本発明によれば、ビデオ，オーディオ等
の個別ビット・ストリームを分析することなく多重化が
可能な符号化・多重化装置，多重化前処理装置及び符号
化・多重化方法を提供することが出来る。

【００６６】更に、本発明によれば、多重化処理の負担
を軽減する多重化前処理装置の必要とするメモリ容量を
減少し、全体として高速処理可能な符号化・多重化装
置，多重化前処理装置及び符号化・多重化方法を提供す
ることが出来る。

【図面の簡単な説明】

【図１】本実施例の符号化・多重化装置の全体の構成を
示す図である。

【図２】図１の符号化・多重化装置のビデオ信号に関連
する部分を示す図であり、本実施例の構成・作用を説明
する図である。

【図３】図１の符号化・多重化装置が多重化処理の対象
とするＭＰＥＧ２のビデオデータのデータ構造を説明す
る図である。

【図４】図１の符号化・多重化装置が多重化処理の対象
とするＭＰＥＧ２のオーディオデータのデータ構造を説
明する図である。

【図５】図１の符号化・多重化装置のヘッダ検出器の動
作をソフトウェアで処理した場合のフローを示す図であ
る。

【図６】図１の符号化・多重化装置の第２のメモリに蓄
積されるメモリ・アドレス−ヘッダ対応ファイルの一例
を示す図である。

【図７】ＭＰＥＧシステムの基本システムを説明する図
である。

【図８】ビデオ・オーディオ情報のパケットにより多重
化及びパックによる複数個のパケットのグループ化を説
明する図である。

【図９】従来のリアルタイム符号化・多重化装置の構成
を示す図である。

【図１０】本発明を成すに当たり、当初検討した符号化
・多重化装置の構成を示す図である。

【符号の説明】

１ 符号化装置 ３ 多重化前処理装置 ５ 多重化装置 ７，７′，７″ 符号化器 ９，９′，９″ 第１のメモリ １１，１１′，１１″ ヘッダ検出器 １３，１３′，１３″ 第２のメモリ １５ スケジューリング器 １７ 多重ビット・ストリーム生成器

Claims (7)

【特許請求の範囲】
1. 【請求項１】 ディジタル符号化標準に沿って、少なく
   ともビデオソース信号，オーディオソース信号を含む複
   数の個別ソース信号を夫々符号化して多重ビット・スト
   リームを生成する符号化・多重化装置において、 上記個別ソース信号を夫々符号化する複数の符号化装置
   と、多重化前処理装置と、多重化装置とを備え、 上記多重化前処理装置は、個別符号化ビット・ストリー
   ムを蓄積する第１のメモリ手段と、該個別符号化ビット
   ・ストリームからヘッダ情報を検出するヘッダ検出手段
   と、検出されたヘッダ情報と対応する第１のメモリのメ
   モリ・アドレスとを蓄積する第２のメモリ手段とを有
   し、 上記多重化手段は、上記複数の個別ビット・ストリーム
   及び上記第２のメモリ手段からのメモリ・アドレスに基
   づきスケジューリングをして多重化処理を行う符号化・
   多重化装置。
2. 【請求項２】 請求項１に記載の符号化・多重化装置に
   おいて、 上記複数の個別ソース信号に、字幕ソース信号を含む符
   号化・多重化装置。
3. 【請求項３】 請求項１に記載の符号化・多重化装置に
   おいて、 上記ディジタル符号化標準は、ビデオに関してはＭＰＥ
   Ｇ２システムであり、オーディオに関してはＭＰＥＧオ
   ーディオである符号化・多重化装置。
4. 【請求項４】 請求項１に記載の符号化・多重化装置に
   おいて、 上記ヘッダ検出手段は、ハードウェア手段により構成さ
   れている符号化・多重化装置。
5. 【請求項５】 請求項１に記載の符号化・多重化装置に
   おいて、 上記多重化手段は、第２のメモリ手段に蓄積された隣接
   する２つのヘッダの各メモリ・アドレスの差分に基づき
   そのヘッダに対応するデータのサイズを求めてスケジュ
   ーリングを実施している符号化・多重化装置。
6. 【請求項６】 ディジタル動画像符号化標準に沿って、
   少なくともビデオソース信号，オーディオソース信号を
   含む複数の個別ソース信号を夫々符号化して多重ビット
   ・ストリームを生成する符号化・多重化装置に使用され
   る多重化前処理装置において、 個別符号化ビット・ストリームを蓄積する第１のメモリ
   手段と、 該個別符号化ビット・ストリームからヘッダ情報を検出
   するヘッダ検出手段と、 検出されたヘッダ情報と対応
   する第１のメモリのメモリ・アドレスとを蓄積する第２
   のメモリ手段とを備え、 該第１のメモリ手段の個別ビット・ストリーム及び上記
   第２のメモリ手段のメモリ・アドレスを後段の多重化装
   置に送出する多重化前処理装置。
7. 【請求項７】 ディジタル動画像符号化標準に沿って、
   少なくともビデオソース信号，オーディオソース信号を
   含む複数の個別ソース信号を夫々符号化して多重ビット
   ・ストリームを生成する符号化・多重化方法において、
   該符号化・多重化方法は、上記個別ソース信号を夫々符
   号化する段階と、多重化前処理する段階と、多重化処理
   する段階とを含み、該多重化前処理する段階は、 上記個別符号化ビット・ストリームを第１のメモリ手段
   に蓄積し、 該個別符号化ビット・ストリームからヘッダ情報を検出
   し、 検出されたヘッダ情報と対応する第１のメモリのメモリ
   ・アドレスとを第２のメモリ手段に蓄積し、 上記多重化処理する段階は、上記複数の個別ビット・ス
   トリーム及び上記第２のメモリ手段からのメモリ・アド
   レスに基づきスケジューリングをして多重化処理を行う
   符号化・多重化方法。