JPH09247670A - 情報多重化装置 - Google Patents

Abstract

(57)【要約】 【課題】情報の符号化、伝送、復号化の実時間管理と、
個別に符号化された情報の同期多重が容易に行える情報
多重化装置を提供する。 【解決手段】動画像データを符号化する際に得られる符
号化パラメータ５０を入力を動画像の符号化データとは
別個にパケット化処理部３３に入力し、パケット化処理
部３３では、符号化データをパケット化するとともに、
符号化パラメータ５０をもとに、動画像の符号化データ
の復号・再生の時刻管理情報を算出して、それを動画像
の符号化データのパケットに付加し、多重化処理部４３
で音声の符号化データ等と同期多重し、出力バッファ４
５を介して伝送路に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化された動画
像ビット列と符号化された音声ビット列と、さらに他の
符号化ビット列をパケット多重して送信する情報多重化
装置に関する。

【０００２】

【従来の技術】動画像の圧縮符号化方式の国際規格とし
て、比較的低ビットレートの蓄積メディアをターゲット
としたＭＰＥＧ−１（ＩＳＯ／ＩＥＣ１１１７２）や、
次世代のデジタル放送、ＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄ
ｅｍａｎｄ） あるいは ＤＶＤ（Ｄｉｇｉｔａｌ Ｖ
ｉｄｅｏ Ｄｉｓｋ）などへの応用が期待されているＭ
ＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１８） などが知ら
れている。

【０００３】ＭＰＥＧ符号化方式では、映像、音声、お
よびその他のデータストリーム（データ列）を独立に符
号化し、それらの符号化データをそれぞれパケット化し
て、パケット多重化を行なう方式が採用されている。ま
た、送信側と受信側との間では、パケットの受信側到達
時刻、デコード時刻、及び表示時刻の各タイムスタンプ
を一定以上の頻度で伝送することにより、同期の確立を
行なう。

【０００４】デコード時刻及び表示時刻の各タイムスタ
ンプは、通常、各画像、音声それぞれの符号化パラメー
タにより異なるものとなる。入力順に一定間隔の符号化
フレームに分割して符号化がされる場合では、これらの
タイムスタンプは、常に一定の差分値を加算することに
より更新することが可能である。しかし、ＭＰＥＧビデ
オ符号化では、表示順と符号化順とが異なり、またその
関係が動的に変化する場合がある。そのような場合、一
定値の加算ではタイムスタンプの更新が不可能となり、
入力される符号化データのヘッダ情報等から、タイムス
タンプの適切な更新を行なうことが必要となる。

【０００５】さらに、送信側では、受信側での入力バッ
ファのオーバーフローやアンターフロー等の破綻を起こ
さずに、同期が正しく確立するように、パケット多重化
順の選択、及びタイムスタンプの多重を行なわなければ
ならない。

【０００６】通常、ハードウェアで構成される多重化装
置では、これらのタイムスタンプは、多重化処理部のタ
イムベースに基づいて計算される。多重化処理部のタイ
ムベースは、伝送路や入力ソースのクロックに同期して
いる場合、あるいは、それらと非同期に動作する場合も
あり得る。通常、多重化システムの構成は、これらのク
ロックの同期／非同期によって大きく異なるものとな
る。

【０００７】

【発明が解決しようとする課題】ＭＰＥＧ符号化方式等
では、入力される符号化データのヘッダ情報のみから、
デコード時刻及び表示時刻の各タイムスタンプの算出を
行なうためには、表示順と符号化順とのずれの最大値の
遅延をもって、符号化データのヘッダ情報の解析を順次
行なわなければならない。実時間で、符号化、伝送、及
び復号を行なう伝送システムにおいては、この遅延量は
無視できないものとなる。

【０００８】動画像、音声等の各情報源からの情報を個
別に符号化して符号化データストリームを求め、それら
を多重し１本化した多重化ビットストリームを得るまで
の全ての処理において、単一のタイムベースへの同期を
仮定した情報多重化装置では、時刻と符号化ビット数お
よび符号化レートとは、完全に１対１の関係付けをする
ことが可能となる。従って、多重化装置におけるパケッ
ト多重化順の選択やタイムスタンプ等の計算は、符号化
データストリームから得られる仮想的なタイムベースに
基づいて、論理的に計算することが可能となる。

【０００９】このような情報多重化装置においては、多
重化処理はソフトウェア処理のみで実現可能となり、実
時間管理のための専用ハードウェアに対して、低コスト
で且つ汎用性のあるシステム構築が可能となる。

【００１０】一方、実時間管理を伴わないソフトウェア
処理による多重化処理では、多重化処理のスループット
は、少なくとも実符号化レートよりも十分速いことが要
求される。従って、多重化処理はバースト的に行なわ
れ、ソフトウェア上の仮想的なタイムベースと実タイム
ベースとの間には、大きなジッタを伴うことになる。

【００１１】このジッタは、通常、送信バッファで吸収
する必要があるが、実時間伝送を用いて符号化および復
号化を行なう場合は、バッファ遅延量を極力小さくする
ことが求められる。また、受信側においても、ジッタ吸
収のための入力バッファ遅延を、必要以上に大きくとる
ことは好ましくない。そのため、受信側において入力バ
ッファ遅延を最小化し、符号化データストリームの入力
時刻から、通常の復号動作を開始することを仮定する
と、多重化部の仮想タイムベースと実時刻とのずれのた
めに、多重化ビットストリームの伝送開始時刻の前倒し
が起こった場合、伝送路あるいは受信側でのアンダーフ
ローを起こす可能性が生じる。

【００１２】そこで、本発明は、以上の問題点に鑑みて
なされたものであり、動画像、音声、その他の符号化デ
ータの復号化時刻、表示時刻等に関する符号化パラメー
タを、そのヘッダ情報とは独立に多重化部へ入力するこ
とにより、ヘッダ情報の解析のために生じる多重化遅延
を減少できる情報多重化装置を提供することを目的とす
る。

【００１３】また、本発明は、多重化部の入力バッファ
の状態から実時刻を推定し、多重化ビットストリーム送
出開始の制御を行なうことにより、実時間管理が容易に
行え、上記のアンダーフローを防ぐとともに、複雑なハ
ードウェアを必要としない情報多重化装置を提供するこ
とを目的とする。

【００１４】

【課題を解決するための手段】本発明の情報多重化装置
は、少なくとも動画像の符号化データと音声の符号化デ
ータをパケット化して多重化する多重化手段と、この多
重化手段で多重化されて得られた多重化データを出力す
る出力手段と、動画像データを符号化する際に得られる
符号化パラメータを入力する入力手段とを具備し、前記
多重化手段は、前記入力手段で入力された符号化パラメ
ータをもとに、前記動画像の符号化データの復号・再生
の時刻管理情報を算出して、それを前記動画像の符号化
データのパケットに付加して多重することにより、タイ
ムスタンプ等の復号・再生の時刻管理情報を算出するた
めにヘッダ情報の解析により生じる多重化遅延を減少で
きる。

【００１５】また、本発明の情報多重化装置は、入力さ
れた少なくとも動画像の符号化データと音声の符号化デ
ータをそれぞれ一時蓄積する複数のバッファと、この複
数のバッファのそれぞれに蓄積された符号化データをパ
ケット化して多重化する多重化手段と、この多重化手段
で多重化されて得られた多重化データを出力する出力手
段とを具備し、前記多重化手段は、前記バッファに一時
蓄積される符号化データのうち、前記バッファの占有量
の推移が時間基準となり得る符号化データの前記バッフ
ァの占有量を基に、多重化処理を開始するタイミングを
決定することにより、ソフトウエアによる実時間管理が
容易に行え、復号側の受信バッファにおけるアンダーフ
ローを防ぐとともに、複雑なハードウェアを必要としな
い。

【００１６】また、本発明の情報多重化装置は、入力さ
れた少なくとも動画像の符号化データと音声の符号化デ
ータをそれぞれ一時蓄積する複数のバッファと、この複
数のバッファのそれぞれに蓄積された符号化データをパ
ケット化して多重化する多重化手段と、この多重化手段
で多重化されて得られた多重化データを出力する出力手
段とを具備し、前記多重化手段は、前記符号化データを
解析することにより符号化フレーム数を計数し、この計
数値を基に多重化処理を開始するタイミングを決定する
ことにより、ソフトウエアによる実時間管理が容易に行
え、復号側の受信バッファにおけるアンダーフローを防
ぐとともに、複雑なハードウェアを必要としない。従っ
て、情報の符号化、伝送、復号化の実時間管理と、個別
に符号化された情報の同期多重が容易に行える情報多重
化装置を提供できる。

【００１７】

【発明の実施の形態】本発明の一実施形態について図面
を参照して説明する。 （第１の実施形態）図１は、本発明の第１の実施形態に
係る情報多重化装置の構成を概略的に示したブロック図
である。

【００１８】図１では、１チャンネルの動画像信号１０
とｎチャンネルの音声信号と１チャンネルのデータ信号
を多重化する場合について示している。動画像（ビデ
オ）信号１０、複数本の音声信号１１−１〜１１−ｎ
は、それぞれ動画像符号化装置１５、音声符号化装置１
６−１〜１６−ｎに入力されて符号化され、個別の符号
化データとして入力バッファ２３、２４−１〜２４−ｎ
へそれぞれ入力される。

【００１９】符号化を必要としない、あるいは、既に符
号化されたデータストリーム１４も、同様に入力バッフ
ァ２５へ入力される。入力バッファ２３、２４−１〜２
４−ｎに一時蓄積された各符号化データおよび入力バッ
ファ２５に一時蓄積されたデータは、それぞれ、パケッ
ト化処理部３３、３４−１〜３４−ｎ、３５で個別にパ
ケット化され、さらに、これらパケットが多重化処理部
４３で多重化されて多重化ビットストリームが得られ
る。この多重化ビットストリーム４４は、出力バッファ
４５に一時蓄積されてから、所定のタイミングに従っ
て、例えば、ネットワークを介して伝送されるようにな
っている。

【００２０】動画像（ビデオ）および音声信号のパケッ
ト化処理部３３、３４−１〜３４−ｎには、それぞれの
符号化装置１５、１６−１〜１６−ｎで動画像、音声を
符号化する際に得られる符号化パラメータがサイド情報
５０〜５３として入力するようになっている。

【００２１】サイド情報には、符号化ビットレート、フ
レーム符号化データ長、表示フレームレート、各フレー
ムの表示期間、ビデオ符号化の予測構造に関わるパラメ
ータ等を含むことが可能である。

【００２２】パケット化処理部３３、３４−１〜３４−
ｎでは、これらのサイド情報を用いてパケット化、タイ
ムスタンプの算出、多重化順の決定等を行なうようにな
っている。

【００２３】また、これらのサイド情報の一部は、入力
される符号化データを文法解析することにより抽出する
ことも可能である。図２は、ＭＰＥＧビデオ符号化にお
けるフレームの処理順序とその並びについて説明するた
めのものである。

【００２４】ＭＰＥＧビデオ符号化では、フレーム内符
号化画像（Ｉピクチャ）、前方予測符号化画像（Ｐピク
チャ）および両方向予測符号化画像（Ｂピクチャ）を組
み合わせた符号化が可能である。ただし、Ｂピクチャを
含む場合は、符号化順序と表示順序は異なるものとな
る。

【００２５】図２では、ＩピクチャおよびＰピクチャの
間に、常にＢピクチャが２フレーム入る予測構造を用い
た場合の例である。この場合、復号化側では、Ｉピクチ
ャおよびＰピクチャは復号化された時刻から３フレーム
期間経過した後に表示され、その間は復号化装置のフレ
ームメモリに記憶され、予測画像の参照画像として復号
化処理に用いられる。

【００２６】ＭＰＥＧのシステム多重化規格では、ビデ
オ及び音声を多重化して伝送する際に、復号すべき時刻
（ＤＴＳ：Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）
と表示すべき時刻（ＰＴＳ： Ｐｒｅｓｅｎｔａｔｉｏ
ｎ Ｔｉｍｅ Ｓｔａｍｐ）を、ＭＰＥＧシステム規格
で規定されるヘッダ情報に多重化して伝送される。

【００２７】図２のでは、ＩピクチャおよびＰピクチャ
のＰＴＳは、該ピクチャのＤＴＳに対して３フレーム期
間の時間だけ加算して算出する。また、得られたＰＴＳ
は、次に符号化されたＩピクチャまたはＰピクチャのＤ
ＴＳとして用いることができる。

【００２８】しかし、図３に示すように、Ｉピクチャま
たはＰピクチャに挟まれたＢピクチャの数は、任意に変
更可能であり、一般には前述のようにＤＴＳからＰＴＳ
を算出することは不可能である。通常、あるＩピクチャ
またはＰピクチャに対して、その次に符号化されたＩピ
クチャまたはＰピクチャが入力された時点で、その間に
含まれるＢピクチャの数が確定する。従って、図１の動
画像のパケット化処理部３３では、ＩまたはＰピクチャ
は入力と同時にタイムスタンプの計算をすることができ
ず、その次に符号化されたＩピクチャまたはＰピクチャ
の符号化データが得られるまでの多重化遅延を生じるこ
とになる。

【００２９】第１の実施形態における情報多重化装置で
は、ＩピクチャまたはＰピクチャのフレーム間隔を符号
化装置１５からサイド情報としてパケット化処理部３３
に入力することにより、各ＩピクチャまたはＰピクチャ
の符号化データが得られると同時に、パケット化に必要
なタイムスタンプの算出が容易に行え、前述の多重化遅
延を生じることなくパケット化および多重化処理が可能
となる。

【００３０】また、ＩピクチャまたはＰピクチャの間隔
を常に一定として符号化を行なう場合は、その一定値を
例えば符号化開始前にパケット化処理部３３に入力する
ことも可能である。

【００３１】さらに、ＭＰＥＧ２ビデオ符号化において
は、図４に示すように符号化された１フレームを表示す
る期間は、２フィールドあるいは３フィールドと任意に
設定することが可能となっている。これは、フレーム周
期２４Ｈｚの映画のソースを、フレーム周期３０Ｈｚの
受像器でフレームレート変換して表示させる場合等に用
いられる。この場合、ＩピクチャまたはＰピクチャの間
隔を常に一定として符号化した場合においても、各Ｉピ
クチャまたはＰピクチャのＤＴＳとＰＴＳの間隔は一定
値とはならず、前述した理由により一般に多重化遅延を
生じる。

【００３２】第１の実施形態における情報多重化装置で
は、ＩピクチャまたはＰピクチャのフレーム間隔を符号
化フレームの表示する期間を考慮したフィールド数とし
て、動画像符号化装置１５からパケット化処理部３３に
サイド情報として入力することにより、前述の多重化遅
延を生じることなくパケット化および多重化処理が可能
となる。

【００３３】図７は、ＭＰＥＧビデオ符号化データのデ
ータ構造の一例を示したもので、ビデオシーケンス全体
に関わるシーケンスヘッダ、Ｉピクチャで始まる１５ピ
クチャ程度の単位でグループ化したピクチャ集合（ＧＯ
Ｐ：Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）に関わるＧ
ＯＰヘッダ、および、各ピクチャのヘッダと符号化デー
タとから構成される。

【００３４】図７に示した構成の符号化データは、動画
像符号化装置１５から出力され、入力バッファ２３を介
してパケット化処理部３３に入力される。パケット化処
理部３３には、図７に示したような構成のデータが入力
バッファ２３から入力されるとともに、動画像符号化装
置１５からは、ＩピクチャまたはＰピクチャのフレーム
間隔、あるいは、そのフレーム間隔を符号化フレームの
表示する期間を考慮したフィールド数で表した値がサイ
ド情報として入力され、このサイド情報をもとに、パケ
ット化に必要なタイムスタンプ（ＤＴＳ、ＰＴＳ）の算
出を行い、図７に示した構成のデータ列がパケット化さ
れると、算出されたタイムスタンプが付加されて多重化
処理部４３に出力される。 （第２の実施形態）図５は、本発明の第２の実施形態に
係る情報多重化装置の構成を概略的に示したブロック図
である。

【００３５】図５において、図１と同一部分には同一符
号を付し、異なる部分について説明する。すなわち、図
５に示した情報多重化装置は、動画像及び音声の符号化
装置１５、１６−１〜１６−ｎとパケット化処理部３
３、３４−１〜３４−ｎを制御する制御部６０を具備し
ている。また、図１で示した動画像および音声符号化装
置１５、１６−１〜１６−ｎでの符号化の際に得られる
サイド情報は、制御部６０を介してパケット化処理部３
３、３４−１〜３４−ｎへ入力するようになっている。 （第３の実施形態）図６は、本発明の第３の実施形態に
係る情報多重化装置の構成を概略的に示したブロック図
である。

【００３６】図６において、図１と同一部分には同一符
号を付し、異なる部分について説明する。すなわち、図
６に示した情報多重化装置は、第１の実施形態で示した
サイド情報のうち、特にタイムスタンプの算出に必要な
データ等を各符号化データ中に多重化して、符号化装置
１５、１６−１〜１６−ｎから出力するようになってい
る。

【００３７】図７に示したＭＰＥＧビデオ符号化データ
のデータ構造では、例えば、各ヘッダに続けてユーザデ
ータを多重化することも可能である。その場合のユーザ
データの多重化例を図８〜図１０を参照して説明する。

【００３８】図８では、シーケンスヘッダに続いてユー
ザーデータを多重化している。このユーザデータには、
前述のＩピクチャまたはＰピクチャの間隔に関わるパラ
メータが含まれていて、パケット化処理部では、このパ
ラメータに応じてタイムスタンプの算出を行なう。Ｉピ
クチャまたはＰピクチャの間隔が１単位のシーケンスを
通して一定で、前述のフレームレート変換を用いない場
合は、この手法を用いて多重化遅延を低減することが可
能である。

【００３９】図９では、ＧＯＰヘッダに続いてユーザー
データを多重化している。このユーザデータには、前述
のＩピクチャまたはＰピクチャの間隔に関わるパラメー
タが含まれていて、パケット化処理部では、このパラメ
ータに応じてタイムスタンプの算出を行なう。Ｉピクチ
ャまたはＰピクチャの間隔がＧＯＰ単位に可変となり、
前述のフレームレート変換を用いない場合は、この手法
を用いて多重化遅延を低減することが可能である。

【００４０】図１０では、ピクチャヘッダに続いてユー
ザーデータを多重している。このユーザデータには、前
述のＩピクチャまたはＰピクチャの間隔に関わるパラメ
ータが含まれていて、パケット化処理部４３では、この
パラメータに応じてタイムスタンプの算出を行なう。こ
の場合は、任意の予測構造について、常に多重化遅延な
くタイムスタンプの算出が可能となる。

【００４１】以上、説明したように、上記第１から第３
の実施形態によれば、ＭＰＥＧシステム等のタイムスタ
ンプの多重化が必要な多重化方式において、動画像、音
声等の情報を符号化装置１５、１６−１〜１６−ｎで符
号化する際に得られる、入力順と符号化順との関係を示
すパラメータや、フレームの表示継続時間を表すパラメ
ータ等をサイド情報として、パケット化処理部３３、３
４−１〜３４−ｎへ入力し、パケット化処理部３３、３
４−１〜３４−ｎでは、入力されたパラメータに従って
順次タイムスタンプの算出をおこうことで、符号化デー
タのヘッダ部を解析して得られた情報をもとにタイムス
タンプを算出する従来の方式と比較すると、低遅延での
多重化処理を実現することが可能となる。通常、符号化
データを解析してタイムスタンプの算出を行なう場合、
数フレームの遅延が原理的に生じるが、本発明ではタイ
ムスタンプの算出のための原理的な遅延は生じないもの
となる。

【００４２】符号化パラメータを含むサイド情報は、符
号化データと独立の経路から入力してもよいが、符号化
データに予め多重化して入力することにより、ハードウ
ェアを簡略化することも可能である。

【００４３】符号化パラメータは、フレーム単位に動的
に変化するものであれは、順次パケット化処理部へ入力
し、またシーケンス単位に一定のものであれは、１つの
シーケンスに対して１度だけパケット化処理部へ入力す
ることで実現可能である。

【００４４】（第４の実施形態）図１１は、本発明の第
４の実施形態に係る情報多重化装置の構成を概略的に示
したブロック図である。なお、図１１において、図１と
同一部分には同一符号を付し、異なる部分について説明
する。

【００４５】図１１において、パケット化処理部３３、
３４−１〜３４−ｎ、３５及び多重化処理部４３では、
仮想的なタイムベースに従って、タイムスタンプの多重
化、および多重化順の制御を順次行なう。

【００４６】制御部４８は、入力バッファ２３、２４−
１〜２４−ｎ、２５に入力された符号化データのバッフ
ァ占有量を監視して、多重化処理部４３に符号化データ
の多重化処理および送出の開始時を通知する多重化ビッ
トストリームの送信開始のタイミング制御を行うもので
ある。例えば、各入力バッファの占有量が、固定レート
で入力される音声の符号化データの入力バッファ占有量
から論理的に導き出されるデータ転送開始タイミングの
時刻に相当するバッファ占有量となったタイミングを多
重化処理部４３に通知するようになっている。

【００４７】図１２は、図１１の情報多重化装置の要部
（図１１の点線で囲まれた部分で、以下、多重化部４７
と呼ぶ）の構成をより具体的に示したものである。符号
化装置１５、１６−１〜１６−ｎで符号化されて出力さ
れた動画像、音声の符号化データ１９、２０−１〜２０
−ｎ及びその他のデータ１４は、それぞれ符号化データ
入力装置１００、１０１−１〜１０１−ｎ、１０２に入
力され、さらに、ＤＭＡコントローラ１１０、１１１−
１〜１１１−ｎ、１１２により、それぞれ、データバス
１２０を介して、メインメモリ１２５上に構成される入
力バッファ１３０、１３１−１〜１３１−ｎ、１３２へ
と転送される。

【００４８】転送された各データは、図１１のパケット
化処理部３３、３４−１〜３４−ｎ、３５と多重化処理
部４３の機能に相当する処理動作を司るＣＰＵ１４０お
よびソフトウェア１４１により、多重化ビットストリー
ムに変換され、メインメモリ１２５内の出力バッファ１
５０に書き込まれる。

【００４９】出力バッファ１５０に書き込まれた多重化
ビットストリームは、ＤＭＡコントローラ１６１によ
り、データバス１２０を介して出力装置１６２から伝送
路へと出力される。

【００５０】ここで、ＣＰＵ１４０および多重化ソフト
ウェア１４１は、多重化ビットストリームの出力ビット
数をカウントすることにより仮想タイムベースの更新を
行ない、また、後述する第５の実施形態においては、各
入力符号化データの符号化フレーム数をカウントして、
タイムスタンプの更新等を行なう処理を司るようになっ
ている。ＣＰＵ１４０および多重化ソフトウェア１４１
は、図１１の制御部４８、後述の図１８の制御部３４９
を構成する。

【００５１】図１３および図１４は、バッファを用いた
同期方法について説明するための図である。図１３にお
いて、１７０および１７４は符号化データ、１７１は送
信（出力）バッファ、１７２は伝送路、１７３は受信
（入力）バッファを示している。この送信バッファ及び
受信バッファは、平滑化バッファとも呼ばれる。

【００５２】符号化データ１７０は、送信バッファ１７
１に入力されて一時蓄積されて遅延させられた後、伝送
路１７２を介して受信バッファ１７３に入力される。伝
送された符号化データは、受信バッファ１７３において
も同様に遅延が加えられた後に出力される。

【００５３】ここで、送信バッファ１７１での遅延量と
受信バッファ１７３での遅延量の和が常に一定となるよ
うに制御することにより、符号化データ１７０が送信バ
ッファ１７１へ入力してから受信バッファ１７３から出
力されるまでの総遅延量が常に一定となり、送受信で同
期したデータ転送が可能となる。

【００５４】図１４は、図１３の平滑化バッファを用い
た場合の送受信のタイミングチャート示したものであ
る。図１４において、例えば、動画像の１フレームの画
像データが所定間隔で符号化されて、１フレーム毎に符
号量が異なる符号化データが生成され、送信バッファ１
７１に順次送られる。

【００５５】１９０は送信バッファ１７１での滞留時間
を示しており、１９２は受信バッファ１７３での滞留時
間を示している。平滑化バッファの原理より、送信バッ
ファ１７１での滞留時間と受信バッファ１７３での滞留
時間は、それぞれ時間的に変動する場合もあるが、その
和である送受信間の総遅延量は常に一定となるように制
御せされている。

【００５６】ＭＰＥＧビデオ符号化のようにフレーム単
位の符号量が変動する符号化方式では、送受信バッファ
１７１を用いた伝送符号量の平滑化が行なわれる。前述
のように、送信側では符号化データが入力されてから、
送信バッファ１７１による遅延の後に出力される。送信
バッファ１７１及び受信バッファ１７３のサイズは、い
ずれも規定された有限値であるため、各バッファでの遅
延量は、それぞれのバッファでアンダーフローおよびオ
ーバーフローを起こさないように厳密に制御されなけれ
ばならない。

【００５７】図１５は、起動時における送信側の各符号
化データの多重化処理部４３における入力バッファ占有
量を示している。画像および音声の各符号化データは、
符号化方式および符号化パラメータに固有な符号化遅延
をもって、入力バッファ１３０、１３１−１〜１３１−
ｎに入力され、さらに前述の送信バッファ遅延に相当す
る時間をへてから、多重化されて送出される。

【００５８】図１５において、２０１は画像の符号化デ
ータ、２０２および２０３はそれぞれ音声の符号化デー
タであり、この３つのデータを多重化する場合の例を示
したものである。図１５では、全ての符号化データは一
定レートで多重化部４７に入力される場合の入力バッフ
ァ占有量の初期状態からの推移を示したものである。こ
こで、画像の符号化データは、送信側の遅延を持つため
時刻２０４のタイミングで伝送を開始し、音声の符号化
データ２０２および２０３は、それぞれ時刻２０６及び
２０７のタイミングから多重化および送信を開始する必
要があるものとする。

【００５９】動画像の符号化データのように、フレーム
単位の符号量が変動する場合、符号化対象であるフレー
ムの入力間隔と、それを符号化して得られる符号量と符
号化レート等が完全に１対１に関係付けされないので、
多重化部４７の機能をソフトウェアで実現した場合、前
述のバッファによる平滑化を行うだけでは、実時間（実
時刻）の管理は通常困難となる。

【００６０】すなわち、送信側で（本発明の多重化ビッ
トストリームの送信開始のタイミング制御を行なわず
に）送出を前倒しで開始すると、多重化部４７の仮想タ
イムベースと実時刻とのずれのために、受信側でのアン
ダーフローを起こす可能性が生じる。

【００６１】このように、実時間の管理とは、動画像の
符号化データの場合、１符号化単位である１フレーム
（画面）の符号量をも考慮することにより、受信側の復
号器で実際の画面間隔を保持して符号化データを復号で
きるような送信側における符号化データの送信タイミン
グの管理制御とも言える。

【００６２】そこで、ある特定の動画像あるいは音声の
符号化データ、例えば、常に固定ビットレートで入力さ
れるような音声の符号化データ２０２）の入力バッファ
占有量を監視し、この固定ビットレートから論理的に導
き出されるデータ転送開始タイミングの時刻（例えば、
図１５では時刻２０４）に相当するバッファ占有量（例
えば、図１５では入力バッファ占有量２０５）となった
時点から、多重化処理及び送出を開始する多重化ビット
ストリームの送信開始のタイミング制御を行う。これに
より、前述したような受信バッファにおけるアンダーフ
ローは防ぐことが可能となる。

【００６３】図１６では動画像の符号化データ２１０が
多重化部４７にバースト的に入力される場合の入力バッ
ファ占有量の初期状態からの推移を示し、図１７は、動
画像の符号化データ２２０が多重化部４７に入力レート
が時間変動しながら入力される場合の入力バッファ占有
量の初期状態からの推移を示したものである。

【００６４】入力が固定レートでない場合、バッファ占
有量から実時刻を推定することは困難であるが、固定レ
ートで入力される付随の音声符号化データ（図１６の２
１２、図１７の２２２）がある場合、図１５の説明と同
様にして、その符号化データに関する多重化部４７の入
力バッファ占有量から、論理的に導き出されるデータ転
送開始タイミングの時刻（例えば、図１６では時刻２１
４、図１７では時刻２２４）に相当するバッファ占有量
（例えば、図１６では入力バッファ占有量２１５、図１
７では、入力バッファ占有量２２５）となった時点か
ら、多重化処理及び送出を開始する多重化ビットストリ
ームの送信開始のタイミング制御を行う。

【００６５】（第５の実施形態）図１２に示した多重化
部４７の構成では、各符号化データの入力バッファ１３
０、１３１−１〜１３１−ｎ、１３２がメインメモリ１
２５上に構成されるため、そのデータはソフトウェアか
ら透過的なものとなる。したがって、入力バッファ内の
符号化データの占有量を計測する代わりに、その符号化
フレーム数をカウントし、それから多重化開始タイミン
グを制御するための現在時刻を導きだす構成としてもよ
い。

【００６６】図１８は、第５の実施形態に係る情報多重
化装置の構成を概略的に示したブロック図である。図１
８は、動画像及び音声の組である複数のプログラムを、
同時に符号化および多重化する場合を示している。ここ
では、実時間で符号化される動画像および音声で構成さ
れるプログラムＣｈ１とＣｈ２、および事前に符号化さ
れ、蓄積メディアに記録されているプログラムＣｈ３の
計３Ｃｈのプログラムを同時に多重するものである。図
１８の情報多重化装置の要部（図１８の点線で囲まれた
部分で、以下、多重化部３４７と呼ぶ）の詳細な構成
は、図１２と同様である。

【００６７】動画像（ビデオ）信号３００と音声信号３
０１、動画像信号３０２と音声画像３０３は、それぞれ
動画像符号化装置３１５、音声符号化装置３１６、動画
像符号化装置３１７、音声符号化装置３１８に入力され
て符号化され、個別の符号化データとして入力バッファ
３２３、３２４、３２５、３２６へそれぞれ入力され
る。

【００６８】蓄積メディアから読み出されたプログラム
データ３０４も同様に入力バッファ３２７へ入力され
る。また、符号化を必要としない、あるいは、既に符号
化されたデータストリーム３０５も、同様に入力バッフ
ァ３５１へ入力するようにしてもよい。

【００６９】各入力バッファに一時蓄積された各符号化
データ等は、それぞれ、パケット化処理部３３３〜３３
７、３５３で個別にパケット化され、さらに、これらパ
ケットが多重化処理部３４３で多重化されて多重化ビッ
トストリームが得られる。この多重化ビットストリーム
３４４は、出力バッファ３４５に一時蓄積されてから、
所定のタイミングに従って、例えば、ネットワークを介
して伝送されるようになっている。

【００７０】パケット化処理部３３３〜３３７、３５３
のそれぞれには、各入力バッファから入力される符号化
データ等のヘッダ部を抽出、解析するデータ解析部３３
３ａ、３３４ａ、３３５ａ、３３６ａ、３３７ａ、３５
３ａを具備している。

【００７１】制御部３４９は、これらデータ解析部での
解析結果を基に、動画像の符号化フレーム数をカウント
して、多重化開始タイミング制御、すなわち、実時刻を
算出し、多重化・送信するタイミングを多重化処理部３
４３に通知するようになっている。なお、Ｃｈ１〜Ｃｈ
３の各プログラムについて、そのタイムベースが独立で
ある場合は、多重化ソフトウェアにおける仮想クロック
をそれぞれ独立に計算し、各プログラム毎に多重化開始
のタイミング制御を行なう。また、タイムベースが共通
なプログラムでは、多重化ソフトウェアにおける仮想ク
ロックも共通化して、多重化開始のタイミング制御を行
なうものとする。

【００７２】以上、説明したように、上記第４の実施形
態によれば、個別に符号化された動画像、音声等の符号
化データとその他のデータを同期多重する際に、制御部
４８は、各入力バッファのデータの占有量を監視し、固
定ビットレートで入力される特定の画像または音声の符
号化データについて、その固定ビットレートから論理的
に導き出されるデータ転送開始タイミングの時刻（例え
ば、図１５では時刻２０４）に相当するバッファ占有量
（例えば、図１５では入力バッファ占有量２０５）とな
った時点を多重化処理部４３に通知し、多重化処理部４
３は、制御部４８から通知されたタイミングに従って多
重化処理及び送出を開始することにより、実時間伝送に
も耐えうる多重化処理を、ソフトウェアのみで実現する
ことが可能なる。多重化部４７をソフトウェアのみで実
現することにより、複雑なハードウェアによるタイミン
グ制御を行なう必要がなくなり、システム構成を簡略化
することができる。また、ソフトウェアによるカスタマ
イズが容易となり、様々なアプリケーションに対して柔
軟に対応可能となる。

【００７３】また、本発明の第５の実施形態によれば、
個別に符号化された動画像、音声等の符号化データとそ
の他のデータを同期多重する際に、制御部３４９は、各
パケット化処理部のデータ解析部の解析結果をもとに、
動画像の符号化フレーム数をカウントして実時刻を算出
し、それを多重化処理部３４３に通知し、多重化処理部
３４３は、制御部３４９から通知されたタイミングに従
って多重化処理及び送出を開始することにより、実時間
伝送にも耐えうる多重化処理を、ソフトウェアのみで実
現することが可能なる。多重化部３４７をソフトウェア
のみで実現することにより、複雑なハードウェアによる
タイミング制御を行なう必要がなくなり、システム構成
を簡略化することができる。また、ソフトウェアによる
カスタマイズが容易となり、様々なアプリケーションに
対して柔軟に対応可能となる。さらに、上記第１から第
５の実施形態を適宜組み合わせて用いても有効である。

【００７４】

【発明の効果】以上説明したように、本発明によれば、
動画像、音声、その他の符号化データの復号化時刻、表
示時刻に関する符号化パラメータを、そのヘッダ情報と
は独立に多重化部へ入力することにより、ヘッダ情報を
解析してタイムスタンプを算出するために生じる多重化
遅延を減少できる情報多重化装置を提供できる。

【００７５】また、本発明によれば、固定ビットレート
で入力される特定の画像または音声の符号化データの入
力バッファ占有量、あるいは入力バッファ内の符号化フ
レーム数から、それらを実時刻への変換した値を用いて
多重化ビットストリーム送出開始の制御を行なうことに
より、実時間管理が容易に行え、伝送路あるいは復号側
の受信バッファのアンダーフローを防ぐとともに、複雑
なハードウェアを必要としない情報多重化装置を提供で
きる。このように、本発明の情報多重化装置によれば、
情報の符号化、伝送、復号化の実時間管理と、個別に符
号化された情報の同期多重が容易に行える。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る情報多重化装置
の構成を示したブロック図。

【図２】ＭＰＥＧビデオ符号化におけるフレームの処理
順序とその並びについて説明するための図で、Ｂピクチ
ャの枚数が固定の場合を示している。

【図３】ＭＰＥＧビデオ符号化における関わるフレーム
の処理順序とその並びについて説明するための図で、Ｂ
ピクチャの枚数が可変する場合について示している。

【図４】ＭＰＲＧビデオ符号化における各符号化フレー
ムの表示期間について説明するための図。

【図５】本発明の第２の実施形態に係る情報多重化装置
の構成を示したブロック図。

【図６】本発明の第３の実施形態に係る情報多重化装置
の構成を示したブロック図。

【図７】第１の実施形態および第２の実施形態に係る情
報多重化装置におけるＭＰＥＧビデオ符号化データのデ
ータ構造の一例を示した図。

【図８】第３の実施形態に係る情報多重化装置における
ＭＰＥＧビデオ符号化データのデータ構造の一例を示し
た図。

【図９】第３の実施形態に係る情報多重化装置における
ＭＰＥＧビデオ符号化データのデータ構造の他の例を示
した図。

【図１０】第３の実施形態に係る情報多重化装置におけ
るＭＰＥＧビデオ符号化データのデータ構造のさらに他
の例を示した図。

【図１１】本発明の第４の実施形態に係る情報多重化装
置の構成を示したブロック図。

【図１２】情報多重化装置の要部の構成をより詳細に示
したブロック図。

【図１３】送受信バッファ（平滑化バッファ）を用いた
同期方法について説明するための図。

【図１４】平滑化バッファの動作を説明するための図。

【図１５】本発明に係る多重化処理および送信開始のタ
イミング制御について説明するための図で、全ての符号
化データは一定レートで多重化部に入力される場合の入
力バッファ占有量の初期状態からの推移を示している。

【図１６】本発明に係る多重化処理および送信開始のタ
イミング制御について説明するための図で、動画像の符
号化データが多重化部にバースト的に入力される場合の
入力バッファ占有量の初期状態からの推移を示してい
る。

【図１７】本発明に係る多重化処理および送信開始のタ
イミング制御について説明するための図で、動画像の符
号化データが多重化部に入力レートが時間変動しながら
入力される場合の入力バッファ占有量の初期状態からの
推移を示している。

【図１８】本発明の第５の実施形態に係る情報多重化装
置の構成を示したブロック図。

【符号の説明】

１５…動画像符号化装置、１６−１〜１６−ｎ…音声符
号化装置、２３、２４−１〜２４−ｎ、２５…入力バッ
ファ、３３、３４−１〜３４−ｎ、３５…パケット化処
理部、４３…多重化処理部、４４…多重化ビットストリ
ーム、４５…出力バッファ、４７…多重化部、４８、６
０…制御部、３４７…多重化部。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 少なくとも動画像の符号化データと音声
   の符号化データをパケット化して多重化する多重化手段
   と、 この多重化手段で多重化されて得られた多重化データを
   出力する出力手段と、 動画像データを符号化する際に得られる符号化パラメー
   タを入力する入力手段と、 を具備し、 前記多重化手段は、前記入力手段で入力された符号化パ
   ラメータをもとに、前記動画像の符号化データの復号・
   再生の時刻管理情報を算出して、それを前記動画像の符
   号化データのパケットに付加して多重することを特徴と
   する情報多重化装置。
2. 【請求項２】 前記符号化パラメータは、動画像の符号
   化フレームの復号順から表示順への並び替えのパラメー
   タを含むことを特徴とする請求項１記載の情報多重化装
   置。
3. 【請求項３】 前記符号化パラメータは、動画像の符号
   化フレームの表示期間に関するパラメータを含むことを
   特徴とする請求項１記載の情報多重化装置。
4. 【請求項４】 前記入力手段で入力される符号化パラメ
   ータは、前記動画像の符号化データに多重されて入力す
   ることを特徴とする請求項１記載の情報多重化装置。
5. 【請求項５】 入力された少なくとも動画像の符号化デ
   ータと音声の符号化データをそれぞれ一時蓄積する複数
   のバッファと、 この複数のバッファのそれぞれに蓄積された符号化デー
   タをパケット化して多重化する多重化手段と、 この多重化手段で多重化されて得られた多重化データを
   出力する出力手段と、 を具備し、 前記多重化手段は、前記バッファに一時蓄積される符号
   化データのうち、前記バッファの占有量の推移が時間基
   準となり得る符号化データの前記バッファの占有量を基
   に、多重化処理を開始するタイミングを決定することを
   特徴とする情報多重化装置。
6. 【請求項６】 入力された少なくとも動画像の符号化デ
   ータと音声の符号化データをそれぞれ一時蓄積する複数
   のバッファと、 この複数のバッファのそれぞれに蓄積された符号化デー
   タをパケット化して多重化する多重化手段と、 この多重化手段で多重化されて得られた多重化データを
   出力する出力手段と、 を具備し、 前記多重化手段は、前記符号化データを解析することに
   より符号化フレーム数を計数し、この計数値を基に多重
   化処理を開始するタイミングを決定することを特徴とす
   る情報多重化装置。