JPH09247670A - 情報多重化装置 - Google Patents

情報多重化装置

Info

Publication number
JPH09247670A
JPH09247670A JP5640596A JP5640596A JPH09247670A JP H09247670 A JPH09247670 A JP H09247670A JP 5640596 A JP5640596 A JP 5640596A JP 5640596 A JP5640596 A JP 5640596A JP H09247670 A JPH09247670 A JP H09247670A
Authority
JP
Japan
Prior art keywords
multiplexing
data
input
information
multiplexed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5640596A
Other languages
English (en)
Other versions
JP3556381B2 (ja
Inventor
Shinichiro Koto
晋一郎 古藤
Toshinori Otaka
敏則 尾高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP5640596A priority Critical patent/JP3556381B2/ja
Publication of JPH09247670A publication Critical patent/JPH09247670A/ja
Application granted granted Critical
Publication of JP3556381B2 publication Critical patent/JP3556381B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

(57)【要約】 【課題】情報の符号化、伝送、復号化の実時間管理と、
個別に符号化された情報の同期多重が容易に行える情報
多重化装置を提供する。 【解決手段】動画像データを符号化する際に得られる符
号化パラメータ50を入力を動画像の符号化データとは
別個にパケット化処理部33に入力し、パケット化処理
部33では、符号化データをパケット化するとともに、
符号化パラメータ50をもとに、動画像の符号化データ
の復号・再生の時刻管理情報を算出して、それを動画像
の符号化データのパケットに付加し、多重化処理部43
で音声の符号化データ等と同期多重し、出力バッファ4
5を介して伝送路に出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、符号化された動画
像ビット列と符号化された音声ビット列と、さらに他の
符号化ビット列をパケット多重して送信する情報多重化
装置に関する。
【0002】
【従来の技術】動画像の圧縮符号化方式の国際規格とし
て、比較的低ビットレートの蓄積メディアをターゲット
としたMPEG−1(ISO/IEC11172)や、
次世代のデジタル放送、VOD(Video On D
emand) あるいは DVD(Digital V
ideo Disk)などへの応用が期待されているM
PEG−2(ISO/IEC13818) などが知ら
れている。
【0003】MPEG符号化方式では、映像、音声、お
よびその他のデータストリーム(データ列)を独立に符
号化し、それらの符号化データをそれぞれパケット化し
て、パケット多重化を行なう方式が採用されている。ま
た、送信側と受信側との間では、パケットの受信側到達
時刻、デコード時刻、及び表示時刻の各タイムスタンプ
を一定以上の頻度で伝送することにより、同期の確立を
行なう。
【0004】デコード時刻及び表示時刻の各タイムスタ
ンプは、通常、各画像、音声それぞれの符号化パラメー
タにより異なるものとなる。入力順に一定間隔の符号化
フレームに分割して符号化がされる場合では、これらの
タイムスタンプは、常に一定の差分値を加算することに
より更新することが可能である。しかし、MPEGビデ
オ符号化では、表示順と符号化順とが異なり、またその
関係が動的に変化する場合がある。そのような場合、一
定値の加算ではタイムスタンプの更新が不可能となり、
入力される符号化データのヘッダ情報等から、タイムス
タンプの適切な更新を行なうことが必要となる。
【0005】さらに、送信側では、受信側での入力バッ
ファのオーバーフローやアンターフロー等の破綻を起こ
さずに、同期が正しく確立するように、パケット多重化
順の選択、及びタイムスタンプの多重を行なわなければ
ならない。
【0006】通常、ハードウェアで構成される多重化装
置では、これらのタイムスタンプは、多重化処理部のタ
イムベースに基づいて計算される。多重化処理部のタイ
ムベースは、伝送路や入力ソースのクロックに同期して
いる場合、あるいは、それらと非同期に動作する場合も
あり得る。通常、多重化システムの構成は、これらのク
ロックの同期/非同期によって大きく異なるものとな
る。
【0007】
【発明が解決しようとする課題】MPEG符号化方式等
では、入力される符号化データのヘッダ情報のみから、
デコード時刻及び表示時刻の各タイムスタンプの算出を
行なうためには、表示順と符号化順とのずれの最大値の
遅延をもって、符号化データのヘッダ情報の解析を順次
行なわなければならない。実時間で、符号化、伝送、及
び復号を行なう伝送システムにおいては、この遅延量は
無視できないものとなる。
【0008】動画像、音声等の各情報源からの情報を個
別に符号化して符号化データストリームを求め、それら
を多重し1本化した多重化ビットストリームを得るまで
の全ての処理において、単一のタイムベースへの同期を
仮定した情報多重化装置では、時刻と符号化ビット数お
よび符号化レートとは、完全に1対1の関係付けをする
ことが可能となる。従って、多重化装置におけるパケッ
ト多重化順の選択やタイムスタンプ等の計算は、符号化
データストリームから得られる仮想的なタイムベースに
基づいて、論理的に計算することが可能となる。
【0009】このような情報多重化装置においては、多
重化処理はソフトウェア処理のみで実現可能となり、実
時間管理のための専用ハードウェアに対して、低コスト
で且つ汎用性のあるシステム構築が可能となる。
【0010】一方、実時間管理を伴わないソフトウェア
処理による多重化処理では、多重化処理のスループット
は、少なくとも実符号化レートよりも十分速いことが要
求される。従って、多重化処理はバースト的に行なわ
れ、ソフトウェア上の仮想的なタイムベースと実タイム
ベースとの間には、大きなジッタを伴うことになる。
【0011】このジッタは、通常、送信バッファで吸収
する必要があるが、実時間伝送を用いて符号化および復
号化を行なう場合は、バッファ遅延量を極力小さくする
ことが求められる。また、受信側においても、ジッタ吸
収のための入力バッファ遅延を、必要以上に大きくとる
ことは好ましくない。そのため、受信側において入力バ
ッファ遅延を最小化し、符号化データストリームの入力
時刻から、通常の復号動作を開始することを仮定する
と、多重化部の仮想タイムベースと実時刻とのずれのた
めに、多重化ビットストリームの伝送開始時刻の前倒し
が起こった場合、伝送路あるいは受信側でのアンダーフ
ローを起こす可能性が生じる。
【0012】そこで、本発明は、以上の問題点に鑑みて
なされたものであり、動画像、音声、その他の符号化デ
ータの復号化時刻、表示時刻等に関する符号化パラメー
タを、そのヘッダ情報とは独立に多重化部へ入力するこ
とにより、ヘッダ情報の解析のために生じる多重化遅延
を減少できる情報多重化装置を提供することを目的とす
る。
【0013】また、本発明は、多重化部の入力バッファ
の状態から実時刻を推定し、多重化ビットストリーム送
出開始の制御を行なうことにより、実時間管理が容易に
行え、上記のアンダーフローを防ぐとともに、複雑なハ
ードウェアを必要としない情報多重化装置を提供するこ
とを目的とする。
【0014】
【課題を解決するための手段】本発明の情報多重化装置
は、少なくとも動画像の符号化データと音声の符号化デ
ータをパケット化して多重化する多重化手段と、この多
重化手段で多重化されて得られた多重化データを出力す
る出力手段と、動画像データを符号化する際に得られる
符号化パラメータを入力する入力手段とを具備し、前記
多重化手段は、前記入力手段で入力された符号化パラメ
ータをもとに、前記動画像の符号化データの復号・再生
の時刻管理情報を算出して、それを前記動画像の符号化
データのパケットに付加して多重することにより、タイ
ムスタンプ等の復号・再生の時刻管理情報を算出するた
めにヘッダ情報の解析により生じる多重化遅延を減少で
きる。
【0015】また、本発明の情報多重化装置は、入力さ
れた少なくとも動画像の符号化データと音声の符号化デ
ータをそれぞれ一時蓄積する複数のバッファと、この複
数のバッファのそれぞれに蓄積された符号化データをパ
ケット化して多重化する多重化手段と、この多重化手段
で多重化されて得られた多重化データを出力する出力手
段とを具備し、前記多重化手段は、前記バッファに一時
蓄積される符号化データのうち、前記バッファの占有量
の推移が時間基準となり得る符号化データの前記バッフ
ァの占有量を基に、多重化処理を開始するタイミングを
決定することにより、ソフトウエアによる実時間管理が
容易に行え、復号側の受信バッファにおけるアンダーフ
ローを防ぐとともに、複雑なハードウェアを必要としな
い。
【0016】また、本発明の情報多重化装置は、入力さ
れた少なくとも動画像の符号化データと音声の符号化デ
ータをそれぞれ一時蓄積する複数のバッファと、この複
数のバッファのそれぞれに蓄積された符号化データをパ
ケット化して多重化する多重化手段と、この多重化手段
で多重化されて得られた多重化データを出力する出力手
段とを具備し、前記多重化手段は、前記符号化データを
解析することにより符号化フレーム数を計数し、この計
数値を基に多重化処理を開始するタイミングを決定する
ことにより、ソフトウエアによる実時間管理が容易に行
え、復号側の受信バッファにおけるアンダーフローを防
ぐとともに、複雑なハードウェアを必要としない。従っ
て、情報の符号化、伝送、復号化の実時間管理と、個別
に符号化された情報の同期多重が容易に行える情報多重
化装置を提供できる。
【0017】
【発明の実施の形態】本発明の一実施形態について図面
を参照して説明する。 (第1の実施形態)図1は、本発明の第1の実施形態に
係る情報多重化装置の構成を概略的に示したブロック図
である。
【0018】図1では、1チャンネルの動画像信号10
とnチャンネルの音声信号と1チャンネルのデータ信号
を多重化する場合について示している。動画像(ビデ
オ)信号10、複数本の音声信号11−1〜11−n
は、それぞれ動画像符号化装置15、音声符号化装置1
6−1〜16−nに入力されて符号化され、個別の符号
化データとして入力バッファ23、24−1〜24−n
へそれぞれ入力される。
【0019】符号化を必要としない、あるいは、既に符
号化されたデータストリーム14も、同様に入力バッフ
ァ25へ入力される。入力バッファ23、24−1〜2
4−nに一時蓄積された各符号化データおよび入力バッ
ファ25に一時蓄積されたデータは、それぞれ、パケッ
ト化処理部33、34−1〜34−n、35で個別にパ
ケット化され、さらに、これらパケットが多重化処理部
43で多重化されて多重化ビットストリームが得られ
る。この多重化ビットストリーム44は、出力バッファ
45に一時蓄積されてから、所定のタイミングに従っ
て、例えば、ネットワークを介して伝送されるようにな
っている。
【0020】動画像(ビデオ)および音声信号のパケッ
ト化処理部33、34−1〜34−nには、それぞれの
符号化装置15、16−1〜16−nで動画像、音声を
符号化する際に得られる符号化パラメータがサイド情報
50〜53として入力するようになっている。
【0021】サイド情報には、符号化ビットレート、フ
レーム符号化データ長、表示フレームレート、各フレー
ムの表示期間、ビデオ符号化の予測構造に関わるパラメ
ータ等を含むことが可能である。
【0022】パケット化処理部33、34−1〜34−
nでは、これらのサイド情報を用いてパケット化、タイ
ムスタンプの算出、多重化順の決定等を行なうようにな
っている。
【0023】また、これらのサイド情報の一部は、入力
される符号化データを文法解析することにより抽出する
ことも可能である。図2は、MPEGビデオ符号化にお
けるフレームの処理順序とその並びについて説明するた
めのものである。
【0024】MPEGビデオ符号化では、フレーム内符
号化画像(Iピクチャ)、前方予測符号化画像(Pピク
チャ)および両方向予測符号化画像(Bピクチャ)を組
み合わせた符号化が可能である。ただし、Bピクチャを
含む場合は、符号化順序と表示順序は異なるものとな
る。
【0025】図2では、IピクチャおよびPピクチャの
間に、常にBピクチャが2フレーム入る予測構造を用い
た場合の例である。この場合、復号化側では、Iピクチ
ャおよびPピクチャは復号化された時刻から3フレーム
期間経過した後に表示され、その間は復号化装置のフレ
ームメモリに記憶され、予測画像の参照画像として復号
化処理に用いられる。
【0026】MPEGのシステム多重化規格では、ビデ
オ及び音声を多重化して伝送する際に、復号すべき時刻
(DTS:Decoding Time Stamp)
と表示すべき時刻(PTS: Presentatio
n Time Stamp)を、MPEGシステム規格
で規定されるヘッダ情報に多重化して伝送される。
【0027】図2のでは、IピクチャおよびPピクチャ
のPTSは、該ピクチャのDTSに対して3フレーム期
間の時間だけ加算して算出する。また、得られたPTS
は、次に符号化されたIピクチャまたはPピクチャのD
TSとして用いることができる。
【0028】しかし、図3に示すように、Iピクチャま
たはPピクチャに挟まれたBピクチャの数は、任意に変
更可能であり、一般には前述のようにDTSからPTS
を算出することは不可能である。通常、あるIピクチャ
またはPピクチャに対して、その次に符号化されたIピ
クチャまたはPピクチャが入力された時点で、その間に
含まれるBピクチャの数が確定する。従って、図1の動
画像のパケット化処理部33では、IまたはPピクチャ
は入力と同時にタイムスタンプの計算をすることができ
ず、その次に符号化されたIピクチャまたはPピクチャ
の符号化データが得られるまでの多重化遅延を生じるこ
とになる。
【0029】第1の実施形態における情報多重化装置で
は、IピクチャまたはPピクチャのフレーム間隔を符号
化装置15からサイド情報としてパケット化処理部33
に入力することにより、各IピクチャまたはPピクチャ
の符号化データが得られると同時に、パケット化に必要
なタイムスタンプの算出が容易に行え、前述の多重化遅
延を生じることなくパケット化および多重化処理が可能
となる。
【0030】また、IピクチャまたはPピクチャの間隔
を常に一定として符号化を行なう場合は、その一定値を
例えば符号化開始前にパケット化処理部33に入力する
ことも可能である。
【0031】さらに、MPEG2ビデオ符号化において
は、図4に示すように符号化された1フレームを表示す
る期間は、2フィールドあるいは3フィールドと任意に
設定することが可能となっている。これは、フレーム周
期24Hzの映画のソースを、フレーム周期30Hzの
受像器でフレームレート変換して表示させる場合等に用
いられる。この場合、IピクチャまたはPピクチャの間
隔を常に一定として符号化した場合においても、各Iピ
クチャまたはPピクチャのDTSとPTSの間隔は一定
値とはならず、前述した理由により一般に多重化遅延を
生じる。
【0032】第1の実施形態における情報多重化装置で
は、IピクチャまたはPピクチャのフレーム間隔を符号
化フレームの表示する期間を考慮したフィールド数とし
て、動画像符号化装置15からパケット化処理部33に
サイド情報として入力することにより、前述の多重化遅
延を生じることなくパケット化および多重化処理が可能
となる。
【0033】図7は、MPEGビデオ符号化データのデ
ータ構造の一例を示したもので、ビデオシーケンス全体
に関わるシーケンスヘッダ、Iピクチャで始まる15ピ
クチャ程度の単位でグループ化したピクチャ集合(GO
P:Group Of Pictures)に関わるG
OPヘッダ、および、各ピクチャのヘッダと符号化デー
タとから構成される。
【0034】図7に示した構成の符号化データは、動画
像符号化装置15から出力され、入力バッファ23を介
してパケット化処理部33に入力される。パケット化処
理部33には、図7に示したような構成のデータが入力
バッファ23から入力されるとともに、動画像符号化装
置15からは、IピクチャまたはPピクチャのフレーム
間隔、あるいは、そのフレーム間隔を符号化フレームの
表示する期間を考慮したフィールド数で表した値がサイ
ド情報として入力され、このサイド情報をもとに、パケ
ット化に必要なタイムスタンプ(DTS、PTS)の算
出を行い、図7に示した構成のデータ列がパケット化さ
れると、算出されたタイムスタンプが付加されて多重化
処理部43に出力される。 (第2の実施形態)図5は、本発明の第2の実施形態に
係る情報多重化装置の構成を概略的に示したブロック図
である。
【0035】図5において、図1と同一部分には同一符
号を付し、異なる部分について説明する。すなわち、図
5に示した情報多重化装置は、動画像及び音声の符号化
装置15、16−1〜16−nとパケット化処理部3
3、34−1〜34−nを制御する制御部60を具備し
ている。また、図1で示した動画像および音声符号化装
置15、16−1〜16−nでの符号化の際に得られる
サイド情報は、制御部60を介してパケット化処理部3
3、34−1〜34−nへ入力するようになっている。 (第3の実施形態)図6は、本発明の第3の実施形態に
係る情報多重化装置の構成を概略的に示したブロック図
である。
【0036】図6において、図1と同一部分には同一符
号を付し、異なる部分について説明する。すなわち、図
6に示した情報多重化装置は、第1の実施形態で示した
サイド情報のうち、特にタイムスタンプの算出に必要な
データ等を各符号化データ中に多重化して、符号化装置
15、16−1〜16−nから出力するようになってい
る。
【0037】図7に示したMPEGビデオ符号化データ
のデータ構造では、例えば、各ヘッダに続けてユーザデ
ータを多重化することも可能である。その場合のユーザ
データの多重化例を図8〜図10を参照して説明する。
【0038】図8では、シーケンスヘッダに続いてユー
ザーデータを多重化している。このユーザデータには、
前述のIピクチャまたはPピクチャの間隔に関わるパラ
メータが含まれていて、パケット化処理部では、このパ
ラメータに応じてタイムスタンプの算出を行なう。Iピ
クチャまたはPピクチャの間隔が1単位のシーケンスを
通して一定で、前述のフレームレート変換を用いない場
合は、この手法を用いて多重化遅延を低減することが可
能である。
【0039】図9では、GOPヘッダに続いてユーザー
データを多重化している。このユーザデータには、前述
のIピクチャまたはPピクチャの間隔に関わるパラメー
タが含まれていて、パケット化処理部では、このパラメ
ータに応じてタイムスタンプの算出を行なう。Iピクチ
ャまたはPピクチャの間隔がGOP単位に可変となり、
前述のフレームレート変換を用いない場合は、この手法
を用いて多重化遅延を低減することが可能である。
【0040】図10では、ピクチャヘッダに続いてユー
ザーデータを多重している。このユーザデータには、前
述のIピクチャまたはPピクチャの間隔に関わるパラメ
ータが含まれていて、パケット化処理部43では、この
パラメータに応じてタイムスタンプの算出を行なう。こ
の場合は、任意の予測構造について、常に多重化遅延な
くタイムスタンプの算出が可能となる。
【0041】以上、説明したように、上記第1から第3
の実施形態によれば、MPEGシステム等のタイムスタ
ンプの多重化が必要な多重化方式において、動画像、音
声等の情報を符号化装置15、16−1〜16−nで符
号化する際に得られる、入力順と符号化順との関係を示
すパラメータや、フレームの表示継続時間を表すパラメ
ータ等をサイド情報として、パケット化処理部33、3
4−1〜34−nへ入力し、パケット化処理部33、3
4−1〜34−nでは、入力されたパラメータに従って
順次タイムスタンプの算出をおこうことで、符号化デー
タのヘッダ部を解析して得られた情報をもとにタイムス
タンプを算出する従来の方式と比較すると、低遅延での
多重化処理を実現することが可能となる。通常、符号化
データを解析してタイムスタンプの算出を行なう場合、
数フレームの遅延が原理的に生じるが、本発明ではタイ
ムスタンプの算出のための原理的な遅延は生じないもの
となる。
【0042】符号化パラメータを含むサイド情報は、符
号化データと独立の経路から入力してもよいが、符号化
データに予め多重化して入力することにより、ハードウ
ェアを簡略化することも可能である。
【0043】符号化パラメータは、フレーム単位に動的
に変化するものであれは、順次パケット化処理部へ入力
し、またシーケンス単位に一定のものであれは、1つの
シーケンスに対して1度だけパケット化処理部へ入力す
ることで実現可能である。
【0044】(第4の実施形態)図11は、本発明の第
4の実施形態に係る情報多重化装置の構成を概略的に示
したブロック図である。なお、図11において、図1と
同一部分には同一符号を付し、異なる部分について説明
する。
【0045】図11において、パケット化処理部33、
34−1〜34−n、35及び多重化処理部43では、
仮想的なタイムベースに従って、タイムスタンプの多重
化、および多重化順の制御を順次行なう。
【0046】制御部48は、入力バッファ23、24−
1〜24−n、25に入力された符号化データのバッフ
ァ占有量を監視して、多重化処理部43に符号化データ
の多重化処理および送出の開始時を通知する多重化ビッ
トストリームの送信開始のタイミング制御を行うもので
ある。例えば、各入力バッファの占有量が、固定レート
で入力される音声の符号化データの入力バッファ占有量
から論理的に導き出されるデータ転送開始タイミングの
時刻に相当するバッファ占有量となったタイミングを多
重化処理部43に通知するようになっている。
【0047】図12は、図11の情報多重化装置の要部
(図11の点線で囲まれた部分で、以下、多重化部47
と呼ぶ)の構成をより具体的に示したものである。符号
化装置15、16−1〜16−nで符号化されて出力さ
れた動画像、音声の符号化データ19、20−1〜20
−n及びその他のデータ14は、それぞれ符号化データ
入力装置100、101−1〜101−n、102に入
力され、さらに、DMAコントローラ110、111−
1〜111−n、112により、それぞれ、データバス
120を介して、メインメモリ125上に構成される入
力バッファ130、131−1〜131−n、132へ
と転送される。
【0048】転送された各データは、図11のパケット
化処理部33、34−1〜34−n、35と多重化処理
部43の機能に相当する処理動作を司るCPU140お
よびソフトウェア141により、多重化ビットストリー
ムに変換され、メインメモリ125内の出力バッファ1
50に書き込まれる。
【0049】出力バッファ150に書き込まれた多重化
ビットストリームは、DMAコントローラ161によ
り、データバス120を介して出力装置162から伝送
路へと出力される。
【0050】ここで、CPU140および多重化ソフト
ウェア141は、多重化ビットストリームの出力ビット
数をカウントすることにより仮想タイムベースの更新を
行ない、また、後述する第5の実施形態においては、各
入力符号化データの符号化フレーム数をカウントして、
タイムスタンプの更新等を行なう処理を司るようになっ
ている。CPU140および多重化ソフトウェア141
は、図11の制御部48、後述の図18の制御部349
を構成する。
【0051】図13および図14は、バッファを用いた
同期方法について説明するための図である。図13にお
いて、170および174は符号化データ、171は送
信(出力)バッファ、172は伝送路、173は受信
(入力)バッファを示している。この送信バッファ及び
受信バッファは、平滑化バッファとも呼ばれる。
【0052】符号化データ170は、送信バッファ17
1に入力されて一時蓄積されて遅延させられた後、伝送
路172を介して受信バッファ173に入力される。伝
送された符号化データは、受信バッファ173において
も同様に遅延が加えられた後に出力される。
【0053】ここで、送信バッファ171での遅延量と
受信バッファ173での遅延量の和が常に一定となるよ
うに制御することにより、符号化データ170が送信バ
ッファ171へ入力してから受信バッファ173から出
力されるまでの総遅延量が常に一定となり、送受信で同
期したデータ転送が可能となる。
【0054】図14は、図13の平滑化バッファを用い
た場合の送受信のタイミングチャート示したものであ
る。図14において、例えば、動画像の1フレームの画
像データが所定間隔で符号化されて、1フレーム毎に符
号量が異なる符号化データが生成され、送信バッファ1
71に順次送られる。
【0055】190は送信バッファ171での滞留時間
を示しており、192は受信バッファ173での滞留時
間を示している。平滑化バッファの原理より、送信バッ
ファ171での滞留時間と受信バッファ173での滞留
時間は、それぞれ時間的に変動する場合もあるが、その
和である送受信間の総遅延量は常に一定となるように制
御せされている。
【0056】MPEGビデオ符号化のようにフレーム単
位の符号量が変動する符号化方式では、送受信バッファ
171を用いた伝送符号量の平滑化が行なわれる。前述
のように、送信側では符号化データが入力されてから、
送信バッファ171による遅延の後に出力される。送信
バッファ171及び受信バッファ173のサイズは、い
ずれも規定された有限値であるため、各バッファでの遅
延量は、それぞれのバッファでアンダーフローおよびオ
ーバーフローを起こさないように厳密に制御されなけれ
ばならない。
【0057】図15は、起動時における送信側の各符号
化データの多重化処理部43における入力バッファ占有
量を示している。画像および音声の各符号化データは、
符号化方式および符号化パラメータに固有な符号化遅延
をもって、入力バッファ130、131−1〜131−
nに入力され、さらに前述の送信バッファ遅延に相当す
る時間をへてから、多重化されて送出される。
【0058】図15において、201は画像の符号化デ
ータ、202および203はそれぞれ音声の符号化デー
タであり、この3つのデータを多重化する場合の例を示
したものである。図15では、全ての符号化データは一
定レートで多重化部47に入力される場合の入力バッフ
ァ占有量の初期状態からの推移を示したものである。こ
こで、画像の符号化データは、送信側の遅延を持つため
時刻204のタイミングで伝送を開始し、音声の符号化
データ202および203は、それぞれ時刻206及び
207のタイミングから多重化および送信を開始する必
要があるものとする。
【0059】動画像の符号化データのように、フレーム
単位の符号量が変動する場合、符号化対象であるフレー
ムの入力間隔と、それを符号化して得られる符号量と符
号化レート等が完全に1対1に関係付けされないので、
多重化部47の機能をソフトウェアで実現した場合、前
述のバッファによる平滑化を行うだけでは、実時間(実
時刻)の管理は通常困難となる。
【0060】すなわち、送信側で(本発明の多重化ビッ
トストリームの送信開始のタイミング制御を行なわず
に)送出を前倒しで開始すると、多重化部47の仮想タ
イムベースと実時刻とのずれのために、受信側でのアン
ダーフローを起こす可能性が生じる。
【0061】このように、実時間の管理とは、動画像の
符号化データの場合、1符号化単位である1フレーム
(画面)の符号量をも考慮することにより、受信側の復
号器で実際の画面間隔を保持して符号化データを復号で
きるような送信側における符号化データの送信タイミン
グの管理制御とも言える。
【0062】そこで、ある特定の動画像あるいは音声の
符号化データ、例えば、常に固定ビットレートで入力さ
れるような音声の符号化データ202)の入力バッファ
占有量を監視し、この固定ビットレートから論理的に導
き出されるデータ転送開始タイミングの時刻(例えば、
図15では時刻204)に相当するバッファ占有量(例
えば、図15では入力バッファ占有量205)となった
時点から、多重化処理及び送出を開始する多重化ビット
ストリームの送信開始のタイミング制御を行う。これに
より、前述したような受信バッファにおけるアンダーフ
ローは防ぐことが可能となる。
【0063】図16では動画像の符号化データ210が
多重化部47にバースト的に入力される場合の入力バッ
ファ占有量の初期状態からの推移を示し、図17は、動
画像の符号化データ220が多重化部47に入力レート
が時間変動しながら入力される場合の入力バッファ占有
量の初期状態からの推移を示したものである。
【0064】入力が固定レートでない場合、バッファ占
有量から実時刻を推定することは困難であるが、固定レ
ートで入力される付随の音声符号化データ(図16の2
12、図17の222)がある場合、図15の説明と同
様にして、その符号化データに関する多重化部47の入
力バッファ占有量から、論理的に導き出されるデータ転
送開始タイミングの時刻(例えば、図16では時刻21
4、図17では時刻224)に相当するバッファ占有量
(例えば、図16では入力バッファ占有量215、図1
7では、入力バッファ占有量225)となった時点か
ら、多重化処理及び送出を開始する多重化ビットストリ
ームの送信開始のタイミング制御を行う。
【0065】(第5の実施形態)図12に示した多重化
部47の構成では、各符号化データの入力バッファ13
0、131−1〜131−n、132がメインメモリ1
25上に構成されるため、そのデータはソフトウェアか
ら透過的なものとなる。したがって、入力バッファ内の
符号化データの占有量を計測する代わりに、その符号化
フレーム数をカウントし、それから多重化開始タイミン
グを制御するための現在時刻を導きだす構成としてもよ
い。
【0066】図18は、第5の実施形態に係る情報多重
化装置の構成を概略的に示したブロック図である。図1
8は、動画像及び音声の組である複数のプログラムを、
同時に符号化および多重化する場合を示している。ここ
では、実時間で符号化される動画像および音声で構成さ
れるプログラムCh1とCh2、および事前に符号化さ
れ、蓄積メディアに記録されているプログラムCh3の
計3Chのプログラムを同時に多重するものである。図
18の情報多重化装置の要部(図18の点線で囲まれた
部分で、以下、多重化部347と呼ぶ)の詳細な構成
は、図12と同様である。
【0067】動画像(ビデオ)信号300と音声信号3
01、動画像信号302と音声画像303は、それぞれ
動画像符号化装置315、音声符号化装置316、動画
像符号化装置317、音声符号化装置318に入力され
て符号化され、個別の符号化データとして入力バッファ
323、324、325、326へそれぞれ入力され
る。
【0068】蓄積メディアから読み出されたプログラム
データ304も同様に入力バッファ327へ入力され
る。また、符号化を必要としない、あるいは、既に符号
化されたデータストリーム305も、同様に入力バッフ
ァ351へ入力するようにしてもよい。
【0069】各入力バッファに一時蓄積された各符号化
データ等は、それぞれ、パケット化処理部333〜33
7、353で個別にパケット化され、さらに、これらパ
ケットが多重化処理部343で多重化されて多重化ビッ
トストリームが得られる。この多重化ビットストリーム
344は、出力バッファ345に一時蓄積されてから、
所定のタイミングに従って、例えば、ネットワークを介
して伝送されるようになっている。
【0070】パケット化処理部333〜337、353
のそれぞれには、各入力バッファから入力される符号化
データ等のヘッダ部を抽出、解析するデータ解析部33
3a、334a、335a、336a、337a、35
3aを具備している。
【0071】制御部349は、これらデータ解析部での
解析結果を基に、動画像の符号化フレーム数をカウント
して、多重化開始タイミング制御、すなわち、実時刻を
算出し、多重化・送信するタイミングを多重化処理部3
43に通知するようになっている。なお、Ch1〜Ch
3の各プログラムについて、そのタイムベースが独立で
ある場合は、多重化ソフトウェアにおける仮想クロック
をそれぞれ独立に計算し、各プログラム毎に多重化開始
のタイミング制御を行なう。また、タイムベースが共通
なプログラムでは、多重化ソフトウェアにおける仮想ク
ロックも共通化して、多重化開始のタイミング制御を行
なうものとする。
【0072】以上、説明したように、上記第4の実施形
態によれば、個別に符号化された動画像、音声等の符号
化データとその他のデータを同期多重する際に、制御部
48は、各入力バッファのデータの占有量を監視し、固
定ビットレートで入力される特定の画像または音声の符
号化データについて、その固定ビットレートから論理的
に導き出されるデータ転送開始タイミングの時刻(例え
ば、図15では時刻204)に相当するバッファ占有量
(例えば、図15では入力バッファ占有量205)とな
った時点を多重化処理部43に通知し、多重化処理部4
3は、制御部48から通知されたタイミングに従って多
重化処理及び送出を開始することにより、実時間伝送に
も耐えうる多重化処理を、ソフトウェアのみで実現する
ことが可能なる。多重化部47をソフトウェアのみで実
現することにより、複雑なハードウェアによるタイミン
グ制御を行なう必要がなくなり、システム構成を簡略化
することができる。また、ソフトウェアによるカスタマ
イズが容易となり、様々なアプリケーションに対して柔
軟に対応可能となる。
【0073】また、本発明の第5の実施形態によれば、
個別に符号化された動画像、音声等の符号化データとそ
の他のデータを同期多重する際に、制御部349は、各
パケット化処理部のデータ解析部の解析結果をもとに、
動画像の符号化フレーム数をカウントして実時刻を算出
し、それを多重化処理部343に通知し、多重化処理部
343は、制御部349から通知されたタイミングに従
って多重化処理及び送出を開始することにより、実時間
伝送にも耐えうる多重化処理を、ソフトウェアのみで実
現することが可能なる。多重化部347をソフトウェア
のみで実現することにより、複雑なハードウェアによる
タイミング制御を行なう必要がなくなり、システム構成
を簡略化することができる。また、ソフトウェアによる
カスタマイズが容易となり、様々なアプリケーションに
対して柔軟に対応可能となる。さらに、上記第1から第
5の実施形態を適宜組み合わせて用いても有効である。
【0074】
【発明の効果】以上説明したように、本発明によれば、
動画像、音声、その他の符号化データの復号化時刻、表
示時刻に関する符号化パラメータを、そのヘッダ情報と
は独立に多重化部へ入力することにより、ヘッダ情報を
解析してタイムスタンプを算出するために生じる多重化
遅延を減少できる情報多重化装置を提供できる。
【0075】また、本発明によれば、固定ビットレート
で入力される特定の画像または音声の符号化データの入
力バッファ占有量、あるいは入力バッファ内の符号化フ
レーム数から、それらを実時刻への変換した値を用いて
多重化ビットストリーム送出開始の制御を行なうことに
より、実時間管理が容易に行え、伝送路あるいは復号側
の受信バッファのアンダーフローを防ぐとともに、複雑
なハードウェアを必要としない情報多重化装置を提供で
きる。このように、本発明の情報多重化装置によれば、
情報の符号化、伝送、復号化の実時間管理と、個別に符
号化された情報の同期多重が容易に行える。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る情報多重化装置
の構成を示したブロック図。
【図2】MPEGビデオ符号化におけるフレームの処理
順序とその並びについて説明するための図で、Bピクチ
ャの枚数が固定の場合を示している。
【図3】MPEGビデオ符号化における関わるフレーム
の処理順序とその並びについて説明するための図で、B
ピクチャの枚数が可変する場合について示している。
【図4】MPRGビデオ符号化における各符号化フレー
ムの表示期間について説明するための図。
【図5】本発明の第2の実施形態に係る情報多重化装置
の構成を示したブロック図。
【図6】本発明の第3の実施形態に係る情報多重化装置
の構成を示したブロック図。
【図7】第1の実施形態および第2の実施形態に係る情
報多重化装置におけるMPEGビデオ符号化データのデ
ータ構造の一例を示した図。
【図8】第3の実施形態に係る情報多重化装置における
MPEGビデオ符号化データのデータ構造の一例を示し
た図。
【図9】第3の実施形態に係る情報多重化装置における
MPEGビデオ符号化データのデータ構造の他の例を示
した図。
【図10】第3の実施形態に係る情報多重化装置におけ
るMPEGビデオ符号化データのデータ構造のさらに他
の例を示した図。
【図11】本発明の第4の実施形態に係る情報多重化装
置の構成を示したブロック図。
【図12】情報多重化装置の要部の構成をより詳細に示
したブロック図。
【図13】送受信バッファ(平滑化バッファ)を用いた
同期方法について説明するための図。
【図14】平滑化バッファの動作を説明するための図。
【図15】本発明に係る多重化処理および送信開始のタ
イミング制御について説明するための図で、全ての符号
化データは一定レートで多重化部に入力される場合の入
力バッファ占有量の初期状態からの推移を示している。
【図16】本発明に係る多重化処理および送信開始のタ
イミング制御について説明するための図で、動画像の符
号化データが多重化部にバースト的に入力される場合の
入力バッファ占有量の初期状態からの推移を示してい
る。
【図17】本発明に係る多重化処理および送信開始のタ
イミング制御について説明するための図で、動画像の符
号化データが多重化部に入力レートが時間変動しながら
入力される場合の入力バッファ占有量の初期状態からの
推移を示している。
【図18】本発明の第5の実施形態に係る情報多重化装
置の構成を示したブロック図。
【符号の説明】
15…動画像符号化装置、16−1〜16−n…音声符
号化装置、23、24−1〜24−n、25…入力バッ
ファ、33、34−1〜34−n、35…パケット化処
理部、43…多重化処理部、44…多重化ビットストリ
ーム、45…出力バッファ、47…多重化部、48、6
0…制御部、347…多重化部。

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも動画像の符号化データと音声
    の符号化データをパケット化して多重化する多重化手段
    と、 この多重化手段で多重化されて得られた多重化データを
    出力する出力手段と、 動画像データを符号化する際に得られる符号化パラメー
    タを入力する入力手段と、 を具備し、 前記多重化手段は、前記入力手段で入力された符号化パ
    ラメータをもとに、前記動画像の符号化データの復号・
    再生の時刻管理情報を算出して、それを前記動画像の符
    号化データのパケットに付加して多重することを特徴と
    する情報多重化装置。
  2. 【請求項2】 前記符号化パラメータは、動画像の符号
    化フレームの復号順から表示順への並び替えのパラメー
    タを含むことを特徴とする請求項1記載の情報多重化装
    置。
  3. 【請求項3】 前記符号化パラメータは、動画像の符号
    化フレームの表示期間に関するパラメータを含むことを
    特徴とする請求項1記載の情報多重化装置。
  4. 【請求項4】 前記入力手段で入力される符号化パラメ
    ータは、前記動画像の符号化データに多重されて入力す
    ることを特徴とする請求項1記載の情報多重化装置。
  5. 【請求項5】 入力された少なくとも動画像の符号化デ
    ータと音声の符号化データをそれぞれ一時蓄積する複数
    のバッファと、 この複数のバッファのそれぞれに蓄積された符号化デー
    タをパケット化して多重化する多重化手段と、 この多重化手段で多重化されて得られた多重化データを
    出力する出力手段と、 を具備し、 前記多重化手段は、前記バッファに一時蓄積される符号
    化データのうち、前記バッファの占有量の推移が時間基
    準となり得る符号化データの前記バッファの占有量を基
    に、多重化処理を開始するタイミングを決定することを
    特徴とする情報多重化装置。
  6. 【請求項6】 入力された少なくとも動画像の符号化デ
    ータと音声の符号化データをそれぞれ一時蓄積する複数
    のバッファと、 この複数のバッファのそれぞれに蓄積された符号化デー
    タをパケット化して多重化する多重化手段と、 この多重化手段で多重化されて得られた多重化データを
    出力する出力手段と、 を具備し、 前記多重化手段は、前記符号化データを解析することに
    より符号化フレーム数を計数し、この計数値を基に多重
    化処理を開始するタイミングを決定することを特徴とす
    る情報多重化装置。
JP5640596A 1996-03-13 1996-03-13 情報多重化装置 Expired - Fee Related JP3556381B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5640596A JP3556381B2 (ja) 1996-03-13 1996-03-13 情報多重化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5640596A JP3556381B2 (ja) 1996-03-13 1996-03-13 情報多重化装置

Publications (2)

Publication Number Publication Date
JPH09247670A true JPH09247670A (ja) 1997-09-19
JP3556381B2 JP3556381B2 (ja) 2004-08-18

Family

ID=13026270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5640596A Expired - Fee Related JP3556381B2 (ja) 1996-03-13 1996-03-13 情報多重化装置

Country Status (1)

Country Link
JP (1) JP3556381B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11317765A (ja) * 1998-05-06 1999-11-16 Nippon Telegr & Teleph Corp <Ntt> ストリームパケット化装置および方法
WO2004010707A1 (ja) * 2002-07-19 2004-01-29 Sony Corporation 符号化装置、符号化方法、復号化装置及び復号化方法
WO2006059796A1 (ja) * 2004-12-02 2006-06-08 Sony Corporation 符号化装置および方法、並びにプログラム
JP2007058541A (ja) * 2005-08-24 2007-03-08 Matsushita Electric Ind Co Ltd プロセッサ、処理方法及び処理プログラム
US7551672B1 (en) 1999-02-05 2009-06-23 Sony Corporation Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
JP2009303059A (ja) * 2008-06-16 2009-12-24 Canon Inc 動画像処理システム、動画像処理方法、プログラム及び記憶媒体
JP2010220267A (ja) * 2002-07-19 2010-09-30 Sony Corp 符号化装置、符号化方法、復号化装置及び復号化方法
JP2011109665A (ja) * 2009-11-18 2011-06-02 Tektronix Internatl Sales Gmbh コード化タイミング情報のないビデオ・エレメンタリ・ストリームをマルチプレクスする方法及び装置
US8467444B2 (en) 2008-06-16 2013-06-18 Canon Kabushiki Kaisha Information processing system, information processing apparatus, information processing method, and program
JP2015507407A (ja) * 2011-12-28 2015-03-05 インテル コーポレイション ビデオエンコーディングシステムにおける集積メタデータ挿入システム及び方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11317765A (ja) * 1998-05-06 1999-11-16 Nippon Telegr & Teleph Corp <Ntt> ストリームパケット化装置および方法
US7551672B1 (en) 1999-02-05 2009-06-23 Sony Corporation Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
US8160134B2 (en) 1999-02-05 2012-04-17 Sony Corporation Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
US8228988B2 (en) 2002-07-19 2012-07-24 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
US20050238099A1 (en) * 2002-07-19 2005-10-27 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
KR100960821B1 (ko) * 2002-07-19 2010-06-07 소니 주식회사 복호화 장치 및 복호화 방법
JP2010220267A (ja) * 2002-07-19 2010-09-30 Sony Corp 符号化装置、符号化方法、復号化装置及び復号化方法
JP2004056827A (ja) * 2002-07-19 2004-02-19 Sony Corp 符号化装置、符号化方法、復号化装置及び復号化方法
WO2004010707A1 (ja) * 2002-07-19 2004-01-29 Sony Corporation 符号化装置、符号化方法、復号化装置及び復号化方法
US8259799B2 (en) 2002-07-19 2012-09-04 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
WO2006059796A1 (ja) * 2004-12-02 2006-06-08 Sony Corporation 符号化装置および方法、並びにプログラム
JP2007058541A (ja) * 2005-08-24 2007-03-08 Matsushita Electric Ind Co Ltd プロセッサ、処理方法及び処理プログラム
JP2009303059A (ja) * 2008-06-16 2009-12-24 Canon Inc 動画像処理システム、動画像処理方法、プログラム及び記憶媒体
US8467444B2 (en) 2008-06-16 2013-06-18 Canon Kabushiki Kaisha Information processing system, information processing apparatus, information processing method, and program
JP2011109665A (ja) * 2009-11-18 2011-06-02 Tektronix Internatl Sales Gmbh コード化タイミング情報のないビデオ・エレメンタリ・ストリームをマルチプレクスする方法及び装置
JP2015507407A (ja) * 2011-12-28 2015-03-05 インテル コーポレイション ビデオエンコーディングシステムにおける集積メタデータ挿入システム及び方法

Also Published As

Publication number Publication date
JP3556381B2 (ja) 2004-08-18

Similar Documents

Publication Publication Date Title
US6516005B1 (en) Apparatus and method for data decoding
KR100786925B1 (ko) 데이터 다중화 장치, 데이터 다중화 방법, 및 기록 매체
JP3666625B2 (ja) データ記録方法およびデータ記録装置
JPH09205618A (ja) 動画像音声伸張再生装置および動画像音声同期制御器
US8526501B2 (en) Decoder and decoding method based on video and audio time information
KR20030012761A (ko) 데이터 다중화 방법, 데이터 기록 매체, 데이터 기록 장치및 데이터 기록 프로그램
US8755413B2 (en) Method and system for dynamically allocating video multiplexing buffer based on queuing theory
KR100981378B1 (ko) 비디오 데이터 및 보조 데이터의 판독-동기화를 위한 디바이스 및 방법, 및 이와 연관된 제품
JP3556381B2 (ja) 情報多重化装置
EP0944268A2 (en) Data recording method and data recording apparatus
US6754273B1 (en) Method for compressing an audio-visual signal
JP2001204032A (ja) Mpeg復号装置
JP2006190213A (ja) メディア再生装置
JP3750760B2 (ja) 繰返し使用データ挿入装置およびディジタル放送送信システム
JP2872104B2 (ja) タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法
KR100233937B1 (ko) 타임스탬프 보상을 이용한 비디오와 오디오 동기 방법 및 이를 이용한 엠펙-2(mpeg-2) 인코더 장치
JP2005151463A (ja) ストリームデータ受信装置およびストリームデータ受信方法
CN111726669B (zh) 一种分布式解码设备及其音视频同步的方法
JPH09247666A (ja) 動画像復号タイミング推定方法および動画像符号化装置および動画像復号化装置
JP2823806B2 (ja) 画像復号装置
JP2001231035A (ja) 復号同期制御装置、復号装置、及び復号同期制御方法
JP2001339688A (ja) トランスポートストリーム再生装置
JP2001346166A (ja) 圧縮符号化データ再生方法および装置
KR0138123B1 (ko) 엠피이지-2(mpeg-2) 시스템에서 타임 스템프를 코팅하는 장치
JPH099215A (ja) データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040512

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees