JPH11187364A - データ多重化装置とその方法 - Google Patents

Abstract

(57)【要約】 【課題】多重化出力データ量をバイト単位で規定する
と、多重化データ量と目標データレートとの間に差が生
じる。 【解決手段】目標データレートに基づいて生成される符
号化ビデオデータより、１映像期間に対応する符号化ビ
デオデータのデータ量を検出し、そのうちバイトを単位
として処理できるデータを多重化データとして音声デー
タなどと多重化し、トランスポートストリームを生成す
る。バイト未満の残存データは、次の映像期間に生成さ
れた符号化ビデオデータと統合される。生成した符号化
ビデオデータに、順次前の映像期間のバイト未満の残存
データを含めながら、バイトを単位とする多重化データ
を抽出し、その映像期間に対応する多重化ビデオデータ
としてトランスポートストリームに多重化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像データおよび
音声データを多重化し、ＭＰＥＧ方式(Moving Picture
coding Experts Groupによる高品質動画符号化方式) の
トランスポートストリームを生成するデータ多重化装置
およびその方法に関する。

【０００２】

【従来の技術】映像データおよび音声データをＭＰＥＧ
方式などにより圧縮符号化し、所定の伝送パケットに多
重化して視聴者に配信するディジタルテレビジョン放送
が実用化されつつある。ＭＰＥＧ方式においては、音声
・映像データを多重化する場合、送信側で、受信側の伸
長復号装置のバッファ残量を考慮する必要がある。つま
り、ＭＰＥＧ方式の規格に定められている伸長復号装置
の受信バッファに、オーバーフローもアンダーフローも
生じないように、送信側がそのデータ量を管理して、音
声・映像データの多重化し送信することになっている。

【０００３】しかし実際には、受信バッファにオーバフ
ローやアンダーフローなどの破綻が生じなくても、たと
えば音声データに１秒以上の時間間隔が空く場合などデ
ータの伝送間隔が長すぎると、受信側で正常に音声デー
タを再生できなくなる可能性があるという問題がある。
また、受信バッファが破綻しないように音声・映像デー
タの圧縮符号化および多重化を管理するための処理は複
雑であり、浮動小数点演算も必要とするため処理時間が
長くかかるという問題もある。そのため、受信側の伸長
復号装置の受信バッファの残り記憶容量を厳密に管理す
る必要なく、浮動小数点演算を用いない整数演算のみの
簡単な処理で、受信バッファに破綻を生じさせず、なお
かつ適切に音声・映像データを再生できるように、音声
・映像データを伝送パケットに多重化し送信することが
できるデータ多重化装置が要望されている。

【０００４】そのような要望に応えるデータ多重化装置
として、本願出願人に係わる特願平９−７１８３４号に
記載のデータ多重化装置がある。このデータ多重化装置
においては、１ビデオフレーム期間を単位として各デー
タの多重化を管理することにより、受信バッファを厳密
に管理しなくとも、受信バッファを破綻させることなく
適切に音声・映像データを送信できるようにしている。
またそのために、簡単な演算処理により、１ビデオフレ
ーム期間に送信すべき各データのデータ量を決定できる
ようにしている。

【０００５】具体的には、このデータ多重化装置におい
ては、目標データレートに基づいて１ビデオフレーム期
間のデータ量を求め、各ビデオフレーム期間の多重化デ
ータ量がその求められたデータ量になるように多重化を
管理している。そして、この時に目標のデータ量がバイ
ト単位の値となるようにすることで、ビデオエンコーダ
部とトランスポートストリームを生成する多重化部との
間の整合性をとり、制御が簡単になるようにしている。
したがって、たとえば５２５／６０システム（フレーム
周波数は２９．９７［Ｈｚ］）のビデオデータを、目標
データレート４［Ｍｂｐｓ］で符号化する場合には、式
１により求められたデータ量の小数点以下を切り捨て
て、１ビデオフレーム期間に多重化するビデオデータ量
を１６６８３バイトとし、この値でビデオストリームの
多重化を制御している。

【０００６】

【数１】 ４×１００００００／２９．９７＝１６６８３．３５［バイト］ ・・・（１）

【０００７】

【発明が解決しようとする課題】しかしながら、前述し
た多重化制御方法は、多重化出力データ量をバイト単位
の値で規定しているため、出力される多重化データ量と
目標データレートとの間に差があるという問題があり、
より高精度に目標データレートに近いデータ量に多重化
データ量を制御したいという要望がある。また、このよ
うなＭＰＥＧ符号化多重化装置において、処理できるビ
ットレートに制限があるということは、装置の使い勝手
が悪いとの印象を与えるという問題も生じる。

【０００８】したがって、本発明の目的は、任意の目標
データレートを設定することができ、この目標データレ
ートにより近い高精度のデータレートでビデオデータを
多重化することができ、さらにこの多重化データ量の制
御を、受信装置の受信バッファの記憶容量を厳密に管理
しないより簡単な処理で、受信バッファに破綻を生じさ
せないように行い、ビデオデータをトランスポートスト
リームに適切に多重化し送信することができるデータ多
重化装置およびその方法を提供することにある。

【０００９】

【課題を解決するための手段】前記課題を解決するため
に、１ビデオフレーム当たりの多重化データ量を、ビッ
トを単位としたデータ量で管理することができるように
し、端数を切り捨ててバイト単位としたことによる誤差
をなくすようにした。そして、そのために、バイト以下
の端数のデータを適宜補正しながら多重化できるように
した。

【００１０】したがって本発明のデータ多重化装置は、
目標データレートに基づいて順次所定の映像データを生
成する映像データ生成手段と、前記順次生成される映像
データの１映像期間ごとのデータ量を生成データ量とし
て検出する生成データ量検出手段と、前記検出されたデ
ータ量と当該映像期間の前までに生成された映像データ
であって未だ多重化されていない映像データのデータ量
との合計のデータ量以下で、所定の多重化単位データ量
の倍数となる最大のデータ量を、当該映像期間に対応し
て多重化する映像データの多重化データ量として検出す
る多重化データ量検出手段と、前記当該映像期間の前ま
でに生成された映像データであって未だ多重化されてい
ない映像データおよび当該映像期間に前記生成された映
像データのうち、前記検出された多重化データ量の映像
データを前記所定のデータと多重化する多重化手段とを
有する。

【００１１】また、本発明のデータ多重化方法は、目標
データレートに基づいて順次所定の映像データを生成
し、前記順次生成される映像データの１映像期間ごとの
データ量を生成データ量として検出し、前記検出された
生成データ量と当該映像期間の前までに生成された映像
データであって未だ多重化されていない映像データのデ
ータ量との合計のデータ量以下で、所定の多重化単位デ
ータ量の倍数となる最大のデータ量を、当該映像期間に
対応して多重化する映像データの多重化データ量として
検出し、前記当該映像期間の前までに生成された映像デ
ータであって未だ多重化されていない映像データおよび
当該映像期間に前記生成された映像データのうち、前記
検出された多重化データ量の映像データを前記所定のデ
ータと多重化する。

【００１２】

【発明の実施の形態】本発明の一実施の形態のデータ多
重化装置について、図１〜図５を参照して説明する。ま
ず、そのデータ多重化装置の構成について説明する。図
１は、本実施の形態のデータ多重化装置の構成を示すブ
ロック図である。データ多重化装置２は、ビデオエンコ
ーダ２０、オーディオエンコーダ２４、サブタイトルエ
ンコーダ２８、多重化系１２および制御系４２を有す
る。

【００１３】ビデオエンコーダ２０の構成を図２に示
す。ビデオエンコーダ２０は、加算回路２０２、ＤＣＴ
回路２０４、量子化回路２０６、逆量子化回路２０８、
逆ＤＣＴ回路２１０、加算回路２１２、フレームメモリ
回路２１６、可変長符号化回路（ＶＬＣ）２１８、ビッ
トレート制御回路２２０、可変長符号バッファ（ＶＬＣ
バッファ）２２２を有する。このような構成において、
ビデオエンコーダ２０は、外部機器から入力される映像
データをＭＰＥＧ２方式により圧縮符号化し、目標デー
タ量ｖｉｄｅｏ＿ｒａｔｅ＿ｔａｒｇｅｔとほぼ等しい
データ量のビデオストリームを生成し、データ多重化装
置２のデータサイズＩＦ３０ａおよびＦＩＦＯメモリ３
２ａに対して出力する。

【００１４】ビデオエンコーダ２０のビットレート制御
回路２２０に対しては、データ多重化装置２のＣＰＵ４
２４より、目標データ量ｖｉｄｅｏ＿ｒａｔｅ＿ｔａｒ
ｇｅｔが設定される。ビットレート制御回路２２０は、
可変長符号化回路２１８が実際に生成したビデオストリ
ームのデータ量に基づいて、圧縮符号化後のデータ量
が、設定された目標データ量ｖｉｄｅｏ＿ｒａｔｅ＿ｔ
ａｒｇｅｔと等しくなるように量子化回路２０６を制御
する。

【００１５】オーディオエンコーダ２４の構成を図３に
示す。オーディオエンコーダ２４は、サブバンド分析フ
ィルタバンク２４０、線形量子化回路２４２、ビット圧
縮回路２４４、ＦＦＴ(fast fourier transfer) 回路２
４６、心理聴覚モデル２４８、動的ビット割り当て回路
２５０、スケールファクタ選択情報記憶回路２５２、ス
ケールファクタ抽出回路２５４、サイド情報符号化回路
２５６およびビットストリーム生成回路２５８を有す
る。このような構成において、オーディオエンコーダ２
４は、外部機器から入力された音声データを、ＭＰＥＧ
２方式により圧縮符号化し、オーディオストリームを生
成し、データ多重化装置２のデータサイズＩＦ３０ｂお
よびＦＩＦＯメモリ３２ｂに対して出力する。

【００１６】サブタイトルエンコーダ２８は、外部機器
から入力されるサブタイトルデータ等のプライベートデ
ータ（ユーザデータ）をエンコードする。なお、サブタ
イトルエンコーダ２８は、エンコード済みサブタイトル
データを外部機器から直接、受け取ってもよい。その場
合、たとえば、ＥＮＩＦ回路４２０がイーサネットワー
ク等のＬＡＮを介して、または、ＳＩＦ４２２がシリア
ルラインを介してエンコード済みサブタイトルデータを
受け取り、ＣＰＵバスを介してＲＡＭ４３０に対して出
力する。

【００１７】この場合、エンコード済みのサブタイトル
データに付されているヘッダに書かれたヘッダサイズを
ＥＮＩＦ回路４２０またはＳＩＦ４２２が検出し、検出
したヘッダサイズをＣＰＵバスを介してＣＰＵ４２４に
対して出力する。また、ＲＡＭ４３０は、ＣＰＵ４２４
の制御に従って、入力されたエンコード済みのサブコー
ドデータをスイッチ回路３４の入力端子ｂに対して出力
する。

【００１８】多重化系１２は、入力用のＦＩＦＯメモリ
３２ａ，３２ｂ，３２ｃ、第１のスイッチ回路３４、第
２のスイッチ回路３６、出力用のＦＩＦＯメモリ３８お
よひＳＣＳＩ(small computer system interface) イン
ターフェース回路（ＳＣＳＩＩＦ回路）４０を有する。

【００１９】ＦＩＦＯメモリ３２ａ，３２ｂ，３２ｃは
それぞれ、ビデオエンコーダ２０、オーディオエンコー
ダ２４およびサブタイトルエンコーダ２８からそれぞれ
入力されるビデオストリーム、オーディオストリームお
よびサブタイトルストリームをバッファリングし、スイ
ッチ回路３４の入力端子ａ，ｂ，ｃに対して出力する。

【００２０】第１のスイッチ回路３４は、制御信号を介
した多重化系１２の制御に従って、入力端子ａ，ｂ，
ｃ，ｄのいずれかを選択し、これらの入力端子それぞれ
に入力されるエレメンタリストリームのいずれかを選択
して多重化し、スイッチ回路３６の入力端子ｂに対して
出力する。なお、スイッチ回路３４は、入力端子のいず
れにも入力されるエレメンタリストリームがない場合、
あるいは、スタッフィング処理を行う場合等は、入力端
子ａ，ｂ，ｃ，ｄのいずれをも選択せず、所定のブラン
クデータで連続した論理値１または０）を出力する。

【００２１】第２のスイッチ回路３６は、制御信号を介
した多重化系１２の制御に従って、入力端子ａ，ｂのい
ずれかを選択し、入力端子ｂにスイッチ回路３４から入
力されるエレメンタリストリームのいずれか、または、
入力端子ａに処理用ＲＡＭ４２６から入力されるプライ
ベートデータストリームを選択して多重化し、ＦＩＦＯ
メモリ３８およびＳＣＳＩＩＦ回路４０に対して出力す
る。

【００２２】ＦＩＦＯメモリ３８は、スイッチ回路３６
が多重化したデータストリームをバッファリングし、ト
ランスポートストリームとして図示しない通信回線等の
外部機器に対して出力する。

【００２３】ＳＣＳＩＩＦ回路４０は、スイッチ回路３
６が多重化したデータストリームを、図示しないハード
ディスク装置（ＨＤＤ）あるいは光磁気ディスク装置
（ＭＯＤ）などの記録装置に対して出力し、記録させ
る。

【００２４】制御系４２は、データサイズ計数用インタ
ーフェース回路３０ａ，３０ｂ，３０ｃ、ＲＡＭ４３
０、イーサネットインターフェース回路（ＥＮＩＦ）４
２０、シリアルインターフェース回路（ＳＩＦ）４２
２、ＣＰＵ４２４、処理用ＲＡＭ４２６および制御デー
タ用ＲＡＭ４２８を有する。

【００２５】データサイズＩＦ３０ａ，３０ｂ，３０ｃ
はそれぞれ、ビデオエンコーダ２０、オーディオエンコ
ーダ２４およびサブタイトルエンコーダ２８から入力さ
れるビデオストリーム、オーディオストリームおよびサ
ブタイトルストリームのフレームごとのデータサイズを
計数し、ＣＰＵバスを介してＣＰＵ４２４に対して出力
する。

【００２６】なお、データサイズの計数は、データサイ
ズＩＦ３０ａ，３０ｂ，３０ｃに内蔵されたカウンタに
より行われる。また、データサイズの計数は、ビデオエ
ンコーダ２０、オーディオエンコーダ２４およびサブタ
イトルエンコーダ２８が出力する各エレメンタリースト
リームのフレームごとのデータサイズを、データサイズ
ＩＦ３０ａ，３０ｂ，３０ｃが検出することによっても
可能である。

【００２７】ＥＮＩＦ回路４２０は、図示しないイーサ
ネットなどのＬＡＮを介して入力されてくるプライベー
トデータを受け入れ、ＣＰＵバスを介してＣＰＵ４２４
に対して出力する。

【００２８】ＳＩＦ回路４２２は、たとえばコンピュー
タから入力されるシリアル形式のプライベートデータを
受け入れ、ＣＰＵ４２４に対して出力する。なお、プラ
イベートデータの例として、上述したサブタイトルデー
タ、クローズドキャプションデータおよびユーザーデー
タを挙げることができる。

【００２９】ＣＰＵ４２４は、たとえば、マイクロプロ
セッサおよびプログラム格納用のＲＯＭおよびこれらの
周辺回路から構成されており、データ多重化装置２が所
望の動作を行うように、データ多重化装置２の各部を制
御する。具体的には、ＣＰＵ４２４は、たとえばビデオ
エンコーダ２０のビットレート制御回路２２０に対し
て、目標データ量ｖｉｄｅｏ＿ｒａｔｅ＿ｔａｒｇｅｔ
の設定を行う。

【００３０】また、ＣＰＵ４２４は、制御データ用ＲＡ
Ｍ４２８に記憶された制御データを用いて、ＰＣＲの情
報を含むアダプテーションフィールドおよびＰＥＳヘッ
ダの内容を生成する。生成されたヘッダは、処理用ＲＡ
Ｍ４２６に記憶された後、適宜第２のスイッチ回路３６
を介して出力され、これにより、多重化データストリー
ムのＰＥＳパケット化またはトランスポートストリーム
パケット化が行われる。なお、ヘッダデータは、ＥＮＩ
Ｆ回路２４０またはＳＩＦ回路４２２を介して入力さ
れ、ＲＡＭ４２６に記憶されたプライベートデータに基
づいて作成される場合もある。

【００３１】また、ＣＰＵ４２４は、データサイズＩＦ
３０ａ，３０ｂ，３０ｃ、ＥＮＩＦ回路４２０およびＳ
ＩＦ回路４２２から入力されるデータサイズ、および、
ＦＩＦＯメモリ３２ａ，３２ｂ，３２ｃの残り記憶容量
（バッファ残量）などに基づいて、多重化するエレメン
タリストリームの順番、各エレメンタリストリームの多
重化データ量などを決定し、その決定に従ってスイッチ
回路３４，３６の多重化動作を制御する。この時に、多
重化のタイミング調整なども行う。

【００３２】処理用ＲＡＭ４２６は、前述したような処
理をＣＰＵ４２４が行う際に、取り扱うデータなどを記
憶するメモリである。具体的には、たとえば、ＣＰＵ４
２４で生成されたヘッダがこの処理用ＲＡＭ４２６に記
憶され、この処理用ＲＡＭ４２６より直接的に第２のス
イッチ回路３６を介して出力される。また、ＣＰＵ４２
４がデータサイズＩＦ３０ａ，３０ｂ，３０ｃなどから
読み込んだ符号化データ量のデータや、ＥＮＩＦ回路２
４０またはＳＩＦ回路４２２を介して入力されたプライ
ベートデータなどが、一旦この処理用ＲＡＭ４２６に記
憶され、ＣＰＵ４２４における処理に供される。また、
後述するＣＰＵ４２４における多重化データ量の決定の
処理に用いられる未多重化残存データ量ｆｒａｍｅ＿ｂ
ｉｔ＿ｒｅｍａｉｎなどの値も、この処理用ＲＡＭ４２
６に記憶されて保持される。

【００３３】制御データ用ＲＡＭ４２８は、ＣＰＵ４２
４のたとえば前述したような処理にかかわる制御用のデ
ータを記憶するメモリである。制御データ用ＲＡＭ４２
８には、たとえば前述したヘッダデータの作成に係わる
制御データなどが記憶される。

【００３４】次に、このデータ多重化装置２において、
ビデオストリームおよびオーディオストリームを多重化
し、ＭＰＥＧ２トランスポートストリームを生成する際
の、ビデオストリームおよびオーディオストリームの多
重化データ量の制御方法について説明する。まず、ＮＴ
ＳＣ方式のビデオストリームを多重化する場合の多重化
方法について、ＣＰＵ４２４における処理を示す図４の
フローチャートを参照して説明する。

【００３５】データ多重化装置２において符号化および
多重化を開始する際には、まず、初期設定として、ビデ
オエンコーダ２０のビットレート制御回路２２０に対し
て、目標データ量ｖｉｄｅｏ＿ｒａｔｅ＿ｔａｒｇｅｔ
を設定し、また、残存データ量を示すＣＰＵ４２４の内
部変数ｆｒａｍｅ＿ｂｉｔ＿ｒｅｍａｉｎの値を０にク
リアしておく（ステップＳ１）。次に、ビデオエンコー
ダ２０に対して符号化の開始を指示する（ステップＳ
２）。ビデオエンコーダ２０における符号化が開始され
たら、その符号化により生成されたビデオストリームの
フィールドごとのデータサイズｆｉｅｌｄ＿ｂｉｔをデ
ータサイズＩＦ３０ａより獲得する（ステップＳ３）。

【００３６】そして、その獲得したデータサイズｆｉｅ
ｌｄ＿ｂｉｔを用いて、式２に基づいて、１フレーム期
間のデータとして多重化出力するビデオデータ量ｆｒａ
ｍｅ＿ｂｙｔｅを求める。この多重化出力するデータは
バイトを単位とするデータであり、式２により求められ
る値ｆｒａｍｅ＿ｂｙｔｅはバイト数である（ステップ
Ｓ４）。

【００３７】

【数２】 frame＿byte [byte] ＝ （（ field＿bit [bit] ×２）＋ frame＿bit ＿remain_-1）／８ ・・・（２） ただし、 field＿bit は、ビデオエンコーダ２０が生成
するビデオストリームのデータレート、frame＿bit ＿r
emain_-1は、１フレーム期間前の残存ビデオデータ量
（ビット数）、frame＿byteは小数点以下切り捨てであ
る。

【００３８】また、ステップＳ３で獲得したデータサイ
ズｆｉｅｌｄ＿ｂｉｔを用いて、式３に基づいて、符号
化されたデータストリームのうち１フレーム期間のデー
タとして多重化出力されなかった残存ビデオデータ量ｆ
ｒａｍｅ＿ｂｉｔ＿ｒｅｍａｉｎを求める。この残存デ
ータはビットを単位とする１バイト未満のデータであ
り、式３により求められる値ｆｒａｍｅ＿ｂｉｔ＿ｒｅ
ｍａｉｎはビット数である。

【００３９】

【数３】 frame＿bit ＿remain [bit] ＝ （（ field＿bit [bit] ×２）＋ frame＿bit ＿remain_-1）％８ ・・・（３） ただし、 field＿bit は、ビデオエンコーダ２０が生成
するビデオストリームのデータレート、frame＿bit ＿r
emain_-1は、１フレーム期間前の残存ビデオデータ量
（ビット数）、％８は８の余りである。

【００４０】多重化出力データ量ｆｒａｍｅ＿ｂｙｔｅ
および残存データ量ｆｒａｍｅ＿ｂｉｔ＿ｒｅｍａｉｎ
が算出されたら、ＣＰＵ４２４は、その多重化出力デー
タ量ｆｒａｍｅ＿ｂｙｔｅに基づいて、ビデオストリー
ムを多重化する（ステップＳ６）。多重化の制御が終了
したら、次のビデオフレーム期間のデータとして符号化
されたビデオデータに対してステップＳ３以下の処理を
繰り返す。なお、この時に、式３により求められた多重
化出力されていない残存ビデオデータ量ｆｒａｍｅ＿ｂ
ｉｔ＿ｒｅｍａｉｎは、次のビデオフレーム期間におけ
る処理の時に１フレーム期間前の残存ビデオデータ量ｆ
ｒａｍｅ＿ｂｉｔ＿ｒｅｍａｉｎ_-1として用いられる。

【００４１】次に、オーディオストリームを多重化する
場合の多重化方法について、ＣＰＵ４２４における処理
を示す図５のフローチャートを参照して説明する。

【００４２】本実施の形態においては、４４．１［ｋＨ
ｚ］でサンプリングされたＬＰＣＭのオーディオデータ
を多重化する方法について説明する。４４．１［ｋＨ
ｚ］でサンプリングされたＬＰＣＭオーディオデータ
は、そのデータ量がきりのよい値になっていないことか
ら、たとえば３０映像フレーム（約１秒）ごとを単位と
して、データ量を単純に制御すればよいものではない。
そこで、データ量の端数を所定の周期ごとに補正しなが
ら、残りの期間は単純な制御が行えるようにして多重化
する。具体的には、本実施の形態においては、３０映像
フレームを単位として単純に多重化データ量の制御を行
い映像フレーム周期ごとにトランスポートストリームに
オーディオストリームを多重化しておき、１００ｓｅｃ
ごとに累積された端数分のオーディオストリームをさら
に多重化することにより、４４．１［ｋＨｚ］でサンプ
リングされたＬＰＣＭオーディオデータをトランスポー
トストリームに多重化する。

【００４３】まず、ＣＰＵ４２４は、初期設定として、
オーディオエンコーダ２４で生成するオーディオストリ
ームのデータレートａｕｄｉｏ＿ｒａｔｅ＿ｔａｒｇｅ
ｔをセットし（ステップＳ４００）し、そのデータレー
トａｕｄｉｏ＿ｒａｔｅ＿ｔａｒｇｅｔに基づいて１映
像フレーム周期ごとにトランスポートストリームに多重
化すべきオーディオストリームのデータ量ｆｒａｍｅ＿
ａｕｄｉｏ＿ｒａｔｅ＿ｐｒｅを式４により、また通常
の３０映像フレーム周期当たりのオーディオストリーム
のデータ量ａｕｄｉｏ＿ｆｒａｍｅ＿３０ｆｒａｍｅ＿
ｐｒｅを式５により、各々算出する（ステップＳ４０
２、Ｓ４０４）。

【００４４】

【数４】 frame ＿audio ＿rate＿pre ＝ audio＿rate＿target ／８×１００１／１０００／３０ ・・・（４） ただし、frame ＿audio ＿rate＿pre の小数点以下切り
捨てである。

【００４５】

【数５】 audio ＿rate＿30frame ＿pre ＝ audio＿rate＿target ／８×１００１／１０００ ・・・（５）

【００４６】さらに、制御用の変数であるフレーム数ｃ
ｏｕｎｔ＿ｆｒａｍｅ、秒数ｃｏｕｎｔ＿ｓｅｃｏｎｄ
および付加補正値ａｄｄ＿ｒｅｍａｉｎをクリアし、１
００［ｓｅｃ］ごとの補正データ量ｒｅｍａｉｎを、式
６により求め（ステップＳ４０６）、ビデオエンコーダ
２０において符号化が開始され、映像フレーム周期が開
始されるのを待つ（ステップＳ４０８）。

【００４７】

【数６】 remain ＝（audio ＿rate＿target／8*1001*100/1000 ）％１００ ・・・（６） ただし、％１００は１００の余りである。

【００４８】映像フレームの受信が開始されたら、フレ
ーム数ｃｏｕｎｔ＿ｆｒａｍｅ値を１カウントアップし
（ステップＳ４１０）、その値が３０になったか否かを
チェックする（ステップＳ４１２）。３０フレームに達
していた場合には、フレーム数ｃｏｕｎｔ＿ｆｒａｍｅ
をリセットし、秒数ｃｏｕｎｔ＿ｓｅｃｏｎｄを１カウ
ントアップし（ステップＳ４１４）、さらに秒数ｃｏｕ
ｎｔ＿ｓｅｃｏｎｄが１００に達しているか否かをチェ
ックする（ステップＳ４１６）。秒数ｃｏｕｎｔ＿ｓｅ
ｃｏｎｄが１００に達していた場合には秒数ｃｏｕｎｔ
＿ｓｅｃｏｎｄをリセットし、付加補正値ａｄｄ＿ｒｅ
ｍａｉｎとしてステップＳ４０６で求めた補正値ｒｅｍ
ａｉｎをセットする（ステップＳ４１８）。また、秒数
ｃｏｕｎｔ＿ｓｅｃｏｎｄが１００に達していなかった
場合には、付加補正値ａｄｄ＿ｒｅｍａｉｎには０をセ
ットする（ステップＳ４２０）。

【００４９】ステップＳ４１２で、フレーム数ｃｏｕｎ
ｔ＿ｆｒａｍｅが３０に達していない場合、および、ス
テップＳ４１８およびステップＳ４２０で付加補正値ａ
ｄｄ＿ｒｅｍａｉｎがセットされた後は、ステップＳ４
０４で求められたデータ量ａｕｄｉｏ＿ｆｒａｍｅ＿３
０ｆｒａｍｅ＿ｐｒｅの値に付加補正値ａｄｄ＿ｒｅｍ
ａｉｎを加えて、比較用のデータ量ａｕｄｉｏ＿ｆｒａ
ｍｅ＿３０ｆｒａｍｅを生成する（ステップＳ４２
２）。

【００５０】そして、過去３０映像フレーム周期の間に
多重化したオーディオストリームのデータ量が、ステッ
プＳ４２２の処理において算出したデータ量ａｕｄｉｏ
＿ｆｒａｍｅ＿３０ｆｒａｍｅより多いか否かを判断し
（ステップＳ４２４）、多い場合には、その映像フレー
ム周期において多重化するオーディオフレームのデータ
量ｆｒａｍｅ＿ａｕｄｉｏ＿ｒａｔｅを、ステップＳ４
０２の処理において算出したデータ量ｆｒａｍｅ＿ａｕ
ｄｉｏ＿ｒａｔｅ＿ｐｒｅとする（ステップＳ４２
６）。また、多くない場合には、その映像フレーム周期
において多重化するオーディオフレームのデータ量ｆｒ
ａｍｅ＿ａｕｄｉｏ＿ｒａｔｅを、ステップＳ４０２の
処理において算出したデータ量ｆｒａｍｅ＿ａｕｄｉｏ
＿ｒａｔｅ＿ｐｒｅ＋１とする（ステップＳ４２８）。

【００５１】そして、ＣＰＵ４２４は、スイッチ回路３
４などのデータ多重化装置２の各構成部分を制御して、
求められたデータ量ｆｒａｍｅ＿ａｕｄｉｏ＿ｒａｔｅ
のオーディオストリームを多重化させる（ステップＳ４
３０）。

【００５２】以上説明したように、本実施の形態のデー
タ多重化装置２においては、ビデオストリームの多重化
の際に、そのデータ量を各フレーム期間ごとにビット単
位で調整している。したがって、より目標ビットレート
に近い値のビデオデータをトランスポートストリームに
多重化することができる。

【００５３】このデータ量の精度について具体的に説明
する。たとえば４［Ｍｂｐｓ］を目標ビットレートとし
た場合、本実施の形態のデータ多重化装置２において
は、多重化出力するビデオデータの１ビデオフレーム期
間あたりの符号量を、式７より１３３４６６ビットとし
ている。

【００５４】

【数７】 ４×１０００×１０００／２９．９７＝１３３４６６．８［ｂｉｔ］ ・・・（７）

【００５５】したがって、多重化するビデオストリーム
のデータレートは、３９９９９７６．０２［ｂｐｓ］
（＝１３３４６６×２９．９７）となり、目標ビットレ
ートとの差は約２４［ｂｐｓ］となる。従来の方法で
は、１ビデオフレーム期間あたりの符号量は、前述した
ように式１より１６６８３バイトであり、毎秒のデータ
レートは３９９９９１６．０８［ｂｐｓ］（＝１６６８
３×８×２９．９７）となり、目標ビットレートとの差
は約８４［ｂｐｓ］であった。したがって、４［Ｍｂｐ
ｓ］を目標ビットレートとした場合で、約６０［ｂｐ
ｓ］目標ビットレートとの差が少なくなり、精度が向上
していることになる。

【００５６】従来の方法により制御されるデータ量と、
本実施の形態のデータ多重化装置２により制御されるデ
ータ量との差は、目標ビットレートにより異なるが、最
大の場合には、１フレーム期間あたり１バイトとならな
い最大の端数である７ビットずつの差が生じるので、１
秒当たりでは２０７．７９［ｂｐｓ］（＝７×２９．９
７）の差となる。すなわち、本実施の形態のデータ多重
化装置２によれば、最大で２０７．７９［ｂｐｓ］目標
ビットレートとの差を少なくし精度を向上させることが
できる。

【００５７】また、本実施の形態のデータ多重化装置２
によれば、４４．１［ｋＨｚ］でサンプリングされたＬ
ＰＣＭオーディオデータを浮動小数点演算などを用いな
い簡単な方法で、映像フレーム期間に同期した単位ごと
に、ビデオストリームなどと多重化を行いトランスポー
トストリームを生成することができる。

【００５８】なお、本発明は本実施の形態に限られるも
のではなく、任意好適な種々の改変が可能である。たと
えば、前述したデータ多重化装置２においては、ビデオ
エンコーダ２０内においては従来からの通常のデータレ
ート制御を行っているが、このビットレート制御にも、
本発明の方法を適用してもよい。これにより、ビデオエ
ンコーダ２０内でのビットレートコントロールの処理に
おいてもビット以下の精度をも有効にすれば、さらに精
度を向上させ、限りなく目標ビットレートに近づけるこ
とができる。

【００５９】

【発明の効果】以上説明したように、本発明のデータ多
重化装置とその方法によれば、設定された任意の目標デ
ータレートに対してより高精度のデータレートでビデオ
データを多重化することができる。そしてその多重化デ
ータ量の制御は、受信装置の受信バッファの記憶容量を
厳密に管理しないより簡単な処理により、受信バッファ
に破綻を生じさせないように行うことができる。したが
って、ビデオデータをトランスポートストリームに適切
に多重化し送信することができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態のデータ多重化装置の構
成を示すブロック図である。

【図２】図１に示したビデオエンコーダの構成を示すブ
ロック図である。

【図３】図１に示したオーディオエンコーダの構成を示
すブロック図である。

【図４】図２に示したデータ多重化装置において、ビデ
オストリームをトランスポートストリームに多重化する
処理を説明するためのフローチャートである。

【図５】図２に示したデータ多重化装置において、オー
ディオストリームをトランスポートストリームに多重化
する処理を説明するためのフローチャートである。

【符号の説明】

２…データ多重化装置、１２…多重化系、２０…ビデオ
エンコーダ、２４…オーディオエンコーダ、２８…サブ
タイトルエンコーダ、３２ａ，３２ｂ，３２ｃ…ＦＩＦ
Ｏメモリ、３４，３６…スイッチ回路、３８…ＦＩＦＯ
メモリ、４０…ＳＣＳＩＩＦ回路、４２…制御系、３０
ａ，３０ｂ，３０ｃ…データ量ＩＦ、４２０…ＥＮＩＦ
回路、４２２…ＳＩＦ回路、４２４…ＣＰＵ、４２６…
処理用ＲＡＭ、４２８…制御データ用ＲＡＭ、４３０…
ＲＡＭ

Claims (12)

【特許請求の範囲】
1. 【請求項１】目標データレートに基づいて順次所定の映
   像データを生成する映像データ生成手段と、 前記順次生成される映像データの１映像期間ごとのデー
   タ量を生成データ量として検出する生成データ量検出手
   段と、 前記検出されたデータ量と当該映像期間の前までに生成
   された映像データであって未だ多重化されていない映像
   データのデータ量との合計のデータ量以下で、所定の多
   重化単位データ量の倍数となる最大のデータ量を、当該
   映像期間に対応して多重化する映像データの多重化デー
   タ量として検出する多重化データ量検出手段と、 前記当該映像期間の前までに生成された映像データであ
   って未だ多重化されていない映像データおよび当該映像
   期間に前記生成された映像データのうち、前記検出され
   た多重化データ量の映像データを前記所定のデータと多
   重化する多重化手段とを有するデータ多重化装置。
2. 【請求項２】前記生成データ量検出手段において検出さ
   れた生成データ量と当該映像期間の前までに生成された
   映像データであって未だ多重化されていない映像データ
   のデータ量との合計のデータ量と、前記多重化データ量
   検出手段において検出された多重化データ量との差を、
   残存データ量として検出する残存データ量検出手段と、 前記検出された残存データ量を記憶する残存データ量記
   憶手段とをさらに有し、 前記多重化データ量検出手段は、前記検出された生成デ
   ータ量と前記記憶されている残存データ量との合計のデ
   ータ量以下で、前記多重化単位データ量の倍数となる最
   大のデータ量を、前記多重化データ量として検出し、 前記残存データ量検出手段は、前記検出された生成デー
   タ量と前記記憶されている残存データ量との合計のデー
   タ量と、前記検出された多重化データ量との差を、次の
   映像期間に対する残存データ量として新たに検出する請
   求項１記載のデータ多重化装置。
3. 【請求項３】前記映像データ生成手段は、生成された映
   像データの１映像期間ごとのデータ量がビットを単位と
   する値となるような前記目標データレートが設定され、
   生成する映像データが当該目標データレートとなるよう
   に映像データを生成し、 前記多重化データ量検出手段は、バイトを単位とする前
   記多重化データ量を検出し、 前記残存データ量検出手段は、前記検出された生成デー
   タ量と前記記憶されている当該映像期間前の残存データ
   量との合計のデータ量の、バイトを単位とした場合に端
   数となるビット単位のデータを前記残存データ量として
   検出する請求項２記載のデータ多重化装置。
4. 【請求項４】前記多重化手段は、前記多重化データ量の
   映像データを、少なくとも当該映像期間に対応する音声
   データと多重化する請求項１記載のデータ多重化装置。
5. 【請求項５】前記映像データ生成手段は、前記目標デー
   タレートに適合するように映像データを圧縮符号化する
   手段である請求項１記載のデータ多重化装置。
6. 【請求項６】前記映像データ生成手段は、ＭＥＰＧ２方
   式により前記映像データを圧縮符号化し、 前記多重化手段は、前記映像データが多重化されたＭＰ
   ＥＧ２トランスポートストリームを生成する請求項５記
   載のデータ多重化装置。
7. 【請求項７】目標データレートに基づいて順次所定の映
   像データを生成し、 前記順次生成される映像データの１映像期間ごとのデー
   タ量を生成データ量として検出し、 前記検出された生成データ量と当該映像期間の前までに
   生成された映像データであって未だ多重化されていない
   映像データのデータ量との合計のデータ量以下で、所定
   の多重化単位データ量の倍数となる最大のデータ量を、
   当該映像期間に対応して多重化する映像データの多重化
   データ量として検出し、 前記当該映像期間の前までに生成された映像データであ
   って未だ多重化されていない映像データおよび当該映像
   期間に前記生成された映像データのうち、前記検出され
   た多重化データ量の映像データを前記所定のデータと多
   重化するデータ多重化方法。
8. 【請求項８】前記検出された生成データ量と当該映像期
   間の前までに生成された映像データであって未だ多重化
   されていない映像データのデータ量との合計のデータ量
   と、前記検出された多重化データ量との差を、残存デー
   タ量として検出しておき、 前記多重化データ量の検出は、前記検出された生成デー
   タ量と前記検出されている当該映像期間の前までの残存
   データ量との合計のデータ量以下で、前記多重化単位デ
   ータ量の倍数となる最大のデータ量を検出することによ
   り行い、 前記多重化データ量が検出されたら、前記検出された生
   成データ量と前記記憶されている残存データ量との合計
   のデータ量と、前記検出された多重化データ量との差
   を、次の映像期間に対する残存データ量として新たに検
   出しておく請求項７記載のデータ多重化方法。
9. 【請求項９】前記映像データの生成は、生成された映像
   データの１映像期間ごとのデータ量がビットを単位とす
   る値となるような前記目標データレートに基づいて、生
   成する映像データが当該目標データレートとなるように
   行われ、 前記多重化データ量は、バイトを単位とする値として検
   出し、 前記残存データ量は、前記生成データ量と前記残存デー
   タ量との合計のデータ量の、バイトを単位とした場合に
   端数となるビット単位の値として検出する請求項８記載
   のデータ多重化方法。
10. 【請求項１０】前記多重化は、前記多重化データ量の映
    像データを、少なくとも当該映像期間に対応する音声デ
    ータと多重化する請求項７記載のデータ多重化方法。
11. 【請求項１１】前記映像データの生成は、前記目標デー
    タレートに適合するように映像データを圧縮符号化する
    ことにより行う請求項７記載のデータ多重化方法。
12. 【請求項１２】前記映像データの生成は、ＭＥＰＧ２方
    式により前記映像データを圧縮符号化することにより行
    い、 前記多重化により、前記生成された映像データが多重化
    されたＭＰＥＧ２トランスポートストリームを生成する
    請求項１１記載のデータ多重化方法。