JPH11205266A - 符号化装置及びデータ多重化装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】簡易な構成で実際の発生ビツトレートに応じた
効率的な多重化処理を実行するようにする。 【解決手段】入力データを符号化することにより符号化
ビツトストリームを生成すると共に、当該符号化ビツト
ストリームの実際の発生ビツトレートに関するビツトレ
ート情報を符号化ビツトストリームの所定領域に付加し
て送信するようにする。受信側では複数チャネルの符号
化ビットストリームの所定領域からビットレート情報を
予め読み出して実際の発生ビットレートを算出し、当該
算出結果に基づく多重化処理計画に従って符号化ビット
ストリームを効率良く多重化処理することができる。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。

【０００２】発明の属する技術分野 従来の技術（図１０） 発明が解決しようとする課題 課題を解決するための手段 発明の実施の形態 （１）符号化ビツトストリームのデータ構造（図１及び
図２） （２）符号化多重化装置の構成（図３〜図５） （３）動作及び効果 （４）他の実施の形態（図６〜図９） 発明の効果

【０００３】

【発明の属する技術分野】本発明は符号化装置及びデー
タ多重化装置に関し、例えばデイジタル多重化放送に用
いられる送信装置に適用して好適なものである。

【０００４】

【従来の技術】近年、地上波や衛星波によつて放送する
デイジタル多重化放送に採用された画像圧縮技術の１つ
としてＭＰＥＧ(Moving Picture Experts Group)２方式
がある。ＭＰＥＧ２方式は、ＩＴＵ−Ｔ（Internationa
l Telecommunication Union-Telecommunication Standa
rdization Secter: 国際電気通信連合電気通信標準化部
門）等の機関によつて標準化（例えば勧告、H.222.0
等）され、画像データ及び音声データを圧縮符号化し、
これを多重化処理して伝送する目的で規格化されてい
る。

【０００５】このＭＰＥＧ２方式を採用したデイジタル
放送システムの送信装置では、符号化器において入力さ
れた画像データをＤＣＴ(Discrete Cosine Transform)
変換処理してＤＣＴ係数化し、このＤＣＴ係数データを
量子化処理することにより量子化データを得、当該量子
化データを可変長符号化（ＶＬＣ）することにより符号
化ビツトストリームを生成する。

【０００６】ここで符号化ビツトストリームは、画像デ
ータを単に符号化しただけのデータ列すなわちエレメン
タルストリーム（ＥＳ:Elementary Stream) であり、そ
のデータ構造を図１０に示す。

【０００７】この符号化ビツトストリーム１は、最初に
ビツト列（以下、これをシーケンスと呼ぶ）の始まりを
表すＳＨＣ(Sequence Header Code)と呼ばれるシーケン
ス層の開始同期コード２が書き込まれ、続いてＨＳＶ(H
orizontal Size Value) と呼ばれる画面の横画素数のサ
イズデータ３、ＶＳＶ(Vertical Size Value) と呼ばれ
る画面の縦画素数のサイズデータ４、ＡＲＩ(Aspect Ra
tio Information)と呼ばれる画素のアスペクト比データ
５、ＦＲＣ(Frame Rate Code) と呼ばれる画像の表示周
期データ６、ＢＲＶ(Bit Rate Value)と呼ばれる発生ビ
ツト量の最大値データ７、ＭＲＫ(Marker Bit)と呼ばれ
るStart code emulationを防止するためのビツト８、Ｖ
ＢＳＶ(VBV Buffer Size Value) と呼ばれる発生符号量
制御用の仮想バツフアサイズデータ９、ＣＰＦ(Constra
ined Parameter Flag)と呼ばれる各パラメータが制限以
内であることを示す制限データ（ＭＰＥＧ１で「１」、
ＭＰＥＧ２で「０」）１０、ＬＩＱＭ(Load Intra Quan
tizer Matrix) と呼ばれるイントラマクロブロツク用の
量子化マトリクスデータの存在を示すデータ１１、ＩＱ
Ｍ(Intra Quantizer Matrix)と呼ばれるイントラマクロ
ブロツク用の量子化マトリクスの値データ１２、ＬＮＩ
ＱＭ(Load Non Intra Quantizer Matrix) と呼ばれる非
イントラマクロブロツク用の量子化マトリクスデータの
存在を示すデータ１３、ＮＩＱＭ(Non Intra Quantizer
Matrix)と呼ばれる非イントラマクロブロツク用の量子
化マトリクスの値データ１４、ＳＥ(Sequence Extensio
n)と呼ばれるシーケンス拡張データ１５、ＳＤ(Sequenc
e Display Extension)と呼ばれるデイスプレイに関する
拡張データ１６、ＳＳ(Sequence Scalable Extension)
と呼ばれるＭＰＥＧ２のスケーラブル符号化に関する拡
張データ１７、ＧＯＰ(Groupe of Picture) 層１８、ピ
クチヤ層１９、最後にＳＥＣ(Sequence End Code) ２０
が書き込まれることにより１つのシーケンスが形成され
ている。

【０００８】この場合、ＩＱＭと呼ばれる値データ１
２、ＮＩＱＭと呼ばれる値データ１４、ＳＥと呼ばれる
シーケンス拡張データ１５、ＳＤと呼ばれるデイスプレ
イに関する拡張データ１６、ＳＳと呼ばれる拡張データ
１７及びＧＯＰ層１８に関しては、矢印通りにこれらを
抜かして処理を行つても問題なく、また符号化ビツトス
トリーム１に含まれない場合もある。

【０００９】またＧＯＰ層１８はピクチヤ層１９を含ん
だ階層構造を有しており、ＧＯＰ層１８が複数存在する
場合は矢印に沿つてピクチヤ層１９の後に再度ＧＯＰ層
１８に戻つて処理を繰り返す。さらに符号化ビツトスト
リーム１は、ピクチヤ層１９の次にＳＥＣ２０に処理が
移行する前に再度ＳＨＣと呼ばれるシーケンス層の開始
同期コード２に戻つて処理を繰り返す場合もある。

【００１０】

【発明が解決しようとする課題】ところで符号化器にお
いては、発生ビツト量の最大値データ（ＢＲＶ）７とし
て書き込まれた発生ビツト量の最大値以下の発生ビツト
レートで画像データを実際に符号化して符号化ビツトス
トリームを生成している。これらの符号化ビツトストリ
ームを受け取つた多重化器では、当該発生ビツト量の最
大値データ（ＢＲＶ）７を参照することにより、発生ビ
ツト量の最大値以下で符号化ビツトストリームが符号化
されていることは分かつても、実際の発生ビツトレート
については分からない。このため多重化器は、多重化す
る前に一旦全ての符号化ビツトストリームをバツフアに
格納した後に実際の発生ビツトレートを算出しなければ
ならなかつた。

【００１１】従つて多重化器は、符号化ビツトストリー
ムの全データを格納し得るだけのデータ容量を持つバツ
フアを必要とするために装置が大型化すると共に、バツ
フアに全データを格納するまでの時間を多く要し、多重
化処理を効率的に実行できないという問題があつた。

【００１２】また多重化器は、チヤンネルごとに符号化
ビツトストリームのデータ量が異なる場合、各符号化器
によつて圧縮符号化された符号化ビツトストリームの実
際の発生ビツトレートが分からないと、各チヤンネル毎
の実際の発生ビツトレートに応じた効率の良い多重化処
理を行うことができないという問題があつた。

【００１３】本発明は以上の点を考慮してなされたもの
で、簡易な構成で実際の発生ビツトレートに応じた効率
的な多重化処理を実行し得る符号化装置及びデータ多重
化装置を提案しようとするものである。

【００１４】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、入力データを符号化することによ
り符号化ビツトストリームを生成すると共に、当該符号
化ビツトストリームの実際の発生ビツトレートに関する
ビツトレート情報を符号化ビツトストリームの所定領域
に付加して送信することにより、受信側では複数チヤネ
ルの符号化ビツトストリームの所定領域からビツトレー
ト情報を予め読み出して実際の発生ビツトレートを算出
し、当該算出結果に基づく多重化処理計画に従つて符号
化ビツトストリームを効率良く多重化処理することがで
きる。

【００１５】

【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。

【００１６】（１）符号化ビツトストリームのデータ構
造 図１０との対応部分に同一符号を付して示す図１におい
て、３０は本発明の実施の形態における符号化ビツトス
トリームのデータ構造を示し、最初にＳＨＣと呼ばれる
シーケンスの始まりを表すシーケンス層の開始同期コー
ド２が書き込まれ、続いてＨＳＶと呼ばれる画面の横画
素数のサイズデータ３、ＶＳＶと呼ばれる画面の縦画素
数のサイズデータ４、ＡＲＩと呼ばれる画素のアスペク
ト比データ５、ＦＲＣと呼ばれる画像の表示周期データ
６、ＢＲＶと呼ばれる発生ビツト量の最大値データ７、
ＭＲＫと呼ばれるStart code emulationを防止するため
のビツト８、ＶＢＳＶと呼ばれる発生符号量制御用の仮
想バツフアサイズデータ９、ＣＰＦと呼ばれる各パラメ
ータが制限以内であることを示す制限データ（ＭＰＥＧ
１で「１」、ＭＰＥＧ２で「０」）１０、ＬＩＱＭと呼
ばれるイントラマクロブロツク用の量子化マトリクスデ
ータの存在を示すデータ１１、ＩＱＭと呼ばれるイント
ラマクロブロツク用の量子化マトリクスの値データ１
２、ＬＮＩＱＭと呼ばれる非イントラマクロブロツク用
の量子化マトリクスデータの存在を示すデータ１３、Ｎ
ＩＱＭと呼ばれる非イントラマクロブロツク用の量子化
マトリクスの値データ１４、ＳＥと呼ばれるシーケンス
拡張データ１５、ＳＤと呼ばれるデイスプレイに関する
拡張データ１６、ＳＳと呼ばれるＭＰＥＧ２のスケーラ
ブル符号化に関する拡張データ１７、ＧＯＰ層１８、ピ
クチヤ層１９、最後にＳＥＣ２０が書き込まれている点
に関しては、符号化ビツトストリーム１とほぼ同様のデ
ータ構造を有している。

【００１７】さらに符号化ビツトストリーム３０におい
ては、ＳＳと呼ばれる拡張データ１７とＧＯＰ層１８と
の間に、ＭＰＥＧ２の規格によつて定められたＵＤＳＣ
(User Data Start Code)と呼ばれるユーザデータの開始
を示す同期コード３１と、ＵＤ(User Data )と呼ばれる
ユーザが任意のデータを書き込めるユーザデータ領域３
２とが新たに設けられていることにより１つのシーケン
スが形成されている。この場合、ユーザデータ（ＵＤ）
領域３２には符号化ビツトストリーム３０のシーケンス
全体における実際の発生ビツトレートに関する情報が書
き込まれる。

【００１８】次に、ユーザデータ領域３２に書き込まれ
る実際の発生ビツトレートに関するユーザデータの内容
例を図２に示す。ユーザデータ領域３２には、シーケン
スのＧＯＰ数を表すＧＯＰＮ３３、１つ目のＧＯＰ１を
構成するピクチヤの枚数を表すＰＮ３４、１つ目のＧＯ
Ｐ１を構成している全バイト数を表すＧＯＰＢ３５、以
下同様に２つ目のＧＯＰ２を構成するピクチヤの枚数を
表すＰＮ３６、２つ目のＧＯＰ２を構成している全バイ
ト数を表すＧＯＰＢ３７、３つ目のＧＯＰ３を構成する
ピクチヤの枚数を表すＰＮ３８、３つ目のＧＯＰ３を構
成している全バイト数を表すＧＯＰＢ３９が設けられて
いる。

【００１９】このような、ユーザデータの開始を示す同
期コード３１とユーザデータ領域３２とが新たに設けら
れた符号化ビツトストリーム３０を多重化器が受け取る
と、当該多重化器はユーザデータ領域３２に書き込まれ
たユーザデータに基づいてシーケンス全体としての実際
の発生ビツトレートを算出する。

【００２０】例えば、シーケンス全体における実際の発
生ビツトレートを算出するには、このシーケンス全体の
バイト数と時間 [秒] が分かれば良く、バイト数／時間
[byte/ sec]で表される。この場合、まず各ＧＯＰ１、
２、３毎のピクチヤ数をＰＮ３４、３６、３８からそれ
ぞれ読み出し、当該ピクチヤ数を画像の表示周期データ
（ＦＲＣ）６から読みだしたフレームレート（１秒間中
のピクチヤ数）で除算することにより各ＧＯＰ１、２、
３毎の時間 [秒] を算出し、これらを加算することによ
りシーケンス全体の時間 [秒] を算出する。

【００２１】次に、各ＧＯＰ１、２、３毎のバイト数を
ＧＯＰＢ３５、３７、３９から読みだして加算すること
により、シーケンス全体のバイト数を算出し、これを先
程算出したシーケンス全体の時間 [秒] で除算すること
により、シーケンス全体における実際の発生ビツトレー
ト [byte/ sec]を算出する。

【００２２】多重化器においては、このようにしてチヤ
ンネル毎のシーケンスにおける実際の発生ビツトレート
[byte/ sec]を算出することにより、符号化データ量の
多い符号化ビツトストリーム３０に対しては多重化処理
を優先して多く行い、符号化データ量の少ない符号化ビ
ツトストリーム３０に対しては多重化処理を少なく行う
といつた実際の発生ビツトレートに応じた多重化計画を
設定することができる。

【００２３】これにより多重化器側では、符号化ビツト
ストリームをＴＳ(Transport Stream)パケツト化し、こ
の結果得られるパケツトデータをチヤンネルごとの実際
の発生ビツトレートに応じて設定された多重化計画に基
づいて多重化処理することにより、容量の大きなバツフ
アを用いることなく効率良く多重化処理を実行すること
ができる。このような実際の発生ビツトレートに応じた
多重化処理を行う符号化多重化装置について次に説明す
る。

【００２４】（２）符号化多重化装置の構成 図３において、１００は全体としてデイジタル放送シス
テムの送信装置における符号化多重化装置を示し、複数
のチヤンネルに対応する各データ出力部（図示せず）か
らそれぞれテレビジヨン番組を構成する画像データＤ１
Ａ〜Ｄ１Ｎが、対応する複数の符号化器１０１Ａ〜１０
１Ｎにそれぞれ供給される。

【００２５】符号化器１０１Ａ〜１０１Ｎはそれぞれ同
一構成を有し、符号化器１０１Ａは図４に示すように、
画像データＤ１Ａを前処理部１１Ａに入力する。前処理
部１１Ａは、順次入力される画像データＤ１Ａの各フレ
ーム画像についてＩピクチヤ、Ｐピクチヤ又はＢピクチ
ヤの３つの画像タイプのうちのどの画像タイプとして処
理するかを指定した後、当該フレーム画像の画像タイプ
に応じて当該フレーム画像を符号化する順番に並び替
え、さらに当該フレーム画像を１６画素×１６ラインの
輝度信号及び当該輝度信号に対応する色差信号によつて
構成されるマクロブロツクに分割し、これをマクロブロ
ツクデータＤ２Ａとして演算回路１２Ａ及び動きベクト
ル検出部２３Ａに供給する。

【００２６】動きベクトル検出部２３Ａは、マクロブロ
ツクデータＤ２Ａの各マクロブロツクの動きベクトル
を、当該マクロブロツクデータＤ２Ａ及びフレームメモ
リ２１Ａに記憶されている参照画像データＤ１４Ａを基
に算出し、動きベクトルデータ１８Ａとして動き補償部
２２Ａに送出する。

【００２７】演算回路１２Ａは、前処理部１１Ａから供
給されたマクロブロツクデータＤ２Ａについて、当該マ
クロブロツクデータＤ２Ａの各マクロブロツクの画像タ
イプに基づいて、イントラモード、順方向予測モード、
逆方向予測モード又は双方向予測モードのいずれかの予
測モードの動き補償を行う。ここでイントラモードと
は、符号化対象となるフレーム画像をそのまま伝送デー
タとする方法であり、順方向予測モードとは、符号化対
象となるフレーム画像と過去参照画像との予測残差を伝
送データとする方法である。また逆方向予測モードと
は、符号化対象となるフレーム画像と未来参照画像との
予測残差を伝送データとする方法であり、双方向予測モ
ードとは、符号化対象となるフレーム画像と、過去参照
画像及び未来参照画像の２つの予測画像の平均値との予
測残差を伝送データとする方法である。

【００２８】まず、マクロブロツクデータＤ２ＡがＩピ
クチヤである場合について説明する。この場合、マクロ
ブロツクデータＤ２Ａはイントラモードで処理される。
すなわち、演算回路１２ＡはマクロブロツクデータＤ２
Ａのマクロブロツクを、そのまま演算データＤ３Ａとし
てＤＣＴ（Discrete Cosine Transform 、離散コサイン
変換）部１３Ａに送出する。ＤＣＴ部１３Ａは演算デー
タＤ３Ａに対しＤＣＴ変換処理を行うことによりＤＣＴ
係数化し、これをＤＣＴ係数データＤ４Ａとして量子化
部１４Ａに送出する。量子化部１４ＡはＤＣＴ係数デー
タＤ４Ａに対し量子化処理を行い、量子化ＤＣＴ係数デ
ータＤ５ＡとしてＶＬＣ部１５Ａ及び逆量子化部１８Ａ
に送出する。このとき量子化部１４Ａは、制御部１４２
Ａから供給される量子化制御値Ｄ２１Ａに応じて、量子
化処理における量子化ステツプサイズを調整することに
より、発生する符号量が制御される。

【００２９】逆量子化部１８Ａに送出された量子化ＤＣ
Ｔ係数データＤ５Ａは、逆量子化処理を受け、ＤＣＴ係
数データＤ１１Ａとして逆ＤＣＴ部１９Ａに送出され
る。そしてＤＣＴ係数データＤ１１Ａは、逆ＤＣＴ部１
９Ａにおいて逆ＤＣＴ処理を受け、演算データＤ１２Ａ
として演算回路２０Ａに送出され、参照画像データＤ１
３Ａとしてフレームメモリ２１Ａに記憶される。

【００３０】次に、マクロブロツクデータＤ２ＡがＰピ
クチヤである場合について説明する。この場合、演算回
路１２ＡはマクロブロツクデータＤ２Ａについて、イン
トラモードまたは順方向予測モードのいずれかの予測モ
ードによる動き補償処理を行う。

【００３１】予測モードがイントラモードの場合、上述
のＩピクチヤの場合と同様に、演算回路１２Ａはマクロ
ブロツクデータＤ２Ａのマクロブロツクをそのまま演算
信号Ｄ３ＡとしてＤＣＴ部１３Ａに送出する。

【００３２】これに対して、予測モードが順方向予測モ
ードの場合、演算回路１２ＡはマクロブロツクデータＤ
２Ａについて、動き補償部２２Ａより供給される順方向
予測画像データＤ１７Ａを用いて減算処理する。

【００３３】順方向予測画像データＤ１７Ａは、フレー
ムメモリ２１Ａに記憶されている参照画像データＤ１３
Ａを、動きベクトルデータＤ１８Ａに応じて動き補償す
ることにより算出される。すなわち動き補償部２２は順
方向予測モードにおいて、フレームメモリ２１Ａの読み
出しアドレスを動きベクトルデータＤ１８Ａに応じてず
らして参照画像データＤ１３Ａを読み出し、これを順方
向予測画像データＤ１７Ａとして演算回路１２Ａ及び演
算回路２０Ａに供給する。演算回路１２Ａはマクロブロ
ツクデータＤ２Ａから順方向予測画像データＤ１７Ａを
減算して予測残差としての差分データを得、これを演算
データＤ３ＡとしてＤＣＴ部１３Ａに送出する。

【００３４】また、演算回路２０Ａには動き補償部２２
Ａより順方向予測画像データＤ１７Ａが供給されてお
り、演算回路２０Ａは演算データＤ１２Ａに当該順方向
予測画像データＤ１７Ａを加算することにより参照画像
データＤ１３Ａ（Ｐピクチヤ）を局部再生し、フレーム
メモリ２１Ａに記憶する。

【００３５】次に、前処理部１１ＡからＢピクチヤのマ
クロブロツクデータＤ２Ａが演算回路１２Ａに供給され
た場合について説明する。この場合、演算回路１２Ａは
マクロブロツクデータＤ２Ａについて、イントラモー
ド、順方向予測モード、逆方向予測モード又は双方向予
測モードのいずれかの動き補償処理を行う。

【００３６】予測モードがイントラモードまたは順方向
モードの場合、マクロブロツクデータＤ２Ａは上述のＰ
ピクチヤの場合と同様の処理を受ける。但し、Ｂピクチ
ヤは他の予測参照画像として用いられないので、参照画
像データＤ１３Ａはフレームメモリ２１Ａには記憶され
ない。

【００３７】これに対して、予測モードが逆方向予測モ
ードの場合、演算回路１２ＡはマクロブロツクデータＤ
２Ａについて、動き補償部２２Ａから供給される逆方向
予測画像データＤ１６Ａを用いて減算処理する。

【００３８】逆方向予測画像データＤ１６Ａは、フレー
ムメモリ２１Ａに記憶されている参照画像データＤ１３
Ａを、動きベクトルデータＤ１８Ａに応じて動き補償す
ることにより算出される。すなわち動き補償部２２Ａは
逆方向予測モードにおいて、フレームメモリ２１Ａの読
出アドレスを動きベクトルデータＤ１８Ａに応じてずら
して参照画像データＤ１３Ａを読み出し、これを逆方向
予測画像データＤ１６Ａとして演算回路１２Ａ及び演算
回路２０Ａに供給する。演算回路１２Ａはマクロブロツ
クデータＤ２Ａから逆方向予測画像データＤ１６Ａを減
算して予測残差としての差分データを得、演算データＤ
３ＡとしてＤＣＴ部１３Ａに送出する。

【００３９】また、演算回路２０Ａには動き補償部２２
Ａから逆方向予測画像データＤ１６Ａが供給されてお
り、演算回路２０Ａは演算データＤ１２Ａに当該逆方向
予測画像データＤ１６Ａを加算することにより参照画像
データＤ１３Ａ（Ｂピククヤ）を局部再生するが、Ｂピ
ククヤは他の予測参照画像として用いられないので、参
照画像データＤ１３Ａはフレームメモリ２１Ａには記憶
されない。

【００４０】予測モードが双方向モードの場合、演算回
路１２ＡはマクロブロツクデータＤ２Ａから、動き補償
部２２Ａより供給される順方向予測画像データＤ１７Ａ
及び逆方向予測画像データＤ１６Ａの平均値を減算し予
測残差としての差分データを得、演算データＤ３Ａとし
てＤＣＴ部１３Ａに送出する。

【００４１】また、演算回路２０Ａには動き補償部２２
Ａから順方向予測画像データＤ１７Ａ及び逆方向予測画
像データＤ１６Ａが供給されており、演算回路２０Ａは
演算データＤ１２Ａに当該順方向予測画像データＤ１７
Ａ及び逆方向予測画像データＤ１６Ａの平均値を加算す
ることにより参照画像データＤ１３Ａ（Ｂピククヤ）を
生成するが、Ｂピククヤは他の予測参照画像として用い
られないので、参照画像データＤ１３Ａはフレームメモ
リ２１Ａには記憶されない。

【００４２】かくして、符号化装置１０１Ａに入力され
た画像データＤ１Ａは、動き補償予測処理、ＤＣＴ処理
及び量子化処理を受け、量子化ＤＣＴ係数データＤ５Ａ
としてＶＬＣ部１５Ａに供給される。ＶＬＣ部１５Ａ
は、量子化ＤＣＴ係数データＤ５Ａに対し、所定の変換
テーブルに基づく可変長符号化処理を行い、その結果得
られる可変長符号化データＤ６Ａとしてバツフア部１４
１Ａに送出する。

【００４３】バツフア部１４１Ａは、図５に示すよう
に、ＶＬＣ部１５Ａ（図２）から供給される可変長符号
化データＤ６Ａをバツフアメモリ５０Ａに入力し、これ
を入力順に格納する。

【００４４】制御部１４２Ａ（図２）は、バツフアメモ
リ５０Ａから供給される占有量情報Ｄ２３Ａによつてバ
ツフアメモリ５０Ａにおける可変長符号化データＤ６Ａ
の蓄積状態を常に監視しており、当該占有情報Ｄ２３Ａ
を基に量子化制御値Ｄ２１Ａを生成して量子化部１４Ａ
に送出し、量子化処理における量子化ステツプサイズを
調整する。これにより量子化部１４Ａでは、バツフアメ
モリ５０Ａのデータ占有量に応じて、当該バツフアメモ
リ５０Ａがオーバーフロー又はアンダーフローしないよ
うなデータ量を発生させる。

【００４５】図５においてバツフアメモリ５０Ａは、制
御部１４２Ａ（図２）から供給されるデータ送出制御信
号Ｄ２２Ａによつて内部に蓄積されている可変長符号化
データＤ６Ａを１ピクチヤごとに読み出し、これをバツ
フア出力データＤ２０Ａとして所定のビツトレートでユ
ーザデータ付加部６０Ａに送出する。

【００４６】ユーザデータ付加部６０Ａは、バツフア出
力データＤ２０Ａに基づいて可変長符号化データＤ６Ａ
における実際の発生ビツトレートに関する情報として、
図２において上述した実際の発生ビツトレート [byte/
sec]をユーザデータとしてＵＤ３２（図１）に付加し、
これを可変長符号化データＤ６０ＡとしてＥＳ（ Eleme
ntary Stream）構成部７０Ａに送出する。ＥＳ構成部７
０Ａは、可変長符号化データＤ６０Ａに所定のヘツダを
付加することによりＥＳ（ Elementary Stream）化し、
これを符号化ビツトストリームＤ１０１Ａとして多重化
器１０２（図３）に送出する。

【００４７】このように符号化器１０１Ａは、画像デー
タＤ１Ａ〜Ｄ１Ｎを符合化すると共に、実際の発生ビツ
トレートに関する情報をユーザデータとしてＵＤ３２
（図１）に付加し、その結果得られる符号化ビツトスト
リームＤ１０１Ａ〜Ｄ１０１Ｎをデータ多重化装置とし
ての多重化器１０２にそれぞれ出力する。

【００４８】図３において多重化器１０２は、符号化器
１０１Ａ〜１０１Ｎにそれぞれ対応したバツフア１０３
Ａ〜１０３Ｎを有し、符号化ビツトストリームＤ１０１
Ａ〜Ｄ１０１Ｎをバツフア１０３Ａ〜１０３Ｎにそれぞ
れ入力する。ここで記憶手段としてのバツフア１０３Ａ
〜１０３Ｎは、符号化ビツトストリームＤ１０１Ａ〜Ｄ
１０１Ｎの各シーケンスのうち、最初の開始同期コード
（ＳＨＣ）２（図１）からユーザデータ（ＵＤ）領域３
２（図１）に書き込まれたユーザデータの情報までを少
なくとも格納し得るデータ容量を有していれば良い。

【００４９】バツフア１０３Ａ〜１０３Ｎは、多重化制
御部１０４の制御に基づいて格納した符号化ビツトスト
リームＤ１０１Ａ〜Ｄ１０１Ｎを格納順にパケツト構成
部１０５Ａ〜１０５Ｎに出力する。ここで多重化制御部
１０４は、符号化ビツトストリームＤ１０１Ａ〜Ｄ１０
１Ｎの各シーケンスのうちユーザデータ領域３２のユー
ザデータがバツフア１０３Ａ〜１０３Ｎに格納された時
点で、ユーザデータ領域３２に書き込まれたユーザデー
タＵＤ１Ａ〜ＵＤ１Ｎ（図３）のみを読み出し、当該ユ
ーザデータＵＤ１Ａ〜ＵＤ１Ｎに基づいて符号化ビツト
ストリームＤ１０１Ａ〜Ｄ１０１Ｎの実際の発生ビツト
レートをそれぞれ算出する。これにより多重化制御部１
０４は、各符号化ビツトストリームＤ１０１Ａ〜Ｄ１０
１Ｎの実際の発生ビツトレートに応じた多重化計画を設
定し、その多重化計画に応じた多重化処理を実行するた
めの多重化制御信号Ｓ１を多重化部１０６に供給する。

【００５０】パケツト構成部１０５Ａ〜１０５Ｎは、エ
レメンタルストリーム（ＥＳ）として入力された符号化
ビツトストリームＤ１０１Ａ〜Ｄ１０１Ｎに所定のヘツ
ダを付加することによりＰＥＳ(Packetized Elementary
Stream)パケツト化した後、固定データ長でなるＴＳ(T
ransport Stream)パケツトを生成し、これらのパケツト
データＤ１０２Ａ〜Ｄ１０２Ｎを多重化部１０６にそれ
ぞれ送出する。

【００５１】これにより多重化部１０６は、多重化制御
部１０４から供給される多重化制御信号Ｓ１に基づい
て、シーケンス単位で生成された符号化ビツトストリー
ムＤ１０１Ａ〜Ｄ１０１Ｎの実際の発生ビツトレートに
応じた多重化処理を、パケツトデータＤ１０２Ａ〜Ｄ１
０２Ｎに対して行い、その結果得られる多重化ビツトス
トリームＤ１０３を送信部１０７に出力する。送信部１
０７は、多重化ビツトストリームＤ１０３に対して所定
の誤り訂正符号の付加や所定の変調処理を施した後に送
信するようになされている。

【００５２】（３）動作及び効果 以上の構成において、符号化多重化装置１００では符号
化器１０１Ａ〜１０１Ｎによつて実際の発生ビツトレー
トに関する情報をユーザデータ領域３２にユーザデータ
として付加し、これらのユーザデータが付加された符号
化ビツトストリームＤ１０１Ａ〜Ｄ１０１Ｎを多重化器
１０２に出力する。

【００５３】これにより多重化器１０２は、符号化ビツ
トストリームＤ１０１Ａ〜Ｄ１０１Ｎをバツフア１０３
Ａ〜１０３Ｎにそれぞれ格納し、シーケンス層の開始同
期コード（ＳＨＣ）２からユーザデータ領域３２までの
情報（図１）が格納された時点で、多重化制御処理手段
としての多重化制御部１０４によつてユーザデータ領域
３２のユーザデータをそれぞれ読み出し、当該ユーザデ
ータに基づいて実際の発生ビツトレートを算出すること
により、短時間で実際の発生ビツトレートを知ることが
できる。

【００５４】この結果、多重化器１０２においては、多
重化制御部１０４が符号化ビツトストリームＤ１０１Ａ
〜Ｄ１０１Ｎにおける実際の発生ビツトレートを確認し
た時点で実際の符号化データ量に応じた多重化計画を設
定することができ、かくして多重化制御処理手段として
の多重化部１０６が、当該多重化計画に基づいてパケツ
トデータＤ１０２Ａ〜Ｄ１０２Ｎを効率的に多重化する
ことができる。

【００５５】以上の構成によれば、符号化多重化装置１
００は符号化器１０３Ａ〜１０３Ｎによつて実際の発生
ビツトレートをユーザデータ領域３２に付加した符号化
ビツトストリームＤ１０１Ａ〜Ｄ１０１Ｎを多重化器１
０２に送出し、当該多重化器１０２によつて符号化ビツ
トストリームＤ１０１Ａ〜Ｄ１０１Ｎの各ユーザデータ
領域３２から読みだした実際の発生ビツトレートに基づ
いて多重化計画を設定することにより、迅速で効率的な
多重化処理を実行することができる。

【００５６】（４）他の実施の形態 なお上述の実施の形態においては、図１に示したように
ユーザデータの開始同期コード（ＵＤＳＣ）３１及びユ
ーザデータ領域（ＵＤ）３２をＧＯＰ層１８の前に設定
し、ユーザデータ領域３２にＧＯＰ数、ピクチヤ数、各
ＧＯＰに含まれる全バイト数を書き込むようにした場合
について述べたが、本発明はこれに限らず、符号化ビツ
トストリーム６０（図６）に示すようにＧＯＰ層１８と
ピクチヤ層１９との間にユーザデータの開始同期コード
６１及びユーザデータ領域６２を設定するようにしても
良い。ここでＧＯＰ層１８は、ＧＯＰの開始コードを表
すＧＳＣ(Group Start Code)、シーケンスの先頭からの
時間を示すコードを表すＴＣ(Time Code) 、ＧＯＰ内の
画像が他のＧＯＰから独立再生可能なことを示すフラグ
を表すＣＧ(Closed GOP)、編集等のためにＧＯＰ内の先
頭のＢピクチヤが正確に再生できないことを示すフラグ
を表すＢＬ(Broken Link) から構成されている。

【００５７】この場合、図７に示すようにユーザデータ
領域（ＵＤ）６２には、ＰＮ６３にこのＧＯＰ層１８に
おけるピクチヤの枚数、ＧＯＰＢ６４にこのＧＯＰ層１
８における全バイト数が付加されている。従つて、多重
化器側ではピクチヤ数と画像の表示周期データ（ＦＲ
Ｃ）６から読み取つたフレームレートとに基づいて算出
した時間 [秒] で全バイト数を除算することにより、Ｇ
ＯＰ層１８における実際の発生ビツトレートを算出する
ことができ、この実際の発生ビツトレートに基づいてＧ
ＯＰ層単位で多重化処理計画を立てることができる。こ
の場合、多重化計画がシーケンス単位からＧＯＰ単位に
変わるが、その分実際の発生ビツトレートを算出する時
間を短縮することができる。

【００５８】また上述の実施の形態においては、図１に
示したようにユーザデータの開始同期コード（ＵＤＳ
Ｃ）３１及びユーザデータ領域（ＵＤ）３２をＧＯＰ層
１８の前に設定し、ＵＤ３２にＧＯＰ数、ピクチヤ数、
各ＧＯＰに含まれる全バイト数を書き込むようにした場
合について述べたが、本発明はこれに限らず、図８に示
すようにピクチヤ層１９の中にユーザデータの開始同期
コード（ＵＤＳＣ）７１及びユーザデータ領域（ＵＤ）
７２を設定するようにしても良い。

【００５９】この場合、図９に示すようにユーザデータ
領域（ＵＤ）７２には、ピクチヤ当たりのバイト数を表
すＰＢ７３にピクチヤに対する全バイト数が付加されて
いる。従つて、多重化器側ではピクチヤデータ単位にお
ける実際の発生ビツトレートを算出することができ、こ
の実際の発生ビツトレートに基づいてピクチヤ単位で多
重化計画を設定することができる。この場合、多重化計
画がシーケンス単位からピクチヤ単位に変わるが、その
分実際の発生ビツトレートを算出する時間をより短縮す
ることができる。

【００６０】さらに上述の実施の形態においては、ユー
ザデータ領域（ＵＤ）３２に付加されるユーザデータと
して実際の発生ビツトレートに関する情報（すなわちＧ
ＯＰＮ３３、ＰＮ３４、ＧＯＰＢ３５）を付加するよう
にした場合について述べたが、本発明はこれに限らず、
実際の発生ビツトレートに関する情報として例えば発生
ビツト量の最大値に対して実際の発生ビツトレートがど
の位の割合かをパーセントに置き換えた割合データを書
き込むようにしても良い。この場合、付加するデータ量
を少なくし得ると共に、上述の実施の形態と同様の効果
を得ることができる。

【００６１】さらに上述の実施の形態においては、画像
データをＭＰＥＧ２方式で圧縮符号化する場合について
述べたが、本発明はこれに限らず、音声信号を圧縮符号
化する場合に本発明を適用するようにしても良い。

【００６２】

【発明の効果】上述のように本発明によれば、入力デー
タを符号化することにより符号化ビツトストリームを生
成すると共に、当該符号化ビツトストリームの実際の発
生ビツトレートに関するビツトレート情報を符号化ビツ
トストリームの所定領域に付加して送信することによ
り、受信側では複数チヤネルの符号化ビツトストリーム
の所定領域からビツトレート情報を予め読み出して実際
の発生ビツトレートを算出し、当該算出結果に基づく多
重化処理計画に従つて符号化ビツトストリームを効率良
く多重化処理することができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態による符号化ビツトスト
リームのデータ構造を示す略線図である。

【図２】新たに書き込まれるユーザデータの内容例を示
す略線図である。

【図３】符号化多重化装置の構成を示すブロツク図であ
る。

【図４】符号化器の構成を示すブロツク図である。

【図５】ハツフア部の構成を示すブロツク図である。

【図６】他の実施の形態による符号化ビツトストリーム
のデータ構造を示す略線図である。

【図７】他の実施の形態による新たに書き込まれるユー
ザデータの内容例を示す略線図である。

【図８】他の実施の形態による符号化ビツトストリーム
のデータ構造を示す略線図である。

【図９】他の実施の形態による新たに書き込まれるユー
ザデータの内容例を示す略線図である。

【図１０】従来の符号化ビツトストリームのデータ構造
を示す略線図である。

【符号の説明】

１、６０……符号化ビツトストリーム、６……ＦＲＣ、
７……ＢＲＶ、１８……ＧＯＰ層、１９……ピクチヤ
層、５０……符号化多重化装置、５１ａ〜５１ｎ……符
号化器、５２……多重化器、５４ａ〜５４ｎ……バツフ
ア、５６ａ〜５６ｎ……パケツト構成部、５７……多重
化部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 7/30 Ｈ０４Ｎ 7/137 Ｚ 7/32

Claims (8)

【特許請求の範囲】
1. 【請求項１】入力データを符号化することにより符号化
   ビツトストリームを生成する符号化手段と、 上記符号化ビツトストリームの実際の発生ビツトレート
   に関するビツトレート情報を上記符号化ビツトストリー
   ムの所定領域に付加するビツトレート情報付加手段とを
   具えることを特徴とする符号化装置。
2. 【請求項２】上記ビツトレート情報は、上記符号化ビツ
   トストリームのシーケンス全体における上記実際の発生
   ビツトレートに関する情報であることを特徴とする請求
   項１に記載の符号化装置。
3. 【請求項３】上記ビツトレート情報は、上記符号化ビツ
   トストリームのグループオブピクチヤ層全体における上
   記実際の発生ビツトレートに関する情報であることを特
   徴とする請求項１に記載の符号化装置。
4. 【請求項４】上記ビツトレート情報は、上記符号化ビツ
   トストリームのピクチヤ当たりの上記実際の発生ビツト
   レートに関する情報であることを特徴とする請求項１に
   記載の符号化装置。
5. 【請求項５】上記所定領域は、ユーザが使用できるユー
   ザ領域であることを特徴とする請求項１に記載の符号化
   装置。
6. 【請求項６】複数チヤンネルの入力データが符号化さ
   れ、所定領域に実際の発生ビツトレートに関するビツト
   レート情報が付加されてなる符号化ビツトストリームを
   それぞれ格納する複数の記憶手段と、上記複数の記憶手
   段に格納された上記各符号化ビツトストリームの上記ビ
   ツトレート情報をそれぞれ読み出して、上記各符号化ビ
   ツトストリームごとの実際の発生ビツトレートを算出
   し、当該算出結果に基づいて多重化処理を実行する多重
   化制御処理手段とを具えることを特徴とするデータ多重
   化装置。
7. 【請求項７】上記記憶手段は、上記符号化ビツトストリ
   ームに付加された最初のヘツダ情報から上記ビツトレー
   ト情報が記録された部分までのデータを少なくとも格納
   するデータ容量を有することを特徴とする請求項６に記
   載のデータ多重化装置。
8. 【請求項８】上記所定領域は、ユーザが使用できるユー
   ザ領域であることを特徴とする請求項６に記載のデータ
   多重化装置。