JPH09252290A - 符号化装置、符号化方法、伝送装置、伝送方法及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 複数のデータを符号化する場合、伝送路の利
用率を向上させる。 【解決手段】 プログラム２００−１乃至２００−ｎを
構成するビデオデータ２００−１ａ乃至２００−ｎａお
よびオーディオデータ２００−１ｂ乃至２００−ｎｂの
符号化難度を、ビデオの符号化難度測定部５００Ｖ−１
乃至５００Ｖ−ｎ、または、オーディオの符号化難度測
定部５００Ａ−１乃至５００Ａ−ｎによりそれぞれ測定
し、それぞれのデータの符号化難度に応じた符号化レー
トにより、これらのデータを符号化する。符号化レート
割り当て部５０６は、各符号化レートの和が一定となる
ように制御する。そして、多重化部３１２で符号化され
たデータを多重化し、伝送媒体２１０Ａ（または、記録
媒体２１０Ｂ）へ出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化装置、符号
化方法、伝送装置、伝送方法及び復号装置によって復号
可能な、符号化装置もしくは、符号化方法によって符号
化されたデータが記録された記録媒体に関し、特に、複
数のデータを異なるビットレートで符号化する符号化装
置、符号化方法、伝送装置、伝送方法及び記録媒体に関
する。

【０００２】

【従来の技術】図８は、複数のデータを符号化し、伝送
あるいは記録した後に、復号する装置の構成の一例を示
すブロック図である。この図において、符号化装置１３
０は、複数のデータを符号化し、複数の符号化されたデ
ータを出力するようになされている。また、復号化装置
１３１は、符号化装置１３０によって符号化されたデー
タをもとのデータに復号し、復号されたデータを出力す
るようになされている。

【０００３】符号化装置１３０の、ビデオデータ１０
０、オーディオデータ１０１、その他のデータ１０２
は、ビデオ符号化部１０３、オーディオ符号化部１０
４、または、その他の符号化部１０５によりそれぞれ符
号化された後、エレメンタリストリーム１０６乃至１０
８として多重化部１０９へ出力される。

【０００４】なお、ビデオ符号化部１０３は、例えば、
ＩＳＯ（International Organization for Standardiza
tion）１３８１８−２およびＩＳＯ１１１７２−２に示
されている規格（いわゆるＭＰＥＧ方式）に基づき、ビ
デオデータ１００を符号化して、符号化データを出力す
る。また、オーディオ符号化部１０４は、ＩＳＯ１３８
１８−３およびＩＳＯ１１１７２−３に示されている規
格（ＭＰＥＧ方式）に基づき、オーディオデータ１０１
を符号化して、符号化データを出力する。

【０００５】多重化部１０９は、エレメンタリストリー
ム１０６乃至１０８を時分割多重化し、１列のビットス
トリームからなる多重化ビットストリーム１１０を出力
する。この多重化ビットストリーム１１０は、記録メデ
ィア１１１に記録されるか、あるいは、伝送路１１２を
介して伝送され、その後、復号化装置１３１へ入力され
る。

【０００６】なお、多重化部１０９において、データが
多重化される際には、復号側においてビデオデータ１０
０およびオーディオデータ１０１の同期を取るために、
これらのデータの図示せぬ同期情報も、サイド情報とし
て多重化ビットストリーム１１０に付加される。

【０００７】復号化装置１３１の分離部１１３では、多
重化ビットストリーム１１０から、エレメンタリストリ
ーム１０６乃至１０８を分離し、それぞれ、ビデオ復号
部１１７、オーディオ復号部１１８、またはその他の復
号部１１９へ供給する。

【０００８】ビデオ復号部１１７、オーディオ復号部１
１８、または、その他の復号部１１９は、符号化された
データを元のデータに復号し、ビデオデータ１２０、オ
ーディオデータ１２１、または、その他のデータ１２２
として出力する。なお、ビデオデータ１２０とオーディ
オデータ１２１とは、前述の同期情報に対応してビデオ
復号部１１７とオーディオ復号部１１８でそれぞれ同期
して復号されるので、同期が確保される。

【０００９】以上の例では、ビデオデータ１００、オー
ディオデータ１０１、およびその他のデータ１０２を、
それぞれ１つずつ含むプログラムを多重化する例を示し
た。これに対して、複数のデータから構成される複数の
プログラムを多重化する場合の例を以下に示す。

【００１０】図９は、複数のデータから構成される複数
のプログラムを多重化し、伝送、または記録する装置の
構成の一例を示すブロック図である。このような複数の
プログラムの多重化は、たとえばＩＳＯ１３８１８−１
および１１１７２−１に規定されているトランスポート
ストリーム多重化（Transport Stream Multiplexing）
に基づいてなされる。

【００１１】この図において、符号化装置２３０は、複
数のプログラムを符号化し、それぞれ符号化された複数
のデータ（プログラム）を多重化した後、多重化データ
を出力するようになされている。復号化装置２３１は、
符号化装置２３０で符号化されたデータから元のデータ
を復号するようになされている。

【００１２】符号化装置２３０のプログラム２００−１
乃至２００−ｎは、ビデオデータ２００−１ａ乃至２０
０−ｎａとオーディオデータ２００−１ｂ乃至２００−
ｎｂとによりそれぞれ構成されている。ビデオデータ２
００−１ａ乃至２００−ｎａは、ビデオ符号化部２０１
Ｖ−１乃至２０１Ｖ−ｎへそれぞれ入力され、また、オ
ーディオデータ２００−１ｂ乃至２００−ｎｂは、オー
ディオ符号化部２０１Ａ−１乃至２０１Ａ−ｎへそれぞ
れ入力される。これらのビデオ符号化部２０１Ｖ−１乃
至２０１Ｖ−ｎ、およびオーディオ符号化部２０１Ａ−
１乃至２０１Ａ−ｎは、入力されたデータを、予め割り
当てられたビットレートになるように符号化し、ビデオ
エレメンタリストリーム、またはオーディオエレメンタ
リストリームとして出力する。

【００１３】ビデオ符号化部２０１Ｖ−１乃至２０１Ｖ
−ｎ、および、オーディオ符号化部２０１Ａ−１乃至２
０１Ａ−ｎにより符号化されたビデオデータ２００−１
ａ乃至２００−ｎａとオーディオデータ２００−１ｂ乃
至２００−ｎｂは、多重化部２０９へ入力され、多重化
が施される。

【００１４】多重化部２０９により多重化された信号
は、伝送媒体２１０Ａにより伝送されるか、または記録
媒体２１０Ｂに記録される。

【００１５】復号化装置２３１の分離部２１１は、伝送
媒体２１０Ａ（または記録媒体２１０Ｂ）から時分割多
重化されたストリームを読み込み、これからビデオエレ
メンタリストリーム、またはオーディオエレメンタリス
トリームを分離抽出し、ビデオ復号部２１２Ｖ−１乃至
２１２Ｖ−ｎ、またはオーディオ復号部２１２Ａ−１乃
至２１２Ａ−ｎへそれぞれ供給する。ビデオ復号部２１
２Ｖ−１乃至２１２Ｖ−ｎ、およびオーディオ復号部２
１２Ａ−１乃至２１２Ａ−ｎは、符号化されたストリー
ムを復号し、もとのデータを出力する。その結果、ビデ
オデータ２１８−１ａ乃至２１８−ｎａ、およびオーデ
ィオデータ２１８−１ｂ乃至２１８−ｎｂにより構成さ
れているプログラム２１８−１乃至２１８−ｎを得るこ
とができる。

【００１６】これらのプログラム２１８−１乃至２１８
−ｎは、それぞれ、対応する表示装置へ出力される。そ
の結果、符号化側から送られてきた情報を利用すること
ができる。

【００１７】図９に示す例では、全てのエレメンタリス
トリームを読み出す場合を示してあるが、任意のエレメ
ンタリストリームを選択的に復号することも可能であ
る。

【００１８】以上のような例において、例えば、伝送媒
体２１０Ａにより、複数のストリームを伝送する場合、
図１０に示すように、各エレメンタリストリーム毎に固
定のビットレートを割り当てていた。このような方法で
は、対象となる信号の符号化の難度が高い場合（符号化
部で符号化したときの情報量が多い場合）は、信号の質
が低下することがあった。また、逆に符号化の難度が低
い場合（符号化部で符号化したときの情報量が少ない場
合）は、符号化されたデータが冗長となり、その結果、
ビットストリームが必要以上に使用されることがあっ
た。

【００１９】そこで、図１１に示すように、各エレメン
タリストリームを可変ビットレートで伝送（または記
録）する方法が提案されている。つまり、それぞれ独立
して各ビットストリームの情報量が測定され、その情報
量に応じて、それぞれ独立して各ビットストリームのビ
ットレートが割り当てる。この例においては、各エレメ
ンタリストリームにはそのデータの情報量に応じてビッ
トレートが割り当てられる（情報量が多い場合は、大き
なビットレートが割り当てられる）ため、各データの符
号化難度の変化に応じて、それぞれのグラフの幅（ビッ
トレートに対応している）が変化することになる。

【００２０】このような伝送方法を実現する符号化装置
の構成の一例を図１２に示す。

【００２１】この図において、図９と同一の部分には同
一の符号が付してあるので、説明を適宜省略する。

【００２２】この例において、ビデオデータ２００−１
ａ乃至２００−ｎａは、ビデオの必要レート測定部３０
０Ｖ−１乃至３００Ｖ−ｎを介して、ビデオ符号化部３
０６Ｖ−１乃至３０６Ｖ−ｎへ入力されており、また、
オーディオデータ２００−１ｂ乃至２００−ｎｂは、オ
ーディオの必要レート測定部３００Ａ−１乃至３００Ａ
−ｎを介してオーディオ符号化部３０６Ａ−１乃至３０
６Ａ−ｎへ入力されている。

【００２３】ビデオの必要レート測定部３００Ｖ−１乃
至３００Ｖ−ｎ、およびオーディオの必要レート測定部
３００Ａ−１乃至３００Ａ−ｎは、ビデオデータ２００
−１ａ乃至２００−ｎａ、またはオーディオデータ２０
０−１ｂ乃至２００−ｎｂを符号化する際に必要なレー
ト（必要レート）を、入力信号のスペクトル分布の起伏
を示すトーナリティ（Tonality）などより測定する。そ
して、測定したデータに基づき、ビデオ符号化部３０６
Ｖ−１乃至３０６Ｖ−ｎ、または、オーディオ符号化部
３０６Ａ−１乃至３０６Ａ−ｎの符号化レートを独立に
制御する。

【００２４】このとき、全てのデータのビットレートの
合計が、伝送媒体２１０Ａの最大ビットレートを超過し
ないようにする必要がある。そこで、例えば、各々のデ
ータに対してそれぞれ適当な最大ビットレートを割り当
て、各データがこの最大ビットレートを超過しないよう
に符号化を行うようにする。これにより、各データに対
して割り当てられた最大ビットレートの合計が、伝送路
の最大ビットレートより大きくなるが、符号化難度が高
いデータが同時に多数出現する確率は低い。したがっ
て、多重化データが伝送媒体の最大ビットレートを超え
ることは確率的に非常に低いので、実用上問題が少ない
とされている。

【００２５】ビデオ符号化部３０６Ｖ−１乃至３０６Ｖ
−ｎ、または、オーディオ符号化部３０６Ａ−１乃至３
０６Ａ−ｎは、ビデオの必要レート測定部３００Ｖ−１
乃至３００Ｖ−ｎ、または、オーディオの必要レート測
定部３００Ａ−１乃至３００Ａ−ｎの制御に基づき、ビ
デオデータ２００−１ａ乃至２００−ｎａ、またはオー
ディオデータ２００−１ｂ乃至２００−ｎｂを所定のビ
ットレートで符号化する。そして、これらの符号化され
たデータと、符号化レート情報（符号化ビットレートに
関する情報）とは、多重化部３１２に供給され、各符号
化レート情報に基づいて時分割多重化され、伝送媒体２
１０Ａ（または記録媒体２１０Ｂ）に対して出力され
る。

【００２６】この例では、各エレメンタリストリームの
情報量に応じて、各ビットストリームのビットレートが
独立して割り当てられるので、それぞれのデータが著し
く劣化したり、または、ストリームが無駄に消費される
おそれが少なくなる。

【００２７】

【発明が解決しようとする課題】しかしながら、以上の
ような例においては、各符号化部が独立に符号化を行う
ため、確率が低くても符号化難度が非常に高いデータが
多数出現した場合、符号化されたデータが伝送媒体２１
０Ａの最大ビットレートを超過する可能性があるという
課題があった。

【００２８】そこで、このようなことを防ぐには、各デ
ータに対して割り当てる前述の最大ビットレートの値を
小さくすることが考えられる。しかしながら、各データ
に対する最大ビットレートを小さくすると、ビットスト
リームが小さくする前の最大ビットレートを必要とする
場合、データの質が低下するという課題があった。

【００２９】また、逆に、各符号化部が独立に符号化を
行うため、符号化難度が非常に低いデータが多数出現し
た場合、伝送媒体２１０Ａの最大ビットレートに対し
て、多重化データの多重化レートが非常に少なくなる。
したがって、この場合、伝送媒体の伝送能力を最大限に
使用することができず、伝送媒体の伝送能力に無駄が生
じるという課題があった。

【００３０】本発明は、以上のような状況に鑑みてなさ
れたものであり、複数のデータを伝送または記録する場
合において、各データのビットレートが伝送媒体２１０
Ａまたは記録媒体２１０Ｂの最大ビットレートを超過し
ないようにするとともに、各データに対して最適のビッ
トレートを割り当てることを可能とした符号化装置、符
号化方法、伝送装置、伝送方法及び復号装置によって復
号可能な、符号化装置もしくは、符号化方法によって符
号化されたデータが記録された記録媒体を提供すること
にある。

【００３１】

【課題を解決するための手段】請求項１に記載の符号化
装置は、複数のデータの符号化の難度を測定する測定手
段と、出力データが目標のビットレートとなるように、
目標のビットレートと複数のデータの難度に従って、複
数のデータの各符号化レートを決定する決定手段と、複
数のデータを決定された各符号化レートに応じて符号化
する符号化手段と、符号化手段によって符号化された複
数のデータを多重化する多重化手段とを備えることを特
徴とする。

【００３２】請求項１２に記載の符号化方法は、複数の
データの符号化の難度を測定し、出力データが目標のビ
ットレートとなるように、目標のビットレートと複数の
データの難度に従って、複数のデータの各符号化レート
を決定し、複数のデータを決定された各符号化レートに
応じて符号化し、符号化された複数のデータを多重化す
ることを特徴とする。

【００３３】請求項２３に記載の伝送装置は、複数のデ
ータの符号化の難度を測定する測定手段と、出力データ
が目標のビットレートとなるように、目標のビットレー
トと複数のデータの難度に従って、複数のデータの各符
号化レートを決定する決定手段と、複数のデータを決定
された各符号化レートに応じて符号化する符号化手段
と、符号化手段によって符号化された複数のデータを多
重化し、その多重化データを伝送する伝送手段とを備え
ることを特徴とする。

【００３４】請求項３４に記載の伝送方法は、複数のデ
ータの符号化の難度を測定し、出力データが目標のビッ
トレートとなるように、目標のビットレートと複数のデ
ータの難度に従って、複数のデータの各符号化レートを
決定し、複数のデータを決定された各符号化レートに応
じて符号化し、符号化された複数のデータを多重化し、
その多重化データを伝送することを特徴とする。

【００３５】請求項４５に記載の記録媒体は、記録デー
タを有し、記録データは多重化データを含んでおり、多
重化データは、複数のデータの符号化の難度を測定し、
出力データが目標のビットレートとなるように、目標の
ビットレートと複数のデータの難度に従って、複数のデ
ータの各符号化レートを決定し、複数のデータを決定さ
れた各符号化レートに応じて、所定の符号化方式に従っ
て符号化し、符号化された複数のデータを多重化したも
のであることを特徴とする。

【００３６】請求項１に記載の符号化装置及び請求項１
２に記載の符号化方法においては、目標のビットレート
と複数のデータの難度に従って、複数のデータの符号化
レートが決定され、決定された符号化レートに対応して
符号化が行われる。

【００３７】請求項２３に記載の伝送装置及び請求項３
４に記載の伝送方法においては、目標のビットレートと
複数のデータの難度に従って、符号化レートが決定さ
れ、決定された符号化レートに応じて符号化されたデー
タが多重化され、伝送される。

【００３８】請求項４５に記載の記録媒体においては、
目標のビットレートと複数のデータの難度に基づいて決
定された符号化レートに対応して符号化された複数のデ
ータが多重化され、記録されている。

【００３９】

【発明の実施の形態】図１は、本発明の符号化装置の構
成の一例を示すブロック図である。この図において、図
１２の例と同一の部分には同一の符号が付してあるの
で、説明を適宜省略する。

【００４０】この実施の形態は、図１２の例に対して、
ビデオの符号化難度測定部５００Ｖ−１乃至５００Ｖ−
ｎ（測定手段）、オーディオの符号化難度測定部５００
Ａ−１乃至５００Ａ−ｎ（測定手段）、および、符号化
レート割り当て部５０６が新たに付加されている。その
他の構成は、図１２における場合と同様である。

【００４１】ビデオの符号化難度測定部５００Ｖ−１乃
至５００Ｖ−ｎは、ビデオデータ２００−１ａ乃至２０
０−ｎａを符号化する難度をそれぞれ測定するようにな
されている。また、オーディオの符号化難度測定部５０
０Ａ−１乃至５００Ａ−ｎは、オーディオデータ２００
−１ｂ乃至２００−ｎｂを符号化する難度をそれぞれ測
定するようになされている。

【００４２】符号化レート割り当て部５０６は、多重化
ストリームの供給データレート（最大データレート）、
ビデオの符号化難度測定部５００Ｖ−１乃至５００Ｖ−
ｎ、および、オーディオの符号化難度測定部５００Ａ−
１乃至５００Ａ−ｎから供給される符号化難度に応じ
て、各エレメンタリストリームに割り当てるビットレー
トを決定する。そして、決定されたビットレートを、ビ
デオ符号化部３０６Ｖ−１乃至３０６Ｖ−ｎ（符号化手
段）、または、オーディオ符号化部３０６Ａ−１乃至３
０６Ａ−ｎ（符号化手段）へそれぞれ供給するようにな
されている。

【００４３】図２は、図１に示すビデオの符号化難度測
定部５００Ｖ−１（他のビデオ符号化難度測定部５００
Ｖ−２乃至５００Ｖ−ｎも同様の構成とされている）の
詳細な構成の一例を示すブロック図である。

【００４４】この図において、遅延部６００は、入力さ
れるビデオデータ２００−１ａを、ＧＯＰ（Group of P
ictures）分だけ遅延（蓄積）し、出力するようになさ
れている。また、符号化部６０１は、入力されるビデオ
データ２００−１ａを所定の量子化ステップ（例えば、
Stepsize=2）で量子化し、符号化されたデータを出力す
るようになされている。また、符号量演算部６０２は、
符号化部６０１から出力される符号化されたデータの符
号量（データ量）を、ＧＯＰ単位で合計し、符号化難度
として出力するようになされている。

【００４５】次に、このビデオの符号化難度測定部の実
施の形態の動作について説明する。

【００４６】プログラム２００−１乃至２００−ｎの一
部を構成するビデオデータ２００−１ａ乃至２００−ｎ
ａは、ビデオの符号化難度測定部５００Ｖ−１乃至５０
０Ｖ−ｎ、へそれぞれ供給される。

【００４７】図２に示すビデオの符号化難度測定部５０
０Ｖ−１では、入力されたビデオデータ２００−１ａ
を、遅延部６００で１ＧＯＰ分だけ遅延し、出力する。
これらの信号は、ビデオ符号化部３０６Ｖ−１へ供給さ
れる。

【００４８】また、符号化部６０１へ供給されたデータ
は、例えば、Ｓｔｅｐｓｉｚｅ＝２の量子化ステップに
より符号化される。そして、符号化されたデータは、符
号量演算部６０２へ供給される。符号量演算部６０２
は、入力されたデータの符号量をＧＯＰに亘って合計
し、その結果を符号化レート割り当て部５０６に出力す
る。

【００４９】符号量演算部６０２は、ＧＯＰの最初の符
号化されたデータが入力されると演算を開始し、ＧＯＰ
の最後の符号化されたデータが入力されると演算を終了
し、演算結果を出力する。すなわち、演算結果が出力さ
れるまで、１ＧＯＰの時間がかかる。そこで、遅延部６
００は、ビデオデータ２００−１ａを１ＧＯＰ分だけ遅
延してタイミングを調節する。

【００５０】また、オーディオの符号化難度測定部５０
０Ａ−１（他のオーディオ符号化難度測定部５００Ａ−
２乃至乃至５００Ａ−ｎも同様の構成とされている）の
詳細な構成の一例もまた、図２を用いて説明する。ただ
し、オーディオの符号化難度測定部５００Ａ−１も、基
本的には遅延部６０５、符号化部６０６、符号量演算部
６０７から構成されるが、各部の内部構成がビデオの符
号化難度測定部とは異なるため、各部の参照番号を変え
て、以下に詳細に説明する。

【００５１】この図において、遅延部６０５は、入力さ
れるオーディオデータ２００−１bを、オーディオフレ
ーム分だけ遅延（蓄積）し、出力するようになされてい
る。このオーディオフレームは、例えば、２０乃至３０
ｍｓｅｃ程度のサンプルのセットから構成されている。
また、符号化部６０６は、入力されるオーディオデータ
２００−１ｂを所定の量子化ステップ（例えば、Stepsi
ze=2）で量子化し、符号化されたデータを出力するよう
になされている。また、符号量演算部６０７は、符号化
部６０６から出力される符号化されたデータの符号量
（データ量）を、オーディオフレーム単位で合計し、符
号化難度として符号化レート割り当て部５０６に出力す
るようになされている。

【００５２】次に、このオーディオの符号化難度測定部
の実施の形態の動作について説明する。プログラム２０
０−１乃至２００−ｎの一部を構成するオーディオデー
タ２００−１ｂ乃至２００−ｎｂは、オーディオの符号
化難度測定部５００Ａ−１乃至５００Ａ−ｎへそれぞれ
供給される。

【００５３】図２に示すオーディオの符号化難度測定部
５００Ａ−１の遅延部６０５では、入力されたオーディ
オデータ２００−１ｂを、１オーディオフレーム分だけ
遅延し、出力する。これらの信号は、オーディオ符号化
部３０６Ａ−１へ供給される。

【００５４】また、符号化部６０６へ供給されたオーデ
ィオデータは、例えば、Ｓｔｅｐｓｉｚｅ＝２の量子化
ステップにより符号化される。そして、符号化されたデ
ータは、符号量演算部６０７へ供給される。符号量演算
部６０７は、入力されたデータの符号量をオーディオフ
レームに亘って合計し、その結果を符号化レート割り当
て部５０６に出力する。

【００５５】符号量演算部６０７は、オーディオフレー
ムの最初の符号化されたデータが入力されると演算を開
始し、オーディオフレームの最後の符号化されたデータ
が入力されると演算を終了し、演算結果を出力する。す
なわち、演算結果が出力されるまで、１オーディオフレ
ームの時間がかかる。そこで、遅延部６０５は、オーデ
ィオデータ２００−１ｂを１オーディオフレーム分だけ
遅延してタイミングを調節する。

【００５６】符号化レート割り当て部５０６（決定手
段）は、ビデオの符号化難度測定部５００Ｖ−１乃至５
００Ｖ−ｎ、および、オーディオの符号化難度測定部５
００Ａ−１乃至５００Ａ−ｎから供給されるビデオまた
はオーディオの符号化難度（データ量）を読み込み、所
定の時間毎に、それぞれのデータに必要なビットレート
を、以下の式で計算する。

【００５７】

【数１】

【００５８】ここで、Ｂｉｔｒａｔｅ［ｋ］［Ｔ］は、
各ＧＯＰもしくは各オーディオフレームの時刻Ｔにおけ
る第ｋ番目のエレメンタリストリーム（例えば、ビデオ
データ２００−１ａ乃至２００−ｎａを、第１番目乃至
第３番目とし、また、オーディオデータ２００−１ｂ乃
至２００−ｎｂを第４番目乃至第６番目とする）に割り
当てられるビットレートである。Ｄｉｆｆｉｃｕｌｔｙ
［ｋ］［Ｔ］は、第ｋ番目（１≦ｋ≦ｕ：但し、ｕはエ
レメンタリストリームの数）のエレメンタリストリーム
の、時刻Ｔにおける符号化難度を示している。また、Ｍ
ＵＸ＿ｒａｔｅは、多重化ストリームの供給データレー
ト（最大データレート）を示している。

【００５９】式（１）に示すように、時刻Ｔにおける第
ｋ番目のエレメンタリストリームに対して割り当てられ
るビットレートは、時刻Ｔにおける第ｋ番目のエレメン
タリストリームの符号化難度（式（１）の分子に対応し
ている）を、全てのエレメンタリストリームの符号化難
度の和（式（１）の分母に対応している）で割ったもの
に、ＭＵＸ＿ｒａｔｅを掛けたものに等しい。

【００６０】換言すると、式（１）に示す計算は、時刻
Ｔにおけるそれぞれのエレメンタリストリームの符号化
難度（Difficulty）に比例して、ＭＵＸ＿ｒａｔｅ（最
大データレート）を分配することを示している。符号化
レート割り当て部５０６は、この式により得られるＢｉ
ｔｒａｔｅ［ｋ］［Ｔ］に基づき、ビデオ符号化部３０
６Ｖ−１乃至３０６Ｖ−ｎ、オーディオ符号化部３０６
Ａ−１乃至３０６Ａ−ｎ、および多重化部３１２（多重
化手段、伝送手段）へ符号化レート情報（ビットレート
情報）を供給する。

【００６１】ビデオ符号化部３０６Ｖ−１乃至３０６Ｖ
−ｎ、および、オーディオ符号化部３０６Ａ−１乃至３
０６Ａ−ｎは、符号化レート割り当て部５０６より供給
される符号化レート情報に基づき、ビデオの符号化難度
測定部５００Ｖ−１乃至５００Ｖ−ｎ、または、オーデ
ィオの符号化難度測定部５００Ａ−１乃至５００Ａ−ｎ
から供給されるデータを符号化する。

【００６２】このとき、ビデオの符号化難度測定部５０
０Ｖ−１乃至５００Ｖ−ｎから供給されるデータは、前
述のように遅延部６００により１ＧＯＰ分だけ遅延され
ており、また、符号化レート割り当て部５０６から供給
される符号化レート情報は、遅延部６００に現在蓄積さ
れているＧＯＰに対する情報である。また、オーディオ
の符号化難度測定部５００Ａ−１乃至５００Ａ−ｎから
供給されるデータは、前述のように遅延部６０５により
１オーディオフレーム分だけ遅延されており、また、符
号化レート割り当て部５０６から供給される符号化レー
ト情報は、遅延部６０５に現在蓄積されているオーディ
オフレームに対する情報である。

【００６３】従って、遅延部６００に蓄積されている１
ＧＯＰ分のビデオデータ２００−１ａ乃至２００−ｎ
ａ、または、遅延部６０５に蓄積されているオーディオ
データ２００−１ｂ乃至２００−ｎｂは、これら蓄積さ
れているデータより得られる符号化レートに基づき、ビ
デオ符号化部３０６Ｖ−１乃至３０６Ｖ−ｎ、または、
オーディオ符号化部３０６Ａ−１乃至３０６Ａ−ｎによ
り、例えばＭＰＥＧ方式で符号化されることになる。

【００６４】符号化されたビデオデータ（ビデオエレメ
ンタリストリーム）２００−１ａ乃至２００−ｎａ、お
よび、オーディオデータ（オーディオエレメンタリスト
リーム）２００−１ｂ乃至２００−ｎｂは、符号化レー
ト情報と共に、多重化部３１２へ供給される。多重化部
３１２は、これらのデータを符号化レート情報に基づ
き、時分割多重化し、伝送媒体２１０Ａ（または記録媒
体２１０Ｂ）に対して出力する。

【００６５】次に、多重化部３１２から出力されるデー
タが、伝送媒体を介して伝送される場合、ＩＳＯ１３８
１８−１および１１１７２−１に記載されているトラン
スポートストリーム多重化信号として、伝送媒体２１０
Ａに出力される。また、データが記録媒体に記録される
場合はプログラムストリーム多重化信号として記録媒体
２１０Ｂへ出力される。

【００６６】ここで、多重化部３１２から出力されるデ
ータが伝送媒体を介して伝送される場合について説明す
る。図３は、トランスポートストリームの構造の一例を
示す図である。各プログラム（プログラム２００−１乃
至２００−ｎ）を構成するビデオとオーディオのエレメ
ンタリストリーム（ビデオデータ２００−１ａ乃至２０
０−ｎａ、または、オーディオデータ２００−１ｂ乃至
２００−ｎｂに対応する）は、ＰＥＳ（Packetized Ele
mentary Stream）パケットを単位としてパケット化され
る。すなわち、例えば、プログラム２００−１を構成す
るビデオエレメンタリストリーム（ビデオデータ２００
−１ａに対応する）は、ビデオＰＥＳパケット（Ｖ）と
してパケット化される。また、オーディオエレメンタリ
ストリーム（オーディオデータ２００−１ｂに対応す
る）は、例えば、ステレオの左右のチャンネルに対応す
るストリームに分離され、それぞれ、オーディオＰＥＳ
パケット１（Ａ１）、または、オーディオＰＥＳパケッ
ト２（Ａ２）としてパケット化される。

【００６７】このビデオＰＥＳパケットおよびオーディ
オＰＥＳパケット１，２から構成されるＰＥＳストリー
ムは、複数のトランスポートパケットに更に分割され
る。そして、それぞれのトランスポートパケットにはヘ
ッダが付加されて、合計１８８バイト長の長さで伝送さ
れることになる。なお、このヘッダは、（４＋ａ）バイ
ト（ａはアダプテーションフィールドのバイト数）から
なり、個別ストリームの属性を示す１３ビットのＰＩＤ
（Packet Identification）、プログラム時刻基準参照
値であるＰＣＲ（Program Clock Reference）などから
構成されている。

【００６８】また、１８８バイト長のトランスポートパ
ケットから構成されるトランスポートストリーム（Ｔ
Ｓ）を生成する際に、各プログラムを構成するエレメン
タリストリームの組み合わせなどを示すプログラム編成
情報（ＰＳＩ；Program Specific Information）など
も、トランスポートパケットとして挿入され、他のデー
タと共に伝送されることになる。

【００６９】次に、受信側（復号化装置）について説明
する。以上のようなデータ構造により送信されてきた多
重化されたストリームは、図４に示す分離装置により、
エレメンタリストリームに分離される。なお、この図に
示す分離装置は、仮想的な理想デコーダモデルであり、
トランスポート向けのシステムターゲットデコーダ（Ｔ
−ＴＳＤ）バッファモデルと呼ばれている。

【００７０】図４において、スイッチ８００は、分離回
路を模式的に示したものであり、入力される時分割多重
化されたトランスポートストリームから各エレメンタリ
ストリームを分離抽出する。トランスポートバッファ
（ＴＢ1，ＴＢn（ｎは、エレメンタリストリームの数を
示す））８０１，８０２は、パケットのジッタを吸収す
るようになされている。システムターゲットデコーダ用
のバッファ（Ｂ1，Ｂn）８０３，８０４は、メインバッ
ファであり、所定のデータを蓄積し、出力するようにな
されている。

【００７１】なお、システムターゲットデコーダのバッ
ファ８０３は、ビデオエレメンタリストリーム用のバッ
ファであり、４ｍｓ分のジッタを吸収するようになされ
ている。また、ビデオエレメンタリストリーム用のバッ
ファ（ＢVBV）８０５も同様にビデオ用のバッファであ
り、所定量のビデオデータを蓄積し、出力するようにな
されている。特に、このエレメンタリストリーム用のバ
ッファ（ＢVBV）８０５は、ＭＰＥＧ方式の中の、ビデ
オ信号に関する規格内で定義されているものである。

【００７２】デコーダ（Ｄn）８０６は、エレメンタリ
ストリームを元のデータに復号するようになされてい
る。このデコーダ（Ｄｎ）８０６は、上述したＭＰＥＧ
方式で符号化されたビデオエレメンタリーストリーム以
外のビデオエレメンタリストリームもしくはオーディオ
エレメンタリストリームを、元のビデオデータもしくは
オーディオデータに復号するようになされている。ま
た、ビデオデコーダ８０７も同様に、ＭＰＥＧ方式で符
号化されたビデオエレメンタリストリームをもとのビデ
オデータに復号するようになされている。このビデオデ
コーダ８０７は、デコーダ８０７ａ、他のデータとの同
期をとるためのレコーダバッファ８０７ｂ、および、切
り替えスイッチ８０７ｃから構成されている。

【００７３】この実施の形態に対して入力されたトラン
スポートストリーム（図３参照）は、スイッチ８００に
より、それぞれのエレメンタリストリームに分離され
る。すなわち、トランスポートストリームは、それを構
成するビデオ、および、オーディオエレメンタリストリ
ームに分離される。続いて、それぞれのエレメンタリス
トリームは、それぞれ対応する５１２バイトのトランス
ポートバッファ８０１，８０２へ供給される。

【００７４】なお、このとき、スイッチ８００から各ト
ランスポートバッファ８０１，８０２へ供給されるエレ
メンタリストリームは、１列のビットストリームである
多重化ストリームより分離抽出される。従って、スイッ
チ８００から各トランスポートバッファ８０１，８０２
へは間欠的（バースト状）にデータが供給される。

【００７５】トランスポートバッファ８０１，８０２か
ら出力される各エレメンタリストリームは、システムタ
ーゲットデコーダのバッファ８０３，８０４へ入力さ
れ、所定量のストリームデータが蓄積された後、出力さ
れる。

【００７６】システムターゲットデコーダのバッファ８
０３から出力されるエレメンタリストリームは、ＭＰＥ
Ｇ方式で符号化されたビデオエレメンタリストリームで
あり、ビデオエレメンタリストリーム用のバッファ８０
５へ入力される。一方、システムターゲットデコーダの
バッファ８０４から出力されるＭＰＥＧ方式以外で符号
化されたビデオエレメンタリストリームもしくはオーデ
ィオエレメンタリストリームは、デコーダ８０６へ入力
され、元のデータに復号され、出力される。

【００７７】ビデオエレメンタリストリーム用のバッフ
ァ８０５から出力されたビデオエレメンタリストリーム
は、ビデオデコーダ８０７へ入力される。このビデオデ
コーダ８０７へ入力されたビデオエレメンタリストリー
ムは、デコーダ８０７ａにより元のビデオデータに復号
される。復号されたデータは、レコーダバッファ８０７
ｂと切り替えスイッチ８０７ｃの一方の端子へそれぞれ
供給される。

【００７８】入力された多重化ストリームがビデオエレ
メンタリストリームのみから構成されている場合（オー
ディオエレメンタリストリームを含んでいない場合）
は、デコーダ８０７ａから出力されたデータは、切り替
えスイッチ８０７ｃを介して直接出力される。また、多
重化ストリームがビデオエレメンタリストリームと、オ
ーディオエレメンタリストリームとから構成されている
ような場合は、ビデオデータとオーディオデータとの間
で同期を取る必要があるので、デコーダ８０７ａの出力
は、レコーダバッファ８０７ｂに蓄積され、オーディオ
データとの同期が取られた後、切り替えスイッチ８０７
ｃを介して出力される。なお、この同期を取るための情
報は、多重化ストリームに付加されているプレゼンテー
ションタイムスタンプ（ＰＴＳ）と呼ばれるサイド情報
によって行うことができる。

【００７９】ところで、データの送信側である符号化装
置と、データの受信側である復号化装置の間でデータを
授受する場合、符号化装置の送るデータ量が復号化装置
の処理可能なデータ量を超過しないように注意する必要
がある。この実施の形態では、復号化装置に存在するバ
ッファ（トランスポートバッファ８０１，８０２、シス
テムターゲットデコーダのバッファ８０３，８０４、ビ
デオエレメンタリストリーム用のバッファ８０５など）
をオーバーフローさせないように、符号化装置がデータ
を送信するようになされている。

【００８０】なお、このとき、送信側から受信側へ伝送
される多重化ストリームのデータレート（伝送データ速
度）は、前述のようにＭＵＸ＿ｒａｔｅと呼ばれ、全て
のプログラムを構成するエレメンタリストリームの平均
レートを加算したものより高い伝送レートとなってい
る。

【００８１】上述したように、本実施の形態では、特
に、データを伝送媒体を介して伝送する場合について詳
細に説明したが、データを記録媒体に記録する場合も同
様である。

【００８２】図５は、以上のような構成によって送信側
（符号化装置）から、受信側（復号化装置）へ伝送され
るエレメンタリストリームのＧＯＰ単位のビットレート
が時間的に変化する様子を示している。この図の横軸は
時刻Ｔを表しており、また、縦軸は、エレメンタリスト
リームにＧＯＰ単位で割り当てられるビットレートを示
している。更に、多重化制御情報は、各エレメンタリス
トリームのＧＯＰ単位のビットレートを示す情報であ
る。

【００８３】ビデオデータ２００−１ａ乃至２００−ｎ
ａ、および、オーディオデータ２００−１ｂ乃至２００
−ｎｂには、式（１）に示すＢｉｔｒａｔｅ［ｋ］
［Ｔ］に従って、伝送レートが割り当てられる。すなわ
ち、それぞれのデータの符号化難度（Difficulty）が高
い場合は、大きなビットレートが割り当てられ、また、
符号化難度が低い場合は、小さなビットレートが割り当
てられる。そして、これらのビットレートの合計はいつ
も一定（≦ＭＵＸ＿ｒａｔｅ）となるように設定されて
いる。

【００８４】その結果、符号化難度が高い情報には、多
くのビットレートが割り当てられるので、データの質を
低下させずに情報を伝送することが可能となる。また、
符号化難度が低い情報には、少ないビットが割り当てら
れるので、低い冗長度で情報を伝送することが可能とな
る。そして、これらの情報の和は、いつも一定となるよ
うに設定されているので、各エレメンタリストリームの
ビットレートの合計が、伝送媒体２１０Ａ（または記録
媒体２１０Ｂ）の最大ビットレートを超過することがな
い。

【００８５】すなわち、以上の実施の形態によれば、伝
送路の最大ビットレートを最大限有効に用いて複数のデ
ータの質を大きく劣化させることなく伝送することがで
きる。

【００８６】以上の実施の形態においては、符号化装置
のビデオの符号化難度測定部５００Ｖ−１乃至５００Ｖ
−ｎ、または、オーディオの符号化難度測定部５００Ａ
−１乃至５００Ａ−ｎは、所定の量子化ステップにより
データを量子化した場合の符号量を求め、これを符号化
難度として用いるようにした。しかしながら、ビデオデ
ータに関する難度を測定する場合は、符号化対象画素値
をもとに符号化難度を求めるようにしてもよい。

【００８７】図６は、ビデオの符号化難度測定部５００
Ｖ−１の他の構成の一例を示すブロック図である。この
図において、図２と同一の部分には、同一の符号を付し
てあるので、説明を適宜省略する。

【００８８】この図において、符号化対象画素値演算部
１０００は、入力される１ＧＯＰ分のビデオデータの画
素値を求めるようになされている。すなわち、ビデオデ
ータの１コマ（画像）を構成する複数の画素のそれぞれ
の画素値（画素の輝度を示す値）を求め、その値を出力
する。また、累積加算部１００１は、符号化対象画素値
演算部１０００から供給される符号化対象画素値を２乗
した後、その２乗値を累積加算し、その結果をビデオデ
ータの１ＧＯＰ分の符号化難度として出力する。

【００８９】入力されたビデオデータは、遅延部６００
と共に、符号化対象画素値演算部１００に供給される。
遅延部６００は、１ＧＯＰ分のデータを蓄積するように
なされている。遅延部６００へＧＯＰの最初のコマ（画
像）が入力されると、符号化対象画素値演算部１０００
は、画素値の演算を開始する。そして、ＧＯＰの最後の
コマが入力されるまで、演算を継続する。累積加算部１
００１は、１ＧＯＰに亘って、個々の画素値を２乗した
値を累積加算し、演算結果を符号化難度として出力す
る。この演算結果が出力される際には、この符号化難度
に対応するＧＯＰの最初のコマのビデオデータが出力さ
れることになる。

【００９０】このような構成によれば、１ＧＯＰ分のビ
デオデータの符号化難度を簡単に求めることができる。

【００９１】図７は、ビデオの符号化難度測定部５００
Ｖ−１の更に他の構成の一例を示すブロック図である。
この図においても、図２、図６と同一の部分には同一の
符号を付してあるので、説明を適宜省略する。

【００９２】この図において、符号化対象差分値演算部
１１００は、入力される１ＧＯＰ分のビデオデータの差
分値を求めるようになされている。すなわち、あるコマ
を構成するある画素値と、次のコマの空間的に同一位置
に存在する対応する位置の画素の画素値との差（差分
値）を、１コマ全ての画素について求めるようになされ
ている。累積加算部１００１は、符号化対象差分値演算
部１１００から供給される符号化対象差分値を２乗した
後、その２乗値を累積加算し、その結果をビデオデータ
の１ＧＯＰ分の符号化難度として出力する。

【００９３】この構成例の動作は、符号化対象差分値演
算部１１００から出力されるデータが、画素の差分値で
あることを除けば、図６における場合と同様であるの
で、説明を省略する。

【００９４】このような構成によっても、前述の図６に
示す構成例と同様に、簡単に符号化難度を求めることが
可能となる。

【００９５】なお、図６と図７に示す累積加算部１００
１では、符号化対象画素値演算部１０００、または、符
号化対象差分値演算部１１００から出力される画素値ま
たは差分値を２乗した値を累積加算するようにしたが、
画素値または差分値の絶対値を累積加算するようにして
もよい。このような構成によれば、乗算を行わないた
め、符号化難度を更に簡単に求めることができる。

【００９６】本発明の符号化装置および符号化方法によ
れば、複数のデータの符号化の難度を測定し、複数のデ
ータをそれぞれの難度に応じて符号化し、符号化された
複数のデータを合成し、合成されたデータが一定のビッ
トレートとなるように符号化を制御するようにしたの
で、それぞれのデータの情報量に応じたビットレートに
より符号化が可能となる。

【００９７】また、本発明の伝送装置および伝送方法に
よれば、複数のデータの符号化の難度を測定し、複数の
データをそれぞれの難度に応じて符号化し、符号化され
た複数のデータを合成し、合成されたデータが一定のビ
ットレートとなるように符号化を制御し、合成されたデ
ータを伝送路へ出力するようにしたので、それぞれのデ
ータの情報量に応じたビットレートを割り当てることが
可能となると共に、合成されたデータのビットレートが
伝送路の最大ビットレートを超過することがなくなる。

【００９８】本発明の実施の形態の符号化難度測定部に
おいて、ビデオの符号化難度を求める単位をＧＯＰと
し、またオーディオの符号化難度を求める単位をオーデ
ィオフレームとしたが、本発明はこれに限らず、それぞ
れの符号化難度を求める単位を本発明が実現できる範囲
に変えることはもちろん可能である。

【００９９】また、本発明の実施の形態は、ブロック図
を用いてハードウェアとして実現しているが、本発明は
これに限らず、ＣＰＵ及びメモリなどを用いてソフトウ
ェアで実現することも可能である。

【０１００】さらに、本発明の主旨を逸脱しない範囲に
おいて、さまざまな変形や応用例が考えうる。従って、
本発明の要旨は、実施の形態に限定されるものではな
い。

【０１０１】

【発明の効果】請求項１に記載の符号化装置および請求
項１２に記載の符号化方法によれば、複数のデータの符
号化の難度を測定し、複数のデータを、それぞれの難度
と目標のビットレートに応じて符号化するようにしたの
で、それぞれのデータの情報量に応じたビットレートに
より符号化が可能となる。

【０１０２】請求項２３に記載の伝送装置および請求項
３４に記載の伝送方法によれば、複数のデータの符号化
の難度を測定し、複数のデータを、それぞれの難度と目
標のビットレートに応じて符号化し、符号化された複数
のデータを多重化し、伝送するようにしたので、それぞ
れのデータの情報量に応じたビットレートを割り当てる
ことが可能となると共に、多重化されたデータのビット
レートが伝送路の最大ビットレートを超過することがな
くなる。

【０１０３】請求項４５に記載の記録媒体によれば、目
標のビットレートと複数のデータの難度に従って符号化
レートを決定し、その符号化レートに対応して符号化さ
れた複数のデータを多重化し、記録するようにしたの
で、情報を効率的に記録することができる。

【図面の簡単な説明】

【図１】本発明の符号化装置の構成の一例を示すブロッ
ク図である。

【図２】図１の符号化難度測定部の構成の一例を示すブ
ロック図である。

【図３】ＰＥＳパケットおよびトランスポートストリー
ムの構造を示す図である。

【図４】復号化装置の構成の一例を示すブロック図であ
る。

【図５】図１に示す符号化装置が出力する多重化ストリ
ームに含まれるエレメンタリストリームのビットレート
の時間的な推移を示す図である。

【図６】図１のビデオの符号化難度測定部の他の構成の
一例を示すブロック図である。

【図７】図１のビデオの符号化難度測定部の更に他の構
成の一例を示すブロック図である。

【図８】従来の符号化装置および復号化装置の構成の一
例を示すブロック図である。

【図９】従来の符号化装置および復号化装置の更に他の
構成の一例を示すブロック図である。

【図１０】図９の例における各エレメンタリストリーム
のビットレートの時間的推移を示す図である。

【図１１】可変ビットレートでデータを送る場合の各エ
レメンタリストリームのビットレートの時間的推移を示
す図である。

【図１２】図１１に示す可変ビットレートでデータを送
ることを実現する装置の構成の一例を示す図である。

【符号の説明】

２００−１乃至２００−ｎ プログラム， ２００−１
ａ乃至２００−ｎａビデオデータ， ２００−１ｂ乃至
２００−ｎｂ オーディオデータ， ２１０Ａ 伝送媒
体， ２１０Ｂ 記録媒体， ３０６Ｖ−１乃至３０６
Ｖ−ｎ ビデオ符号化部（符号化手段）， ３０６Ａ−
１乃至３０６Ａ−ｎ オーディオ符号化部（符号化手
段）， ３１２ 多重化部（多重化手段、伝送手段），
５００Ｖ−１乃至５００Ｖ−ｎ ビデオの符号化難度
測定部（測定手段）， ５００Ａ−１乃至５００Ａ−ｎ
オーディオの符号化難度測定部（測定手段）， ５０
６符号化割り当て部， ６００ 遅延部， ６０１ 符
号化部， ６０２ 符号量演算部， １０００ 符号化
対象画素値演算部， １００１ 累積加算部，１１００
符号化対象差分値演算部

Claims (45)

【特許請求の範囲】
1. 【請求項１】 複数のデータをそれぞれ所定の符号化方
   式で符号化し、その複数の符号化されたデータを多重化
   して出力する符号化装置において、 前記複数のデータの符号化の難度を測定する測定手段
   と、 出力データが目標のビットレートとなるように、前記目
   標のビットレートと前記複数のデータの難度に従って、
   複数のデータの各符号化レートを決定する決定手段と、 前記複数のデータを決定された各符号化レートに応じて
   符号化する符号化手段と、 前記符号化手段によって符号化された複数のデータを多
   重化する多重化手段とを備えることを特徴とする符号化
   装置。
2. 【請求項２】 前記複数のデータは、複数のビデオデー
   タを少なくとも含んでいることを特徴とする請求項１に
   記載の符号化装置。
3. 【請求項３】 前記複数のデータは、さらにオーディオ
   データを含んでいることを特徴とする請求項２に記載の
   符号化装置。
4. 【請求項４】 前記所定の符号化方式は、ＭＰＥＧ方式
   であることを特徴とする請求項１に記載の符号化装置。
5. 【請求項５】 各データの符号化レートは、前記目標の
   ビットレートに対するデータの難易度の割合によって決
   定されることを特徴とする請求項１に記載の符号化装
   置。
6. 【請求項６】 前記測定手段は、ＧＯＰ単位でビデオデ
   ータの前記符号化の難度を測定することを特徴とする請
   求項２に記載の符号化装置。
7. 【請求項７】 前記符号化の難度は、前記ビデオデータ
   を所定の量子化ステップサイズで符号化した場合の符号
   量であることを特徴とする請求項２に記載の符号化装
   置。
8. 【請求項８】 前記符号化の難度は、前記ビデオデータ
   の符号化対象画素値または符号化対象差分値の２乗の累
   積加算値であることを特徴とする請求項２に記載の符号
   化装置。
9. 【請求項９】 前記符号化の難度は、前記ビデオデータ
   の符号化対象画素値または符号化対象差分値の絶対値の
   累積加算値であることを特徴とする請求項２に記載の符
   号化装置。
10. 【請求項１０】 前記測定手段は、オーディオフレーム
    単位でオーディオデータの前記符号化の難度を測定する
    ことを特徴とする請求項３に記載の符号化装置。
11. 【請求項１１】 前記符号化の難度は、前記オーディオ
    データを所定の量子化ステップサイズで符号化した場合
    の符号量であることを特徴とする請求項３に記載の符号
    化装置。
12. 【請求項１２】 複数のデータをそれぞれ所定の符号化
    方式で符号化し、その複数の符号化されたデータを多重
    化して出力する符号化方法において、 前記複数のデータの符号化の難度を測定し、 出力データが目標のビットレートとなるように、前記目
    標のビットレートと前記複数のデータの難度に従って、
    複数のデータの各符号化レートを決定し、 前記複数のデータを決定された各符号化レートに応じて
    符号化し、 前記符号化された複数のデータを多重化することを特徴
    とする符号化方法。
13. 【請求項１３】 前記複数のデータは、複数のビデオデ
    ータを少なくとも含んでいることを特徴とする請求項１
    ２に記載の符号化方法。
14. 【請求項１４】 前記複数のデータは、さらにオーディ
    オデータを含んでいることを特徴とする請求項１３に記
    載の符号化方法。
15. 【請求項１５】 前記所定の符号化方式は、ＭＰＥＧ方
    式であることを特徴とする請求項１２に記載の符号化方
    法。
16. 【請求項１６】 各データの符号化レートは、前記目標
    のビットレートに対するデータの難度の割合によって決
    定されることを特徴とする請求項１２に記載の符号化方
    法。
17. 【請求項１７】 前記測定は、ＧＯＰ単位でビデオデー
    タの前記符号化の難度を測定することで行われることを
    特徴とする請求項１３に記載の符号化方法。
18. 【請求項１８】 前記符号化の難度は、前記ビデオデー
    タを所定の量子化ステップサイズで符号化した場合の符
    号量であることを特徴とする請求項１３に記載の符号化
    方法。
19. 【請求項１９】 前記符号化の難度は、前記ビデオデー
    タの符号化対象画素値または符号化対象差分値の２乗の
    累積加算値であることを特徴とする請求項１３に記載の
    符号化方法。
20. 【請求項２０】 前記符号化の難度は、前記ビデオデー
    タの符号化対象画素値または符号化対象差分値の絶対値
    の累積加算値であることを特徴とする請求項１３に記載
    の符号化方法。
21. 【請求項２１】 前記測定は、オーディオフレーム単位
    でオーディオデータの前記符号化の難度を測定すること
    で行われることを特徴とする請求項１４に記載の符号化
    方法。
22. 【請求項２２】 前記符号化の難度は、前記オーディオ
    データを所定の量子化ステップサイズで符号化した場合
    の符号量であることを特徴とする請求項１４に記載の符
    号化方法。
23. 【請求項２３】 複数のデータをそれぞれ所定の符号化
    方式で符号化し、その複数の符号化されたデータを多重
    化し、その多重化データを伝送する伝送装置において、 前記複数のデータの符号化の難度を測定する測定手段
    と、 出力データが目標のビットレートとなるように、前記目
    標のビットレートと前記複数のデータの難度に従って、
    複数のデータの各符号化レートを決定する決定手段と、 前記複数のデータを決定された各符号化レートに応じて
    符号化する符号化手段と、 前記符号化手段によって符号化された複数のデータを多
    重化し、その多重化データを伝送する伝送手段とを備え
    ることを特徴とする伝送装置。
24. 【請求項２４】 前記複数のデータは、複数のビデオデ
    ータを少なくとも含んでいる。ことを特徴とする請求項
    ２３に記載の伝送装置。
25. 【請求項２５】 前記複数のデータは、さらにオーディ
    オデータを含んでいることを特徴とする請求項２４に記
    載の伝送装置。
26. 【請求項２６】 前記所定の符号化方式は、ＭＰＥＧ方
    式であることを特徴とする請求項２３に記載の伝送装
    置。
27. 【請求項２７】 各データの符号化レートは、前記目標
    のビットレートに対するデータの難度の割合によって決
    定されることを特徴とする請求項２３に記載の伝送装
    置。
28. 【請求項２８】 前記測定手段は、ＧＯＰ単位でビデオ
    データの前記符号化の難度を測定することを特徴とする
    請求項２４に記載の伝送装置。
29. 【請求項２９】 前記符号化の難度は、前記ビデオデー
    タを所定の量子化ステップサイズで符号化した場合の符
    号量であることを特徴とする請求項２４に記載の伝送装
    置。
30. 【請求項３０】 前記符号化の難度は、前記ビデオデー
    タの符号化対象画素値または符号化対象差分値の２乗の
    累積加算値であることを特徴とする請求項２４に記載の
    伝送装置。
31. 【請求項３１】 前記符号化の難度は、前記ビデオデー
    タの符号化対象画素値または符号化対象差分値の絶対値
    の累積加算値であることを特徴とする請求項２４に記載
    の伝送装置。
32. 【請求項３２】 前記測定手段は、オーディオフレーム
    単位でオーディオデータの前記符号化の難度を測定する
    ことを特徴とする請求項２５に記載の伝送装置。
33. 【請求項３３】 前記符号化の難度は、前記オーディオ
    データを所定の量子化ステップサイズで符号化した場合
    の符号量であることを特徴とする請求項２５に記載の伝
    送装置。
34. 【請求項３４】 複数のデータをそれぞれ所定の符号化
    方式で符号化し、その複数の符号化されたデータを多重
    化し、その多重化データを伝送する伝送方法において、 前記複数のデータの符号化の難度を測定し、 出力データが目標のビットレートとなるように、前記目
    標のビットレートと前記複数のデータの難度に従って、
    複数のデータの各符号化レートを決定し、 前記複数のデータを決定された各符号化レートに応じて
    符号化し、 前記符号化された複数のデータを多重化し、その多重化
    データを伝送することを特徴とする伝送方法。
35. 【請求項３５】 前記複数のデータは、複数のビデオデ
    ータを少なくとも含んでいることを特徴とする請求項３
    ４に記載の伝送方法。
36. 【請求項３６】 前記複数のデータは、さらにオーディ
    オデータを含んでいることを特徴とする請求項３５に記
    載の伝送方法。
37. 【請求項３７】 前記所定の符号化方式は、ＭＰＥＧ方
    式であることを特徴とする請求項３４に記載の伝送方
    法。
38. 【請求項３８】 各データの符号化レートは、前記目標
    のビットレートに対するデータの難易度の割合によって
    決定されることを特徴とする請求項３４に記載の伝送方
    法。
39. 【請求項３９】 前記測定は、ＧＯＰ単位でビデオデー
    タの前記符号化の難度を測定することで行われることを
    特徴とする請求項３５に記載の伝送方法。
40. 【請求項４０】 前記符号化の難度は、前記ビデオデー
    タを所定の量子化ステップサイズで符号化した場合の符
    号量であることを特徴とする請求項３５に記載の伝送方
    法。
41. 【請求項４１】 前記符号化の難度は、前記ビデオデー
    タの符号化対象画素値または符号化対象差分値の２乗の
    累積加算値であることを特徴とする請求項３５に記載の
    伝送方法。
42. 【請求項４２】 前記符号化の難度は、前記ビデオデー
    タの符号化対象画素値または符号化対象差分値の絶対値
    の累積加算値であることを特徴とする請求項３５に記載
    の伝送方法。
43. 【請求項４３】 前記測定は、オーディオフレーム単位
    でオーディオデータの前記符号化の難度を測定すること
    で行われることを特徴とする請求項３６に記載の伝送方
    法。
44. 【請求項４４】 前記符号化の難度は、前記オーディオ
    データを所定の量子化ステップサイズで符号化した場合
    の符号量であることを特徴とする請求項３６に記載の伝
    送方法。
45. 【請求項４５】 復号装置によって復号可能な複数のデ
    ータが記憶された記録媒体において、 前記記録媒体は、記録データを有し、前記記録データは
    多重化データを含んでおり、 前記多重化データは、 前記複数のデータの符号化の難度を測定し、 出力データが目標のビットレートとなるように、前記目
    標のビットレートと前記複数のデータの難度に従って、
    複数のデータの各符号化レートを決定し、 前記複数のデータを決定された各符号化レートに応じ
    て、所定の符号化方式に従って符号化し、 前記符号化された複数のデータを多重化したものである
    ことを特徴とする記録媒体。