JP3874153B2 - 再符号化装置および再符号化方法、符号化装置および符号化方法、復号装置および復号方法、並びに、記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、再符号化装置および再符号化方法、符号化装置および符号化方法、復号装置および復号方法、並びに、記録媒体に関し、特に、MPEG規格に基づいて符号化された符号化ビットストリームのGOP（Group of Pictures）の構造を変更したり、符号化ビットストリームのビットレートを変更するためのトランスコーディング装置に用いて好適な再符号化装置および再符号化方法、符号化装置および符号化方法、復号装置および復号方法、並びに、記録媒体に関する。
【０００２】
【従来の技術】
近年、テレビジョンプログラムを制作及び放送する放送局においては、ビデオデータを圧縮/符号化処理するために、MPEG（Moving Picture Experts Group）技術が一般的に使われるようになってきた。特に、ビデオデータをテープなどのランダムアクセス可能な記録媒体素材に記録する場合、及びビデオデータをケーブルや衛星を介して伝送する場合には、このMPEG技術がデファクトスタンダードになりつつある。
【０００３】
放送局において制作されたビデオプログラムが各家庭に伝送されるまでの放送局における処理の一例を簡単に説明する。まず、ビデオカメラとVTR（Video Tape Recorder）が一体となったカムコーダに設けられたエンコーダによって、ソースビデオデータをエンコード処理して磁気テープ上に記録する。この際、カムコーダのエンコーダは、VTRのテープの記録フォーマットに適するように、ソースビデオデータを符号化する。たとえば、この磁気テープ上に記録されるMPEGビットストリームのGOP構造は、２フレームから１GOPが構成される構造（たとえば、Ｉ，Ｂ，Ｉ，Ｂ，Ｉ，Ｂ，・・・・・・）とされる。また磁気テープ上に記録されているMPEGビットストリームのビットレートは、１８Mbpsである。
【０００４】
次に、メイン放送局において、この磁気テープ上に記録されたビデオビットストリームを編集する編集処理を行う。そのために、磁気テープ上に記録されたビデオビットストリームのGOP構造を、編集処理に適したGOP構造に変換する。編集処理に適したGOP構造とは、１GOPが１フレームから構成され、すべてのピクチャがＩピクチャであるGOP構造である。なぜなら、フレーム単位で編集を行うためには、他のピクチャと相関のないＩピクチャがもっとも適しているからである。実際のオペレーションとしては、磁気テープ上に記録されたビデオストリームを一旦デコードしてベースバンドのビデオデータに戻す。そして、そのベースバンドのビデオ信号を、すべてのピクチャがＩピクチャとなるように再エンコードする。このようにデコード処理及び再エンコード処理を行うことによって、編集処理に適したGOP構造を有したビットストリームを生成することができる。
【０００５】
次に、上述した編集処理によって生成された編集ビデオプログラムを、メイン局から地方局に伝送するために、編集ビデオプログラムのビットストリームを、伝送処理に適したGOP構造及びビットレートに変換する。放送局間の伝送に適したGOP構造とは、たとえば、１GOPが１５フレームから構成されているGOP構造（たとえば、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ・…）である。また、放送局間の伝送に適したビットレートは、一般的に放送局間においては、光ファイバなどの高伝送容量を有した専用線が設けらているので、５０Mbps以上のハイビットレートであることが望ましい。具体的には、編集処理されたビデオプログラムのビットストリームを一旦デコードしてベースバンドのビデオデータに戻す。そして、そのベースバンドのビデオデータを上述した放送局間の伝送に適したGOP構造及びビットレートを有するように再エンコードする。
【０００６】
地方局においては、メイン局から伝送されてきたビデオプログラムの中に、地方特有のコマーシャルを挿入するために編集処理が行われる。つまり、上述した編集処理と同じように、メイン局から伝送されてきたビデオストリームを一旦デコードしてベースバンドのビデオデータに戻す。そして、そのベースバンドのビデオ信号を、すべてのピクチャがＩピクチャとなるように再エンコードすることによって、編集処理に適したGOP構造を有したビットストリームを生成することができる。
【０００７】
続いて、この地方局において編集処理が行われたビデオプログラムを各家庭に、ケーブルや衛星を介して伝送するために、この伝送処理に適したGOP構造及びビットレートに変換する。たとえば、各家庭に伝送するための伝送処理に適したGOP構造とは、１GOPが１５フレームから構成されるGOP構造（たとえば、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ・…）であって、各家庭に伝送するための伝送処理に適したビットレートは、５Mbps程度の低ビットレートである。具体的には、編集処理されたビデオプログラムのビットストリームを一旦デコードしてベースバンドのビデオデータに戻す。そして、そのベースバンドのビデオデータを上述した伝送処理に適したGOP構造及びビットレートを有するように再エンコードする。
【０００８】
このように、放送局から各家庭にビデオプログラムが伝送される間に、複数回の復号処理、符号化処理、および編集処理が繰り返されている。実際には、放送局における処理は上述した信号処理以外にもさまざまな信号処理が必要であり、そのたびに復号処理及び符号化処理を繰り返される。
【０００９】
MPEG規格に基づく符号化処理及び復号処理は、１００％可逆の処理ではないことは良く知られている。つまり、エンコードされる前のベースバンドのビデオデータと、デコードされた後のビデオデータは１００％同じでは無く、この符号化処理及び復号処理によって画質が劣化している。つまり、上述したように、デコード処理及びエンコード処理を繰り返すと、その処理の度に、画質が劣化してしまうと言う問題があった。別の言葉で表現すると、デコード/エンコード処理を繰り返す毎に、画質の劣化が蓄積されてしまう。
【００１０】
そこで、デコード/エンコード処理に伴う画質の劣化を防止するために、以前の符号化の処理で用いられた符号化パラメータを画像と関連付けて伝送して、以前の符号化の処理で用いられた符号化パラメータを利用して符号化するシステムが利用されている。
【００１１】
【発明が解決しようとする課題】
しかしながら、画像の削除または画像の挿入などの編集処理が行われた画像を、以前の符号化の処理で用いられた符号化パラメータを利用して符号化しようとする場合、大きな画質劣化を招くときがある。
【００１２】
図１は、時間の経過とともに図１中の左側から右側に向かって表示されるピクチャの例を示す。図１中のＢは、以前の符号化の処理においてＢピクチャとして符号化されたピクチャを示し、図１中のＩは、以前の符号化の処理においてＩピクチャとして符号化されたピクチャを示し、図１中のＰは、以前の符号化の処理においてＰピクチャとして符号化されたピクチャを示す。
【００１３】
例えば、図１（Ａ）に示す図１（Ａ）中の左側の４つのピクチャに、図１（Ｂ）に示す図１（Ｂ）中の右側の５つのピクチャがつなぎ合わされて、図１（Ｃ）に示す新たな画像として生成されるように編集されたとき、編集のつなぎ目の最後の画像（編集前に図１（Ａ）に含まれていた、図１（Ａ）中左側から４枚目の画像に対応する画像）が、以前の符号化においてＢピクチャである場合、その以前の符号化で用いられた符号化パラメータを利用して符号化しようとするとき、編集される前とは異なるＰピクチャを参照して符号化してしまい、大きく画質が劣化してしまう。
【００１４】
同様に、編集のつなぎ目の先頭の画像（編集前に図１（Ｂ）に含まれていた、図１（Ｂ）中左側から５枚目の画像に対応する画像）が、以前の符号化においてＢピクチャである場合、その以前の符号化で用いられた符号化パラメータを利用して符号化しようとするとき、編集される前とは異なるＩピクチャを参照して符号化してしまい、大きく画質が劣化してしまう。
【００１５】
また、このような編集が行われた場合、VBV(Video Buffering Verifier) Bufferを基にした、ビットストリームのレイトコントロールに矛盾が生じるので、オーバーフローまたはアンダーフローが生じるときがある。
【００１６】
例えば、図２（Ａ）が、以前の符号化の処理において、図１（Ａ）に示す画像を符号化する場合の、VBV Bufferに格納されるデータの量を示し、図２（Ｂ）が、以前の符号化の処理において、図１（Ｂ）に示す画像を符号化する場合の、VBV Bufferに格納されるデータの量を示すとき、図１（Ｃ）に示す画像を、以前の符号化パラメータをそのまま利用して符号化すると、図２（Ｃ）に示すように、VBV Bufferに格納されるデータは、オーバーフローしてしまう。
【００１７】
更に、フレームシンクロナイザにより、フレーム周期のずれを吸収するため、画像のフレームを間引いたり、または同一のフレームを二回表示させた場合にも、画像の時間的な連続性を壊すことになり、上述の編集処理の場合と同様の問題が生じる。
【００１８】
MPEG2のビットストリームにおいて、入力画像毎にカウントアップする、10bitのカウンタであるtemporal_referenceがpicture_header()層に挿入されているので、このtemporal_referenceを利用して、このような画像の不連続を検出することができる。
【００１９】
しかし、このtemporal_referenceは、group_of_pictures_header()の後に、リセットしなければならない。group_of_pictures_header()は、周期について特に規定はないが、通常、GOPの周期で挿入されている。
【００２０】
従って、１GOPが１５フレームから構成されるGOP構造を有する場合、temporal_referenceの周期は１５となり、この画像に上述のような編集処理がなされても、temporal_referenceは連続してしまう可能性が高いので、画像の不連続を検出できない可能性が高い。１GOPが１フレームから構成されるGOP構造を有する場合、temporal_referenceは、常に、０となるので、画像の不連続は検出できない。
【００２１】
本発明は、このような状況に鑑みてなされたものであり、MPEG規格に基づいて符号化された符号化ビットストリームのGOP（Group of Pictures）の構造を変更するために復号処理、符号化処理、および編集処理を繰り返したとしても画質劣化の発生しないようにするものである。
【００２２】
【課題を解決するための手段】
本発明の再符号化装置は、符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータを、符号化ストリームとともに入力する入力手段と、入力手段により入力された符号化ストリームを復号処理するとともに、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報として、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報を生成し、復号処理された画像データを、入力手段により入力された過去の符号化パラメータおよび生成された識別情報とともに出力する復号手段と、復号手段により復号された画像データを再符号化処理して再符号化ストリームを生成する再符号化手段と、復号手段により生成された識別情報に基づいて、復号手段により出力された過去の符号化パラメータおよび再符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、過去の符号化パラメータを選択し、選択した符号化パラメータを利用して再符号化処理するように、再符号化手段を制御する制御手段とを備えることを特徴とする。
【００２３】
アクセスユニットはフレームまたはフィールドであるものとすることができる。
【００２４】
復号手段には、アクセスユニットに同期する同期信号を生成するとともに、同期信号カウントアップまたはカウントダウンを実行することにより得られるカウンタ値を基に、識別情報を生成させるようにすることができる。
【００２５】
過去の符号化パラメータは、符号化ストリームに多重化されているものとすることができ、復号手段には、符号化ストリームから過去の符号化パラメータを取得させるようにすることができる。
復号手段には、識別情報を画像データに多重化して出力させるようにすることができる。
復号手段には、識別情報をアンシラリデータパケットに格納して、アンシラリデータパケットを画像データに多重化して出力させるようにすることができる。
【００２６】
復号手段には、識別情報を画像データのブランキング部分に多重化して出力させるようにすることができる。
【００２７】
復号手段には、過去の符号化パラメータを画像データに多重化して出力させるようにすることができる。
復号手段には、過去の符号化パラメータを画像データのブランキング部分に多重化して出力させるようにすることができる。
【００２８】
復号手段には、識別情報を、画像データのブランキング部分に多重化されている過去の符号化パラメータに多重化して出力させるようにすることができる。
【００３０】
再符号化手段により生成された再符号化ストリームを出力する出力手段を更に備えさせるようにすることができる。
再符号化手段により利用された過去の符号化パラメータおよび現在の符号化パラメータのうちのいずれかを、再符号化ストリームとともに出力する出力手段を更に備えさせるようにすることができる。
再符号化手段により利用された過去の符号化パラメータおよび現在の符号化パラメータのうちのいずれかを、再符号化ストリームに多重化する多重化手段を更に備えさせるようにすることができ、出力手段には、多重化手段により過去の符号化パラメータおよび現在の符号化パラメータのうちのいずれかが多重化された再符号化ストリームを出力させるようにすることができる。
【００３１】
再符号化手段には、ビットレート、または、 GOP 構造を変更して再符号化処理を行わせるようにすることができる。
再符号化手段には、シーケンスレイヤ、 GOP レイヤ、ピクチャレイヤ、スライスレイヤ、および、マクロブロックレイヤを有する MPEG 方式で再符号化を行わせるようにすることができる。
【００３２】
本発明の再符号化方法は、符号化ストリームに対する過去の符号化処理により生成された過去の符号化パラメータを、符号化ストリームとともに入力する入力工程と、入力工程により入力された符号化ストリームを復号処理するとともに、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報として、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報を生成し、復号処理された画像データを、入力工程により入力された過去の符号化パラメータおよび生成された識別情報とともに出力する復号工程と、復号工程により復号された画像データを再符号化処理して再符号化ストリームを生成する再符号化工程と、復号工程により生成された識別情報に基づいて、復号工程により出力された過去の符号化パラメータおよび再符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、過去の符号化パラメータを選択し、選択した符号化パラメータを利用して再符号化処理するように、再符号化工程の再符号化処理を制御する制御工程とを含む。
本発明の第1の記録媒体に記録されているプログラムは、符号化ストリームに対する過去の符号化処理により生成された過去の符号化パラメータを、符号化ストリームとともに入力する入力工程と、入力工程により入力された符号化ストリームを復号処理するとともに、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報として、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報を生成し、復号処理された画像データを、入力工程により入力された過去の符号化パラメータおよび生成された識別情報とともに出力する復号工程と、復号工程により復号された画像データを再符号化処理して再符号化ストリームを生成する再符号化工程と、復号工程により生成された識別情報に基づいて、復号工程により出力された過去の符号化パラメータおよび再符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、過去の符号化パラメータを選択し、選択した符号化パラメータを利用して再符号化処理するように、再符号化工程の再符号化処理を制御する制御工程とを含む処理をコンピュータに実行させる。
【００３３】
本発明の再符号化装置及び再符号化方法、並びに、第１の記録媒体に記録されているプログラムにおいては、符号化ストリームに対する過去の符号化処理により生成された過去の符号化パラメータが、符号化ストリームとともに入力され、入力された符号化ストリームが復号されるとともに、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報として、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報が生成され、復号処理された画像データが、過去の符号化パラメータおよび識別情報とともに出力され、復号された画像データが、識別情報に基づいて、過去の符号化パラメータおよび再符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、現在の符号化パラメータが選択されて、編集に伴うつなぎ目を含む所定区間以外の区間では、過去の符号化パラメータを選択し、選択した符号化パラメータが利用されて、復号された画像データが、再符号化されて再符号化ストリームが生成される。
【００３４】
本発明の符号化装置は、符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータおよび画像データに対して施された編集に伴うつなぎ目を識別する識別情報を、画像データとともに入力する入力手段と、入力手段により入力された画像データを符号化処理して符号化ストリームを生成する符号化手段と、入力手段により入力された識別情報に基づいて、入力手段により入力された過去の符号化パラメータおよび符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、過去の符号化パラメータを選択し、選択した符号化パラメータを利用して符号化処理するように、符号化手段を制御する制御手段とを備える。
本発明の符号化方法は、符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータおよび画像データに対して施された編集に伴うつなぎ目を識別する識別情報を、画像データとともに入力する入力工程と、入力工程により入力された画像データを符号化処理して符号化ストリームを生成する符号化工程と、入力工程により入力された識別情報に基づいて、入力工程により入力された過去の符号化パラメータおよび符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、過去の符号化パラメータを選択し、選択した符号化パラメータを利用して符号化処理するように、符号化工程の符号化処理を制御する制御工程とを含む。
本発明の第２の記録媒体に記録されているプログラムは、符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータおよび画像データに対して施された編集に伴うつなぎ目を識別する識別情報を、画像データとともに入力する入力工程と、入力工程により入力された画像データを符号化処理して符号化ストリームを生成する符号化工程と、入力工程により入力された識別情報に基づいて、入力工程により入力された過去の符号化パラメータおよび符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、過去の符号化パラメータを選択し、選択した符号化パラメータを利用して符号化処理するように、符号化工程の符号化処理を制御する制御工程とを含む処理をコンピュータに実行させる。
本発明の符号化装置及び符号化方法、並びに、第２の記録媒体に記録されているプログラムにおいては、符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータおよび画像データに対して施された編集に伴うつなぎ目を識別する識別情報が、画像データとともに入力され、識別情報に基づいて、過去の符号化パラメータおよび符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、現在の符号化パラメータが選択されて、編集に伴うつなぎ目を含む所定区間以外の区間では、過去の符号化パラメータを選択し、選択した符号化パラメータが利用されて、画像データが符号化処理される。
【００３５】
本発明の復号装置は、符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータを、符号化ストリームとともに入力する入力手段と、入力手段により入力された符号化ストリームを復号処理するとともに、入力手段により入力された過去の符号化パラメータを、復号処理された画像データを再符号化する際に再利用するかを判断するために利用可能な情報として、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報であって、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報を生成し、復号処理された画像データを、入力手段により入力された過去の符号化パラメータおよび生成された識別情報とともに出力する復号手段とを備える。
本発明の復号方法は、符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータを、符号化ストリームとともに入力する入力工程と、入力工程により入力された符号化ストリームを復号処理するとともに、入力工程により入力された過去の符号化パラメータを、復号処理された画像データを再符号化する際に未来の符号化処理時に再利用するかを判断するために利用可能な情報として、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報であって、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報を生成し、復号処理された画像データを、入力工程により入力された過去の符号化パラメータおよび生成された識別情報とともに出力する復号工程とを含む。
本発明の第３の記録媒体に記録されているプログラムは、符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータを、符号化ストリームとともに入力する入力工程と、入力工程により入力された符号化ストリームを復号処理するとともに、入力工程により入力された過去の符号化パラメータを、復号処理された画像データを再符号化する際に再利用するかを判断するために利用可能な情報として、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報であって、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報を生成し、復号処理された画像データを、入力工程により入力された過去の符号化パラメータおよび生成された識別情報とともに出力する復号工程とを含む処理をコンピュータに実行させる。
本発明の復号装置及び復号方法、並びに、第３の記録媒体に記録されているプログラムにおいては、符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータが、符号化ストリームとともに入力され、入力された符号化ストリームが復号されるとともに、入力された過去の符号化パラメータを、復号処理された画像データを再符号化する際に再利用するかを判断するために利用可能な情報として、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報であって、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報が生成され、復号処理された画像データが、過去の符号化パラメータおよび識別情報とともに出力される。
【００３７】
【発明の実施の形態】
以下に、本発明を適用したトランスコーディングシステムについて説明する。なお、本明細書においてシステムの用語は、複数の装置、手段などにより構成される全体的な装置を意味するものである。
【００３８】
図３及び図４は、本発明を適用したトランスコーディングシステム１の構成を示しており、図４は、図３のさらに詳細な構成を示している。このトランスコーディングシステム１は、ビデオ復号システム１１に入力された符号化ビデオビットストリーム（encoded video bit stream）のGOP構造及びビットレートを、オペレータの所望するGOP構造及びビットレートに変換する。
【００３９】
トランスコーディングシステム１は、ビデオ復号システム１１、ビデオ符号化システム１２、ＶＴＲ（Video Tape Recorder）１３、スイッチ１４、およびスイッチ１５から構成されている。
【００４０】
ビデオ復号システム１１は、入力された符号化ビデオビットストリームを基にベースバンドデジタルビデオ信号を生成する。ビデオ符号化システム１２は、ベースバンドビデオ信号を基にオペレータの所望するGOP構造及びビットレートを有する符号化ビデオビットストリームを出力する。
【００４１】
ＶＴＲ１３は、スイッチ１４を介して供給されたベースバンドデジタルビデオ信号を記録すると共に、記録されているベースバンドデジタルビデオ信号をスイッチ１５を介してビデオ符号化システム１２に供給する。
【００４２】
スイッチ１４は、ビデオ復号システム１１から出力されたベースバンドデジタルビデオ信号の供給先をＶＴＲ１３またはスイッチ１５に切り換える。スイッチ１５は、ビデオ復号システム１１から出力されるベースバンドデジタルビデオ信号またはＶＴＲ１３から出力されるベースバンドデジタルビデオ信号のいずれかを選択して、選択されたベースバンドデジタルビデオ信号をビデオ符号化システム１２に出力する。
【００４３】
このトランスコーディングシステム１の機能を説明するために、図４には図示されていないが、このトランスコーディングシステム１の前段に、このトランスコーディングシステム１とほぼ同様の機能を有した３つのトランスコーディングシステムが接続されているものとする。つまり、ビットストリームのGOP構造及びビットレートをさまざまに変更するために、第１のトランスコーディングシステム、第２のトランスコーディングシステム、および第３のトランスコーディングシステムが順に直列に接続され、その第３のトランスコーディングシステムの後ろに、この図４に示された第４のトランスコーディングシステムが接続されているものとする。
【００４４】
本発明の以下の説明において、この第１のトランスコーディングシステムにおいて行われた符号化処理を第１世代の符号化処理と定義し、第１のトランスコーディングシステムの後ろに接続された第２のトランスコーディングシステムにおいて行われた符号化処理を第２世代の符号化処理と定義し、第２のトランスコーディングシステムの後ろに接続された第３のトランスコーディングシステムにおいて行われた符号化処理を第３世代の符号化処理と定義し、第３のトランスコーディングシステムの後ろに接続された第４のトランスコーディングシステム（図４に示されたトランスコーディングシステム１）において行われる符号化処理を第４世代の符号化処理または現在の符号化処理と定義することにする。
【００４５】
また、第１世代の符号化処理において生成された符号化パラメータを第１世代の符号化パラメータと呼び、第２世代の符号化処理において生成された符号化パラメータを第２世代の符号化パラメータと呼び、第３世代の符号化処理において生成された符号化パラメータを第３世代の符号化パラメータと呼び、第４世代の符号化処理において生成された符号化パラメータを第４世代の符号化パラメータまたは現在の符号化パラメータと呼ぶことにする。
【００４６】
まず、この図４に示されたトランスコーディングシステム１に供給される符号化ビデオストリームＳＴ（3rd）について説明する。ＳＴ（3rd）は、このトランスコーディングシステム１の前段に設けられている第３のトランスコーディングシステムにおける第３世代の符号化処理において生成された第３世代の符号化ストリームであることを表わしている。この第３世代の符号化処理において生成された符号化ビデオストリームＳＴ（3rd）には、第３の符号化処理において生成された第３世代の符号化パラメータが、この符号化符号化ビデオストリームＳＴ（3rd）のシーケンス層、GOP層、ピクチャ層、スライス層、及びマクロブロック層に、sequence_header() 関数、sequence_extension() 関数、group_of_pictures_header()関数、picture_header()関数，picture_coding_extension()関数、picture_data()関数、slice() 関数、及びmacroblock()関数として記述されている。このように第３の符号化処理によって生成された第３の符号化ストリームに、第３の符号化処理において使用した第３の符号化パラメータを記述することはMPEG２規格において定義されていることであって、何ら新規性は無い。
【００４７】
本発明のトランスコーディングシステム１におけるユニークな点は、この第３の符号化ストリームＳＴ（3rd）中に、第３の符号化パラメータを記述するだけでなく、第１世代及び第２世代の符号化処理において生成された第１世代及び第２世代の符号化パラメータも記述されているという点、およびアクセスユニットであるフレームまたはフィールド毎にカウントアップされる、十分に周期の長いカウンタ値が画像に関連づけられている点である。
【００４８】
具体的には、この第１世代及び第２世代の符号化パラメータは、第３世代の符号化ビデオストリームＳＴ（3rd）のピクチャ層のユーザデータエリアに、ヒストリストリームhistory_stream()として記述されている。本発明においては、第３世代の符号化ビデオストリームＳＴ（3rd）のピクチャ層のユーザデータエリアに記述されているヒストリストリームを、「ヒストリ情報」、または「履歴情報」と呼び、このヒストリストリームとして記述されている符号化パラメータを「ヒストリパラメータ」、または「履歴パラメータ」と呼んでいる。
【００４９】
また別の呼び方として、第３世代の符号化ストリームＳＴ（3rd）に記述されている第３世代の符号化パラメータを「現在の符号化パラメータ」と呼んだ場合には、第３世代の符号化処理からみて第１世代及び第２世代の符号化処理は、過去に行なわれた符号化処理であるので、第３世代の符号化ストリームＳＴ（3rd）のピクチャ層のユーザデータエリアに記述されているヒストリストリームとして記述されている符号化パラメータを「過去の符号化パラメータ」とも呼んでいる。
【００５０】
このように、この第３の符号化ストリームＳＴ（3rd）中に、第３の符号化パラメータを記述するだけでなく、第１世代及び第２世代の符号化処理において生成された第１世代及び第２世代の符号化パラメータを記述する理由は、トランスコーディング処理によって符号化ストリームのGOP構造やビットレートの変更を繰り返したとしても、画質劣化を防止することができるからである。
【００５１】
例えば、あるピクチャを第１世代の符号化処理においてＰピクチャとして符号化し、第１世代の符号化ストリームのGOP構造を変更するために、第２世代の符号化処理においてそのピクチャをＢピクチャとして符号化し、第２世代の符号化ストリームのGOP構造をさらに変更するために、第３世代の符号化処理において、再度そのピクチャをＰピクチャとして符号化することが考えられる。MPEG規格に基づく符号化処理及び復号処理は１００％可逆の処理ではないので、符号化及び復号処理を繰り返す毎に画質が劣化していくことは知られている。
【００５２】
このような場合に、第３の世代の符号化処理において、量子化スケール、動きベクトル、予測モードなどの符号化パラメータをもう一度計算するのではなくて、第１世代の符号化処理において生成された量子化スケール、動きベクトル、予測モードなどの符号化パラメータを再利用する。第３世代の符号化処理によって新しく生成された量子化スケール、動きベクトル、予測モードなどの符号化パラメータよりも、第１世代の符号化処理によって新しく生成された量子化スケール、動きベクトル、予測モードなどの符号化パラメータの方が、明らかに精度が良いので、この第１世代のパラメータを再利用することによって、符号化及び復号処理を繰り返したとしても画質劣化を少なくすることができる。
【００５３】
また、ビデオ復号システム１１が出力するベースバンドデジタルビデオ信号に含まれる画像には、アクセスユニットであるそのフレームまたはフィールド毎にカウントアップされるカウンタ値が関連付けられている。カウンタ値は、例えば、周期が65,536であり、最大値が設定された後、0になり、また、0からカウントアップされる。
【００５４】
ビデオ符号化システム１２は、ベースバンドデジタルビデオ信号に含まれる画像に対応するカウンタ値を基に、入力されたベースバンドデジタルビデオ信号に含まれる画像の不連続点（例えば、画像をつなぎ合わせた点、画像を挿入した点、画像を間引いた点など）を検出することができる。
【００５５】
例えば、あるピクチャを第１世代の符号化処理においてＰピクチャとして符号化し、第１世代の符号化ストリームのGOP構造を変更するために、第２世代の符号化処理においてそのピクチャをＢピクチャとして符号化し、第２世代の符号化ストリームのGOP構造をさらに変更するために、第３世代の符号化処理において、第１世代の符号化処理における符号化パラメータを基に再度そのピクチャをＰピクチャとして符号化する場合、そのピクチャの前のピクチャが削除されるように（そのピクチャが参照するＩピクチャまたはＰピクチャが削除されるように）画像が編集されていないとき、ビデオ符号化システム１２は、第１世代の符号化処理において生成した符号化パラメータを利用してそのピクチャをＰピクチャとして符号化し、そのピクチャの前のピクチャが削除されるように（そのピクチャが参照するＩピクチャまたはＰピクチャが削除されるように）画像が編集されているとき、符号化パラメータを生成してそのピクチャをＰピクチャとして符号化する。
【００５６】
このように、ビデオ符号化システム１２は、アクセスユニットであるフレームまたはフィールド毎にカウントアップされるカウンタ値を基に画像の不連続点を検出して、第１世代の符号化処理において生成された量子化スケール、動きベクトル、予測モードなどの符号化パラメータを利用して、符号化するので、画質劣化を防止することができる。
【００５７】
上述した本発明にかかる処理を説明するために、図４に示された第４世代のトランスコーディングシステム１の処理を例に挙げてより詳しく説明する。
【００５８】
カウンタ１０１は、復号装置１０２から供給されるフレームまたはフィールドに同期したFrame/Field同期信号を基に、カウントアップ（１を加算）される１６ビットのカウンタである。カウンタ１０１は、0乃至65,535のいずれかのカウンタ値をカウンタ値多重化装置１０５に出力する。
【００５９】
カウンタ１０１は、65,535のカウンタ値を有する場合、復号装置１０２からフレームまたはフィールドに同期したFrame/Field同期信号が供給されたとき、カウンタ値を0とし、その後も、復号装置１０２から供給されるFrame/Field同期信号を基に、カウントアップを継続する。
【００６０】
なお、カウンタ１０１は、復号装置１０２から供給されるフレームまたはフィールドに同期したFrame/Field同期信号を基に、カウントダウン（１を減算）するようにしてもよい。
【００６１】
復号装置１０２は、第３世代の符号化ビットストリームＳＴ（3rd）に含まれている符号化ビデオを第３世代の符号化パラメータを使用して復号し、復号されたベースバンドのデジタルビデオデータを生成するための装置である。さらに、復号装置１０２は、第３世代の符号化ビットストリームＳＴ（3rd）のピクチャ層のユーザデータエリアにヒストリストリームとして記述されている第１世代及び第２世代の符号化パラメータをデコードするための装置でもある。
【００６２】
具体的には、図５に示されているように、復号装置１０２のデコーダ２５１は、供給されたビットストリームをバッファリングするための受信バッファ２６１、符号化ビットストリームを可変長復号するための可変長復号回路２６２、可変長復号されたデータを可変長復号回路２６２から供給された量子化スケールに従って逆量子化する逆量子化回路２６３、逆量子化されたＤＣＴ（離散コサイン変換）係数を逆離散コサイン変換するIDCT回路２６４、及び動き補償処理を行うための演算器２６５、動き補償回路２６６及びフレームメモリ２６７を備えている。
【００６３】
伝送路（または所定の記録媒体）を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生装置で再生され、受信バッファ２６１に一時記憶された後、可変長復号回路２６２に供給される。可変長復号回路２６２は、受信バッファ２６１より供給されたデータを可変長復号し、動きベクトル、予測モード、予測フラグ、およびDCTフラグを動き補償回路２６６に出力し、量子化スケールを逆量子化回路２６３に出力するとともに、復号された画像データを逆量子化回路２６３に出力する。
【００６４】
逆量子化回路２６３は、可変長復号回路２６２より供給された画像データを、同じく可変長復号回路２６２より供給された量子化スケールに従って逆量子化し、IDCT回路２６４に出力する。逆量子化回路２６３より出力されたデータ（DCT係数）は、IDCT回路２６４により、逆離散コサイン変換処理が施され、演算器２６５に供給される。
【００６５】
IDCT回路２６４より演算器２６５に供給された画像データが、Ｉピクチャのデータである場合、そのデータは演算器２６５より出力され、演算器２６５に後に入力される画像データ（ＰまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ２６７の前方予測画像部２６７ａに供給されて記憶される。また、このデータは、ヒストリ情報多重化装置１０３（図３）に出力される。
【００６６】
IDCT回路２６４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチャのデータであり、前方予測モードのデータである場合、フレームメモリ２６７の前方予測画像部２６７ａに記憶されている、１フレーム前の画像データ（Ｉピクチャのデータ）が読み出され、動き補償回路２６６で可変長復号回路２６２より出力された動きベクトルに対応する動き補償が施される。そして、演算器２６５において、IDCT回路２６４より供給された画像データ（差分のデータ）と加算され、出力される。この加算されたデータ、すなわち、復号されたＰピクチャのデータは、演算器２６５に後に入力される画像データ（ＢピクチャまたはＰピクチャのデータ）の予測画像データ生成のために、フレームメモリ２６７の後方予測画像部２６７ｂに供給されて記憶される。
【００６７】
Ｐピクチャのデータであっても、画像内予測モードのデータは、Ｉピクチャのデータと同様に、演算器２６５において処理は行われず、そのまま後方予測画像部２６７ｂに記憶される。
【００６８】
このＰピクチャは、次のＢピクチャの次に表示されるべき画像であるため、この時点では、まだヒストリ情報多重化装置１０３へ出力されない（Ｂピクチャの後に入力されたＰピクチャが、Ｂピクチャより先に処理され、伝送される）。
【００６９】
IDCT回路２６４より供給された画像データが、Ｂピクチャのデータである場合、可変長復号回路２６２より供給された予測モードに対応して、フレームメモリ２６７の前方予測画像部２６７ａに記憶されているＩピクチャの画像データ（前方予測モードの場合）、後方予測画像部２６７ｂに記憶されているＰピクチャの画像データ（後方予測モードの場合）、または、その両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路２６６において、可変長復号回路２６２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。但し、動き補償を必要としない場合（画像内予測モードの場合）、予測画像は生成されない。
【００７０】
このようにして、動き補償回路２６６で動き補償が施されたデータは、演算器２６５において、IDCT回路２６４の出力と加算される。この加算出力は、ヒストリ情報多重化装置１０３に出力される。
【００７１】
ただし、この加算出力はＢピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ２６７には記憶されない。
【００７２】
Ｂピクチャの画像が出力された後、後方予測画像部２６７ｂに記憶されているＰピクチャの画像データが読み出され、動き補償回路２６６を介して演算器２６５に供給される。但し、このとき、動き補償は行われない。
【００７３】
なお、このデコーダ２５１において、奇数フィールドと偶数フィールドのラインの信号が分離された構成を元の構成に必要に応じて戻す処理は、動き補償回路２６６により実行される。
【００７４】
また、上述した説明においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。ただし、この場合の動きベクトルは、輝度信号用の動きベクトルを、垂直方向および水平方向に１／２にしたものが用いられる。
【００７５】
可変長復号回路２６２は、第３世代の符号化ビットストリームＳＴ（3rd）を復号処理するために、この第３世代の符号化ビットストリームＳＴ（3rd）のピクチャ層、スライス層及びマクロブロック層に記述されている第３世代の符号化パラメータを抽出する。たとえば、この可変長復号回路２６２において抽出される第３世代の符号化パラメータは、ピクチャタイプを示すpicture_coding_type、量子化スケールステップサイズを示すquantiser_scale_code、予測モードを示すmacroblock_type、動きベクトルを示すmotion_vector、Frame予測モードかField予測モードかを示すframe/field_motion_type、及びFrameＤＣＴモードかField ＤＣＴモードかを示すdct_type等である。この可変長復号回路２６２において抽出されたquatntiser_scale_codeは、逆量子化回路２６３に供給され、picture_coding_type、quatntiser_scale_code、macroblock_type、motion_vector、frame/field_motion_type、dct_type等のパラメータは、動き補償回路２６６に供給される。
【００７６】
可変長復号回路２６２は、第３世代の符号化ビットストリームＳＴ（3rd）を復号処理するために必要なこれらの符号化パラメータだけではなく、後段の第５世代のトランスコーディングシステムに第３世代のヒストリ情報として伝送されるべき符号化パラメータを、第３世代の符号化ビットストリームＳＴ（3rd）のシーケンス層、GOP層、ピクチャ層、スライス層、及びマクロブロック層から抽出する。もちろん、第３世代の復号処理に使用されたpicture_coding_type、quatntiser_scale_code、macroblock_type、motion_vector、frame/field_motion_type、dct_type等の第３世代の符号化パラメータは、この第３世代のヒストリ情報に含まれている。ヒストリ情報としてどのような符号化パラメータを抽出するかについては、伝送容量などに応じてオペレータやホストコンピュータ側からあらかじめ設定されている。
【００７７】
また、可変長復号回路２６２は、アクセスユニットであるフレームまたはフィールドの切り換えに対応するFrame/Field同期信号をカウンタ１０１に供給する。
【００７８】
さらに、可変長復号回路２６２は、第３世代の符号化ビットストリームＳＴ（3rd）のピクチャ層のユーザデータエリアに記述されているユーザデータを抽出し、そのユーザデータをヒストリデコーディング装置１０４に供給する。
【００７９】
このヒストリデコーディング装置１０４は、第３世代の符号化ビットストリームＳＴ（3rd）のピクチャ層に記述されていたユーザデータから、ヒストリ情報として記述されている第１世代の符号化パラメータ及び第２世代の符号化パラメータ（直前の世代よりさらに前の世代の符号化パラメータ）を抽出するための回路である。具体的には、ヒストリデコーディング装置１０４は、受け取ったユーザデータのシンタックスを解析することによって、ユーザデータの中に記述されている固有のHistory_Data_Idを検出し、これによって、converted_history_stream()を抽出することができる。さらに、ヒストリデコーディング装置１０４は、converted_history_stream()中にある所定間隔に挿入されている１ビットのマーカービット（marker_bit）を取りさることによって、history_stream()を得、そして、そのhistory_stream()のシンタックスを解析することによって、history_stream()中に記述されている第１世代及び第２世代の符号化パラメータを得ることができる。このヒストリデコーディング装置１０４の詳しい動作については、後述する。
【００８０】
ヒストリ情報多重化装置１０３は、第１世代、第２世代及び第３世代の符号化パラメータを、第４世代の符号化処理を行う符号化装置１１６に供給するために、復号装置１０２においてデコードされたベースバンドのビデオデータに、これらの第１世代、第２世代及び第３世代の符号化パラメータを多重化するための回路である。具体的には、ヒストリ情報多重化装置１０３は、復号装置１０２の演算器２６５から出力されたベースバンドのビデオデータ、復号装置１０２の可変長復号装置１１２から出力された第３世代の符号化パラメータ、並びに、ヒストリデコーディング装置１０４から出力された第１世代の符号化パラメータと第２世代の符号化パラメータとを受け取り、このベースバンドのビデオデータに、これらの第１世代、第２世代及び第３世代の符号化パラメータを多重化する。第１世代、第２世代及び第３世代の符号化パラメータが多重化されたベースバンドのビデオデータは、カウンタ値多重化装置１０５に供給される。
【００８１】
カウンタ値多重化装置１０５は、ヒストリ情報多重化装置１０３から供給された、第１世代、第２世代及び第３世代の符号化パラメータが多重化されたベースバンドのビデオデータに、更に、カウンタ１０１から供給されたカウンタ値を多重化する。
【００８２】
次に、これらの第１世代、第２世代及び第３世代の符号化パラメータのベースバンドビデオデータへの多重化の方法について、図６及び図７を参照して説明する。図６は、MPEG規格において定義されている、１６ピクセル×１６ピクセルからなる１つのマクロブロックを示している。この１６ピクセル×１６ピクセルのマクロブロックは、輝度信号に関しては４つの８ピクセル×８ピクセルからなるサブブロック（Ｙ[0]，[1]，[2]及びＹ[3]）と、色差信号に関しては４つの８ピクセル×８ピクセルからなるサブブロック（Ｃｒ[0]，ｒ[1]，ｂ[0]，及びＣｂ[1]）から構成されている。
【００８３】
図７は、ビデオデータのあるフォーマットを表している。このフォーマットは、ITU勧告-RDT６０１において定義されているフォーマットであって、放送業界において使用されている所謂「Ｄ１フォーマット」を表している。このＤ１フォーマットは、１０ビットのビデオデータを伝送するためのフォーマットとして規格化されたので、ビデオデータの１ピクセルを１０ビットで表現できるようになっている。
【００８４】
MPEG規格によってデコードされたベースバンドのビデオデータは８ビットであるので、本発明のトランスコーディングシステムにおいては、図７に示したように、Ｄ１フォーマットの１０ビットのうち上位８ビット（Ｄ９乃至Ｄ２）を使用して、MPEG規格にもとづいてデコードされたベースバンドのビデオデータを伝送するようにしている。このように、復号された８ビットのビデオデータをＤ１フォーマットに書き込むと、下位２ビット（Ｄ1とＤ０）は、空きビット（unallocated bits）となる。本発明のトランスコーディングシステム１ではこの空きエリア（unallocated area）を利用して、カウンタ値とともにヒストリ情報を伝送するようにしている。
【００８５】
この図７に記載されたデータブロックは、各サブブロック（Ｙ[0]，Ｙ[1]，Ｙ[2]，Ｙ[3]，Ｃｒ[0]，Ｃｒ[1]，Ｃｂ[0]，Ｃｂ[1]）における１ピクセルを伝送するためのデータブロックであるので、１マクロブロックのデータを伝送するためには、この図７に示されているデータブロックが６４個伝送される。下位２ビット（Ｄ１とＤ０）を使用すれば、１マクロブロックのビデオデータに対して、合計で１０２４（＝１６×６４）ビットのカウンタ値およびヒストリ情報を伝送できる。従って、１世代分のヒストリ情報は、２５６ビットとなるように生成されているので、過去の４（＝１０２４／２５６）世代分のヒストリ情報を１マクロブロックのビデオデータに対して重畳することができる。図７に示した例では、第１世代のヒストリ情報、第２世代のヒストリ情報、および、第３世代のヒストリ情報、並びにカウンタ値が重畳されている。
【００８６】
また、輝度信号に対応するサブブロックに第１世代のヒストリ情報、第２世代のヒストリ情報、および、第３世代のヒストリ情報を重畳して、色差信号に対応するサブブロックにカウンタ値を重畳するようにしてもよい。
【００８７】
更に、１６ビットのカウンタ値は、SMPTE（The Society of Motion Picture and Television Engineers） 291Mで規定されているAncillary Data Packetに格納して、伝送するようにしてもよい。図８は、Ancillary Data Packetの例を示す図である。
【００８８】
ADF（Ancillary Data Flag）には、Ancillary Data Packetの先頭を示す所定のデータ（"000","3FF","3FF"）が格納される。DID（Data Identification Word）には、Ancillary Data Packetに格納されるデータのフォーマットを特定する値、例えば、SMPTE 291Mで規定されているUser Applicationに対応する値（C0h乃至CFhのいずれか）が格納される。
【００８９】
１６ビットのカウンタ値を格納したワードは、３ワードに分割されてAncillary Data Packetに格納されるので、SDID（Secondary Data ID）に続くDC（Data Count Number Word）には、”３”が設定される。User Data Wordsには、図９に示すカウンタ値の下位６ビットを格納するワード（CC0）、図１０に示すカウンタ値の７ビット乃至１２ビットを格納するワード（CC1）、および図１１に示すカウンタ値の上位４ビットを格納するワード（CC2）が順に格納される。
【００９０】
図９は、カウンタ値の下位６ビットを格納するワード（CC0）の例を説明する図である。下位２ビット（Ｂ０とＢ１）は、それぞれ”０”が設定される。３ビット（Ｂ２）乃至８ビット（Ｂ８）には、それぞれカウンタ値の下位６ビット（カウンタ値［０］乃至カウンタ値［５］）が設定される。９ビットには、下位８ビット（Ｂ０乃至Ｂ７）の偶数パリティが設定され、１０ビットには、９ビットに設定された偶数パリティの否定値が設定される。
【００９１】
図１０は、カウンタ値の７ビット乃至１２ビットを格納するワード（CC1）の例を説明する図である。下位２ビット（Ｂ０とＢ１）は、それぞれ”０”が設定される。３ビット（Ｂ２）乃至８ビット（Ｂ８）には、それぞれカウンタ値の７ビット乃至１２ビット（カウンタ値［６］乃至カウンタ値［１１］）が設定される。９ビットには、下位８ビット（Ｂ０乃至Ｂ７）の偶数パリティが設定され、１０ビットには、９ビットに設定された偶数パリティの否定値が設定される。
【００９２】
図１１は、カウンタ値の上位４ビットを格納するワード（CC2）の例を説明する図である。下位２ビット（Ｂ０とＢ１）は、それぞれ”０”が設定される。３ビット（Ｂ２）乃至６ビット（Ｂ５）には、それぞれカウンタ値の上位４ビット（カウンタ値［１２］乃至カウンタ値［１５］）が設定される。７ビット（Ｂ６）および８ビット（Ｂ７）は、それぞれ”０”が設定される。９ビットには、下位８ビット（Ｂ０乃至Ｂ７）の偶数パリティが設定され、１０ビットには、９ビットに設定された偶数パリティの否定値が設定される。
【００９３】
Ancillary Data Packetの最後には、CS（Checksum Word）が格納される。
【００９４】
このように、トランスコーディングシステム１は、１６ビットのカウンタ値をAncillary Data Packetに格納して伝送することができる。
【００９５】
カウンタ値は、ベースバンドデジタルビデオ信号のLSBに多重化されている符号化パラメータに多重化することもできる。図１２は、ベースバンドデジタルビデオ信号のLSBに多重化されている符号化パラメータにカウンタ値を多重化するときの、ヒストリ情報多重化装置１０３およびカウンタ値多重化装置１０５に対応する機能の構成を説明する図である。タイミング信号発生装置２７１は、入力されたベースバンドデジタルビデオ信号を基に、ベースバンドデジタルビデオ信号のLSBに同期した、クロマタイミングパルスを生成し、スイッチ２７５に供給する。
【００９６】
カウンタ値フォーマット変換装置２７２は、カウンタ１０１から供給されたカウンタ値をユーザデータの方式に変換して、符号化パラメータフォーマット変換装置２７３に出力する。符号化パラメータフォーマット変換装置２７３は、復号装置１０２から供給された符号化パラメータ（3RD）、およびヒストリデコーディング装置１０４から供給された符号化パラメータ（1ST,2ND）に、カウンタ値フォーマット変換装置２７２から供給されたユーザデータの方式のカウンタ値を多重化して、シリアル−パラレル変換装置２７４に出力する。
【００９７】
シリアル−パラレル変換装置２７４は、カウンタ値が多重化された符号化パラメータを、シリアルからパラレルに変換して、スイッチ２７５に供給する。スイッチ２７５は、タイミング信号発生回路２７１から供給されるクロマタイミングパルスを基に、ベースバンドデジタルビデオ信号のLSBにカウンタ値が多重化された符号化パラメータを多重化する。
【００９８】
このように、カウンタ値は、ベースバンドデジタルビデオ信号のブランキング部分に多重化されている符号化パラメータに多重化される。
【００９９】
また、カウンタ値は、ベースバンドデジタルビデオ信号の輝度または色差のブランキング部分に多重化されている符号化パラメータに多重化することもできる。図１３は、ベースバンドデジタルビデオ信号の輝度または色差のブランキング部分に多重化されている符号化パラメータにカウンタ値を多重化するときの、ヒストリ情報多重化装置１０３およびカウンタ値多重化装置１０５に対応する機能の構成を説明する図である。タイミング信号発生回路２８１は、入力されたベースバンドデジタルビデオ信号を基に、ベースバンドデジタルビデオ信号の輝度または色差のブランキング部分に同期した、ブランキングタイミングパルスを生成し、スイッチ２８２に供給する。
【０１００】
カウンタ値フォーマット変換装置２７２は、カウンタ１０１から供給されたカウンタ値をユーザデータの方式に変換して、符号化パラメータフォーマット変換装置２７３に出力する。符号化パラメータフォーマット変換装置２７３は、復号装置１０２から供給された符号化パラメータ（3RD）、およびヒストリデコーディング装置１０４から供給された符号化パラメータ（1ST,2ND）に、カウンタ値フォーマット変換装置２７２から供給されたユーザデータの方式のカウンタ値を多重化して、スイッチ２８２に出力する。
【０１０１】
スイッチ２８２は、タイミング信号発生回路２８１から供給されるブランキングタイミングパルスを基に、ベースバンドデジタルビデオ信号の輝度または色差のブランキング部分にカウンタ値が多重化された符号化パラメータを多重化する。
【０１０２】
このように、カウンタ値は、ベースバンドデジタルビデオ信号の輝度または色差のブランキング部分に多重化されている符号化パラメータに多重化される。
【０１０３】
カウンタ値分離装置１１１は、Ｄ１フォーマットとして伝送されたデータの下位２ビットからカウンタ値を抽出するための回路である。カウンタ値分離装置１１１は、カウンタ値が抽出され、分離されたＤ１フォーマットとして伝送されたデータをヒストリ情報分離装置１１５に供給する。
【０１０４】
カウンタ値分離装置１１１は、Ｄ１フォーマットとして伝送されたデータから分離されたカウンタ値をフォーマット変換装置１１２に供給するとともに、フレームまたはフィールドに同期した信号をカウンタ１１３に供給する。
【０１０５】
カウンタ１１３は、カウンタ値分離装置１１１から供給されるフレームまたはフィールドに同期した信号を基に、カウントアップ（１を加算）される１６ビットのカウンタである。カウンタ１１３は、0乃至65,535のいずれかのカウンタ値を比較装置１１４に出力する。
【０１０６】
カウンタ１１３は、65,535のカウンタ値を有する場合、カウンタ値分離装置１１１からフレームまたはフィールドに同期した信号が供給されたとき、カウンタ値を0とし、その後も、カウンタ値分離装置１１１から供給されるフレームまたはフィールドに同期した信号を基に、カウントアップを継続する。
【０１０７】
なお、カウンタ１０１をカウントダウン（１を減算）するようにしたとき、カウンタ１１３も、カウンタ値分離装置１１１から供給されるフレームまたはフィールドに同期した信号を基に、カウントダウンするように構成する。
【０１０８】
フォーマット変換装置１１２は、カウンタ値分離装置１１１から供給された、Ｄ１フォーマットとして伝送されたデータから分離されたカウンタ値の方式（例えば、図９乃至図１１で説明したワードの方式）を１６ビットのカウンタ値（例えば、カウンタ１１３が出力するカウンタ値と同じ方式）に変換して、比較装置１１４に出力する。
【０１０９】
比較装置１１４は、フォーマット変換装置１１２から供給されたカウンタ値とカウンタ１１３から供給されたカウンタ値とを比較し、その値が同一であるとき、所定の値の不連続パラメータを符号化装置１１６に出力し、その値が異なるとき、他の値の不連続パラメータを符号化装置１１６に出力する。
【０１１０】
比較装置１１４にフォーマット変換装置１１２から供給されたカウンタ値とカウンタ１１３から供給されたカウンタ値とが異なる値をとるとき、カウンタ１１３は、フォーマット変換装置１１２が出力するカウンタ値をロードして、自己のカウンタ値として設定する。このようにすることで、比較装置１１４は、一旦、画像の不連続点を検出した後でも、再度、画像に不連続点が含まれていた場合、その画像の不連続点を検出することかできる。
【０１１１】
ベースバンドデジタルビデオ信号に含まれる画像が編集等によりつなぎ合わされた、所定のフレームが挿入された、またはフレームが削除されとき、画像に対応してベースバンドデジタルビデオ信号に格納されたカウンタ値は不連続の値をとるので、フォーマット変換装置１１２から供給されたカウンタ値とカウンタ１１３から供給されたカウンタ値とは異なる値となり、比較装置１１４は、他の値の不連続パラメータを符号化装置１１６に供給する。ベースバンドデジタルビデオ信号に含まれる画像が編集等されていない場合、画像に対応してベースバンドデジタルビデオ信号に格納されたカウンタ値は連続した値をとるので、フォーマット変換装置１１２から供給されたカウンタ値とカウンタ１１３から供給されたカウンタ値とは同じ値となり、比較装置１１４は、所定の値の不連続パラメータを符号化装置１１６に供給する。
【０１１２】
このように、符号化装置１１６は、比較装置１１４から供給される信号を基に、画像が編集等されたか否かを判定することができる。
【０１１３】
ヒストリ情報分離装置１１５は、Ｄ１フォーマットとして伝送されたデータの上位８ビットから、ベースバンドビデオデータを抽出し、下位２ビットからヒストリ情報を抽出するための回路である。図４に示した例では、ヒストリ情報分離装置１１５は、伝送データからベースバンドのビデオデータを抽出して、そのビデオデータを符号化装置１１６に供給するとともに、伝送データから第１世代、第２世代及び第３世代のヒストリ情報を抽出して、符号化装置１１６とヒストリエンコーディング装置１１７にそれぞれ供給する。
【０１１４】
符号化装置１１６は、ヒストリ情報分離装置１１５から供給されたベースバンドのビデオデータを、オペレータまたはホストコンピュータから指定されたGOP構造及びビットレートを有するビットストリームになるように符号化するための装置である。なお、GOP構造を変更するとは、たとえば、GOPに含まれるピクチャの数、ＩピクチャとＩピクチャの間に存在するＰピクチャの数、及びＩピクチャとＰピクチャ（またはＩピクチャ）の間に存在するＢピクチャの数を変更することを意味する。
【０１１５】
図４に示された例では、供給されたベースバンドのビデオデータには、第１世代、第２世代及び第３世代のヒストリ情報が重畳されているので、この符号化装置１１６は、再符号化処理による画質劣化が少なくなるように、これらのヒストリ情報を選択的に再利用して第４世代の符号化処理を行う。
【０１１６】
図１４は、この符号化装置１１６に設けられているエンコーダ３０１の具体的な構成を示している図である。このエンコーダ３０１は、動きベクトル検出回路３１０、フレームメモリ３１１、フレーム／フィールド予測モード切り替え回路３１２、演算器３１３、ＤＣＴモード切り替え回路３１５、ＤＣＴ回路３１６、量子化回路３１７、可変長符号化回路３１８、伝送バッファ３１９、逆量子化回路３２０、逆ＤＣＴ回路３２１、演算器３２２、フレームメモリ３２３、並びに動き補償回路３２４を備えている。
【０１１７】
始めに、ヒストリ情報が無い場合のエンコーダ３０１の参照ピクチャの符号化処理を説明する。
【０１１８】
符号化される画像データは、マクロブロック単位で動きベクトル検出回路３１０に入力される。動きベクトル検出回路３１０は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ、またはＢのいずれのピクチャとして処理するかは、予め定められている（例えば、フレームＦ１乃至Ｆ１７により構成されるグループオブピクチャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理される）。
【０１１９】
Ｉピクチャとして処理されるフレーム（例えば、フレームＦ１）の画像データは、動きベクトル検出回路３１０からフレームメモリ３１１の前方原画像部３１１ａに転送、記憶され、Ｂピクチャとして処理されるフレーム（例えば、フレームＦ２）の画像データは、参照原画像部３１１ｂに転送、記憶され、Ｐピクチャとして処理されるフレーム（例えば、フレームＦ３）の画像データは、後方原画像部３１１ｃに転送、記憶される。
【０１２０】
また、次のタイミングにおいて、さらにＢピクチャ（フレームＦ４）またはＰピクチャ（フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部３１１ｃに記憶されていた最初のＰピクチャ（フレームＦ３）の画像データが、前方原画像部３１１ａに転送され、次のＢピクチャ（フレームＦ４）の画像データが、参照原画像部３１１ｂに記憶（上書き）され、次のＰピクチャ（フレームＦ５）の画像データが、後方原画像部３１１ｃに記憶（上書き）される。このような動作が順次繰り返される。
【０１２１】
フレームメモリ３１１に記憶された各ピクチャの信号は、そこから読み出され、Frame/Field予測モード切り替え回路３１２において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。
【０１２２】
さらにまた、コントローラ３３０の制御の下に、演算器３１３において、画像内予測、前方予測、後方予測、または両方向予測の演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応して決定される。このため、動きベクトル検出回路３１０は、この判定に用いられる予測誤差信号の絶対値和（自乗和でもよい）を生成する。
【０１２３】
ここで、Frame/Field予測モード切り替え回路３１２におけるフレーム予測モードとフィールド予測モードについて説明する。
【０１２４】
フレーム予測モードが設定された場合においては、Frame/Field予測モード切り替え回路３１２は、動きベクトル検出回路３１０より供給される４個の輝度ブロックＹ［１］乃至Ｙ［４］を、そのまま後段の演算器３１３に出力する。すなわち、この場合においては、各輝度ブロックに奇数フィールドのラインのデータと、偶数フィールドのラインのデータとが混在した状態となっている。このフレーム予測モードにおいては、４個の輝度ブロック（マクロブロック）を単位として予測が行われ、４個の輝度ブロックに対して１個の動きベクトルが対応される。
【０１２５】
これに対して、Frame/Field予測モード切り替え回路３１２は、フィールド予測モードにおいては、動きベクトル検出回路３１０より入力される信号を、４個の輝度ブロックのうち、輝度ブロックＹ［１］とＹ［２］を、例えば奇数フィールドのラインのドットだけで構成させ、他の２個の輝度ブロックＹ［３］とＹ［４］を、偶数フィールドのラインのドットだけで構成させて、演算器３１３に出力する。この場合においては、２個の輝度ブロックＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロックＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。
【０１２６】
動きベクトル検出回路３１０は、フレーム予測モードにおける予測誤差の絶対値和、およびフィールド予測モードにおける予測誤差の絶対値和をFrame/Field予測モード切り替え回路３１２に出力する。Frame/Field予測モード切り替え回路３１２は、フレーム予測モードとフィールド予測モードにおける予測誤差の絶対値和を比較し、その値が小さい予測モードに対応する処理を施して、データを演算器３１３に出力する。
【０１２７】
ただし、このような処理は、実際には動きベクトル検出回路３１０で行われる。すなわち、動きベクトル検出回路３１０は、決定されたモードに対応する構成の信号をFrame/Field予測モード切り替え回路３１２に出力し、Frame/Field予測モード切り替え回路３１２は、その信号を、そのまま後段の演算器３１３に出力する。
【０１２８】
なお、色差信号は、フレーム予測モードの場合、奇数フィールドのラインのデータと偶数フィールドのラインのデータとが混在する状態で、演算器３１３に供給される。また、フィールド予測モードの場合、各色差ブロックＣｂ，Ｃｒの上半分（４ライン）が、輝度ブロックＹ［１］，Ｙ［２］に対応する奇数フィールドの色差信号とされ、下半分（４ライン）が、輝度ブロックＹ［３］，Ｙ［４］に対応する偶数フィールドの色差信号とされる。
【０１２９】
また、動きベクトル検出回路３１０は、以下に示すようにして、コントローラ３３０において、画像内予測、前方予測、後方予測、または両方向予測のいずれの予測を行なうかを決定するための予測誤差の絶対値和を生成する。
【０１３０】
すなわち、画像内予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａijの総和ΣＡijの絶対値｜ΣＡij｜と、マクロブロックの信号Ａijの絶対値｜Ａij｜の総和Σ｜Ａij｜の差を求める。また、前方予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａijと、予測画像のマクロブロックの信号Ｂijの差Ａij−Ｂijの絶対値｜Ａij−Ｂij｜の総和Σ｜Ａij−Ｂij｜を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。
【０１３１】
これらの絶対値和は、コントローラ３３０に供給される。コントローラ３３０は、前方予測、後方予測および両方向予測の予測誤差の絶対値和のうちの最も小さいものを、インタ予測の予測誤差の絶対値和として選択する。さらに、このインタ予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モードとして選択する。すなわち、画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。インタ予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうちの対応する絶対値和が最も小さかったモードが設定される。
【０１３２】
このように、動きベクトル検出回路３１０は、参照画像のマクロブロックの信号を、フレームまたはフィールド予測モードのうち、Frame/Field予測モード切り替え回路３１２により選択されたモードに対応する構成で、Frame/Field予測モード切り替え回路３１２を介して演算器３１３に供給するとともに、４つの予測モードのうちのコントローラ３３０により選択された予測モードに対応する予測画像と参照画像の間の動きベクトルを検出し、可変長符号化回路３１８と動き補償回路３２４に出力する。上述したように、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
【０１３３】
コントローラ３３０は、動きベクトル検出回路３１０が前方原画像部３１１ａよりＩピクチャの画像データを読み出しているとき、予測モードとして、フレームまたはフィールド（画像）内予測モード（動き補償を行わないモード）を設定し、演算器３１３のスイッチ３１３ｄを接点ａ側に切り替える。これにより、Ｉピクチャの画像データがFrame/FieldDCTモード切り替え回路３１５に入力される。
【０１３４】
Frame/FieldDCTモード切り替え回路３１５は、４個の輝度ブロックのデータを、奇数フィールドのラインと偶数フィールドのラインが混在する状態（フレームDCTモード）、または、分離された状態（フィールドDCTモード）、のいずれかの状態にして、DCT回路３１６に出力する。
【０１３５】
すなわち、Frame/FieldDCTモード切り替え回路３１５は、奇数フィールドと偶数フィールドのデータを混在してDCT処理した場合における符号化効率と、分離した状態においてDCT処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。
【０１３６】
例えば、入力された信号を、奇数フィールドと偶数フィールドのラインが混在する構成とし、上下に隣接する奇数フィールドのラインの信号と偶数フィールドのラインの信号の差を演算し、さらにその絶対値の和（または自乗和）を求める。
【０１３７】
また、入力された信号を、奇数フィールドと偶数フィールドのラインが分離した構成とし、上下に隣接する奇数フィールドのライン同士の信号の差と、偶数フィールドのライン同士の信号の差を演算し、それぞれの絶対値の和（または自乗和）を求める。
【０１３８】
さらに、両者（絶対値和）を比較し、小さい値に対応するDCTモードを設定する。すなわち、前者の方が小さければ、フレームDCTモードを設定し、後者の方が小さければ、フィールドDCTモードを設定する。
【０１３９】
そして、選択したDCTモードに対応する構成のデータをDCT回路３１６に出力するとともに、選択したDCTモードを示すDCTフラグを、可変長符号化回路３１８、および動き補償回路３２４に出力する。
【０１４０】
Frame/Field予測モード切り替え回路３１２における予測モードと、このFrame/FieldDCTモード切り替え回路３１５におけるDCTモードを比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。
【０１４１】
Frame/Field予測モード切り替え回路３１２において、フレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、Frame/FieldDCTモード切り替え回路３１５においても、フレームDCTモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、またFrame/Field予測モード切り替え回路３１２において、フィールド予測モード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択された場合、Frame/FieldDCTモード切り替え回路３１５において、フィールドDCTモード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択される可能性が高い。
【０１４２】
しかしながら、必ずしも常にこのようにモードが選択されるわけではなく、Frame/Field予測モード切り替え回路３１２においては、予測誤差の絶対値和が小さくなるようにモードが決定され、Frame/FieldDCTモード切り替え回路３１５においては、符号化効率が良好となるようにモードが決定される。
【０１４３】
Frame/FieldDCTモード切り替え回路３１５より出力されたＩピクチャの画像データは、DCT回路３１６に入力されてDCT処理され、DCT係数に変換される。このDCT係数は、量子化回路３１７に入力され、送信バッファ３１９のデータ蓄積量（バッファ蓄積量）に対応した量子化スケールで量子化された後、可変長符号化回路３１８に入力される。
【０１４４】
可変長符号化回路３１８は、量子化回路３１７より供給される量子化スケール（スケール）に対応して、量子化回路３１７より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バッファ３１９に出力する。
【０１４５】
可変長符号化回路３１８にはまた、量子化回路３１７より量子化スケール（スケール）、コントローラ３３０より予測モード（画像内予測、前方予測、後方予測、または両方向予測のいずれが設定されたかを示すモード）、動きベクトル検出回路３１０より動きベクトル、Frame/Field予測モード切り替え回路３１２より予測フラグ（フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ）、およびFrame/FieldDCTモード切り替え回路３１５が出力するDCTフラグ（フレームDCTモードまたはフィールドDCTモードのいずれが設定されたかを示すフラグ）が入力されており、これらも可変長符号化される。
【０１４６】
送信バッファ３１９は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路３１７に出力する。送信バッファ３１９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路３１７の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ３１９は、量子化制御信号によって量子化回路３１７の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ３１９のオーバフローまたはアンダフローが防止される。
【０１４７】
そして、送信バッファ３１９に蓄積されたデータは、所定のタイミングで読み出され、伝送路に出力される。
【０１４８】
一方、量子化回路３１７より出力されたＩピクチャのデータは、逆量子化回路３２０に入力され、量子化回路３１７より供給される量子化スケールに対応して逆量子化される。逆量子化回路３２０の出力は、IDCT（逆離散コサイン変換）回路３２１に入力され、逆離散コサイン変換処理された後、演算器３２２を介してフレームメモリ３２３の前方予測画像部３２３ａ供給されて記憶される。
【０１４９】
動きベクトル検出回路３１０は、シーケンシャルに入力される各フレームの画像データを、たとえば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチャとして処理した後、次に入力されたフレームの画像をＢピクチャとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチャとして処理する。Ｂピクチャは、後方予測を伴うため、後方予測画像としてのＰピクチャが先に用意されていないと、復号することができないからである。
【０１５０】
そこで動きベクトル検出回路３１０は、Ｉピクチャの処理の次に、後方原画像部３１１ｃに記憶されているＰピクチャの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロック単位でのフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路３１０からFrame/Field予測モード切り替え回路３１２とコントローラ３３０に供給される。Frame/Field予測モード切り替え回路３１２とコントローラ３３０は、このＰピクチャのマクロブロックの予測誤差の絶対値和に対応して、フレーム／フィールド予測モード、または画像内予測、前方予測、後方予測、もしくは両方向予測の予測モードを設定する。
【０１５１】
演算器３１３は、画像内予測モードが設定されたとき、スイッチ３１３ｄを上述したように接点ａ側に切り替える。したがって、このデータは、Ｉピクチャのデータと同様に、Frame/FieldDCTモード切り替え回路３１５、DCT回路３１６、量子化回路３１７、可変長符号化回路３１８、および送信バッファ３１９を介して伝送路に伝送される。また、このデータは、逆量子化回路３２０、IDCT回路３２１、および演算器３２２を介してフレームメモリ３２３の後方予測画像部３２３ｂに供給されて記憶される。
【０１５２】
また、前方予測モードが設定された場合、スイッチ３１３ｄが接点ｂに切り替えられるとともに、フレームメモリ３２３の前方予測画像部３２３ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データが読み出され、動き補償回路３２４により、動きベクトル検出回路３１０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路３２４は、コントローラ３３０より前方予測モードの設定が指令されたとき、前方予測画像部３２３ａの読み出しアドレスを、動きベクトル検出回路３１０が、現在、出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【０１５３】
動き補償回路３２４より出力された予測画像データは、演算器３１３ａに供給される。演算器３１３ａは、Frame/Field予測モード切り替え回路３１２より供給された参照画像のマクロブロックのデータから、動き補償回路３２４より供給された、このマクロブロックに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、Frame/FieldDCTモード切り替え回路３１５、DCT回路３１６、量子化回路３１７、可変長符号化回路３１８、および送信バッファ３１９を介して伝送路に伝送される。また、この差分データは、逆量子化回路３２０、およびIDCT回路３２１により局所的に復号され、演算器３２２に入力される。
【０１５４】
この演算器３２２にはまた、演算器３１３ａに供給されている予測画像データと同一のデータが供給されている。演算器３２２は、IDCT回路３２１が出力する差分データに、動き補償回路３２４が出力する予測画像データを加算する。これにより、元の（復号した）Ｐピクチャの画像データが得られる。このＰピクチャの画像データは、フレームメモリ３２３の後方予測画像部３２３ｂに供給されて記憶される。
【０１５５】
動きベクトル検出回路３１０は、このように、ＩピクチャとＰピクチャのデータが前方予測画像部３２３ａと後方予測画像部３２３ｂにそれぞれ記憶された後、次にＢピクチャの処理を実行する。Frame/Field予測モード切り替え回路３１２とコントローラ３３０は、マクロブロック単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム／フィールドモードを設定し、また、予測モードを画像内予測モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。
【０１５６】
上述したように、画像内予測モードまたは前方予測モードの時、スイッチ３１３ｄは接点ａまたはｂに切り替えられる。このとき、Ｐピクチャにおける場合と同様の処理が行われ、データが伝送される。
【０１５７】
これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ３１３ｄは、接点ｃまたはｄにそれぞれ切り替えられる。
【０１５８】
スイッチ３１３ｄが接点ｃに切り替えられている後方予測モードの時、後方予測画像部３２３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路３２４により、動きベクトル検出回路３１０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路３２４は、コントローラ３３０より後方予測モードの設定が指令されたとき、後方予測画像部３２３ｂの読み出しアドレスを、動きベクトル検出回路３１０が、現在、出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【０１５９】
動き補償回路３２４より出力された予測画像データは、演算器３１３ｂに供給される。演算器３１３ｂは、Frame/Field予測モード切り替え回路３１２より供給された参照画像のマクロブロックのデータから、動き補償回路３２４より供給された予測画像データを減算し、その差分を出力する。この差分データは、Frame/FieldDCTモード切り替え回路３１５、DCT回路３１６、量子化回路３１７、可変長符号化回路３１８、および送信バッファ３１９を介して伝送路に伝送される。
【０１６０】
スイッチ３１３ｄが接点ｄに切り替えられている両方向予測モードの時、前方予測画像部３２３ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データと、後方予測画像部３２３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路３２４により、動きベクトル検出回路３１０が出力する動きベクトルに対応して動き補償される。
【０１６１】
すなわち、動き補償回路３２４は、コントローラ３３０より両方向予測モードの設定が指令されたとき、前方予測画像部３２３ａと後方予測画像部３２３ｂの読み出しアドレスを、動きベクトル検出回路３１０がいま出力しているマクロブロックの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の２つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【０１６２】
動き補償回路３２４より出力された予測画像データは、演算器３１３ｃに供給される。演算器３１３ｃは、動きベクトル検出回路３１０より供給された参照画像のマクロブロックのデータから、動き補償回路３２４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、Frame/FieldDCTモード切り替え回路３１５、DCT回路３１６、量子化回路３１７、可変長符号化回路３１８、および送信バッファ３１９を介して伝送路に伝送される。
【０１６３】
Ｂピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ３２３には記憶されない。
【０１６４】
なお、フレームメモリ３２３において、前方予測画像部３２３ａと後方予測画像部３２３ｂは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。
【０１６５】
上述した説明においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、マクロブロックを単位として処理されて伝送される。なお、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。
【０１６６】
さらに、コントローラ３３０は、オペレータまたはホストコンピュータからGOP構造に関するインストラクションを受け取って、そのGOP構造に対応するように各ピクチャのピクチャタイプを決定する。また、このコントローラ３３０は、オペレータまたはホストコンピュータからタ−ゲットビットレートの情報を受け取り、このエンコーダ３０１から出力されるビットレートがこの指定されたターゲットビットレートになるように、量子化回路３１７を制御する。
【０１６７】
さらに、このコントローラ３３０は、ヒストリ情報分離装置１１５から出力された複数世代のヒストリ情報を受け取り、これらのヒストリ情報を再利用して参照ピクチャの符号化処理を行う。以下に詳しく説明する。
【０１６８】
まず、このコントローラ３３０は、オペレータによって指定されたGOP構造から決定された参照ピクチャのピクチャタイプと、ヒストリ情報に含まれるピクチャタイプが一致するか否かを判断する。つまり、指定されたピクチャタイプと同じピクチャタイプでこの参照ピクチャが過去において符号化されたことがあるか否かを判断する。
【０１６９】
図４に示された例をあげてよりわかりやすく説明するのであれば、このコントローラ３３０は、第４世代の符号化処理としてこの参照ピクチャにアサインされたピクチャタイプが、第１世代の符号化処理おけるこの参照ピクチャのピクチャタイプ、第２世代の符号化処理おけるこの参照ピクチャのピクチャタイプ、または第３世代の符号化処理おけるこの参照ピクチャのピクチャタイプのいずれかと一致するか否かを判断する。
【０１７０】
もし、第４世代の符号化処理としてこの参照ピクチャに指定されたピクチャタイプが、過去の符号化処理におけるどのピクチャタイプとも一致しないのであれは、このコントローラ３３０は、上述した「通常符号化処理」を行う。つまり、この場合には、第１世代、第２世代または第３世代のどの世代の符号化処理においても、第４世代の符号化処理としてアサインされたピクチャタイプで、この参照ピクチャが符号化処理されたことがないということになる。一方、もし、第４世代の符号化処理としてこの参照ピクチャに指定されたピクチャタイプが、過去の符号化処理におけるいずれかのピクチャタイプと一致するのであれば、このコントローラ３３０は、「パラメータ再利用符号化処理」を行う。つまり、この場合には、第１世代、第２世代または第３世代のいずれかの世代の符号化処理において、第４世代の符号化処理としてアサインされたピクチャタイプで、この参照ピクチャが符号化処理されたことがあるということになる。
【０１７１】
また、「パラメータ再利用符号化処理」を実行している場合であっても、比較装置１１４から供給される不連続パラメータが、画像が不連続であること（ベースバンドデジタルビデオ信号に含まれる画像が編集等によりつなぎ合わされた、所定のフレームが挿入された、またはフレームが削除されたなど）を示す値を有するとき、符号化パラメータを再利用して符号化処理を行うと、不連続な点の前後の画像が大きく劣化するので、コントローラ３３０は、「通常符号化処理」を行う。
【０１７２】
ヒストリ情報が無い場合のエンコーダ３０１の参照ピクチャの符号化処理と、一部、説明が重複するが、まず、最初にコントローラ３３０の通常符号化処理について説明する。
【０１７３】
動きベクトル検出回路３１０は、フレーム予測モードまたはフィールド予測モードのどちらが選択されるべきかを判断するために、フレーム予測モードにおける予測誤差とフィールド予測モードおける予測誤差をそれぞれ検出し、その予測誤差の値をコントローラ３３０に供給する。コントローラ３３０は、それらの予測誤差の値を比較し、その予測誤差の値が小さい方の予測モードを選択する。Frame/Field予測モード切り替え回路３１２は、コントローラ３３０によって選択された予測モードに対応するように信号処理を行い、それを演算器３１３に供給する。
【０１７４】
具体的には、Frame/Field予測モード切り替え回路３１２は、フレーム予測モードが選択された場合には、輝度信号に関しては、入力された状態のまま演算器３１３に出力するように信号処理を行い、色差信号に関しては、奇数フィールドラインと偶数フィールドラインとが混在するように信号処理する。一方、フィールド予測モードが選択された場合には、輝度信号に関しては、輝度ブロックＹ[1]とＹ[2]を奇数フィールドラインで構成し、輝度ブロックＹ[3]とＹ[4]を偶数フィールドラインで構成するように信号処理し、色差信号に関しては、上４ラインを奇数フィールドラインで構成し、下４ラインを偶数フィールドラインで構成するように信号処理する。
【０１７５】
さらに、動きベクトル検出回路３１０は、画像内予測モード、前方予測モード、後方予測モード、または両方向予測モードのうちのいずれの予測モードを選択するかを決定するために、各予測モードにおける予測誤差を生成し、各予測モードにおける予測誤差をコントローラ３３０にそれぞれ供給する。コントローラ３３０は、前方予測、後方予測および両方向予測の予測誤差のうちの最も小さいものを、インタ予測の予測誤差として選択する。さらに、このインタ予測の予測誤差と、画像内予測の予測誤差とを比較し、その小さい方を選択し、この選択した予測誤差に対応するモードを予測モードとして選択する。すなわち、画像内予測の予測誤差の方が小さければ、画像内予測モードが設定される。インタ予測の予測誤差の方が小さければ、前方予測、後方予測または両方向予測モードのうちの対応する予測誤差が最も小さかったモードが設定される。コントローラ３３０は、選択した予測モードに対応するように、演算器３１３及び動き補償回路３２４を制御する。
【０１７６】
ＤＣＴモード切り替え回路３１５は、フレームDCTモードまたはフィールドDCTモードのいずれかを選択するために、４個の輝度ブロックのデータを、奇数フィールドラインと偶数フィールドラインが混在するような信号形態（フレームDCTモード）に変換するとともに、奇数フィールドラインと偶数フィールドラインが分離された信号形態（フィールドDCTモード）に変換して、それぞれの信号をＤＣＴ回路３１６に供給する。ＤＣＴ回路３１６は、奇数フィールドと偶数フィールドを混在してDCT処理した場合における符号化効率と、奇数フィールドと偶数フィールドを分離した状態においてDCT処理した場合の符号化効率を計算し、その結果をコントローラ３３０に供給する。コントローラ３３０は、ＤＣＴ回路３１６から供給されたそれぞれの符号化効率を比較し、符号化効率の良い方のＤＣＴモードを選択し、その選択したＤＣＴモードとなるようにＤＣＴモード切り替え回路３１５を制御する。
【０１７７】
コントローラ３３０は、オペレータまたはホストコンピュータから供給された目標ビットレートを示すターゲットビットレートと、送信バッファ３１９にバッファリングされているビット量を示す信号、つまり、バッファ残量を示す信号を受け取り、このターゲットビットレートとバッファ残量に基づいて、量子化回路３１７の量子化ステップサイズをコントロールするためのfeedback_q_scale_code を生成する。このfeedback_q_scale_codeは、この送信バッファ３１９がオーバーフローまたはアンダーフローしないように、この送信バッファ３１９のバッファ残量に応じて生成される制御信号であって、また、送信バッファ３１９から出力されるビットストリームのビットレートが、ターゲットビットレートになるように制御する信号でもある。
【０１７８】
具体的には、例えば、送信バッファ３１９にバッファリングされているビット量が少なくなってしまった場合には、次に符号化するピクチャの発生ビット量が増えるように、量子化ステップサイズを小さくし、一方、送信バッファ３１９にバッファリングされているビット量が多くなってしまった場合には、次に符号化するピクチャの発生ビット量が少なくなるように、量子化ステップサイズを大きくする。なお、feedback_q_scale_codeと量子化ステップサイズは比例し、feedback_q_scale_codeを大きくすると、量子化ステップサイズは大きくなり、feedback_q_scale_codeを小さくすると、量子化ステップサイズは小さくなる。
【０１７９】
次に、このトランスコーディングシステム１の特徴の１つでもある、パラメータ再利用符号化処理について説明する。この処理をより分かりやすく説明するために、参照ピクチャは、第１世代の符号化処理においてＰピクチャとして符号化され、第２世代の符号化処理においてＩピクチャとして符号化処理され、第３世代の符号化処理においてＢピクチャとして符号化されていたものとし、今回の第４世代の符号化処理において、この参照ピクチャをＰピクチャとして符号化しなければいけないものとする。
【０１８０】
この場合には、第４世代のピクチャタイプとしてアサインされたピクチャタイプと同じピクチャタイプ（Ｉピクチャ）で、この参照ピクチャは第１世代の符号化処理において符号化されているので、コントローラ３３０は、供給されたビデオデータから符号化パラメータを新しく作成するのではなく、第１世代の符号化パラメータを使用して符号化処理を行う。この第４の符号化処理において再利用する符号化パラメータは、代表的なパラメータとしては、量子化スケールステップサイズを示すquantiser_scale_code、予測方向モードを示すmacroblock_type、動きベクトルを示すmotion_vector、Frame予測モードかField予測モードかを示すframe/field_motion_type、及びFrameＤＣＴモードかField ＤＣＴモードかを示すdct_type等である。
【０１８１】
コントローラ３３０は、ヒストリ情報として伝送されたすべての符号化パラメータを再利用するわけではなく、再利用した方が望ましいと想定される上述したような符号化パラメータについては再利用し、再利用しない方が望ましいと考えられる符号化パラメータについては、新しく生成する。
【０１８２】
次に、第４世代の符号化処理として、この参照ピクチャに指定されたピクチャタイプが、過去の符号化処理におけるいずれかのピクチャタイプと一致し、かつ、比較装置１１４から供給される不連続パラメータが、画像が連続であることを示す値を有するとき実行される、符号化パラメータ再利用符号化処理について、上述した通常符号化処理と異なる点を中心に説明する。
【０１８３】
動きベクトル検出回路３１０は、上述した通常符号化処理においては、参照ピクチャの動きベクトルの検出を行ったが、このパラメータ再利用符号化処理においては、動きベクトルmotion_vectorの検出処理は行わずに、第１世代のヒストリ情報として供給された動きベクトルmotion_vectorを再利用する。その理由について説明する。
【０１８４】
第３世代の符号化ストリームを復号したベースバンドのビデオデータは、少なくとも３回の復号及び符号化処理が行われているので、オリジナルビデオデータに比べると、明らかに画質が劣化している。画質が劣化しているビデオデータから動きベクトルを検出したとしても、正確な動きベクトルは検出できない。つまり、第４世代の符号化処理において検出された動きベクトルよりも、第１世代のヒストリ情報として供給されている動きベクトルの方が、明らかに、精度の高い動きベクトルである。つまり、第１世代の符号化パラメータとして伝送された動きベクトルを再利用することによって、第４世代の符号化処理を行ったとしても画質が劣化しない。コントローラ３３０は、この第１世代のヒストリ情報として供給された動きベクトルmotion_vectorを、第４世代の符号化処理において符号化されるこの参照ピクチャの動きベクトル情報として、動き補償回路３２４及び可変長符号化回路３１８に供給する。
【０１８５】
さらに、動きベクトル検出回路３１０は、フレーム予測モードとフィールド予測モードのどちらが選択されるかを判断するために、フレーム予測モードにおける予測誤差とフィールド予測モードおける予測誤差をそれぞれ検出したが、このパラメータ再利用符号化処理においては、このフレーム予測モードにおける予測誤差とフィールド予測モードおける予測誤差を検出する処理は行わずに、第１世代のヒストリ情報として供給されているFrame予測モードかField予測モードかを示すframe/field_motion_typeを再利用する。なぜなら、第４世代の符号化処理において検出された各予測モードにおける予測誤差よりも、第１世代において検出された各予測モードにおける予測誤差の方が精度が高いので、精度の高い予測誤差によって決定された予測モードを選択した方がより最適な符号化処理が行うことができるからである。
【０１８６】
具体的には、コントローラ３３０は、この第１世代のヒストリ情報として供給されているframe/field_motion_typeに対応する制御信号をFrame/Field予測モード切り替え回路３１２に供給し、Frame/Field予測モード切り替え回路３１２は、この再利用されたframe/field_motion_typeに対応した信号処理を行う。
【０１８７】
さらには、動きベクトル検出回路３１０は、通常符号化処理においては、画像内予測モード、前方予測モード、後方予測モード、または両方向予測モードのうちのいずれの予測モード（以下、この予測モードを、予測方向モードとも称する）を選択するかを決定するために、各予測方向モードにおける予測誤差を計算していたが、このパラメータ再利用符号化処理においては、各予測方向モードにおける予測誤差の計算は行わず、第１世代のヒストリ情報として供給されたmacroblock_typeに基づいて予測方向モードを決定する。なぜなら、第４世代の符号化処理における各予測方向モードにおける予測誤差よりも、第１世代の符号化処理における各予測方向モードにおける予測誤差の方がより精度が高いので、より精度の高い予測誤差によって決定された予測方向モードを選択した方が、より効率の良い符号化処理が行えるからである。具体的には、コントローラ３３０は、第１世代のヒストリ情報に含まれているmacroblock_typeによって示される予測方向モードを選択し、その選択した予測方向モードに対応するように、演算器３１３及び動き補償回路３２４をコントロールする。
【０１８８】
ＤＣＴモード切り替え回路３１５は、通常符号化処理においては、フレームDCTモードの符号化効率と、フィールドDCTモードの符号化効率を比較するために、フレームDCTモードの信号形態に変換した信号と、フィールドDCTモードの信号形態に変換した信号の両方をＤＣＴ回路３１６に供給していたが、このパラメータ再利用符号化処理では、フレームDCTモードの信号形態に変換した信号と、フィールドDCTモードの信号形態に変換した信号の両方を生成する処理は行っておらず、第１世代のヒストリ情報に含まれれているdct_typeによって示されたＤＣＴモードに対応する処理のみを行っている。具体的には、コントローラ３３０は、第１世代のヒストリ情報に含まれているdct_typeを再利用し、ＤＣＴモード切り替え回路３１５がこのdct_typeによって示されるＤＣＴモードに対応した信号処理を行うように、ＤＣＴモード切り替え回路３１５をコントロールする。
【０１８９】
コントローラ３３０は、通常符号化処理では、オペレータによって指定されたターゲットビットレートと送信バッファ残量に基づいて、量子化回路３１７の量子化ステップサイズをコントロールしていたが、このパラメータ再利用符号化処理では、ターゲットビットレート、送信バッファ残量及びヒストリ情報に含まれている過去の量子化スケールに基づいて、量子化回路３１７の量子化ステップサイズをコントロールする。なお、以下の説明において、ヒストリ情報に含まれている過去の量子化スケールをhistory_q_scale_code と記述することにする。また、後述するヒストリストリームにおいては、この量子化スケールを、quantiser_scale_codeと記述している。
【０１９０】
まず、コントローラ３３０は、通常符号化処理と同じように、現在の量子化スケールfeedback_q_scale_code を生成する。このfeedback_q_scale_codeは、この送信バッファ３１９がオーバーフロー及びアンダーフローしないように、この送信バッファ３１９のバッファ残量に応じて決定される値である。続いて、第１世代のヒストリストリームに含まれている過去の量子化スケールhistory_q_scale_codeの値と、この現在の量子化スケールfeedback_q_scale_codeの値を比較し、どちらの量子化スケールの方が大きいかを判断する。量子化スケールが大きいとは、量子化ステップが大きいことを意味する。もし、現在の量子化スケールfeedback_q_scale_codeが、過去の量子化スケールhistory_q_scale_codeよりも大きいのであれば、コントローラ３３０は、この現在の量子化スケールfeedback_q_scale_codeを量子化回路３１７に供給する。一方、過去の量子化スケールhistory_q_scale_codeが、現在の量子化スケールfeedback_q_scale_codeよりも大きいのであれば、コントローラ３３０は、この過去の量子化スケールhistory_q_scale_codeを量子化回路３１７に供給する。
【０１９１】
つまり、コントローラ３３０は、ヒストリ情報に含まれている複数の過去の量子化スケールと、送信バッファの残量から計算された現在の量子化スケールの中で、もっとも大きい量子化スケールコードを選択する。また、別の言葉で説明するのであれば、コントローラ３３０は、過去（第１、第２及び第３世代）の符号化処理における量子化ステップまたは現在（第４世代）の符号化処理において使用された量子化ステップの中で、もっとも大きい量子化ステップを使用して量子化を行うように量子化回路３１７を制御する。この理由を以下に説明する。
【０１９２】
たとえば、第３世代の符号化処理において生成されたストリームのビットレートが４[Mbps]であって、この第４世代の符号化処理を行うエンコーダ３０１に対して設定されたターゲットビットレートが１５[Mbps]であったとする。このときに、ターゲットビットレートが上がっているので、単純に量子化ステップを小さくすれば良いかというと、実際にはそうではない。過去の符号化処理において大きい量子化ステップで符号化処理されたピクチャを、現在の符号化処理において、量子化ステップを小さくして符号化処理を行ったとしても、このピクチャの画質は向上することはない。つまり、過去の符号化処理における量子化ステップよりも小さい量子化ステップで符号化することは、単にビット量が増えるだけであって、画質を向上させることにはならない。よって、過去（第１、第２及び第３世代）の符号化処理における量子化ステップまたは現在（第４世代）の符号化処理において使用された量子化ステップの中で、もっとも大きい量子化ステップを使用して量子化を行うと、もっとも効率の良い符号化処理が行える。
【０１９３】
更に、エンコーダ３０１は、「パラメータ再利用符号化処理」を実行している場合、比較装置１１４から供給される不連続パラメータを基に、不連続な画像の前後で「通常符号化処理」を実行するので、不連続な点の前後の画像の劣化を防止することができる。
【０１９４】
次に、図４におけるヒストリデコーディング装置１０４とヒストリエンコーディング装置１１７についてさらに説明する。同図に示すように、ヒストリデコーディング装置１０４は、復号装置１０２より供給されるユーザデータをデコードするユーザデータデコーダ２０１、ユーザデータデコーダ２０１の出力を変換するコンバータ２０２、およびコンバータ２０２の出力から履歴情報を再生するヒストリVLD２０３により構成されている。
【０１９５】
また、ヒストリエンコーディング装置１１７は、ヒストリ情報分離装置１１５より供給される３世代分の符号化パラメータをフォーマット化するヒストリVLC２１１、ヒストリVLC２１１の出力を変換するコンバータ２１２、コンバータ２１２の出力をユーザデータのフォーマットにフォーマットするユーザデータフォーマッタ２１３により構成されている。
【０１９６】
ユーザデータデコーダ２０１は、復号装置１０２より供給されるユーザデータをデコードして、コンバータ２０２に出力する。詳細は図３１を参照して後述するが、ユーザデータ（user_data()）は、user_data_start_codeとuser_dataからなり、MPEG規格においてはuser_dataの中に、連続する２３ビットの”０”（start_codeと同一のコード）を発生させることを禁止している。これは、そのデータが、start_codeとして誤検出されるのを防止するためである。履歴情報（history_stream()）は、ユーザデータエリアに（MPEG規格のuser_dataの一種として）記述され、その中には、このような連続する２３ビット以上の”０”が存在することがあり得るので、これを、連続する２３ビット以上の”０”が発生しないように、所定のタイミングで“１”を挿入処理して、converted_history_stream()（後述する図１８）に変換する必要がある。この変換を行うのは、ヒストリエンコーディング装置１１７のコンバータ２１２である。ヒストリデコーディング装置１０４のコンバータ２０２は、このコンバータ２１２と逆の変換処理を行う（連続する２３ビット以上の”０”を発生させないために挿入された”１”を除去する）ものである。
【０１９７】
ヒストリVLD２０３は、コンバータ２０２の出力から履歴情報（いまの場合、第１世代の符号化パラメータと第２世代の符号化パラメータ）を生成し、ヒストリ情報多重化装置１０３に出力する。
【０１９８】
一方、ヒストリエンコーディング装置１１７においては、ヒストリVLC２１１がヒストリ情報分離装置１１５より供給される３世代分の（第１世代、第２世代、および第３世代の）符号化パラメータを履歴情報のフォーマットに変換する。このフォーマットには、固定長のもの（後述する図２０乃至図２６）と、可変長のもの（後述する図２７）とがある。これらの詳細については後述する。
【０１９９】
ヒストリVLC２１１により、フォーマット化された履歴情報は、コンバータ２１２において、converted_history_stream()に変換される。これは、上述したように、user_data()のstart_codeが誤検出されないようにするための処理である。すなわち、履歴情報内には連続する２３ビット以上の”０”が存在するが、user_data中には連続する２３ビット以上の”０”を配置することができないので、この禁止項目に触れないようにコンバータ２１２によりデータを変換する（“１”を所定のタイミングで挿入する）のである。
【０２００】
ユーザデータフォーマッタ２１３は、コンバータ２１２より供給されるconverted_history_stream()に、後述する図１８に基づいて、History_Data_IDを付加し、さらに、user_data_stream_codeを付加して、video stream中に挿入できるMPEG規格のuser_dataを生成し、符号化装置１１６に出力する。
【０２０１】
図１５は、例えば映像編集スタジオにおいて、複数のトランスコーディングシステム１−１乃至１−Ｎが直列に接続されて使用される状態を示している。各トランスコーディングシステム１−ｉ（ｉ＝１乃至Ｎ）のヒストリ情報多重化装置１０３−ｉは、上述した符号化パラメータ用の領域の最も古い符号化パラメータが記録されている区画に、自己が用いた最新の符号化パラメータを上書きする。このことにより、ベースバンドの画像データには、同一のマクロブロックに対応する直近の４世代分の符号化パラメータ（世代履歴情報）が記録されることになる（図７）。
【０２０２】
各符号化装置１１６−ｉのエンコーダ３０１−ｉ（図１４）は、その可変長符号化回路３１８において、ヒストリ情報分離装置１１５−ｉから供給される今回用いる符号化パラメータに基づいて、量子化回路３１７より供給されるビデオデータを符号化する。このようにして生成されるビットストリーム（例えば、picture_header()）中に、その現符号化パラメータは多重化される。
【０２０３】
可変長符号化回路３１８はまた、ヒストリエンコーディング装置１１７−ｉより供給されるユーザデータ（世代履歴情報を含む）を、出力するビットストリーム中に多重化する（図７に示すような埋め込み処理ではなく、ビットストリーム中に多重化する）。そして、符号化装置１１６−ｉの出力するビットストリームは、SDTI(Serial Data Transfer Interface)３５１−ｉを介して、後段のトランスコーディングシステム１−（ｉ＋１）に入力される。
【０２０４】
トランスコーディングシステム１−ｉとトランスコーディングシステム１−（ｉ＋１）は、それぞれ図４に示すように構成されている。従って、その処理は、図４を参照して説明した場合と同様となる。
【０２０５】
実際の符号化パラメータの履歴を利用した符号化として、現在Ｉピクチャとして符号化されていたものを、ＰもしくはＢピクチャに変更したい場合、過去の符号化パラメータの履歴を見て、過去にＰもしくはＢピクチャであった場合を探し、これらの履歴が存在した場合は、その動きベクトルなどのパラメータを利用して、ピクチャタイプを変更する。反対に過去に履歴がない場合は、動き検出を行わないピクチャタイプの変更を断念する。もちろん履歴がない場合であっても、動き検出を行えばピクチャタイプを変更できる。
【０２０６】
なお、本実施の形態におけるトランスコーディングシステム１の内部においては、上述したように、復号側と符号側が粗結合されており、符号化パラメータを画像データに多重化させて伝送させたが、図１６に示すように、復号装置１０２と符号化装置１１６を直接接続する（密結合する）ようにしてもよい。
【０２０７】
図４において説明したトランスコーディングシステム１は、第１世代から第３世代の過去の符号化パラメータを符号化装置１１６に供給するために、ベースバンドビデオデータに過去の符号化パラメータを多重化して伝送するようにしていた。しかしながら、本発明においては、ベースバンドビデオデータに過去の符号化パラメータを多重化する技術は必須ではなく、図１６に示されたように、ベースバンドビデオデータとは異なる伝送路（たとえばデータ転送バス）を使用して、過去の符号化パラメータを伝送するようにしても良い。
【０２０８】
つまり、図１６に示した、復号装置１０２、ヒストリデコーディング装置１０４、符号化装置１１６及びヒストリエンコーディング装置１１７は、図４において説明した復号装置１０２、ヒストリデコーディング装置１０４、符号化装置１１６及びヒストリエンコーディング装置１１７とまったく同じ機能及び構成を有している。
【０２０９】
復号装置１０２の可変長復号回路２６２は、第３世代の符号化ストリームＳＴ(3rd)のシーケンス層、GOP層、ピクチャ層、スライス層及びマクロブロック層から、第３世代の符号化パラメータを抽出し、それを、ヒストリエンコーディング装置１１７及び符号化装置１１６のコントローラ３３０にそれぞれ供給する。
【０２１０】
復号装置１０２の可変長復号回路２６２は、第３世代の符号化ストリームＳＴから分離されたカウンタ値をフォーマット変換装置３６１に供給するとともに、フレームまたはフィールドに同期したFrame/Field同期信号をカウンタ３６２に供給する。
【０２１１】
カウンタ３６２は、可変長復号回路２６２から供給されるフレームまたはフィールドに同期したFrame/Field同期信号を基に、カウントアップされる１６ビットのカウンタである。カウンタ３６２は、0乃至65,535のいずれかのカウンタ値を比較装置３６３に出力する。
【０２１２】
カウンタ３６２は、65,535のカウンタ値を有する場合、可変長復号回路２６２からフレームまたはフィールドに同期したFrame/Field同期信号が供給されたとき、カウンタ値を0とし、その後も、可変長復号回路２６２から供給されるFrame/Field同期信号を基に、カウントアップを継続する。
【０２１３】
なお、カウンタ３６２は、可変長復号回路２６２から供給されるフレームまたはフィールドに同期したFrame/Field同期信号を基に、カウントダウン（１を減算）するようにしてもよい。
【０２１４】
図１７は、カウンタ３６２の構成例を示す図である。カウンタ３８１は、Clock信号によりカウントアップされる、１６ビットのバイナリカウンタである。カウンタ３８１の全ての出力が"1"になったとき（すなわち、出力が65,535となったとき）、ＡＮＤ回路３８２の出力が"1"になるので、カウンタ３８１は、リセットされる（すなわち、カウンタ値が0になる）。
【０２１５】
なお、カウンタ１０１、カウンタ１１３、および後述するカウンタ３６４も、カウンタ３６２と同様に構成することかできる。
【０２１６】
フォーマット変換装置３６１は、可変長復号回路２６２から供給された、第３世代の符号化ストリームＳＴから分離されたカウンタ値の方式を１６ビットのカウンタ値（例えば、カウンタ３６２が出力するカウンタ値と同じ方式）に変換して、比較装置３６３に出力する。
【０２１７】
比較装置３６３は、フォーマット変換装置３６１から供給されたカウンタ値とカウンタ３６２から供給されたカウンタ値とを比較し、その値が同一であるとき、所定の値の不連続パラメータを符号化装置１１６に出力し、その値が異なるとき、他の値の不連続パラメータを符号化装置１１６に出力する。
【０２１８】
比較装置３６３にフォーマット変換装置３６１から供給されたカウンタ値とカウンタ３６２から供給されたカウンタ値とが異なる値をとるとき、カウンタ３６２は、フォーマット変換装置３６１が出力するカウンタ値をロードして、自己のカウンタ値として設定する。このようにすることで、比較装置３６３は、一旦、画像の不連続点を検出した後でも、再度、画像に不連続点が含まれていた場合、他の値の不連続パラメータを符号化装置１１６に出力することができる。
【０２１９】
ヒストリエンコーディング装置１１７は、受け取った第３世代の符号化パラメータをピクチャ層のユーザデータエリアに記述できるようにconverted_history_stream()に変換し、converted_history_stream()をユーザデータとして符号化装置１１６の可変長符号化回路３１８に供給する。
【０２２０】
さらに可変長復号回路２６２は、第３世代の符号化ストリームのピクチャ層のユーザデータエリアから、第１世代の符号化パラメータ及び第２の符号化パラメータを含んでいるユーザデータuser_data を抽出し、ヒストリデコーディング装置１０４及び符号化装置１１６の可変長符号化回路３１８に供給する。ヒストリデコーディング装置１０４は、ユーザデータエリアにconverted_history_stream()として記述されたヒストリストリームから、第１世代の符号化パラメータ及び第２世代の符号化パラメータを抽出し、それを符号化装置１１６のコントローラに供給する。
【０２２１】
符号化装置１１６のコントローラ３３０は、ヒストリデコーディング装置１０４から受け取った第１世代及び第２世代の符号化パラメータと、符号化装置１０２から受け取った第３世代の符号化パラメータとに基づいて、符号化装置１１６の符号化処理をコントロールする。
【０２２２】
符号化装置１１６の可変長符号化回路３１８は、復号装置１０２から第１世代の符号化パラメータ及び第２の符号化パラメータを含んでいるユーザデータuser_dataを受け取るとともに、ヒストリエンコーディング装置１１７から第３世代の符号化パラメータを含んでいるユーザデータuser_dataを受け取り、それらのユーザデータをヒストリ情報として、第４世代の符号化ストリームのピクチャ層のユーザデータエリアに記述する。
【０２２３】
また、符号化装置１１６は、カウンタ３６４にフレームまたはフィールドに同期したFrame/Field同期信号を供給する。
【０２２４】
カウンタ３６４は、符号化装置１１６から供給されるフレームまたはフィールドに同期したFrame/Field同期信号を基に、カウントアップされる１６ビットのカウンタである。カウンタ３６４は、0乃至65,535のいずれかのカウンタ値をフォーマット変換装置３６５に出力する。
【０２２５】
カウンタ３６４は、65,535のカウンタ値を有する場合、符号化装置１１６からフレームまたはフィールドに同期したFrame/Field同期信号が供給されたとき、カウンタ値を0とし、その後も、符号化装置１１６から供給されるFrame/Field同期信号を基に、カウントアップを継続する。
【０２２６】
なお、カウンタ３６４は、符号化装置１１６から供給されるフレームまたはフィールドに同期したFrame/Field同期信号を基に、カウントダウン（１を減算）するようにしてもよい。
【０２２７】
フォーマット変換装置３６５は、カウンタ３６４から供給された１６ビットのカウンタ値を、符号化ストリームＳＴに多重化できる方式に変換して、符号化装置１１６に出力する。
【０２２８】
符号化装置１１６は、フォーマット変換装置３６５から供給されたカウンタ値を第４世代の符号化ストリームに格納する。
【０２２９】
図１８は、MPEGのビデオストリームをデコードするためのシンタックスを表わした図である。デコーダは、このシンタックスに従ってMPEGビットストリームをデコードすることによって、ビットストリームから意味のある複数のデータ項目（データエレメント）を抽出する。以下に説明するシンタックスは、図において、その関数や条件文は細活字で表わされ、そのデータエレメントは、太活字で表されている。データ項目は、その名称、ビット長、及びそのタイプと伝送順序を示すニーモニック（Mnemonic）で記述されている。
【０２３０】
まず、この図１８に示されているシンタックスにおいて使用されている関数について説明する。
【０２３１】
next_start_code()関数は、ビットストリーム中に記述されているスタートコードを探すための関数である。この図１８に示されたシンタックスにおいて、このnext_start_code()関数の次に、sequence_header()関数とsequence_extension()関数とが順に配置されているので、このビットストリームには、このsequence_header()関数とsequence_extension()関数によって定義されたデータエレメントが記述されている。従って、ビットストリームのデコード時には、このnext_start_code()関数によって、sequence_header()関数とsequence_extension()関数の先頭に記述されているスタートコード（データエレメントの一種）をビットストリーム中から見つけ、それを基準にして、 sequence_header()関数とsequence_extension()関数をさらに見つけ、それらによって定義された各データエレメントをデコードする。
【０２３２】
尚、sequence_header()関数は、MPEGビットストリームのシーケンス層のヘッダデータを定義するための関数であって、sequence_extension()関数は、MPEGビットストリームのシーケンス層の拡張データを定義するための関数である。
【０２３３】
sequence_extension()関数の次に配置されている do{ }while構文は、while文によって定義されている条件が真である間、do文の{ }内の関数に基いて記述されたデータエレメントをデータストリーム中から抽出するための構文である。すなわち、 do{ }while構文によって、while文によって定義されている条件が真である間、ビットストリーム中から、do文内の関数に基いて記述されたデータエレメントを抽出するデコード処理が行われる。
【０２３４】
このwhile文に使用されているnextbits()関数は、ビットストリーム中に現れるビット又はビット列と、次にデコードされるデータエレメントとを比較するための関数である。この図１８のシンタックスの例では、nextbits()関数は、ビットストリーム中のビット列とビデオシーケンスの終わりを示すsequence_end_codeとを比較し、ビットストリーム中のビット列とsequence_end_codeとが一致しないときに、このwhile文の条件が真となる。従って、sequence_extension()関数の次に配置されている do{ }while構文は、ビットストリーム中に、ビデオシーケンスの終わりを示すsequence_end_codeが現れない間、do文中の関数によって定義されたデータエレメントがビットストリーム中に記述されていることを示している。
【０２３５】
ビットストリーム中には、sequence_extension()関数によって定義された各データエレメントの次には、extension_and_user_data(0)関数によって定義されたデータエレメントが記述されている。このextension_and_user_data(0)関数は、MPEGビットストリームのシーケンス層の拡張データとユーザデータを定義するための関数である。
【０２３６】
このextension_and_user_data(0)関数の次に配置されている do{ }while構文は、while文によって定義されている条件が真である間、do文の{ }内の関数に基いて記述されたデータエレメントを、ビットストリーム中から抽出するための関数である。このwhile文において使用されているnextbits()関数は、ビットストリーム中に現れるビット又はビット列と、picture_start_code又はgroup_start_codeとの一致を判断するための関数であって、ビットストリーム中に現れるビット又はビット列と、picture_start_code又はgroup_start_codeとが一致する場合には、while文によって定義された条件が真となる。よって、このdo{ }while構文は、ビットストリーム中において、picture_start_code又はgroup_start_codeが現れた場合には、そのスタートコードの次に、do文中の関数によって定義されたデータエレメントのコードが記述されているので、このpicture_start_code又はgroup_start_codeによって示されるスタートコードを探し出すことによって、ビットストリーム中からdo文中に定義されたデータエレメントを抽出することができる。
【０２３７】
このdo文の最初に記述されているif文は、ビットストリーム中にgroup_start_codeが現れた場合、という条件を示しいる。このif文による条件が真である場合には、ビットストリーム中には、このgroup_start_codeの次にgroup_of_picture_header(1)関数及びextension_and_user_data(1)関数によって定義されているデータエレメントが順に記述されている。
【０２３８】
このgroup_of_picture_header(1)関数は、MPEGビットストリームのGOP層のヘッダデータを定義するための関数であって、 extension_and_user_data(1)関数は、MPEGビットストリームのGOP層の拡張データ（extension_data）及びユーザデータ（user_data）を定義するための関数である。
【０２３９】
さらに、このビットストリーム中には、group_of_picture_header(1)関数及びextension_and_user_data(1)関数によって定義されているデータエレメントの次に、picture_header()関数とpicture_coding_extension()関数によって定義されたデータエレメントが記述されている。もちろん、先に説明したif文の条件が真とならない場合には、 group_of_picture_header(1)関数及びextension_and_user_data(1)関数によって定義されているデータエレメントは記述されていないので、 extension_and_user_data(0)関数によって定義されているデータエレメントの次に、 picture_header()関数とpicture_coding_extension()関数によって定義されたデータエレメントが記述されている。
【０２４０】
このpicture_header()関数は、 MPEGビットストリームのピクチャ層のヘッダデータを定義するための関数であって、 picture_coding_extension()関数は、MPEGビットストリームのピクチャ層の第１の拡張データを定義するための関数である。
【０２４１】
次のwhile文は、このwhile文によって定義されている条件が真である間、次のif文の条件判断を行うための関数である。このwhile文において使用されているnextbits()関数は、ビットストリーム中に現れるビット列と、extension_start_code又はuser_data_start_codeとの一致を判断するための関数であって、ビットストリーム中に現れるビット列と、 extension_start_code又はuser_data_start_codeとが一致する場合には、このwhile文によって定義された条件が真となる。
【０２４２】
第１のif文は、ビットストリーム中に現れるビット列とextension_start_codeとの一致を判断するための関数である。ビットストリーム中に現れるビット列と３２ビットのextension_ start_codeとが一致する場合には、ビットストリーム中において、extension_start_codeの次にextension_data(2)関数によって定義されるデータエレメントが記述されている。
【０２４３】
第２のif文は、ビットストリーム中に現れるビット列とuser_data_start_codeとの一致を判断するための構文であって、ビットストリーム中に現れるビット列と３２ビットのuser_data_start_codeとが一致する場合には、第３のif文の条件判断が行われる。このuser_data_start_codeは、MPEGビットストリームのピクチャ層のユーザデータエリアの開始を示すためのスタートコードである。
【０２４４】
video_continuity_counter_IDは、user_data()がvideo_continuity_counter()であることを識別するために利用される。marker_bit_1は、”１”が設定され、スタートコードのエミュレーションを防止する。video_continuity_counterには、カウンタ値が設定される。marker_bit_2は、”１”が設定され、スタートコードのエミュレーションを防止する。
【０２４５】
video_continuity_counterには、video_continuity_counter_ID乃至marker_bit_2に対応したエラーをチェックするための、CRC(Cyclic Redundancy Check)が設定される。
【０２４６】
第３のif文は、ビットストリーム中に現れるビット列とHistory_Data_IDとの一致を判断するための構文である。ビットストリーム中に現れるビット列とこの３２ビットのHistory_Data_IDとが一致する場合には、このMPEGビットストリームのピクチャ層のユーザデータエリアにおいて、この３２ビットのHistory_Data_IDによって示されるコードの次に、converted_history_stream()関数によって定義されるデータエレメントが記述されている。
【０２４７】
converted_history_stream()関数は、MPEG符号化時に使用したあらゆる符号化パラメータを伝送するための履歴情報及び履歴データを記述するための関数である。このconverted_history_stream()関数によって定義されているデータエレメントの詳細は、図２０乃至図２７を参照して、history_stream()として後述する。また、このHistory_Data_IDは、MPEGビットストリームのピクチャ層のユーザデータエリアに記述されたこの履歴情報及び履歴データが記述されている先頭を示すためのスタートコードである。
【０２４８】
else文は、第３のif文において、条件が非真であることを示すための構文である。従って、このMPEGビットストリームのピクチャ層のユーザデータエリアにおいて、converted_history_stream()関数によって定義されたデータエレメントが記述されていない場合には、user_data()関数によって定義されたデータエレメントが記述されている。
【０２４９】
図１８において、履歴情報は、converted_history_stream()に記述され、user_data()に記述される訳ではないが、このconverted_history_stream()は、MPEG規格のuser_dataの一種として記述される。そこで、本明細書中においては、場合によって、履歴情報がuser_dataに記述されるとも説明するが、それは、MPEG規格のuser_dataの一種として記述されるということを意味する。
【０２５０】
picture_data()関数は、MPEGビットストリームのピクチャ層のユーザデータの次に、スライス層及びマクロブロック層に関するデータエレメントを記述するための関数である。通常は、このpicture_data()関数によって示されるデータエレメントは、ビットストリームのピクチャ層のユーザデータエリアに記述されたconverted_history_stream()関数によって定義されるデータエレメント又はuser_data()関数によって定義されたデータエレメントの次に記述されているが、ピクチャ層のデータエレメントを示すビットストリーム中に、extension_start_code又はuser_data_start_code が存在しない場合には、このpicture_data()関数によって示されるデータエレメントは、 picture_coding_extension()関数によって定義されるデータエレメントの次に記述されている。
【０２５１】
このpicture_data()関数によって示されるデータエレメントの次には、sequence_header()関数とsequence_extension()関数とによって定義されたデータエレメントが順に配置されている。このsequence_header()関数とsequence_extension()関数によって記述されたデータエレメントは、ビデオストリームのシーケンスの先頭に記述されたsequence_header()関数とsequence_extension()関数によって記述されたデータエレメントと全く同じである。このように同じデータをストリーム中に記述する理由は、ビットストリーム受信装置側でデータストリームの途中（例えばピクチャ層に対応するビットストリーム部分）から受信が開始された場合に、シーケンス層のデータを受信できなくなり、ストリームをデコード出来なくなることを防止するためである。
【０２５２】
この最後のsequence_header()関数とsequence_extension()関数とによって定義されたデータエレメントの次、つまり、データストリームの最後には、シーケンスの終わりを示す３２ビットのsequence_end_codeが記述されている。
【０２５３】
以上のシンタックスの基本的な構成の概略を示すと、図１９に示すようになる。
【０２５４】
次に、converted_history_stream()関数によって定義されたヒストリストリームに関して説明する。
【０２５５】
このconverted_history_stream()は、MPEGのピクチャ層のユーザデータエリアに履歴情報を示すヒストリストリームを挿入するための関数である。尚、「converted」の意味は、スタートエミュレーションを防止するために、ユーザエリアに挿入すべき履歴データから構成される履歴ストリームの少なくとも２２ビット毎にマーカービット（１ビット）を挿入する変換処理を行ったストリームであることを意味している。
【０２５６】
このconverted_history_stream()は、以下に説明する固定長の履歴ストリーム（図２０乃至図２６）又は可変長の履歴ストリーム（図２７）のいずれかの形式で記述される。エンコーダ側において固定長の履歴ストリームを選択した場合には、デコーダ側において履歴ストリームから各データエレメントをデコードするための回路及びソフトウエアが簡単になるというメリットがある。一方、エンコーダ側において可変長の履歴ストリームを選択した場合には、エンコーダにおいてピクチャ層のユーザエリアに記述される履歴情報（データエレメント）を必要に応じて任意に選択することができるので、履歴ストリームのデータ量を少なくすることができ、その結果、符号化されたビットストリーム全体のデータレートを低減することができる。
【０２５７】
本発明において説明する「履歴ストリーム」、「ヒストリストリーム」、「履歴情報」、「ヒストリ情報」、「履歴データ」、「ヒストリデータ」、「履歴パラメータ」、「ヒストリパラメータ」とは、過去の符号化処理において使用した符号化パラメータ（又はデータエレメント）を意味し、現在の（最終段の）符号化処理において使用した符号化パラメータを意味するものではない。例えば、第１世代の符号化処理において、あるピクチャをＩピクチャで符号化して伝送し、次なる第２世代の符号化処理において、このピクチャを今度はＰピクチャとして符号化して伝送し、さらに、第３世代の符号化処理において、このピクチャをＢピクチャで符号化して伝送する例をあげて説明する。
【０２５８】
第３世代の符号化処理において使用した符号化パラメータが、第３世代の符号化処理において生成された符号化ビットストリームのシーケンス層、GOP層、ピクチャ層、スライス層及びマクロブロック層の所定位置に記述されている。一方、過去の符号化処理である第１世代及び第２世代の符号化処理において使用した符号化パラメータは、第３世代の符号化処理において使用した符号化パラメータが記述されるシーケンス層やGOP層に記述されるのでは無く、既に説明したシンタックスに従って、符号化パラメータの履歴情報として、ピクチャ層のユーザデータエリアに記述される。
【０２５９】
まず、固定長の履歴ストリームシンタックスについて図２０乃至図２６を参照して説明する。
【０２６０】
最終段（例えば第３世代）の符号化処理において生成されたビットストリームのピクチャ層のユーザデータエリアには、まず最初に、過去（例えば第１世代及び第２世代）の符号化処理において使用されていたシーケンス層のシーケンスヘッダに含められる符号化パラメータが、履歴ストリームとして挿入される。尚、過去の符号化処理において生成されたビットストリームのシーケンス層のシーケンスヘッダ等の履歴情報は、最終段の符号化処理において生成されたビットストリームのシーケンス層のシーケンスヘッダに挿入されることは無いという点に注意すべきである。
【０２６１】
過去の符号化処理で使用したシーケンスヘッダ（sequence_header）に含められるデータエレメントは、sequence_header_code、sequence_header_present_flag、horizontal_size_value、marker_bit、vertical_size_value、aspect_ratio_information、frame_rate_code、bit_rate_value、VBV_buffer_size_value、constrained_parameter_flag、load_intra_quantiser_matrix、load_non_intra_quantiser_matrix、intra_quantiser_matrix、及びnon_intra_quantiser_matrix等から構成される。
【０２６２】
sequence_header_codeは、シーケンス層のスタート同期コードを表すデータである。sequence_header_present_flagは、sequence_header内のデータが有効か無効かを示すデータである。 horizontal_size_valueは、画像の水平方向の画素数の下位12ビットから成るデータである。marker_bitは、スタートコードエミュレーションを防止するために挿入されるビットデータである。vertical_size_valueは、画像の縦のライン数の下位12ビットからなるデータである。aspect_ratio_informationは、画素のアスペクト比（縦横比）または表示画面アスペクト比を表すデータである。frame_rate_codeは、画像の表示周期を表すデータである。
【０２６３】
bit_rate_valueは、発生ビット量に対する制限のためのビット・レートの下位18ビット(400bsp単位で切り上げる)データである。VBV_buffer_size_valueは、発生符号量制御用の仮想バッファ（ビデオバッファベリファイヤー）の大きさを決める値の下位10ビットデータである。constrained_parameter_flagは、各パラメータが制限以内であることを示すデータである。load_intra_quantiser_matrixは、イントラMB用量子化マトリックス・データの存在を示すデータである。load_non_intra_quantiser_matrixは、非イントラＭＢ用量子化マトリックス・データの存在を示すデータである。intra_quantiser_matrixは、イントラＭＢ用量子化マトリックスの値を示すデータである。non_intra_quantiser_matrixは、非イントラＭＢ用量子化マトリックスの値を表すデータである。
【０２６４】
最終段の符号化処理において生成されたビットストリームのピクチャ層のユーザデータエリアには、過去の符号化処理において使用されたシーケンス層のシーケンスエクステンションを表わすデータエレメントが、履歴ストリームとして記述される。
【０２６５】
この過去の符号化処理で使用したシーケンスエクステンション（sequence_extension）を表わすデータエレメントは、 extension_start_code、extension_start_code_identifier、sequence_extension_present_flag、profile_and_level_indication、progressive_sequence、chroma_format、horizontal_size_extension、vertical_size_extension、bit_rate_extension、vbv_buffer_size_extension、low_delay、frame_rate_extension_n 、及び frame_rate_extension_d等のデータエレメントである。
【０２６６】
extension_start_codeは、エクステンションデータのスタート同期コードを表すデータである。extension_start_code_identifierは、どの拡張データが送られるかを示すデータである。sequence_extension_present_flagは、シーケンスエクステンション内のデータが有効であるか無効であるかを示すデータである。profile_and_level_indicationは、ビデオデータのプロファイルとレベルを指定するためのデータである。progressive_sequenceは、ビデオデータが順次走査であることを示すデータである。chroma_formatは、ビデオデータの色差フォーマットを指定するためのデータである。
【０２６７】
horizontal_size_extensionは、シーケンスヘッダのhorizntal_size_valueに加える上位２ビットのデータである。vertical_size_extensionは、シーケンスヘッダのvertical_size_valueに加える上位２ビットのデータである。bit_rate_extensionは、シーケンスヘッダのbit_rate_valueに加える上位１２ビットのデータである。vbv_buffer_size_extensionは、シーケンスヘッダのvbv_buffer_size_valueに加える上位８ビットのデータである。low_delayは、Ｂピクチャを含まないことを示すデータである。frame_rate_extension_nは、シーケンスヘッダのframe_rate_codeと組み合わせてフレームレートを得るためのデータである。frame_rate_extension_dは、シーケンスヘッダのframe_rate_codeと組み合わせてフレームレートを得るためのデータである。
【０２６８】
続いて、ビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたシーケンス層のシーケンスディスプレイエクステンションを表わすデータエレメントが、履歴ストリームとして記述される。
【０２６９】
このシーケンスディスプレイエクステンション（sequence_display_extension）として記述されているデータエレメントは、extension_start_code、extension_start_code_identifier、sequence_display_extension_present_flag、video_format、colour_description、colour_primaries、transfer_characteristics、matrix_coeffients、display_horizontal_size、及びdisplay_vertical_sizeから構成される。
【０２７０】
extension_start_codeは、エクステンションデータのスタート同期コードを表すデータである。extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。sequence_display_extension_present_flagは、シーケンスディスプレイエクステンション内のデータエレメントが有効か無効かを示すデータである。video_formatは、原信号の映像フォーマットを表すデータである。color_descriptionは、色空間の詳細データがあることを示すデータである。color_primariesは、原信号の色特性の詳細を示すデータである。transfer_characteristicsは、光電変換がどのように行われたのかの詳細を示すデータである。matrix_coeffientsは、原信号が光の三原色からどのように変換されたかの詳細を示すデータである。display_horizontal_sizeは、意図するディスプレイの活性領域（水平サイズ）を表すデータである。display_vertical_sizeは、意図するディスプレイの活性領域（垂直サイズ）を表すデータである。
【０２７１】
続いて、最終段の符号化処理において生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において生成されたマクロブロックの位相情報を示すマクロブロックアサイメントデータ（macroblock_assignment_in_user_data）が、履歴ストリームとして記述される。
【０２７２】
このマクロブロックの位相情報を示すmacroblock_assignment_in_user_dataは、macroblock_assignment_present_flag、v_phase、h_phase等のデータエレメントから構成される。
【０２７３】
このmacroblock_assignment_present_flagは、macroblock_assignment_in_user_data内のデータエレメントが有効か無効かを示すデータである。v_phaseは、画像データからマクロブロックを切り出す際の垂直方向の位相情報を示すデータである。h_phaseは、画像データからマクロブロックを切り出す際の水平方向の位相情報を示すデータである。
【０２７４】
続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたGOP層のGOPヘッダを表わすデータエレメントが、履歴ストリームとして記述されている。
【０２７５】
このGOPヘッダ（group_of_picture_header）を表わすデータエレメントは、group_start_code、group_of_picture_header_present_flag、time_code、closed_gop、及びbroken_linkから構成される。
【０２７６】
group_start_codeは、GOP層の開始同期コードを示すデータである。group_of_picture_header_present_flagは、group_of_picture_header内のデータエレメントが有効であるか無効であるかを示すデータである。time_codeは、GOPの先頭ピクチャのシーケンスの先頭からの時間を示すタイムコードである。closed_gopは、GOP内の画像が他のGOPから独立再生可能なことを示すフラグデータである。broken_linkは、編集などのためにGOP内の先頭のＢピクチャが正確に再生できないことを示すフラグデータである。
【０２７７】
続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたピクチャ層のピクチャヘッダを表わすデータエレメントが、履歴ストリームとして記述されている。
【０２７８】
このピクチャヘッダ（picture_header）に関するデータエレメントは、picture_start_code、temporal_reference、picture_coding_type、vbv_delay、full_pel_forward_vector、forward_f_code、full_pel_backward_vector、及びbackward_f_codeから構成される。
【０２７９】
具体的には、picture_start_codeは、ピクチャ層の開始同期コードを表すデータである。temporal_referenceは、ピクチャの表示順を示す番号でGOPの先頭でリセットされるデータである。picture_coding_typeは、ピクチャタイプを示すデータである。vbv_delayは、ランダムアクセス時の仮想バッファの初期状態を示すデータである。full_pel_forward_vectorは、順方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。forward_f_codeは、順方向動きベクトル探索範囲を表すデータである。full_pel_backward_vectorは、逆方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。backward_f_codeは、逆方向動きベクトル探索範囲を表すデータである。
【０２８０】
続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたピクチャ層のピクチャコーディングエクステンションが、履歴ストリームとして記述されている。
【０２８１】
このピクチャコーディングエクステンション（picture_coding_extension）に関するデータエレメントは、extension_start_code、extension_start_code_identifier、f_code[0][0]、f_code[0][1]、f_code[1][0]、f_code[1][1]、intra_dc_precision、picture_structure、top_field_first、frame_predictive_frame_dct、concealment_motion_vectors、q_scale_type、intra_vlc_format、alternate_scan、repeat_firt_field、chroma_420_type、progressive_frame、composite_display_flag、v_axis、field_sequence、sub_carrier、burst_amplitude、及びsub_carrier_phaseから構成される。
【０２８２】
extension_start_codeは、ピクチャ層のエクステンションデータのスタートを示す開始コードである。extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。f_code[0][0]は、フォワード方向の水平動きベクトル探索範囲を表すデータである。f_code[0][1]は、フォワード方向の垂直動きベクトル探索範囲を表すデータである。f_code[1][0]は、バックワード方向の水平動きベクトル探索範囲を表すデータである。f_code[1][1]は、バックワード方向の垂直動きベクトル探索範囲を表すデータである。
【０２８３】
intra_dc_precisionは、DC係数の精度を表すデータである。picture_structureは、フレームストラクチャかフィールドストラクチャかを示すデータである。フィールドストラクチャの場合は、上位フィールドか下位フィールドかもあわせて示すデータである。top_field_firstは、フレームストラクチャの場合、最初のフィールドが上位か下位かを示すデータである。frame_predictive_frame_dctは、フレーム・ストラクチャの場合、フレーム・モードDCTの予測がフレーム・モードだけであることを示すデータである。concealment_motion_vectorsは、イントラマクロブロックに伝送エラーを隠蔽するための動きベクトルがついていることを示すデータである。
【０２８４】
q_scale_typeは、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータである。intra_vlc_formatは、イントラマクロブロックに、別の２次元VLCを使うかどうかを示すデータである。alternate_scanは、ジグザグスキャンを使うか、オルタネート・スキャンを使うかの選択を表すデータである。repeat_firt_fieldは、２：３プルダウンの際に使われるデータである。chroma_420_typeは、信号フォーマットが４：２：０の場合、次のprogressive_frame と同じ値、そうでない場合は０を表すデータである。progressive_frameは、このピクチャが、順次走査できているかどうかを示すデータである。composite_display_flagは、ソース信号がコンポジット信号であったかどうかを示すデータである。
【０２８５】
v_axisは、ソース信号が、PALの場合に使われるデータである。field_sequenceは、ソース信号が、PALの場合に使われるデータである。sub_carrierは、ソース信号が、PALの場合に使われるデータである。burst_amplitudeは、ソース信号が、PALの場合に使われるデータである。sub_carrier_phaseは、ソース信号が、PALの場合に使われるデータである。
【０２８６】
続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用された量子化マトリックスエクステンションが、履歴ストリームとして記述されている。
【０２８７】
この量子化マトリックスエクステンション（quant_matrix_extension）に関するデータエレメントは、extension_start_code、extension_start_code_identifier、quant_matrix_extension_present_flag、load_intra_quantiser_matrix、intra_quantiser_matrix[64]、load_non_intra_quantiser_matrix、non_intra_quantiser_matrix[64]、load_chroma_intra_quantiser_matrix、chroma_intra_quantiser_matrix[64]、load_chroma_non_intra_quantiser_matrix、及びchroma_non_intra_quantiser_matrix[64] から構成される。
【０２８８】
extension_start_codeは、この量子化マトリックスエクステンションのスタートを示す開始コードである。extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。quant_matrix_extension_present_flagは、この量子化マトリックスエクステンション内のデータエレメントが有効か無効かを示すためのデータである。load_intra_quantiser_matrixは、イントラマクロブロック用の量子化マトリックスデータの存在を示すデータである。intra_quantiser_matrixは、イントラマクロブロック用の量子化マトリックスの値を示すデータである。
【０２８９】
load_non_intra_quantiser_matrixは、非イントラマクロブロック用の量子化マトリックスデータの存在を示すデータである。non_intra_quantiser_matrixは、非イントラマクロブロック用の量子化マトリックスの値を表すデータである。load_chroma_intra_quantiser_matrixは、色差イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。chroma_intra_quantiser_matrixは、色差イントラマクロブロック用の量子化マトリックスの値を示すデータである。load_chroma_non_intra_quantiser_matrixは、色差非イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。chroma_non_intra_quantiser_matrixは、色差非イントラマクロブロック用の量子化マトリックスの値を示すデータである。
【０２９０】
続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたコピーライトエクステンションが、履歴ストリームとして記述されている。
【０２９１】
このコピーライトエクステンション（copyright_extension）に関するデータエレメントは、extension_start_code、extension_start_code_itentifier、copyright_extension_present_flag、copyright_flag、copyright_identifier、original_or_copy、copyright_number_1、copyright_number_2、及びcopyright_number_3から構成される。
【０２９２】
extension_start_codeは、コピーライトエクステンションのスタート示す開始コードである。extension_start_code_itentifierのどのエクステンションデータが送られるかを示すコードである。copyright_extension_present_flagは、このコピーライトエクステンション内のデータエレメントが有効か無効かを示すためのデータである。copyright_flagは、次のコピーライトエクステンション又はシーケンスエンドまで、符号化されたビデオデータに対してコピー権が与えられているか否かを示す。
【０２９３】
copyright_identifierは、ISO/IEC JTC/SC29によって指定されたコピー権の登録機関を識別するためのデータである。original_or_copyは、ビットストリーム中のデータが、オリジナルデータであるかコピーデータであるかを示すデータである。copyright_number_1は、コピーライトナンバーのビット４４から６３を表わすデータである。copyright_number_2は、コピーライトナンバーのビット２２から４３を表わすデータである。copyright_number_3は、コピーライトナンバーのビット０から２１を表わすデータである。
【０２９４】
続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたピクチャディスプレイエクステンション（picture_display_extension）が、履歴ストリームとして記述されている。
【０２９５】
このピクチャディスプレイエクステンションを表わすデータエレメントは、extension_start_code、extension_start_code_identifier、picture_display_extension_present_flag、frame_center_horizontal_offset_1、frame_center_vertical_offset_1、frame_center_horizontal_offset_2、frame_center_vertical_offset_2、frame_center_horizontal_offset_3、及びframe_center_vertical_offset_3から構成される。
【０２９６】
extension_start_codeは、ピクチャディスプレイエクステンションのスタートを示すための開始コードである。extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。picture_display_extension_present_flagは、ピクチャディスプレイエクステンション内のデータエレメントが有効か無効かを示すデータである。frame_center_horizontal_offsetは、表示エリアの水平方向のオフセットを示すデータであって、３つのオフセット値まで定義することができる。frame_center_vertical_offsetは、表示エリアを垂直方向のオフセットを示すデータであって、３つのオフセット値まで定義することができる。
【０２９７】
最終段の符号化処理において生成されたビットストリームのピクチャ層のユーザエリアには、既に説明したピクチャディスプレイエクステンションを表わす履歴情報の次に、過去の符号化処理において使用されたユーザデータ（user_data）が、履歴ストリームとして記述されている。
【０２９８】
このユーザデータの次には、過去の符号化処理において使用されたマクロブロック層に関する情報が、履歴ストリームとして記述されている。
【０２９９】
このマクロブロック層に関する情報は、macroblock_address_h、macroblock_address_v、slice_header_present_flag、skipped_macroblock_flag等のマクロブロック（macroblock）の位置に関するデータエレメントと、macroblock_quant、macroblock_motion_forward、macroblock_motion_backward、mocroblock_pattern、macroblock_intra、spatial_temporal_weight_code_flag、frame_motion_type、及びdct_type等のマクロブロックモード（macroblock_modes[]）に関するデータエレメントと、quantiser_scale_code等の量子化ステップ制御に関するデータエレメントと、PMV[0][0][0]、PMV[0][0][1]、motion_vertical_field_select[0][0]、PMV[0][1][0]、PMV[0][1][1]、motion_vertical_field_select[0][1]、PMV[1][0][0]、PMV[1][0][1]、motion_vertical_field_select[1][0]、PMV[1][1][0]、PMV[1][1][1]、motion_vertical_field_select[1][1]等の動き補償に関するデータエレメントと、coded_block_pattern等のマクロブロックパターンに関するデータエレメントと、num_mv_bits、num_coef_bits、及びnum_other_bits等の発生符号量に関するデータエレメントから構成されている。
【０３００】
以下にマクロブロック層に関するデータエレメントについて詳細に説明する。
【０３０１】
macroblock_address_hは、現在のマクロブロックの水平方向の絶対位置を定義するためのデータである。macroblock_address_vは、現在のマクロブロックの垂直方向の絶対位置を定義するためのデータである。slice_header_present_flagは、このマクロブロックがスライス層の先頭であり、スライスヘッダを伴なうか否かを示すデータである。skipped_macroblock_flagは、復号処理においてこのマクロブロックをスキップするか否かを示すデータでる。
【０３０２】
macroblock_quantは、後述する図４３と図４４に示されたマクロブロックタイプ（ macroblock_type ）から導かれるデータであって、quantiser_scale_codeがビットストリーム中に現れるか否かを示すデータである。macroblock_motion_forwardは、図４３と図４４に示されたマクロブロックタイプから導かれるデータであって、復号処理で使用されるデータである。macroblock_motion_backwardは、図４３と図４４に示されたマクロブロックタイプから導かれるデータであって、復号処理で使用されるデータである。mocroblock_patternは、図４３と図４４に示されたマクロブロックタイプから導かれるデータであって、coded_block_patternがビットストリーム中に現れるか否かを示すデータである。
【０３０３】
macroblock_intraは、図４３と図４４に示されたマクロブロックタイプから導かれるデータであって、復号処理で使用されるデータである。spatial_temporal_weight_code_flagは、図４３と図４４に示されたマクロブロックタイプから導かれるデータであって、時間スケーラビリティで下位レイヤ画像のアップサンプリング方法を示すspatial_temporal_weight_codeは、ビットストリーム中に存在するか否かを示すデータである。
【０３０４】
frame_motion_typeは、フレームのマクロブロックの予測タイプを示す２ビットのコードである。予測ベクトルが２個でフィールドベースの予測タイプであれば「００」であって、予測ベクトルが１個でフィールドベースの予測タイプであれば「０１」であって、予測ベクトルが１個でフレームベースの予測タイプであれば「１０」であって、予測ベクトルが１個でディアルプライムの予測タイプであれば「１１」である。field_motion_typeは、フィールドのマクロブロックの動き予測を示す２ビットのコードである。予測ベクトルが１個でフィールドベースの予測タイプであれば「０１」であって、予測ベクトルが２個で１８×８マクロブロックベースの予測タイプであれば「１０」であって、予測ベクトルが１個でディアルプライムの予測タイプであれば「１１」である。dct_typeは、DCTがフレームDCTモードか、フィールドDCTモードかを示すデータである。quantiser_scale_codeはマクロブロックの量子化ステップサイズを示すデータである。
【０３０５】
次に動きベクトルに関するデータエレメントについて説明する。動きベクトルは、復号時に必要な動きベクトルを減少させるために、先に符号化されたベクトルに関し差分として符号化される。動きベクトルの復号を行うために復号器は、４個の動きベクトル予測値（それぞれ水平及び垂直成分を伴なう）を維持しなければいけない。この予測動きベクトルをPMV[r][s][v]と表わすことにしている。[r]は、マクロブロックにおける動きベクトルが第１のベクトルであるのか、第２のベクトルであるのかを示すフラグであって、マクロブロックにおけるベクトルが第１のベクトルである場合には「０」となって、マクロブロックにおけるベクトルが第２のベクトルである場合には「１」となる。[s]は、マクロブロックにおける動きベクトルの方向が、前方向であるのか後方向であるのかを示すフラグであって、前方向動きベクトルの場合には「０」となって、後方向動きベクトルの場合には「１」となる。[v]は、マクロブロックにおけるベクトルの成分が、水平方向であるのか垂直方向であるのかを示すフラグであって、水平方向成分の場合には「０」となって、垂直方向成分の場合には「１」となる。
【０３０６】
従って、PMV[0][0][0]は、第１のベクトルの前方向の動きベクトルの水平方向成分のデータを表わし、PMV[0][0][1]は、第１のベクトルの前方向の動きベクトルの垂直方向成分のデータを表わし、PMV[0][1][0]は、第１のベクトルの後方向の動きベクトルの水平方向成分のデータを表わし、PMV[0][1][1]は、第１のベクトルの後方向の動きベクトルの垂直方向成分のデータを表わし、 PMV[1][0][0]は、第２のベクトルの前方向の動きベクトルの水平方向成分のデータを表わし、PMV[1][0][1]は、第２のベクトルの前方向の動きベクトルの垂直方向成分のデータを表わし、 PMV[1][1][0]は、第２のベクトルの後方向の動きベクトルの水平方向成分のデータを表わし、PMV[1][1][1] は、第２のベクトルの後方向の動きベクトルの垂直方向成分のデータを表わしている。
【０３０７】
motion_vertical_field_select[r][s]は、予測の形式にいずれの参照フィールドを使用するのかを示すデータである。このmotion_vertical_field_select[r][s]が「０」の場合には、トップ参照フィールドを使用し、「１」の場合には、ボトム参照フィールドを使用することを示している。
【０３０８】
よって、motion_vertical_field_select[0][0]は、第１のベクトルの前方向の動きベクトルを生成する際の参照フィールドを示し、motion_vertical_field_select[0][1]は、第１のベクトルの後方向の動きベクトルを生成する際の参照フィールドを示し、motion_vertical_field_select[1][0]は、第２のベクトルの前方向の動きベクトルを生成する際の参照フィールドを示し、motion_vertical_field_select[1][1]は、第２ベクトルの後方向の動きベクトルを生成する際の参照フィールドを示している。
【０３０９】
coded_block_patternは、DCT係数を格納する複数のDCTブロックのうち、どのDCTブロックに、有意係数（非０係数）があるかを示す可変長のデータである。num_mv_bitsは、マクロブロック中の動きベクトルの符号量を示すデータである。num_coef_bitsは、マクロブロック中のDCT係数の符号量を示すデータである。num_other_bitsは、マクロブロックの符号量で、動きベクトル及びDCT係数以外の符号量を示すデータである。
【０３１０】
次に、可変長の履歴ストリームから各データエレメントをデコードするためのシンタックスについて、図２７乃至図４７を参照して説明する。
【０３１１】
この可変長の履歴ストリームは、next_start_code()関数、sequence_header()関数、sequence_extension()関数、extension_and_user_data(0)関数、group_of_picture_header()関数、extension_and_user_data(1)関数、picture_header()関数、picture_coding_extension()関数、re_coding_stream_info()関数、extension_and_user_data(2)関数、及びpicture_data()関数によって定義されたデータエレメントによって構成される。
【０３１２】
next_start_code()関数は、ビットストリーム中に存在するスタートコードを探すための関数であるので、履歴ストリームの最も先頭には、図２８に示すような、過去の符号化処理において使用されたデータエレメントであってsequence_header()関数によって定義されたデータエレメントが記述されている。
【０３１３】
sequence_header()関数によって定義されたデータエレメントは、sequence_header_code、sequence_header_present_flag、horizontal_size_value、vertical_size_value、aspect_ratio_information、frame_rate_code、bit_rate_value、marker_bit、VBV_buffer_size_value、constrained_parameter_flag、load_intra_quantiser_matrix、intra_quantiser_matrix、load_non_intra_quantiser_matrix、及びnon_intra_quantiser_matrix等である。
【０３１４】
sequence_header_codeは、シーケンス層のスタート同期コードを表すデータである。sequence_header_present_flagは、sequence_header内のデータが有効か無効かを示すデータである。 horizontal_size_valueは、画像の水平方向の画素数の下位12ビットから成るデータである。vertical_size_valueは、画像の縦のライン数の下位12ビットからなるデータである。aspect_ratio_informationは、画素のアスペクト比（縦横比）または表示画面アスペクト比を表すデータである。frame_rate_codeは、画像の表示周期を表すデータである。bit_rate_valueは、発生ビット量に対する制限のためのビット・レートの下位18ビット(400bsp単位で切り上げる)データである。
【０３１５】
marker_bitは、スタートコードエミュレーションを防止するために挿入されるビットデータである。VBV_buffer_size_valueは、発生符号量制御用の仮想バッファ（ビデオバッファベリファイヤー）の大きさを決める値の下位10ビットデータである。constrained_parameter_flagは、各パラメータが制限以内であることを示すデータである。load_intra_quantiser_matrixは、イントラMB用量子化マトリックス・データの存在を示すデータである。intra_quantiser_matrixは、イントラＭＢ用量子化マトリックスの値を示すデータである。load_non_intra_quantiser_matrixは、非イントラＭＢ用量子化マトリックス・データの存在を示すデータである。non_intra_quantiser_matrixは、非イントラＭＢ用量子化マトリックスの値を表すデータである。
【０３１６】
sequence_header()関数によって定義されたデータエレメントの次には、図２９で示すような、sequence_extension()関数によって定義されたデータエレメントが、履歴ストリームとして記述されている。
【０３１７】
sequence_extension()関数によって定義されたデータエレメントとは、extension_start_code、extension_start_code_identifier、sequence_extension_present_flag、profile_and_level_indication、progressive_sequence、chroma_format、horizontal_size_extension、vertical_size_extension、bit_rate_extension、vbv_buffer_size_extension、low_delay、frame_rate_extension_n 、及び frame_rate_extension_d等のデータエレメントである。
【０３１８】
extension_start_codeは、エクステンションデータのスタート同期コードを表すデータである。extension_start_code_identifierは、どの拡張データが送られるかを示すデータである。sequence_extension_present_flagは、シーケンスエクステンション内のデータが有効であるか無効であるかを示すスデータである。profile_and_level_indicationは、ビデオデータのプロファイルとレベルを指定するためのデータである。progressive_sequenceは、ビデオデータが順次走査であることを示すデータである。chroma_formatは、ビデオデータの色差フォーマットを指定するためのデータである。horizontal_size_extensionは、シーケンスヘッダのhorizntal_size_valueに加える上位２ビットのデータである。vertical_size_extensionは、シーケンスヘッダのvertical_size_value加える上位２ビットのデータである。bit_rate_extensionは、シーケンスヘッダのbit_rate_valueに加える上位１２ビットのデータである。vbv_buffer_size_extensionは、シーケンスヘッダのvbv_buffer_size_valueに加える上位８ビットのデータである。
【０３１９】
low_delayは、Ｂピクチャを含まないことを示すデータである。frame_rate_extension_nは、シーケンスヘッダのframe_rate_codeと組み合わせてフレームレートを得るためのデータである。frame_rate_extension_dは、シーケンスヘッダのframe_rate_codeと組み合わせてフレームレートを得るためのデータである。
【０３２０】
sequence_extension()関数によって定義されたデータエレメントの次には、図３０に示すようなextension_and_user_data(0)関数によって定義されたデータエレメントが、履歴ストリームとして記述されている。 extension_and_user_data(i)関数は、「i」が１以外のときは、extension_data()関数によって定義されるデータエレメントは記述せずに、user_data()関数によって定義されるデータエレメントのみを履歴ストリームとして記述する。よって、 extension_and_user_data(0)関数は、 user_data()関数によって定義されるデータエレメントのみを履歴ストリームとして記述する。
【０３２１】
user_data()関数は、図３１に示されたようなシンタックスに基いて、ユーザデータを履歴ストリームとして記述する。
【０３２２】
extension_and_user_data(0)関数によって定義されたデータエレメントの次には、図３２に示すようなgroup_of_picture_header()関数によって定義されたデータエレメント、及びextension_and_user_data(1)関数によって定義されるデータエレメントが、履歴ストリームとして記述されている。但し、履歴ストリーム中に、GOP層のスタートコードを示すgroup_start_codeが記述されている場合にのみ、 group_of_picture_header()関数によって定義されたデータエレメント、及びextension_and_user_data(1)関数によって定義されるデータエレメントが記述されている。
【０３２３】
group_of_picture_header()関数によって定義されたデータエレメントは、group_start_code、group_of_picture_header_present_flag、time_code、closed_gop、及びbroken_linkから構成される。
【０３２４】
group_start_codeは、GOP層の開始同期コードを示すデータである。group_of_picture_header_present_flagは、group_of_picture_header内のデータエレメントが有効であるか無効であるかを示すデータである。 time_codeは、GOPの先頭ピクチャのシーケンスの先頭からの時間を示すタイムコードである。closed_gopは、GOP内の画像が他のGOPから独立再生可能なことを示すフラグデータである。broken_linkは、編集などのためにGOP内の先頭のＢピクチャが正確に再生できないことを示すフラグデータである。
【０３２５】
extension_and_user_data(1)関数は、extension_and_user_data(0)関数と同じように、user_data()関数によって定義されるデータエレメントのみを履歴ストリームとして記述する。
【０３２６】
もし、履歴ストリーム中に、GOP層のスタートコードを示すgroup_start_codeが存在しない場合には、これらのgroup_of_picture_header()関数及びextension_and_user_data(1)関数によって定義されるデータエレメントは、履歴ストリーム中には記述されていない。その場合には、 extension_and_user_data(0)関数によって定義されたデータエレメントの次に、picture_headr()関数によって定義されたデータエレメントが履歴ストリームとして記述されている。
【０３２７】
picture_headr()関数によって定義されたデータエレメントは、図３３に示すように、picture_start_code、temporal_reference、picture_coding_type、vbv_delay、full_pel_forward_vector、forward_f_code、full_pel_backward_vector、backward_f_code、extra_bit_picture、及びextra_information_pictureである。
【０３２８】
具体的には、picture_start_codeは、ピクチャ層の開始同期コードを表すデータである。temporal_referenceは、ピクチャの表示順を示す番号でGOPの先頭でリセットされるデータである。picture_coding_typeは、ピクチャタイプを示すデータである。vbv_delayは、ランダムアクセス時の仮想バッファの初期状態を示すデータである。full_pel_forward_vectorは、順方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。forward_f_codeは、順方向動きベクトル探索範囲を表すデータである。full_pel_backward_vectorは、逆方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。backward_f_codeは、逆方向動きベクトル探索範囲を表すデータである。extra_bit_pictureは、後続する追加情報の存在を示すフラグである。このextra_bit_pictureが「１」の場合には、次にextra_information_pictureが存在し、extra_bit_pictureが「０」の場合には、これに続くデータが無いことを示している。extra_information_pictureは、規格において予約された情報である。
【０３２９】
picture_headr()関数によって定義されたデータエレメントの次には、図３４に示すようなpicture_coding_extension()関数によって定義されたデータエレメントが、履歴ストリームとして記述されている。
【０３３０】
このpicture_coding_extension()関数によって定義されたデータエレメントとは、extension_start_code、extension_start_code_identifier、f_code[0][0]、f_code[0][1]、f_code[1][0]、f_code[1][1]、intra_dc_precision、picture_structure、top_field_first、frame_predictive_frame_dct、concealment_motion_vectors、q_scale_type、intra_vlc_format、alternate_scan、repeat_firt_field、chroma_420_type、progressive_frame、composite_display_flag、v_axis、field_sequence、sub_carrier、burst_amplitude、及びsub_carrier_phaseから構成される。
【０３３１】
extension_start_codeは、ピクチャ層のエクステンションデータのスタートを示す開始コードである。extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 f_code[0][0]は、フォワード方向の水平動きベクトル探索範囲を表すデータである。f_code[0][1]は、フォワード方向の垂直動きベクトル探索範囲を表すデータである。f_code[1][0]は、バックワード方向の水平動きベクトル探索範囲を表すデータである。f_code[1][1]は、バックワード方向の垂直動きベクトル探索範囲を表すデータである。intra_dc_precisionは、DC係数の精度を表すデータである。
【０３３２】
picture_structureは、フレームストラクチャかフィールドストラクチャかを示すデータである。フィールドストラクチャの場合は、上位フィールドか下位フィールドかもあわせて示すデータである。top_field_firstは、フレームストラクチャの場合、最初のフィールドが上位か下位かを示すデータである。frame_predictive_frame_dctは、フレーム・ストラクチャの場合、フレーム・モードDCTの予測がフレーム・モードだけであることを示すデータである。concealment_motion_vectorsは、イントラマクロブロックに伝送エラーを隠蔽するための動きベクトルがついていることを示すデータである。q_scale_typeは、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータである。intra_vlc_formatは、イントラマクロブロックに、別の２次元VLCを使うかどうかを示すデータである。
【０３３３】
alternate_scanは、ジグザグスキャンを使うか、オルタネート・スキャンを使うかの選択を表すデータである。repeat_firt_fieldは、２：３プルダウンの際に使われるデータである。chroma_420_typeは、信号フォーマットが４：２：０の場合、次のprogressive_frame と同じ値、そうでない場合は０を表すデータである。progressive_frameは、このピクチャが、順次走査できているかどうかを示すデータである。composite_display_flagは、ソース信号がコンポジット信号であったかどうかを示すデータである。v_axisは、ソース信号が、PALの場合に使われるデータである。field_sequenceは、ソース信号が、PALの場合に使われるデータである。sub_carrierは、ソース信号が、PALの場合に使われるデータである。burst_amplitudeは、ソース信号が、PALの場合に使われるデータである。sub_carrier_phaseは、ソース信号が、PALの場合に使われるデータである。
【０３３４】
picture_coding_extension()関数によって定義されたデータエレメントの次には、re_coding_stream_info()関数によって定義されたデータエレメントが履歴ストリームとして記述されている。このre_coding_stream_info()関数は、主に履歴情報の組み合わせを記述する場合に用いられるものであり、その詳細については、図５１を参照して後述する。
【０３３５】
re_coding_stream_info()関数によって定義されたデータエレメントの次には、extensions_and_user_data(2)によって定義されたデータエレメントが、履歴ストリームとして記述されている。このextension_and_user_data(2)関数は、図３０に示したように、ビットストリーム中にエクステンションスタートコード（extension_start_code）が存在する場合には、extension_data()関数によって定義されるデータエレメントが記述されている。このデータエレメントの次には、ビットストリーム中にユーザデータスタートコード（user_data_start_code）が存在する場合には、user_data()関数によって定義されるデータエレメントが記述されている。但し、ビットストリーム中にエクステンションスタートコード及びユーザデータスタートコードが存在しない場合には extension_data()関数 及びuser_data()関数によって定義されるデータエレメントはビットトリーム中には記述されていない。
【０３３６】
extension_data()関数は、図３５に示すように、extension_start_codeを示すデータエレメントと、quant_matrix_extension()関数、copyright_extension()関数、及びpicture_display_extension()関数によって定義されるデータエレメンエトとを、ビットストリーム中に履歴ストリームとして記述するための関数である。
【０３３７】
quant_matrix_extension()関数によって定義されるデータエレメントは、図３６に示すように、extension_start_code、extension_start_code_identifier、quant_matrix_extension_present_flag、load_intra_quantiser_matrix、intra_quantiser_matrix[64]、load_non_intra_quantiser_matrix、non_intra_quantiser_matrix[64]、load_chroma_intra_quantiser_matrix、chroma_intra_quantiser_matrix[64]、load_chroma_non_intra_quantiser_matrix、及びchroma_non_intra_quantiser_matrix[64] である。
【０３３８】
extension_start_codeは、この量子化マトリックスエクステンションのスタートを示す開始コードである。extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 quant_matrix_extension_present_flagは、この量子化マトリックスエクステンション内のデータエレメントが有効か無効かを示すためのデータである。load_intra_quantiser_matrixは、イントラマクロブロック用の量子化マトリックスデータの存在を示すデータである。intra_quantiser_matrixは、イントラマクロブロック用の量子化マトリックスの値を示すデータである。
【０３３９】
load_non_intra_quantiser_matrixは、非イントラマクロブロック用の量子化マトリックスデータの存在を示すデータである。non_intra_quantiser_matrixは、非イントラマクロブロック用の量子化マトリックスの値を表すデータである。load_chroma_intra_quantiser_matrixは、色差イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。chroma_intra_quantiser_matrixは、色差イントラマクロブロック用の量子化マトリックスの値を示すデータである。load_chroma_non_intra_quantiser_matrixは、色差非イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。chroma_non_intra_quantiser_matrixは、色差非イントラマクロブロック用の量子化マトリックスの値を示すデータである。
【０３４０】
copyright_extension()関数によって定義されるデータエレメントは、図３７に示すように、 extension_start_code、extension_start_code_itentifier、copyright_extension_present_flag、copyright_flag、copyright_identifier、original_or_copy、copyright_number_1、copyright_number_2、及び copyright_number_3から構成される。
【０３４１】
extension_start_codeは、コピーライトエクステンションのスタート示す開始コードである。extension_start_code_itentifierどのエクステンションデータが送られるかを示すコードである。 copyright_extension_present_flagは、このコピーライトエクステンション内のデータエレメントが有効か無効かを示すためのデータである。
【０３４２】
copyright_flagは、次のコピーライトエクステンション又はシーケンスエンドまで、符号化されたビデオデータに対してコピー権が与えられているか否かを示す。copyright_identifierは、ISO/IEC JTC/SC29によって指定されたコピー権の登録機関を識別するためのデータである。original_or_copyは、ビットストリーム中のデータが、オリジナルデータであるかコピーデータであるかを示すデータである。copyright_number_1は、コピーライトナンバーのビット４４から６３を表わすデータである。copyright_number_2は、コピーライトナンバーのビット２２から４３を表わすデータである。copyright_number_3は、コピーライトナンバーのビット０から２１を表わすデータである。
【０３４３】
picture_display_extension()関数によって定義されるデータエレメントは、図３８に示すように、extension_start_code_identifier、frame_center_horizontal_offset、frame_center_vertical_offset等である。
【０３４４】
extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 frame_center_horizontal_offsetは、表示エリアの水平方向のオフセットを示すデータであって、number_of_frame_center_offsetsによって定義される数のオフセット値を定義することができる。frame_center_vertical_offsetは、表示エリアを垂直方向のオフセットを示すデータであって、 number_of_frame_center_offsetsによって定義される数のオフセット値を定義することができる。
【０３４５】
再び図２７に戻って、extension_and_user_data(2)関数によって定義されるデータエレメントの次には、picture_data()関数によって定義されるデータエレメントが、履歴ストリームとして記述されている。但し、このpicture_data()関数は、red_bw_flagが１ではないか、または、red_bw_indicatorが２以下である場合に存在する。このred_bw_flagとred_bw_indicatorは、re_coding_stream_info()関数に記述されており、これらについては、図５１と図５２を参照して後述する。
【０３４６】
picture_data()関数によって定義されるデータエレメントは、図３９に示すように、slice()関数によって定義されるデータエレメントである。このslice()関数によって定義されるデータエレメントはビットストリーム中に少なくとも１個記述されている。
【０３４７】
slice()関数は、図４０に示されるように、slice_start_code、slice_quantiser_scale_code、intra_slice_flag、intra_slice、reserved_bits、extra_bit_slice、extra_information_slice、及びextra_bit_slice 等のデータエレメントと、macroblock()関数によって定義されるデータエレメントを、履歴ストリームとして記述するための関数である。
【０３４８】
slice_start_codeは、slice()関数によって定義されるデータエレメントのスタートを示すスタートコードである。slice_quantiser_scale_codeは、このスライス層に存在するマクロブロックに対して設定された量子化ステップサイズを示すデータである。しかし、各マクロブロック毎に、quantiser_scale_codeが設定されている場合には、各マクロブロックに対して設定されたmacroblock_quantiser_scale_codeのデータが優先して使用される。
【０３４９】
intra_slice_flagは、ビットストリーム中にintra_slice及びreserved_bitsが存在するか否かを示すフラグである。intra_sliceは、スライス層中にノンイントラマクロブロックが存在するか否かを示すデータである。スライス層におけるマクロブロックのいずれかがノンイントラマクロブロックである場合には、intra_sliceは「０」となり、スライス層におけるマクロブロックの全てがノンイントラマクロブロックである場合には、intra_sliceは「１」となる。reserved_bitsは、７ビットのデータであって「０」の値を取る。extra_bit_sliceは、履歴ストリームとして追加の情報が存在することを示すフラグであって、次にextra_information_sliceが存在する場合には「１」に設定される。追加の情報が存在しない場合には「０」に設定される。
【０３５０】
これらのデータエレメントの次には、macroblock()関数によって定義されたデータエレメントが、履歴ストリームとして記述されている。
【０３５１】
macroblock()関数は、図４１に示すように、macroblock_escape、macroblock_address_increment、及びmacroblock_quantiser_scale_code、及びmarker_bit等のデータエレメントと、macroblock_modes()関数、motion_vectors(s)関数、及びcode_block_pattern()関数によって定義されたデータエレメントを記述するための関数である。
【０３５２】
macroblock_escapeは、参照マクロブロックと前のマクロブロックとの水平方向の差が３４以上であるか否かを示す固定ビット列である。参照マクロブロックと前のマクロブロックとの水平方向の差が３４以上の場合には、macroblock_address_incrementの値に３３をプラスする。macroblock_address_incrementは、参照マクロブロックと前のマクロブロックとの水平方向の差を示すデータである。もし、このmacroblock_address_incrementの前にmacroblock_escapeが１つ存在するのであれば、このmacroblock_address_incrementの値に３３をプラスした値が、実際の参照マクロブロックと前のマクロブロックとの水平方向の差分を示すデータとなる。
【０３５３】
macroblock_quantiser_scale_codeは、各マクロブロック毎に設定された量子化ステップサイズであり、macroblock_quantが”１”のときだけ存在する。各スライス層には、スライス層の量子化ステップサイズを示すslice_quantiser_scale_codeが設定されているが、参照マクロブロックに対してmacroblock_quantiser_scale_codeが設定されている場合には、この量子化ステップサイズを選択する。
【０３５４】
macroblock_address_incrementの次には、macroblock_modes()関数によって定義されるデータエレメントが記述されている。macroblock_modes()関数は、図４２に示すように、macroblock_type、frame_motion_type、field_motion_type、dct_type等のデータエレメントを、履歴ストリームとして記述するための関数である。
【０３５５】
macroblock_typeは、マクログブロックの符号化タイプを示すデータである。その詳細は、図４５乃至図４７を参照して後述する。
【０３５６】
もし、macroblock_motion_forward又はmacroblock_motion_backwardが「１」であり、ピクチャ構造がフレームであり、さらにframe_pred_frame_dctが「０」である場合には、macroblock_typeを表わすデータエレメントの次にframe_motion_typeを表わすデータエレメントが記述されている。尚、このframe_pred_frame_dctは、 frame_motion_typeがビットストリーム中に存在するか否かを示すフラグである。
【０３５７】
frame_motion_typeは、フレームのマクロブロックの予測タイプを示す２ビットのコードである。予測ベクトルが２個でフィールドベースの予測タイプであれば「００」であって、予測ベクトルが１個でフィールドベースの予測タイプであれば「０１」であって、予測ベクトルが１個でフレームベースの予測タイプであれば「１０」であって、予測ベクトルが１個でディアルプライムの予測タイプであれば「１１」である。
【０３５８】
frame_motion_typeを記述する条件が満足されない場合には、macroblock_typeを表わすデータエレメントの次にfield_motion_typeを表わすデータエレメントが記述されている。
【０３５９】
field_motion_typeは、フィールドのマクロブロックの動き予測を示す２ビットのコードである。予測ベクトルが１個でフィールドベースの予測タイプであれば「０１」であって、予測ベクトルが２個で１８×８マクロブロックベースの予測タイプであれば「１０」であって、予測ベクトルが１個でディアルプライムの予測タイプであれば「１１」である。
【０３６０】
もし、ピクチャ構造がフレームで、 frame_pred_frame_dctがframe_motion_typeがビットストリーム中に存在することを示し、且つ、frame_pred_frame_dctがdct_typeがビットストリーム中に存在することを示している場合には、macroblock_typeを表わすデータエレメントの次にdct_typeを表わすデータエレメントが記述されている。尚、dct_typeは、DCTがフレームDCTモードか、フィールドDCTモードかを示すデータである。
【０３６１】
再び図４１に戻って、もし、参照マクロブロックが前方予測マクロブロックであるか、又は参照マクロブロックがイントラマクロブロックであって且つコンシール処理のマクロブロックのいずれかの場合には、motion_vectors(0)関数によって定義されるデータエレメントが記述される。また、参照マクロブロックが後方予測マクロブロックである場合には、motion_vectors(1)関数によって定義されるデータエレメントが記述される。尚、 motion_vectors(0)関数は、第1番目の動きベクトルに関するデータエレメントを記述するための関数であって、motion_vectors(1)関数は、第２番目の動きベクトルに関するデータエレメントを記述するための関数である。
【０３６２】
motion_vectors(s)関数は、図４３に示されるように、動きベクトルに関するデータエレメントを記述するための関数である。
【０３６３】
もし、動きベクトルが１個でディアルプライム予測モードを使用していない場合には、motion_vertical_field_select[0][s]とmotion_vector(0,s)によって定義されるデータエレメントが記述される。
【０３６４】
このmotion_vertical_field_select[r][s]は、第１番目の動きベクトル（前方又は後方のどちらのベクトルであっても良い）が、ボトムフィールドを参照して作られたベクトルであるかトップフィールドを参照して作られたベクトルであるかを示すフラグである。この指標“r”は、第１番めのベクトル又は第２番めのベクトルのいずれのベクトルであるかを示す指標であって、“s”は、予測方向が前方又は後方予測のいずれであるかを示す指標である。
【０３６５】
motion_vector(r,s)関数は、図４４に示されるように、motion_code[r][s][t]に関するデータ列と、motion_residual[r][s][t]に関するデータ列と、dmvector[t]を表わすデータとを記述するための関数である。
【０３６６】
motion_code[r][s][t]は、動きベクトルの大きさを−１６〜＋１６の範囲で表わす可変長のデータである。 motion_residual[r][s][t]は、動きベクトルの残差を表わす可変長のデータである。よって、このmotion_code[r][s][t]と motion_residual[r][s][t]との値によって詳細な動きベクトルを記述することができる。 dmvector[t]は、ディユアルプライム予測モードのときに、一方のフィールド（例えばボトムフィールドに対してトップフィールドを一方のフィールドとする）における動きベクトルを生成するために、時間距離に応じて既存の動きベクトルがスケールされると共に、トップフィールドとボトムフィールドとのライン間の垂直方向のずれを反映させるために垂直方向に対して補正を行うデータである。この指標“r”は、第１番めのベクトル又は第２番めのベクトルのいずれのベクトルであるかを示す指標であって、“s”は、予測方向が前方又は後方予測のいずれであるかを示す指標である。“s”は、動きベクトルが垂直方向の成分であるか水平方向の成分であるかを示すデータである。
【０３６７】
図４４に示されmotion_vector(r,s)関数によって、まず、水平方向のmotion_coder[r][s][0]を表わすデータ列が、履歴ストリームとして記述される。motion_residual[0][s][t]及びmotion_residual[1][s][t]の双方のビット数は、f_code[s][t]で示されるので、 f_code[s][t]が１でない場合には、 motion_residual[r][s][t] がビットストリーム中に存在することを示すことになる。水平方向成分のmotion_residual[r][s][0]が「１」でなくて、水平方向成分のmotion_code[r][s][0]が「０」でないということは、ビットストリーム中にmotion_residual[r][s][0]を表わすデータエレメントが存在し、動きベクトルの水平方向成分が存在するということを意味しているので、その場合には、水平方向成分のmotion_residual[r][s][0]を表わすデータエレメントが記述されている。
【０３６８】
続いて、垂直方向のmotion_coder[r][s][1]を表わすデータ列が、履歴ストリームとして記述される。同じようにmotion_residual[0][s][t]及びmotion_residual[1][s][t]の双方のビット数は、f_code[s][t]で示されるので、 f_code[s][t]が１でない場合には、 motion_residual[r][s][t] がビットストリーム中に存在することを表わすことになる。motion_residual[r][s][1]が「１」でなくて、motion_code[r][s][1]が「０」でないということは、ビットストリーム中にmotion_residual[r][s][1]を表わすデータエレメントが存在し、動きベクトルの垂直方向成分が存在するということを意味しているので、その場合には、垂直方向成分のmotion_residual[r][s][1]を表わすデータエレメントが記述されている。
【０３６９】
次に、図４５乃至図４７を参照して、macroblock_typeについて説明する。macroblock_typeは、macroblock_quant、dct_type_flag、macroblock_motion_forward、及びmacroblock_motion_backwardなどのフラグから生成された可変長データである。 macroblock_quantは、マクロブロックに対して量子化ステップサイズを設定するためのmacroblock_quantiser_scale_codeが設定されているか否かを示すフラグあって、ビットストリーム中にmacroblock_quantiser_scale_codeが存在する場合には、 macroblock_quantは「１」の値を取る。
【０３７０】
dct_type_flagは、参照マクロブロックがフレームDCT又はフィールドDCTで符号化されているかを示すdct_typeが存在するか否かを示すためのフラグ（言い換えるとDCTされているか否かを示すフラグ）であって、ビットストリーム中にdct_typeが存在する場合には、このdct_type_flagは「１」の値を取る。 macroblock_motion_forwardは、参照マクロブロックが前方予測されているか否かを示すフラグであって、前方予測されている場合には「１」の値を取る。macroblock_motion_backwardは、参照マクロブロックが後方予測されているか否かを示すフラグであって、後方予測されている場合には「１」の値を取る。
【０３７１】
なお、可変長フォーマットにおいては、伝送するビットレートを減少させるために、履歴情報を削減することができる。
【０３７２】
すなわち、macroblock_typeとmotion_vectors()は転送するが、quantiser_scale_codeを転送しない場合には、slice_quantiser_scale_codeを”０００００”とすることで、ビットレートを減少させることができる。
【０３７３】
また、macroblock_typeのみ転送し、motion_vectors()、quantiser_scale_code、およびdct_typeを転送しない場合には、macroblock_typeとして、”not coded”を使用することで、ビットレートを減少することができる。
【０３７４】
さらにまた、picture_coding_typeのみ転送し、slice()以下の情報は全て転送しない場合には、slice_start_codeを持たないpicture_data()を使用することで、ビットレートを減少させることができる。
【０３７５】
以上においては、user_data内の２３ビットの連続する”０”が出ないようにする場合に、２２ビット毎に”１”を挿入するようにしたが、２２ビット毎でなくてもよい。また、連続する”０”の個数を数えて”１”を挿入するのではなく、Byte_allignを調べて挿入するようにすることも可能である。
【０３７６】
さらに、MPEGにおいては、２３ビットの連続する”０”の発生を禁止しているが、実際には、バイトの先頭から２３ビット連続する場合だけが問題とされ、バイトの先頭ではなく、途中から０が２３ビット連続する場合は、問題とされない。従って、例えば２４ビット毎に、LSB以外の位置に”１”を挿入するようにしてもよい。
【０３７７】
また、以上においては、履歴情報を、video elementary streamに近い形式にしたが、packetized elementary streamやtransport streamに近い形式にしてもよい。また、Elementary Streamのuser_dataの場所を、picture_dataの前としたが、他の場所にすることもできる。
【０３７８】
図４のトランスコーディングシステム１においては、４世代分の符号化パラメータを履歴情報として後段に出力するようにしたが、実際には、履歴情報の全てが必要となるわけではなく、アプリケーション毎に必要な履歴情報は異なってくる。また、実際の伝送路あるいは記録媒体（伝送メディア）には、容量に制限があり、圧縮しているとはいえ、全ての履歴情報を伝送するようにすると、容量的に負担となり、結果的に画像ビットストリームのビットレートを抑圧してしまい、履歴情報伝送の有効性が損なわれることになる。
【０３７９】
そこで、履歴情報として伝送する項目の組み合わせを記述する記述子を履歴情報に組み込んで後段に送信するようにし、全ての履歴情報を伝送するのではなく、様々なアプリケーションに対応した情報を伝送するようにすることができる。図４８は、このような場合のトランスコーディングシステム１の構成例を表している。
【０３８０】
図４８において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。図４８の構成例においては、ヒストリ情報分離装置１１５と符号化装置１１６の間、及びヒストリエンコーディング装置１１７と符号化装置１１６の間に、符号化パラメータ選択回路５０１が挿入されている。
【０３８１】
符号化パラメータ選択回路５０１は、ヒストリ情報分離装置１１５が出力するベースバンドビデオ信号から符号化パラメータを算出する符号化パラメータ算出部５１２、ヒストリ情報分離装置１１５が出力する、このトランスコーディングシステム１において、符号化するのに最適と判定された符号化パラメータ（例えば、第２世代の符号化パラメータ）に関する情報から、符号化パラメータと記述子（red_bw_flag，red_bw_indicator）（図５２を参照して後述する）を分離する組合せ記述子分離部５１１、並びに符号化パラメータ算出部５１２が出力する符号化パラメータと、組合せ記述子分離部５１１が出力する符号化パラメータのうち、いずれか一方を、組合せ記述子分離部５１１で分離された記述子に対応して選択し、符号化装置１１６に出力するスイッチ５１３を有している。その他の構成は、図４における場合と同様である。
【０３８２】
ここで、履歴情報として伝送する項目の組み合わせについて説明する。履歴情報は、分類すると、picture単位の情報と、macroblock単位の情報に分けることができる。slice単位の情報は、それに含まれるmacroblockの情報を収集することで得ることができ、GOP単位の情報は、それに含まれるpicture単位の情報を収集することで得ることができる。
【０３８３】
picture単位の情報は、１フレーム毎に１回伝送されるだけなので、情報伝送に占めるビットレートは、それほど大きくはない。これに対して、macroblock単位の情報は、各macroblock毎に伝送されるため、例えば１フレームの走査線数が５２５本で、フィールドレートが６０フィールド／秒のビデオシステムの場合、１フレームの画素数を７２０×４８０とすると、macroblock単位の情報は、１フレームあたり１３５０（＝(７２０／１６)×(４８０／１６)）回伝送することが必要となる。このため、履歴情報の相当の部分がmacroblock毎の情報で占められることになる。そこで、履歴情報としては、少なくともpicture単位の情報は常に伝送するが、macroblock単位の情報は、アプリケーションに応じて選択して伝送するようにすることで、伝送する情報量を抑制することができる。
【０３８４】
履歴情報として転送されるmacroblock単位の情報には、例えばnum_coef_bits，num_mv_bits，num_other_bits，q_scale_code，q_scale_type，motion_type，mv_vert_field_sel[][]，mv[][][]，mb_mfwd，mb_mbwd，mb_pattern，coded_block_pattern，mb_intra，slice_start，dct_type，mb_quant，skipped_mbなどがある。これらは、macroblock rate informationの要素を用いて表現されたものである。
【０３８５】
num_coef_bitsは、macroblockの符号量のうち、DCT係数に要した符号量を表す。num_mv_bitsは、macroblockの符号量のうち、動きベクトルに要した符号量を表す。num_other_bitsは、macroblockの符号量のうち、num_coef_bits及びnum_mv_bits以外の符号量を表す。
【０３８６】
q_scale_codeは、macroblockに適用されたq_scale_codeを表す。motion_typeは、macroblockに適用された動きベクトルのtypeを表す。mv_vert_field_sel[][]は、macroblockに適用された動きベクトルのfield selectを表す。
【０３８７】
mv[][][]は、macroblockに適用された動きベクトルを表す。mb_mfwdは、macroblockの予測モードが前方向予測であることを示すフラグである。mb_mbwdは、macroblockの予測モードが後方向予測であることを示すフラグである。mb_patternは、macroblockのDCT係数の非０のものの有無を示すフラグである。
【０３８８】
coded_block_patternは、macroblockのDCT係数の非０のものの有無をDCTブロック毎に示すフラグである。mb_intraは、macroblockがintra_macroかそうでないかを示すフラグである。slice_startは、macroblockがsliceの先頭であるか否かを示すフラグである。dct_typeは、macroblockがfield_dctかflame_dctかを示すフラグである。
【０３８９】
mb_quantは、macroblockがquantiser_scale_codeを伝送するか否かを示すフラグである。skipped_mbは、macroblockがskipped macroblockであるか否かを示すフラグである。
【０３９０】
これらの項目は、常に全て必要であるわけではなく、アプリケーションに応じて必要となる項目が変化する。例えば、num_coef_bitsやslice_startといった項目は、再エンコードした際のビットストリームをできる限り元の形に戻したいというtransparentという要求を有するアプリケーションにおいて必要となる。換言すれば、ビットレートを変更するようなアプリケーションにおいては、これらの項目は必要ではない。また、非常に伝送路の制限が厳しい場合には、各ピクチャの符号化タイプが判るだけでもよいようなアプリケーションも存在する。このような状況から、履歴情報を伝送する項目の組み合わせの例として、例えば図４９に示すような組み合わせが考えられる。
【０３９１】
図４９において、各組み合わせの中の項目に対応する値「２」は、その情報が存在し、利用可能であることを意味し、「０」は、その情報が存在しないことを意味する。「１」は、他の情報の存在を補助する目的のため、あるいは、構文上存在するが、元のビットストリーム情報とは関係がないなど、その情報自身には意味がないことを表している。例えば、slice_startは、履歴情報を伝送する際のsliceの先頭のmacroblockにおいて、「１」になるが、本来のビットストリームに対して、sliceが必ずしも同一位置関係にあるわけではない場合には、履歴情報としては無意味になる。
【０３９２】
図４９の例においては、（num_coef_bits，num_mv_bits，num_other_bits），（q_scale_code，q_scale_type），（motion_type，mv_vert_field_sel[][]，mv[][][]），（mb_mfwd，mb_mbwd），（mb_pattern），（coded_block_pattern），（mb_intra），（slice_start），（dct_type），（mb_quant），（skipped_mb）の各項目の有無により、組み合わせ１乃至組み合わせ５の５つの組み合わせが用意されている。
【０３９３】
組み合わせ１は、完全にtransparentなビットストリームを再構成することを目的とした組み合わせである。この組み合わせによれば、発生符号量情報を用いることによる精度の高いトランスコーディングが実現できる。組み合わせ２も、完全にtransparentなビットストリームを再構成することを目的とした組み合わせである。組み合わせ３は、完全にtransparentなビットストリームを再構成することはできないが、視覚的にほぼtransparentなビットストリームを再構成できるようにするための組み合わせである。組み合わせ４は、transparentという観点からは組み合わせ３よりも劣るが、視覚上問題がないビットストリームの再構成ができる組み合わせである。組み合わせ５は、transparentという観点からは組み合わせ４よりも劣るが、少ない履歴情報でビットストリームの完全ではない再構成ができる組み合わせである。
【０３９４】
これらの組み合わせのうち、組み合わせの番号の数字が小さいものほど、機能的には上位であるが、履歴を転送するのに必要となる容量が多くなる。従って、想定するアプリケーションと履歴に使用できる容量を考慮することによって、伝送する組み合わせを決定する必要がある。
【０３９５】
次に、図５０のフローチャートを参照して、図４８のトランスコーディングシステム１の動作について説明する。ステップＳ４１において、トランスコーディングシステム１の復号装置１０２は、入力されたビットストリームを復号し、そのビットストリームを符号化する際に使用された符号化パラメータ（４th）を抽出し、その符号化パラメータ（４th）をヒストリ情報多重化装置１０３に出力するとともに、復号したビデオデータをやはりヒストリ情報多重化装置１０３に出力する。ステップＳ４２において、復号装置１０２はまた、入力されたビットストリームからuser_dataを抽出し、ヒストリデコーディング装置１０４に出力する。ヒストリデコーディング装置１０４は、ステップＳ４３において、入力されたuser_dataから、組み合わせ情報（記述子）を抽出し、さらにそれを用いて、履歴情報としての符号化パラメータ（１st，２nd，３rd）を抽出し、ヒストリ情報多重化装置１０３に出力する。
【０３９６】
ヒストリ情報多重化装置１０３は、ステップＳ４４において、ステップＳ４１で取り出された復号装置１０２から供給される現在の符号化パラメータ（４th）と、ステップＳ４３でヒストリデコーディング装置１０４が出力した過去の符号化パラメータ（１st，２nd，３rd）とを、復号装置１０２から供給されるベースバンドのビデオデータに、図７または図３５に示すようなフォーマットに従って多重化し、ヒストリ情報分離装置１１５に出力する。
【０３９７】
ヒストリ情報分離装置１１５は、ステップＳ４５において、ヒストリ情報多重化装置１０３より供給されたベースバンドのビデオデータから符号化パラメータを抽出し、その中から今回の符号化に最も適している符号化パラメータ（例えば、第２世代の符号化パラメータ）を選択し、記述子とともに、組合せ記述子分離部５１１に出力する。また、ヒストリ情報分離装置１１５は、今回の符号化に最適と判定された符号化パラメータ以外の符号化パラメータ（例えば、最適な符号化パラメータが第２世代の符号化パラメータであると判定された場合には、それ以外の第１世代、第３世代、及び第４世代の符号化パラメータ）をヒストリエンコーディング装置１１７に出力する。ヒストリエンコーディング装置１１７は、ヒストリ情報分離装置１１５より入力された符号化パラメータをステップＳ４６において、user_dataに記述し、そのuser_data（converted_history_stream()）を符号化装置１１６に出力する。
【０３９８】
符号化パラメータ選択回路５０１の組合せ記述子分離部５１１は、ヒストリ情報分離装置１１５より供給されたデータから、符号化パラメータと記述子を分離し、符号化パラメータ（２nd）をスイッチ５１３の一方の接点に供給する。スイッチ５１３の他方の接点には、符号化パラメータ算出部５１２が、ヒストリ情報分離装置１１５が出力するベースバンドのビデオデータから、符号化パラメータを算出し、供給している。スイッチ５１３は、ステップＳ４８において、組合せ記述子分離部５１１が出力した記述子に対応して、組合せ記述子分離部５１１が出力した符号化パラメータ、または符号化パラメータ算出部５１２が出力した符号化パラメータのいずれかを選択し、符号化装置１１６に出力する。すなわち、スイッチ５１３では、組合せ記述子分離部５１１から供給された符号化パラメータが有効である場合には、組合せ記述子分離部５１１が出力する符号化パラメータが選択されるが、組合せ記述子分離部５１１が出力する符号化パラメータが無効であると判定された場合には、符号化パラメータ算出部５１２がベースバンドビデオを処理することで算出した符号化パラメータが選択される。この選択は、伝送メディアの容量に対応して行われる。
【０３９９】
符号化装置１１６は、ステップＳ４９において、スイッチ５１３から供給された符号化パラメータに基づいて、ヒストリ情報分離装置１１５より供給されたベースバンドビデオ信号を符号化する。また、ステップＳ５０において、符号化装置１１６は、符号化したビットストリームに、ヒストリエンコーディング装置１１７より供給されたuser_dataを多重化し、出力する。
【０４００】
このようにして、各履歴によって得られる符号化パラメータの組み合わせが異なっているような場合でも、支障なくトランスコーディングすることが可能となる。
【０４０１】
このように、履歴情報は、図１８に示したように、ビデオストリームのuser_data()関数の一種としてのhistory_stream()（より正確には、converted_history_stream()）で伝送される。そのhistory_stream()のシンタックスは、図２７に示した通りである。履歴情報の項目の組み合わせを表す記述子（red_bw_flag，red_bw_indicator）、およびMPEGのストリームではサポートされていない項目（num_other_bits，num_mv_bits，num_coef_bits）は、この図２７の中のre_coding_stream_info()関数により伝送される。
【０４０２】
re_coding_stream_info()関数は、図５１に示すように、user_data_start_code，re_coding_stream_info_ID，red_bw_flag，red_bw_indicator，marker_bit，num_other_bits，num_mv_bits，num_coef_bitsなどのデータエレメントより構成される。
【０４０３】
user_data_start_codeは、user_dataが開始することを表すスタートコードである。re_coding_stream_info_IDは、１６ビットの整数であり、re_coding_stream_info()関数の識別のために用いられる。その値は、具体的には、”1001 0001
1110 1100”（0x91ec）とされる。
【０４０４】
red_bw_flagは、１ビットのフラグであり、履歴情報が全ての項目を伝送する場合には０とされ、このフラグの値が１である場合、このフラグに続くred_bw_indicatorを調べることにより、図４９に示した５個の組み合わせのうち、どの組み合わせで項目が送られているのかを決定することができる。
【０４０５】
red_bw_indicatorは、２ビットの整数であり、項目の組み合わせを図５２に示すように記述する。
【０４０６】
即ち、図４９に示した５つの組み合わせのうち、組み合わせ１の場合、red_bw_flagは０とされ、組み合わせ２乃至組み合わせ５のとき、red_bw_flagは１とされる。これに対して、red_bw_indicatorは、組み合わせ２の場合０とされ、組み合わせ３の場合１とされ、組み合わせ４の場合２とされ、組み合わせ５の場合３とされる。
【０４０７】
従って、red_bw_indicatorは、red_bw_flagが１の場合に（組み合わせ２乃至組み合わせ５の場合に）規定される。
【０４０８】
さらに、図５１に示すように、red_bw_flagが０である場合（組み合わせ１の場合）、マクロブロック毎に、marker_bit，num_other_bits，num_mv_bits，num_coef_bitsが記述される。これら４つのデータエレメントは、組み合わせ２乃至組み合わせ５の場合（red_bw_flagが１の場合）規定されない。
【０４０９】
図３９に示したように、picture_data()関数は、１個以上のslice()関数から構成される。しかしながら、組み合わせ５の場合、picture_data()関数を含めて、それ以下のシンタックス要素は伝送されない（図４９）。この場合、履歴情報は、picture_typeなどのpicture単位の情報の伝送を意図したものとなる。
【０４１０】
組み合わせ１乃至組み合わせ４の場合、図４０に示したslice()関数が存在する。しかしながら、このslice()関数によって決定されるsliceの位置情報と、元のビットストリームのsliceの位置情報は、履歴情報の項目の組み合わせに依存する。組み合わせ１または組み合わせ２の場合、履歴情報の元となったビットストリームのsliceの位置情報と、slice()関数によって決定されるsliceの位置情報とは、同一である必要がある。
【０４１１】
図４１に示すmacroblock()関数のシンタックス要素は、履歴情報の項目の組み合わせに依存する。macroblock_escape，macroblock_address_increment，macroblock_modes()関数は、常に存在する。しかしながら、macroblock_escapeとmacroblock_address_incrementの情報としての有効性は、組み合わせによって決定される。履歴情報の項目の組み合わせが、組み合わせ１または組み合わせ２の場合、元のビットストリームのskipped_mb情報と同じものが伝送される必要がある。
【０４１２】
組み合わせ４の場合、motion_vectors()関数は存在しない。組み合わせ１乃至組み合わせ３の場合、macroblock_modes()関数のmacroblock_typeによって、motion_vectors()関数の存在が決定される。組み合わせ３または組み合わせ４の場合には、coded_block_pattern()関数は存在しない。組み合わせ１と組み合わせ２の場合、macroblock_modes()関数のmacroblock_typeによって、coded_block_pattern()関数の存在が決定される。
【０４１３】
図４２に示したmacroblock_modes()関数のシンタックス要素は、履歴情報の項目の組み合わせに依存する。macroblock_typeは、常に存在する。組み合わせが組み合わせ４である場合、flame_motion_type，field_motion_type，dct_typeは存在しない。
【０４１４】
macroblock_typeより得られるパラメータの情報としての有効性は、履歴情報の項目の組み合わせによって決定される。
【０４１５】
履歴情報の項目の組み合わせが組み合わせ１または組み合わせ２である場合、macroblock_quantは、元のビットストリームと同じである必要がある。組み合わせ３または組み合わせ４の場合、macroblock_quantは、macroblock()関数内のquantiser_scale_codeの存在を表し、元のビットストリームと同じである必要はない。
【０４１６】
組み合わせが組み合わせ１乃至組み合わせ３である場合、macroblock_motion_forwardとmacroblock_motion_backwardは、元のビットストリームと同一である必要がある。組み合わせが組み合わせ４または組み合わせ５である場合、その必要はない。
【０４１７】
組み合わせが組み合わせ１または組み合わせ２である場合、macroblock_patternは、元のビットストリームと同一である必要がある。組み合わせ３の場合、macroblock_patternは、dct_typeの存在を示すのに用いられる。組み合わせが組み合わせ４である場合、組み合わせ１乃至組み合わせ３における場合のような関係は成立しない。
【０４１８】
履歴情報の項目の組み合わせが組み合わせ１乃至組み合わせ３の場合、macroblock_intraは、元のビットストリームと同一である必要がある。組み合わせ４の場合には、その限りでない。
【０４１９】
図２７のhistory_stream()は、履歴情報を可変長とする場合のシンタックスであるが、図２０乃至図２６に示すように、固定長のシンタックスとする場合、固定長の履歴情報内に、伝送される項目中のどれが有効であるかを示す情報としての記述子（red_bw_flagとred_bw_indicator）をベースバンド画像に重畳し、伝送するようにする。その結果、この記述子を調べることにより、フィールドとして存在するが、その内容は無効であるといった判断をすることが可能となる。
【０４２０】
このため、図２４に示すように、re_coding_stream_informationとして、user_data_start_code，re_coding_stream_info_ID，red_bw_flag，red_bw_indicator，marker_bitが配置されている。それぞれの意味は、図５１における場合と同様である。
【０４２１】
このように履歴として伝送する符号化パラメータの要素をアプリケーションに応じた組み合わせで伝送するようにすることで、アプリケーションに応じた履歴を適当なデータ量で伝送するようにすることができる。
【０４２２】
以上のように、履歴情報を可変長符号として伝送する場合、re_coding_stream_info()関数は、図５１に示すように構成され、図２７に示すように、history_stream()関数の一部として伝送される。これに対して、履歴情報を固定長符号として伝送する場合には、図２４に示したように、history_stream()関数の一部として、re_coding_stream_information()が伝送される。図２４の例では、re_coding_stream_informationとして、user_data_start_code，re_coding_stream_info_ID，red_bw_flag，red_bw_indicatorが伝送される。
【０４２３】
また、図４８のヒストリ情報多重化装置１０３が出力するベースバンドの信号中における履歴情報の伝送のために、図５３に示すようなRe_Coding information Bus macroblock formatが規定される。このマクロブロックは、１６×１６（＝２５６）ビットで構成される。そして、そのうちの図５３において上から３行目と４行目に示す３２ビットが、picrate_elementとされる。このpicrate_elementには、図５４乃至図５６に示すPicture rate elementsが記述される。図５４の上から２行目に１ビットのred_bw_flagが規定されており、また、３行目に３ビットのred_bw_indicatorが規定されている。即ち、これらのフラグred_bw_flag，red_bw_indicatorは、図５３のpicrate_elementとして伝送される。
【０４２４】
図５３のその他のデータについて説明すると、SRIB_sync_codeは、このフォーマットのマクロブロックの最初の行が左詰めにアライメントされていることを表すコードであり、具体的には、”１１１１１”に設定される。fr_fl_SRIBは、picture_structureがフレームピクチャ構造の場合（その値が”１１”である場合）、１に設定され、Re_Coding Information Bus macroblockが１６ラインを超えて伝送されることを表し、picture_structureがフレーム構造ではない場合、０に設定され、Re_Coding Information Busが１６ラインを超えて伝送されることを意味する。この機構により、Re_Coding Information Busが、空間的かつ時間的にデコードされたビデオフレームまたはフィールドの対応する画素にロックされる。
【０４２５】
SRIB_top_field_firstは、元のビットストリームに保持されているtop_field_firstと同じ値に設定され、関連するビデオのRe_Coding Information Busの時間的アライメントをrepeat_first_fieldとともに表している。SRIB_repeat_first_fieldは、元のビットストリームに保持されているrepeat_first_fieldと同じ値に設定される。first fieldのRe_Coding Information Busの内容は、このフラグに示されるように繰り返される必要がある。
【０４２６】
422_420_chromaは、元のビットストリームが４：２：２または４：２：０のいずれであるかを表す。その値の０は、ビットストリームが４：２：０であり、色差信号のアップサンプリングが、４：２：２のビデオが出力されるように行われたことを表す。その値の０は、色差信号のフィルタリング処理が実行されていないことを表す。
【０４２７】
rolling_SRIB_mb_refは、１６ビットのモジュロ65521を表し、この値は、毎マクロブロック毎にインクリメントされる。この値は、フレームピクチャ構造のフレームに渡って連続している必要がある。さもなくば、この値は、フィールドに渡って連続している必要がある。この値は、０から65520の間の所定の値に初期化される。これにより、レコーダのシステムに、ユニークなRe_Coding Information Busの識別子を組み込むことが許容される。
【０４２８】
Re_Coding Information Bus macroblockのその他のデータの意味は、上述した通りであるので、ここでは省略する。
【０４２９】
図５７に示すように、図５３の２５６ビットのRe_Coding Information Busのデータは、１ビットずつ、色差データのLSBであるCb[0][0]，Cr[0][0]，Cb[1][0]，Cr[1][0]に配置される。図５７に示すフォーマットにより、４ビットのデータを送ることができるので、図５３の２５６ビットのデータは、図５７のフォーマットを６４（＝２５６／４）個送ることで伝送することができる。
【０４３０】
本発明のトランスコーディングシステムによれば、過去の符号化処理において生成された符号化パラメータを、現在の符号化処理において再利用するようにしているので、復号処理及び符号化処理を繰り返したとしても画質劣化が発生しない。つまり、復号処理及び符号化処理の繰り返しによる画質劣化の蓄積を低減することができる。
【０４３１】
本発明のトランスコーディングシステムによれば、過去の符号化処理において生成された符号化パラメータを、現在の符号化処理において生成された符号化ストリームのユーザデータエリアに記述するようにし、生成されたビットストリームは、MPEG規格に準じた符号化ストリームであるので、既存のどのデコーダでも復号処理を行うことができる。さらには、本発明のトランスコーディングシステムによれば、過去の符号化処理における符号化パラメータを伝送するために専用線のようなものを設ける必要がないので、従来のデータストリーム伝送環境をそのまま使用して、過去の符号化パラメータを伝送することができる。
【０４３２】
本発明のトランスコーディングシステムによれば、過去の符号化処理において生成された符号化パラメータを、選択的に現在の符号化処理において生成された符号化ストリーム中に記述するようにしているので、出力されるビットストリームのビットレートを極端に上げることなく、過去の符号化パラメータを伝送することができる。
【０４３３】
本発明のトランスコーディングシステムによれば、過去の符号化パラメータと現在の符号化ラメータの中から、現在の符号化処理に最適な符号化パラメータを選択して符号化処理を行うようにしているので、復号処理及び符号化処理を繰り返したとしても、画質劣化が蓄積されることはない。
【０４３４】
本発明のトランスコーディングシステムによれば、過去の符号化パラメータの中から、ピクチャタイプに応じて現在の符号化処理に最適な符号化パラメータを選択して符号化処理を行うようにしているので、復号処理及び符号化処理を繰り返したとしても、画質劣化が蓄積されることはない。
【０４３５】
本発明のトランスコーディングシステムによれば、過去の符号化パラメータに含まれるピクチャタイプに基づいて、過去の符号化パラメータを再利用するか否かを決定しているので、最適な符号化処理を行うことができる。
【０４３６】
なお、カウンタ１０１、カウンタ１１３、カウンタ３６２、およびカウンタ３６４は、バイナリーカウンタであるとして説明したが、グレーコード（巡回２進符号）のカウンタでもよい。
【０４３７】
また、ビデオ復号システム１１または復号装置１０２は、ベースバンドデジタルビデオ信号を出力し、ビデオ符号化システム１２または符号化装置１１６は、ベースバンドデジタルビデオ信号を入力するとして説明したが、ビデオ復号システム１１または復号装置１０２は、アナログビデオ信号を出力し、ビデオ符号化システム１２または符号化装置１１６は、アナログビデオ信号を入力するようにしてもよい。
【０４３８】
なお、カウンタ値は、画像に多重化するとして説明したが、画像に関連付けられている信号、例えば、オーディオ信号に多重化するようにしてもよい。
【０４３９】
また、上記各処理を行うコンピュータプログラムは、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの記録媒体に記録して提供するほか、インターネット、デジタル衛星などのネットワークを介して伝送し、ユーザの記録媒体に記録させることで提供することができる。
【０４４０】
【発明の効果】
本発明の再符号化装置及び再符号化方法、並びに、第１の記録媒体に記録されているプログラムによれば、入力された符号化ストリームを再符号化することができ、特に、符号化ストリームとともに、符号化ストリームの過去の符号化処理により生成された過去の符号化パラメータを入力し、画像データに対して施される編集に伴うつなぎ目を識別する情報として、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報を生成して、識別情報に基づいて、過去の符号化パラメータおよび生成される現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、過去の符号化パラメータを選択し、選択した符号化パラメータを利用して再符号化処理が行われるようにしたので、再符号化を繰り返したとしても画質が劣化しない。
本発明の符号化装置及び符号化方法、並びに、第２の記録媒体に記録されているプログラムによれば、入力された画像データを符号化することができ、特に、編集に伴うつなぎ目を識別する識別情報に基づいて、過去の符号化パラメータおよび符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、過去の符号化パラメータを選択し、選択した符号化パラメータを利用して符号化処理が実行されるようにしたので、符号化を繰り返したとしても画質が劣化しない。
本発明の復号装置及び復号方法、並びに、第３の記録媒体に記録されているプログラムによれば、入力された符号化ストリームを復号することができ、特に、入力された過去の符号化パラメータを、復号処理された画像データを再符号化する際に再利用するかを判断するために利用可能な情報として、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報であって、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報が生成され、復号処理された画像データが、過去の符号化パラメータおよび識別情報とともに出力されるようにしたので、復号された画像データが後段で符号化されるとき、その符号化処理において画質が劣化しない。
【図面の簡単な説明】
【図１】画像の編集を説明する図である。
【図２】 VBV Bufferのオーバーフローを説明する図である。
【図３】本発明を適用したトランスコーディングシステム１の構成を示すブロック図である。
【図４】図３のトランスコーディングシステム１のより詳細な構成を示すブロック図である。
【図５】図３の復号装置１０２に内蔵されるデコーダ２５１の構成を示すブロック図である。
【図６】マクロブロックの画素を説明する図である。
【図７】符号化パラメータが記録される領域を説明する図である。
【図８】 Ancillary Data Packetの例を示す図である。
【図９】カウンタ値を分割して格納するデータを説明する図である。
【図１０】カウンタ値を分割して格納するデータを説明する図である。
【図１１】カウンタ値を分割して格納するデータを説明する図である。
【図１２】ベースバンドデジタルビデオ信号のLSBに多重化されている符号化パラメータにカウンタ値を多重化するときの、ヒストリ情報多重化装置１０３およびカウンタ値多重化装置１０５に対応する機能の構成を説明する図である。
【図１３】ベースバンドデジタルビデオ信号の輝度または色差のブランキング部分に多重化されている符号化パラメータにカウンタ値を多重化するときの、ヒストリ情報多重化装置１０３およびカウンタ値多重化装置１０５に対応する機能の構成を説明する図である。
【図１４】図３の符号化装置１１６に内蔵されるエンコーダ３０１の構成を示すブロック図である。
【図１５】図３のトランスコーディングシステム１が実際に使用される状態を示す図である。
【図１６】密結合されたトランスコーディングシステム１の構成を示すブロック図である。
【図１７】カウンタ３６２の構成例を示す図である。
【図１８】ビデオシーケンスのストリームのシンタックスを説明する図である。
【図１９】図１８のシンタックスの構成を説明する図である。
【図２０】固定長の履歴情報を記録するhistory_stream()のシンタックスを説明する図である。
【図２１】固定長の履歴情報を記録するhistory_stream()のシンタックスを説明する図である。
【図２２】固定長の履歴情報を記録するhistory_stream()のシンタックスを説明する図である。
【図２３】固定長の履歴情報を記録するhistory_stream()のシンタックスを説明する図である。
【図２４】固定長の履歴情報を記録するhistory_stream()のシンタックスを説明する図である。
【図２５】固定長の履歴情報を記録するhistory_stream()のシンタックスを説明する図である。
【図２６】固定長の履歴情報を記録するhistory_stream()のシンタックスを説明する図である。
【図２７】可変長の履歴情報を記録するhistory_stream()のシンタックスを説明する図である。
【図２８】 sequence_header()のシンタックスを説明する図である。
【図２９】 sequence_extension()のシンタックスを説明する図である。
【図３０】 extension_and_user_data()のシンタックスを説明する図である。
【図３１】 user_data()のシンタックスを説明する図である。
【図３２】 group_of_pictures_header()のシンタックスを説明する図である。
【図３３】 picture_header()のシンタックスを説明する図である。
【図３４】 picture_coding_extension()のシンタックスを説明する図である。
【図３５】 extension_data()のシンタックスを説明する図である。
【図３６】 quant_matrix_extension()のシンタックスを説明する図である。
【図３７】 copyright_extension()のシンタックスを説明する図である。
【図３８】 picture_display_extension()のシンタックスを説明する図である。
【図３９】 picture_data()のシンタックスを説明する図である。
【図４０】 slice()のシンタックスを説明する図である。
【図４１】 macroblock()のシンタックスを説明する図である。
【図４２】 macroblock_modes()のシンタックスを説明する図である。
【図４３】 motion_vectors(s)のシンタックスを説明する図である。
【図４４】 motion_vector(r,s)のシンタックスを説明する図である。
【図４５】Ｉピクチャに対するmacroblock_typeの可変長符号を説明する図である。
【図４６】Ｐピクチャに対するmacroblock_typeの可変長符号を説明する図である。
【図４７】Ｂピクチャに対するmacroblock_typeの可変長符号を説明する図である。
【図４８】本発明を適用したトランスコーディングシステム１の他の構成を示すブロック図である。
【図４９】履歴情報の項目の組み合わせを説明する図である。
【図５０】図４８のトランスコーディングシステム１の動作を説明するフローチャートである。
【図５１】 re_coding_stream_info()のシンタックスを説明する図である。
【図５２】 red_bw_flag，red_bw_indicatorを説明する図である。
【図５３】 Re_Coding Information Bus macroblock formationを説明する図である。
【図５４】 Picture rate elementsを説明する図である。
【図５５】 Picture rate elementsを説明する図である。
【図５６】 Picture rate elementsを説明する図である。
【図５７】 Re_Coding Information Busが記録される領域を説明する図である。
【符号の説明】
１ トランスコーディングシステム， １１ ビデオ復号システム， １２ ビデオ符号化システム， １０１ カウンタ， １０２ 復号装置， １０３ ヒストリ情報多重化装置， １０４ ヒストリデコーディング装置， １０５ カウンタ値多重化装置， １１１ カウンタ値分離装置， １１２ フォーマット変換装置， １１３ カウンタ， １１４ 比較装置， １１５ ヒストリ情報分離装置， １１６ 符号化装置， １１７ ヒストリエンコーディング装置， ２０１ ユーザデータデコーダ， ２０２ コンバータ， ２０３ ヒストリＶＬＤ， ２１１ ヒストリＶＬＣ， ２１２ コンバータ， ２１３ ユーザデータフォーマッタ， ２５１ デコーダ， ２６１ 受信バッファ， ２６２ 可変長復号回路， ２６３ 逆量子化回路， ２６４ IDCT回路， ２６５演算器， ２６６ 動き補償回路， ２６７ フレームメモリ， ２７１ タイミング信号発生装置， ２７２ カウンタ値フォーマット変換装置， ２７３符号化パラメータフォーマット変換装置， ２７４ シリアル−パラレル変換装置， ２７５ スイッチ， ２８１ タイミング信号発生回路， ２８２ スイッチ， ３０１ エンコーダ， ３１０ 動きベクトル検出回路， ３１１ フレームメモリ， ３１２ Frame/Field予測モード切り替え回路， ３１３ 演算器， ３１５ Frame/FieldDCTモード切り替え回路， ３１６ DCT回路，３１７ 量子化回路， ３１８ 可変長符号化回路， ３１９ 送信バッファ， ３２０ 逆量子化回路， ３２１ IDCT回路， ３２２ 演算器， ３２３フレームメモリ， ３２４ 動き補償回路， ３３０ コントローラ， ３５１ ＳＤＴＩ， ３６１ フォーマット変換装置， ３６２ カウンタ， ３６３ 比較装置， ３６４ カウンタ， ３６５ フォーマット変換装置， ３８１ カウンタ， ３８２ ＡＮＤ回路

Claims (23)

1. 画像データを符号化処理した符号化ストリームを再符号化処理する再符号化装置において、
   前記符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータを、前記符号化ストリームとともに入力する入力手段と、
   前記入力手段により入力された前記符号化ストリームを復号処理するとともに、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報として、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報を生成し、復号処理された画像データを、前記入力手段により入力された前記過去の符号化パラメータおよび生成された前記識別情報とともに出力する復号手段と、
   前記復号手段により復号された前記画像データを再符号化処理して再符号化ストリームを生成する再符号化手段と、
   前記復号手段により生成された前記識別情報に基づいて、前記復号手段により出力された前記過去の符号化パラメータおよび再符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、前記現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、前記過去の符号化パラメータを選択し、選択した符号化パラメータを利用して再符号化処理するように、前記再符号化手段を制御する制御手段と
   を備える再符号化装置。
2. 前記アクセスユニットはフレームまたはフィールドである 請求項１に記載の再符号化装置。
3. 前記復号手段は、前記アクセスユニットに同期する同期信号を生成するとともに、前記同期信号に基づいてカウントアップまたはカウントダウンを実行することにより得られるカウンタ値を基に、前記識別情報を生成する
   請求項１に記載の再符号化装置。
4. 前記過去の符号化パラメータは、前記符号化ストリームに多重化されており、
   前記復号手段は、前記符号化ストリームから前記過去の符号化パラメータを取得する 請求項１に記載の再符号化装置。
5. 前記復号手段は、前記識別情報を前記画像データに多重化して出力する
   請求項１に記載の再符号化装置。
6. 前記復号手段は、前記識別情報をアンシラリデータパケットに格納して、前記アンシラリデータパケットを前記画像データに多重化して出力する
   請求項５に記載の再符号化装置。
7. 前記復号手段は、前記識別情報を前記画像データのブランキング部分に多重化して出力する
   請求項６に記載の再符号化装置。
8. 前記復号手段は、前記過去の符号化パラメータを前記画像データに多重化して出力する
   請求項１に記載の再符号化装置。
9. 前記復号手段は、前記過去の符号化パラメータを前記画像データのブランキング部分に多重化して出力する
   請求項８に記載の再符号化装置。
10. 前記復号手段は、前記識別情報を、前記画像データのブランキング部分に多重化されている前記過去の符号化パラメータに多重化して出力する
    請求項９に記載の再符号化装置。
11. 前記再符号化手段により生成された前記再符号化ストリームを出力する出力手段
    を更に備える請求項１に記載の再符号化装置。
12. 前記再符号化手段により利用された前記過去の符号化パラメータおよび前記現在の符号化パラメータのうちのいずれかを、前記再符号化ストリームとともに出力する出力手段
    を更に備える請求項１に記載の再符号化装置。
13. 前記再符号化手段により利用された前記過去の符号化パラメータおよび前記現在の符号化パラメータのうちのいずれかを、前記再符号化ストリームに多重化する多重化手段を更に備え、
    前記出力手段は、前記多重化手段により前記過去の符号化パラメータおよび前記現在の符号化パラメータのうちのいずれかが多重化された前記再符号化ストリームを出力する 請求項１２に記載の再符号化装置。
14. 前記再符号化手段は、ビットレート、または、GOP構造を変更して再符号化処理を行う
    請求項１に記載の再符号化装置。
15. 前記再符号化手段は、シーケンスレイヤ、GOPレイヤ、ピクチャレイヤ、スライスレイヤ、および、マクロブロックレイヤを有するMPEG方式で再符号化を行う
    請求項１に記載の再符号化装置。
16. 画像データを符号化処理した符号化ストリームを再符号化処理する再符号化方法において、
    前記符号化ストリームに対する過去の符号化処理により生成された過去の符号化パラメータを、前記符号化ストリームとともに入力する入力工程と、
    前記入力工程により入力された前記符号化ストリームを復号処理するとともに、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報として、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報を生成し、復号処理された画像データを、前記入力工程により入力された前記過去の符号化パラメータおよび生成された前記識別情報とともに出力する復号工程と、
    前記復号工程により復号された前記画像データを再符号化処理して再符号化ストリームを生成する再符号化工程と、
    前記復号工程により生成された前記識別情報に基づいて、前記復号工程により出力された前記過去の符号化パラメータおよび再符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、前記現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、前記過去の符号化パラメータを選択し、選択した符号化パラメータを利用して再符号化処理するように、前記再符号化工程の再符号化処理を制御する制御工程と
    を含む再符号化方法。
17. 画像データを符号化処理した符号化ストリームを再符号化する処理をコンピュータに実行させるプログラムにおいて、
    前記符号化ストリームに対する過去の符号化処理により生成された過去の符号化パラメータを、前記符号化ストリームとともに入力する入力工程と、
    前記入力工程により入力された前記符号化ストリームを復号処理するとともに、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報として、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報を生成し、復号処理された画像データを、前記入力工程により入力された前記過去の符号化パラメータおよび生成された前記識別情報とともに出力する復号工程と、
    前記復号工程により復号された前記画像データを再符号化処理して再符号化ストリームを生成する再符号化工程と、
    前記復号工程により生成された前記識別情報に基づいて、前記復号工程により出力された前記過去の符号化パラメータおよび再符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、前記現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、前記過去の符号化パラメータを選択し、選択した符号化パラメータを利用して再符号化処理するように、前記再符号化工程の再符号化処理を制御する制御工程と
    を含む処理をコンピュータに実行させるプログラムを記録した記録媒体。
18. 符号化ストリームを復号して得られた画像データを符号化処理する符号化装置において、
    前記符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータおよび前記画像データに対して施された編集に伴うつなぎ目を識別する識別情報を、前記画像データとともに入力する入力手段と、
    前記入力手段により入力された前記画像データを符号化処理して符号化ストリームを生成する符号化手段と、
    前記入力手段により入力された前記識別情報に基づいて、前記入力手段により入力された前記過去の符号化パラメータおよび符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、前記現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、前記過去の符号化パラメータを選択し、選択した符号化パラメータを利用して符号化処理するように、前記符号化手段を制御する制御手段と
    を備える符号化装置。
19. 符号化ストリームを復号して得られた画像データを符号化処理する符号化方法において、
    前記符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータおよび前記画像データに対して施された編集に伴うつなぎ目を識別する識別情報を、前記画像データとともに入力する入力工程と、
    前記入力工程により入力された前記画像データを符号化処理して符号化ストリームを生成する符号化工程と、
    前記入力工程により入力された前記識別情報に基づいて、前記入力工程により入力された前記過去の符号化パラメータおよび符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、前記現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、前記過去の符号化パラメータを選択し、選択した符号化パラメータを利用して符号化処理するように、前記符号化工程の符号化処理を制御する制御工程と
    を含む符号化方法。
20. 符号化ストリームを復号して得られた画像データを符号化する処理をコンピュータに実行させるプログラムにおいて、
    前記符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータおよび前記画像データに対して施された編集に伴うつなぎ目を識別する識別情報を、前記画像データとともに入力する入力工程と、
    前記入力工程により入力された前記画像データを符号化処理して符号化ストリームを生成する符号化工程と、
    前記入力工程により入力された前記識別情報に基づいて、前記入力工程により入力された前記過去の符号化パラメータおよび符号化処理する際に生成する現在の符号化パラメータのうち、編集に伴うつなぎ目を含む所定区間では、前記現在の符号化パラメータを選択し、編集に伴うつなぎ目を含む所定区間以外の区間では、前記過去の符号化パラメータを選択し、選択した符号化パラメータを利用して符号化処理するように、前記符号化工程の符号化処理を制御する制御工程と
    を含む処理をコンピュータに実行させるプログラムを記録した記録媒体。
21. 画像データを符号化処理した符号化ストリームを復号処理する復号装置において、
    前記符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータを、前記符号化ストリームとともに入力する入力手段と、
    前記入力手段により入力された前記符号化ストリームを復号処理するとともに、前記入力手段により入力された前記過去の符号化パラメータを、復号処理された画像データを再符号化する際に再利用するかを判断するために利用可能な情報として、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報であって、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報を生成し、復号処理された前記画像データを、前記入力手段により入力された前記過去の符号化パラメータおよび生成された前記識別情報とともに出力する復号手段と
    を備える復号装置。
22. 画像データを符号化処理した符号化ストリームを復号処理する復号方法において、
    前記符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータを、前記符号化ストリームとともに入力する入力工程と、
    前記入力工程により入力された前記符号化ストリームを復号処理するとともに、前記入力工程により入力された前記過去の符号化パラメータを、復号処理された画像データを再符号化する際に再利用するかを判断するために利用可能な情報として、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報であって、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報を生成し、復号処理された前記画像データを、前記入力工程により入力された前記過去の符号化パラメータおよび生成された前記識別情報とともに出力する復号工程と
    を含む復号方法。
23. 画像データを符号化処理した符号化ストリームを復号する処理をコンピュータに実行させるプログラムにおいて、
    前記符号化ストリームに対する過去の符号化処理において生成された過去の符号化パラメータを、前記符号化ストリームとともに入力する入力工程と、
    前記入力工程により入力された前記符号化ストリームを復号処理するとともに、前記入力工程により入力された前記過去の符号化パラメータを、復号処理された画像データを再符号化する際に再利用するかを判断するために利用可能な情報として、復号処理された画像データに対して施される編集に伴うつなぎ目を識別する情報であって、アクセスユニット毎にカウントアップまたはカウントダウンされるカウンタ値である識別情報を生成し、復号処理された前記画像データを、前記入力工程により入力された前記過去の符号化パラメータおよび生成された前記識別情報とともに出力する復号工程と
    を含む処理をコンピュータに実行させるプログラムを記録した記録媒体。

Images