WO2004102972A1 - 画像処理装置および画像処理方法、情報処理装置および情報処理方法、情報記録装置および情報記録方法、情報再生装置および情報再生方法、記録媒体、並びに、プログラム - Google Patents

Abstract

本発明は、符号化に関する情報を、符号化処理に関する条件と比較して、再利用可能な情報を選択することができるようにする。以前の符号化時と再符号化時とで、ディレイモード、ピクチャ構成、プルダウンモードが一致していない場合、パラメータが再利用されず、これらが一致し、画像枠が一致していなければ、ピクチャタイプが再利用される。以前の符号化のビットレートが今回の符号化よりも小さく、クロマフォーマットが今回より大きい場合、ピクチャタイプと動きベクトルが再利用され、これらの条件が満たされていなければ、パラメータの供給を受け、クロマフォーマットが一致しているか否かが判断され、一致していない場合、ピクチャタイプ、動きベクトル、量子化値の情報が再利用され、一致している場合、復号部に入力されたストリームデータが出力される。本発明は、符号化部、符号化装置、または、トランスコーダに適用できる。

Description

明細書

画像処理装置および画像処理方法、 情報処理装置および情報処理方法、 情報記録 装置および情報記録方法、情報再生装置および情報再生方法、記録媒体、並びに、 プログラム 技術分野

本発明は、 画像処理装置および画像処理方法、 情報処理装置おょぴ情報処理方 法、 情報記録装置および情報記録方法、 情報再生装置および情報再生方法、 記録 媒体、 並びに、 プログラムに関し、 特に、 対応するデータに対して過去に施され た符号化に関する情報を用いて再符号化することが可能なようになされている場 合に用いて好適な、 画像処理装置および画像処理方法、 情報処理装置おょぴ情報 処理方法、情報記録装置および情報記録方法、情報再生装置およぴ情報再生方法、 記録媒体、 並びに、 プログラムに関する。 背景技術

例えば、 テレビ会議システム、 テレビ電話システムなどのように、 動画像信号 を遠隔地に伝送するシステムにおいては、 伝送路を効率良く利用するため、 映像 信号のライン相関やフレーム間相関が利用されて、画像信号が圧縮符号化される。 画像信号が圧縮符号化される場合、 生成されるビットス トリームが、 所定のビ ットレートになるように符号化が行われる。 しかしながら、 実運用上において、 伝送路の都合により、 ビットス トリームのビットレートを変換する必要が生じる ことがある。

また、 例えば、 伝送された画像信号が、 放送局において編集される場合、 編集 は秒単位で行われるので、 フレームの画像情報は、 他のフレームの画像情報から 独立しているほうがよい。 そこで、 低いビットレート （例えば、 3乃至 9 Mbps) で転送しても画質が劣化しないように、 情報が相関関係にあるフレームの集合で ある G0P (Group of Picture)を構成するフレーム数が多い Long GOPと、 高ビット l ^一ト （1 8乃至 5 0 Mbps) で転送される、 GOPを構成するフレーム数が少ない Short GOPとを、 相互に変換する必要があった。

例えば、 伝送路を介して送受信される Long GOPのストリームデータを、 Short GOPである、 全てイントラフレーム （All Intra) のス トリームデ タに符号化し なおして、 フレーム編集することが可能なシステムについて、 図 1を用いて説明 する。

伝送路 1には、 伝送に適した Long GOPのス トリームデータが伝送される。 トランスコーダ 2は、 伝送路 1を介して供給された、 MPEGの Long GOPのス ト リームデータを、 復号部 2 1でー且復号した後、 符号化部 2 2において、 全てィ ントラフレーム （Al l Intra) となるように符号化し、 符号化された All Intra のス bリームデータ (SDTI CP (Serial Data Transport Interface-Contents Package) ス トリーム） を、 SDTI CPインタフェースのフレーム編集装置 3に出力 する。

フレーム編集装置 3にてフレーム編集されたストリームデータは、 トランスコ ーダ 4に供給される。 トランスコーダ 4は、 供給された All Intraのス トリーム データを、復号部 3 1で一旦復号した後、符号化部 3 2において、 MPEGの Long G0P となるように符号化し、 符号化された MPEGの Long G0Pのス トリームデータを、 伝送路 1を介して、 所定のデータ伝送先に出力する。

また、 入力画像を高ビットレートで MPEGの Long G0Pに符号化し、 それを復号 して低ビットレートの MPEGの Long G0Pに再符号化することが可能なシステムに ついて、 図 2を用いて説明する。

トランスコーダ 5 1は、 供給された、 圧縮されていない入力画像を、 復号部 6 1でー且復号した後、符号化部 6 2において、高ビットレートの MPEGの Long G0P となるように符号化し、 符号化された MPEGの Long G0Pのストリームデータを出 力する。 トランスコーダ 5 2は、 供給された高ビッ トレートの MPEGの Long G0P を、復号部 7 .1で一旦復号した後、符号化部 7 2において、低ビットレートの MPEG の Long G0Pとなるように符号化し、 符号化された低ビッ トレートの MPEGの Long GOPのストリームデータを、伝送路 1を介して、所定のデータ伝送先に出力する。 このように、 画像情報に対する符号化および復号が繰り返された場合、 符号化 の度に使用される符号化パラメータが変化してしまうと、 画像情報が劣化してし まう。 この画像情報の劣化を防止するため、 ビットス トリームのピクチャ層のュ 一ザデータエリァに揷入された符号化履歴情報を用いることにより、 再符号化に 伴う画像の劣化を抑制することができる技術が、 特開 2 0 0 0— 0 5 9 7 8 8号 公報に開示されている。

例えば、 MPEGの Long GOPを、 フレーム編集を行うことが可能な Short G0Pに 変換することが可能なシステムにおいて、 符号化履歴情報を利用する場合につい て、 図 3を用いて説明する。 なお、 図 1における場合と対応する部分には同一の 符号を付してあり、 その説明は適宜省略する。

すなわち、 トランスコーダ 1 0 1は、 伝送路 1を介して、 MPEGの Long G0Pの 供給を受ける。

MPEGの Long G0Pはそれぞれ符号化の素性の異なる 3種類のピクチャタイプの ピクチャ （ Iピクチャ、 Pピクチャ、 および、 Bピクチャ） により構成されるた め、 それを復号したビデオデータにも、 フレームによってそれぞれ Iピクチャ、 Pピクチャ、 Bピクチャの素性を持ったものが存在する。 したがつてこのビデオ データを MPEGの Long G0Pで再符号化する場合、 Iピクチャ、 Pピクチャ、 また は、 Bピクチャの素性を持ったビデオデータに対して、 それぞれ別のピクチャタ イブで符号化してしまうと、画像劣化が発生する場合がある。例えば、復号前に、 Iピクチャおよび Pピクチャより歪が多くなりやすい Bピクチャであったビデオ データを Iピクチャとして符号化してしまうと、 その周辺のピクチャが、 歪の多 い Iピクチャを参照画像として予測符号化されてしまうため、 画質が劣化してし まう。

このような再符号化による画質劣化を引き起こさないため、 トランスコーダ 1 0 1は、 例えば、 伝送路 1を介して、 他のトランスコーダによって過去に符号化 されたストリームデータの供給を受けた場合、 供給された MPEGの Long G0Pのス トリームデータを、 復号部 1 1 1で一且復号した後、 符号化部 1 1 2において、 全てイントラフレームとなるように符号化するとき、 過去に実行された符号化、 すなわち、 復号部 1 1 1に供給された符号化ス トリームの符号化のピクチャタイ プゃ量子化値などのパラメータを、 All Intraの符号化ス トリーム上に、 SMPTE (Society of Motion Picture and Televi sion Engineers) 328Mのヒス トリー情 報 （History data) として付加し、 フレーム編集装置 3に供給する。

フレーム編集装置 3にてフレーム編集されたス トリームデータは、 再び、 トラ ンスコーダ 1 0 2に供給される。 トランスコーダ 1 0 2は、 供給された、 ヒス ト リー情報つきの All Intraのス トリームデータを、 復号部 1 2 1で復号する。 符 号化部 1 2 2は、 復号されたヒス トリ一情報に含まれている、 ピクチャタイプや 量子化値等の必要なパラメータを使用して、 Long GOPに再符号化して出力する。 また、 図 2を用いて説明したように、 非圧縮のデータを高ビットレートで MPEG の LongGOPに符号化し、それを復号して低ビットレートの MPEGの LongGOPに再符 号化することが可能なシステムにおいて、 再符号のための画像劣化が発生しない ようになされている場合について、 図 4を用いて説明する。 なお、 図 2における 場合と対応する部分には同一の符号を付してあり、 その説明は適宜省略する。 すなわち、 トランスコーダ 5 1により符号化された MPEGの Long GOPのス トリ ームの供給を受けたトランスコーダ 1 3 1は、高ビットレートの MPEGの Long GOP を、 復号部 1 4 1で復号するときに、 必要な符号化パラメータを取得して、 復号 されたビデオデータと取得された符号化パラメータを、 符号化部 1 4 2に供給す る。符号化部 1 4 2は、供給された符号化パラメータを用いて、ビデオデータを、 低ビットレートの MPEGの Long G0Pとなるように符号化し、 符号化された低ビッ トレートの MPEGの Long G0Pのス トリームデータを出力する。

上述したように、 ヒス トリ一情報、 または、 符号化パラメータを用いて、 過去 の符号化の情報 （過去に行われた符号化のピクチャタイプ、 動きベクトル、 量子 化値等の、 ピクチャ層、 マクロブロック層のパラメータ） を再利用して符号化す ることにより、 画質劣化を防ぐことが可能である。 しかしながら、 例えば、 編集 などによって、 前の符号化処理時とは、 ビットレート、 画像枠、 クロマフォーマ ットなどが異なるス トリームが、 置き換えられたり、 挿入される場合がある。 こ のような場合、 パラメータをピクチャ層からマクロプロック層までの全ての符号 化の情報を再利用して再符号化することはできない。 発明の開示

本発明はこのような状況に鑑みてなされたものであり、 符号化する画像データ の状態に応じて、 再利用することができる情報を選択することができるようにす るものである。

本発明の画像処理装置は、 画像データに対して過去に行われた符号化に関する 情報を取得する取得手段と、 取得手段により取得された符号化に関する情報と画 像処理装置が画像データに対して実行する符号化処理に関する条件とを基に、 符 号化に関する情報のうち、 符号化処理において利用可能な情報を選択し、 符号化 処理を制御する制御手段とを備えることを特徴とする。

制御手段には、 符号化に関する情報に記載された過去の符号化におけるディレ ィモード、 ピクチャ構成、 およびプルダウンモードが、 符号化処理に関する条件 と一致していた場合、 符号化に関する情報に記載されたピクチャタイプの情報を 用いて、 符号化処理を制御させるようにすることができる。

制御手段には、 符号化に関する情報に記載された過去の符号化における画像枠 と、 符号化処理における画像枠との位置および大きさが一致している場合、 符号 化に関する情報に記載された動きべクトルの情報を更に用いて、 符号化処理を制 御させるようにすることができる。

制御手段には、 符号化に関する情報に記載された過去の符号化におけるビット レートが、 符号化処理におけるビッ トレートよりも小さく、 かつ、 符号化に関す る情報に記載された過去の符号化におけるクロマフォーマットが、 符号化処理に おけるクロマフォーマットと比較して、 等しい、 または、 大きい場合、 符号化に 関する情報に記載された量子化値の情報を更に用いて、 符号化処理を制御させる ようにすることができる。

画像データを復号した他の画像処理装置に供給された第 1の符号化データ、 お よび制御手段により制御された符号化処理により生成された第 2の符号化データ の供給を受け、 第 1の符号化データまたは第 2の符号化データを出力する出力手 段を更に備えさせるようにすることができ、 制御手段には、 符号化に関する情報 に記載された過去の符号化におけるディレイモード、 ピクチャ構成、 プルダウン モード、 画像枠の位置および大きさ、 並びに、 クロマフォーマットが、 符号化処 理に関する条件と一致し、 符号化に関する情報に記載された過去の符号化におけ るビットレートが、 符号化処理におけるビットレートよりも小さい場合、 出力手 段を更に制御して、 第 1の符号化データを出力させるようにすることができる。 本発明の画像処理方法は、 画像データに対して過去に行われた符号化に関する 情報を取得し、 取得された符号化に関する情報と画像処理装置が画像データに対 して実行する符号化処理に関する条件とを基に、 符号化に関する情報のうち、 符 号化処理において利用可能な情報を選択し、 選択された符号化に関する情報を基 に、 符号化処理を制御することを特徴とする。

本発明の第 1の記録媒体に記録されているプログラムは、 コンピュータに、 供 給された符号化に関する情報と、 画像データに対して実行する符号化処理に関す る条件とを比較する比較ステップと、比較ステップの処理による比較結果を基に、 符号化に関する情報のうち、 符号化処理において利用可能な情報を選択する選択 ステップとを含む処理を実行させることを特徴とする。

本発明の 1のプログラムは、 コンピュータに、 供給された符号化に関する情報 と、 画像データに対して実行する符号化処理に関する条件とを比較する比較ステ ップと、比較ステップの処理による比較結果を基に、符号化に関する情報のうち、 符号化処理において利用可能な情報を選択する選択ステップとを含む処理を実行 させることを特徴とする。

過去の符号化に関する情報の供給を受け、 過去の符号化に関する情報と、 画像 データに対して実行される符号化に関する条件とが比較され、 比較結果を基に、 符号化に関する情報のうち、 符号化に利用可能な情報が選択される。 本発明の情報処理装置は、 供給された画像データを完全に、 または、 不完全に 復号する復号手段と、 復号手段により完全に復号されたベースバンドの画像デー タ、 または、 復号手段により不完全に復号されて生成された、 中途段階まで符号 化された画像データを、 中途段階まで、 または、 完全に符号化処理する符号化手 段とを備え、 符号化手段は、 画像データに対して過去に行われた符号化に関する 情報を取得する取得手段と、 取得手段により取得された符号化に関する情報と画 像処理装置が画像データに対して実行する符号化処理に関する条件とを基に、 符 号化に関する情報のうち、 符号化処理において利用可能な情報を選択し、 符号化 処理を制御する制御手段とを備えることを特徴とする。

本発明の情報処理方法は、 供給された画像データを完全に、 または、 不完全に 復号する復号ステップと、 復号ステップの処理により完全に復号されたベースバ ンドの画像データ、 または、 復号ステップの処理により不完全に復号されて生成 された、 中途段階まで符号化された画像データを、 中途段階まで、 または、 完全 に符号化処理する符号化ステップとを含み、 符号化ステップの処理では、 画像デ ータに対して過去に行われた符号化に関する情報を取得する取得ステップと、 取 得ステップの処理により取得された符号化に関する情報と画像処理装置が画像デ ータに対して実行する符号化処理に関する条件とを基に、 符号化に関する情報の うち、 符号化処理において利用可能な情報を選択し、 符号化処理を制御する制御 ステップとを含むことを特徴とする。

本発明の第 2の記録媒体に記録されているプログラムは、 コンピュータに、 供 給された画像データを完全に、 または、 不完全に復号する復号ステップと、 復号 ステップの処理により完全に復号されたベースバンドの画像データ、 または、 復 号ステップの処理により不完全に復号されて生成された、 中途段階まで符号化さ れた画像データを、 中途段階まで、 または、 完全に符号化処理する符号化ステツ プとを含み、 符号化ステップの処理では、 画像データに対して過去に行われた符 号化に関する情報を取得する取得ステップと、 取得ステップの処理により取得さ れた符号化に関する情報と画像処理装置が画像データに対して実行する符号化処 理に関する条件とを基に、 符号化に関する情報のうち、 符号化処理において利用 可能な情報を選択し、 符号化処理を制御する制御ステップとを含む処理を実行さ せることを特徴とする。

本発明の第 2のプログラムは、 コンピュータに、 供給された画像データを完全 に、 または、 不完全に復号する復号ステップと、 復号ステップの処理により完全 に復号されたベースバンドの画像データ、 または、 復号ステップの処理により不 完全に復号されて生成された、 中途段階まで符号化された画像データを、 中途段 階まで、 または、 完全に符号化処理する符号化ステップとを含み、 符号化ステツ プの処理では、 画像データに対して過去に行われた符号化に関する情報を取得す る取得ステツプと、 取得ステツプの処理により取得された符号化に関する情報と 画像処理装置が画像データに対して実行する符号化処理に関する条件とを基に、 符号化に関する情報のうち、 符号化処理において利用可能な情報を選択し、 符号 化処理を制御する制御ステップとを含む処理を実行させることを特徴とする。 供給された画像データが、 完全に、 または、 不完全に復号され、 ベースバンド の画像データ、または、中途段階まで符号化された画像データが、中途段階まで、 または、 完全に符号化され、 符号化において、 過去の符号化に関する情報の供給 を受け、 過去の符号化に関する情報と画像データに対して実行される符号化に関 する条件とが比較され、 比較結果を基に、 符号化に関する情報のうち、 符号化に 利用可能な情報が選択される。

本発明の情報記録装置は、 供給された画像データを完全に、 または、 不完全に 復号する復号手段と、 復号手段により完全に復号されたベースバンドの画像デー タ、 または、 復号手段により不完全に復号されて生成された、 中途段階まで符号 化された画像データを、 中途段階まで、 または、 完全に符号化処理する符号化手 段と、 符号化手段により符号化された画像データの記録を制御する記録制御手段 とを備え、 符号化手段は、 画像データに対して過去に行われた符号化に関する情 報を取得する取得手段と、 取得手段により取得された符号化に関する情報と画像 PC霞画 06857

9

処理装置が画像データに対して実行する符号化処理に関する条件とを基に、 符号 化に関する情報のうち、 符号化処理において利用可能な情報を選択し、 符号化処 理を制御する制御手段とを備えることを特徴とする。

記録制御手段には、 符号化手段により符号化された画像データと、 画像データ に対して行われた符号化に関する情報との、 異なる位置への記録を制御させるよ うにすることができる。

本発明の情報記録方法は、 供給された画像データを完全に、 または、 不完全に 復号する復号ステップと、 復号ステップの処理により完全に復号されたベースバ ンドの画像データ、 または、 復号ステップの処理により不完全に復号されて生成 された、 中途段階まで符号化された画像データを、 中途段階まで、 または、 完全 に符号化処理する符号化ステップと、 符号化ステップの処理により符号化された 画像データの記録を制御する記録制御ステップとを含み、 符号化ステップの処理 では、 画像データに対して過去に行われた符号化に関する情報を取得する取得ス テツプと、 取得ステップの処理により取得された符号化に関する情報と画像処理 装置が画像データに対して実行する符号化処理に関する条件とを基に、 符号化に 関する情報のうち、 符号化処理において利用可能な情報を選択し、 符号化処理を 制御する制御ステップとを含むことを特徴とする。

供給された画像データが、 完全に、 または、 不完全に復号され、 ベースバンド の画像データ、または、中途段階まで符号化された画像データが、中途段階まで、 または、 完全に符号化され、 符号化された画像データの記録が制御され、 符号化 において、 過去の符号化に関する情報の供給を受け、 過去の符号化に関する情報 と画像データに対して実行される符号化に関する条件とが比較され、 比較結果を 基に、 符号化に関する情報のうち、 符号化に利用可能な情報が選択される。 本発明の情報再生装置は、 所定の記録媒体に記録された画像データを再生する 再生手段と、 再生手段により再生された画像データを完全に、 または、 不完全に 復号する復号手段と、 復号手段により完全に復号されたベースバンドの画像デー タ、 または、 復号手段により不完全に復号されて生成された、 中途段階まで符号 化された画像データを、 中途段階まで、 または、 完全に符号化処理する符号化手 段とを備え、 符号化手段は、 画像データに対して過去に行われた符号化に関する 情報を取得する取得手段と、 取得手段により取得された符号化に関する情報と画 像処理装置が画像データに対して実行する符号化処理に関する条件とを基に、 符 号化に関する情報のうち、 符号化処理において利用可能な情報を選択し、 符号化 処理を制御する制御手段とを備えることを特徴とする。

本発明の情報再生方法は、 所定の記録媒体に記録された画像データを再生する 再生ステップと、 再生ステップの処理により再生された画像データを完全に、 ま たは、 不完全に復号する復号ステップと、 復号ステップの処理により完全に復号 されたベースバンドの画像データ、 または、 復号ステップにより不完全に復号さ れて生成された、 中途段階まで符号化された画像データを、 中途段階まで、 また は、完全に符号化処理する符号化ステップとを含み、符号化ステップの処理では、 画像データに対して過去に行われた符号化に関する情報を取得する取得ステップ と、 取得ステップの処理により取得された符号化に関する情報と画像処理装置が 画像データに対して実行する符号化処理に関する条件とを基に、 符号化に関する 情報のうち、 符号化処理において利用可能な情報を選択し、 符号化処理を制御す る制御ステップとを含むことを特徴とする。

所定の記録媒体に記録された画像データが再生され、供給された画像データが、 完全に、 または、 不完全に復号され、 ベースバンドの画像データ、 または、 中途 段階まで符号化された画像データが、中途段階まで、または、完全に符号化され、 符号化において、 過去の符号化に関する情報の供給を受け、 過去の符号化に関す る情報と画像データに対して実行される符号化に関する条件とが比較され、 比較 結果を基に、符号化に関する情報のうち、符号化に利用可能な情報が選択される。 図面の簡単な説明

図 1は、 フレーム編集を行う場合の再符号化が行われる従来のシステムを説明 するための図である。 図 2は、 MPEGの Long GOPのビットレートを変更して再符号化することが可能 な従来のシステムについて説明するための図である。

図 3は、 フレーム編集を行う場合の再符号化が行われる従来のシステムにおい て、 符号化履歴情報を利用する場合について、 説明するための図である。

図 4は、 MPEGの Long GOPのビットレートを変更して再符号化することが可能 な従来のシステムで符号化履歴情報を利用する場合について、 説明するための図 である。

図 5は、 本発明を適用した、 フレーム編集を行う場合の再符号化が行われるシ ステムの構成を示すブロックである。 ■

図 6は、 図 5の符号化部の構成を示すブロック図である。

図 7は、 SMPTE 329Mに規定されている、

compressed—stream一 format_of一 MPEG_2—recoding— set () のシンタックスにつレヽて 説明するための図である。

図 8 ίま、 extension_and_user_data (2)内の user— data (2)【こ記載されて ヽる个青 報について説明するための図である。

図 9は、 本発明を適用した、 MPEGの Long GOPのビット I ^一トを変更して再符 号化することが可能なシステムの構成を示すプロック図である。

図 1 0は、 図 9の符号化部の構成を示すプロック図である。

図 1 1は、 本発明を適用した符号化部が実行する処理について説明するフロー チャートである。

図 1 2は、 本発明を適用可能な異なる装置の構成について説明するための図で ある。

図 1 3は、 本発明を適用可能な情報記録装置の構成について説明するための図 である。

図 1 4は、 本発明を適用可能な情報再生装置の構成について説明するための図 である。 図 1 5は、 本発明を適用可能な情報記録装置の構成について説明するための図

"J、ある ₀ .

図 1 6は、 本発明を適用可能な情報再生装置の構成について説明するための図 である。

図 1 7は、 パーソナルコンピュータの構成を示すブロック図である。 発明を実施するための最良の形態

以下、 図を参照して、 本発明の実施の形態について説明する。

本発明を適用した、 MPEGの Long G0Pを、フレーム編集を行うことが可能な Short GOPに変換することが可能なシステムにおいて、 符号化履歴情報を利用する場合 について、 図 5を用いて説明する。

なお、 図 3を用いて説明した従来の場合と対応する部分には同一の符号を付し てあり、その説明は適宜省略する。すなわち、 トランスコーダ 1 0 2に代わって、 トランスコーダ 1 5 1が設けられているほかは、 図 3を用いて説明した従来の場 合と基本的に同様に構成されており、 トランスコーダ 1 5 1は、 符号化部 1 2 2 に代わって、供給されるストリームの条件に対応して、再利用可能な履歴情報（ヒ ストリ一情報） を選択することが可能な符号化部 1 6 1が設けられ、 符号化部 1 6 1には、 復号部 1 2 1から出力される復号された信号のほかに、 復号部 1 2 1 に入力されているストリームデータも入力されているほかは、 トランスコーダ 1 0 2と基本的に同様に構成されている。

トランスコーダ 1 0 1は、 伝送路 1から、 MPEGの Long G0Pの供給を受ける。 MPEGの LongGOPは、 3種類のピクチャタイプのピクチャ （I ピクチャ、 Pピク チヤ、 および、 Bピクチャ） により構成される。 トランスコーダ 1 0 1は、 供給 された MPEGの Long GOPのストリームデータを、復号部 1 1 1で一旦復号した後、 符号化部 1 1 2において、 全てイントラフレームとなるように符号化する場合、 その後の処理において、 これらのストリームデータが LongGOPで再符号化される にあたって、 Iピクチャ、 Pピクチャ、 または、 Bピクチャの素性を持ったビデ ォデータに対して、 別のピクチャタイプで符号化されてしまうことを防ぐため、 過去に実行された符号化、 すなわち、 伝送路 1を介して、 トランスコーダ 1 0 1 に、 MPEGの Long G0Pス トリームを送信した装置による符号化のパラメータ （過 去に行われた符号化のピクチャタイプ、 動きべク トル、 量子化値等の、 ピクチャ 層およびマクロブロック層のパラメータ） を、 Al l Intraのス トリーム上に、 SMPTE328Mのヒス トリ一情報 （History data) として付加し、 フレーム編集装置 3に供給する。

フレーム編集装置 3にてフレーム編集された、 ヒス トリー情報付のス トリーム データは、 トランスコーダ 1 5 1に供給される。 トランスコーダ 1 5 1は、 供給 された、 ヒス トリ一情報付の All Intraのス トリームデータを、 復号部 1 2 1で 復号する。 符号化部 1 6 1は、 復号されたヒス トリ一情報に含まれている、 過去 に行われた符号化のピクチャタイプ、 動きベクトル、 量子化値等の、 ピクチャ層 およびマクロブロック層のパラメータを、 必要に応じて使用して、 復号部 1 2 1 で復号された情報を、 LongGOPに再符号化して出力する。

図 6は、 符号化部 1 6 1の構成を示すブロック図である。

ヒス トリ一抽出部 1 7 1は、 復号部 1 2 1により復号された、 ヒス トリー情報 付の Al l Intraス トリームから、 ヒス トリ一情報を抽出して、 制御部 1 8 5に供 給するとともに、 映像ス トリームを映像並び替え部 1 7 2に供給する。 ヒス トリ 一情報には、 例えば、 ピクチャタイプ、 量子化値、 動きベク トル、 または、 量子 化マトリクスなど、 過去に実行された符号化に関する情報が含まれている。 制御部 1 8 5は、 ヒス トリ一抽出部 1 7 1により抽出された、 ヒス トリ一情報 に含まれている、 過去の符号化のパラメータを基に、 画像並び替え部 1 7 2、 動 きべク トル検出部 1 7 4、 または、 量子化値決定部 1 7 7を、 必要に応じて制御 する。

ヒス トリ一抽出部 1 7 1により抽出されるヒス トリ一情報は、 SMPTE 329Mに規 疋 れてレヽる、 compressed一 stream— format一 of一 MPEG— 2一 recoding一 set () の形式で 記載されている。 次に、 図 7を用いて、 SMPTE 32⁹Mに規定されている、 compressed— stream一 format—of一 MPEG— 2一 recoding一 set () のシンタックスにつ!/、て 説明する。

SMPTE 329Mの compressed一 stream一 format一 of_MPEG一 2一 recoding一 set () は、 next一 start一 code () ：、 sequence一 header () 関数、 sequence一 extension リ 関数、 extension一 and一 user—data (0)関数、 group一 of— picture一 header () 関数、 extension一 and一 user— data (1)関数、 picture一 header () 関数、

picture— coding一 extension () 関数、 extension一 and一 user一 data (2)関数、 およ picture_data ()関数によって定義されたデータエレメントによって構成される。 next— start— code () 関数は、 ビッ トストリーム中に存在するスタートコードを 探すための関数である。 sequence—header () 関数によって定義されるデータエレ メントには、 例えば、 画像の水平方向の画素数の下位 1 2ビットから成るデータ である horizontal— s ize— value、 画像の縦のライン数の下位 1 2ビットカ らなる データである vertical一 size_value、 発生符号量制御用の仮想バッファ （VBV； ビ デォバッファベリフアイャ） の大きさを決める値の下位 1 0ビットデータである VBV— buffer— size— valueなどカ ある。 sequence— extension () ¾ によって定義 されるデータエレメントには、 例えば、 ビデオデータが順次走査であることを示 すデータである progressive— sequence、 ビデオデータの色差フォーマツトを指定 するためのデータである chroma_format、 Bピクチャを含まないことを示すデー タである low— delayなどがある。

extension一 and— user一 data (i)関数は、 「i」 力 S 2以外のときは、 extension一 data 0 関数によって定義されるデータエレメントは記述されずに、 u_Ser_dat_a () 関 数によって定義されるデータエレメントのみが履歴ス トリームとして記述される。 よって、 extension一 and一 user一 data (0)関数は、 user一 data () 関数によって疋 義されるデータエレメントのみが履歴ス トリームとして記述される。 そして、 履 歴ストリーム中に、 G0P層のスタートコ一ドを示す group— start_codeが記述され ている場合にのみ、 group— of— picture— header () 関数によって定義されたデー タエレメント、 および extension— and_user— data ( 1)関数によって定義されるデ 一タエレメントが記述されている。

picture_headr ( ) 関数によって定義されるデータエレメントには、 例えば、 ピ クチャ層の開始同期コードを表すデータである picture— star _code、 ピクチャの 表示順を示す番号で、 G0Pの先頭でリセットされるデータである

temporal一 referenceなど力 Sめる。 picture一 coding一 extension () 関数によって疋 義されるデータエレメントには、 例えば、 フレームストラクチャかフィールドス トラクチャかを示すデータであり、 フィールドストラクチャの場合は上位フィー ノレドか下位フィーゾレ ドかもあわせて示すデータである picture_structure、 フレ 一ムストラクチャの場合、 最初のフィールドが上位か下位かを示すデータである top_fi eld_first_s線形量子化スケールを利用するか、非線形量子化スケールを利 用するかを示すデータである q—scale一 type、 2： 3プルダウンの際に使われるデ ータである repeat— firt— fieldなどがある。

re— coding— stream— info 〇 関数によって定義されるデータエレメントは、 SMPTE327Mにおいて定義さ lている。 extens ions— and一 user一 data (2)については、 図 8を用いて後述する。 picture一 data () 関数によって定義されるデータエレメ ントは、 sl ice () 関数によって定義されるデータエレメントである。 sl ice () ¾1^：【こよって、 ma cr ob lock () 定義され、 macroblock () {■こ i、 motion一 vectors 情報が記載されている。

図 7で説明した、 compress ed_stream_format_of_MPEG_2_recoding_set () の extens ion一 and一 user— data (2)内の user— data (2) こ記载される†青報 tこつ ヽて、 図 8を用いて説明する。

Stream一 Information— Headerは、 3 2 bitのテータでめり、 picture— layerの user_dataでの識別用の Header番号が記載されており、 user— dataとしてこの情 報を識別できる値が記載されている 1 6 bitの Stream_Information— Header、 Strema一 Information () の byte長を不す、 8 bitの Length、およ Όヽ、 marker一 bits で構成されている。

Encoder_Serial— Numberは、 エンコーダ （符号化部または符号化装置） に固有 につけられる番号（シリアルナンパ） であり、 1 6 bitの情報である。 Encoder— ID は、 エンコーダの機種を示す IDであり、 1 5 bitの情報である。

続く Encoding— State— Time— Codeは、このストリームの生成が開始された時刻を 示す情報であり、 各 byteデータの msbを、 marker— bit = 1とする、 8 byteの情 幸艮である。 ここでは、 8 byte中の 6 byteが用いられて、 ス トリームの生成が開始 された年 （Time一 Year)、 月 （Time一 Month)、 0 (Time一 Day)、 時 （Time— Hour)、 分 (Time_ inute) , および、 秒 （Time— Second) が記載されている。 これらの値は、 1ストリーム中で一定値となる。

Generation_Counter (GenC) は、 符号化の世代数を示すカウンタ値であり、 4 bitの情報である。 符号化の世代数は、 SDI (Serial Digital Interface) データ 力 ら ASI (Asynchronous Serial Interface) データにエンコードするときにカウ ントが開始され （第 1世代とされ） 、 ASIデータから ASIデータへの再ェンコ一 ド時、 または SDTI CP (Serial Data Transport Interface-Contents Package) データから ASIデータの再ェンコ一ド時に、カウンタ値がィンクリメントされる。

SDTI CPとは、 Pro - MPEGフォーラムの推進で SMPTE326Mとして標準化された、 MPEGデータをリアルタイムに伝送 （同期転送） する世界標準規格であり、 全てィ ントラフレーム （Al l Intra) である場合の伝送方式である。 SDIとは、 Point to Pointの伝送を基本に考えた、 非圧縮のデジタルビデオ ·オーディオの伝送方式 であり、 ANSI/SMPTE259Mに規定されている。 ASIとは、符号化された MPEGの Long G0Pのス トリームデータの伝送方式である。

Cont inuity_Counterとは、 フレームごとにィンクリメントされるカウンタであ り、 最大値をすぎたら、 再度、 ◦からカウントが開始される。 また、 必要に応じ て、 フレーム数ではなく、 フィールド数ゃピクチャ数をカウントするようにして も良い。 .

そして、 これ以下に説明する情報は、 デコーダ （復号部または復号装置） にて 復号された時に生成されるパラメータから抽出されて挿入される情報であるので、 揷入前の状態においては、 領域が確保されているだけである。 picture— coding— typeは、 MPEG2規格に準拠した、 ピクチャのコーディングタイ プを示す 3 bitの情報で、 例えば、 このピクチャは、 Iピクチャである力、 Bピ クチャである力 Pピクチャである過などが示される。 temporal— referenceは、 MPEG2 規格に準拠した、 G0Pの中の画像順を表す （ピクチャごとにカウントアツ プされる） 1 O bitの情報である。

reuse_levelとは、 パラメータの再利用を規定するための 7 bitの情報である。 error_flagは、 各種エラーを通知するためのフラグである。

header一 present一 I lag (A) は、 sequence header present flag t GOP header present flagとの 2 bitのフラグ情報である。

extension_start_code_flagsは、 SMPTEに規定されていない情報であり、 各種 の拡張 IDが含まれているか否かを示す 1 6 b i tのフラグ情報であり、 0は拡張 IDが含まれていないことを、 1は拡張 IDが含まれていることを示す。 拡張 IDに は、例 は、 sequence extension iD、 sequence display extension ID、 quant matrix extens ion ID、 copyright extension ID、 sequence scalable extension ID、 picture display extension ID_N pi cture coding extension ID^ picture spatial scalable extens ion ID、 picture temporal scalable extension IDなど力 Sある。

other— start— codes (図中 other) は、 ユーザデータのスタートコードがどのレ ィャに含まれているか、 または、 シーケンスエラーコードおょぴシーケンスェン ドコードが含まれているか否かを示す 5 bitのフラグ情報である。

図中、 Bと記載されているのは、 reduced— bandwidth— flag ( B ) の l bitの情 報であり、 Cと記載されているのは、 reduced— bandwidth— indicator (C) の 2 bit の情報である。 num_of_picture_bytesは、 ピクチャの発生量を示す 2 2 bitの情 報であり、 レートコントロールなどに用いられる。

bit_rate_extensionは、 1 2 bitの、 ビットレートに関する拡張情報領域であ り、 bit_rate_valueは、 1 8 bitの情報である。 SMPTEに規定されているフォー マツトにおいて、ビットレートの情報は、統計多重されることにより、 しばしば、 特定の値 （例えば、 " f f ") で記載されているため、 この情報を、 再符号化に 用いることはできない。 これに対して、 bit— rate_extensionは、 再符号化に用い るために、前の符号化における実際のビットレートの値が記載される領域である。 制御部 1 8 5は、 ヒス トリ一抽出部 1 7 1から、 図 7および図 8を用いて説明 したヒス トリ一情報の供給を受け、 ヒス ト リ一情報に記載されている内容が、 所 定の条件に合致しているか否かを基に、 画像並べ替え部 1 7 2、 動きべク トル検 出部 1 7 4、 量子化値決定部 1 7 7、 ス トリームスィツチ 1 8 6の一部、 もしく は全ての処理を制御する。

具体的には、 制御部 1 8 5は、 以前の符号化におけるディレイモード、 ピクチ ャ構成、 およびプルダウンモードが、 今回の符号化と一致しているか否かを判断 し、 一致していないと判断された場合、 パラメータの再利用を行わなず、 後述す る通常の符号化を実行すると判断する。 ディレイモードは、 SMPTE 329Mの sequence— extension () 関数の low_delayに記載されている情報であり、 ピクチ ャ構成おょぴプノレダウンモードは、 SMPTE 329Mの picture— coding— extension () picture_structure top— field一 firstおよび、 ： repeat_fii-t_fieldに、 そ れぞれ記載されている情報である。

以前の符号化におけるディレイモード、 ピクチャ構成、 およびプルダウンモー ドが、 今回の符号化と一致していると判断された場合、 制御部 1 8 5は、 次に符 号化する画像枠は、 ヒストリー情報に示されている符号化処理を行った画像枠と 一致しているか否かを判断し、 画像枠が一致していないと判断された場合、 ピク チヤタイプ （図 8を用いて説明した、 extension— and— user— data (2)内の user_data (2)に記載されている picture— coding— type)の情報のみを再利用する。 画像枠が一致しているか否かは、 SMPTE 329Mの sequence— header 0 関数に記載 されてレヽる horizontal一 size一 valueおよび vertical一 s ize一 value、並び ίこ、 SMPTE 329Mの V— phaseおよび h— phaseを比較することにより判断される。

画像並び替え部 1 7 2は、 前の符号化のピクチャタイプが再利用されると判断 された場合、 制御部 1 8 5から供給された制御信号を基に、 ヒス トリ一情報に含 まれているピクチャタイプを基に、 画像の並ぴ替えを実行する。 画像枠が一致していると判断された場合、 制御部 1 8 5は、 以前の符号化にお けるビットレートが、 今回の符号化のビットレートよりも小さく、 かつ、 以前の 符号化におけるクロマフォーマツトが、 今回のクロマフォーマツトと比較して、 等しい、 または、 大きいか否かを判断し、 いずれかの条件が満たされていなかつ たと判断された場合、 ピクチャタイプの情報に加えて、 動きベクトルの情報

(picture— data () 関数の slice () 関数 Iこ記载されてレヽる motion一 vectors 'If幸！ ¾) を再利用する。 ビッ トレートの情報は、 SMPTE 32⁹Mの extension— ancLuser— data (2)内の user— data (2)の bit— rate一 valueに記載されている。 クロマフォーマツ トの情報は、 SMPTE 329Mの sequence— header () 関数の chroraa— formatに記載さ れている。

動きべク トル検出部 1 7 4は、 制御部 1 8 5から供給された制御信号を基に、 過去の符号化における動きべクトル情報を、 動きべク トルとして再利用する。 以前の符号化におけるビットレートが、 今回の符号化のビットレートよりも小 さく、 かつ、 以前の符号化におけるクロマフォーマットが、 今回のクロマフォー マツトと比較して、等しい、または、大きいと判断された場合、制御部 1 8 5は、 ピクチャタイプ、 動きべク トルに加えて、 量子化値 （q— scale) を再利用する。 量子化値決定部 1 7 7は、 制御部 1 8 5からから供給された制御信号を基に、 必要に応じて、 再利用された量子化値を量子化部 1 7 6に供給して、 量子化を実 行させる。

図 6の説明に戻る。

映像並ぴ替え部 1 7 2は、 制御部 1 8 5の制御に基づいて、 順次入力される画 像データの各フレーム画像を、 必要に応じて、 並べ替えたり、 1 6画素 X I 6ラ ィンの輝度信号、 および輝度信号に対応する色差信号によつて構成されるマクロ ブロックに分割したマクロブロックデータを生成して、 演算部 1 7 3、 および、 動きべク トル検出部 1 7 4に供給する。

動きべクトル検出部 1 7 4は、 マクロブロックデータの入力を受け、 制御部 1 8 5の制御に基づいて、 各マクロプロックの動きべク トノレを、 マクロブロックデ ータ、 および、 フレームメモリ 1 8 3に記憶されている参照画像データを基に算 出し、 動きベク トルデータとして、 動き補償部 1 8 2に送出したり、 制御部 1 8 5から供給された過去の符号化の動きべク トルを再利用して、 動き補償部 1 8 2 に送出する。

演算部 1 7 3は、 映像並び替え部 1 7 2から供給されたマクロプロックデータ について、 各マクロプロックの画像タイプに基づいた動き補償を行う。 具体的に は、 演算部 1 7 3は、 Iピクチャに対してはイントラモードで動き補償を行い、 Pピクチャに対しては、 順方向予測モードで動き補償を行い、 Bピクチャに対し ては、 双方向予測モードで動き補償を行うようになされている。

ここでイントラモードとは、 符号化対象となるフレーム画像をそのまま伝送デ ータとする方法であり、 順方向予測モードとは、 符号化対象となるフレーム画像 と過去参照画像との予測残差を伝送データとする方法であり、 双方向予測モード とは、 符号化対象となるフレーム画像と、 過去と将来の参照画像との予測残差を 伝送データとする方法である。

まず、 マクロブロックデータが Iピクチャであった場合、 マクロプロックデー タはイントラモードで処理される。 すなわち、 演算部 1 7 3は、 入力されたマク ロブ口ックデータのマクロブロックを、 そのまま演算データとして D C T

(Di screte Cos ine Transform ：離散コサイン変換） 部 1 7 5に送出する。 D C T部 1 7 5は、 入力された演算データに対し D C T変換処理を行うことにより D C T係数化し、 これを D C T係数データとして、 量子化部 1 7 6に送出する。 量子化部 1 7 6は、 量子化値決定部 1 7 7から供給される量子化値 Qに基づい て、 入力された D C T係数データに対して量子化処理を行い、 量子化 D C T係数 データとして V L C (Variab le Length Code；可変長符号化） 部 1 7 8および逆 量子化部 1 7 9に送出する。 ここで、 量子化部 1 7 6は、 量子化値決定部 1 7 7 から供給される量子化値 Qに応じて、 量子化処理における量子化ステップサイズ を調整することにより、 発生する符号量を制御するようになされている。

逆量子化部 1 7 9に送出された量子化 D C T係数データは、 量子化部 1 7 6と 同じ量子化ステップサイズによる逆量子化処理を受け、 D C T係数データとして、 逆 D C T部 1 8 0に送出される。 逆 D C T部 1 8 0は、 供給された D C T係数デ 一タに逆 D C T処理を施し、生成された演算データは、演算部 1 8 1に送出され、 参照画像データとしてフレームメモリ 1 8 3に記憶される。

そして、 演算部 1 7 3は、 マクロブロックデータが Pピクチャであった場合、 マクロプロックデータについて、 順方向予測モードよる動き補償処理を行い、 B ピクチャであった場合、 マクロブロックデータについて、 双方向予測モードによ る動き補償処理を行う。

動き補償部 1 8 2は、 フレームメモリ 1 8 3に記憶されている参照画像データ を、 動きベク トルデータに応じて動き補償し、 順方向予測画像データ、 または、 双方向予測画像データを算出する。 演算部 1 7 3は、 マクロブロックデータにつ いて、 動き補償部 1 8 2より供給される順方向予測画像データ、 または、 双方向 予測画像データを用いて減算処理を実行する。

すなわち、 順方向予測モードにおいて、 動き捕償部 1 8 2は、 フレームメモリ 1 8 3の読み出しァドレスを、動きべク トルデータに応じてずらすことによって、 参照画像データを読み出し、 これを順方向予測画像データとして演算部 1 7 3お よび演算部 1 8 1に供給する。 演算部 1 7 3は、 供給されたマクロブロックデー タから、順方向予測画像データを減算して、予測残差としての差分データを得る。 そして、 演算部 1 7 3は、 差分データを D C T部 1 Ί 5に送出する。

演算部 1 8 1には、 動き補償部 1 8 2より順方向予測画像データが供給されて おり、 演算部 1 8 1は、 逆 D C T部から供給された演算データに、 順方向予測画 像データを加算することにより、 参照画像データを局部再生し、 フレームメモリ 1 8 3に出力して記憶させる。

また、 双方向予測モードにおいて、 動き補償部 1 8 2は、 フレ ムメモリ 1 8 3の読み出しア ドレスを、 動きベク トルデータに応じてずらすことによって、 参 照画像データを読み出し、 これを双方向予測画像データとして演算部 1 7 3およ ぴ演算部 1 8 1に供給する。 演算部 1 7 3は、 供給されたマクロプロックデータ から、 双方向予測画像データを減算して、 予測残差としての差分データを得る。 そして、 演算部 1 7 3は、 差分データを D C T部 1 7 5に送出する。

演算部 1 8 1には、 動き補償部 1 8 2より双方向予測画像データが供給されて おり、 演算部 1 8 1は、 逆 D C T部から供給された演算データに、 双方向予測画 像データを加算することにより、 参照画像データを局部再生し、 フレームメモリ 1 8 3に出力して記憶させる。

かく して、 符号化部 1 6 1に入力された画像データは、 動き補償予測処理、 D C T処理および量子化処理を受け、 量子化 D C T係数データとして、 し0部1 7 8に供給される。 1^じ部1 7 8は、 量子化 D C T係数データに対し、 所定の 変換テーブルに基づく可変長符号化処理を行い、 その結果得られる可変長符号化 データをバッファ 1 8 4に送出する。 バッファ 1 8 4は、 供給された可変長符号 化データをバッファリングした後、 ストリ一ムスィツチ 1 8 6に出力する。 ストリームスィッチ 1 8 6は、 制御部 1 8 5の制御に基づいて、 ノ ッファ 1 8 4から供給された可変長符号化データを出力する。

量子化値決定部 1 7 7は、 バッファ 1 8 4に格納される可変長符号化データの 蓄積状態を常時監視しており、 制御部 1 8 5の制御に基づいて、 蓄積状態を表す 占有量情報、 または、 制御部 1 8 5から供給される、 過去の符号化のパラメータ に含まれる量子化値 Qを基に、 量子化ステップサイズを決定するようになされて いる。

量子化値決定部 1 7 7は、 上述したように、 制御部 1 8 5から過去の符号化パ ラメータに含まれる量子化値 Qが供給され、 過去の符号化の量子化値を再利用す ることができる場合、 過去の符号化パラメータに含まれる量子化値 Qを基に、 量 子化ステップサイズを決定することができる。

また、 量子化値決定部 1 7 7は、 ヒストリ一情報を基に量子化ステップサイズ を決定しない場合においては、 目標発生符号量よりも実際に発生したマクロプロ ックの発生符号量が多いとき、 発生符号量を減らすために量子化ステップサイズ を大きく し、 また目標発生符号量よりも実際の発生符号量が少ないとき、 発生符 号量を増やすために量子化ステップサイズを小さくするようになされている。 すなわち、 量子化値決定部 1 7 7は、 デコーダ側に設けられた VBVバッファ に格納された可変長符号化データの蓄積状態の推移を想定することにより、 仮想 バッファのバッファ占有量を求めて、 量子化値 Qを算出し、 これを量子化部 1 7 6に供給する。

j番目のマクロプロックにおける仮想バッファのバッファ占有量 d ( j ) は、 次の式 （1) によって表され、 また、 j + 1番目のマクロブロックにおける仮想 バッファのバッファ占有量 d ( j +1) は、 次の式 （2) によって表され、 （1) 式から （2) 式を減算することにより、 j + 1番目のマクロブロックにおける仮 想バッファのバッファ占有量 d ( j +1) は、 次の式 （3) として表される。

d ( j ) = d (0) +B ( j - 1) 一 {TX ( j - 1 ) /MBcnt}

• · ■ ( 1) ここで、 d (0) は初期バッファ容量、 B ( j ) は、 j番目のマクロプロック における符号化発生ビット数、 MBcntは、 ピクチャ内のマクロプロック数、 そし て、 Tは、 ピクチャ単位の目標発生符号量である。

d ( j + 1 ) = d (0) +B ( i ) 一 (T X j ) /MBcnt

• · · (2) d ( j + 1 ) = d ( j ) + {B ( j ) 一 B ( j - 1) ト T/MBcnt

• · · (3) 量子化値決定部 1 7 7は、 ピクチャ内のマクロプロックがイントラスライス部 分とインタースライス部分とに分かれている場合には、 ィントラスライス部分の マクロプロックとインタースライス部分の各マクロプロックに割り当てる目標発 生符号量 Tpiおよび Tppをそれぞれ個別に設定する。

したがって、発生符号量制御部 9 2は、バッファ占有量 d ( j + 1) 、および、 式 (4) に示される定数 rを、 式 (5) に代入することにより、 マクロブロック ( j +1) の量子化インデックスデータ Q ( j +1) を算出し、 これを量子化部 7 5に供給する。 r = ( 2 X b r ) / r ■ ■ · (4)

Q ( j + 1) = d ( j + 1) X (3 1/r) · · ■ (5)

ここで、 b rは、 ビッ トレートであり、 p rは、 ピクチャレートである。

量子化部 1 7 6は、 量子化値 Qに基づいて、 次のマクロブロックにおける量子 化ステップサイズを決定し、 量子化ステップサイズによって DCT係数データを 量子化する。

これにより、 量子化部 1 7 6は、 1つ前のピクチヤにおける実際の発生符号量 に基づいて算出された、 次のピクチャの目標発生符号量にとつて最適な量子化ス テツプサイズによって、 DCT係数データを量子化することができる。

かく して、 量子化部 1 7 6では、 バッファ 1 8 4のデータ占有量に応じて、 ノ ッファ 1 8 4がオーバーフローまたはアンダーフローしないように量子化し得る とともに、 デコーダ側の VBVバッファがオーバーフロー、 またはアンダーフロ 一しないように量子化した量子化 D C T係数データを生成することができる。 なお、 以上においては、 符号化処理を、 ピクチャ単位で行う場合について説明 したが、 符号化処理が、 ピクチャ単位ではなく、 例えば、 スライス単位や、 マク 口プロック単位で行われる場合にも、 基本的に同様にして、 符号化処理が実行さ れる。

また、 図 4を用いて説明した、 入力画像を高ビットレートで MPEGの LongGOP に符号化し、それを復号して、低ビットレートの LongGOPに再符号化する場合に、 再符号化のための画像劣化が発生しないようになされているシステムについても、 同様にして本発明を適用することが可能である。 図 9は、 本発明を適用した、 入 力画像を高ビットレートで MPEGの LongGOPに符号化し、それを復号して低ビット レートの LongGOPに再符号化する場合に、 VBVバッファの破綻を防止しつつ、 再符号化のための画像劣化が発生しないようになされているシステムの構成を示 すブロック図である。 なお、 図 4における場合と対応する部分には同一の符号を 付してあり、 その説明は適宜省略する。

すなわち、 図 9のシステムは、 トランスコーダ 1 3 1に代わって、 トランスコ ーダ 2 0 1が備えられ、 トランスコーダ 2 0 1は、 符号化部 1 4 2に代わって、 供給されるス トリームの条件に対応して、 再利用可能な履歴情報 （パラメータ情 報） を選択することが可能な符号化部 2 1 1が設けられており、 符号化部 2 1 1 には、 復号部 1 4 1から出力される復号された信号のほかに、 復号部 1 4 1に入 力されているストリームデータも入力されているほかは、 基本的に、 トランスコ ーダ 1 3 1と同様の構成を有する。

トランスコーダ 5 1により符号化された MPEGの Long GOPのストリーム （ASI ス トリーム） データの供給を受けたトランスコーダ 2 0 1は、 高ビッ トレートの MPEGの Long GOPを、 復号部 1 4 1で復号するときに、 必要な符号化パラメータ を取得して、 復号されたビデオデータと取得された符号化パラメータを符号化部 2 1 1に供給する。 符号化部 2 1 1は、 必要に応じて、 供給された符号化パラメ ータを用いて、 ビデオデータを、 低ビットレートの MPEGの Long G0Pとなるよう に符号化し、符号化された低ビットレートの MPEGの Long G0Pのストリーム （ASI ス トリーム） データを出力する。

図 1 0は、 符号化部 2 1 1の構成を示すブロック図である。 なお、 図 1 0にお いては、 図 6の符号化部 1 6 1と対応する部分には同一の符号を付してあり、 そ の説明は適宜省略する。

すなわち、 符号化部 2 1 1は、 ヒス トリ一抽出部 1 7 1が省略され、 復号部 1 4 1から供給されるパラメータを取得して制御部 1 8 5に供給する、 パラメータ 入力部 2 2 1が設けられているほかは、 図 6の符号化部 1 6 1と、 基本的に同様 の構成を有するものである。

制御部 1 8 5は、 パラメータ入力部 2 2 1から、 図 7および図 8を用いて説明 したヒストリー情報と同様の情報を含むパラメータ情報の供給を受け、 パラメ一 タ情報に記載されている内容が、 所定の条件に合致しているか否かを基に、 画像 並べ替え部 1 7 2、 動きべク トル検出部 1 7 4、 量子化値決定部 1 7 7、 ストリ 一ムスィツチ 1 8 6の一部、 もしくは全ての処理を制御する。

具体的には、 制御部 1 8 5は、 以前の符号化におけるディレイモード、 ピクチ ャ構成、 およびプルダウンモードが、 今回の符号化と一致しているか否かを判断 し、 一致していないと判断された場合、 パラメータの再利用を行わなず、 後述す る通常の符号化を実行すると判断する。 ディレイモードは、 SMPTE 329Mの sequence— extension () 関数の low— delayと同様にして、 パラメータ情報に記載 されている情報であり、 ピクチャ構成およびプルダウンモードは、 SMPTE 329Mの picture— coding一 extension () 関数の picture一 st;ructu:re、 top一 field— firstおよ ぴ、 repeat— firtjieldと同様にして、 パラメータ情報に、 それぞれ記載されて いる情報である。

以前の符号化におけるディレイモード、 ピクチャ構成、 およびプルダウンモー ドが、 今回の符号化と一致していると判断された場合、 制御部 1 8 5は、 次に符 号化する画像枠は、 パラメータ情報に示されている符号化処理を行つた画像枠と 一致しているか否かを判断し、 画像枠が一致していないと判断された場合、 ピク チヤタイプの情報 （図 8を用いて説明した、 extension— and_user_data (2)内の user— data (2)に記載されている picture_coding_typeと同様にして、 パラメ一タ 情報に記載されている情報）のみを再利用する。画像枠が一致しているか否かは、 SMPTE 329Mの sequence一 header ()関数【こ記載されて!/ヽる horizontal— size一 value、 および、 vertical— size一 value、 並びに、 SMPTE 329Mの v一 phaseおよび h一 phase と同様にして、 パラメータ情報に記載されている情報を比較することにより判断 される。

画像並ぴ替え部 1 7 2は、 前の符号化のピクチャタイプが再利用されると判断 された場合、 制御部 1 8 5から供給された制御信号を基に、 パラメータ情報に含 まれているピクチャタイプを基に、 画像の並び替えを実行する。

画像枠が一致していると判断された場合、 制御部 1 8 5は、 以前の符号化にお けるビットレートが、 今回の符号化のビットレートよりも小さく、 かつ、 以前の 符号化におけるクロマフォーマツ卜が、 今回のクロマフォーマットと比較して、 等しい、 または、 大きいか否かを判断し、 いずれかの条件が満たされていなかつ たと判断された場合、 ピクチャタイプの情報に加えて、 動きベクトルの情報 (picture— data () 関数の slice () 関数に記載されている motion一 vectors情報 と同様にして、 パラメータ情報に記載されている情報） を再利用する。 ビットレ 一トの情報は、 SMPTE 329Mの extension— and— user—data (2)内の user— data (2)の bit— rate_valueと同様にして、 パラメータ情報に記載されている情報である。 ク ロマフォーマットの情報は、 SMPTE 329Mの sequence— header () 関数の chroma— formatと同様にして、 パラメータ情報に記載されている。

動き ク トル検出部 1 7 4は、.制御部 1 8 5から過去の符号化の動きべク トル 情報の供給を受け、 動きべク トルとして再利用する。

以前の符号化におけるビットレートが、 今回の符号化のビットレートよりも小 さく、 かつ、 以前の符号化におけるクロマフォーマットが、 今回のクロマフォー マットと比較して、等しい、または、大きいと判断された場合、制御部 1 8 5は、 パラメータのクロマフォーマットと今回のクロマフォーマットが一致しているか 否かを判断し、 一致していないと判断された場合、 ピクチャタイプ、 動きべクト ルに加えて、 量子化値 （q_scale) を再利用する。

量子化値決定部 1 7 7は、 制御部 1 8 5からから供給された制御信号を基に、 過去の符号化に用いられた量子化値を量子化部 1 7 6に供給して、 量子化を実行 させる。

クロマフォーマツトと今回のクロマフォーマツトが一致していると判断された 場合、 制御部 1 8 5は、 ストリ一ムスィツチ 1 8 6を制御して、 復号部 1 4 1に 入力されたストリームデータを出力する。

なお、 図 1 0の符号化部 2 1 1においては、 パラメータ情報に含まれる前の符 号化に関する情報を再利用するか否かにかかわる制御部 1 8 5の処理以外の通常 の符号化処理については、 図 6を用いて説明した符号化部 1 6 1と同様の処理が 実行されるので、 その詳細な説明は省略する。

すなわち、 図 6を用いて説明した符号化部 1 6 1および図 1 0を用いて説明し た符号化部 2 1 1において、 ヒストリー情報またはパラメータ情報を再利用しな い場合、 通常のエンコードが行われ、 ピクチャタイプを再利用する場合、 ヒスト リー情報に含まれる SMPTE³²⁹Mの picture_coding— type、 または、 パラメータ情 報に含まれる同様の情報が再利用され、 更に動きベク トルを再利用する場合、 ヒ ストリ一情報に含まれる red— bw_indicator = 0から q— scale_codeを除いた情報、 または、 パラメータ情報に含まれる同様の情報が再利用され、 更に量子化値を再 利用する場合、 ヒス トリ一情報に含まれる red— bw— indicator= 0、 または、 パラ メータ情報に含まれる同様の情報が再利用され、 エンコーダへの入カストリーム が出力される場合、 ス トリームスィッチ 1 8 6が制御されて、 前段の復号部へ入 力されたス トリームデータが出力される。

次に、 図 1 1のフローチャートを参照して、 図 6の符号化部 1 6 1および図 1 0の符号化部 2 1 1が実行する処理について説明する。

ステップ S 1において、 制御部 1 8 5は、 ヒス トリ一情報抽出部 1 7 1からヒ ス トリー情報、 もしくは、 パラメータ入力部 2 2 1からパラメータ情報の供給を 受け、 ヒス トリ一情報に含まれる SMPTE ³²⁹Mの sequence— extension () 関数の low一 delay、 picture— coding一 extension () 数の picture一 structui - e、 top_field_firstおよび、 repeat— firt_field、 または、 パラメータ情報に含まれ るこれらの情報と同様の情報を参照して、以前の符号化におけるディレイモード、 ピクチャ構成、 およびプルダウンモードが、 今回の符号化の符号化条件と一致し ているか否かを判断する。

ステップ S 1において、以前の符号化におけるディレイモード、ピクチャ構成、 およびプルダウンモードが、 今回の符号化の符号化条件と一致していないと判断 された場合、 ステップ S 2において、 制御部 1 8 5は、 パラメータの再利用を行 わないものとし、 符号化部 1 6 1または符号化部 2 1 1の各部を制御して、 符号 化を実行させ、 処理が終了される。

ステップ S 1において、以前の符号化におけるディレイモード、ピクチャ構成、 およびプルダウンモードが、 今回の符号化の符号化条件と一致していていると判 断された場合、 ステップ S 3において、 制御部 1 8 5は、 供給されたヒス トリ一 情報に含まれる、 SMPTE 32⁹Mの sequence_header () 関数に記載されている hori雇 tal— size一 value、 および、 vertical一 size一 value、 並びに、 SMPTE 329Mの phaseおよび h—phase、または、パラメータ情報に含まれるこれらの情報と同様 の情報を参照して、以前の符号化が実行された画像枠と、再符号化時の画像枠が、 位置および大きさとも一致しているか否かを判断する。

ステップ S 3において、 以前の符号化が実行された画像枠と再符号化時の画像 枠とで、 位置または大きさのうちの少なく ともひとつが一致していないと判断さ れた場合、 ステップ S 4において、 制御部 1 8 5は、 ピクチャタイプ

(picture一 coding一 type) の情報を再利用して符号化を行うものとし、画像並び替 え部 1 7 2を制御して、 供給されたピクチャタイプの情報を再利用して画像の並 ぴ替えなどの処理を行わせ、 その他の各部を制御して、 符号化を実行させ、 処理 が終了される。

ステップ S 3において、 以前の符号化が実行された画像枠と、 再符号化時の画 像枠が、 位置および大きさとも一致したと判断された場合、 ステップ S 5におい て、 制御部 1 8 5は、 ヒス ト リ一情報に含まれている SMPTE 329Mの

extension_and_user_data (2)内の user—data (2)の bi t一 rate— value、 および、 sequence一 header () 関数の chroma— format、 また fま、 ノ ラメータ If幸艮こ含まれる これらの情報と同様の情報を参照し、 以前の符号化におけるビットレートが、 今 回の符号化のビットレートよりも小さく、 かつ、 以前の符号化におけるクロマフ ォーマットが、 今回のクロマフォーマットと比較して、 等しい、 または、 大きい か否かを判断する。

ステップ S 5において、 以前の符号化におけるビットレートが、 今回の符号化 のビットレートよりも大きいか、 または、 以前の符号化におけるクロマフォーマ ットが、 今回のクロマフォーマットより小さいと判断された場合、 ステップ S 6 において、 制御部 1 8 5は、 ピクチャタイプ、 および、 動きべクトルの情報 (motion— vectors情報） を再利用して符号化を行うものとし、 画像並ぴ替え部 1 7 2を制御して、 供給されたピクチヤタイプの情報を再利用して画像の並び替え などの処理を行わせ、 動きべクトル検出部 1 7 4に過去の符号化における動きべ クトル情報を供給して再利用させ、その他の各部を制御して、符号化を実行させ、 処理が終了される。

ステップ S 5において、 以前の符号化におけるビットレートが、 今回の符号化 のビットレートよりも小さく、 かつ、 以前の符号化におけるクロマフォーマット 力 今回のクロマフォーマットと比較して、 等しい、 または、 大きいと判断され た場合、 ステップ S 7において、 制御部 1 8 5は、 復号部からパラメータが供給 され （すなわち、 ヒストリ一情報が用いられて再利用符号化が行われるのではな く、 パラメータ情報が用いられて再利用符号化が行われており） 、 かつ、 供給さ れたパラメータ情報に含まれている SMPTE 3²⁹Mの sequence_header ()関数の chroma_forma1:と同様の情報を参照して、 パラメータのクロマフォーマットと今 回のクロマフォーマットが一致しているか否かを判断する。 すなわち、 符号化部 2 1 1を含むトランスコーダ 2 0 1が、例えば、 4 : 2 : 0フォーマツトから、 4： 2： 2フォーマツトへのフォーマツト変換を行う場合などにおいては、クロマフォ 一マツトが一致しないと判断される。

ステップ S 7において、復号部 1 4 1からパラメータが供給されるのではなく、 復号部 1 6 1からヒストリ一情報が供給されているか、 または、 パラメータ情報 のクロマフォーマツトと今回のクロマフォーマツトが一致していないと判断され た場合、 ステップ S 8において、 制御部 1 8 5は、 ピクチャタイプ、 動きべタト ル、 および、 量子化値の情報 （q_scale) を再利用して符号化を行うものとし、 画 像並び替え部 1 7 2を制御して、 供給されたピクチャタイプの情報を再利用して 画像の並び替えなどの処理を行わせ、 動きべク トル検出部 1 7 4に過去の符号化 における動きベク トル情報を供給して再利用させ、 量子化値決定部 1 7 7に、 ヒ ストリー情報またはパラメータ情報に含まれていた量子化値を量子化部 1 7 6に 供給させて、 量子化を実行させ、 その他の各部を制御して、 符号化を実行させ、 処理が終了される。

ステップ S 7において、 復号部 1 4 1からパラメータが供給され、 かつ、 パラ メータ情報のクロマフォーマットと今回のクロマフォーマットが一致していると 判断された場合、 ステップ S 9において、 制御部 1 8 5は、 ストリームスィッチ 1 8 6を制御して、 復号部 1 4 1に入力されたストリームデータを出力し、 処理 が終了される。

このような処理により、 以前の符号化と今回の符号化とを比較して、 満たされ ている条件に基づいて、 再利用可能な符号化情報を選択することができるように したので、 復号および符号化の処理が繰り返されるような場合においても、 画像 データの劣化を防ぐようにすることができる。

なお、 図 1 1のフローチャートによる説明においては、 ステップ S l、 ステツ プ S 3、 ステップ S 5、 または、 ステップ S 7の処理において、 以前の符号化に おける符号化のパラメータと、 今回の符号化の条件とを比較して、 所定の条件を 満たしているか否かを、 それぞれ、 判断するものとして説明したが、 例えば、 デ ータ伝送のシステムにおいて、 固定となっているパラメータが存在するような場 合においては、そのパラメータに関する判断処理が省略されるようにしても良い。 なお、 本発明は、 例えば、 リオーダリングディレイの原因となる Bピクチャ、 および、 発生符号量の多い Iピクチャを使用せずに、 Pピクチャのみを使用し、 この Pピクチャを、 数スライスからなるイントラスライスと、 残り全てのスライ スからなるインタースライスとに区切ることにより、 リオーダリングなしに符号 化することができるようになされているローディレイエンコードを行う場合にお いても適用可能である。

また、 本発明は、 ロー'ディレイコーディングとして各フレーム画像を全て Pピ クチャとし、 例えば、 横 4 5マクロブロック、 縦 2 4マクロプロックの画枠サイ ズの中でフレーム画像の上段から縦 2マクロブ口ックおよび横 4 5マクロブ口ッ ク分の領域を 1つのイントラスライス部分、 他を全てインタースライス部分とし て設定するようにした場合においても、 イントラスライス部分を縦 1マクロプロ ック、 横 4 5マクロブロック分の領域とするなど、 他の種々の大きさの領域で形 成するようにした場合においても適用可能である。

更に、上述の実施の形態においては、本発明を MPEG方式によって圧縮符号化す る符号化部 1 6 1、 または、 符号化部 2 1 1に適用するようにした場合について 述べたが、 本発明はこれに限らず、 他の種々の画像圧縮方式による符号化装置に 適用するようにしても良い。

なお、 上述の実施の形態においては、 ストリームデータを変換するトランスコ ーダが、 それぞれ、 復号部と符号化部を有しているものとして説明したが、 復号 部および符号化部が、 それぞれ、 復号装置および符号化装置として、 独立した装 置として構成されている場合においても、 本発明は適用可能である。

すなわち、 上述の実施の形態においては、 それぞれのトランスコーダが、 ス ト リームデータを変換するものとして説明したが、 例えば、 図 1 2に示されるよう に、 ス トリームデータを復号してベースバンド信号に変換する復号装置 2 5 1、 ベースバンド信号を符号化してストリームデータに変換する符号化装置 2 5 2が、 それぞれ独立した装置として構成されていても良い。 更に、 復号装置 2 5 1が、 供給されたストリームデータを完全に復号せず、 対応する符号化装置 2 5 2が、 非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、 本発明は適用可能である。

例えば、 復号装置 2 5 1が、 V L C符号に対する復号および逆量子化のみを行 い、 逆 D C T変換を実行していなかった場合、 符号化装置 2 5 2は、 量子化およ び可変長符号化処理を行うが、 DCT変換処理は行わない。 このような部分的な符 号化 （中途段階からの符号化） を行う符号化装置 2 5 2の量子化における量子化 値を再利用するか否かの決定において、 本発明を適用することができるのは言う までもない。

更に、 復号装置 2 5 1が完全に復号したベースバンド信号を、 符号化装置 2 5 2が中途段階まで符号化する場合 （例えば、 DCT変換および量子化を行うが可変 長符号化処理を行わないなど） や、 復号装置 2 5 1が完全に復号していない （例 えば、 V L C符号に対する復号および逆量子化のみを行い、 逆 DCT変換を実行し ていない） ため、 中途段階まで符号化されているデータに対して、 符号化装置 2 5 2が更に中途段階まで符号化する場合など （例えば、 量子化を行うが可変長符 号化処理を行わないなど） においても、 本発明は適用可能である。

更に、 このような部分的な復号を行う符号化装置 2 5 1と部分的な符号化を行 う符号化装置 2 5 2で構成されたトランスコーダ 2 6 1においても、 本発明は適 用可能である。 このようなトランスコーダ 2 6 1は、 例えば、 スプライシングな どの編集を行う編集装置 2 6 2が利用される場合などに用いられる。

また、 本発明を適用したトランスコーダは、 記録媒体に情報を記録する情報記 録装置、 および、 記録媒体に記録されている情報を再生する情報再生装置におい ても適用可能である。

図 1 3は、 本発明を適用した情報記録装置 2 7 1の構成を示すブロック図であ る。

情報記録装置 2 7 1は、 図 5および図 6を用いて説明したトランスコーダ 1 5 1、 チャンネルェンコ一ディング部 2 7 5、 並びに、 記録媒体 2 7 3に情報を記 録する記録部 2 7 6で構成されている。

外部から入力された情報は、 上述した場合と同様にして、 トランスコーダ 1 5 1により処理されて、 チャンネルエンコーディング部 2 7 5に供給される。 チヤ ンネルエンコーディング部 2 7 5は、 トランスコーダ 1 5 1により出力されるビ ットストリームに、誤り訂正のためのパリティ符号をつけた後、例えば、 NRZI (Non Return to Zero Inversion)変調方式でチャンネノレエンコーディング処理を行い、 記録部 2 7 6に供給する。

記録媒体 2 7 3は、 例えば、 C D - R O M (Compact Disk-Read Only Memory) ， D V D (Digital Versatile Disk) などの光ディスク、 MD (Mini-Disk) (商標） などの光磁気ディスク、 半導体メモリ、 または、 ビデオテープなどの磁気テープ など、 情報を記録することができるものであれば、 いずれの形態を有するもので もよい。

記録部 2 7 6は、 記録媒体 2 7 3に対応する記録形式で、 供給された情報を記 録媒体 2 7 3に記録することができるようになされており、 例えば、 記録媒体 2 7 3が光ディスクである場合は、 記録媒体 2 7 3にレーザ光を照射するためのレ 一ザを含んで構成され、 記録媒体 2 7 3が磁気テープである場合は、 磁気記録へ ッドを含んで構成される。

次に、 図 1 4は、 本発明を適用した情報再生装置 2 8 1の構成を示すブロック 図である。

情報再生装置 2 8 1は、記録媒体 2 7 3から情報を再生する再生処理部 2 8 5、 チャンネルデコーディング部 2 8 6、 並びに、 図 5および図 6を用いて説明した トランスコーダ 1 5 1で構成されている。

再生処理部 2 8 5は、 記録媒体 2 7 3に対応する方法で、 記録媒体 2 7 3に記 録されている情報を再生し、 チャンネルデコーディング部 2 8 6に再生された信 号を供給することができるようになされており、 例えば、 記録媒体 2 7 3が光デ イスクである場合は、 光ピックアップを含んで構成され、 記録媒体 2 7 3が磁気 テープである場合は、 磁気再生ヘッドを含んで構成される。

チャンネルデコーディング部 2 8 6は、 再生信号をチャンネルデコードし、 パ リティを用いて誤り訂正処理を行った後、 誤り訂正後の再生情報をトランスコー ダ 1 5 1に供給する。 トランスコーダ 1 5 1に供給された情報は、 上述した場合 と同様にして、 トランスコーダ 1 5 1により処理されて、 出力される。 ' 図 1 5は、 本発明を適用した情報記録装置 2 9 1の構成を示すプロック図であ る。

情報記録装置 2 9 1は、 図 9および図 1 0を用いて説明したトランスコーダ 2 0 1、 チヤンネルェンコ一ディング部 2 7 5、 並びに、 記録媒体 2 7 3に情報を 記録する記録部 2 7 6で構成されている。

外部から入力された情報は、 上述した場合と同様にして、 トランスコーダ 2 0 1により処理されて、 チャンネルエンコーディング部 2 7 5に供給される。 チヤ ンネルェンコ一ディング部 2 7 5は、 トランスコーダ 2 0 1により出力されるビ ットストリームに、誤り訂正のためのパリティ符号をつけた後、例えば、 NRZI (Non Return to Zero Inversion)変調方式でチャンネルェンコ一ディング処理を行い、 記録部 2 7 6に供給する。 記録部 2 7 6は、 供給された情報を記録媒体 2 7 3に 記録する。

なお、 図 1 5の情報記録装置 2 9 1においては、 符号化パラメータと、 ビデオ データとを、 記録媒体 2 7 3の異なる位置に記録するようにしてもよい。

次に、 図 1 6は、 本発明を適用した情報再生装置 2 9 5の構成を示すプロック 図である。 .

情報再生装置 2 9 5は、記録媒体 2 7 3から情報を再生する再生処理部 2 8 5、 チャンネルデコーディング部 2 8 6、 並びに、 図 9および図 1 0を用いて説明し たトランスコーダ 2 0 1で構成されている。

再生処理部 2 8 5は、 記録媒体 2 7 3に対応する方法で、 記録媒体 2 7 3に記 録されている情報を再生し、 チャンネルデコーディング部 2 8 6に再生された信 号を供給する。 チャンネルデコーディング部 2 8 6は、 再生信号をチャンネルデ コードし、 パリティを用いて誤り訂正処理を行った後、 誤り訂正後の再生情報を トランスコーダ 2 0 1に供給する。 トランスコーダ 2 0 1に供給された情報は、 上述した場合と同様にして、 トランスコーダ 2 0 1により処理されて、 出力され る。

上述した一連の処理は、 ハードウェアにより実行させることもできるが、 ソフ トウエアにより実行させることもできる。 この場合、 例えば、 トランスコーダ 1 5 1や、 トランスコーダ 2 0 1は、 図 1 7に示されるようなパーソナルコンビュ ータ 3 0 1により構成される。

図 1 7において、 C P U (Central Processing Unit) 3 1 1は、 R O M (Read Only Memory) 3 1 2に記憶されているプログラム、 または記憶部 3 1 8から R A M (Random Access Memory) 3 1 3にロードされたプログラムに従って、 各種の 処理を実行する。 R AM 3 1 3にはまた、 C P U 3 1 1が各種の処理を実行する 上において必要なデータなども適宜記憶される。

C P U 3 1 1、 R O M 3 1 2、 およぴ R AM 3 1 3は、 バス 3 1 4を介して相 互に接続されている。 このバス 3 1 4にはまた、 入出力ィンタフェース 3 1 5も 接続されている。 入出力インタフェース 3 1 5には、 キーボード、 マウスなどよりなる入力部 3 1 6、 ディスプレイやスピーカなどよりなる出力部 3 1 7、 ハードディスクなど より構成される記憶部 3 1 8、 モデム、 ターミナルアダプタなどより構成される 通信部 3 1 9が接続されている。 通信部 3 1 9は、 インターネットを含むネット ワークを介しての通信処理を行う。

入出力インタフェース 3 1 5にはまた、 必要に応じてドライブ 3 2 0が接続さ れ、磁気ディスク 3 3 1、光ディスク 3 3 2、光磁気ディスク 3 3 3、 もしくは、 半導体メモリ 3 3 4などが適宜装着され、 それらから読み出されたコンピュータ プログラムが、 必要に応じて記憶部 3 1 8にインス トールされる。

一連の処理をソフトウェアにより実行させる場合には、 そのソフトウェアを構 成するプログラムが、 専用のハードウェアに組み込まれているコンピュータ、 ま たは、 各種のプログラムをインス トールすることで、 各種の機能を実行すること が可能な、 例えば汎用のパーソナルコンピュータなどに、 ネッ トワークや記録媒 体からインストーノレされる。

この記録媒体は、 図 1 7に示されるように、 装置本体とは別に、 ユーザにプロ グラムを供給するために配布される、 プログラムが記憶されている磁気ディスク 3 3 1 (フロッピディスクを含む） 、 光ディスク 3 3 2 ( C D -R OM (Compact Disk-Read Only Memory) ， D V D (Digital Versat i le Di sk) を含む） 、 光磁気 ディスク 3 3 3 (MD (Mini-Disk) (商標） を含む） 、 もしくは半導体メモリ 3 3 4などよりなるパッケージメディアにより構成されるだけでなく、 装置本体に 予め組み込まれた状態でユーザに供給される、 プログラムが記憶されている R O M 3 1 2や、 記憶部 3 1 8に含まれるハードディスクなどで構成される。

なお、 本明細書において、 記録媒体に記憶されるプログラムを記述するステツ プは、 含む順序に沿って時系列的に行われる処理はもちろん、 必ずしも時系列的 に処理されなく とも、並列的もしくは個別に実行される処理をも含むものである。 なお、 本明細書において、 システムとは、 複数の装置により構成される装置全 体を表すものである。 産業上の利用可能性

このように、 本発明によれば、 画像データを符号化することができる。 特に、 符号化に関する情報を取得して、 符号化に関する条件と比較することにより、 符 号化に関する情報のうち、 再利用可能な情報を選択することができる。

また、 他の本発明によれば、 画像データを変換することができるほか、 符号化 時に、 符号化に関する情報を取得して、 符号化に関する条件と比較することによ り、 符号化に関する情報のうち、 再利用可能な情報を選択することができる。

Claims

請求の範囲

1 . ベースバンドの画像データまたは中途段階まで符号化された画像データを、 中途段階まで、 または、 完全に符号化処理する画像処理装置において、

前記画像データに対して過去に行われた符号化に関する情報を取得する取得手 段と、

前記取得手段により取得された前記符号化に関する情報と前記画像処理装置が 前記画像データに対して実行する符号化処理に関する条件とを基に、 前記符号化 に関する情報のうち、 前記符号化処理において利用可能な情報を選択し、 前記符 号化処理を制御する制御手段と

を備えることを特徴とする画像処理装置。

2 . 前記制御手段は、 前記符号化に関する情報に記載された過去の符号化にお けるディレイモード、 ピクチャ構成、 およびプルダウンモードが、 前記符号化処 理に関する条件と一致していた場合、 前記符号化に関する情報に記載されたピク チヤタイプの情報を用いて、 前記符号化処理を制御する

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

3 . 前記制御手段は、 前記符号化に関する情報に記載された過去の符号化にお ける画像枠と、 前記符号化処理における画像枠との位置おょぴ大きさが一致して いる場合、 前記符号化に関する情報に記載された動きべク トルの情報を更に用い て、 前記符号化処理を制御する

ことを特徴とする請求の範囲第 2項に記載の画像処理装置。

4 . 前記制御手段は、 前記符号化に関する情報に記載された過去の符号化にお けるビットレート力 S、前記符号化処理におけるビットレートよりも小さく、かつ、 前記符号化に関する情報に記載された過去の符号化におけるクロマフォーマツト 力 前記符号化処理におけるクロマフォーマットと比較して、 等しい、 または、 大きい場合、前記符号化に関する情報に記載された量子化値の情報を更に用いて、 前記符号化処理を制御する

ことを特徴とする請求の範囲第 3項に記載の画像処理装置。

5 . 前記画像データを復号した他の画像処理装置に供給された第 1の符号化デ ータ、 および前記制御手段により制御された前記符号化処理により生成された第 2の符号化データの供給を受け、 前記第 1の符号化データまたは前記第 2の符号 化データを出力する出力手段を更に備え、

前記制御手段は、 前記符号化に関する情報に記載された過去の符号化における ディレイモード、ピクチャ構成、プルダウンモード、画像枠の位置および大きさ、 並びに、 クロマフォーマットが、 前記符号化処理に関する条件と一致し、 前記符 号化に関する情報に記载された過去の符号化におけるビットレートが、 前記符号 化処理におけるビットレートよりも小さい場合、 前記出力手段を更に制御して、 前記第 1の符号化データを出力させる

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

6 . ベースバンドの画像データまたは中途段階まで符号化された画像データを、 中途段階まで、 または、 完全に符号化処理する画像処理装置の画像処理方法にお レ、て、

前記画像データに対して過去に行われた符号化に関する情報を取得し、 取得された前記符号化に関する情報と前記画像処理装置が前記画像データに対 して実行する符号化処理に関する条件とを基に、前記符号化に関する情報のうち、 前記符号化処理において利用可能な情報を選択し、

選択された前記符号化に関する情報を基に、 前記符号化処理を制御する ことを特徴とする画像処理方法。

7 . 画像データに対して過去に行われた符号化に関する情報の供給を受けて、 ベースバンドの画像データまたは中途段階まで符号化された画像データを、 中途 段階まで、 または、 完全に符号化する処理をコンピュータに実行させるためのプ 口グラムであって、

供給された前記符号化に関する情報と、 前記画像データに対して実行する符号 化処理に関する条件とを比較する比較ステップと、

前記比較ステップの処理による比較結果を基に、 前記符号化に関する情報のう ち、 前記符号化処理において利用可能な情報を選択する選択ステップと を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録され ている記録媒体。

8 . 画像データに対して過去に行われた符号化に関する情報の供給を受けて、 ベースバンドの画像データまたは中途段階まで符号化された画像データを 中途 段階まで、 または、 完全に符号化する処理をコンピュータに実行させるためのプ ログラムであって、

供給された前記符号化に関する情報と、 前記画像データに対して実行する符号 化処理に関する条件とを比較する比較ステップと、

前記比較ステップの処理による比較結果を基に、 前記符号化に関する情報のう ち、 前記符号化処理において利用可能な情報を選択する選択ステップと

を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。

9 . 画像データを変換する情報処理装置において、

供給された前記画像データを完全に、 または、 不完全に復号する復号手段と、 前記復号手段により完全に復号されたベースバンドの前記画像データ、または、 前記復号手段により不完全に復号されて生成された、 中途段階まで符号化された 前記画像データを、 中途段階まで、 または、 完全に符号化処理する符号化手段と を備え、

前記符号化手段は、

前記画像データに対して過去に行われた符号化に関する情報を取得する取得 手段と、

前記取得手段により取得された前記符号化に関する情報と前記画像処理装置 が前記画像データに対して実行する前記符号化処理に関する条件とを基に、 前記 符号化に関する情報のうち、 前記符号化処理において利用可能な情報を選択し、 前記符号化処理を制御する制御手段と

を備えることを特徴とする情報処理装置。

1 0 . 画像データを変換する情報処理装置の情報処理方法において、 供給された前記画像データを完全に、 または、 不完全に復号する復号ステップ と、

前記復号ステップの処理により完全に復号されたベースバンドの前記画像デー タ、 または、 前記復号ステップの処理により不完全に復号されて生成された、 中 途段階まで符号化された前記画像データを、 中途段階まで、 または、 完全に符号 化処理する符号化ステップと

を含み、

前記符号化ステップの処理では、

前記画像データに対して過去に行われた符号化に関する情報を取得する取得 ステップと、

前記取得ステップの処理により取得された前記符号化に関する情報と前記画 像処理装置が前記画像データに対して実行する前記符号化処理に関する条件とを 基に、 前記符号化に関する情報のうち、 前記符号化処理において利用可能な情報 を選択し、 前記符号化処理を制御する制御ステップと

を含むことを特徴とする情報処理方法。

1 1 . 画像データを変換する処理をコンピュータに実行させるためのプロダラ ムであって、

供給された前記画像データを完全に、 または、 不完全に復号する復号ステップ と、

前記復号ステップの処理により完全に復号されたベースバンドの前記画像デー タ、 または、 前記復号ステップの処理により不完全に復号されて生成された、 中 途段階まで符号化された前記画像データを、 中途段階まで、 または、 完全に符号 化処理する符号化ステツプと

を含み、

前記符号化ステップの処理では、

前記画像データに対して過去に行われた符号化に関する情報を取得する取得 ステップと、 前記取得ステップの処理により取得された前記符号化に関する情報と前記画 像処理装置が前記画像データに対して実行する前記符号化処理に関する条件とを 基に、 前記符号化に関する情報のうち、 前記符号化処理において利用可能な情報 を選択し、 前記符号化処理を制御する制御ステップと

を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録され ている記録媒体。

1 2 . 画像データを変換する処理をコンピュータに実行させるためのプロダラ ムであって、

供給された前記画像データを完全に、 または、 不完全に復号する復号ステップ と、

前記復号ステップの処理により完全に復号されたベースバンドの前記画像デー タ、 または、 前記復号ステップの処理により不完全に復号されて生成された、 中 途段階まで符号化された前記画像データを、 中途段階まで、 または、 完全に符号 化処理する符号化ステップと

を含み、

前記符号化ステップの処理では、

前記画像データに対して過去に行われた符号化に関する情報を取得する取得 ステップと、

前記取得ステップの処理により取得された前記符号化に関する情報と前記画 像処理装置が前記画像データに対して実行する前記符号化処理に関する条件とを 基に、 前記符号化に関する情報のうち、 前記符号化処理において利用可能な情報 を選択し、 前記符号化処理を制御する制御ステップと

を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。

1 3 . 画像データを記録する情報記録装置において、

供給された前記画像データを完全に、 または、 不完全に復号する復号手段と、 前記復号手段により完全に復号されたベースバンドの前記画像データ、または、 前記復号手段により不完全に復号されて生成された、 中途段階まで符号化された 前記画像データを、中途段階まで、または、完全に符号化処理する符号化手段と、 前記符号化手段により符号化された前記画像データの記録を制御する記録制御 手段と

を備え、

前記符号化手段は、

前記画像データに対して過去に行われた符号化に関する情報を取得する取得 手段と、

前記取得手段により取得された前記符号化に関する情報と前記画像処理装置 が前記画像データに対して実行する前記符号化処理に関する条件とを基に、 前記 符号化に関する情報のうち、 前記符号化処理において利用可能な情報を選択し、 前記符号化処理を制御する制御手段と

を備えることを特徴とする情報記録装置。

1 4 . 前記記録制御手段は、 前記符号化手段により符号化された前記画像デー タと、 前記画像データに対して行われた符号化に関する情報との、 異なる位置へ の記録を制御する

ことを特徴とする請求の範囲第 1 3項に記載の情報記録装置。

1 5 . 画像データを記録する情報記録装置の情報記録方法において、

供給された前記画像データを完全に、 または、 不完全に復号する復号ステップ と、

前記復号ステツプの処理により完全に復号されたベースパンドの前記画像デー タ、 または、 前記復号ステップの処理により不完全に復号されて生成された、 中 途段階まで符号化された前記画像データを、 中途段階まで、 または、 完全に符号 化処理する符号化ステップと、

前記符号化ステップの処理により符号化された前記画像データの記録を制御す る記録制御ステップと

を含み、

前記符号化ステップの処理では、 前記画像データに対して過去に行われた符号化に関する情報を取得する取得 前記取得ステップの処理により取得された前記符号化に関する情報と前記画 像処理装置が前記画像データに対して実行する前記符号化処理に関する条件とを 基に、 前記符号化に関する情報のうち、 前記符号化処理において利用可能な情報 を選択し、 前記符号化処理を制御する制御ステップと

を含むことを特徴とする情報記録方法。

1 6 . 画像データを再生する情報再生装置において、

所定の記録媒体に記録された前記画像データを再生する再生手段と、

前記再生手段により再生された前記画像データを完全に、 または、 不完全に復 号する復号手段と、

前記復号手段により完全に復号されたベースバンドの前記画像データ、または、 前記復号手段により不完全に復号されて生成された、 中途段階まで符号化された 前記画像データを、 中途段階まで、 または、 完全に符号化処理する符号化手段と を備え、

前記符号化手段は、

前記画像データに対して過去に行われた符号化に関する情報を取得する取得 手段と、

前記取得手段により取得された前記符号化に関する情報と前記画像処理装置 が前記画像データに対して実行する前記符号化処理に関する条件とを基に、 前記 符号化に関する情報のうち、 前記符号化処理において利用可能な情報を選択し、 前記符号化処理を制御する制御手段と

を備えることを特徴とする情報再生装置。

1 7 . 画像データを再生する情報再生装置の情報再生方法において、

所定の記録媒体に記録された前記画像データを再生する再生ステップと、 前記再生ステップの処理により再生された前記画像データを完全に、 または、 不完全に復号する復号ステップと、 前記復号ステップの処理により完全に復号されたベースバンドの前記画像デー タ、 または、 前記復号ステップにより不完全に復号されて生成された、 中途段階 まで符号化された前記画像データを、 中途段階まで、 または、 完全に符号化処理 する符号化ステップと

を含み、

前記符号化ステップの処理では、

前記画像データに対して過去に行われた符号化に関する情報を取得する取得 ステップと、

前記取得ステップの処理により取得された前記符号化に関する情報と前記画 像処理装置が前記画像データに対して実行する前記符号化処理に関する条件とを 基に、 前記符号化に関する情報のうち、 前記符号化処理において利用可能な情報 を選択し、 前記符号化処理を制御する制御ステップと

を含むことを特徴とする情報再生方法。