WO1999001987A1 - Device and method for controlling image encoding, encoding system, transmission system and broadcast system - Google Patents

Description

明細書

画像符号化制御装置および方法、 符号化システム、 伝送システムならびに放送シ ステム 技術分野

本発明は、 画像データを圧縮符号化する画像符号化制御装置および方法、 符号 化システム、 伝送システムならびに放送システムに関する。 背景技術

最近、 画像データ等をデジタルデータとして送受信するデジタル放送が注目さ れている。 デジタル放送の利点は、 アナログ放送に比べて、 同じ伝送路において より多くの番組データ （以下、 プログラムという。 ） を伝送することが可能であ るということである。 これは画像データを圧縮して伝送できるということによる ところが大きい。 画像データの圧縮の方法としては、 例えば M P E G (Moving P icture Experts Group) 規格で採用されている双方向予測符号化方式がある。 こ の双方向予測符号化方式では、 フレーム内符号化、 フレーム間順方向予測符号化 および双方向予測符号化の 3つのタイプの符号化が行われ、 各符号化タイブによ る画像は、 それぞれ I ピクチャ （intra coded picture ) 、 Pピクチャ （predic tive coded picture) および Bヒクナヤ (bidirectional ly predictive coded p icture) と呼ばれる。

デジタル放送における画像の圧縮符号化では、 圧縮符号化後のデータ量 （ビッ ト量） を、 伝送路の伝送容量以下に抑えつつ、 画質を高品質に保つ必要がある。 所定の伝送容量の伝送路に対して、 より多くのプログラムを流す方法として、 「統計多重」 という手法がある。 統計多重は、 各プログラムの伝送レートを動的 に変化させることにより、 より多くのプログラムを伝送する手法である。 この統 計多重では、 例えば、 伝送レートを減らしても画質の劣化が目立たないプログラ ムについては伝送レ一トを減らすことにより、 より多くのプログラムの伝送を可 能にする。

ここで、 第 1 2図および第 1 3図を参照して、 統計多重について更に説明する 。 第 1 2図は、 従来の固定レートにより多重化した場合の各プログラムに対する 割当符号レ一卜の一例を表したものであり、 縦軸が各プログラムに対する割当符 号レート、 横軸が時間を表している。 第 1 2図に示したように、 例えば天気予報 、 ニュースおよびドラマといった多重化される各プログラムの割当符号レ一トは 、 初期値として割り当てられた符号レートのままであり、 時間の経過によって変 動していない。 各プログラムに対して初期値として割り当てられる符号レ一トは 、 各プログラムの画質の劣化が目立つ部分 （時間） における画質の劣化が許容範 囲に収まるように割り当てられている。 従って、 画質の劣化が目立つ部分以外に は、 必要以上の符号レ一卜が割り当てられていることになる。

第 1 3図は、 統計多重の手法を用いて、 各プログラムに対する割当符号レート を動的に変化させて多重化した場合の各プログラムに対する割当符号レ一卜の一 例を表したものであり、 縦軸が各プログラムに対する割当符号レート、 横軸が時 間を表している。 統計多重は、 各プログラムの画質の劣化が目立つ部分 （時間） が同一時に重なることが稀であることを利用したものである。 そのため、 あるプ ログラムでは画質劣化が目立つ部分であるとき、 他のプログラムは符号レ一トを 落としても画質劣化が目立たない場合が多いので、 他のプログラムの符号レート を落として、 画質劣化が目立つプログラムに対して符号レートを多く割り当てる ことができる。 第 1 3図に示した例では、 時刻 Pにおいて、 ドラマ （ 1 ) では画 質劣化が目立つ部分であり、 ニュースおよびドラマ （2 ) では画質劣化が目立た ない部分であるとき、 ニュースおよびドラマ （2 ) の符号レートを落として、 ド ラマ （1 ) に対してその分の符号レートを多く割り当てる。 このようにして、 統 計多重を用いることにより、 通常よりも多くのプログラムを伝送することができ る

ところで、 このような統計多重では、 各プログラムに対して割り当てる符号レ —卜としてのビッ トレ一ト量を決めるビッ トレ一卜割当手法が、 画質等を決定す る重要な要素である。 ビッ トレート割当手法として従来から提案されている代表 的な手法としては、 各プログラムで用いる量子化ステップを監視して、 その量子 化ステツプが全てのプログラムで同じになるように、 あるいは予め各プログラム に対して設定された重み付けに従ったバランスになるように、 量子化ステツプを フィ一ドバック制御するというものがある。 このようなフィ一ドバック制御では 、 ある画像の符号化が終了した後で、 その画像の符号化の際の量子化ステップに 基づいて次のビッ トレ一トを決定するので、 シーンチヱンジ等で急激に難しい絵 柄に変わつた場合には対応が遅れてしまい、 画像の歪みが顕著に生じるという問 題点があった。

一方、 このようなフィ一ドバック制御による制御系の対応の遅延の問題を解決 するために、 本出願人は、 これから符号化しょうとする画像に関して、 符号化の 難易度を表す符号化難易度 （Difficulty) を先に求め、 この符号化難易度に応じ て、 各プログラムのビッ トレ一トを決定するフィ一ドフォヮ一ド制御という手法 を提案している。 このフィードフォワード制御の手法は、 基本的に各プログラム から、 符号化処理に先立って取得された符号化難易度データの比率に応じて、 多 重化後の総ビッ トレ一トを各プログラムに分配することにより実現される。 符号 化難易度データの比率に応じた各プログラムに対するビッ トレ一卜の配分は、 次 の式 （1 ) のように比例配分により決定される。

R i = ( D i /∑ D _k ) x Total— Rate … （ 1 )

なお、 式 （1 ) において、 R i は i番目のプログラムのビッ トレ一ト、 D i は そのプログラムの単位時間当たりの符号化難易度、 Total— Rateは総ビッ トレート 、 ∑は、 k = l〜L ( Lは総プログラム数） についての総和を意味する。

あるいは、 各プログラムに対するビッ トレ一卜の配分は、 各プログラムに重み 係数 W i を付け加えて、 次の式 （2 ) のように決定される。

R i = {W i X D i /∑ (W_k D _k ) } x Total— Rate … （2 )

しかしながら、 上述の符号化難易度によるビッ トレ一卜の比例配分には以下に 述べるような問題がある。

( 1 ) 符号化難易度による比例配分は、 必ずしも人間の視覚特性に最適ではな い。 例えば、 簡単な絵柄は符号化難易度が低くなるのでビッ トレ一トは低く抑え られるが、 人間の視覚特性は簡単な絵柄に対して歪みを発見しやすく、 逆に込み 入った絵柄に対しては歪みに気付きにくいという傾向がある。 従って、 全てのプ ログラムに対して 1つの式を用いて、 各プログラム毎の符号化難易度に応じて、 単純に総ビッ トレ一トを比例配分してしまうと、 難しい絵柄のプログラムではビ ッ ト量が必要以上に配分され、 逆にビッ ト量を減らされた簡単な絵柄のプログラ ムでは、 符号化による歪みが目立っため、 視聴者にとっては不快になる。

( 2 ) —般的に、 統計多重を用いるデジタル放送局では、 各プログラム提供企 業に対して、 占有するビッ トレートに応じて課金することが行われる。 その際に 、 デジタル放送局は、 各プログラム提供企業の予算に応じて、 予め平均ビッ トレ —卜の割り振りを求められることが多い。 しかしながら、 統計多重を用いる場合 には、 ビッ トレ一卜が動的に変化し、 予め平均ビッ トレ一トが求められないため 、 予算に応じた正確な課金ができなかった。 発明の開示

したがって、 本発明の目的は、 統計多重の手法を用いながら、 各番組データ毎 に適した目標符号レ一卜の割当を可能とした画像符号化制御装置および方法、 符 号化システム、 伝送システムならびに放送システムを提供することにある。 本発明の画像符号化制御装置は、 それぞれ画像データを含む複数の番組データ を符号化する複数の符号化手段と、 各符号化手段の出力データを多重化する多重 化手段とを備えたシステムに用いられ、 各符号化手段に対して単位時間当たりの 目標発生符号量としての目標符号レ一卜を設定して各符号化手段を制御する画像 符号化制御装置であって、 各番組データ毎に符号化の難易度を表す符号化難易度 を取得し、 各番組データ毎に設定された符号化難易度と目標符号レー卜との対応 関係を用いて、 取得した各番組デ一タ毎の符号化難易度に対応する各番組データ 毎の暫定的な目標符号レ—トを決定する暫定的目標符号レート決定手段と、 各番 組データ毎の目標符号レ一卜の総和が所定の許容値内に収まるように、 暫定的目 標符号レート決定手段によって決定された暫定的な目標符号レートを修正して最 終的な各番組データ毎の目標符号レートを決定し、 各符号化手段に対して設定す る目標符号レート修正手段とを備えたものである。

この画像符号化制御装置では、 暫定的目標符号レート決定手段によって、 各番 組データ毎に符号化の難易度を表す符号化難易度が取得され、 各番組データ毎に 設定された符号化難易度と目標符号レートの対応関係を用いて、 取得された各番 組データ毎の符号化難易度に対応する各番組データ毎の暫定的な目標符号レート が決定される。 この暫定的な目標符号レートは、 目標符号レート修正手段により 、 各番組データ毎の目標符号レートの総和が所定の許容値内に収まるように、 修 正されて最終的な各番組データ毎の目標符号レ一卜が決定され、 各符号化手段に 対して設定される。

本発明の画像符号化制御方法は、 それぞれ画像データを含む複数の番組データ を符号化する複数の符号化手段と、 各符号化手段の出力データを多重化する多重 化手段とを備えたシステムに用いられ、 各符号化手段に対して単位時間当たりの 目標発生符号量としての目標符号レートを設定して各符号化手段を制御する画像 符号化制御方法であって、 各番組データ毎に符号化の難易度を表す符号化難易度 を取得し、 各番組データ毎に設定された符号化難易度と目標符号レー卜との対応 関係を用いて、 取得した各番組データ毎の符号化難易度に対応する各番組データ 毎の暫定的な目標符号レートを決定する暫定的目標符号レート決定手順と、 各番 組データ毎の目標符号レー卜の総和が所定の許容値内に収まるように、 暫定的目 標符号レ一ト決定手順によつて決定された暫定的な目標符号レ一トを修正して最 終的な各番組データ毎の目標符号レートを決定し、 各符号化手段に対して設定す る目標符号レート修正手順とを含むものである。

この画像符号化制御方法では、 暫定的目標符号レート決定手順によって、 各番 組データ毎に符号化難易度が取得され、 各番組データ毎に設定された符号化難易 度と目標符号レートとの対応関係を用いて、 各番組データ毎の符号化難易度に対 応する各番組データ毎の暫定的な目標符号レートが決定される。 更に、 目標符号 レ一ト修正手順によって、 各番組データ毎の目標符号レー卜の総和が所定の許容 値内に収まるように、 各番組データ毎の暫定的な目標符号レ一卜が修正されて最 終的な目標符号レ一卜が決定される。

本発明の符号化システムは、 それぞれ画像データを含む複数の番組データを符 号化し、 符号化されたデータを多重化する符号化システムであって、 各番組デ一 夕に含まれる画像データを符号化する際の符号化の難易度を表す符号化難易度を 、 各番組データ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給さ れた、 単位時間当たりの目標発生符号量としての目標符号レートに基づいて、 各 番組デ一タに含まれる画像データを符号化する複数の符号化手段と、 各符号化手 段によつて符号化されたデータを多重化する多重化手段と、 各符号化難易度検出 手段によつて検出された符号化難易度から各番組データ毎の目標符号レートを演 算し、 演算された目標符号レートを、 各符号化手段に対して供給する制御手段と を備えている。

制御手段は、 例えば、 各番組データ毎に独自に設定された、 符号化難易度から 目標符号レ一トを演算するための演算式に基づいて目標符号レ一トを演算する。 制御手段は、 例えば、 各番組データ毎に予め定められた目標符号レートの平均 値に基づいて決定され、 各番組データ毎に独自に設定された、 符号化難易度から 目標符号レ—トを演算するための演算式に基づいて目標符号レ一卜を演算する。 制御手段は、 例えば、 各番組データ毎に、 各符号化難易度検出手段によって検 出された符号化難易度から各番組データ毎の仮の目標符号レートを演算し、 各番 組デ一タ毎に演算された仮の目標符号レ一トの総和が所定の許容範囲内に納まる ように、 仮の目標符号レ一卜から各番組毎の目標符号レートを演算する。

制御手段は、 例えば、 各番組データ毎に、 他の番組データにおける符号化難易 度に関係なく、 各符号化難易度検出手段によつて検出された符号化難易度から各 番組データ毎の仮の目標符号レートを演算し、 各番組データ毎に演算された仮の 目標符号レー卜の総和が所定の許容範囲内に納まるように、 仮の目標符号レー卜 から各番組毎の目標符号レートを演算する。

制御手段は、 例えば、 符号化難易度から仮の目標符号レートを演算するための 演算式であって、 各番組データ毎に独自に設定され、 他の番組データにおける符 号化難易度の影響を受けない演算式に基づいて、 各符号化難易度検出手段によつ て検出された符号化難易度から各番組データ毎の仮の目標符号レ一トを演算し、 各番組データ毎に演算された仮の目標符号レートの総和が所定の許容範囲内に納 まるように、 仮の目標符号レ一卜から各番組毎の目標符号レ一トを演算する。 本発明の伝送システムは、 それぞれ画像データを含む複数の番組データを符号 化し、 符号化されたデータを多重化して伝送用データとして出力する伝送システ ムであって、 各番組データに含まれる画像データを符号化する際の符号化の難易 度を表す符号化難易度を、 各番組データ毎に検出する複数の符号化難易度検出手 段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符 号レ一卜に基づいて、 各番組データに含まれる画像データを符号化する複数の符 号化手段と、 各符号化手段によつて符号化されたデータを多重化して伝送用デ一 タとして出力する多重化手段と、 各番組データ毎に独自に設定された、 符号化難 易度から目標符号レートを演算するための演算式に基づいて、 各符号化難易度検 出手段によつて検出された符号化難易度から各番組デ一タ毎の目標符号レートを 演算し、 演算された目標符号レートを、 各符号化手段に対して供給する制御手段 とを備えたものである。 制御手段の特徴は、 符号化システムの場合と同様である 本発明の放送システムは、 それぞれ画像データを含む複数の番組データを符号 化し、 符号化されたデータを多重化して放送用データとして送信する放送システ ムであって、 各番組データに含まれる画像データを符号化する際の符号化の難易 度を表す符号化難易度を、 各番組データ毎に検出する複数の符号化難易度検出手 段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符 号レ一卜に基づいて、 各番組データに含まれる画像データを符号化する複数の符 号化手段と、 各符号化手段によって符号化されたデータを多重化して放送用デ一 タとして出力する多重化手段と、 各番組データ毎に独自に設定された、 符号化難 易度から目標符号レ一トを演算するための演算式に基づいて、 各符号化難易度検 出手段によつて検出された符号化難易度から各番組データ毎の目標符号レートを 演算し、 演算された目標符号レートを、 各符号化手段に対して供給する制御手段 とを備えたものである。 制御手段の特徴は、 符号化システムの場合と同様である 本発明のその他の目的、 特徴および利益は、 次の説明を以て十分明白になるで あろう。 図面の簡単な説明

第 1図は、 本発明の一実施の形態に係る画像符号化制御装置を含む統計多重シ ステムの概略の構成を示すプロック図である。

第 2図は、 第 1図に示した画像符号化装置の概略の構成を示すプロック図であ る。 第 3図は、 第 1図におけるコントローラの ドウヱァ構成を示すプロック図 である。

第 4図は、 本発明の一実施の形態における単位時間当たりの符号化難易度と割 当ビッ トレ一卜との関係を示す説明図である。

第 5図は、 本発明の一実施の形態における単位時間当たりの符号化難易度と割 当ビッ トレ一卜との他の関係を示す説明図である。

第 6図は、 本発明の一実施の形態における平均符号化難易度の推定値を更新し た際の、 単位時間当たりの符号化難易度と割当ビッ トレートの関係の変化を示す 説明図である。

第 7図は、 本発明の一実施の形態における各プログラムに対する目標ビッ トレ ―卜の割り当て動作を示す流れ図である。

第 8図は、 第 7図に続く動作を示す流れ図である。

第 9図は、 第 8図に続く動作を示す流れ図である。

第 1 0図は、 本発明の一実施の形態における変形例の動作を示す流れ図である 第 1 1図は、 本発明の一実施の形態の変形例における各プログラムに対する目 標ビッ トレ一卜の割り当て動作の一例を示す説明図である。

第 1 2図は、 従来の固定レートにより多重化した場合の各プログラムに対する 割当符号レートを説明するための説明図である。

第 1 3図は、 従来の符号レートを動的に変化させて多重化した場合の各プログ ラムに対する割当符号レートを説明するための説明図である。 発明を実施するための最良の形態

以下、 本発明の実施の形態について図面を参照して詳細に説明する。

第 1図は、 本発明の一実施の形態に係る画像符号化制御装置としてのコント口 —ラ、 複数の番組データを符号化する複数の符号化手段としての画像符号化装置 および各符号化手段の出力デ一タを多重化する多重化手段としての多重化装置を 含む統計多重システムの構成例を示すプロック図である。 この統計多重システム 1は、 本発明における符号化システム、 伝送システムならびに放送システムに対 応する。 統計多重システム 1は、 それぞれ、 本発明における番組データとしての プログラム S i ( iは 1以上の整数値） を入力し、 圧縮符号化する複数の画像符 号化装置 2 i と、 各画像符号化装置 2 i に対してフィードフォワード型のビッ ト レ一ト制御を行う本実施の形態に係る画像符号化制御装置としてのコントローラ 3と、 各画像符号化装置 2 i よりそれぞれ出力される圧縮符号化データ S t i を 多重化して、 伝送路に対して画像データ S _m を出力する多重化装置 4とを備えて いる。 統計多重システム 1は、 伝送システムとして用いられる場合には、 多重化 装置 4より出力される画像データ S _m を、 伝送用データとして伝送路に対して出 力するようになっている。 統計多重システム 1は、 放送システムとして用いられ る場合には、 多重化装置 4より出力される画像データ S_m を、 放送用データとし て、 放送用の伝送路を介して受信装置側に送信するようになっている。

第 3図は、 第 1図におけるコントロ一ラ 3のハ一ドウヱァ構成を示すブロック 図である。 コントローラ 3は、 C PU (中央処理装置） 5 1 と、 ROM (リード ' オンリ ' メモリ） 5 2と、 作業領域となる RAM (ランダム ' アクセス ' メモ リ） 5 3 と、 これらが接続されたバス 7 0とを備えている。 コントローラ 3は、 更に、 それぞれ、 インタ一フヱ一ス （第 3図では、 I /Fと記す。 ） 5 4〜5 9 を介してバス 7 0に接続された CRT (陰極線管） 6 0、 ハードディスク ドライ ブ 6 1、 C D (コンパク トディスク） 一ROMドライブ 6 2、 フロッピイデイス ク ドライブ 6 3、 キーボード 6 4およびマウス 6 5 とを備えている。

このコントロ一ラ 3では、 C PU 5 1力 RAM 5 3を作業領域として、 例え ば ROM 5 2あるいはハ一ドディスク ドライブ 6 1内のハードディスクに格納さ れたビッ トレ一ト制御プログラムを実行することによって後述する各機能を実現 するようになつている。 ビッ トレート制御プログラムは、 C D— ROMドライブ 6 2によって駆動される CD— ROMや、 フロッピィディスク ドライブ 6 3によ つて駆動されるフロッピィディスクに記録し、 これらからハ一ドディスク ドライ ブ 6 1内のハードディスクにインストールするようにしても良い。

第 2図は、 第 1図における画像符号化装置 2 i の詳細な構成を示すブロック図 である。 この図に示したように、 画像符号化装置 2 i は、 プログラム S i を入力 し、 圧縮符号化のための前処理等を行うエンコーダ制御部 1 1 と、 このェンコ一 ダ制御部 1 1の出力データを所定時間だけ遅延して出力するための F I FO (先 入れ先出し） メモリ 1 2と、 この F I FOメモリ 1 2の出力データを入力し、 ピ クチャ毎にピクチャタイプに応じた符号化方法によつて圧縮符号化して、 圧縮画 像データ S t i を出力するエンコーダ 1 3と、 エンコーダ制御部 1 1の出力デ一 夕に基づいて動きべク トルを検出し、 エンコーダ 1 3に送る動き検出回路 1 4と 、 エンコーダ制御部 1 1から出力される統計量データ S a i と動き検出回路 1 4 から出力される ME残差データ S z i とに基づいてエンコーダ 1 3を制御する符 号化制御部 1 5とを備えている。 なお、 ME残差とは、 簡単に言うと、 動き予測 誤差をピクチャ全体について絶対値和あるいは自乗和したものであり、 ME残差 データ S z i は、 ME残差を求めるためのデータであり、 後で詳しく説明する。 エンコーダ制御部 1 1は、 プログラム S i を入力し、 符号化する順番に従って ピクチャ （ I ピクチャ， Pピクチャ， Bピクチャ） の順番を並べ替える画像並べ 替え回路 2 1と、 この画像並べ替え回路 2 1の出力データを入力し、 フレーム構 造かフィ一ルド構造かを判別し、 判別結果に応じた走査変換および 1 6 X 1 6画 素のマクロプロック化を行う走査変換 'マクロプロック化回路 2 2と、 この走査 変換'マクロブロック化回路 2 2の出力データを入力し、 I ピクチャにおけるィ ントラ ACやアクティ ヴィティやフラッ トネス等の統計量を算出し、 統計量デー タ S a i を符号化制御部 1 5に送ると共に、 走査変換 ·マクロプロック化回路 2 2の出力データを F I F 0メモリ 1 2および動き検出回路 1 4に送る統計量算出 回路 2 3とを備えている。 イントラ ACやアクティヴィティやフラッ トネスにつ いては、 後で詳しく説明する。

エンコーダ 1 3は、 F I F 0メモリ 1 2の出力データと予測画像データとの差 分をとる減算回路 3 1と、 この減算回路 3 1の出力データに対して、 DCTプロ ック単位で DCTを行い、 DCT係数を出力する DCT回路 3 2と、 この DCT 回路 3 2の出力データを量子化する量子化回路 3 3と、 この量子化回路 3 3の出 力データを可変長符号化する可変長符号化回路 3 4と、 この可変長符号化回路 3 の出力データを一旦保持し、 ビッ トストリ一ムからなる圧縮符号化データ S t i として出力するバッファメモリ 3 5と、 量子化回路 3 3の出力データを逆量子 化する逆量子化回路 3 6と、 この逆量子化回路 3 6の出力データに対して逆 D C Tを行う逆 D C T回路 3 7と、 この逆 D C T回路 3 7の出力データと予測画像デ —夕とを加算して出力する加算回路 3 8と、 この加算回路 3 8の出力データを保 持し、 動き検出回路 1 4から送られる動きべク トルに応じて動き補償を行って予 測画像データを減算回路 3 1および加算回路 3 8に出力する動き補償回路 3 9と を備えている。

動き検出回路 1 4は、 エンコーダ制御部 1 1の出力データに基づいて、 圧縮符 号化の対象となるピクチャの注目マクロプロックと、 参照されるピクチャにおい て注目マクロブロックとの間の画素値の差分の絶対値和あるいは自乗和が最小と なるマクロブロックを探して、 動きべク トルを検出して動き補償回路 3 9に送る ようになつている。 また、 動き検出回路 1 4は、 動きべク トルを求める際に、 最 小となったマクロプロック間における画素値の差分の絶対値和あるいは自乗和を 、 M E残差データ S z i として符号化制御部 1 5に送るようになっている。

符号化制御部 1 5は、 動き検出回路 1 4からの M E残差データ S z i をピクチ ャ全体について足し合わせた値である M E残差を算出する M E残差計算部 4 1と 、 この M E残差計算部 4 1によって算出された M E残差と統計量算出回路 2 3力、 らの統計量データ S a i とに基づいて、 ピクチャの符号化の難易度を表す符号化 難易度 D i を算出し、 コントローラ 3に送る符号化難易度計算部 4 2とを備えて いる。

符号化制御部 1 5は、 更に、 符号化難易度計算部 4 2によって算出された符号 化難易度 D i に基づいてコントロ一ラ 3において決定された目標ビッ トレート Ta rgetjate ； となるように量子化回路 3 3における量子化特性値に対応する量子 化インデックスを決定し、 量子化回路 3 3に送る量子化インデックス決定部 4 5 を備えている。

ここで、 符号化難易度 （Difficulty) について説明する。 符号化難易度は、 ピ クチャの符号化の難易度を表すものであって、 これは、 符号化したときに同じ画 質を保っために必要なデータ量の比率と言い換えることができる。 符号化難易度 を数値化する方法は種々考えられる。 符号化難易度を算出するためのパラメ一タ としては、 前述のように、 M E残差、 イントラ A C、 アクティヴィティ、 フラッ トネス等がある。 なお、 イントラ ACとは、 I ピクチャにおいて、 8 x 8画素の DCT (離散コサイン変換） ブロック内の各画素の画素値と DC Tブロック内の 画素値の平均値との差分の絶対値の総和として定義され、 絵柄の複雑さを表すも のといえる。 また、 アクティヴィティとは、 映像の絵柄の複雑さを表し、 例えば 原画の輝度信号の画素値の分散に基づいて算出され、 TM5 (Test Model Editi ng Commitee ： "Test Model 5" ； ISO/IEC JTC/SC292/fGll/N0400(Apr.1993)) 等 においてマクロブロックの量子化値の算出のために用いられる。 フラッ トネスと は、 映像の空間的な平坦さを表す指標として定義され、 映像の複雑さを表し、 映 像の絵柄の難しさ （難度） および圧縮後のデータ量と相関性を有する。 前述のよ うに、 イントラ ACおよびアクティヴィティは絵柄の複雑さを表し、 ME残差は 映像の動きの速さおよび絵柄の複雑さを表し、 フラッ トネスは映像の空間的な平 坦さを表し、 これらは符号化の難易度と強い相関があることから、 これらを変数 とする一次関数等により、 符号化難易度を算出することが可能である。

ここで、 統計量の一例としてのイントラ ACは、 以下の式によって表される。

Intra— AC =∑ I f c u r r (x, y) - (∑ f o_Urr) /N) I

なお、 この式において、 Intra_ACは、 イントラ ACを表し、 i _curr (x, y ) は、 D CTブロック内の各画素の画素値を表し、 ∑ i _currは、 DCTブロック 内の画素値の総和を表し、 Nは D C Tブロック内の画素数を表している。 また、 ∑は、 D C Tプロック内の各画素についての総和を表している。

また、 本出願人は、 符号化難易度をより正確に数値化する手法として、 例えば TM5において規定され、 以前に符号化した同じタイプのピクチャにおける画面 の複雑さを示すパラメータであるグロ一バル ' コンプレキシティ （Global Compl exity ) や、 符号化処理に先立って取得 （以下、 先読みと言う。 ） した統計量 （ ME残差、 ァクティヴィティ、 フラッ トネスおよびィントラ AC) から符号化難 易度へ変換する変換式を時々刻々、 学習により更新していく方法を提案している 0 この方法では、 例えば、 1つのピクチャを圧縮する毎に、 グロ一バル' コンプ レキシティを先読みした統計量で除算して、 符号化難易度データの近似に用いら れる重み付け係数を算出し、 演算処理に用いられる重み付け係数を更新する。 こ の重み付け係数の更新により、 常に、 映像データの絵柄に最適な重み付け係数を 用いることができ、 先読みした統計量により符号化難易度を高い精度で近似する ことが可能になる。

このような手法により先読みした統計量 （イントラ A C , アクティヴィティ等 ) に基づいて、 精度の高い符号化難易度が得られる場合、 その符号化難易度を用 いて統計多重における各プログラムの目標ビッ トレ一ト Target Rate を決定する ことが可能である。

次に、 符号化難易度に基づいた各プログラムへの目標ビッ トレートの割当方法 について説明する。 以下、 簡単のために、 先読みされる符号化難易度データは 1 G O P (Group Of Picture) 分であるとして説明する。 ここで、 1 G O Pのピク チヤの枚数は N枚であるとする。 すなわち、 i番目のプログラムのピクチャ jを 符号化するときに、 ピクチャ jからピクチャ j + N— 1までの N枚のピクチャに 関する符号化難易度データ D i . i〜D i . i + N - !が得られているものとする。 また

、 簡単のために、 各画像符号化装置は、 毎フレーム単位に目標ビッ トレ一トを変 更可能であるとする。 なお、 各画像符号化装置が G O P単位にしか目標ビッ トレ ―トを変更できない場合の目標ビッ トレ一卜の割当方法については、 本実施の形 態の変形例において説明する。

次に、 コントローラ 3が各プログラムに割り当てる目標ビッ トレ一トを決定す る動作の概略について説明する。 コントローラ 3は、 各プログラムそれぞれに、 符号化難易度と目標ビッ トレ一卜との対応関係を表す式として、 符号化難易度を 目標ビッ トレートに変換するための変換式を与え、 この変換式を用いて、 各プロ グラムが要求する暫定的な目標符号レ一トとしての仮のビッ トレ一トを計算する ようになつている。 そこで、 各プログラムの仮のビッ トレ一卜の合計と、 所定の 許容値、 例えば全体の回線容量との比率を用いて、 実際に各プログラムに割り当 てる目標ビッ トレートを計算するようになっており、 その際、 各プログラムの符 号化難易度から目標ビッ トレ一卜への変換式は、 そのプログラムについての仮の ビッ トレ一卜の平均値がそのプログラムに対して予め設定された目標ビッ トレ一 卜の平均値に近づくように、 既に取得した符号化難易度データに基づいて、 随時 更新していくようになっている。 また、 符号化難易度データについても、 常に最 新の N枚の符号化難易度データを単位時間当たりの符号化難易度に換算すること により、 各プログラムの G O Pの位相がそろっていない状況においても、 最新の 状態に基づいた目標ビッ トレ一卜の割当を可能にする。

以下に、 コントローラ 3が各プログラムに割り当てる目標ビッ トレ一ト決定の ためのピクチャ毎に行う 3つのステップについて、 詳細に説明する。 なお、 以下 の説明は、 本実施の形態に係る画像符号化制御方法の説明を兼ねている。 第 1の ステップでは、 コント口一ラ 3は、 各プログラム毎に、 最新の N枚のデータから 、 単位時間当たりの符号化難易度を求めるようになつている。 ここでは、 コント ローラ 3は、 まず、 全プログラムについて、 符号化難易度計算部 4 2により求め られた最新の N枚の符号化難易度データの合計∑ D _{i k}を求める。 そして、 プログ ラム S i がピクチャ jをこれから符号化する際には、 最新の N枚の符号化難易度 の平均値にピクチャレート Picture— Kateを掛けることにより、 1秒当たりに換算 した符号化難易度 D A i を次の式 （3 ) により求める。 なお、 ∑は、 k = j〜j + N - 1についての総和を意味する。

D A i = (∑ D i _k X Picture— Rate) / N ··· ( 3 )

ここで、 単位時間 （ 1秒間） 当たりに換算した符号化難易度 D A i を求める理 由は、 2— 3プルダウンを行うプログラム等において 1 G 0 Pに必要な時間が異 なったり、 各プログラム毎に G O Pの長さが異なったりする場合があり、 G O P 単位の符号化難易度の合計からだけでは、 目標ビッ トレ一トを決定できないから である。

次に、 第 2のステップでは、 コントローラ 3は、 各プログラムについて、 単位 時間当たりの符号化難易度を目標ビッ 卜レ一卜に変換するための変換式を用いて 、 各プログラムが要求する仮のビッ トレ一トを決定するようになっている。 ここ では、 コントローラ 3は、 単位時間 （1秒） 当たりに換算した符号化難易度 D A i を用いて、 各プログラム毎の仮のビッ トレ一ト Tmp Rateを決定する。 また、 コ ントロール 3は、 符号化難易度 D A ; から仮のビッ トレ一ト Tmp一 Rateへの変換式 を最新のものに更新する。

ここで、 D V D (ディジタルビデオディスク） 等のォ一サリング （制作） に用 いられる 2パスェンコ一ディ ングにおいても採用されているように、 符号化難易 度とビッ トレー卜の関係は、 両者の比が一定な比例関係ではなく、 符号化難易度 が小さいところには比例関係と比較して多めに、 符号化難易度が大きいところに は比例関係と比較して少なめにビッ トレ一トを割り当てる方が人間の主観的な画 質評価結果が向上する。 そこで、 本実施の形態では、 符号化難易度から目標ビッ トレ—卜への変換式を、 符号化難易度が大きいほど目標ビッ トレ一卜が大きくな り、 且つ、 符号化難易度がその平均値よりも大きい所定の範囲では、 符号化難易 度と目標ビッ 卜レ一卜が比例関係である場合に比べて同じ符号化難易度に対応す る目標ビッ トレートは小さくなり、 符号化難易度がその平均値よりも小さい所定 の範囲では、 符号化難易度と目標ビッ トレ一トが比例関係である場合に比べて同 じ符号化難易度に対応する目標ビッ トレ一トは大きくなるように設定する。

第 4図は、 上述の趣旨に従った、 単位時間当たりに換算した符号化難易度 D A i と割り当てるビッ トレートとの関係の一例を表したものである。 この図におい て、 縦軸は割り当てるビッ トレート、 横軸は単位時間当たりに換算した符号化難 易度 D A i を示す。 第 4図に示したように、 本実施の形態では、 符号化難易度 D A i から目標ビッ トレ一ト （この場合、 仮のビッ トレ一ト） Tmp— Rate ! への変換 式を、 符号化難易度 D A i が大きいほど目標ビッ トレート Tmp— Rate ! が大きくな り、 且つ、 符号化難易度 D A i がその平均値 Avg— Difficultyよりも大きい所定の 範囲では、 符号 9 0で示した符号化難易度 D A i と目標ビッ トレ一ト Tmp— Rate i が比例関係である場合に比べて同じ符号化難易度 D A i に対応する目標ビッ トレ ート Tmp— Ratei は小さくなり、 符号化難易度 D A i がその平均値 Avg— Difficulty よりも小さい所定の範囲では、 符号化難易度 D A i と目標ビッ トレート Tmpjiate が比例関係である場合に比べて同じ符号化難易度 D A i に対応する目標ビッ ト レート Tmp— Ratei は大きくなるように設定している。 なお、 図中、 Max— Rate, Mi n_Rateおよび Avg一 Rateは、 各プログラム毎に設定されている最大ビッ トレ一ト、 最小ビッ トレ一卜、 平均ビッ トレ一トである。 なお、 各プログラム毎に設定され る平均ビッ トレートの合計は、 回線 （伝送路） 容量 Total— Rateを上回ってはなら ない。 また、 図中、 Avg_Difficultyは、 符号化する入力映像素材の平均符号化難 易度の推定値である。 推定値とするのは、 入力映像素材の符号化難易度は、 無限 に符号化が継続するような放送のアプリケ—ションでは不明であるため、 過去の 符号化結果から推定するしかないためである。 この Avg— Difficultyの更新方法は 後述する。

このように Max Rate, Min Rate, Avg— Rateおよび Avg— Difficultyが与えられた とき、 符号化難易度 D A i と、 i番目のプログラムに割り当てられる仮のビッ ト レート Tmp— Rate i との関係は、 第 4図に示した例では、 符号化難易度 D A i が 0 であるとき Min— Rate、 符号化難易度 D A i が Avg— Difficultyであるとき Avg— Rate となるような直線で示され、 且つ、 ビッ トレ一トカ <Max— Rateを越えないような制 限が設けられる。 すなわち、 次の式 （4 ) によりプログラム iの仮のビッ トレ一 ト Tmp_Rate i が決定される。

Tmp Rate , = m i n {Min Rate+ (Avg Rate— Min Rate) Avg— Difficulty x

D A i , Max Rate} ··· ( 4 )

なお、 m i n { x , y } は、 xと yのうちの小さい方をとるという意味である このようにして、 コントローラ 3は、 全てのプログラムに対する仮のビッ 卜レ ―ト Tmp_Rateを決定する。 なお、 符号化難易度とビッ 卜レー トとの関係は、 第 5 図における Aに示したような直線関係ではなく、 第 5図における Bに示したよう な、 符号化難易度が大きいほどビッ トレ一卜が大きくなり、 且つ、 符号化難易度 がその平均値よりも大きい所定の範囲では、 符号化難易度が大きくなるに従って 、 符号化難易度の変化に対するビッ トレートの変化の傾きが小さくなるように、 例えば指数関数的に傾きが緩やかになるような関係式により定義しても良い。 次に、 ステップ 3では、 コントローラ 3は、 全てのプログラムからの仮のビッ トレ一トを足し合わせたものと、 全体の回線容量との比率を用いて、 各プログラ ムの目標ビッ トレ一トを決定する。 この際、 各プログラムの目標ビッ 卜レート力く 、 それぞれの最大ビッ トレ一ト、 最小ビッ トレー卜の制限を越えないような処理 を行うようになっている。 ここでは、 コントローラ 3は、 まず、 全てのプログラ ムに対して求められた仮のビッ トレ一ト Tmp— Kate 〜Tmp— Rate_L の総和 Sum— Tmp Rateを次の式 （5 ) により求める。 なお、 ∑は k = 1〜 Lについての総和を意味 する。

Sum TmD Rate=∑ Tmp Ratek … ( 5 ) 次に、 コントローラ 3は、 式 （ 5 ) により求めた仮のビッ トレートの総和 Sum— Tmpjateと回線容量 Total— Rateを比較し、 回線容量 Total— Rateを越えていたり、 あるいは大きく下回っていないかどうかを検証し、 その結果に基づいて実際の目 標ビッ トレ一ト Target— Rate を決定する。

仮のビッ トレ一卜の総和 Sum— Tmp—Rateが回線容量 Total— Rateを越えている場合 は、 各プログラムが要求するビッ トレ一卜の合計が回線容量を上回っているため 、 各プログラムの最終的な目標ビッ トレ一ト Target— Rate は、 仮のビッ トレート Tmp— Rateよりも低く しなければならない。 そこで、 コントローラ 3は、 基本的に は、 各プログラムの目標ビッ トレ一ト Target— Rate を次の式 （ 6 ) により決定 する。

Target Rate = Tmp Rate, (Total_Rate/Sum_Tmp_Rate)

= m i n {Min_Rate+ (Avg— Rate— Min— Rate) ZAvg— Difficulty x D A , , Max— Rate} x (Total— RateZSum— Tmp— Rate) … （ 6 ) しかしながら、 このように各プログラムの目標ビッ トレ一 トを下げた場合には 、 各プログラムに対して設定された最小ビッ トレ一ト Min— Rateを下回るプログラ ムが出る可能性もある。 そこで、 目標ビッ トレ一ト Target— Kate ； が最小ビッ ト レート Min一 Rate ; よりも小さくなるプログラムが存在する場合には、 そのプログ ラムの目標ビッ トレ一ト Target— Kate の値を最小ビッ トレ一 卜 Min— Rate とし 、 回線容量 Total— Rateから最小ビッ トレ一ト Min_Rate としたプログラムのビッ トレ一トを差し引き、 その残りのビッ トレ一トを各プログラムに対して分配する その際、 最小ビッ トレ一ト Min_Rateではないプログラム iの目標ビッ 卜レート Target— Rate ■ は次の式 （ 7 ) により表される。 なお、 ∑Min— Rate_k は目標ビッ トレ一トを最小ビッ トレ一トとしたプログラムについての総和であり、 ∑Tmp_Ra te_k は最小ビッ トレ一トとしたプログラムの仮のビッ トレ一卜の総和を意味する

Target— Rate =Tmp_Rate > x (Total—Rate -∑ Min— Rate_k )

/ (Sum— Tmp— Rate—∑ Tmp— Rate_k ) … （ 7 )

コントローラ 3は、 式 （ 7 ) によりビッ トレ一トを分配後、 新たに最小ビッ ト レート Min Rateを下回るプログラムが存在した場合は、 そのプログラムのビッ ト レ一卜の値を最小ビッ トレ一卜として、 残りのプログラムについて、 式 （7 ) に より目標ビッ トレートを決定する。

一方、 仮のビッ トレ一卜の総和 Sum— Tmpjateが回線容量 Total_Rateを越えてい ない場合は、 各プログラムが要求するビッ トレ一卜の合計が回線容量と等しいか 回線容量を下回っている。 従って、 回線容量を越えることはないので、 必ずしも 修正する必要はない。 しかし、 回線容量を有効利用してよりよい画質を実現する ために、 各プログラムの目標ビッ トレ一トを仮のビッ 卜レートよりも高くするこ とが可能である。 そこで、 本実施の形態では、 コントローラ 3は、 基本的には、 式 （6 ) により、 各プログラムの目標ビッ ドレ一ト Target_Rate i を決定する。 この場合、 仮のビッ トレ一ト Tmp— Rate i よりも大きな値の目標ビッ トレ一ト Targ et— Rate i が得られる。 しかしながら、 このように各プログラムの目標ビッ トレ —トを上げた場合には、 各プログラムに対して設定された最大ビッ トレ一 ト Max_ Rateを上回るプログラムが出る可能性もある。 そこで、 式 （ 6 ) により決定され た目標ビッ トレ一ト Target— Rate i が最大ビッ トレ—ト Max— Rate i よりも大きく なるプログラムが存在する場合には、 そのプログラムのビッ トレ一卜の値を最大 ビッ トレ一ト Max— Rate ; とし、 回線容量 Total— Rateから最大ビッ トレ一ト Max Ra tei としたプログラム iのビッ 卜レ一トを差し引き、 その残りのビッ トレ一 卜を 各プログラムに分配する。 その際、 最大ビッ トレ一卜 Max— Rateではないプログラ ム iの目標ビッ トレ一 卜 Target— Rate ； は次の式 （ 8 ) により表される。 なお、 ∑Max_Rate_k は目標ビッ トレ一トを最大ビッ トレ一卜としたプログラムについて の総和であり、 ∑ Tmpjate. は最大ビッ トレ一トとしたプログラムの仮のビッ ト レ一卜の総和を意味する。

Target Rate > = Tmp Rate , x (Total— Rate—∑ Max Ratek )

/ (Sum Tmpjate-∑Tmp_Rate_k ) ··· ( 8 )

コントロ一ラ 3は、 式 （8 ) によりビッ トレ一トを分配後、 新たに最大ビッ ト レート Max— Rateを上回るプログラムが存在した場合は、 そのプログラムのビッ ト レートの値を最大ビッ トレ一ト Max_Ratei として、 残りのプログラムについて、 式 （8 ) により目標ビッ トレ一卜を決定する。

また、 本実施の形態では、 前述のように各プログラムの符号化難易度から目標 ビッ トレ一卜への変換式 （ 6 ) は、 そのプログラムについての仮のビッ トレ一ト の平均値がそのプログラムに対して予め設定された平均ビッ トレ一卜に近づくよ うに、 既に取得した符号化難易度に基づいて、 随時更新していくようにしている 。 そのため、 コントローラ 3は、 生成した符号化難易度を用いて平均符号化難易 度を更新するようになっている。 ここで、 各プログラムの符号化難易度に対する ビッ トレ一卜の関係式を決定しているパラメータは、 初期値として設定する Max— Rate, Minjate, Avgjateと、 変数である Avg_Difficultyである。 例えば映画の ように、 すでにある時間範囲の映像の符号化難易度の平均値が判つている場合は その値を用いればよいが、 通常は符号化難易度の平均値はわかっていない。 そこ で、 例えば G O Pに 1回の間隔で、 1秒間当たりに換算した符号化難易度 D A i を用いて、 符号化する入力映像素材の平均の符号化難易度 Avg_Diffic_Ultyを更新 する。 Avg_Difficultyの求め方は、 種々考えられるが、 例えば以前の Avg_Difiic ultyに重みを付けて、 最新の符号化難易度 D A i との平均をとる方法により求め られる。 この場合、 平均符号化難易度 Avg— Difficultyは、 次の式 （9 ) により求 められる。

Avg_Difficulty= { (w - 1 ) x Avg_Diff iculty' + D A i } /w - ( 9 ) なお、 Avg— Difficulty' は、 前回の計算結果の平均符号化難易度であり、 wは 重み係数であり、 十分に大きな整数値 （例えば 2 5 6 ) とする。 重み係数 wの大 きさは、 符号化難易度の平均値の変動の時定数に対応し、 重み係数 wの値が大き いほど、 平均値の変動は少ないが、 実際の符号化難易度の平均値に近づくまでに は時間がかかるため、 アプリケ一ションに応じて重み係数 wの大きさを設定する のが望ましい。

また、 Avg— Difficultyの初期値には、 統計的に求められた値が用いられる。 例 えば、 入力映像の符号化の条件 （解像度， プルダウンの有無等） および入力映像 素材の種類 （映画， ビデオ， スポーツ， ニュース等） によって、 入力素材の平均 符号化難易度として想定される値が設定される。 例えば映像素材の場合は、 2— 3プルダウンおよびフレーム D C Tによる圧縮効率の向上が得られることから、 符号化難易度の平均値は一般的にビデオ素材よりもかなり小さくなるため、 Avg Difficultyの初期値としては小さめの値を設定する。

このようにして、 Avg_Difficultyが求められると、 仮のビッ トレ一トを算出す る式 （4 ) が更新される。 第 6図は、 Avg_Difficultyが更新されたときの符号化 難易度とビッ トレートの対応関係の変化の一例を表したものである。 図中、 Cは 更新される前の平均符号化難易度 E (Avg— Difficulty' ) に基づく対応関係を表 し、 Dは更新された後の平均符号化難易度 Fに基づく対応関係を表したものであ る。 第 6図に示したように、 符号化難易度が更新されると、 符号化難易度から仮 のビッ トレ一卜を求める変換式も若干変更され、 結果として、 全体の目標符号量 の範囲内で符号化できるように補正される。 例えば、 第 6図に示した例では、 最 新の符号化難易度が平均値 Avg— Difficultyを大きく上回ったために、 Avg—Diffic ultyが大きくなるように更新され、 その結果、 変換式の傾きが緩やかになってい る。

次に、 第 1図に示した統計多重システム 1の動作について説明する。 この統計 多重システム 1では、 プログラム S i は、 それぞれ、 画像符号化装置 2 i によつ て符号化される。 各画像符号化装置 2 i は、 各プログラム S i について、 これか ら符号化しょうとする画像に関する符号化の難易度を表す符号化難易度 D i をコ ントロ一ラ 3にそれぞれ出力する。 コントローラ 3は、 統計多重の手法を用いて 、 入力された符号化難易度 D i に基づいて、 各プログラム S i に対する単位時間 当たりの目標発生符号量である目標符号レ一トとしての目標ビッ 卜レ一ト Target Jate i をそれぞれ決定し、 各画像符号化装置 2 i に対して設定する。 画像符号 化装置 2 i は、 設定された目標ビッ トレ一ト Target— Rate i に基づいて、 プログ ラム S i をそれぞれ圧縮符号化し、 圧縮符号化データ S t _; を多重化装置 4に出 力する。 多重化装置 4は、 入力された各圧縮符号化データ S t； を多重化して出 力用の画像データ S mを生成し、 伝送路に対して出力する。

次に、 第 2図に示した画像符号化装置 2 i の動作について説明する。 まず、 プ ログラム S i は、 画像符号化装置 2 i のエンコーダ制御部 1 1に入力される。 ェ ンコーダ制御部 1 1では、 まず、 画像並べ替え回路 2 1によって、 符号化する順 番に従ってピクチャ （ I ピクチャ， Pピクチャ， Bピクチャ） の順番を並べ替え 、 次に、 走査変換 'マクロブロック化回路 2 2によって、 フレーム構造かフィ一 ルド構造かを判別し、 判別結果に応じた走査変換およびマクロプロック化を行い 、 次に、 I ピクチャの場合には、 統計量算出回路 2 3によって、 イントラ A Cを 算出して統計量データ S a i を符号化制御部 1 5の符号化難易度計算部 4 2に送 る。 また、 走査変換 ·マクロプロック化回路 2 2の出力データは、 統計量算出回 路 2 3を経て、 F I F Oメモり 1 2および動き検出回路 1 4に送られる。

F I F Oメモリ 1 2は、 符号化難易度計算部 4 2において、 符号化が終了した ピクチャに引き続く N枚分のピクチャの符号化難易度を算出するのに必要な時間 だけ、 入力した圃像データを遅延して、 エンコーダ 1 3に出力する。 動き検出回 路 1 4は、 動きべク トルを検出して動き捕償回路 3 9に送ると共に、 M E残差デ —夕 S z i を符号化制御部 1 5の M E残差計算部 4 1に送る。

I ピクチャの場合には、 エンコーダ 1 3では、 減算回路 3 1において予測画像 データとの差分をとることなく、 F I F Oメモリ 1 2の出力データをそのまま D C T回路 3 2に入力して D C Tを行い、 量子化回路 3 3によって D C T係数を量 子化し、 可変長符号化回路 3 4によって量子化回路 3 3の出力データを可変長符 号化し、 バッファメモリ 3 5によって可変長符号化回路 3 4の出力データを一旦 保持し、 ビッ トストリームからなる圧縮符号化データ S t i として出力する。 ま た、 逆量子化回路 3 6によって量子化回路 3 3の出力データを逆量子化し、 逆 D C T回路 3 7によって逆量子化回路 3 6の出力データに対して逆 D C Tを行い、 逆 D C T回路 3 7の出力画像データを加算回路 3 8を介して動き補償回路 3 9に 入力して保持させる。

Pピクチャの場合には、 エンコーダ 1 3では、 動き補償回路 3 9によって、 保 持している過去の I ピクチャまたは Pピクチャに対応する画像データと動き検出 回路 1 4からの動きべク トルとに基づいて予測画像データを生成し、 予測画像デ —タを減算回路 3 1および加算回路 3 8に出力する。 また、 減算回路 3 1によつ て、 F I F 0メモリ 1 2の出力データと動き補償回路 3 9からの予測画像データ との差分をとり、 D C T回路 3 2によって D C Tを行い、 量子化回路 3 3によつ て D C T係数を量子化し、 可変長符号化回路 3 4によって量子化回路 3 3の出力 データを可変長符号化し、 バッファメモリ 3 5によって可変長符号化回路 3 4の 出力データを一旦保持し圧縮符号化データ S t i として出力する。 また、 逆量子 化回路 3 6によって量子化回路 3 3の出力データを逆量子化し、 逆 D C T回路 3 7によって逆量子化回路 3 6の出力データに対して逆 D C Tを行い、 加算回路 3 8によって逆 D C T回路 3 7の出力データと予測画像データとを加算し、 動き補 償回路 3 9に入力して保持させる。

Bピクチャの場合には、 エンコーダ 1 3では、 動き補償回路 3 9によって、 保 持している過去および未来の I ピクチャまたは Pピクチャに対応する 2つの画像 データと動き検出回路 1 4からの 2つの動きべク トルとに基づいて予測画像デ一 夕を生成し、 予測画像データを減算回路 3 1および加算回路 3 8に出力する。 ま た、 減算回路 3 1によって、 F I F Oメモリ 1 2の出力データと動き補償回路 3 9からの予測画像データとの差分をとり、 D C T回路 3 2によって D C Tを行い 、 量子化回路 3 3によって D C T係数を量子化し、 可変長符号化回路 3 4によつ て量子化回路 3 3の出力データを可変長符号化し、 バッファメモリ 3 5によって 可変長符号化回路 3 4の出力データを一旦保持し圧縮符号化データ S t i として 出力する。 なお、 Bピクチャは動き補償回路 3 9に保持させない。

次に、 第 7図ないし第 9図の流れ図を参照して、 画像符号化装置 2の符号化制 御部 1 5およびコントローラ 3の動作について説明する。 この動作では、 まず、 コントローラ 3は、 全回線容量 Total_Rateの設定を行う （ステップ S 1 0 1 ) 。 次に、 コントローラ 3は、 全プログラムに対して最大ビッ 卜レート Max_Rate、 最 小ビッ トレ一卜 Min一 Rate、 平均ビッ トレ一ト Avg— Rate、 解像度、 プルダウン等の 符号化条件を設定する （ステップ S 1 0 2 ) 。 この符号化条件に応じて、 コント ローラ 3は、 全プログラムに対して、 平均符号化難易度 Avg_Difficultyの初期値 を設定する （ステップ S 1 0 3 ) 。 次に、 フレーム毎の処理が開始される。 すな わち、 まず、 符号化制御部 1 5の符号化難易度計算部 4 2によって、 全プログラ ムについて、 M E残差等に基づいて、 ピクチャ j + N— 1の符号化難易度 D i が 求められ、 記憶される （ステップ S 1 0 4 ) 。 次に、 コントローラ 3は、 全プロ グラムについて、 符号化難易度計算部 4 2により求められた最新の N枚の符号化 難易度に基づいて、 式 （3 ) により、 単位時間 （1秒） 当たりに換算した符号化 難易度 D A i を求める （ステップ S 1 0 5 ) 。 次に、 コントローラ 3は、 この符 号化難易度 D A i を用いて、 式 （4 ) により、 各プログラムの仮のビッ 卜レ一ト Tmp— Rateを決定する （ステップ S 1 0 6 ) 。 次に、 コントローラ 3は、 全てのプ ログラムに対して求められた仮のビッ トレート Tmp— Ratei 〜Tmp— Rate_L の総和 Su m— Tmp—Rateを式 （5) により求める （ステップ S 1 0 7) 。

次に、 コントローラ 3は、 仮のビッ トレ一卜の総和 Sum— Tmp_Rateが回線容量 To taljateを越えているか否かを判断する （ステップ S 1 0 8) 。 仮のビッ トレ一 卜の総和 SumJTinp— Kateが回線容量 Total_Rateを越えている場合 （ステップ S 1 0 8 ； Y) は、 仮のビッ トレ一ト Tmp— Rateを修正して、 各プログラムの目標ビッ ト レート Target— Rate を決定する。 具体的には、 まず、 式 （6) により、 各プログ ラムについて目標ビッ トレ一ト Target_Rate を計算する （ステップ S 1 0 9) 。 次に、 最小ビッ トレ一ト Min— Rateを下回るプログラムが存在するか否かを判定す る （ステップ S 1 1 0) 。 最小ビッ トレ一ト Min_Rateを下回るプログラムが存在 した場合 （ステップ S 1 1 0 ； Y) は、 そのプログラムのビッ トレートの値を最 小ビッ トレート Min— Rateとして設定する （ステップ S 1 1 1) 。 次に、 コント口 —ラ 3は、 ステップ S 1 0 9に戻り、 最小ビッ トレ一 ト Min— Rateではないプログ ラムのビッ トレート Target— Rate を、 式 （ 7 ) により求めて、 それらのプログ ラムに対して分配する （ステップ S 1 0 9) 。 また、 最小ビッ トレ一ト Min— Rate を下回るプログラムが存在しない場合 （ステップ S 1 1 0 ； N) は、 コント口一 ラ 3は、 全ての画像符号化装置 2 の量子化インデックス決定部 4 5に目標ビッ トレ一ト Target_Rate を設定する （ステップ S 1 1 5) 。

一方、 仮のビッ トレートの総和 Sum— Tmp— Rateが回線容量 Total— Rateを越えてい ない場合 （ステップ S 1 0 8 ； N) も、 仮のビッ トレ一ト Tmp_Rateを修正して、 各プログラムの目標ビッ トレ一ト Target— Rate を決定する。 具体的には、 まず、 式 （6) により、 各プログラムの目標ビッ トレ一ト Target— Rate を計算する （ス テツプ S 1 1 2) 。 次に、 最大ビッ トレ一ト Max— Rateを上回るプログラムが存在 するか否かを判定する （ステップ S 1 1 3 ) 。 最大ビッ トレ一ト Maxjateを上回 るプログラムが存在した場合 （ステップ S 1 1 3 ； Y) は、 そのプログラムのビ ッ トレー卜の値を最大ビッ トレ一ト Maxjateとして設定する （ステップ S 1 1 ) 。 次に、 コントロ一ラ 3は、 ステップ S 1 1 2に戻り、 最大ビッ トレ一ト Max— Rateではないプログラムの目標ビッ トレ一ト Target Rate を、 式 （ 8 ) により 求めて、 それらのプログラムに対して分配する （ステップ S 1 1 2 ) 。 また、 最 大ビッ トレ一卜 Max—Rateを上回るプログラムが存在しない場合 （ステップ S 1 1 3 ； N ) は、 コントローラ 3は、 全ての画像符号化装置 2 i の量子化ィンデック ス決定部 4 5に目標ビッ トレ一ト Target_Rate i を設定する （ステップ S 1 1 5

) o

次に、 量子化ィンデックス決定部 4 5は、 コントローラ 3により設定された目 標ビッ トレ一ト Target_Eate i となるように量子化回路 3 3における量子化特性 値に対応する量子化インデックスを決定し、 量子化回路 3 3に送る。 これに応じ て、 ピクチャ】· の符号化が行われる （ステップ S 1 1 6 ) 。 なお、 ピクチャ j と は、 今から符号化するピクチャを意味する。

ピクチャ jの符号化が終了したら、 次のピクチャの処理のために、 j + 1を新 たな】 とし （ステップ S 1 1 7 ) 、 ピクチャ jが G 0 Pの最後のフレームである プログラムについてのみ、 生成した符号化難易度を用いて、 式 （9 ) により平均 符号化難易度 AvgJ)ifiicultyを更新する （ステップ S 1 1 8 ) 。

次に、 ピクチャ jの符号化を終了するか否かを判定し （ステップ S 1 1 9 ) 、 符号化を続ける場合 （ステツプ S 1 1 9 ； N ) は、 ステップ S 1 0 4に戻り、 符 号化を終了する場合 （ステップ S 1 1 9 ； Y ) は、 第 7図ないし第 9図に示した 動作を終了する。

以上説明したように本実施の形態によれば、 各プログラム毎に設定された符号 化難易度と目標ビッ トレ一トとの対応関係に基づいて、 各プログラム毎に、 符号 化難易度に対応する仮のビッ トレ一トを算出し、 仮のビッ トレー卜の合計と全体 の回線容量との比率により求めた目標ビッ トレ一トカ、 各プログラムの最大ある いは最小ビッ トレートの制限を越えた場合には、 最大あるいは最小ビッ トレ一ト により制限し、 仮のビッ トレートの合計から最小あるいは最大ビッ トレ一トによ り制限したビッ トレ一卜を差し引き、 その残りのビッ トレ一トを各プログラムに 配分するようにしたので、 人間にとつての主観的に最適な絵柄の実現を可能にす ると共に、 デジタル放送局の運用上必要な、 平均ビッ トレ一ト、 最大あるいは最 小ビッ トレ一トの設定に対応した目標ビッ トレ一トの割当が可能となる。

また、 本実施の形態では、 G O P毎に平均符号化難易度の推定値を更新して、 符号化難易度から目標ビッ トレ一卜を求める変換式も変更するようにしたので、 常に最適な目標ビッ トレートの割当を行うことができる。

更に、 本実施の形態では、 目標ビッ トレートの算出に用いるデータとして、 常 に最新の N枚の符号化難易度データを単位時間当たりの符号化難易度に換算して 目標ビッ トレ一トを求めるようにしたので、 各プログラムの G 0 Pの位相がそろ つていない状況においても、 最新の状態に基づいた最適な目標ビッ トレ一卜の配 分を行うことができる。

次に、 第 7図、 第 8図および第 1 0図を参照して、 T M 5等で規定された G O P単位のレ一トコントロールを用いる画像符号化装置を用い、 目標ビッ トレート の変更が G 0 P単位に制限された場合の本実施の形態の変形例について説明する 。 なお、 上記実施の形態と同一構成部分については同一符号を付し、 その説明は 省略する。 また、 第 8図に示した分岐点②までの動作 （第 7図， 第 8図） は、 上 記実施の形態と同様である。

目標ビッ トレ一卜の変更が G O P単位に制限された場合、 全てのプログラムに おいて G O Pの位相がそろっていれば一斉に目標ビッ 卜レ一トを変更することが できる力、 実際には 2— 3プルダウンを行うプログラム等が混在するため、 G O Pの位相はずれている。 このような場合には、 回線容量を越えないようにするた めに、 目標ビッ トレ一卜を下げるプログラムを優先する工夫が必要である。 この変形例では、 フレーム単位に全プログラムに対して、 最小あるいは最大ビ ッ トレ一トを越えない目標ビッ トレ一トを決定する （ステップ S 1 1 0 ； N、 ス テツプ S 1 1 3 ； N ) までは、 上記実施の形態と同様である。 この変形例では、 目標ビッ トレート Target— Rate i を決定後、 L個のプログラムのうち、 G O Pの 変わり目で目標ビッ トレートの変更可能なプログラムと、 変更不可能なプログラ ムが存在するため、 まず、 目標ビッ トレートの変更可能なプログラムに割り当て 可能なビッ トレ一卜の容量 Available— Rateを次の式 （ 1 0 ) により求める （ステ ップ S 1 2 0 ) 。 なお、 ∑Target_Rate , は G 0 Pの変わり目で目標ビッ トレ一 卜の変更不可能なプログラムにおける目標ビッ トレ一トの総和を意味する。

Avai lable_Rate = Total— Rate—∑ Target— Rate _k … （1 0 )

次に、 目標ビッ トレートの変更可能なプログラムについて、 目標ビッ トレート Target— Rate の総和が Available— Rateを越えるか否かを判断する （ステップ S 1 2 1 ) 。 目標ビッ トレ—ト Target— Rate の総和が Avai lable— Rateを越えない場合 (ステップ S 1 2 1 ； N ) は、 この目標ビッ トレ一卜 Target_Rate をそのまま設 定しても回線容量を越えないので、 目標ビッ トレ一トの変更可能なプログラムの 画像符号化装置 2 i の符号化制御部 1 5の量子化ィンデックス決定部 4 5に、 こ の目標ビッ トレ一ト Target_Rate を設定する （ステップ S 1 2 2 ) 。 この際、 回 線容量が余ることになるが、 これは次に難しい絵柄のプログラムに対してビッ ト レ一トを上げるために使用する。

一方、 目標ビッ トレ一ト Target— Rate の総和が Available— Rateを越えてしまう 場合 （ステップ S 1 2 1 ； Y ) は、 そのままでは回線容量を越えてしまうので、 ビッ トレ一卜の変更可能なプログラムについて、 Avai lable— Rateを越えないよう に、 次の式 （ 1 1 ) により目標ビッ トレ一ト Target— Rate を下げて、 新たな目標 ビッ トレート Target_Rate i ' を決定する （ステップ S 1 2 3 ) 。 なお、 ∑Targ etjate _k は目標ビッ 卜レー卜の変更可能なプログラムの目標ビッ 卜レ一ト Targ et_Rate の総和を意味する。

Target Rate ι = Target— Rate i (Avai lable Rate/∑ Target— Rate k )

- ( 1 1 )

次に、 新たに決定した目標ビッ トレ一ト Target一 Rate i ' が最小ビッ トレ一ト Min_Rateを下回るプログラムが存在するか否かを判定する （ステップ S 1 2 4 ) 0 最小ビッ トレ一ト Min— Kateを下回るプログラムが存在した場合 （ステップ S 1 2 4 ； Y ) は、 そのプログラムのビッ トレートの値を最小ビッ トレー ト Min— Rate として （ステップ S 1 2 5 ) 、 ステップ S 1 2 3に戻り、 最小ビッ 卜レ一ト Min— Kateではないプログラムのビッ トレ一トを、 式 （ 1 1 ) によりそれらのプログラ ムに対して分配する （ステップ S 1 2 3 ) 。 また、 最小ビッ トレ一ト Min_Rateを 下回るプログラムが存在しない場合 （ステップ S 1 2 4 ； N ) は、 コントロ一ラ 3は、 目標ビッ トレートの変更可能なプログラムの画像符号化装置 2 i の符号化 制御部 1 5の量子化ィンデックス決定部 4 5に、 この目標ビッ トレート Target一 R ate を設定する （ステップ S 1 2 2 ) 。 目標ビッ トレ一ト Target— Rate i ' の設 定後のステップ S 1 2 6ないしステップ S 1 2 9は、 第 8図におけるステップ S 1 1 6ないしステップ S 1 1 9と同様である。

本変形例によれば、 GOP単位にしか目標ビッ トレートを変更できず、 その位 相がずれている場合でも、 GOPの変わり目で目標ビッ トレ一卜を変更できるプ ログラムについて、 変更可能なプログラムの容量を越えないように、 各プログラ ムの最新の符号化難易度および最大あるいは最小ビッ トレ一卜の設定に対応した 目標ビッ トレー卜の割当を行うようにしたので、 常に回線容量を越えることなく 、 人間の視覚特性を反映した主観的な画質を大幅に向上させることができる。 第 1 1図は、 本変形例における各プログラムに対する目標ビッ トレ一卜の割り 当て動作の一例を示す説明図である。 この図において、 縦軸は各プログラムに割 り当てられる目標ビッ トレ一トを表し、 横軸は時間を表している。 また、 総ビッ トレ一トは、 1 0Mb p s (megabits per second ) としている。

第 1 1図に示した例では、 3つのプログラム A〜Cに対して、 上記変形例に基 づいて目標ビッ トレートを割り当てている。 図中、 # 1， # 2, …は、 GOPの 番号を表している。 また、 図中、 かっこ内の数字は、 式 1 1中の目標ビッ トレー ト Target— Rate i を表し、 かっこの左側の数字は、 図 1 1中の目標ビッ トレ一ト Target— Kate i ' を表している。 ビッ トレ一卜の単位は、 A4 b p sである。 また 、 図中、 t 1はプログラム Aの GOP# 1およびプログラム Cの GOP# 1の開 始の時刻、 t 2はプログラム Bの GO P # 2の開始の時刻、 t 3はプログラム C の G 0 P # 2の開始の時刻、 t 4はプログラム Aの G 0 P # 2の開始の時刻、 t 5はプログラム Bの G 0 P # 3の開始の時刻、 t 6はプログラム Cの G 0 P # 3 の開始の時刻、 t 7はプログラム Aの G 0 P # 3の開始の時刻を表している。 この例では、 プログラム Bの GO P # 2の開始の時刻 t 2において、 目標ビッ トレ一トの変更可能なプログラム Bの目標ビッ トレ一ト Target—Rate i は、 4 M b p sになっている。 しカヽし、 時刻 t 2において、 目標ビッ トレートの変更可能 なプログラム Bに割り当て可能なビッ トレ一卜の容量 Available— Rateは、 2Mb p sになっている。 そのため、 式 （1 1) より、 プログラム Bの新たな目標ビッ トレ一ト Target— Rate i ' は、 4 x (2/4) , すなわち 2Mb p sに設定され る。

なお、 本発明は、 上記実施の形態に限定されない。 例えば、 プログラム毎の符 号化難易度と目標ビッ トレ一卜の対応関係は、 実施の形態で挙げた例に限らず、 適宜に設定可能である。 また、 仮のビッ トレ一トを修正して最終的な目標ビッ ト レートを算出する方法も適宜に設定可能である。

以上説明したように、 本発明によれば、 各番組データ毎に設定された符号化難 易度と目標符号レートとの対応関係を用いて、 取得した各番組毎の符号化難易度 に対応する各番組データ毎の暫定的な目標符号レートを決定し、 各番組データ毎 の目標符号レートの総和が所定の許容値内に収まるように、 暫定的な目標符号レ ートを修正して最終的な各番組データ毎の目標符号レートを決定するようにした ので、 統計多重の手法を用いながら、 所定の許容値を越えることなく、 人間にと つての主観的に最適な絵柄の実現を可能にすると共に、 各番組データ毎に、 例え ば目標符号レートの最大値、 最小値および平均値の設定に対応した、 各番組デー タ毎に適した目標符号レ一卜の割り当てが可能となるという効果を奏する。 また、 本発明によれば、 各番組データ毎に、 予め定められた目標符号レートの 平均値の設定に対応した目標符号レートの割り当てが可能となり、 これにより、 予算に応じた正確な課金が可能となるという効果を奏する。

また、 本発明によれば、 符号化手段が、 複数枚の画像単位で目標符号レ—卜の 変更が可能な場合に、 各画像単位で暫定的な目標符号レートを決定し、 各番組デ —タ毎の目標符号レー卜の総和が所定の許容値内に収まるように、 目標符号レ一 卜の変更が可能な符号化手段についてのみ、 暫定的な目標符号レートを修正して 最終的な目標符号レートを決定するようにしたので、 更に、 複数枚の画像単位に しか目標符号量を変更することができない場合でも、 所定の許容値を越えること なく、 人間にとっての主観的に最適な絵柄の実現を可能にすると共に、 各番組デ —タ毎に、 平均符号レ一ト、 最小符号レ一ト、 最大符号レ一トの設定に対応した 目標符号レートの割り当てが可能となるという効果を奏する。

以上の説明に基づき、 本発明の種々の態様や変形例を実施可能であることは明 らかである。 従って、 以下のクレームの均等の範囲において、 上記の詳細な説明 における態様以外の態様で本発明を実施することが可能である。

Claims

請求の範囲

1 . それぞれ画像データを含む複数の番組データを符号化する複数の符号化手 段と、 各符号化手段の出力データを多重化する多重化手段とを備えたシステムに 用いられ、 各符号化手段に対して単位時間当たりの目標発生符号量としての目標 符号レートを設定して各符号化手段を制御する画像符号化制御装置であって、 各番組データ毎に符号化の難易度を表す符号化難易度を取得し、 各番組データ 毎に設定された符号化難易度と目標符号レートとの対応関係を用いて、 取得した 各番組データ毎の符号化難易度に対応する各番組データ毎の暫定的な目標符号レ ―トを決定する暫定的目標符号レート決定手段と、

各番組データ毎の目標符号レートの総和が所定の許容値内に収まるように、 前 記暫定的目標符号レ一ト決定手段によって決定された暫定的な目標符号レー卜を 修正して最終的な各番組データ毎の目標符号レ—トを決定し、 各符号化手段に対 して設定する目標符号レート修正手段と

を備えたことを特徴とする画像符号化制御装置。

2 . 前記暫定的目標符号レ一ト決定手段において用いる符号化難易度と目標符 号レ一トとの対応関係は、 各番組データ毎に予め定められた目標符号レ一トの最 大値、 最小値および平均値と各番組データ毎の符号化難易度の平均値とに応じて 設定されることを特徴とする請求の範囲第 1項記載の画像符号化制御装置。

3 . 前記暫定的目標符号レ―ト決定手段において用いる符号化難易度と目標符 号レ一卜との対応関係は、 符号化難易度が大きいほど目標符号レ一卜が大きくな り、 且つ、 符号化難易度がその平均値よりも大きい所定の範囲では、 符号化難易 度と目標符号レ一卜が比例関係である場合に比べて同じ符号化難易度に対応する 目標符号レ—トは小さくなり、 符号化難易度がその平均値よりも小さい所定の範 囲では、 符号化難易度と目標符号レ一卜が比例関係である場合に比べて同じ符号 化難易度に対応する目標符号レ一トは大きくなるように設定されることを特徴と する請求の範囲第 1項記載の画像符号化制御装置。

4 . 前記暫定的目標符号レ一ト決定手段において用いる符号化難易度と目標符 号レ一トとの対応関係は、 符号化難易度が大きいほど目標符号レー卜が大きくな り、 且つ、 符号化難易度がその平均値よりも大きい所定の範囲では、 符号化難易 度が大きくなるに従って、 符号化難易度の変化に対する目標符号レートの変化の 傾きが小さくなるように設定されることを特徴とする請求の範囲第 1項記載の画 像符号化制御装置。

5 . 前記暫定的目標符号レート決定手段は、 この暫定的目標符号レート決定手 段によって決定される暫定的な目標符号レ一卜の平均値が予め定められた目標符 号レートの平均値に近づくように、 既に取得した符号化難易度に基づいて、 符号 化難易度と目標符号レートとの対応関係を随時更新することを特徴とする請求の 範囲第 1項記載の画像符号化制御装置。

6 . 前記目標符号レート修正手段は、 最終的な各番組データ毎の目標符号レ一 トを決定する過程で、 各番組データ毎の暫定的な目標符号レ一卜の総和と前記許 容値との比率を各番組デ一タ毎の暫定的な目標符号レートに乗ずることを特徴と する請求の範囲第 1項記載の画像符号化制御装置。

7 . 前記目標符号レート修正手段は、 前記比率を各番組データ毎の暫定的な目 標符号レートに乗じて得られた値が、 各番組データ毎に予め定められた目標符号 レ一卜の最大値または最小値を越える番組データに関しては、 前記最大値または 最小値を最終的な目標符号レー卜として決定し、 残りの番組データに関しては、 残りの番組データの目標符号レートの総和が、 前記許容値から既に決定された目 標符号レ一卜を引いた値内に収まるように、 暫定的な目標符号レートを修正して 最終的な目標符号レ一トを決定することを特徴とする請求の範囲第 6項記載の画 像符号化制御装置。

8 . 各符号化手段は、 それぞれ複数枚の画像単位で目標符号レートの変更が可 能なものであり、

前記暫定的目標符号レート決定手段は、 各画像単位で暫定的な目標符号レ—ト を決定し、

前記目標符号レート修正手段は、 各番組データ毎の目標符号レ—卜の総和が所 定の許容値内に収まるように、 目標符号レー卜の変更が可能な符号化手段につい てのみ、 前記暫定的目標符号レ—卜決定手段によって決定された暫定的な目標符 号レートを修正して最終的な目標符号レートを決定し、 符号化手段に対して設定 することを特徴とする請求の範囲第 1項記載の画像符号化制御装置。

9 . 前記目標符号レート修正手段は、 目標符号レートの変更が可能な符号化手 段についての暫定的な目標符号レ一卜の総和が、 目標符号レ一卜の変更が可能な 符号化手段に対して割り当て可能な符号レ一ト以下の場合は、 目標符号レ一卜の 変更が可能な符号化手段について、 暫定的な目標符号レートをそのまま最終的な 目標符号レートとして決定し、 目標符号レー卜の変更が可能な符号化手段につい ての暫定的な目標符号レ—卜の総和が、 目標符号レ—トの変更が可能な符号化手 段に対して割り当て可能な符号レ一卜を越える場合は、 目標符号レ一卜の変更が 可能な符号化手段についての最終的な目標符号レ一卜の総和が、 目標符号レ一ト の変更が可能な符号化手段に対して割り当て可能な符号レート内に収まるように 、 目標符号レー卜の変更が可能な符号化手段についての暫定的な目標符号レート を修正して最終的な目標符号レ一トを決定することを特徴とする請求の範囲第 8 項記載の画像符号化制御装置。

1 0 . それぞれ画像データを含む複数の番組データを符号化する複数の符号化 手段と、 各符号化手段の出力データを多重化する多重化手段とを備えたシステム に用いられ、 各符号化手段に対して単位時間当たりの目標発生符号量としての目 標符号レートを設定して各符号化手段を制御する画像符号化制御方法であって、 各番組データ毎に符号化の難易度を表す符号化難易度を取得し、 各番組データ 毎に設定された符号化難易度と目標符号レートとの対応関係を用いて、 取得した 各番組データ毎の符号化難易度に対応する各番組データ毎の暫定的な目標符号レ ートを決定する暫定的目標符号レート決定手順と、

各番組データ毎の目標符号レ一卜の総和が所定の許容値内に収まるように、 前 記暫定的目標符号レ一ト決定手順によって決定された暫定的な目標符号レー卜を 修正して最終的な各番組データ毎の目標符号レートを決定し、 各符号化手段に対 して設定する目標符号レ一ト修正手順と

を含むことを特徴とする画像符号化制御方法。

1 1 . 前記暫定的目標符号レート決定手順において用いる符号化難易度と目標 符号レ一トとの対応関係は、 各番組データ毎に予め定められた目標符号レ一卜の 最大値、 最小値および平均値と各番組デ一タ毎の符号化難易度の平均値とに応じ て設定されることを特徴とする請求の範囲第 1 0項記載の画像符号化制御方法。

1 2 . 前記暫定的目標符号レート決定手順において用いる符号化難易度と目標 符号レ一卜との対応関係は、 符号化難易度が大きいほど目標符号レー卜が大きく なり、 且つ、 符号化難易度がその平均値よりも大きい所定の範囲では、 符号化難 易度と目標符号レー卜が比例関係である場合に比べて同じ符号化難易度に対応す る目標符号レートは小さくなり、 符号化難易度がその平均値よりも小さい所定の 範囲では、 符号化難易度と目標符号レー卜が比例関係である場合に比べて同じ符 号化難易度に対応する目標符号レートは大きくなるように設定されることを特徴 とする請求の範囲第 1 0項記載の画像符号化制御方法。

1 3 . 前記暫定的目標符号レート決定手順において用いる符号化難易度と目標 符号レ一卜との対応関係は、 符号化難易度が大きいほど目標符号レートが大きく なり、 且つ、 符号化難易度がその平均値よりも大きい所定の範囲では、 符号化難 易度が大きくなるに従つて、 符号化難易度の変化に対する目標符号レートの変化 の傾きが小さくなるように設定されることを特徴とする請求の範囲第 1 0項記載 の画像符号化制御方法。

1 4 . 前記暫定的目標符号レート決定手順は、 この暫定的目標符号レート決定 手順によって決定される暫定的な目標符号レ一卜の平均値が予め定められた目標 符号レートの平均値に近づくように、 既に取得した符号化難易度に基づいて、 符 号化難易度と目標符号レートとの対応関係を随時更新することを特徴とする請求 の範囲第 1 0項記載の画像符号化制御方法。

1 5 . 前記目標符号レート修正手順は、 最終的な各番組データ毎の目標符号レ ―トを決定する過程で、 各番組データ毎の暫定的な目標符号レー卜の総和と前記 許容値との比率を各番組データ毎の暫定的な目標符号レ一卜に乗ずることを特徴 とする請求の範囲第 1 0項記載の画像符号化制御方法。

1 6 . 前記目標符号レート修正手順は、 前記比率を各番組データ毎の暫定的な 目標符号レートに乗じて得られた値が、 各番組データ毎に予め定められた目標符 号レー卜の最大値または最小値を越える番組データに関しては、 前記最大値また は最小値を最終的な目標符号レ一トとして決定し、 残りの番組データに関しては 、 残りの番組データの目標符号レートの総和が、 前記許容値から既に決定された 目標符号レートを引いた値内に収まるように、 暫定的な目標符号レー卜を修正し て最終的な目標符号レートを決定することを特徴とする請求の範囲第 1 5項記載 の画像符号化制御方法。

1 7 . 各符号化手段は、 それぞれ複数枚の画像単位で目標符号レートの変更が 可能なものであり、

前記暫定的目標符号レ—卜決定手順は、 各画像単位で暫定的な目標符号レ一卜 を決定し、

前記目標符号レ一ト修正手順は、 各番組データ毎の目標符号レ一卜の総和が所 定の許容値内に収まるように、 目標符号レ一トの変更が可能な符号化手段につい てのみ、 前記暫定的目標符号レ—ト決定手順によって決定された暫定的な目標符 号レ一トを修正して最終的な目標符号レートを決定し、 符号化手段に対して設定 することを特徴とする請求の範囲第 1 0項記載の画像符号化制御方法。

1 8 . 前記目標符号レート修正手順は、 目標符号レー トの変更が可能な符号化 手段についての暫定的な目標符号レ—卜の総和が、 目標符号レ一卜の変更が可能 な符号化手段に対して割り当て可能な符号レ一卜以下の場合は、 目標符号レート の変更が可能な符号化手段について、 暫定的な目標符号レー卜をそのまま最終的 な目標符号レートとして決定し、 目標符号レー卜の変更が可能な符号化手段につ いての暫定的な目標符号レー卜の総和が、 目標符号レー 卜の変更が可能な符号化 手段に対して割り当て可能な符号レ一トを越える場合は、 目標符号レー卜の変更 が可能な符号化手段についての最終的な目標符号レ—卜の総和が、 目標符号レ— トの変更が可能な符号化手段に対して割り当て可能な符号レート内に収まるよう に、 目標符号レー卜の変更が可能な符号化手段についての暫定的な目標符号レー トを修正して最終的な目標符号レ一トを決定することを特徴とする請求の範囲第 1 7項記載の画像符号化制御方法。

1 9 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された デ一タを多重化する符号化システムであって、

前記各番組データに含まれる画像データを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組デ一タ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ ―卜に基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によつて符号化されたデータを多重化する多重化手段と、 各番組データ毎に独自に設定された、 前記符号化難易度から前記目標符号レー トを演算するための演算式に基づいて、 前記各符号化難易度検出手段によって検 出された符号化難易度から各番組データ毎の目標符号レ一トを演算し、 演算され た目標符号レ一卜を、 前記各符号化手段に対して供給する制御手段と

を備えたことを特徴とする符号化システム。

2 0 . 前記演算式は、 各番組データ毎の符号化難易度の平均値に基づいて決定 されることを特徴とする請求の範囲第 1 9項記載の符号化システム。

2 1 . 前記符号化難易度の平均値は、 符号化の結果に応じて更新されることを 特徴とする請求の範囲第 2 0項記載の符号化システム。

2 2 . 前記演算式は、 各番組データ毎に、 目標符号レートの最大値および最小 値を規定することを特徴とする請求の範囲第 1 9項記載の符号化システム。

2 3 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化する符号化システムであって、

前記各番組データに含まれる画像データを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組データ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ ―卜に基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によつて符号化されたデ一タを多重化する多重化手段と、 各番組データ毎に予め定められた目標符号レートの平均値に基づいて決定され 、 各番組データ毎に独自に設定された、 前記符号化難易度から前記目標符号レ一 トを演算するための演算式に基づいて、 前記各符号化難易度検出手段によって検 出された符号化難易度から各番組データ毎の目標符号レ一トを演算し、 演算され た目標符号レートを、 前記各符号化手段に対して供給する制御手段と

を備えたことを特徴とする符号化システム。

2 4 . 前記演算式は、 各番組データ毎の符号化難易度の平均値に基づいて決定 されることを特徴とする請求の範囲第 2 3項記載の符号化システム。

2 5 . 前記符号化難易度の平均値は、 符号化の結果に応じて更新されることを 特徴とする請求の範囲第 2 4項記載の符号化システム。

2 6 . 前記演算式は、 各番組データ毎に、 目標符号レートの最大値および最小 値を規定することを特徴とする請求の範囲第 2 3項記載の符号化システム。

2 7 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化する符号化システムであって、

前記各番組デ一タに含まれる画像デ一タを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組デ―タ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ —卜に基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によつて符号化されたデータを多重化する多重化手段と、 各番組デ—タ毎に、 前記各符号化難易度検出手段によって検出された符号化難 易度から各番組データ毎の仮の目標符号レートを演算し、 各番組データ毎に演算 された仮の目標符号レートの総和が所定の許容範囲内に納まるように、 前記仮の 目標符号レー卜から各番組毎の目標符号レートを演算し、 演算された目標符号レ ートを、 前記各符号化手段に対して供給する制御手段と

を備えたことを特徴とする符号化システム。

2 8 . 前記制御手段は、 各番組データ毎に独自に設定された、 前記符号化難易 度から前記仮の目標符号レートを演算するための演算式に基づいて、 前記各符号 化難易度検出手段によつて検出された符号化難易度から各番組データ毎の前記仮 の目標符号レートを演算することを特徴とする請求の範囲第 2 7項記載の符号化 システム。

2 9 . 前記演算式は、 各番組データ毎に予め定められた目標符号レートの平均 値に基づいて決定されることを特徴とする請求の範囲第 2 8項記載の符号化シス テム。

3 0 . 前記演算式は、 各番組データ毎の符号化難易度の平均値に基づいて決定 されることを特徴とする請求の範囲第 2 8項記載の符号化システム。

3 1 . 前記符号化難易度の平均値は、 符号化の結果に応じて更新されることを 特徴とする請求の範囲第 3 0項記載の符号化システム。

3 2 . 前記演算式は、 各番組データ毎に、 目標符号レートの最大値および最小 値を規定することを特徴とする請求の範囲第 2 8項記載の符号化システム。

3 3 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化する符号化システムであって、

前記各番組データに含まれる画像データを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組データ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ ートに基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によつて符号化されたデータを多重化する多重化手段と、 各番組データ毎に、 他の番組データにおける符号化難易度に関係なく、 前記各 符号化難易度検出手段によって検出された符号化難易度から各番組デ—タ毎の仮 の目標符号レートを演算し、 各番組データ毎に演算された仮の目標符号レー卜の 総和が所定の許容範囲内に納まるように、 前記仮の目標符号レ—卜から各番組毎 の目標符号レ—卜を演算し、 演算された目標符号レ—トを、 前記各符号化手段に 対して供給する制御手段と

を備えたことを特徴とする符号化システム。

3 4 . 前記制御手段は、 各番組データ毎に独自に設定された、 前記符号化難易 度から前記仮の目標符号レ一トを演算するための演算式に基づいて、 前記各符号 化難易度検出手段によって検出された符号化難易度から各番組デ一タ毎の前記仮 の目標符号レートを演算することを特徴とする請求の範囲第 3 3項記載の符号化 システム。

3 5 . 前記演算式は、 各番組データ毎に予め定められた目標符号レートの平均 値に基づいて決定されることを特徴とする請求の範囲第 3 4項記載の符号化シス テム。

3 6 . 前記演算式は、 各番組データ毎の符号化難易度の平均値に基づいて決定 されることを特徴とする請求の範囲第 3 4項記載の符号化システム。

3 7 . 前記符号化難易度の平均値は、 符号化の結果に応じて更新されることを 特徴とする請求の範囲第 3 6項記載の符号化システム。

3 8 . 前記演算式は、 各番組データ毎に、 目標符号レートの最大値および最小 値を規定することを特徴とする請求の範囲第 3 4項記載の符号化システム。

3 9 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化する符号化システムであって、

前記各番組データに含まれる画像データを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組デ一タ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ -卜に基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によつて符号化されたデータを多重化する多重化手段と、 前記符号化難易度から仮の目標符号レートを演算するための演算式であつて、 各番組デ一タ毎に独自に設定され、 他の番組データにおける符号化難易度の影響 を受けない演算式に基づいて、 前記各符号化難易度検出手段によって検出された 符号化難易度から各番組データ毎の仮の目標符号レ一トを演算し、 各番組データ 毎に演算された仮の目標符号レ一トの総和が所定の許容範囲内に納まるように、 前記仮の目標符号レ一トから各番組毎の目標符号レートを演算し、 演算された目 標符号レートを、 前記各符号化手段に対して供給する制御手段と

を備えたことを特徴とする符号化システム。

4 0 . 前記演算式は、 各番組データ毎に予め定められた目標符号レートの平均 値に基づいて決定されることを特徴とする請求の範囲第 3 9項記載の符号化シス テム。

4 1 . 前記演算式は、 各番組データ毎の符号化難易度の平均値に基づいて決定 されることを特徴とする請求の範囲第 3 9項記載の符号化システム。

4 2 . 前記符号化難易度の平均値は、 符号化の結果に応じて更新されることを 特徴とする請求の範囲第 4 1項記載の符号化システム。

4 3 . 前記演算式は、 各番組データ毎に、 目標符号レ—卜の最大値および最小 値を規定することを特徴とする請求の範囲第 3 9項記載の符号化システム。

4 4 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化して伝送用データとして出力する伝送システムであって、 前記各番組デー夕に含まれる画像デ一タを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組データ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ —卜に基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によつて符号化されたデータを多重化して伝送用データとして出 力する多重化手段と、

各番組データ毎に独自に設定された、 前記符号化難易度から前記目標符号レ一 トを演算するための演算式に基づいて、 前記各符号化難易度検出手段によって検 出された符号化難易度から各番組データ毎の目標符号レ一トを演算し、 演算され た目標符号レートを、 前記各符号化手段に対して供給する制御手段と

を備えたことを特徴とする伝送システム。

4 5 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化して伝送用データとして出力する伝送システムであって、 前記各番組デー夕に含まれる画像デ一タを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組データ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ ートに基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によつて符号化されたデータを多重化して伝送用デ一タとして出 力する多重化手段と、

各番組データ毎に予め定められた目標符号レ一卜の平均値に基づいて決定され 、 各番組データ毎に独自に設定された、 前記符号化難易度から前記目標符号レー トを演算するための演算式に基づいて、 前記各符号化難易度検出手段によって検 出された符号化難易度から各番組データ毎の目標符号レートを演算し、 演算され た目標符号レートを、 前記各符号化手段に対して供給する制御手段と

を備えたことを特徴とする伝送システム。

4 6 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化して伝送用データとして出力する伝送システムであって、 前記各番組データに含まれる画像データを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組データ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ —卜に基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によって符号化されたデータを多重化して伝送用データとして出 力する多重化手段と、

各番組データ毎に、 前記各符号化難易度検出手段によって検出された符号化難 易度から各番組データ毎の仮の目標符号レートを演算し、 各番組データ毎に演算 された仮の目標符号レー卜の総和が所定の許容範囲内に納まるように、 前記仮の 目標符号レ一卜から各番組毎の目標符号レートを演算し、 演算された目標符号レ —トを、 前記各符号化手段に対して供給する制御手段と

を備えたことを特徴とする伝送システム。

4 7 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化して伝送用データとして出力する伝送システムであって、 前記各番組デ一夕に含まれる画像デ一タを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組データ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ ―卜に基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によって符号化されたデータを多重化して伝送用データとして出 力する多重化手段と、

各番組データ毎に、 他の番組データにおける符号化難易度に関係なく、 前記各 符号化難易度検出手段によって検出された符号化難易度から各番組デ—タ毎の仮 の目標符号レ一トを演算し、 各番組データ毎に演算された仮の目標符号レ一卜の 総和が所定の許容範囲内に納まるように、 前記仮の目標符号レ一卜から各番組毎 の目標符号レートを演算し、 演算された目標符号レートを、 前記各符号化手段に 対して供給する制御手段と

を備えたことを特徴とする伝送システム。

4 8 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化して伝送用データとして出力する伝送システムであって、 前記各番組デー夕に含まれる画像デ一タを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組データ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ —卜に基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によつて符号化されたデータを多重化して伝送用データとして出 力する多重化手段と、

前記符号化難易度から仮の目標符号レ一トを演算するための演算式であつて、 各番組データ毎に独自に設定され、 他の番組データにおける符号化難易度の影響 を受けない演算式に基づいて、 前記各符号化難易度検出手段によって検出された 符号化難易度から各番組データ毎の仮の目標符号レートを演算し、 各番組データ 毎に演算された仮の目標符号レ一トの総和が所定の許容範囲内に納まるように、 前記仮の目標符号レ一卜から各番組毎の目標符号レートを演算し、 演算された目 標符号レートを、 前記各符号化手段に対して供給する制御手段と

を備えたことを特徴とする伝送システム。

4 9 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化して放送用データとして送信する放送システムであって、 前記各番組データに含まれる画像データを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組データ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ —卜に基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によって符号化されたデータを多重化して放送用データとして出 力する多重化手段と、

各番組データ毎に独自に設定された、 前記符号化難易度から前記目標符号レー トを演算するための演算式に基づいて、 前記各符号化難易度検出手段によって検 出された符号化難易度から各番組データ毎の目標符号レートを演算し、 演算され た目標符号レートを、 前記各符号化手段に対して供給する制御手段と

を備えたことを特徴とする放送システム。

5 0 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化して放送用データとして送信する放送システムであって、 前記各番組データに含まれる画像データを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組デ一タ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ ―卜に基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によって符号化されたデータを多重化して放送用データとして出 力する多重化手段と、

各番組データ毎に予め定められた目標符号レー卜の平均値に基づいて決定され 、 各番組データ毎に独自に設定された、 前記符号化難易度から前記目標符号レー トを演算するための演算式に基づいて、 前記各符号化難易度検出手段によって検 出された符号化難易度から各番組データ毎の目標符号レートを演算し、 演算され た目標符号レートを、 前記各符号化手段に対して供給する制御手段と

を備えたことを特徴とする放送システム。

5 1 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化して放送用データとして送信する放送システムであって、 前記各番組データに含まれる画像データを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組データ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ —卜に基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によって符号化されたデータを多重化して放送用データとして出 力する多重化手段と、

各番組データ毎に、 前記各符号化難易度検出手段によって検出された符号化難 易度から各番組データ毎の仮の目標符号レ一トを演算し、 各番組データ毎に演算 された仮の目標符号レー卜の総和が所定の許容範囲内に納まるように、 前記仮の 目標符号レートから各番組毎の目標符号レートを演算し、 演算された目標符号レ —トを、 前記各符号化手段に対して供給する制御手段と

を備えたことを特徴とする放送システム。

5 2 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化して放送用データとして送信する放送システムであって、 前記各番組データに含まれる画像データを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組デ一タ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ —トに基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によって符号化されたデータを多重化して放送用データとして出 力する多重化手段と、

各番組データ毎に、 他の番組データにおける符号化難易度に関係なく、 前記各 符号化難易度検出手段によって検出された符号化難易度から各番組データ毎の仮 の目標符号レートを演算し、 各番組データ毎に演算された仮の目標符号レー卜の 総和が所定の許容範囲内に納まるように、 前記仮の目標符号レートから各番組毎 の目標符号レートを演算し、 演算された目標符号レートを、 前記各符号化手段に 対して供給する制御手段と

を備えたことを特徴とする放送システム。

5 3 . それぞれ画像データを含む複数の番組データを符号化し、 符号化された データを多重化して放送用データとして送信する放送システムであって、 前記各番組データに含まれる画像データを符号化する際の符号化の難易度を表 す符号化難易度を、 各番組データ毎に検出する複数の符号化難易度検出手段と、 それぞれ、 供給された、 単位時間当たりの目標発生符号量としての目標符号レ —卜に基づいて、 前記各番組データに含まれる画像データを符号化する複数の符 号化手段と、

各符号化手段によって符号化されたデータを多重化して放送用データとして出 力する多重化手段と、

前記符号化難易度から仮の目標符号レ一卜を演算するための演算式であつて、 各番組データ毎に独自に設定され、 他の番組データにおける符号化難易度の影響 を受けない演算式に基づいて、 前記各符号化難易度検出手段によって検出された 符号化難易度から各番組データ毎の仮の目標符号レ—トを演算し、 各番組データ 毎に演算された仮の目標符号レ一卜の総和が所定の許容範囲内に納まるように、 前記仮の目標符号レー卜から各番組毎の目標符号レートを演算し、 演算された目 標符号レートを、 前記各符号化手段に対して供給する制御手段と

を備えたことを特徴とする放送システム。