JPH10313463A - 映像信号符号化方法及び符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 画質劣化を抑えながら、画像全体の総符号量
を一定値以下に抑えた符号化方法及び装置を提供する。 【解決手段】 符号化装置は、入力画像を複数のフレー
ムから構成されるユニットに分割するユニット分割手段
２０２と、入力画像に対しフレームごとにフレームアク
ティビティを算出し、同じユニットに属するフレームの
フレームアクティビティから、ユニットごとにユニット
アクティビティを算出するアクティビティ算出手段２０
３と、ユニットアクティビティに基づいてユニットの目
標符号量を決定する目標符号量決定手段２０５とを備え
ている。

Description

【発明の詳細な説明】

【０００１】

【発明上の利用分野】本発明は、映像信号を記録し、又
は伝送する際に行う高能率符号化方法及び装置に関す
る。詳しくは、画質劣化を抑えながら画像全体の総符号
量を所定値以下に抑える符号量制御方法及び装置に関す
る。

【０００２】

【従来の技術】この種の映像信号符号化方法として、Ｍ
ＰＥＧ(Moving Picture Experts Group)に代表されるフ
レーム間符号化を行う符号化方式がある。このような符
号化方式における符号量制御として、（１）ＧＯＰ(Gro
up of Pictures)内フレーム間符号量制御、及び、
（２）フレーム内マクロブロック間符号量制御の二通り
の符号量制御が必要である。

【０００３】ＭＰＥＧのテストモデルとして広く知られ
ているＴＭ５方式は、上記（１）のＧＯＰ内フレーム間
符号量制御として、符号化対象となっているフレームの
目標符号量を、それ以前に符号化されたフレームのアク
ティビティ及び残符号量から求めている。ここでいう残
符号量とは、符号化フレームが属するＧＯＰに割当てら
れる符号量から符号化済みのフレームの発生符号量を引
いた残りの符号量、すなわち、符号化フレーム以降のフ
レームに割当てられる符号量のことである。

【０００４】また、上記（２）のフレーム内マクロブロ
ック間符号量制御としては、符号化対象となっているマ
クロブロックの量子化パラメータ（以下、スケーリング
ファクターという）を、現在までの発生符号量と目的符
号量との関係から求めている。この方式はフィードバッ
ク方式と呼ばれている。

【０００５】これに対し、フレーム内マクロブロック間
符号量制御には、使用できるすべてのスケーリングファ
クター（ＭＰＥＧ２では、３１個のスケーリングファク
ターが使用可能である）を用いて符号量の先読みを行
い、得られた３１個の符号量の中から目的符号量に最も
近いスケーリングファクターを最終的なスケーリングフ
ァクターとするフィードフォワード方式もよく知られて
いる。

【０００６】スケーリングファクターは量子化を行う際
のパラメータであり、一つのマクロブロックに対して一
つのスケーリングファクターが与えられる。スケーリン
グファクターの値が小さいと、そのマクロブロックはよ
り小さな量子化ステップで量子化される。逆にスケーリ
ングファクターの値が大きいと、そのマクロブロックは
より大きな量子化ステップで量子化される。

【０００７】図１４に、従来のＧＯＰ内フレーム間符号
量制御方式を用いた映像信号符号化装置のブロック図を
示す。図１４において、８００は動きベクトル検出部、
８０１は差分画像生成部、８０２はアクティビティ算出
部、８０３は目標符号量決定部、８０４は符号化部、８
０５は割当て符号量更新部、８０６はローカルデコーダ
である。

【０００８】入力された画像信号は動きベクトル検出部
８００及び差分画像生成部８０１に入力される。動きベ
クトル検出部８００は、入力された画像のピクチャタイ
プがＰ又はＢピクチャの場合、メモリ上にストアされて
いる参照画像に対して動きベクトル検出を行い、検出し
た動きベクトルを出力する。入力画像のピクチャタイプ
がＩピクチャである場合は動きベクトル検出は行わな
い。動きベクトル検出部８００から出力された動きベク
トルは差分画像生成部８０１に入力される。

【０００９】差分画像生成部８０１は、入力画像のピク
チャタイプがＰ又はＢピクチャの場合、入力された動き
ベクトルとローカルデコーダ８０６より入力された復号
化された参照画像から予測画像を生成し、予測画像と入
力画像との差分演算を行う。差分画像生成部８０１が出
力した差分画像は符号化部８０４に入力される。

【００１０】目標符号量決定部８０３は、符号化フレー
ム以前に符号化されたピクチャタイプが同一のフレーム
が存在するときは、その符号化済みのフレームのアクテ
ィビティ、及び残符号量より目標符号量を決定する。ピ
クチャタイプが同一のフレームが存在しないときは、特
定の初期値を目標符号量とする。目標符号量は符号化部
８０４に入力される。

【００１１】符号化部８０４は、入力された差分画像に
対し、入力された目標符号量で符号化を実行し、符号化
データ及び平均スケーリングファクタを出力する。符号
化データは、アクティビティ算出部８０２、割当て符号
量更新部８０５、及びローカルデコーダ８０６に入力さ
れる。平均スケーリングファクタはアクティビティ算出
部８０２に入力される。

【００１２】アクティビティ算出部８０２は、入力され
た符号化データより発生符号量を算出し、入力された平
均スケーリングファクタと算出した発生符号量とからア
クティビティを算出し、算出したアクティビティで符号
化フレームと同一ピクチャのアクティビティを更新す
る。

【００１３】割当て符号量更新部８０５は、入力された
符号化データより発生符号量を算出し、割当て符号量を
更新する。ローカルデコーダ８０６は入力された符号化
データに対して復号化を行い復号化画像を生成する。

【００１４】図１５に、上記の符号化部８０４のブロッ
ク図を示す。図１５において、８１０はマクロブロック
化部、８１１は直交変換部、８１２は量子化部、８１３
は重要度算出部、８１４はスケーリングファクタ決定
部、８１５は可変長符号化部である。この図を用いて従
来のフレーム内マクロブロック間符号量制御方式につい
て説明する。

【００１５】符号化部に入力された差分画像はマクロブ
ロック化部８１０に入力される。マクロブロック化部８
１０は入力された差分画像に対しブロック化及びマクロ
ブロック化の処理を行う。マクロブロック化されたデー
タは、直交変換部８１１及び重要度算出部８１３に入力
される。

【００１６】直交変換部８１１はブロック単位で直交変
換を行い変換係数を出力する。この変換係数は量子化部
８１２に入力される。重要度算出部８１３はマクロブロ
ックごとに重要度を算出し、マクロブロックの重要度を
示す重要度データを出力する。

【００１７】重要度データはスケーリングファクタ決定
部８１４に入力される。スケーリングファクタ決定部８
１４は、符号化を行うマクロブロックの重要度データ及
び残符号量よりスケーリングファクタを決定する。ここ
でいう残符号量は、フレームに設定された目的符号量か
ら、符号化を行うマクロブロック以前に符号化されたマ
クロブロックの発生符号量の総和を引いたもの、すなわ
ち符号化を行うマクロブロックを含めた残りのマクロブ
ロックに割当てられる符号量を表している。

【００１８】スケーリングファクタ決定部８１４が出力
したスケーリングファクタは量子化部８１２に入力され
る。量子化部８１２は、直交変換部８１１から与えられ
た変換係数を入力されたスケーリングファクタで量子化
し、量子化データを出力する。量子化データは可変長符
号化部８１５に入力される。

【００１９】可変長符号化部８１５は入力された量子化
データを可変長符号化し、符号化データを出力する。符
号化データはスケーリングファクタ決定部８１４に入力
される。スケーリングファクタ決定部８１４は入力され
た符号化データに基づいて、符号化されたマクロブロッ
クの発生符号量を算出し、残符号量を更新する。

【００２０】図１６は、従来の符号化部８０４の別の構
成を示すブロック図である。図１６において、８２０は
マクロブロック化部、８２１は直交変換部、８２２は量
子化部、８２３は重要度算出部、８２４は符号量算出
部、８２５は最終スケーリングファクタ決定部、８２６
は可変長符号化部である。図１６を用いて従来の別のフ
レーム内マクロブロック間符号量制御方式であるフィー
ドフォワード方式について説明する。なお、上記の図１
５に基づく説明と同様に、符号化部のみについて説明す
る。

【００２１】符号化部に入力された差分画像はマクロブ
ロック化部８２０に入力される。マクロブロック化部８
２０は入力された差分画像に対しブロック化及びマクロ
ブロック化の処理を行う。マクロブロック化されたデー
タは、直交変換部８２１及び重要度算出部８２３に入力
される。

【００２２】直交変換部８２１はブロック単位で直交変
換を行い変換係数を出力する。変換係数は量子化部８２
２及び符号量算出部８２４に入力される。重要度算出部
８２３はマクロブロックごとに重要度を算出し、マクロ
ブロックの重要度を示す重要度データを出力する。重要
度データは符号量算出部８２４及び量子化部８２２に入
力される。

【００２３】符号量算出部８２４は３１個の符号量見積
もり部を有しており、各符号量見積もり部は、それぞれ
の固有のスケーリングファクタと、重要度データから生
成されたスケーリングファクタとに基づいて、入力され
た変換係数を量子化及び可変長符号化し、１フレーム分
の発生符号量を算出する。符号量算出部８２４から出力
された３１種類のスケーリングファクタによる発生符号
量は、最終スケーリングファクタ決定部８２５に入力さ
れる。

【００２４】最終スケーリングファクタ決定部８２５
は、入力された３１個の発生符号量のうち、符号化フレ
ームの目的符号量に最も近い発生符号量を与えるスケー
リングファクタを最終スケーリングファクタと決定し、
出力する。最終スケーリングファクタは量子化部８２２
に入力される。

【００２５】量子化部８２２は、入力された最終スケー
リングファクタと重要データとに基づいて、符号化フレ
ームのマクロブロックを量子化し、量子化データを出力
する。量子化データは可変長符号化部８２６に入力され
る。可変長符号化部８２６は入力された量子化データを
可変長符号化し、符号化データを出力する。

【００２６】

【発明が解決しようとする課題】上記の従来のＧＯＰ内
フレーム間符号量制御方式の課題として、符号化フレー
ムの目標符号量を決定するのに、符号化フレーム以前の
アクティビティを用いているため、符号化フレームの画
像の特徴を反映した符号量割当てになっていないことが
挙げられる。符号化フレーム以前に符号化された符号化
フレームとピクチャタイプが同一のフレームのアクティ
ビティを使用するので、例えばＭ＝３のとき、Ｐピクチ
ャの符号化に３フレーム前のフレームのアクティビティ
を用いることになる。この場合、シーンチェンジや物体
の動きが変化していく画像に対して、符号量を最適に制
御することが難しい。

【００２７】更に、フレーム内マクロブロック間符号量
制御方式においても、符号化マクロブロックを量子化す
るときのスケーリングファクタが符号化マクロブロック
の特徴を十分に反映していない。このため、視覚的に重
要なエッジや精細度の高い領域が劣化するという問題が
ある。

【００２８】またフィードフォワード方式によるフレー
ム内マクロブロック間符号量制御は、符号化マクロブロ
ックの特徴を考慮した制御が可能であるが、非常に大き
な回路規模及び演算量が必要になるという問題がある。

【００２９】本発明は上記のような従来の問題を解決す
るためになされたものであり、画質劣化を抑えながら、
画像全体の総符号量を一定値以下に抑えた符号化方法及
び装置を提供することを目的とする。

【００３０】

【課題を解決するための手段】本発明による符号化方法
は、下記に定義する従来の第１及び第２の符号化方法を
改良して、画像の特徴に応じた精度の高い符号量制御を
行うようにしたものである。

【００３１】従来の第１の符号化方法は、連続したＮ個
のフレームを１つの符号化制御単位とし、この符号化制
御単位に含まれる第１フレームはフレーム間差分を用い
ないでフレーム内符号化を行い、第Ｎフレームは第１フ
レームとのフレーム間差分を用いて符号化を行い、第２
フレームから第（Ｎ−１）フレームは第１フレーム及び
第Ｎフレームからのフレーム間差分を用いて符号化を行
う。

【００３２】また、従来の第２の符号化方法は、連続し
たＮ個のフレームを１つの符号化制御単位とし、この符
号化制御単位に含まれる第Ｋフレームはフレーム間差分
を用いないでフレーム内符号化を行い、第Ｎフレームは
第Ｋフレームとのフレーム間差分を用いて符号化を行
い、第１フレームから第（Ｋ−１）フレームは、直前の
符号化制御単位に含まれる第Ｎフレーム及び現在の符号
化制御単位に含まれる第Ｋフレームからのフレーム間差
分を用いて符号化を行い、第（Ｋ＋１）フレームから第
（Ｎ−１）フレームは、現在の符号化制御単位に含まれ
る第Ｋフレーム及び第Ｎフレームからのフレーム間差分
を用いて符号化を行う。

【００３３】本発明による符号化方法の第１の構成は、
従来の第１の符号化方法において、第Ｎフレームの第１
フレームからのフレーム間差分の大きさを指標として、
符号化制御単位に含まれるすべてのフレームの目標符号
量を設定することを特徴とする。

【００３４】本発明による符号化方法の第２の構成は、
従来の第２の符号化方法において、第Ｎフレームの第Ｋ
フレームからのフレーム間差分の大きさを指標として、
現在の符号化制御単位に含まれるすべてのフレームの目
標符号量を設定することを特徴とする。

【００３５】本発明による符号化方法の第３の構成は、
従来の第１の符号化方法において、第Ｎフレームの第１
フレームからの動き量と、第２フレームから第（Ｎ−
１）フレームの各々の第１フレームからの動き量とに基
づいて符号化制御単位内のシーンチェンジ検出を行い、
そのシーンチェンジ検出結果を指標として、その符号化
制御単位に含まれるすべてのフレームの目標符号量を設
定することを特徴とする。

【００３６】本発明による符号化方法の第４の構成は、
従来の第２の符号化方法において、第Ｎフレームの第Ｋ
フレームからの動き量と、第１フレームから第（Ｋ−
１）フレーム及び第（Ｋ＋１）フレームから第（Ｎ−
１）フレームの各々の第Ｋフレームからの動き量とに基
づいて符号化制御単位内のシーンチェンジ検出を行い、
そのシーンチェンジ検出結果を指標として、その符号化
制御単位に含まれるすべてのフレームの目標符号量を設
定することを特徴とする。

【００３７】本発明による符号化方法の第５の構成は、
従来の第１の符号化方法において、第１フレームに対し
て算出したアクティビティから、符号化制御単位内の映
像信号の符号化の難易度を検出し、その難易度と、第Ｎ
フレームの第１フレームからのフレーム間差分の大きさ
とを指標として、その符号化制御単位に含まれるすべて
のフレームの目標符号量を設定することを特徴とする。

【００３８】本発明による符号化方法の第６の構成は、
従来の第２の符号化方法において、第Ｋフレームに対し
て算出したアクティビティから、符号化制御単位内の映
像信号の符号化の難易度を検出し、その難易度と、第Ｎ
フレームの第Ｋフレームからのフレーム間差分の大きさ
とを指標として、その符号化制御単位に含まれるすべて
のフレームの目標符号量を設定することを特徴とする。

【００３９】本発明による符号化方法の第７の構成は、
従来の第１の符号化方法において、第Ｎフレームの第１
フレームからの動き量と、第２フレームから第（Ｎ−
１）フレームの各々の第１フレームからの動き量とに基
づいて符号化制御単位内のシーンチェンジ検出を行い、
第１フレームに対して算出したアクティビティから、符
号化制御単位内の映像信号の符号化の難易度を検出し、
シーンチェンジ検出結果と、符号化の難易度と、第Ｎフ
レームの第１フレームからのフレーム間差分の大きさと
を指標として、符号化制御単位に含まれるすべてのフレ
ームの目標符号量を設定することを特徴とする。

【００４０】本発明による符号化方法の第８の構成は、
従来の第２の符号化方法において、第Ｎフレームの第Ｋ
フレームからの動き量と、第１フレームから第（Ｋ−
１）フレーム、及び、第（Ｋ＋１）フレームから第（Ｎ
−１）フレームの各々の第Ｋフレームからの動き量とに
基づいて符号化制御単位内のシーンチェンジ検出を行
い、第Ｋフレームに対して算出したアクティビティから
符号化制御単位内の映像信号の符号化の難易度を検出
し、シーンチェンジ検出結果と、符号化の難易度と、第
Ｎフレームの第Ｋフレームからのフレーム間差分の大き
さを指標として、符号化制御単位に含まれるすべてのフ
レームの目標符号量を設定することを特徴とする。

【００４１】以上のようなそれぞれの符号化方法によれ
ば、画像の特徴に応じた精度の高い符号量制御を行うこ
とができる。特に、Ｐピクチャの差分情報により、ＧＯ
Ｐ内の画像の変化が予測できるため、従来の課題であっ
たシーンチェンジ画像又は動きが大きく変化する画像に
おいても、その特徴に応じた符号量割当てが実行され
る。この結果、従来の方法に比べて、本発明の符号化方
法は、同一ビットレートにおいて、より高い画質を実現
することができる。また同じ画質の画像であれば、本発
明の符号化方法は従来の方法より低いビットレートで実
現することができる。

【００４２】本発明による符号化装置の第１の構成は、
入力画像をフレーム内符号化、フレーム間順方向符号
化、及びフレーム間双方向予測符号化のいずれかの処理
が施される１又は複数のフレームから構成された符号量
制御単位であるユニットに分割するユニット分割手段
と、入力画像に対しフレームごとにフレームアクティビ
ティを算出し、同じユニットに属するフレームのフレー
ムアクティビティからユニットごとにユニットアクティ
ビティを算出するアクティビティ算出手段と、符号化対
象である符号化フレームのフレームアクティビティと、
符号化フレームが属する符号化ユニットのユニットアク
ティビティと、符号化ユニット以前のユニットの平均ユ
ニットアクティビティとに基づいて符号化フレームの目
標符号量を決定する目標符号量決定手段と、目標符号量
で符号化フレームを符号化し、符号化データを生成する
符号化手段とを備えていることを特徴とする。

【００４３】上記の構成によれば、入力画像をユニット
単位で制御するので、画像の特徴に応じた符号量制御が
可能となる。また、符号化装置を小さな回路規模で実現
できる。好ましくは、上記のフレームごとに算出したフ
レームアクティビティに、符号化フレームのピクチャタ
イプがＩピクチャであるか、Ｐピクチャであるか、又は
Ｂピクチャであるかに応じてあらかじめ定められた３通
りの重み付け定数のいずれかを乗算し、得られた値を新
たなフレームアクティビティとして用いる。ピクチャタ
イプに応じた重みづけ演算をアクティビティに施すこと
により、画像の特徴に応じた、より精度の高い符号量制
御を行うことができる。本発明による符号化装置の第２
の構成は、入力画像に対してフレームごとにマクロブロ
ック単位でアクティビティを算出し、符号化対象である
符号化フレームにおけるアクティビティのマクロブロッ
クごとの累積を示すアクティビティ関数を生成し、符号
化フレームのフレームアクティビティを算出するアクテ
ィビティ関数生成手段と、符号化フレームの目標符号量
を、符号化フレームの符号化時の残符号量、符号化フレ
ーム以前に符号化されたフレームの発生符号量、符号化
フレーム以前に符号化されたフレームのアクティビテ
ィ、バッファの占有度、及び符号化フレームのアクティ
ビティのうちの少なくとも一つを用いて決定する目標符
号量決定手段と、符号化フレームの参照スケーリングフ
ァクタを符号化フレーム以前に符号化されたフレームの
スケーリングファクタ、符号化フレーム以前に符号化さ
れたフレームの発生符号量、符号化フレーム以前に符号
化されたフレームのフレームアクティビティ、符号化フ
レームのフレームアクティビティ、及び目標符号量のう
ちの少なくとも一つを用いて算出する参照スケーリング
ファクタ算出手段と、マクロブロックごとに視覚上の重
要度を検出する重要度算出手段と、アクティビティ関数
及び目標符号量に基づいて予測モデルを生成し、符号化
フレームをマクロブロック単位で、予測モデル、参照ス
ケーリングファクタ、及び重要度を用いて符号化し、符
号化データを生成する符号化手段とを備えていることを
特徴とする。

【００４４】上記の構成によれば、画像の特徴を反映し
たアクティビティから生成した予測モデルに沿って符号
化を行い、予測モデルと発生符号量との差によって参照
スケーリングファクタを制御するので、画像の特徴に応
じた精度の高い符号量制御を行うことができる。

【００４５】本発明による符号化装置の第３の構成は、
第２の構成における符号化手段が、アクティビティ関数
及び目標符号量に基づいて予測モデルを生成し、予測モ
デルに対し所定の幅を持つ領域を設定し、符号化フレー
ムをマクロブロック単位で、参照スケーリングファクタ
及び重要度を用いて符号化し、発生符号量のマクロブロ
ックごとの累積が領域を外れた場合は、外れた量に応じ
て参照スケーリングファクタを修正し、符号化データを
生成するように構成されていることを特徴とする。

【００４６】本発明による符号化装置の第４の構成は、
第２の構成における符号化手段が、アクティビティ関数
及び目標符号量に基づいて予測モデルを生成し、予測モ
デルに対し予測モデルの傾きに応じた幅を持つ領域を設
定し、符号化フレームをマクロブロック単位で、参照ス
ケーリングファクタ及び重要度を用いて符号化し、発生
符号量のマクロブロックごとの累積が領域を外れた場合
は、参照スケーリングファクタを修正し、符号化データ
を生成するように構成されていることを特徴とする。

【００４７】本発明による符号化装置の第５の構成は、
第２の構成における符号化手段が、アクティビティ関数
及び目標符号量に基づいて予測モデルを生成し、予測モ
デルに対して所定の幅を持つ領域を設定し、符号化フレ
ームをマクロブロック単位で、参照スケーリングファク
タ及び重要度を用いて符号化し、発生符号量のマクロブ
ロックごとの累積が領域を外れた場合は、参照スケーリ
ングファクタ、予測モデル、及び領域を修正し、符号化
データを生成するように構成されていることを特徴とす
る。

【００４８】本発明による符号化装置の第６の構成は、
第２の構成における符号化手段が、アクティビティ関数
及び目標符号量に基づいて予測モデルを生成し、予測モ
デルに対し予測モデルの傾きに応じた幅を持つ領域を設
定し、符号化フレームをマクロブロック単位で、参照ス
ケーリングファクタ、及び重要度を用いて符号化し、発
生符号量のマクロブロックごとの累積が領域を外れた場
合は、参照スケーリングファクタ、予測モデル、及び領
域を修正し、符号化データを生成するように構成されて
いることを特徴とする。

【００４９】本発明による符号化装置の第２〜第６の構
成を実施する上で好ましい種々の実施形態を順次以下に
説明する。まず、符号化手段が、１マクロブロックライ
ンごとにチェックポイントを設定し、チェックポイント
において発生符号量のマクロブロックごとの累積が領域
を外れたかどうかの判断を行う。これによって、参照ス
ケーリングファクタの変動を抑えることができる。

【００５０】更に、符号化手段が、複数マクロブロック
ごとにチェックポイントを設定し、チェックポイントに
おいて発生符号量のマクロブロックごとの累積が領域を
外れたかどうかの判断を行う。特に、２のべき乗マクロ
ブロックごとにチェックポイントを設定することが好ま
しい。これにより、チェックポイントのカウンタをビッ
トシフトのみで演算することができる。

【００５１】また、設定する領域の幅が符号化フレーム
の目標符号量のうち、１マクロブロックライン分の符号
量であることが好ましい。あるいは、領域の幅が、２の
べき乗（例えば３２，６４）マクロブロック分の符号量
であることも好ましい。

【００５２】また、アクティビティ算出手段において好
ましくは、フレームアクティビティの算出方法と、マク
ロブロックごとのアクティビティの算出方法とが異な
る。フレームアクティビティがマクロブロックごとのア
クティビティのフレーム内総和であることも好ましい。
マクロブロックごとのアクティビティが、マクロブロッ
クに属する複数の直交変換ブロックごとに求めたアクテ
ィビティの総和であることも好ましい。マクロブロック
のサンプルに対してアクティビティ演算を行うことも好
ましい。

【００５３】マクロブロックがイントラマクロブロック
である場合は、マクロブロックのサンプルから平均値を
算出し、サンプルから平均値を引くことにより差分サン
プルを生成し、差分サンプルに対してアクティビティ演
算を行い、マクロブロックがインターマクロブロックで
ある場合は、マクロブロックのサンプルに対してアクテ
ィビティ演算を行うことも好ましい。マクロブロックの
サンプルから平均値を算出し、そのサンプルから平均値
を引くことにより差分サンプルを生成し、差分サンプル
に対してアクティビティ演算を行うようにしてもよい。
直交変換ブロックのサンプルに対してアクティビティ演
算を行ってもよい。

【００５４】マクロブロックがイントラマクロブロック
である場合は、直交変換ブロックのサンプルから平均値
を算出し、サンプルから平均値を引くことにより差分サ
ンプルを生成し、差分サンプルに対してアクティビティ
演算を行い、マクロブロックがインターマクロブロック
である場合は、直交変換ブロックのサンプルに対してア
クティビティ演算を行うようにしてもよい。直交変換ブ
ロックのサンプルから平均値を算出し、サンプルから平
均値を引くことにより差分サンプルを生成し、差分サン
プルに対してアクティビティ演算を行ってもよい。

【００５５】また、アクティビティ演算がマクロブロッ
クの分散の算出であることも好ましい。あるいは、アク
ティビティ演算がマクロブロックのサンプルの絶対値和
の算出であることも好ましい。更に、アクティビティ演
算が直交変換ブロックの分散の算出であることも好まし
い。アクティビティ演算が直交変換ブロックのサンプル
の絶対値和の算出であることも好ましい。アクティビテ
ィ演算が直交変換ブロックに対して直交変換を行い、直
交変換で得られたＡＣ係数の絶対値和を算出する演算で
あることも好ましい。

【００５６】また、アクティビティ演算によって得られ
たアクティビティ値が所定範囲内にある場合は、アクテ
ィビティ値を０（ゼロ）とすることが好ましい。また、
マクロブロックごとのアクティビティに対し、マクロブ
ロックごとに検出された重要度に応じた重み付け演算を
行うことが好ましい。

【００５７】また、重要度算出手段により、マクロブロ
ックが重要でないと判断された場合、そのマクロブロッ
クのアクティビティを０とすることが好ましい。また、
重要度算出手段が、マクロブロックに属する複数の直交
変換ブロックに対して重要度の検出を行い、その検出で
得られた複数の重要度のうち、最も高い重要度をそのマ
クロブロックの重要度とすることが好ましい。あるい
は、マクロブロックに属する複数の直交変換ブロックに
対して重要度の検出を行い、検出で得られた複数の重要
度の平均をそのマクロブロックの重要度としてもよい。
あるいは、直交変換ブロック単位で重要度の検出を行
い、ブロックが重要でないと判断された場合、そのブロ
ックの直交変換後のデータをすべて０とし、かつ、その
直交変換ブロックのアクティビティを０としてもよい。

【００５８】本発明による符号化装置の第７の構成は、
入力画像に対して高能率符号化を行い、符号化データを
生成する高能率符号化手段と、符号化データに対して誤
り訂正符号を付加した記録又は伝送データを生成する誤
り訂正符号化手段とを備え、誤り訂正符号化手段が、入
力画像のピクチャタイプに応じて誤り訂正能力の異なる
符号化を行うことを特徴とする。

【００５９】本発明による符号化装置の第８の構成は、
前述の第２〜第６の構成に加え、符号化データに対して
誤り訂正符号を付加した記録又は伝送データを生成する
誤り訂正符号化手段を更に備え、その誤り訂正符号化手
段が、Ｐピクチャに対して、Ｉピクチャより低くＢピク
チャより高い誤り訂正能力を持つ符号化を行い、Ｂピク
チャに対して、最も低い誤り訂正能力を持つ符号化を行
うことを特徴とする。これにより、ビット誤り発生にお
ける画質劣化の伝播を抑えることができる。

【００６０】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。 （実施形態１）図１に、本発明の第１の実施形態に係る
符号化方法の処理の流れを示す。説明を簡単にするため
に、符号化制御範囲を４フレームとする。このフレーム
構造はＭＰＥＧにおけるＧＯＰ構造でＮ＝４、Ｍ＝３に
相当する。図１において、Ｉ０、Ｂ１、Ｂ２、Ｐ３、Ｉ
４、Ｂ５、Ｂ６、Ｐ７は入力順のフレームを表してい
る。アルファベットはＭＰＥＧにおけるピクチャタイプ
を表し（ＩはＩピクチャ、ＢはＢピクチャ、ＰはＰピク
チャ）、数字は入力フレーム順を表している。

【００６１】また、１００はＢ１のＩ０からの動きを検
出する処理を示している。同様に、１０１はＢ２のＩ０
からの動きを検出する処理、１０２はＰ３のＩ０からの
動きを検出する処理、１０３はＢ１の前後のフレームＩ
０及びＰ３からの動きを検出する処理、１０４はＢ２の
前後のフレームＩ０及びＰ３からの動きを検出する処理
を示している。前後のフレームからの動きの検出は、例
えば前後のフレームの平均値からのベクトルの検出を意
味する。

【００６２】本実施形態のＧＯＰ構造（Ｎ＝４、Ｍ＝
３）における目標符号量は図１での１ＧＯＰ（Ｉ０、Ｂ
１、Ｂ２、Ｐ３）を単位として行う。図１は、横軸が時
間であり、時間１で処理１００を行い、時間２で処理１
０１を、時間３で処理１０２、１０３及び１０４を行う
ことを示している。

【００６３】したがって、時間４ではすべての処理１０
０、１０１、１０２、１０３及び１０４が終了してい
る。本実施形態では、処理１０２における動き検出結果
後の差分データ（すなわち動き検出されたＰ３ピクチ
ャ）に着目し、差分データの絶対値和により、同一符号
量制御範囲内のフレームの符号量割当てを制御する。例
えば、 ［場合１］差分データの絶対値和が第１のしきい値より
大きい場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝２：２：１：１ ［場合２］差分データの絶対値和が第２のしきい値より
小さい場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝９：３：１：１ ［場合３］差分データの絶対値が第２のしきい値から第
１のしきい値の範囲内にある場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝４：２：１：１ とする。

【００６４】このように差分データの絶対値和に応じて
各フレームに割り当てる符号量の比率を変えることによ
り、画像の特徴に応じた符号量制御を行うことができ
る。特にＰピクチャの差分情報により、ＧＯＰ内の画像
の変化が予測できるため、従来の課題であったシーンチ
ェンジ画像又は動きが大きく変化する画像においても、
その特徴に応じた符号量割当てが実行される（この場
合、符号量比はＩ０：Ｐ３：Ｂ１：Ｂ２＝２：２：１：
１に近づく）。したがって、従来の方法に比べて本実施
形態の方法は、同一ビットレートにおいて、より高い画
質を実現することができる。また同じ画質の画像であれ
ば、本実施形態の方法は従来の方法より低いビットレー
トで実現することができる。

【００６５】（実施形態２）図２に、本発明の第２の実
施形態に係る符号化方法の処理の流れを示す。説明を簡
単にするために、本実施形態でも符号化制御範囲を４フ
レームとする。このフレーム構造はＭＰＥＧにおけるＧ
ＯＰ構造でＮ＝４、Ｍ＝２に相当する。図２において、
Ｐ−１、Ｂ０、Ｉ１、Ｂ２、Ｐ３、Ｂ４、Ｉ５、Ｂ６、
Ｐ７は入力順のフレームを表している。アルファベット
はＭＰＥＧにおけるピクチャタイプを表し、数字は入力
フレーム順を表している。

【００６６】また、１１０はＢ０のＰ−１からの動きを
検出する処理を示している。同様に、１１１はＢ０の前
後のフレームＰ−１及びＩ１からの動きを検出する処
理、１１２はＢ２のＩ１からの動きを検出する処理、１
１３はＰ３のＩ１からの動きを検出する処理、１１４は
Ｂ２の前後のフレームＩ１及びＰ３からの動きを検出す
る処理である。

【００６７】本実施形態のＧＯＰ構造（Ｎ＝４、Ｍ＝
２）における目標符号量は図２での１ＧＯＰ（Ｂ０、Ｉ
１、Ｂ２、Ｐ３）を単位として行う。図２は、横軸が時
間であり、時間０で処理１１０を行い、時間１で処理１
１１を、時間２で処理１１２を、時間３で１１３及び１
１４を行うことを示している。

【００６８】したがって、時間４ではすべての処理１１
０、１１１、１１２、１１３及び１１４が終了してい
る。本実施形態では、処理２０４における動き検出結果
後の差分データ（すなわち動き検出されたＰ３ピクチ
ャ）に着目し、差分データの絶対値和により、同一符号
量制御範囲内のフレームの符号量割当てを制御する。例
えば、 ［場合１］差分データの絶対値和が第１のしきい値より
大きい場合 （Ｉ１に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ０に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝２：２：１：１ ［場合２］差分データの絶対値和が第２のしきい値より
小さい場合 （Ｉ１に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ０に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝９：３：１：１ ［場合３］差分データの絶対値が第２のしきい値から第
１のしきい値の範囲内にある場合 （Ｉ１に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ０に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝４：２：１：１ の割合に近づくように制御する。

【００６９】このように差分データの絶対値和に応じて
各フレームに割り当てる符号量の比率を変えることによ
り、画像の特徴に応じた符号量制御を行うことができ
る。特にＰピクチャの差分情報により、ＧＯＰ内の画像
の変化が予測できるため、従来の課題であったシーンチ
ェンジ画像又は動きが大きく変化する画像においても、
その特徴に応じた符号量割当てが実行される（この場
合、符号量比はＩ１：Ｐ３：Ｂ０：Ｂ２＝２：２：１：
１に近づく）。したがって、従来の方法に比べて本実施
形態の方法は、同一ビットレートにおいて、より高い画
質を実現することができる。また同じ画質の画像であれ
ば、本実施形態の方法は従来の方法より低いビットレー
トで実現することができる。

【００７０】（実施形態３）本発明の第３の実施形態に
ついて図１を参照しながら説明する。説明を簡単にする
ために、本実施形態でも符号化制御範囲を４フレームと
する。このフレーム構造はＭＰＥＧにおけるＧＯＰ構造
でＮ＝４、Ｍ＝３に相当する。図１に基づく基本的な動
作説明は第１の実施形態と同じであるが、本実施形態
は、処理１００における動き検出結果後の動きベクトル
及び差分データと、処理１０１における動き検出後の動
きベクトル及び差分データと、処理１０２における動き
検出結果後の動きベクトル及び差分データとを用いて、
同一符号量制御範囲内のフレームの符号量割当てを制御
することを特徴としている。

【００７１】符号量割当てを決定するために、以下に示
す４つの条件を設定する。 （条件１）Ｂ１のＩ０に対する差分データの絶対値和が
第１のしきい値より大きい。 （条件２）Ｂ２のＩ０に対する差分データの絶対値和が
第２のしきい値より大きい。 （条件３）Ｐ３のＩ０に対する差分データの絶対値和が
第３のしきい値より大きい。 （条件４）Ｐ３のＩ０に対する動きベクトルと、Ｂ１の
Ｉ０に対する動きベクトルを時間３まで延長したものと
の差分の絶対値が第４のしきい値より小さく、かつＰ３
のＩ０に対する動きベクトルと、Ｂ２のＩ０に対する動
きベクトルを時間３まで延長したものとの差分の絶対値
が第５のしきい値より小さい。 上記の条件を用いて、以下に示す符号量割当てを行う。 ［場合１］条件１、２、３、４を満たさない場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝４：２：１：１ ［場合２］条件１のみを満たす場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝３：３：２：２ ［場合３］条件２のみ満たす場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）： 上記の条件を用
いて、以下に示す符号量割当てを行う。 ［場合１］条件１、２、３、４を満たさない場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝４：２：１：１ ［場合２］条件１のみを満たす場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝３：３：２：２ ［場合３］条件２のみ満たす場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝３：３：２：２ ［場合４］条件３のみ満たす場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝３：３：２：２ ［場合５］条件１、及び条件２を満たす場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝３：３：３：２ ［場合６］条件２、及び条件３を満たす場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝３：３：２：３ ［場合７］条件１、及び条件３を満たす場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝１：１：１：１ ［場合８］条件１、条件２、及び条件３を満たす場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝１：１：１：１ ［場合９］条件４を満たす場合 （Ｉ０に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ１に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝９：３：１：１ このように、動きの予測しやすさを考慮した符号量の割
当てを行うことにより、画像の特徴に応じた符号量制御
を行うことができる。特に、Ｐピクチャの差分情報によ
り、ＧＯＰ内の画像の変化が予測できるため、従来の課
題であったシーンチェンジ画像又は動きが大きく変化す
る画像においても、その特徴に応じた符号量割当てが実
行される（この場合、符号量比はＩ０：Ｐ３：Ｂ１：Ｂ
２＝１：１：１：１に近づく）。したがって、従来の方
法に比べて本実施形態の方法は、同一ビットレートにお
いて、より高い画質を実現することができる。また同じ
画質の画像であれば、本実施形態の方法は従来の方法よ
り低いビットレートで実現することができる。

【００７２】（実施形態４）本発明の第４の実施形態に
ついて図２を参照しながら説明する。説明を簡単にする
ために、本実施形態でも符号化制御範囲を４フレームと
する。このフレーム構造はＭＰＥＧにおけるＧＯＰ構造
でＮ＝４、Ｍ＝２に相当する。図２に基づく基本的な動
作説明は第２の実施形態と同じであるが、本実施形態
は、処理１１１における動き検出結果後の動きベクトル
及び差分データと、処理１１２における動き検出後の動
きベクトル及び差分データと、処理１１３における動き
検出結果後の動きベクトル及び差分データとを用いて、
同一符号量制御範囲内のフレームの符号量割当てを制御
することを特徴としている。

【００７３】符号量割当てを決定するために、以下に示
す４つの条件を設定する。 （条件１）Ｂ０のＩ１に対する差分データの絶対値和が
第１のしきい値より大きい。 （条件２）Ｂ２のＩ１に対する差分データの絶対値和が
第２のしきい値より大きい。 （条件３）Ｐ３のＩ１に対する差分データの絶対値和が
第３のしきい値より大きい。 （条件４）Ｐ３のＩ１に対する動きベクトルと、Ｂ０の
Ｉ１に対する動きベクトルを時間３まで延長したものと
の差分の絶対値が第４のしきい値より小さく、かつＰ３
のＩ１に対する動きベクトルと、Ｂ２のＩ１に対する動
きベクトルを時間３まで延長したものとの差分の絶対値
が第５のしきい値より小さい。

【００７４】上記の条件を用いて、以下に示す符号量割
当てを行う。 ［場合１］条件１、２、３、４を満たさない場合 （Ｉ１に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ０に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝４：２：１：１ ［場合２］条件１のみを満たす場合 （Ｉ１に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ０に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝３：３：２：２ ［場合３］条件２のみ満たす場合 （Ｉ１に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ０に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝３：３：２：２ ［場合４］条件３のみ満たす場合 （Ｉ１に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ０に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝３：３：２：２ ［場合５］条件１、及び条件２を満たす場合 （Ｉ１に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ０に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝３：３：３：２ ［場合６］条件２、及び条件３を満たす場合 （Ｉ１に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ０に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝３：３：２：３ ［場合７］条件１、及び条件３を満たす場合 （Ｉ１に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ０に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝１：１：１：１ ［場合８］条件１、条件２、及び条件３を満たす場合 （Ｉ１に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ０に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝１：１：１：１ ［場合９］条件４を満たす場合 （Ｉ１に割り当てる符号量）：（Ｐ３に割り当てる符号
量）：（Ｂ０に割り当てる符号量）：（Ｂ２に割り当て
る符号量）＝９：３：１：１ の割合に近づくように制御する。

【００７５】このように、動きの予測しやすさを考慮し
た符号量の割当てを行うことにより、画像の特徴に応じ
た符号量制御を行うことができる。特に、Ｐピクチャの
差分情報により、ＧＯＰ内の画像の変化が予測できるた
め、従来の課題であったシーンチェンジ画像又は動きが
大きく変化する画像においても、その特徴に応じた符号
量割当てが実行される（この場合、符号量比はＩ１：Ｐ
３：Ｂ０：Ｂ２＝１：１：１：１に近づく）。したがっ
て、従来の方法に比べて本実施形態の方法は、同一ビッ
トレートにおいて、より高い画質を実現することができ
る。また同じ画質の画像であれば、本実施形態の方法は
従来の方法より低いビットレートで実現することができ
る。

【００７６】（実施形態５）本発明の第５の実施形態に
ついて図１を参照しながら説明する。説明を簡単にする
ために、本実施形態でも符号化制御範囲を４フレームと
する。このフレーム構造はＭＰＥＧにおけるＧＯＰ構造
でＮ＝４、Ｍ＝３に相当する。図１に基づく基本的な動
作説明は第１の実施形態と同じであるが、本実施形態
は、フレームＩ０に対してアクティビティ演算を行い、
検出したアクティビティよりフレームＩ０の符号化の難
易度を検出し、処理１０３における動き検出結果後の差
分データを用いて同一符号量制御範囲内のフレームの符
号量割当てを制御することを特徴としている。

【００７７】フレームＩ０に対するアクティビティ演算
で検出したアクティビティの値により、符号化の難易度
を下記の３つのランクに分類する。 （ランク１）アクティビティが第１のしきい値より大き
い。 （ランク２）アクティビティが第２のしきい値より小さ
い。 （ランク３）アクティビティが第２のしきい値から第１
のしきい値の範囲内にある。

【００７８】すなわち、ランク１は符号化の難易度が高
く、ランク２は符号化の難易度が低く、ランク３は符号
化の難易度は中程度であることを示している。本実施形
態では符号化の難易度をアクティビティから判断してい
るが、他の方法として、実際に符号化を行い、平均スケ
ーリングファクタと発生符号量から難易度を判断する方
法も考えられる。

【００７９】上記のランクと差分データを用いて、以下
に示す符号量割当てを行う。 ［場合１］フレームＩ０のランクが１で、差分データの
絶対値が第３のしきい値より大きい。

【００８０】（Ｉ０に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ１に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝２：１：１：１ ［場合２］フレームＩ０のランクが１で、差分データの
絶対値が第４のしきい値より小さい。

【００８１】（Ｉ０に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ１に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝１２：３：１：１ ［場合３］フレームＩ０のランクが１で、差分データの
絶対値が第４のしきい値から第３のしきい値の範囲内に
ある。

【００８２】（Ｉ０に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ１に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝９：３：１：１ ［場合４］フレームＩ０のランクが２で、差分データの
絶対値が第３のしきい値より大きい。

【００８３】（Ｉ０に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ１に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝１：１：１：１ ［場合５］フレームＩ０のランクが２で、差分データの
絶対値が第４のしきい値より小さい。

【００８４】（Ｉ０に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ１に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝６：３：１：１ ［場合６］フレームＩ０のランクが２で、差分データの
絶対値が第４のしきい値から第３のしきい値の範囲内に
ある。

【００８５】（Ｉ０に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ１に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝４：２：１：１ ［場合７］フレームＩ０のランクが３で、差分データの
絶対値が第３のしきい値より大きい。

【００８６】（Ｉ０に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ１に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝１：１：１：１ ［場合８］フレームＩ０のランクが３で、差分データの
絶対値が第４のしきい値より小さい。

【００８７】（Ｉ０に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ１に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝９：３：１：１ ［場合９］フレームＩ０のランクが３で、差分データの
絶対値が第４のしきい値から第３のしきい値の範囲内に
ある。

【００８８】（Ｉ０に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ１に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝４：２：１：１ の割合に近づくように制御する。

【００８９】上記のような符号量の割当てを行うことに
より、画像の特徴に応じた符号量制御を行うことができ
る。特に、Ｐピクチャの差分情報により、ＧＯＰ内の画
像の変化が予測できるため、従来の課題であったシーン
チェンジ画像又は動きが大きく変化する画像において
も、その特徴に応じた符号量割当てが実行される（この
場合、符号量比はＩ０：Ｐ３：Ｂ１：Ｂ２＝１：１：
１：１に近づく）。したがって、従来の方法に比べて本
実施形態の方法は、同一ビットレートにおいて、より高
い画質を実現することができる。また同じ画質の画像で
あれば、本実施形態の方法は従来の方法より低いビット
レートで実現することができる。

【００９０】（実施形態６）本発明の第６の実施形態に
ついて図２を参照しながら説明する。説明を簡単にする
ために、本実施形態でも符号化制御範囲を４フレームと
する。このフレーム構造はＭＰＥＧにおけるＧＯＰ構造
でＮ＝４、Ｍ＝２に相当する。図２に基づく基本的な動
作説明は第２の実施形態と同じであるが、本実施形態
は、フレームＩ１に対してアクティビティ演算を行い、
検出したアクティビティよりフレームＩ１の符号化の難
易度を検出し、処理１１３における動き検出結果後の差
分データを用いて同一符号量制御範囲内のフレームの符
号量割当てを制御することを特徴としている。

【００９１】フレームＩ１に対するアクティビティ演算
で検出したアクティビティの値により、符号化の難易度
を下記の３つのランクに分類する。 （ランク１）アクティビティが第１のしきい値より大き
い。 （ランク２）アクティビティが第２のしきい値より小さ
い。 （ランク３）アクティビティが第２のしきい値から第１
のしきい値の範囲内にある。

【００９２】すなわち、ランク１は符号化の難易度が高
く、ランク２は符号化の難易度が低く、ランク３は符号
化の難易度は中程度であることを示している。本実施形
態では符号化の難易度をアクティビティから判断してい
るが、他の方法として、実際に符号化を行い、平均スケ
ーリングファクタと発生符号量から難易度を判断する方
法も考えられる。

【００９３】上記のランクと差分データを用いて、以下
に示す符号量割当てを行う。 ［場合１］フレームＩ１のランクが１で、差分データの
絶対値が第３のしきい値より大きい。

【００９４】（Ｉ１に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ０に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝２：１：１：１ ［場合２］フレームＩ１のランクが１で、差分データの
絶対値が第４のしきい値より小さい。

【００９５】（Ｉ１に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ０に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝１２：３：１：１ ［場合３］フレームＩ１のランクが１で、差分データの
絶対値が第４のしきい値から第３のしきい値の範囲内に
ある。

【００９６】（Ｉ１に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ０に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝９：３：１：１ ［場合４］フレームＩ１のランクが２で、差分データの
絶対値が第３のしきい値より大きい。

【００９７】（Ｉ１に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ０に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝１：１：１：１ ［場合５］フレームＩ１のランクが２で、差分データの
絶対値が第４のしきい値より小さい。

【００９８】（Ｉ１に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ０に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝６：３：１：１ ［場合６］フレームＩ１のランクが２で、差分データの
絶対値が第４のしきい値から第３のしきい値の範囲内に
ある。

【００９９】（Ｉ１に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ０に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝４：２：１：１ ［場合７］フレームＩ１のランクが３で、差分データの
絶対値が第３のしきい値より大きい。

【０１００】（Ｉ１に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ０に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝１：１：１：１ ［場合８］フレームＩ１のランクが３で、差分データの
絶対値が第４のしきい値より小さい。

【０１０１】（Ｉ１に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ０に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝９：３：１：１ ［場合９］フレームＩ１のランクが３で、差分データの
絶対値が第４のしきい値から第３のしきい値の範囲内に
ある。

【０１０２】（Ｉ１に割り当てる符号量）：（Ｐ３に割
り当てる符号量）：（Ｂ０に割り当てる符号量）：（Ｂ
２に割り当てる符号量）＝４：２：１：１ の割合に近づくように制御する。

【０１０３】上記のような符号量の割当てを行うことに
より、画像の特徴に応じた符号量制御を行うことができ
る。特に、Ｐピクチャの差分情報により、ＧＯＰ内の画
像の変化が予測できるため、従来の課題であったシーン
チェンジ画像又は動きが大きく変化する画像において
も、その特徴に応じた符号量割当てが実行される（この
場合、符号量比はＩ１：Ｐ３：Ｂ０：Ｂ２＝１：１：
１：１に近づく）。したがって、従来の方法に比べて本
実施形態の方法は、同一ビットレートにおいて、より高
い画質を実現することができる。また同じ画質の画像で
あれば、本実施形態の方法は従来の方法より低いビット
レートで実現することができる。

【０１０４】（実施形態７）図３に、本発明の第７の実
施形態に係る符号化装置のブロック図を示す。図３にお
いて、２００は動きベクトル検出部、２０１は差分画像
生成部、２０２はユニット分割部、２０３はアクティビ
ティ算出部、２０４は平均ユニットアクティビティ更新
部、２０５は目標符号量決定部、２０６は符号化部、２
０７は割当て符号量更新部、そして２０８はローカルデ
コーダである。

【０１０５】上記のような構成を有する符号化装置の動
作について、図４を参照しながら説明する。なお、説明
の都合上、フレーム周波数を６０ｆｐｓ、ＧＯＰ構造を
Ｎ＝３０、Ｍ＝３、ビットレートを６Ｍｂｐｓとする。

【０１０６】図４において（ａ）は入力画像、（ｂ）は
入力画像に対して求めたフレームアクティビティ、
（ｃ）は入力画像に対して求めたユニットアクティビテ
ィ、（ｄ）は入力画像に対して設定された目標符号量を
示している。

【０１０７】図３において、入力された画像信号は動き
ベクトル検出部２００及び差分画像生成部２０１に入力
される。動きベクトル検出部２００は入力された画像に
対し、入力画像のピクチャタイプがＰ又はＢピクチャの
場合、メモリ上にストアされている参照画像に対して動
きベクトル検出を行い、動きベクトルを出力する。入力
画像のピクチャタイプがＩピクチャである場合は動きベ
クトル検出は行わない。動きベクトル検出部２００から
出力された動きベクトルは差分画像生成部２０１に入力
される。

【０１０８】差分画像生成部２０１は入力画像のピクチ
ャタイプがＰ又はＢピクチャの場合、入力された動きベ
クトルと、ローカルデコーダより入力された復号化され
た参照画像から予測画像を生成し、予測画像と入力画像
との差分演算を行い差分画像を出力する。差分画像はユ
ニット分割部２０２、アクティビティ算出部２０３、及
び符号化部２０６に入力される。入力画像のピクチャタ
イプがＩピクチャの場合は、入力画像がユニット分割部
２０２、アクティビティ算出部２０３及び符号化部２０
６に入力される。

【０１０９】ユニット分割部２０２は、図４（ａ）に示
すように、１枚のＩピクチャと２枚のＢピクチャから構
成されるＩユニットと、１枚のＰピクチャと２枚のＢピ
クチャから構成されるＰユニットとを定義し、入力され
た差分画像のピクチャタイプに応じてＩ又はＰのいずれ
のユニットに属するかを決定し、そのユニット情報を出
力する。ユニット情報はアクティビティ算出部２０３に
入力される。アクティビティ算出部２０３は、図４
（ｂ）に示すように、入力された差分信号に対してアク
ティビティ演算を行いフレームアクティビティを出力す
る。

【０１１０】更に、図４（ｃ）に示すように、入力され
たユニット情報から、その差分画像が属するユニットの
ユニットアクティビティを出力する。フレームアクティ
ビティは目標符号量決定部２０５に入力される。ユニッ
トアクティビティは平均ユニットアクティビティ更新部
２０４及び目標符号量決定部２０５に入力される。平均
ユニットアクティビティ更新部２０４は入力されたユニ
ットアクティビティより、入力されたユニットの平均ユ
ニットアクティビティを更新する。

【０１１１】入力されたユニットがＰユニットであり、
ユニットアクティビティをＡａ、Ｐユニットの平均ユニ
ットアクティビティをＡＰｍで表すとき、平均ユニット
アクティビティ更新部２０４は、式（１）にしたがって
Ｐユニットの平均ユニットアクティビティＡＰｍを更新
する。

【０１１２】 ＡＰｍ＝（ＡＰｍ＋Ａａ）／２ ・・・（１） また、入力されたユニットがＩユニットであり、ユニッ
トアクティビティをＡａ、Ｉユニットの平均ユニットア
クティビティをＡＩｍで表すとき、平均ユニットアクテ
ィビティ更新部２０４は、式（２）にしたがってＩユニ
ットの平均ユニットアクティビティＡＩｍを更新する。

【０１１３】 ＡＩｍ＝（ＡＩｍ＋Ａａ）／２ ・・・（２） 更新された平均ユニットアクティビティは目標符号量決
定部２０５に入力される。目標符号量決定部２０５は、
図４（ｄ）に示すように、入力されたフレームアクティ
ビティ、ユニットアクティビティ、平均ユニットアクテ
ィビティ、及び割当て符号量より符号化フレームに対す
る目標符号量を出力する。入力されたユニットのアクテ
ィビティをＡａ、入力されたユニット以前のＩユニット
の平均アクティビティをＡＩｍ、Ｐユニットの平均アク
ティビティをＡＰｍ、割当て符号量をＲとするとき、ユ
ニットの目標符号量Ｔｕは式（３）から求めることがで
きる。

【０１１４】 Ｔｕ＝Ｒ×Ａａ／（ＡＩｍ＋ＡＰｍ×９） ・・・（３） 割当て符号量Ｒは、符号量制御を行う範囲を設定したと
き、その制御範囲に割り当てられる符号量であり、ユニ
ットの発生符号量に応じて更新されていく。本実施形態
では１０ユニットで符号量制御を行うため、Ｒの初期値
は６Ｍ×（１０／２０）＝３Ｍビットとなる。符号化フ
レームのアクティビティをＡｆとするとき、符号化フレ
ームの目標符号量Ｔｆは式（４）から求めることができ
る。

【０１１５】 Ｔｆ＝Ｔｕ×Ａｆ／Ａａ ・・・（４） 目標符号量は符号化部２０６に入力される。符号化部２
０６は入力された差分画像に対し、入力された目標符号
量で符号化し符号化データを出力する。符号化データは
割当て符号量更新部２０７及びローカルデコーダ２０８
に入力される。割当て符号量更新部２０７は入力された
符号化データより発生符号量を算出し、割当て符号量Ｒ
を更新する。ローカルデコーダ２０８は入力された符号
化データに対し復号化を行い復号化画像を生成する。

【０１１６】このように、画像をＩピクチャ及びＢピク
チャから構成されるＩユニットと、Ｐピクチャ及びＢピ
クチャから構成されるＰユニットとに分割し、ユニット
単位で符号量制御を行うことにより、より精度の高い符
号量制御を行うことができる。

【０１１７】（実施形態８）本発明の第８の実施形態に
ついて図３を参照しながら説明する。図３の構成及び基
本的な動作は実施形態７で説明した通りであるが、本実
施形態におけるアクティビティ算出部２０３は、算出し
たアクティビティに対し、当該フレームのピクチャタイ
プがＩピクチャであればＩピクチャに対する重み付け定
数ＫＩとの乗算を行い、ＰピクチャであればＰピクチャ
に対する重み付け定数ＫＰとの乗算を行い、Ｂピクチャ
であれば、Ｂピクチャに対する重み付け定数ＫＢとの乗
算を行うことで得られる新たなアクティビティを、当該
フレームのアクティビティとする。

【０１１８】例えば、重み付け前のＩピクチャ、Ｐピク
チャ、Ｂピクチャのアクティビティをそれぞれ、１００
００、７０００、５０００とし、Ｉピクチャ、Ｐピクチ
ャ、Ｂピクチャの重み付け係数をそれぞれ、ＫＩ＝１．
０、ＫＰ＝０．８、ＫＢ＝０．５とするとき、重み付け
演算後のＩピクチャ、Ｐピクチャ、Ｂピクチャのアクテ
ィビティはそれぞれ、１００００、５６００、２５００
となる。

【０１１９】このように、フレームごとに算出したアク
ティビティに対し、フームのピクチャタイプに応じた重
み付け演算を行うことで得られる新たなアクティビティ
を用いて符号量制御を行うことにより、より精度の高い
符号量制御を行うことができる。

【０１２０】（実施形態９）図５に、本発明の第９の実
施形態に係る符号化装置のブロック図を示す。図５にお
いて、３００は動きベクトル検出部、３０１は差分画像
生成部、３０２は直交変換部、３０３は重要度算出部、
３０４はアクティビティ算出部、３０５は目標符号量決
定部、３０６は参照スケーリングファクタ算出部、３０
７は符号化部、そして３０８はローカルデコーダであ
る。このような構成を有する符号化装置の動作につい
て、図６及び図７を参照しながら説明する。

【０１２１】図５において、入力された画像信号は動き
ベクトル検出部３００、差分画像生成部３０１、及び重
要度算出部３０３に入力される。動きベクトル検出部３
００は入力された画像に対し、入力画像のピクチャタイ
プがＰ又はＢピクチャの場合、メモリ上にストアされて
いる参照画像に対して動きベクトル検出を行い、動きベ
クトルを出力する。入力画像のピクチャタイプがＩピク
チャである場合は、動きベクトル検出を行わない。動き
ベクトル検出部３００から出力された動きベクトルは差
分画像生成部３０１、重要度算出部３０３に入力され
る。

【０１２２】差分画像生成部３０１は入力画像のピクチ
ャタイプがＩピクチャの場合、入力された画像を差分画
像として出力する。また、入力画像のピクチャタイプが
Ｐ又はＢピクチャの場合は、入力された動きベクトル
と、ローカルデコーダ３０８より入力された復号化され
た参照画像から予測画像を生成し、予測画像と入力画像
との差分演算を行い、差分画像を出力する。差分画像は
直交変換部３０２、重要度算出部３０３、及びアクティ
ビティ算出部３０４に入力される。

【０１２３】直交変換部３０２は、入力された差分画像
に直交変換演算を行い、直交変換データを出力する。直
交変換データは重要度算出部３０３、符号化部３０７に
入力される。

【０１２４】重要度算出部３０３は、入力された動きベ
クトル、入力画像、直交変換データ、及び差分画像より
マクロブロック単位で視覚的な重要度を算出し、その重
要度をクラスと呼ばれるランク付けにより定量化する。
クラスが小さいマクロブロックは、量子化の基準となる
参照スケーリングファクタよりも小さいスケーリングフ
ァクタで量子化され、クラスが大きいマクロブロックは
参照スケーリングファクタよりも大きいスケーリングフ
ァクタで量子化される。検出された重要度は、アクティ
ビティ算出部３０４、及び符号化部３０７に入力され
る。

【０１２５】アクティビティ算出部３０４は、重要度算
出部３０３から与えられた重要度の情報を用い、入力さ
れた差分画像に対しマクロブロック単位でアクティビテ
ィを算出し、図６に示すようなアクティビティのマクロ
ブロックごとの累積を示すアクティビティ関数、及び符
号化フレーム全体のアクティビティを表すフレームアク
ティビティを生成する。アクティビティ関数及びフレー
ムアクティビティは目標符号量決定部３０５、参照スケ
ーリングファクタ算出部３０６、及び符号化部３０７に
入力される。

【０１２６】目標符号量決定部３０５は、入力された符
号化フレームのフレームアクティビティ、目標符号量、
符号化フレームを符号化する際の残符号量、符号化フレ
ーム以前に符号化されたフレームのフレームアクティビ
ティ、発生符号量、バッファの占有度のうち、少なくと
も一つを用いて符号化フレームの目標符号量を決定す
る。目標符号量は参照スケーリングファクタ算出部３０
６及び符号化部３０７に入力される。

【０１２７】参照スケーリングファクタ算出部３０６
は、入力された目標符号量、符号化フレームのフレーム
アクティビティ、符号化フレーム以前に符号化されたフ
レームの発生符号量、フレームアクティビティ、符号化
フレーム以前に符号化されたフレームの平均スケーリン
グファクタのうち、少なくとも一つを用いて符号化フレ
ームの参照スケーリングファクタを算出する。参照スケ
ーリングファクタは符号化部３０７に入力される。

【０１２８】符号化部３０７は、入力された目標符号量
及びアクティビティ関数より発生符号量の予測モデルを
生成し、参照スケーリングファクタと各マクロブロック
ごとに検出した重要度により、直交変換データをマクロ
ブロックごとに量子化すると共に可変長符号化し、符号
化データを出力する。符号化データは目標符号量決定部
３０５、参照スケーリングファクタ算出部３０６、及び
ローカルデコーダ３０８に入力される。ローカルデコー
ダ３０８は入力された符号化データに対し復号化を行い
復号化画像を生成する。復号化画像は差分画像生成部３
０１に入力される。

【０１２９】上記の符号化部３０７の動作を図７に基づ
いて説明する。図７において予測モデル５０１は、図６
に示したアクティビティ関数５００から求めた発生符号
量の予測モデルである。発生符号量５０２は実際に符号
化を行ったときの発生符号量である。符号化部３０７
は、予測モデル５０１と発生符号量５０２との差に基づ
いて参照スケーリングファクタを制御する。

【０１３０】このように、符号化フレームに対し、画像
の特徴を示すアクティビティから発生符号量の予測モデ
ルを生成し、予測モデルに沿って符号化を行い、発生符
号量と予測モデルの差に基づいて参照スケーリングファ
クタを制御することにより、画像の特徴に応じた精度の
高い符号量制御を行うことができる。

【０１３１】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
と比較すると、本実施形態の符号化装置は、複数の符号
量先読み部を必要としないため、少ない回路規模で実現
することが。すなわち、少ない回路規模で、画像の特徴
に応じた精度の高い符号量制御を実現することができ
る。

【０１３２】（実施形態１０）本発明の第１０の実施形
態について、図５及び８を参照しながら説明する。図５
の構成及び基本的な動作は実施形態９で述べた通りであ
るが、本実施形態における符号化部３０７は、予測モデ
ルに対して特定の幅を持つ領域を設定し、参照スケーリ
ングファクタと各マクロブロックごとに検出した重要度
により差分画像をマクロブロックごとに符号化し、発生
符号量が予測モデルに対して設定した領域から外れた場
合に、外れた量に応じて参照スケーリングファクタの修
正を行う。

【０１３３】符号化部３０７の動作について、図８に基
づいて説明を加える。図８において、予測モデル５０３
は図６に示したアクティビティ関数５００から求めた発
生符号量の予測モデルであり、発生符号量５０５は実際
に符号化を行ったときの発生符号量である。領域５０４
は予測モデル５０３に対して特定の幅を持たせた領域で
ある。発生符号量が領域５０４から外れた場合は、外れ
た量に応じて参照スケーリングファクタを修正する。

【０１３４】例えば、領域５０４の幅を、予測モデル５
０３に対して、＋方向に１０００ビット、−方向に１０
００ビットとしたとき、発生符号量５０５と予測モデル
５０３との差が１０００ビットより大きくなった場合は
参照スケーリングファクタを１だけ大きくする。逆に、
発生符号量５０５と予測モデル５０３との差が−１００
０ビットより小さくなった場合は参照スケーリングファ
クタを１だけ小さくする。

【０１３５】このように、符号化フレームに対し、画像
の特徴を示すアクティビティから発生符号量の予測モデ
ルを生成し、予測モデルに対し所定の幅を有する領域を
設定し、予測モデルに沿って符号化を行い、発生符号量
が領域を外れたら、外れた量に応じて参照スケーリング
ファクタ、予測モデル、目標符号量、及び領域の少なく
とも一つを修正することにより、画像の特徴に応じた精
度の高い符号量制御を行うことができる。

【０１３６】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１３７】（実施形態１１）本発明の第１１の実施形
態について図５及び９を参照しながら説明する。図５の
構成及び基本的な動作は実施形態９で述べた通りである
が、本実施形態における符号化部３０７は、予測モデル
に対し、特定の幅を持つ領域を設定し、参照スケーリン
グファクタと各マクロブロックごとに検出した重要度に
より、差分画像をマクロブロックごとに符号化し、発生
符号量が予測モデルに対して設定した領域から外れた場
合に参照スケーリングファクタ、予測モデル、及び予測
モデルに対して設定する領域の修正を行うことを特徴と
する。

【０１３８】図９に第１１の実施形態における、符号化
部３０７の動作を示す。図９において、予測モデル５０
６は修正前の予測モデルであり、図６に示したアクティ
ビティ関数５００から求めた発生符号量の予測モデルで
ある。領域５０９は修正前の予測モデル５０６に対して
設定した領域である。予測モデル５０７は修正後の予測
モデルである。領域５１０は修正後の予測モデル５０７
に対して設定した領域である。発生符号量５０８は実際
に符号化を行ったときの発生符号量である。発生符号量
５０８が修正前の予測モデル５０６に対して設定した領
域５０９から外れた場合には、参照スケーリングファク
タ、予測モデル、目標符号量、及び領域を修正する。

【０１３９】例えば、領域５０９の幅を予測モデル５０
６に対して、＋方向に１０００ビット、−方向に１００
０ビットとしたとき、発生符号量５０８と予測モデル５
０６との差が１１００ビットとなり、１０００ビットよ
り大きくなった場合は。参照スケーリングファクタを１
だけ大きくし、かつ予測モデル及び領域を発生符号量と
予測モデルの差分だけ上方向にシフトする。この例では
１１００ビットだけ上方向にシフトすることになる。

【０１４０】逆に、発生符号量５０８と予測モデル５０
６との差が−１１００ビットとなり、−１０００ビット
より小さくなった場合は、参照スケーリングファクタを
１だけ小さくし、かつ予測モデル及び領域を発生符号量
と予測モデルの差分だけ下方向にシフトする。この例で
は１１００ビットだけ下方向にシフトすることになる。

【０１４１】発生符号量が予測モデルに対して設定した
領域を外れた場合、外れた量に応じて、参照スケーリン
グファクタ、予測モデル、目標符号量、及び領域を修正
することにより、最終的な発生符号量が符号化開始時に
設定した目標符号量と異なってしまうことになるが、修
正後、新たな修正が発生する確率が減少するという効果
が得られる。これにより、参照スケーリングファクタの
変動を抑えることができ、安定した画質を得ることがで
きる。

【０１４２】このように、符号化フレームに対し、画像
の特徴を示すアクティビティから発生符号量の予測モデ
ルを生成し、予測モデルに対し特定の幅を持つ領域を設
定し、予測モデルに沿って符号化を行い、発生符号量が
領域を外れたときは、外れた量に応じて参照スケーリン
グファクタ、予測モデル、目標符号量、及び領域を修正
することにより、画像の特徴に応じた精度の高い符号量
制御を行うことができる。

【０１４３】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１４４】（実施形態１２）本発明の第１２の実施形
態について図５及び１０を参照しながら説明する。図５
の構成及び基本的な動作は実施形態９で述べた通りであ
るが、本実施形態における符号化部３０７は、予測モデ
ルに対し、予測モデルの傾きに応じた幅を持つ領域を設
定し、参照スケーリングファクタと各マクロブロックご
とに検出した重要度により、差分画像をマクロブロック
ごとに符号化し、発生符号量が予測モデルに対して設定
した領域から外れた場合に参照スケーリングファクタの
修正を行うことを特徴としする。

【０１４５】予測モデルをアクティビティ関数から算出
するので、予測モデルの形状は各マクロブロックの特徴
を反映したものとなる。例えば、予測モデルの傾きが大
きい場合は、そのマクロブロックのアクティビティは大
きい。すなわち、エッジを含んだ領域であることを表し
ている。逆に、予測モデルの傾きが小さい場合は、その
マクロブロックのアクティビティは小さい。すなわち、
平坦領域であることを表している。

【０１４６】予測モデルの傾きが大きい領域において
は、予測モデルの傾きが小さい領域に比べて、参照スケ
ーリングファクタの変動による発生符号量の変動が大き
い。そのため、予測モデルに対して設定する幅を予測モ
デルの傾きにかかわらず一定とする場合、予測モデルの
傾きが小さい領域をベースにして幅を小さく設定する
と、予測モデルの傾きが大きい領域では参照スケーリン
グファクタが激しく変動してしまう。逆に、予測モデル
の傾きが大きい領域をベースにして幅を大きく設定する
と、予測モデルの傾きが小さい領域では予測モデルに合
わない参照スケーリングファクタが選択されたときでも
参照スケーリングファクタが修正されず、画像の特徴に
応じた符号化を行うことが困難となる。

【０１４７】特に、参照スケーリングファクタが修正さ
れないと、目標符号量との誤差が大きくなり、多くの符
号量が必要とされるアクティビティが大きなマクロブロ
ックを符号化する場合に、十分な符号量を割り当てるこ
とができなくなる。そのため領域５１３は、予測モデル
５１１の傾きに応じて変化し、予測モデルの傾きが大き
いほど大きくなり、予測モデルの傾きが小さいほど小さ
くなる。

【０１４８】そこで、符号化を進めていき、発生符号量
５１２が領域５１３から外れてしまうときは参照スケー
リングファクタを操作する。例えば、発生符号量５１３
が領域５０４より大きくなる場合は参照スケーリングフ
ァクタを１だけ大きくし、逆に発生符号量５０３が領域
５０４より小さくなる場合は参照スケーリングファクタ
を１だけ小さくする。

【０１４９】このように、符号化フレームに対し、画像
の特徴を示すアクティビティから発生符号量の予測モデ
ルを生成し、予測モデルに対し、予測モデルの傾きに応
じて幅の変化する領域を設定し、予測モデルに沿って符
号化を行い、発生符号量が領域を外れたときは、外れた
量に応じて参照スケーリングファクタを修正することに
より、画像の特徴に応じた精度の高い符号量制御を行う
ことができる。

【０１５０】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１５１】（実施形態１３）本発明の第１３の実施形
態について図５及び１１を参照しながら説明する。図５
の構成及び基本的な動作は実施形態９で述べた通りであ
るが、本実施形態における符号化部３０７は、予測モデ
ルに対し、予測モデルの傾きに応じた幅を持つ領域を設
定し、参照スケーリングファクタと各マクロブロックご
とに検出した重要度により、差分画像をマクロブロック
ごとに符号化し、発生符号量が予測モデルに対して設定
した領域から外れた場合に参照スケーリングファクタ、
予測モデル、及び予測モデルに対して設定する領域の修
正を行うことを特徴とする。

【０１５２】図１１に本実施形態における符号化部３０
７の動作を示す。図１１において、予測モデル５１４は
修正前の予測モデルであり、図６に示したアクティビテ
ィ関数５００から求めた発生符号量の予測モデルであ
る。領域５１７は修正前の予測モデル５１４に対して設
定した領域である。予測モデル５１５は修正後の予測モ
デルである。領域５１８は修正後の予測モデル５１５に
対して設定した領域である。発生符号量５１６は実際に
符号化を行ったときの発生符号量である。

【０１５３】発生符号量５１６が修正前の予測モデル５
１４に対して設定した領域５１７から外れた場合は、参
照スケーリングファクタ、予測モデル、目標符号量、及
び領域を修正する。

【０１５４】発生符号量が予測モデルに対して設定した
領域を外れた場合、参照スケーリングファクタ、予測モ
デル、目標符号量、領域を修正することにより、最終的
な発生符号量が符号化開始時に設定した目標符号量とは
異なってしまうが、修正後、新たな修正が発生する確率
が減少するという効果が得られる。これにより、参照ス
ケーリングファクタの変動を抑えることができ、安定し
た画質を得ることができる。

【０１５５】このように、符号化フレームに対し、画像
の特徴を示すアクティビティから発生符号量の予測モデ
ルを生成し、予測モデルに対し、予測モデルの傾きに応
じた幅を持つ領域を設定し、予測モデルに沿って符号化
を行い、発生符号量が領域を外れたときは、外れた量に
応じて参照スケーリングファクタ、予測モデル、目標符
号量、及び領域を修正することにより、画像の特徴に応
じた精度の高い符号量制御を行うことができる。

【０１５６】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１５７】（実施形態１４）本発明の第１４の実施形
態について図５及び１２を参照しながら説明する。図５
の構成及び基本的な動作は実施形態９で述べた通りであ
るが、本実施形態における符号化部３０７は、予測モデ
ルに対して、予測モデルの傾きに応じた幅を設定し、Ｓ
（２以上の整数）マクロブロックごとにチェックポイン
トを設定し、そのチェックポイントにおいて発生符号量
がこの領域を外れた場合は、外れた量に応じて参照スケ
ーリングファクタを修正する。チェックポイント以外で
発生符号量が領域を外れても参照スケーリングファクタ
の修正は行わない。

【０１５８】ピクチャ内でスケーリングファクタが変化
するとき、その変化点において量子化誤差の度合いが変
化することによる不連続点が生じる。この不連続点は視
覚的な劣化を引き起こす。それ故、スケーリングファク
タはピクチャ内で一定であることが望ましい。そこで、
本実施形態では、Ｓマクロブロックごとにチェックポイ
ントを設定し、チェックポイントで発生符号量が領域を
外れていた場合のみ、外れた量に応じて参照スケーリン
グファクタを修正する。これにより画質の安定性を高め
ることができる。

【０１５９】またチェックポイントで発生符号量が領域
を外れていた場合のみ、参照スケーリングファクタ、予
測モデル、目標符号量、及び領域を修正することも考え
られる。

【０１６０】このように、符号化フレームに対し、画像
の特徴を示すアクティビティから発生符号量の予測モデ
ルを生成し、予測モデルに沿って符号化を行い、Ｓマク
ロブロックごとに設定したチェックポイントにおいて、
発生符号量が領域を外れた場合に、外れた量に応じて参
照スケーリングファクタを修正することにより、画質の
安定性を高め、かつ画像の特徴に応じた精度の高い符号
量制御を行うことができる。

【０１６１】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１６２】（実施形態１５）本発明の第１５の実施形
態について図５及び１２を参照しながら説明する。図５
の構成及び基本的な動作は実施形態９で述べた通りであ
るが、本実施形態における符号化部３０７は、予測モデ
ルに対して、予測モデルの傾きに応じた幅を設定し、１
マクロブロックラインごとにチェックポイントを設定
し、そのチェックポイントにおいて発生符号量がこの領
域を外れた場合には、参照スケーリングファクタを修正
することを特徴とする。チェックポイント以外で発生符
号量が領域を外れても参照スケーリングファクタの修正
は行わない。例えば４５×３０マクロブロックから構成
される画像に対しては、４５マクロブロックごとにチェ
ックポイントが設定される。

【０１６３】またチェックポイントで発生符号量が領域
を外れていた場合のみ、参照スケーリングファクタ、予
測モデル、目標符号量、及び領域を修正することも考え
られる。

【０１６４】ピクチャ内でスケーリングファクタが変化
するとき、その変化点において、量子化誤差の度合いが
変化することによる不連続点が生じる。この不連続点は
視覚的な劣化を引き起こす。特に画面中央で不連続点が
生じる場合、大きな画質劣化を引き起こす。そのため１
マクロブロックラインごとにチェックポイントを設定す
ることにより、参照スケーリングファクタの変化が常に
画面端で発生することになり、視覚上の劣化を抑えるこ
とができる。

【０１６５】このように、符号化フレームに対し、画像
の特徴を示すアクティビティから発生符号量の予測モデ
ルを生成し、予測モデルに沿って符号化を行い、１マク
ロブロックラインごとに設定したチェックポイントにお
いて、発生符号量が領域を外れたときは、外れた量に応
じて参照スケーリングファクタを修正することにより、
画質の安定性を高め、かつ画像の特徴に応じた精度の高
い符号量制御を行うことができる。

【０１６６】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１６７】（実施形態１６）本発明の第１６の実施形
態について、図５及び１２を参照しながら説明する。各
構成、及び基本的な動作は実施形態９で示した通りであ
るが、本実施形態における符号化部３０７は、予測モデ
ルに対して、予測モデルの傾きに応じた幅を設定し、Ｌ
個（２のべき乗で表現される整数）のマクロブロックご
とにチェックポイントを設定し、そのチェックポイント
において発生符号量がこの領域を外れた場合には、参照
スケーリングファクタを修正することを特徴とする。チ
ェックポイント以外で発生符号量が領域を外れても参照
スケーリングファクタの修正は行わない。例えば６４マ
クロブロックごとにチェックポイントが設定される。

【０１６８】またチェックポイントで発生符号量が領域
を外れていた場合のみ、参照スケーリングファクタ、予
測モデル、目標符号量、及び領域を修正することも考え
られる。

【０１６９】２のべき乗で表現されるマクロブロック数
ごとにチェックポイントを設定することにより、チェッ
クポイントのカウンタをビットシフトのみで演算するこ
とができ、回路規模の削減が可能となる。

【０１７０】このように、符号化フレームに対し、画像
の特徴を示すアクティビティから発生符号量の予測モデ
ルを生成し、予測モデルに沿って符号化を行い、２のべ
き乗で表現されるマクロブロック数ごとに設定したチェ
ックポイントにおいて、発生符号量が領域を外れたとき
は、外れた量に応じて参照スケーリングファクタを修正
することにより、画質の安定性を高め、かつ画像の特徴
に応じた精度の高い符号量制御を行うことができる。

【０１７１】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１７２】（実施形態１７）本発明の第１７の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態における符号化部３０７は、予測モデルに対
し、常に符号化フレームの目標符号量のうち、１マクロ
ブロックライン分のビット数の幅から成る領域を設定
し、発生符号量がその領域を外れたら参照スケーリング
ファクタ、目標符号量、予測モデル、及び領域の修正を
行うことを特徴とする。例えば４５×３０のマクロブロ
ックから構成される画像に対して目標符号量が９０００
０ビットである場合、予測モデルに対して１マクロブロ
ックラインの符号量、すなわち、９００００／３０＝３
０００ビットの幅を持つ領域が設定される。

【０１７３】このように、符号化フレームに対し、画像
の特徴を示すアクティビティから発生符号量の予測モデ
ルを生成し、予測モデルに対し、目標符号量の内、１マ
クロブロックライン分のビット数の幅から成る領域を設
定し、発生符号量が領域を外れたときは、外れた量に応
じて参照スケーリングファクタ、目標符号量、予測モデ
ル、及び領域を修正することにより、画像の特徴に応じ
た精度の高い符号量制御を行うことができる。

【０１７４】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１７５】（実施形態１８）本発明の第１８の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態における符号化部３０７は、予測モデルに対
し、常に符号化フレームの目標符号量の内、３２又は６
４のような２のべき乗で表現されるマクロブロック分の
ビット数の幅から成る領域を設定し、発生符号量がその
領域を外れたら参照スケーリングファクタ、目標符号
量、予測モデル、及び領域の修正を行うことを特徴とす
る。例えば４５×３０のマクロブロックから構成される
画像に対して目標符号量が９００００ビットであり、３
２マクロブロック聞のビット数の幅を与える場合、９０
０００／（４５×３０）×３２＝２１３３ビットの幅を
持つ領域が予測モデルに対し設定される。この場合、領
域の幅の演算はビットシフトのみで行うことができるた
め、回路規模の増加を抑えることができる。

【０１７６】このように、符号化フレームに対し、画像
の特徴を示すアクティビティから発生符号量の予測モデ
ルを生成し、予測モデルに対し、目標符号量の内、２の
べき乗で表現されるマクロブロック分のビット数の幅か
ら成る領域を設定し、発生符号量が領域を外れたとき
は、外れた量に応じて参照スケーリングファクタ、目標
符号量、予測モデル、及び領域を修正することにより、
画像の特徴に応じた精度の高い符号量制御を行うことが
できる。

【０１７７】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１７８】（実施形態１９）本発明の第１９の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態におけるアクティビティ算出部３０４は、アク
ティビティ関数とフレームアクティビティを異なる演算
方法で算出することを特徴とする。例えばアクティビテ
ィ関数をサンプル値の絶対和とし、フレームアクティビ
ティをアダマール変換後のＡＣ係数の絶対和とするよう
に、それぞれに最適の算出方法でアクティビティを算出
する。

【０１７９】このように、符号化フレームに対し、異な
る算出方法でアクティビティ関数と、フレームアクティ
ビティを算出し、アクティビティ関数から発生符号量の
予測モデルを生成し、予測モデルに対し、予測モデルの
傾きに応じた幅を持つ領域を設定し、予測モデルに沿っ
て符号化を行い、発生符号量が領域を外れたときは、外
れた量に応じて、参照スケーリングファクタ、目標符号
量、予測モデル、及び領域を修正することにより、画像
の特徴に応じた精度の高い符号量制御を行うことができ
る。

【０１８０】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１８１】（実施形態２０）本発明の第２０の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態におけるアクティビティ算出部３０４は、マク
ロブロックごとに算出したアクティビティの総和をフレ
ームアクティビティとすることを特徴とする。

【０１８２】このように、符号化フレームに対し、マク
ロブロックごとに算出したアクティビティの総和をフレ
ームアクティビティとし、アクティビティ関数から発生
符号量の予測モデルを生成し、予測モデルに対し、予測
モデルの傾きに応じた幅を持つ領域を設定し、予測モデ
ルに沿って符号化を行い、発生符号量が領域を外れたと
きは、外れた量に応じて、参照スケーリングファクタ、
目標符号量、予測モデル、及び領域を修正することによ
り、画像の特徴に応じた精度の高い符号量制御を行うこ
とができる。

【０１８３】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１８４】（実施形態２１）本発明の第２１の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態におけるアクティビティ算出部３０４は、同一
マクロブロックに属する直交変換ブロックごとにアクテ
ィビティを算出し、各直交変換ブロックのアクティビテ
ィの総和をマクロブロックのアクティビティとすること
を特徴とする。

【０１８５】このように、符号化フレームに対し、同一
マクロブロックに属する直交変換ブロックごとにアクテ
ィビティを算出し、各直交変換ブロックのアクティビテ
ィの総和をマクロブロックのアクティビティとすること
により、アクティビティ関数とフレームアクティビティ
を算出し、アクティビティ関数から発生符号量の予測モ
デルを生成し、予測モデルに対し、予測モデルの傾きに
応じた幅を持つ領域を設定し、予測モデルに沿って符号
化を行い、発生符号量が領域を外れたときは、外れた量
に応じて参照スケーリングファクタ、目標符号量、予測
モデル、及び領域を修正することにより、画像の特徴に
応じた精度の高い符号量制御を行うことができる。

【０１８６】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１８７】（実施形態２２）本発明の第２２の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態におけるアクティビティ算出部３０４は、マク
ロブロックがイントラマクロブロックである場合には、
マクロブロックのサンプルからマクロブロックの平均値
を引くことにより生成した差分サンプルに対してアクテ
ィビティ演算を行い、マクロブロックがインターマクロ
ブロックである場合には、マクロブロックのサンプルに
対してアクティビティ演算を行うことを特徴としてい
る。

【０１８８】このように、符号化フレームに対し、マク
ロブロックの高域成分についてアクティビティ演算を行
い、アクティビティ関数とフレームアクティビティを算
出し、アクティビティ関数から発生符号量の予測モデル
を生成し、予測モデルに対し、予測モデルの傾きに応じ
た幅を持つ領域を設定し、予測モデルに沿って符号化を
行い、発生符号量が領域を外れたときは、外れた量に応
じて、参照スケーリングファクタ、目標符号量、予測モ
デル、及び領域を修正することにより、画像の特徴に応
じた精度の高い符号量制御を行うことができる。

【０１８９】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１９０】（実施形態２３）本発明の第２３の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態におけるアクティビティ算出部３０４は、マク
ロブロックのサンプルからマクロブロックの平均値を引
くことにより生成した差分サンプルに対してアクティビ
ティ演算を行うことを特徴としている。

【０１９１】このように、符号化フレームに対し、マク
ロブロックの高域成分に対しアクティビティ演算を行
い、アクティビティ関数とフレームアクティビティを算
出し、アクティビティ関数から発生符号量の予測モデル
を生成し、予測モデルに対し、予測モデルの傾きに応じ
た幅を持つ領域を設定し、予測モデルに沿って符号化を
行い、発生符号量が領域を外れたときは、外れた量に応
じて参照スケーリングファクタ、目標符号量、予測モデ
ル、及び領域を修正することにより、画像の特徴に応じ
た精度の高い符号量制御を行うことができる。

【０１９２】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１９３】（実施形態２４）本発明の第２４の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態におけるアクティビティ算出部３０４は、マク
ロブロックがイントラマクロブロックである場合、同一
マクロブロックに属する直交変換ブロックごとに、直交
変換ブロックのサンプルから平均値を引いて生成した差
分ブロックに対してアクティビティ演算を行い、マクロ
ブロックがインターマクロブロックである場合、直交変
換ブロックのサンプルに対してアクティビティ演算を行
うことで得られたアクティビティの総和をマクロブロッ
クのアクティビティとすることを特徴とする。

【０１９４】このように、符号化フレームに対し、同一
マクロブロックに属する直交変換ブロックごとに、ブロ
ックの高域成分に対し算出したアクティビティの総和を
マクロブロックのアクティビティとし、これらアクティ
ビティから算出したアクティビティ関数より発生符号量
の予測モデルを生成し、予測モデルに対し、予測モデル
の傾きに応じた幅を持つ領域を設定し、予測モデルに沿
って符号化を行い、発生符号量が領域を外れたときは、
外れた量に応じて、参照スケーリングファクタ、目標符
号量、予測モデル、及び領域を修正することにより、画
像の特徴に応じた精度の高い符号量制御を行うことがで
きる。

【０１９５】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１９６】（実施形態２５）本発明の第２５の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態におけるアクティビティ算出部３０４は、同一
マクロブロックに属する直交変換ブロックごとに、直交
変換ブロックのサンプルから平均値を引いて生成した差
分ブロックに対してアクティビティ演算を行うことで得
られたアクティビティの総和をマクロブロックのアクテ
ィビティとすることを特徴とする。このように、符号化
フレームに対し、同一マクロブロックに属する直交変換
ブロックごとに、ブロックの高域成分に対し算出したア
クティビティの総和をマクロブロックのアクティビティ
とし、これらアクティビティから算出したアクティビテ
ィ関数より発生符号量の予測モデルを生成し、予測モデ
ルに対し、予測モデルの傾きに応じた幅を持つ領域を設
定し、予測モデルに沿って符号化を行い、発生符号量が
領域を外れたときは、外れた量に応じて、参照スケーリ
ングファクタ、目標符号量、予測モデル、及び領域を修
正することにより、画像の特徴に応じた精度の高い符号
量制御を行うことができる。

【０１９７】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０１９８】（実施形態２６）本発明の第２６の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態におけるアクティビティ算出部３０４は、同一
マクロブロックに属する直交変換ブロックごとにアダマ
ール変換を行って得られるＡＣ係数の絶対値和を算出
し、それらの総和をマクロブロックのアクティビティと
することを特徴とする。

【０１９９】このように、符号化フレームに対し、同一
マクロブロックに属する直交変換ブロックごとにアダマ
ール変換を行って得られるＡＣ係数の絶対値和の、マク
ロブロック分の総和をマクロブロックのアクティビティ
とし、これらアクティビティから算出したアクティビテ
ィ関数より発生符号量の予測モデルを生成し、予測モデ
ルに対し、予測モデルの傾きに応じた幅を持つ領域を設
定し、予測モデルに沿って符号化を行い、発生符号量が
領域を外れたときは、外れた量に応じて、参照スケーリ
ングファクタ、目標符号量、予測モデル、及び領域を修
正することにより、画像の特徴に応じた精度の高い符号
量制御を行うことができる。

【０２００】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０２０１】（実施形態２７）本発明の第２７の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態におけるアクティビティ算出部３０４は、同一
マクロブロックに属する直交変換ブロックごとにアダマ
ール変換を行い、ＡＣ係数の絶対値和が特定のしきい値
よりも小さい場合は、そのＡＣ係数の値を０としてＡＣ
係数の絶対値和を算出し、その総和をマクロブロックの
アクティビティとすることを特徴とする。

【０２０２】このように、符号化フレームに対し、同一
マクロブロックに属する直交変換ブロックごとにアダマ
ール変換を行って得られるＡＣ係数のうち、特定のしき
い値以上、あるいは以下のＡＣ係数の絶対値和を求め、
それらのマクロブロック分の総和をマクロブロックのア
クティビティとし、これらアクティビティから算出した
アクティビティ関数より発生符号量の予測モデルを生成
し、予測モデルに対し、予測モデルの傾きに応じた幅を
持つ領域を設定し、予測モデルに沿って符号化を行い、
発生符号量が領域を外れたときは、外れた量に応じて、
参照スケーリングファクタ、目標符号量、予測モデル、
及び領域を修正することにより、画像の特徴に応じた精
度の高い符号量制御を行うことができる。

【０２０３】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０２０４】（実施形態２８）本発明の第２８の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態におけるアクティビティ算出部３０４は、重要
度算出部３０３より検出された重要度に応じて、マクロ
ブロックのアクティビティに重みづけ演算を行い、重み
づけ演算によって得られたアクティビティを、当該マク
ロブロックのアクティビティとすることを特徴とする。

【０２０５】重要度とはマクロブロックの視覚的な重要
度である。重要度算出部３０３はマクロブロックに対し
て重要度を検出し、その重要度を、クラスと呼ばれるラ
ンク付けを行うことで定量化する。クラスの数字が小さ
いマクロブロックは参照スケーリングファクタよりも小
さいスケーリングファクタで量子化され、クラスの数字
が大きいマクロブロックは参照スケーリングファクタよ
りも大きいスケーリングファクタで量子化される。

【０２０６】このように、符号化フレームに対し、マク
ロブロックごとに検出された重要度に応じた重みづけ演
算を行うことで算出したアクティビティ関数より発生符
号量の予測モデルを生成し、予測モデルに対し、予測モ
デルの傾きに応じた幅を持つ領域を設定し、予測モデル
に沿って符号化を行い、発生符号量が領域を外れたとき
は、外れた量に応じて、参照スケーリングファクタ、目
標符号量、予測モデル、及び領域を修正することによ
り、画像の特徴に応じた精度の高い符号量制御を行うこ
とができる。

【０２０７】更に、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
に比べて、本実施形態の符号化装置は、複数の符号量先
読み部を必要としないので、少ない回路規模で実現する
ことができる。すなわち、画像の特徴に応じた精度の高
い符号量制御を少ない回路規模で実現することができ
る。

【０２０８】（実施形態２９）本発明の第２９の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態における重要度算出部３０３は、マクロブロッ
クの重要度が低いと判断した場合、当該マクロブロック
のクラスを５に設定し、符号化部３０７が、クラスが５
に設定されたマクロブロックに対し、全データを０とす
ることを特徴としている。

【０２０９】このように、符号化フレームに対し、重要
度が低いと判断されたマクロブロックに対して全データ
を０にすることにより、画像の特徴に応じた精度の高い
符号量制御を行うことができる。

【０２１０】また、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
と比較して、本実施形態の符号化装置は、複数の符号量
先読み部を必要としないので、少ない回路規模で実現す
ることができる。すなわち、画像の特徴に応じた精度の
高い符号量制御を少ない回路規模で実現することができ
る。

【０２１１】（実施形態３０）本発明の第３０の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態における重要度算出部３０３は、同一マクロブ
ロックに属するＴ個の直交変換ブロックに対し、直交変
換ブロックごとに重要度の検出を行い、Ｔ個の重要度の
うち、最も高い重要度を当該マクロブロックの重要度と
することを特徴としている。

【０２１２】このように、符号化フレームに対し、直交
変換ブロック単位で重要度の検出を行い、同一マクロブ
ロックに属する直交変換ブロックの内、最も高い重要度
を当該マクロブロックの重要度とすることで、より画像
の特徴に応じた精度の高い符号量制御を行うことができ
る。

【０２１３】また、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
と比較して、本実施形態の符号化装置は、複数の符号量
先読み部を必要としないので、少ない回路規模で実現す
ることができる。すなわち、画像の特徴に応じた精度の
高い符号量制御を少ない回路規模で実現することができ
る。

【０２１４】（実施形態３１）本発明の第３１の実施形
態について図５を参照しながら説明する。図５の構成及
び基本的な動作は実施形態９で述べた通りであるが、本
実施形態における重要度算出部３０３は同一マクロブロ
ックに属するＴ個の直交変換ブロックに対し、直交変換
ブロックごとに重要度の検出を行い、Ｔ個の重要度の平
均を当該マクロブロックの重要度とすることを特徴とす
る。

【０２１５】例えばＴ＝６とし、各直交変換ブロックの
重要度を定量化したクラスがそれぞれ、１、１、３、
３、１、３であったとき、各々のクラスの平均値２がこ
のマクロブロックのクラスとなる。

【０２１６】このように、符号化フレームに対し、直交
変換ブロック単位で重要度の検出を行い、同一マクロブ
ロックに属する直交変換ブロックのうち、最も高い重要
度をそのマクロブロックの重要度とすることにより、画
像の特徴に応じた精度の高い符号量制御を行うことがで
きる。

【０２１７】また、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
と比較して、本実施形態の符号化装置は、複数の符号量
先読み部を必要としないので、少ない回路規模で実現す
ることができる。すなわち、画像の特徴に応じた精度の
高い符号量制御を少ない回路規模で実現することができ
る。

【０２１８】（実施形態３２）以下、本発明の第３２の
実施形態について図５を参照しながら説明する。図５の
構成及び基本的な動作は実施形態９で述べた通りである
が、本実施形態における重要度算出部３０３は、同一マ
クロブロックに属するＴ個の直交変換ブロックごとに対
し、直交変換ブロックごとに重要度の検出を行い、重要
度が低いと判断した場合、当該直交変換ブロックのクラ
スを５に設定し、符号化部３０７が、クラスが５に選択
された直交変換ブロックの全データを０にし、かつ当該
直交変換ブロックのアクティビティを０にした後、同一
マクロブロックに属する直交変換ブロックのうち、最も
高い重要度をそのマクロブロックの重要度とすることを
特徴としている。

【０２１９】このように、符号化フレームに対し、直交
変換ブロック単位で重要度の検出を行い、重要度が低い
と判断された直交変換ブロックに対しては全データを０
にした後、同一マクロブロックに属する直交変換ブロッ
クのうち、最も高い重要度を当該マクロブロックの重要
度とすることにより、画像の特徴に応じた精度の高い符
号量制御を行うことができる。

【０２２０】また、従来例として述べたフィードフォワ
ード方式によるフレーム内マクロブロック間符号量制御
と比較して、本実施形態の符号化装置は、複数の符号量
先読み部を必要としないので、少ない回路規模で実現す
ることができる。すなわち、画像の特徴に応じた精度の
高い符号量制御を少ない回路規模で実現することができ
る。

【０２２１】（実施形態３３）本発明の第３３の実施形
態について図１３を参照しながら説明する。図１３にお
いて、７５０は高能率符号化部、７５１は誤り訂正符号
化部である。

【０２２２】入力された画像信号は高能率符号化部７５
０に入力される。高能率符号化部７５０は入力された画
像信号に対して、直交変換、量子化、可変長符号化を行
い符号化データを出力する。符号化データは誤り訂正符
号化部７５１に入力される。誤り訂正符号化部７５１は
符号化フレームのピクチャタイプに応じて誤り訂正率を
変化させる。例えば符号化フレームのピクチャタイプ
が、符号化フレーム以降のフレームの予測に用いられる
Ｉ又はＰピクチャのときは、より強力な誤り訂正符号を
付加する。これにより、ビット誤り発生における画質劣
化の伝播を抑えることができる。

【０２２３】

【発明の効果】以上説明したように、本発明の符号化方
法によれば、符号量制御単位であるＮフレームのうち、
第Ｎフレームの第１フレームからのフレーム間差分の大
きさ、又は、第Ｎフレームの第Ｋフレームからのフレー
ム間差分の大きさを指標として各フレームの目標符号量
を設定するので、画像の特徴に応じた符号量制御を行う
ことができる。

【０２２４】特にＰピクチャの差分情報によりＧＯＰ内
の画像の変化が予測できるため、従来問題であったシー
ンチェンジや動きが大きく変化する画像においても、そ
の特徴に応じた符号量割当てが可能となる。従来の方法
と比較して本発明の符号化方法は、同一ビットレートで
あればより高い画質を実現することができ、同一画質で
あればより低いビットレートで実現することができる。

【０２２５】また、本発明の符号化装置によれば、小さ
な回路規模で、画像の特徴に応じた精度の高い符号量制
御を行うことができる。

【図面の簡単な説明】

【図１】本発明の第１、第３及び第５の実施形態に係る
符号化方法の処理の流れを示す図

【図２】本発明の第２、第４及び第６の実施形態に係る
符号化方法の処理の流れを示す図

【図３】本発明の第７及び第８の実施形態に係る符号化
装置のブロック図

【図４】本発明の第７及び第８の実施形態におけるユニ
ット構成を示す図

【図５】本発明の第９〜３２の実施形態に係る符号化装
置のブロック図

【図６】本発明の第９の実施形態におけるアクティビテ
ィ関数を示すグラフ

【図７】本発明の第９の実施形態における発生符号量と
予測モデルとの関係を示すグラフ

【図８】本発明の第１０の実施形態における発生符号量
と予測モデルとの関係を示すグラフ

【図９】本発明の第１１の実施形態における発生符号量
と予測モデルとの関係を示すグラフ

【図１０】本発明の第１２の実施形態における発生符号
量と予測モデルとの関係を示すグラフ

【図１１】本発明の第１３の実施形態における発生符号
量と予測モデルとの関係を示すグラフ

【図１２】本発明の第１４の実施形態における発生符号
量と予測モデルとの関係を示すグラフ

【図１３】本発明の第３３の実施形態に係る符号化装置
のブロック図

【図１４】従来のＧＯＰ内フレーム間符号量制御方式を
用いた符号化装置のブロック図

【図１５】従来のフィードバック方式のフレーム内マク
ロブロック間符号量制御方式を用いた符号化装置のブロ
ック図

【図１６】従来のフィードフォワード方式のフレーム内
マクロブロック間符号量制御方式を用いた符号化装置の
ブロック図

【符号の説明】

１００ Ｂ１のＩ０からの動きを検出する処理 １０１ Ｂ２のＩ０からの動きを検出する処理 １０２ Ｐ３のＩ０からの動きを検出する処理 １０３ Ｂ１のＩ０及びＰ３からの動きを検出する処理 １０４ Ｂ２のＩ０及びＰ３からの動きを検出する処理 １１０ Ｂ０のＰ−１からの動きを検出する処理 １１１ Ｂ０のＰ−１及びＩ１からの動きを検出する処
理 １１２ Ｂ２のＩ１からの動きを検出する処理 １１３ Ｐ３のＩ１からの動きを検出する処理 １１４ Ｂ２のＩ１及びＰ３からの動きを検出する処理 ２００，３００，８００ 動きベクトル検出部 ２０１，３０１，８０１ 差分画像生成部 ２０２ ユニット分割部 ２０３，３０４，８０２ アクティビティ算出部 ２０４ 平均ユニットアクティビティ更新部 ２０５，３０５，８０３ 目標符号量決定部 ３０６ 参照スケーリングファクタ算出部 ２０６，３０７，８０４ 符号化部 ２０７，８０５ 割当て符号量更新部 ２０８，３０８，８０６ ローカルデコーダ ５００ アクティビティ関数 ５０１，５０３，５０６，５０７，５１１，５１４，５
１５，５１９ 発生符号量の予測モデル ５０２，５０５，５０８，５１２，５１６，５２１ 発
生符号量 ５０４，５０９，５１０，５１３，５１７，５１８，５
２０ 予測モデルに対して設定した領域 ７５０ 高能率符号化部 ７５１ 誤り訂正符号化部 ８１０，８２０ マクロブロック化部 ３０２，８１１，８２１ 直交変換部 ８１２，８２２ 量子化部 ３０３，８１３，８２３ 重要度算出部 ８１４ スケーリングファクタ決定部 ８１５，８２６ 可変長符号化部 ８２４ 符号量算出部 ８２５ 最終スケーリングファクタ決定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤原 裕士 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (42)

【特許請求の範囲】
1. 【請求項１】 連続したＮ個のフレームを１つの符号化
   制御単位とし、この符号化制御単位に含まれる第１フレ
   ームはフレーム間差分を用いないでフレーム内符号化を
   行い、第Ｎフレームは第１フレームとのフレーム間差分
   を用いて符号化を行い、第２フレームから第（Ｎ−１）
   フレームは第１フレーム及び第Ｎフレームからのフレー
   ム間差分を用いて符号化を行う映像信号符号化方法であ
   って、 第Ｎフレームの第１フレームからのフレーム間差分の大
   きさを指標として、前記符号化制御単位に含まれるすべ
   てのフレームの目標符号量を設定することを特徴とする
   映像信号符号化方法。
2. 【請求項２】 連続したＮ個のフレームを１つの符号化
   制御単位とし、この符号化制御単位に含まれる第Ｋフレ
   ームはフレーム間差分を用いないでフレーム内符号化を
   行い、第Ｎフレームは第Ｋフレームとのフレーム間差分
   を用いて符号化を行い、第１フレームから第（Ｋ−１）
   フレームは、直前の符号化制御単位に含まれる第Ｎフレ
   ーム及び現在の符号化制御単位に含まれる第Ｋフレーム
   からのフレーム間差分を用いて符号化を行い、第（Ｋ＋
   １）フレームから第（Ｎ−１）フレームは、現在の符号
   化制御単位に含まれる第Ｋフレーム及び第Ｎフレームか
   らのフレーム間差分を用いて符号化を行う映像信号符号
   化方法であって、 第Ｎフレームの第Ｋフレームからのフレーム間差分の大
   きさを指標として、現在の符号化制御単位に含まれるす
   べてのフレームの目標符号量を設定することを特徴とす
   る映像信号符号化方法。
3. 【請求項３】 連続したＮ個のフレームを１つの符号化
   制御単位とし、この符号化制御単位に含まれる第１フレ
   ームはフレーム間差分を用いないでフレーム内符号化を
   行い、第Ｎフレームは第１フレームとのフレーム間差分
   を用いて符号化を行い、第２フレームから第（Ｎ−１）
   フレームは第１フレーム及び第Ｎフレームからのフレー
   ム間差分を用いて符号化を行う映像信号符号化方法であ
   って、 第Ｎフレームの第１フレームからの動き量と、第２フレ
   ームから第（Ｎ−１）フレームの各々の第１フレームか
   らの動き量とに基づいて符号化制御単位内のシーンチェ
   ンジ検出を行い、そのシーンチェンジ検出結果を指標と
   して、その符号化制御単位に含まれるすべてのフレーム
   の目標符号量を設定する映像信号符号化方法。
4. 【請求項４】 連続したＮ個のフレームを１つの符号化
   制御単位とし、この符号化制御単位に含まれる第Ｋフレ
   ームはフレーム間差分を用いないでフレーム内符号化を
   行い、第Ｎフレームは第Ｋフレームとのフレーム間差分
   を用いて符号化を行い、第１フレームから第（Ｋ−１）
   フレームは、直前の符号化制御単位に含まれる第Ｎフレ
   ーム及び現在の符号化制御単位に含まれる第Ｋフレーム
   からのフレーム間差分を用いて符号化を行い、第（Ｋ＋
   １）フレームから第（Ｎ−１）フレームは、現在の符号
   化制御単位に含まれる第Ｋフレーム及び第Ｎフレームか
   らのフレーム間差分を用いて符号化を行う映像信号符号
   化方法であって、 第Ｎフレームの第Ｋフレームからの動き量と、第１フレ
   ームから第（Ｋ−１）フレーム及び第（Ｋ＋１）フレー
   ムから第（Ｎ−１）フレームの各々の第Ｋフレームから
   の動き量とに基づいて符号化制御単位内のシーンチェン
   ジ検出を行い、そのシーンチェンジ検出結果を指標とし
   て、その符号化制御単位に含まれるすべてのフレームの
   目標符号量を設定する映像信号符号化方法。
5. 【請求項５】 連続したＮ個のフレームを１つの符号化
   制御単位とし、この符号化制御単位に含まれる第１フレ
   ームはフレーム間差分を用いないでフレーム内符号化を
   行い、第Ｎフレームは第１フレームとのフレーム間差分
   を用いて符号化を行い、第２フレームから第（Ｎ−１）
   フレームは第１フレーム及び第Ｎフレームからのフレー
   ム間差分を用いて符号化を行う映像信号符号化方法であ
   って、 第１フレームに対して算出したアクティビティから、符
   号化制御単位内の映像信号の符号化の難易度を検出し、
   その難易度と、第Ｎフレームの第１フレームからのフレ
   ーム間差分の大きさとを指標として、その符号化制御単
   位に含まれるすべてのフレームの目標符号量を設定する
   映像信号符号化方法。
6. 【請求項６】 連続したＮ個のフレームを１つの符号化
   制御単位とし、この符号化制御単位に含まれる第Ｋフレ
   ームはフレーム間差分を用いないでフレーム内符号化を
   行い、第Ｎフレームは第Ｋフレームとのフレーム間差分
   を用いて符号化を行い、第１フレームから第（Ｋ−１）
   フレームは、直前の符号化制御単位に含まれる第Ｎフレ
   ーム及び現在の符号化制御単位に含まれる第Ｋフレーム
   からのフレーム間差分を用いて符号化を行い、第（Ｋ＋
   １）フレームから第（Ｎ−１）フレームは、現在の符号
   化制御単位に含まれる第Ｋフレーム及び第Ｎフレームか
   らのフレーム間差分を用いて符号化を行う映像信号符号
   化方法であって、 第Ｋフレームに対して算出したアクティビティから、符
   号化制御単位内の映像信号の符号化の難易度を検出し、
   その難易度と、第Ｎフレームの第Ｋフレームからのフレ
   ーム間差分の大きさとを指標として、その符号化制御単
   位に含まれるすべてのフレームの目標符号量を設定する
   映像信号符号化方法。
7. 【請求項７】 連続したＮ個のフレームを１つの符号化
   制御単位とし、この符号化制御単位に含まれる第１フレ
   ームはフレーム間差分を用いないでフレーム内符号化を
   行い、第Ｎフレームは第１フレームとのフレーム間差分
   を用いて符号化を行い、第２フレームから第（Ｎ−１）
   フレームは第１フレーム及び第Ｎフレームからのフレー
   ム間差分を用いて符号化を行う映像信号符号化方法であ
   って、 第Ｎフレームの第１フレームからの動き量と、第２フレ
   ームから第（Ｎ−１）フレームの各々の第１フレームか
   らの動き量とに基づいて符号化制御単位内のシーンチェ
   ンジ検出を行い、 第１フレームに対して算出したアクティビティから、前
   記符号化制御単位内の映像信号の符号化の難易度を検出
   し、 前記シーンチェンジ検出結果と、前記符号化の難易度
   と、第Ｎフレームの第１フレームからのフレーム間差分
   の大きさとを指標として、前記符号化制御単位に含まれ
   るすべてのフレームの目標符号量を設定する映像信号符
   号化方法。
8. 【請求項８】 連続したＮ個のフレームを１つの符号化
   制御単位とし、この符号化制御単位に含まれる第Ｋフレ
   ームはフレーム間差分を用いないでフレーム内符号化を
   行い、第Ｎフレームは第Ｋフレームとのフレーム間差分
   を用いて符号化を行い、第１フレームから第（Ｋ−１）
   フレームは、直前の符号化制御単位に含まれる第Ｎフレ
   ーム及び現在の符号化制御単位に含まれる第Ｋフレーム
   からのフレーム間差分を用いて符号化を行い、第（Ｋ＋
   １）フレームから第（Ｎ−１）フレームは、現在の符号
   化制御単位に含まれる第Ｋフレーム及び第Ｎフレームか
   らのフレーム間差分を用いて符号化を行う映像信号符号
   化方法であって、 第Ｎフレームの第Ｋフレームからの動き量と、第１フレ
   ームから第（Ｋ−１）フレーム、及び、第（Ｋ＋１）フ
   レームから第（Ｎ−１）フレームの各々の第Ｋフレーム
   からの動き量とに基づいて前記符号化制御単位内のシー
   ンチェンジ検出を行い、 第Ｋフレームに対して算出したアクティビティから前記
   符号化制御単位内の映像信号の符号化の難易度を検出
   し、 前記シーンチェンジ検出結果と、前記符号化の難易度
   と、第Ｎフレームの第Ｋフレームからのフレーム間差分
   の大きさを指標として、前記符号化制御単位に含まれる
   すべてのフレームの目標符号量を設定する映像信号符号
   化方法。
9. 【請求項９】 入力画像を、フレーム内符号化、フレー
   ム間順方向符号化、及びフレーム間双方向予測符号化の
   いずれかの処理が施される１又は複数のフレームから構
   成された符号量制御単位であるユニットに分割するユニ
   ット分割手段と、 前記入力画像に対しフレームごとにフレームアクティビ
   ティを算出し、同じユニットに属するフレームのフレー
   ムアクティビティからユニットごとにユニットアクティ
   ビティを算出するアクティビティ算出手段と、 符号化対象である符号化フレームのフレームアクティビ
   ティと、前記符号化フレームが属する符号化ユニットの
   ユニットアクティビティと、前記符号化ユニット以前の
   ユニットの平均ユニットアクティビティとに基づいて、
   前記符号化フレームの目標符号量を決定する目標符号量
   決定手段と、 前記目標符号量で前記符号化フレームを符号化し、符号
   化データを生成する符号化手段とを備えている映像信号
   符号化装置。
10. 【請求項１０】 前記フレームごとに算出したフレーム
    アクティビティに、前記符号化フレームのピクチャタイ
    プがＩピクチャであるか、Ｐピクチャであるか、又はＢ
    ピクチャであるかに応じてあらかじめ定められた３通り
    の重み付け定数のいずれかを乗算し、得られた値を前記
    フレームアクティビティとして用いることを特徴とする
    請求項９記載の映像信号符号化装置。
11. 【請求項１１】 入力画像に対して、フレームごとにマ
    クロブロック単位でアクティビティを算出し、符号化対
    象である符号化フレームにおける前記アクティビティの
    マクロブロックごとの累積を示すアクティビティ関数を
    生成し、前記符号化フレームのフレームアクティビティ
    を算出するアクティビティ関数生成手段と、 前記符号化フレームの目標符号量を、前記符号化フレー
    ムの符号化時の残符号量、前記符号化フレーム以前に符
    号化されたフレームの発生符号量、前記符号化フレーム
    以前に符号化されたフレームのアクティビティ、バッフ
    ァの占有度、及び前記符号化フレームのアクティビティ
    のうちの少なくとも一つを用いて決定する目標符号量決
    定手段と、 前記符号化フレームの参照スケーリングファクタを、前
    記符号化フレーム以前に符号化されたフレームのスケー
    リングファクタ、前記符号化フレーム以前に符号化され
    たフレームの発生符号量、前記符号化フレーム以前に符
    号化されたフレームのフレームアクティビティ、前記符
    号化フレームのフレームアクティビティ、及び前記目標
    符号量のうちの少なくとも一つを用いて算出する参照ス
    ケーリングファクタ算出手段と、 前記マクロブロックごとに視覚上の重要度を検出する重
    要度算出手段と、 前記アクティビティ関数及び前記目標符号量に基づいて
    予測モデルを生成し、前記符号化フレームをマクロブロ
    ック単位で、前記予測モデル、前記参照スケーリングフ
    ァクタ、及び前記重要度を用いて符号化し、符号化デー
    タを生成する符号化手段とを備えている映像信号符号化
    装置。
12. 【請求項１２】 請求項１１記載の映像信号符号化装置
    において、前記符号化手段が、前記アクティビティ関数
    及び前記目標符号量に基づいて予測モデルを生成し、前
    記予測モデルに対し所定の幅を持つ領域を設定し、前記
    符号化フレームをマクロブロック単位で、前記参照スケ
    ーリングファクタ及び前記重要度を用いて符号化し、発
    生符号量のマクロブロックごとの累積が前記領域を外れ
    た場合は、外れた量に応じて前記参照スケーリングファ
    クタを修正し、符号化データを生成するように構成され
    ている映像信号符号化装置。
13. 【請求項１３】 請求項１１記載の映像信号符号化装置
    において、前記符号化手段が、前記アクティビティ関数
    及び前記目標符号量に基づいて予測モデルを生成し、前
    記予測モデルに対し前記予測モデルの傾きに応じた幅を
    持つ領域を設定し、前記符号化フレームをマクロブロッ
    ク単位で、前記参照スケーリングファクタ及び前記重要
    度を用いて符号化し、発生符号量のマクロブロックごと
    の累積が前記領域を外れた場合は、前記参照スケーリン
    グファクタを修正し、符号化データを生成するように構
    成されている映像信号符号化装置。
14. 【請求項１４】 請求項１１記載の映像信号符号化装置
    において、前記符号化手段が、前記アクティビティ関数
    及び前記目標符号量に基づいて予測モデルを生成し、前
    記予測モデルに対して所定の幅を持つ領域を設定し、前
    記符号化フレームをマクロブロック単位で、前記参照ス
    ケーリングファクタ及び前記重要度を用いて符号化し、
    発生符号量のマクロブロックごとの累積が前記領域を外
    れた場合は、前記参照スケーリングファクタ、前記予測
    モデル、及び前記領域を修正し、符号化データを生成す
    るように構成されている映像信号符号化装置。
15. 【請求項１５】 請求項１１記載の映像信号符号化装置
    において、前記符号化手段が、前記アクティビティ関数
    及び前記目標符号量に基づいて予測モデルを生成し、前
    記予測モデルに対し前記予測モデルの傾きに応じた幅を
    持つ領域を設定し、前記符号化フレームをマクロブロッ
    ク単位で、前記参照スケーリングファクタ、及び前記重
    要度を用いて符号化し、発生符号量のマクロブロックご
    との累積が前記領域を外れた場合には、前記参照スケー
    リングファクタ、前記予測モデル、及び前記領域を修正
    し、符号化データを生成するように構成されている映像
    信号符号化装置。
16. 【請求項１６】 前記符号化手段が、１マクロブロック
    ラインごとにチェックポイントを設定し、前記チェック
    ポイントにおいて前記発生符号量のマクロブロックごと
    の累積が前記領域を外れたかどうかの判断を行うことを
    特徴とする請求項１１〜１５のいずれか１項記載の映像
    信号符号化装置。
17. 【請求項１７】 前記符号化手段が、複数マクロブロッ
    クごとにチェックポイントを設定し、前記チェックポイ
    ントにおいて前記発生符号量のマクロブロックごとの累
    積が前記領域を外れたかどうかの判断を行うことを特徴
    とする請求項１１〜１５のいずれか１項記載の映像信号
    符号化装置。
18. 【請求項１８】 前記符号化手段が、２のべき乗マクロ
    ブロックごとにチェックポイントを設定する請求項１７
    記載の映像信号符号化装置。
19. 【請求項１９】 前記領域の幅が前記符号化フレームの
    目標符号量のうち、１マクロブロックライン分の符号量
    であることを特徴とする請求項１１、１２又は１４記載
    の映像信号符号化装置。
20. 【請求項２０】 前記領域の幅が前記符号化フレームの
    目標符号量のうち、２のべき乗マクロブロック分の符号
    量であることを特徴とした請求項１１、１２又は１４記
    載の映像信号符号化装置。
21. 【請求項２１】 前記アクティビティ算出手段におい
    て、前記フレームアクティビティの算出方法と、前記マ
    クロブロックごとのアクティビティの算出方法とが異な
    ることを特徴とする請求項１１〜１５のいずれか１項記
    載の映像信号符号化装置。
22. 【請求項２２】 前記アクティビティ算出手段におい
    て、前記フレームアクティビティが前記マクロブロック
    ごとのアクティビティのフレーム内総和であることを特
    徴とする請求項１１〜１５のいずれか１項記載の映像信
    号符号化装置。
23. 【請求項２３】 前記アクティビティ算出手段におい
    て、前記マクロブロックごとのアクティビティが、前記
    マクロブロックに属する複数の直交変換ブロックごとに
    求めたアクティビティの総和であることを特徴とする請
    求項１１〜１５のいずれか１項記載の映像信号符号化装
    置。
24. 【請求項２４】 前記アクティビティ算出手段におい
    て、前記マクロブロックのサンプルに対してアクティビ
    ティ演算を行うことを特徴とする請求項１１〜１５のい
    ずれか１項記載の映像信号符号化装置。
25. 【請求項２５】 前記アクティビティ算出手段におい
    て、前記マクロブロックがイントラマクロブロックであ
    る場合は、前記マクロブロックのサンプルから平均値を
    算出し、前記サンプルから前記平均値を引くことにより
    差分サンプルを生成し、前記差分サンプルに対してアク
    ティビティ演算を行い、前記マクロブロックがインター
    マクロブロックである場合は、前記マクロブロックのサ
    ンプルに対してアクティビティ演算を行うことを特徴と
    する請求項１１〜１５のいずれか１項記載の映像信号符
    号化装置。
26. 【請求項２６】 前記アクティビティ算出手段におい
    て、前記マクロブロックのサンプルから平均値を算出
    し、前記サンプルから前記平均値を引くことにより差分
    サンプルを生成し、前記差分サンプルに対してアクティ
    ビティ演算を行うことを特徴とする請求項１１〜１５の
    いずれか１項記載の映像信号符号化装置。
27. 【請求項２７】 前記アクティビティ算出手段におい
    て、前記直交変換ブロックのサンプルに対してアクティ
    ビティ演算を行うことを特徴とする請求項２３記載の映
    像信号符号化装置。
28. 【請求項２８】 前記アクティビティ算出手段におい
    て、前記マクロブロックがイントラマクロブロックであ
    る場合は、前記直交変換ブロックのサンプルから平均値
    を算出し、前記サンプルから前記平均値を引くことによ
    り差分サンプルを生成し、前記差分サンプルに対してア
    クティビティ演算を行い、前記マクロブロックがインタ
    ーマクロブロックである場合は、前記直交変換ブロック
    のサンプルに対してアクティビティ演算を行うことを特
    徴とする請求項２３記載の映像信号符号化装置。
29. 【請求項２９】 前記アクティビティ算出手段におい
    て、前記直交変換ブロックのサンプルから平均値を算出
    し、前記サンプルから前記平均値を引くことにより差分
    サンプルを生成し、前記差分サンプルに対してアクティ
    ビティ演算を行うことを特徴とする請求項２３記載の映
    像信号符号化装置。
30. 【請求項３０】 前記アクティビティ演算手段におい
    て、前記アクティビティ演算が前記マクロブロックの分
    散の算出であることを特徴とする請求項１１〜１５のい
    ずれか１項記載の映像信号符号化装置。
31. 【請求項３１】 前記アクティビティ演算手段におい
    て、前記アクティビティ演算が前記マクロブロックのサ
    ンプルの絶対値和の算出であることを特徴とする請求項
    １１〜１５のいずれか１項記載の映像信号符号化装置。
32. 【請求項３２】 前記アクティビティ演算手段におい
    て、前記アクティビティ演算が前記直交変換ブロックの
    分散の算出であることを特徴とする請求項２３記載の映
    像信号符号化装置。
33. 【請求項３３】 前記アクティビティ演算手段におい
    て、前記アクティビティ演算が前記直交変換ブロックの
    サンプルの絶対値和の算出であることを特徴とする請求
    項２３記載の映像信号符号化装置。
34. 【請求項３４】 前記アクティビティ演算手段における
    前記アクティビティ演算が、前記直交変換ブロックに対
    して直交変換を行い、前記直交変換で得られたＡＣ係数
    の絶対値和を算出する演算であることを特徴とする請求
    項２３記載の映像信号符号化装置。
35. 【請求項３５】 前記アクティビティ演算手段におい
    て、前記アクティビティ演算によって得られたアクティ
    ビティ値が所定範囲内にある場合は、前記アクティビテ
    ィ値を０とすることを特徴とする請求項１１〜１５のい
    ずれか１項記載の映像信号符号化装置。
36. 【請求項３６】 前記アクティビティ演算手段におい
    て、前記マクロブロックごとのアクティビティに対し、
    前記マクロブロックごとに検出された重要度に応じた重
    み付け演算を行うことを特徴とする請求項１１〜１５の
    いずれか１項記載の映像信号符号化装置。
37. 【請求項３７】 前記アクティビティ演算手段におい
    て、前記重要度算出手段により、前記マクロブロックが
    重要でないと判断された場合、そのマクロブロックのア
    クティビティを０とすることを特徴とする請求項１１〜
    １５のいずれか１項記載の映像信号符号化装置。
38. 【請求項３８】 前記重要度算出手段が、前記マクロブ
    ロックに属する複数の直交変換ブロックに対して重要度
    の検出を行い、その検出で得られた複数の重要度のう
    ち、最も高い重要度をそのマクロブロックの重要度とす
    ることを特徴とする請求項１１〜１５のいずれか１項記
    載の映像信号符号化装置。
39. 【請求項３９】 前記重要度算出手段が、前記マクロブ
    ロックに属する複数の直交変換ブロックに対して重要度
    の検出を行い、前記検出で得られた複数の重要度の平均
    をそのマクロブロックの重要度とすることを特徴とする
    請求項１１〜１５のいずれか１項記載の映像信号符号化
    装置。
40. 【請求項４０】 前記重要度算出手段が、前記直交変換
    ブロック単位で重要度の検出を行い、前記ブロックが重
    要でないと判断された場合、そのブロックの直交変換後
    のデータをすべて０とし、かつ、その直交変換ブロック
    のアクティビティを０とすることを特徴とする請求項１
    １〜１５のいずれか１項記載の映像信号符号化装置。
41. 【請求項４１】 入力画像に対して高能率符号化を行
    い、符号化データを生成する高能率符号化手段と、前記
    符号化データに対して誤り訂正符号を付加した記録又は
    伝送データを生成する誤り訂正符号化手段とを備え、前
    記誤り訂正符号化手段が、前記入力画像のピクチャタイ
    プに応じて誤り訂正能力の異なる符号化を行うことを特
    徴とする映像信号符号化装置。
42. 【請求項４２】 前記符号化データに対して誤り訂正符
    号を付加した記録又は伝送データを生成する誤り訂正符
    号化手段を更に備え、前記誤り訂正符号化手段が、Ｐピ
    クチャに対して、Ｉピクチャより低くＢピクチャより高
    い誤り訂正能力を持つ符号化を行い、Ｂピクチャに対し
    て、最も低い誤り訂正能力を持つ符号化を行うことを特
    徴とする請求項１１〜１５のいずれか１項記載の映像信
    号符号化装置。