JPH10336675A - 動画像符号化方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】ハードウエアの大幅な増加なしに複数回の符号
化による符号化効率の向上を達成でき、またノンリニア
編集作業を行う場合の総符号化回数を削減できる動画像
符号化装置を提供する。 【解決手段】同一の入力動画像信号について動き補償フ
レーム間符号化またはフレーム内符号化により第１の符
号化および第２の符号化を行う動画像符号化装置におい
て、動きベクトル検出器１０により第１の符号化時に動
き補償フレーム間符号化対象の画像信号およびフレーム
内符号化対象の画像信号の両方について動きベクトルを
検出し、動きベクトル情報１０６を符号化データ１０８
に多重化して蓄積メディア２０に記録し、記録された符
号化データから文法解析部２１で動きベクトル情報を抽
出して符号化データ統計分析部２２で動画像の動き量を
検出し、レート制御部２３により第２の符号化時の符号
化レートを制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術の分野】本発明は、同一もしくは実
質的に同一の動画像信号に対して少なくとも２回の符号
化を行い、ハードディスクや光ディスク等の蓄積メディ
アに記録する動画像符号化方法および装置に関する。

【０００２】

【従来の技術】動画像符号化方式の国際標準であるＭＰ
ＥＧ２を用いたアプリケーションは、再生専用光ディス
クや、ディスクアレイを用いたビデオサーバ、通信衛星
を用いたディジタル放送等に幅広く普及しつつある。

【０００３】ＭＰＥＧ２方式では、符号化効率を向上さ
せるために前方予測あるいは両方向予測フレーム間符号
化が用いられ、また可変レート符号化等により適応的な
符号量配分がなされることもある。固定レート符号化に
おいても、予測構造や画像の周波数特性、動き量等に応
じて、一定期間で一定の符号化レートとなる条件の中
で、フレーム単位の符号量が適応的に配分されて符号化
が行われるのが一般的である。つまり、固定レート符号
化、可変レート符号化を問わず、ＭＰＥＧ２方式では、
平均符号化レートが同じであっても符号化のレート制御
方法が主観的な画質を左右する。

【０００４】再生専用光ディスクのような蓄積系のアプ
リケーションでは、同じ入力動画像信号に対して２回符
号化を行い、第１の符号化で動画像シーケンス全体の特
性を分析して記録しておき、第２の符号化で最適な符号
化レート制御を行う方法も知られている。その場合、動
画像全体のマクロブロックレベルの詳細な性質を分析
し、分析データを収集して記録するためには、一般的に
専用のハードウエアが必要になる。

【０００５】一方、未編集の動画像データに対して編集
および符号化を行う際に上述した２回符号化を適用する
場合には、編集作業の後に上述した第１、第２の符号化
を行う必要があり、作業時間がかかる。さらに、編集作
業の効率化を図るために、まず動画像データをモーショ
ンＪＰＥＧのようなイントラ符号化により符号化してハ
ードディスクに記録し、ハードディスク上でコンピュー
タ処理により編集作業を行うノンリニア編集を行う場合
は、動画像データをハードディスクに記録するための符
号化（取り込み符号化という）を別途行う必要があり、
合計で３回の符号化が必要となる。

【０００６】

【発明が解決しようとする課題】上述したように、複数
回の符号化を行って符号化効率を上げる従来の動画像符
号化方式では、入力動画像の分析および分析データの収
集のための専用のハードウエアが必要となり、またノン
リニア編集等を用いる場合は、取り込み符号化を別途に
行う必要があった。

【０００７】本発明は、このような従来の問題点を解消
するためになされたもので、ハードウエアの大幅な増加
なしに複数回の符号化による符号化効率の向上を達成で
き、またノンリニア編集作業を行う場合の総符号化回数
を削減できる動画像符号化方法および装置を提供するこ
とを目的とする。

【０００８】

【課題を解決するための手段】上記課題を解決するた
め、本発明は同一の入力動画像信号について動き補償フ
レーム間符号化またはフレーム内符号化により少なくと
も第１の符号化および第２の符号化の２回の符号化を行
い、得られた符号化データを記録する動画像符号化に際
して、第１の符号化時に動き補償フレーム間符号化対象
の画像信号およびフレーム内符号化対象の画像信号の両
方について動きベクトルを検出して動きベクトル情報を
符号化データに多重化し、この動きベクトル情報が多重
化された符号化データを記録し、この記録した符号化デ
ータから動きベクトル情報を抽出して動画像の動き量を
検出し、少なくとも該動き量を用いて第２の符号化時の
符号化レートを制御することを特徴とする。

【０００９】このように第１の符号化時に、動き補償フ
レーム間符号化対象の画像信号のみでなく、フレーム内
符号化対象の画像信号についても動きベクトルを検出し
て、その動きベクトル情報を符号化データに多重化して
記録することにより、この記録した符号化データから予
測構造によらず常に動きベクトル情報を抽出することが
可能である。従って、この動きベクトル情報から動画像
の動き量を的確に検出し、それに基づいて第２の符号化
時の符号化レートを制御することで、最適な符号量配分
を行って、符号化効率を上げることができる。この場
合、基本的には第１の符号化時に得られた動きベクトル
から動き量を抽出し、それに基づいて最適な符号量配分
値を決定できるため、第１の符号化で得られた符号化デ
ータの分析のための専用の複雑なハードウェアを必要と
しない。

【００１０】また、本発明は入力動画像信号について動
き補償フレーム間符号化またはフレーム内符号化により
第１の符号化を行い、この第１の符号化により得られた
符号化データを記録し、この記録した符号化データを復
号して得られた動画像信号について動き補償フレーム間
符号化またはフレーム内符号化により第２の符号化を行
う際、第１の符号化時に動き補償フレーム間符号化対象
の画像信号およびフレーム内符号化対象の画像信号の両
方について動きベクトルを検出して動きベクトル情報を
符号化データに多重化し、この動きベクトル情報が多重
化された符号化データを記録し、この記録した符号化デ
ータを復号して該符号化データから動きベクトル情報を
抽出して動画像の動き量を検出し、少なくとも該動き量
を用いて第２の符号化時の符号化レートを制御すること
を特徴とする。

【００１１】この場合、第１の符号化で得られた符号化
データをハードディスクのような蓄積メディアに記録し
てノンリニア編集を行い、編集後の符号化データを復号
して得られた動画像信号を用いて第２の符号化を行うこ
とにより、第１の符号化の際に符号化データに多重化さ
れた動きベクトル情報から動画像の動き量を的確に検出
し、それに基づいて第２の符号化時の符号化レートを制
御することで、最適な符号量配分を行って、符号化効率
を上げることができる。

【００１２】このようにすると、従来では編集のための
取り込み符号化の後に第１、第２の符号化を行うことに
より合計３回の符号化が必要であったアプリケーション
において、取り込み符号化と符号化の第１の符号化を共
通化させて、取り込み符号化の際に動きベクトル情報の
多重化を合わせて行うことで、総符号化回数を３回から
２回に減少させることが可能となる。

【００１３】一般に、ノンリニア編集ではフレーム内符
号化あるいはランダムアクセス単位が数フレームという
ＧＯＰ（Group Of Pictures:グループ・オブ・ピクチ
ャ）で符号化することが望ましいが、本発明ではフレー
ム内符号化対象の画像信号にも動きベクトル情報の多重
化を行い、多重化されたベクトル情報を用いた最適な符
号化レート制御を行うため、ノンリニア編集のアクセス
性の要求と、符号化効率改善の要求の両者を満たすこと
ができる。

【００１４】第１の符号化に際しては、フレーム内符号
化のみを用いて入力動画像信号を符号化してもよく、そ
の場合、第１の符号化時に全てのフレーム内符号化対象
の画像信号について動きベクトルを検出して動きベクト
ル情報を符号化データに多重化すればよい。こうするこ
とによって、ノンリニア編集における総符号化回数の削
減と、高画質化が可能となる。

【００１５】本発明における符号化レートの制御は、具
体的には、例えば(a) 第２の符号化により得られる符号
化データの符号量配分値、(b) 該符号量配分値に対して
与える重み係数、(c) 第２の符号化における量子化時の
量子化スケール値および(d)該量子化スケール値に対し
て与える量子化重み係数の少なくとも一つを含むレート
制御パラメータを決定して行うことができる。

【００１６】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。 （第１の実施形態）図１に、本発明の第１の実施形態に
係る動画像符号化装置の構成を示す。入力動画像信号１
０１は、同じ信号を繰り返し複数回再生可能なＶＴＲの
ようなビデオ記録再生機器によって再生される信号であ
り、この入力動画像信号１０１に対して動き補償フレー
ム間予測符号化またはフレーム内符号化が行われる。

【００１７】すなわち、入力動画像信号１０１はまず動
き検出器１０に入力される。この動き検出器１０では、
入力動画像信号１０１と参照画像フレームメモリ１７に
記憶されている既に符号化がなされたフレームの局部復
号信号からなる参照画像信号との間のマクロブロック単
位の動きベクトルが検出される。具体的には、入力動画
像信号１０１のマクロブロックに対して参照画像信号の
最も相関の高いマクロブロックを検出することにより、
入力動画像信号１０１のマクロブロックが参照画像信号
のどのマクロブロックから動いたものかを示す情報が動
きベクトルとして検出され、動きベクトル情報１０６が
出力される。

【００１８】動き補償予測器１８では、この動きベクト
ル情報１０６を用いて参照画像信号に対して動き補償が
行われ、予測信号１０２が生成される。また、動き補償
予測器１８においては、動き補償フレーム間予測と入力
動画像信号１０１をそのまま符号化するフレーム内符号
化（予測信号＝０）のうち、好適な方の予測モードが選
択され、その予測モードに対応する予測信号１０２が出
力される。

【００１９】入力動画像信号１０１は、減算器１１にも
入力される。この減算器１１では、入力動画像信号１０
１と動き補償予測器１８からの予測信号１０２との差が
とられ、予測誤差信号１０３が生成される。この予測誤
差信号１０３は、離散コサイン（ＤＣＴ）変換器１２に
より一定の大きさのブロック単位で離散コサイン変換さ
れる。離散コサイン変換により得られたＤＣＴ係数デー
タは、量子化器１３で量子化される。量子化器１３で量
子化されたＤＣＴ係数データは二分岐され、一方で可変
長符号化器１９に入力され、他方で逆量子化器１４によ
り逆量子化された後、さらに逆離散コサイン（ＩＤＣ
Ｔ）変換器１５で逆離散コサイン変換（逆ＤＣＴ）され
る。

【００２０】逆離散コサイン変換器１５からの出力は加
算器１６で予測信号１０２と加算されて局部復号信号１
０５となり、参照画像フレームメモリ１７に参照画像信
号として記憶される。参照画像フレームメモリ１７に記
憶された参照画像信号は、動き補償予測器１８に読み出
され、動き補償フレーム間予測が行われる。

【００２１】動きベクトル検出部１０から出力される動
きベクトルの情報と動き補償予測器１８からの出力され
る予測モードの情報は、可変長符号化器１９に入力され
る。可変長符号化器１９においては、量子化されたＤＣ
Ｔ係数データと動きベクトルおよび予測モードの情報が
それぞれ可変長符号化され、符号化データ１０８とな
る。この符号化データ１０８は、例えばハードディスク
のような蓄積メディアに記録される。

【００２２】本実施形態では、同一の入力動画像信号１
０１に対して、第１の符号化と第２の符号化の２回の符
号化が上述した動作により行われる。ここで、第１の符
号化時には、可変長符号化器１９から符号化データ１０
８と共に符号化データ１０８の発生符号量を示す発生符
号量情報１０９も出力され、レート制御部２３に入力さ
れる。レート制御部２３は、第１の符号化時には発生符
号量情報１０９に基づいて、符号化データ１０８が所定
の符号化ビットレートとなるように、フィードバック制
御により量子化器１３の量子化スケール値（量子化ステ
ップ幅または量子化幅ともいう）を制御する。

【００２３】さらに、本実施形態では文法解析部２１と
符号化統計量分析部２２が設けられる。すなわち、第２
の符号化時には第１の符号化時に蓄積メディア２０に記
録された符号化データから、文法解析部２１により少な
くとも発生符号量情報および動きベクトル情報を含む符
号化データが抽出され、符号化統計量分析部２２に入力
される。符号化統計量分析部２２では、文法解析部２１
により抽出された符号化データの分析が行われ、それに
基づき第２の符号化時の符号化データでの最適な符号量
配分が決定される。

【００２４】そして第２の符号化には、第１の符号化時
に符号化統計量分析部２２で決定された符号量配分を示
す符号量配分値１１０に基づいて、レート制御部２３で
符号化レート制御が行われ。符号化レート制御は、本実
施形態では量子化器１３における量子化スケール値の制
御によって行われる。

【００２５】ここで、第１の符号化における動きベクト
ルの検出は、従来の２回符号化では動き補償フレーム間
予測符号化を行うフレーム（動き補償フレーム符号化対
象の画像信号）のみについて行われていたのに対し、本
発明ではさらにフレーム内符号化を行うフレーム（フレ
ーム内符号化対象の画像信号）についても動きベクトル
検出器１０により動きベクトル検出を行い、動きベクト
ル情報１０６を出力する。

【００２６】このフレーム内符号化対象の画像信号の動
きベクトル情報は、伝送路で発生したデータ誤りを補償
するために記録されるコンシールメントベクトルの情報
として、可変長符号化器１９で生成される符号化データ
に多重化される。こうしてコンシールメントベクトルと
して符号化データに多重化され記録された動きベクトル
情報は、第２の符号化時に文法解析部２１においてフレ
ーム間符号化対象の画像信号の動きベクトル情報と同様
に、第２の符号化時の最適符号量配分のために符号化デ
ータから抽出される。

【００２７】図２および図３を用いて、コンシールメン
トベクトルについて説明する。ＭＰＥＧ２方式では、コ
ンシールメントベクトルは図２に示すように、ピクチャ
単位に多重されるヘッダのpicture-coding-extensio
n（）内のconcealment motion vectores フラグを
“１”として、イントラ符号化（フレーム内符号化）マ
クロブロックにおいても、ベクトル情報を多重化する枠
組みが規定されている。コンシールメントベクトルの本
来の利用目的は、伝送誤りに対する耐性を強化すること
にある。

【００２８】例えば、図３に示す映像フレームＦで伝送
路における誤りにより、マクロブロックＭＢ２が再生不
能となった場合、その１マクロブロックライン分さかの
ぼるマクロブロックライン上で、同一水平位置にあるマ
クロブロックＭＢ１に多重された動きベクトルを用い
て、マクロブロックＭＢ２の参照画像からの動き補償予
測を行い、予測画像をそのまま再生画像にマッピングし
てマクロブロックＭＢ２の画像を再生する。

【００２９】ここで、マクロブロックＭＢ１がイントラ
符号化マクロブロックである場合、通常はベクトル情報
が多重化されないが、ここにコンシールメントベクトル
を多重化しておくことにより、マクロブロックＭＢ２で
発生した誤りの補償を行うことが可能となる。従って、
コンシールメントベクトルとしては、１マクロブロック
ライン下のマクロブロックに対する動きベクトルの情報
が多重化される。

【００３０】一方、後述するようにマクロブロック単位
での動きベクトルを用いた最適符号量配分を行う場合
は、イントラ符号化マクロブロックにおいても、本来の
動きベクトルを多重化することが望ましい。そこで、第
１の符号化において、イントラ符号化マクロブロックに
おけるコンシールメントベクトルは、１マクロブロック
ライン下のマクロブロックに対する動きベクトルではな
く、符号化マクロブロックにおける動きベクトルを多重
化する構成とすることで、より精度のよい符号量配分の
実現が可能なる。但し、フレーム内の大局的な動きを検
出するためには、通常のコンシールメントベクトルで、
１マクロブロックライン下のマクロブロックにおける動
きベクトルを多重したものでも、有意なベクトルとして
用いることが可能である。

【００３１】動きベクトル情報や発生符号量情報は、専
用フォーマットで符号化データ中に多重化してもよい
し、専用のデータパスを用いて出力してもよいが、符号
化データ中に多重化し、オフラインでソフトウエアによ
る文法解析を行うことにより、符号化装置に専用ハード
ウエアの追加なしに、所望のデータの出力を行うことが
可能となる。

【００３２】また、動きベクトルの他にも、入力動画像
のアクティビティや予測誤差の大きさを含む統計デ一タ
を符号化デ一タに多重化して、あるいは専用のデータパ
スで出力し、最適符号量配分のための動画像分析に用い
る構成としてもよい。

【００３３】（第２の実施形態）次に、図４を用いて本
発明の第２の実施形態に係る動画像符号化装置について
説明する。

【００３４】図４において図１と同一部分に同一符号を
付して第１の実施形態との相違点を述べると、本実施形
態では第１の実施形態における文法解析部２１が文法解
析機能を有する復号部２４に置き換えられ、さらに復号
部２４により復号された復号動画像信号１１１と入力動
画像信号１０１とを切り替えて符号化部に入力する入力
信号切替部２５が付加された構成となっている。従っ
て、本実施形態では第１の符号化による符号化データを
復号して、復号された動画像信号を再度符号化すること
が可能である。第１の符号化を行う場合は、第１の実施
形態と同様にフレーム内符号化画像においても、符号化
データへの動きベクトル情報の多重化を行う。

【００３５】さらに、本実施形態では蓄積メディア２０
上に記録された符号化データに対して、コンピュータを
利用した編集機２６によりノンリニア編集を行うことが
可能となっている。

【００３６】本実施形態においては、入力動画像信号１
０１に対して第１の符号化を行い、第１の符号化で得ら
れた符号化データに基づく最適符号量配分の下で、蓄積
メディア２０に記録された符号化データを再生し復号し
て再符号化（第２の符号化）を行うことが可能である。
従って、入力動画像画像１０１は第１および第２の符号
化を通して一度入力するだけで済むので、入力動画像信
号１０１の発生源としてはＶＴＲ等の複数回再生可能な
メディアに限定されず、例えばビデオカメラで撮像して
得られた動画像信号や、通信系で送られてくる動画像信
号を直接入力することも可能である。

【００３７】また、本実施形態では第１の符号化で得ら
れた符号化データをハードディスクのような高速なラン
ダムアクセスが容易な蓄積メディア２０上に記録するこ
とで、編集機２６により符号化データ上での動画像シー
ケンスの時間方向での切り貼り等のノンリニア編集を容
易に行うことが可能となる。フレーム単位のノンリニア
編集の自由度は、符号化におけるフレーム間予測構造に
大きく依存したものとなる。

【００３８】そこで、図５を用いてフレーム間予測構造
の例を説明する。ＭＰＥＧ２方式では、符号化効率を上
げるために、図５（ａ）に示すようにフレーム内符号化
（イントラ符号化）画像（Ｉピクチャ）、前方予測画像
（Ｐピクチャ）および両方向予測画像（Ｂピクチャ）を
おりまぜた予測構造を構成し、予測のリフレッシュを複
数のフレームで構成されるＧＯＰ単位に行う構成とする
のが一般的である。この場合、ランダムアクセスはＧＯ
Ｐ単位に行う必要があり、符号化データレベルでの編集
作業の自由度は、ＧＯＰ長（１ＧＯＰに含まれるピクチ
ャ数）に依存する。

【００３９】本実施形態における第１の符号化の目的
は、（１）入力動画像信号１０１についての動画像分
析、（２）動画像信号の入力作業を１回で済ませるよう
にする、（３）ノンリニア編集を可能とする、の３つで
あり、これらの目的を満たすために、圧縮率のある程度
の犠牲を許容している。編集の自由度を上げる一つの方
法としては、上述のようにＧＯＰ長を短くすることが挙
げられ、例えば図５（ｂ）に示すようにＧＯＰ長を３フ
レーム程度のＧＯＰにするか、あるいは図５（ｃ）のよ
うに全てのフレームをＩピクチャとする、つまりＧＯＰ
長を１フレームとすることで、編集の自由度は向上す
る。

【００４０】一方、フレーム内符号化時に動きベクトル
検出を行わない場合、上記（１）の動画像分析の際に動
き情報の分析が困難となる。しかし、本発明によれば伝
送路の誤り耐性が本来の目的であるコンシールメントベ
クトルの枠組みで、フレーム内符号化対象画像の画像信
号についても動きベクトルの検出と、それにより得られ
た動きベクトル情報の符号化データへの多重化を行い、
符号化終了後に符号化データを解析することで、動き情
報の分析を行うことができるため、上記（１）〜（３）
の全ての目的を達成することが可能となる。

【００４１】（最適符号量配分方法について）次に、上
述した第１および第２の実施形態に共通する最適符号量
配分方法について、図６〜図１１を用いて説明する。通
常、符号化画像の画質は符号化における量子化スケール
値と密接な関係にあり、図６（ａ）に示すように符号化
データを復号した得られた復号画像のＳＮ比（以下、Ｓ
ＮＲと記す）は、量子化スケール値の増加に対して単調
減少の関係にある。また、この関係は一般に画像の性質
には大きく依存しない。さらに、発生符号量も同様に、
図６（ｂ）に示すように量子化スケール値に対して単調
減少の関係にある。

【００４２】但し、ＭＰＥＧ２方式では、エントロピー
符号化に基づいた情報圧縮を行うため、発生符号量は入
力動画像信号の複雑さに応じて変化する。従って、復号
した画像がＳＮＲの面で均一で安定した画質となるよう
にするためには、量子化スケール値を均一化して符号量
配分を画像の性質に応じて変化させる必要がある。

【００４３】本発明の実施形態においては、第１の符号
化で得られた符号化データからフレーム単位あるいはマ
クロブロック単位の発生符号量と量子化スケール値をそ
れぞれ抽出することで、図６（ｂ）に示した各画像の性
質に固有の量子化スケール値と発生符号量との関係が算
出でき、それにより量子化スケール値の変動が小さくな
るように、つまり復号画像のＳＮＲが均一となるように
符号量配分のベース値を決定することができる。

【００４４】次に、こうして求まった符号量配分のベー
ス値に対して、動画像の動きと画像の性質に依存する人
間の視覚特性を考慮した適応符号量配分を行う。この点
について、以下に説明する。人間の視覚特性は、図７
（ａ）に示すように、動きの速さが一定以上になると急
激に視覚の感度が低下し、それに伴い符号化歪みが知覚
されにくくなる性質がある。また、符号化歪みはランダ
ム性の高い信号となるため、図７（ｂ）に示すように、
原画像そのものがランダム性の高い、つまりアクティビ
ティの大きい画像である場合、符号化歪みはそれにマス
クされて知覚されにくくなるという性質もある。従っ
て、動きが速い画像やアクティビティが大きい画像で
は、相対的に符号量を少なくしてＳＮＲの低い符号化を
行い、それ以外の知覚されやすい部分に多くの符号量を
適応的に割り当てることで、主観的な画質を向上させる
ことが可能となる。

【００４５】また、フレーム間動き補償予測符号化に起
因する問題として、シーンチェンジ等の映像内容の変化
に対しては、動き補償予測の予測効率が一時的に急激に
低下し、画質の乱れが生じることがある。この画質の乱
れを防止または低減させるためには、シ−ンチェンジを
検出し、シーンチェンジ直後の画像をフレーム内符号化
に変更するか、あるいは符号量配分を多くして動き補償
フレーム間符号化を行えばよい。シーンチェンジは、動
きベクトル値のフレーム内分散、アクティビティの時間
変化、平均輝度値または色差信号値の時間変化、動き補
償予測誤差値の少なくとも一つから求めることが可能で
ある。

【００４６】図８は、上述した符号量配分法に基づく符
号化制御部の構成を示すブロック図であり、図１におけ
る文法解析部２１と符号化統計量分析部２２、あるいは
図４における文法解析機能を有する復号部２４と符号化
統計量分析部２２の要部を詳しく示したものである。

【００４７】蓄積メディア２０から読み出された符号化
データ３００は、図１における文法解析部２１または図
４における復号部２４に相当するパーサ／デコーダ３０
に入力され、符号化データ３００からマクロブロック単
位の動きベクトルとアクティビティを示す動きベクトル
情報３０２およびアクティビティ情報３０３が抽出され
る。また、パーサ／デコーダ３０の出力３０４から、発
生符号量／量子化スケール値抽出部３３によりフレーム
単位およびマクロブロック単位の発生符号量および量子
化スケール値を示す発生符号量／量子化スケール値情報
３１０が抽出される。

【００４８】パーサ／デコーダ３０により抽出されたマ
クロブロック単位の動きベクトル情報３０２は動きベク
トル統計分析部３１に入力され、ここで隣接マクロブロ
ックの動きベクトル値の相関を用いた領域分割とその領
域内の動きベクトル平均値を示す領域分割／動きベクト
ル平均値情報３０５と、動きベクトルのフレーム内分散
を示すフレーム内動きベクトル分散情報３０６、および
動きベクトルのフレーム内絶対値平均を示すフレーム内
動きベクトル絶対値平均情報３０７が求められる。

【００４９】パーサ／デコーダ３０により抽出されるア
クティビティ情報３０３は、符号化データ３００にユー
ザデータとして第１の符号化時に多重されているか、あ
るいは符号化データ３００中のＤＣＴ係数の分布から算
出される。また、符号化の際に符号化データとは別にア
クティビティデータ３０１を保存しておき、それを破線
で示すようにアクティビティ情報３０３に代えて入力す
るようにしてもよい。このアクティビティ情報３０３ま
たはアクティビティデータ３０１はアクティビティ分析
部３２に入力され、マクロブロック単位のアクティビテ
ィを示すアクティビティ情報３０８と、マクロブロック
単位のアクティビティのフレーム内平均値を示すフレー
ム内アクティビティ平均値情報３０９が出力される。

【００５０】動き領域抽出部３４では、動きベクトル統
計分析部３１からの領域分割／動きベクトル平均値情報
３０５に基づいて画像の動き量が求められ、この動き量
で領域分割した領域とその平均動き量を示す領域分割／
平均動き量情報３１１が出力される。

【００５１】シーンチェンジ検出部３５では、動きベク
トル統計分析部３１からのフレーム内動きベクトル分散
情報３０６とアクティビティ分析部３２からのアクティ
ビティ情報３０８に基づき、動きベクトルのフレーム内
分散の時間変化およびフレーム内平均アクティビティの
時間変化からシーンチェンジ位置が検出され、シーンチ
ェンジ位置情報３１２が出力される。

【００５２】フレーム内符号量配分算出部３６では、発
生符号量／量子化スケール値抽出部３３からの発生符号
量／量子化スケール値情報３１０に基づいて、前述した
発生符号量と量子化スケール値の関係から画像の符号化
特性を算出し、量子化スケール値の変動が小さくなり、
且つ所望のビットレートなるように、全動画像シーケン
スにわたる各フレームの符号量配分のベ一ス値を算出す
る。

【００５３】フレーム内量子化重み算出部３７では、動
き領域抽出部３４からの領域分割／平均動き量情報３１
１とアクティビティ分析部３２からのマクロブロック単
位のアクティビティ情報３０８に基づいて、動きが激し
い部分およびアクティビティが高い部分での量子化をフ
レーム内の他の部分の量子化より荒くするような量子化
重み付けを各フレームのマクロブロック単位に決定し、
その係数を表す量子化重み係数３１３を出力する。

【００５４】フレーム内符号量配分補正部３８では、動
きベクトル統計分析部３１からのフレーム内動きベクト
ル絶対値平均情報３０７と、アクティビティ分析部３２
からのフレーム内アクティビティ平均値情報３０９と、
シーンチェンジ検出部３５からのシーンチェンジ位置情
報３１２に基づいて、（１）フレーム内の平均的な動き
量に応じて動きの激しいフレームでは符号量を削減す
る、（２）フレーム内のアクティビティが平均的に大き
い場合は同様に符号量を削減する、（３）シーンチェン
ジが検出された場合は、その直後のフレームの符号量を
増加させる、といった（１）〜（３）に対応するフレー
ム符号量配分に対して与える重み係数を動画像シーケン
スにわたる各フレーム毎に計算する。そして、フレーム
内符号量配分算出部３６で算出された各フレーム毎の符
号量配分のベース値に対して、これらの重み係数に応じ
た補正を加えて各フレームの符号量配分を決定し、フレ
ーム内符号量配分値３１４を出力する。

【００５５】こうして第１の符号化においてフレーム内
量子化重み算出部３７で求められる量子化重み係数３１
３と、フレーム内符号量配分補正部３８で求められるフ
レーム内符号量配分値３１４は、それぞれ符号化制御用
データとして全動画像シーケンスにわたって記録され
る。符号化制御データ生成部３９では、記録されたフレ
ーム内量子化重み係数３１３とフレーム内符号量配分値
３１４に基づいて、符号化制御データ３１５を生成す
る。

【００５６】この符号化データ制御データ３１５は、図
１または図４における符号化レート制御部２３に供給さ
れ、符号化レート制御部２３では、これに基づいて図１
または図４中の量子化器１３での量子化スケール値を制
御する。これにより、符号量配分を最適化した第２の符
号化が行われる。

【００５７】図９は、上述した符号量配分の具体例を示
したものである。図９（ａ）は、第１の符号化において
一定の量子化スケール値で符号化した場合のフレーム単
位の発生符号量、アクティビティおよび平均動き量のそ
れぞれの時間変化と、シーンチェンジ位置ＳＣ１，ＳＣ
２を示している。図９（ｂ）は、所望の符号化ビットレ
ートの下での第１の符号化による発生符号量に応じたフ
レーム単位の符号量配分のベース値を示している。図９
（ｃ）は、図９（ｂ）のベース値に対してシーンチェン
ジ直後のフレームにおける符号量増加の補正を加えたも
のである。図９（ｄ）は、図９（ｃ）に加えてアクティ
ビティに応じた補正を加えたものを示している。図９
（ｅ）は、図９（ｄ）に加えて平均動き量による補正を
加えた最終的なフレーム単位の符号量配分の時間変化を
示したものである。

【００５８】図１０は、フレーム内量子化重み算出部３
７によるフレーム内の動き量およびアクティビティに基
づく量子化重み付けについての説明図である。図１０
（ａ）に示すように、動きの速さが小さく、且つ動きベ
クトルの分散が小さい領域、すなわちゆっくりと一定の
方向に動くか、あるいは停止している部分では量子化を
細かくするよう量子化重み係数３１３を決定して符号化
歪みを低減し、符号化ＳＮＲを高くする。一方、動きの
速い部分、あるいは動きベクトルの分散が高く、すなわ
ちランダムな動きをしている部分等では、量子化を荒く
するように量子化重み係数３１３を決定する。後者の場
合、符号化ＳＮＲは低下する。

【００５９】また、図１０（ｂ）に示すように、マクロ
ブロック単位のアクティビティが高い場合は荒く量子化
するように量子化重み係数３１３を決定し、逆にアクテ
ィビティが低い部分については量子化を細かくするよう
に量子化重み係数３１３を決定する。符号化ＳＮＲは、
前者の場合は低くなり、後者の場合は高くなる。

【００６０】図１１は、フレームに対してマクロブロッ
ク毎の動き量に基づく領域分割を行い、それぞれの領域
毎に量子化重み付けを行った量子化重み係数３１３の例
を示したものである。第２の符号化における各マクロブ
ロックの量子化の際には、通常の符号化レート制御で求
まるマクロブロック単位の量子化スケール値に対し、こ
れらの重み係数を乗算して補正した量子化スケール値を
用いて符号化を行うものとする。すなわち、補正係数が
１以下の部分は相対的に高いＳＮＲで、また補正係数が
１以上の部分は相対的に低いＳＮＲで符号化されること
になる。

【００６１】本発明は、上記実施形態に限られるもので
はなく、次のように種々変形して実施することができ
る。 （１）第２の実施形態では、第１の符号化時に第１の実
施形態と同様に動き補償フレーム間符号化とフレーム内
符号化を併用したが、フレーム内符号化のみを用い、全
てのフレーム内符号化対象の画像信号について動きベク
トルの検出と動きベクトル情報の多重化を行ってもよ
い。このようにすると、第１の符号化時の符号化効率は
若干低下するが、ノンリニア編集の自由度が上がり、か
つ第２の符号化を高画質化できる。

【００６２】（２）実施形態で説明した最適符号量配分
方法においては、(a) 第２の符号化により得られる符号
化データの符号量配分値、(b) 該符号量配分値に対して
与える重み係数、(c) 第２の符号化における量子化時の
量子化スケール値および(d)該量子化スケール値に対し
て与える量子化重み係数をレート制御パラメータとして
決定して符号化レートを制御するようにしたが、これら
(a) 〜(d) の１つ乃至〜３つをレート制御パラメータと
してもよい。

【００６３】（３）本発明では、動画像符号化の処理を
全てハードウェアで実現するようにしてもよいし、一部
の処理または多くの部分の処理をプロセッサによるソフ
トウェアで実行することも可能である。

【００６４】

【発明の効果】以上説明したように、本発明によれば符
号化効率改善のための同一動画像信号に対する複数回の
符号化において、第１の符号化時にフレーム内符号化画
像においても動きベクトルを検出して符号化データに多
重化し、第１の符号化で得られた符号化データから動き
ベクトル情報を抽出してマクロブロックレベルの詳細な
動き情報をハードウエアの増加なしに、しかも予測構造
によらず常に検出することができる。

【００６５】そして、このように検出された動き情報に
基づいて、動きの速さや、動きベクトルのランダム性か
ら、人間の視覚特性と符号化歪み低減の両者に基づいた
最適な符号量配分を行い、この最適化された符号量配分
の下で第２の符号化を行うことによって、一定の符号化
ビットレートの下での高画質化を実現することが可能と
なる。

【００６６】また、第１の符号化において全てのフレー
ムをフレーム内符号化とした場合においても、動き情報
の抽出が可能となるため、第１の符号化データによりフ
レーム単位のノンリニア編集と最適符号量配分を共通化
して行うことが可能となり、ノンリニア編集・符号化シ
ステムにおいて総符号化回数を削減し、かつ高画質の符
号化を行うことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動画像符号化装
置の構成を示すブロック図

【図２】ＭＰＥＧ２のビデオシンタックスの一部を示す
図

【図３】ＭＰＥＧ２におけるコンシールメントベクトル
を説明する図

【図４】本発明の第２の実施形態に係る動画像符号化装
置の構成を示すブロック図

【図５】フレーム間予測構造についての説明図

【図６】量子化スケール値に対する符号化特性を示す図

【図７】動画像の性質に関する視覚感度特性を示す図

【図８】本発明における符号化制御部の構成例を示すブ
ロック図

【図９】本発明における最適符号量配分の例を示す図

【図１０】本発明における動きに応じたフレーム内量子
化重み付けを説明する図

【図１１】本発明におけるフレーム内量子化重み付けの
具体例を示す図

【符号の説明】

１０…動きベクトル検出器 １１…減算器 １２…離散コサイン変換器 １３…量子化器 １４…逆量子化器 １５…逆離散コサイン変換器 １６…加算器 １７…参照画像フレームメモリ １８…動き補償予測器 １９…可変長符号化器 ２０…蓄積メディア ２１…文法解析部 ２２…符号化統計データ分析部 ２３…レート制御部 ２４…文法解析機能を有する復号部 ２５…入力信号切替部 ２６…編集機 ３０…文法解析部または復号部 ３１…動きベクトル統計分析部 ３２…アクティビティ分析部 ３３…発生符号量／量子化スケール値抽出部 ３４…動き領域抽出部 ３５…シーンチェンジ検出部 ３６…フレーム内符号量配分算出部 ３７…フレーム内量子化重み算出部 ３８…フレーム内符号量配分補正部 ３９…符号化制御データ生成部 １０１…入力動画像信号 １０２…予測信号 １０３…予測誤差信号 １０４…ＤＣＴ係数データ １０５…局部復号信号 １０６…動きベクトル情報 １０７…予測モード情報 １０８…符号化データ １０９…発生符号量情報 １１０…符号化統計量情報 １１１…復号動画像信号 ３００…符号化データ ３０１…アクティビティデータ ３０２…マクロブロック単位の動きベクトル情報 ３０３…マクロブロック単位のアクティビティ情報 ３０５…領域分割／動きベクトル平均値情報 ３０６…フレーム内動きベクトル分散情報 ３０７…フレーム内動きベクトル絶対値平均情報 ３０８…マクロブロック単位のアクティビティ情報 ３０９…マクロブロック単位のフレーム内アクティビテ
ィ平均値情報 ３１０…発生符号量／量子化スケール値情報 ３１１…動き領域分割／平均動き量情報 ３１２…シーンチェンジ位置情報 ３１３…フレーム内量子化重み係数情報 ３１４…フレーム内符号量配分値 ３１５…符号化制御データ

Claims (7)

【特許請求の範囲】
1. 【請求項１】同一の入力動画像信号について動き補償フ
   レーム間符号化またはフレーム内符号化により少なくと
   も第１の符号化および第２の符号化の２回の符号化を行
   い、得られた符号化データを記録する動画像符号化方法
   において、 前記第１の符号化時に動き補償フレーム間符号化対象の
   画像信号およびフレーム内符号化対象の画像信号の両方
   について動きベクトルを検出して動きベクトル情報を符
   号化データに多重化し、 この動きベクトル情報が多重化された符号化データを記
   録し、 この記録した符号化データから前記動きベクトル情報を
   抽出して動画像の動き量を検出し、 少なくとも該動き量を用いて前記第２の符号化時の符号
   化レートを制御することを特徴とする動画像符号化方
   法。
2. 【請求項２】同一の入力動画像信号について動き補償フ
   レーム間符号化またはフレーム内符号化により少なくと
   も第１の符号化および第２の符号化の２回の符号化を行
   う符号化手段と、 前記第１の符号化時に動き補償フレーム間符号化対象の
   画像信号およびフレーム内符号化対象の画像信号の両方
   について動きベクトルを検出して動きベクトル情報を得
   る動きベクトル検出手段と、 前記動きベクトル情報を前記第１の符号化により得られ
   る符号化データに多重化する多重化手段と、 この多重化手段により前記動きベクトル情報が多重化さ
   れた符号化データを記録する記録手段と、 この記録手段により記録された符号化データから前記動
   きベクトル情報を抽出して動画像の動き量を検出し、少
   なくとも該動き量を用いて前記第２の符号化時の符号化
   レートを制御する制御手段とを有することを特徴とする
   動画像符号化装置。
3. 【請求項３】入力動画像信号について動き補償フレーム
   間符号化またはフレーム内符号化により第１の符号化を
   行い、この第１の符号化により得られた符号化データを
   記録し、この記録した符号化データを復号して得られた
   動画像信号について動き補償フレーム間符号化またはフ
   レーム内符号化により第２の符号化を行う動画像符号化
   方法において、 前記第１の符号化時に動き補償フレーム間符号化対象の
   画像信号およびフレーム内符号化対象の画像信号の両方
   について動きベクトルを検出して動きベクトル情報を符
   号化データに多重化し、 この動きベクトル情報が多重化された符号化データを記
   録し、 この記録した符号化データを復号して該符号化データか
   ら前記動きベクトル情報を抽出して動画像の動き量を検
   出し、 少なくとも該動き量を用いて前記第２の符号化時の符号
   化レートを制御することを特徴とする動画像符号化方
   法。
4. 【請求項４】入力動画像信号について動き補償フレーム
   間符号化またはフレーム内符号化により第１の符号化を
   行い、この第１の符号化により得られた符号化データを
   記録し、この記録した符号化データを復号して得られた
   動画像信号について動き補償フレーム間符号化またはフ
   レーム内符号化により第２の符号化を行う動画像符号化
   装置において、 前記第１の符号化時に動き補償フレーム間符号化対象の
   画像信号およびフレーム内符号化対象の画像信号の両方
   について動きベクトルを検出して動きベクトル情報を得
   る動きベクトル検出手段と、 前記動きベクトル情報を前記第１の符号化により得られ
   る符号化データに多重化する多重化手段と、 この多重化手段により前記動きベクトルが多重化された
   符号化データを記録する記録手段と、 この記録手段により記録された符号化データの復号時に
   該符号化データから前記動きベクトル情報を抽出して動
   画像の動き量を検出し、少なくとも該動き量を用いて前
   記第２の符号化時の符号化レートを制御する制御手段と
   を有することを特徴とする動画像符号化装置。
5. 【請求項５】入力動画像信号についてフレーム内符号化
   により第１の符号化を行い、この第１の符号化により得
   られた符号化データを記録し、この記録した符号化デー
   タを復号して得られた動画像信号について動き補償フレ
   ーム間符号化またはフレーム内符号化により第２の符号
   化を行う動画像符号化方法において、 前記第１の符号化時に全てのフレーム内符号化対象の画
   像信号について動きベクトルを検出して動きベクトル情
   報を符号化データに多重化し、 この動きベクトル情報が多重化された符号化データを記
   録し、 この記録した符号化データを復号して該符号化データか
   ら前記動きベクトル情報を抽出して動画像の動き量を検
   出し、 少なくとも該動き量を用いて前記第２の符号化時の符号
   化レートを制御することを特徴とする動画像符号化方
   法。
6. 【請求項６】入力動画像信号についてフレーム内符号化
   により第１の符号化を行い、この第１の符号化により得
   られた符号化データを記録し、この記録した符号化デー
   タを復号して得られた動画像信号について動き補償フレ
   ーム間符号化またはフレーム内符号化により第２の符号
   化を行う動画像符号化装置において、 前記第１の符号化時に全てのフレーム内符号化対象の画
   像信号について動きベクトルを検出して動きベクトル情
   報を得る動きベクトル検出手段と、 前記動きベクトル情報を前記第１の符号化により得られ
   る符号化データに多重化する多重化手段と、 この多重化手段により前記動きベクトルが多重化された
   符号化データを記録する記録手段と、 この記録手段により記録された符号化データの復号時に
   該符号化データから前記動きベクトル情報を抽出して動
   画像の動き量を検出し、少なくとも該動き量を用いて前
   記第２の符号化時の符号化レートを制御する制御手段と
   を有することを特徴とする動画像符号化装置。
7. 【請求項７】前記制御手段は、少なくとも前記動き量を
   用いて、(a) 前記第２の符号化により得られる符号化デ
   ータの符号量配分値、(b) 該符号量配分値に対して与え
   る重み係数、(c) 前記第２の符号化における量子化時の
   量子化スケール値および(d)該量子化スケール値に対し
   て与える量子化重み係数の少なくとも一つを含むレート
   制御パラメータを決定して前記符号化レートを制御する
   ことを特徴とする請求項２、４、６のいずれか１項に記
   載の動画像符号化装置。