JPH05236456A - 動画像符号化方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】 符号化／復号化における遅延増大やハードウ
ェア規模の増大を伴わずに、画面内相関が低く画面間相
関の高い動画像に対する符号化効率を高くできる動画像
符号化装置を提供すること。 【構成】 入力画像信号１０から予測画像信号１２を減
算して予測残差信号１３を得る減算器１３と、予測残差
信号１３を量子化するＤＣＴ回路１４および量子化器１
４と、量子化された信号１６を符号化する可変長符号化
器１７と、量子化された信号１６と予測画像信号１２か
ら局部復号信号２３を生成する局部復号回路２０〜２１
と、局部復号信号２３を記憶するフレームメモリ２５，
２６と、フレームメモリ２５，２６の出力信号に対して
動き補償を行って予測画像信号１２を作成する予測画像
信号作成回路２７〜３４を有する動画像符号化装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、過去の複数枚の画面の
画像を用いたフレーム間予測符号化方式により動画像信
号を符号化する動画像符号化方法および装置に関する。

【０００２】

【従来の技術】動画像信号を高能率に符号化する方式と
して、フレーム間予測符号化方式が知られている。フレ
ーム間予測符号化方式は、符号化対象画面より過去の符
号化済み画面を参照画面として符号化対象画面の予測画
像信号を作成し、この予測画像信号と符号化対象画面の
画像信号との差分である予測残差信号を符号化する方式
である。なお、ここでいう「画面」とはフレームまたは
フィールド（テレビジョン画像のようなインタレース画
像の場合）をいう。参照画面に対し動きベクトルを用い
て動き補償を行うことで予測画像信号を作成する方式
は、特に動き補償フレーム間予測符号化方式と呼ばれ、
さらに高能率の符号化が可能である。予測画像信号の作
成に際しては、参照画面に存在する符号化ノイズをルー
プフィルタにより除去する操作なども施される。

【０００３】フレーム間予測符号化方式では、符号化対
象画面と予測画像信号の作成に用いる参照画面との関係
をどのように選ぶかが重要な事項の一つである。最も一
般的には、図４に示すように符号化対象画面の直前の１
画面を参照画面とする方法が用いられる。Ｐ１，Ｐ２，
…は、各々の画面（フレームまたはフィールド）であ
り、矢印は参照画面と符号化対象画面との対応を示して
いる。

【０００４】一方、符号化効率を改善した図５に示す方
法も考えられている。図５においては、符号化対象画面
を符号化に際して比較的細かな量子化ステップ幅を用い
る第１種の画面Ｐ１，Ｐ２，…と、比較的粗い量子化ス
テップ幅を用いる第２種の画面Ｂ１，Ｂ２，…の２種類
に分類する。そして、第１種の画面Ｐｉ（ｉ＝１，２，
…）に対する予測画像信号の作成に用いる参照画面は、
それに最も近い過去の第１種の画面Ｐｉ−１として、第
２種の画面Ｂｉ（ｉ＝１，２，…）に対する予測画像信
号は２つの参照画面Ｐｉ，Ｐｉ＋１のいずれか一方の画
像信号から作成するか、または両者から内挿して作成す
る。

【０００５】図５の方法によると、第１種の画面におけ
る符号化対象画面と参照画面との距離が増大することに
よる符号化効率の低下を、第２種の画面における予測画
像信号の精度が向上することによる符号化効率の向上が
上回り、全体として図４の方法に比較して符号化効率が
向上する。特に、画面内相関が低く画面間相関の高い動
画像（すなわち、空間解像度の高い画像がゆっくり移動
している画像）に対する符号化効率の向上が著しい。

【０００６】しかし、この方法は第２種の画面に対する
予測画像信号の作成に未来の画面をも参照画面として利
用することから、符号化／復号化に際して遅延が増大す
ることと、ハードウェア規模が増大するという欠点を有
する。従って、このような欠点を許容できる応用分野に
は有効であるが、リアルタイム通信のように低遅延時間
が要求されるような応用分野には不向きである。

【０００７】図５の方法の欠点をできるだけ除いて、か
つ符号化効率をできるだけ図５の方法に近付ける方法が
従来より検討され、幾つかの改善案が提案されている。
図６および図７に、改善された方法の例を示す。

【０００８】図６は、第２種の画面に対する予測画像の
作成に用いる参照画面を図５のように最も近い未来およ
び過去の画面を用いずに、過去の１画面のみに限定する
方法であり、参照画面を過去の画面のみに限定した第２
種の画面をＰ１′，Ｐ２′，…で表している。

【０００９】図６の方法によると、未来の画面を用いな
いため図４の方法における符号化／復号化に際しての遅
延増大とハードウェア規模の増大という欠点が解消さ
れ、また符号化効率に関しても画面内相関が低く画面間
相関の高い動画像に対しては、図４の方法を上回る性能
が得られる。しかし、当然ながら性能的には図５の方法
に及ばず、特に複雑な激しい動きがあり、画面内相関の
低い画像については符号化効率が図４の方法にも及ばな
くなってしまう。

【００１０】図７は、図６の方法において符号化対象画
面の１画面前の画面が必ず参照画面となるようにする方
法である。この方法によると参照画面が２画面となるこ
とが生じるため、ハードウェア規模は増大するが、複雑
で激しい動きのある画像に対する符号化効率は改善され
る。しかし、画面内相関が低く画面間相関の高い動画像
に対する符号化効率は改善されない。なお、複雑な激し
い動きのある画像に対する符号化効率の改善は、図４と
図６の方法を切り替えることによっても対応可能であ
る。但し、この方法によっても画面内相関が低く画面間
相関の高い動画像に対する符号化効率の改善はなされな
い。

【００１１】

【発明が解決しようとする課題】上述したように、従来
の動き補償フレーム間予測符号化方式を用いた動画像符
号化技術では、符号化／復号化に際しての遅延増大を伴
うことなく、画面内相関が低く画面間相関の高い動画
像、すなわち空間解像度の高い画像がゆっくり移動して
いるような画像に対する符号化効率を向上させることが
難しいという問題があった。

【００１２】本発明は、このような欠点を解決して符号
化／復号化における遅延の増大を伴わずに、画面内相関
が低く画面間相関の高い動画像に対する符号化効率を高
くできる動画像符号化方法および装置を提供することを
目的とする。

【００１３】

【課題を解決するための手段】本発明は上記の課題を解
決するため、符号化対象画面の画像信号に対する予測画
像信号を作成し、この予測画像信号の予測残差信号を量
子化して符号化する動画像符号化方法において、符号化
対象画面を予測残差信号の量子化時に比較的細かな量子
化ステップ幅を用いる第１種の画面と比較的粗い量子化
ステップ幅を用いる第２種の画面とに分類し、符号化対
象画面が第１種および第２種のいずれの画面に属するか
に応じて予測残差信号の量子化時における量子化ステッ
プ幅を変化させるとともに、符号化対象画面より過去の
少なくとも２枚の第１種の画面を参照画面として予測画
像信号を作成することを特徴とする。

【００１４】また、本発明に係る動画像符号化装置は、
入力画像信号から予測画像信号を減算して予測残差信号
を得る減算手段と、この減算手段により得られた予測残
差信号を量子化する量子化手段と、この量子化手段によ
り量子化された信号を符号化する符号化手段と、前記量
子化手段により量子化された信号と前記予測画像信号か
ら局部復号信号を生成する局部復号手段と、この局部復
号手段により生成された局部復号信号を少なくとも２画
面分記憶する複数の記憶手段と、これら複数の記憶手段
の出力信号に対して動き補償を行い前記予測画像信号を
作成する予測画像信号作成手段と、前記入力画像信号を
前記量子化手段での量子化時に比較的細かな量子化ステ
ップ幅を用いる第１種の画面に対応する信号と比較的粗
い量子化ステップ幅を用いる第２種の画面に対応する信
号とに分類し、前記符号化対象画面が第１種および第２
種のいずれの画面に属するかに応じて前記量子化手段に
おける量子化ステップ幅を変化させると共に、前記記憶
手段に少なくとも２枚の第１種の画面に対応する局部復
号信号を記憶せしめる制御を行う制御手段とを具備する
ことを特徴とする。

【００１５】

【作用】このように本発明では、符号化対象画面より過
去の少なくとも２枚の第１種の画面を参照画面として予
測画像信号を作成する。従って、例えば画面内相関が低
く画面間相関の高い動画像（空間解像度の高い画像がゆ
っくり移動しているような画像）に対しては、過去の少
なくとも２枚の第１種の画面から内挿された画像信号を
予測画像信号とすることによって、空間解像度を落とさ
ずに、符化済みの過去の画面である参照画面の画像に存
在する符号化ノイズが低減され、予測画像信号の精度が
向上する。

【００１６】また、参照画面として符号化対象画面より
過去の画面のみを用いるため、未来の画面をも使用する
方法のように符号化／復号化に際して遅延時間が増大す
ることはない。一方、参照画面に過去および未来の画面
を使用する従来法に比較すると、符号化対象画面と参照
画面との間の距離は増大するが、画像の動きが平行移動
で、かつ輝度が変化しなければ、距離の増大による予測
画像信号の精度低下は起こらないので、このような動き
が平行移動でかつ輝度が変化しない画像では過去および
未来の画面を参照画面とする従来法に近い性能が得られ
る。

【００１７】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図１は、本発明に係る動画像符号化装置のブロッ
ク図である。図１において、符号化対象画面を構成する
動画像の入力画像信号１０は減算器１１に入力され、後
述のようにして作成される予測画像信号１２との差分が
とられて、予測残差信号１３が生成される。この予測残
差信号１３は、ＤＣＴ（離散コサイン変換）回路１４に
より離散コサイン変換される。ＤＣＴ回路１４で得られ
たＤＣＴ係数データは、量子化器１５で量子化される。
量子化器１５で量子化された信号は二分岐され、一方は
可変長符号化器１７で可変長符号化され、さらにバッフ
ァ１８により所定の伝送レートとされた後、伝送路１９
へ出力される。

【００１８】一方、量子化器１５で量子化され二分岐さ
れた信号の他方は、逆量子化器２０およびＩＤＣＴ（逆
離散コサイン変換）回路２１により量子化器１５および
ＤＣＴ回路１４の処理と逆の処理を順次受けた後、加算
器２２で予測画像信号１２と加算されることにより、局
部復号信号２３が生成される。

【００１９】こうして生成された局部復号信号２３は、
切替器２４を介して第１、第２のフレームメモリ２５，
２６に選択的に入力される。フレーム２５，２６には第
１、第２の動きベクトル検出回路２７，２８からの動き
ベクトルがそれぞれ入力されている。動きベクトル検出
回路２７，２８は、それぞれ入力画像信号１０とフレー
ムメモリ２５，２６の出力信号を用いてフレーム間の動
きを検出し、その動きの方向と量を示す情報、すなわち
動きベクトルを発生する。これらの動きベクトルに従っ
て、フレームメモリ２５，２６から動き補償された画像
信号が読み出される。

【００２０】フレームメモリ２５，２６の出力信号３
１，３２は、平均化回路３０および切替器３４に入力さ
れる。平均化回路３０は、フレームメモリ２５，２６の
出力信号３１，３２を平均化した信号３３を出力する。
切替器３４は、フレームメモリ２５，２６の出力信号３
１，３２および平均化回路３０の出力信号３３のいずれ
かを予測画像信号１２として選択して出力する。

【００２１】符号化制御回路２７は、量子化器１５およ
び逆量子化器１６における量子化ステップ幅を入力画像
信号１０が第１種、第２種の画面のいずれかであるかに
より細かなステップ幅と粗いステップ幅とに切替えると
も共に、バッファ１８の占有量に応じて制御するレート
制御を行い、さらに切替器２４，３４の切替制御を行
う。なお、量子化ステップ幅の切替は、例えば入力画像
信号の１画面おきのように予め定められた規則に従って
行う。切替器３４は、符号化制御回路２７からの制御に
より、フレームメモリ２５，２６の出力信号３１，３２
および平均化回路３０の出力信号３３のうち、予測残差
信号１３が最小となる信号を選択する。

【００２２】図２は、同実施例における符号化対象画面
と、予測画像信号の作成に用いる参照画面との関係を模
式的に示す図である。本実施例では、図２に示されるよ
うに符号化対象画面を符号化に際して比較的細かな量子
化ステップ幅を用いる第１種の画面Ｐ１，Ｐ２，…と、
比較的粗い量子化ステップ幅を用いる第２種の画面Ｐ
１′，Ｐ２′，…とに分類した上で、符号化対象画面よ
り過去の２枚の第１種の画面を参照画面としていること
が特徴である。

【００２３】すなわち、図６に示した従来法では例えば
Ｐ２′，Ｐ３に対してはＰ２、またＰ３′，Ｐ４に対し
てはＰ３のように、参照画面として過去の１枚の第１種
の画面を用いている。これに対し、本実施例では例えば
符号化対象画面Ｐ２′，Ｐ３に対しては参照画面として
Ｐ２に加えＰ１、また符号化対象画面Ｐ３′，Ｐ４に対
しては参照画面としてＰ３に加えＰ２というように、参
照画面に用いる第１種の画面を１枚増やしている。表１
に、本実施例における入力画像信号１０である符号化対
象画面と、それに対応するフレームメモリ２５，２６の
入出力の関係を示す。

【００２４】

【表１】

【００２５】このように、本実施例では符号化対象画面
より過去の２枚の第１種の画面を参照画面として用い、
切替器３４により過去の２枚の第１種の画面の画像信号
（フレームメモリ２５，２６から出力される動き補償さ
れた画像信号）および平均化回路３０で両信号を平均化
つまり内挿して得られた信号のいずれか一つ、すなわち
予測残差信号１３が最小となる信号を選択して予測画像
信号１２とする。従って、図６に示した従来法に比較し
て、符号化装置および復号化装置のいずれも２枚のフレ
ームメモリを必要とすることからハードウェア規模は増
大するが、予測画像信号１２の作成に２枚の第１種の画
面を参照画面として使用するため、予測精度が高くな
り、符号化効率が向上する。さらに、未来の画面は参照
画面として使用しないため、図５に示した従来法のよう
に符号化／復号化における遅延時間が増大することはな
い。

【００２６】図３は、本発明の他の実施例における符号
化対象画面と予測画像信号の作成に用いる参照画面との
関係を模式的に示す図である。本実施例は、図７に示し
た従来法において、第２種の画面Ｐ１′，Ｐ２′，Ｐ
３′，…に対する参照画面として過去の画面をさらに１
枚増やしたものである。

【００２７】すなわち、図７に示した従来法において
は、例えばＰ２′に対してはＰ２、またＰ３′に対して
はＰ３のように、参照画面として過去の１枚の第１種の
画面を用いている。これに対して、本実施例では例えば
符号化対象画面Ｐ２′に対しては参照画面としてＰ２に
加えＰ１、また符号化対象画面Ｐ３′に対しては参照画
面としてＰ３に加えＰ２というように、参照画面に用い
る第１種の画面として、符号化対象画面に２番目に近い
過去の第１種の画面を追加している。表２に、本実施例
における入力画像信号１０である符号化対象画面と、そ
れに対応するフレームメモリ２５，２６の入出力の関係
を示す。

【００２８】

【表２】

【００２９】このように本実施例では、図７に示した従
来法に比較して参照画面数の最大値（＝２）は増加しな
いため、ハードウェア規模を増大させることなく、符号
化対象画面が第２種の画面の場合に、予測画像信号１２
の作成に２枚の第１種の画面を参照画面として使用でき
るため、第２種の画面に対する予測画像信号１２の精度
が向上し、符号化効率が向上するという利点がある。

【００３０】なお、以上の実施例では第１種の画面と第
２種の画面が時間的に交互に繰返し配置されている場合
について説明したが、第１種の画面と第２種の画面の時
間的な配置がこれ以外の場合にも本発明を適用できる。
また、以上の実施例では参照画面として過去の２枚の画
面を用いたが、さらに多数の参照画面を用いる場合にも
拡張して本発明を適用することが可能である。

【００３１】

【発明の効果】以上説明したように、本発明によればフ
レーム間予測符号化、特に動き補償フレーム間予測符号
化方式を用いて動画像信号を符号化する場合、符号化／
復号化における遅延時間を増大させることなく、一般的
に符号化が難しいとされている画面内相関が低く画面間
相関の高い動画像に対する符号化効率を向上させること
ができ、リアルタイム通信のような低遅延時間が要求さ
れる応用分野に適した動画像符号化を行うことができ
る。

【図面の簡単な説明】

【図１】本発明の一実施例に係る動画像符号化装置のブ
ロック図

【図２】本発明による動画像符号化方法の第１の実施例
を説明するための符号化対象画面と参照画面の関係を示
す図

【図３】本発明による動画像符号化方法の第２の実施例
を説明するための符号化対象画面と参照画面の関係を示
す図

【図４】従来の基本的な動き補償フレーム間予測符号化
方式における符号化対象画面と参照画面の関係を示す図

【図５】参照画面として過去および未来の画面を用いる
従来の動き補償フレーム間予測符号化方式における符号
化対象画面と参照画面の関係を示す図

【図６】参照画面として過去の画面のみを用いる第１の
改善例の動き補償フレーム間予測符号化方式における符
号化対象画面と参照画面の関係を示す図

【図７】参照画面として過去の画面のみを用いる第２の
改善例の動き補償フレーム間予測符号化方式における符
号化対象画面と参照画面の関係を示す図

【符号の説明】

１０…入力画像信号 １１…減算器 １２…予測画像信号 １３…予測残
差信号 １４…ＤＣＴ回路 １５…量子化
器 １７…可変長符号化器 １８…バッフ
ァ ２０…逆量子化器 ２１…ＩＤＣ
Ｔ回路 ２２…加算器 ２３…局部復
号信号 ２４…切替器 ２５，２６…
フレームメモリ ２７，２８…動きベクトル発生回路 ３０…平均化
回路

Claims (3)

【特許請求の範囲】
1. 【請求項１】符号化対象画面の画像信号に対する予測画
   像信号を作成し、該予測画像信号の符号化対象画面の画
   像信号に対する予測残差信号を量子化して符号化する動
   画像符号化方法において、 符号化対象画面を予測残差信号の量子化時に比較的細か
   な量子化ステップ幅を用いる第１種の画面と比較的粗い
   量子化ステップ幅を用いる第２種の画面とに分類し、符
   号化対象画面が第１種および第２種のいずれの画面に属
   するかに応じて予測残差信号の量子化時における量子化
   ステップ幅を変化させるとともに、符号化対象画面より
   過去の少なくとも２枚の第１種の画面を参照画面として
   予測画像信号を作成することを特徴とする動画像符号化
   方法。
2. 【請求項２】入力画像信号から予測画像信号を減算して
   予測残差信号を得る減算手段と、 この減算手段により得られた予測残差信号を量子化する
   量子化手段と、 この量子化手段により量子化された信号を符号化する符
   号化手段と、 前記量子化手段により量子化された信号と前記予測画像
   信号から局部復号信号を生成する局部復号手段と、 この局部復号手段により生成された局部復号信号を少な
   くとも２画面分記憶する複数の記憶手段と、 これら複数の記憶手段の出力信号に対して動き補償を行
   い前記予測画像信号を作成する予測画像信号作成手段と
   前記入力画像信号を前記量子化手段での量子化時に比較
   的細かな量子化ステップ幅を用いる第１種の画面に対応
   する信号と比較的粗い量子化ステップ幅を用いる第２種
   の画面に対応する信号とに分類し、前記符号化対象画面
   が第１種および第２種のいずれの画面に属するかに応じ
   て前記量子化手段における量子化ステップ幅を変化させ
   ると共に、前記記憶手段に少なくとも２枚の第１種の画
   面に対応する局部復号信号を記憶せしめる制御を行う制
   御手段とを具備することを特徴とする動画像符号化装
   置。
3. 【請求項３】前記予測画像信号作成手段は、前記複数の
   記憶手段の出力信号を平均化する平均化手段と、この平
   均化手段により平均化された信号および前記複数の記憶
   手段の出力信号の中から、前記予測残差信号が最小とな
   る信号を前記予測画像信号として選択する選択手段とを
   有することを特徴とする請求項２記載の動画像符号化装
   置。