JP3591700B2

JP3591700B2 - Motion compensated image encoding / decoding device and method thereof

Info

Publication number: JP3591700B2
Application number: JP27732398A
Authority: JP
Inventors: 賢二杉山; 一彦森田
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1998-09-30
Filing date: 1998-09-30
Publication date: 2004-11-24
Anticipated expiration: 2018-09-30
Also published as: JP2000115776A

Description

【０００１】
【発明の属する技術分野】
画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化において、特に動画像に対して動き補償画像間予測を行い、その際の動き補償処理に関する情報を符号化するものに関する。
【０００２】
【従来の技術】
＜動き補償動画像符号化＞
動画像符号化はＭＰＥＧ等に代表される様に、動き補償画像間予測が行われるのが一般的である。その際、動き補償で使われた動きベクトル（ＭＶ）の情報は可変長符号化され、予測残差の符号と多重化されて伝送される。
ＭＶの符号化は、隣接ブロックのＭＶとの差分を取り、水平差分値と垂直差分値をそれぞれ可変長符号で符号化するのが一般的である。可変長符号は差分値の発生頻度に合わせてハフマン符号等で構成される。
【０００３】
＜従来例動き補償画像符号化装置＞
図７は動き補償画像符号化装置の従来の一構成例を示したものである。画像入力端子１より入来する動画像信号は、減算器２において動き補償予測器１０から与えられる予測信号が減算され、予測残差となってＤＣＴ３に与えられる。ＤＣＴ３は予測残差に対してＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）の変換処理を行い、得られた係数を量子化器４に与える。量子化器４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器５と逆量子化器９に与える。可変長符号化器５は、固定長の予測残差を可変長符号で圧縮し、できた符号は多重化器６に与えられる。
【０００４】
一方、逆量子化器９及び逆ＤＣＴ１３ではＤＣＴ３及び量子化器４の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１２で予測信号が加算され再生画像となり、画像メモリ１１に与えられる。画像メモリ１１に蓄えられている再生画像は、動き補償予測器１０に与えられる。動き補償予測器１０は、ＭＶ検出器８から与えられるＭＶに従って動き補償を行い、得られた予測信号を減算器２と加算器１２に与える。ＭＶ検出器８は、被符号化フレームに対する参照フレームの空間移動量を１６×１６画素または８×８画素ブロック毎に求めて、ＭＶとして動き補償予測器１０及びＭＶメモリ１６、ＭＶ減算器１７に与える。
【０００５】
ＭＶメモリ１６は１ブロック分のＭＶ値を保持し、次のＭＶの入来に合わせて前のＭＶ値をＭＶ減算器１７与える。ＭＶ減算器１７は、一つ前のＭＶと現在のＭＶの差を取り、ＭＶ差分符号化器１４に与える。減算は、ＭＶの垂直成分値及び水平成分値のそれぞれについて行われる。ＭＶ差分符号化器１４は、ＭＶ差分値を垂直成分値、水平成分値で別々に所定可変長符号で符号化する。可変長符号化されたＭＶの符号は、多重化器６で予測残差の符号と多重化され符号出力端子７より出力される。
【０００６】
＜従来例動き補償画像復号化装置＞
図８は、図７の動き補償画像符号化装置に対応する動き補償画像復号化装置の従来の一構成例を示したものである。符号入力端子２１より入来する動き補償予測画像符号化された符号列は、多重化分離器２２で予測残差の符号とＭＶ差分の符号が分離され、予測残差の符号は可変長復号化器２３へ、ＭＶ差分の符号はＭＶ差分復号化器２６へ与えられる。可変長復号化器２３は予測残差の可変長符号を固定長の符号に戻し、逆量子化器９に与えられる。
固定長符号は逆量子化器９で予測残差の再生ＤＣＴ係数値となり、逆ＤＣＴ１３に与えられる。逆ＤＣＴ１３は８×８個の係数を再生予測残差信号に変換し、加算器１２に与える。加算器１２では再生予測残差信号に予測信号が加算され、再生画像となる。この様にして得られた再生画像信号は、画像出力端子２４から出力されると共に画像メモリ１１に与えられる。動補償予測器１０は、画像メモリ１１に蓄積されている画像をＭＶに基づいて動き補償し、予測信号を形成する。得られた予測信号は加算器１２に与えられる。
一方、差分ＭＶ復号化器２６は図６のＭＶ差分符号化器１４の逆処理を行い、ＭＶ差分符号からＭＶ差分値を得て、ＭＶ加算器２７に与える。ＭＶ加算器２７ではひとつ前のブロックのＭＶ値がＭＶメモリ１６より与えられ、ＭＶ差分値と加算してＭＶ値を得る。ＭＶ値はＭＶメモリ１６と動き補償予測器１０に与えられる。ＭＶメモリ１６はＭＶ値を次のＭＶ値が入来するまで保持する。
【０００７】
【発明が解決しようとする課題】
従来の動き補償画像符号化装置は、動きベクトル（ＭＶ）の可変長符号化のため、垂直成分と水平成分をそれぞれ別々に符号化していた。そこで、隣接ブロックとＭＶがまったく同じ場合でも、差分の垂直成分と水平成分が別々の符号で符号化されるので、符号長は各１ビットでＭＶ当り２ビットより短くならなかった。動き補償のブロックを細かくすると、ＭＶが隣接ブロックと同じになる頻度は増えるので、ＭＶ情報が多くなってしまう。
本発明は以上の点に着目してなされたもので、ＭＶが隣接ブロックと同じかどうかの情報を別符号で設け、同じでない場合のみＭＶを符号化することで、ＭＶ符号量を削減できる動き補償画像符号化装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、下記の装置及び方法を提供するものである。
（１）ブロック単位で動きベクトルにより動き補償して画像間予測を行う動き補償画像符号化装置において、
前記ブロック毎に前記動きベクトルを求める動きベクトル検出手段と、
前記動きベクトルが隣接ブロックの動きベクトルから作成される動きベクトル予測値と同一かどうかを検出して、同一なら連結ブロック、同一でなければ非連結ブロックとする連結判定手段と、
前記連結判定手段の出力が供給されて前記連結ブロックか非連結ブロックかを示す連結符号を出力する連結情報符号化手段と、
前記動きベクトル値または動きベクトルの予測差分値に対し、垂直成分及び水平成分を別々の符号としてそれぞれ符号化し、得られた動きベクトル符号を出力する動きベクトル符号化手段と、
各ブロックの前記連結符号と非連結ブロックの場合のみの前記動きベクトル符号とを多重出力する多重化手段とを有することを特徴とする動き補償画像符号化装置。
（２）ブロック単位で動きベクトルにより動き補償して画像間予測符号化された符号列を復号化する動き補償画像復号化装置において、
入来する符号列には、その符号列の符号化時に前記ブロック毎に求められた動きベクトルが、隣接ブロックの動きベクトルから作成される予測値と同一であると検出された連結ブロックか、同一でないと検出された非連結ブロックかを示す各ブロックの連結符号と、動きベクトル符号とが多重化されており、
前記入来する符号列から、前記連結符号と前記動きベクトル符号とを分離する多重化分離手段と、
前記多重化分離手段により分離された、垂直成分及び水平成分で別々の符号として存在する前記動きベクトル符号をそれぞれ復号化し、予測差分値には予測値を加算して動きベクトル値を得る動きベクトル復号化手段と、
前記動きベクトル値を保持し前記予測値を作成する動きベクトル予測手段と、
前記多重化分離手段により分離された前記連結符号により、連結ブロックでは前記予測値を、非連結ブロックでは前記動きベクトル値を選択する動きベクトル選択手段とを有することを特徴とする動き補償画像復号化装置。
（３）ブロック単位で動きベクトルにより動き補償して画像間予測を行う動き補償画像符号化方法において、
前記ブロック毎に前記動きベクトルを求め、
前記動きベクトルが隣接ブロックの動きベクトルから作られる動きベクトル予測値と同一かどうかを検出し、同一なら連結ブロック、同一でなければ非連結ブロックとし、
連結ブロックか非連結ブロックかを示す連結符号を出力し、
動きベクトル値または動きベクトルの予測差分値に対し、垂直成分及び水平成分を別々の符号としてそれぞれ符号化し、得られた動きベクトル符号を出力し、
各ブロックの前記連結符号と非連結ブロックの場合のみの前記動きベクトル符号とを多重化することを特徴とする動き補償画像符号化方法。
（４）ブロック単位で動きベクトルにより動き補償して画像間予測画像符号化された符号列を復号化する動き補償画像復号化方法において、
入来する符号列には、その符号列の符号化時に前記ブロック毎に求められた動きベクトルが、隣接ブロックの動きベクトルから作成される予測値と同一であると検出された連結ブロックか、同一でないと検出された非連結ブロックかを示す各ブロックの連結符号と、動きベクトル符号とが多重化されており、
前記入来する符号列から、前記連結符号と前記動きベクトル符号とを分離し、
垂直成分及び水平成分で別々の符号として存在する前記分離された動きベクトル符号をそれぞれ復号化し、予測差分値には予測値を加算して動きベクトル値を出力し、
前記動きベクトル値を保持し前記予測値を作成し、
前記分離された連結符号により、連結ブロックでは前記予測値を、非連結ブロックでは前記動きベクトル値を選択することを特徴とする動き補償画像復号化方法。
【０００９】
（作用）
本発明は、動きベクトル（ＭＶ）が隣接ブロックと同じかどうかの情報を、別の連結符号で設け、同じでない場合のみＭＶを符号化する。ＭＶが隣接ブロックと同じ場合には、ＭＶは垂直方向、水平方向ともに符号化されないので、符号量が少なくなる。ただし、連結符号は全ブロック存在するので、ＭＶが隣接ブロックと同じでない場合は、連結符号の分だけ符号量は増える。つまり本発明はブロックが小さく、連結となるブロックが多い場合に有効となる。一方、ＭＶ差分の符号表は、非連結の場合のみで設計されるので、ＭＶ差分発生分布に合わせて最適化しやすい。
【００１０】
【発明の実施の形態】
＜第１の実施動き補償画像符号化装置＞
本発明の動き補償画像符号化装置の第１の実施例について図と共に以下に説明する。
図１は、その装置の構成を示したもので、図７の従来例と同一構成要素には同一番号を付してある。図１には、図７と比較して連結判定器１８、連結情報符号化器１５、ＭＶ符号多重化器１９が追加されている。
実施例において、従来例と異なるのは動きベクトル（ＭＶ）情報の符号化方法である。
画像間予測処理及び予測残差の符号化方法は基本的に同じである。
画像入力端子１より入来する動画像信号は、減算器２において動き補償予測器１０から与えられる予測信号が減算され、予測残差となってＤＣＴ３に与えられる。
ＤＣＴ３は、予測残差にＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）の変換処理を行い、得られた係数を量子化器４に与える。量子化器４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器５と逆量子化器９に与える。可変長符号化器５は、固定長の予測残差を可変長符号で圧縮し、できた符号列は多重化器６に与えられる。
【００１１】
一方、逆量子化器９及び逆ＤＣＴ１３ではＤＣＴ３及び量子化器４の逆処理が行われ、予測残差を再生する。得られた再生予測残差は加算器１２で予測信号が加算され再生画像となり、画像メモリ１１に与えられる。画像メモリ１１に蓄えられている再生画像は、動き補償予測器１０に与えられる。
動き補償予測器１０は、ＭＶ検出器８から与えられるＭＶに従って予測信号を作り、減算器２と加算器１２に与える。ＭＶ検出器８は、被符号化フレームに対する参照フレームの空間移動量を１６×１６画素または８×８画素ブロック毎に求めて、ＭＶとして動き補償予測器１０、ＭＶメモリ１６及びＭＶ減算器１７に与える。
【００１２】
＜ＭＶ符号化＞
次に本発明の特徴であるＭＶの符号化ついて、図１と共に説明する。
ＭＶメモリ１６は１ブロックのＭＶ値を保持し、次のＭＶの入来に合わせて前のＭＶ値をＭＶ減算器１７に与える。
なお、ＭＶメモリ１６は画像端で、ＭＶ値［０，０］にリセットされている。ＭＶ減算器１７は、一つ前のＭＶと現在のＭＶの差を取りＭＶ差分値を得る。ここまでは従来例と同じであるが、得られた差分ＭＶ値はＭＶ差分符号化器１４の他に連結判定器１８にも供給される。
ＭＶ差分符号化器１４は、ＭＶ差分の垂直成分値と水平成分値に対して可変長符号を割り当て、得られたＭＶ差分符号をＭＶ符号多重化器１９に出力する。可変長符号の具体例は下記の表１のようにする。なお、表１でｓはＭＶの極性（０が＋／１が−）を示す符号である。
【００１３】
【表１】

【００１４】
一方、連結判定器１８は、ＭＶ差分の垂直成分値と水平成分値の両方が０の場合、隣接ブロックとＭＶが同じであると判断して、そのブロックを連結ブロックとする。
ＭＶ差分の垂直成分値と水平成分値のどちらか一方でも０でない場合は、隣接ブロックとＭＶが異なると判断し、そのブロックを非連結ブロックとする。
連結ブロックか非連結ブロックかの情報は連結情報として連結情報符号化器１５に出力される。連結情報符号化器１５は連結情報を下記の表２の符号に従って符号化し、ＭＶ符号多重化器１９に出力する。
【００１５】
【表２】

【００１６】
ＭＶ符号多重化器１９は、連結判定器１８からの制御信号で、連結符号とＭＶ差分符号が選択され多重化される。連結符号は各ブロックで必ず存在するので、すべて選択される。ＭＶ符号は非連結ブロックでのみ選択多重化され、連結ブロックでは多重化されずに破棄される。連結ブロックが続く場合は、連結符号のみが連続することになる。多重化された連結符号とＭＶ符号は多重化器６に与えられ、可変長符号化器５からの予測残差の符号と多重化される。
【００１７】
図５に各ブロックのＭＶの具体的な一実施例を示す。
図で矢印が各ブロックのＭＶである。ＭＶ値は左から右に横方向に処理されるので、左のブロックとの差が取られる。左端のブロックは、左がないので［０，０］から差を取る。つまりＭＶ値がそのままとなる。図５で破線の矢印は、差が０となるＭＶで、太線で囲まれたのが連結されたブロックである。
【００１８】
図６に、図５のＭＶを表１、表２の符号表を用いて符号化した符号列を示す。
従来例の場合は各ＭＶ差分に対して垂直水平２つの符号が割り振られる。
実施例では、各ＭＶ差分に対して、下線で示した連結符号は必ず存在するが、連結され連結符号が１の場合、ＭＶ差分符号は存在しない。
図６ではＭＶ０、ＭＶ４、ＭＶ６はＭＶ差分符号があるが、ＭＶ１￣ＭＶ３、ＭＶ５、ＭＶ７は連結符号のみである。
【００１９】
＜第１実施例動き補償画像復号化装置＞
本発明の動き補償画像符号化装置の第１の実施例に対応する動き補償画像復号化装置の第１の実施例について図２と共に以下に説明する。
符号入力端子２１より入来する動き補償予測符号化された符号列は、多重化分離器２２で予測残差の符号とＭＶの符号が分離され、予測残差の符号は可変長復号化器２３へ、ＭＶの符号は連結符号分離器２５へ与えられる。可変長復号化器２３は可変長符号を固定長の符号に戻し、逆量子化器９に与えられる。固定長符号の予測残差は逆量子化器９で係数値となり、逆ＤＣＴ１３に与えられる。逆ＤＣＴ１３は８×８個の係数を再生予測残差信号に変換し、加算器１２に与える。加算器１２では再生予測残差信号に予測信号が加算され、再生画像となる。
この様にして得られた再生画像信号は、画像出力端子２４から出力されると共に画像メモリ１１に与えられる。動補償予測器１０は、画像メモリ１１に蓄積されている画像をＭＶに基づいて動き補償し、予測信号を形成する。得られた予測信号は加算器１２に与えられる。
【００２０】
一方、連結符号分離器２５では、連結符号が分離復号され連結情報としてＭＶ選択器２８に、ＭＶ差分符号がＭＶ差分復号化器２６に与えられる。ＭＶ差分復号化器２６は、ＭＶ差分値を復号して得て、ＭＶ加算器２７に与える。ＭＶ加算器２７はＭＶメモリ１６から与えられる前のＭＶ値をＭＶ差分値に加算してＭＶ値を得る。得られたＭＶ値はＭＶ選択器２８に与えられる。
ＭＶ選択器２８は連結情報に従って、連結ブロックではＭＶメモリの出力である前ブロックのＭＶ値を、非連結ブロックでは加算器２７の出力である現ブロックのＭＶ値を選択する。選択されたＭＶ値は動き補償予測器１０とＭＶメモリに与えられ、ＭＶメモリはそのＭＶ値を次のＭＶ値が来るまで保持する。
【００２１】
＜第２実施動き補償画像符号化装置＞
本発明の動き補償画像符号化装置の第２の実施例について以下に説明する。
図３はその構成を示したもので、図１の第１の実施例と同一構成要素には同一付番を記してある。図３には、図１と比較して、ＭＶ予測器３２があり。また、ＭＶメモリ３１、ＭＶ残差符号化器３３の動作が図１のＭＶメモリ１６、ＭＶ差分符号化器１４と異なる。
第２の実施例において、第１の実施例と異なるのはＭＶ符号化と連結の判定であり、それ以外の処理は基本的に同じであるので、異なる部分のみ説明する。第１の実施例においては前ブロックのＭＶ値との差をとっていたが、第２実施例では、より高度で予測残差が少なくなるＭＶ値予測手法を用いる。
【００２２】
ＭＶメモリ３１は、ＭＶ値が入来し保持されるが、前ブロックのみならず、その前や上ブロックのＭＶも保持する。上ブロックを保持する場合は、画像の横１列分保持することになる。ＭＶ予測器３２は、ＭＶメモリ３１から出力されるＭＶ値を用いて、ＭＶ予測値を形成する。具体的予測方法は前ブロックのＭＶ値とさらにその前のＭＶ値の両方を用いた傾斜予測、左のＭＶと上のＭＶの両方を用いる２次元予測等がある。
しかし、このような予測ではＭＶ予測値の精度が高くなってしまい、予測残差量は少なくなっても、ＭＶ残差の情報量は必ずしも減らない。そこでＭＶ予測値の精度が変わらない手法としては左のＭＶと上のＭＶのどちらか一方を切替えて用いる適応予測、周辺３種類のＭＶ値の中間値をとる中間値予測等がある。
【００２３】
ＭＶ予測値は、ＭＶ減算器１７で現ブロックのＭＶ値から減算され、ＭＶ差分が連結判定器１８とＭＶ差分符号化器３３に与えられる。ＭＶ差分符号化器３３は図１のＭＶ差分符号化器１４と処理方法は同じであるが、ＭＶ残差分布の変化に伴い符号表の中身が変えられる。連結判定器１７、連結情報符号化器１５、ＭＶ符号多重化器１８の動作は図１の第１実施例と同じである。
【００２４】
＜第２実施例動き補償画像復号化装置＞
本発明の動き補償画像符号化装置の第２の実施例に対応する動き補償画像復号化装置の第２の実施例について以下に説明する。
図４はその構成を示したもので、図２の第１の実施例と同一構成要素には同一付番を記してある。図４には、図１と比較して、ＭＶ予測器３２があり。また、ＭＶメモリ３１、ＭＶ差分復号化器４１の動作が、図２のＭＶメモリ１６、ＭＶ差分復号化器２５と異なる。第２の実施例において、第１の実施例と異なるのはＭＶ符号化と連結の判定であり、それ以外の処理は基本的に同じであるので、異なる部分のみ説明する。第１の実施例においては前ブロックのＭＶ値との差をとっていたが、第２実施例では、より高度な予測手法が使われる。
【００２５】
連結符号分離器２５では、連結符号が分離復号され連結情報としてＭＶ選択器２８に、ＭＶ差分の符号がＭＶ差分復号化器２６に与えられる。ＭＶ差分復号化器２６は、ＭＶ差分値を復号して、ＭＶ加算器２７に与える。ＭＶ加算器２７はＭＶ予測器３２からのＭＶ予測値を加算してＭＶ値を得る。
得られたＭＶ値はＭＶ選択器２８に与えられる。ＭＶ選択器２８は連結情報に従って、連結ブロックではＭＶ予測器３２から与えられるＭＶ予測値を、非連結ブロックでは加算器２７から出力されるＭＶ値を選択する。選択されたＭＶ値は動き補償予測器１０とＭＶメモリ３１に与えられ、ＭＶメモリはＭＶ値をＭＶ予測器３２で必要がなくなるまで保持する。ＭＶ予測器３２は、ＭＶメモリ３１から出力されるＭＶ値を用いて、ＭＶ予測値を形成する。予測方法は図３の符号化装置に合わせる。
【００２６】
【発明の効果】
本発明によると、ＭＶが隣接ブロックと同じかどうかの情報を別の連結符号で設け、同じでない場合のみＭＶを符号化し、ＭＶが隣接ブロックと同じ場合には、ＭＶは垂直方向、水平方向ともに符号化されないので、符号量が少なくなる。特に、動き補償のブロックを細かくした場合、ＭＶ差分が０となる割合が増えるので有効である。
一方、ＭＶ差分の符号表は、ＭＶが同じ場合以外で設計されるので、ＭＶ差分発生分布に合わせて最適化され、ＭＶ符号量が少なくなる。予測残差の符号量は変化しないので、全体の発生符号量が少なくなる。ＭＶ符号量の削減効果は総符号量の削減に大きく寄与する。
【図面の簡単な説明】
【図１】本発明の動き補償画像符号化装置の第１実施例の構成例を示す図である。
【図２】本発明の動き補償画像復号化装置の第１実施例の構成例を示す図である。
【図３】本発明の動き補償画像符号化装置の第２実施例の構成例を示す図である。
【図４】本発明の動き補償画像復号化装置の第２実施例の構成例を示す図である。
【図５】ＭＶの様子を示す図である。
【図６】符号列の様子を示す図である。
【図７】従来の動き補償画像符号化装置の一構成例を示す図である。
【図８】従来の動き補償画像復号化装置の一構成例を示す図である。
【画像符号の説明】
１画像入力（端子）
２減算器
３ＤＣＴ
４量子化器
５可変長画像符号化器
６多重化器
７画像符号列出力端子
８ＭＶ検出器
９逆量子化器
１０動補償予測器
１１画像メモリ
１２加算器
１３逆ＤＣＴ
３３ＭＶ差分画像符号化器
１５連結情報画像符号化器
１６、３１ＭＶメモリ
１７ＭＶ加算器
１８連結判定器
１９ＭＶ多重化器
２１画像符号列入力端子
２２多重化分離器
２３可変長復号化器
２４画像出力（端子）
２５連結画像符号分離器
２６、４１ＭＶ差分復号化器
２７ＭＶ加算器
２８ＭＶ選択器
３２ＭＶ予測器[0001]
TECHNICAL FIELD OF THE INVENTION
To efficiently transmit, store, and display images, in high-efficiency coding that converts image information into digital signals with a smaller code amount, motion-compensated inter-picture prediction is performed, especially for moving images, The present invention relates to an apparatus for encoding information on compensation processing.
[0002]
[Prior art]
<Motion-compensated video coding>
In moving picture coding, motion-compensated inter-picture prediction is generally performed, as represented by MPEG or the like. At this time, the information on the motion vector (MV) used in the motion compensation is variable-length coded, multiplexed with the prediction residual code, and transmitted.
In general, MV coding takes a difference from the MV of an adjacent block, and codes each of the horizontal difference value and the vertical difference value with a variable length code. The variable length code is composed of a Huffman code or the like in accordance with the frequency of occurrence of the difference value.
[0003]
<Conventional Motion Compensated Image Coding Device>
FIG. 7 shows an example of a conventional configuration of a motion compensation image coding apparatus. The moving image signal coming from the image input terminal 1 is subtracted from the prediction signal supplied from the motion compensation predictor 10 in the subtracter 2 and is supplied to the DCT 3 as a prediction residual. The DCT 3 performs a DCT (Discrete Cosine Transform) transform process on the prediction residual, and supplies the obtained coefficient to the quantizer 4. The quantizer 4 quantizes the coefficient with a predetermined step width, and supplies the fixed-length code to the variable-length encoder 5 and the inverse quantizer 9. The variable-length encoder 5 compresses the fixed-length prediction residual with a variable-length code, and the resulting code is provided to the multiplexer 6.
[0004]
On the other hand, in the inverse quantizer 9 and the inverse DCT 13, the inverse processing of the DCT 3 and the quantizer 4 is performed, and the prediction residual is reproduced. The obtained prediction prediction residual is added to a prediction signal by an adder 12 to form a reproduction image, which is provided to an image memory 11. The reproduced image stored in the image memory 11 is provided to the motion compensation predictor 10. The motion compensation predictor 10 performs motion compensation according to the MV provided from the MV detector 8 and supplies the obtained prediction signal to the subtractor 2 and the adder 12. The MV detector 8 calculates the spatial movement amount of the reference frame with respect to the frame to be coded for each 16 × 16 pixel or 8 × 8 pixel block, and outputs the MV to the motion compensation predictor 10, the MV memory 16, and the MV subtractor 17. give.
[0005]
The MV memory 16 holds the MV value for one block, and gives the previous MV value to the MV subtractor 17 in accordance with the arrival of the next MV. The MV subtractor 17 takes the difference between the previous MV and the current MV and supplies the difference to the MV difference encoder 14. The subtraction is performed for each of the vertical component value and the horizontal component value of the MV. The MV difference encoder 14 separately encodes the MV difference value into a vertical component value and a horizontal component value using a predetermined variable length code. The variable length encoded MV code is multiplexed with the prediction residual code by the multiplexer 6 and output from the code output terminal 7.
[0006]
<Conventional Motion Compensated Image Decoding Device>
FIG. 8 shows a conventional configuration example of a motion-compensated image decoding device corresponding to the motion-compensated image coding device of FIG. The code string of the motion compensated prediction image coded from the code input terminal 21 is separated into the code of the prediction residual and the code of the MV difference by the demultiplexer 22, and the code of the prediction residual is variable-length decoded. The code of the MV difference is provided to the MV difference decoder 26. The variable length decoder 23 returns the variable length code of the prediction residual to a fixed length code, and is provided to the inverse quantizer 9.
The fixed-length code becomes a reproduced DCT coefficient value of the prediction residual in the inverse quantizer 9 and is provided to the inverse DCT 13. The inverse DCT 13 converts the 8 × 8 coefficients into a reproduction prediction residual signal and supplies the signal to the adder 12. The adder 12 adds the prediction signal to the reproduction prediction residual signal to form a reproduction image. The reproduced image signal thus obtained is output from the image output terminal 24 and supplied to the image memory 11. The motion compensation predictor 10 performs motion compensation on the image stored in the image memory 11 based on the MV to form a prediction signal. The obtained prediction signal is provided to the adder 12.
On the other hand, the difference MV decoder 26 performs an inverse process of the MV difference encoder 14 of FIG. 6 to obtain an MV difference value from the MV difference code, and supplies the MV difference value to the MV adder 27. The MV adder 27 receives the MV value of the immediately preceding block from the MV memory 16 and adds the MV value to the MV difference value to obtain an MV value. The MV value is provided to the MV memory 16 and the motion compensation predictor 10. The MV memory 16 holds the MV value until the next MV value arrives.
[0007]
[Problems to be solved by the invention]
The conventional motion-compensated image coding apparatus separately codes vertical and horizontal components for variable-length coding of a motion vector (MV). Therefore, even when the adjacent block and the MV are exactly the same, since the vertical component and the horizontal component of the difference are encoded by different codes, the code length does not become shorter than 2 bits per MV for each 1 bit. When the motion compensation block is made finer, the frequency at which the MV becomes the same as that of the adjacent block increases, so that the MV information increases.
The present invention has been made in view of the above points, and provides information indicating whether an MV is the same as an adjacent block by another code, and encodes the MV only when the MV is not the same, thereby reducing the MV code amount. An object of the present invention is to provide a compensated image encoding device.
[0008]
[Means for Solving the Problems]
Therefore, in order to solve the above problems, the present invention provides the following apparatus and method.
(1) In a motion-compensated image encoding apparatus that performs inter-picture prediction by performing motion compensation using a motion vector in block units,
Motion vector detecting means for obtaining the motion vector for each block;
A connection determination unit that detects whether the motion vector is the same as a motion vector prediction value created from a motion vector of an adjacent block;
A connection information encoding unit that is supplied with an output of the connection determination unit and outputs a connection code indicating whether the connection block or the non-connection block,
A motion vector encoding unit that encodes a vertical component and a horizontal component as separate codes for the motion vector value or the prediction difference value of the motion vector, and outputs an obtained motion vector code;
Multiplexing means for multiplexing and outputting the connected code of each block and the motion vector code only in the case of a non-connected block.
(2) In a motion-compensated image decoding device that decodes a code string that has been subjected to inter-picture prediction coding by performing motion compensation using a motion vector in block units,
In the incoming code sequence, the motion vector obtained for each block at the time of encoding the code sequence is a connected block detected as being the same as a prediction value created from a motion vector of an adjacent block, or the same. The concatenated code of each block indicating whether it is a non-concatenated block detected as not being, and a motion vector code are multiplexed,
Demultiplexing means for separating the concatenated code and the motion vector code from the incoming code sequence,
Decode the motion vector codes separated by the demultiplexing unit and present as separate codes in the vertical component and the horizontal component, and add a prediction value to a prediction difference value to obtain a motion vector value. Means,
A motion vector prediction unit that holds the motion vector value and creates the prediction value;
A motion vector selecting unit that selects the predicted value in a connected block and the motion vector value in a non-connected block according to the concatenated code separated by the demultiplexing unit. apparatus.
(3) In a motion-compensated image coding method for performing inter-picture prediction by performing motion compensation using a motion vector in block units,
Obtaining the motion vector for each block,
Detecting whether the motion vector is the same as a motion vector prediction value created from a motion vector of an adjacent block, if the same, a connected block, if not the same as a non-connected block,
Outputs a connected code indicating whether the block is a connected block or a non-connected block,
For the motion vector value or the prediction difference value of the motion vector, the vertical component and the horizontal component are respectively encoded as separate codes, and the obtained motion vector code is output.
A method for coding a motion-compensated image, comprising multiplexing the connected code of each block and the motion vector code only for a non-connected block.
(4) In a motion-compensated image decoding method for decoding a code sequence that is motion-compensated with a motion vector in block units and is inter-predicted image-encoded,
In the incoming code sequence, the motion vector obtained for each block at the time of encoding the code sequence is a connected block detected as being the same as a prediction value created from a motion vector of an adjacent block, or the same. The concatenated code of each block indicating whether it is a non-concatenated block detected as not being, and a motion vector code are multiplexed,
From the incoming code sequence, separating the concatenated code and the motion vector code,
Each of the separated motion vector codes existing as separate codes in the vertical component and the horizontal component is decoded, and a motion vector value is output by adding a prediction value to a prediction difference value,
Holding the motion vector value and creating the predicted value,
A motion-compensated image decoding method, comprising: selecting the predicted value in a connected block and the motion vector value in a non-connected block based on the separated connected code.
[0009]
(Operation)
According to the present invention, information indicating whether a motion vector (MV) is the same as that of an adjacent block is provided by another concatenated code, and the MV is encoded only when it is not the same. If the MV is the same as that of the adjacent block, the MV is not coded in both the vertical and horizontal directions, so that the code amount is reduced. However, since the concatenated code exists in all blocks, if the MV is not the same as the adjacent block, the code amount increases by the concatenated code. That is, the present invention is effective when the blocks are small and there are many blocks to be connected. On the other hand, since the code table of the MV difference is designed only in the case of non-connection, it is easy to optimize according to the MV difference occurrence distribution.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
<First Embodiment Motion Compensated Image Coding Device>
A first embodiment of the motion-compensated image coding apparatus according to the present invention will be described below with reference to the drawings.
FIG. 1 shows the configuration of the apparatus, and the same components as those in the conventional example of FIG. 7 are denoted by the same reference numerals. FIG. 1 is different from FIG. 7 in that a concatenation determiner 18, a concatenation information encoder 15, and an MV code multiplexer 19 are added.
The embodiment differs from the conventional example in the method of coding motion vector (MV) information.
The inter-picture prediction process and the prediction residual encoding method are basically the same.
The moving image signal coming from the image input terminal 1 is subtracted from the prediction signal supplied from the motion compensation predictor 10 in the subtracter 2 and is supplied to the DCT 3 as a prediction residual.
The DCT 3 performs a DCT (Discrete Cosine Transform) transform process on the prediction residual, and provides the obtained coefficient to the quantizer 4. The quantizer 4 quantizes the coefficient with a predetermined step width, and supplies the fixed-length code to the variable-length encoder 5 and the inverse quantizer 9. The variable-length encoder 5 compresses the fixed-length prediction residual with a variable-length code, and the resulting code sequence is provided to the multiplexer 6.
[0011]
On the other hand, in the inverse quantizer 9 and the inverse DCT 13, the inverse processing of the DCT 3 and the quantizer 4 is performed, and the prediction residual is reproduced. The obtained prediction prediction residual is added to a prediction signal by an adder 12 to form a reproduction image, which is provided to an image memory 11. The reproduced image stored in the image memory 11 is provided to the motion compensation predictor 10.
The motion compensation predictor 10 generates a prediction signal according to the MV provided from the MV detector 8 and supplies the predicted signal to the subtractor 2 and the adder 12. The MV detector 8 calculates the spatial movement amount of the reference frame with respect to the frame to be coded for each 16 × 16 pixel or 8 × 8 pixel block, and sends the MV to the motion compensation predictor 10, the MV memory 16, and the MV subtractor 17. give.
[0012]
<MV encoding>
Next, MV encoding which is a feature of the present invention will be described with reference to FIG.
The MV memory 16 holds the MV value of one block, and supplies the previous MV value to the MV subtractor 17 according to the arrival of the next MV.
The MV memory 16 is reset to the MV value [0, 0] at the end of the image. The MV subtractor 17 takes the difference between the previous MV and the current MV to obtain an MV difference value. Up to this point, it is the same as the conventional example, but the obtained difference MV value is supplied not only to the MV difference encoder 14 but also to the connection determination unit 18.
The MV difference encoder 14 assigns variable length codes to the vertical component value and the horizontal component value of the MV difference, and outputs the obtained MV difference code to the MV code multiplexer 19. Specific examples of the variable length code are shown in Table 1 below. In Table 1, s is a sign indicating the polarity of MV (0 is + / 1 and-).
[0013]
[Table 1]

[0014]
On the other hand, when both the vertical component value and the horizontal component value of the MV difference are 0, the connection determination unit 18 determines that the MV is the same as the adjacent block, and sets that block as a connected block.
If either the vertical component value or the horizontal component value of the MV difference is not 0, it is determined that the MV is different from the adjacent block, and that block is set as a non-connected block.
Information on whether the block is a connected block or a non-connected block is output to the connected information encoder 15 as connected information. The concatenated information encoder 15 encodes the concatenated information according to the codes in Table 2 below and outputs the encoded information to the MV code multiplexer 19.
[0015]
[Table 2]

[0016]
The MV code multiplexer 19 selects and multiplexes the concatenated code and the MV differential code based on the control signal from the concatenation determiner 18. Since the concatenated code always exists in each block, all are selected. The MV code is selectively multiplexed only in the non-connected block, and is discarded without being multiplexed in the connected block. When the connected block continues, only the connected code is continuous. The multiplexed concatenated code and the MV code are provided to the multiplexer 6 and multiplexed with the code of the prediction residual from the variable length encoder 5.
[0017]
FIG. 5 shows a specific example of the MV of each block.
In the figure, arrows indicate MVs of each block. Since the MV values are processed horizontally from left to right, the difference from the left block is taken. The left end block has no difference from [0,0] because there is no left end. That is, the MV value remains unchanged. In FIG. 5, the dashed arrows indicate the MVs with the difference of 0, and the blocks surrounded by thick lines are the connected blocks.
[0018]
FIG. 6 shows a code string obtained by coding the MV of FIG. 5 using the code tables of Tables 1 and 2.
In the case of the conventional example, two codes in the vertical and horizontal directions are assigned to each MV difference.
In the embodiment, an underlined concatenated code always exists for each MV difference, but if the concatenated and connected code is 1, no MV difference code exists.
In FIG. 6, MV0, MV4, and MV6 have MV differential codes, but MV1￣MV3, MV5, and MV7 are only concatenated codes.
[0019]
<First Embodiment Motion-Compensated Image Decoding Apparatus>
A first embodiment of the motion-compensated image decoding apparatus corresponding to the first embodiment of the motion-compensated image coding apparatus of the present invention will be described below with reference to FIG.
The code string that has been motion compensated and predictive coded from the code input terminal 21 is separated from the code of the prediction residual and the code of the MV by the demultiplexer 22, and the code of the prediction residual is changed by the variable length decoder 23. The MV code is supplied to the concatenated code separator 25. The variable length decoder 23 returns the variable length code to a fixed length code, and is provided to the inverse quantizer 9. The prediction residual of the fixed-length code becomes a coefficient value in the inverse quantizer 9 and is provided to the inverse DCT 13. The inverse DCT 13 converts the 8 × 8 coefficients into a reproduction prediction residual signal and supplies the signal to the adder 12. The adder 12 adds the prediction signal to the reproduction prediction residual signal to form a reproduction image.
The reproduced image signal thus obtained is output from the image output terminal 24 and supplied to the image memory 11. The motion compensation predictor 10 performs motion compensation on the image stored in the image memory 11 based on the MV to form a prediction signal. The obtained prediction signal is provided to the adder 12.
[0020]
On the other hand, in the concatenated code separator 25, the concatenated code is separated and decoded, and is supplied to the MV selector 28 as concatenated information, and the MV differential code is supplied to the MV differential decoder 26. The MV difference decoder 26 decodes and obtains the MV difference value, and supplies it to the MV adder 27. The MV adder 27 adds the MV value before being provided from the MV memory 16 to the MV difference value to obtain an MV value. The obtained MV value is provided to the MV selector 28.
The MV selector 28 selects the MV value of the previous block, which is the output of the MV memory, for the connected block, and the MV value of the current block, which is the output of the adder 27, for the non-connected block, according to the connection information. The selected MV value is provided to the motion compensation predictor 10 and the MV memory, and the MV memory holds the MV value until the next MV value comes.
[0021]
<Second embodiment motion-compensated image encoding device>
A second embodiment of the motion-compensated image coding apparatus according to the present invention will be described below.
FIG. 3 shows the configuration, and the same components as those in the first embodiment of FIG. 1 are denoted by the same reference numerals. FIG. 3 includes an MV predictor 32 as compared with FIG. The operations of the MV memory 31 and the MV residual encoder 33 are different from those of the MV memory 16 and the MV differential encoder 14 in FIG.
In the second embodiment, the difference from the first embodiment is the determination of MV coding and concatenation, and the other processes are basically the same. Therefore, only different portions will be described. In the first embodiment, the difference from the MV value of the previous block is obtained. However, in the second embodiment, an MV value prediction method that is more advanced and the prediction residual is reduced is used.
[0022]
The MV memory 31 receives and holds the MV value, but holds not only the MV of the previous block but also the MV of the previous block and the upper block. When the upper block is held, it is held for one horizontal row of the image. The MV predictor 32 uses the MV value output from the MV memory 31 to form an MV prediction value. Specific prediction methods include gradient prediction using both the MV value of the previous block and the MV value before that, and two-dimensional prediction using both the left MV and the upper MV.
However, in such a prediction, the accuracy of the MV prediction value increases, and the information amount of the MV residual does not necessarily decrease even if the prediction residual amount decreases. Therefore, as a method of keeping the accuracy of the MV prediction value unchanged, there are adaptive prediction using one of the left MV and the upper MV by switching, and intermediate value prediction taking an intermediate value of three types of peripheral MV values.
[0023]
The MV prediction value is subtracted from the MV value of the current block by the MV subtractor 17, and the MV difference is provided to the connection determiner 18 and the MV difference encoder 33. The processing method of the MV difference encoder 33 is the same as that of the MV difference encoder 14 of FIG. 1, but the contents of the code table are changed with the change of the MV residual distribution. The operations of the connection determiner 17, the connection information encoder 15, and the MV code multiplexer 18 are the same as those in the first embodiment shown in FIG.
[0024]
<Second Embodiment: Motion Compensated Image Decoding Device>
A second embodiment of the motion-compensated image decoding device corresponding to the second embodiment of the motion-compensated image encoding device of the present invention will be described below.
FIG. 4 shows the configuration, and the same components as those in the first embodiment of FIG. 2 are denoted by the same reference numerals. FIG. 4 includes an MV predictor 32 as compared with FIG. The operations of the MV memory 31 and the MV difference decoder 41 are different from those of the MV memory 16 and the MV difference decoder 25 in FIG. In the second embodiment, the difference from the first embodiment is the determination of MV coding and concatenation, and the other processes are basically the same. Therefore, only different portions will be described. In the first embodiment, the difference from the MV value of the previous block is taken, but in the second embodiment, a more advanced prediction method is used.
[0025]
In the concatenated code separator 25, the concatenated code is separated and decoded, and is supplied to the MV selector 28 as concatenated information, and the MV difference code is supplied to the MV difference decoder 26. The MV difference decoder 26 decodes the MV difference value and supplies the MV difference value to the MV adder 27. The MV adder 27 adds the MV prediction value from the MV predictor 32 to obtain an MV value.
The obtained MV value is provided to the MV selector 28. The MV selector 28 selects the MV prediction value given from the MV predictor 32 in the connected block and the MV value output from the adder 27 in the non-connected block according to the connection information. The selected MV value is provided to the motion compensation predictor 10 and the MV memory 31, and the MV memory holds the MV value until the MV predictor 32 no longer needs it. The MV predictor 32 uses the MV value output from the MV memory 31 to form an MV prediction value. The prediction method is adapted to the encoding device in FIG.
[0026]
【The invention's effect】
According to the present invention, information on whether the MV is the same as the adjacent block is provided by another concatenated code, and the MV is encoded only when the MV is not the same, and when the MV is the same as the adjacent block, the MV is both in the vertical and horizontal directions. Since it is not coded, the code amount is reduced. In particular, when the motion compensation block is made finer, the ratio of the MV difference being 0 increases, which is effective.
On the other hand, since the code table of the MV difference is designed except when the MV is the same, it is optimized according to the MV difference occurrence distribution, and the MV code amount is reduced. Since the code amount of the prediction residual does not change, the entire generated code amount is reduced. The effect of reducing the MV code amount greatly contributes to the reduction of the total code amount.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of a first embodiment of a motion-compensated image encoding device according to the present invention.
FIG. 2 is a diagram illustrating a configuration example of a first embodiment of the motion-compensated image decoding device according to the present invention.
FIG. 3 is a diagram illustrating a configuration example of a second embodiment of the motion-compensated image encoding apparatus according to the present invention.
FIG. 4 is a diagram illustrating a configuration example of a second embodiment of the motion-compensated image decoding device according to the present invention.
FIG. 5 is a diagram showing a state of an MV.
FIG. 6 is a diagram illustrating a state of a code string.
FIG. 7 is a diagram illustrating a configuration example of a conventional motion-compensated image encoding device.
FIG. 8 is a diagram illustrating a configuration example of a conventional motion-compensated image decoding device.
[Description of image code]
1 Image input (terminal)
2 Subtractor 3 DCT
Reference Signs List 4 Quantizer 5 Variable length image encoder 6 Multiplexer 7 Image code string output terminal 8 MV detector 9 Inverse quantizer 10 Dynamic compensation predictor 11 Image memory 12 Adder 13 Inverse DCT
33 MV difference image encoder 15 Connection

information image encoder

16, 31 MV memory 17 MV adder 18 Connection determiner 19 MV multiplexer 21 Image code string input terminal 22 Demultiplexer 23 Variable length decoder 24 Image output (terminal)
25 Concatenated

image code separator

26, 41 MV difference decoder 27 MV adder 28 MV selector 32 MV predictor

Claims

In a motion-compensated image encoding apparatus that performs inter-picture prediction by performing motion compensation using a motion vector in block units,
Motion vector detecting means for obtaining the motion vector for each block;
A connection determination unit that detects whether the motion vector is the same as a motion vector prediction value created from a motion vector of an adjacent block;
A connection information encoding unit that is supplied with an output of the connection determination unit and outputs a connection code indicating whether the connection block or the non-connection block,
A motion vector encoding unit that encodes a vertical component and a horizontal component as separate codes for the motion vector value or the prediction difference value of the motion vector, and outputs an obtained motion vector code;
Multiplexing means for multiplexing and outputting the connected code of each block and the motion vector code only in the case of a non-connected block.

In a motion-compensated image decoding device that decodes a code string that has been motion-compensated by a motion vector in block units and is subjected to inter-picture prediction coding,
In the incoming code sequence, the motion vector obtained for each block at the time of encoding the code sequence is a connected block detected as being the same as a predicted value created from a motion vector of an adjacent block, or the same. The concatenated code of each block indicating whether it is a non-concatenated block detected as not being, and a motion vector code are multiplexed,
From the bit stream to the incoming, and demultiplexing means for separating the motion vector code and said connection code,
Motion vector decoding that decodes the motion vector codes separated by the demultiplexing unit and exists as separate codes in the vertical component and the horizontal component, and adds a prediction value to a prediction difference value to obtain a motion vector value. Means,
A motion vector prediction unit that holds the motion vector value and creates the prediction value;
A motion vector selecting unit that selects the predicted value in a connected block and the motion vector value in a non-connected block by the connected code separated by the demultiplexing unit . apparatus.

In a motion-compensated image encoding method for performing inter-picture prediction by performing motion compensation using a motion vector in block units,
Obtaining the motion vector for each block,
Detecting whether the motion vector is the same as a motion vector prediction value created from a motion vector of an adjacent block, if the same, a connected block, if not the same as a non-connected block,
Outputs a connected code indicating whether the block is a connected block or a non-connected block,
For the motion vector value or the prediction difference value of the motion vector, the vertical component and the horizontal component are respectively encoded as separate codes, and the obtained motion vector code is output.
A method for coding a motion-compensated image, comprising multiplexing the connected code of each block and the motion vector code only for a non-connected block.

In a motion-compensated image decoding method for decoding a code sequence that is motion-compensated by a motion vector in block units and is inter-predicted image encoded,
In the incoming code sequence, the motion vector obtained for each block at the time of encoding the code sequence is a connected block detected as being the same as a predicted value created from a motion vector of an adjacent block, or the same. The concatenated code of each block indicating whether it is a non-concatenated block detected as not being, and a motion vector code are multiplexed,
From the bit stream to the incoming, and separating the motion vector code and said connection code,
The separated motion vector codes respectively decoded exists as a separate code in the vertical and horizontal components, by adding the predicted value and outputs a motion vector value in the predicted difference values,
Holding the motion vector value and creating the predicted value,
A motion-compensated image decoding method, comprising: selecting the predicted value in a connected block and the motion vector value in a non-connected block based on the separated connected code.