JP3804237B2 - 動き補償動画像符号化装置及びその方法 - Google Patents
動き補償動画像符号化装置及びその方法 Download PDFInfo
- Publication number
- JP3804237B2 JP3804237B2 JP34209197A JP34209197A JP3804237B2 JP 3804237 B2 JP3804237 B2 JP 3804237B2 JP 34209197 A JP34209197 A JP 34209197A JP 34209197 A JP34209197 A JP 34209197A JP 3804237 B2 JP3804237 B2 JP 3804237B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- motion
- prediction
- signal
- motion compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化復号化において、特に動画像を対象として動き補償画像間予測処理を行なうものに関する。
【０００２】
【従来の技術】
＜動き補償画像符号化＞
動画像の高能率符号化において、画像間予測を行なう際に動きに合わせて画像の各部分をブロック毎に移動させてから予測する手法がある。この様な画像の空間的な移動処理は動き補償と呼ばれ、ＭＰＥＧなど国際標準方式でも広く用いられている。
画像間予測で動き補償を用いた場合、復号化でも符号化と同じ動き補償を行なう必要があるので、画像の動きに関する情報（動きベクトル）を符号化して復号側に伝送する。
【０００３】
この様な動き補償符号化において、符号化装置における動き補償の精度を動きベクトル（ＭＶ）情報の伝送規格の精度より高くしたものがある。その例は本願の特許出願人と同一出願による「動き補償予測符号化装置」（特開平８−５１６３０号）で示されている。
この手法は動き補償の精度が不十分なために生じる画像間予測残差成分については符号化せず、画像本来の変化のみ符号化することで、符号化効率を高めるものである。
【０００４】
＜従来例の符号化装置１＞
図５に上記の様な動き補償を行なう符号化装置の構成例を示す。
画像入力端子１から供給される画像信号は、減算器２において微小動補償（予測）器１０から与えられる画像間予測信号が減算され、予測残差となってＤＣＴ３に与えられる。
ＤＣＴ３は８×８画素単位で離散コサイン変換（ＤＣＴ）の変換処理を行ない、得られた係数を量子化器４に与える。量子化器４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器５と逆量子化器１１とに与える。
可変長符号化器５はジグザグスキャンと呼ばれる順序で、２次元の８×８個の係数を１次元に配列変換して、係数を０の連続数と０以外の係数の値としてハフマン符号で符号化する。この様にして符号列となった画像間予測残差は多重化器６でＭＶ符号化器５１からの動きベクトル（ＭＶ）の符号列と多重化され、符号出力端子７より出力される。
【０００５】
一方、逆量子化器１１及び逆ＤＣＴ１７ではＤＣＴ３及び量子化器４の逆処理が行なわれ、画像間予測残差を再生する。得られた再生画像間予測残差は加算器１６で画素精度の動き補償予測信号が加算されて再生画像となり、画像メモリ１５に与えられる。画像メモリ１５に蓄えられている再生画像は、画素移動器１４とＭＶ検出器１３に与えられる。
ＭＶ検出器１３は画素精度のＭＶを、入力画像と画像メモリ１５の出力から１６×１６画素乃至８×８画素の大きさのブロック毎に求めて、その値を画素移動器１４とＭＶ符号化器５１に与える。
画素移動器１４は画素精度のＭＶに従って、再生画像を移動させ画素精度の動き補償予測信号として微小ＭＶ検出器８、微小動補償器１０、及び加算器１６に与える。
【０００６】
微小ＭＶ検出器８は、１／２乃至１／４画素精度など画素精度より細かな精度で、再度ＭＶを求める。対象画像は既に画素精度で動き補償されているので、得られる微小ＭＶは画素精度ＭＶに対する差分となり微小動補償器１０に与えられる。
微小動補償器１０は与えられた微少ＭＶに基づいてリサンプリングフィルタの係数を設定し、１／２乃至１／４画素精度の動き補償予測信号を減算器２に与える。
一方、ＭＶ符号化器５１は、画素精度のＭＶに対し符号化済みの前値（通常は左ブロックの値）と符号化対象となるブロックのベクトル値をｘ成分ｙ成分毎に比較し、その差分値をハフマン符号で符号化して多重化器６に出力する。得られたＭＶ符号列は多重化器６で、画像間予測残差の符号列と多重化される。
【０００７】
＜従来例の復号化装置＞
図５の動き補償動画像符号化装置に対応する復号化装置について以下に説明する。図６は、その復号化装置の構成を示したものである。ここで、画素移動器１４、加算器１６、逆量子化器１１、逆ＤＣＴ１７の動作は図５の符号化装置のものと同じである。
符号入力端子２１より入来する符号は、多重分離器２２で画像間予測残差の符号列と動きベクトルの符号列に分離され、画像間予測残差の符号列は可変長復号化器２３で固定長の符号に戻され、得られた係数は逆量子化器１１、逆ＤＣＴ１７で再生画像間予測残差となり、加算器１６で画像間予測信号が加算され再生画像となる。
【０００８】
この様にして得られた再生画像信号は、画像出力端子２４から出力されると共に画像メモリ２６に与えられる。画素移動器１４は、画像メモリ２６に蓄積されている画像を画素精度のＭＶに従って動き補償し、画像間予測信号として加算器１６に与える。
一方、多重分離器２２で分離されたＭＶ符号は、ＭＶ復号化器６１で可変長符号化器５１の逆処理が行なわれ、得られた画素精度のＭＶは画素移動器１４に与えられる。
【０００９】
【発明が解決しようとする課題】
従来の動き補償動画像符号化装置は、予測残差を得るための動き補償と局部復号の動き補償で処理に差が大きく、絵柄により再生画像が不自然になる問題を生じた。
本発明は以上の点に着目してなされたもので、局部復号の動き補償は復号化装置と同一とし、予測残差を得るための動き補償を、精度は同一であるが画素精度より細かな精度での動き補償を高次フィルタリングにより行なうことで、予測残差を少なくして符号化効率を改善する動き補償動画像符号化及び復号化装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、下記の装置、方法を提供するものである。
（１）入力画像信号における符号化対象画像信号を符号化して得た符号化信号を局部復号処理して再生画像信号を生成し、その再生画像信号を動き補償した画像間予測信号を用いて、前記入力画像信号における現符号化対象画像信号の画像間予測符号化を行う動き補償動画像符号化装置において、
前記入力画像信号における現符号化対象画像信号による画像の各部分の動きに対応した画素精度より細かな精度の微小動きベクトルを求める微小動きベクトル検出手段(8,13,14)と、
前記微小動きベクトルに従って生成済みの前記再生画像信号をフィルタリング処理により動き補償し、局部復号処理に用いる第１の動き補償予測信号を得る第１の動き補償手段(10,13,14)と、
前記微小動きベクトルに従って、生成済みの前記再生画像信号に対して前記第１の動き補償手段よりも高次のフィルタリング処理により前記第１の動き補償手段よりも予測確度の高い動き補償を行い、前記画像間予測信号である第２の動き補償予測信号を得る第２の動き補償手段(9,13,14)と、
前記入力画像信号における現符号化対象画像信号から前記第２の動き補償予測信号を減算した予測残差を符号化する予測符号化手段(2,3,4)と、
その符号化された予測残差を前記予測符号化手段での符号化処理とは逆の処理により復号して再生予測残差を得、その再生予測残差に前記第１の動き補償予測信号を加算して新たな再生画像信号を得る局部復号処理を行う局部復号手段(11,17,16)と、
を有することを特徴とする動き補償動画像符号化装置。
（２）入力画像信号における符号化対象画像信号を符号化して得た符号化信号を局部復号処理して再生画像信号を生成し、その再生画像信号を動き補償した画像間予測信号を用いて、前記入力画像信号における現符号化対象画像信号の画像間予測符号化を行う動き補償動画像符号化方法において、
前記入力画像信号における現符号化対象画像信号による画像の各部分の動きに対応した画素精度より細かな精度の微小動きベクトルを求める微小動きベクトル検出ステップと、
前記微小動きベクトルに従って生成済みの前記再生画像信号をフィルタリング処理により動き補償し、局部復号処理に用いる第１の動き補償予測信号を得る第１の動き補償ステップと、
前記微小動きベクトルに従って、生成済みの前記再生画像信号に対して前記第１の動き補償ステップよりも高次のフィルタリング処理により前記第１の動き補償ステップよりも予測確度の高い動き補償を行い、前記画像間予測信号である第２の動き補償予測信号を得る第２の動き補償ステップと、
前記入力画像信号における現符号化対象画像信号から前記第２の動き補償予測信号を減算した予測残差を符号化する予測符号化ステップと、
その符号化された予測残差を前記予測符号化ステップでの符号化処理とは逆の処理により復号して再生予測残差を得、その再生予測残差に前記第１の動き補償予測信号を加算して新たな再生画像信号を得る局部復号処理を行う局部復号ステップと、
を有することを特徴とする動き補償動画像符号化方法。
【００１２】
（ 作 用 ）
本発明では、局部復号の動き補償は復号化装置と同一とすることで、復号化装置とのミスマッチは起こらないので誤差の累積は起こらない。一方、予測残差を得るための動き補償を、精度は同一であるが画素精度より細かな精度での動き補償をより予測確度の高いものとすると、予測信号の特性が改善され、確からしさが増加する。
そのため、予測残差成分が減少し発生符号量が減少する。２種類の動き補償処理結果は大きく異なるものではないので、再生画像が不自然にならなくなる。
また、画素精度より細かな精度の動き補償処理が、予測残差を得るためのものは近傍以外の画素も用いた高次のフィルタリングであり、局部復号のものが近傍の画素からの線形内挿であるので装置としての実現性が高い。
【００１３】
【発明の実施の形態】
＜実施例の動き補償動画像符号化装置＞
本発明の動き補償動画像符号化装置の一実施例について、以下に図と共に説明する。
図１はその構成を示したもので、図５の従来例と同一構成要素には同一付番を記してある。図１には、図５と比較して高次動補償器９があり、微少動補償器１０の出力の接続が異なる。本実施例において、従来例と異なるのは動き補償処理であり、画像間予測残差の符号化処理は同じである。また、ＭＶ符号化器１２の動作が従来例と異なる。
【００１４】
画像入力端子１から入来する画像信号は、減算器２において高次動補償器９から与えられる画像間予測信号が減算される。得られた予測残差は従来例と同様にＤＣＴ３、量子化器４、可変長符号化器５で符号化され、符号列となった画像間予測残差は多重化器６で動きベクトル（ＭＶ）の符号列と多重化され、符号出力端子７より出力される。
【００１５】
一方、逆量子化器１１及び逆ＤＣＴ１７ではＤＣＴ３及び量子化器４の逆処理が行なわれ、画像間予測残差を再生する。得られた再生画像間予測残差は加算器１６で動き補償予測信号が加算され再生画像となり、画像メモリ１５に与えられる。画像メモリ１５に蓄えられている再生画像は、画素移動器１４とＭＶ検出器１３に与えられる。
ＭＶ検出器１３は画素精度のＭＶを、入力画像と画像メモリ１５の出力から１６×１６画素乃至８×８画素の大きさのブロック毎に求め、その値を画素移動器１４とＭＶ符号化器１２に与える。
【００１６】
画素移動器１４は画素精度のＭＶに従って、再生画像を移動させ画素精度の動き補償予測信号として微小ＭＶ検出器８、微小動補償器１０、及び高次動補償器９に与える。
微小ＭＶ検出器８は、１／２乃至１／４画素精度など画素精度より細かな精度で再度ＭＶを求める。１／４画素精度の動き補償位置と画素との関係を図３に示す。対象画像は既に画素精度で動き補償されているので、得られる微小ＭＶは画素精度ＭＶに対する差分となり微小動補償器１０と高次動補償器９に与えられる。
【００１７】
微小動補償器１０と高次動補償器９は、共に与えられた微少ＭＶに基づいてリサンプリングフィルタを設定し、微小動補償器１０の出力は加算器１６に、高次動補償器９の出力は減算器２に夫々与えられる。
微小動補償器１０と高次動補償器９から出力される動き補償予測信号は、画素精度については同じであるが、リサンプリング処理の方法が異なる。
微小動補償器１０は、近傍画素からの線形内挿（バイリニア）処理であり、高次動補償器９は近傍以外の画素も用いた高次のフィルタリング処理である。
【００１８】
線形内挿は最も簡易なフィルタリングと見做すことが出来、処理は比較的簡単であるが、リサンプルされた信号の周波数特性はあまり良好ではない。
一方、高次フィルタは周波数特性が改善されるので、予測信号は線形内挿で作られたものより確からしいものとなる。
それぞれのリサンプル処理方法は図４の様な処理が行なわれる。フィルタリングは垂直と水平の２次元縦属処理となるが、図４ではその片方の次元のみを示した。
【００１９】
Xa,Xb,Xc,Xd は動き補償された画素の相対位置であり、Pa,Pb,Pc,Pd は基となる画素である。
線形内挿と高次フィルタとではフィルタのタップ係数が異なるのみならず必要となる周辺画素も異なる。線形内挿は対象となる動き補償位置の周辺４画素のみが使われるが、高次フィルタではさらにその周辺の画素も使われる。
【００２０】
このことは、画素移動器１４の動作にも関係する。１６×１６（８×８）画素の動き補償予測を得るために必要となる画素数は、微小動補償器１０の場合では垂直水平に１画素づつ多い１７×１７（９×９）画素となるが、高次動補償器９の場合にはさらに２画素づつ多い１９×１９（１１×１１）画素となる。
画素移動器１４の出力は高次動補償器９と微小動補償器１０で共通なので、１９×１９（１１×１１）画素を常に出力する必要がある。
【００２１】
ここで、高次動補償器９の処理をブロック端の画素について修正すると、画素移動器１４で得る画素は、微小動補償器１０の場合と同じ１７×１７（９×９）画素となる。具体的には、ブロックからはみ出す部分について線形内挿と似た処理とするもので、使用画素を１７×１７（９×９）とした場合にPaが存在しないならPbで置き換え、Pdが存在しないならPcで置き換える。これによりブロック端での特性が線形内挿にやや近くなるが、画素移動器１４の出力は１７×１７（９×９）画素で済む。
【００２２】
＜実施例の動き補償復号化装置＞
図１の動き補償動画像符号化装置に対応する復号化装置の一実施例について、以下に図と共に説明する。
図２は、動き補償動画像復号化装置の一実施例の構成を示したものである。
符号入力端子２１より入来する符号は、多重分離器２２で画像間予測残差の符号列と動きベクトル（ＭＶ）の符号列に分離される。
【００２３】
画像間予測残差の符号列は可変長復号化器２３で固定長の符号に戻され、得られた８×８の係数は逆量子化器１１、逆ＤＣＴ１７で再生画像間予測残差となり、加算器１６で画像間予測信号が加算されて再生画像信号となる。
この様にして得られた再生画像信号は、画像出力端子２４から出力されると共に画像メモリ２６に与えられる。
画像メモリ２６は１フレーム分の画像を保持し、画素移動器１４に与える。
【００２４】
画素移動器１４では、ＭＶ復号化器２５から与えられる画素精度のＭＶに従って、画素精度の動き補償予測信号を作り、微小動補償器１０に与える。
微小動補償器１０では、ＭＶ復号化器２５から与えられる１／２乃至１／４画素精度の差分ＭＶに従って、線形内挿で１／２乃至１／４画素精度の動き補償予測信号を作り、加算器１６に与える。
【００２５】
ここで、画素移動器１４、微小動補償器１０、加算器１６、逆量子化器１１、逆ＤＣＴ１７の動作は図１の符号化装置のものと同じである。
一方、多重分離器２２で分離されたＭＶ符号は、ＭＶ復号化器２５で、ＭＶ符号化器１２の逆処理が行なわれ、画素精度のＭＶ値と１／２乃至１／４画素精度の差分ＭＶを得、画素精度のＭＶ値を画素移動器１４に、１／２乃至１／４画素精度の差分ＭＶを微小動補償器１０に与える。
【００２６】
【発明の効果】
本発明は、予測残差を得るための動き補償を、精度は同一であるが、画素精度以下の動き補償フィルタリングをより確からしいものとして、予測信号の周波数特性を改善し、予測確度を向上させることが出来、予測残差成分が減少し発生符号量を減少させることが出来る。ここで、局部復号の動き補償は復号化装置と同一とすることで、復号化装置とのミスマッチは起こらず、誤差の累積は起こらない。
【００２７】
２種類の動き補償処理結果は大きく異なるものではないので、再生画像が不自然になることもなく、結果的により少ない符号量で動画像の記録・伝送が可能になる。また、画素精度より細かな精度の動き補償処理が、局部復号のものはフィルタリング処理であり、予測残差を得るためのものはより高次のフィルタリング処理であるので装置として効率よく実現出来る。
【図面の簡単な説明】
【図１】本発明の動き補償動画像符号化装置の一実施例の構成を示す図である。
【図２】本発明の動き補償動画像復号化装置の一実施例の構成を示す図である。
【図３】１／４画素精度の動きベクトルの様子を示す図である。
【図４】１／４画素精度のリサンプルフィルタの様子を示す図である。
【図５】従来の動き補償動画像符号化装置の構成例を示す図である。
【図６】従来の動き補償動画像復号化装置の構成例を示す図である。
【符号の説明】
１ 画像入力端子
２ 減算器
３ ＤＣＴ
４ 量子化器
５ 可変長符号化器
６ 多重化器
７ 符号出力端子
８ 微小ＭＶ検出器（微小動きベクトル検出手段）
９ 高次動補償器（第２の動き補償手段）
１０ 微小動補償器（第１の動き補償手段）
１１ 逆量子化器
１２，５１ ＭＶ符号化器
１３ ＭＶ検出器（第１，第２の動き補償手段）
１４ 画素移動器（第１，第２の動き補償手段）
１５，２６ 画像メモリ
１６ 加算器
１７ 逆ＤＣＴ
２１ 符号入力端子
２２ 多重分離器
２３ 可変長復号化器
２４ 画像出力端子
２５，６１ ＭＶ復号化器
【発明の属する技術分野】
画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化復号化において、特に動画像を対象として動き補償画像間予測処理を行なうものに関する。
【０００２】
【従来の技術】
＜動き補償画像符号化＞
動画像の高能率符号化において、画像間予測を行なう際に動きに合わせて画像の各部分をブロック毎に移動させてから予測する手法がある。この様な画像の空間的な移動処理は動き補償と呼ばれ、ＭＰＥＧなど国際標準方式でも広く用いられている。
画像間予測で動き補償を用いた場合、復号化でも符号化と同じ動き補償を行なう必要があるので、画像の動きに関する情報（動きベクトル）を符号化して復号側に伝送する。
【０００３】
この様な動き補償符号化において、符号化装置における動き補償の精度を動きベクトル（ＭＶ）情報の伝送規格の精度より高くしたものがある。その例は本願の特許出願人と同一出願による「動き補償予測符号化装置」（特開平８−５１６３０号）で示されている。
この手法は動き補償の精度が不十分なために生じる画像間予測残差成分については符号化せず、画像本来の変化のみ符号化することで、符号化効率を高めるものである。
【０００４】
＜従来例の符号化装置１＞
図５に上記の様な動き補償を行なう符号化装置の構成例を示す。
画像入力端子１から供給される画像信号は、減算器２において微小動補償（予測）器１０から与えられる画像間予測信号が減算され、予測残差となってＤＣＴ３に与えられる。
ＤＣＴ３は８×８画素単位で離散コサイン変換（ＤＣＴ）の変換処理を行ない、得られた係数を量子化器４に与える。量子化器４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器５と逆量子化器１１とに与える。
可変長符号化器５はジグザグスキャンと呼ばれる順序で、２次元の８×８個の係数を１次元に配列変換して、係数を０の連続数と０以外の係数の値としてハフマン符号で符号化する。この様にして符号列となった画像間予測残差は多重化器６でＭＶ符号化器５１からの動きベクトル（ＭＶ）の符号列と多重化され、符号出力端子７より出力される。
【０００５】
一方、逆量子化器１１及び逆ＤＣＴ１７ではＤＣＴ３及び量子化器４の逆処理が行なわれ、画像間予測残差を再生する。得られた再生画像間予測残差は加算器１６で画素精度の動き補償予測信号が加算されて再生画像となり、画像メモリ１５に与えられる。画像メモリ１５に蓄えられている再生画像は、画素移動器１４とＭＶ検出器１３に与えられる。
ＭＶ検出器１３は画素精度のＭＶを、入力画像と画像メモリ１５の出力から１６×１６画素乃至８×８画素の大きさのブロック毎に求めて、その値を画素移動器１４とＭＶ符号化器５１に与える。
画素移動器１４は画素精度のＭＶに従って、再生画像を移動させ画素精度の動き補償予測信号として微小ＭＶ検出器８、微小動補償器１０、及び加算器１６に与える。
【０００６】
微小ＭＶ検出器８は、１／２乃至１／４画素精度など画素精度より細かな精度で、再度ＭＶを求める。対象画像は既に画素精度で動き補償されているので、得られる微小ＭＶは画素精度ＭＶに対する差分となり微小動補償器１０に与えられる。
微小動補償器１０は与えられた微少ＭＶに基づいてリサンプリングフィルタの係数を設定し、１／２乃至１／４画素精度の動き補償予測信号を減算器２に与える。
一方、ＭＶ符号化器５１は、画素精度のＭＶに対し符号化済みの前値（通常は左ブロックの値）と符号化対象となるブロックのベクトル値をｘ成分ｙ成分毎に比較し、その差分値をハフマン符号で符号化して多重化器６に出力する。得られたＭＶ符号列は多重化器６で、画像間予測残差の符号列と多重化される。
【０００７】
＜従来例の復号化装置＞
図５の動き補償動画像符号化装置に対応する復号化装置について以下に説明する。図６は、その復号化装置の構成を示したものである。ここで、画素移動器１４、加算器１６、逆量子化器１１、逆ＤＣＴ１７の動作は図５の符号化装置のものと同じである。
符号入力端子２１より入来する符号は、多重分離器２２で画像間予測残差の符号列と動きベクトルの符号列に分離され、画像間予測残差の符号列は可変長復号化器２３で固定長の符号に戻され、得られた係数は逆量子化器１１、逆ＤＣＴ１７で再生画像間予測残差となり、加算器１６で画像間予測信号が加算され再生画像となる。
【０００８】
この様にして得られた再生画像信号は、画像出力端子２４から出力されると共に画像メモリ２６に与えられる。画素移動器１４は、画像メモリ２６に蓄積されている画像を画素精度のＭＶに従って動き補償し、画像間予測信号として加算器１６に与える。
一方、多重分離器２２で分離されたＭＶ符号は、ＭＶ復号化器６１で可変長符号化器５１の逆処理が行なわれ、得られた画素精度のＭＶは画素移動器１４に与えられる。
【０００９】
【発明が解決しようとする課題】
従来の動き補償動画像符号化装置は、予測残差を得るための動き補償と局部復号の動き補償で処理に差が大きく、絵柄により再生画像が不自然になる問題を生じた。
本発明は以上の点に着目してなされたもので、局部復号の動き補償は復号化装置と同一とし、予測残差を得るための動き補償を、精度は同一であるが画素精度より細かな精度での動き補償を高次フィルタリングにより行なうことで、予測残差を少なくして符号化効率を改善する動き補償動画像符号化及び復号化装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、下記の装置、方法を提供するものである。
（１）入力画像信号における符号化対象画像信号を符号化して得た符号化信号を局部復号処理して再生画像信号を生成し、その再生画像信号を動き補償した画像間予測信号を用いて、前記入力画像信号における現符号化対象画像信号の画像間予測符号化を行う動き補償動画像符号化装置において、
前記入力画像信号における現符号化対象画像信号による画像の各部分の動きに対応した画素精度より細かな精度の微小動きベクトルを求める微小動きベクトル検出手段(8,13,14)と、
前記微小動きベクトルに従って生成済みの前記再生画像信号をフィルタリング処理により動き補償し、局部復号処理に用いる第１の動き補償予測信号を得る第１の動き補償手段(10,13,14)と、
前記微小動きベクトルに従って、生成済みの前記再生画像信号に対して前記第１の動き補償手段よりも高次のフィルタリング処理により前記第１の動き補償手段よりも予測確度の高い動き補償を行い、前記画像間予測信号である第２の動き補償予測信号を得る第２の動き補償手段(9,13,14)と、
前記入力画像信号における現符号化対象画像信号から前記第２の動き補償予測信号を減算した予測残差を符号化する予測符号化手段(2,3,4)と、
その符号化された予測残差を前記予測符号化手段での符号化処理とは逆の処理により復号して再生予測残差を得、その再生予測残差に前記第１の動き補償予測信号を加算して新たな再生画像信号を得る局部復号処理を行う局部復号手段(11,17,16)と、
を有することを特徴とする動き補償動画像符号化装置。
（２）入力画像信号における符号化対象画像信号を符号化して得た符号化信号を局部復号処理して再生画像信号を生成し、その再生画像信号を動き補償した画像間予測信号を用いて、前記入力画像信号における現符号化対象画像信号の画像間予測符号化を行う動き補償動画像符号化方法において、
前記入力画像信号における現符号化対象画像信号による画像の各部分の動きに対応した画素精度より細かな精度の微小動きベクトルを求める微小動きベクトル検出ステップと、
前記微小動きベクトルに従って生成済みの前記再生画像信号をフィルタリング処理により動き補償し、局部復号処理に用いる第１の動き補償予測信号を得る第１の動き補償ステップと、
前記微小動きベクトルに従って、生成済みの前記再生画像信号に対して前記第１の動き補償ステップよりも高次のフィルタリング処理により前記第１の動き補償ステップよりも予測確度の高い動き補償を行い、前記画像間予測信号である第２の動き補償予測信号を得る第２の動き補償ステップと、
前記入力画像信号における現符号化対象画像信号から前記第２の動き補償予測信号を減算した予測残差を符号化する予測符号化ステップと、
その符号化された予測残差を前記予測符号化ステップでの符号化処理とは逆の処理により復号して再生予測残差を得、その再生予測残差に前記第１の動き補償予測信号を加算して新たな再生画像信号を得る局部復号処理を行う局部復号ステップと、
を有することを特徴とする動き補償動画像符号化方法。
【００１２】
（ 作 用 ）
本発明では、局部復号の動き補償は復号化装置と同一とすることで、復号化装置とのミスマッチは起こらないので誤差の累積は起こらない。一方、予測残差を得るための動き補償を、精度は同一であるが画素精度より細かな精度での動き補償をより予測確度の高いものとすると、予測信号の特性が改善され、確からしさが増加する。
そのため、予測残差成分が減少し発生符号量が減少する。２種類の動き補償処理結果は大きく異なるものではないので、再生画像が不自然にならなくなる。
また、画素精度より細かな精度の動き補償処理が、予測残差を得るためのものは近傍以外の画素も用いた高次のフィルタリングであり、局部復号のものが近傍の画素からの線形内挿であるので装置としての実現性が高い。
【００１３】
【発明の実施の形態】
＜実施例の動き補償動画像符号化装置＞
本発明の動き補償動画像符号化装置の一実施例について、以下に図と共に説明する。
図１はその構成を示したもので、図５の従来例と同一構成要素には同一付番を記してある。図１には、図５と比較して高次動補償器９があり、微少動補償器１０の出力の接続が異なる。本実施例において、従来例と異なるのは動き補償処理であり、画像間予測残差の符号化処理は同じである。また、ＭＶ符号化器１２の動作が従来例と異なる。
【００１４】
画像入力端子１から入来する画像信号は、減算器２において高次動補償器９から与えられる画像間予測信号が減算される。得られた予測残差は従来例と同様にＤＣＴ３、量子化器４、可変長符号化器５で符号化され、符号列となった画像間予測残差は多重化器６で動きベクトル（ＭＶ）の符号列と多重化され、符号出力端子７より出力される。
【００１５】
一方、逆量子化器１１及び逆ＤＣＴ１７ではＤＣＴ３及び量子化器４の逆処理が行なわれ、画像間予測残差を再生する。得られた再生画像間予測残差は加算器１６で動き補償予測信号が加算され再生画像となり、画像メモリ１５に与えられる。画像メモリ１５に蓄えられている再生画像は、画素移動器１４とＭＶ検出器１３に与えられる。
ＭＶ検出器１３は画素精度のＭＶを、入力画像と画像メモリ１５の出力から１６×１６画素乃至８×８画素の大きさのブロック毎に求め、その値を画素移動器１４とＭＶ符号化器１２に与える。
【００１６】
画素移動器１４は画素精度のＭＶに従って、再生画像を移動させ画素精度の動き補償予測信号として微小ＭＶ検出器８、微小動補償器１０、及び高次動補償器９に与える。
微小ＭＶ検出器８は、１／２乃至１／４画素精度など画素精度より細かな精度で再度ＭＶを求める。１／４画素精度の動き補償位置と画素との関係を図３に示す。対象画像は既に画素精度で動き補償されているので、得られる微小ＭＶは画素精度ＭＶに対する差分となり微小動補償器１０と高次動補償器９に与えられる。
【００１７】
微小動補償器１０と高次動補償器９は、共に与えられた微少ＭＶに基づいてリサンプリングフィルタを設定し、微小動補償器１０の出力は加算器１６に、高次動補償器９の出力は減算器２に夫々与えられる。
微小動補償器１０と高次動補償器９から出力される動き補償予測信号は、画素精度については同じであるが、リサンプリング処理の方法が異なる。
微小動補償器１０は、近傍画素からの線形内挿（バイリニア）処理であり、高次動補償器９は近傍以外の画素も用いた高次のフィルタリング処理である。
【００１８】
線形内挿は最も簡易なフィルタリングと見做すことが出来、処理は比較的簡単であるが、リサンプルされた信号の周波数特性はあまり良好ではない。
一方、高次フィルタは周波数特性が改善されるので、予測信号は線形内挿で作られたものより確からしいものとなる。
それぞれのリサンプル処理方法は図４の様な処理が行なわれる。フィルタリングは垂直と水平の２次元縦属処理となるが、図４ではその片方の次元のみを示した。
【００１９】
Xa,Xb,Xc,Xd は動き補償された画素の相対位置であり、Pa,Pb,Pc,Pd は基となる画素である。
線形内挿と高次フィルタとではフィルタのタップ係数が異なるのみならず必要となる周辺画素も異なる。線形内挿は対象となる動き補償位置の周辺４画素のみが使われるが、高次フィルタではさらにその周辺の画素も使われる。
【００２０】
このことは、画素移動器１４の動作にも関係する。１６×１６（８×８）画素の動き補償予測を得るために必要となる画素数は、微小動補償器１０の場合では垂直水平に１画素づつ多い１７×１７（９×９）画素となるが、高次動補償器９の場合にはさらに２画素づつ多い１９×１９（１１×１１）画素となる。
画素移動器１４の出力は高次動補償器９と微小動補償器１０で共通なので、１９×１９（１１×１１）画素を常に出力する必要がある。
【００２１】
ここで、高次動補償器９の処理をブロック端の画素について修正すると、画素移動器１４で得る画素は、微小動補償器１０の場合と同じ１７×１７（９×９）画素となる。具体的には、ブロックからはみ出す部分について線形内挿と似た処理とするもので、使用画素を１７×１７（９×９）とした場合にPaが存在しないならPbで置き換え、Pdが存在しないならPcで置き換える。これによりブロック端での特性が線形内挿にやや近くなるが、画素移動器１４の出力は１７×１７（９×９）画素で済む。
【００２２】
＜実施例の動き補償復号化装置＞
図１の動き補償動画像符号化装置に対応する復号化装置の一実施例について、以下に図と共に説明する。
図２は、動き補償動画像復号化装置の一実施例の構成を示したものである。
符号入力端子２１より入来する符号は、多重分離器２２で画像間予測残差の符号列と動きベクトル（ＭＶ）の符号列に分離される。
【００２３】
画像間予測残差の符号列は可変長復号化器２３で固定長の符号に戻され、得られた８×８の係数は逆量子化器１１、逆ＤＣＴ１７で再生画像間予測残差となり、加算器１６で画像間予測信号が加算されて再生画像信号となる。
この様にして得られた再生画像信号は、画像出力端子２４から出力されると共に画像メモリ２６に与えられる。
画像メモリ２６は１フレーム分の画像を保持し、画素移動器１４に与える。
【００２４】
画素移動器１４では、ＭＶ復号化器２５から与えられる画素精度のＭＶに従って、画素精度の動き補償予測信号を作り、微小動補償器１０に与える。
微小動補償器１０では、ＭＶ復号化器２５から与えられる１／２乃至１／４画素精度の差分ＭＶに従って、線形内挿で１／２乃至１／４画素精度の動き補償予測信号を作り、加算器１６に与える。
【００２５】
ここで、画素移動器１４、微小動補償器１０、加算器１６、逆量子化器１１、逆ＤＣＴ１７の動作は図１の符号化装置のものと同じである。
一方、多重分離器２２で分離されたＭＶ符号は、ＭＶ復号化器２５で、ＭＶ符号化器１２の逆処理が行なわれ、画素精度のＭＶ値と１／２乃至１／４画素精度の差分ＭＶを得、画素精度のＭＶ値を画素移動器１４に、１／２乃至１／４画素精度の差分ＭＶを微小動補償器１０に与える。
【００２６】
【発明の効果】
本発明は、予測残差を得るための動き補償を、精度は同一であるが、画素精度以下の動き補償フィルタリングをより確からしいものとして、予測信号の周波数特性を改善し、予測確度を向上させることが出来、予測残差成分が減少し発生符号量を減少させることが出来る。ここで、局部復号の動き補償は復号化装置と同一とすることで、復号化装置とのミスマッチは起こらず、誤差の累積は起こらない。
【００２７】
２種類の動き補償処理結果は大きく異なるものではないので、再生画像が不自然になることもなく、結果的により少ない符号量で動画像の記録・伝送が可能になる。また、画素精度より細かな精度の動き補償処理が、局部復号のものはフィルタリング処理であり、予測残差を得るためのものはより高次のフィルタリング処理であるので装置として効率よく実現出来る。
【図面の簡単な説明】
【図１】本発明の動き補償動画像符号化装置の一実施例の構成を示す図である。
【図２】本発明の動き補償動画像復号化装置の一実施例の構成を示す図である。
【図３】１／４画素精度の動きベクトルの様子を示す図である。
【図４】１／４画素精度のリサンプルフィルタの様子を示す図である。
【図５】従来の動き補償動画像符号化装置の構成例を示す図である。
【図６】従来の動き補償動画像復号化装置の構成例を示す図である。
【符号の説明】
１ 画像入力端子
２ 減算器
３ ＤＣＴ
４ 量子化器
５ 可変長符号化器
６ 多重化器
７ 符号出力端子
８ 微小ＭＶ検出器（微小動きベクトル検出手段）
９ 高次動補償器（第２の動き補償手段）
１０ 微小動補償器（第１の動き補償手段）
１１ 逆量子化器
１２，５１ ＭＶ符号化器
１３ ＭＶ検出器（第１，第２の動き補償手段）
１４ 画素移動器（第１，第２の動き補償手段）
１５，２６ 画像メモリ
１６ 加算器
１７ 逆ＤＣＴ
２１ 符号入力端子
２２ 多重分離器
２３ 可変長復号化器
２４ 画像出力端子
２５，６１ ＭＶ復号化器
Claims (2)
- 入力画像信号における符号化対象画像信号を符号化して得た符号化信号を局部復号処理して再生画像信号を生成し、その再生画像信号を動き補償した画像間予測信号を用いて、前記入力画像信号における現符号化対象画像信号の画像間予測符号化を行う動き補償動画像符号化装置において、
前記入力画像信号における現符号化対象画像信号による画像の各部分の動きに対応した画素精度より細かな精度の微小動きベクトルを求める微小動きベクトル検出手段と、
前記微小動きベクトルに従って生成済みの前記再生画像信号をフィルタリング処理により動き補償し、局部復号処理に用いる第１の動き補償予測信号を得る第１の動き補償手段と、
前記微小動きベクトルに従って、生成済みの前記再生画像信号に対して前記第１の動き補償手段よりも高次のフィルタリング処理により前記第１の動き補償手段よりも予測確度の高い動き補償を行い、前記画像間予測信号である第２の動き補償予測信号を得る第２の動き補償手段と、
前記入力画像信号における現符号化対象画像信号から前記第２の動き補償予測信号を減算した予測残差を符号化する予測符号化手段と、
その符号化された予測残差を前記予測符号化手段での符号化処理とは逆の処理により復号して再生予測残差を得、その再生予測残差に前記第１の動き補償予測信号を加算して新たな再生画像信号を得る局部復号処理を行う局部復号手段と、
を有することを特徴とする動き補償動画像符号化装置。 - 入力画像信号における符号化対象画像信号を符号化して得た符号化信号を局部復号処理して再生画像信号を生成し、その再生画像信号を動き補償した画像間予測信号を用いて、前記入力画像信号における現符号化対象画像信号の画像間予測符号化を行う動き補償動画像符号化方法において、
前記入力画像信号における現符号化対象画像信号による画像の各部分の動きに対応した画素精度より細かな精度の微小動きベクトルを求める微小動きベクトル検出ステップと、
前記微小動きベクトルに従って生成済みの前記再生画像信号をフィルタリング処理により動き補償し、局部復号処理に用いる第１の動き補償予測信号を得る第１の動き補償ステップと、
前記微小動きベクトルに従って、生成済みの前記再生画像信号に対して前記第１の動き補償ステップよりも高次のフィルタリング処理により前記第１の動き補償ステップよりも予測確度の高い動き補償を行い、前記画像間予測信号である第２の動き補償予測信号を得る第２の動き補償ステップと、
前記入力画像信号における現符号化対象画像信号から前記第２の動き補償予測信号を減算した予測残差を符号化する予測符号化ステップと、
その符号化された予測残差を前記予測符号化ステップでの符号化処理とは逆の処理により復号して再生予測残差を得、その再生予測残差に前記第１の動き補償予測信号を加算して新たな再生画像信号を得る局部復号処理を行う局部復号ステップと、
を有することを特徴とする動き補償動画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34209197A JP3804237B2 (ja) | 1997-11-27 | 1997-11-27 | 動き補償動画像符号化装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34209197A JP3804237B2 (ja) | 1997-11-27 | 1997-11-27 | 動き補償動画像符号化装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11164306A JPH11164306A (ja) | 1999-06-18 |
| JP3804237B2 true JP3804237B2 (ja) | 2006-08-02 |
Family
ID=18351096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34209197A Expired - Lifetime JP3804237B2 (ja) | 1997-11-27 | 1997-11-27 | 動き補償動画像符号化装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3804237B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101160976B (zh) * | 2005-04-13 | 2010-05-19 | 株式会社Ntt都科摩 | 运动图像编码装置及其方法、运动图像解码装置及其方法 |
-
1997
- 1997-11-27 JP JP34209197A patent/JP3804237B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11164306A (ja) | 1999-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3545000B2 (ja) | 画像信号符号化装置、画像信号復号化装置 | |
| JP3856262B2 (ja) | 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体 | |
| EP0961991B1 (en) | Method and arrangement for creating a high-resolution still picture | |
| JP3164031B2 (ja) | 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体 | |
| JP2897763B2 (ja) | 動き補償符号化装置、復号化装置、符号化方法及び復号化方法 | |
| KR100929330B1 (ko) | 공간 스케일가능 압축 | |
| JP2006246474A (ja) | カラー成分間の単一符号化モードを利用して予測映像を生成する方法、およびその装置と、該単一符号化モードを利用して映像およびビデオを符号化／復号化する方法およびその装置 | |
| JP2005506815A5 (ja) | ||
| JP2005507589A5 (ja) | ||
| JP2011045128A (ja) | ビデオ符号化／復号化用の動き補償装置及びその方法 | |
| KR101362755B1 (ko) | 센서영상 부호화 및 복호화장치와 그 방법 | |
| JP2006518568A (ja) | ビデオ符号化 | |
| JP3348612B2 (ja) | ブロック間予測符号化装置、ブロック間予測復号化装置、ブロック間予測符号化方法、ブロック間予測復号化方法、及びブロック間予測符号化復号化装置 | |
| JPH1155678A (ja) | ブロック間内挿予測符号化装置、復号化装置、符号化方法及び復号化方法 | |
| JP2666662B2 (ja) | 階層型符号化装置及び復号化装置 | |
| JPH0818979A (ja) | 画像処理装置 | |
| KR20050084396A (ko) | 공간 스케일 능력를 갖는 디지털 필터 | |
| JP3804237B2 (ja) | 動き補償動画像符号化装置及びその方法 | |
| JP2606508B2 (ja) | 動画像予測符号化装置及びその復号化装置 | |
| JP3164056B2 (ja) | 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体 | |
| US7003036B2 (en) | Encoder, decoder, encoding method and decoding method for color moving image and method of transferring bitstream of color moving image | |
| JPH06153185A (ja) | 動き補償装置及びこれを用いた符号化装置 | |
| KR0134505B1 (ko) | 적응적 움직임 검출기능을 가진 영상 부호화기 | |
| JP2897649B2 (ja) | 動き補償予測符号化装置 | |
| JP2917782B2 (ja) | 画像ブロック符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060320 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060501 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |