JP3701825B2 - 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および動画像符号化、復号プログラムを記憶した記憶媒体 - Google Patents
動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および動画像符号化、復号プログラムを記憶した記憶媒体 Download PDFInfo
- Publication number
- JP3701825B2 JP3701825B2 JP31083699A JP31083699A JP3701825B2 JP 3701825 B2 JP3701825 B2 JP 3701825B2 JP 31083699 A JP31083699 A JP 31083699A JP 31083699 A JP31083699 A JP 31083699A JP 3701825 B2 JP3701825 B2 JP 3701825B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- value
- image
- rectangular unit
- encoding target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化方法および動画像符号化装置、動画像復号方法および動画像復号装置、ならびに動画像符号化および動画像復号プログラムを記憶した記憶媒体に関するものである。
【０００２】
【従来の技術】
ＩＴＵ−Ｔ勧告Ｈ．２６３は、「低ビットレート通信用ビデオ符号化方式」と題された通信用のビデオ符号化標準である。Ｈ．２６３では、フレームを矩形符号化単位（マクロブロック：１６×１６画素）に分割し、動き補償予測符号化を用いて動画像信号の時間的冗長度を抑圧する。動き補償予測は、マクロブロックを単位として行われ、マクロブロックごとにフレーム内符号化（イントラ）、フレーム間符号化（インター）を選択的に切替える。
【０００３】
あるマクロブロックをインターとして符号化する場合は、符号化対象マクロブロックを中心とする探索範囲を参照画像内に設定し、該範囲内で該符号化対象マクロブロックを平行移動させながら、該符号化対象マクロブロックと類似する領域（参照マクロブロック）を差分自乗和などを評価関数として用いて算出する。そして、該符号化対象マクロブロックと該参照マクロブロックとの予測差分マクロブロックに対し、代表的な直交変換の一つである離散コサイン変換（ＤＣＴ）を施し、得られた変換係数ブロックを量子化し可変長符号化する。
【０００４】
該予測差分マクロブロックにＤＣＴを施す際、一般的な入力画像信号を符号化する場合には１６×１６ＤＣＴではＤＣＴ変換係数の低周波成分への集中度が少ないため、実際には図７に示すように、該予測差分マクロブロックの輝度信号を４つのブロック（８×８画素）に分割し、各ブロックごとに８×８ＤＣＴを行うのが一般的である。該予測差分マクロブロックの色差信号（Ｃｂ，Ｃｒ）のブロックについては分割すること無く、８×８画素ブロックに対してＤＣＴを施す。
【０００５】
ＤＣＴの変換基底は８×８であり、動き補償・予測差分算出・量子化はそれぞれ各マクロブロックに閉じた処理であるため、インターマクロブロック符号化処理は該符号化対象マクロブロックの近傍マクロブロックの符号化処理の影響を受けることは無い。ゆえに、復号器で得られる復号マクロブロック内の各ブロック
【０００６】
【外１】
は、該符号化対象マクロブロック内の各符号化対象ブロック
【０００７】
【外２】
および、該参照マクロブロック内の該符号化対象ブロックに対応するブロック（参照ブロック：
【０００８】
【外３】
）に閉じた線形変換となり（１）式で表される。ここにおいて、ＤＣＴ（）、ＩＤＣＴ（）、Ｑ［］、ＩＱ［］はそれぞれ、ＤＣＴ、逆ＤＣＴ、逆ＤＣＴ、量子化、逆量子化を表す。各ブロックＢの右下の添字（ｉ＝１〜６）はマクロブロック内の６つのブロックを示す。
【０００９】
【数１】
同様に、符号化対象マクロブロックをイントラとして符号化する場合も、マクロブロックの輝度信号を４つのブロックに分割し、６つの符号化対象ブロック（４つの輝度ブロックと２つの色差ブロック）に対しそれぞれＤＣＴを施し、出力されるＤＣＴ変換係数ブロックを量子化し、可変長符号化する。このとき、該符号化対象ブロックのそれぞれにＤＣＴを施すことにより得られる、該ＤＣＴ変換係数ブロックの最低次の係数（ＤＣＴ（０，０）係数）は直流係数
【００１０】
【外４】
と呼ばれ、該符号化対象ブロック内の画素の平均値とそれぞれ等しい。したがって、イントラマクロブロックの符号化により復号器で得られる６つの復号ブロック
【００１１】
【外５】
は、同様に（２）式で表される。これは、（３）式に示す各ブロックごとの直流値ブロック
【００１２】
【外６】
を符号化対象ブロック
【００１３】
【外７】
に対する予測値とし、該符号化対象ブロックと該ブロックの直流値の差分
【００１４】
【外８】
に対しＤＣＴを施し、得られた変換係数ブロックを量子化し可変長符号化することと等価となる。すなわち、（１）式のＢrefを
【００１５】
【外９】
で置き換えた式となる。
【００１６】
なお、符号化対象マクロブロックごとにイントラ符号化・インター符号化を適応的に選択する際のイントラマクロブロック符号化処理は、各符号化対象マクロブロックに閉じた処理であるため、インターマクロブロックの符号化処理と同様に近傍のマクロブロックの影響を受けることは無い。
【００１７】
【数２】
静止画像圧縮符号化において、画素間の相関を取り除く手法として離散ウェーブレット変換（I. Daubechies "Orthonormal bases of compactly supported wavelets", Comm. Pure Appl. Math., vol.41, pp.909-996, 1988）が注目されている。また、離散ウェーブレット変換の動画像圧縮符号化への適用も注目され、ＤＣＴの代りに離散ウェーブレット変換を利用する手法も提案されている。静止画像符号化は入力画像に対して直接離散ウェーブレット変換を施すのに対し、従来提案されてきた多くの動画像ウェーブレット符号化方法では、全てのマクロブロックについて動き補償を行うことで予測画像を作成し、入力画像信号と予測画像の差分である動き補償予測差分画像に対し離散ウェーブレット変換を施す。ウェーブレット変換係数は、静止画像符号化と同様に量子化を施し可変長符号化を行う。
【００１８】
離散ウェーブレット変換は、階層的なサブバンド分割と同様に、入力画像を解像度の異なる周波数帯域成分に分解する。分解された変換係数の総数は原画像の画素数と同じであるが、ＤＣＴと同様より低い周波数成分に信号エネルギーが集中したものになる。
【００１９】
ウェーブレット変換係数は、１次元のフィルタバンクとサブサンプリング処理によって求められる。図８（ａ）に示すように、画像Ｘ（ｚ）の水平方向について低域フィルタ（Ｈl(z)）、および高域フィルタ（Ｈh(z)）出力を求め、その出力を１／２（↓２）に間引く。さらに、同様の処理を垂直方向に適用することにより、４成分ＬＬ1，ＬＨl，ＨＬl，ＨＨlに分解される。この内、もっとも低い周波数成分ＬＬlをＬＬ2，ＬＨ2，ＨＬ2，ＨＨ2に再分解する。この処理を必要なレベル数繰り返すことにより、図９に示す画像のオクターブ分割を求めることができる。再生過程においては、図８（ｂ）帯域成分ＬＬi+1，ＬＨi+1の垂直方向の各係数間にゼロ値を挿入（↑２）し、その垂直方向にそれぞれ合成フィルタＦl(z)、、Ｆh(z)を施し、それらの出力の和を求める。同様の処理を水平方向にＨＬi+1，ＨＨi+1成分に行う。すなわち得られた２成分に、水平方向に同様のフィルタ処理を行うことにより、ＬＬi成分が合成される。この合成処理を必要なレベル数だけ繰り返すことにより、画像の再生値が得られる。画像が完全再構成されるためには、分解・合成フィルタは次の条件を満たしていなければならない。
【００２０】
【数３】
ここにおいて、分解・合成フィルタのタップ長は奇数であり、ｃは任意の定数である。該分解および合成フィルタ係数の相互関係を図１０に示す。
【００２１】
入力画像信号や動き補償予測差分信号に水平・垂直ウェーブレット変換を施して得られたウェーブレット変換係数はＤＣＴ変換係数と同様に、量子化され可変長符号化される。一般的に、最低周波数帯域ＬＬを除く他の高周波数帯域内のウェーブレット変換係数値は、０近傍に集中するラプラス分布で近似可能なため、エントロピー符号化の効率改善を考慮し、センターデッドゾーン付きスカラー量子化が用いられることが多い。そして、量子化後のウェーブレット変換係数をＲｕｎ−Ｌｅｎｇｔｈ符号化，Ｒｕｎ−Ｌｅｖｅｌ符号化などを用いて可変長符号化し発生符号量を低減する。
【００２２】
図１１に、一次元入力信号（Ｐn）に対して、分解低域フィルタ（Ｈl(z)）として５タップフィルターを用い、ウェーブレット周波数帯域分割処理を再帰的に３回行い、該一次元入力信号を４つの周波数帯域に帯域分割した場合の周波数帯域分割例を示す。該一次元入力信号は離散ウェーブレット変換を１回行うことにより、Ｈ成分とＬ成分に分解される。この時、
【００２３】
【外１０】
で表す記号は二係数に一つを間引くダウンサンプル処理を示す。そして、該変換および該ダウンサンプル処理を、生成された該Ｌ成分帯域に対して同様に行うことにより、ＬＨおよびＬＬ成分帯域を生成する。さらに、同様の処理をＬＬ成分帯域に対して繰り返すことにより、ＬＬＨおよびＬＬＬ成分帯域を生成する。
【００２４】
離散ウェーブレット変換の各再帰分割におけるフィルタ処理は前記５タップのフィルタを用いるが、前段の再帰分割における低域フィルタ出力に対して再帰的に離散ウェーブレット変換を行うため、実際１つの変換係数を算出するには、より長いタップのフィルタを該一次元入力信号に施すこととなる。この実際のタップ長を実効タップ長と定義する。前記５タップの分解低域フィルタで３回周波数帯域分割を行う場合、図１１に示すように該ＬＬＬ成分帯域内の変換係数
【００２５】
【外１１】
を得るために、該ＬＬ成分帯域の変換係数に対して該５タップフィルタを施す。さらに、該ＬＬ成分帯域内の変換係数は該Ｌ成分帯域内の変換係数に対して該５タップフィルタを施し、該Ｌ成分帯域内の変換係数は該一次元入力信号（Ｐ）に対して該５タップフィルタを施している。結果として、最低周波数帯域である該ＬＬＬ成分帯域内の変換係数の実効タップ長（Ｌ）は、図１１に示すように２９タップとなる。すなわち最低周波数帯域（二次元信号の場合のＬＬ成分帯域に当る）ＬＬＬ成分帯域内の各ウェーブレット変換係数は、入力信号に対する２９タップのフィルタ出力となる。
【００２６】
さらに、これを一般化し、同様にｎタップの低域フィルタを用いて周波数帯域分割をｍ回行った場合、ｎが奇数ならば最低周波数帯域のタップ長（Ｌm,n）は（７）式で表される。
【００２７】
【数４】
二次元離散ウェーブレット変換を考慮すると、分割低域フィルタとして５タップのフィルタを用いるのであれば最低周波数帯域内の各変換係数は２９×２９画素の入力信号に対するフィルタ出力、７タップのフィルタを用いるのであれば、４３×４３画素の入力信号に対するフィルタ出力となる。これは、動き補償の矩形単位が１６×１６で、ＤＣＴの変換基底が８×８であるのと比較して極めて大きな基底となる。
【００２８】
離散ウェーブレット変換の他にも、隣接する符号化対象マクロブロックに変換基底が重複する直交変換がいくつか提案されている。H.S.Malvar らの LOT: Lapped Orthogonal Transform, MLT: Modified Lapped Transform（文献、H.S.Malvar, "Lapped Transform for Efficient Transform/Subband Coding", IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol. ASSP-38, No.6, pp.969-978, June 1990）、そして J.P.Princen らの Single Side Band Analysis/Synthesis（文献、J.P.Princen and A.B.Bradley, "Analysis/Synthesis Filter Bank Design Based on Time Domain Aliasing Cancellation", IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol. ASSP-34, No.5, pp.1153-1161, Oct. 1986）などが提案されている。これらのオーバーラップブロック構成を持った直交変換をここでは重複ブロック直交変換と呼ぶことにする。
【００２９】
Ｎ点ＤＣＴではＮサンプルの入力ブロックに対してＮ個の変換係数が得られるが、これに対し、図１２に示すように、重複ブロック直交変換では、ブロックｉを符号化する際、隣接する前後の符号化対象ブロックにＮ／２画素づつオーバーラップした２Ｎサンプルの入力ブロックＸiに対してＮ個の変換係数Ｙiが得られる。一方逆変換はＮ個の変換係数Ｙiから２Ｎ個の逆変換行列
【００３０】
【外１２】
が得られる。もとの画像の輝度値は、ブロックｉにオーバーラップしてくる前後の隣接ブロックの逆変換行列
【００３１】
【外１３】
の内、ブロックｉと重なる部分の値をブロックｉの逆変換行列
【００３２】
【外１４】
に足し合わせることにより再生される。このように、重複フロック直交変換では入力信号を隣接ブロックにオーバーラップさせることによってブロック外の画素値も含めて変換するため、ＤＣＴ等の通常の直交変換において問題となるブロック歪を生じないという利点がある。
【００３３】
一般的にＮは８画素であるため、重複ブロック直交変換の実効タップ長は、符号化対象マクロブロック内の各ブロックを中心とする１６タップとなる。
【００３４】
また、ＤＣＴはその変換基底がマクロブロック・ブロックの中に閉じているため、（１）、（２）式に示したように、符号化対象ブロックや該符号化対象ブロックのそれぞれ対応する参照ブロックのみを用いて復号ブロックを一意に規定することが可能であるが、図１３に示すように、離散ウェーブレット変換や重複ブロック直交変換を用いる場合は該符号化対象マクロブロックの近傍のマクロブロックにフィルタの実効タップ長が及ぶため、フィルタ処理対象の入力画素列が複数のマクロブロックをまたがってしまい、各隣接するマクロブロック境界での非連続な信号に対して直交変換を施すこととなる。
【００３５】
符号化対象マクロブロックと、該符号化対象マクロブロックの隣接マクロブロックとの境界で、予測差分画像の信号が非連続となる理由は幾つか考えられる。一つ目の理由は、符号化対象マクロブロックおよびその隣接のマクロブロックの、それぞれの参照するマクロブロックの場所が連続していないことに起因する。分解低域フィルタとして該５タップのフィルタを用いて、図１３のインターマクロブロック
【００３６】
【外１５】
を符号化する場合、ＬＬ成分帯域内の変換係数を参照するためのフィルタの実効タップ長は２９タップであるため、近傍の８マクロブロックに影響が及ぶ。簡単のため水平方向の離散ウェーブレット変換のみを考えた場合、実際に水平方向に離散ウェーブレット変換を施す入力信号は、（９）式に示す符号化対象マクロブロックの予測差分信号
【００３７】
【外１６】
に加えて、（８）および（１０）式に示す符号化対象マクロブロックの左右に隣接するマクロブロックの予測差分信号
【００３８】
【外１７】
となる。
【００３９】
【数５】
符号化対象マクロブロックおよび該符号化対象マクロブロックの左右のマクロブロック
【００４０】
【外１８】
は水平方向に連続した信号であるが、該マクロブロックがそれぞれ参照するマクロブロック
【００４１】
【外１９】
は該符号化対象およびその左右のマクロブロックの動きベクトルがそれぞれ異り、参照マクロブロックの場所が隣接して並ばないため水平方向に連続な信号とはならず、結果として予測画像内のマクロブロックの境界に非連続な歪み（ブロック歪み）が生じる。このため、これらの差分信号である予測差分信号マクロブロック
【００４２】
【外２０】
も非連続な信号となり、ブロックベースの直交変換であるＤＣＴと比較し著しく符号化効率が劣化する。
【００４３】
この隣接するインターマクロブロックのそれぞれの参照マクロブロック同士が非連続となる問題は、該インターマクロブロックの動きベクトルが一致していない場合であり、該動きベクトルが等しい場合は該参照マクロブロック同士が連続した信号となるため符号化効率は低下しない。さらに、該動きベクトルが一致しない場合も、オーバーラップブロック動き補償（ＯＢＭＣ）が提案されており、ＯＢＭＣを用いて予測画像を生成することにより予測信号を比較的連続した信号に整形することが可能であるため、符号化効率がほとんど低下しないことも証明されている。ＯＢＭＣはＨ．２６３に提案されて、すでに採用されている。
【００４４】
二つ目の理由は、離散ウェーブレット変換の実効タップ長内あるいは重複ブロック直交変換の変換基底長内に存在するインターマクロブロックの動きベクトルがすべて一致している場合でも、符号化対象マクロブロックおよび、実効タップ長あるいは変換基底長内に存在するマクロブロックにおいて、イントラ・インター符号化のいずれを用いて各マクロブロックを符号化するかが異ることに起因する。例として、図１３のイントラマクロブロック
【００４５】
【外２１】
を分解低域フィルタとして該５タップフィルタを用いて離散ウェーブレット変換を行う場合、同様に近傍の８つのマクロブロック内の入力信号の影響が離散ウェーブレット変換係数に及ぶ。簡単のため水平方向の離散ウェーブレット変換のみを考えた場合、実際に水平方向に離散ウェーブレット変換を施す信号は、
【００４６】
【外２２】
はイントラマクロブロックであるため、（１２）式に示す各ブロックの直流値を減じたマクロブロックが変換符号化を行う対象の信号である。さらに、インターマクロブロックである左右のマクロブロック
【００４７】
【外２３】
での変換符号化を行う対象の信号は、（１１）および（１３）式に示す予測差分マクロブロックとなる。この予測差分マクロブロック
【００４８】
【外２４】
はそのマクロブロックの境界において明かに非連続であり、前記のインターマクロブロック同士で動きベクトルが異る場合よりも、マクロブロックの境界においてさらに大きな非連続な信号を生じることとなる。
【００４９】
【数６】
さらに、符号化対象マクロブロックがイントラマクロブロックであり、同時にフィルタの実効タップ長内の該符号化対象マクロブロック近傍のマクロブロックもすべてイントラマクロブロックの場合、該符号化対象マクロブロックの符号化効率は静止画像を符号化する場合とほぼ同様な符号化効率が期待される。しかし実際には、動き補償予測符号化でのイントラマクロブロックの符号化処理は（２）式で示したように、該符号化対象マクロブロック内の各ブロック（図１４、
【００５０】
【外２５】
の直流値（図１４、
【００５１】
【外２６】
を前もって伝送するため、隣接するマクロブロックとの境界のみならず、該符号化対象マクロブロック内の４つの輝度信号ブロック同士の境界にも非連続が生じる。具体的な例として、図１３および図１４のイントラマクロブロック
【００５２】
【外２７】
内の左上のブロック
【００５３】
【外２８】
を符号化対象ブロックとして符号化する場合を例にとる。実際に水平方向に離散ウェーブレット変換を施す信号は（１４）〜（１８）式に示す５つの差分ブロックとなる。符号化対象ブロックおよび該符号化対象ブロックに隣接するブロック
【００５４】
【外２９】
は図１５（ａ）に示すように互いに連続する信号であるが、該ブロックのそれぞれの直流値である
【００５５】
【外３０】
は図１５（ｂ）に示すように明かに非連続な信号であるため、（１４）〜（１８）式に示す５つの該差分ブロックの境界には図１５（ｃ）に示すように非連続が生じ、インターマクロブロック境界、インター・イントラマクロブロック境界と同様に、イントラマクロブロック境界でもブロック歪みに起因する符号化効率の低下が生じる。
【００５６】
【数７】
なお、予測差分信号への離散ウェーブレット変換の際に隣接８マクロブロックに影響が、すなわち水平方向のみの変換を考えた場合は左右の１マクロブロックずつに影響が及ぶのは５タップの低域分解フィルタを用いた場合であり、先に述べたように７タップの低域分解フィルタを用いた場合は実効タップ長が４３画素となるため、近傍２４マクロブロックに影響が及ぶ。したがって、分解フィルタのタップ長が長ければ長い程、その実効タップ長内に含まれる不連続な信号（ブロック歪み）が多くなり、符号化効率が低下することとなる。
【００５７】
さらに、以上の例では分解低域フィルタ（Hl(z)）のタップ長のみで実効タップ長を規定したが、実際には、これとは独立に分解高域フィルタ（Ｈh(z)）も存在する。分解高域フィルタは一般的に分解低域フィルタより長いフィルタを用いることが多いため、例えばＬＬＨ成分帯域内の変換係数を算出するための実効タップ長はＬＬＬ成分帯域のそれと比較してさらに大きな値となる可能性もある。
【００５８】
【発明が解決しようとする課題】
イントラ符号化・インター符号化をマクロブロックごとに選択的に切替えて動き補償予測符号化を行い、動き補償による予測差分信号に対し、離散ウェーブレット変換などの周波数帯域分割や、隣接するマクロブロックに変換基底が及ぶ重複ブロック直交変換あるいはその他の変換符号化を用いて符号化する際に、イントラ符号化を行うあるマクロブロックの予測値として、該マクロブロックの直流値もしくは該マクロブロック内の各ブロックごとの直流値を用いた場合、該マクロブロックの近傍のマクロブロックの符号化形態によらず、予測差分信号が非連続な信号となる。重複ブロック直交変換の変換基底長や離散ウェーブレット変換の実効タップ長は、該符号化対象マクロブロック近傍のマクロブロックに及ぶため、該非連続な信号を変換符号化することとなり、符号化効率が低下する。
【００５９】
ある符号化対象マクロブロックをインター符号化する場合においても、ＯＢＭＣを利用することにより隣接するインターマクロブロック間境界での予測差分信号を比較的連続な信号に整形することが可能であるが、インターマクロブロック−イントラマクロブロック境界での予測差分信号を整形することはできない。このため該近傍マクロブロックの中にイントラ符号化を行うマクロブロックが一つでも存在する場合、予測画像内において該イントラマクロブロックに対応する位置の近傍に非連続な信号が生じ、該符号化対象インターマクロブロックの符号化効率が低下する。
【００６０】
本発明の目的は、マクロブロックごとにイントラ符号化・インター符号化を選択的に切替え、その動き補償予測差分画像に対し、離散ウェーブレット変換などのサブバンド分割、もしくは重複ブロック直交変換などを施し、符号化する際に、上記問題点を解決し、イントラマクロブロック・インターマクロブロックを選択的に切替えた場合にも、イントラマクロブロック近傍で生じる予測差分信号の非連続性を減少させ、離散ウェーブレット変換などのサブバンド分割符号化、もしくは重複ブロック直交変換による符号化効率を改善する方法および装置を提供することにある。
【００６１】
【課題を解決するための手段】
本発明は、入力画像を符号化するに当り、符号化対象画像をマクロブロックに分割し、該マクロブロックごとにインター符号化するかあるいはイントラ符号化するかを選択的に切替え、予測画像および予測差分画像を生成し、該予測差分画像に対し離散ウェーブレット変換などのサブバンド分割を用いて符号化するか、変換基底が隣接するマクロブロックにおよぶ重複ブロック直交変換を用いて符号化するか、あるいはその他の変換符号化を用いて符号化する動画像符号化方法において、インター符号化されるマクロブロックの参照マクロブロック内の画素の平均値およびイントラ符号化されるマクロブロック内の画素の平均値より直流値予測画像を生成し、符号化対象画像内のある符号化対象マクロブロックをイントラ符号化するに当り、該直流値予測画像内において該符号化対象マクロブロックに対応する位置にあるマクロブロックを該符号化対象マクロブロックの予測値として予測画像および予測差分画像を生成することにより、該予測画像および該予測差分画像内においてイントラ符号化を行うマクロブロックの近傍の信号を比較的連続な信号に整形し符号化効率を改善する。
【００６２】
具体的には、図１に示すように、符号化対象画像を符号化対象矩形単位であるマクロブロックに分割し、該符号化対象マクロブロックごとに動き予測を行い参照相対位置を算出し、該符号化対象マクロブロックごとに、該符号化対象マクロブロックをイントラ符号化するかインター符号化するかの符号化形態を選択し、該符号化形態を符号化データとして出力（図１（ａ））する。
【００６３】
インター符号化されるマクロブロックに関しては、該マクロブロックの動きベクトルを符号化データとして出力（図１（ｂ））し、参照画像内において該動きベクトルにより指し示される参照マクロブロックと、符号化対象マクロブロックの差分である、予測差分ブロックは予測差分画像フレームメモリに蓄積（図１（ｃ））される。同時に、該参照マクロブロック内の画素の平均値が算出され、直流値メモリに蓄積（図１（ｄ））される。
【００６４】
イントラ符号化されるマクロブロックに関しては、まず該イントラマクロブロックの平均値が算出され、該平均値をインターマクロブロックの参照マクロブロックの平均値と同様直流値メモリに蓄積（図１（ｅ））される。
【００６５】
直流値メモリにはイントラ符号化される符号化対象マクロブロックの平均値と、インター符号化される符号化対象マクロブロックの参照マクロブロックの平均値からなる拡大前の直流値予測画像が蓄積されており、該拡大前の直流値予測画像を拡大することにより直流値予測画像を生成する。該拡大前の直流値予測画像を拡大する際には、符号化器・復号器で共通に用いられる一般的な低域通過フィルタを施す。該一般的な低域通過フィルタとしては逆離散ウェーブレット変換などのサブバンド合成フィルタが考えられる。あるいは該拡大前の直流値予測画像内の各該平均値を重複ブロック直交変換の最低次係数として、逆重複ブロック直交変換を施す方法も考えられる。
【００６６】
そして、該直流値予測画像内において、イントラ符号化するマクロブロックに対応する位置のマクロブロックを切りだし、該マクロブロックと符号化対象マクロブロックの差分である予測差分ブロックを算出し、予測差分画像フレームメモリに蓄積（図１（ｆ））する。
【００６７】
予測差分画像フレームメモリに蓄積された該予測差分画像に対して、離散ウェーブレット変換などのサブバンド合成フィルタを施すか、あるいは重複ブロック直交変換を施すことにより、変換係数を算出し、該変換係数を量子化、可変長符号化を行い符号化データとして出力（図１（ｇ））する。
【００６８】
なお、イントラマクロブロックの直流値（平均値）としてマクロブロック内の平均値の代りとして、イントラマクロブロックをさらに細かい矩形単位に分割し、各矩形単位ごとに平均値を算出し、符号化データとして出力するようにしてもよい。
【００６９】
また、イントラマクロブロックの直流値（平均値）として用いた、マクロブロック内の平均値の代りに、該マクロブロックの近傍の画素を含めた広い範囲に低域通過フィルタを施すことで加重平均値を算出し、該加重平均を前記直流値として用いてもよい。
【００７０】
本発明の、上記動画像符号化方法を用いた符号化データを復号する方法は、符号化形態を示す符号を復号し、該符号化形態がイントラ符号化の場合には復号マクロブロックの平均値を復号し、インター符号化の場合には動きベクトルを復号し、参照マクロブロックの平均値を算出し、すべてのマクロブロックについて算出された、該復号マクロブロックの平均値あるいは該参照マクロブロック内の平均値より直流値予測画像を生成し、該符号化形態としてイントラ符号化が選択されている場合、該直流値予測画像内において該復号マクロブロックと同位置にあるマクロブロックを該復号マクロブロックの予測値として復号する。
【００７１】
具体的には、図２に示すように、まず符号化データより各マクロブロックの符号化形態を示す符号を復号（図２（ａ））し、該符号化形態がイントラ符号化の場合にはイントラマクロブロックの平均値を復号（図２（ｂ））し、インター符号化の場合には動きベクトルを復号し（図２（ｃ））、参照マクロブロックの平均値を算出する（図２（ｄ））。
【００７２】
イントラマクロブロックの平均値および参照マクロブロックの平均値に対し、符号化器と同様に逆離散ウェーブレット変換などのサブバンド合成フィルタを施すか、あるいは逆重複ブロック直交変換を施すか、あるいは低域通過フィルタを施すことにより、直流値予測画像を生成（図２（ｅ））する。該直流値予測画像を生成する処理は符号化器と同様な処理である。
【００７３】
該直流値予測画像内においてイントラ符号化するマクロブロックに対応するマクロブロックと、インター符号化するマクロブロックの参照マクロブロックを、符号化データより復号された予測差分信号に加算することにより復号画像を算出する。
【００７４】
イントラマクロブロックの画素平均値とインターマクロブロックの参照マクロブロックの画素平均値より直流値予測画像を生成し、該直流値予測画像内において該イントラマクロブロックに対応するマクロブロックを該イントラマクロブロックの予測値として予測差分画像を生成し、符号化することにより、予測画像信号および予測差分画像信号を比較的連続した信号に整形し、符号化効率を改善することが可能である。
【００７５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００７６】
図３は、本発明の一実施形態の動画像符号化方法による符号化器の構成図である。
【００７７】
符号化器では、まず始めに符号化対象画像１がブロック分割部２に入力され、符号化対象マクロブロック３に分割される。符号化対象マクロブロック３はフレームメモリ４に記録されている過去に符号化済みの参照画像５とともに動き予測部６に入力され、各マクロブロックごとに動きベクトル７を算出する。
【００７８】
動きベクトル７は参照画像５とともに参照ＭＢ切り出し部８に入力され、参照画像５内において符号化対象マクロブロック１から動きベクトル７の相対位置にあるマクロブロックを参照マクロブロック９として切り出す。参照マクロブロック９は参照ＭＢ平均値算出部１０に入力され、参照ＭＢ内の画素平均値１１を算出し、選択器１２に出力する。これと並行して、符号化対象マクロブロック３は符号化対象ＭＢ平均値算出部１３に入力され、符号化対象ＭＢ内の画素平均値１４を算出し、同様に選択器１２に出力する。
【００７９】
符号化対象マクロブロック３と参照マクロブロック９は符号化形態選択部１５に入力され、各符号化対象マクロブロックごとにインター符号化を行うかイントラ符号化を行うかを選択し、符号化形態１６を選択器１２に出力する。
【００８０】
選択器１２では入力された符号化形態１６に従い、符号化形態１６がイントラ符号化である場合には符号化対象ＭＢ内の画素平均値１４を選択し、インター符号化である場合には参照ＭＢ内の画素平均値１１を選択し、選択された平均値を直流値メモリ１７に出力する。
【００８１】
直流値メモリ１７には参照ＭＢ内に画素平均値１１あるいは符号化対象ＭＢ内の画素平均値１４により生成された拡大前の直流値予測画像１８が記録されており、これを直流値予測画像生成部１９に出力する。直流値予測画像生成部１９では、逆変換部２０と同様に周波数帯域合成、あるいは逆重複ブロック直交変換を拡大前の直流値予測画像１８に施すか、あるいは符号化器・復号器で前もって決定されている一般的な低域通過フィルタを施すなどして直流値予測画像２１を生成し、直流値予測ＭＢ切り出し部２２に出力する。直流値予測ＭＢ切り出し部２２では直流値予測画像２１内において符号化対象マクロブロックの場所にある直流値予測ブロック２３を切り出し、選択器２４に出力する。選択器２４では符号化形態１６にしたがい、イントラ符号化されるマクロブロックに関しては直流値予測ブロック２３を選択し、インター符号化されるマクロブロックに関しては該マクロブロックに対応する参照マクロブロック９を選択し、選択されたマクロブロックを予測画像フレームメモリ２５に出力する。予測画像フレームメモリ２５に蓄えられた予測画像２６は減算器２７に入力され、ここで符号化対象画像１より予測画像２６を減算し、予測差分画像２８を生成する。
【００８２】
予測差分画像２８は変換部２９に入力され、ここで離散ウェーブレット変換などのサブバンド分割や、もしくは予測差分画像２８を変換単位に分割し重複ブロック直交変換を施すことにより変換係数３０を出力する。変換係数３０は量子化部３１にて量子化され量子化後係数３２として係数符号化部３３に出力される。そして、量子化後係数３２は係数符号化部３３にてエントロピー符号化され、出力係数データ３４として多重化部３５に出力される。
【００８３】
また、量子化後係数３２は逆量子化部３６に入力され、量子化部３１で用いた量子化方法に対応する逆量子化方法を用いて逆量子化され、逆量子化後係数３７を生成し逆変換部２０に出力される。逆変換部２０では、変換部２９においてサブバンド分割を用いて周波数帯域分割をした場合にはサブバンド合成フィルタを施して周波数帯域合成を行ない、ＬＯＴのような重複ブロック直交変換を用いて符号化した場合には各該変換単位ごとに該重複ブロック直交変換に対応する逆重複ブロック直交変換を施すことにより復号予測誤差３８を算出し、これを加算器３９にて予測画像２６に加算することにより局部復号画像４０を算出し、これをフレームメモリ４に蓄積する。
【００８４】
また、符号化対象ＭＢ内の画素平均値１４、動きベクトル７、および符号化形態１６は復号器における復号処理に必要であるため、多重化部３５に出力される。
【００８５】
多重化部３５では、各マクロブロックごとに、符号化対象マクロブロックの符号化形態１６がインターマクロブロックである時はインター符号化を示す符号と動きベクトル７を、イントラマクロブロックである時はイントラ符号化を示す符号と符号化対象ＭＢ内の画素平均値１４を多重化し、さらにこれと出力係数データ３４を多重化して符号化データ４１を出力する。
【００８６】
図４は、本発明の一実施形態の動画像復号方法による復号器の構成図である。
【００８７】
復号器では、まず始めに符号化データ４１が分離部５１に入力され、係数データ５２、符号化形態データ５３、イントラ平均値データ５４、動きベクトルデータ５５に分離される。
【００８８】
係数データ５２は係数復号部５６に入力され、Ｒｕｎ−Ｌｅｎｇｔｈ復号、Ｒｕｎ−Ｌｅｖｅｌ復号などの可変長復号を行い、量子化後変換係数５７が出力される。量子化後変換係数５７は逆量子化部５８に入力され、符号化器における逆量子化部３６と同様な処理で逆量子化を行い変換係数５９を出力する。逆変換部６０では入力された変換係数５９に対し、符号化器における逆変換部２０で行われた逆変換と同様な処理が行われ、予測差分画像６１が出力される。
【００８９】
符号化形態データ５３は符号化形態復号部６２にて復号され、符号化形態６３が出力される。符号化形態６３がイントラ符号化の場合は、イントラ平均値復号部６４においてイントラ平均値データ５４が復号され、イントラＭＢ平均値６５が選択器６６に出力される。同様に、符号化形態６３がインター符号化の場合は、動きベクトル復号部６７において動きベクトルデータ５５が復号され、動きベクトル６８が参照ＭＢ切り出し部６９に出力される。参照ＭＢ切り出し部６９では、既に復号済みの過去のフレームを蓄積しているフレームメモリ７０より参照画像７１が入力され、参照画像７１内において動きベクトル６８の相対位置のマクロブロックを参照マクロブロック７２として参照ＭＢ平均値算出部７３に出力する。参照ＭＢ平均値算出部７３は符号化器の参照ＭＢ平均値算出部１０と同じ構成を持つ回路であり、参照ＭＢ内の画素平均値７４を同様に選択器６６に出力する。
【００９０】
選択器６６では入力された符号化形態６３に従い、符号化形態６３がイントラ符号化である場合にはイントラＭＢ平均値６５を選択し、インター符号化である場合には参照ＭＢ内の画素平均値７４を選択し、選択された平均値を直流値メモリ７５に出力する。
【００９１】
直流値メモリ７５には参照ＭＢ内の画素平均値７４あるいはイントラ平均値６５により生成された拡大前の直流値予測画像７６が記録されており、これを直流値予測画像生成部７７に出力する。直流値予測画像生成部７７は符号化器における直流値予測画像生成部１９と同様な処理を行う回路であり、拡大前の直流値予測画像７６に対して逆変換部６０と同様の変換を施すかあるいは符号化器で用いた低域通過フィルタと同じフィルタを用いて直流値予測画像７８を生成し、直流値予測ＭＢ切り出し部７９に出力する。直流値予測ＭＢ切り出し部７９では直流値予測画像７８内において符号化対象マクロブロックの場所にある直流値予測ブロック８０を切り出し、選択器８１に出力する。選択器８１では符号化形態６３にしたがい、イントラ符号化されるマクロブロックに関しては直流値予測ブロック８０を選択し、インター符号化されるマクロブロックに関しては該マクロブロックに対応する参照マクロブロック７２を選択し、選択されたマクロブロックを予測画像フレームメモリ８２に出力する。
【００９２】
予測画像フレームメモリに蓄積された予測画像８３は加算器８４に入力され、ここで予測差分画像６１に加算され、復号画像８５を出力する。なお、復号画像８５は次のフレーム以降の復号に必要であるため、フレームメモリ７０に出力され、蓄積される。
【００９３】
図５は本発明の他の実施形態の符号化器の構成図で、パソコン等のコンピュータ上で実施するものである。
【００９４】
入力装置９１は符号化対象画像１を入力するための入力装置である。記憶装置９２は図３中のフレームメモリ４、直流値メモリ１７、予測画像フレームメモリ２５に相当する。記憶装置９３はハードディスクである。送信装置９４は符号化データ４１を復号器に送信する。記録媒体９５は図３中の各部の処理からなる動画像符号化プログラムを記録した、フロッピィ・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク等の記録媒体である。データ処理装置９６は記録媒体９５から動画像符号化プログラムを読み込んで、これを実行するＣＰＵである。
【００９５】
図６は本発明の他の実施形態の復号器の構成図で、パソコン等のコンピュータ上で実施するものである。
【００９６】
受信装置１０１は送信装置９４から送信された符号化データ４１を受信する受信装置である。記憶装置１０２は図４中のフレームメモリ７０、直流値メモリ７５、予測画像フレームメモリ８２に相当する。記憶装置１０３はハードディスクである。出力装置１０４は復号画像８５を表示するディスプレイである。記録媒体１０５は図４中の各部の処理からなる動画像復号プログラムを記録した、フロッピィ・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク等の記録媒体である。データ処理装置１０６は記録媒体１０５から動画像復号プログラムを読み込んで、これを実行するＣＰＵである。
【００９７】
【発明の効果】
以上説明したように、本発明によれば、符号化対象矩形単位をインター符号化、あるいはイントラ符号化として選択的に切替えて符号化するにあたり、イントラマクロブロック近傍で生じる予測画像および予測差分信号の非連続性を減少させ、離散ウェーブレット変換などのサブバンド分割符号化、もしくは重複ブロック直交変換による符号化効率を改善することができる。
【図面の簡単な説明】
【図１】本発明の動画像符号化方法の原理を説明する図である。
【図２】本発明の動画像復号方法の原理を説明する図である。
【図３】本発明の一実施形態の動画像符号化器の構成図である。
【図４】本発明の一実施形態の動画像復号器の構成図である。
【図５】本発明の他の実施形態の動画像符号化器の構成図である。
【図６】本発明の他の実施形態の動画像復号器の構成図である。
【図７】予測差分マクロブロックにＤＣＴを施す場合のマクロブロックの分割の説明図である。
【図８】離散ウェーブレット変換の説明図である。
【図９】画像のオクターブ分割を示す図である。
【図１０】分解および合成フィルタ係数の相互関係を示す図である。
【図１１】一次元入力信号（Ｐn）の周波数帯域分割例を示す図である。
【図１２】重複ブロック直交変換を示す図である。
【図１３】インターマクロブロックを示す図である。
【図１４】符号化対象ブロックおよび隣接するマクロブロックの輝度信号の分割例を示す図である。
【図１５】符号化対象ブロックおよび隣接するブロックの入力信号、直流値、予測差分信号を示す図である。
【符号の説明】
１ 符号化対象画像
２ ブロック分割部
３ 符号化対象マクロブロック
４ フレームメモリ
５ 参照画像
６ 動き予測部
７ 動きベクトル
８ 参照ＭＢ切り出し部
９ 参照マクロブロック
１０ 参照ＭＢ平均値算出部
１１ 参照ＭＢ内の画像平均値
１２ 選択器
１３ 符号化対象ＭＢ平均値算出部
１４ 符号化対象ＭＢ内の画素平均値
１５ 符号化形態選択部
１６ 符号化形態
１７ 直流値メモリ
１８ 拡大前の直流値予測画像
１９ 直流値予測画像生成部
２０ 逆変換部
２１ 直流値予測画像
２２ 直流値予測ＭＢ切り出し部
２３ 直流値予測ブロック
２４ 選択器
２５ 予測画像フレームメモリ
２６ 予測画像
２７ 減算器
２８ 予測差分画像
２９ 変換部
３０ 変換係数
３１ 量子化部
３２ 量子化後係数
３３ 係数符号化部
３４ 出力係数データ
３５ 多重化部
３６ 逆量子化部
３７ 逆量子化後係数
３８ 復号予測誤差
３９ 加算器
４０ 局部復号画像
４１ 符号化データ
５１ 分離部
５２ 係数データ
５３ 符号化形態データ
５４ イントラ平均値データ
５５ 動きベクトルデータ
５６ 係数復号部
５７ 量子化後変換係数
５８ 逆量子化部
５９ 変換係数
６０ 逆変換部
６１ 予測差分画像
６２ 符号化形態復号部
６３ 符号化形態
６４ イントラ平均値復号部
６５ イントラＭＢ平均値
６６ 選択器
６７ 動きベクトル復号部
６８ 動きベクトル
６９ 参照ＭＢ切り出し部
７０ フレームメモリ
７１ 参照画像
７２ 参照マクロブロック
７３ 平均値算出部
７４ 参照ＭＢ内の画素平均値
７５ 直流値メモリ
７６ 拡大前の直流値予測画像
７７ 直流値予測画像生成部
７８ 直流値予測画像
７９ 直流値予測ＭＢ切り出し部
８０ 直流値予測ブロック
８１ 選択器
８２ 予測画像フレームメモリ
８３ 予測画像
８４ 加算器
８５ 復号画像
９１ 入力装置
９２，９３ 記憶装置
９４ 送信装置
９５ 記録媒体
９６ データ処理装置
１０１ 受信装置
１０２，１０３ 記憶装置
１０４ 出力装置
１０５ 記録媒体
１０６ データ処理装置
【発明の属する技術分野】
本発明は、動画像符号化方法および動画像符号化装置、動画像復号方法および動画像復号装置、ならびに動画像符号化および動画像復号プログラムを記憶した記憶媒体に関するものである。
【０００２】
【従来の技術】
ＩＴＵ−Ｔ勧告Ｈ．２６３は、「低ビットレート通信用ビデオ符号化方式」と題された通信用のビデオ符号化標準である。Ｈ．２６３では、フレームを矩形符号化単位（マクロブロック：１６×１６画素）に分割し、動き補償予測符号化を用いて動画像信号の時間的冗長度を抑圧する。動き補償予測は、マクロブロックを単位として行われ、マクロブロックごとにフレーム内符号化（イントラ）、フレーム間符号化（インター）を選択的に切替える。
【０００３】
あるマクロブロックをインターとして符号化する場合は、符号化対象マクロブロックを中心とする探索範囲を参照画像内に設定し、該範囲内で該符号化対象マクロブロックを平行移動させながら、該符号化対象マクロブロックと類似する領域（参照マクロブロック）を差分自乗和などを評価関数として用いて算出する。そして、該符号化対象マクロブロックと該参照マクロブロックとの予測差分マクロブロックに対し、代表的な直交変換の一つである離散コサイン変換（ＤＣＴ）を施し、得られた変換係数ブロックを量子化し可変長符号化する。
【０００４】
該予測差分マクロブロックにＤＣＴを施す際、一般的な入力画像信号を符号化する場合には１６×１６ＤＣＴではＤＣＴ変換係数の低周波成分への集中度が少ないため、実際には図７に示すように、該予測差分マクロブロックの輝度信号を４つのブロック（８×８画素）に分割し、各ブロックごとに８×８ＤＣＴを行うのが一般的である。該予測差分マクロブロックの色差信号（Ｃｂ，Ｃｒ）のブロックについては分割すること無く、８×８画素ブロックに対してＤＣＴを施す。
【０００５】
ＤＣＴの変換基底は８×８であり、動き補償・予測差分算出・量子化はそれぞれ各マクロブロックに閉じた処理であるため、インターマクロブロック符号化処理は該符号化対象マクロブロックの近傍マクロブロックの符号化処理の影響を受けることは無い。ゆえに、復号器で得られる復号マクロブロック内の各ブロック
【０００６】
【外１】
【０００７】
【外２】
【０００８】
【外３】
【０００９】
【数１】
【００１０】
【外４】
【００１１】
【外５】
【００１２】
【外６】
【００１３】
【外７】
【００１４】
【外８】
【００１５】
【外９】
【００１６】
なお、符号化対象マクロブロックごとにイントラ符号化・インター符号化を適応的に選択する際のイントラマクロブロック符号化処理は、各符号化対象マクロブロックに閉じた処理であるため、インターマクロブロックの符号化処理と同様に近傍のマクロブロックの影響を受けることは無い。
【００１７】
【数２】
【００１８】
離散ウェーブレット変換は、階層的なサブバンド分割と同様に、入力画像を解像度の異なる周波数帯域成分に分解する。分解された変換係数の総数は原画像の画素数と同じであるが、ＤＣＴと同様より低い周波数成分に信号エネルギーが集中したものになる。
【００１９】
ウェーブレット変換係数は、１次元のフィルタバンクとサブサンプリング処理によって求められる。図８（ａ）に示すように、画像Ｘ（ｚ）の水平方向について低域フィルタ（Ｈl(z)）、および高域フィルタ（Ｈh(z)）出力を求め、その出力を１／２（↓２）に間引く。さらに、同様の処理を垂直方向に適用することにより、４成分ＬＬ1，ＬＨl，ＨＬl，ＨＨlに分解される。この内、もっとも低い周波数成分ＬＬlをＬＬ2，ＬＨ2，ＨＬ2，ＨＨ2に再分解する。この処理を必要なレベル数繰り返すことにより、図９に示す画像のオクターブ分割を求めることができる。再生過程においては、図８（ｂ）帯域成分ＬＬi+1，ＬＨi+1の垂直方向の各係数間にゼロ値を挿入（↑２）し、その垂直方向にそれぞれ合成フィルタＦl(z)、、Ｆh(z)を施し、それらの出力の和を求める。同様の処理を水平方向にＨＬi+1，ＨＨi+1成分に行う。すなわち得られた２成分に、水平方向に同様のフィルタ処理を行うことにより、ＬＬi成分が合成される。この合成処理を必要なレベル数だけ繰り返すことにより、画像の再生値が得られる。画像が完全再構成されるためには、分解・合成フィルタは次の条件を満たしていなければならない。
【００２０】
【数３】
【００２１】
入力画像信号や動き補償予測差分信号に水平・垂直ウェーブレット変換を施して得られたウェーブレット変換係数はＤＣＴ変換係数と同様に、量子化され可変長符号化される。一般的に、最低周波数帯域ＬＬを除く他の高周波数帯域内のウェーブレット変換係数値は、０近傍に集中するラプラス分布で近似可能なため、エントロピー符号化の効率改善を考慮し、センターデッドゾーン付きスカラー量子化が用いられることが多い。そして、量子化後のウェーブレット変換係数をＲｕｎ−Ｌｅｎｇｔｈ符号化，Ｒｕｎ−Ｌｅｖｅｌ符号化などを用いて可変長符号化し発生符号量を低減する。
【００２２】
図１１に、一次元入力信号（Ｐn）に対して、分解低域フィルタ（Ｈl(z)）として５タップフィルターを用い、ウェーブレット周波数帯域分割処理を再帰的に３回行い、該一次元入力信号を４つの周波数帯域に帯域分割した場合の周波数帯域分割例を示す。該一次元入力信号は離散ウェーブレット変換を１回行うことにより、Ｈ成分とＬ成分に分解される。この時、
【００２３】
【外１０】
【００２４】
離散ウェーブレット変換の各再帰分割におけるフィルタ処理は前記５タップのフィルタを用いるが、前段の再帰分割における低域フィルタ出力に対して再帰的に離散ウェーブレット変換を行うため、実際１つの変換係数を算出するには、より長いタップのフィルタを該一次元入力信号に施すこととなる。この実際のタップ長を実効タップ長と定義する。前記５タップの分解低域フィルタで３回周波数帯域分割を行う場合、図１１に示すように該ＬＬＬ成分帯域内の変換係数
【００２５】
【外１１】
【００２６】
さらに、これを一般化し、同様にｎタップの低域フィルタを用いて周波数帯域分割をｍ回行った場合、ｎが奇数ならば最低周波数帯域のタップ長（Ｌm,n）は（７）式で表される。
【００２７】
【数４】
【００２８】
離散ウェーブレット変換の他にも、隣接する符号化対象マクロブロックに変換基底が重複する直交変換がいくつか提案されている。H.S.Malvar らの LOT: Lapped Orthogonal Transform, MLT: Modified Lapped Transform（文献、H.S.Malvar, "Lapped Transform for Efficient Transform/Subband Coding", IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol. ASSP-38, No.6, pp.969-978, June 1990）、そして J.P.Princen らの Single Side Band Analysis/Synthesis（文献、J.P.Princen and A.B.Bradley, "Analysis/Synthesis Filter Bank Design Based on Time Domain Aliasing Cancellation", IEEE Transactions on Acoustics, Speech, and Signal Processing, Vol. ASSP-34, No.5, pp.1153-1161, Oct. 1986）などが提案されている。これらのオーバーラップブロック構成を持った直交変換をここでは重複ブロック直交変換と呼ぶことにする。
【００２９】
Ｎ点ＤＣＴではＮサンプルの入力ブロックに対してＮ個の変換係数が得られるが、これに対し、図１２に示すように、重複ブロック直交変換では、ブロックｉを符号化する際、隣接する前後の符号化対象ブロックにＮ／２画素づつオーバーラップした２Ｎサンプルの入力ブロックＸiに対してＮ個の変換係数Ｙiが得られる。一方逆変換はＮ個の変換係数Ｙiから２Ｎ個の逆変換行列
【００３０】
【外１２】
【００３１】
【外１３】
【００３２】
【外１４】
【００３３】
一般的にＮは８画素であるため、重複ブロック直交変換の実効タップ長は、符号化対象マクロブロック内の各ブロックを中心とする１６タップとなる。
【００３４】
また、ＤＣＴはその変換基底がマクロブロック・ブロックの中に閉じているため、（１）、（２）式に示したように、符号化対象ブロックや該符号化対象ブロックのそれぞれ対応する参照ブロックのみを用いて復号ブロックを一意に規定することが可能であるが、図１３に示すように、離散ウェーブレット変換や重複ブロック直交変換を用いる場合は該符号化対象マクロブロックの近傍のマクロブロックにフィルタの実効タップ長が及ぶため、フィルタ処理対象の入力画素列が複数のマクロブロックをまたがってしまい、各隣接するマクロブロック境界での非連続な信号に対して直交変換を施すこととなる。
【００３５】
符号化対象マクロブロックと、該符号化対象マクロブロックの隣接マクロブロックとの境界で、予測差分画像の信号が非連続となる理由は幾つか考えられる。一つ目の理由は、符号化対象マクロブロックおよびその隣接のマクロブロックの、それぞれの参照するマクロブロックの場所が連続していないことに起因する。分解低域フィルタとして該５タップのフィルタを用いて、図１３のインターマクロブロック
【００３６】
【外１５】
【００３７】
【外１６】
【００３８】
【外１７】
【００３９】
【数５】
【００４０】
【外１８】
【００４１】
【外１９】
【００４２】
【外２０】
【００４３】
この隣接するインターマクロブロックのそれぞれの参照マクロブロック同士が非連続となる問題は、該インターマクロブロックの動きベクトルが一致していない場合であり、該動きベクトルが等しい場合は該参照マクロブロック同士が連続した信号となるため符号化効率は低下しない。さらに、該動きベクトルが一致しない場合も、オーバーラップブロック動き補償（ＯＢＭＣ）が提案されており、ＯＢＭＣを用いて予測画像を生成することにより予測信号を比較的連続した信号に整形することが可能であるため、符号化効率がほとんど低下しないことも証明されている。ＯＢＭＣはＨ．２６３に提案されて、すでに採用されている。
【００４４】
二つ目の理由は、離散ウェーブレット変換の実効タップ長内あるいは重複ブロック直交変換の変換基底長内に存在するインターマクロブロックの動きベクトルがすべて一致している場合でも、符号化対象マクロブロックおよび、実効タップ長あるいは変換基底長内に存在するマクロブロックにおいて、イントラ・インター符号化のいずれを用いて各マクロブロックを符号化するかが異ることに起因する。例として、図１３のイントラマクロブロック
【００４５】
【外２１】
【００４６】
【外２２】
【００４７】
【外２３】
【００４８】
【外２４】
【００４９】
【数６】
【００５０】
【外２５】
【００５１】
【外２６】
【００５２】
【外２７】
【００５３】
【外２８】
【００５４】
【外２９】
【００５５】
【外３０】
【００５６】
【数７】
【００５７】
さらに、以上の例では分解低域フィルタ（Hl(z)）のタップ長のみで実効タップ長を規定したが、実際には、これとは独立に分解高域フィルタ（Ｈh(z)）も存在する。分解高域フィルタは一般的に分解低域フィルタより長いフィルタを用いることが多いため、例えばＬＬＨ成分帯域内の変換係数を算出するための実効タップ長はＬＬＬ成分帯域のそれと比較してさらに大きな値となる可能性もある。
【００５８】
【発明が解決しようとする課題】
イントラ符号化・インター符号化をマクロブロックごとに選択的に切替えて動き補償予測符号化を行い、動き補償による予測差分信号に対し、離散ウェーブレット変換などの周波数帯域分割や、隣接するマクロブロックに変換基底が及ぶ重複ブロック直交変換あるいはその他の変換符号化を用いて符号化する際に、イントラ符号化を行うあるマクロブロックの予測値として、該マクロブロックの直流値もしくは該マクロブロック内の各ブロックごとの直流値を用いた場合、該マクロブロックの近傍のマクロブロックの符号化形態によらず、予測差分信号が非連続な信号となる。重複ブロック直交変換の変換基底長や離散ウェーブレット変換の実効タップ長は、該符号化対象マクロブロック近傍のマクロブロックに及ぶため、該非連続な信号を変換符号化することとなり、符号化効率が低下する。
【００５９】
ある符号化対象マクロブロックをインター符号化する場合においても、ＯＢＭＣを利用することにより隣接するインターマクロブロック間境界での予測差分信号を比較的連続な信号に整形することが可能であるが、インターマクロブロック−イントラマクロブロック境界での予測差分信号を整形することはできない。このため該近傍マクロブロックの中にイントラ符号化を行うマクロブロックが一つでも存在する場合、予測画像内において該イントラマクロブロックに対応する位置の近傍に非連続な信号が生じ、該符号化対象インターマクロブロックの符号化効率が低下する。
【００６０】
本発明の目的は、マクロブロックごとにイントラ符号化・インター符号化を選択的に切替え、その動き補償予測差分画像に対し、離散ウェーブレット変換などのサブバンド分割、もしくは重複ブロック直交変換などを施し、符号化する際に、上記問題点を解決し、イントラマクロブロック・インターマクロブロックを選択的に切替えた場合にも、イントラマクロブロック近傍で生じる予測差分信号の非連続性を減少させ、離散ウェーブレット変換などのサブバンド分割符号化、もしくは重複ブロック直交変換による符号化効率を改善する方法および装置を提供することにある。
【００６１】
【課題を解決するための手段】
本発明は、入力画像を符号化するに当り、符号化対象画像をマクロブロックに分割し、該マクロブロックごとにインター符号化するかあるいはイントラ符号化するかを選択的に切替え、予測画像および予測差分画像を生成し、該予測差分画像に対し離散ウェーブレット変換などのサブバンド分割を用いて符号化するか、変換基底が隣接するマクロブロックにおよぶ重複ブロック直交変換を用いて符号化するか、あるいはその他の変換符号化を用いて符号化する動画像符号化方法において、インター符号化されるマクロブロックの参照マクロブロック内の画素の平均値およびイントラ符号化されるマクロブロック内の画素の平均値より直流値予測画像を生成し、符号化対象画像内のある符号化対象マクロブロックをイントラ符号化するに当り、該直流値予測画像内において該符号化対象マクロブロックに対応する位置にあるマクロブロックを該符号化対象マクロブロックの予測値として予測画像および予測差分画像を生成することにより、該予測画像および該予測差分画像内においてイントラ符号化を行うマクロブロックの近傍の信号を比較的連続な信号に整形し符号化効率を改善する。
【００６２】
具体的には、図１に示すように、符号化対象画像を符号化対象矩形単位であるマクロブロックに分割し、該符号化対象マクロブロックごとに動き予測を行い参照相対位置を算出し、該符号化対象マクロブロックごとに、該符号化対象マクロブロックをイントラ符号化するかインター符号化するかの符号化形態を選択し、該符号化形態を符号化データとして出力（図１（ａ））する。
【００６３】
インター符号化されるマクロブロックに関しては、該マクロブロックの動きベクトルを符号化データとして出力（図１（ｂ））し、参照画像内において該動きベクトルにより指し示される参照マクロブロックと、符号化対象マクロブロックの差分である、予測差分ブロックは予測差分画像フレームメモリに蓄積（図１（ｃ））される。同時に、該参照マクロブロック内の画素の平均値が算出され、直流値メモリに蓄積（図１（ｄ））される。
【００６４】
イントラ符号化されるマクロブロックに関しては、まず該イントラマクロブロックの平均値が算出され、該平均値をインターマクロブロックの参照マクロブロックの平均値と同様直流値メモリに蓄積（図１（ｅ））される。
【００６５】
直流値メモリにはイントラ符号化される符号化対象マクロブロックの平均値と、インター符号化される符号化対象マクロブロックの参照マクロブロックの平均値からなる拡大前の直流値予測画像が蓄積されており、該拡大前の直流値予測画像を拡大することにより直流値予測画像を生成する。該拡大前の直流値予測画像を拡大する際には、符号化器・復号器で共通に用いられる一般的な低域通過フィルタを施す。該一般的な低域通過フィルタとしては逆離散ウェーブレット変換などのサブバンド合成フィルタが考えられる。あるいは該拡大前の直流値予測画像内の各該平均値を重複ブロック直交変換の最低次係数として、逆重複ブロック直交変換を施す方法も考えられる。
【００６６】
そして、該直流値予測画像内において、イントラ符号化するマクロブロックに対応する位置のマクロブロックを切りだし、該マクロブロックと符号化対象マクロブロックの差分である予測差分ブロックを算出し、予測差分画像フレームメモリに蓄積（図１（ｆ））する。
【００６７】
予測差分画像フレームメモリに蓄積された該予測差分画像に対して、離散ウェーブレット変換などのサブバンド合成フィルタを施すか、あるいは重複ブロック直交変換を施すことにより、変換係数を算出し、該変換係数を量子化、可変長符号化を行い符号化データとして出力（図１（ｇ））する。
【００６８】
なお、イントラマクロブロックの直流値（平均値）としてマクロブロック内の平均値の代りとして、イントラマクロブロックをさらに細かい矩形単位に分割し、各矩形単位ごとに平均値を算出し、符号化データとして出力するようにしてもよい。
【００６９】
また、イントラマクロブロックの直流値（平均値）として用いた、マクロブロック内の平均値の代りに、該マクロブロックの近傍の画素を含めた広い範囲に低域通過フィルタを施すことで加重平均値を算出し、該加重平均を前記直流値として用いてもよい。
【００７０】
本発明の、上記動画像符号化方法を用いた符号化データを復号する方法は、符号化形態を示す符号を復号し、該符号化形態がイントラ符号化の場合には復号マクロブロックの平均値を復号し、インター符号化の場合には動きベクトルを復号し、参照マクロブロックの平均値を算出し、すべてのマクロブロックについて算出された、該復号マクロブロックの平均値あるいは該参照マクロブロック内の平均値より直流値予測画像を生成し、該符号化形態としてイントラ符号化が選択されている場合、該直流値予測画像内において該復号マクロブロックと同位置にあるマクロブロックを該復号マクロブロックの予測値として復号する。
【００７１】
具体的には、図２に示すように、まず符号化データより各マクロブロックの符号化形態を示す符号を復号（図２（ａ））し、該符号化形態がイントラ符号化の場合にはイントラマクロブロックの平均値を復号（図２（ｂ））し、インター符号化の場合には動きベクトルを復号し（図２（ｃ））、参照マクロブロックの平均値を算出する（図２（ｄ））。
【００７２】
イントラマクロブロックの平均値および参照マクロブロックの平均値に対し、符号化器と同様に逆離散ウェーブレット変換などのサブバンド合成フィルタを施すか、あるいは逆重複ブロック直交変換を施すか、あるいは低域通過フィルタを施すことにより、直流値予測画像を生成（図２（ｅ））する。該直流値予測画像を生成する処理は符号化器と同様な処理である。
【００７３】
該直流値予測画像内においてイントラ符号化するマクロブロックに対応するマクロブロックと、インター符号化するマクロブロックの参照マクロブロックを、符号化データより復号された予測差分信号に加算することにより復号画像を算出する。
【００７４】
イントラマクロブロックの画素平均値とインターマクロブロックの参照マクロブロックの画素平均値より直流値予測画像を生成し、該直流値予測画像内において該イントラマクロブロックに対応するマクロブロックを該イントラマクロブロックの予測値として予測差分画像を生成し、符号化することにより、予測画像信号および予測差分画像信号を比較的連続した信号に整形し、符号化効率を改善することが可能である。
【００７５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００７６】
図３は、本発明の一実施形態の動画像符号化方法による符号化器の構成図である。
【００７７】
符号化器では、まず始めに符号化対象画像１がブロック分割部２に入力され、符号化対象マクロブロック３に分割される。符号化対象マクロブロック３はフレームメモリ４に記録されている過去に符号化済みの参照画像５とともに動き予測部６に入力され、各マクロブロックごとに動きベクトル７を算出する。
【００７８】
動きベクトル７は参照画像５とともに参照ＭＢ切り出し部８に入力され、参照画像５内において符号化対象マクロブロック１から動きベクトル７の相対位置にあるマクロブロックを参照マクロブロック９として切り出す。参照マクロブロック９は参照ＭＢ平均値算出部１０に入力され、参照ＭＢ内の画素平均値１１を算出し、選択器１２に出力する。これと並行して、符号化対象マクロブロック３は符号化対象ＭＢ平均値算出部１３に入力され、符号化対象ＭＢ内の画素平均値１４を算出し、同様に選択器１２に出力する。
【００７９】
符号化対象マクロブロック３と参照マクロブロック９は符号化形態選択部１５に入力され、各符号化対象マクロブロックごとにインター符号化を行うかイントラ符号化を行うかを選択し、符号化形態１６を選択器１２に出力する。
【００８０】
選択器１２では入力された符号化形態１６に従い、符号化形態１６がイントラ符号化である場合には符号化対象ＭＢ内の画素平均値１４を選択し、インター符号化である場合には参照ＭＢ内の画素平均値１１を選択し、選択された平均値を直流値メモリ１７に出力する。
【００８１】
直流値メモリ１７には参照ＭＢ内に画素平均値１１あるいは符号化対象ＭＢ内の画素平均値１４により生成された拡大前の直流値予測画像１８が記録されており、これを直流値予測画像生成部１９に出力する。直流値予測画像生成部１９では、逆変換部２０と同様に周波数帯域合成、あるいは逆重複ブロック直交変換を拡大前の直流値予測画像１８に施すか、あるいは符号化器・復号器で前もって決定されている一般的な低域通過フィルタを施すなどして直流値予測画像２１を生成し、直流値予測ＭＢ切り出し部２２に出力する。直流値予測ＭＢ切り出し部２２では直流値予測画像２１内において符号化対象マクロブロックの場所にある直流値予測ブロック２３を切り出し、選択器２４に出力する。選択器２４では符号化形態１６にしたがい、イントラ符号化されるマクロブロックに関しては直流値予測ブロック２３を選択し、インター符号化されるマクロブロックに関しては該マクロブロックに対応する参照マクロブロック９を選択し、選択されたマクロブロックを予測画像フレームメモリ２５に出力する。予測画像フレームメモリ２５に蓄えられた予測画像２６は減算器２７に入力され、ここで符号化対象画像１より予測画像２６を減算し、予測差分画像２８を生成する。
【００８２】
予測差分画像２８は変換部２９に入力され、ここで離散ウェーブレット変換などのサブバンド分割や、もしくは予測差分画像２８を変換単位に分割し重複ブロック直交変換を施すことにより変換係数３０を出力する。変換係数３０は量子化部３１にて量子化され量子化後係数３２として係数符号化部３３に出力される。そして、量子化後係数３２は係数符号化部３３にてエントロピー符号化され、出力係数データ３４として多重化部３５に出力される。
【００８３】
また、量子化後係数３２は逆量子化部３６に入力され、量子化部３１で用いた量子化方法に対応する逆量子化方法を用いて逆量子化され、逆量子化後係数３７を生成し逆変換部２０に出力される。逆変換部２０では、変換部２９においてサブバンド分割を用いて周波数帯域分割をした場合にはサブバンド合成フィルタを施して周波数帯域合成を行ない、ＬＯＴのような重複ブロック直交変換を用いて符号化した場合には各該変換単位ごとに該重複ブロック直交変換に対応する逆重複ブロック直交変換を施すことにより復号予測誤差３８を算出し、これを加算器３９にて予測画像２６に加算することにより局部復号画像４０を算出し、これをフレームメモリ４に蓄積する。
【００８４】
また、符号化対象ＭＢ内の画素平均値１４、動きベクトル７、および符号化形態１６は復号器における復号処理に必要であるため、多重化部３５に出力される。
【００８５】
多重化部３５では、各マクロブロックごとに、符号化対象マクロブロックの符号化形態１６がインターマクロブロックである時はインター符号化を示す符号と動きベクトル７を、イントラマクロブロックである時はイントラ符号化を示す符号と符号化対象ＭＢ内の画素平均値１４を多重化し、さらにこれと出力係数データ３４を多重化して符号化データ４１を出力する。
【００８６】
図４は、本発明の一実施形態の動画像復号方法による復号器の構成図である。
【００８７】
復号器では、まず始めに符号化データ４１が分離部５１に入力され、係数データ５２、符号化形態データ５３、イントラ平均値データ５４、動きベクトルデータ５５に分離される。
【００８８】
係数データ５２は係数復号部５６に入力され、Ｒｕｎ−Ｌｅｎｇｔｈ復号、Ｒｕｎ−Ｌｅｖｅｌ復号などの可変長復号を行い、量子化後変換係数５７が出力される。量子化後変換係数５７は逆量子化部５８に入力され、符号化器における逆量子化部３６と同様な処理で逆量子化を行い変換係数５９を出力する。逆変換部６０では入力された変換係数５９に対し、符号化器における逆変換部２０で行われた逆変換と同様な処理が行われ、予測差分画像６１が出力される。
【００８９】
符号化形態データ５３は符号化形態復号部６２にて復号され、符号化形態６３が出力される。符号化形態６３がイントラ符号化の場合は、イントラ平均値復号部６４においてイントラ平均値データ５４が復号され、イントラＭＢ平均値６５が選択器６６に出力される。同様に、符号化形態６３がインター符号化の場合は、動きベクトル復号部６７において動きベクトルデータ５５が復号され、動きベクトル６８が参照ＭＢ切り出し部６９に出力される。参照ＭＢ切り出し部６９では、既に復号済みの過去のフレームを蓄積しているフレームメモリ７０より参照画像７１が入力され、参照画像７１内において動きベクトル６８の相対位置のマクロブロックを参照マクロブロック７２として参照ＭＢ平均値算出部７３に出力する。参照ＭＢ平均値算出部７３は符号化器の参照ＭＢ平均値算出部１０と同じ構成を持つ回路であり、参照ＭＢ内の画素平均値７４を同様に選択器６６に出力する。
【００９０】
選択器６６では入力された符号化形態６３に従い、符号化形態６３がイントラ符号化である場合にはイントラＭＢ平均値６５を選択し、インター符号化である場合には参照ＭＢ内の画素平均値７４を選択し、選択された平均値を直流値メモリ７５に出力する。
【００９１】
直流値メモリ７５には参照ＭＢ内の画素平均値７４あるいはイントラ平均値６５により生成された拡大前の直流値予測画像７６が記録されており、これを直流値予測画像生成部７７に出力する。直流値予測画像生成部７７は符号化器における直流値予測画像生成部１９と同様な処理を行う回路であり、拡大前の直流値予測画像７６に対して逆変換部６０と同様の変換を施すかあるいは符号化器で用いた低域通過フィルタと同じフィルタを用いて直流値予測画像７８を生成し、直流値予測ＭＢ切り出し部７９に出力する。直流値予測ＭＢ切り出し部７９では直流値予測画像７８内において符号化対象マクロブロックの場所にある直流値予測ブロック８０を切り出し、選択器８１に出力する。選択器８１では符号化形態６３にしたがい、イントラ符号化されるマクロブロックに関しては直流値予測ブロック８０を選択し、インター符号化されるマクロブロックに関しては該マクロブロックに対応する参照マクロブロック７２を選択し、選択されたマクロブロックを予測画像フレームメモリ８２に出力する。
【００９２】
予測画像フレームメモリに蓄積された予測画像８３は加算器８４に入力され、ここで予測差分画像６１に加算され、復号画像８５を出力する。なお、復号画像８５は次のフレーム以降の復号に必要であるため、フレームメモリ７０に出力され、蓄積される。
【００９３】
図５は本発明の他の実施形態の符号化器の構成図で、パソコン等のコンピュータ上で実施するものである。
【００９４】
入力装置９１は符号化対象画像１を入力するための入力装置である。記憶装置９２は図３中のフレームメモリ４、直流値メモリ１７、予測画像フレームメモリ２５に相当する。記憶装置９３はハードディスクである。送信装置９４は符号化データ４１を復号器に送信する。記録媒体９５は図３中の各部の処理からなる動画像符号化プログラムを記録した、フロッピィ・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク等の記録媒体である。データ処理装置９６は記録媒体９５から動画像符号化プログラムを読み込んで、これを実行するＣＰＵである。
【００９５】
図６は本発明の他の実施形態の復号器の構成図で、パソコン等のコンピュータ上で実施するものである。
【００９６】
受信装置１０１は送信装置９４から送信された符号化データ４１を受信する受信装置である。記憶装置１０２は図４中のフレームメモリ７０、直流値メモリ７５、予測画像フレームメモリ８２に相当する。記憶装置１０３はハードディスクである。出力装置１０４は復号画像８５を表示するディスプレイである。記録媒体１０５は図４中の各部の処理からなる動画像復号プログラムを記録した、フロッピィ・ディスク、ＣＤ−ＲＯＭ、光磁気ディスク等の記録媒体である。データ処理装置１０６は記録媒体１０５から動画像復号プログラムを読み込んで、これを実行するＣＰＵである。
【００９７】
【発明の効果】
以上説明したように、本発明によれば、符号化対象矩形単位をインター符号化、あるいはイントラ符号化として選択的に切替えて符号化するにあたり、イントラマクロブロック近傍で生じる予測画像および予測差分信号の非連続性を減少させ、離散ウェーブレット変換などのサブバンド分割符号化、もしくは重複ブロック直交変換による符号化効率を改善することができる。
【図面の簡単な説明】
【図１】本発明の動画像符号化方法の原理を説明する図である。
【図２】本発明の動画像復号方法の原理を説明する図である。
【図３】本発明の一実施形態の動画像符号化器の構成図である。
【図４】本発明の一実施形態の動画像復号器の構成図である。
【図５】本発明の他の実施形態の動画像符号化器の構成図である。
【図６】本発明の他の実施形態の動画像復号器の構成図である。
【図７】予測差分マクロブロックにＤＣＴを施す場合のマクロブロックの分割の説明図である。
【図８】離散ウェーブレット変換の説明図である。
【図９】画像のオクターブ分割を示す図である。
【図１０】分解および合成フィルタ係数の相互関係を示す図である。
【図１１】一次元入力信号（Ｐn）の周波数帯域分割例を示す図である。
【図１２】重複ブロック直交変換を示す図である。
【図１３】インターマクロブロックを示す図である。
【図１４】符号化対象ブロックおよび隣接するマクロブロックの輝度信号の分割例を示す図である。
【図１５】符号化対象ブロックおよび隣接するブロックの入力信号、直流値、予測差分信号を示す図である。
【符号の説明】
１ 符号化対象画像
２ ブロック分割部
３ 符号化対象マクロブロック
４ フレームメモリ
５ 参照画像
６ 動き予測部
７ 動きベクトル
８ 参照ＭＢ切り出し部
９ 参照マクロブロック
１０ 参照ＭＢ平均値算出部
１１ 参照ＭＢ内の画像平均値
１２ 選択器
１３ 符号化対象ＭＢ平均値算出部
１４ 符号化対象ＭＢ内の画素平均値
１５ 符号化形態選択部
１６ 符号化形態
１７ 直流値メモリ
１８ 拡大前の直流値予測画像
１９ 直流値予測画像生成部
２０ 逆変換部
２１ 直流値予測画像
２２ 直流値予測ＭＢ切り出し部
２３ 直流値予測ブロック
２４ 選択器
２５ 予測画像フレームメモリ
２６ 予測画像
２７ 減算器
２８ 予測差分画像
２９ 変換部
３０ 変換係数
３１ 量子化部
３２ 量子化後係数
３３ 係数符号化部
３４ 出力係数データ
３５ 多重化部
３６ 逆量子化部
３７ 逆量子化後係数
３８ 復号予測誤差
３９ 加算器
４０ 局部復号画像
４１ 符号化データ
５１ 分離部
５２ 係数データ
５３ 符号化形態データ
５４ イントラ平均値データ
５５ 動きベクトルデータ
５６ 係数復号部
５７ 量子化後変換係数
５８ 逆量子化部
５９ 変換係数
６０ 逆変換部
６１ 予測差分画像
６２ 符号化形態復号部
６３ 符号化形態
６４ イントラ平均値復号部
６５ イントラＭＢ平均値
６６ 選択器
６７ 動きベクトル復号部
６８ 動きベクトル
６９ 参照ＭＢ切り出し部
７０ フレームメモリ
７１ 参照画像
７２ 参照マクロブロック
７３ 平均値算出部
７４ 参照ＭＢ内の画素平均値
７５ 直流値メモリ
７６ 拡大前の直流値予測画像
７７ 直流値予測画像生成部
７８ 直流値予測画像
７９ 直流値予測ＭＢ切り出し部
８０ 直流値予測ブロック
８１ 選択器
８２ 予測画像フレームメモリ
８３ 予測画像
８４ 加算器
８５ 復号画像
９１ 入力装置
９２，９３ 記憶装置
９４ 送信装置
９５ 記録媒体
９６ データ処理装置
１０１ 受信装置
１０２，１０３ 記憶装置
１０４ 出力装置
１０５ 記録媒体
１０６ データ処理装置
Claims (14)
- 入力画像信号を符号化するに当り、符号化対象画像を矩形単位に分割し、該矩形単位ごとに動き予測を行うことで参照相対位置を算出するステップと、
イントラ符号化を行う符号化対象矩形単位について、該符号化対象矩形単位内の画素の平均値を算出し、該平均値を符号化データとして出力するステップと、
インター符号化を行う符号化対象矩形単位について、該参照矩形単位内の画素の平均値を算出し、該参照相対位置を符号化データとして出力するステップと、
ある該矩形単位を符号化対象矩形単位として符号化するにあたり、算出された該参照相対位置に存在する矩形単位である参照矩形単位を予測値として予測符号化、すなわちインター符号化するか、あるいは予測符号化を行わず該符号化対象矩形単位を直接符号化、すなわちイントラ符号化するかの、符号化対象矩形単位の符号化形態を選択的に切替えて符号化するステップと、
該選択された符号化形態を示す符号を符号化データとして出力するステップと、
すべての符号化対象矩形単位について算出された、該符号化対象矩形単位の平均値あるいは該参照矩形単位内の平均値より、該符号化対象画像の拡大前の直流値予測画像を生成するステップと、
該拡大前の直流値予測画像を拡大して直流値予測画像を生成するステップと、
予測画像を生成するにあたり、符号化形態としてイントラ符号化が選択されている符号化対象矩形単位の予測値として、該直流値予測画像内において該符号化対象矩形単位と同位置にある矩形単位をとり出すステップと、
該符号化対象画像と該直流値予測画像との差分信号を予測差分画像として変換符号化し、符号化データとして出力するステップと
を有する動画像符号化方法。 - 予測差分画像を変換符号化する際に、該予測差分画像に対し指定された回数サブバンド分割を繰り返すことで帯域分割を行い、また、前記拡大前の直流値予測画像を拡大して直流値予測画像を生成する際に、サブバンド符号化の低域合成フィルタを前記指定された回数繰り返し施すことで周波数帯域合成を行い、直流値予測画像を生成する、請求項１記載の符号化方法。
- 予測差分画像を変換符号化する際に、該予測差分画像を矩形単位に分割し、各矩形単位を中心に、変換基底が隣接する符号化対象矩形単位に及ぶ重複ブロック直交変換を用いて符号化し、また、前記拡大前の直流値予測画像を拡大して直流値予測画像を生成する際に、該平均値を各逆変換係数の最低次係数として該重複ブロック直交変換に対応する逆重複ブロック直交変換を施すことにより直流値予測画像を生成する、請求項１記載の動画像符号化方法。
- イントラ符号化を行う符号化対象矩形単位について、該符号化対象矩形単位内の画素の平均値を算出し該平均値を符号化データとして出力する際に、該符号化対象矩形単位を更に小さい矩形単位に再分割し、各小さい矩形単位ごとに平均値を算出し、それぞれ符号化データとして出力する、請求項１から３のいずれかに記載の動画像符号化方法。
- ある符号化対象矩形単位をイントラとして符号化するにあたり、該符号化対象矩形単位内の画素の平均値として該符号化対象矩形単位内および近傍の画素に対し加重平均を算出し、該加重平均値を該符号化対象矩形単位の平均値として符号化データとして出力する、請求項１から４のいずれかに記載の動画像符号化方法。
- 請求項１から請求項５のいずれか１項に記載の動画像符号化方法で符号化されたデータを復号する方法であって、
符号化形態を示す符号を復号するステップと、
復号された該符号化形態がイントラ符号化である場合には復号矩形単位の平均値を復号するステップと、
復号された符号化形態がインター符号化である場合には参照相対位置を示す符号を復号するステップと、
該参照画像内において該参照相対位置に存在する参照矩形単位を取り出すステップと、
該参照矩形単位の平均値を算出するステップと、
すべての矩形単位について算出された、該復号矩形単位の平均値あるいは該参照矩形単位内の平均値からなる拡大前の直流予測画像に対し、サブバンド分割を用いて符号化されている場合には、低域の合成フィルタを前記指定された回数繰り返し施すことで周波数帯域合成を行うことで直流値予測画像を生成し、あるいは重複ブロック直交変換を用いて符号化されている場合には、該平均値を各逆変換係数の最低次係数として該重複ブロック直交変換に対応する逆重複ブロック直交変換を施すことにより直流値予測画像を生成し、あるいは前記符号化方法において直流値予測画像を生成する際に用いた方法と同じ方法を用いて直流値予測画像を生成するステップと、
予測画像を生成するにあたり、該符号化形態としてイントラ符号化が選択されている復号矩形単位の予測値として、該直流値予測画像内において該復号矩形単位と同位置にある矩形単位をとり出すステップを有することを特徴とする動画像復号方法。 - 入力画像信号を符号化するに当り、符号化対象画像を矩形単位に分割し、該矩形単位ごとに動き予測を行うことで参照相対位置を算出し、ある該矩形単位を符号化対象矩形単位として符号化するにあたり、算出された該参照相対位置に存在する矩形単位である参照矩形単位を予測値として予測符号化、すなわちインター符号化するか、あるいは予測符号化を行わず該符号化対象矩形単位を直接符号化、すなわちイントラ符号化するかの、符号化対象矩形単位の符号化形態を選択的に切替えて、該選択された符号化形態を示す符号を符号化データとして出力し、符号化対象矩形単位ごとに選択された該符号化形態および、該参照矩形単位を元に予測画像および予測差分画像を生成し、サブバンド符号化を行う場合には該予測差分画像に対し指定された回数サブバンド分割を繰り返すことで帯域分割を行い、あるいは、変換基底が隣接する符号化対象矩形単位に及ぶ重複ブロック直交変換を用いて符号化する場合には、該予測差分画像を矩形単位に分割し、各矩形単位を中心に重複ブロック直交変換を行う動画像符号化装置において、
イントラ符号化を行う符号化対象矩形単位について、該符号化対象矩形単位内の画素の平均値を算出し、該平均値を符号化データとして出力する手段と、
インター符号化を行う符号化対象矩形単位について、該参照矩形単位内の画素の平均値を算出し、該参照相対位置を符号化データとして出力する手段と、
すべての符号化対象矩形単位について算出された、該符号化対象矩形単位の平均値あるいは該参照矩形単位内の平均値より、該符号化対象画像の拡大前の直流値予測画像を生成する手段と、
サブバンド分割を用いて符号化した場合には、該拡大前の直流値予測画像に対して低域の合成フィルタを前記指定された回数を繰り返し施すことで周波数帯域合成を行い、直流値予測画像を生成するか、あるいは重複ブロック直交変換を用いて符号化した場合には、該平均値を各逆変換係数の最低次係数として該重複ブロック直交変換に対応する逆重複ブロック直交変換を施すことにより直流値予測画像を生成するか、あるいは前記拡大前の直流値予測画像に低域通過フィルタを施すことで直流値予測画像を生成する手段と、
予測画像を生成するにあたり、符号化形態としてイントラ符号化が選択されている符号化対象矩形単位の予測値として、該直流値予測画像内において該符号化対象矩形単位と同位置にある矩形単位をとり出す手段と
を有することを特徴とする動画像符号化装置。 - 請求項７に記載の動画像符号化装置で符号化されたデータを復号する装置であって、
符号化形態を示す符号を復号する復号手段と、
復号された該符号化形態がイントラ符号化である場合には、復号矩形単位の平均値を復号する復号手段と、
復号された符号化形態がインター符号化である場合には参照相対位置を示す符号を復号する復号手段と、
該参照画像内において該参照相対位置に存在する参照矩形単位を取り出す手段と、
該参照矩形単位の平均値を算出する手段と、
すべての矩形単位について算出された、該復号矩形単位の平均値あるいは該参照矩形単位内の平均値に対し、サブバンド分割を用いて符号化されている場合には、低域の合成フィルタを前記指定された回数繰り返し施すことで周波数帯域合成を行うことで直流値予測画像を生成し、あるいは重複ブロック直交変換を用いて符号化されている場合には、該平均値を各逆変換係数の最低次係数として該重複ブロック直交変換に対応する逆重複ブロック直交変換を施すことにより直流値予測画像を生成し、あるいは前記符号化装置において直流値予測画像を生成する際に用いた方法と同じ方法を用いて直流値予測画像を生成する手段と、
予測画像を生成するにあたり、該符号化形態としてイントラ符号化が選択されている復号矩形単位の予測値として、該直流値予測画像内において該復号矩形単位と同位置にある矩形単位をとり出す手段と
を有する動画像復号装置。 - 入力画像信号を符号化するに当り、符号化対象画像を矩形単位に分割し、該矩形単位ごとに動き予測を行うことで参照相対位置を算出する手順と、
イントラ符号化を行う符号化対象矩形単位について、該符号化対象矩形単位内の画素の平均値を算出し、該平均値を符号化データとして出力する手順と、
インター符号化を行う符号化対象矩形単位について、該参照矩形単位内の画素の平均値を算出し、該参照相対位置を符号化データとして出力する手順と、
ある該矩形単位を符号化対象矩形単位として符号化するにあたり、算出された該参照相対位置に存在する矩形単位である参照矩形単位を予測値として予測符号化、すなわちインター符号化するか、あるいは予測符号化を行わず該符号化対象矩形単位を直接符号化、すなわちイントラ符号化するかの、符号化対象矩形単位の符号化形態を選択的に切替えて符号化する手順と、
該選択された符号化形態を示す符号を符号化データとして出力する手順と、
すべての符号化対象矩形単位について算出された、該符号化対象矩形単位の平均値あるいは該参照矩形単位内の平均値より、該符号化対象画像の拡大前の直流値予測画像を生成する手順と、
該拡大前の直流値予測画像を拡大して直流値予測画像を生成する手順と、
予測画像を生成するにあたり、符号化形態としてイントラ符号化が選択されている符号化対象矩形単位の予測値として、該直流値予測画像内において該符号化対象矩形単位と同位置にある矩形単位をとり出す手順を
該符号化対象画像と該直流値予測画像との差分信号を予測差分画像として変換符号化し、符号化データとして出力する手順と
をコンピュータに実行させるための動画像符号化プログラムを記録した記録媒体。 - 予測差分画像を変換符号化する際に、該予測差分画像に対し指定された回数サブバンド分割を繰り返すことで帯域分割を行い、また、前記拡大前の直流値予測画像を拡大して直流値予測画像を生成する際に、サブバンド符号化の低域合成フィルタを前記指定された回数繰り返し施すことで周波数帯域合成を行い、直流値予測画像を生成する、請求項９記載の記録媒体。
- 予測差分画像を変換符号化する際に、該予測差分画像を矩形単位に分割し、各矩形単位を中心に、変換基底が隣接する符号化対象矩形単位に及ぶ重複ブロック直交変換を用いて符号化し、また、前記拡大前の直流予測画像を拡大して直流値予測画像を生成する際に、該平均値を各逆変換係数の最低次係数として該重複ブロック直交変換に対応する逆重複ブロック直交変換を施すことにより直流値予測画像を生成する、請求項９記載の記録媒体。
- イントラ符号化を行う符号化対象矩形単位について、該符号化対象矩形単位内の画素の平均値を算出し該平均値を符号化データとして出力する際に、該符号化対象矩形単位を更に小さい矩形単位に再分割し、各小さい矩形単位ごとに平均値を算出し、それぞれ符号化データとして出力する、請求項９から１１のいずれかに記載の記録媒体。
- ある符号化対象矩形単位をイントラとして符号化するにあたり、該符号化対象矩形単位内の画素の平均値として該符号化対象矩形単位内および近傍の画素に対し加重平均を算出し、該加重平均値を該符号化対象矩形単位の平均値として符号化データとして出力する、請求項９から１２のいずれかに記載の記録媒体。
- 請求項９から請求項１３のいずれか１項に記載の動画像符号化プログラムで符号化されたデータを復号する動画像復号プログラムであって、
符号化形態を示す符号を復号する手順と、
復号された該符号化形態がイントラ符号化である場合には復号矩形単位の平均値を復号する手順と、
復号された符号化形態がインター符号化である場合には参照相対位置を示す符号を復号する手順と、
該参照画像内において該参照相対位置に存在する参照矩形単位を取り出す手順と、
該参照矩形単位の平均値を算出する手順と、
すべての矩形単位について算出された、該復号矩形単位の平均値あるいは該参照矩形単位内の平均値からなる拡大前の直流予測画像に対し、サブバンド分割を用いて符号化されている場合には、低域の合成フィルタを前記指定された回数繰り返し施すことで周波数帯域合成を行うことで直流値予測画像を生成し、あるいは重複ブロック直交変換を用いて符号化されている場合には、該平均値を各逆変換係数の最低次係数として該重複ブロック直交変換に対応する逆重複ブロック直交変換を施すことにより直流値予測画像を生成し、あるいは前記符号化プログラムにおいて直流値予測画像を生成する際に用いた方法と同じ方法を用いて直流値予測画像を生成する手順と、
予測画像を生成するにあたり、該符号化形態としてイントラ符号化が選択されている復号矩形単位の予測値として、該直流値予測画像内において該復号矩形単位と同位置にある矩形単位をとり出す手順と
をコンピュータに実行させるための動画像復号プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31083699A JP3701825B2 (ja) | 1999-11-01 | 1999-11-01 | 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および動画像符号化、復号プログラムを記憶した記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31083699A JP3701825B2 (ja) | 1999-11-01 | 1999-11-01 | 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および動画像符号化、復号プログラムを記憶した記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001128183A JP2001128183A (ja) | 2001-05-11 |
| JP3701825B2 true JP3701825B2 (ja) | 2005-10-05 |
Family
ID=18009986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31083699A Expired - Lifetime JP3701825B2 (ja) | 1999-11-01 | 1999-11-01 | 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および動画像符号化、復号プログラムを記憶した記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3701825B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102215392A (zh) * | 2010-04-09 | 2011-10-12 | 华为技术有限公司 | 用于估计像素值的帧内预测方法或装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1383339A1 (en) | 2002-07-15 | 2004-01-21 | Matsushita Electric Industrial Co., Ltd. | Memory management method for video sequence motion estimation and compensation |
| GB0321954D0 (en) * | 2003-09-18 | 2003-10-22 | Wave Ltd M | Data compression |
| JP4888919B2 (ja) | 2006-12-13 | 2012-02-29 | シャープ株式会社 | 動画像符号化装置および動画像復号装置 |
| JP4688170B2 (ja) * | 2007-01-26 | 2011-05-25 | 株式会社Ｋｄｄｉ研究所 | 動画像符号化装置 |
-
1999
- 1999-11-01 JP JP31083699A patent/JP3701825B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102215392A (zh) * | 2010-04-09 | 2011-10-12 | 华为技术有限公司 | 用于估计像素值的帧内预测方法或装置 |
| CN102215392B (zh) * | 2010-04-09 | 2013-10-09 | 华为技术有限公司 | 用于估计像素值的帧内预测方法或装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001128183A (ja) | 2001-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3118237B1 (ja) | 画像予測復号化方法 | |
| KR100723403B1 (ko) | 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치 | |
| JP5048146B2 (ja) | Ａｃ予測状態情報のためのビットプレーンコーディングおよびデコーディング | |
| JP5270166B2 (ja) | 多階層基盤のビデオエンコーディング方法、デコーディング方法及び前記方法を利用した装置 | |
| KR100703788B1 (ko) | 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더 | |
| US20120250760A1 (en) | Apparatus and Method for Generating a Coded Video Sequence and for Decoding a Coded Video Sequence by Using an Intermediate Layer Residual Value Prediction | |
| KR100999091B1 (ko) | 임의 크기의 가변 블록을 이용한 영상 압축 방법 및 장치 | |
| KR20090095317A (ko) | 영상 부호화 및 복호화 방법 및 장치 | |
| JPH07170520A (ja) | 映像信号の復合化方法 | |
| KR20060119736A (ko) | 영상 신호의 인코딩 방법 | |
| US8855198B2 (en) | Moving picture encoding method, moving picture decoding method, moving picture encoding device, moving picture decoding device, and computer program | |
| KR19980086613A (ko) | 중앙부의 화질을 최적화하기 위한 비디오 부호화 방법, 장치 및 프로그램 제품 | |
| JP3701825B2 (ja) | 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および動画像符号化、復号プログラムを記憶した記憶媒体 | |
| KR100964401B1 (ko) | 칼라 영상을 위한 인트라 부호화/복호화 방법 및 장치 | |
| WO2006132509A1 (en) | Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction | |
| KR100711025B1 (ko) | 동영상 표준 부호화 방식의 성능 향상을 위한 잔여신호 필터링 방법 | |
| JP3343554B1 (ja) | 画像予測復号化方法及び画像予測符号化装置 | |
| JP3169263B2 (ja) | 動画像データの符号化装置 | |
| JP3087864B2 (ja) | Ｈｄｔｖ信号用サブバンド符号化方式 | |
| US20060181650A1 (en) | Encoding method and device | |
| JP2005184525A (ja) | 画像処理装置 | |
| JP3343553B1 (ja) | 画像予測符号化装置及び方法 | |
| JPH09238350A (ja) | 動画像符号化装置 | |
| JP2002359852A (ja) | 画像予測復号化装置及び方法 | |
| JP3169147B2 (ja) | 動画像データの高能率符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050330 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050530 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050530 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050530 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050706 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050714 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080722 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090722 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090722 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100722 Year of fee payment: 5 |