JP3518717B2 - 動画像符号化装置および方法、並びに動画像復号化装置および方法 - Google Patents
動画像符号化装置および方法、並びに動画像復号化装置および方法Info
- Publication number
- JP3518717B2 JP3518717B2 JP08625397A JP8625397A JP3518717B2 JP 3518717 B2 JP3518717 B2 JP 3518717B2 JP 08625397 A JP08625397 A JP 08625397A JP 8625397 A JP8625397 A JP 8625397A JP 3518717 B2 JP3518717 B2 JP 3518717B2
- Authority
- JP
- Japan
- Prior art keywords
- wavelet
- image
- coefficient
- inverse
- wavelet coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
および方法、並びに動画像復号化装置および方法に関
し、特に、量子化誤差を少なくし、また、リンギングノ
イズの位相のフレーム毎の変化に起因する動画像の時間
的なばたつきを抑制するようにした動画像符号化装置お
よび方法、並びに動画像復号化装置および方法に関す
る。
る量子化処理では、通常、入力されたデータcに対して
次式の処理が施される。 c'= int(c/Q+0.5) (1) ここで、Qは量子化のためのステップサイズであり、int
()は切り捨て処理を行う関数を示す。これに対して、デ
ータを復元する逆量子化処理では、 c"=c'×Q (2) なる処理が施される。これらは、線形量子化(線形逆量
子化)と呼ばれるものであり、復元されたデータの値nQ
(nは整数)は、図25に示すように、量子化ステップ
で刻まれた範囲の中央の値となり、 nQ-Q/2≦c<nQ+Q/2 (3) の範囲の入力データすべてを代表することになる。
大きいデータに対しては、全体の量子化誤差を小さくす
るために、図27に示すように、分布度数が大きいレベ
ルほど小さな量子化ステップで量子化を行う、非線形量
子化法も提案されている。
例を表している。この動画像符号化装置1においては、
フレームメモリ12に符号化されるべき動画像データが
供給され、記憶されるようになされている。
リ12に保存された入力画像から、動きベクトルvを検
出する。動きベクトルの検出法としては、通常、16画
素×16画素の重ならない小領域としてのブロック単位
(以下、マクロブロックと呼ぶ)のブロックマッチング
が行われる。また、より高い精度を実現するために、半
画素単位のマッチングが行われる場合もある。
蔵し、現在、符号化すべき画像の各位置の画素値を、す
でに符号化が終了し、局部的に復号化して、このフレー
ムメモリ21に保存されている画像から予測する。時刻
tに入力された画像上の位置(i,j)における画素値I[i,j,
t]の予測値I'[i,j,t]は、この位置に対応する動きベク
トルv=(vx(i,j,t),vy(i,j,t))を用いて、次式のように
決定される。 I'[i,j,t]=(I[i',j',t-T]+I[i'+1,j',t-T]+ I[i',j'+1,t-T]+I[i'+1,j'+1,t-T])/4 (4) なお、i',j'は、次式で表される。 i'=int(i+vx(i,j,t)T) j'=int(j+vy(i,j,t)T) ここで、Tは、現在予測を行っている画像Iが入力された
時刻と、フレームメモリ上にある画像が入力された時刻
の差であり、(4)式右辺のI[i',j',t-T]、I[i'+1,j',t-
T]、I[i',j'+1,t-T]、I[i'+1,j'+1,t-T]は、フレームメ
モリ21上の画素値を表わす。また、int(x)はxを越え
ない最大の整数値を表している。
画素の値と、動き補償器20によって得られた予測値と
の差分を計算し、マクロブロック毎にその絶対値の総和
sを次のように算出する。
す。(5)式の値が予め設定されたしきい値T1よりも小さ
い場合には、そのマクロブロックに対応する各差分値を
出力する。これに対し、(5)式の値がしきい値T1よりも
大きい場合には、差分値ではなく、現在符号化すべき画
素の値をそのまま出力する。なお、差分画像生成器13
において、画素値そのものが出力されたマクロブロック
を、イントラマクロブロックと呼ぶ。また、イントラマ
クロブロック以外のマクロブロックを、インターマクロ
ブロックと呼ぶ。
すフラグfは、差分画像生成器13から可変長符号化器
/多重化器16に送られて、ビットストリームに多重化
されるとともに、画像加算器19に送られる。
は、8画素×8画素のブロックに対して2次元DCTを施
す。量子化器(Q)15は、DCT器14によって得られた
DCT係数cに対して、適当なステップサイズQを用いて次
式のような量子化処理を行う。 c'=int(c/Q) (6) 量子化の施されたDCT係数は、可変長符号化器/多重化
器16、および逆量子化器(Q-1)17に供給される。
られたのと同じステップサイズにより、次のように逆量
子化処理が行われる。 c"=c'×Q (7) 逆量子化の施されたデータは、IDCT器18によって、8
画素×8画素のブロックに対して逆DCTが行われる。
ら送られてくるフラグfに応じて、IDCT器18から出力
されたデータ、および動き補償器20から出力された予
測値から画素値を復元する。ここで、フラグfがイント
ラマクロブロックを示している場合には、IDCT器18か
らのデータそのものが画素値を表しているために、ここ
では何も行わない。これに対し、フラグfがインターマ
クロブロックであることを示している場合には、IDCT器
18からのデータに、動き補償器20から出力された予
測値を加算して、画素値を復元する。復元された画素値
は、動き補償器20に送られ、フレームメモリ21に保
存される。
化器15によって得られた量子化されたDCT係数、動き
ベクトル検出器11によって得られた動きベクトルv、
差分画像生成器13によって得られたフラグfに対して
可変長符号化、および多重化を施してビットストリーム
として、所定の伝送路に伝送したり、記録媒体に記録す
る。
り出力されたビットストリームの供給を受け、これを復
号化する動画像復号化装置の構成例を表している。この
動画像復号化装置31においては、はじめに逆多重化器
/可変長復号化器41によって動画像符号化装置1にお
ける可変長符号化器/多重化器16の逆処理が施され、
ビットストリームから、量子化の施されたDCT係数、動
きベクトルv、およびフラグfを復元する。得られたDCT
係数は逆量子化器42に、動きベクトルvは動き補償器
45に、フラグfは画像加算器44に、それぞれ供給さ
れる。
像符号化装置1における逆量子化器17およびIDCT器1
8と同様のものであり、それぞれにおいて、(7)式の逆
量子化処理が施され、その後、IDCTが施される。
像加算器19と同様のものであり、逆多重化器/可変長
復号化器41から送られてくるフラグfがイントラマク
ロブロックを示している場合には、IDCT器43からのデ
ータそのものを、またフラグfがインターマクロブロッ
クであることを示している場合には、IDCT器43からの
データに、動き補償器45によってすでに生成されてい
る予測値を加算した値を、それぞれ復元画像の画素値と
して出力する。これらの画素値は、予測画像を生成する
ために、動き補償器45のフレームメモリ46に保存さ
れる。
き補償器45と同様のものであり、可変長復号化器41
によって得られた動きベクトルv、およびすでにこの動
き補償器45が備えるフレームメモリ46に保存されて
いる画像を用いて、現在復号化すべき画像の各画素値の
予測を行う。
用いた動画像符号化装置と動画像復号化装置の従来例を
示す。これは、図28と図29におけるDCT器14、IDC
T器18,43を、ウエーブレット変換器51、逆ウエ
ーブレット変換器52,61に置き換えたものであり、
その他の量子化器15、逆量子化器17,42、動き補
償器20,45などは図28と図29のものと同様であ
る。
様に、イントラマクロブロックの判定を行うが、ここで
イントラマクロブロックと判定された場合には、そのマ
クロブロック内の画素値の平均値aveが次のように計算
される。
素×16画素)を表わしている。
値aveを引いた値が、差分値として出力され、ウエーブ
レット変換器51に送られる。一方、イントラマクロブ
ロックの平均値aveは、可変長符号化器/多重化器16
に送られるとともに、画像加算器19に送られ、画像の
復号に用いられる。
ックに対しては、逆ウエーブレット変換の施されたデー
タに対して、差分画像生成器13から送られてくるマク
ロブロック平均値aveを加算して画素値を復元する。
場合、DCTの場合と同様に、差分画像生成器13は、入
力された画素値と動き補償器20からの予測値との差を
出力し、これがウエーブレット変換器51でウエーブレ
ット変換される。画像加算器19は、逆ウエーブレット
変換器52により、逆ウエーブレット変換の施されたデ
ータに、動き補償器20によってすでに生成されている
予測画像の予測値を加算して、画素値を復元する。
ける逆ウエーブレット変換器61、画像加算器44、動
き補償器45においても、上述した場合と同様の復号化
動作が実行される。
成例を示す。
ータI[i,j]は、画像上における水平方向に対する周波数
帯域分割処理を施すために、解析用水平ローパスフィル
タ71、および解析用水平ハイパスフィルタ101に供
給される。これらのフィルタとしては、例えば図33
(A)(解析用水平ローパスフィルタ71)または
(B)(解析用水平ハイパスフィルタ101)に示すよ
うな係数を持つ線形フィルタを用いることができる。
の解析用フィルタ、およびウエーブレット合成で用いる
後述する図34の合成用フィルタは、次式の関係が完全
に、または近似的に満足されるように構成されている。 H0(-z)F0(z)+H1(-z)F1(z)=0 (9) H0(z)F0(z)+H1(z)F1(z)=2z-L (10) H0(z)、H1(z)、F0(z)、F1(z)は、それぞれ解析用ローパ
スフィルタ71,74,77,80,87,104、解
析用ハイパスフィルタ75,82,84,89,10
1,106、合成用ローパスフィルタ123,129,
143,152,158,162、合成用ハイパスフィ
ルタ127,147,149,156,166,168
の伝達関数であり、Lは任意の整数である。この拘束条
件によって、合成された信号が、帯域分割前の入力信号
と完全に、あるいは近似的に一致することが保証され
る。図34に示した合成用ローパスフィルタとハイパス
フィルタの係数の例を図35(A)と(B)に示す。
ルタ71は、入力された画像データI[i,j]から水平方向
の低周波成分である水平低周波数帯域信号L[i,j]を抽出
し、水平サブサンプリング器72に出力する。水平サブ
サンプリング器72は、次式に従って、1サンプル毎の
間引き処理を実行する。 X[i',j']=X[i,j], i'=i/2 (11) ただし、X=Lである。
タ74、または解析用垂直ハイパスフィルタ75におい
て必要となるデータを確保するための複数のラインメモ
リからなる記憶装置であり、垂直方向のフィルタリング
処理に用いられるフィルタのタップの数だけのラインメ
モリを備えている。解析用垂直ローパスフィルタ74、
または解析用垂直ハイパスフィルタ75として、例え
ば、図33に示す係数のフィルタを用いる場合、タップ
数の多いローパスフィルタに合わせて9本のラインメモ
リが設置される。
解析用垂直ハイパスフィルタ75では、垂直方向への周
波数帯域分割を行うために、メモリ73に保存されたデ
ータに対して、画像上における垂直方向へのローパスフ
ィルタリング処理、およびハイパスフィルタリング処理
が行われる。ここで用いるフィルタは、水平方向へのフ
ィルタリング処理で用いるもの(解析用水平ローパスフ
ィルタ71または解析用水平ハイパスフィルタ101)
と同じものを用いることもできる。
は、画像データI[i,j]から水平高周波数帯域信号H[i,j]
を分離し、水平サブサンプリング器102は、上記した
(11)式に従って、間引き処理を施し(ただし、この場
合、X=H)、メモリ103に記憶させる。
用垂直ハイパスフィルタ106は、解析用垂直ローパス
フィルタ74と解析用垂直ハイパスフィルタ75におけ
る場合と同様に、画像上における垂直方向へのローパス
フィルタリング処理とハイパスフィルタリング処理を行
う。
平低周波数帯域信号L[i',j]に対する解析用垂直ローパ
スフィルタ74の出力信号LL[i',j]と解析用垂直ハイパ
スフィルタ75の出力信号LH[i'j,]、および水平サブサ
ンプリング器102の出力する水平高周波数帯域信号H
[i',j]に対する解析用垂直ローパスフィルタ104の出
力信号HL[i',j]と解析用垂直ハイパスフィルタ106の
出力信号HH[i',j]は、それぞれ垂直サブサンプリング器
76,91,105,107に供給され、画像上におけ
る垂直方向のサブサンプリング処理、すなわち、1ライ
ン毎の間引き処理が次式のように行われる。 X[i',j']=X[i',j], j'=j/2 (12) X=LL,LH,HLまたはHH
07で垂直サブサンプリング処理の施された、各周波数
帯域信号LH[i',j']、HL[i',j']、HH[i',j']は、そのま
ま、ウエーブレット変換器51から量子化器15に出力
される。
力される、水平方向、垂直方向ともにローパスフィルタ
の施された信号LL[i',j']は、2段目の解析用水平ロー
パスフィルタ77、および解析用水平ハイパスフィルタ
84への入力信号とされる。以下、上述した解析用水平
ローパスフィルタ71、水平サブサンプリング器72、
メモリ73、解析用垂直ローパスフィルタ74、解析用
垂直ハイパスフィルタ75、垂直サブサンプリング器7
6,91における場合と同様の処理が、解析用水平ロー
パスフィルタ77、水平サブサンプリング器78、メモ
リ79、解析用垂直ローパスフィルタ80、解析用垂直
ハイパスフィルタ82、垂直サブサンプリング器81,
83において行われる。
タ101、水平サブサンプリング器102、メモリ10
3、解析用垂直ローパスフィルタ104、解析用垂直ハ
イパスフィルタ106、垂直サブサンプリング器10
5,107における場合と同様の処理が、解析用水平ハ
イパスフィルタ84、水平サブサンプリング器85、メ
モリ86、解析用垂直ローパスフィルタ87、解析用垂
直ハイパスフィルタ89、垂直サブサンプリング器8
8,90において行われる。これにより、帯域分割のな
された信号LLLL[i'',j''],LHLL[i'',j''],HLLL[i'',
j''],HHLL[i'',j'']が生成される。
LLLL[i",j"]、LHLL[i",j"]、HLLL[i",j"]、HHLL[i",
j"]、およびLH[i',j']、HL[i',j']、HH[i',j']が、各周
波数帯域に対応するウエーブレット係数となる。
換器52(逆ウエーブレット変換器61も同様に構成さ
れている)では、図32に示したウエーブレット変換器
51によって得られた各周波数帯域信号、すなわちウエ
ーブレット係数LLLL[i",j"]、LHLL[i",j"]、HLLL[i",
j"]、HHLL[i",j"]、およびLH[i',j']、HL[i',j']、HH
[i',j']が、順次合成され、画像の復元が行われる。
域信号の中で、2段階の帯域分割処理が施されているLL
LL[i",j"]、LHLL[i",j"]、HLLL[i",j"]、HHLL[i",j"]の
合成が行われる。これらの信号は、はじめに、複数のラ
インメモリからなるメモリ121,125,141,1
45に保存され、後に続く合成用垂直ローパスフィルタ
123、合成用垂直ハイパスフィルタ127、合成用垂
直ローパスフィルタ143、または合成用垂直ハイパス
フィルタ147で必要とされるライン数のデータが確保
される。なお、ここで必要なライン数は、垂直フィルタ
のタップ数が奇数の場合には、(タップ数+1)/2
本、タップ数が偶数の場合には、タップ数/2本とな
る。例えば、ローパスフィルタとして、図35(A)に
示すものを用いる場合、2本のラインメモリが合成用垂
直ローパスフィルタ123の前に設置される。ここで、
図34のメモリ121,125,141,145,15
0,154,160,164において必要となるライン
メモリの数が、図32の符号化器側のメモリ73,7
9,86,103と異なるのは、後述するように、図3
4においては、メモリとフィルタリング処理の間で垂直
方向のアップサンプリング処理がなされるためである。
6,142,146は、(13)式に示すように、入力され
る各ライン間に、すべてがゼロである1ライン分のデー
タを挿入する処理を行う。
6,142,146で垂直アップサンプリング処理の施
された各周波数帯域信号LLLL[i",j']、LHLL[i",j']、HL
LL[i",j']、HHLL[i",j']は、それぞれ、合成用垂直ロー
パスフィルタ123、合成用垂直ハイパスフィルタ12
7、合成用垂直ローパスフィルタ143、または合成用
垂直ハイパスフィルタ147によって垂直方向の補間処
理が行われ、加算器124または144に送られる。こ
こで、前述したように、これらの合成フィルタ123,
127,143,147は、対応する解析用フィルタ8
0,82,87,89とともに、(9)式と(10)式の関係
を満たす必要があり、解析用フィルタとして図33に示
す係数のものを用いた場合には、図35に示す係数のフ
ィルタを合成フィルタとして用いることになる。
[i",j']とLHLL[i",j']、およびHLLL[i",j']、HHLL[i",
j']は、それぞれ加算器124または加算器144によ
って加算された後、水平アップサンプリング器128ま
たは148に供給され、(14)式のような水平方向のアッ
プサンプリング処理が施される。
用水平ハイパスフィルタ149は、水平アップサンプリ
ング器128または148で水平アップサンプリング処
理の施された各信号に対して水平方向のフィルタリング
処理を施し、補間処理を行う。補間処理の施された2つ
の信号は加算器140によって加算され、低周波数帯域
信号LL[i',j']が復元される。
入力された周波数帯域信号LH[i',j'],HL[i',j'],HH[i',
j']に対して、メモリ150乃至加算器159におい
て、上述したメモリ121乃至加算器140における場
合と同様の処理が施されて、画像信号I[i,j]が再構成さ
れる。
すように、従来の逆量子化器では、量子化器で用いた量
子化ステップサイズと同じサイズの逆量子化ステップを
用いて逆量子化を行っており、復元される値は、通常、
その量子化ステップ(逆量子化ステップ)で刻まれる各
範囲の中央の値となる。このような線形量子化において
は、図36に示すように、量子化ステップで刻まれる各
量子化範囲において入力データが一様に分布している場
合には量子化誤差が最小となる。
き補償の施された差分画像のDCT係数、あるいはウエー
ブレット係数などは、図26に示すように、その絶対値
の増加に対して度数が急激に減少するような分布を持
ち、その局所的な分布も、図37に示すように、一様に
はならない。特に低ビットレートで符号化を行う場合、
量子化ステップの値Qも大きくなるため、ほとんどの係
数の絶対値が0からQの範囲に存在することになる。そ
の結果、従来の線形の量子化器および逆量子化器では、
このようなデータに対しては、量子化誤差が大きくなっ
てしまうといった問題があった。
数の大きいレベルでの量子化ステップを小さくする、す
なわち、非線形の量子化および逆量子化を行うことで、
量子化誤差を小さくすることができるが、それに伴っ
て、発生するビット量も増大するといった問題があっ
た。また、このような非線形な量子化および逆量子化
は、その処理が煩雑になるといった問題もあった。
き補償を併用した動画像符号化/復号化装置は、国際標
準方式として、MPEG1,MPEG2,H.263などに採用されてお
り、現在最も広く用いられているが、ブロック単位の処
理であるために、特にビットレートが低い場合には多く
のブロックノイズが発生するといった問題があった。
図30と図31の従来例では、処理がフレーム単位とな
ることで、ブロックノイズの発生を回避することができ
るが、平坦な領域においてウエーブレット符号化特有の
リンギングノイズが発生し、動画像に適用した場合に
は、このリンギングの位相がフレーム毎に変化すること
により、時間的なばたつきが発生するといった課題があ
った。
じ空間位置に対応する異なる周波数帯域の係数の中で、
量子化後のある1つの係数が他の係数に対して著しく大
きい場合、復号された画像上に、ウエーブレットフィル
タのパターンがそのまま現れるとともに、このような係
数の出現が時間的に不安定であるとき、そのパターンの
フリッカが発生することになり、主観的画質が劣化する
という問題があった。
ものであり、データ量を増加させることなく、量子化誤
差を小さくするようにするものである。また、ブロック
ノイズの発生を回避するとともに、リンギングノイズの
発生、さらには、リンギングの位相がフレーム毎に変化
することに起因する時間的なばたつきの発生を抑制する
ようにするものである。
置は、入力された画像から動きベクトルを検出する動き
ベクトル検出手段と、動きベクトルに対応して符号化す
べき画像の予測画像を生成する予測画像生成手段と、予
測画像と、符号化すべき画像との差分画像を生成する差
分画像生成手段と、差分画像に対してウエーブレット変
換を施し、差分画像に対するウエーブレット係数を算出
するウエーブレット変換手段と、ウエーブレット係数を
量子化し、量子化ウエーブレット係数を算出する量子化
手段と、量子化ウエーブレット係数を逆量子化し、ウエ
ーブレット係数を復元する逆量子化手段と、復元された
ウエーブレット係数の少なくとも一部に、当該ウエーブ
レット係数が属する周波数帯域に応じて設定した減衰係
数を積算して補正ウエーブレット係数を算出するウエー
ブレット係数補正手段と、補正ウエーブレット係数に対
して、逆ウエーブレット変換を施し、差分画像を復元す
る逆ウエーブレット変換手段と、復元された差分画像に
対して、予測画像を加算し、入力画像を復元する画像加
算手段とを備えることを特徴とする。本発明の動画像符
号化方法は、入力された画像から動きベクトルを検出す
る動きベクトル検出ステップと、動きベクトルに対応し
て符号化すべき画像の予測画像を生成する予測画像生成
ステップと、予測画像と、符号化すべき画像との差分画
像を生成する差分画像生成ステップと、差分画像に対し
てウエーブレット変換処理を施し、差分画像に対するウ
エーブレット係数を算出するウエーブレット変換ステッ
プと、ウエーブレット係数を量子化し、量子化ウエーブ
レット係数を算出する量子化ステップと、量子化ウエー
ブレット係数を逆量子化し、ウエーブレット係数を復元
する逆量子化ステップと、復元されたウエーブレット係
数の少なくとも一部に、当該ウエーブレット係数が属す
る周波数帯域に応じて設定した減衰係数を積算して補正
ウエーブレット係数を算出するウエーブレット係数補正
ステップと、補正ウエーブレット係数に対して、逆変換
処理を施し、差分画像を復元する逆ウエーブレット変換
処理ステップと、復元された差分画像に対して、予測画
像を加算し、入力画像を復元する画像加算ステップとを
含むことを特徴とする。
ているウエーブレット係数に対して逆量子化を行い、ウ
エーブレット係数を復元する逆量子化手段と、復元され
たウエーブレット係数の少なくとも一部に、当該ウエー
ブレット係数が属する周波数帯域に応じて設定した減衰
係数を積算して補正ウエーブレット係数を算出するウエ
ーブレット係数補正手段と、補正ウエーブレット係数に
対して、逆ウエーブレット変換を施し、差分画像を復元
する逆ウエーブレット変換手段と、動きベクトルに対応
して予測画像を生成する予測画像生成手段と、復元され
た差分画像に対して、予測画像を加算し、復号すべき画
像を復元する画像加算手段とを備えることを特徴とす
る。ウエーブレット係数補正手段は、輝度成分と色差成
分に対する減衰係数を独立に設定するようにすることが
できる。ウエーブレット係数補正手段は、入力画像に対
してウエーブレット変換を行うイントラフレームにおけ
る減衰係数と、入力画像に対して動き補償を施した後で
ウエーブレット変換を行うインターフレームにおける減
衰係数とを、独立に設定するようにすることができる。
ウエーブレット係数補正手段は、絶対値が所定のしきい
値よりも小さいウエーブレット係数に対する補正ウエー
ブレット係数を算出するようにすることができる。ウエ
ーブレット係数補正手段は、ウエーブレット係数から孤
立係数を検出し、検出した孤立係数に対する補正ウエー
ブレット係数を算出するようにすることができる。ウエ
ーブレット係数補正手段は、絶対値が第 1 のしきい値よ
り大きいウエーブレット係数であって、かつ当該ウエー
ブレット係数と画像上で同じ空間位置および方向性を有
するすべてのウエーブレット係数の絶対値が第2のしき
い値よりも小さいものを孤立係数として検出するように
することができる。本発明の動画像復号化方法は、量子
化されているウエーブレット係数に対して逆量子化を行
い、ウエーブレット係数を復元する逆量子化ステップ
と、復元されたウエーブレット係数の少なくとも一部
に、当該ウエーブレット係数が属する周波数帯域に応じ
て設定した減衰係数を積算して補正ウエーブレット係数
を算出するウエーブレット係数補正ステップと、補正ウ
エーブレット係数に対して、逆変換処理を施し、差分画
像を復元する逆ウエーブレット変換処理ステップと、動
きベクトルに対応して予測画像を生成する予測画像生成
ステップと、復元された差分画像に対して、予測画像を
加算し、復号すべき画像を復元する画像加算ステップと
を含むことを特徴とする。
ーブレット係数の少なくとも一部が、当該ウエーブレッ
ト係数が属する周波数帯域に応じて設定した減衰係数を
積算して補正され、補正ウエーブレット係数が算出され
る。そして、補正ウエーブレット係数に対して、逆ウエ
ーブレット変換が施され、差分画像が復元される。
ーブレット係数の少なくとも一部が、当該ウエーブレッ
ト係数が属する周波数帯域に応じて設定した減衰係数を
積算して補正され、補正ウエーブレット係数が算出され
る。そして、補正ウエーブレット係数に対して、逆ウエ
ーブレット変換が施されて、差分画像が復元される。
は、図28乃至図31に示した場合と同様とされる。た
だし、動画像符号化装置1の逆量子化器17および動画
像復号化装置31の逆量子化器42で用いる量子化ステ
ップQ'として(以下、必要に応じて、量子化器15にお
ける量子化ステップと区別する必要のある場合、逆量子
化器17,42における量子化ステップを、逆量子化ス
テップとも称する)、次式に示すように、量子化器15
で用いた量子化ステップQに対して、所定の係数a (0.0
≦a≦1.0)を積算した値を用いる。 Q'=aQ (15) すなわち、逆量子化処理はこのQ'を用いて次式のように
行われる。 c'''= c'×Q' (16)
入力データと、復元されたデータの関係を示す。また、
図2に、(16)式の逆量子化処理によって生じる量子化誤
差と、(2)式による従来の逆量子化処理による量子化誤
差の比較を示す。図2では、横軸が入力データの値を、
縦軸が量子化誤差の絶対値を示す。図中の領域1は、(1
6)式による逆量子化の方が量子化誤差が小さい範囲を示
しており、また領域2は、逆に従来の(2)式による逆量
子化の方が量子化誤差が小さい範囲を示している。この
図からもわかるように、入力データが、差分画像に対す
る変換係数のように、Qよりも小さい値がほとんどであ
るような場合、(16)式による逆量子化処理の方が、全体
として量子化誤差を小さくすることが可能となる。
ようなデータに対して、小さい量子化ステップを用いて
データを復元することにより、発生ビット数を増加させ
るこなく量子化誤差を減少させることができる。
を小さくするために、図3に示すように、逆量子化すべ
き量子化データc'が、所定のしきい値TH(図3の場合、
TH=2)よりも小さい場合にのみ、(15)式の量子化ステッ
プQ'を用い、それ以外の量子化データに対しては、通常
の量子化ステップ(量子化器15における量子化ステッ
プ)Qを用いるようにすることもできる。このしきい値
は、任意に設定することもできるが、次式を満たすc'の
最小値として算出することもできる。 c'Q'≦c'Q-Q/2 (17)
られた量子化値に限定することにより、より正確に量子
化誤差を減少させることができる。
所定のしきい値TH(図4の場合、TH=2)よりも大きい場
合、量子化ステップQによる逆量子化値c'Qの替わりに、
量子化前の値として取りえる値の最小値(c'Q-Q/2)を出
力するようにしてもよい。
することにより、より正確に量子化誤差を減少させるこ
とができる。
説明した逆量子化処理を、図5に示すような構成によっ
て実現するものである。すなわち、この実施の形態にお
いては、線形の逆量子化器301(図28乃至図31の
逆量子化器17または逆量子化器42に対応する)の後
段に係数補正器302が設けられる。そして、逆量子化
器301において、量子化器15で用いられたのと同じ
量子化ステップサイズQを用いて、(2)式で示すように逆
量子化を行った後、その出力値c"に対して、係数補正器
302において、次式で示すように、減衰係数aを積算
する。 c'''=a×c' (18)
避するためのしきい値処理を行う場合には、係数補正器
302において、入力された値が、所定のしきい値より
小さい場合にのみ、減衰係数aの積算を行うようにする
ことができる。また、入力された値がしきい値より大き
い場合、その値が量子化前の値として取り得る値の最小
値(c"-Q/2)を出力するようにすることもできる。
だし、図30の従来例と同じ機能を持つものは同じ符号
で示し、その説明を適宜省略する。
す従来例とほぼ同様であるが、逆量子化器17と逆ウエ
ーブレット変換器52の間に、ウエーブレット係数補正
器201が設置されている点が従来の場合と異なる。こ
のウエーブレット係数補正器201では、逆量子化器1
7で(7)式の逆量子化処理が施されたウエーブレット係
数c"に対して、その絶対値が予め設定されたしきい値T2
よりも小さい場合には、次式のような補正処理が施され
る。 c'''=a[L]×c" (19) a[L]は0≦a[L]≦1の実数値であり、(19)式は係数c"を
減衰係数a[L]によって減衰させることを意味している。
また、Lはその係数が属する周波数帯域を表わしてお
り、係数c"の属する周波数帯域に応じて、異なる減衰係
数を用いることが可能となっている。
が所定のしきい値よりも小さい場合、それを減衰させる
ことにより、見かけ上のぼけを最小限に抑えるととも
に、リンギングによるばたつきを抑制することができ
る。
数帯域との関係を示す。ただしここでは、3レベルの
(分割数が3の)ウエーブレット分割の例を示してあ
る。図中、B(=LH,HL,HH)は、分割された各周波数帯域の
バンドを表している。例えば、バンドHLは、水平方向の
ハイパスフィルタ処理と垂直方向のローパスフィルタ処
理を施したバンドであり、縦方向のエッジが出易いバン
ドとなる。また、バンドLHは、水平方向のローパスフィ
ルタ処理と垂直方向のハイパスフィルタ処理を施したバ
ンドであり、水平方向のエッジが出易いバンドである。
たインターフレームに対しては、例えば次に示すよう
に、すべてのバンドにおいて、同じ値のものを用いるこ
ともできる。 a[0]=0.67 a[1]=0.67 a[2]=0.67 a[3]=0.67
同じ大きさの減衰係数を用いた場合、しきい値Tが無限
大である場合には、ウエーブレット係数補正器201を
逆ウエーブレット変換器52の直後に設置し、画素の差
分値に対して減衰係数を積算しても同じ結果が得られ
る。
は、高周波成分より低周波成分の方が少ないので、減衰
させてもあまり目立たない低周波数成分をより減衰させ
るように、減衰係数a[L]として、次に示すようなものを
用いることもできる。 a[0]=0.2 a[1]=0.4 a[2]=0.8 a[3]=1.0
ない低周波数成分をより減衰させることにより、見かけ
上のぼけを最小限に抑えるとともに、リンギングによる
ばたつきを抑制することができる。
い感度を有する中域周波数成分をより減衰させるよう
に、減衰係数a[L]として、次に示すようなものを用いる
ことができる。 a[0]=0.8 a[1]=0.2 a[2]=0.5 a[3]=1.0
い感度を有する中域周波数成分をより減衰させることに
より、見かけ上のぼけを最小限に抑えるとともに、リン
ギングによるばたつきを効果的に抑制することができ
る。
ラフレームにおいては、次に示すような減衰係数を用い
ることができる。 a[0]=1.0 a[1]=1.0 a[2]=0.9 a[3]=0.8
する減衰係数を区別していないが、それぞれに対して異
なる減衰係数を用いることもできる。例えば、イントラ
フレームの輝度成分に対しては、上記したように、a[0]
=1.0,a[1]=1.0,a[2]=0.9,a[3]=0.8の減衰係数を用いる
とともに、色差成分に対しては、次に示すような減衰係
数を用いることができる。 a[0]=1.0 a[1]=0.9 a[2]=0.8 a[3]=0.8
力されたビットストリームを復号化する動画像復号化装
置31の構成例を表している。この図8において、図3
1に示した従来の動画像復号化装置における場合と対応
する部分には、同一の符号を付してあり、その説明は適
宜省略する。
子化器42と逆ウエーブレット変換器61の間に、ウエ
ーブレット係数補正器211が挿入されている。その他
の構成は、図31における場合と同様である。
器211は、上述した図6におけるウエーブレット係数
補正器201と同様の構成とされ、従って、同様の動作
を行う。その説明は、図6を参照して既に説明している
ので、ここでは省略する。
態と同様の構成で、ウエーブレット係数補正器201と
ウエーブレット係数補正器211において、同じ空間域
に対応する係数から孤立係数を検出し、その孤立係数に
対して、次式で示すような補正処理を行うようにするこ
とができる。 c'''=b[L]×c" (20)
り、(20)式は係数c"を減衰係数b[L]によって減衰させる
ことを意味している。また、Lはその係数が属する周波
数帯域を表わしており、係数c"の属する周波数帯域に応
じて、異なる減衰係数を用いることが可能となってい
る。減衰係数としては、例えば、低周波数係数の重要性
を考慮して次に示すようなものを用いることができる。 b[1]=1.0 b[2]=0.8 b[3]=0.5 ここで、b[0]の係数が記載されていないのは、以下に述
べるように、最低周波数帯域における係数に対しては、
(20)式による補正処理を行わないことによる。
係数の中で孤立係数を検出することにより、見かけ上の
ぼけを最小限に抑えるとともに、不自然なウエーブレッ
トパターンの発生を抑制することができる。
きる。いま処理の対象となっている係数をc"(i,j,B,L)
とする。ここで図7に示すように、L、Bはそれぞれその
係数が存在する周波数帯域、およびその周波数帯域内の
バンド(B=LH, HL, HH)を、(i,j)はバンド内での位置を
表わしている。この係数の絶対値が予め設定された第1
のしきい値T3よりも大きい場合、この係数は孤立係数で
ある可能性がある。そこで、この場合、この係数と同じ
空間位置の係数であって、同じ方向性の係数(対応する
バンドの係数)、すなわち、次式で示す係数に対して、
それらの絶対値が予め設定された第2のしきい値T4(T3
と等しくてもよい)よりも大きいか否かを順次、調べて
いく。Ln<Lの場合、 c"(i×2-n,j×2-n,B,L-n) Ln>Lの場合、 c"(i×2n+di,j×2n+dj,B,L+n) (21) 0<n, 0≦di,dj<n-1 (22) なお、Lnは、対応係数の周波数帯域を表し、L-Ln=nの関
係が成立する。
い場合には、c"(i,j,B,L)を孤立係数とみなして、(20)
式の減衰処理を施す。但し、L=0、すなわち、最低周波
数帯域における関数に対しては、(20)式による補正処理
は行わない。係数c"(i,j,B,L)と、それに対応する係数
の関係を図9に示す。同図に示すように、注目係数をc"
(i,j,HL,2)とすると、同じ空間位置の対応係数は、(2i,
2j),(i/2,j/2)などの位置の係数となり、同じ方向性の
対応係数は、同じバンド(HL)の係数となる。
範囲、すなわちnの範囲は任意に設定することができ
る。例えば、n=1に限定し、隣接する周波数帯域におけ
る係数のみを孤立係数の判定に反映させるようにするこ
ともできる。
孤立係数の条件として、その絶対値が第1のしきい値T3
よりも大きいことを要請しているが、さらにその上限を
設定することも可能である。すなわち、注目係数c"(i,
j,B,L)の絶対値がT3よりも大きく第3のしきい値T5より
も小さい場合にのみ、その係数を孤立係数の候補として
もよい。
c"(i,j,B,L)と、同じ周波数帯域上の近傍領域内に存在
する係数の大きさを考慮することもできる。すなわち、
(21)式と(22)式で示される係数とともに、さらに次式で
示される係数に対しても、その絶対値が第4のしきい値
T6(T4と等しくてもよい)よりも大きいか否かを調べ
る。 c"(i+di,j+dj,B,L)-K≦di,dj≦K (23)
る定数である。(21)式と(22)式で示される全ての係数が
第2のしきい値T4よりも小さく、かつ、(23)式で示され
る全ての係数が第3のしきい値T5よりも小さい場合にの
み、注目係数c"(i,j,B,L)を孤立係数とみなす。
表される係数の位置関係の例を示す。破線で示された領
域が注目係数に対応する同一の周波数帯域上の近傍領域
であり、この例では、(23)式中の定数K=1となってい
る。
いる場合、近傍領域内のN個以上の係数が第4のしきい
値T6よりも小さい場合に注目係数を孤立係数とみなすよ
うにすることもできる。
は、逆量子化器で用いられる量子化ステップサイズの整
数倍として設定することもできる。
係数に対する補正処理は、第3の実施の形態の処理と併
用することも可能である。すなわち、ウエーブレット係
数に対して、第3の実施の形態による第1の補正処理を
施した後に、本実施の形態による孤立係数に対する補正
処理をさらに施すようにすることもできる。
低域周波数成分または中域周波数成分のウエーブレット
係数を大きく減衰すると、低域周波数成分または中域周
波数成分では孤立係数は殆ど存在しなくなり、高域周波
数成分においてだけ、孤立係数が目立ってくる。そこ
で、さらに第4の実施の形態で、目立ちやすい高域周波
数成分の孤立係数を大きく減衰させることによって、見
かけ上のぼけを最小限に抑えるとともに、不自然なウエ
ーブレットパターンの発生を効果的に抑制することがで
きる。
例を示す。本実施の形態の構成は、基本的には図6と図
8に示した第3の実施の形態のものと同様であるが、差
分画像生成器13または逆多重化器/可変長復号化器4
1において検出されたフラグfが、ウエーブレット係数
補正器201またはウエーブレット係数補正器211に
入力されている点が異なる。ウエーブレット係数補正器
201または211は、フラグfにより、現在処理の対
象となっている係数が、イントラマクロブロックに対応
していることが示されている場合には、第3の実施の形
態における(19)式の補正処理、または、第4の実施の形
態における(20)式の孤立係数の補正処理を行わない。
ロックに対応しているか否かの判定は、例えば次のよう
に行うことができる。いま、対象としているウエーブレ
ット係数をc"(i, j, B, L)とすると、この係数は画像上
では、次の位置に対応すると考えられる。
ックに含まれているか否かを判定することができる。こ
こで、LAYERはウエーブレット変換による分割数であ
り、図7の例ではLAYER=3となる。
タのフィルタ長に応じ、係数c"(i,j,B,L)は、逆ウエー
ブレット変換の施された画像上では、(24)式の位置だけ
ではなく、より広い範囲の位置の画素値に影響を及ぼ
す。そこで、(24)式の位置だけではなく、その近傍位置
に対するフラグfを考慮して、イントマクロブロックで
あるか否かの判定をすることもできる。例えば、(24)式
の位置の近傍位置が属するマクロブロックの種類を調
べ、多数決によって判定することができる。また、近傍
におけるイントラマクロブロックの数とインターマクロ
ブロックの数の比によって、減衰係数a[L]を次のように
制御することもできる。
るイントラマクロブロックの数、およびインターマクロ
ブロックの数を表わしている。
よる動き補償で用いられている各ブロックモード(イン
トラブロックなど)に対して、適切に補正量を制御する
ことが可能となる。
の構成例を示す。図13の実施の形態では、図6に示す
実施の形態の構成に、逆量子化器17の出力に対して逆
ウエーブレット変換を直接施す第2の逆ウエーブレット
変換器221が追加されている。また、第1の逆ウエー
ブレット変換器52と第2の逆ウエーブレット変換器2
21の出力は、差分画像合成器222に入力される。さ
らに、差分画像生成器13から出力されたフラグfは、
差分画像合成器222に入力される。
器13から送られてくるフラグfに応じて、マクロブロ
ック単位で、第1の逆ウエーブレット変換器52、また
は第2の逆ウエーブレット変換器221から送られてく
るデータを切り替える。すなわち、フラグfがイントラ
マクロブロックである場合には、補正処理の施されてい
ない第2の逆ウエーブレット変換器221からのデータ
を選択出力する。一方、フラグfがインターマクロブロ
ックであることを示す場合には、補正処理の施された、
第1の逆ウエーブレット変換器52からのデータを選択
出力する。
り出力されたビットストリームを復号化する動画像復号
化装置31の構成例を表している。図14の動画像復号
化装置31の基本的な構成は、図8に示した動画像復号
化装置31の構成と基本的に同様であるが、図14の実
施の形態においては、図13の動画像符号化装置1にお
ける場合と同様に、逆量子化器42の出力するデータを
直接、逆ウエーブレット変換する逆ウエーブレット変換
器231と、逆ウエーブレット変換器231の出力と逆
ウエーブレット変換器61の出力を選択出力する差分画
像合成器232が設けられており、この差分画像合成器
232には、逆多重化器/可変長復号化器41より出力
されたフラグfが供給されるようになされている。すな
わち、図13の動画像復号化装置における復号化処理
は、図13の動画像符号化装置1における復号化処理と
同様の処理であるので、その説明は省略する。
よる動き補償で用いられている各ブロックモード(イン
トラブロックなど)に応じて、未補正差分画像と補正差
分画像を切り替えることにより、モードに応じてより適
切な補正処理をおこなうことができる。
を示す。本実施の形態では、図6に示す第1の実施の形
態の構成に、逆ウエーブレット変換後のデータを補正す
る差分画像補正器241が追加されている。
ット変換器52の出力d"に対して、その絶対値が予め設
定されたしきい値T4よりも小さい場合に、次式の補正処
理を施す。 d'''=r×d" (26) ここで、rは0≦r≦1.0の実数であり、(26)式は逆ウエー
ブレット変換によって復元された差分データを減衰係数
rによって減衰させることを意味している。この差分画
像補正器241は、図13に示す第4の実施の形態の第
1の逆ウエーブレット変換器52と差分画像合成器22
2の間に追加することもできる。
り出力されたビットストリームを復号化する動画像復号
化装置31の構成例を表している。この動画像復号化装
置31においても、図15の動画像符号化装置1に対応
して、逆ウエーブレット変換器61と画像加算器44の
間に、差分画像補正器251が配置されている。この差
分画像補正器251の構成および動作は、図15の差分
画像補正器241と同様であるので、その説明は省略す
る。
正と空間領域上(逆ウエーブレット変換後の差分画像
上)での補正を併用することにより、時間的ばたつきを
より正確に抑制することができる。
画像符号化装置1と動画像復号化装置31の構成を示
す。その基本的な構成は、図28と図29に示す場合と
同様であるが、図17においては、逆量子化器17とID
CT器18の間に、DCT係数補正器261が接続されてい
る点が、また、図18においては、逆量子化器42とID
CT器43の間に、DCT係数補正器271が接続されてい
る点が、図28と図29に示す場合と異なっている。
数の補正処理は、原理的には第3の実施の形態(図6の
ウエーブレット係数補正器201および図8のウエーブ
レット係数補正器211)における場合と同様に、(19)
式に示すように行われる。動き補償を施したインターフ
レームに用いる減衰係数a[L]としては、例えば図19に
示すように、すべてのDCT係数に対して同じもの(a[L]=
0.67)を用いることができる。また、入力データの性質
により、DCT係数の分布が周波数帯域によって異なるこ
とが既知である場合には、図20に示すように、周波数
毎に異なる減衰係数(a[L]=0.8, 0.67または0.5)を用
いることができる。
ラフレームに対しては、例えば図21に示すように、イ
ンターフレームとは異なる減衰係数(a[L]=1.0,1.0また
は0.9)を用いることができる。
輝度成分と色差成分に対する減衰係数を区別していない
が、それぞれ異なる減衰係数を用いることもできる。例
えば、イントラフレームの輝度成分に対しては、図21
に示したような減衰係数を用い、色差成分に対しては、
図22に示すような減衰係数(a[L]=1.0,0.9または0.
8)を用いることができる。
数またはDCT係数の分布が、イントラフレームとインタ
ーフレームにおいて異なっているので、それぞれに対し
て異なる減衰係数を適用することにより、それぞれに対
して適切な減衰処理を行うことが可能となる。また、輝
度成分と色差成分に対して、それぞれ異なる減衰係数を
適用することで、それぞれに対して適切な減衰処理を行
うことが可能となる。
化器17,42とDCT係数補正器261,271を用い
ているが、第1の実施の形態に示したように、1つの逆
量子化器として実現することもできる。
画像符号化装置1と動画像復号化装置31の構成を示
す。その基本的な構成は、図17と図18に示す場合と
同様であるが、差分画像生成器13または逆多重化器/
可変長復号化器41において検出されたフラグfが、DCT
係数補正器261またはDCT係数補正器271に入力さ
れている点が異なる。
ト係数とマクロブロックの関係は必ずしも明確ではな
く、(24)式のような対応関係を定義する基準が必要とな
るが、本実施の形態のように、ブロック単位のDCT係数
を用いる場合には、どのDCT係数がイントラマクロブロ
ックのものであるのかは明確である。従って、DCT係数
補正器261または271は、フラグfにより、現在処
理の対象となっている係数が、イントラマクロブロック
以外に対応していることが示されている場合にのみ、対
応するDCT係数の減衰処理を行う。
発明の基本的な原理を逸脱しない範囲で、各種の変更を
加えることが可能であることは勿論である。
されたウエーブレット係数の少なくとも一部を、当該ウ
エーブレット係数が属する周波数帯域に応じて設定した
減衰係数を積算して補正するようにしたので、ブロック
ノイズの発生を回避するとともに、リンギング位相の時
間的変化を抑制することが可能となる。
を説明する図である。
を説明する図である。
と復元レベルの関係を説明する図である。
ベルと復元レベルの関係を説明する図である。
ク図である。
ック図である。
説明する図である。
ック図である。
ット係数を説明する図である。
明する図である。
すブロック図である。
すブロック図である。
例を示すブロック図である。
例を示すブロック図である。
すブロック図である。
すブロック図である。
すブロック図である。
すブロック図である。
る。
である。
数を示す図である。
する減衰係数を示す図である。
例を示すブロック図である。
例を示すブロック図である。
復元レベルの関係を説明する図である。
と復元レベルの他の関係を説明する図である。
ック図である。
ック図である。
ブロック図である。
ブロック図である。
すブロック図である。
である。
示すブロック図である。
である。
ある。
図である。
12 フレームメモリ, 13 差分画像生成器,
14 DCT器, 15 量子化器, 16 可変長符号
化器/多重化器, 19 画像加算器, 20 動き補
償器, 31動画像復号化装置, 41 逆多重化器/
可変長復号化器, 42 逆量子化器, 44 画像加
算器, 45 動き補償器, 51 ウエーブレット変
換器,61 逆ウエーブレット変換器, 201,21
1 ウエーブレット係数補正器, 261,271 DC
T係数補正器, 301 逆量子化器, 302 係数
補正器
Claims (9)
- 【請求項1】 入力された画像から動きベクトルを検出
する動きベクトル検出手段と、 前記動きベクトルに対応して符号化すべき画像の予測画
像を生成する予測画像生成手段と、 前記予測画像と、符号化すべき画像との差分画像を生成
する差分画像生成手段と、 前記差分画像に対してウエーブレット変換処理を施し、
差分画像に対するウエーブレット係数を算出するウエー
ブレット変換手段と、前記ウエーブレット係数 を量子化し、量子化ウエーブレ
ット係数を算出する量子化手段と、前記量子化ウエーブレット係数 を逆量子化し、ウエーブ
レット係数を復元する逆量子化手段と、 前記復元されたウエーブレット係数の少なくとも一部
に、当該ウエーブレット係数が属する周波数帯域に応じ
て設定した減衰係数を積算して補正ウエーブレット係数
を算出するウエーブレット係数補正手段と、前記補正ウエーブレット係数 に対して、逆変換処理を施
し、差分画像を復元する逆ウエーブレット変換処理手段
と、 前記復元された差分画像に対して、前記予測画像を加算
し、入力画像を復元する画像加算手段とを備えることを
特徴とする動画像符号化装置。 - 【請求項2】 入力された画像から動きベクトルを検出
する動きベクトル検出ステップと、 前記動きベクトルに対応して符号化すべき画像の予測画
像を生成する予測画像生成ステップと、 前記予測画像と、符号化すべき画像との差分画像を生成
する差分画像生成ステップと、 前記差分画像に対してウエーブレット変換処理を施し、
差分画像に対するウエーブレット係数を算出するウエー
ブレット変換ステップと、 前記ウエーブレット係数を量子化し、量子化ウエーブレ
ット係数を算出する量子化ステップと、 前記量子化ウエーブレット係数を逆量子化し、ウエーブ
レット係数を復元する逆量子化ステップと、 前記復元されたウエーブレット係数の少なくとも一部
に、当該ウエーブレット係数が属する周波数帯域に応じ
て設定した減衰係数を積算して補正ウエーブレット係数
を算出するウエーブレット係数補正ステップと、 前記補正ウエーブレット係数に対して、逆変換処理を施
し、差分画像を復元する逆ウエーブレット変換処理ステ
ップと、 前記復元された差分画像に対して、前記予測画像を加算
し、入力画像を復元する画像加算ステップとを含むこと
を特徴とする動画像符号化方法。 - 【請求項3】 量子化されているウエーブレット係数に
対して逆量子化を行い、ウエーブレット係数を復元する
逆量子化手段と、 前記復元されたウエーブレット係数の少なくとも一部
に、当該ウエーブレット係数が属 する周波数帯域に応じて設定した減衰係数を積算して補
正ウエーブレット係数 を算出するウエーブレット係数補
正手段と、前記補正ウエーブレット係数 に対して、逆変換処理を施
し、差分画像を復元する逆ウエーブレット変換処理手段
と、 動きベクトルに対応して予測画像を生成する予測画像生
成手段と、 前記復元された差分画像に対して、前記予測画像を加算
し、復号すべき画像を復元する画像加算手段とを備える
ことを特徴とする動画像復号化装置。 - 【請求項4】 前記ウエーブレット係数補正手段は、輝
度成分と色差成分に対する前記減衰係数を独立に設定す
ることを特徴とする請求項3に記載の動画像復号化装
置。 - 【請求項5】 前記ウエーブレット係数補正手段は、入
力画像に対してウエーブレット変換を行うイントラフレ
ームにおける前記減衰係数と、入力画像に対して動き補
償を施した後でウエーブレット変換を行うインターフレ
ームにおける前記減衰係数とを、独立に設定することを
特徴とする請求項3に記載の動画像復号化装置。 - 【請求項6】 前記ウエーブレット係数補正手段は、絶
対値が所定のしきい値よりも小さいウエーブレット係数
に対する前記補正ウエーブレット係数を算出することを
特徴とする請求項3に記載の動画像復号化装置。 - 【請求項7】 前記ウエーブレット係数補正手段は、前
記ウエーブレット係数から孤立係数を検出し、検出した
前記孤立係数に対する前記補正ウエーブレット係数を算
出することを特徴とする請求項3に記載の動画像復号化
装置。 - 【請求項8】 前記ウエーブレット係数補正手段は、絶
対値が第 1 のしきい値より大きいウエーブレット係数で
あって、かつ当該ウエーブレット係数と画像上で同じ空
間位置および方向性を有するすべてのウエーブレット係
数の絶対値が第2のしきい値よりも小さいものを前記孤
立係数として検出することを特徴とする請求項7に記載
の動画像復号化装置。 - 【請求項9】 量子化されているウエーブレット係数に
対して逆量子化を行い、ウエーブレット係数を復元する
逆量子化ステップと、 前記復元されたウエーブレット係数の少なくとも一部
に、当該ウエーブレット係数が属する周波数帯域に応じ
て設定した減衰係数を積算して補正ウエーブレット係数
を算出するウエーブレット係数補正ステップと、 前記補正ウエーブレット係数に対して、逆変換処理を施
し、差分画像を復元する逆ウエーブレット変換処理ステ
ップと、 動きベクトルに対応して予測画像を生成する予測画像生
成ステップと、 前記復元された差分画像に対して、前記予測画像を加算
し、復号すべき画像を復元する画像加算ステップとを含
むことを特徴とする動画像復号化方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08625397A JP3518717B2 (ja) | 1996-09-20 | 1997-04-04 | 動画像符号化装置および方法、並びに動画像復号化装置および方法 |
US08/932,076 US6185254B1 (en) | 1996-09-20 | 1997-09-17 | Decoder, image encoding apparatus, image decoding apparatus, image transmitting method, and recording medium |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24945096 | 1996-09-20 | ||
JP27881796 | 1996-09-30 | ||
JP8-249450 | 1996-11-08 | ||
JP8-278817 | 1996-11-08 | ||
JP8-312814 | 1996-11-08 | ||
JP31281496 | 1996-11-08 | ||
JP08625397A JP3518717B2 (ja) | 1996-09-20 | 1997-04-04 | 動画像符号化装置および方法、並びに動画像復号化装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10191391A JPH10191391A (ja) | 1998-07-21 |
JP3518717B2 true JP3518717B2 (ja) | 2004-04-12 |
Family
ID=27467241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08625397A Expired - Fee Related JP3518717B2 (ja) | 1996-09-20 | 1997-04-04 | 動画像符号化装置および方法、並びに動画像復号化装置および方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6185254B1 (ja) |
JP (1) | JP3518717B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0938235A1 (en) * | 1998-02-20 | 1999-08-25 | Canon Kabushiki Kaisha | Digital signal coding and decoding |
US6480510B1 (en) * | 1998-07-28 | 2002-11-12 | Serconet Ltd. | Local area network of serial intelligent cells |
US7158681B2 (en) * | 1998-10-01 | 2007-01-02 | Cirrus Logic, Inc. | Feedback scheme for video compression system |
US6393155B1 (en) * | 1998-11-04 | 2002-05-21 | International Business Machines Corporation | Error reduction in transformed digital data |
JP3469492B2 (ja) * | 1999-02-19 | 2003-11-25 | フーリエ有限会社 | フォントメモリおよびフォントデータの読み出し方法 |
US6377280B1 (en) * | 1999-04-14 | 2002-04-23 | Intel Corporation | Edge enhanced image up-sampling algorithm using discrete wavelet transform |
US6556624B1 (en) * | 1999-07-27 | 2003-04-29 | At&T Corp. | Method and apparatus for accomplishing multiple description coding for video |
US6760724B1 (en) * | 2000-07-24 | 2004-07-06 | Lucent Technologies Inc. | Approximate query processing using wavelets |
JP2002171424A (ja) * | 2000-11-30 | 2002-06-14 | Nec Corp | 動画像処理方法、動画像処理装置および動画像表示装置 |
US20040008785A1 (en) * | 2002-07-15 | 2004-01-15 | Koninklijke Philips Electronics N.V. | L-frames with both filtered and unfilterd regions for motion comensated temporal filtering in wavelet based coding |
US20060146937A1 (en) * | 2003-02-25 | 2006-07-06 | Koninklijke Philips Electronics N.V. | Three-dimensional wavelet video coding using motion-compensated temporal filtering on overcomplete wavelet expansions |
JP4725127B2 (ja) * | 2005-02-16 | 2011-07-13 | ソニー株式会社 | 復号装置および方法、記録媒体、並びにプログラム |
US20070160127A1 (en) * | 2006-01-10 | 2007-07-12 | International Business Machines Corporation | Bandwidth adaptive stream selection |
JP4717649B2 (ja) * | 2006-02-01 | 2011-07-06 | シャープ株式会社 | 画像復号器、画像復号方法、画像復号プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体 |
US7590298B2 (en) * | 2006-04-12 | 2009-09-15 | Xerox Corporation | Decompression with reduced ringing artifacts |
JP4963680B2 (ja) | 2008-03-27 | 2012-06-27 | 株式会社メガチップス | 画像処理装置 |
KR101518237B1 (ko) * | 2008-09-01 | 2015-05-15 | 삼성전자주식회사 | 영상의 역양자화 방법 및 장치, 복호화 방법 및 장치 |
JP2024058007A (ja) * | 2022-10-13 | 2024-04-25 | Kddi株式会社 | メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム |
JP2024058008A (ja) * | 2022-10-13 | 2024-04-25 | Kddi株式会社 | メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0638198A (ja) * | 1992-05-19 | 1994-02-10 | Sony Corp | 画像信号伝送装置及び画像信号伝送方法 |
US5754235A (en) * | 1994-03-25 | 1998-05-19 | Sanyo Electric Co., Ltd. | Bit-rate conversion circuit for a compressed motion video bitstream |
KR970057995A (ko) * | 1995-12-30 | 1997-07-31 | 배순훈 | Mpeg 복호기에서 역양자화기의 최적화 장치 |
US5822005A (en) * | 1996-01-11 | 1998-10-13 | Tektronix, Inc. | Pre-oddification |
US5731837A (en) * | 1996-01-25 | 1998-03-24 | Thomson Multimedia, S.A. | Quantization circuitry as for video signal compression systems |
TW364107B (en) * | 1996-03-25 | 1999-07-11 | Trw Inc | Method and system for three-dimensional compression of digital video signals |
-
1997
- 1997-04-04 JP JP08625397A patent/JP3518717B2/ja not_active Expired - Fee Related
- 1997-09-17 US US08/932,076 patent/US6185254B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US6185254B1 (en) | 2001-02-06 |
JPH10191391A (ja) | 1998-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3518717B2 (ja) | 動画像符号化装置および方法、並びに動画像復号化装置および方法 | |
JP2549479B2 (ja) | 動き補償フレーム間帯域分割符号化処理方法 | |
US5777678A (en) | Predictive sub-band video coding and decoding using motion compensation | |
US5686962A (en) | Motion image coder using pre-filter to reduce quantization error | |
US5852682A (en) | Post-processing method and apparatus for use in a video signal decoding apparatus | |
US20100254450A1 (en) | Video coding method, video decoding method, video coding apparatus, video decoding apparatus, and corresponding program and integrated circuit | |
US5757969A (en) | Method for removing a blocking effect for use in a video signal decoding apparatus | |
US20150043630A1 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
EP0680219B1 (en) | Improved post-processing method for use in an image signal decoding system | |
JP2005507587A (ja) | 空間的にスケーラブルな圧縮 | |
JPH03127580A (ja) | 動き補償フレーム間符号化装置 | |
EP0680217B1 (en) | Video signal decoding apparatus capable of reducing blocking effects | |
US5754699A (en) | Method of reducing mosquito noise generated during decoding process of image data and device for decoding image data using the same | |
JPH10191326A (ja) | 画像処理装置および方法 | |
US6963609B2 (en) | Image data compression | |
KR100229796B1 (ko) | 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템 | |
KR100262500B1 (ko) | 적응적 블록 현상 제거기능을 갖는 복호화기 | |
JPH07107462A (ja) | 動画像符号化方法 | |
JP4762486B2 (ja) | マルチ・リゾルーション・ビデオ符号化および復号化 | |
JPH0591498A (ja) | 帯域分割動画像符号化装置 | |
JP3169263B2 (ja) | 動画像データの符号化装置 | |
JP3087864B2 (ja) | Hdtv信号用サブバンド符号化方式 | |
JP3169147B2 (ja) | 動画像データの高能率符号化装置 | |
JPH09312844A (ja) | 画像圧縮方法および画像圧縮装置 | |
JPH06217296A (ja) | 適応的イントラ/インタモード圧縮を用いた映像信号符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040122 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080206 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090206 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100206 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100206 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110206 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110206 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |