JPH08251591A - ブロック化現象除去のための後処理装置及びその方法 - Google Patents
ブロック化現象除去のための後処理装置及びその方法Info
- Publication number
- JPH08251591A JPH08251591A JP781196A JP781196A JPH08251591A JP H08251591 A JPH08251591 A JP H08251591A JP 781196 A JP781196 A JP 781196A JP 781196 A JP781196 A JP 781196A JP H08251591 A JPH08251591 A JP H08251591A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- post
- block
- value
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 ブロック変換により圧縮された画像の再生時
に表れるブロック化現象を取り除くための後処理装置及
びその方法を提供する。 【解決手段】 所定の変換を選択し量子化／逆量子化時
の情報の損失分に当たる変換係数を推定するが、周辺ブ
ロックとの連続性が最高になるように推定してこの変換
係数を逆変換することにより得られる補正値を逆変換さ
れた映像信号に加えてブロック間の境界で生じるブロッ
ク化現象を最小化する。
に表れるブロック化現象を取り除くための後処理装置及
びその方法を提供する。 【解決手段】 所定の変換を選択し量子化／逆量子化時
の情報の損失分に当たる変換係数を推定するが、周辺ブ
ロックとの連続性が最高になるように推定してこの変換
係数を逆変換することにより得られる補正値を逆変換さ
れた映像信号に加えてブロック間の境界で生じるブロッ
ク化現象を最小化する。
Description
【０００１】
【発明の属する技術分野】本発明はブロック化現象除去
のための後処理装置及びその方法に係り、特にブロック
変換により圧縮された映像デ−タを復元する装置におい
て隣接ブロック間に不連続性の生じるブロック化現象を
最小化する後処理装置及びその方法に関する。
のための後処理装置及びその方法に係り、特にブロック
変換により圧縮された映像デ−タを復元する装置におい
て隣接ブロック間に不連続性の生じるブロック化現象を
最小化する後処理装置及びその方法に関する。
【０００２】
【従来の技術】最近、映像及び音声信号を送受信する装
置で映像信号及び音声信号をディジタル信号に符号化し
て伝送したり貯蔵部に貯蔵し、これを復号化して再生す
る方式が普遍化されている。しかしながら、映像信号を
ディジタルデ−タに符号化する場合はデ−タ量が多いの
で、ディジタル映像信号に含まれている冗長性デ−タを
取り除いて全体のデ−タ量を減らすために変換符号化、
ＤＰＣＭ（Differential Pulse Coded Modulation)、量
子化及び可変長符号化などのような符号化技術を遂行す
る。
置で映像信号及び音声信号をディジタル信号に符号化し
て伝送したり貯蔵部に貯蔵し、これを復号化して再生す
る方式が普遍化されている。しかしながら、映像信号を
ディジタルデ−タに符号化する場合はデ−タ量が多いの
で、ディジタル映像信号に含まれている冗長性デ−タを
取り除いて全体のデ−タ量を減らすために変換符号化、
ＤＰＣＭ（Differential Pulse Coded Modulation)、量
子化及び可変長符号化などのような符号化技術を遂行す
る。
【０００３】図１は一般の映像デ−タの符号化装置を概
略的に示したブロック図であり、入力される映像信号を
Ｎ×Ｎブロック単位（ブロックの大きさは一般的にＮ1
×Ｎ 2 であるが、便宜上、Ｎ1 ＝Ｎ2 ＝Ｎと仮定する）
に周波数領域の信号に変換した後、変換係数を量子化さ
せる手段１１，１２と、量子化されたデ−タを可変長符
号化する手段１３，１４と、量子化されたデ−タを逆量
子化及び逆変換して動補償を行う手段１５，１６，１
７，１８，１９，Ａ１，Ａ２，ＳＷ１，ＳＷ２とを具備
してイントラモ−ド(intramode) 又はインタモ−ド(int
ermode) で映像デ−タを符号化する。
略的に示したブロック図であり、入力される映像信号を
Ｎ×Ｎブロック単位（ブロックの大きさは一般的にＮ1
×Ｎ 2 であるが、便宜上、Ｎ1 ＝Ｎ2 ＝Ｎと仮定する）
に周波数領域の信号に変換した後、変換係数を量子化さ
せる手段１１，１２と、量子化されたデ−タを可変長符
号化する手段１３，１４と、量子化されたデ−タを逆量
子化及び逆変換して動補償を行う手段１５，１６，１
７，１８，１９，Ａ１，Ａ２，ＳＷ１，ＳＷ２とを具備
してイントラモ−ド(intramode) 又はインタモ−ド(int
ermode) で映像デ−タを符号化する。
【０００４】また、図２は一般の映像デ−タの復号化装
置と後処理装置を概略的に示したブロック図であり、図
１に示したような符号化装置により符号化された映像デ
−タを復号化して再生する。図２に示した復号化装置と
後処理装置の動作を簡略に説明する。図２によれば、符
号化された映像デ−タＱＦ（u,v)は可変長復号化部２１
で復号化される。可変長復号化部２１から出力されるデ
−タは逆量子化部２２で逆量子化される。この際、符号
化装置（図１）から供給される量子化ステップサイズＱ
ssにより出力変換係数の大きさが調節される。Ｎ×Ｎ逆
変換部２３は逆量子化部２２から供給される周波数領域
の変換係数を変換して空間領域の映像デ−タに出力す
る。
置と後処理装置を概略的に示したブロック図であり、図
１に示したような符号化装置により符号化された映像デ
−タを復号化して再生する。図２に示した復号化装置と
後処理装置の動作を簡略に説明する。図２によれば、符
号化された映像デ−タＱＦ（u,v)は可変長復号化部２１
で復号化される。可変長復号化部２１から出力されるデ
−タは逆量子化部２２で逆量子化される。この際、符号
化装置（図１）から供給される量子化ステップサイズＱ
ssにより出力変換係数の大きさが調節される。Ｎ×Ｎ逆
変換部２３は逆量子化部２２から供給される周波数領域
の変換係数を変換して空間領域の映像デ−タに出力す
る。
【０００５】その上、図１に示したＮ×Ｎ変換部１１に
おいて行われる各ブロックに対するデ−タ圧縮はＤＣＴ
（Discrete Cosine Transform ）、ＷＨＴ（Walsh-Hada
mardTransform) 、ＤＦＴ（Discrete Fourier Transfor
m）又はＤＳＴ（Discrete Sine Transform)方式などに
より行われる。例えば、デ−タ圧縮を周知のＤＣＴ法で
行う場合、Ｎ×Ｎ変換部１１とＮ×Ｎ逆変換部２３で画
素Ｐ(y,x) （ここで、y,x ＝０，１，２，．．，７）に
対して行われる２次元のフォワ−ドＤＣＴ及びインバ−
スＤＣＴはＮ＝８の場合に次のように定義する。
おいて行われる各ブロックに対するデ−タ圧縮はＤＣＴ
（Discrete Cosine Transform ）、ＷＨＴ（Walsh-Hada
mardTransform) 、ＤＦＴ（Discrete Fourier Transfor
m）又はＤＳＴ（Discrete Sine Transform)方式などに
より行われる。例えば、デ−タ圧縮を周知のＤＣＴ法で
行う場合、Ｎ×Ｎ変換部１１とＮ×Ｎ逆変換部２３で画
素Ｐ(y,x) （ここで、y,x ＝０，１，２，．．，７）に
対して行われる２次元のフォワ−ドＤＣＴ及びインバ−
スＤＣＴはＮ＝８の場合に次のように定義する。
【０００６】
【数１】
【０００７】また、図１に示したような符号化装置から
伝送される動ベクトルＭＶは復号化装置の動補償部２４
に供給され、動補償部２４はフレ−ムメモリ２５に貯蔵
された以前のフレ−ムデ−タから動ベクトルＭＶに相応
するＮ×Ｎブロックを読み出して動きを補償した後に加
算器Ａ３に供給する。すると、加算器Ａ３は逆変換され
たＤＣＴデ−タとＮ×Ｎブロックデ−タを加算して後処
理装置２６に出力する。
伝送される動ベクトルＭＶは復号化装置の動補償部２４
に供給され、動補償部２４はフレ−ムメモリ２５に貯蔵
された以前のフレ−ムデ−タから動ベクトルＭＶに相応
するＮ×Ｎブロックを読み出して動きを補償した後に加
算器Ａ３に供給する。すると、加算器Ａ３は逆変換され
たＤＣＴデ−タとＮ×Ｎブロックデ−タを加算して後処
理装置２６に出力する。
【０００８】後処理装置２６は受信された歪曲画像から
元の画像を復元するためのものである。すなわち、受信
される信号がブロック単位に圧縮された映像デ−タの場
合、ブロック化現象が発生する。ブロック化現象とは、
隣接ブロック間に生じる不連続性として歪曲の一形態で
ある。したがって、従来はブロック化現象を減らすため
空間領域のブロック境界線に位置した画素に対して低域
フィルタリングを加えた。
元の画像を復元するためのものである。すなわち、受信
される信号がブロック単位に圧縮された映像デ−タの場
合、ブロック化現象が発生する。ブロック化現象とは、
隣接ブロック間に生じる不連続性として歪曲の一形態で
ある。したがって、従来はブロック化現象を減らすため
空間領域のブロック境界線に位置した画素に対して低域
フィルタリングを加えた。
【０００９】一方、後処理過程を空間領域でよりは変換
領域で行うことが復号化装置の構造をさらに簡素化さ
せ、効果的でもあった。したがって、１９９３年 PROC
EEDINGS of the SPIE, Vol. 2094, pp. 1627-1638 "Tra
nsform-domain Postprocessing of DCT-coded Image "
by Chung-Nan Tien ; Hseuh-Ming Hang に開示されてい
るような補正されたＤＣＴ係数を用いて後処理してい
る。ＤＣＴ変換係数を補正して後処理する方法を図３乃
至図７を参照して説明する。
領域で行うことが復号化装置の構造をさらに簡素化さ
せ、効果的でもあった。したがって、１９９３年 PROC
EEDINGS of the SPIE, Vol. 2094, pp. 1627-1638 "Tra
nsform-domain Postprocessing of DCT-coded Image "
by Chung-Nan Tien ; Hseuh-Ming Hang に開示されてい
るような補正されたＤＣＴ係数を用いて後処理してい
る。ＤＣＴ変換係数を補正して後処理する方法を図３乃
至図７を参照して説明する。
【００１０】図３は前記文献に開示された後処理方法を
説明するためのフロ−チャ−トである。図３において、
受信された量子化ブロックを逆量子化させ（Ｓ１段
階）、図４に示したように現在ブロックと８個の隣接ブ
ロックより構成された処理セグメントが平坦なセグメン
トか、エッジセグメントかを分類する（Ｓ２段階）。ブ
ロック化現象は平坦セグメントに特に困るので、処理セ
グメントが平坦なセグメントなら後処理過程（Ｓ３〜Ｓ
５）を行い、処理セグメントがエッジセグメントならそ
のまま逆変換して復元された映像ブロックを出力する
（Ｓ６段階）。
説明するためのフロ−チャ−トである。図３において、
受信された量子化ブロックを逆量子化させ（Ｓ１段
階）、図４に示したように現在ブロックと８個の隣接ブ
ロックより構成された処理セグメントが平坦なセグメン
トか、エッジセグメントかを分類する（Ｓ２段階）。ブ
ロック化現象は平坦セグメントに特に困るので、処理セ
グメントが平坦なセグメントなら後処理過程（Ｓ３〜Ｓ
５）を行い、処理セグメントがエッジセグメントならそ
のまま逆変換して復元された映像ブロックを出力する
（Ｓ６段階）。
【００１１】後処理過程（Ｓ３〜Ｓ５段階）に対してさ
らに詳細に説明する。分類されたセグメントが平坦なセ
グメントならＤＣ値を調整する（Ｓ３段階）。ＤＣ値は
映像ブロックの平均明度を示すので、全体映像ブロック
の明度レベルはＤＣ値を調整して変わらせる。即ち、隣
接ブロック間の不連続性を低減するために隣接ブロック
からの情報に基づいて現在ブロックのＤＣ値を調整する
ための加重された平均方法を用いる。Ｂｌｏｃｋi,j の
ＤＣ値であるＤＣi,j はその隣接ブロック間に平坦な遷
移のために調整ＤＣ値ＤＣadj i,j に代置する。ここ
で、ＤＣadj i,j は次のように計算される。
らに詳細に説明する。分類されたセグメントが平坦なセ
グメントならＤＣ値を調整する（Ｓ３段階）。ＤＣ値は
映像ブロックの平均明度を示すので、全体映像ブロック
の明度レベルはＤＣ値を調整して変わらせる。即ち、隣
接ブロック間の不連続性を低減するために隣接ブロック
からの情報に基づいて現在ブロックのＤＣ値を調整する
ための加重された平均方法を用いる。Ｂｌｏｃｋi,j の
ＤＣ値であるＤＣi,j はその隣接ブロック間に平坦な遷
移のために調整ＤＣ値ＤＣadj i,j に代置する。ここ
で、ＤＣadj i,j は次のように計算される。
【００１２】
【数２】
【００１３】下記の式４のような加重マスクＷＭは経験
から選択される。
から選択される。
【００１４】
【数３】
【００１５】前述したようにＤＣ値の調整により平均映
像明度は変わるが、ＤＣ値の調整によりたとえ隣接ブロ
ックのうちＤＣ値の不連続性は下がるとしても依然とし
て不連続性は残っており、ブロック化現象は完全に取り
除かれない。よって、二つの付加的な変換係数をさらに
調整した後、逆変換して出力する。即ち、（０，１）と
（１，０）ＤＣＴ係数であるＶＡＣとＨＡＣを調整する
（Ｓ４，Ｓ５段階）。
像明度は変わるが、ＤＣ値の調整によりたとえ隣接ブロ
ックのうちＤＣ値の不連続性は下がるとしても依然とし
て不連続性は残っており、ブロック化現象は完全に取り
除かれない。よって、二つの付加的な変換係数をさらに
調整した後、逆変換して出力する。即ち、（０，１）と
（１，０）ＤＣＴ係数であるＶＡＣとＨＡＣを調整する
（Ｓ４，Ｓ５段階）。
【００１６】ＨＡＣ動作はＶＡＣと類似なのでＶＡＣ動
作のみを説明する。ｖ＝０，ｕ＝１を有する式１のフォ
ワ−ドＤＣＴで、
作のみを説明する。ｖ＝０，ｕ＝１を有する式１のフォ
ワ−ドＤＣＴで、
【００１７】
【数４】
【００１８】ここで、Ｓ(0,1) はＶＡＣ（垂直ＡＣ係
数）という。ＶＡＣにより影響を受ける空間領域でピク
セル値の量は式２の逆ＤＣＴにより計算される。
数）という。ＶＡＣにより影響を受ける空間領域でピク
セル値の量は式２の逆ＤＣＴにより計算される。
【００１９】
【数５】
【００２０】前記の式６から判るようにＶＡＣはコサイ
ン関数により変調された水平方向に大きさの変動にのみ
連関されている。よって、ＶＡＣは垂直境界上にブロッ
ク化現象を減らして水平方向への連続性を再定立する。
ＶＡＣ調整に影響を受ける隣接ブロックは図４と図５に
示したようにＢｌｏｃｋi,j-1 、Ｂｌｏｃｋi,j 、Ｂｌ
ｏｃｋi,j+1 である。したがって、ＤＣ調整後に残存す
るブロック化現象を取り除くためにＶＡＣ調整を用い
る。それ故、二つの隣接ブロック間の境界でギャップを
測定する必要がある。一つのブロック内に激烈な変化が
ないという仮定下に前記の式６は次の過程によりギャッ
プを予測するに用いられる。
ン関数により変調された水平方向に大きさの変動にのみ
連関されている。よって、ＶＡＣは垂直境界上にブロッ
ク化現象を減らして水平方向への連続性を再定立する。
ＶＡＣ調整に影響を受ける隣接ブロックは図４と図５に
示したようにＢｌｏｃｋi,j-1 、Ｂｌｏｃｋi,j 、Ｂｌ
ｏｃｋi,j+1 である。したがって、ＤＣ調整後に残存す
るブロック化現象を取り除くためにＶＡＣ調整を用い
る。それ故、二つの隣接ブロック間の境界でギャップを
測定する必要がある。一つのブロック内に激烈な変化が
ないという仮定下に前記の式６は次の過程によりギャッ
プを予測するに用いられる。
【００２１】Ｐi,j （左）はＢｌｏｃｋi,j の左側境界
の明度の強度である。その際、
の明度の強度である。その際、
【００２２】
【数６】
【００２３】Ｐi,j （右）はＢｌｏｃｋi,j の右側境界
の明度の強度である。その際、
の明度の強度である。その際、
【００２４】
【数７】
【００２５】Ｂｌｏｃｋi,j-1 の右側境界は、 Ｐi,j-1 （右）＝ 0.17654ＶＡＣi,j-1 ・・・（式９） Ｂｌｏｃｋi,j+1 の左側境界は、 Ｐi,j+1 （左）＝ 0.17654ＶＡＣi,j+1 ・・・（式10） 隣接ブロック境界間のギャップは次のように計算され
る。
る。
【００２６】 ｇａｐi,j （左）＝Ｐi,j-1 （右）−Ｐi,j （左） ・・・（式11） ｇａｐi,j （右）＝Ｐi,j （右）−Ｐi,j+1 （左） ・・・（式12） 図６は明度の強度と境界明度の強度間のギャップを示
す。現在ブロック境界とその隣接ブロック間の平均ギャ
ップ（ｇａｐave i,j ）は、
す。現在ブロック境界とその隣接ブロック間の平均ギャ
ップ（ｇａｐave i,j ）は、
【００２７】
【数８】
【００２８】現在ブロックと隣接ブロックが水平方向に
沿って連続的なピクセル値を有すると、ｇａｐave は０
である。一方、大きいｇａｐave は不連続性量が大きい
ということを意味する。よって、ｇａｐave の値を減ら
すことにより不連続性を下げる。ギャップの調整はｇａ
ｐの半分である。即ち、ｇａｐadj ＝ｇａｐave ／２で
ある。Ｂｌｏｃｋi,j の境界のギャップを減らすため
に、
沿って連続的なピクセル値を有すると、ｇａｐave は０
である。一方、大きいｇａｐave は不連続性量が大きい
ということを意味する。よって、ｇａｐave の値を減ら
すことにより不連続性を下げる。ギャップの調整はｇａ
ｐの半分である。即ち、ｇａｐadj ＝ｇａｐave ／２で
ある。Ｂｌｏｃｋi,j の境界のギャップを減らすため
に、
【００２９】
【数９】
【００３０】ＶＡＣ調整後の断面は図７に示されてい
る。垂直方向の不連続性を下げるためにＨＡＣ調整は前
述した類似な方法で行う。しかしながら、前述した後処
理方法はＤＣ値の補正時には単に周辺ブロックのＤＣ値
に対する加重平均値を用い、水平、垂直方向ＡＣ（ＨＡ
Ｃ，ＶＡＣ）補正値の計算時には水平、垂直方向の補正
を独立的に行うので、依然としてブロック化現象を取り
除くには効果的でない問題があった。
る。垂直方向の不連続性を下げるためにＨＡＣ調整は前
述した類似な方法で行う。しかしながら、前述した後処
理方法はＤＣ値の補正時には単に周辺ブロックのＤＣ値
に対する加重平均値を用い、水平、垂直方向ＡＣ（ＨＡ
Ｃ，ＶＡＣ）補正値の計算時には水平、垂直方向の補正
を独立的に行うので、依然としてブロック化現象を取り
除くには効果的でない問題があった。
【００３１】
【発明が解決しようとする課題】前述した問題点を解消
するために本発明の目的はブロック単位に圧縮された映
像デ−タを復元する装置において、量子化時に生じる情
報の損失分に対する変換係数（補正値）をブロック境界
間の画素差を最小化するように推定し、推定された信号
を元の映像信号に加算してブロック化現象を最小化する
後処理装置を提供することにある。
するために本発明の目的はブロック単位に圧縮された映
像デ−タを復元する装置において、量子化時に生じる情
報の損失分に対する変換係数（補正値）をブロック境界
間の画素差を最小化するように推定し、推定された信号
を元の映像信号に加算してブロック化現象を最小化する
後処理装置を提供することにある。
【００３２】本発明の他の目的は前述した後処理装置に
より行われる後処理方法を提供することにある。
より行われる後処理方法を提供することにある。
【００３３】
【課題を解決するための手段】前述した目的を達成する
ために本発明による後処理装置は、ブロック単位に所定
の逆量子化及び逆変換された後に受信される映像信号に
対してブロック化現象を取り除いて元の映像に復元する
ための後処理装置において、逆変換された映像信号を受
信する入力端子と、前記入力端子を通して入力される映
像信号の現在ブロックとその隣接ブロックとの境界の画
素差の和を最小化する所定の変換領域での所定個の補正
係数を計算する補正係数計算手段と、前記補正係数を用
いて補正値を計算する補正値計算手段と、前記逆変換さ
れた映像信号がエッジ領域又は平坦領域にあるかを判別
して補正するか否かを決める補正制御信号を出力する補
正制御手段と、前記補正制御信号に応じて前記補正値を
前記逆変換された映像信号に加算する加算手段とを含む
ことを特徴とする。
ために本発明による後処理装置は、ブロック単位に所定
の逆量子化及び逆変換された後に受信される映像信号に
対してブロック化現象を取り除いて元の映像に復元する
ための後処理装置において、逆変換された映像信号を受
信する入力端子と、前記入力端子を通して入力される映
像信号の現在ブロックとその隣接ブロックとの境界の画
素差の和を最小化する所定の変換領域での所定個の補正
係数を計算する補正係数計算手段と、前記補正係数を用
いて補正値を計算する補正値計算手段と、前記逆変換さ
れた映像信号がエッジ領域又は平坦領域にあるかを判別
して補正するか否かを決める補正制御信号を出力する補
正制御手段と、前記補正制御信号に応じて前記補正値を
前記逆変換された映像信号に加算する加算手段とを含む
ことを特徴とする。
【００３４】前記他の目的を達成するために本発明によ
る後処理方法は、ブロック単位に逆量子化及び逆変換さ
れて受信される映像信号に対してブロック化現象を取り
除いて元の映像に復元するための後処理方法において、
（ａ）逆変換された映像信号を入力する段階と、（ｂ）
選択された変換の行われる領域で所定個の補正係数を選
択する段階と、（ｃ）現在ブロックと隣接するクロック
との境界の画素差の和を最小化する補正係数を計算する
段階と、（ｄ）前記補正係数と補正因子を用いて補正値
を計算する段階と、（ｅ）前記逆変換された映像信号が
エッジ領域にあるか、平坦領域にあるかにより補正する
か否かを決める補正制御信号を発生する段階と、（ｆ）
前記補正制御信号に応じて前記逆変換された映像信号に
前記計算された補正値を加算する段階とを含むことを特
徴とする。
る後処理方法は、ブロック単位に逆量子化及び逆変換さ
れて受信される映像信号に対してブロック化現象を取り
除いて元の映像に復元するための後処理方法において、
（ａ）逆変換された映像信号を入力する段階と、（ｂ）
選択された変換の行われる領域で所定個の補正係数を選
択する段階と、（ｃ）現在ブロックと隣接するクロック
との境界の画素差の和を最小化する補正係数を計算する
段階と、（ｄ）前記補正係数と補正因子を用いて補正値
を計算する段階と、（ｅ）前記逆変換された映像信号が
エッジ領域にあるか、平坦領域にあるかにより補正する
か否かを決める補正制御信号を発生する段階と、（ｆ）
前記補正制御信号に応じて前記逆変換された映像信号に
前記計算された補正値を加算する段階とを含むことを特
徴とする。
【００３５】
【発明の実施の形態】以下、添付した図面に基づき本発
明によるブロック化現象除去のための後処理装置及びそ
の方法の望ましい実施例を説明する。まず、ブロック化
現象の原因を図２に基づいて説明する。図２に示した可
変長復号化部２１の出力信号は量子化された変換係数Ｑ
Ｆ（u,v)であり、量子化／逆量子化過程から発生する情
報損失分（△Ｆ（u,v)；以下補正値という）のない場合
の変換係数をＦ（u,v)とし、Ｆｑ（u,v)は逆量子化部２
２で逆量子化された係数とすれば、 Ｆ（u,v)＝Ｆｑ（u,v)＋△Ｆ（u,v) ・・・（式15） ここで、△Ｆ（u,v)は量子化段階における情報の損失分
であり、これはブロック化現象の原因である。
明によるブロック化現象除去のための後処理装置及びそ
の方法の望ましい実施例を説明する。まず、ブロック化
現象の原因を図２に基づいて説明する。図２に示した可
変長復号化部２１の出力信号は量子化された変換係数Ｑ
Ｆ（u,v)であり、量子化／逆量子化過程から発生する情
報損失分（△Ｆ（u,v)；以下補正値という）のない場合
の変換係数をＦ（u,v)とし、Ｆｑ（u,v)は逆量子化部２
２で逆量子化された係数とすれば、 Ｆ（u,v)＝Ｆｑ（u,v)＋△Ｆ（u,v) ・・・（式15） ここで、△Ｆ（u,v)は量子化段階における情報の損失分
であり、これはブロック化現象の原因である。
【００３６】本発明ではブロック境界間の画素差を最小
化する値△Ｆ（u,v)を推定してこれを逆変換した後、逆
変換された補正値をＦｑ（u,v)を逆変換したＦｑ（x,y)
信号に加えることによりブロック化現象の程度を効果的
に下げている。図８は本発明によるブロック化現象除去
のための後処理装置の一実施例によるブロック図であ
る。図８によれば、参照符号３１は逆変換された元の映
像信号Ｆｑ（x,y)と補正係数選択信号を入力して補正係
数を計算する補正係数計算部であり、３２は補正係数計
算部３１で計算された補正係数及び補正因子値を入力し
てブロック境界間の画素差を最小化する補正値を計算す
る補正値計算部であり、３３は逆変換された元の映像信
号Ｆｑ（x,y)と補正境界値を入力して補正制御信号を補
正係数計算部３１及び補正値計算部３２に出力する補正
制御部であり、３４は補正制御信号に応じて補正値計算
部３２で計算された補正値を選択的に出力する選択部で
あり、３５は逆変換された元の映像信号Ｆｑ（x,y)と選
択部３４の出力信号を加算して後処理された映像信号
ｆ′（x,y)を出力する加算部である。ここで、逆変換さ
れた元の映像信号Ｆｑ（x,y)は図２に示された加算記Ａ
３を通して入力され、補正係数選択信号、補正因子値、
境界値は図示されていない通常のシステムコントロ−ラ
から入力される。
化する値△Ｆ（u,v)を推定してこれを逆変換した後、逆
変換された補正値をＦｑ（u,v)を逆変換したＦｑ（x,y)
信号に加えることによりブロック化現象の程度を効果的
に下げている。図８は本発明によるブロック化現象除去
のための後処理装置の一実施例によるブロック図であ
る。図８によれば、参照符号３１は逆変換された元の映
像信号Ｆｑ（x,y)と補正係数選択信号を入力して補正係
数を計算する補正係数計算部であり、３２は補正係数計
算部３１で計算された補正係数及び補正因子値を入力し
てブロック境界間の画素差を最小化する補正値を計算す
る補正値計算部であり、３３は逆変換された元の映像信
号Ｆｑ（x,y)と補正境界値を入力して補正制御信号を補
正係数計算部３１及び補正値計算部３２に出力する補正
制御部であり、３４は補正制御信号に応じて補正値計算
部３２で計算された補正値を選択的に出力する選択部で
あり、３５は逆変換された元の映像信号Ｆｑ（x,y)と選
択部３４の出力信号を加算して後処理された映像信号
ｆ′（x,y)を出力する加算部である。ここで、逆変換さ
れた元の映像信号Ｆｑ（x,y)は図２に示された加算記Ａ
３を通して入力され、補正係数選択信号、補正因子値、
境界値は図示されていない通常のシステムコントロ−ラ
から入力される。
【００３７】図８に示した装置の動作を説明する。補正
係数計算部３１では逆変換された元の映像信号Ｆｑ（x,
y)と補正係数選択信号を入力して選択された係数の値を
計算する。一般にブロックのサイズがＮ×Ｎの場合、一
般的に推定されうる△Ｆ（u,v)係数の数はＮ2 である。
しかしながら、実際にこのうちブロック化現象の除去に
有用な係数のみを選択して所定の数の補正係数選択信号
として補正係数計算部３１に入力させる。したがって、
補正係数選択信号の数は１からＮ2 まで設定することが
できる。但し、本発明の実施例においては三つのａ0 ，
ａ1 ，ａ2 である。
係数計算部３１では逆変換された元の映像信号Ｆｑ（x,
y)と補正係数選択信号を入力して選択された係数の値を
計算する。一般にブロックのサイズがＮ×Ｎの場合、一
般的に推定されうる△Ｆ（u,v)係数の数はＮ2 である。
しかしながら、実際にこのうちブロック化現象の除去に
有用な係数のみを選択して所定の数の補正係数選択信号
として補正係数計算部３１に入力させる。したがって、
補正係数選択信号の数は１からＮ2 まで設定することが
できる。但し、本発明の実施例においては三つのａ0 ，
ａ1 ，ａ2 である。
【００３８】補正係数選択信号により選択された補正係
数を計算する過程を説明するための各種の記号定義が図
９（Ａ）及び（Ｂ）に示されている。図９（Ａ）に示し
たように、現在処理しようとするブロックの画素をｆ
（x,y）と示し、このブロックの周囲ブロックをそれぞ
れＺ1 ，Ｚ2 ，Ｚ3 ，Ｚ4 とする。図９（Ｂ）はＮ×Ｎ
の大きさを有する現在ブロックの各画素を概略的に示し
ている。ここで、補正時に使用する圧縮技術は任意のも
のを使用することができ、ここでは映像符号化器及び復
号化器で最も広く用いられる２次元のＤＣＴを使用して
映像信号を水平及び垂直方向の周波数成分に変換する場
合を例として説明する。
数を計算する過程を説明するための各種の記号定義が図
９（Ａ）及び（Ｂ）に示されている。図９（Ａ）に示し
たように、現在処理しようとするブロックの画素をｆ
（x,y）と示し、このブロックの周囲ブロックをそれぞ
れＺ1 ，Ｚ2 ，Ｚ3 ，Ｚ4 とする。図９（Ｂ）はＮ×Ｎ
の大きさを有する現在ブロックの各画素を概略的に示し
ている。ここで、補正時に使用する圧縮技術は任意のも
のを使用することができ、ここでは映像符号化器及び復
号化器で最も広く用いられる２次元のＤＣＴを使用して
映像信号を水平及び垂直方向の周波数成分に変換する場
合を例として説明する。
【００３９】したがって、補正係数選択信号をＤＣＴの
ＤＣ係数、１次コサイン値（垂直、水平１次成分）を示
すと仮定すれば、補正値△ｆ(x,y) は次のように示され
る。
ＤＣ係数、１次コサイン値（垂直、水平１次成分）を示
すと仮定すれば、補正値△ｆ(x,y) は次のように示され
る。
【００４０】
【数１０】
【００４１】ここで、未知数ａ0 ，ａ1 ，ａ2 は補正係
数となり、これらは補正係数計算部３１で計算される
が、その補正係数の計算方法はブロック境界における不
連続度Ｄを最小化する値を用いる。
数となり、これらは補正係数計算部３１で計算される
が、その補正係数の計算方法はブロック境界における不
連続度Ｄを最小化する値を用いる。
【００４２】
【数１１】
【００４３】前記の式１７から判るように不連続度Ｄは
式１６で未知数ａ0 ，ａ1 ，ａ2 を用いて△ｆを代替し
て表現されうる。式１７をそれぞれ
式１６で未知数ａ0 ，ａ1 ，ａ2 を用いて△ｆを代替し
て表現されうる。式１７をそれぞれ
【００４４】
【外１】
【００４５】に対して偏微分した後、得られた三つの方
程式を０として計算すれば、式１７を最小化する補正係
数値ａ0 ，ａ1 ，ａ2 を得ることができ、この得られた
係数を用いて補正値計算部３２では式１６で未知数の代
わりに計算された補正係数値を代置して、すなわち、
程式を０として計算すれば、式１７を最小化する補正係
数値ａ0 ，ａ1 ，ａ2 を得ることができ、この得られた
係数を用いて補正値計算部３２では式１６で未知数の代
わりに計算された補正係数値を代置して、すなわち、
【００４６】
【数１２】
【００４７】式１８で計算されたこの補正値は選択部３
４を通して加算部３５で逆変換された元の映像信号ｆｑ
（x,y)に加えられるようにする。この際、各ブロック別
に独立的に補正が行われるので、現在ブロックと隣接ブ
ロック間の境界で類似なア−チファクトが発生すること
もあり、その類似なア−チファクトの一例が図１０に示
されている。この現象を低減するために補正因子値（λ
1 ，λ2 ，λ3 ）を採用して補正値計算部３２における
実際の補正値計算時は下記の式１９のようにする。
４を通して加算部３５で逆変換された元の映像信号ｆｑ
（x,y)に加えられるようにする。この際、各ブロック別
に独立的に補正が行われるので、現在ブロックと隣接ブ
ロック間の境界で類似なア−チファクトが発生すること
もあり、その類似なア−チファクトの一例が図１０に示
されている。この現象を低減するために補正因子値（λ
1 ，λ2 ，λ3 ）を採用して補正値計算部３２における
実際の補正値計算時は下記の式１９のようにする。
【００４８】
【数１３】
【００４９】一般に補正因子値は各補正係数ごとに独立
的に定義されることができ、λ0 ＝λ1 ＝λ2 ＝λのよ
うに全ての補正係数に共通的に定義しうる。この補正因
子値は適切値として選択される。一方、逆変換された映
像信号ｆｑ（x,y)にエッジが存在する場合、これに当た
るブロックにブロック化現象を取り除くために補正計算
部３２で計算された補正値を適用すれば、かえってエッ
ジ成分が劣化されて画質の低下をもたらす恐れがあるの
で、補正制御部３３では現在ブロックがエッジ領域なら
補正を行わず、平坦領域なら補正を行うようにする補正
制御信号を発生する。
的に定義されることができ、λ0 ＝λ1 ＝λ2 ＝λのよ
うに全ての補正係数に共通的に定義しうる。この補正因
子値は適切値として選択される。一方、逆変換された映
像信号ｆｑ（x,y)にエッジが存在する場合、これに当た
るブロックにブロック化現象を取り除くために補正計算
部３２で計算された補正値を適用すれば、かえってエッ
ジ成分が劣化されて画質の低下をもたらす恐れがあるの
で、補正制御部３３では現在ブロックがエッジ領域なら
補正を行わず、平坦領域なら補正を行うようにする補正
制御信号を発生する。
【００５０】補正制御部３３は一般に各画素同士の差値
によりエッジを判別するエッジ判別部を使用することが
でき、本発明では次の二つの方法を提案する。本発明の
第一の方法は、ブロック境界間の画素差の和を検査する
方法である。この方法は、ブロック境界間の画素差の和
が所定の境界値より大きい場合、映像エッジが発生して
ブロック化現象が補正されないかを判別することで、水
平方向と垂直方向に分離されて行われる。
によりエッジを判別するエッジ判別部を使用することが
でき、本発明では次の二つの方法を提案する。本発明の
第一の方法は、ブロック境界間の画素差の和を検査する
方法である。この方法は、ブロック境界間の画素差の和
が所定の境界値より大きい場合、映像エッジが発生して
ブロック化現象が補正されないかを判別することで、水
平方向と垂直方向に分離されて行われる。
【００５１】図１１に示したように現在のＮ×Ｎブロッ
クの各方向の不連続度Ｄ1 ，Ｄ2 ，Ｄ3 ，Ｄ4 は次の式
２０乃至式２３のように計算される。
クの各方向の不連続度Ｄ1 ，Ｄ2 ，Ｄ3 ，Ｄ4 は次の式
２０乃至式２３のように計算される。
【００５２】
【数１４】
【００５３】
【数１５】
【００５４】
【数１６】
【００５５】
【数１７】
【００５６】水平方向（ｘ軸）に補正するか否かは、現
在ブロックの境界画素と右側ブロックＺ２の境界画素の
差を合算した不連続度Ｄ2 と現在ブロックの境界画素と
左側ブロックＺ４の境界画素の差を合算した不連続度Ｄ
4 との差を水平境界値ＴＨＤ 1 と比較することにより決
められる。即ち、 ｜Ｄ2 −Ｄ4 ｜＞ＴＨＤ1 （水平方向）：補正しない ・・・（式24） ｜Ｄ2 −Ｄ4 ｜＜ＴＨＤ1 （水平方向）：補正 ・・・（式25） 前記式２４，２５から判るように、隣接ブロック間の水
平方向の差｜Ｄ2 −Ｄ 4 ｜が境界値ＴＨＤ1 より大きい
というのはエッジを意味するので補正を行わず、｜Ｄ2
−Ｄ4 ｜が境界値ＴＨＤ1 より小さいというのは平坦を
意味するので補正を行う。
在ブロックの境界画素と右側ブロックＺ２の境界画素の
差を合算した不連続度Ｄ2 と現在ブロックの境界画素と
左側ブロックＺ４の境界画素の差を合算した不連続度Ｄ
4 との差を水平境界値ＴＨＤ 1 と比較することにより決
められる。即ち、 ｜Ｄ2 −Ｄ4 ｜＞ＴＨＤ1 （水平方向）：補正しない ・・・（式24） ｜Ｄ2 −Ｄ4 ｜＜ＴＨＤ1 （水平方向）：補正 ・・・（式25） 前記式２４，２５から判るように、隣接ブロック間の水
平方向の差｜Ｄ2 −Ｄ 4 ｜が境界値ＴＨＤ1 より大きい
というのはエッジを意味するので補正を行わず、｜Ｄ2
−Ｄ4 ｜が境界値ＴＨＤ1 より小さいというのは平坦を
意味するので補正を行う。
【００５７】同様に垂直方向（ｙ軸）に対しても次のよ
うに決められる。 ｜Ｄ1 −Ｄ3 ｜＞ＴＨＤ2 （水平方向）：補正しない ・・・（式26） ｜Ｄ1 −Ｄ3 ｜＜ＴＨＤ2 （水平方向）：補正 ・・・（式27） 前記式２６，２７から判るように、隣接ブロック間の垂
直方向の差｜Ｄ1 −Ｄ 3 ｜が境界値ＴＨＤ2 より大きい
というのはエッジを意味するので補正を行わず、｜Ｄ1
−Ｄ3 ｜が境界値ＴＨＤ2 より小さいというのは平坦を
意味するので補正を行う。
うに決められる。 ｜Ｄ1 −Ｄ3 ｜＞ＴＨＤ2 （水平方向）：補正しない ・・・（式26） ｜Ｄ1 −Ｄ3 ｜＜ＴＨＤ2 （水平方向）：補正 ・・・（式27） 前記式２６，２７から判るように、隣接ブロック間の垂
直方向の差｜Ｄ1 −Ｄ 3 ｜が境界値ＴＨＤ2 より大きい
というのはエッジを意味するので補正を行わず、｜Ｄ1
−Ｄ3 ｜が境界値ＴＨＤ2 より小さいというのは平坦を
意味するので補正を行う。
【００５８】補正制御部３３では垂直方向のみ、水平方
向のみまたは垂直及び水平方向の補正を施すかを示す補
正制御信号を出力する。この補正制御信号は補正係数計
算部３１及び補正値計算部３２に印加される。例えば、
｜Ｄ2 −Ｄ4 ｜の値がＴＨＤ1 より小さく、Ｄ1 −Ｄ3
の値がＴＨＤ2より大きければ水平方向にのみ補正を施
し、補正係数計算部３１ではａ0 , ａ1の値のみを計算
し、補正計算部３２では式１９で垂直方向の周波数成分
は補正しない。すなわち、
向のみまたは垂直及び水平方向の補正を施すかを示す補
正制御信号を出力する。この補正制御信号は補正係数計
算部３１及び補正値計算部３２に印加される。例えば、
｜Ｄ2 −Ｄ4 ｜の値がＴＨＤ1 より小さく、Ｄ1 −Ｄ3
の値がＴＨＤ2より大きければ水平方向にのみ補正を施
し、補正係数計算部３１ではａ0 , ａ1の値のみを計算
し、補正計算部３２では式１９で垂直方向の周波数成分
は補正しない。すなわち、
【００５９】
【数１８】
【００６０】前記の式２８により計算された補正値は逆
変換された元の映像信号ｆｑ（x,y）に加算されて後処
理された映像信号を出力する。本発明で提案された第二
の方法はソベル演算器を用いてエッジの存在を決める方
法である。第二の方法を採用した補正制御部３３の詳細
ブロック図は図１２に示した通りである。
変換された元の映像信号ｆｑ（x,y）に加算されて後処
理された映像信号を出力する。本発明で提案された第二
の方法はソベル演算器を用いてエッジの存在を決める方
法である。第二の方法を採用した補正制御部３３の詳細
ブロック図は図１２に示した通りである。
【００６１】図１２のソベル演算器４１では逆変換され
た元の映像信号ｆ(x,y) とスレショルド値ＴＨＤ3 を入
力して所定の大きさのウィンドウ内で現在の画素と隣接
画素との差の和をスレショルド値ＴＨＤ3 と比較してス
レショルド値ＴＨＤ3 より大きければ、画素がエッジ成
分かを判別してエッジ制御信号をエッジ画素計数部４２
に出力する。
た元の映像信号ｆ(x,y) とスレショルド値ＴＨＤ3 を入
力して所定の大きさのウィンドウ内で現在の画素と隣接
画素との差の和をスレショルド値ＴＨＤ3 と比較してス
レショルド値ＴＨＤ3 より大きければ、画素がエッジ成
分かを判別してエッジ制御信号をエッジ画素計数部４２
に出力する。
【００６２】ここで、ソベルのエッジ検出方法は、Lim,
Jae S. "Two-Dimensional Signaland Image Processin
g" Englewood Cliffs, NJ ; Prentice-Hall, 1990 pp.4
78-483 に開示されている。エッジ画素計数器４２では
ソベル演算器４１から出力されるエッジ信号に応じて与
えられたブロックのＮ2 個の画素のうちエッジ成分と判
明された画素の数を計算する。
Jae S. "Two-Dimensional Signaland Image Processin
g" Englewood Cliffs, NJ ; Prentice-Hall, 1990 pp.4
78-483 に開示されている。エッジ画素計数器４２では
ソベル演算器４１から出力されるエッジ信号に応じて与
えられたブロックのＮ2 個の画素のうちエッジ成分と判
明された画素の数を計算する。
【００６３】各ブロック内のエッジ数はエッジ数の許容
度ＴＨＤ4 と比較して、 ブロックエッジ数＞エッジ数の許容度（ＴＨＤ4 ）：補正しない ・・・（式29） ブロックエッジ数＜エッジ数の許容度（ＴＨＤ4 ）：補正 ・・・（式30） 前記の式２９，３０の関係により判別器４３では補正か
否かを決めて式１９に示した補正値でＤＣ補正、垂直及
び水平補正を同時に行うのに用いられる補正制御信号を
出力する。
度ＴＨＤ4 と比較して、 ブロックエッジ数＞エッジ数の許容度（ＴＨＤ4 ）：補正しない ・・・（式29） ブロックエッジ数＜エッジ数の許容度（ＴＨＤ4 ）：補正 ・・・（式30） 前記の式２９，３０の関係により判別器４３では補正か
否かを決めて式１９に示した補正値でＤＣ補正、垂直及
び水平補正を同時に行うのに用いられる補正制御信号を
出力する。
【００６４】一方、本発明の後処理方法はブロック化現
象のより効率的な除去のために後処理装置２６の後端に
前述した後処理方法を行う複数の後処理装置を設けて繰
り返し施されることができ、この際、複数の後処理装置
で使用される補正因子値は相違に設定して使用すること
ができる。また、本発明は大部分の映像圧縮がブロック
変換により行われるので、高解像度ＴＶ（ＨＤＴＶ）、
ディジタルＴＶ、ＭＰＥＧ−１応用製品、ＭＰＥＧ−２
応用製品、マルチメディアなどの広範囲な分野に活用さ
れうる。
象のより効率的な除去のために後処理装置２６の後端に
前述した後処理方法を行う複数の後処理装置を設けて繰
り返し施されることができ、この際、複数の後処理装置
で使用される補正因子値は相違に設定して使用すること
ができる。また、本発明は大部分の映像圧縮がブロック
変換により行われるので、高解像度ＴＶ（ＨＤＴＶ）、
ディジタルＴＶ、ＭＰＥＧ−１応用製品、ＭＰＥＧ−２
応用製品、マルチメディアなどの広範囲な分野に活用さ
れうる。
【００６５】
【発明の効果】以上前述したように本発明は量子化時の
損失された変換係数を推定し、推定された信号を逆変換
して逆変換された元の映像信号に加算することにより、
実際の画像間の境界画素における差を最小化することが
できる。また、本発明はブロック境界間の差に対して水
平、垂直方向に同時に補正することにより、さらに効率
的にブロック化現象を取り除くことができる。
損失された変換係数を推定し、推定された信号を逆変換
して逆変換された元の映像信号に加算することにより、
実際の画像間の境界画素における差を最小化することが
できる。また、本発明はブロック境界間の差に対して水
平、垂直方向に同時に補正することにより、さらに効率
的にブロック化現象を取り除くことができる。
【図１】一般の映像デ−タの符号化装置を示すブロック
図である。
図である。
【図２】一般の映像デ−タの復号化装置と後処理装置を
示すブロック図である。
示すブロック図である。
【図３】従来の後処理方法を説明するためのフロ−チャ
−トである。
−トである。
【図４】現在のブロックとその隣接ブロックを示す図で
ある。
ある。
【図５】ＶＡＣとＨＡＣの調整により影響を受ける隣接
ブロックを示す図である。
ブロックを示す図である。
【図６】明度強度と隣接ブロック間のギャップを示す図
である。
である。
【図７】ＶＡＣ調整後のブロック境界の明度強度を示す
図である。
図である。
【図８】本発明によるブロック化現象除去のための後処
理装置のブロック図である。
理装置のブロック図である。
【図９】（Ａ）及び（Ｂ）は図８に示された補正係数計
算部の作動を示す図である。
算部の作動を示す図である。
【図１０】補正前後のブロック値を示す図である。
【図１１】ブロック境界間の画素差の和を用いる方法を
説明するための図である。
説明するための図である。
【図１２】ソベル演算器を用いた図８に示した補正制御
部の詳細ブロック図である。
部の詳細ブロック図である。
３１ 補正係数計算部 ３２ 補正値計算部 ３３ 補正制御部 ３４ 選択部 ３５ 加算部 ４１ ソベル演算器 ４２ エッジ画素計数器 ４３ 判別器
Claims (24)
- 【請求項１】 ブロック単位に所定の逆量子化及び逆変
換された後に受信される映像信号に対してブロック化現
象を取り除いて元の映像に復元するための後処理装置に
おいて、 逆変換された映像信号を受信する入力端子と、 前記入力端子を通して入力される映像信号の現在ブロッ
クとその隣接ブロックとの境界の画素差の和を最小化す
る所定の変換領域での所定個の補正係数を計算する補正
係数計算手段と、 前記補正係数を用いて補正値を計算する補正値計算手段
と、 前記逆変換された映像信号がエッジ領域又は平坦領域に
あるかを判別して補正するか否かを決める補正制御信号
を出力する補正制御手段と、 前記補正制御信号に応じて前記補正値を前記逆変換され
た映像信号に加算する加算手段とを含むことを特徴とす
る後処理装置。 - 【請求項２】 前記所定の変換はＤＣＴであることを特
徴とする請求項１に記載の後処理装置。 - 【請求項３】 前記補正係数計算手段は変換ブロックの
大きさに対応する補正係数の数のうち少なくともいずれ
か一つ以上の補正係数を選択することを特徴とする請求
項１に記載の後処理装置。 - 【請求項４】 前記補正係数計算手段の補正係数はＤＣ
Ｔブロックの直流成分、１次水平コサイン成分、１次垂
直コサイン成分であることを特徴とする請求項２に記載
の後処理装置。 - 【請求項５】 前記所定のブロック変換はＷＨＴである
ことを特徴とする請求項１に記載の後処理装置。 - 【請求項６】 前記補正値計算手段は補正因子値を用い
て補正程度を調節することを特徴とする請求項３に記載
の後処理装置。 - 【請求項７】 前記補正因子値は前記補正係数の数に対
応して設定することを特徴とする請求項６に記載の後処
理装置。 - 【請求項８】 前記補正因子値は前記補正係数の数にか
かわらず、同一な値に設定することを特徴とする請求項
６に記載の後処理装置。 - 【請求項９】 前記補正制御手段は現在ブロックと隣接
ブロックとの境界の画素差の和を用いて垂直、水平方向
に独立的に補正を制御する補正制御信号を発生すること
を特徴とする請求項１に記載の後処理装置。 - 【請求項１０】 前記補正制御手段は水平方向に補正す
るか否かを決める補正制御信号を、現在ブロックの境界
画素と隣接する右側ブロックの境界画素との差の和に当
たる不連続度と現在ブロックの境界画素と隣接する左側
ブロックの境界画素との差の和に当たる不連続度を比較
することにより発生することを特徴とする請求項９に記
載の後処理装置。 - 【請求項１１】 前記補正制御手段は垂直方向に補正す
るか否かを決める補正制御信号を、現在ブロックの境界
画素と隣接する上側ブロックの境界画素との差の和に当
たる不連続度と現在ブロックの境界画素と隣接する下側
ブロックの境界画素との差の和に当たる不連続度を比較
することにより発生することを特徴とする請求項９に記
載の後処理装置。 - 【請求項１２】 前記補正制御手段は垂直方向のみ、水
平方向のみ及び両方向に対する補正制御信号を出力する
ことを特徴とする請求項９に記載の後処理装置。 - 【請求項１３】 前記補正制御手段は、 前記逆変換された映像信号を入力してエッジ成分か否か
を判別してエッジ制御信号を出力するソベル演算器と、 前記エッジ制御信号に応じてブロック内の画素のエッジ
数を計数するエッジ画素計数器と、 前記エッジ画素計数器から計算されたエッジ画素数を予
め定められたブロック内で許容されたエッジ画素数を示
すスレショルド値と比較し、比較結果に基づいて補正制
御信号を出力する判別器とを含むことを特徴とする請求
項１に記載の後処理装置。 - 【請求項１４】 前記判別器は垂直及び水平方向に対し
て同時に補正するための補正制御信号を出力することを
特徴とする請求項１３に記載の後処理装置。 - 【請求項１５】 映像復号化装置は後処理装置が複数個
より構成されることを特徴とする請求項１に記載の後処
理装置。 - 【請求項１６】 前記複数個の後処理装置の各補正値計
算手段は同一な補正因子値を使用して補正程度を調節す
ることを特徴とする請求項１５に記載の後処理装置。 - 【請求項１７】 前記複数個の後処理装置の各補正値計
算手段は相異なる補正因子値を使用して補正程度を調節
することを特徴とする請求項１５に記載の後処理装置。 - 【請求項１８】 ブロック単位に逆量子化及び逆変換さ
れて受信される映像信号に対してブロック化現象を取り
除いて元の映像に復元するための後処理方法において、 （ａ）逆変換された映像信号を入力する段階と、 （ｂ）選択された変換の行われる領域で所定個の補正係
数を選択する段階と、 （ｃ）現在ブロックと隣接するブロックとの境界の画素
差の和を最小化する補正係数を計算する段階と、 （ｄ）前記補正係数と補正因子を用いて補正値を計算す
る段階と、 （ｅ）前記逆変換された映像信号がエッジ領域にある
か、平坦領域にあるかにより補正するか否かを決める補
正制御信号を発生する段階と、 （ｆ）前記補正制御信号に応じて前記逆変換された映像
信号に前記計算された補正値を加算する段階とを含むこ
とを特徴とする後処理方法。 - 【請求項１９】 前記（ｆ）段階から得られた和信号を
用いて（ｃ）〜（ｆ）段階を繰り返すことを特徴とする
請求項１８に記載の後処理方法。 - 【請求項２０】 前記選択された変換はＤＣＴであるこ
とを特徴とする請求項１８に記載の後処理方法。 - 【請求項２１】 前記所定のブロック変換はＷＨＴであ
ることを特徴とする請求項１８に記載の後処理装置。 - 【請求項２２】 前記（ｂ）段階はＤＣＴブロックの直
流成分、１次水平コサイン成分、１次垂直コサイン成分
を選択することを特徴とする請求項２０に記載の後処理
方法。 - 【請求項２３】 前記（ｄ）段階の前記補正因子値は前
記補正係数の数にかかわらず同一な値に設定することを
特徴とする請求項１８に記載の後処理方法。 - 【請求項２４】 前記（ｄ）段階の補正因子値は各選択
された変換係数に対して別途に決められることを特徴と
する請求項１８に記載の後処理方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR951/1995 | 1995-01-20 | ||
| KR1019950000951A KR0165497B1 (ko) | 1995-01-20 | 1995-01-20 | 블럭화현상 제거를 위한 후처리장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08251591A true JPH08251591A (ja) | 1996-09-27 |
| JP3269960B2 JP3269960B2 (ja) | 2002-04-02 |
Family
ID=19407002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP781196A Expired - Fee Related JP3269960B2 (ja) | 1995-01-20 | 1996-01-19 | ブロック化現象除去のための後処理装置及びその方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5937101A (ja) |
| EP (1) | EP0723375B1 (ja) |
| JP (1) | JP3269960B2 (ja) |
| KR (1) | KR0165497B1 (ja) |
| CN (1) | CN1130917C (ja) |
| DE (1) | DE69630828T2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7492823B2 (en) | 1997-07-16 | 2009-02-17 | Samsung Electronics Co., Ltd. | Signal adaptive filtering method, signal adaptive filter and computer readable medium for storing program therefor |
| WO2011129090A1 (ja) * | 2010-04-13 | 2011-10-20 | パナソニック株式会社 | 符号化歪み除去方法、符号化方法、復号化方法、符号化歪み除去装置、符号化装置、および復号化装置 |
| JP2012016048A (ja) * | 2001-09-12 | 2012-01-19 | Panasonic Corp | 画像符号化装置および符号化画像ストリーム |
| JP2017168955A (ja) * | 2016-03-15 | 2017-09-21 | 日本放送協会 | 画像復号装置、画像復号プログラム及びチップ |
| JP2019087778A (ja) * | 2017-11-01 | 2019-06-06 | 日本放送協会 | 画像復元フィルタ及び学習装置 |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69730375T2 (de) * | 1996-05-14 | 2005-08-11 | Daewoo Electronics Corp. | Reduzierung von Blockeffekten in einem Bewegtbilddekoder |
| US6373894B1 (en) * | 1997-02-18 | 2002-04-16 | Sarnoff Corporation | Method and apparatus for recovering quantized coefficients |
| KR100265722B1 (ko) | 1997-04-10 | 2000-09-15 | 백준기 | 블럭기반영상처리방법및장치 |
| DE19718063C2 (de) * | 1997-04-29 | 2001-05-17 | Rohde & Schwarz | Verfahren zum Detektieren und Quantifizieren von Bildveränderungen eines Videobildes, das mit einem blockbasierten, datenreduzierenden Video-Code verarbeitet ist |
| DE69720192T2 (de) * | 1997-05-30 | 2003-12-04 | Stmicroelectronics S.R.L., Agrate Brianza | Nachverarbeitungsmethode zur Verringerung von Artefakten in blockweise kodierten digitalen Bildern, und Vorrichtung zur Verwendung der Methode |
| KR100281099B1 (ko) * | 1997-07-30 | 2001-04-02 | 구자홍 | 동영상의부호화에따른블록화현상제거방법 |
| US7239755B1 (en) | 1997-07-30 | 2007-07-03 | Lg Electronics Inc. | Method of reducing a blocking artifact when coding moving picture |
| KR100244290B1 (ko) | 1997-09-09 | 2000-02-01 | 구자홍 | 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법 |
| KR100269125B1 (ko) * | 1997-10-25 | 2000-10-16 | 윤덕용 | 양자화효과감소를위한영상데이터후처리방법및장치 |
| JP2002204450A (ja) * | 2000-12-28 | 2002-07-19 | Sony Corp | データ処理装置および方法 |
| KR100308016B1 (ko) | 1998-08-31 | 2001-10-19 | 구자홍 | 압축 부호화된 영상에 나타나는 블럭현상 및 링현상 제거방법및 영상 복호화기 |
| US6192155B1 (en) * | 1998-09-16 | 2001-02-20 | Xerox Corporation | Systems and methods for reducing boundary artifacts in hybrid compression |
| US6195457B1 (en) * | 1998-11-13 | 2001-02-27 | Xerox Corporation | Blocking signature detection for identification of JPEG images |
| US6256416B1 (en) * | 1998-11-13 | 2001-07-03 | Xerox Corporation | Blocking signature detection for identification of JPEG images |
| US6611560B1 (en) * | 2000-01-20 | 2003-08-26 | Hewlett-Packard Development Company, L.P. | Method and apparatus for performing motion estimation in the DCT domain |
| US6965647B1 (en) * | 2000-11-28 | 2005-11-15 | Sony Corporation | Robust time domain block decoding |
| KR100386639B1 (ko) * | 2000-12-04 | 2003-06-02 | 주식회사 오픈비주얼 | 정규화된 역양자화기를 이용한 영상 및 동영상의 복원 방법 |
| FR2823338A1 (fr) * | 2001-04-10 | 2002-10-11 | Koninkl Philips Electronics Nv | Procede et dispositif de post traitement d'images numeriques |
| CN1260978C (zh) * | 2001-05-10 | 2006-06-21 | 松下电器产业株式会社 | 图像处理装置 |
| JP2002344746A (ja) * | 2001-05-22 | 2002-11-29 | Sanyo Electric Co Ltd | 輪郭補正回路および輪郭補正方法 |
| US6983079B2 (en) * | 2001-09-20 | 2006-01-03 | Seiko Epson Corporation | Reducing blocking and ringing artifacts in low-bit-rate coding |
| KR100538215B1 (ko) * | 2002-01-23 | 2005-12-21 | 삼성전자주식회사 | 고속 후처리가 가능한 영상 재생 장치 및 그 방법 |
| US7031552B2 (en) * | 2002-04-05 | 2006-04-18 | Seiko Epson Corporation | Adaptive post-filtering for reducing noise in highly compressed image/video coding |
| US6950473B2 (en) * | 2002-06-21 | 2005-09-27 | Seiko Epson Corporation | Hybrid technique for reducing blocking and ringing artifacts in low-bit-rate coding |
| JP4623920B2 (ja) * | 2002-07-09 | 2011-02-02 | ソニー株式会社 | 類似度算出方法及び装置、並びにプログラム及び記録媒体 |
| US7031392B2 (en) | 2002-09-20 | 2006-04-18 | Seiko Epson Corporation | Method and apparatus for video deblocking |
| US7003170B1 (en) | 2002-09-20 | 2006-02-21 | Pegasus Imaging Corporation | Methods and apparatus for improving quality of block-transform coded images |
| US20050123038A1 (en) * | 2003-12-08 | 2005-06-09 | Canon Kabushiki Kaisha | Moving image encoding apparatus and moving image encoding method, program, and storage medium |
| US20050157796A1 (en) * | 2004-01-20 | 2005-07-21 | Victor Company Of Japan, Ltd. | Block noise reducing apparatus |
| US7397853B2 (en) * | 2004-04-29 | 2008-07-08 | Mediatek Incorporation | Adaptive de-blocking filtering apparatus and method for MPEG video decoder |
| US7400679B2 (en) * | 2004-04-29 | 2008-07-15 | Mediatek Incorporation | Adaptive de-blocking filtering apparatus and method for MPEG video decoder |
| US7460596B2 (en) * | 2004-04-29 | 2008-12-02 | Mediatek Incorporation | Adaptive de-blocking filtering apparatus and method for MPEG video decoder |
| US7539248B2 (en) * | 2004-04-29 | 2009-05-26 | Mediatek Incorporation | Adaptive de-blocking filtering apparatus and method for MPEG video decoder |
| US20050243914A1 (en) * | 2004-04-29 | 2005-11-03 | Do-Kyoung Kwon | Adaptive de-blocking filtering apparatus and method for mpeg video decoder |
| US7496141B2 (en) * | 2004-04-29 | 2009-02-24 | Mediatek Incorporation | Adaptive de-blocking filtering apparatus and method for MPEG video decoder |
| US7397854B2 (en) * | 2004-04-29 | 2008-07-08 | Mediatek Incorporation | Adaptive de-blocking filtering apparatus and method for MPEG video decoder |
| JP4775756B2 (ja) * | 2005-03-18 | 2011-09-21 | 富士ゼロックス株式会社 | 復号化装置及びそのプログラム |
| JP4784386B2 (ja) * | 2006-05-01 | 2011-10-05 | 富士ゼロックス株式会社 | 復号化装置、逆量子化方法及びプログラム |
| JP4192985B2 (ja) * | 2006-10-17 | 2008-12-10 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
| EP1935340B1 (en) * | 2006-12-19 | 2017-11-01 | Agfa HealthCare NV | Method for neutralizing image artifacts prior to the determination of the Signal-to-noise ratio in CR/DR radiography systems |
| GB2451437B (en) * | 2007-07-27 | 2012-11-14 | Hewlett Packard Development Co | Content encoder and decoder and methods of encoding and decoding content |
| US8238675B2 (en) * | 2008-03-24 | 2012-08-07 | Microsoft Corporation | Spectral information recovery for compressed image restoration with nonlinear partial differential equation regularization |
| FR2958487A1 (fr) * | 2010-04-06 | 2011-10-07 | Alcatel Lucent | Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video |
| US9413477B2 (en) * | 2010-05-10 | 2016-08-09 | Microsoft Technology Licensing, Llc | Screen detector |
| US9118932B2 (en) | 2013-06-14 | 2015-08-25 | Nvidia Corporation | Adaptive filtering mechanism to remove encoding artifacts in video data |
| US9154782B2 (en) * | 2013-09-16 | 2015-10-06 | Magnum Semiconductor, Inc. | Apparatuses and methods for adjusting coefficients using dead zones |
| US9712828B2 (en) * | 2015-05-27 | 2017-07-18 | Indian Statistical Institute | Foreground motion detection in compressed video data |
| CN108900842B (zh) * | 2018-07-27 | 2021-08-31 | 郑州云海信息技术有限公司 | Y数据压缩处理方法、装置、设备及WebP压缩系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5379122A (en) * | 1992-10-02 | 1995-01-03 | Xerox Corporation | Decompression of standard ADCT-compressed images |
| US5450531A (en) * | 1992-11-30 | 1995-09-12 | Eastman Kodak Company | Resolution enhancement system for combined binary and gray scale halftone images |
| US5590064A (en) * | 1994-10-26 | 1996-12-31 | Intel Corporation | Post-filtering for decoded video signals |
-
1995
- 1995-01-20 KR KR1019950000951A patent/KR0165497B1/ko not_active IP Right Cessation
-
1996
- 1996-01-18 EP EP19960300374 patent/EP0723375B1/en not_active Expired - Lifetime
- 1996-01-18 DE DE1996630828 patent/DE69630828T2/de not_active Expired - Lifetime
- 1996-01-19 JP JP781196A patent/JP3269960B2/ja not_active Expired - Fee Related
- 1996-01-19 CN CN96101303A patent/CN1130917C/zh not_active Expired - Fee Related
- 1996-01-19 US US08/588,700 patent/US5937101A/en not_active Expired - Lifetime
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8638864B2 (en) | 1997-07-16 | 2014-01-28 | Samsung Electronics Co., Ltd. | Signal adaptive filtering method, signal adaptive filter and computer readable medium for storing program therefor |
| US9060163B1 (en) | 1997-07-16 | 2015-06-16 | Samsung Electronics Co., Ltd. | Signal adaptive filtering method, signal adaptive filter and computer readable medium for storing program therefor |
| US8873643B2 (en) | 1997-07-16 | 2014-10-28 | Samsung Electronics Co., Ltd. | Signal adaptive filtering method, signal adaptive filter and computer readable medium for storing program therefor |
| US8942296B2 (en) | 1997-07-16 | 2015-01-27 | Samsung Electronics Co., Ltd. | Signal adaptive filtering method, signal adaptive filter and computer readable medium for storing program therefor |
| US8295366B2 (en) | 1997-07-16 | 2012-10-23 | Samsung Electronics Co., Ltd. | Signal adaptive filtering method, signal adaptive filter and computer readable medium for storing program method |
| US7801216B2 (en) | 1997-07-16 | 2010-09-21 | Samsung Electronics Co., Ltd. | Signal adaptive filtering method, signal adaptive filter and computer readable medium for storing program therefor |
| US8494048B2 (en) | 1997-07-16 | 2013-07-23 | Samsung Electronics Co., Ltd. | Signal adaptive filtering method, signal adaptive filter and computer readable medium for storing program therefor |
| US7492823B2 (en) | 1997-07-16 | 2009-02-17 | Samsung Electronics Co., Ltd. | Signal adaptive filtering method, signal adaptive filter and computer readable medium for storing program therefor |
| US9264705B2 (en) | 1997-07-16 | 2016-02-16 | Samsung Electronics Co., Ltd. | Signal adaptive filtering method, signal adaptive filter and computer readable medium for storing program therefor |
| US9077959B1 (en) | 1997-07-16 | 2015-07-07 | Samsung Electronics Co., Ltd. | Signal adaptive filtering method, signal adaptive filter and computer readable medium for storing program therefor |
| US9060181B1 (en) | 1997-07-16 | 2015-06-16 | Samsung Electronics Co., Ltd. | Signal adaptive filtering method, signal adaptive filter and computer readable medium for storing program therefor |
| JP2012016048A (ja) * | 2001-09-12 | 2012-01-19 | Panasonic Corp | 画像符号化装置および符号化画像ストリーム |
| JPWO2011129090A1 (ja) * | 2010-04-13 | 2013-07-11 | パナソニック株式会社 | 符号化歪み除去方法、符号化方法、復号化方法、符号化歪み除去装置、符号化装置、および復号化装置 |
| US8953897B2 (en) | 2010-04-13 | 2015-02-10 | Panasonic Intellectual Property Corporation Of America | Coding artifacts removing method, coding method, decoding method, coding artifacts removing apparatus, coding apparatus, and decoding apparatus |
| WO2011129090A1 (ja) * | 2010-04-13 | 2011-10-20 | パナソニック株式会社 | 符号化歪み除去方法、符号化方法、復号化方法、符号化歪み除去装置、符号化装置、および復号化装置 |
| US8606036B2 (en) | 2010-04-13 | 2013-12-10 | Panasonic Corporation | Coding artifacts removing method, coding method, decoding method, coding artifacts removing apparatus, coding apparatus, and decoding apparatus |
| JP2017168955A (ja) * | 2016-03-15 | 2017-09-21 | 日本放送協会 | 画像復号装置、画像復号プログラム及びチップ |
| JP2019087778A (ja) * | 2017-11-01 | 2019-06-06 | 日本放送協会 | 画像復元フィルタ及び学習装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1130917C (zh) | 2003-12-10 |
| JP3269960B2 (ja) | 2002-04-02 |
| EP0723375A3 (en) | 1998-05-20 |
| DE69630828T2 (de) | 2004-09-23 |
| US5937101A (en) | 1999-08-10 |
| DE69630828D1 (de) | 2004-01-08 |
| KR0165497B1 (ko) | 1999-03-20 |
| EP0723375B1 (en) | 2003-11-26 |
| CN1145566A (zh) | 1997-03-19 |
| KR960030711A (ko) | 1996-08-17 |
| EP0723375A2 (en) | 1996-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3269960B2 (ja) | ブロック化現象除去のための後処理装置及びその方法 | |
| US4849810A (en) | Hierarchial encoding method and apparatus for efficiently communicating image sequences | |
| US7805016B2 (en) | Decoding apparatus and decoding method | |
| KR100203710B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 | |
| US6728414B1 (en) | De-blocking method and apparatus | |
| KR100853336B1 (ko) | 화상 부호화 장치 및 화상 복호화 장치 | |
| EP0680219B1 (en) | Improved post-processing method for use in an image signal decoding system | |
| US7760964B2 (en) | Method and architecture for temporal-spatial deblocking and deflickering with expanded frequency filtering in compressed domain | |
| JPH1051775A (ja) | 動映像復号化器のブロック化現象除去方法及び装置 | |
| JP2006513633A (ja) | エラー隠蔽中に生成されるアーチファクトをスムージングするデコーダ装置及び方法 | |
| EP1784023A2 (en) | Blocking artefacts reduction with optional dithering | |
| JPH08265761A (ja) | 映像データ後処理方法 | |
| KR100229796B1 (ko) | 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템 | |
| JP2000078578A (ja) | 符号化整合フィルタ装置を用いたビデオ通信のための技法 | |
| JP4784618B2 (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化プログラム、及び動画像復号化プログラム | |
| JPH04321391A (ja) | 画像符号化装置 | |
| EP0886972B1 (en) | Improved post-processing for removing blocking effects in decoded image signal | |
| JP2901656B2 (ja) | 画像符号化装置 | |
| JP2013115580A (ja) | 動画像符号化装置及びその制御方法、コンピュータプログラム | |
| JPH11298898A (ja) | ブロック歪低減回路 | |
| JPH09149417A (ja) | 動画像信号復号化装置 | |
| JPH03167962A (ja) | ブロック歪み改善方式 | |
| KR100229795B1 (ko) | 개선된 영상 복호화 시스템 | |
| JP2007020216A (ja) | 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法 | |
| KR100203677B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080118 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090118 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090118 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100118 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120118 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |