JP4468367B2 - 圧縮画像のアーティファクトの低減 - Google Patents

圧縮画像のアーティファクトの低減 Download PDF

Info

Publication number
JP4468367B2
JP4468367B2 JP2006534176A JP2006534176A JP4468367B2 JP 4468367 B2 JP4468367 B2 JP 4468367B2 JP 2006534176 A JP2006534176 A JP 2006534176A JP 2006534176 A JP2006534176 A JP 2006534176A JP 4468367 B2 JP4468367 B2 JP 4468367B2
Authority
JP
Japan
Prior art keywords
image
pixel
forward transform
ringing
measure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006534176A
Other languages
English (en)
Other versions
JP2007508744A (ja
Inventor
サマダニ・ラミン
サンダラージャン・アービンド
セッド・アミール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of JP2007508744A publication Critical patent/JP2007508744A/ja
Application granted granted Critical
Publication of JP4468367B2 publication Critical patent/JP4468367B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Description

本発明は、圧縮画像のアーティファクトを削減するシステム及び方法に関する。
[背景]
デジタル画像及びビデオフレームは、データストレージ要件及び伝送要件を低減するために圧縮される。
ほとんどの画像圧縮方法では、一定の画像データが選択的に廃棄されて、画像を表すのに必要なデータ量が低減されると同時に、画像の外観の大幅な劣化が回避される。
変換符号化は、一組の変換係数によって画像を表すことを含む一般的な画像圧縮方法である。
変換係数は、個別に量子化されて、画像を表すのに必要なデータ量が低減される。
原画像の表現は、変換係数に逆変換を適用することによって生成される。
ブロック変換符号化は、一般的なタイプの変換符号化方法である。
一般的なブロック変換符号化プロセスでは、画像は、小さな長方形領域(すなわち「ブロック」)に分割される。
これらの長方形領域は、フォワード変換オペレーション、量子化オペレーション、及び符号化オペレーションを受ける。
ブロックを符号化するのに、多くの異なる種類のブロック変換を使用することができる。
一般的なタイプのブロック変換の中には、コサイン変換(最も一般的である)、フーリエ変換、アダマール変換、及びハールウェーブレット変換がある。
これらの変換は、M×N画像データブロックからM×N変換係数配列を生成する。
ここで、M及びNは、少なくとも1の整数値を有する。
画質は、ブロック変換符号化プロセスによって劣化されることが多い。
たとえば、不連続点が、復元された画像のブロック境界に生じることが多く、リンギングアーティファクト(ringing artifact)が、画像境界の近くに生じることが多い。
ブロック変換符号化プロセスによって生じたアーティファクトの出現を低減することにより圧縮画像を強調するための種々の手法が提案されてきた。
最も一般的な画像強調手法の中には、ブロック境界に沿ってフィルタリングする手法、凸集合に投影することによって最適化する手法、及び、ウェーブレット変換しきい値処理を実行する手法がある。
圧縮画像を強調するための別の手法は、シフトJPEG(shifted JPEG)変換をJPEG画像に適用し直すことを含む。
詳細には、この手法は、すでに圧縮された画像のシフトされたバージョンにJPEG圧縮演算子を適用し直し、その結果生成された画像のすべてを平均して、強調された出力画像を生成する。
欧州特許出願公開第1003334号 欧州特許出願公開第0626790号 WING-KUEN LING ET AL: "A novel method for blocking effect reduction in DCT-coded images" CIRCUITS AND SYSTEMS, 1999. ISCAS '99. PROCEEDINGS OF THE 1999 IEEE INTERNATIONAL SYMPOSIUM ON ORLANDO, FL, USA 30 MAY-2 JUNE 1999, PISCATAWAY, NJ, USA,IEEE, US, vol. 4, 30 May 1999 (1999-05-30), pages 46-49, XP010341114 ISBN: 0-7803-5471-0 pages IV-46, column 1
本発明は、圧縮画像のアーティファクトを削減するシステム及び方法を特徴とする。
本発明は、入力画像の空間シフトフォワード変換を計算して、各組のフォワード変換係数を生成するシステム及び方法を特徴とする。
各組のフォワード変換係数に非線形変換を適用する。
これらの組の変換されたフォワード変換係数の逆変換を計算して、各中間画像を生成する。
中間画像のそれぞれのピクセルについて、局所的な空間強度変動の各測度を計算する。
局所的な空間強度変動の計算された測度に少なくとも部分的に基づいて計算されたピクセル値を有する出力画像が計算される。
本発明の他の特徴及び利点は図面及び特許請求の範囲を含む以下の説明から明らかとなるだろう。
[詳細な説明]
以下の説明では、同じ参照番号は、同じ要素を識別するのに使用される。
さらに、図面は、例示の実施の形態の主な特徴を図式的に示すことを目的としている。
図面は、実際の実施の形態のあらゆる特徴を示すことを目的とするものでもなければ、図示された要素の相対的な寸法を示すことを目的とするものでもなく、一律の縮尺で描かれていない。
I.原画像の圧縮
図1は、原画像10を処理して圧縮画像12を生成する従来技術の方法を示している。
図示した方法によれば、フォワード変換14が原画像10に適用されて、一組のフォワード変換係数16が生成される。
フォワード変換14は、原画像10を、選択された領域の一組の係数に変換するように動作可能な変換であれば、どのタイプの変換でもよい。
量子化器18が、フォワード変換係数16に個別に適用されて、一組の量子化されたフォワード係数20が生成される。
量子化器18は、フォワード変換係数情報の一部を廃棄して、原画像10の圧縮を可能にする。
符号化器22は、任意のタイプの可逆符号化技法を使用して、量子化されたフォワード変換係数を符号化し、圧縮画像12を生成する。
原画像10は、2値画像(たとえば、黒及び白のドットパターン)であってもよいし、多値単色画像(たとえば、グレーレベル画像)であってもよいし、多値多色画像であってもよい。
一般に、図1の画像圧縮プロセスは、原画像10の各色平面に個別に適用される。
図2は、原画像10を圧縮する、従来技術のブロック変換ベースの画像方法を示している。
この方法によれば、原画像10が、事前に選択された色空間でまだ指定されていない場合、原画像10は、最初に、事前に選択されたルミナンスに基づく色空間(たとえば、YCrCb色平面)に変換される(ブロック24)。
事前に選択された色空間における画像の各色平面は、次のように個別に処理される各画像(すなわち、ピクセル値の配列)に対応する。
色成分(たとえば、Cr色成分及びCb色成分)は、ダウンサンプリングされる(ブロック26)。
各色平面は、ピクセルブロック(たとえば、8×8ピクセルブロック)に分割される(ブロック28)。
各ピクセルブロックには、ブロック変換が個別に適用される(ブロック30)。
これらのブロックには、任意の種類のブロック変換を適用することができる。
例示のタイプのブロック変換には、コサイン変換、フーリエ変換、アダマール変換、及びハールウェーブレット変換が含まれる。
その結果生成された変換係数は量子化される(ブロック32)。
量子化変換係数は、可逆符号化技法を使用して符号化され、圧縮画像12が生成される(ブロック34)。
II.圧縮画像のアーティファクトの低減
以下に説明する実施の形態は、圧縮画像を作成するのに使用されるプロセスによって本来的に導入されるアーティファクトを低減するように構成される。
多くの場合、これらの実施の形態は、画像の特徴をぼかすこと等により画質を劣化させることなく、画像圧縮アーティファクトを低減する。
以下で詳細に説明するように、これらの実施の形態のいくつかのインプリメンテーションは、ブロック離散コサイン変換(DCT)画像圧縮技法等のブロック変換ベースの画像圧縮技法によって導入されるリンギング(ringing)圧縮アーティファクト及びブロッキング(blocking)圧縮アーティファクトを大幅に低減するのに特によく適している。
図3は、図2のブロック変換ベースの画像圧縮方法によって生成された圧縮画像12を処理して、圧縮アーティファクトが低減された出力画像40を生成する方法の一実施の形態を示している。
この方法では、圧縮画像12の各平面が個別に処理される。
圧縮画像データは、最初に伸張される(ブロック42)。
空間シフトフォワード変換(spatially-shifted forward transform)が、伸張画像データ62から計算される(ブロック44)。
このプロセスでは、フォワード変換オペレーションが、伸張画像データ62のシフトされた複数のバージョンのそれぞれに適用されて、複数の各組のフォワード変換係数46が生成される。
たとえば、画像12がM×N個のピクセルのブロックに基づいて圧縮されるインプリメンテーションでは、フォワード変換オペレーションは、M×N変換において可能なM×N個の独立したシフトからのK個のシフトを含むサブセットにおける伸張画像データ62に適用されて、K組のフォワード変換係数が生成される。
ここで、K、M、及びNは、少なくとも1の整数値を有する。
一例示のインプリメンテーションでは、M及びNは、共に8の値を有する。
各組のフォワード変換係数46は、非線形変換される(ブロック48)。
逆変換オペレーション(ブロック50)が、非線形変換されたフォワード変換係数46の組に適用されて、各中間画像が生成される。
以下で詳細に説明するように、これらの中間画像は結合されて、各色平面64の圧縮アーティファクトが低減される(ブロック52)。
色成分画像平面(たとえば、Cr及びCb)は、元の解像度にアップサンプリングされて、その結果生成された画像平面は、原画像10の色空間(たとえば、赤・緑・青の色空間)に変換されて戻される(ブロック54)。
画像平面は結合されて、出力画像40が生成される。
図4は、図3の方法によって生成された圧縮画像データ62を処理して、圧縮アーティファクトが低減された出力画像40を生成するためのシステム60の一実施の形態を示している。
処理システム60は、フォワード変換モジュール66、非線形ノイズ除去(denoiser)モジュール68、逆変換モジュール70、及び出力画像ジェネレータモジュール72を含む。
一般に、システム60のモジュール66〜72は、どの特定のハードウェア構成にもどの特定のソフトウェア構成にも限定されず、デジタル電子回路機構又はコンピュータハードウェア、ファームウェア、デバイスドライバ、もしくはソフトウェアを含めて、任意の計算環境又は処理環境で実施することができる。
たとえば、いくつかのインプリメンテーションでは、これらのモジュール66〜72は、デジタルカメラ、プリンタ、及びポータブル電子デバイス(たとえば、移動電話及び携帯情報端末)を含めて、多種多様な電子デバイスのいずれか1つのハードウェアで実施することができる。
これに加えて、図示した実施の形態では、全(又は完全な)入力画像が処理されるが、他の実施の形態は、入力画像の一連のサブ画像部分(たとえば、スワス)を順次処理するように構成することができる。
フォワード変換モジュール66は、復号された画像データ62からK組(C、C、…、C)のシフトされたフォワード変換係数を計算する。
これらK組のシフトされた変換係数は、圧縮画像12を基準にしたブロッキンググリッド(blocking grid)のK個の一意の位置に対応する。
いくつかのインプリメンテーションでは、フォワード変換モジュール66は、画像12を最初に圧縮するのに使用されたのと同じフォワード変換を適用する。
非線形ノイズ除去モジュール68は、フォワード変換モジュール66によって計算された複数の組(C、C、…、C)のシフトされたフォワード変換係数を非線形変換する。
図5を参照して、いくつかのインプリメンテーションでは、複数の組のフォワード変換係数は、各非線形しきい値変換(T、T、…、T)に従って変換される。
詳細には、各しきい値(qij、ここで、i、jは量子化要素のインデックスを指し、iは0〜M−1の範囲の値を有し、jは0〜N−1の範囲の値を有する)よりも小さな絶対値を有する各係数を0に設定し、各しきい値(qij)以上の絶対値を有する各係数を変更しないことにより、フォワード変換係数は非線形変換される。
量子化行列76(すなわち、「Q行列」)は、非線形しきい値変換(T、T、…、T)のパラメータqijを設定するのに使用される。
いくつかのインプリメンテーションでは、量子化行列は、画像12を圧縮するのに最初に使用されたのと同じ量子化パラメータqijを含む。
これらの量子化パラメータは、標準的な画像圧縮方式(たとえば、JPEG)に従って圧縮画像12に記憶することができる。
いくつかの実施の形態では、非線形ノイズ除去モジュール68は、非線形度(nonlinearity)Tを変更することによってシャープネス強調を組み込む。
詳細には、非線形ノイズ除去モジュール68は、非線形変換パラメータ値qijに利得係数gijを乗算する。
利得係数を設定する方法には多くの方法がある。
一インプリメンテーションでは、利得係数は方程式(1)によって与えられる。
ij=1.0+s×(i+j)/14 (1)
ここで、i及びjは、各量子化器係数を選択するインデックスである。
8×8ブロッキンググリッド用に設計されたインプリメンテーションでは、i及びjの値は、範囲[0〜7]にあり、0は最も低い空間周波数を表し、7は最も高い空間周波数を表す。
シャープネス係数sの値は、鮮鋭化の量を決定する。
s=0のとき、鮮鋭化は適用されない。
0.5〜1.5の間のsの値は、出力画像ジェネレータ方法によって引き起こされるおそれのあるわずかなぼかしを補償する十分なシャープネス範囲を提供する。
s=0.5の方程式(1)から計算された例示の利得係数を含む行列を以下の表1に提供する。
Figure 0004468367
表1:s=0.5の利得係数gij
逆変換モジュール70は、複数の組の非線形変換されたフォワード変換係数から複数の組(C'、C'、…、C')の逆変換を計算する。
逆変換モジュール70は、フォワード変換モジュール66によって適用されるフォワード変換オペレーションの逆のオペレーションを適用する。
逆変換モジュール70の出力は、空間領域の画像データを表す中間画像(I、I、…、I)である。
出力画像ジェネレータモジュール72は、中間画像(I、I、…、I)を結合して、最終出力画像40の画像平面64を形成する。
図6は、ベース画像ジェネレータ80及びリンギング補正画像ジェネレータ82を含む出力画像ジェネレータモジュール72の一実施の形態を示している。
ベース画像ジェネレータ80は、中間画像(I、I、…、I)を結合したものから、元の未圧縮画像の見積もりに対応するベース画像84を計算する。
図示した実施の形態では、ベース画像ジェネレータ80は、中間画像(I、I、…、I)の対応したピクセルの平均値に対応するピクセル値を有するベース画像(IAVE)を計算する。
リンギング補正画像ジェネレータ82は、中間画像(I、I、…、I)に基づいてリンギング補正画像(IRC)を計算する。
いくつかのインプリメンテーションでは、リンギング補正画像ジェネレータ82は、中間画像(I、I、…、I)のピクセルについて計算された局所的な空間強度変動(spatial intensity variability)の測度に少なくとも部分的に基づいて、リンギング補正画像86(IRC)を計算する。
たとえば、最小分散デリンギング(minimum variance de-ringing)のインプリメンテーションでは、リンギング補正画像86の所与のピクセルの値は、リンギング補正画像86のピクセルに対応するすべての中間画像ピクセルの空間強度変動の計算された最小の測度を有する、対応する中間画像ピクセルの値に設定される。
加重分散デリンギング(weighted variance de-ringing)手法では、リンギング補正画像86の各ピクセル値には、リンギング補正画像86の所与のピクセルに対応するすべての中間画像ピクセルの局所的な空間変動の測度の最小の百分率(たとえば、30%の百分率)における複数の対応した中間画像ピクセルの平均値に対応する値が割り当てられる。
加重分散デリンギング手法は、リンギング圧縮アーティファクトを低減すると同時に、最小分散デリンギング手法によって生じることがあるノイズを回避することが確認されている。
図7を参照して、いくつかの実施の形態では、空間強度変動は、空間分散(σ 、σ 、…、σ )によって測定される。
この空間分散は、リンギング補正画像86の所与のピクセルIRC(x,y)に対応する中間画像(I(x,y)、I(x,y)、…、I(x,y))のピクセルについて計算される。
空間分散の測度は、各ウィンドウ90、92、94、96によって画定された各中間画像領域に基づいて計算される。
図示した実施の形態では、ウィンドウ90〜96は、幅が3ピクセルで高さが3ピクセルの寸法を有する。
一例示のインプリメンテーションでは、所与の中間画像ピクセルI(x,y)の空間分散は、方程式(2)によって与えられる。
Figure 0004468367
ここで、<V>は、所与のピクセルの近傍の平均ピクセル値(すなわち、
Figure 0004468367
)であり、Kは、リンギング補正画像86の所与のピクセルの近傍のピクセルの個数(たとえば、9個)である。
別の例示のインプリメンテーションでは、値Vを有する所与の中間画像ピクセルI(x,y)の空間変動が、方程式(3)によって与えられる。
Figure 0004468367
図示した実施の形態では、計算された最小の分散(σMIN )を有する中間画像ピクセルの値(たとえば、IMIN(x,y))は、リンギング補正画像86の対応するピクセル(IRC(x,y))に割り当てられる。
ベース画像84は、ブロッキングアーティファクト等の圧縮アーティファクトの出現を大幅に低減することを特徴とするが、場合によっては、ベース画像84は、まだ、残存リンギングアーティファクトを含むことが確認されている。
また、リンギング補正画像86(IRC)は、ベース画像84に比べてリンギング圧縮アーティファクトを大幅に低減することを特徴とするが、通常なら、一般に、ベース画像84よりもぼやけることも確認されている。
これらの確認事項に基づいて、出力画像ジェネレータモジュール72は、結果の出力画像40の圧縮アーティファクトの出現を大幅に低減する方法で、ベース画像84及びリンギング補正画像86を結合するように構成される。
図6の実施の形態では、出力画像ジェネレータモジュール72は、加重和ジェネレータ98を含む。
この加重和ジェネレータ98は、方程式(4)に従って、ベース画像84(IAVE(x,y))及びリンギング補正画像86(IRC(x,y))の対応するピクセルの加重和を計算し、出力画像40のピクセルの値を生成する。
OUT(x,y)=α(x,y)IRC(x,y)+(1−α(x,y))IAVE(x,y) (4)
ここで、αは、範囲[0,1]の値を有する。
重みジェネレータモジュール100は、出力画像40の各ピクセルのα(x,y)の値を計算する。
一般に、急激な遷移から十分に離れたピクセルについては、予想されたリンギングが最小である場合に、重みジェネレータモジュール100は
Figure 0004468367
を設定する。
急激な遷移上のピクセルについては、重みジェネレータモジュール100は、遷移をぼかさないために、この場合も
Figure 0004468367
を設定する。
急激な遷移上ではないが、十分に近い(たとえば、隣接した)ピクセルについては、重みジェネレータモジュール100は、
Figure 0004468367
を設定して、潜在的なリンギングを低減する。
いくつかの実施の形態では、重みジェネレータモジュール100は、所与のピクセルを包含する空間ウィンドウの局所的領域と、その局所的領域を取り囲む空間ウィンドウのより大きな領域との間の相対的なコントラストの測度に基づいて、その所与のピクセルのα(x,y)を計算する。
いくつかのインプリメンテーションでは、画像のコントラストは、空間ウィンドウにおいて、最大のピクセル値と最小のピクセル値との差であるピクセルレンジから計算される。
図8に示すように、これらのインプリメンテーションでは、ピクセルレンジは、2つの異なるサイズのウィンドウ102、104について計算される。
第1のウィンドウ102のサイズは、エッジの近くの局所的なコントラストを正確に見積もるために小さくなっている(たとえば、3ピクセル×3ピクセル)。
いくつかのインプリメンテーションでは、第2のウィンドウ104のサイズ(たとえば、15ピクセル×15ピクセル)は、所与のピクセルにおけるシフトブロック変換(shifted block transform)のすべてをカバーする。
ピクセルレンジの計算の結果、局所的なコントラストの測度lc及びブロックのコントラストの測度bcが得られる。
重みジェネレータモジュール100は、局所的なコントラストの測度とブロックのコントラストの測度との差分(Δ)(すなわち、Δ(x,y)=bc(x,y)−lc(x,y))を関数α(Δ)に入力する。
関数α(Δ)は、参照表として記憶することができ、範囲[0,1]におけるα(Δ)の値を生成する。
3つの異なる重み関数106、108、110を図9に示す。これらの関数は、方程式(5)によって与えられる一般的な関数に対応する。
Figure 0004468367
ここで、a及びTは、可変パラメータである。
主観的評価及び客観的PSNR(ピーク信号対雑音比)値を使用してテスト画像でトレーニングされた、α(Δ)の最終参照表を以下の表2に提供する。
この表は、「読み出し順序」(すなわち、左から右へ、上から下へ)で提示されている。
Figure 0004468367
表2:重み参照
他の実施の形態は、特許請求の範囲の範囲内にある。
たとえば、上記圧縮アーティファクト低減の実施の形態は、ブロック変換ベースの画像圧縮方法によって圧縮された画像12に関して説明されているが、これらの実施の形態は、ブロック変換ベースでない他の画像圧縮技法によって圧縮された画像のアーティファクトを低減するのに容易に使用することができる。
原画像を圧縮するためのシステムのブロック図である。 原画像を圧縮するブロック変換ベースの方法のフロー図である。 圧縮画像を処理して、低減された圧縮アーティファクトを特徴とする出力画像を生成する方法の一インプリメンテーションのフロー図である。 図3の方法の出力画像ジェネレータステップを実施するための画像処理システムの一インプリメンテーションのブロック図である。 入力された変換係数値の関数としてプロットされた図4の非線形ノイズ除去モジュールの一インプリメンテーションのしきい値出力のグラフである。 図4の出力画像ジェネレータモジュールの一インプリメンテーションのブロック図である。 一組の中間画像及びその一組の中間画像から生成されたリンギング補正画像の描画図である。 ブロックのコントラストの測度及び局所的なコントラストの測度をベース画像のピクセル値から計算するのに使用される一対の同心ウィンドウのブロック図である。 ベース画像のピクセルについて計算された、ブロックのコントラストの測度と局所的なコントラストの測度とのコントラストの差分の関数としてプロットされた重み値のグラフを示す図である。
符号の説明
80・・・ベース画像ジェネレータ,
82・・・リンギング補正画像ジェネレータ,
98・・・加重和ジェネレータ,
100・・・重みジェネレータ,

Claims (10)

  1. 入力画像(12)を処理する方法であって、
    前記入力画像(12)の空間シフトフォワード変換を計算して、各組のフォワード変換係数(C1、C2、…、CK)を生成することと、
    各組の前記フォワード変換係数(C1、C2、…、CK)に、非線形変換(T1、T2、…、TK)を適用することと、
    前記各組の非線形変換されたフォワード変換係数の逆変換(C'1、C'2、…、C'K)を計算して、各中間画像(I1、I2、…、IK)を生成することと、
    前記中間画像(I1、I2、…、IK)に基づいて、ベース画像(84)を生成することと、
    前記中間画像(I1、I2、…、IK)それぞれのピクセルとそのピクセル以外の1つ以上のピクセルから、それぞれのピクセルの空間分散を空間強度変動の測度として計算することと、
    前記空間強度変数の測度から、リンギング補正画像(86)を生成することと、
    前記生成されたベース画像と前記リンギング補正画像とに基づいて、リンギングアーティファクトを低減した出力画像(40)を生成することと
    を含む方法。
  2. 前記計算された空間シフトフォワード変換(C1、C2、…、CK)は、2次元ブロック離散コサイン変換である
    請求項1に記載の方法。
  3. 前記非線形変換は、前記フォワード変換係数(C1、C2、…、CK)それぞれの絶対値と前記フォワード変換係数に対するそれぞれのしきい値とを比較して、前記フォワード変換係数が、そのしきい値よりも小さいときは、そのフォワード変換係数を0に設定し、これ以外のときは、その係数を変更しないことである
    請求項1に記載の方法。
  4. 空間周波数の低い前記フォワード変換係数に対するしきい値よりも、前記空間周波数の高いフォワード変換係数に対するしきい値を大きくすることにより、
    前記フォワード変換係数(C1、C2、…、CK)を鮮鋭化すること
    をさらに含む請求項3に記載の方法。
  5. 前記中間画像(I1、I2、…、IK)に基づいて、前記ベース画像を生成することは、前記中間画像(I1、I2、…、IK)を結合して、ベース画像(84)を計算することであり、
    前記ベース画像(84)は、前記ベース画像の各ピクセル位置に対応する前記中間画像(I1、I2、…、IK)のピクセル値の各平均値を、各ピクセル位置のピクセル値として有する
    請求項1に記載の方法。
  6. 前記リンギング補正画像(86)における各ピクセルは、前記中間画像(I1、I2、…、IK)それぞれのピクセルに関連付けられる
    請求項5に記載の方法。
  7. 前記リンギング補正画像(86)は、前記リンギング補正画像の各ピクセル位置に対応する前記中間画像(I1、I2、…、IK)のピクセルの前記計算された空間強度変動の測度のうち、最小の測度を、各ピクセル位置のピクセル値として有する
    請求項6に記載の方法。
  8. 前記リンギング補正画像(86)は、前記リンギング補正画像の各ピクセル位置に対応する前記中間画像の複数のピクセルの前記計算された空間変動の測度の最小の百分率における前記対応する中間画像ピクセルの平均値を、各ピクセル位置のピクセル値として有する
    請求項6に記載の方法。
  9. 前記出力画像を生成することは、
    前記ベース画像(84)の所与のピクセルを取り囲む局所的な領域の局所的なコントラストの測度を計算することと、
    前記局所的な領域を取り囲む前記ベース画像(84)のより大きな領域のブロックコントラストの測度を計算することと、
    前記出力画像(40)の各ピクセル位置に対応する前記ベース画像(84)及び前記リンギング補正画像(86)それぞれのピクセル値に重み付けするための係数を、前記局所的なコントラストの測度と前記ブロックコントラストの測度とから計算することと、
    前記計算された係数を用いてそれぞれ重み付けされた前記ベース画像と前記リンギング補正画像とを結合することと
    を含む
    請求項6に記載の方法。
  10. 入力画像(12)を処理するためのシステムであって、
    前記入力画像の空間シフトフォワード変換を計算して、各組のフォワード変換係数(C1、C2、…、CK)を生成するように構成されたフォワード変換モジュール(66)と、
    各組の前記フォワード変換係数(C1、C2、…、CK)に、非線形変換(T1、T2、…、TK)を適用するように構成された非線形ノイズ除去モジュール(68)と、
    前記各組の非線形変換されたフォワード変換係数の逆変換(C'1、C'2、…、C'K)を計算して、各中間画像(I1、I2、…、IK)を生成するように構成された逆変換モジュールと、
    前記中間画像(I1、I2、…、IK)に基づいて、ベース画像(84)を生成するように構成されたベース画像ジェネレータモジュールと、
    前記中間画像(I1、I2、…、IK)のそれぞれのピクセルとそのピクセル以外の1つ以上のピクセルから、それぞれのピクセルの空間分散を空間強度変動の各測度として計算し、前記計算された空間強度変数の各測度から、リンギング補正画像(86)を生成するように構成されたリンギング補正画像ジェネレータモジュールと、
    前記生成されたベース画像とリンギング補正画像とに基づいて、リンギングアーティファクトを低減した出力画像(40)を生成するように構成された出力画像ジェネレータモジュールと
    を備えるシステム。
JP2006534176A 2003-10-10 2004-09-29 圧縮画像のアーティファクトの低減 Expired - Fee Related JP4468367B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/683,322 US7643688B2 (en) 2003-10-10 2003-10-10 Reducing artifacts in compressed images
PCT/US2004/032483 WO2005039187A1 (en) 2003-10-10 2004-09-29 Reducing artifacts in compressed images

Publications (2)

Publication Number Publication Date
JP2007508744A JP2007508744A (ja) 2007-04-05
JP4468367B2 true JP4468367B2 (ja) 2010-05-26

Family

ID=34422715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006534176A Expired - Fee Related JP4468367B2 (ja) 2003-10-10 2004-09-29 圧縮画像のアーティファクトの低減

Country Status (4)

Country Link
US (1) US7643688B2 (ja)
JP (1) JP4468367B2 (ja)
GB (1) GB2422743B (ja)
WO (1) WO2005039187A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1527610A1 (en) * 2002-07-31 2005-05-04 Koninklijke Philips Electronics N.V. Dynamic detection of blocking artefacts
US7388999B2 (en) * 2003-10-29 2008-06-17 Hewlett-Packard Development Company, L.P. Transformations for denoising images
US8594448B2 (en) * 2004-08-16 2013-11-26 Hewlett-Packard Development Company, L.P. Bi-selective filtering in transform domain
US7684632B2 (en) * 2005-05-16 2010-03-23 Hewlett-Packard Development Company, L.P. Estimating image compression quantization parameter values
US8050331B2 (en) * 2005-05-20 2011-11-01 Ntt Docomo, Inc. Method and apparatus for noise filtering in video coding
US7760805B2 (en) 2005-05-31 2010-07-20 Hewlett-Packard Development Company, L.P. Method of enhancing images extracted from video
JP5011519B2 (ja) * 2005-07-05 2012-08-29 国立大学法人東京工業大学 固体撮像素子の信号読み出し方法及び画像信号処理方法
US20070041448A1 (en) * 2005-08-17 2007-02-22 Miller Casey L Artifact and noise reduction in MPEG video
US7868950B1 (en) 2006-04-17 2011-01-11 Hewlett-Packard Development Company, L.P. Reducing noise and artifacts in an image
TWI332351B (en) * 2006-10-05 2010-10-21 Realtek Semiconductor Corp Image processing method and device thereof for reduction mosquito noise
US7965900B2 (en) 2007-09-26 2011-06-21 Hewlett-Packard Development Company, L.P. Processing an input image to reduce compression-related artifacts
US8285068B2 (en) 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
US8520731B2 (en) * 2009-06-05 2013-08-27 Cisco Technology, Inc. Motion estimation for noisy frames based on block matching of filtered blocks
US8615044B2 (en) * 2009-06-05 2013-12-24 Cisco Technology, Inc. Adaptive thresholding of 3D transform coefficients for video denoising
US8619881B2 (en) * 2009-06-05 2013-12-31 Cisco Technology, Inc. Estimation of temporal depth of 3D overlapped transforms in video denoising
US8638395B2 (en) 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
US8358380B2 (en) * 2009-06-05 2013-01-22 Cisco Technology, Inc. Efficient spatial and temporal transform-based video preprocessing
US8571117B2 (en) * 2009-06-05 2013-10-29 Cisco Technology, Inc. Out of loop frame matching in 3D-based video denoising
US9628674B2 (en) 2010-06-02 2017-04-18 Cisco Technology, Inc. Staggered motion compensation for preprocessing video with overlapped 3D transforms
US9635308B2 (en) 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
US8472725B2 (en) 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
US8983206B2 (en) 2011-05-04 2015-03-17 Ecole de Techbologie Superieure Method and system for increasing robustness of visual quality metrics using spatial shifting
US9832351B1 (en) 2016-09-09 2017-11-28 Cisco Technology, Inc. Reduced complexity video filtering using stepped overlapped transforms
US10083499B1 (en) * 2016-10-11 2018-09-25 Google Llc Methods and apparatus to reduce compression artifacts in images

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4754492A (en) 1985-06-03 1988-06-28 Picturetel Corporation Method and system for adapting a digitized signal processing system for block processing with minimal blocking artifacts
US5046121A (en) * 1989-01-31 1991-09-03 Konica Corporation Image data compression apparatus
US5454051A (en) 1991-08-05 1995-09-26 Eastman Kodak Company Method of reducing block artifacts created by block transform compression algorithms
US5526446A (en) * 1991-09-24 1996-06-11 Massachusetts Institute Of Technology Noise reduction system
US5311305A (en) * 1992-06-30 1994-05-10 At&T Bell Laboratories Technique for edge/corner detection/tracking in image frames
JP3466705B2 (ja) 1993-05-28 2003-11-17 ゼロックス・コーポレーション 圧縮画像の圧縮解除方法
US5359676A (en) * 1993-07-19 1994-10-25 Xerox Corporation Decompression of standard ADCT-compressed document images
US5940536A (en) * 1995-09-05 1999-08-17 Matsushita Electric Industrial Co., Ltd. Ringing detector and filter
US5737451A (en) * 1996-04-10 1998-04-07 Eastman Kodak Company Method and apparatus for suppressing blocking artifacts in block-transform coded images
KR100213089B1 (ko) * 1997-01-29 1999-08-02 윤종용 루프필터링 방법 및 루프필터
JP3800704B2 (ja) * 1997-02-13 2006-07-26 ソニー株式会社 映像信号処理装置及び方法
DE19835451B4 (de) * 1997-08-20 2005-03-24 Siemens Ag Verfahren für einen Computertomographen zur Nachverarbeitung eines Schnittbildes und nach diesem Verfahren arbeitender Computertomograph
KR100308016B1 (ko) * 1998-08-31 2001-10-19 구자홍 압축 부호화된 영상에 나타나는 블럭현상 및 링현상 제거방법및 영상 복호화기
IT1305196B1 (it) 1998-11-20 2001-04-10 Cit Alcatel Metodo di riduzione di artefatti di codifica in segnali videocodificati a blocchi.
US6317522B1 (en) * 1998-12-03 2001-11-13 Philips Electronics North America Corp. Systems and methods for post-processing decompressed images
US6427031B1 (en) 1998-12-31 2002-07-30 Eastman Kodak Company Method for removing artifacts in an electronic image decoded from a block-transform coded representation of an image
US6563964B1 (en) 1999-02-08 2003-05-13 Sharp Laboratories Of America, Inc. Image downsampling using redundant pixel removal
US6748113B1 (en) * 1999-08-25 2004-06-08 Matsushita Electric Insdustrial Co., Ltd. Noise detecting method, noise detector and image decoding apparatus
EP1209624A1 (en) * 2000-11-27 2002-05-29 Sony International (Europe) GmbH Method for compressed imaging artefact reduction
US7003173B2 (en) * 2001-06-12 2006-02-21 Sharp Laboratories Of America, Inc. Filter for combined de-ringing and edge sharpening
US6983079B2 (en) * 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
US7031552B2 (en) * 2002-04-05 2006-04-18 Seiko Epson Corporation Adaptive post-filtering for reducing noise in highly compressed image/video coding
US7139437B2 (en) * 2002-11-12 2006-11-21 Eastman Kodak Company Method and system for removing artifacts in compressed images
US20040208389A1 (en) * 2003-04-15 2004-10-21 Silicon Integrated Systems Corp. Digital picture processing method

Also Published As

Publication number Publication date
WO2005039187A1 (en) 2005-04-28
JP2007508744A (ja) 2007-04-05
GB2422743B (en) 2007-10-17
US7643688B2 (en) 2010-01-05
GB0607195D0 (en) 2006-05-17
GB2422743A (en) 2006-08-02
US20050078872A1 (en) 2005-04-14

Similar Documents

Publication Publication Date Title
JP4468367B2 (ja) 圧縮画像のアーティファクトの低減
JP4987480B2 (ja) 画像のノイズを除去するための変換
US7760805B2 (en) Method of enhancing images extracted from video
JP4714668B2 (ja) 圧縮された画像の画質の向上
US6473533B1 (en) Image encoding apparatus and image decoding apparatus
US6650786B2 (en) Image encoding apparatus and image decoding apparatus
US7302104B2 (en) Smoothing tile boundaries of images encoded and decoded by JPEG 2000
EP2201778B1 (en) Processing an input image to reduce compression-related artifacts
EP1420363A2 (en) Method and apparatus for removing artifacts in compressed images
US20040208392A1 (en) Method and apparatus for improving video quality of low bit-rate video
JP4066367B2 (ja) 画像ノイズ除去方法
WO2006036796A1 (en) Processing video frames
US6665447B1 (en) Method for enhancing image data by sharpening
JP3732674B2 (ja) カラー画像圧縮方法およびカラー画像圧縮装置
JP4784386B2 (ja) 復号化装置、逆量子化方法及びプログラム
Shao Simultaneous coding artifact reduction and sharpness enhancement for block-based compressed images and videos
JP3034887B2 (ja) 画像処理方法及び装置
Silverstein et al. Restoration of compressed images
JP4424672B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
Wong PECSI: a practical perceptually-enhanced compression framework for still images
Hsieh et al. Application of grey polynomial interpolation to reduce the block effect in low bit rate coding

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080731

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081029

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090715

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091112

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100224

R150 Certificate of patent or registration of utility model

Ref document number: 4468367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140305

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees