JPH07231450A - 動画画像信号系列中のアーティファクトを削減するためのフィルタ装置及び方法 - Google Patents

動画画像信号系列中のアーティファクトを削減するためのフィルタ装置及び方法

Info

Publication number
JPH07231450A
JPH07231450A JP7035876A JP3587695A JPH07231450A JP H07231450 A JPH07231450 A JP H07231450A JP 7035876 A JP7035876 A JP 7035876A JP 3587695 A JP3587695 A JP 3587695A JP H07231450 A JPH07231450 A JP H07231450A
Authority
JP
Japan
Prior art keywords
frame
filter
pixel
edge
spatial phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7035876A
Other languages
English (en)
Inventor
Li Yan
ヤン リ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
American Telephone and Telegraph Co Inc
AT&T Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Telephone and Telegraph Co Inc, AT&T Corp filed Critical American Telephone and Telegraph Co Inc
Publication of JPH07231450A publication Critical patent/JPH07231450A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

(57)【要約】 【目的】 ブロックに基づく動き補償変換符号化によっ
て生じた符号化アーティファクトを削減する3D非直線
後処理装置及び方法を提供する。 【構成】 本発明の装置及び方法では、分離可能な3次
元フィルタ構成が使用される。更に、空間相変化FIR
・中央値ハイブリッド・フィルタが空間相領域で使用さ
れ、その後に時間相領域で動き補償された非直線フィル
タが使用される。この構成を使用することにより、再構
成された画像信号系列中の符号化アーティファクトがそ
の画像信号系列中のエッジや運動体をぼやかすこと無く
効果的に削減することができる。その結果、低いビット
・レートの符号化ビデオ信号系列の画質に顕著な改善が
達成される。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明はディジタル・ビデオ信
号処理の分野に関し、特に、圧縮及び圧縮復元のために
ブロックに基づく動き補償変換符号化技術を使用して圧
縮復元された動きベクトルビデオ信号系列を後処理する
ための装置及び方法に関する。
【0002】
【従来の技術】ビデオ映像は、一連の情報ビットが各ビ
デオ信号フレームを表すために用いられるディジタル信
号によって表すことができる。統合サービス・ディジタ
ル網(integrated services digital network;ISD
Nと略称される)や公衆電話回線網のような通信システ
ムの帯域幅が制限されている特定の回線網では、低ビッ
ト・レート画像符号化が可視画像の伝送及び通信のため
に特に有益である。それ故に、低ビット・レート符号化
の使用に対する要求が増々増大している。p×9.6k
bit/s及びp×384kbit/sの間の低ビット
・レートが低ビット・レート伝送のために最も多く使用
されている。要求が増大するにつれ、低ビット・レート
符号化によって生成されるビデオ映像の画質が切実な問
題になっている。
【0003】一般に符号化画像の画質は使用される符号
化技術のタイプ及び目標ビット・レートによって判定さ
れる。しかし、符号化処理は生来損失特性を持ってい
る。画像符号化はその画像を再構成する際にノイズ或い
はスプリアス(偽)信号が生ずることがよくある。その
ような映像処理技術の結果起きるノイズ及びスプリアス
信号は往々アーティファクトと呼ばれている。このアー
ティファクトはビデオ映像中にそのビデオ映像の実際の
対象によって発生される信号と同程度の強度で現れるレ
ベルに達することがよくある。そのうえ、アーティファ
クトは低ビット・レート伝送で更に目立つようになるこ
とがよくある。
【0004】これらアーティファクトの特性は使用され
る符号化技術の形態に依存している。現在最も周知で且
つ一般的な低ビット・レート符号化技術はブロックに基
づく動き補償変換符号化を必要としている。そのような
符号化技術は多数の画像圧縮標準、例えばここでの説明
のための参照に供されるCCITT(Consutative Comm
ittee on Internatinal Telegraphy and Telephony)勧
告H.261、p×64kbit/sでの音声映像サー
ビスのためのビデオ・エンコーダ・デコーダ(Video Co
dec for Audiovisual Services)に関する勧告H.26
1修正草案、Study Group XV-Repor
t R95、及び同じくここでの説明のための参照に供
される通信標準化セクタ検討グループ(Telecommunicat
ion Standardization Sector Study Group)15、極低
ビット・レート・テレビ電話に関する作業部会15/1
・エキスパート・グループ(Working Party 15/1 Expar
t′sGroup on Very Low Bitrate Videophone)(LBC
-93)で使用されている。
【0005】画像圧縮標準はマルチメディア・アプリケ
ーションのために使用されることが多いが、このCCI
TT勧告は低ビット・レートで画像を再構成する際に極
めて顕著なアーティファクトを発生する。これらのアー
ティファクトは往々「ブロック化影響」、「量子化ノイ
ズ」及び「モスキート現象」と呼ばれている。ブロック
に基づく動き補償変換符号化を使用する今後の標準もま
たそのようなアーティファクトが発生しそうである。
【0006】「ブロック化影響」は画像のエッジ上の不
連続として現れるいわゆる空間相アーティファクトであ
り、ブロック境界に横切り平均値の輝度及び色度を生じ
る空間領域歪みである。これらの歪みは隣接ブロック間
で異なる符号化パラメータを使用することによって生じ
る。エッジを含むブロックに関しては、各ブロックがそ
の隣接ブロックとは無関係に符号化されるのでエッジが
ブロック境界上で不連続になることがある。同様に、原
画像の輝度が徐々に変化する単一階調ブロックに関して
は、各ブロックに異なる量子化パラメータが使用される
為に符号化ブロックの輝度が或るブロックから別のブロ
ックへ急激に変化することがある。
【0007】「量子化ノイズ」は量子化処理に起因する
歪みである。量子化ステップ幅が小さいときは、その量
子化処理によって生じる歪みは粒状ノイズと呼ばれ、ノ
イズが一つのブロックの全体に渡って一様に分散された
高域空間周波数を持つ。この粒状ノイズは信号とは無関
係である。量子化ステップ幅が大きいときは、その信号
を全体的に零に写像することができるので信号依存性で
ある。大きな量子化ステップ幅によって高域周波数成分
が零に抑圧される場合、そのアーティファクトは「ノイ
ズ輪郭」と記述されることがある。離散コサイン変換
(Discrete Cosine Transform;以下DCTと略記す
る)技術で使用される種々の係数によって、特にDCT
技術がフラット領域に比してエッジを表す際に効率が悪
い事実にかんがみて、エッジ部ブロックがDCT領域へ
変換されるとき上記歪みが一つのブロックの全体に渡り
拡散して生じることがある。特定ブロックの各エッジ近
辺でのエッジ情報の顕著な損失及びスペックル状歪みの
生成がDCT係数の粗量子化の直接の結果として起きる
ことがある。
【0008】「モスキート現象」は、動き補償処理及び
量子化処理に起因する高周波数の粒状ノイズであり、雲
状の昆虫群が動きまわるように見える現象である。この
現象は時間相領域で現れる歪みであり、いわゆる時間相
アーティファクトである。これらのアーティファクトは
再構成された画像の画質を更に劣化させる。
【0009】従って、再構成された画像の画質を改善す
るために、しばしば上記アーティファクトを削減するた
めの後処理が必要である。
【0010】これまでに多くの非直線後処理技術が符号
化アーティファクトを削減し且つ再構成された画像の画
質を改善するために提案されている。例えば、1986
年10月発行の「IEEE音響、音声及び信号処理部会
会報(IEEE Trans.on Acoustics,Speech,and Signa
l Processing)」の巻ASSP-34、第5号に掲載さ
れているビー・ラママーチ(B.Ramamurthi)及びエイ・
ガーショ(A.Gersho)の論文「ブロック符号化画像の非
直線空間相変化処理(Nonlinear Space-Variant Postpr
ocessing of Block Coded Images)」には、その著者ら
により空間変化非直線処理技術が提案されている。
【0011】同様に、1993年発行の「音響、音声及
び信号処理に関する国際会議予稿集(Proceedings of t
he International Conference on Acoustics,Speech,an
d Signal Processing)」に掲載されているアール・エ
ル・スティーブンソン(R.L.Stevenson)の論文「変換
画像符号化での符号化アーティファクトの削減(Reduct
ion of Coding Artifacts in Tranform Image Codin
g)」、1992年3月発行の「IEEE映像回路及び
システム技術部会会報(IEEE Transactions on Cir
cuits and Systems for Video Technology)」の巻2、
第1号、91頁乃至95頁に掲載されているエイ・ザコ
ール(A.Zakhor)の論文「変換画像符号化におけるブロ
ック化影響の削減のための対話型手法(Interactive Pr
ocedures for Reduction of Blocking Effects in Tran
sform Image Coding)」、1991年7月発行の「画像
処理技術」誌のSPIE巻1606、「画像通信及び画
像処理1991年版(Visual Communications and Imag
e Processing,′91)」に掲載されているリー(Lee)ら
の論文「動き依存性中央値フィルタを用いたビデオ信号
系列の後処理(Postprocessing of Video Sequence Usi
ng Motion Dependent Median Filters)」等々には、そ
れらの著者らにより画質を改善するための種々の技術が
提案されている。
【0012】しかし、上記各提案技術は動き補償が使用
されない静止画像符号化技術かまたはブロックに基づく
動き補償変換符号化を使用しない他の符号化技術によっ
て生じたアーティファクトを削減するように設計された
ものである。
【0013】更に、1987年1月発行の「IEEEパ
ターン解析及び人工知能部会会報(IEEE Trans.on
Pattern Analysis and Machine Intelligence)」の巻
PAMI-9、第1号に掲載されているエイ・ニーミネ
ン(A.Nieminen)、ピー・ヘイノネン(P.Heinonen)及
びワイ・ニューボ(Y.Neuvo)の論文「画像処理のため
の新クラスの細部保存フィルタ(A New Class of Detai
l-Preserving Filtersfor Image Processing)」、及び
1987年6月発行の「IEEE音響、音声及び信号処
理部会会報(IEEE Trans.on Acoustics,Speech,and
Signal Processing)」の巻ASSP-35、第6号に
掲載されているピー・ヘイノネンの論文「FIR・中央
値ハイブリッド・フィルタ(FIR-Median Hybrid Fil
ters)」にも、種々のフィルタリング技術が提案されて
いる。
【0014】異なる符号化技術では異なるアーティファ
クトが生じる。それ故に、往々動き補償符号化技術毎に
再構成された画像に異なる空間相アーティファクト及び
時間相アーティファクトが発生する。上記様々な著者に
よって提案されている技術は不必要に複雑であり、ブロ
ックに基づく動き補償変換符号化によって発生する様々
な空間相アーティファクト及び時間相アーティファクト
を処理することができないことが多い。それ故に、これ
までに提案されている種々の技術は、ブロックに基づく
動き補償変換符号化によって圧縮復元された信号から空
間相アーティファクト及び時間相アーティファクトを消
去するために格別有効なものではない。
【0015】
【発明が解決しようとする課題】本発明は圧縮技術がブ
ロックに基づく動き補償変換符号化を伴う場合におい
て、圧縮復元された動画ビデオ信号系列の質を向上する
装置及び方法を提供することを目的とする。
【0016】
【課題を解決するための手段】本発明の一実施例によれ
ば、分離可能な3次元フィルタ構成が使用される。更
に、空間相変化FIR・中央値ハイブリッド・フィルタ
が空間相領域で使用され、その後に時間相領域で動き補
償された非直線フィルタが使用される。この構成を使用
することにより、再構成された画像信号系列中の符号化
アーティファクトがその画像信号系列中のエッジ或いは
運動体をぼやかすこと無く効果的に削減することができ
る。
【0017】更に、本発明は、信号の局部統計に共に空
間的且つ時間的に適応する空間相演算及び時間相演算を
供する。エッジ方向の画素に対する1次元空間相演算が
及び非エッジ部画素に対する2次元空間相演算に続いて
再構成された画像を最適化するための動き補償された非
直線時間相フィルタリングが供される。
【0018】特に、本発明は信号の空間局部統計に従っ
て直線フィルタ動作と非直線フィルタ動作との間で転換
する空間相演算を供する。特に、2次元低域通過フィル
タがフラット領域に用いられ、空間相変化FIR・中央
値ハイブリッド・フィルタがエッジ領域に用いられる。
このFIR・中央値ハイブリッド・フィルタはそのルー
ト構成がエッジ方位の方向と平行となるように設計され
る。エッジ方位と平行なルート構成を持つようにした1
次元FIR・中央値ハイブリッド・フィルタの特別な使
用によって、エッジ領域の空間相アーティファクトが顕
著に削減され、その結果画像をぼやかすこと無くエッジ
の鮮明度と明瞭度とが向上される。
【0019】更に、本発明は適応動き補償フレーム平均
化を包含し、その結果運動体をぼやかすこと無く、時間
相アーティファクトが削減される。
【0020】
【作用】本発明は多くの利点を達成し、ブロックに基づ
く動き補償変換符号化によってビデオ映像中に発生され
たアーティファクトを効果的に削減する消去する特徴を
包含する。本発明の一つの特徴には低ビット・レートで
伝送されたビデオ映像を最適化する能力が包含される。
本発明の別の特徴には空間相フィルタリング及び時間相
フィルタリングを局部信号統計に適応させる能力が包含
される。
【0021】本発明の前記及びその他の特徴によって、
(1)ビデオ映像のエッジ及び(2)画像信号系列中の
運動体をぼやかしたり歪ませたりすること無く、符号化
アーティファクトの顕著な削減が達成される。
【0022】更に、本発明により、不必要に複雑にする
こと無く、低コストのフィルタリング技術を使用してビ
デオ画質を最適化する利点が達成される。
【0023】
【実施例】図1は本発明の装置及び方法を実行する後処
理プロセッサとともに用いられる画像復号器を簡略化し
て示すブロック図である。ビデオ信号ビット・ストリー
ム98はビデオ・デコーダ99への入力として供給され
て復号され、再構成されたディジタル・ビデオ信号系列
101が生成される。信号112はビデオ・デコーダ9
9で上記ビデオ信号ビット・ストリーム98から復号さ
れた動きベクトルである。ビデオ・デコーダ99ではC
CITT勧告H.261で使用されている技術のような
ブロックに基づく動き補償変換符号化技術が使用され
る。上記再構成されたディジタル・ビデオ信号系列10
1及び動きベクトル信号112は符号化アーティファク
トを削減されたビデオ信号系列111を生成するために
後置フィルタ100へ供給される。続いて上記符号化ア
ーティファクトを削減されたビデオ信号系列111がデ
ィスプレイ装置113に表示される。後置フィルタ10
0は再構成されたディジタル・ビデオ信号系列101か
らの情報を処理する後処理プロセッサである。
【0024】図2は本発明の技術を実行している後置フ
ィルタ100のブロック図である。この後置フィルタ1
00は概ね次の構成要素、即ち、エッジ方位検出器10
2、エッジ・非エッジ判定サブプロセッサ104、空間
相フィルタ・バンク106、フレーム・バッファ108
及び時間相フィルタ110を包含しており、それら各構
成要素は以下で詳述するような具体構成を有している。
【0025】本発明の全ての判断処理を実行する後置フ
ィルタ100には、好ましくはAT&T社製の型名DS
P3210のようなディジタル信号処理プロセッサが使
用される。なお、インテル(Intel;登録標章)社
製の80386型プロセッサやその他のタイプのプロセ
ッサを使用することも可能である。或いはそれらに替え
て、後置フィルタ100の種々の部分のフィルタリング
処理を実行する上記各構成要素を別個のプロセッサで構
成することも可能である。
【0026】引き続き、図2を参照して後置フィルタ1
00の概略的な動作を説明する。最初に再構成されたデ
ィジタル・ビデオ信号系列101がビデオ信号フレーム
中の各画素のエッジ方位を検出するブロック102、即
ちエッジ方位検出器への入力として供給される。エッジ
方位情報はブロック104、即ちエッジ・非エッジ判別
処理サブプロセッサへの入力として供給され、そのエッ
ジ・非エッジ判定サブプロセッサ104ではエッジ方位
信号103が所定のしきい値Tdと比較され、エッジ・
非エッジ指示信号105が生成される。
【0027】上記エッジ・非エッジ指示信号105は空
間相フィルタ・バンク106で一群の空間相フィルタを
制御する。空間相フィルタ・バンク106では、再構成
されたディジタル・ビデオ信号系列101がエッジ・非
エッジ指示信号105に従って選択されたフィルタによ
ってフィルタリングされる。空間相フィルタ・バンク1
06での一群の空間相フィルタにより、空間的にフィル
タリングされたビデオ信号フレームを包含する空間的に
フィルタリングされたビデオ信号フレーム107が生成
される。これら空間的にフィルタリングされたビデオ信
号フレーム107は次いでフレーム・バッファ108に
格納される。フレーム・バッファ108はそのメモリに
少なくとも3個の時間相フレームを次の時間相フィルタ
リングのために格納する。上記3個の時間相フレームは
少なくとも次のフレーム、即ち、現フレーム、後フレー
ム、及び前フレームから成る。フレーム・バッファ10
8はそこに格納されたビデオ信号フレームを信号109
として出力する。時間相フィルタ110では、符号化ア
ーティファクトを削減されたビデオ信号系列111を生
成するために、上記現ビデオ信号フレームが動きベクト
ル信号112からの動き情報を用いてフィルタリングさ
れ、且つ、空間的にフィルタリングされた前フレーム及
び空間相フィルタリングされた後フレームがフィルタリ
ングされる。上記符号化アーティファクトを削減された
ビデオ信号系列111は最終的にフィルタリングされた
ビデオ信号であり、この符号化アーティファクトを削減
されたビデオ信号系列111は続いてディスプレイ装置
113へ伝送される。
【0028】図3はエッジ方位検出器102のブロック
図である。フィルタリングされる前のビデオ信号フレー
ムはf(x,y)として表されている。このフィルタリ
ングされる前のビデオ信号フレーム中の画素はp(x,
y)として表されている。各画素p(x,y)におい
て、エッジ方位が4個の角度、即ち、0゜、45゜、9
0゜及び135゜のうちの一つを取るものとすることが
できる。各座標点(x,y)でのエッジ方位を計算する
ために、一組のテンプレート勾配インパルス応答アレイ
iが用いられる。これらテンプレート勾配インパルス
応答アレイ{Hi,i=1,・・・,4}は次式(1)
及び(2)、即ち;
【数1】
【数2】 のように定義される。H1は水平(0゜)勾配における
インパルス応答であり、H2は45゜勾配におけるイン
パルス応答であり、H3は垂直(90゜)勾配における
インパルス応答であり、H4は135゜勾配におけるイ
ンパルス応答である。或る座標点(x,y)でのエッジ
・テンプレート勾配は次式(3)、即ち;
【数3】 なお、ここで次式(4)、即ち;
【数4】 は、上記フィルタリングされる前のビデオ信号フレーム
f(x,y)をテンプレート勾配インパルス応答アレイ
{Hi,i=1,・・・,4}とたたみ込むことによっ
て得られる第m次等空間方向での勾配である。このエッ
ジ角度はエッジ方位信号103の最大勾配Gmax(x,
y)の方向によって判定される。エッジ方位検出器10
2は上記処理を実行し、ビデオ・デコーダ99によって
復号されたビデオ信号ビット・ストリーム98中の各画
素のエッジ方位を判定する。
【0029】エッジ方位信号103はエッジ・非エッジ
判定サブプロセッサ104へ供給され、そこでエッジ・
非エッジ指示信号105が生成される。エッジ・非エッ
ジ判定サブプロセッサ104では、当該画素がエッジ部
クラスに属するか或いはまた非エッジ部クラスに属する
かを判定するために、エッジ方位信号103中の画素p
(x,y)の最大勾配Gmax(x,y)が所定のしきい
値Tgと比較される。この所定しきい値Tgは実験データ
から選択された値である。CCITT勧告H.261の
指針が用いられる好ましい実施例では、画素の値は0か
ら255の範囲内である。従って、この好ましい実施例
では、上記しきい値Tgの値は20である。もしG
max(x,y) > Tgであれば、座標点(x,y)での
画素は上記最大勾配Gmax(x,y)の方向によって判
定されたエッジ部クラスに属し、それ以外では座標点
(x,y)での画素は非エッジ部クラスに属する。
【0030】エッジ・非エッジ指示信号105は空間相
フィルタ・バンク106へ供給される。このエッジ・非
エッジ指示信号105は上記特定のエッジ方位(即ち、
0゜、45゜、90゜、135゜)或いはその信号がエ
ッジ部信号ではないことを指示する。
【0031】図4は空間相フィルタ・バンク106のブ
ロック図である。この空間相フィルタ・バンク106は
好ましくは5個のフィルタから成っている。フィルタ1
乃至フィルタ4は、図5乃至図8に示される各ライン構
成と平行なルート構成を持つ1次元(1D)FIR・中
央値ハイブリッド・フィルタ(FIR-MedianH
ybrid filter;以下FMHフィルタと言
う)である。
【0032】もしエッジ方位が0゜(図5参照)である
と判定されるとフィルタ1が選択され、もしエッジ方位
が45゜(図6参照)であると判定されるとフィルタ2
が選択され、もしエッジ方位が90゜(図7参照)であ
ると判定されるとフィルタ3が選択され、もしエッジ方
位が135゜(図8参照)であると判定されると、フィ
ルタ4が選択される。非エッジ部画素についてはフィル
タ5が選択される。その信号をエッジ部信号として処理
するか非エッジ部信号として処理するかの決定は上記で
論述したように、エッジ・非エッジ指示信号105によ
って制御される。
【0033】本発明の好ましい実施例で使用される上記
1D・FMHフィルタは概ね3個の直線位相FIRフィ
ルタと1個の中央値フィルタから成るが、しかし言うま
でも無く上記FIRフィルタの個数は変更可能である。
本発明の好ましい実施例での上記3個の直線位相FIR
フィルタの伝達関数は次式(5)、(6)、(7)、即
ち;
【数5】
【数6】
【数7】 で与えられる。なお、ここでウインドゥの辺長は(2L
+1)である。例えば、もしp(c)を(2L+1)の
長さを持つウインドゥ内のラインに沿う中心画素である
とすると、上記3個のFIRフィルタの出力は次式
(8)、(9)、(10)、即ち;
【数8】
【数9】
【数10】 で与えられる。
【0034】この結果、基本的には第1FIRフィルタ
の出力p1は中心画素p(c)の次の画素から当該ウイ
ンドゥの一方のエッジの画素p(c+L)までのライン
に沿う全画素の総和の関数である。同様に、第3FIR
フィルタの出力p3は中心画素p(c)の次の画素から
当該ウインドゥの他方のエッジの画素p(c−L)まで
のラインに沿う全画素の総和の関数である。その一方
で、上記中心フィルタの出力p2は中心画素p(c)と
全く等しい。
【0035】これらのフィルタは、単に1個の変数が所
定の固定ラインに沿って画素毎に増加する動きに対して
用いられる1次元フィルタである。従って、動きは2次
元x・y座標フレームのx方向及びy方向(なお、これ
らは所定の対角線が用いられているときであるが)の双
方で生じることがあるが、上記各フィルタでは単に1個
の1次元参照フレームのみが使用され、その結果処理が
簡単な1次元直線フィルタ動作技術が得られる。
【0036】上記FMHフィルタの出力は次式(1
1)、即ち;
【数11】 で与えられる。サイズ5のウインドゥを持つ1D・FM
Hフィルタの構成は図9に示されている。
【0037】本発明の好ましい実施例では、E、W、
S、N、NE、SW、NW、及びSEを取るインデック
スiが、上記FIRフィルタが操作され、中心入力画素
p(x,y)から区分される方向を指示するために用い
られる。上記3個のFIR直線位相サブフィルタの各々
の出力pi(x,y)は直線方向iに渡って取得される
平均値として定義される。本発明の好ましい実施例で用
いられる直線方向E、W、S、N、NE、SW、NW、
及びSEは図10に示されている。但し、それら以上の
方向を使用することができる言うまでもない。
【0038】図10に示される方向のFIR直線位相サ
ブフィルタの出力pi(x,y)は従って次式(12)
乃至(19)、即ち;
【数12】
【数13】
【数14】
【数15】
【数16】
【数17】
【数18】
【数19】 のように定義される。
【0039】しかし、上記式(12)乃至(19)は2
次元x・y座標フレーム中の上記FIR直線位相サブフ
ィルタの各出力を定義しているが、言う迄もなく、それ
らフィルタの出力は中心画素の次の画素からそのウイン
ドゥの一方のエッジの画素への方向に沿う全画素の平均
が計算される1次元であり、従って上記式(8)乃至
(10)の1次元直線フィルタ動作技術を使用すること
ができる。
【0040】エッジ方位0゜、45゜、90゜、135
゜を持つ4個のエッジ部クラスが存在するので、種々の
ルート構成を持つFMHフィルタが各クラスの画素に適
用される。p(x,y)を(2L+1)×(2L+1)
のサイズを持つ正方形状ウインドゥ中の中心画素とする
と、フィルタ1乃至フィルタ4の出力は次式(20)乃
至(23)、即ち;
【数20】
【数21】
【数22】
【数23】 のように定義される。なおこれらの式において、p
filter*(x,y)は所定のエッジ方位の方向に沿う3
個のFIR直線位相サブフィルタの各出力pi(x,
y)の中央値に渡って取得された総出力である。
【0041】上記フィルタリング技術はエッジ部画素に
対して使用されるが、2次元(2D)低域通過フィルタ
5は非エッジ部画素に対して使用される。もしp(x,
y)を(2L+1)×(2L+1)のサイズを持つ正方
形状ウインドゥ中の中心画素とすれば、そのフィルタ5
の出力は次式(24)、即ち;
【数24】 で与えられる。
【0042】上記符号化アーティファクトを更に削減す
るために、上記空間的にフィルタリングされたビデオ信
号系列が更に時間相フィルタ110で時間的にフィルタ
リングされる。動き補償された時間相フィルタ動作は、
特にそのようなフィルタリング動作が画像の動き領域内
でのアーティファクトの削減能力を向上するので実行さ
れる。動き補償された時間相フィルタ動作を実行するに
は、動き情報が必要である。理論的には、上記再構成さ
れた画像信号系列からの順方動き情報か逆方動き情報の
何れかに関する予測を使用することができる。しかし、
動き予測は往々にして極めて複雑であり且つ計算の費用
が極めて嵩むので、上記動きベクトルを個別に計算しな
い方が有益である。そのような動きベクトルの個別計算
に代わりに、復号のために抽出された動きベクトルを格
納し、後処理のために再使用することができる。CCI
TT勧告H.261のような最も低いビット・レートの
符号化技術では、ブロックに基づく順方動きベクトルを
利用することが可能であり、これらの動きベクトルを符
号化ビット・ストリームから抽出し、後処理のために格
納しておくことができる。ここで使用される動き情報は
動きベクトル信号112で表されている。そのような動
きベクトルに関するより詳しい開示は、CCITT勧告
H.261及び1989年にニューヨークのプレナム・
プレス(Plenum Press)社から発行されたエイ・ネトラ
ヴァリ(A.Netravali)とビー・ハスケル(B.Haskell)
との著書「ディジタル画像表示及び圧縮(Digital Pict
uresReresentation and Comression)」に為されてい
る。
【0043】図11は時間相フィルタ110とフレーム
・バッファ108とを示す図である。時間相フィルタリ
ングは2個以上のフレームを必要とするので、フレーム
・バッファ108が数個の空間的にフィルタリングされ
たビデオ信号フレーム107を格納するために使用され
る。好ましい実施例では、フレーム・バッファ108は
少なくとも3個のフレーム、即ち現フレームfn、前フ
レームfn-1、及び後フレームfn+1を格納することがで
きる。フレーム・バッファ108はこれら格納されたフ
レームを信号109として時間相フィルタ110へ出力
する。
【0044】フレームn中の空間位置(i,j)での画
素はpn(i,j)として定義される。同様に、フレー
ムfn+1中の画素はpn+1(i,j)として定義され、p
*n-1(i,j)は前最良整合フレームf*n-1中の画素を
表している。この前最良整合フレームは前フレームf
n-1かまたは動き補償されたフレームの何れかからのマ
クロブロックから成っている。従って、前最良整合フレ
ームf*n-1中の画素p*n-1(i,j)は次式(25)、
即ち;
【数25】 として定義される。なお、この式(25)中のp-
n-1(i,j)は16×16の大きさの画素群の動き補
償されたマクロブロックからの画素であり、p
n-1(i,j)は前フレームfn-1からの画素である。n
o_mc_SE及びmc_SEは、それぞれ動き補償さ
れたブロックと前ブロックとの間のエラー・パワーであ
る。これらの項は次式(26)及び(27)、即ち;
【数26】
【数27】 として定義される。
【0045】引き続き、図11を参照して説明すると、
現フレームfnと前最良整合フレームf*n-1との間のフ
レーム差分eが第1時間相処理サブプロセッサ20で計
算される。従って、空間位置(i,j)でのフレーム差
分eは次式(28)、即ち;
【数28】 のように計算される。
【0046】現フレームfnと前最良整合フレームf*
n-1との間の上記フレーム差分e(i,j)は非直線写
像器22へ送出され、そこで上記フレーム差分e(i,
j)に基づいて係数α、即ち重み付けファクタが判定さ
れる。
【0047】i×jの大きさの画素マトリクス中の各画
素に対する重み付けファクタα(i,j)は第2時間相
処理サブプロセッサ21において各画素のフレーム差分
eと乗算され、続いて第3時間相処理サブプロセッサ2
3において前最良整合フレームf*n-1の対応する画素に
加算され、その結果、中間加重平均現フレームf^
n(i,j)の中間加重平均現画素p^n(i,j)が得
られる。
【0048】上記加重平均画素p^n(i,j)と後フレ
ームfn+1からの画素pn+1との間の第2フレーム差分
e′は第4時間相処理サブプロセッサ24によって次式
(29)、即ち;
【数29】 のように計算される。
【0049】上記第2フレーム差分e′は続いて非直線
フィルタ25により、αを得たときと同様な方法で第2
の重み付けファクタβを得るために使用される。
【0050】i×jの大きさの画素マトリクス中の各画
素に対する重み付けファクタβ(i,j)は第5時間相
処理サブプロセッサ26において各画素のフレーム差分
eと乗算される。
【0051】フィルタリングされた画素pn(i,j)
は第6時間相処理サブプロセッサ27で上記中間加重平
均現画素p^n(i,j)と隣接後画素pn+1との加重平
均として計算される。
【0052】非直線写像器22及び非直線フィルタ25
だけでなく上記時間相処理サブプロセッサ20、21、
23、24、26、27も、後置フィルタ100の諸機
能を実行するプロセッサによって実行されるか、或いは
それに替えてインテル社製の80386型プロセッサの
ような別々の標準的なプロセッサによって実行されるこ
とが好ましい。
【0053】時間相フィルタの上記係数α及びβは図1
2に示される非直線関係をたどる。図12中のTa及び
bは実験データから決定される所定のしきい値であ
る。CCITT勧告H.261の指針が用いられる好ま
しい実施例では、画素の値は0から255の範囲内であ
る。従って、この好ましい実施例では、上記係数αが
0.1から1の範囲から選択され、係数βが0.1から
1の範囲から選択され、しきい値Taの値が9とされ、
しきい値Tbの値が40とされる。もしフレーム差分e
或いは第2フレーム差分e′がTb未満である場合、こ
のことは現画素に大きな動きが無いか或いは現画素の動
きが良好にたどられており、従って簡単な画素平均化処
理が適用されることを意味している。もしフレーム差分
e或いは第2フレーム差分e′がTbより大きい場合、
このことはシーン変化が有るか或いは動きベクトルによ
ってたどることができない速い動きが有り、適用される
処理が無いことを表している。もしフレーム差分eがT
aとTbとの間であれば、現画素が遷移領域内にあり、加
重平均化処理が適用される。この加重平均化処理を使用
することにより、画像の動き部分を良好に保存すること
ができ、ノイズを効果的に削減することができる。
【0054】フィルタリングされたフレーム中の画素は
次式(30)、(31)及び(32)、即ち;
【数30】
【数31】
【数32】 を使用することによって得ることができる。なお、これ
らの式中のp^n(i,j)はフィルタリングされたフレ
ーム中の画素である。符号化アーティファクトを削減さ
れたビデオ信号系列111には一連のフィルタリングさ
れた画素p^n(i,j)が包含されている。この符号化
アーティファクトを削減されたビデオ信号系列111は
続いてディスプレイ装置113へ送出される。
【0055】
【発明の効果】従って、以上説明したように本発明の特
徴には分離可能な3次元フィルタ構成の使用が包含され
る。更に、空間相変化FIR・中央値ハイブリッド・フ
ィルタが空間相領域で使用され、その後に時間相領域で
動き補償された非直線フィルタが使用される。それ故
に、本発明は信号の局部統計に共に空間的且つ時間的に
適応する空間相演算及び時間相演算を供する。特に、信
号のエッジ方位/非エッジ方位に依存する直線フィルタ
動作と非直線フィルタ動作との間の空間相演算の転換及
び時間相演算によって動き補償された信号が処理され
る。そのうえ、上記フィルタリング構成によれば経済性
に優れ且つ構成が簡単な1次元空間相フィルタリング技
術を使用することによってフィルタリング処理が最適化
される。
【0056】なお、特許請求の範囲に記載した参照符号
は発明の理解を容易にするためのものであり、特許請求
の範囲を制限するように理解されるべきものではない。
【図面の簡単な説明】
【図1】 本発明の好ましい実施例の後処理フィルタ装
置及び方法を持つ画像復号器の基本動作を示すブロック
図である。
【図2】 本発明の好ましい実施例の後処理フィルタ装
置及び方法を示すブロック図である。
【図3】 本発明の好ましい実施例によって実行される
エッジ方位検出装置及び方法を示すブロック図である。
【図4】 本発明の好ましい実施例によって実行される
空間相フィルタ装置及び方法を示すブロック図である。
【図5】 エッジ方位が0゜のときの図4に図示されて
いる空間相フィルタのルート構成と平行なライン構成を
示す図である。
【図6】 エッジ方位が45゜のときの図4に図示され
ている空間相フィルタのルート構成と平行なライン構成
を示す図である。
【図7】 エッジ方位が90゜のときの図4に図示され
ている空間相フィルタのルート構成と平行なライン構成
を示す図である。
【図8】 エッジ方位が135゜のときの図4に図示さ
れている空間相フィルタのルート構成と平行なライン構
成を示す図である。
【図9】 本発明の好ましい実施例によって使用される
1次元FIR・中央値ハイブリッド・フィルタ(FMH
フィルタ)を示す図である。
【図10】 本発明の好ましい実施例によって使用され
る有限インパルス応答(FIR)直線位相サブフィルタ
を示す図である。
【図11】 本発明の好ましい実施例の時間相フィルタ
リング及び格納装置及び方法を示すブロック図である。
【図12】 本発明の好ましい実施例の時間相フィルタ
の重み付けファクタ係数、α及びβを示すグラフであ
る。
【符号の説明】
20 第1時間相処理サブプロセッサ 21 第2時間相処理サブプロセッサ 22 非直線写像器 23 第3時間相処理サブプロセッサ 24 第4時間相処理サブプロセッサ 25 非直線フィルタ 26 第5時間相処理サブプロセッサ 27 第6時間相処理サブプロセッサ 98 ビデオ信号ビット・ストリーム 99 ビデオ・デコーダ 100 後置フィルタ 101 再構成されたディジタル・ビデオ信号系列 102 エッジ方位検出器 103 エッジ方位信号 104 エッジ・非エッジ判定サブプロセッサ 105 エッジ・非エッジ指示信号 106 空間相フィルタ・バンク 107 空間的にフィルタリングされたビデオ信号フレ
ーム 108 フレーム・バッファ 109 ビデオ信号フレーム 110 時間相フィルタ 111 符号化アーティファクトを削減されたビデオ信
号系列 112 動きベクトル信号 113 ディスプレイ装置

Claims (29)

    【特許請求の範囲】
  1. 【請求項1】 エッジ方位検出器(102)及びこのエ
    ッジ方位検出器(102)から情報を受信するように構
    成され前記情報を使用して空間的にフィルタリングされ
    たビデオ信号系列を生成する1次元フィルタを包含する
    空間相フィルタ・バンク(106)を包含し、画像復号
    器(99)に接続された後処理プロセッサ(100)
    と、 前記空間相フィルタ・バンク(106)によって生成さ
    れた空間的にフィルタリングされたビデオ信号系列を受
    信し、前記空間的にフィルタリングされたビデオ信号系
    列から時間的にフィルタリングされたビデオ信号系列を
    生成するように構成された動き補償された時間相フィル
    タ(110)と、 前記後処理プロセッサ(100)に接続され、前記空間
    相フィルタ・バンク(106)から空間的にフィルタリ
    ングされたビデオ信号系列を受信するように構成された
    フレーム・メモリ(108)とを包含することを特徴と
    する、画像復号器からブロックに基づく動き補償変換符
    号化によって生成された動画画像信号系列中のアーティ
    ファクトを削減するためのフィルタ装置。
  2. 【請求項2】 前記エッジ方位検出器(102)は、一
    組のテンプレート勾配インパルス応答アレイを使用して
    エッジ方位を計算することを特徴とする、請求項1に記
    載のフィルタ装置。
  3. 【請求項3】 前記エッジ方位検出器(102)が、 画像を前記傾斜インパルス応答アレイにたたみ込み、 最大勾配を判定し、 前記最大勾配をしきい値と比較して画素がエッジ部クラ
    スと非エッジ部クラスとの何れに属するかを判定する、
    ことを特徴とする、請求項2に記載のフィルタ装置。
  4. 【請求項4】 前記空間相フィルタ・バンク(106)
    が、中央値フィルタと少なくとも2個の有限インパルス
    応答直線位相フィルタとを包含することを特徴とする、
    請求項1に記載のフィルタ装置。
  5. 【請求項5】 前記空間相フィルタ・バンク(106)
    が、 前記有限インパルス応答直線位相フィルタに対する処理
    方向を指示するインデックスと、 前記有限インパルス応答フィルタが区分される中心入力
    画素と、 を包含することを特徴とする、請求項4に記載のフィル
    タ装置。
  6. 【請求項6】 前記空間相フィルタ・バンク(106)
    が、前記動画画像信号系列中の画素をフィルタリングす
    るための変動ルート構成を有する有限インパルス応答中
    央値フィルタ・バンクを包含することを特徴とする、請
    求項1に記載のフィルタ装置。
  7. 【請求項7】 前記空間相フィルタ・バンク(106)
    が更に前記動画画像信号系列中の非エッジ部画素をフィ
    ルタリングするための2次元低域通過フィルタを包含す
    ることを特徴とする、請求項1に記載のフィルタ装置。
  8. 【請求項8】 前記フレーム・メモリ(108)が現フ
    レーム、隣接前フレーム及び隣接後フレームに対する信
    号を格納するように構成されていることを特徴とする、
    請求項1に記載のフィルタ装置。
  9. 【請求項9】 前記動き補償された時間相フィルタ(1
    10)が、 前記隣接前フレーム及び前記動き補償されたフレームか
    ら最良整合フレームを判定し、且つ現フレームと前記最
    良整合フレームとの間の差分を計算するように構成され
    ていることを特徴とする、請求項8に記載のフィルタ装
    置。
  10. 【請求項10】 前記動き補償された時間相フィルタ
    (110)が、前記隣接前フレーム或いは前記動き補償
    されたフレームの何れか一方から選択された最良整合フ
    レーム画素から前記最良整合フレームを判定するように
    構成されており、前記最良整合フレーム画素が、 前記現フレーム中の画素と前記動き補償されたフレーム
    中の画素との絶対差分が前記現フレーム中の画素と前記
    隣接前フレーム中の画素との間の絶対差分より大きい場
    合の前記隣接前フレームからの画素と、 前記現フレーム中の画素と前記隣接前フレーム中の画素
    との絶対差分が前記現フレーム中の画素と前記動き補償
    されたフレーム中の画素との間の絶対差分より大きい場
    合の前記動き補償されたフレームからの画素とを包含す
    ることを特徴とする、請求項9に記載のフィルタ装置。
  11. 【請求項11】 前記動き補償された時間相フィルタ
    (110)が、更に第1のフレーム差分に少なくとも部
    分的に基づいて重み付けファクタを判定するための非直
    線写像器(22)を包含することを特徴とする、請求項
    9に記載のフィルタ装置。
  12. 【請求項12】 前記動き補償された時間相フィルタ
    (110)が、前記重み付けファクタに少なくとも部分
    的に基づいて前記現フレーム及び前記最良整合フレーム
    から加重平均現フレームを計算するように構成されてい
    ることを特徴とする、請求項11に記載のフィルタ装
    置。
  13. 【請求項13】 前記動き補償された時間相フィルタ
    (110)が、 前記加重平均現フレームと後フレームとの第2のフレー
    ム差分を計算して生成し、 前記第2フレーム差分に少なくとも部分的に基づいて前
    記加重平均現フレームと前記隣接後フレームとの第2の
    重み付けファクタを判定し、 前記第2重み付けファクタに少なくとも部分的に基づい
    て、前記加重平均現フレームと前記隣接後フレームとの
    第2の加重平均を計算するように構成されていることを
    特徴とする、請求項12に記載のフィルタ装置。
  14. 【請求項14】 計算処理プロセッサ(100)と、 エッジ検出器及び1次元フィルタを包含し、復号された
    ノイズ汚染信号から空間相アーティファクトをフィルタ
    リングするための手段(106)と、 少なくとも現フレーム、前フレーム及び後フレームに対
    する前記復号されたノイズ汚染信号からの信号を格納す
    る手段(108)と、 前記前フレーム及び動き補償されたフレームから最良整
    合フレームを計算する手段と、 前記現フレーム及び最良整合フレームから中間加重平均
    現フレームを計算し、前記中間加重平均現フレーム及び
    前記動き補償された前フレームの間の差分が増大すると
    き前記最良整合フレームがより低い重みを与えられるよ
    うにする手段と、 前記中間加重平均現フレーム及び前記後フレームの加重
    平均からフィルタリングされたフレームを計算し、前記
    中間加重平均現フレーム及び前記後フレームの間の差分
    が増大するとき前記後フレームがより低い重みを与えら
    れるようにする手段と、を包含することを特徴とする、
    画像通信のための復号されたノイズ汚染信号をフィルタ
    リングするための装置。
  15. 【請求項15】 空間相アーティファクトをフィルタリ
    ングする前記手段(106)が、一組のテンプレート勾
    配インパルス応答アレイを使用してエッジ方位を計算す
    ることを特徴とする、請求項14に記載の装置。
  16. 【請求項16】 空間相アーティファクトをフィルタリ
    ングする前記手段(106)が、更に、画像を前記テン
    プレート勾配インパルス応答アレイにたたみ込む手段
    と、最大勾配を判定する手段と、前記最大勾配をしきい
    値と比較して画素がエッジ部クラスと非エッジ部クラス
    との何れに属するかを判定する手段とを包含することを
    特徴とする、請求項15に記載の装置。
  17. 【請求項17】 空間相アーティファクトをフィルタリ
    ングする前記手段(106)が、中央値フィルタと少な
    くとも2個の有限インパルス応答直線位相フィルタとを
    包含することを特徴とする、請求項16に記載の装置。
  18. 【請求項18】 空間相アーティファクトをフィルタリ
    ングする前記手段(106)が、更に2次元フィルタを
    包含し、該2次元フィルタが前記非エッジ部クラスに属
    する画素から空間相アーティファクトをフィルタリング
    し、且つ前記1次元フィルタが前記エッジ部クラスに属
    する画素から空間相アーティファクトをフィルタリング
    することを特徴とする、請求項17に記載の装置。
  19. 【請求項19】 ブロックに基づく動き補償変換符号化
    によって前記動画ビデオ信号系列上に生成された空間相
    アーティファクトの影響を削減するように構成された1
    次元空間可変FIR・中央値ハイブリッド・フィルタ
    と、 前記1次元空間可変FIR・中央値ハイブリッド・フィ
    ルタに接続され、前記動画画像信号系列の少なくとも一
    部を格納するメモリと、 ブロックに基づく動き補償変換符号化によって前記動画
    ビデオ信号系列上に生成された時間相アーティファクト
    の影響を削減するように構成された動き補償された非直
    線フィルタとを包含し、 前記1次元空間可変FIR・中央値ハイブリッド・フィ
    ルタ、前記メモリ及び前記動き補償された非直線フィル
    タが直列に配列されていることを特徴とするブロックに
    基づく動き補償変換符号化によって圧縮復元された動画
    ビデオ信号系列の画質を向上する3次元フィルタ装置。
  20. 【請求項20】 更に、情報を前記空間相変化FIR・
    中央値ハイブリッド・フィルタへ入力し、空間相アーテ
    ィファクトの影響を削減するように構成された1次元エ
    ッジ検出器を包含することを特徴とする、請求項19に
    記載のフィルタ装置。
  21. 【請求項21】 ブロックに基づく動き補償変換符号化
    によって生成された復号ビデオ映像系列信号の画素のエ
    ッジ方位を検出するステップと、 前記ビデオ信号系列のエッジ部領域に方位を有するよう
    に判定されている画素に対し、1次元フィルタを使用し
    て前記ビデオ映像系列信号から空間相フィルタリングを
    フィルタリングするステップと、 前記ビデオ映像系列信号から少なくとも現フレーム、隣
    接前フレーム及び隣接後フレームを格納するステップ
    と、 前記隣接後フレーム、前記現フレーム及び動き補償され
    た隣接前フレームの加重平均から時間的にフィルタリン
    グされたフレームを計算するステップと、 前記時間的にフィルタリングされたフレームを表示する
    ステップとを包含することを特徴とする、ブロックに基
    づく動き補償変換符号化によって生成された復号ビデオ
    映像系列信号を処理し、表示する方法。
  22. 【請求項22】 時間的にフィルタリングされたフレー
    ムを計算するステップが更に、 最良整合フレームを計算するステップと、 前記現フレームと前記最良整合フレームとの間のフレー
    ム差分を計算するステップと、 前記フレーム差分に少なくとも部分的に基づいて重み付
    けファクタを判定するステップと、 前記フレーム差分に少なくとも部分的に基づいて、前記
    現フレーム及び前記最良整合フレームから加重平均現フ
    レームを計算するステップとを包含することを特徴とす
    る、請求項21に記載の方法。
  23. 【請求項23】 時間的にフィルタリングされたフレー
    ムを計算するステップが更に、 前記加重平均現フレームと前記隣接後フレームとの間の
    第2フレーム差分を計算するステップと、 前記第2フレーム差分に少なくとも部分的に基づいて第
    2重み付けファクタを判定するステップと、 前記第2フレーム差分に少なくとも部分的に基づいて、
    前記加重平均現フレーム及び前記隣接後フレームの加重
    平均を計算するステップとを包含することを特徴とす
    る、請求項22に記載の方法。
  24. 【請求項24】 画素のエッジ方位を検出する前記ステ
    ップが、 前記画素を傾斜インパルス応答アレイにたたみ込むステ
    ップと、最大勾配を判定するステップと、 前記最大勾配をしきい値と比較して画素がエッジ部領域
    と非エッジ部領域との何れに属するかを判定するステッ
    プとを包含することを特徴とする、請求項21に記載の
    方法。
  25. 【請求項25】 前記ビデオ映像系列から空間相アーテ
    ィファクトをフィルタリングするステップが、 前記ビデオ信号系列の非エッジ部領域中内に方位を有す
    るように判定された画素に対し、2次元低域通過フィル
    タを使用して前記ビデオ映像系列から空間相アーティフ
    ァクトをフィルタリングするステップを包含することを
    特徴とする、請求項21に記載の方法。
  26. 【請求項26】 前記ビデオ映像系列から空間相アーテ
    ィファクトをフィルタリングする前記ステップが、 前記2次元低域通過フィルタの出力を、LがL = (ウ
    インドゥの辺長 − 1)/2で与えられるものとすると
    き、中心画素p(x,y)及びp(x−L,y−L)か
    らp(x+L,y+L)までの全画素の関数として計算
    するステップを包含することを特徴とする、請求項25
    に記載の方法。
  27. 【請求項27】 空間相アーティファクトをフィルタリ
    ングする前記ステップが、更に、LがL = (ウインド
    ゥの辺長 − 1)/2で与えられるものとするとき、 一方のエッジ部領域の画素p(c+L)から中心画素p
    (c)を通り他方のエッジ部領域の第2画素p(c−
    L)への方向を選択するステップと、 第1有限インパルス応答フィルタの出力を、前記方向に
    沿い、中心画素p(c)及びp(c−L)からp(x+
    L)までの全画素の関数として計算するステップと、 第2有限インパルス応答フィルタの出力を中心画素p
    (c)の関数として計算するステップと、 第3有限インパルス応答フィルタの出力をp(c−L)
    からp(x+L)までの全画素の関数として計算するス
    テップとを包含することを特徴とする、請求項21に記
    載の方法。
  28. 【請求項28】 空間相アーティファクトをフィルタリ
    ングする前記ステップが、更に、 前記有限インパルス応答フィルタの出力の中央値を計算
    するステップを包含することを特徴とする、請求項27
    に記載の方法。
  29. 【請求項29】 空間相アーティファクトをフィルタリ
    ングする前記ステップが、更に、 前記有限インパルス応答フィルタに対する処理方向を選
    択するステップと、 前記有限インパルス応答フィルタが区分される中心入力
    画素から前記処理方向に前記有限インパルス応答フィル
    タの出力に渡って取得された総出力を計算するステップ
    と包含することを特徴とする、請求項28に記載の方
    法。
JP7035876A 1994-02-04 1995-02-02 動画画像信号系列中のアーティファクトを削減するためのフィルタ装置及び方法 Pending JPH07231450A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/191,685 US5512956A (en) 1994-02-04 1994-02-04 Adaptive spatial-temporal postprocessing for low bit-rate coded image sequences
US191685 1994-02-04

Publications (1)

Publication Number Publication Date
JPH07231450A true JPH07231450A (ja) 1995-08-29

Family

ID=22706517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7035876A Pending JPH07231450A (ja) 1994-02-04 1995-02-02 動画画像信号系列中のアーティファクトを削減するためのフィルタ装置及び方法

Country Status (3)

Country Link
US (1) US5512956A (ja)
EP (1) EP0666695A3 (ja)
JP (1) JPH07231450A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137807A (ja) * 1998-10-05 2000-05-16 Agfa Gevaert Nv 階段効果を平滑化する方法
JP2007149092A (ja) * 2005-11-23 2007-06-14 Sonosite Inc 複数解像度適応フィルタリング
JP2007158770A (ja) * 2005-12-06 2007-06-21 Nippon Hoso Kyokai <Nhk> 映像復号装置および映像復号プログラム
US7324701B2 (en) 2002-12-27 2008-01-29 Seiko Epson Corporation Image noise reduction
JP2008508751A (ja) * 2004-07-30 2008-03-21 アルゴリス インコーポレイテッド 符号化された画像信号に関する適応型3d虚構映像削減のための装置および方法
JP2009077240A (ja) * 2007-09-21 2009-04-09 Hitachi Ltd 画像処理装置及び画像処理方法
JP2011243233A (ja) * 2011-09-09 2011-12-01 Olympus Corp 画像処理装置
WO2012060128A1 (en) * 2010-11-02 2012-05-10 Sharp Kabushiki Kaisha Motion-compensated temporal filtering based on variable filter parameters

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841484A (en) * 1994-02-10 1998-11-24 Philips Electronics North North America Corporation Blind equalizer method and apparatus for HDTY transmission using an NTSC rejection filter for mitigating co-channel interference
JP3529432B2 (ja) * 1994-06-30 2004-05-24 株式会社東芝 動画像符号化/復号化装置
JP3634410B2 (ja) * 1994-10-18 2005-03-30 キヤノン株式会社 画像処理システムおよび画像処理装置とその方法
US5802218A (en) * 1994-11-04 1998-09-01 Motorola, Inc. Method, post-processing filter, and video compression system for suppressing mosquito and blocking atrifacts
JPH08163594A (ja) * 1994-12-12 1996-06-21 Sony Corp 動画像復号化方法及び動画像復号化装置
US5654759A (en) * 1995-02-15 1997-08-05 Hitachi America Ltd. Methods and apparatus for reducing blockiness in decoded video
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US5850294A (en) * 1995-12-18 1998-12-15 Lucent Technologies Inc. Method and apparatus for post-processing images
US6324301B1 (en) * 1996-01-24 2001-11-27 Lucent Technologies Inc. Adaptive postfilter for low bitrate visual telephony noise removal
KR100242636B1 (ko) * 1996-03-23 2000-02-01 윤종용 블록화효과 및 링잉노이즈 감소를 위한 신호적응후처리시스템
US5793985A (en) * 1996-06-17 1998-08-11 Hewlett-Packard Company Method and apparatus for block-based motion estimation
DE19626985C1 (de) * 1996-07-04 1998-01-02 Siemens Ag Verfahren und Anordnung zur Reduktion von Codierungsartefakten von blockbasierten Bildcodierungsverfahren und objektbasierten Bildcodierungsverfahren
KR100242637B1 (ko) * 1996-07-06 2000-02-01 윤종용 동보상된 영상의 블록화효과 및 링잉노이즈 감소를 위한 루프필터링방법
US5912991A (en) * 1997-02-07 1999-06-15 Samsung Electronics Co., Ltd. Contour encoding method using error bands
JP3274980B2 (ja) * 1997-03-03 2002-04-15 株式会社ケンウッド 二次元ビデオフィルタ及びビデオフィルタ装置
KR100265722B1 (ko) * 1997-04-10 2000-09-15 백준기 블럭기반영상처리방법및장치
US5959693A (en) * 1997-05-07 1999-09-28 General Instrument Corporation Pixel adaptive noise reduction filter for digital video
US6067125A (en) * 1997-05-15 2000-05-23 Minerva Systems Structure and method for film grain noise reduction
US5920359A (en) * 1997-05-19 1999-07-06 International Business Machines Corporation Video encoding method, system and computer program product for optimizing center of picture quality
EP2190205A3 (en) * 1997-05-28 2010-10-06 Sony Corporation Method and apparatus for reducing block distortion and method and apparatus for encoding data
US6335990B1 (en) 1997-07-03 2002-01-01 Cisco Technology, Inc. System and method for spatial temporal-filtering for improving compressed digital video
KR100243225B1 (ko) * 1997-07-16 2000-02-01 윤종용 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터
GB2333656B (en) * 1998-01-22 2002-08-14 British Broadcasting Corp Compressed signals
GB2333657B (en) 1998-01-22 2002-08-21 Snell & Wilcox Ltd Video signal compression
GB2335104B (en) 1998-03-06 2002-01-30 British Broadcasting Corp Cascading of up conversion and down conversion
GB2337389B (en) * 1998-05-15 2002-05-29 Snell & Wilcox Ltd Video signal processing
US6327307B1 (en) 1998-08-07 2001-12-04 Motorola, Inc. Device, article of manufacture, method, memory, and computer-readable memory for removing video coding errors
GB9822094D0 (en) 1998-10-09 1998-12-02 Snell & Wilcox Ltd Improvements in data compression
GB9822087D0 (en) 1998-10-09 1998-12-02 Snell & Wilcox Ltd Improvements in data compression
GB9822092D0 (en) 1998-10-09 1998-12-02 Snell & Wilcox Ltd Analysis of compression decoded sequences
GB9824061D0 (en) 1998-11-03 1998-12-30 Snell & Wilcox Ltd Film sequence detection (nt4)
US6700623B1 (en) 1998-12-10 2004-03-02 Snell & Wilcox Limited Video signal processing using triplets of pixels
US6434197B1 (en) 1999-01-07 2002-08-13 General Instrument Corporation Multi-functional transcoder for compressed bit streams
EP1064782A1 (en) * 1999-01-15 2001-01-03 Koninklijke Philips Electronics N.V. Sharpness enhancement
US6697109B1 (en) * 1999-05-06 2004-02-24 Sharp Laboratories Of America, Inc. Method and system for field sequential color image capture
US6115409A (en) * 1999-06-21 2000-09-05 Envoy Networks, Inc. Integrated adaptive spatial-temporal system for controlling narrowband and wideband sources of interferences in spread spectrum CDMA receivers
US6690422B1 (en) * 1999-11-03 2004-02-10 Sharp Laboratories Of America, Inc. Method and system for field sequential color image capture using color filter array
US6535620B2 (en) * 2000-03-10 2003-03-18 Sarnoff Corporation Method and apparatus for qualitative spatiotemporal data processing
US7203234B1 (en) 2000-03-31 2007-04-10 Sharp Laboratories Of America, Inc. Method of directional filtering for post-processing compressed video
GB2361126B (en) * 2000-04-05 2004-04-21 Snell & Wilcox Ltd Spatial video processing
US6868190B1 (en) 2000-10-19 2005-03-15 Eastman Kodak Company Methods for automatically and semi-automatically transforming digital image data to provide a desired image look
US7031393B2 (en) * 2000-10-20 2006-04-18 Matsushita Electric Industrial Co., Ltd. Block distortion detection method, block distortion detection apparatus, block distortion removal method, and block distortion removal apparatus
CN1419680A (zh) * 2001-01-26 2003-05-21 皇家菲利浦电子有限公司 时空滤波器单元以及包括这种时空滤波器单元的图像显示设备
US7092016B2 (en) * 2001-02-09 2006-08-15 Eastman Kodak Company Method and system for motion image digital processing
US7006255B2 (en) * 2001-03-29 2006-02-28 Sharp Laboratories Of America Adaptive image filtering based on a distance transform
EP1251463A1 (en) * 2001-04-20 2002-10-23 BTS Media Solutions GmbH Arrangement for processing video signals
JP2004531161A (ja) * 2001-06-19 2004-10-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ディジタルビデオ信号を処理する方法及び復号器
KR100444997B1 (ko) * 2002-02-21 2004-08-21 삼성전자주식회사 윤곽 보정 방법 및 이에 적합한 장치
US7543326B2 (en) * 2002-06-10 2009-06-02 Microsoft Corporation Dynamic rate control
US20030235250A1 (en) 2002-06-24 2003-12-25 Ankur Varma Video deblocking
US7991054B2 (en) * 2002-07-19 2011-08-02 Sony Corporation Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program
EP1391866A1 (en) * 2002-08-23 2004-02-25 Deutsche Thomson Brandt Adaptive noise reduction for digital display panels
US7151798B2 (en) * 2002-10-29 2006-12-19 Winbond Electronics Corp. Method for motion estimation using a low-bit edge image
US7463688B2 (en) * 2003-01-16 2008-12-09 Samsung Electronics Co., Ltd. Methods and apparatus for removing blocking artifacts of MPEG signals in real-time video reception
BRPI0408087A (pt) * 2003-03-03 2006-02-14 Agency Science Tech & Res método de intrapredição de codificação de vìdeo avançada (avc) para codificar vìdeo digital, aparelho que utiliza essa intrapredição e produto de programa de computador
WO2004111789A2 (en) * 2003-06-10 2004-12-23 Rensselaer Polytechnic Institute A method for processing i-blocks used with motion compensated temporal filtering
US20050137911A1 (en) * 2003-12-18 2005-06-23 Conn John P. Systems and methods for data insurance
US7616220B2 (en) * 2003-12-23 2009-11-10 Intel Corporation Spatio-temporal generation of motion blur
WO2005120169A2 (en) * 2004-06-14 2005-12-22 Genoa Color Technologies Ltd Method, device and system of response time compensation
US7643088B2 (en) * 2004-12-01 2010-01-05 Hewlett-Packard Development Company, L.P. Artifact reduction in a digital video
US7440608B2 (en) 2005-05-31 2008-10-21 Hewlett-Packard Development Company, L.P. Method and system for detecting image defects
US20060291743A1 (en) * 2005-06-24 2006-12-28 Suketu Partiwala Configurable motion compensation unit
JP2007149180A (ja) * 2005-11-25 2007-06-14 Hitachi Ltd 光ディスク装置
KR20080010689A (ko) * 2006-07-27 2008-01-31 삼성전자주식회사 영상 표시 장치 및 표시 방법
GB2443700A (en) * 2006-11-10 2008-05-14 Tandberg Television Asa Reduction of blocking artefacts in decompressed images
JP2008244846A (ja) * 2007-03-27 2008-10-09 Toshiba Corp フレーム補間装置及びその方法
US8200028B2 (en) * 2007-12-07 2012-06-12 Csr Technology Inc. System and method for detecting edges in a video signal
US8295367B2 (en) * 2008-01-11 2012-10-23 Csr Technology Inc. Method and apparatus for video signal processing
US8781250B2 (en) * 2008-06-26 2014-07-15 Microsoft Corporation Image deconvolution using color priors
TWI390467B (zh) * 2009-01-23 2013-03-21 Silicon Integrated Sys Corp 動態雜訊濾波裝置及西格瑪濾波方法
JP5075861B2 (ja) * 2009-03-16 2012-11-21 株式会社東芝 画像処理装置及び画像処理方法
US8285069B2 (en) * 2010-03-30 2012-10-09 Chunghwa Picture Tubes, Ltd. Image processing device and method thereof
WO2011146105A1 (en) * 2010-05-17 2011-11-24 Technicolor Usa, Inc. Methods and apparatus for adaptive directional filter for video restoration
DE112010005721B4 (de) * 2010-07-06 2021-02-04 Mitsubishi Electric Corporation Bildverarbeitungsvorrichtung
CN102547256B (zh) * 2010-12-10 2014-12-03 株式会社理光 自适应块效应去除方法和系统
KR101208237B1 (ko) 2010-12-29 2012-12-05 삼성전기주식회사 디지털 이미지의 노이즈 감소 장치 및 방법
US10091483B2 (en) * 2012-06-25 2018-10-02 Thomson Licensing Method and device for temporal filtering of disparity maps
US9002133B2 (en) * 2013-02-27 2015-04-07 Sharp Laboratories Of America, Inc. Multi layered image enhancement technique
WO2016064879A1 (en) * 2014-10-20 2016-04-28 Bae Systems Information And Electronic Systems Integration Inc. Scene-based non-uniformity correction in focal plane arrays
CN105208402B (zh) * 2015-08-31 2017-12-15 电子科技大学 一种基于运动对象与图像分析的视频帧复杂度测度方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2387557A1 (fr) * 1977-04-14 1978-11-10 Telediffusion Fse Systemes de reduction de visibilite du bruit sur des images de television
US4352126A (en) * 1977-04-14 1982-09-28 Jacques Poncin System for reducing visible noise in television images
IL70213A (en) * 1983-11-13 1988-02-29 Paul Fenster Digital fluorographic image enhancement system
FR2633477B1 (fr) * 1988-06-24 1990-11-09 France Etat Procede de regulation de debit de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees
US4891699A (en) * 1989-02-23 1990-01-02 Matsushita Electric Industrial Co., Ltd. Receiving system for band-compression image signal
ATE154485T1 (de) * 1990-03-15 1997-06-15 Thomson Multimedia Sa Digitale bildverarbeitung mit filterung der blockkanten
US5134480A (en) * 1990-08-31 1992-07-28 The Trustees Of Columbia University In The City Of New York Time-recursive deinterlace processing for television-type signals
US5367385A (en) * 1992-05-07 1994-11-22 Picturetel Corporation Method and apparatus for processing block coded image data to reduce boundary artifacts between adjacent image blocks
KR0149517B1 (ko) * 1992-07-18 1998-10-15 강진구 에지 검출과 노이즈 제거를 위한 다단식 비선형 필터
JPH06121192A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137807A (ja) * 1998-10-05 2000-05-16 Agfa Gevaert Nv 階段効果を平滑化する方法
US7324701B2 (en) 2002-12-27 2008-01-29 Seiko Epson Corporation Image noise reduction
JP2008508751A (ja) * 2004-07-30 2008-03-21 アルゴリス インコーポレイテッド 符号化された画像信号に関する適応型3d虚構映像削減のための装置および方法
JP2007149092A (ja) * 2005-11-23 2007-06-14 Sonosite Inc 複数解像度適応フィルタリング
JP2012228572A (ja) * 2005-11-23 2012-11-22 Sonosite Inc 複数解像度適応フィルタリング
JP2007158770A (ja) * 2005-12-06 2007-06-21 Nippon Hoso Kyokai <Nhk> 映像復号装置および映像復号プログラム
JP4528255B2 (ja) * 2005-12-06 2010-08-18 日本放送協会 映像復号装置および映像復号プログラム
JP2009077240A (ja) * 2007-09-21 2009-04-09 Hitachi Ltd 画像処理装置及び画像処理方法
WO2012060128A1 (en) * 2010-11-02 2012-05-10 Sharp Kabushiki Kaisha Motion-compensated temporal filtering based on variable filter parameters
US9036695B2 (en) 2010-11-02 2015-05-19 Sharp Laboratories Of America, Inc. Motion-compensated temporal filtering based on variable filter parameters
JP2011243233A (ja) * 2011-09-09 2011-12-01 Olympus Corp 画像処理装置

Also Published As

Publication number Publication date
EP0666695A2 (en) 1995-08-09
EP0666695A3 (en) 1996-03-06
US5512956A (en) 1996-04-30

Similar Documents

Publication Publication Date Title
JPH07231450A (ja) 動画画像信号系列中のアーティファクトを削減するためのフィルタ装置及び方法
KR100265722B1 (ko) 블럭기반영상처리방법및장치
EP0705035B1 (en) Encoding data represented as a multi-dimensional array
US7860167B2 (en) Apparatus and method for adaptive 3D artifact reducing for encoded image signal
US6226050B1 (en) Signal adaptive filtering method for reducing ringing noise and signal adaptive filter
JP3495766B2 (ja) 画像処理方法
KR0165497B1 (ko) 블럭화현상 제거를 위한 후처리장치 및 그 방법
US7136536B2 (en) Adaptive filter
US5852682A (en) Post-processing method and apparatus for use in a video signal decoding apparatus
JP3678481B2 (ja) 映像データ後処理方法
EP0734177A2 (en) Method and apparatus for encoding/decoding a video signal
US20030053711A1 (en) Reducing blocking and ringing artifacts in low-bit-rate coding
EP0680219B1 (en) Improved post-processing method for use in an image signal decoding system
EP1351508A2 (en) Adaptive post-filtering for reducing noise in highly compressed image/video coding
JPH1051775A (ja) 動映像復号化器のブロック化現象除去方法及び装置
TW200535717A (en) Directional video filters for locally adaptive spatial noise reduction
JP3792837B2 (ja) デブロッキングフィルタ
JP3627291B2 (ja) ブロック歪み除去装置および方法
EP0886972B1 (en) Improved post-processing for removing blocking effects in decoded image signal
JP2901656B2 (ja) 画像符号化装置
US6061401A (en) Method and apparatus for selectively encoding/decoding a video signal
Yan Adaptive spatial-temporal postprocessing for low-bit-rate coded image sequence
JPH07307942A (ja) 画像雑音除去装置
US20080187237A1 (en) Method, medium, and system reducing image block noise
Shin et al. Image-fusion-based adaptive regularization for image expansion