JP5044886B2 - ブロックノイズ低減装置および画像表示装置 - Google Patents

ブロックノイズ低減装置および画像表示装置 Download PDF

Info

Publication number
JP5044886B2
JP5044886B2 JP2004301174A JP2004301174A JP5044886B2 JP 5044886 B2 JP5044886 B2 JP 5044886B2 JP 2004301174 A JP2004301174 A JP 2004301174A JP 2004301174 A JP2004301174 A JP 2004301174A JP 5044886 B2 JP5044886 B2 JP 5044886B2
Authority
JP
Japan
Prior art keywords
region
image signal
correlation
frames
block noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004301174A
Other languages
English (en)
Other versions
JP2006115268A (ja
Inventor
一樹 澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2004301174A priority Critical patent/JP5044886B2/ja
Priority to PCT/JP2005/018934 priority patent/WO2006041152A1/ja
Priority to CNB2005800145796A priority patent/CN100553334C/zh
Priority to US10/571,645 priority patent/US8300707B2/en
Priority to KR20067005142A priority patent/KR20060095960A/ko
Publication of JP2006115268A publication Critical patent/JP2006115268A/ja
Application granted granted Critical
Publication of JP5044886B2 publication Critical patent/JP5044886B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Description

本発明は、圧縮符号化された画像信号を復号した復号画像信号からブロックノイズを除去するブロックノイズ低減装置およびブロックノイズ低減装置を用いた画像表示装置に関する。
近年、画像の高能率圧縮符号化方法として、MPEG(Moving Picture Experts Group)方式が広く用いられており、MPEG1、2、4がすでに国際標準化されている。MPEG方式は、画像信号から空間方向および時間方向の冗長度を取り除き画像信号を圧縮し符号化を行う。このとき、圧縮率が小さい場合には復号化した画像信号の画質が劣化することはほとんどないが、圧縮率が高くなると符号化ノイズが目立ち画質が劣化する場合がある。
MPEG方式における符号化ノイズの代表的なものとして、ブロックノイズがある。ブロックノイズは、画像信号の圧縮符号化が8×8画素のブロック状領域の内部で行われ、この圧縮符号化された画像信号を復号する際に隣接するブロックとの画像信号の連続性が損なわれたときに発生する格子状のノイズである。このようにブロックノイズは規則性を持つために、ランダム雑音に比べて知覚され易く、特に空間周波数が低く輝度の変化の少ない平坦な画像領域で目立ちやすく、たとえば空や人間の肌等の画像のように、比較的平坦であるがグラデーションも含むような領域ではっきりと視認されることが知られている。
ブロックノイズを低減させる方法として、まずブロック境界部分を検出し、次にそのブロック境界部分の画像データに対してローパスフィルタ処理等の平滑化処理を施す方法が提案されている(たとえば特許文献1参照)。
特開平10−191335号公報
しかしながら、上述のブロックノイズ低減方法においてはブロック境界部分なのか単なる画像の輪郭部分なのかを確実に判別することが難しく、画像の輪郭部分をブロック境界部分と誤って平滑化処理を施すと、解像度が低下し画像の輪郭部分がぼやけてしまうといった問題があった。
本発明は、このような問題点を解決するためになされたもので、画像の解像度を損なうことなくブロックノイズを低減するブロックノイズ低減装置および画像表示装置を提供するものである。
本発明のブロックノイズ低減装置は、圧縮符号化された画像信号を復号化した復号画像信号からブロックノイズを低減するブロックノイズ低減装置であって、フレーム間における復号画像信号の相関の高さを判定するフレーム相関判定部と、復号画像信号の中から近隣の画素との輝度差が小さい画像領域を平坦領域として検出する平坦領域検出部と、復号画像信号の中から高い空間周波数成分を含む画像領域を高周波領域として検出する高周波領域検出部と、復号画像信号の中から動画領域を検出する動画領域検出部と、所定の領域に対する復号画像信号に平滑化処理を施す平滑化処理部と、平滑化処理部が復号画像信号に平滑化処理を施すべき画像領域を指定する処理領域設定部とを備え、処理領域設定部は、フレーム間の相関の低いフレームにおける復号画像信号の平坦領域であってかつ高周波領域でない領域、または動画領域かつ平坦領域であってかつ高周波領域でない領域を処理領域として設定し、平滑化処理部は、フレーム間における復号画像信号の相関が低いほど強い平滑化処理を施すとともに、処理領域と処理領域以外の領域との境界部分に遷移領域を設け、遷移領域では、平滑化処理を施した復号画像信号と平滑化処理を施さない復号画像信号とを混合し、フレーム間の相関が高い状態から低い状態になった場合、フレーム相関判定部は、フレーム間の相関が低いと判定した判定結果を複数のフレームにわたって出力するとともにフレーム間の相関が低いほど複数のフレームの数を多くすることを特徴とする。この構成により、画像の解像度を損なうことなくブロックノイズを低減するブロックノイズ低減装置を提供することができる。また、フレーム間の相関が比較的大きい場合であっても、特に動画部分において部分的に発生するブロックノイズを抑制することができる。また、表示画像に応じたブロックノイズ低減処理を行うことができる。また、平滑化処理された画像信号と平滑化処理しない画像信号とを滑らかに切替えることができ、2つの画像信号の境界部分に不自然なノイズが発生するおそれがなくなる。
また、本発明の画像表示装置は、請求項1に記載のブロックノイズ低減装置を用いた画像表示装置である。この構成により、画像の解像度を損なうことなくブロックノイズを低減する画像表示装置を提供することができる。
本発明のブロックノイズ低減装置によれば、圧縮符号化された画像信号を復号する際に、画像の解像度を損なうことなくブロックノイズを低減するブロックノイズ低減装置を提供することができる。
以下本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は本発明の実施の形態1におけるブロックノイズ低減装置の回路ブロック図であり、フレーム相関判定部10と動画領域検出部20と平坦領域検出部30と高周波領域検出部40と処理領域設定部50と平滑化処理部60とを備えている。
フレーム相関判定部10は、入力した複号画像信号(以下、単に「画像信号」と略記する)と1フレーム前の画像信号との差分にもとづいて画面全体におけるフレーム間の相関の高さを判定し、フレーム間における画像信号の相関が低いことを示すフレーム相関信号を出力する。動画領域検出部20は、入力した画像信号と1フレーム前の画像信号との差分にもとづいて、フレーム間で画像信号レベルの変化の大きい動画領域を検出し、その領域を示す動画領域信号を出力する。平坦領域検出部30は、近隣の画素との輝度差、すなわち画像信号レベル差の小さい画像領域を検出し、その領域を示す平坦領域信号を出力する。高周波領域検出部40は、高い空間周波数成分を含む画像の領域を高周波領域として検出し、その領域を示す高周波領域信号を出力する。
処理領域設定部50は、フレーム相関信号と動画領域信号と平坦領域信号と高周波領域信号とにもとづいて、画像信号に対し平滑化処理を施すべき領域を設定し、その領域を示す処理領域信号を出力する。OR回路52はフレーム相関信号と動画領域信号との論理和を出力する。したがってOR回路52の出力は、画面全体におけるフレーム間の相関の低い信号であるかまたは動画領域であるかを示す。インバータ54は高周波領域信号の論理否定を出力する。したがってインバータ54の出力は高い空間周波数成分をもたない画像領域を示す。AND回路56はOR回路52の出力とインバータ54の出力と平坦領域検出部30からの平坦領域信号との論理積を出力する。したがってAND回路56の出力、すなわち処理領域信号は、
(1)フレーム間の相関の低いフレームにおける平坦領域であって、かつ高周波領域でない領域、
または、
(2)動画領域であり、かつ平坦領域であって、高周波領域でない領域、
であることを示す。
平滑化処理部60は、処理領域信号の示す画像領域に対する画像信号にローパスフィルタ処理等の平滑化処理を施し、ブロックノイズを低減した画像信号を出力する。すなわち、上述の(1)および(2)に対応する領域においては画像信号に平滑化処理を施しブロックノイズを抑制する。それ以外の領域においては平滑化処理は行わない。
以上の構成により、カメラを移動しながら撮影した画像等、画面全体で画像信号が変化する等、フレーム間の相関が低くなった場合には、隣接画素間の画像信号レベル差が比較的小さく、かつ高い空間周波数成分を含まない領域において画像信号の平滑化処理が行われる。また、フレーム間の相関が比較的高い場合であっても、特に動画部分において部分的に発生するブロックノイズも抑制することができる。このように、実施の形態1におけるブロックノイズ低減装置は解像度を損なうことなく、目立ちやすい領域のブロックノイズを効果的に抑制することができる。
以下に、各ブロックについて詳細に説明する。図2は、実施の形態1におけるフレーム相関判定部10および動画領域検出部20の回路ブロック図である。
まず動画領域検出部20について説明する。遅延回路22は入力した画像信号を1フレーム分遅延する。差分回路24は入力した画像信号と遅延回路22から出力された1フレーム前の画像信号との差分を計算し、絶対値回路26はその差分の絶対値を計算する。コンパレータ28は絶対値回路26の出力と動画領域検出用の閾値とを比較し、絶対値回路26の出力が動画領域検出用閾値未満の場合には「0」を、閾値以上の場合には「1」を動画領域信号として出力する。したがって動画領域信号は、入力した画像信号が動画領域である場合には「1」、そうでない場合には「0」となる。
フレーム相関判定部10は累積加算回路12とコンパレータ14とホールド回路16とを備えている。累積加算回路12は動画領域信号が「1」となる画素の総和を求める。コンパレータ14は累積加算回路12の出力とフレーム相関判定用閾値とを比較し、累積加算回路12の出力がフレーム相関判定用閾値未満の場合には「0」を、閾値以上の場合には「1」を出力する。その結果、コンパレータ14の出力が「0」となるフレームではフレーム間の相関は高く、「1」となるフレームではフレーム間の相関は低くなる。したがって、コンパレータ14の出力が「1」となるフレームではブロックノイズが発生しやすい。そして、ホールド回路16は、コンパレータ14の出力が一旦「1」となった場合に数フレーム間に亘り「1」の状態を保持し、その信号をフレーム相関信号として出力する。なお、フレーム相関信号は1フレーム期間中は一定である。
画面が切替わった直後やカメラのフラッシュが閃いた瞬間等、累積加算回路12の出力が極端に大きくなった場合、すなわちフレーム間における画像信号の相関が極端に低くなった場合には、その後のフレーム間の相関が高くなったとしても、数フレームの間連続してブロックノイズが発生する場合がある。このような場合に対処するためにホールド回路16が設けられている。そして、実施の形態1においてはホールド回路16の保持期間を7フレームと設定することで、数フレームにわたって発生するブロックノイズに対応している。なお、累積加算回路12の出力が大きくなるほど上記ホールド回路のホールド期間を長くする構成としてもよい。
図3(a)は実施の形態1における平坦領域検出部30の回路ブロック図である。平坦領域検出部30は、着目する画素を含みm×n画素(m、nは正の整数)で構成された平坦領域検出用マトリクスを用いて近隣の画素間の画像信号レベルの小さい平坦領域の検出を行う。図3(b)は平坦領域検出用マトリクスの一例を示す図である。実施の形態1においては、着目画素を中心とした5×5画素のマトリクスを用いて平坦領域を検出するものとして説明する。ラインメモリ31は、5×5画素のマトリクスから25画素分の画像信号を抽出するために、少なくとも4ライン分の画像信号を蓄積する。最大値検出回路32は5×5画素のマトリクス内の25画素分の画像信号の最大値を検出し、最小値検出回路33は同マトリクス内の画像信号の最小値を検出する。そして差分回路34は最大値と最小値との差分を求め、絶対値回路35はその差分の絶対値を求める。コンパレータ36は絶対値回路35の出力と平坦領域検出用閾値とを比較し、絶対値回路35の出力が平坦領域検出用閾値以上であれば着目画素は平坦領域に属さないと判定し平坦領域信号「0」を出力する。また、絶対値回路35の出力が平坦領域検出閾値未満であれば着目画素は平坦領域に属すと判定し、平坦領域信号「1」を出力する。このような構成とすることで、比較的簡単な回路構成で平坦領域の検出を行うことができる。そして、平坦領域信号が「1」となる領域は、ブロックノイズが視覚的に目に付きやすい領域であることを示している。
図4(a)は実施の形態1における高周波領域検出部40の回路ブロック図である。高周波領域検出部40は、着目する画素を含み、j×k画素(j、kは正の整数)で構成された高周波領域検出用マトリクスを用いて高い空間周波数成分を含む画像の領域を示す高周波領域を検出する。実施の形態1においては、着目画素を中心とする3×3画素の高周波領域検出用マトリクスを用いたハイパスフィルタ処理を行うものとして説明する。ラインメモリ41は、3×3画素のマトリクスから9画素分の画像信号を抽出するために少なくとも2ライン分の画像信号を蓄積する。係数メモリ42は2次元ハイパスフィルタの3×3画素の係数行列を格納しているメモリである。図4(b)は実施の形態1における2次元ハイパスフィルタの係数行列を示している。積和演算回路43は、3×3画素のマトリクスの各画素位置における画像信号にハイパスフィルタの係数をそれぞれ乗じ、さらにそれらの総和を求め、それを着目画素のハイパスフィルタ処理後の画像信号として出力する。絶対値回路44はハイパス処理後の画像信号をその絶対値に変換する。コンパレータ45は絶対値回路44の出力と高周波領域検出用閾値とを比較し、絶対値回路44の出力が閾値未満の場合には「0」を、閾値以上の場合には「1」を高周波領域信号として出力する。したがって、高周波領域信号が「1」となる領域は解像度の劣化を防ぐために平滑化処理を施さない領域を示している。なお、ブロックノイズそのものを検出して高周波領域としないため、水平および垂直方向のハイパスフィルタの感度を小さくするようにハイパスフィルタの係数を設定している。
なお、上述した動画領域検出用閾値、フレーム相関判定用閾値、平坦領域検出用閾値、高周波領域検出用閾値については、実施の形態におけるブロックノイズ低減装置を用いた画像表示装置での画像評価にもとづき決定した。
処理領域設定部50は、画像信号に平滑化処理を施すべき画像領域を示す処理領域信号を出力する。平滑化すべき画像領域は、フレーム相関信号が「1」であるか動画領域信号が「1」であり、かつ平坦領域信号が「1」であり、かつ高周波領域信号が「0」である領域である。したがって、処理領域設定部50はこれらの条件を満足するようにOR回路52、インバータ54、AND回路56を用いて構成されている。
図5(a)は実施の形態1における平滑化処理部60の回路ブロック図である。平滑化処理部60は、着目する画素を含み、q×u画素(q、uは正の整数)で構成された平滑化処理用マトリクスを用いて画像信号にローパスフィルタ処理等の平滑化処理を施すことにより、画像信号に含まれるブロックノイズ等の高周波成分を取り除く。実施の形態1においては着目する画素を中心とした5×5画素のマトリクスを用いてローパスフィルタ処理を行うものとして説明する。ラインメモリ61は、5×5画素のマトリクスから画像信号を抽出するために、少なくとも4ライン分の画像信号を蓄積する。係数メモリ63は2次元ローパスフィルタの係数を格納しているメモリである。図5(b)は実施の形態1における2次元ローパスフィルタの係数行列の例を示している。積和演算回路62は、5×5画素のマトリクスの各画素位置における画像信号に2次元ローパスフィルタの係数をそれぞれ乗じ、さらにそれらの総和を求め、着目画素のローパスフィルタ処理後の画像信号として出力する。セレクタ64は、処理領域信号にもとづいて、平滑化処理を行わない画像信号と平滑化処理を行った画像信号とのいずれかを選択し出力する。なお、遅延回路69は平滑化処理にともなう遅延時間を補償し、2つの画像信号の位相を合わすために設けている。
以上の構成により、画面全体におけるフレーム間の相関が小さく平坦領域であって高周波領域でない領域、または、動画領域でありかつ平坦領域であって高周波領域でない領域で画像信号の平滑化処理が行われる。このように、圧縮符号化された画像信号を復号化された画像信号に対して、画像の解像度を損なうことなく、目立ちやすい領域のブロックノイズを効果的に抑制することができる。
なお、実施の形態1における動画領域検出部20は、全画素に対してフレーム間の画像信号の差分を計算するものとして説明したが、回路規模を小さくするために、差分を計算する画素を間引いてもよい。たとえば2×2画素に対して1画素を選択し、その画素に対して差分を計算してもよい。このように、検出精度に大きな影響が出ない範囲で差分を計算する画素を間引くことにより回路規模を削減することができる。
また、実施の形態1における平坦領域検出部30は5×5画素の平滑化処理用マトリクスを用いたが、近隣画素間の画像信号レベル差の小さい領域を検出することができれば他の検出方法を用いてもよい。
また、実施の形態1における高周波領域検出部40は、コンパレータ45を用いて絶対値回路44の出力を2値化し高周波領域信号としているが、高周波領域が確実に平滑化処理の対象外となるように高周波領域を拡大するための回路を設けてもよい。たとえば、絶対値回路44のあとに領域拡大回路を設け、領域拡大回路は絶対値回路44の出力に平均化処理を施し、絶対値回路44の検出領域を広げる構成としてもよい。
さらに、実施の形態1における高周波領域検出部40は、水平および垂直方向の高域成分検出に対して感度の鈍い高域検出フィルタとして、図4に示す2次元ハイパスフィルタを用いたが、水平および垂直方向の感度の鈍くなるハイパスフィルタであればこの構成に限らず用いることができる。
また、実施の形態1における平坦領域検出部30、高周波領域検出部40および平滑化処理部60はそれぞれ独立にラインメモリ31、41、61を備えているが、これらのラインメモリを共用する構成とすることもできる。
また、復号画像信号がインタレースの場合であっても、遅延回路22は入力した画像を1フレームすなわち2フィールド分遅延する構成が望ましい。この構成により、フレーム相関判定部10は奇数フィールド同士、偶数フィールド同士の間で相関を判定することができる。
なお、上述の説明では省略したが、ラインメモリやフレームメモリを用いた信号処理にともない、各回路ブロックの画像信号の間に位相差が生じることがある。その場合には遅延回路等を用いて適宜位相調整を行っておく。
以上のように本実施の形態1におけるブロックノイズ低減装置によれば、ブロックノイズの発生しやすいフレームまたは動画領域であって、ブロックノイズが目立ちやすい領域であり、かつ高い空間周波数成分を含まない領域に対して平滑化処理を行うので、解像度を損なうことなくブロックノイズを低減することができる。
(実施の形態2)
本発明の実施の形態2におけるブロックノイズ低減装置は、フレーム間の相関の低いフレームにおける画像信号の平坦領域であって高周波領域でない領域、または、動画領域でありかつ平坦領域であって高周波領域でない領域で画像信号の平滑化処理を行う点は実施の形態1と同様である。実施の形態2におけるブロックノイズ低減装置が実施の形態1と異なる点は、平滑化処理部において、フレーム相関の高さに応じて平滑化回路の平滑化の程度を制御する構成とした点である。
図6は本発明の実施の形態2におけるブロックノイズ低減装置の回路ブロック図である。実施の形態2においては、フレーム相関判定部110の累積加算回路12の出力を相関強度信号として取り出し、相関強度信号にもとづいて平化処理部160の係数メモリ163の2次元ローパスフィルタ係数行列を切替えている。図7は2次元フィルタ処理の係数行列を示す図であり、図7(a)は弱いローパスフィルタ処理を行うための第1の係数行列を、図7(b)は強いローパスフィルタ処理を行うための第2の係数行列をそれぞれ示している。そして相関強度信号の大きさに応じて第1の係数行列と第2の係数行列とを切替えている。相関強度信号が小さいときはフレーム間の相関性は高く、強いブロックノイズの発生する可能性が低いことを示しているので、この場合には平滑化の効果は小さいが解像度の低下するおそれの少ない弱いローパスフィルタ処理を行う。一方、相関強度信号が大きいときはフレーム間の相関性が低く、強いブロックノイズの発生する可能性が高いので、この場合にはブロックノイズ低減効果の大きい強いローパスフィルタ処理を行う。したがって、相関強度信号が小さい場合には第1の係数行列を用いてローパスフィルタ処理を施し、相関強度信号が大きい場合には第2の係数行列を用いてローパスフィルタ処理を施す。
このように相関量信号に基づき平滑化の程度を制御することで、表示画像に応じたブロックノイズ低減処理を行うことができる。
なお、本実施の形態2では図7に示す2つの係数行列を用いてローパスフィルタ処理を用いた平滑化処理について説明を行ったが、本発明はこれらに限定するものではなく、その他の係数行列を持つフィルタ処理を用いてもよく、また2つ以上の係数行列を相関強度信号にもとづいて切替えてもよい。さらに、平滑化処理としては上述したローパスフィルタ処理に限られるものではなく、たとえばメディアンフィルタ等他の平滑化処理手法を用いてもよい。
(実施の形態3)
本発明の実施の形態3におけるブロックノイズ低減装置は、フレーム間の相関の低いフレームにおける画像信号の平坦領域であって高周波領域でない領域、または、動画領域でありかつ平坦領域であって高周波領域でない領域で画像信号の平滑化処理を行う点は実施の形態1と同様である。実施の形態3におけるブロックノイズ低減装置が実施の形態1と異なる点は、平滑化処理部において、平滑化処理しない画像信号と平滑化処理された画像信号とを2者択一的に切替えるのではなく、2つの画像信号を任意の割合で混ぜ合わせることにより2つの画像信号を滑らかに切替えている点である。このように平滑化処理しない画像信号と平滑化処理された画像信号とを滑らかに切替えることにより、2つの画像信号の境界部分に不自然なノイズが発生するおそれをなくすことができる。
図8は本発明の実施の形態におけるブロックノイズ低減装置の回路ブロック図である。実施の形態3における平化処理部260は、平滑化処理を行った画像信号に乗数Aを乗算する乗算回路266、平滑化処理を行わない画像信号に乗数(1−A)を乗算する乗算回路267、2つの乗算回路266、267の出力を加算する加算回路268、処理領域信号にもとづいて乗数Aと乗数(1−A)とを算出する乗数算出回路265を備えている。ここで、乗数Aは、0≦A≦1の範囲の値をとる。したがって加算回路268から出力される画像信号は、A=0の場合には遅延回路69の出力、すなわち平滑化処理を行わない画像信号であり、Aの値が大きくなるにつれて平滑化処理を行わない画像信号の割合が減少し平滑化処理を行った画像信号の割合が増加する。そしてA=1の場合には平滑化処理を行った画像信号が加算回路268から出力される。
図9は実施の形態3における乗数算出回路265の回路ブロック図であり、図10はその動作を説明するための図である。乗数算出回路265は、「0」または「1」の2値の信号である処理領域信号に2次元ローパスフィルタ処理等の平滑化処理を施すことにより乗数Aを算出し、「1」から乗数Aを減ずることにより乗数(1−A)を算出する。したがって図9に示すように、乗数算出回路265は、平滑化処理用マトリクスから画像信号を取り出すためのラインメモリ2651と、2次元ローパスフィルタの係数行列を格納した係数メモリ2653と、マトリクスの各画素位置における画像信号に係数を乗じそれらの総和を求める積和演算回路2652と、乗数(1−A)を算出するための減算回路2654とを備えている。係数メモリ2653が格納している係数行列としてはたとえば図5(b)で示した係数行列を用いてもよい。そして、たとえば図10(a)に示した処理領域信号を入力した場合、乗数Aおよび乗数(1−A)は図10(b)、(c)に示すように「0」と「1」の間で滑らかに変化する信号となる。こうして算出された乗数Aおよび乗数(1−A)を用いて、平滑化処理を行った画像信号と平滑化処理を行っていない画像信号とを混ぜ合わせながら切替えることにより、これら2つの画像信号が滑らかにつながるので、2つの画像信号の境界部分に不自然なノイズが発生するおそれがなくなる。
本発明のブロックノイズ低減装置は、圧縮符号化された画像信号を復号する際に、画像の解像度を損なうことなくブロックノイズを低減するブロックノイズ低減装置を提供することができ、圧縮符号化された画像信号を復号した復号画像信号からブロックノイズを除去するブロックノイズ低減装置およびブロックノイズ低減装置を用いた画像表示装置等として有用である。
本発明の実施の形態1におけるブロックノイズ低減装置の回路ブロック図 同ブロックノイズ低減装置のフレーム相関判定部と動画領域検出部の回路ブロック図 (a)は同ブロックノイズ低減装置の平坦領域検出部の回路ブロック図(b)は平坦領域検出用マトリクスの一例を示す図 (a)は同ブロックノイズ低減装置の高周波領域検出部の回路ブロック図(b)は高周波領域検出部の2次元ハイパスフィルタの係数行列を示す図 (a)は同ブロックノイズ低減装置の平滑化処理部の回路ブロック図(b)は平滑化処理部の2次元ローパスフィルタの係数行列を示す図 本発明の実施の形態2におけるブロックノイズ低減装置の回路ブロック図 (a)、(b)は同ブロックノイズ低減装置の平滑化処理部の2次元パスフィルタの係数行列を示す図 本発明の実施の形態3におけるブロックノイズ低減装置の回路ブロック図 同ブロックノイズ低減装置の乗数算出回路の回路ブロック図 (a)〜(c)は同ブロックノイズ低減装置の乗数算出回路の動作を説明するための図
符号の説明
10,110 フレーム相関判定部
20 動画領域検出部
30 平坦領域検出部
40 高周波領域検出部
50 処理領域設定部
60,160,260 平滑化処理部

Claims (2)

  1. 圧縮符号化された画像信号を復号化した復号画像信号からブロックノイズを低減するブロックノイズ低減装置であって、
    フレーム間における前記復号画像信号の相関の高さを判定するフレーム相関判定部と、
    前記復号画像信号の中から近隣の画素との輝度差が小さい画像領域を平坦領域として検出する平坦領域検出部と、
    前記復号画像信号の中から高い空間周波数成分を含む画像領域を高周波領域として検出する高周波領域検出部と、
    前記復号画像信号の中から動画領域を検出する動画領域検出部と、
    所定の領域に対する前記復号画像信号に平滑化処理を施す平滑化処理部と、
    前記平滑化処理部が前記復号画像信号に平滑化処理を施すべき画像領域を指定する処理領域設定部とを備え、
    前記処理領域設定部は、フレーム間の相関の低いフレームにおける前記復号画像信号の平坦領域であってかつ高周波領域でない領域、または動画領域かつ平坦領域であってかつ高周波領域でない領域を処理領域として設定し、前記平滑化処理部は、フレーム間における前記復号画像信号の相関が低いほど強い平滑化処理を施すとともに、前記処理領域と前記処理領域以外の領域との境界部分に遷移領域を設け、前記遷移領域では、前記平滑化処理を施した復号画像信号と前記平滑化処理を施さない復号画像信号とを混合し、
    フレーム間の相関が高い状態から低い状態になった場合、前記フレーム相関判定部は、フレーム間の相関が低いと判定した判定結果を複数のフレームにわたって出力するとともにフレーム間の相関が低いほど前記複数のフレームの数を多くすることを特徴とするブロックノイズ低減装置。
  2. 請求項1に記載のブロックノイズ低減装置を用いた画像表示装置。
JP2004301174A 2004-10-15 2004-10-15 ブロックノイズ低減装置および画像表示装置 Expired - Fee Related JP5044886B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004301174A JP5044886B2 (ja) 2004-10-15 2004-10-15 ブロックノイズ低減装置および画像表示装置
PCT/JP2005/018934 WO2006041152A1 (ja) 2004-10-15 2005-10-14 ブロックノイズ低減装置および画像表示装置
CNB2005800145796A CN100553334C (zh) 2004-10-15 2005-10-14 降低块状噪声装置及图像显示装置
US10/571,645 US8300707B2 (en) 2004-10-15 2005-10-14 Block noise reduction device and image display device
KR20067005142A KR20060095960A (ko) 2004-10-15 2005-10-14 블록 노이즈 저감 장치 및 화상 표시 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004301174A JP5044886B2 (ja) 2004-10-15 2004-10-15 ブロックノイズ低減装置および画像表示装置

Publications (2)

Publication Number Publication Date
JP2006115268A JP2006115268A (ja) 2006-04-27
JP5044886B2 true JP5044886B2 (ja) 2012-10-10

Family

ID=36148438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004301174A Expired - Fee Related JP5044886B2 (ja) 2004-10-15 2004-10-15 ブロックノイズ低減装置および画像表示装置

Country Status (5)

Country Link
US (1) US8300707B2 (ja)
JP (1) JP5044886B2 (ja)
KR (1) KR20060095960A (ja)
CN (1) CN100553334C (ja)
WO (1) WO2006041152A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532428B2 (en) 2007-02-27 2013-09-10 Nec Corporation Noise reducing apparatus, noise reducing method, and noise reducing program for improving image quality
US8150204B2 (en) 2007-03-23 2012-04-03 Mitsubishi Electric Corporation Noise reducer for video signals
KR100872253B1 (ko) * 2007-08-23 2008-12-05 삼성전기주식회사 이미지 센서에 의해 생성된 이미지의 노이즈 제거 방법
EP2073532A1 (en) * 2007-12-17 2009-06-24 Koninklijke Philips Electronics N.V. Video signal processing
JP4960309B2 (ja) * 2008-06-17 2012-06-27 株式会社東芝 固体撮像装置
US20100014777A1 (en) * 2008-07-19 2010-01-21 Headplay (Barbados) Inc. System and method for improving the quality of compressed video signals by smoothing the entire frame and overlaying preserved detail
JP5352191B2 (ja) * 2008-10-31 2013-11-27 三星電子株式会社 ノイズ低減装置、ノイズ低減方法及びプログラム
US9036693B2 (en) * 2009-01-08 2015-05-19 Sri International Method and system for providing region-of-interest video compression
JP5234812B2 (ja) * 2009-08-13 2013-07-10 日本電信電話株式会社 映像品質推定装置、方法、およびプログラム
JP2012054911A (ja) * 2010-08-05 2012-03-15 Panasonic Corp 撮像装置
JP6079549B2 (ja) * 2013-10-15 2017-02-15 ソニー株式会社 画像処理装置、画像処理方法
JP6222854B2 (ja) * 2013-10-23 2017-11-01 株式会社K−Will 映像検査方法及び音声検査方法
US10311551B2 (en) * 2016-12-13 2019-06-04 Westinghouse Air Brake Technologies Corporation Machine vision based track-occupancy and movement validation
CN108513044B (zh) * 2018-04-16 2020-11-13 深圳市华星光电技术有限公司 图像平滑处理方法、电子装置及计算机可读存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0638658B2 (ja) * 1984-11-16 1994-05-18 日本電気株式会社 画像信号復号化後処理装置
JPS6455987A (en) 1987-08-26 1989-03-02 Nec Corp Method and device for decoded moving image signal smoothing processing
GB2256991A (en) * 1991-06-07 1992-12-23 Clarion Co Ltd Impulse noise eliminating circuit for a television receiver
JPH0556306A (ja) * 1991-08-26 1993-03-05 Mitsubishi Electric Corp 適応形リンギング抑制装置
JP3513160B2 (ja) * 1991-12-06 2004-03-31 キヤノン株式会社 動画像信号符号化装置及びその方法
JPH0884342A (ja) * 1994-09-14 1996-03-26 Mitsubishi Electric Corp 映像信号復号化装置
DE69611113T3 (de) * 1995-03-06 2007-03-15 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Videorauschreduktion
JP2985752B2 (ja) 1995-10-31 1999-12-06 日本電気株式会社 動画像復号化装置
JP3961600B2 (ja) 1996-12-27 2007-08-22 ソニー株式会社 ブロック歪低減方法及び装置
US6061100A (en) * 1997-09-30 2000-05-09 The University Of British Columbia Noise reduction for video signals
JP3664626B2 (ja) * 2000-02-10 2005-06-29 シャープ株式会社 フィルタ装置
KR100327385B1 (en) * 2000-07-18 2002-03-13 Lg Electronics Inc Spatio-temporal three-dimensional noise filter
US7136538B2 (en) * 2000-12-21 2006-11-14 Matsushita Electric Industrial Co., Ltd. Noise reducing apparatus and noise reducing method
JP2002204457A (ja) 2000-12-28 2002-07-19 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2002232890A (ja) 2001-02-01 2002-08-16 Sony Corp ブロック歪低減回路、再生装置、受信装置、ブロック歪低減方法
JP3889629B2 (ja) 2002-01-18 2007-03-07 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US7245783B2 (en) * 2003-06-24 2007-07-17 Eastman Kodak Company System and method for estimating, synthesizing and matching noise in digital images and image sequences
US7957467B2 (en) * 2005-09-15 2011-06-07 Samsung Electronics Co., Ltd. Content-adaptive block artifact removal in spatial domain

Also Published As

Publication number Publication date
WO2006041152A1 (ja) 2006-04-20
US8300707B2 (en) 2012-10-30
KR20060095960A (ko) 2006-09-05
CN1951121A (zh) 2007-04-18
US20080252789A1 (en) 2008-10-16
CN100553334C (zh) 2009-10-21
JP2006115268A (ja) 2006-04-27

Similar Documents

Publication Publication Date Title
US8300707B2 (en) Block noise reduction device and image display device
KR100718081B1 (ko) 의사윤곽 제거장치 및 그 방법
EP2327219B1 (en) Reducing digital image noise
US7145607B1 (en) Spatio-temporal video noise reduction system
KR100497606B1 (ko) 블럭노이즈 검출장치 및 블럭노이즈 제거장치
JP2009044775A (ja) ブロック歪み除去方法およびブロック歪み除去装置
KR20060114609A (ko) 복호화된 비디오 시퀀스에서 모스퀴토 잡음을 제거하는방법 및 장치
WO2007132792A1 (en) Image processing apparatus, method and integrated circuit
JP2007334457A (ja) 画像処理装置及び画像処理方法
CN110418081B (zh) 高动态范围图像全分辨率重建方法、装置及电子设备
US20100322304A1 (en) Multi-source filter and filtering method based on h.264 de-blocking
KR101024731B1 (ko) 디지털 이미지의 모스키토 노이즈를 감소시키기 위한 방법 및 시스템
JP3674186B2 (ja) 画像情報変換装置および方法
JP2006222975A (ja) 画像シーケンスを符号化する前に事前処理する装置及び方法
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
JP5436082B2 (ja) ノイズ低減装置及びノイズ低減方法
JP4495881B2 (ja) ブロック歪み除去装置
JP2002208006A (ja) 画像ノイズ減少方法
JP2006128744A (ja) ブロック歪み低減装置
JP2001346208A (ja) 画像信号復号化装置および方法
JP2006060286A (ja) ブロックノイズ低減方法及びブロックノイズ低減装置
JP2005295371A (ja) ブロックノイズ除去装置
JP4227160B2 (ja) ブロック歪み除去方法
JP3930360B2 (ja) 動画像復号装置
JP2002010105A (ja) ノイズ除去方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070831

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070912

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120702

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150727

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees