JP4649355B2 - ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置 - Google Patents

ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置 Download PDF

Info

Publication number
JP4649355B2
JP4649355B2 JP2006085334A JP2006085334A JP4649355B2 JP 4649355 B2 JP4649355 B2 JP 4649355B2 JP 2006085334 A JP2006085334 A JP 2006085334A JP 2006085334 A JP2006085334 A JP 2006085334A JP 4649355 B2 JP4649355 B2 JP 4649355B2
Authority
JP
Japan
Prior art keywords
block noise
pixel
pixel boundary
value
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006085334A
Other languages
English (en)
Other versions
JP2007266684A (ja
Inventor
幸二 山田
昌平 中潟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006085334A priority Critical patent/JP4649355B2/ja
Priority to US11/496,501 priority patent/US7668392B2/en
Priority to CN200610126572XA priority patent/CN101047858B/zh
Publication of JP2007266684A publication Critical patent/JP2007266684A/ja
Application granted granted Critical
Publication of JP4649355B2 publication Critical patent/JP4649355B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は、ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置に関し、より詳細には、ブロックノイズのサイズ、位置、強度を検出する方法及び装置、並びに、その検出結果によりブロックノイズを低減する方法及び装置に関する。
デジタル画像圧縮符号化技術が適用されているデジタル放送、DVDプレーヤやディスクレコーダ等が普及し始め、圧縮符号化された画像を視聴する機会が増加し、圧縮符号化された画像が身近なものとなってきている。
デジタル放送やディスクレコーダで使用されている画像圧縮の国際標準であるMPEG−2では、画像フレーム間で似ている部分を参照する動き補償により時間方向に圧縮を実現しているため、画像の内容によって圧縮の難易度が変化する。画像フレーム(以下、単に「フレーム」ともいう)間で似ている画像が少なく画像圧縮の難易度が高い場合には、画像データを高い圧縮率で符号化するために画像の高周波成分が欠落することによりブロック境界付近の画素値の連続性がなくなり、画面内に矩形のノイズ、いわゆるブロックノイズが発生する。
このようなブロックノイズを検出、低減するための従来技術として、例えば後記特許文献1〜4により提案されている技術がある。
(1)特許文献1の技術は、デコーダが画素ブロックの境界を示す信号を出力しない場合であっても、ブロックノイズを正確に検出できるようにすることを目的としており、そのために、入力映像信号を微分して、その微分信号における孤立微分点(インパルス状のパルス)を検出し、その検出結果を、積分回路により画素ブロックの周期で積分処理することによって、画素ブロック周期で発生している孤立微分点の情報を累積加算し、その出力に基づきブロックノイズの有無をフレーム単位で判別するようになっている。したがって、画素ブロックの境界が明らかでない場合であってもブロックノイズの有無を正確に判別することができる。また、上記積分処理を水平方向及び垂直方向に行なうことで、ブロックノイズにより発生した水平方向及び垂直方向に相関のあるインパルス状のパルスを適切に検出することができ、ブロックノイズの有無を正確に判別することができる。
(2)特許文献2の技術は、簡易な構成のブロックノイズ低減装置を提供することを目的としており、そのために、入力映像信号を微分処理したのちに、孤立微分点における孤立微分データをフィルタ処理して、ブロックノイズが発生している矩形ブロックと隣接ブロックとの境界における信号レベルの差を補正する補正データを生成し、当該補正データと入力映像信号を所定時間遅延した信号とを加算処理するようになっている。これにより、ブロック境界における急峻な段差を前記補正データによって除去することが可能となり、簡易な構成でブロックノイズ低減装置を提供することができる。
(3)特許文献3の技術は、圧縮処理された映像において発生しやすいブロックノイズに対して符号化情報を用いずに画素データのみから高精度の検出を行ない除去することを目的としており、そのために、映像入力信号の空間差分に対してブロックノイズの特徴を利用した重み付けを行ない、その重み付け処理結果を空間方向に累積処理してブロックノイズを検出し、その検出結果に対してさらに空間方向の別方向の累積処理を行なうようになっている。これにより、画素データのみからブロックノイズ検出を行なった際に発生しやすいランダムノイズの影響などによる誤検出を防止することができる。
(4)特許文献4の技術は、圧縮符号化された画像信号からノイズ成分のみを有効に除去して高画質の復元画像を得ることができるようにすることを目的としており、そのために、復元画像信号を所定の単位ブロックに分割し、さらに分割された単位ブロック内の画素レベルが変動しているか否かを検出するとともに、当該単位ブロック内のレベル変動が検出されなかった単位ブロックについて、当該単位ブロック及び隣接単位ブロック間の互いに隣接する画素同士の差分値を求め、当該差分値を所定の閾値と閾値判定することによりノイズブロックを判定し、当該差分値が閾値未満であった隣接単位ブロック間で平滑化処理を施すようになっている。これにより、ブロックノイズに起因して生じる表示画像の歪みを防止することができる。
ここで、特許文献1,2及び4で提案されている技術では、基本的に、例えば図25の(1)に示すごとく、フレーム内で隣接する画素の差分(絶対値)をブロックノイズ検出のための画素境界段差とし、その隣接画素差分絶対値が閾値〔図25の(1)において「閾値1」〕以上の値(符号101参照:検出信号=1)を図25の(2)に示すごとくブロックノイズサイズ周期(ただし、図25はブロックノイズサイズ=8の例)で累積し、1フレーム分の累積値が一定値〔図25の(2)において「閾値2」〕以上の場合にブロックノイズが発生しているとする(点線枠102参照)。なお、ブロックノイズサイズ(ブロックサイズ)周期とは、DCT変換等の直交変換処理の単位(8×8画素等のブロックサイズ)により定まる周期であり、ブロックノイズサイズ=8は、8×8画素が単位ブロックであることを意味している。
また、特許文献3で提案されている技術では、例えば図26の(1)に示すごとく、フレーム内の隣接画素差分絶対値が「閾値1」以上かつ「閾値2」以下の値(符号201参照:検出信号=1)を図26の(2)に示すごとくブロックノイズサイズ周期(ただし、図26もブロックノイズサイズ=8の例)で累積し、1フレーム分の累積値が一定値以上の場合にブロックノイズが発生しているとする(点線枠202参照)。
このように、従来のブロックノイズ検出技術では、隣接する画素の差分(絶対値)をブロックノイズ検出のための基本量とし、この値をブロックノイズ周期で1フレーム分累積し、この累積値の大きさでブロックノイズ発生の有無を判定している。
特開2000−350202号公報 特開2001−119695号公報 特開2005−12641号公報 特開平8−205157号公報
しかしながら、ブロックノイズが発生していない場合でも画像(画素)値が大きく傾斜している部分では隣接画素の差分値が大きな値となるため、隣接画素の差分値でブロックノイズを正確に検出することが難しくなる場合がある。
また、隣接画素の差分値をブロックノイズ周期で1フレーム分累積した値も画像の内容に大きく依存し、高周波成分の多い複雑な画像ではブロックノイズの発生の有無に関わらず、隣接画素差分値をブロックノイズサイズ周期で累積した値は大きな値となるため、ブロックノイズが発生している場合と画像が複雑な場合との見分けがつきにくく、ブロックノイズの正確な検出を難しくしている。
本発明は、上記のような課題に鑑み創案されたもので、ブロックノイズの検出精度を向上させ、また、その検出結果を用いることによりブロックノイズの低減効果を向上させて、画質向上を図ることを目的とする。
上記の目的を達成するために、本発明では、下記のブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置を用いることを特徴としている。即ち、
(1)本発明のブロックノイズ検出方法は、入力画像フレームの画像平面上の或る画素境界における隣接画素の画素値の差分値と、前記画素境界の少なくとも片側の複数画素から予測された前記画素境界における予測画素値とに基づいて、前記画素境界における画素境界段差を検出し、前記画素境界段差を1画像フレーム分累積してブロックノイズを検出することを特徴としている。
(2)ここで、前記隣接画素の画素値の差分値と、前記画素境界の一方の複数画素から求められた前記画素境界における予測画素値と前記画素境界の他方の複数画素から求められた前記画素境界における予測画素値との差分値とを比較して、小さい方の差分値を前記画素境界における画素境界段差として検出するのが好ましい。
(3)また、本発明のブロックノイズ検出装置は、入力画像フレームの画像平面上の或る画素境界における隣接画素の画素値の差分値と、前記画素境界の少なくとも片側の複数画素から予測された前記画素境界における予測画素値とに基づいて、前記画素境界における画素境界段差を検出する画素境界段差検出手段と、前記画素境界段差を1画像フレーム分累積する累積手段と、該累積手段の累積結果に基づいてブロックノイズを検出するブロックノイズ検出手段とをそなえたことを特徴としている。
(4)さらに、本発明のブロックノイズ低減方法は、上記(1)又は(2)に記載のブロックノイズ検出方法によるブロックノイズの検出結果に基づいて、前記入力画像フレームに対してブロックノイズ低減処理を施すことを特徴としている。
(5)また、本発明のブロックノイズ低減装置は、上記(3)記載のブロックノイズ検出装置と、該ブロックノイズ検出装置による検出結果に基づいて、前記入力画像フレームに対してブロックノイズ低減処理を施すブロックノイズ低減手段とをそなえたことを特徴としている。
上記本発明によれば、少なくとも以下に示すいずれかの効果ないし利点が得られる。
(1)ある画素境界における隣接画素の画素値の差分と、当該画素境界の少なくとも片側の複数画素から予測した当該画素境界における予測画素値とに基づいて、当該画素境界における画素境界の段差を検出するので、画素境界段差を計算する場合に画素境界における予測画素値も考慮することができ、画素境界が傾斜している場合でもより正確な画素境界段差を検出することが可能となり、量子化スケールなどの圧縮符号化の復号情報を使用することなく、ブロックノイズ検出の精度を向上することができる。
(2)ここで、上記予測画素値を画素境界の両側から予測すれば、さらに正確な画素境界段差の検出が可能となり、ブロックノイズ検出の精度をさらに向上することができる。
(3)また、画素境界の片側の複数画素から線形予測により画素境界における予測画素値を予測すれば、簡易な計算、構成で、ブロックノイズ検出の精度を向上することができる。
(4)さらに、ある画素境界における画素境界段差を累積する際に、検出された画素境界段差が閾値以上の場合には1画像フレーム分の累積処理から除外すれば、ブロックノイズで発生する段差以上に大きい段差がある場合は絵柄による段差と考えられるため、これを累積処理に含めないようにすることができ、画像の絵柄による影響を軽減することが可能となり、ブロックノイズ検出率を向上することができる。
(5)また、画素境界段差の累積値と、当該累積値についての画素境界に関してブロックノイズサイズの半分だけ離れた位置における累積値との比を比較するようにすれば、ブロックノイズ検出評価値の画像の複雑さに対する依存性を小さくすることができ、画素境界段差の累積値そのもので検出する場合と比較して画像の絵柄による影響を軽減でき、ブロックノイズ検出の精度が向上する。
(6)なお、画素境界段差の累積値の最大値と2番目に大きい累積値との比によってブロックノイズの発生強度を判定しても、画素境界段差の累積値そのもので検出する場合と比較して画像の絵柄の影響を軽減できるため、ブロックノイズ検出の精度が向上する。
(7)また、フレーム間差分が小さい場合には動き補償による画像圧縮効効率が高いため、ブロックノイズが発生する可能性が低くなるので、フレーム間差分が所定の閾値よりも小さい場合には、ブロックノイズ検出条件をブロックノイズが検出されにくい条件に制御(変更)すれば、動きが小さく画像が複雑な場合のブロックノイズの誤検出を低減することが可能となり、ブロックノイズ検出の精度が向上する。
(8)さらに、復号後に整数倍に拡大された画像のブロックノイズを検出する場合、拡大倍率に応じてブロックノイズの倍数の周期で画素境界段差を累積するようにすれば、補間処理されていない画素のみで画素境界段差を計算することが可能となり、ブロックノイズが拡大された画像においてもブロックノイズ検出率の精度が向上する。例えば、2倍に拡大された画像の場合に1画素飛ばしで画素境界段差を計算することにより、拡大のための補間処理の影響を少なくすることができ、ブロックノイズの検出率の精度が向上する。
(9)また、画素境界段差は画像の絵柄内容の影響を受けやすいため、同一程度のブロックノイズが発生している場合でもブロックノイズ検出を判定する画素境界段差の1フレーム分累積値は変動しているため、複数の画像フレームで同一のブロックノイズ検出結果を検出した場合に当該検出結果を出力するようにすれば、画像の絵柄による画素境界段差の変動の影響を軽減することができ、ブロックノイズ検出率の精度が向上する。
(10)さらに、上述したブロックノイズ検出技術をブロックノイズ低減装置(方法)に採用することにより、ブロックノイズ検出の精度が向上するため、ブロックノイズ低減処理(フィルタリング処理)を必要な時にのみ作用させることができ、ブロックノイズが発生している時にフィルタリング処理が作用せずブロックノイズが低減しない現象や、ブロックノイズが発生していない時にフィルタリング処理が作用してしまって画像を劣化させてしまう現象の発生率を低減することができ、画質を向上することが可能となる。
(11)また、ブロックノイズ低減処理のフィルタリング強度の制御を、画素境界段差の累積値と、当該累積値についての画素境界に関してブロックノイズサイズの半分だけ離れた位置における画素境界段差の累積値との比に応じて制御すれば、ブロックノイズ検出強度に応じてブロックノイズ低減のためのフィルタリング処理を作用させることができ、ブロックノイズ低減処理後の画質を向上させることが可能となる。
(12)さらに、ブロックノイズ低減処理のフィルタリング強度の制御を、画素境界段差の累積値の最大値と2番目に大きい累積値との比に応じて制御することによっても、ブロックノイズ検出強度に応じてブロックノイズ低減のためのフィルタリング処理を作用させることができ、ブロックノイズ低減処理後の画質を向上させることが可能となる。
(13)なお、ブロックノイズは圧縮率が高いために高周波成分を落ちてしまいブロック境界の連続性が取れなくなるため発生している。ブロックノイズ低減のためのフィルタリング処理は、ブロックノイズを低減するが画像がぼけてしまうなどの画質劣化も発生させてしまう。そこで、ブロックノイズ境界及びその近傍に対してのみフィルタリング処理を作用させれば、ブロックノイズの原因であるブロック境界における不連続性を低減しつつ、ブロック境界付近以外の画像の劣化を抑制することができるため、ブロックノイズ低減処理後の画質を向上させることが可能となる。
(14)また、ブロックノイズにより発生しうる画素境界段差よりも大きな画素境界段差は画像の絵柄によるものと考えられる。従って、フィルタリング処理によりブロックノイズを低減させる場合に、画素境界段差が閾値よりも大きい場合にはフィルタリング処理を動作させないようにすれば、本来の画像による段差にフィルタリング処理が作用して画質が劣化してしまうことを減少することができ、ブロックノイズ低減処理後の画質を向上させることが可能となる。
以下、図面を参照して本発明の実施の形態について説明する。
〔A〕ブロックノイズ検出装置の説明
図1は本発明の一実施形態としてのブロックノイズ検出装置の構成を示すブロック図で、この図1に示すブロックノイズ検出装置1は、画素境界段差計算部11と、画素境界段差累積部12と、ブロックノイズ検出部13とをそなえて構成されている。
ここで、画素境界段差計算部(画素境界段差検出手段)11は、入力画像信号の画像平面における隣接するある画素間の画素値の段差(画素境界段差)を計算(検出)するもので、本実施形態では、例えば図3(A)及び図3(B)に示すように、ある画素境界Pにおいて隣接している画素5,6の画素値の差分(絶対値)Aを計算するとともに、当該画素境界Pの一方(左側)の複数画素から予測された画素境界Pにおける画素値(予測画素値:符号7参照)と画素境界Pの他方(右側)の複数画素から予測された画素境界Pにおける予測画素値(符号8参照)との差分(絶対値)Bを計算し、小さい方の値、即ち、図3(A)の場合なら差分絶対値A、図3(B)の場合なら差分絶対値Bを画素境界段差として出力するようになっている。
このように、画素境界段差を計算する場合に、画素境界Pにおける予測画素値7,8の差分絶対値も考慮することにより、画素境界が傾斜している場合でも、より正確な画素境界段差を計算することが可能となり、ブロックノイズ検出の精度が向上することになる。
そのため、本例の画素境界段差計算部11は、例えば図2に示すように、上記の画素境界Pにおける隣接画素5,6についての差分絶対値Aを計算する隣接画素差分絶対値計算部111と、上記の予測画素値7,8についての差分絶対値Bを計算する予測画素差分絶対値計算部112と、これらの計算部111及び112の計算結果を大小比較して小さい方の計算結果を画素境界段差として出力する画素境界段差比較部113とを少なくともそなえて構成される。
なお、画素境界段差選別部114は、当該画素境界段差比較部113により得られた画素境界段差が所定の閾値以上である場合に、当該画素境界段差を例えば0として、後段の画素境界段差累積部12での画素境界累積値に加算されないようにするためのものである。
例えば、画素境界段差累積部12において、ある画素境界Pにおける画素境界段差をブロックノイズサイズ周期で累積する際に、図4(A)に示すように、算出された画素境界段差(この場合は小さい方の段差A)が前記所定の閾値未満である場合は、当該画素境界段差をそのまま1画像フレーム分の累積値計算に含めるが、図4(B)に示すように、算出された画素境界段差(この場合は段差B)が前記所定の閾値以上の場合には当該画素境界段差を0として1画像フレーム分の累積値計算に含めないようにする。
これは、ブロックノイズで発生する段差以上に大きい段差がある場合は画像の絵柄による段差と考えられるため、この画素境界段差選別部114により、ブロックノイズを検出するための画素境界段差の累積値計算に閾値以上の画素境界段差を含めないようにすることで、画像の絵柄による影響を軽減することが可能となり、ブロックノイズ検出率を向上することが可能となるものである。
ここで、上記予測画素差分絶対値計算部112による予測画素値の計算方法としては、例えば、多項式回帰分析による場合と、線形予測による場合とが考えられる。
(1)多項式回帰分析による場合
例えば図5に示すように、まず、多項式回帰分析により画素境界Pの一方の複数画素から求めた多項式Y=C1X+C2 *2+・・・+Cn *n(但し、Yは画素値、Xは画像平面上の座標)の係数C1,…,Cnを算出し、求めた曲線の多項式から画素境界Pにおける予測画素値7を計算する。同様に、他方の複数画素から画素境界Pにおける予測画素値8を計算し、これらの各予測画素値7,8の差分(絶対値)を画素境界段差として出力する。
この場合の予測画素差分絶対値計算部112は、例えば図6に示すように、多項式回帰分析により画素境界Pの一方の数画素をなるべく通るような曲線の多項式を画素境界Pの両側についてそれぞれ求める多項式計算部112aと、この多項式計算部112aにより求められた多項式から画素境界Pにおける両側からの予測画素値7,8をそれぞれ計算する画素値予測部112bと、この画素値予測部112bにより計算された各予測画素値7,8の差分(絶対値)を計算し画素境界段差として出力する境界段差計算部112cとをそなえることで実現できる。
(2)線形予測による場合
この場合、予測画素差分絶対値計算部112は、例えば図7(A)及び図7(B)に示すように、画素境界Pの片側の少なくとも2画素5,5′(6,6′)から線形予測により画素境界Pにおける画素値7(8)を予測し、画素境界Pにおける両側からの予測画素値7,8の差分(絶対値)を計算することになる。なお、図7(A)は画素境界段差が差分絶対値A(つまり、画素境界Pにおける隣接画素5,6の差分絶対値)となる場合、図7(B)は画素境界段差が差分絶対値B(つまり、符号7,8で示す画素境界Pにおける予測画素差分絶対値)となる場合の例をそれぞれ示している。
この場合の予測画素差分絶対値計算部112は、例えば図8又は図9に示すように構成することができる。
即ち、図8の場合、予測画素差分絶対値計算部112は、図5及び図6の場合と同様に、画素境界Pの片側の2画素5,5′(6,6′)からそれぞれC1+C2 *Xを満たすC1,C2を求める多項式計算部と112dと、この多項式計算部112で求めた多項式から画素境界Pにおける両側それぞれの予測画素値7(8)を算出する画素値予測部112eと、この画素値予測部112eで算出された各予測画素値7,8の差分(絶対値)を計算し画素境界段差として出力する境界段差計算部112fとをそなえて構成することができる。
これに対して、図9の場合、予測画素差分絶対値計算部112は、画素境界Pの片側の2画素5,5′(6,6′)の差分値を求め、その1/2を当該2画素5,5′(6,6′)のうち画素境界Pに近い方の画素値に加算することで画素境界Pにおける予測画素値7(8)を計算する画素値線形予測部112gと、この画素値線形予測部112gで計算された、画素境界Pの両側からの2つの予測画素値7,8の差分(絶対値)を計算し画素境界段差として出力する境界段差計算部112hとをそなえて構成することができる。
なお、上記の例では、画素境界Pの両側からの2つの予測画素値7,8の差分(絶対値)を求めているが、例えば、画素境界Pのいずれか一方からの予測画素値7(又は8)のみを求め、当該予測画素値7(又は8)と画素境界Pを構成する隣接画素のうちの他方の側の画素6(又は5)の画素値との差分(絶対値)を求めるようにしてもよい。このようにしても、従来技術に比して、ブロックノイズ検出の精度を向上することが可能である。
次に、図1において、画素境界段差累積部(累積手段)12は、上述した画素境界段差計算部11により計算された画素境界段差をブロックノイズサイズ周期で1画像フレーム分累積して累積値を求めるもので、例えば、画像平面の垂直方向にエッジのあるブロックノイズを検出する場合は図10(A)に示すごとく水平方向の画素境界段差の累積計算を行ない、水平方向にエッジのあるブロックノイズを検出する場合は図10(B)に示すごとく垂直方向の画素境界段差の累積計算を行なうようになっている。
ただし、復号後に整数倍に拡大された画像のブロックノイズを検出する場合、その拡大倍率に応じてブロックノイズの倍数の周期で画素境界段差を累積することにより、補間処理されていない画素のみで画素境界段差を計算することが可能となり、ブロックノイズが拡大された画像においてもブロックノイズ検出率の精度を向上することができる。
例えば、2倍に拡大された場合に1画素飛ばしで画素境界段差を計算することにより、拡大のための補間処理の影響を少なくすることができ、ブロックノイズの検出率の精度が向上する。具体例について示すと、720×480画素のSDTV画像がディスクレコーダなどの長時間モードなどにより352×240画素や352×480画素等のように画像サイズを縮小して符号化された場合、TVには720×480画素に拡大されて入力されることになる。
このような場合に拡大後の画像に対して隣接画素間の画素境界段差からブロックノイズを検出しようとした場合、図11に示すように、拡大時の補間画素により画素境界段差が2つのほぼ等しい画素境界段差に分けられるため、ブロックサイズに応じた画素境界段差累積値に2つのピークが発生し(点線枠300参照)、ブロックノイズ検出判定が難しくなり、検出精度が低下する可能性がある(つまり、ブロックノイズのない画像なのか、拡大された画像なのかの見極めが難しいため)。
そこで、例えば2倍拡大された場合に、図12、図13に示すように、拡大率に応じたサンプリング(この場合は1画素飛ばし)で画素境界段差を計算することにより、画素境界段差に単峰性のピークとしてブロックノイズを検出することが可能になり、拡大画像のブロックノイズ検出率を向上することが可能となる。ただし、ここでは、説明の簡単化のため隣接画素の差分絶対値和の画素境界段差についてのみ説明している。
次に、図1において、ブロックノイズ検出部13は、上述した画素境界段差累積部12から出力される画素境界段差の累積値に基づいてブロックノイズ検出評価値を計算し、ブロックノイズ検出の有無、ブロックノイズが発生している場合の画像平面上の位置、ブロックノイズの強度の情報をブロックノイズ検出結果として出力するもので、例えば図14に示すように、画素境界段差比較部131と、有効画素境界段差比計算部132と、ブロックノイズ強度判定部133とをそなえて構成される。
ここで、画素境界段差比較部131は、画素境界段差累積値の中での最大値、2番目に大きい値及び当該最大値の画素境界位置を出力するものであり、有効画素境界段差計算部132は、この画素境界段差比較部131から入力される、画素境界段差の最大値を2番目に大きい値で割った値をブロックノイズ検出評価値として、また、最大値をとる画素境界位置をブロックノイズ発生位置としてブロックノイズ強度判定部133に出力するものである。
ブロックノイズ強度判定部133は、この有効画素境界段差計算部132から入力される上記ブロックノイズ検出評価値を所定の閾値と比較し、閾値以上であればブロックノイズ発生位置にブロックノイズが発生していることを示す情報をブロックノイズ検出結果として出力するものである。なお、このブロックノイズ強度判定部133は、ブロックノイズ検出評価値が大きいほどブロックノイズの強度が強いとする判定結果を出力する。
例えば図15に示すように、「画素境界P0」における画素境界段差累積値をA、「画素境界P1」における画素境界段差累積値をB、「画素境界P2」における画素境界段差累積値をC、「画素境界P3」における画素境界段差累積値をD、「画素境界P4」における画素境界段差累積値をE、「画素境界P5」における画素境界段差累積値をF、「画素境界P6」における画素境界段差累積値をG、「画素境界P7」における画素境界段差累積値をHと仮定し、「画素境界P2」で画素境界段差累積値(C)が最大値をとり、「画素境界P5」で2番目に大きい値をとるとすると、ブロックノイズ検出評価値はC/Fとなり、C/Fが閾値以上の値をとる場合に「画素境界P2」でブロックノイズが発生しているとする。
つまり、本例のブロックノイズ検出部13は、ブロックノイズサイズ周期で画素境界段差を1画像フレーム分累積した値の最大値と2番目に大きい値との比によってブロックノイズ発生強度を判定することにより、図17により後述する画素境界段差の値で検出する場合と比較して、画像の絵柄の影響を軽減して、ブロックノイズ検出精度を向上できるようにしている。
なお、ブロックノイズ検出部13は、例えば図16に示すように、画素境界段差比計算部134と、画素境界段差比較選別部135と、ブロックノイズ強度判定部136とをそなえて構成することもできる。
ここで、画素境界段差比計算部134は、ある画素境界段差における画素境界段差累積値をブロックノイズサイズの半分だけ離れた画素境界段差における画素境界段差累積値で割った値(つまり、比)をブロックノイズ検出評価値として計算するものであり、画素境界段差比較選別部135は、その評価値の中で最大値をとる値を比較、選別して選別結果として、また、その最大値をとる画素境界をブロックノイズ発生位置として出力するものである。
ブロックノイズ強度判定部136は、入力されるブロックノイズ検出評価値を所定の閾値と比較し、閾値以上であれば、当該ブロックノイズ発生位置にブロックノイズが発生していることを示す情報を出力するものである。なお、本ブロックノイズ強度判定部136も、上記ブロックノイズ検出評価値が大きいほどブロックノイズの強度が強いとする判定結果を出力する。
例えば図17に示すように、この場合も、「画素境界P0」における画素境界段差累積値をA、「画素境界P1」における画素境界段差累積値をB、「画素境界P2」における画素境界段差累積値をC、「画素境界P3」における画素境界段差累積値をD、「画素境界P4」における画素境界段差累積値をE、「画素境界P5」における画素境界段差累積値をF、「画素境界P6」における画素境界段差累積値をG、「画素境界P7」における画素境界段差累積値をHと仮定すると、画素境界段差比計算部134は、「画素境界P0」の位置におけるブロックノイズ検出評価値をA/E、「画素境界P1」の位置におけるブロックノイズ検出評価値をB/F、「画素境界P2」の位置におけるブロックノイズ検出評価値をC/G、「画素境界P3」の位置におけるブロックノイズ検出評価値をD/H、「画素境界P4」の位置におけるブロックノイズ検出評価値をE/A、「画素境界P5」の画素境界位置におけるブロックノイズ検出評価値をF/B、「画素境界P6」の位置におけるブロックノイズ検出評価値をG/C、「画素境界P7」の位置におけるブロックノイズ検出評価値をH/Dというように、それぞれ、ブロックノイズサイズ周期で画素境界段差を1画像フレーム分累積した値をブロックノイズサイズの半分だけ離れた位置における値同士の比を計算する。
そして、画素境界段差比較選別部135及びブロックノイズ強度判定部136は、これらのブロックノイズ検出評価値の中で最大値をとり、かつ、所定の閾値以上の値をとる場合にその画素境界でブロックノイズが発生しているとする。
このように、ブロックノイズサイズ周期で画素境界段差を1フレーム分累積した値をブロックノイズサイズの半分だけ離れた位置における値同士の比を比較することにより、ブロックノイズ検出評価値の画像の複雑さに対する依存性が小さくなり、画素境界段差の累積値そのものを用いて検出する場合と比較して、画像の絵柄による影響を軽減でき、ブロックノイズの検出精度を向上することができる。
(A1)ブロックノイズ検出装置の第1変形例の説明
なお、上述したブロックノイズ検出装置1は、例えば図18に示すように、フレーム間差分値計算部14を付加してもよい。このフレーム間差分値計算部14は、現フレームまでの複数フレームからフレーム間の差分値、例えば、現フレームと前フレームの差分(絶対値)を計算するもので、本例では、その計算結果(フレーム間差分値)に応じてブロックノイズ検出部13でのブロックノイズ検出のための閾値が制御されるようになっている。
例えば、ブロックノイズ検出部13では、上記フレーム間差分値が、フレーム間の相関が高い(つまり、フレーム間差分値が小さい)ことを示す場合に、ブロックノイズ検出の閾値(判定条件)を高くし、ブロックノイズ検出されにくくする。また、ブロックノイズ検出評価値に応じたブロックノイズ強度を低く出力するようにする。
つまり、フレーム間差分値計算部14は、検出されたフレーム間差分値が所定の閾値よりも小さい場合に、ブロックノイズ検出部13でのブロックノイズ検出の判定条件をブロックノイズが検出されにくい方向に制御する制御手段としての機能も果たしていることになる。
このように、フレーム間差分が小さい場合に、ブロックノイズ検出条件をブロックノイズが検出されにくい条件に変更することにより、フレーム間差分が小さく動き補償による画像圧縮効率が高いためにブロックノイズの発生する可能性が低くなる状況においても、動きが小さく画像が複雑な場合のブロックノイズの誤検出を低減することが可能となり、ブロックノイズ検出の精度が向上する。
(A2)ブロックノイズ検出装置の第2変形例の説明
また、上述したブロックノイズ検出装置1は、例えば図19に示すように、既述のブロックノイズ検出部13の後段に、ブロックノイズ検出結果検証部15を付加してもよい。このブロックノイズ検出結果検証部15は、ブロックノイズの検出サイズ、ブロックノイズの検出位置として、数フレームにわたって同一の値が入力された場合に、その検出結果をブロックノイズ検出結果として出力するものである。
画素境界段差は画像の絵柄内容の影響を受けやすいために同一程度のブロックノイズが発生している場合でもブロックノイズ検出を判定する画素境界段差の1フレーム分累積値は変動している。そこで、ブロックノイズ検出結果検証部15により、複数フレームで同一のブロックノイズサイズ、ブロックノイズ位置を検出した場合に、その値がブロックノイズ検出結果として出力することで、画像の絵柄による画素境界段差の変動の影響を軽減することができ、ブロックノイズ検出率の精度を向上することが可能となる。
〔B〕ブロックノイズ低減装置の説明
図20は本発明の一実施形態に係るブロックノイズ低減装置の要部構成を示すブロック図で、この図20に示すブロックノイズ検出装置3は、上述したブロックノイズ検出装置1と、ブロックノイズ低減部2とをそなえて構成されている。なお、この図20において、ブロックノイズ検出装置1は、図1に示す基本構成を有するものとして示しているが、勿論、図1〜図19により前述したどのブロックノイズ検出装置1を適用することもできる。
ここで、ブロックノイズ低減部2は、ブロックノイズ検出装置1によるブロックサイズ検出結果(ブロックノイズサイズ、ブロックノイズ位置、ブロックノイズ強度)に基づいて、入力画像信号のブロックノイズを除去(低減)するためのもので、例えば図21に示すように、ブロックノイズ低減フィルタ部21と、ブロック境界領域判定部22とをそなえて構成される。
ブロックノイズ低減フィルタ部21は、ブロックノイズ検出装置1により検出されたブロックサイズ、位置に応じた画素に対して、同じくブロックノイズ検出装置1により検出されたブロックノイズ強度に応じたブロックノイズ除去(低減)処理、より詳細には、低域通過フィルタリング処理(ブロックノイズ低減フィルタ)を入力画像信号に作用させるものである。
ブロック境界領域判定部22は、ブロックノイズ低減フィルタ部21によるフィルタリング対象の画素がブロックノイズの境界位置周辺領域であるか否かを判定するもので、その判定結果を受けてブロックノイズ低減フィルタ部21は、フィルタリング対象画素がブロックノイズ境界周辺画素である場合に、前記ブロックノイズ強度に応じたフィルタリング強度でブロックノイズ低減を行なうことになる。
つまり、上記のブロック境界領域判定部22は、ブロックノイズ検出部13による検出結果に基づいて、ブロックノイズ低減部2(ブロックノイズ低減フィルタ部21)によるフィルタリング処理の画像フレームの画像平面における適用範囲を、ブロックノイズが発生している画素境界及びその近傍に制御するフィルタ範囲制御手段としての機能を果たすのである。
これにより、本例のブロックノイズ低減装置3では、上述したブロックノイズの検出精度に優れたブロックノイズ検出装置1による検出結果に基づいて、入力画像信号に対してブロックノイズ低減フィルタを作用させるので、ブロックノイズ低減フィルタを必要な時にのみ作用させることができ、ブロックノイズが発生している時にブロックノイズ低減フィルタが作用せずにブロックノイズが低減しない現象や、ブロックノイズが発生していない時にブロックノイズ低減フィルタが作用して画像を劣化させてしまう現象の発生率を削減することができ、画質を向上することが可能となる。
ここで、ブロックノイズは圧縮率が高いために高周波成分が欠落してしまい、ブロック境界の連続性が取れなくなるために発生するもので、ブロックノイズ低減フィルタ部21は、かかるブロックノイズを低減するが画像がぼけてしまうなどの画質劣化も発生させてしまう。
そこで、上述のごとくブロック境界領域判定部22の判定結果に基づいて、ブロックノイズ境界付近の画素に対してのみフィルタリング処理を施すことにより、ブロックノイズの原因であるブロック境界における不連続性を低減しつつ、ブロック境界付近以外の画像の劣化を抑制することができ、ブロックノイズ低減処理後の画質を向上させることが可能となる。
即ち、例えば図23に示すように画像全面ではなく、図24に示すようにブロックノイズ境界付近の画素についてのみ低域通過フィルタリング処理を行なうことにより、画像の絵柄のぼけを抑制しつつ、ブロックノイズを軽減することが可能となる。
なお、ブロックノイズ検出装置1のブロックノイズ検出部13として、図14及び図15により前述した構成を有するものを適用した場合には、ブロックノイズ低減装置3において、ブロックノイズ低減部2(ブロックノイズ低減フィルタ部21)によるフィルタリング強度が、ブロックノイズサイズ周期で画素境界段差を1フレーム分累積した値の最大値と2番目に大きい値との比に応じて制御されることになる。したがって、ブロックノイズ検出強度に応じたフィルタリング強度でブロックノイズ低減フィルタ部21を作用させることができ、ブロックノイズ低減処理後の画質を向上させることが可能となる。
また、ブロックノイズ検出装置1のブロックノイズ検出部13として、図16及び図17により前述した構成を有するものを適用した場合には、ブロックノイズ低減装置3において、ブロックノイズ低減部2(ブロックノイズ低減フィルタ部21)によるフィルタリング強度が、ブロックノイズサイズ周期で画素境界段差を1フレーム分累積した値と、当該累積値についての画素境界に関してブロックノイズサイズの半分だけ離れた位置における画素境界段差の1フレーム分累積値との比に応じて制御されることになる。したがって、この場合も、ブロックノイズ検出強度に応じたフィルタリング強度でブロックノイズ低減フィルタ部21を作用させることができ、ブロックノイズ低減処理後の画質を向上させることが可能となる。
つまり、上記の場合、ブロックノイズ検出部13は、画素境界段差の累積値の最大値と2番目に大きい累積値との比、あるいは、画素境界段差の累積値と、当該累積値についての画素境界に関してブロックノイズサイズの半分だけ離れた位置における画素境界段差の累積値との比に基づいてブロックノイズ低減部2(ブロックノイズ低減フィルタ部21)によるフィルタリング強度を制御するフィルタ制御手段としての機能も果たしていることになる。
(B1)ブロックノイズ低減装置(ブロックノイズ低減部2)の変形例の説明
なお、上述したブロックノイズ検出装置3におけるブロックノイズ低減部2は、例えば図22に示すように、上述したブロックノイズ低減フィルタ部21及びブロック境界領域判定部22に加えて、エッジ領域判定部23をそなえて構成してもよい。
ここで、このエッジ領域判定部23は、ブロックノイズ低減フィルタ部21によるフィルタリング対象画素がエッジ領域に当たるのかをエッジ検出フィルタ等で検出して、その結果をブロックノイズ低減フィルタ部21に出力するもので、ブロックノイズ低減フィルタ部21は、ブロック境界領域判定部22による判定結果とエッジ領域判定部23による判定結果とを受けて、フィルタリング対象画素がブロックノイズ境界周辺領域にあり、かつ、エッジ領域でない場合に、入力画像信号に対してブロックノイズ低減フィルタ部21によるフィルタリング処理を作用させ、それ以外の場合には、フィルタリング処理を作用させないことになる。
つまり、上記エッジ領域判定部23は、前記画素境界段差が所定の閾値以上である場合は、ブロックノイズ低減部2(ブロックノイズ低減フィルタ部21)によるフィルタリング処理を停止すべく制御するフィルタ停止制御手段としての機能を果たしていることになる。
これにより、本来の画像による画素境界段差にブロックノイズ低減フィルタ部21のフィルタリング処理を作用させてしまい、画質が劣化してしまうことを減少させることができ、ブロックノイズ低減処理後の画質を向上させることが可能となる。
なお、本発明は上述した実施形態に限定されず、本発明の趣旨を逸脱しない範囲で種々変形して実施できることはいうまでもない。
〔C〕付記
(付記1)
入力画像フレームの画像平面上の或る画素境界における隣接画素の画素値の差分値と、前記画素境界の少なくとも片側の複数画素から予測された前記画素境界における予測画素値とに基づいて、前記画素境界における画素境界段差を検出し、
前記画素境界段差を1画像フレーム分累積してブロックノイズを検出することを特徴とする、ブロックノイズ検出方法。
(付記2)
前記隣接画素の画素値の差分値と、前記画素境界の一方の複数画素から求められた前記画素境界における予測画素値と前記画素境界の他方の複数画素から求められた前記画素境界における予測画素値との差分値とを比較して、小さい方の差分値を前記画素境界における画素境界段差として検出することを特徴とする、付記1記載のブロックノイズ検出方法。
(付記3)
前記画素境界段差をブロックノイズサイズの周期で累積することを特徴とする、付記1又は2に記載のブロックノイズ検出方法。
(付記4)
前記画素境界の片側の少なくとも2画素から前記画素境界における各予測画素値を計算することを特徴とする、付記1〜3のいずれか1項に記載のブロックノイズ検出方法。
(付記5)
前記画素境界段差が所定の閾値よりも大きい場合は前記累積の対象から除外することを特徴とする、付記1〜4のいずれか1項に記載のブロックノイズ検出方法。
(付記6)
前記画素境界段差を1画像フレーム分累積した累積値と、当該累積値についての画素境界に関してブロックノイズサイズの半分だけ離れた位置における累積値との比を比較することにより、ブロックノイズ発生強度を判定することを特徴とする、付記1〜5のいずれか1項に記載のブロックノイズ検出方法。
(付記7)
前記画素境界段差を1画像フレーム分累積した累積値の最大値と2番目に大きい累積値との比に基づいて、ブロックノイズ発生強度を判定することを特徴とする、付記1〜5のいずれか1項に記載のブロックノイズ検出方法。
(付記8)
前記入力画像フレームを含む少なくとも2つの画像フレーム間の差分を求め、
その差分値が所定の閾値よりも小さい場合はブロックノイズ検出の判定条件をブロックノイズが検出されにくい方向に制御することを特徴とする、付記1〜7のいずれか1項に記載のブロックノイズ検出方法。
(付記9)
復号後に整数倍に拡大された画像に対してブロックノイズを検出する場合、前記整数倍に応じてブロックノイズサイズの倍数の周期で前記画素境界段差を累積することを特徴とする、付記1,2,4〜8のいずれか1項に記載のブロックノイズ検出方法。
(付記10)
前記ブロックノイズの検出結果が連続した複数の画像フレームで同一の値である場合に、当該検出結果を出力することを特徴とする、付記1〜9のいずれか1項に記載のブロックノイズ検出方法。
(付記11)
入力画像フレームの画像平面上の或る画素境界における隣接画素の画素値の差分値と、前記画素境界の少なくとも片側の複数画素から予測された前記画素境界における予測画素値とに基づいて、前記画素境界における画素境界段差を検出する画素境界段差検出手段と、
前記画素境界段差を1画像フレーム分累積する累積手段と、
該累積手段の累積結果に基づいてブロックノイズを検出するブロックノイズ検出手段とをそなえたことを特徴とする、ブロックノイズ検出装置。
(付記12)
該画素境界段差検出手段が、
前記隣接画素の画素値の差分値を求める隣接画素差分値計算部と、
前記画素境界の一方の複数画素から求められた前記画素境界における予測画素値と前記画素境界の他方の複数画素から求められた前記画素境界における予測画素値との差分値を求める予測画素差分値計算部と、
上記各計算部の計算結果を比較して、小さい方の差分値を前記画素境界における画素境界段差として検出する比較部とをそなえて構成されたことを特徴とする、付記11記載のブロックノイズ検出装置。
(付記13)
該累積手段が、
前記画素境界段差をブロックノイズサイズの周期で累積することを特徴とする、付記11又は12に記載のブロックノイズ検出装置。
(付記14)
該予測画素差分値計算部が、
前記画素境界の片側の少なくとも2画素から前記画素境界における各予測画素値を計算することを特徴とする、付記11〜13のいずれか1項に記載のブロックノイズ検出装置。
(付記15)
該画素境界段差検出手段又は該累積手段が、
前記画素境界段差が所定の閾値よりも大きい場合は前記累積の対象から除外することを特徴とする、付記11〜14のいずれか1項に記載のブロックノイズ検出装置。
(付記16)
該ブロックノイズ検出手段が、
該累積手段にて前記画素境界段差を1画像フレーム分累積した累積値と、当該累積値についての画素境界に関してブロックノイズサイズの半分だけ離れた位置における累積値との比を比較することにより、ブロックノイズ発生強度を判定する手段をそなえたことを特徴とする、付記11〜15のいずれか1項に記載のブロックノイズ検出装置。
(付記17)
該ブロックノイズ検出手段が、
該累積手段にて前記画素境界段差を1画像フレーム分累積した累積値の最大値と2番目に大きい累積値との比に基づいて、ブロックノイズ発生強度を判定する手段をそなえたことを特徴とする、付記11〜15のいずれか1項に記載のブロックノイズ検出装置。
(付記18)
前記入力画像フレームを含む少なくとも2つの画像フレーム間の差分を求めるフレーム間差分検出手段と、
該フレーム間差分検出手段により検出された差分値が所定の閾値よりも小さい場合に、該ブロックノイズ検出手段でのブロックノイズ検出の判定条件をブロックノイズが検出されにくい方向に制御する制御手段とをさらにそなえたことを特徴とする、付記11〜17のいずれか1項に記載のブロックノイズ検出装置。
(付記19)
該累積手段が、
復号後に整数倍に拡大された画像に対してブロックノイズを検出する場合、前記整数倍に応じてブロックノイズサイズの倍数の周期で前記画素境界段差を累積することを特徴とする、付記11,12,14〜18のいずれか1項に記載のブロックノイズ検出装置。
(付記20)
該ブロックノイズ検出手段による検出結果が連続した複数の画像フレームで同一の値である場合に、当該検出結果を出力するブロックノイズ検出結果検証手段をさらにそなえたことを特徴とする、付記11〜19のいずれか1項に記載のブロックノイズ検出装置。
(付記21)
付記1〜10のいずれか1項に記載のブロックノイズ検出方法によるブロックノイズの検出結果に基づいて、前記入力画像フレームに対してブロックノイズ低減処理を施すことを特徴とする、ブロックノイズ低減方法。
(付記22)
前記画素境界段差を1画像フレーム分累積した累積値と、当該累積値についての画素境界に関してブロックノイズサイズの半分だけ離れた位置における累積値との比に基づいて、前記ブロックノイズ低減処理としてのフィルタリング処理のフィルタリング強度を制御することを特徴とする、付記21記載のブロックノイズ低減方法。
(付記23)
前記画素境界段差を1画像フレーム分累積した累積値の最大値と2番目に大きい累積値との比に基づいて、前記ブロックノイズ低減処理としてのフィルタリング処理のフィルタリング強度を制御することを特徴とする、付記21記載のブロックノイズ低減方法。
(付記24)
前記ブロックノイズの検出結果に基づいて、前記ブロックノイズ低減処理の前記画像平面における適用範囲を、ブロックノイズが発生している画素境界及びその近傍に制御することを特徴とする、付記21〜23のいずれか1項に記載のブロックノイズ低減方法。
(付記25)
前記画素境界段差が閾値以上である場合は、前記ブロックノイズ低減処理を行なわないことを特徴とする、付記21〜24のいずれか1項に記載のブロックノイズ低減方法。
(付記26)
付記11〜20のいずれか1項に記載のブロックノイズ検出装置と、
該ブロックノイズ検出装置による検出結果に基づいて、前記入力画像フレームに対してブロックノイズ低減処理を施すブロックノイズ低減手段とをそなえたことを特徴とする、ブロックノイズ低減装置。
(付記27)
該累積手段にて前記画素境界段差を1画像フレーム分累積した累積値と、当該累積値についての画素境界に関してブロックノイズサイズの半分だけ離れた位置における累積値との比に基づいて、該ブロックノイズ低減手段によるフィルタリング処理のフィルタリング強度を制御するフィルタ制御手段をさらにそなえたことを特徴とする、付記26記載のブロックノイズ低減装置。
(付記28)
該累積手段にて前記画素境界段差を1画像フレーム分累積した累積値の最大値と2番目に大きい累積値との比に基づいて、前記ブロックノイズ低減手段によるフィルタリング処理のフィルタリング強度を制御するフィルタ制御手段をさらにそなえたことを特徴とする、付記26記載のブロックノイズ低減装置。
(付記29)
該ブロックノイズ検出手段による検出結果に基づいて、該ブロックノイズ低減手段による前記フィルタリング処理の前記画像平面における適用範囲を、ブロックノイズが発生している画素境界及びその近傍に制御するフィルタ範囲制御手段をさらにそなえたことを特徴とする、付記26〜28のいずれか1項に記載のブロックノイズ低減装置。
(付記30)
前記画素境界段差が閾値以上である場合は、該ブロックノイズ低減手段によるフィルタリング処理を停止すべく制御するフィルタ停止制御手段をさらにそなえたことを特徴とする、付記26〜29のいずれか1項に記載のブロックノイズ低減装置。
以上詳述したように、本発明によれば、画素境界段差を計算する場合に画素境界における予測画素値も考慮するので、画素境界が傾斜している場合でもより正確な画素境界段差を検出することが可能となり、量子化スケールなどの圧縮符号化の復号情報を使用することなく、ブロックノイズ検出の精度を向上することができ、ひいてはブロックノイズを効果的に低減して画質を向上することができる。したがって、デジタル画像圧縮符号化技術分野に極めて有用であると考えられる。
本発明の一実施形態としてのブロックノイズ検出装置の構成を示すブロック図である。 図1に示す画素境界段差計算部の構成を示すブロック図である。 (A)及び(B)はいずれも図1及び図2に示す画素境界段差計算部による第1の画素境界段差計算方法を説明するための図である。 (A)及び(B)はいずれも図1に示す画素境界段差累積部での累積対象から除外する画素境界段差を説明するための図である。 図2に示す予測画素差分絶対値計算部による予測画素値の計算方法を説明するための図である。 図5に示す計算方法を実現する予測画素差分絶対値計算部の構成を示すブロック図である。 (A)及び(B)はいずれも図1及び図2に示す画素境界段差計算部による第2の画素境界段差計算方法を説明するための図である。 第2の画素境界段差計算方法を実現する予測画素差分絶対値計算部の第1の構成を示すブロック図である。 第2の画素境界段差計算方法を実現する予測画素差分絶対値計算部の第2の構成を示すブロック図である。 (A)及び(B)はいずれも図1に示す画素境界段差累積部での画素境界段差累積方法を説明するための図である。 拡大画像について得られる画素境界段差の例を説明するための図である。 図11に示す拡大画像についての画素境界段差の累積処理(1画素飛ばしの累積処理)を説明するための図である。 図11に示す拡大画像についての画素境界段差の累積処理(1画素飛ばしの累積処理)を説明するための図である。 図1に示すブロックノイズ検出部の構成を示すブロック図である。 図14に示すブロックノイズ検出部の動作を説明すべくブロックノイズ検出評価値の一例を示す図である。 図14に示すブロックノイズ検出部の変形例を示すブロック図である。 図16に示すブロックノイズ検出部の動作を説明すべくブロックノイズ検出評価値の一例を示す図である。 図1に示すブロックノイズ検出装置の第1変形例を示すブロック図である。 図1に示すブロックノイズ検出装置の第2変形例を示すブロック図である。 本発明の一実施形態に係るブロックノイズ低減装置の要部構成を示すブロック図である。 図20に示すブロックノイズ低減部の構成を示すブロック図である。 図21に示すブロックノイズ低減部の変形例を示すブロック図である。 画像全体にブロックノイズ除去処理を施す例を示す図である。 図21及び図22に示すブロックノイズ低減部によるブロックノイズ除去処理を説明するための図である。 従来のブロックノイズ検出方式を説明するための図である。 従来の他のブロックノイズ検出方式を説明するための図である。
符号の説明
1 ブロックノイズ検出装置
11 画素境界段差計算部
111 隣接画素差分絶対値計算部
112 予測画素差分絶対値計算部
112a,112d 多項式計算部
112b,112e 画素値予測部
112c,112f,112h 境界段差計算部
112g 画素値線形予測部
113 画素境界段差比較部
114 画素境界段差選別部
12 画素境界段差累積部
13 ブロックノイズ検出部
131 画素境界段差比較部
132 有効画素境界段差比計算部
133 ブロックノイズ強度判定部
134 画素境界段差比計算部
135 画素境界段差比較選別部
136 ブロックノイズ強度判定部
14 フレーム間差分値計算部
15 ブロックノイズ検出結果検証部
2 ブロックノイズ低減部
21 ブロックノイズ低減フィルタ部
22 ブロック境界領域判定部
23 エッジ領域判定部
3 ブロックノイズ低減装置
5,6 画素(隣接画素)
5′,6′
7,8 予測画素(予測画素値)
P,P0〜P7 画素境界

Claims (5)

  1. 入力画像フレームの画像平面上の或る画素境界における隣接画素の画素値の差分値と、前記画素境界の少なくとも片側の複数画素から予測された前記画素境界における予測画素値とに基づいて、前記画素境界における画素境界段差を検出し、
    前記画素境界段差を1画像フレーム分累積してブロックノイズを検出することを特徴とする、ブロックノイズ検出方法。
  2. 前記隣接画素の画素値の差分値と、前記画素境界の一方の複数画素から求められた前記画素境界における予測画素値と前記画素境界の他方の複数画素から求められた前記画素境界における予測画素値との差分値とを比較して、小さい方の差分値を前記画素境界における画素境界段差として検出することを特徴とする、請求項1記載のブロックノイズ検出方法。
  3. 入力画像フレームの画像平面上の或る画素境界における隣接画素の画素値の差分値と、前記画素境界の少なくとも片側の複数画素から予測された前記画素境界における予測画素値とに基づいて、前記画素境界における画素境界段差を検出する画素境界段差検出手段と、
    前記画素境界段差を1画像フレーム分累積する累積手段と、
    該累積手段の累積結果に基づいてブロックノイズを検出するブロックノイズ検出手段とをそなえたことを特徴とする、ブロックノイズ検出装置。
  4. 請求項1又は2に記載のブロックノイズ検出方法によるブロックノイズの検出結果に基づいて、前記入力画像フレームに対してブロックノイズ低減処理を施すことを特徴とする、ブロックノイズ低減方法。
  5. 請求項3記載のブロックノイズ検出装置と、
    該ブロックノイズ検出装置による検出結果に基づいて、前記入力画像フレームに対してブロックノイズ低減処理を施すブロックノイズ低減手段とをそなえたことを特徴とする、ブロックノイズ低減装置。
JP2006085334A 2006-03-27 2006-03-27 ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置 Expired - Fee Related JP4649355B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006085334A JP4649355B2 (ja) 2006-03-27 2006-03-27 ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置
US11/496,501 US7668392B2 (en) 2006-03-27 2006-08-01 Block noise detecting and reducing method and apparatus, using comparison of adjacent pixel boundary differences with predicted pixel boundary differences
CN200610126572XA CN101047858B (zh) 2006-03-27 2006-08-28 块噪声检测方法和设备以及块噪声降低方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006085334A JP4649355B2 (ja) 2006-03-27 2006-03-27 ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置

Publications (2)

Publication Number Publication Date
JP2007266684A JP2007266684A (ja) 2007-10-11
JP4649355B2 true JP4649355B2 (ja) 2011-03-09

Family

ID=38533514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006085334A Expired - Fee Related JP4649355B2 (ja) 2006-03-27 2006-03-27 ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置

Country Status (3)

Country Link
US (1) US7668392B2 (ja)
JP (1) JP4649355B2 (ja)
CN (1) CN101047858B (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239755B1 (en) * 1997-07-30 2007-07-03 Lg Electronics Inc. Method of reducing a blocking artifact when coding moving picture
KR100244290B1 (ko) 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
US8120703B2 (en) * 2005-09-08 2012-02-21 Silicon Image/BSTZ Source-adaptive video deinterlacer
US8004606B2 (en) * 2005-09-08 2011-08-23 Silicon Image, Inc. Original scan line detection
US7982798B2 (en) * 2005-09-08 2011-07-19 Silicon Image, Inc. Edge detection
WO2008076566A1 (en) 2006-12-20 2008-06-26 Anchor Bay Technologies, Inc. Noise cancellation
US7986855B2 (en) * 2007-02-16 2011-07-26 Mitsubishi Electric Corporation Block noise detector and detection method, and block noise reducer and reduction method
KR100872253B1 (ko) * 2007-08-23 2008-12-05 삼성전기주식회사 이미지 센서에 의해 생성된 이미지의 노이즈 제거 방법
CN101472177B (zh) * 2007-12-27 2013-03-06 宝利微电子系统控股公司 一种块效应检测方法
JP4605217B2 (ja) 2007-12-28 2011-01-05 カシオ計算機株式会社 撮影装置及びそのプログラム
US8401311B2 (en) 2008-03-11 2013-03-19 Sony Corporation Image processing device, method, and program
JP5130983B2 (ja) 2008-03-25 2013-01-30 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5035910B2 (ja) * 2008-06-27 2012-09-26 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8559746B2 (en) * 2008-09-04 2013-10-15 Silicon Image, Inc. System, method, and apparatus for smoothing of edges in images to remove irregularities
JP4945533B2 (ja) * 2008-09-09 2012-06-06 株式会社東芝 画像処理装置及び画像処理方法
JP2012517774A (ja) * 2009-02-10 2012-08-02 シリコン イメージ,インコーポレイテッド ブロックノイズの検出及びフィルタ処理
US8363974B2 (en) * 2009-07-21 2013-01-29 Qualcomm Incorporated Block artifact reducer
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5375590B2 (ja) * 2009-12-24 2013-12-25 富士通セミコンダクター株式会社 量子化制御回路、量子化パラメータ変更方法、及び符号化装置
JP5393573B2 (ja) * 2010-04-08 2014-01-22 株式会社Nttドコモ 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
JP2012019329A (ja) 2010-07-07 2012-01-26 Sony Corp 記録装置、記録方法、再生装置、再生方法、プログラム、および記録再生装置
US8588535B2 (en) * 2010-09-15 2013-11-19 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8600188B2 (en) 2010-09-15 2013-12-03 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement
US8532429B2 (en) 2010-09-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement involving selection of noise-control parameter
US8175411B2 (en) * 2010-09-28 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8538193B2 (en) 2010-09-28 2013-09-17 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement and estimation of compression noise
JP5206772B2 (ja) * 2010-11-22 2013-06-12 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2012191250A (ja) * 2011-03-08 2012-10-04 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US8675971B2 (en) * 2011-03-25 2014-03-18 Aptina Imaging Corporation Method and apparatus for classifying image pixels
US9106936B2 (en) * 2012-01-25 2015-08-11 Altera Corporation Raw format image data processing
US9071825B2 (en) * 2012-04-24 2015-06-30 Tektronix, Inc. Tiling or blockiness detection based on spectral power signature
GB2514557A (en) * 2013-05-28 2014-12-03 Snell Ltd Image processing
US9582109B2 (en) * 2013-09-30 2017-02-28 Himax Technologies Limited Method for detecting touch panel noise and performing signal control and associated controller
MX2020006500A (es) * 2017-12-29 2020-09-17 Ericsson Telefon Ab L M Metodos que proporcionan codificacion y/o decodificacion de video usando valores de referencia y dispositivos relacionados.
US11188756B2 (en) * 2019-10-16 2021-11-30 Realtek Singapore Private Limited Object localization and classification system and method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205157A (ja) * 1995-01-24 1996-08-09 Sony Corp 画像信号復号方法及び画像信号復号装置
JP2000350202A (ja) * 1999-03-26 2000-12-15 Victor Co Of Japan Ltd ブロックノイズ検出装置
JP2001119695A (ja) * 1999-10-20 2001-04-27 Victor Co Of Japan Ltd ブロックノイズ低減装置
JP2005012641A (ja) * 2003-06-20 2005-01-13 Matsushita Electric Ind Co Ltd ブロックノイズ検出装置及びそれを用いたブロックノイズ除去装置
JP2005236955A (ja) * 2004-01-20 2005-09-02 Victor Co Of Japan Ltd ブロックノイズ低減装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9607668D0 (en) * 1996-04-12 1996-06-12 Snell & Wilcox Ltd Video noise reducer
US6496605B1 (en) * 1996-08-02 2002-12-17 United Module Corporation Block deformation removing filter, image processing apparatus using the same, method of filtering image signal, and storage medium for storing software therefor
WO2003003749A1 (en) * 2001-06-29 2003-01-09 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
US6907079B2 (en) * 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205157A (ja) * 1995-01-24 1996-08-09 Sony Corp 画像信号復号方法及び画像信号復号装置
JP2000350202A (ja) * 1999-03-26 2000-12-15 Victor Co Of Japan Ltd ブロックノイズ検出装置
JP2001119695A (ja) * 1999-10-20 2001-04-27 Victor Co Of Japan Ltd ブロックノイズ低減装置
JP2005012641A (ja) * 2003-06-20 2005-01-13 Matsushita Electric Ind Co Ltd ブロックノイズ検出装置及びそれを用いたブロックノイズ除去装置
JP2005236955A (ja) * 2004-01-20 2005-09-02 Victor Co Of Japan Ltd ブロックノイズ低減装置

Also Published As

Publication number Publication date
CN101047858B (zh) 2010-05-12
JP2007266684A (ja) 2007-10-11
US20070223835A1 (en) 2007-09-27
US7668392B2 (en) 2010-02-23
CN101047858A (zh) 2007-10-03

Similar Documents

Publication Publication Date Title
JP4649355B2 (ja) ブロックノイズ検出方法及び装置並びにブロックノイズ低減方法及び装置
KR100497606B1 (ko) 블럭노이즈 검출장치 및 블럭노이즈 제거장치
JP4973031B2 (ja) ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
JP4749377B2 (ja) ブロックノイズ除去装置
JP2011250472A (ja) ブロック歪み除去方法およびブロック歪み除去装置
US20090324092A1 (en) Image processing device and image processing method, and program
JPWO2006025396A1 (ja) 画像処理装置および画像処理プログラム
US7974491B2 (en) Block noise removal device
JP2008283341A (ja) 圧縮符号化画像のノイズ除去装置及びノイズ除去方法
US20100322304A1 (en) Multi-source filter and filtering method based on h.264 de-blocking
JP2007334457A (ja) 画像処理装置及び画像処理方法
JP5247591B2 (ja) 画像処理装置及びその制御方法
JP5050637B2 (ja) 映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体
JP2005012641A (ja) ブロックノイズ検出装置及びそれを用いたブロックノイズ除去装置
JP2007336075A (ja) ブロック歪み低減装置
JP2006203597A (ja) ディジタル画像復号装置及び方法
JP2006128744A (ja) ブロック歪み低減装置
JP2009296124A (ja) 画像処理装置及び方法並びに復号化装置
KR20050013621A (ko) 블록킹 아티팩트들 검출 방법
JP4781306B2 (ja) ブロックノイズ除去装置
JP5701018B2 (ja) 画像復号装置
JP2011029989A (ja) ノイズ低減装置及びノイズ低減方法
JP4500112B2 (ja) 画像特徴量検出装置、画質改善装置、表示装置および受信機
JP2009088867A (ja) 画像処理装置
JP4643723B2 (ja) 画像符号化歪低減装置及び表示装置及び画像符号化低減方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4649355

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees