JP4265849B2 - Block noise elimination method, block noise elimination apparatus, and computer-readable storage medium - Google Patents
Block noise elimination method, block noise elimination apparatus, and computer-readable storage medium Download PDFInfo
- Publication number
- JP4265849B2 JP4265849B2 JP37453599A JP37453599A JP4265849B2 JP 4265849 B2 JP4265849 B2 JP 4265849B2 JP 37453599 A JP37453599 A JP 37453599A JP 37453599 A JP37453599 A JP 37453599A JP 4265849 B2 JP4265849 B2 JP 4265849B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- block
- smoothing
- adjacent
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像を、水平方向および垂直方向に沿った複数の画素から構成されたブロック単位で例えば圧縮（符号化）処理・伸長（復号化）処理する際に生じるブロックノイズを除去するためのブロックノイズ除去方法、ブロックノイズ除去装置およびコンピュータが読取り可能な記憶媒体に関する。
【０００２】
【従来の技術】
近年のマルチメディア社会の急激な進展により、文書情報等に加えて、画像情報を扱う機会が大幅に増加している。この画像情報を、そのままディジタル化して例えば通信や記憶すると仮定すると、文書情報等をディジタル化して通信・記憶する場合と比較して膨大な情報量（データ量）を通信・記憶しなければならないため、ディジタル化した画像（画像データ）を圧縮して通信・記憶することにより、画像データ通信時間の短縮および画像データ記憶容量（メモリ容量）の縮小等を実現している。
【０００３】
上記画像圧縮処理（画像符号化処理）方式・方法としては、２次元離散コサイン変換（ＤＣＴ）に基づく符号化が多く用いられる。
【０００４】
すなわち、このＤＣＴを用いた符号化を行なう際には、前処理として、１フレームのディジタル画像（画像データ）を、例えば水平方向および垂直方向がそれぞれＮ画素から構成されたＮ×Ｎのブロックに領域分割する。そして、画像データを構成する各画像ブロックに対して２次元直交変換（ＤＣＴ）処理および量子化処理をそれぞれ施すことにより、画像データを符号化（圧縮）している。
【０００５】
また、符号化された画像データに対して、上記ブロック単位で逆量子化処理および逆ＤＣＴ処理を施すことにより、画像データを復号化（復元）することができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の画像をブロック単位で圧縮処理する画像圧縮処理方法においては、画像をブロック単位で処理しているため、隣接するブロック間の境界部分において階調差が生じ、この階調差に起因して、復調された画像における上記ブロック間の境界部分（輝度差・色差）が目だってしまうという、いわゆるブロックノイズが発生する。
【０００７】
したがって、上記ブロック単位の画像圧縮処理方法を用いる際には、上記ブロックノイズを除去することが必要である。
【０００８】
この点、従来では、画像全体を平滑化（スムージング）することにより、上記ブロック境界部分のブロックノイズを除去している。
【０００９】
しかしながら、上記画像全体平滑化によるブロックノイズ除去方法では、画像全体が暈けてしまい、その結果、画像中の輪郭までも暈けるという問題が生じている。
【００１０】
そこで、隣接するブロック間の境界を挟んで隣接する画素どうしのみを平均化して上記ブロック境界部分のブロックノイズを除去する方法が考えだされている。
【００１１】
しかしながら、このブロック間の境界画素平均化によるブロックノイズ除去方法では、ブロック間の境界を挟んで隣接する画素どうしのみを平均化しているため、同一ブロック内において、平均化処理した領域（ブロックのエッジ領域に対応する画素）と平均化処理していない領域（上記ブロックのエッジ領域以外の領域の画素；ブロックの中央領域）との間で新たな境界が発生することになり、上記境界に起因したノイズ（以下、境界ノイズと呼ぶ）により、復元した画像を見辛くしている。
【００１２】
本発明は上述した事情に鑑みてなされたもので、ブロック単位の画像圧縮処理方法を用いる際において、画像全体を暈けさせることなく、かつ境界ノイズを発生させることなくブロックノイズを除去できるブロックノイズ除去方法、ブロックノイズ除去装置およびコンピュータが読取り可能な記憶媒体。
【００１３】
【課題を解決するための手段】
上述した目的を達成するための第１の発明によれば、水平方向および垂直方向に沿った複数の画素から構成された２次元ブロック単位で画像を処理する際に生じるブロックノイズを除去するブロックノイズ除去装置において、前記各ブロックの中心に対する当該各ブロック内の各画素と当該各画素に対して垂直方向側および水平方向側にそれぞれ隣接する隣接画素との位置関係に応じて予め設定された前記各画素およびその隣接画素それぞれの平滑化用重み付け係数を記憶する記憶手段と、前記各ブロックの各画素の画素値を、前記記憶手段に記憶された当該各画素の平滑化用重み付け係数、前記各画素の隣接画素の画素値および前記隣接画素の重み付け係数に基づいて平滑化する平滑化手段とを備えている。
【００１４】
第１の発明において、前記各画素およびその隣接画素それぞれの平滑化用重み付け係数を、前記各ブロックの中心および当該各ブロック内の各画素の中心を結ぶ線分の長さと、前記線分に沿って当該各画素中心から離れる方向へ延びるベクトルの垂直成分および水平成分の大きさとに基づいて設定する設定手段を備えている。
【００１５】
第１の発明において、前記設定手段は、前記各画素の中心から離れる方向に延びるベクトルの垂直成分および水平成分の大きさが等しい場合に、当該隣接画素それぞれの平滑化用重み付け係数を等しい値にそれぞれ設定し、当該ベクトルの垂直成分および水平成分の内のどちらか一方が大きい場合、成分の大きい側の隣接画素の平滑化用重み付け係数を成分の小さい側の隣接画素の平滑化用重み付け係数よりも大きく設定する手段である。
【００１６】
第１の発明において、前記各ブロックを構成する複数の画素を、当該各ブロックのコーナー部に対応する第１の画素グループ、この第１の画素グループ以外で前記各ブロックの辺に対応する第２の画素グループ、前記第１・第２の画素グループ以外の第３の画素グループに分類し、前記第１の画素グループの各画素の画素値をａ０、当該各画素の隣接画素の画素値をａ１およびａ２、平滑化後の第１の画素グループの各画素の画素値をａと定めると、前記設定手段により、前記各画素および隣接画素の平滑化用重み付け係数が共に１／３に設定されるとともに、前記平滑化処理手段は、前記各ブロックにおける前記第１の画素グループの各画素の画素値ａ０、前記隣接画素の画素値ａ１・ａ２および前記平滑化用重み付け係数１／３を用いて、下式
【数６】
ａ＝（１／３）＊（ａ０＋ａ１＋ａ２）
に基づく平滑化処理を実行して前記各画素の画素値ａを求める手段である。
【００１７】
第１の発明において、前記第２の画素グループの各画素の画素値をｂ０、当該各画素の隣接画素の内の成分の大きい側の第１の隣接画素の画素値をｂ１、成分の小さい側の第２の隣接画素の画素値をｂ２、平滑化後の前記第２の画素グループの各画素の画素値をｂと定めると、前記設定手段により、前記各画素、前記第１および第２の隣接画素の平滑化用重み付け係数がそれぞれ２／３、１／３および０に設定されるとともに、前記平滑化処理手段は、前記各ブロックにおける前記第２の画素グループの各画素の画素値ｂ０、前記第１の隣接画素の画素値ｂ１、平滑化用重み係数２／３および１／３を用いて、下式
【数７】
ｂ＝（１／３）＊（２ｂ０＋ｂ１）
に基づく平滑化処理を実行して前記各画素の画素値ｂを求める手段である。
【００１８】
第１の発明において、前記第３の画素グループの各画素の画素値をｃ０、当該各画素の隣接画素の画素値をｃ１およびｃ２、平滑化後の前記第３の画素グループの各画素の画素値をｃと定めた場合において、前記各画素の中心から離れる方向に延びるベクトルの垂直成分および水平成分の内のどちらか一方が大きい際に、その成分の大きい側の第１の隣接画素の画素値をｃ１、成分の小さい側の第２の隣接画素の画素値をｃ２とすると、前記設定手段により、前記各画素、前記第１および第２の隣接画素の平滑化用重み付け係数がそれぞれ５／６、１／６および０に設定され、前記平滑化処理手段は、前記各ブロックにおける前記第３グループの各画素の画素値ｃ０、前記第１の隣接画素の画素値ｃ１および前記平滑化用重み付け係数５／６および１／６を用いて、下式
【数８】
ｃ＝（１／６）＊（５ｃ０＋ｃ１）
に基づく平滑化処理を実行して前記各画素の画素値ｃを求める一方、前記各画素の中心から離れる方向に延びるベクトルの垂直成分および水平成分の大きさが等しく、かつ前記各画素が前記ブロック中心に隣接しない際に、前記設定手段により、前記各画素および隣接画素の平滑化用重み付け係数がそれぞれ４／６および１／６にそれぞれ設定され、前記平滑化処理手段は、前記各ブロックにおける前記第３グループの各画素の画素値ｃ０、前記隣接画素の画素値ｃ１・ｃ２および前記平滑化用重み付け係数４／６および１／６を用いて、下式
【数９】
ｃ＝（１／６）＊（４ｃ０＋ｃ１＋ｃ２）
に基づく平滑化処理を実行して前記各画素の画素値ｃを求めるとともに、前記各画素の中心から離れる方向に延びるベクトルの垂直成分および水平成分の大きさが等しく、かつ前記各画素が前記ブロック中心に隣接する際において、当該ブロック中心に隣接する各画素の平滑化用重み付け係数を、前記第１・第２のグループの各画素に設定された平滑化用重み付け係数および前記第３のグループにおける他の画素に設定された平滑化用重み付け係数よりも大きな値に設定する手段である。
【００１９】
第１の発明において、前記水平方向および垂直方向に沿った画素数は４であり、前記各２次元ブロックは（４×４）画素から成るブロックである際に、前記設定手段により、前記第３グループのブロック中心に隣接する各画素および隣接画素の平滑化用重み付け係数がそれぞれ３／４および１／８に設定され、前記平滑化処理手段は、前記各ブロックにおける前記第３グループのブロック中心に隣接する各画素の画素値ｃ０、前記隣接画素の画素値ｃ１・ｃ２および前記平滑化用重み付け係数３／４および１／８を用いて、下式
【数１０】
ｃ＝（１／８）＊（６ｃ０＋ｃ１＋ｃ２）
に基づく平滑化処理を実行して前記各画素の画素値ｃを求めるとともに、前記水平方向および垂直方向に沿った画素数は８であり、前記各２次元ブロックは（８×８）画素から成るブロックである際に、前記設定手段により、前記第３グループのブロック中心に隣接する各画素および隣接画素の平滑化用重み付け係数がそれぞれ１および０に設定され、前記平滑化処理手段は、前記各ブロックにおける前記第３グループのブロック中心に隣接する各画素の画素値ｃ０および平滑化用重み付け係数１に基づいて、当該画素値ｃ０を平滑化後の画素値ｃとして求める手段である。
【００２０】
上述した目的を達成するための第２の発明によれば、水平方向および垂直方向に沿った複数の画素から構成された２次元ブロック単位で画像を処理する際に生じるブロックノイズを除去するブロックノイズ除去装置において、前記各ブロックの中心に対する当該各ブロック内の各画素と当該各画素に対して垂直方向側および水平方向側にそれぞれ隣接する隣接画素との位置関係に応じて予め設定された前記各画素およびその隣接画素それぞれの平滑化用重み付け係数を記憶し、かつ予め設定された輪郭識別用の閾値を記憶する記憶手段と、前記各ブロックの各画素の画素値およびその隣接画素の画素値間の差の絶対値を求め、求めた差の絶対値が前記閾値を超えたか否か判断する判断手段と、この判断手段により、前記差の絶対値が前記閾値を超えたと判断された隣接画素の画素値を当該各画素の画素値とみなし、前記各画素の画素値を、前記記憶手段に記憶された当該画素の平滑化用重み付け係数、当該画素の隣接画素の画素値および前記隣接画素の重み付け係数に基づいて平滑化する平滑化手段とを備えている。
【００２１】
第１、第２の発明において、前記水平方向および垂直方向に沿った画素数は４であり、前記各２次元ブロックは（４×４）画素から成るブロックである。
【００２２】
第１、第２の発明において、前記水平方向および垂直方向に沿った画素数は８であり、前記各２次元ブロックは（８×８）画素から成るブロックである。
【００２３】
上述した目的を達成するための第３の発明によれば、水平方向および垂直方向に沿った複数の画素から構成された２次元ブロック単位で画像を処理する際に生じるブロックノイズを除去するブロックノイズ除去方法において、前記各ブロックの中心に対する当該各ブロック内の各画素と当該各画素に対して垂直方向側および水平方向側にそれぞれ隣接する隣接画素との位置関係に応じて、前記各画素およびその隣接画素それぞれの平滑化用重み付け係数を設定するステップと、前記各画素およびその隣接画素毎にそれぞれ設定された平滑化用重み付け係数をメモリに記憶するステップと、前記各ブロックの各画素の画素値を、前記メモリに記憶された当該各画素の平滑化用重み付け係数、前記各画素の隣接画素の画素値および前記隣接画素の重み付け係数に基づいて平滑化するステップとを備えている。
【００２４】
さらに、上述した目的を達成するための第４の発明によれば、水平方向および垂直方向に沿った複数の画素から構成された２次元ブロック単位で画像を処理する際に生じるブロックノイズを除去する処理を実行するためのコンピュータが読取り可能な記憶媒体であって、前記各ブロックの中心に対する当該各ブロック内の各画素と当該各画素に対して垂直方向側および水平方向側にそれぞれ隣接する隣接画素との位置関係に応じて設定された前記各画素およびその隣接画素それぞれの平滑化用重み付け係数を前記コンピュータにより同記憶媒体あるいは他の記憶媒体に記憶させる手段と、前記各ブロックの各画素の画素値を、前記記憶媒体あるいは他の記憶媒体に記憶された当該各画素の平滑化用重み付け係数、前記各画素の隣接画素の画素値および前記隣接画素の重み付け係数に基づいて前記コンピュータにより平滑化させる手段とを備えている。
【００２５】
【発明の実施の形態】
本発明の実施の形態を添付図面を参照して説明する。
【００２６】
図１は、本実施形態に係わるブロックノイズ除去装置を含む画像処理システムの概略構成を示すブロック図である。
【００２７】
図１によれば、画像処理システム１は、画像撮影装置（例えば、ＴＶカメラ）等により撮影されたフレーム単位の画像（静止画像、動画像）に基づく例えばカラーの入力映像信号ＳＩ［（Ｒ、Ｇ、Ｂ）信号、復号映像信号｛輝度信号Ｙ、赤色色差信号（Ｃｒ）、青色色差信号（Ｃｂ）あるいは、輝度信号Ｙ、色信号水平周波数成分Ｕ、色信号垂直周波数成分Ｖ｝等］をディジタル形の複数（３値）の画像データ｛（Ｒ、Ｇ、Ｂ）信号に対応する（Ｒ、Ｇ、Ｂ）画像データ、上記（Ｙ、Ｃｒ、Ｃｂ）信号に対応する（Ｙ、Ｃｒ、Ｃｂ）画像データ、（Ｙ、Ｕ、Ｖ）信号に対応する（Ｙ、Ｕ、Ｖ）画像データ等）｝に変換するＡ／Ｄ変換器３と、Ａ／Ｄ変換器３に変換された複数（３値）の画像データ（以下、第１〜第３の画像データと呼ぶ）をそれぞれ記憶する複数のフレームメモリＦ１・・・Ｆ１を有する第１の記憶部４とを備えている。
【００２８】
また、画像処理システム１は、フレームメモリＦ１に記憶された第１〜第３の画像データを、それぞれ例えばフレームの垂直方向および水平方向に対応する垂直方向および水平方向に沿った画素数（ピクセル）が４である（４行４列：４×４）の２次元ブロックに領域分割し、分割した第１〜第３の画像データの各２次元画像ブロックに対して２次元直交変換（ＤＣＴ）処理および量子化処理をそれぞれ施すことにより、第１〜第３の画像データの各ブロック画像データを符号化（圧縮）する圧縮処理部６とを備えており、この圧縮処理により得られた第１の画像データに対応する第１の圧縮画像データ（符号データ）、第２の画像データに対応する第２の圧縮画像データ（符号データ）および第３の画像データに対応する第３の圧縮画像データ（符号データ）を、伝送媒体（電話回線、光ファイバ等）７を介して伝送したり、画像記憶媒体（光記憶媒体や磁気記憶媒体等）８に記憶することにより、伝送速度の向上および画像記憶媒体の記憶容量の節約等を実現している。
【００２９】
一方、画像処理システム１は、伝送媒体７を介して伝送されてきた第１〜第３の圧縮画像データ、あるいは画像記憶媒体８に記憶された第１〜第３の圧縮画像データを、上記圧縮処理部６の圧縮処理に対応する復号化処理（逆量子化処理、逆ＤＣＴ処理）により復号化することにより、ブロック単位の第１〜第３の画像データ（２次元画像ブロック）を復元し、復元した第１〜第３の画像データを第２の記憶部１０の複数のフレームメモリＦ２・・・Ｆ２にそれぞれ記憶する復号化処理部１１とを備えている。
【００３０】
そして、本実施形態の画像処理システム１は、複数のフレームメモリＦ２、Ｆ２にそれぞれ記憶された第１〜第３の画像データにそれぞれ含まれるブロックノイズを、各画像データ毎に除去するブロックノイズ除去装置１２を備えている。
【００３１】
さらに、画像処理システム１は、ブロックノイズが除去された第１〜第３の画像データを、（Ｒ、Ｇ、Ｂ）信号や復号映像信号｛（Ｙ、Ｃｒ、Ｃｂ）信号、（Ｙ、Ｕ、Ｖ）信号｝等の映像信号ＳＯに変換して出力するＤ／Ａ変換器１３とを備えている。
【００３２】
図２は、１フレーム分の画像データ（第１の画像データ、第２の画像データ、第３の画像データ）が複数の２次元ブロック（８×８の２次元ブロック）に領域分割された状態を概念的に示す図である。
【００３３】
図２によれば、１フレームの画像データは、例えば垂直方向に８個、水平方向に８個（８行８列：８×８）の複数の２次元ブロックとして構成されており、図中上から第１ブロック行：第１ブロックＢ１、第２ブロックＢ２、・・・、第８ブロックＢ８、第２ブロック行：第９ブロックＢ９、第１０ブロックＢ１０、・・・、第１６ブロックＢ１６、・・・、第８ブロック行：第５７ブロックＢ５７、第５８ブロックＢ５８、・・・、第６４ブロックＢ６４となっている。
【００３４】
ブロックノイズ除去装置１２は、図１に示すように、後述するメモリに記憶されたプログラムに従って動作して、第２の記憶部１０のフレームメモリＦ２に記憶された画像データ（第１の画像データ〜第３の画像データ）を、上記各ブロック毎に平滑化処理するための平滑化処理部（平滑化処理コンピュータ）２０と、この平滑化処理部２０の処理に必要なプログラム、データを予め記憶するとともに、平滑化処理時におけるデータを記憶するための記憶媒体（メモリ）２１とを備えている。
【００３５】
メモリ２１には、画像データの各ブロック（Ｂ１、Ｂ２、・・・、Ｂ６３、Ｂ６４）の各画素およびその各画素に垂直方向側・水平方向側にそれぞれ隣接する画素（以下、隣接画素という）それぞれに対して設定された平滑化用重み付け係数が予め記憶されており、平滑化処理部２０は、画像データの各ブロック（Ｂ１、Ｂ２、・・・、Ｂ６３、Ｂ６４）の各画素の濃度値（画素値）を、その各画素自体の画素値、メモリ２１に記憶された各画素の平滑化用重み付け係数、各画素の隣接画素の画素値およびメモリ２１に記憶された隣接画素の平滑化用重み付け係数に基づいて平滑化処理するようになっている。なお、メモリ２１には平滑化処理用のプログラムを記憶しておき、上記各画素の平滑化用重み付け係数およ隣接画素の平滑化用重み付け係数を他の記憶媒体に記憶させておくことも可能である。
【００３６】
図３は、画像データにおける、４×４（４行４列）の２次元ブロックＢｋ（ｋ＝１、２、・・・、６４）の各画素およびその２次元ブロックＢｋに隣接する他ブロックＢｋ−１、Ｂｋ−ｎ、Ｂｋ＋１、Ｂｋ＋ｎの画素をそれぞれ示す図である。
【００３７】
図３によれば、２次元ブロックＢｋの１列１行目の画素｛アドレス：Ｂｋ（１、１）｝の画素値がｐ１１に設定され、以下、Ｂｋの１列２行目の画素｛Ｂｋ（１、２）｝の画素値→ｐ１２、１列３行目の画素｛Ｂｋ（１、３）｝の画素値→ｐ１３、・・・、４列３行目画素｛Ｂｋ（４、３）｝の画素値→ｐ４３、４列４行目画素｛Ｂｋ（４、４）｝の画素値→ｐ４４にそれぞれ設定されている。
【００３８】
また、１列目の画素｛Ｂｋ（１、１）〜Ｂｋ（１、４）｝にそれぞれ隣接するブロックＢｋ−１の画素｛Ｂｋ−１（４、１）〜Ｂｋ−１（４、４）｝の画素値がｓ１〜ｓ４、１行目の画素｛Ｂｋ（１、１）〜Ｂｋ（４、１）｝にそれぞれ隣接するブロックＢｋ−ｎの画素｛Ｂｋ−ｎ（１、４）〜Ｂｋ−ｎ（４、４）｝の画素値がｔ１〜ｔ４、４列目の画素｛Ｂｋ（４、１）〜Ｂｋ（４、４）｝にそれぞれ隣接するブロックＢｋ＋１の画素｛Ｂｋ＋１（１、１）〜Ｂｋ＋１（１、４）｝の画素値がｒ１〜ｒ４、４行目の画素｛Ｂｋ（１、４）〜Ｂｋ（４、４）｝にそれぞれ隣接するブロックＢｋ＋ｎの画素｛Ｂｋ＋ｎ（１、１）〜Ｂｋ＋ｎ（４、１）｝の画素値がｂ１〜ｂ４にそれぞれ設定されている。
【００３９】
ここで、図３に示すブロックＢｋの各画素Ｂｋ（１、１）〜Ｂｋ（４、４）の隣接画素を、以下のように定義する。
【００４０】
【外１】
【外２】
【外３】
【外４】
【外５】
【外６】
【外７】
すなわち、ブロック中心点Ｏｃに隣接する画素Ｂｋ（２、２）の平滑化用重み付け係数は、他のグループの画素に設定される平滑化用重み付け係数（１／３、２／３）よりも大きくなるように設定される。
【００４８】
なお、第３の画素グループＧ３の他の画素Ｂｋ（３、２）、Ｂｋ（２、３）、Ｂｋ（３、３）の平滑化用重み付け係数、およびそれらの垂直側・水平側隣接画素の平滑化用重み付け係数も、同様の理由からそれぞれ“３／４”および“１／８”に設定される。
【００４９】
以上のようにして、全てのブロックＢｋ（ｋ＝１、２、・・・、６４）の全画素、その全画素それぞれに対応する垂直側・水平側隣接画素、すなわち、ブロックＢ１の各画素Ｂ１（１、１）〜Ｂ１（４、４）および上記各画素に対応する垂直側・水平側隣接画素、ブロックＢ２の各画素Ｂ２（１、１）〜Ｂ２（４、４）および上記各画素に対応する垂直側・水平側隣接画素、・・・、ブロックＢ６３の各画素Ｂ６３（１、１）〜Ｂ６３（４、４）および上記各画素に対応する垂直側・水平側隣接画素、ブロックＢ６４の各画素Ｂ６４（１、１）〜Ｂ６４（４、４）および上記各画素に対応する垂直側・水平側隣接画素に対してそれぞれ平滑化用重み付け係数が設定される。
【００５０】
上記全てのブロックＢｋ（ｋ＝１、２、・・・、６４）の全画素およびその全画素に対応する垂直側・水平側隣接画素に対する全ての平滑化用重み付け係数は、２次元ブロックを構成する垂直方向の画素数および水平方向の画素数が決定され、１フレームの画像データの全ての２次元ブロックが決定された際に、例えばブロックノイズ除去装置１の運用者によって、平滑化処理部２０が読取り可能なデータとして設定されるか、あるいは平滑化処理部２０の処理により自動的に設定される。
【００５１】
そして、設定された全てのブロックＢｋ（ｋ＝１、２、・・・、６４）の全画素および対応する垂直側・水平側隣接画素それぞれの平滑化用重み付け係数（平滑化用重み付け係数データ）は、対応するブロックの各画素と関連付けられてそれぞれメモリ２１に記憶される。
【００５２】
次に本実施形態に係るブロックノイズ除去装置１２の平滑化処理部２０の動作について説明する。
【００５３】
本実施形態において、画像撮影装置等により取得・生成されたフレーム画像に基づく映像信号ＳＩは、Ａ／Ｄ変換器３に入され、このＡ／Ｄ変換器３を介して第１〜第３の画像データに変換される。Ａ／Ｄ変換器３に変換された第１〜第３の画像データは、第１の記憶部４のフレームメモリＦ１・・・Ｆ１にそれぞれ記憶される。
【００５４】
そして、フレームメモリＦ１・・・Ｆ１に記憶された第１〜第３の画像データは、それぞれ圧縮処理部６により（４×４）の２次元ブロックＢ１〜Ｂ６４単位で符号化（圧縮）され、圧縮された第１の画像データに対応する第１の圧縮画像データ、第２の画像データに対応する第２の圧縮画像データおよび第３の画像データに対応する第３の圧縮画像データは、それぞれ伝送媒体７を介して伝送されるか、あるいは画像記憶媒体８に記憶される。
【００５５】
伝送媒体７を介して伝送されてきた第１〜第３の圧縮画像データ（あるいは、画像記憶媒体８に記憶された第１〜第３の圧縮画像データ)は、それぞれ上記圧縮処理に対応する（４×４）の２次元ブロック単位で復号化処理部１１により復号化（復元）され、復元された第１〜第３の画像データは、それぞれ第２の記憶部１０のフレームメモリＦ２・・・Ｆ２に記憶される。
【００５６】
このとき、ブロックノイズ除去装置１２の平滑化処理部２０は、フレームメモリＦ２・・・Ｆ２にそれぞれ記憶された第１〜第３の画像データに対してそれぞれ図６に示す処理を行なう。なお、以下の説明では、第１の画像データに対する平滑化処理について説明するが、第２の画像データおよび第３の画像データに対する平滑化処理も同様に行なわれる。
【００５７】
すなわち、平滑化処理部２０は、フレームメモリＦ２に記憶された第１の画像データにおける第１ブロック行Ｂ１〜Ｂ８の第１行目の各画素Ｂ１（１、１）、Ｂ１（２、１）、・・・、Ｂ８（３、１）、Ｂ８（４、１）の画素値を上記画素Ｂ１（１、１）から順次読み出し、第１行目の最終画素Ｂ８（４、１）の画素値を読み出した後は次の行（第２行目）に移り、対応する各画素Ｂ１（１、２）、Ｂ１（２、２）、・・・、Ｂ８（３、２）、Ｂ８（４、２）の画素値を上記画素Ｂ１（１、２）から順次読み出し、以下、各行毎に全ての画素の画素値を順次読み出す（図６；ステップＳ１）。
【００５８】
次いで、平滑化処理部２０は、読み出した各画素に関連する平滑化用重み付け係数をメモリ２１から読み出し（ステップＳ２）、各画素の画素値、各画素の平滑化用重み付け係数、各画素の垂直側隣接画素の画素値、垂直側隣接画素の平滑化用重み付け係数、各画素の水平側隣接画素の画素値および水平側隣接画素の平滑化用重み付け係数に基づいて平滑化処理を行ない、各画素の平滑化処理後の画素値を求める（ステップＳ３）。
【００５９】
すなわち、前掲図３に示すブロックＢｋ（ｋ＝１、２、・・・、６４）の各画素｛Ｂｋ（１、１）〜Ｂｋ（４、４）｝の平滑化処理後の画素値をｑ１１〜ｑ４４と設定すると、例えば、画素Ｂｋ（１、１）は第１の画像グループＧ１であるため、画素Ｂｋ（１、１）、画素Ｂｋ（１、１）の垂直側隣接画素Ｂｋ―ｎ（１、４）および水平側隣接画素Ｂｋ―１（４、１）それぞれの平滑化用重み付け係数は“１／３”であり、平滑化処理部２０は、画素Ｂｋ（１、１）の平滑化処理後の画素値ｑ１１を、画素Ｂｋ（１、１）の画素値ｐ１１、垂直側隣接画素Ｂｋ―ｎ（１、４）の画素値ｔ１、および水平側隣接画素Ｂｋ―１（４、１）の画素値ｓ１に基づいて下式
【数１１】
ｑ１１＝（１／３）・（ｐ１１＋ｔ１＋ｓ１）
により求める。
【００６０】
第１画素グループＧ１の他の画素Ｂｋ（４、１）、Ｂｋ（１、４）、Ｂｋ（４、４）の平滑処理後の画素値ｑ４１、ｑ１４、ｑ４４についても、画素Ｂｋ（１、１）の場合と同様に、下式
【数１２】
【００６１】
【外８】
【数１３】
ｑ２１＝（１／３）・（２ｐ２１＋ｔ２）
により求める（画素値ｐ１１の平滑化重み付け係数は“０”であるため、画素値ｐ１１の項は消える）。
【００６３】
第２画素グループＧ２における対応するベクトルの“垂直成分＞水平成分”である他の画素Ｂｋ（３、１）、Ｂｋ（２、４）、Ｂｋ（３、４）の平滑処理後の画素値ｑ３１、ｑ２４、ｑ３４についても、画素Ｂｋ（２、１）の場合と同様に、下式
【数１４】
【００６４】
また、第２画素グループＧ２における対応するベクトルの“水平成分＞垂直成分”である他の画素Ｂｋ（１、２）、Ｂｋ（１、３）、Ｂｋ（４、２）、Ｂｋ（４、３）の平滑処理後の画素値ｑ１２、ｑ１３、ｑ４２、ｑ４３については、垂直側平滑化用重み付け係数が“０”、水平側平滑化用重み付け係数が“１／３”になり、それぞれ下式
【数１５】
【００６５】
他方、例えば、画素Ｂｋ（２、２）は第３の画像グループＧ３であるため、画素Ｂｋ（２、２）の平滑化用重み付け係数は、“３／４”、画素Ｂｋ（２、２）の垂直側隣接画素Ｂｋ（２、１）および水平側隣接画素Ｂｋ（１、２）それぞれの平滑化用重み付け係数は“１／８”であり、平滑化処理部２０は、画素Ｂｋ（２、２）の平滑化処理後の画素値ｑ２２を、画素Ｂｋ（２、２）の画素値ｐ２２、垂直側隣接画素Ｂｋ（２、１）の画素値ｐ２１、および水平側隣接画素Ｂｋ（１、２）の画素値ｐ１２に基づいて下式
【数１６】
【００６６】
第３画素グループＧ３の他の画素Ｂｋ（３、２）、Ｂｋ（２、３）、Ｂｋ（３、３）の平滑処理後の画素値ｑ３２、ｑ２３、ｑ３３についても、画素Ｂｋ（２、２）の場合と同様に、下式
【数１７】
【００６７】
なお、第１の画像データにおいて、最も外側に配置されたブロック（Ｂ１〜Ｂ８、Ｂ９、Ｂ１６、Ｂ１７、Ｂ２４、Ｂ２５、Ｂ３２、Ｂ３３、Ｂ４０、Ｂ４１、Ｂ４８、Ｂ４９、Ｂ５６、Ｂ５７、Ｂ５８〜Ｂ６４）における垂直側隣接画素、水平側隣接画素が存在しない画素｛例えば、ブロックＢ１の画素Ｂ１（１、１）〜画素Ｂ１（４、１）等｝については、上記存在しない隣接画素の画素値を自画素と同一の値として上記式に基づく演算を行なうようになっている。
【００６８】
例えば、画素Ｂ１（１、１）においては、垂直側画素および水平側画素の何れも存在しないため、垂直側画素の画素値ｔ１および水平側画素の画素値ｓ１を何れも自画素Ｂ１（１、１）の画素値ｐ１１として、上式
【数１８】
ｑ１１＝（１／３）・（ｐ１１＋ｐ１１＋ｐ１１）
を用いて画素Ｂ１（１、１）の平滑化後の画素値ｑ１１を求める。
【００６９】
そして、平滑化処理部２０は、上述した処理により求められた平滑化処理後の画素Ｂｋ（１、１）〜画素Ｂｋ（４、４）の画素値ｑ１１〜ｑ４４を、フレームメモリＦ２における対応する画素Ｂｋ（１、１）｛アドレスＢｋ（１、１）｝〜Ｂｋ（４、４）｛アドレスＢｋ（４、４）｝にそれぞれ書き込み、各画素Ｂｋ（１、１）〜Ｂｋ（４、４）の画素値を、ｐ１１〜ｐ４４からｑ１１〜ｑ４４にそれぞれ書き換える（ステップＳ４）。
【００７０】
この結果、第１のフレーム画像データを構成する各２次元ブロックＢｋ（ｋ＝１、２、・・・、６４）全体、すなわち、各ブロックＢｋ（ｋ＝１、２、・・・、６４）の全ての画素が、対応する垂直側隣接画素および水平側隣接画素により平滑化され、隣接するブロック間の境界部分を含む各ブロック内の各画素の隣接画素に対する階調差が抑制される。この結果、上記階調差に伴う輝度差・色差等がなめらかになり、この輝度差・色差等に起因したブロックノイズが除去される。
【００７１】
ブロックノイズ除去装置１２は、上述した平滑化処理を、フレームメモリＦ２に記憶された第２〜第３の画像データに対しても同様に行なっているため、第２のフレーム画像データを構成する各ブロックＢｋ（ｋ＝１、２、・・・、６４）の全ての画素、および第３のフレーム画像データを構成する各ブロックＢｋ（ｋ＝１、２、・・・、６４）の全ての画素が、それぞれ対応する垂直側隣接画素および水平側隣接画素により平滑化され、各ブロック内の各画素の隣接画素に対する階調差が抑制される。この結果、上記階調差に伴う色変化がなめらかになり、階調差に起因したブロックノイズが除去される。
【００７２】
上述したように、ブロックノイズが除去された状態でフレームメモリＦ２、Ｆ２にそれぞれ記憶された第１の画像データ〜第３の画像データは、Ｄ／Ａ変換器１３に送られ、このＤ／Ａ変換器１３のＤ／Ａ変換処理により映像信号ＳＯとして出力される。
【００７３】
この結果、出力された映像信号ＳＯを例えばディスプレイ等に表示すれば、映像信号ＳＯに基づく表示画像には、ブロック間の階調差に起因したブロックノイズ（輝度差・色変化等）が消滅しており、圧縮・復元した画像の画質を向上させることができる。
【００７４】
そして、本実施形態では、画像全体を単純に平滑化する処理を行なわずに、復元した画像から上記ブロックノイズを除去することができるため、復元画像中の輪郭を暈けさせることがなく、復元画像の画質を高く維持することができる。
【００７５】
さらに、本実施形態では、ブロック境界部分のみを平滑化せずにブロック全体を平滑化の対象としているため、復元画像中に、平滑化領域と平滑化していない領域との間の境界差に起因した境界ノイズを発生させることがなく、復元画像を非常に自然な見え具合にすることができる。
【００７６】
そして、本実施形態では、ブロック全体を平滑化の対象としているものの、ブロック全体（全ての画素）を、共通の重み付け係数を用いて単純に平均化するのではなく、ブロック内の各画素のブロック中心に対する位置関係に応じて最適に設定された重み付け係数を用いて、垂直側隣接画素（１画素）および水平側隣接画素（１画素）により平滑化しているため、平滑化に伴う暈けの量も１画素程度と最低限に抑制することができ、復元画像の画質および輪郭部分等の視認性を向上させることができる。
【００７７】
また、例えば、大きなグラディエーション（傾き）が大きな範囲で出ているブロックを有する画像の場合においても、上記グラディエーションは、なめらかな輝度変化・色変化で表示されることになり、復元画像の画質および視認性をさらに向上させることができる。
【００７８】
なお、本実施形態によれば、フレーム画像データの全ての画素に対して、垂直側隣接画素（１画素）および水平側隣接画素（１画素）に基づく平滑化処理を実行しているため、画像に含まれる輪郭が、最低限度（１画素分）だけ暈ける結果となる。
【００７９】
したがって、演算対象となる各画素の画素値およびその各画素に対する隣接画素の画素値間の差の絶対値が、所定の閾値（ブロック間の輝度、色の差等よりも大きく、輪郭を識別できる所定の値）Ｎよりも大きい場合には、その画素および隣接画素間を、画像に含まれる物体の輪郭としてみなし、平滑化の対象にはしないこともできる。
【００８０】
すなわち、平滑化処理部２０は、上記ステップＳ２の処理に続いて、例えば第１の画素グループＧ１の平滑化対象画素（例えば、Ｂｋ（１、１））に対して、垂直側隣接画素Ｂｋ―ｎ（１、４）および水平側隣接画素Ｂｋ―１（４、１）を用いて平滑化する際に、画素Ｂｋ（１、１）の画素値ｐ１１と各隣接画素Ｂｋ―ｎ（１、４）の画素値ｔ１およびＢｋ―１（４、１）の画素値ｓ１との差の絶対値｜ｐ１１−ｔ１｜および｜ｐ１１−ｓ１｜をそれぞれ求め（図７；ステップＳ２ａ）、求めた差の絶対値｜ｐ１１−ｔ１｜および｜ｐ１１−ｓ１｜がメモリ２１に記憶された上記閾値Ｎを超えているか否か判断する（ステップＳ２ｂ）。
【００８１】
この判断の結果、上記差の絶対値｜ｐ１１−ｔ１｜および｜ｐ１１−ｓ１｜の内の何れか一方が閾値Ｎを超えている場合（ステップＳ２ｂ→ＹＥＳ）、平滑化処理部２０は、閾値Ｎを超えた差の絶対値（例えば、｜ｐ１１−ｔ１｜が超えたとする）に係わる隣接画素（Ｂｋ―ｎ（１、４））の画素値ｔ’１を、平滑化対象画素Ｂｋ（１、１）の画素値ｐ１１とみなし（ステップＳ２ｃ）、ステップＳ３の処理、すなわち、平滑化対象画素Ｂｋ（１、１）の平滑化処理後の画素値ｑ１１を、画素Ｂｋ（１、１）の画素値ｐ１１、垂直側隣接画素Ｂｋ―ｎ（１、４）の画素値ｔ’１（＝ｐ１１）、および水平側隣接画素Ｂｋ―１（４、１）の画素値ｓ１に基づいて下式
【数１９】
ｑ１１＝（１／３）・（ｐ１１＋ｔ’１＋ｓ１）
により求める（ステップＳ３ａ）。
【００８２】
上記ステップＳ２ｃおよび３ａの処理は、平滑化対象画素と隣接画素との差の絶対値の内の何れか一方が閾値Ｎを超えている全ての画素に対して行なわれる。
【００８３】
一方、平滑化処理部２０は、ステップＳ３ｂの判断の結果、上記差の絶対値｜ｐ１１−ｔ１｜および｜ｐ１１−ｓ１｜の内の何れも閾値Ｎを超えていない場合（ステップＳ２ｂ→ＮＯ）、平滑化処理部２０は、上述したステップＳ３の処理に移行する。この移行は、ステップＳ２ｂによりＮＯと判断された全ての平滑化対象画素に対して行なわれる。
【００８４】
この結果、平滑化対象画素と隣接画素との差の絶対値が閾値Ｎを超えている隣接画素の画素値は、画素内の輪郭とみなして上記平滑化処理には用いられず、上記平滑化処理には平滑化対象画素の画素値を代用することができる。
【００８５】
したがって、画像内の輪郭部分においては暈けが全く、すなわち１画素分でさえも発生することがなくなり、さらに画質を向上させることができる。
【００８６】
なお、本実施形態においては、圧縮・復元処理するブロックを（４画素×４画素）の２次元ブロックとしたが、本発明はこれに限定されるものではなく、（画素×８画素）の２次元ブロックを用いた場合においても、同様のブロックノイズ除去処理を行なうことができる。
【００８７】
図８は、画像データにおける、８×８（８行８列）の２次元ブロックＣｋの各画素およびその２次元ブロックＣｋにおける左上１／４の画素およびその２次元ブロックＣｋに隣接する他ブロックＣｋ−１、Ｃｋ−ｎの画素をそれぞれ示す図である。
【００８８】
図８においても、図３と同様に、２次元ブロックＣｋの１列１行目の画素｛Ｃｋ（１、１）｝の画素値→ｐ１１、画素｛Ｃｋ（１、２）｝の画素値→ｐ１２、画素｛Ｃｋ（１、３）｝の画素値→ｐ１３、・・・、画素｛Ｃｋ（４、４）｝の画素値→ｐ４４、画素｛Ｃｋ（４、５）｝の画素値→ｐ４５、・・・、画素｛Ｃｋ（５、１）｝の画素値→ｐ５１、画素｛Ｃｋ（５、２）｝の画素値→ｐ５２、・・・、画素｛Ｃｋ（８、７）｝の画素値→ｐ８７、画素｛Ｃｋ（８、８）｝の画素値→ｐ８８にそれぞれ設定されている。
【００８９】
また、１列目の画素｛Ｃｋ（１、１）〜Ｃｋ（１、８）｝にそれぞれ隣接するブロックＣｋ−１の画素｛Ｃｋ−１（８、１）〜Ｂｋ−１（８、８）｝の画素値がｓ１〜ｓ８、１行目の画素｛Ｃｋ（１、１）〜Ｃｋ（８、１）｝にそれぞれ隣接するブロックＣｋ−ｎの画素｛Ｃｋ−ｎ（１、８）〜Ｃｋ−ｎ（８、８）｝の画素値がｔ１〜ｔ８にそれぞれ設定されている。
【００９０】
【外９】
【外１０】
【外１１】
【外１２】
【外１３】
【外１４】
【外１５】
【外１６】
そして、第３の画素グループＧ３における対応する各ベクトルの垂直成分と水平成分との大きさが等しい画素｛Ｃｋ（２、２）、Ｃｋ（３、３）、Ｃｋ（４、４）｝におけるブロック中心点Ｏｃに隣接しない画素Ｃｋ（２、２）、Ｃｋ（３、３）については、画素Ｃｋ（２、２）、Ｃｋ（３、３）の重み付け係数の総和をそれぞれ“１”にすることを考慮して、画素Ｃｋ（２、２）、画素Ｃｋ（３、３）の平滑化用重み付け係数を“４／６”、垂直側・水平側の隣接画素の平滑化用重み付け係数を共に“１／６”にそれぞれ設定する。
【００９９】
一方、各ベクトルの垂直成分と水平成分との大きさが等しい画素におけるブロック中心点Ｏｃに隣接する画素Ｃｋ（４、４）については、第３のグループＧ３内において最もブロック中心点Ｏｃに近接する画素であるため、隣接画素の影響を最も受けないと判断し、上記画素Ｃｋ（４、４）の重み付け係数の総和を“１”にすることを考慮して、画素Ｃｋ（４、４）の平滑化用重み付け係数を“１”、垂直側・水平側の隣接画素の平滑化用重み付け係数を共に“０”に設定する。
【０１００】
すなわち、ブロック中心点Ｏｃに隣接する画素Ｃｋ（４、４）の平滑化用重み付け係数は、他のグループの画素に設定される平滑化用重み付け係数（１／３、２／３）および第３グループの他の画素に設定される平滑化用重み付け係数（４／６、５／６）よりも大きくなるように設定される。
【０１０１】
なお、図８に示す左上１／４の領域以外の残りの領域のブロックＣｋの各画素の平滑化用重み付け係数についても、上述した左上１／４の領域の各画素に設定された方式と同一の方式によりそれぞれ設定される。
【０１０２】
このように設定されたブロックＣｋの平滑化用重み付け係数を用いて、（４×４）のブロックＢｋと同様の平滑化処理により、各２次元ブロックＣｋ（ｋ＝１、２、・・・、６４）全体、すなわち、各ブロックＣｋ（ｋ＝１、２、・・・、６４）の全ての画素が、対応する垂直側隣接画素および水平側隣接画素により平滑化され、隣接するブロック間の境界部分を含む各ブロック内の各画素の隣接画素に対する階調差が抑制されるため、（４×４）ブロックＢｋを用いた場合と同様の効果が得られる。
【０１０３】
そして、本実施形態においては、複数の画像データ（Ｒ、Ｇ、Ｂデータや輝度・色データ）の双方に対してブロックノイズ除去処理を行なっているが、どちらか一方に対してのみ行なってもよい。
【０１０４】
また、対象となる画像を、Ｒ、Ｇ、Ｂ信号や輝度・色信号から成るカラー画像としているが、輝度信号のみから成る白黒画像を対象とすることも可能である。
【０１０５】
さらに、本実施形態においては、各画素に対する平滑化処理を画像のコントラストを判断しながら行なうこともでき、また、各画素に対して平滑化処理を実行した後に、エッジエンハンスフィルタリング処理（エッジ強調処理；シャープ化、微分化）を行なうことも可能であり、さらに、輪郭成分が強調化・シャープ化された画像を得ることができる。
【０１０６】
本実施形態においては、ブロックノイズ除去装置１２を、メモリ２１に記憶されたプログラムに従って動作する平滑化処理部(平滑化処理コンピュータ）により構成したが、本発明はこれに限定されるものではなく、ラッチ回路、ディレイ回路および係数乗算器等から構成されたハードワイヤードロジック型のディジタル回路により構成してもよい。
【０１０７】
【発明の効果】
以上述べたように、本発明のブロックノイズ除去方法、ブロックノイズ除去装置およびコンピュータが読取り可能な記憶媒体によれば、ブロック境界部分のみを平滑化せずに、ブロック全体の各画素を平滑化しているため、上記ブロック境界部分のみを平滑化する方法を用いた際における平滑化領域と平滑化していない領域との間の境界差に起因した境界ノイズを発生させることがなく、復元画像の画質を向上させ、その見えやすさを非常に自然なものとすることができる。
【０１０８】
そして、本発明のブロックノイズ除去方法、ブロックノイズ除去装置およびコンピュータが読取り可能な記憶媒体によれば、ブロック全体（全ての画素）を、ブロック内の各画素のブロック中心に対する位置関係に応じて最適に設定された重み付け係数と、１画素分の垂直側隣接画素および水平側隣接画素とを用いて平滑化しているため、平滑化に伴う暈けの量も１画素程度と最低限に抑制することができ、復元画像の画質および輪郭部分等の視認性を向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るブロックノイズ除去装置を含む画像処理システムの概略構成を示すブロック図。
【図２】１フレーム分の画像データが複数の２次元ブロック（８×８の２次元ブロック）に領域分割された状態を概念的に示す図。
【図３】４×４の２次元ブロックの各画素およびその２次元ブロックに隣接する他ブロックの画素をそれぞれ示す図。
【図４】本実施形態における第１および第２の画素グループの画素に対する隣接画素およびその隣接画素のブロック中心からの位置関係をそれぞれ示す図。
【図５】本実施形態における第３の画素グループの画素に対する隣接画素およびその隣接画素のブロック中心からの位置関係を示す図。
【図６】図１に示す平滑化処理部の平滑化処理の一例を示す概略フローチャート。
【図７】本実施形態の変形例に係わる平滑化処理部の処理の一例を示す概略フローチャート。
【図８】本実施形態の変形例として、８×８の２次元ブロック（左上１／４）の各画素およびその２次元ブロックに隣接する他ブロックの画素をそれぞれ示す図。
【符号の説明】
１ 画像処理システム
３ Ａ／Ｄ変換器
４ 第１の記憶部
６ 圧縮処理部
７ 伝送媒体
８ 画像記憶媒体
１０ 第２の記憶媒体
１１ 復号化処理部
１２ ブロックノイズ除去装置
１３ Ｄ／Ａ変換器
２０ 平滑化処理部
２１ メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention is for removing block noise generated when, for example, compression (encoding) processing / decompression (decoding) processing is performed on an image in units of blocks composed of a plurality of pixels along the horizontal and vertical directions. The present invention relates to a block noise removal method, a block noise removal apparatus, and a computer-readable storage medium.
[0002]
[Prior art]
Due to the rapid development of the multimedia society in recent years, opportunities to handle image information in addition to document information and the like are greatly increasing. Assuming that this image information is digitized as it is, for example, for communication or storage, it is necessary to communicate and store an enormous amount of information (data amount) as compared with the case of digitizing document information and the like for communication and storage. By compressing and communicating and storing a digitized image (image data), it is possible to reduce the image data communication time and the image data storage capacity (memory capacity).
[0003]
As the image compression processing (image encoding processing) method / method, encoding based on two-dimensional discrete cosine transform (DCT) is often used.
[0004]
That is, when encoding using this DCT, as a preprocessing, a digital image (image data) of one frame is converted into, for example, N × N blocks each composed of N pixels in the horizontal and vertical directions. Divide the area. The image data is encoded (compressed) by performing two-dimensional orthogonal transform (DCT) processing and quantization processing on each image block constituting the image data.
[0005]
Further, the image data can be decoded (restored) by performing inverse quantization processing and inverse DCT processing on the encoded image data in units of blocks.
[0006]
[Problems to be solved by the invention]
However, in the conventional image compression processing method for compressing an image in units of blocks, since the image is processed in units of blocks, a gradation difference occurs at the boundary between adjacent blocks. As a result, so-called block noise is generated in which a boundary portion (brightness difference / color difference) between the blocks in the demodulated image becomes noticeable.
[0007]
Therefore, it is necessary to remove the block noise when using the block-unit image compression processing method.
[0008]
In this regard, conventionally, the block noise at the block boundary portion is removed by smoothing the entire image.
[0009]
However, in the block noise removal method by the above-described smoothing of the entire image, the entire image is lost, and as a result, there is a problem that even the contour in the image can be lost.
[0010]
Therefore, a method has been devised in which only adjacent pixels are averaged across a boundary between adjacent blocks to remove block noise at the block boundary portion.
[0011]
However, in this block noise removal method using the boundary pixel averaging between blocks, only adjacent pixels across the boundary between blocks are averaged. A new boundary is generated between the pixel corresponding to the region) and the region not subjected to the averaging process (pixels other than the edge region of the block; the central region of the block). The restored image is difficult to see due to noise (hereinafter referred to as boundary noise).
[0012]
The present invention has been made in view of the above-described circumstances, and block noise that can remove block noise without generating an entire image and generating boundary noise when using an image compression processing method in units of blocks. A removal method, a block noise removal apparatus, and a computer-readable storage medium.
[0013]
[Means for Solving the Problems]
According to the first invention for achieving the above-mentioned object, block noise for removing block noise generated when an image is processed in units of two-dimensional blocks composed of a plurality of pixels along the horizontal direction and the vertical direction. In the removing device, each of the pixels set in advance according to a positional relationship between each pixel in each block with respect to the center of each block and adjacent pixels adjacent to each pixel on the vertical direction side and the horizontal direction side respectively. Storage means for storing a smoothing weighting coefficient for each pixel and its neighboring pixels, and pixel values of each pixel in each block, the smoothing weighting coefficients for each pixel stored in the storage means, and each pixel Smoothing means for smoothing based on the pixel value of the adjacent pixel and the weighting coefficient of the adjacent pixel.
[0014]
In the first invention, the smoothing weighting coefficients of each of the pixels and the adjacent pixels thereof are set along the length of the line segment connecting the center of each block and the center of each pixel in the block, and the line segment. Setting means for setting based on the vertical component and the horizontal component of the vector extending in the direction away from the center of each pixel.
[0015]
In the first invention, when the vertical component and the horizontal component of the vector extending in the direction away from the center of each pixel have the same magnitude, the setting means sets the smoothing weighting coefficients of the adjacent pixels to the same value. If either one of the vertical component and horizontal component of the vector is set larger, the smoothing weighting coefficient of the adjacent pixel having the larger component is set to be greater than the smoothing weighting coefficient of the adjacent pixel having the smaller component. Is a means of setting a larger value.
[0016]
1st invention WHEREIN: The 2nd pixel corresponding to the edge | side of each said block except the 1st pixel group corresponding to the corner part of each said block, and this pixel group is comprised of the several pixel which comprises each said block. And a third pixel group other than the first and second pixel groups, and a pixel value of each pixel of the first pixel group is a 0 , A pixel value of an adjacent pixel of each pixel is a 1 And a 2 When the pixel value of each pixel of the first pixel group after smoothing is defined as a, the setting means sets both the smoothing weighting coefficients of each pixel and adjacent pixels to 1/3, The smoothing processing means includes a pixel value a of each pixel of the first pixel group in each block. 0 , Pixel value a of the adjacent pixel 1 ・ A 2 And using the smoothing
[Formula 6]
a = (1/3) * (a 0 + A 1 + A 2 )
Is a means for obtaining a pixel value a of each pixel by executing a smoothing process based on.
[0017]
In the first invention, the pixel value of each pixel of the second pixel group is b 0 , The pixel value of the first adjacent pixel on the larger component side among the adjacent pixels of each pixel is b 1 , The pixel value of the second adjacent pixel on the smaller component side is b 2 If the pixel value of each pixel of the second pixel group after smoothing is defined as b, the setting means , The smoothing weighting coefficients of the first and second neighboring pixels are set to 2/3, 1/3 and 0, respectively, and the smoothing processing means is configured to determine the second pixel group in each block. Pixel value b of each pixel 0 , Pixel value b of the first adjacent pixel 1 Using the smoothing
[Expression 7]
b = (1/3) * (2b 0 + B 1 )
Is a means for obtaining a pixel value b of each pixel by executing a smoothing process based on the above.
[0018]
In the first invention, the pixel value of each pixel of the third pixel group is expressed as c. 0 , The pixel value of the adjacent pixel of each pixel is c 1 And c 2 When the pixel value of each pixel of the third pixel group after smoothing is defined as c, one of the vertical component and the horizontal component of the vector extending in the direction away from the center of each pixel is large The pixel value of the first adjacent pixel on the larger side of the component is c 1 , The pixel value of the second adjacent pixel on the smaller component side is c 2 Then, the setting means sets the smoothing weighting coefficients of the pixels and the first and second adjacent pixels to 5/6, 1/6 and 0, respectively, and the smoothing processing means Pixel value c of each pixel of the third group in each block 0 , Pixel value c of the first adjacent pixel 1 And the smoothing
[Equation 8]
c = (1/6) * (5c 0 + C 1 )
Is performed to obtain the pixel value c of each pixel, while the vertical component and horizontal component of the vector extending in the direction away from the center of each pixel have the same magnitude, and each pixel is the block When not adjacent to the center, the setting means sets the smoothing weighting coefficients of the pixels and adjacent pixels to 4/6 and 1/6, respectively, and the smoothing processing means Pixel value c of each pixel in the third group 0 , Pixel value c of the adjacent pixel 1 ・ C 2 And the smoothing
[Equation 9]
c = (1/6) * (4c 0 + C 1 + C 2 )
Is performed to obtain a pixel value c of each pixel, and the vertical component and horizontal component of the vector extending in the direction away from the center of each pixel have the same magnitude, and each pixel is the block When adjacent to the center, the smoothing weighting coefficient of each pixel adjacent to the center of the block is set to the smoothing weighting coefficient set for each pixel of the first and second groups and the third group. This is a means for setting a value larger than the smoothing weighting coefficient set for other pixels.
[0019]
In the first invention, when the number of pixels along the horizontal direction and the vertical direction is 4, and each of the two-dimensional blocks is a block composed of (4 × 4) pixels, the setting means causes the third Each pixel adjacent to the block center of the group and the smoothing weighting coefficient of the adjacent pixel are set to 3/4 and 1/8, respectively, and the smoothing processing means is arranged at the block center of the third group in each block. Pixel value c of each adjacent pixel 0 , Pixel value c of the adjacent pixel 1 ・ C 2 And the smoothing
[Expression 10]
c = (1/8) * (6c 0 + C 1 + C 2 )
The pixel value c of each pixel is obtained by performing a smoothing process based on, and the number of pixels along the horizontal and vertical directions is 8, and each two-dimensional block is composed of (8 × 8) pixels. In the case of a block, the setting means sets the smoothing weighting coefficients of the pixels adjacent to the block center of the third group and the adjacent pixels to 1 and 0, respectively, and the smoothing processing means Pixel value c of each pixel adjacent to the block center of the third group in the block 0 And the pixel value c based on the smoothing
[0020]
According to the second invention for achieving the above-described object, block noise for removing block noise generated when an image is processed in units of two-dimensional blocks composed of a plurality of pixels along the horizontal direction and the vertical direction. In the removing device, each of the pixels set in advance according to a positional relationship between each pixel in each block with respect to the center of each block and adjacent pixels adjacent to each pixel on the vertical direction side and the horizontal direction side respectively. A storage means for storing a smoothing weighting coefficient for each of the pixel and its adjacent pixels and storing a preset threshold value for identifying the contour, between the pixel value of each pixel of each block and the pixel value of the adjacent pixel A determination means for determining an absolute value of the difference between the two and determining whether or not the absolute value of the calculated difference exceeds the threshold value; The pixel value of the adjacent pixel determined to exceed the pixel value is regarded as the pixel value of each pixel, and the pixel value of each pixel is the weighting coefficient for smoothing the pixel stored in the storage unit, Smoothing means for smoothing based on the pixel value and the weighting coefficient of the adjacent pixel.
[0021]
In the first and second inventions, the number of pixels along the horizontal direction and the vertical direction is 4, and each of the two-dimensional blocks is a block composed of (4 × 4) pixels.
[0022]
In the first and second inventions, the number of pixels along the horizontal direction and the vertical direction is 8, and each of the two-dimensional blocks is a block composed of (8 × 8) pixels.
[0023]
According to the third invention for achieving the above-mentioned object, block noise for removing block noise generated when an image is processed in units of two-dimensional blocks composed of a plurality of pixels along the horizontal and vertical directions. In the removal method, each pixel and its pixel are determined according to the positional relationship between each pixel in each block with respect to the center of each block and adjacent pixels adjacent to each pixel on the vertical and horizontal sides. A step of setting a smoothing weighting coefficient for each of the adjacent pixels, a step of storing the smoothing weighting coefficient set for each of the pixels and each of the adjacent pixels in a memory, and a pixel value of each of the pixels of each block , The smoothing weighting coefficient of each pixel stored in the memory, the pixel value of the neighboring pixel of each pixel, and the neighboring pixel And a step of smoothing on the basis of the observed marked coefficient.
[0024]
Furthermore, according to the fourth invention for achieving the above-described object, block noise generated when an image is processed in units of two-dimensional blocks composed of a plurality of pixels along the horizontal direction and the vertical direction is removed. A computer-readable storage medium for executing processing, wherein each pixel in each block with respect to the center of each block, and adjacent pixels adjacent to each pixel in the vertical direction side and the horizontal direction side, respectively Means for storing the smoothing weighting coefficients of each of the pixels and their adjacent pixels set in accordance with the positional relationship with each other in the same storage medium or another storage medium, and the pixels of each pixel of each block The value is a weighting coefficient for smoothing each pixel stored in the storage medium or another storage medium, and the pixel adjacent to each pixel. And a means for smoothing the and the on the basis of the weighting coefficients of the neighboring pixels computer.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the accompanying drawings.
[0026]
FIG. 1 is a block diagram showing a schematic configuration of an image processing system including a block noise removing apparatus according to the present embodiment.
[0027]
According to FIG. 1, the
[0028]
Further, the
[0029]
On the other hand, the
[0030]
The
[0031]
Furthermore, the
[0032]
FIG. 2 shows a state in which image data for one frame (first image data, second image data, and third image data) is divided into a plurality of two-dimensional blocks (8 × 8 two-dimensional blocks). FIG.
[0033]
According to FIG. 2, one frame of image data is configured as a plurality of two-dimensional blocks, for example, eight in the vertical direction and eight in the horizontal direction (8 rows and 8 columns: 8 × 8). To first block row: first block B1, second block B2,..., Eighth block B8, second block row: ninth block B9, tenth block B10,..., Sixteenth block B16,. .. Eighth block row: 57th block B57, 58th block B58,..., 64th block B64.
[0034]
As shown in FIG. 1, the block noise removing device 12 operates according to a program stored in a memory, which will be described later, and stores image data (first image data to 1st image data) stored in the frame memory F2 of the second storage unit 10. A smoothing processing unit (smoothing processing computer) 20 for smoothing the third image data) for each block, and a program and data necessary for the processing of the smoothing
[0035]
In the
[0036]
FIG. 3 shows each pixel of a 4 × 4 (4 rows × 4 columns) two-dimensional block Bk (k = 1, 2,..., 64) and other blocks Bk adjacent to the two-dimensional block Bk in the image data. It is a figure which shows the pixel of -1, Bk-n, Bk + 1, and Bk + n, respectively.
[0037]
According to FIG. 3, the pixel value of the pixel {address: Bk (1, 1)} in the first column and first row of the two-dimensional block Bk is p. 11 In the following, the pixel value of the pixel {Bk (1,2)} in the first column and second row of Bk → p 12 Pixel value of pixel {Bk (1,3)} in the first column and third row → p 13 ,..., Pixel value of fourth column, third row pixel {Bk (4, 3)} → p 43 Pixel value of fourth column, fourth row pixel {Bk (4,4)} → p 44 Respectively.
[0038]
Further, the pixels {Bk-1 (4,1) to Bk-1 (4,4) of the block Bk-1 adjacent to the pixels {Bk (1,1) to Bk (1,4)} in the first column, respectively. } Pixel value is s 1 ~ S 4 Pixels {Bk-n (1, 4) to Bk-n (4, 4)} of blocks Bk-n adjacent to the pixels {Bk (1, 1) to Bk (4, 1)} in the first row, respectively. The pixel value of is t 1 ~ T 4 The pixel values of the pixels {Bk + 1 (1, 1) to Bk + 1 (1, 4)} of the block Bk + 1 adjacent to the pixels {Bk (4, 1) to Bk (4, 4)} in the fourth column are r. 1 ~ R 4 The pixel values of the pixels {Bk + n (1, 1) to Bk + n (4, 1)} of the block Bk + n adjacent to the pixels {Bk (1, 4) to Bk (4, 4)} in the fourth row are b. 1 ~ B 4 Respectively.
[0039]
Here, the adjacent pixels of the pixels Bk (1, 1) to Bk (4, 4) of the block Bk shown in FIG. 3 are defined as follows.
[0040]
[Outside 1]
[Outside 2]
[Outside 3]
[Outside 4]
[Outside 5]
[Outside 6]
[Outside 7]
That is, the smoothing weighting coefficient of the pixel Bk (2, 2) adjacent to the block center point Oc is larger than the smoothing weighting coefficient (1/3, 2/3) set for the pixels of other groups. Is set to be
[0048]
The smoothing weighting coefficients of the other pixels Bk (3, 2), Bk (2, 3), Bk (3, 3) of the third pixel group G3, and the vertical and horizontal side neighboring pixels The smoothing weighting coefficients are also set to “3/4” and “1/8” for the same reason.
[0049]
As described above, all the pixels of all the blocks Bk (k = 1, 2,..., 64), the vertical and horizontal adjacent pixels corresponding to each of the pixels, that is, each pixel B1 of the block B1. (1, 1) to B1 (4, 4) and the vertical and horizontal adjacent pixels corresponding to each of the pixels, the pixels B2 (1, 1) to B2 (4, 4) of the block B2, and the pixels Corresponding vertical and horizontal adjacent pixels,..., Each pixel B63 (1, 1) to B63 (4, 4) of the block B63, and vertical and horizontal adjacent pixels corresponding to each of the above pixels, the block B64 A smoothing weighting coefficient is set for each of the pixels B64 (1, 1) to B64 (4, 4) and the vertical and horizontal adjacent pixels corresponding to the pixels.
[0050]
All the smoothing weighting factors for all the pixels of all the blocks Bk (k = 1, 2,..., 64) and the vertical and horizontal adjacent pixels corresponding to all the pixels constitute a two-dimensional block. When the number of pixels in the vertical direction and the number of pixels in the horizontal direction are determined and all the two-dimensional blocks of the image data of one frame are determined, the smoothing
[0051]
The smoothing weighting coefficients (smoothing weighting coefficient data) of all the pixels of all the set blocks Bk (k = 1, 2,..., 64) and the corresponding vertical / horizontal adjacent pixels. Are stored in the
[0052]
Next, the operation of the smoothing
[0053]
In the present embodiment, the video signal SI based on the frame image acquired / generated by the image capturing device or the like is input to the A /
[0054]
The first to third image data stored in the frame memories F1... F1 are encoded (compressed) in units of (4 × 4) two-dimensional blocks B1 to B64 by the
[0055]
The first to third compressed image data transmitted through the transmission medium 7 (or the first to third compressed image data stored in the image storage medium 8) respectively correspond to the above compression processing ( 4 × 4) two-dimensional block units are decoded (restored) by the decoding processing unit 11, and the restored first to third image data are respectively stored in the frame memory F2 of the second storage unit 10. Stored in F2.
[0056]
At this time, the smoothing
[0057]
That is, the smoothing
[0058]
Next, the smoothing
[0059]
That is, the pixel value after the smoothing process of each pixel {Bk (1, 1) to Bk (4, 4)} of the block Bk (k = 1, 2,..., 64) shown in FIG. 11 ~ Q 44 For example, since the pixel Bk (1, 1) is the first image group G1, the pixel Bk (1, 1) and the pixel Bk (1, 1) are adjacent to the vertical side pixel Bk-n (1, The smoothing weighting coefficient of each of 4) and the horizontal side adjacent pixel Bk-1 (4, 1) is “1/3”, and the smoothing
[Expression 11]
q 11 = (1/3) ・ (p 11 + T 1 + S 1 )
Ask for.
[0060]
Pixel value q after smoothing processing of the other pixels Bk (4, 1), Bk (1, 4), Bk (4, 4) of the first pixel group G1 41 , Q 14 , Q 44 As for the pixel Bk (1, 1),
[Expression 12]
[0061]
[Outside 8]
[Formula 13]
q 21 = (1/3) ・ (2p 21 + T 2 )
(Pixel value p 11 Since the smoothing weighting coefficient of “0” is “0”, the pixel value p 11 The item disappears).
[0063]
Pixel value q after smoothing processing of the other pixels Bk (3, 1), Bk (2, 4), Bk (3, 4) that are “vertical component> horizontal component” of the corresponding vector in the second pixel group G2. 31 , Q 24 , Q 34 As for the pixel Bk (2, 1),
[Expression 14]
[0064]
In addition, other pixels Bk (1, 2), Bk (1, 3), Bk (4, 2), Bk (4, 3) having “horizontal component> vertical component” of the corresponding vector in the second pixel group G2. ) Pixel value q after smoothing processing 12 , Q 13 , Q 42 , Q 43 , The vertical smoothing weighting coefficient is “0” and the horizontal smoothing weighting coefficient is “1/3”.
[Expression 15]
[0065]
On the other hand, for example, since the pixel Bk (2, 2) is the third image group G3, the smoothing weighting coefficient of the pixel Bk (2, 2) is “3/4”, and the pixel Bk (2, 2). The smoothing weighting coefficients of the vertical adjacent pixels Bk (2, 1) and the horizontal adjacent pixels Bk (1, 2) are “1/8”, and the smoothing
[Expression 16]
[0066]
Pixel value q after smoothing processing of the other pixels Bk (3, 2), Bk (2, 3), Bk (3, 3) of the third pixel group G3 32 , Q 23 , Q 33 As for the pixel Bk (2, 2),
[Expression 17]
[0067]
In the first image data, the outermost blocks (B1 to B8, B9, B16, B17, B24, B25, B32, B33, B40, B41, B48, B49, B56, B57, B58 to B64) are arranged. ) For pixels that do not have a vertical side adjacent pixel and a horizontal side adjacent pixel {for example, pixel B1 (1, 1) to pixel B1 (4, 1), etc. of block B1}) The calculation based on the above equation is performed with the same value as the own pixel.
[0068]
For example, in the pixel B1 (1, 1), since neither the vertical side pixel nor the horizontal side pixel exists, the pixel value t of the vertical side pixel 1 And the pixel value s of the horizontal pixel 1 Is the pixel value p of its own pixel B1 (1, 1) 11 As above
[Formula 18]
q 11 = (1/3) ・ (p 11 + P 11 + P 11 )
The pixel value q after smoothing of the pixel B1 (1, 1) using 11 Ask for.
[0069]
And the
[0070]
As a result, each two-dimensional block Bk (k = 1, 2,..., 64) constituting the first frame image data, that is, each block Bk (k = 1, 2,..., 64). Are smoothed by the corresponding vertical side adjacent pixels and horizontal side adjacent pixels, and the gradation difference with respect to the adjacent pixels of each pixel in each block including the boundary portion between adjacent blocks is suppressed. As a result, the luminance difference / color difference associated with the gradation difference is smoothed, and block noise caused by the luminance difference / color difference is removed.
[0071]
Since the block noise removing device 12 performs the above-described smoothing process on the second to third image data stored in the frame memory F2 in the same manner, each of the constituent elements of the second frame image data. All the pixels of the block Bk (k = 1, 2,..., 64) and all the pixels of each block Bk (k = 1, 2,..., 64) constituting the third frame image data. Are smoothed by the corresponding vertical-side adjacent pixels and horizontal-side adjacent pixels, respectively, and the gradation difference between the adjacent pixels of each pixel in each block is suppressed. As a result, the color change due to the gradation difference becomes smooth, and the block noise caused by the gradation difference is removed.
[0072]
As described above, the first to third image data stored in the frame memories F2 and F2 in a state where the block noise is removed are sent to the D / A converter 13, and this D / A The video signal SO is output by the D / A conversion processing of the converter 13.
[0073]
As a result, if the output video signal SO is displayed on, for example, a display or the like, block noise (luminance difference, color change, etc.) due to the gradation difference between blocks disappears in the display image based on the video signal SO. Therefore, the image quality of the compressed / decompressed image can be improved.
[0074]
In the present embodiment, the block noise can be removed from the restored image without performing the process of simply smoothing the entire image. The image quality can be kept high.
[0075]
Furthermore, in this embodiment, since the entire block is the target of smoothing without smoothing only the block boundary part, it is caused by the boundary difference between the smoothed region and the unsmoothed region in the restored image. Therefore, it is possible to make the restored image look very natural without generating the boundary noise.
[0076]
In the present embodiment, although the entire block is a target to be smoothed, the entire block (all pixels) is not simply averaged using a common weighting factor, but instead of a block of each pixel in the block. Since the weighting coefficient optimally set according to the positional relationship with respect to the center is used to smooth the vertical side adjacent pixel (1 pixel) and the horizontal side adjacent pixel (1 pixel), the amount of blur caused by the smoothing Can be suppressed to a minimum of about one pixel, and the image quality of the restored image and the visibility of the contour portion and the like can be improved.
[0077]
In addition, for example, even in the case of an image having a block in which a large gradient (slope) appears in a large range, the gradient is displayed with a smooth luminance change / color change, and the image quality of the restored image And visibility can be further improved.
[0078]
Note that, according to the present embodiment, smoothing processing based on the vertical side adjacent pixel (1 pixel) and the horizontal side adjacent pixel (1 pixel) is performed on all the pixels of the frame image data. As a result, the outline included in is only obtained at a minimum level (one pixel).
[0079]
Accordingly, the absolute value of the difference between the pixel value of each pixel to be calculated and the pixel value of the adjacent pixel with respect to each pixel is larger than a predetermined threshold (brightness between blocks, color difference, etc.), and the contour can be identified. If it is larger than (predetermined value) N, the pixel and the adjacent pixels can be regarded as the contour of the object included in the image, and can be excluded from smoothing.
[0080]
That is, the smoothing
[0081]
As a result of this determination, the absolute value of the difference | p 11 -T 1 | And | p 11 -S 1 If any one of || exceeds the threshold value N (step S2b → YES), the smoothing
[Equation 19]
q 11 = (1/3) ・ (p 11 + T ' 1 + S 1 )
(Step S3a).
[0082]
The processes in steps S2c and 3a are performed on all pixels in which one of the absolute values of differences between the smoothing target pixel and the adjacent pixel exceeds the threshold value N.
[0083]
On the other hand, the smoothing
[0084]
As a result, the pixel value of the adjacent pixel whose absolute value of the difference between the smoothing target pixel and the adjacent pixel exceeds the threshold value N is regarded as a contour in the pixel and is not used in the smoothing process. The pixel value of the smoothing target pixel can be substituted for the process.
[0085]
Therefore, no blur is generated in the contour portion in the image, that is, even one pixel does not occur, and the image quality can be further improved.
[0086]
In the present embodiment, the block to be compressed / decompressed is a two-dimensional block of (4 pixels × 4 pixels). However, the present invention is not limited to this, and 2 blocks of (pixels × 8 pixels). Even when a dimension block is used, the same block noise removal processing can be performed.
[0087]
FIG. 8 shows each pixel of the 8 × 8 (8 rows × 8 columns) two-dimensional block Ck, the upper left quarter pixel of the two-dimensional block Ck, and another block Ck adjacent to the two-dimensional block Ck in the image data. It is a figure which shows the pixel of -1, Ck-n, respectively.
[0088]
Also in FIG. 8, as in FIG. 3, the pixel value of the pixel {Ck (1, 1)} in the first column and first row of the two-dimensional block Ck → p 11 , Pixel value of pixel {Ck (1,2)} → p 12 , Pixel value of pixel {Ck (1,3)} → p 13 ,..., Pixel value of pixel {Ck (4, 4)} → p 44 , Pixel value of pixel {Ck (4,5)} → p 45 ,..., Pixel value of pixel {Ck (5,1)} → p 51 , Pixel value of pixel {Ck (5,2)} → p 52 ,..., Pixel value of pixel {Ck (8,7)} → p 87 , Pixel value of pixel {Ck (8,8)} → p 88 Respectively.
[0089]
Further, the pixels {Ck-1 (8,1) to Bk-1 (8,8) of the block Ck-1 adjacent to the pixels {Ck (1,1) to Ck (1,8)} in the first column, respectively. } Pixel value is s 1 ~ S 8 Pixels {Ck-n (1, 8) to Ck-n (8, 8)} of blocks Ck-n adjacent to the pixels {Ck (1, 1) to Ck (8, 1)} in the first row, respectively. The pixel value of is t 1 ~ T 8 Respectively.
[0090]
[Outside 9]
[Outside 10]
[Outside 11]
[Outside 12]
[Outside 13]
[Outside 14]
[Outside 15]
[Outside 16]
Then, the blocks in the pixels {Ck (2, 2), Ck (3, 3), Ck (4, 4)} in which the magnitudes of the vertical and horizontal components of the corresponding vectors in the third pixel group G3 are equal. For the pixels Ck (2, 2) and Ck (3, 3) not adjacent to the center point Oc, the sum of the weighting coefficients of the pixels Ck (2, 2) and Ck (3, 3) is set to “1”, respectively. , The smoothing weighting coefficient of the pixel Ck (2, 2) and the pixel Ck (3, 3) is “4/6”, and the smoothing weighting coefficient of the adjacent pixels on the vertical and horizontal sides is “ Set to 1/6 "respectively.
[0099]
On the other hand, the pixel Ck (4, 4) adjacent to the block center point Oc in the pixels having the same vertical component and horizontal component of each vector is closest to the block center point Oc in the third group G3. Since it is a pixel, it is determined that the pixel Ck (4, 4) is least affected by the adjacent pixel and the sum of the weighting coefficients of the pixel Ck (4, 4) is set to “1”. The smoothing weighting coefficient is set to “1”, and the smoothing weighting coefficients of adjacent pixels on the vertical and horizontal sides are both set to “0”.
[0100]
That is, the smoothing weighting coefficients of the pixels Ck (4, 4) adjacent to the block center point Oc are the smoothing weighting coefficients (1/3, 2/3) set to the pixels of other groups and the third It is set to be larger than the smoothing weighting coefficients (4/6, 5/6) set for the other pixels of the group.
[0101]
Note that the smoothing weighting coefficients of the pixels of the block Ck in the remaining area other than the upper left quarter area shown in FIG. 8 are also the same as the method set for each pixel in the upper left quarter area described above. It is set by each method.
[0102]
Using the smoothing weighting coefficient of the block Ck set in this way, each two-dimensional block Ck (k = 1, 2,...) Is subjected to smoothing processing similar to the (4 × 4) block Bk. 64) The whole, that is, all the pixels of each block Ck (k = 1, 2,..., 64) are smoothed by the corresponding vertical and horizontal adjacent pixels, and the boundary between adjacent blocks Since the gradation difference with respect to the adjacent pixels of each pixel in each block including the portion is suppressed, the same effect as that obtained when the (4 × 4) block Bk is used can be obtained.
[0103]
In this embodiment, block noise removal processing is performed on both of a plurality of image data (R, G, B data and luminance / color data). Good.
[0104]
Further, the target image is a color image composed of R, G, B signals and luminance / color signals, but it is also possible to target a monochrome image composed only of luminance signals.
[0105]
Furthermore, in the present embodiment, the smoothing process for each pixel can be performed while judging the contrast of the image, and the edge enhancement filtering process (edge enhancement process) is performed after the smoothing process is performed for each pixel. Sharpening, differentiation) can be performed, and further, an image in which the contour component is enhanced and sharpened can be obtained.
[0106]
In the present embodiment, the block noise removing device 12 is configured by a smoothing processing unit (smoothing processing computer) that operates according to a program stored in the
[0107]
【The invention's effect】
As described above, according to the block noise removal method, the block noise removal apparatus, and the computer-readable storage medium of the present invention, each pixel of the entire block is smoothed without smoothing only the block boundary portion. Therefore, it is possible to reduce the image quality of the restored image without generating boundary noise due to the boundary difference between the smoothed region and the unsmoothed region when using the method of smoothing only the block boundary part. It can be improved and its visibility is very natural.
[0108]
According to the block noise removing method, the block noise removing apparatus, and the computer-readable storage medium of the present invention, the entire block (all pixels) is optimized according to the positional relationship of each pixel in the block with respect to the block center. Since the smoothing is performed using the weighting coefficient set to 1 and the vertical adjacent pixels and horizontal adjacent pixels for one pixel, the amount of blurring due to the smoothing is suppressed to about 1 pixel to the minimum. It is possible to improve the image quality of the restored image and the visibility of the contour portion.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an image processing system including a block noise removing device according to an embodiment of the present invention.
FIG. 2 is a diagram conceptually illustrating a state in which image data for one frame is divided into a plurality of two-dimensional blocks (8 × 8 two-dimensional blocks).
FIG. 3 is a diagram showing each pixel of a 4 × 4 two-dimensional block and pixels of another block adjacent to the two-dimensional block.
FIGS. 4A and 4B are diagrams showing an adjacent pixel with respect to the pixels of the first and second pixel groups in the present embodiment and a positional relationship from the block center of the adjacent pixel, respectively.
FIG. 5 is a diagram showing a positional relationship from an adjacent pixel and a block center of the adjacent pixel to a pixel of a third pixel group in the present embodiment.
6 is a schematic flowchart showing an example of smoothing processing of the smoothing processing unit shown in FIG. 1;
FIG. 7 is a schematic flowchart showing an example of processing of a smoothing processing unit according to a modification of the embodiment.
FIG. 8 is a diagram showing each pixel of an 8 × 8 two-dimensional block (upper left quarter) and pixels of another block adjacent to the two-dimensional block as a modification of the embodiment.
[Explanation of symbols]
1 Image processing system
3 A / D converter
4 First storage unit
6 Compression processing section
7 Transmission media
8 Image storage media
10 Second storage medium
11 Decryption processing unit
12 Block noise removal device
13 D / A converter
20 Smoothing processing part
21 memory
Claims (10)
前記ブロック内の各画素と前記各画素の周囲の２画素からなる３つの画素に対する夫々の平滑化用重み係数を、前記ブロック内の画素毎に記憶する記憶手段と、
前記夫々の平滑化用重み係数を用いて前記各画素の画素値と前記各画素の周囲の２画素の夫々の画素値を重み付け加算して平滑化する処理を、前記ブロック内の画素毎に行う平滑化処理手段と、
前記記憶手段に記憶する前記平滑化用重み係数を予め設定する設定手段と、
を備え、
前記各画素の周囲の２画素は、前記各画素の水平方向に隣接する画素であって前記ブロックの中心から離れる方向側にある水平隣接画素と、前記各画素の垂直方向に隣接する画素であって前記ブロックの中心から離れる方向側にある垂直隣接画素、であり、
前記設定手段は、
前記ブロックの中心から前記各画素の中心を結ぶ線分に沿って、前記各画素の中心から前記ブロックの中心と反対方向に延びるベクトルの水平成分と垂直成分の大きさが等しい場合には、前記水平隣接画素に対する前記平滑化用重み係数と前記垂直隣接画素に対する前記平滑化用重み係数とを夫々等しい値に設定し、
前記ベクトルの水平成分が垂直成分よりも大きい場合には、前記水平隣接画素に対する前記平滑化用重み係数を前記垂直隣接画素に対する前記平滑化用重み係数よりも大きい値に設定し、
前記ベクトルの水平成分が垂直成分よりも小さい場合には、前記水平隣接画素に対する前記平滑化用重み係数を前記垂直隣接画素に対する前記平滑化用重み係数よりも小さい値に設定する、
ことを特徴とするブロックノイズ除去装置。In a block noise removing apparatus for removing block noise generated when an image is processed in units of two-dimensional blocks composed of a plurality of pixels along the horizontal direction and the vertical direction,
Storage means for storing, for each pixel in the block, a smoothing weight coefficient for each of the three pixels including each pixel in the block and two pixels around each pixel;
The smoothing process is performed for each pixel in the block by weighting and adding the pixel value of each pixel and the pixel values of the two pixels around each pixel using the respective smoothing weight coefficients. Smoothing processing means;
Setting means for presetting the smoothing weighting factor stored in the storage means;
With
Two pixels around each pixel are a pixel adjacent in the horizontal direction of each pixel and a pixel adjacent in the direction away from the center of the block and a pixel adjacent in the vertical direction of each pixel. Vertical adjacent pixels on the direction side away from the center of the block,
The setting means includes
When the horizontal component and the vertical component of the vector extending in the opposite direction from the center of the block along the line connecting the center of the block and the center of the pixel are equal to each other, Setting the smoothing weighting factor for horizontal neighboring pixels and the smoothing weighting factor for the vertical neighboring pixels to equal values, respectively.
If the horizontal component of the vector is greater than the vertical component, the smoothing weighting factor for the horizontal adjacent pixel is set to a value greater than the smoothing weighting factor for the vertical adjacent pixel;
When the horizontal component of the vector is smaller than the vertical component, the smoothing weight coefficient for the horizontal adjacent pixel is set to a value smaller than the smoothing weight coefficient for the vertical adjacent pixel.
The block noise removal apparatus characterized by the above-mentioned.
前記平滑化処理手段は、前記各ブロックにおける前記第１の画素グループの各画素の画素値ａ０、前記隣接画素の画素値ａ１・ａ２および前記平滑化用重み付け係数１／３を用いて、下式
【数１】
ａ＝（１／３）＊（ａ０＋ａ１＋ａ２）
に基づく平滑化処理を実行して前記各画素の画素値ａを求める手段であることを特徴とする請求項１記載のブロックノイズ除去装置。A plurality of pixels constituting each block are divided into a first pixel group corresponding to a corner portion of each block, a second pixel group corresponding to a side of each block other than the first pixel group, the first The pixel values are classified into a third pixel group other than the first and second pixel groups, the pixel values of the pixels of the first pixel group are a 0 , and the pixel values of the horizontal adjacent pixels and the vertical adjacent pixels are respectively a 1. And a 2 , if the pixel value of each pixel of the first pixel group after smoothing is defined as a, the setting means causes the weighting coefficient for smoothing each pixel, the horizontal adjacent pixel, and the vertical adjacent pixel Are both set to 1/3,
The smoothing processing means uses the pixel value a 0 of each pixel of the first pixel group in each block, the pixel value a 1 · a 2 of the adjacent pixel, and the smoothing weighting coefficient 1/3. , The following formula
a = (1/3) * (a 0 + a 1 + a 2 )
2. The block noise removing apparatus according to claim 1, wherein the block noise removing apparatus is a means for obtaining a pixel value a of each pixel by executing a smoothing process based on the block.
前記平滑化処理手段は、前記各ブロックにおける前記第２の画素グループの各画素の画素値ｂ０、前記第１の隣接画素の画素値ｂ１、平滑化用重み係数２／３および１／３を用いて、下式
【数２】
ｂ＝（１／３）＊（２ｂ０＋ｂ１）
に基づく平滑化処理を実行して前記各画素の画素値ｂを求める手段であることを特徴とする請求項２記載のブロックノイズ除去装置。The pixel value of each pixel of the second pixel group is b 0 , and the larger of the horizontal and vertical components of the vector among the horizontal and vertical adjacent pixels adjacent to the pixel. When the pixel value of the first adjacent pixel is defined as b 1 , the pixel value of the second adjacent pixel on the smaller component side is defined as b 2 , and the pixel value of each pixel of the second pixel group after smoothing is defined as b. The setting means sets the smoothing weighting coefficients of the respective pixels and the first and second adjacent pixels to 2/3, 1/3 and 0, respectively.
The smoothing processing means, the pixel values b 0 of each pixel of the second pixel group in each block, the first pixel value b 1 of the adjacent pixel, the weighting factors 2/3 and 1/3 for smoothing Using the following formula:
b = (1/3) * (2b 0 + b 1 )
3. The block noise removing apparatus according to claim 2, wherein the block noise removing apparatus is a means for obtaining a pixel value b of each pixel by executing a smoothing process based on the block.
（ａ）前記ベクトルの水平成分および垂直成分のどちらか一方が他方より大きい場合、
前記各画素に隣接する前記水平隣接画素及び前記垂直隣接画素の内、前記ベクトルの水平成分と垂直成分のうちの成分の大きい側の第１の隣接画素の画素値をｃ１、成分の小さい側の第２の隣接画素の画素値をｃ２とするとき、
前記設定手段により、前記各画素、前記第１および第２の隣接画素の平滑化用重み付け係数がそれぞれ５／６、１／６および０に設定され、
前記平滑化処理手段は、前記各ブロックにおける前記第３グループの各画素の画素値ｃ０、前記第１の隣接画素の画素値ｃ１および前記平滑化用重み付け係数５／６および１／６を用いて、下式
【数３】
ｃ＝（１／６）＊（５ｃ０＋ｃ１）
に基づく平滑化処理を実行して前記各画素の画素値ｃを求める一方、
（ｂ）前記ベクトルの垂直成分および水平成分の大きさが等しく、かつ前記各画素が前記ブロック中心に隣接しない場合、
前記設定手段により、前記各画素および隣接画素の平滑化用重み付け係数がそれぞれ４／６および１／６にそれぞれ設定され、
前記平滑化処理手段は、前記各ブロックにおける前記第３グループの各画素の画素値ｃ０、前記隣接画素の画素値ｃ１・ｃ２および前記平滑化用重み付け係数４／６および１／６を用いて、下式
【数４】
ｃ＝（１／６）＊（４ｃ０＋ｃ１＋ｃ２）
に基づく平滑化処理を実行して前記各画素の画素値ｃを求めるとともに、
（ｃ）前記ベクトルの垂直成分および水平成分の大きさが等しく、かつ前記各画素が前記ブロック中心に隣接する場合、
当該ブロック中心に隣接する各画素の平滑化用重み付け係数を、前記第１及び第２のグループの各画素に設定された平滑化用重み付け係数および前記第３のグループにおける他の画素に設定された平滑化用重み付け係数よりも大きな値に設定する手段であることを特徴とする請求項２または３記載のブロックノイズ除去装置。When the pixel value of each pixel of the third pixel group is defined as c 0 and the pixel value of each pixel of the third pixel group after smoothing is defined as c,
(A) when one of the horizontal and vertical components of the vector is greater than the other,
Among the horizontal adjacent pixels and the vertical adjacent pixels adjacent to each pixel, the pixel value of the first adjacent pixel having the larger component of the horizontal component and the vertical component of the vector is represented by c 1 , and the component having the smaller component value. When the pixel value of the second adjacent pixel is c 2 ,
The setting means sets the smoothing weighting coefficients of the respective pixels and the first and second adjacent pixels to 5/6, 1/6 and 0, respectively.
The smoothing processing means, the pixel value c 0 of each pixel of the third group in each block, the pixel value c 1 and the smoothing of the weighting coefficients 5/6 and 1/6 of the first neighboring pixel Use the following formula:
c = (1/6) * (5c 0 + c 1 )
A pixel value c of each pixel is obtained by performing a smoothing process based on
(B) When the vertical component and horizontal component of the vector are equal in size and each pixel is not adjacent to the block center,
The setting means sets the weighting coefficients for smoothing the pixels and adjacent pixels to 4/6 and 1/6, respectively.
The smoothing processing unit calculates a pixel value c 0 of each pixel of the third group in each block, a pixel value c 1 · c 2 of the adjacent pixel, and the smoothing weighting coefficients 4/6 and 1/6. Use the following formula:
c = (1/6) * (4c 0 + c 1 + c 2 )
To obtain a pixel value c of each pixel by performing a smoothing process based on
(C) When the vertical component and horizontal component of the vector are equal in size and each pixel is adjacent to the block center,
The smoothing weighting coefficient of each pixel adjacent to the center of the block is set to the smoothing weighting coefficient set for each pixel of the first and second groups and the other pixel in the third group. 4. The block noise removing apparatus according to claim 2, wherein the block noise removing apparatus is a means for setting a value larger than the smoothing weighting coefficient.
前記設定手段により、前記第３グループのブロック中心に隣接する各画素の平滑化用重み付け係数が３／４に設定され、前記水平隣接画素及び前記垂直隣接画素の平滑化用重み付け係数が夫々１／８に設定され、
前記平滑化処理手段は、前記各ブロックにおける前記第３グループのブロック中心に隣接する各画素の画素値ｃ０、前記水平隣接画素及び前記垂直隣接画素の夫々の画素値ｃ１及びｃ２、並びに前記平滑化用重み付け係数３／４及び１／８を用いて、下式
【数５】
ｃ＝（１／８）＊（６ｃ０＋ｃ１＋ｃ２）
に基づく平滑化処理を実行して前記各画素の画素値ｃを求めるとともに、
前記水平方向および垂直方向に沿った画素数は８であり、前記各２次元ブロックは（８×８）画素から成るブロックである際に、
前記設定手段により、前記第３グループのブロック中心に隣接する各画素の平滑化用重み付け係数が１に設定され、前記水平隣接画素及び前記垂直隣接画素の平滑化用重み付け係数が夫々０に設定され、
前記平滑化処理手段は、前記各ブロックにおける前記第３グループのブロック中心に隣接する各画素の画素値ｃ０および平滑化用重み付け係数１に基づいて、当該画素値ｃ０を平滑化後の画素値ｃとして求める手段であることを特徴とする請求項４記載のブロックノイズ除去装置。When the number of pixels along the horizontal direction and the vertical direction is 4, and each of the two-dimensional blocks is a block composed of (4 × 4) pixels,
The setting means sets the smoothing weighting coefficient of each pixel adjacent to the block center of the third group to 3/4, and the smoothing weighting coefficient of the horizontal adjacent pixel and the vertical adjacent pixel is 1 / Is set to 8,
The smoothing processing means includes a pixel value c 0 of each pixel adjacent to the block center of the third group in each block, a pixel value c 1 and c 2 of each of the horizontal adjacent pixel and the vertical adjacent pixel, and Using the smoothing weighting coefficients 3/4 and 1/8, the following equation
c = (1/8) * (6c 0 + c 1 + c 2 )
To obtain a pixel value c of each pixel by performing a smoothing process based on
When the number of pixels along the horizontal direction and the vertical direction is 8, and each of the two-dimensional blocks is a block composed of (8 × 8) pixels,
The setting means sets the smoothing weighting coefficient of each pixel adjacent to the block center of the third group to 1, and sets the smoothing weighting coefficient of the horizontal adjacent pixel and the vertical adjacent pixel to 0, respectively. ,
The smoothing processing means is a pixel after smoothing the pixel value c 0 based on the pixel value c 0 and the smoothing weighting coefficient 1 of each pixel adjacent to the block center of the third group in each block. 5. The block noise removing apparatus according to claim 4, wherein the block noise removing apparatus is a means for obtaining the value c.
前記ブロック内の各画素と前記各画素の周囲の２画素からなる３つの画素に対する夫々の平滑化用重み係数を、前記ブロック内の画素毎に記憶すると共に、予め設定された輪郭識別用の閾値を記憶する記憶手段と、
前記各画素の画素値と前記各画素の周囲の２画素の夫々の画素値との差の絶対値を求め、求めた夫々の前記絶対値が前記閾値を超えたか否か判断する判断手段と、
前記夫々の平滑化用重み係数を用いて前記各画素の画素値と前記各画素の周囲の２画素の夫々の画素値を重み付け加算して平滑化する処理を、前記ブロック内の画素毎に行う平滑化処理手段と、
前記記憶手段に記憶する前記平滑化用重み係数を予め設定する設定手段と、
を備え、
前記各画素の周囲の２画素は、前記各画素の水平方向に隣接する画素であって前記ブロックの中心から離れる方向側にある水平隣接画素と、前記各画素の垂直方向に隣接する画素であって前記ブロックの中心から離れる方向側にある垂直隣接画素、であり、
前記設定手段は、
前記ブロックの中心から前記各画素の中心を結ぶ線分に沿って、前記各画素の中心から前記ブロックの中心と反対方向に延びるベクトルの水平成分と垂直成分の大きさが等しい場合には、前記水平隣接画素に対する前記平滑化用重み係数と前記垂直隣接画素に対する前記平滑化用重み係数とを夫々等しい値に設定し、
前記ベクトルの水平成分が垂直成分よりも大きい場合には、前記水平隣接画素に対する前記平滑化用重み係数を前記垂直隣接画素に対する前記平滑化用重み係数よりも大きい値に設定し、
前記ベクトルの水平成分が垂直成分よりも小さい場合には、前記水平隣接画素に対する前記平滑化用重み係数を前記垂直隣接画素に対する前記平滑化用重み係数よりも小さい値に設定し、
前記平滑化処理手段は、
前記判断手段によって前記絶対値が前記閾値を超えたと判断された場合には、前記閾値を超えたことに対応する前記水平隣接画素及び前記垂直隣接画素の双方または一方の画素値を前記各画素の画素値とみなして平滑化処理を行う、
ことを特徴とするブロックノイズ除去装置。In a block noise removing apparatus for removing block noise generated when an image is processed in units of two-dimensional blocks composed of a plurality of pixels along the horizontal direction and the vertical direction,
A smoothing weight coefficient for each of the three pixels including each pixel in the block and two pixels surrounding each pixel is stored for each pixel in the block, and a preset threshold value for contour identification is stored. Storage means for storing
Determining means for determining an absolute value of a difference between a pixel value of each pixel and each pixel value of two pixels surrounding each pixel, and determining whether each of the obtained absolute values exceeds the threshold;
The smoothing process is performed for each pixel in the block by weighting and adding the pixel value of each pixel and the pixel values of the two pixels around each pixel using the respective smoothing weight coefficients. Smoothing processing means;
Setting means for presetting the smoothing weighting factor stored in the storage means;
With
Two pixels around each pixel are a pixel adjacent in the horizontal direction of each pixel and a pixel adjacent in the direction away from the center of the block and a pixel adjacent in the vertical direction of each pixel. Vertical adjacent pixels on the direction side away from the center of the block,
The setting means includes
When the horizontal component and the vertical component of the vector extending in the opposite direction from the center of the block along the line connecting the center of the block and the center of the pixel are equal to each other, Setting the smoothing weighting factor for horizontal neighboring pixels and the smoothing weighting factor for the vertical neighboring pixels to equal values, respectively.
If the horizontal component of the vector is greater than the vertical component, the smoothing weighting factor for the horizontal adjacent pixel is set to a value greater than the smoothing weighting factor for the vertical adjacent pixel;
When the horizontal component of the vector is smaller than the vertical component, the smoothing weight coefficient for the horizontal adjacent pixel is set to a value smaller than the smoothing weight coefficient for the vertical adjacent pixel;
The smoothing processing means includes
When the determination means determines that the absolute value exceeds the threshold value, the pixel value of both or one of the horizontal adjacent pixel and the vertical adjacent pixel corresponding to the threshold value being exceeded is set for each pixel. Perform smoothing processing considering pixel values.
The block noise removal apparatus characterized by the above-mentioned.
前記ブロック内の各画素と前記各画素の周囲の２画素からなる３つの画素に対する夫々の平滑化用重み係数を、前記ブロック内の画素毎に記憶手段に記憶し、
前記夫々の平滑化用重み係数を用いて前記各画素の画素値と前記各画素の周囲の２画素の夫々の画素値を重み付け加算して平滑化する処理を、前記ブロック内の画素毎に行い、
前記記憶手段に記憶する前記平滑化用重み係数を予め設定する、
ステップを備え、
前記各画素の周囲の２画素は、前記各画素の水平方向に隣接する画素であって前記ブロックの中心から離れる方向側にある水平隣接画素と、前記各画素の垂直方向に隣接する画素であって前記ブロックの中心から離れる方向側にある垂直隣接画素、であり、
前記係数を設定するステップでは、
前記ブロックの中心から前記各画素の中心を結ぶ線分に沿って、前記各画素の中心から前記ブロックの中心と反対方向に延びるベクトルの水平成分と垂直成分の大きさが等しい場合には、前記水平隣接画素に対する前記平滑化用重み係数と前記垂直隣接画素に対する前記平滑化用重み係数とを夫々等しい値に設定し、
前記ベクトルの水平成分が垂直成分よりも大きい場合には、前記水平隣接画素に対する前記平滑化用重み係数を前記垂直隣接画素に対する前記平滑化用重み係数よりも大きい値に設定し、
前記ベクトルの水平成分が垂直成分よりも小さい場合には、前記水平隣接画素に対する前記平滑化用重み係数を前記垂直隣接画素に対する前記平滑化用重み係数よりも小さい値に設定する、
ことを特徴とするブロックノイズ除去方法。In a block noise removing method for removing block noise generated when an image is processed in units of two-dimensional blocks composed of a plurality of pixels along the horizontal direction and the vertical direction,
Each smoothing weight coefficient for each of the three pixels including each pixel in the block and two pixels surrounding each pixel is stored in the storage unit for each pixel in the block;
A process of weighting and adding the pixel value of each pixel and the respective pixel values of the two pixels surrounding each pixel using the respective smoothing weighting factors is performed for each pixel in the block. ,
Presetting the smoothing weighting factor stored in the storage means;
With steps,
Two pixels around each pixel are a pixel adjacent in the horizontal direction of each pixel and a pixel adjacent in the direction away from the center of the block and a pixel adjacent in the vertical direction of each pixel. Vertical adjacent pixels on the direction side away from the center of the block,
In the step of setting the coefficient,
When the horizontal component and the vertical component of the vector extending in the opposite direction from the center of the block along the line connecting the center of the block and the center of the pixel are equal to each other, Setting the smoothing weighting factor for horizontal neighboring pixels and the smoothing weighting factor for the vertical neighboring pixels to equal values, respectively.
If the horizontal component of the vector is greater than the vertical component, the smoothing weighting factor for the horizontal adjacent pixel is set to a value greater than the smoothing weighting factor for the vertical adjacent pixel;
When the horizontal component of the vector is smaller than the vertical component, the smoothing weight coefficient for the horizontal adjacent pixel is set to a value smaller than the smoothing weight coefficient for the vertical adjacent pixel.
A block noise removing method characterized by the above.
前記ステップは、
前記ブロック内の各画素と前記各画素の周囲の２画素からなる３つの画素に対する夫々の平滑化用重み係数を、前記ブロック内の画素毎に記憶手段に記憶し、
前記３つの平滑化用重み係数を用いて前記各画素の画素値と前記各画素の周囲の２画素の夫々の画素値を重み付け加算して平滑化する処理を、前記ブロック内の画素毎に行い、
前記記憶手段に記憶する前記平滑化用重み係数を予め設定する、
ステップを備え、
前記各画素の周囲の２画素は、前記各画素の水平方向に隣接する画素であって前記ブロックの中心から離れる方向側にある水平隣接画素と、前記各画素の垂直方向に隣接する画素であって前記ブロックの中心から離れる方向側にある垂直隣接画素、であり、
前記係数を設定するステップでは、
前記ブロックの中心から前記各画素の中心を結ぶ線分に沿って、前記各画素の中心から前記ブロックの中心と反対方向に延びるベクトルの水平成分と垂直成分の大きさが等しい場合には、前記水平隣接画素に対する前記平滑化用重み係数と前記垂直隣接画素に対する前記平滑化用重み係数とを夫々等しい値に設定し、
前記ベクトルの水平成分が垂直成分よりも大きい場合には、前記水平隣接画素に対する前記平滑化用重み係数を前記垂直隣接画素に対する前記平滑化用重み係数よりも大きい値に設定し、
前記ベクトルの水平成分が垂直成分よりも小さい場合には、前記水平隣接画素に対する前記平滑化用重み係数を前記垂直隣接画素に対する前記平滑化用重み係数よりも小さい値に設定する、
ことを特徴とするコンピュータ読取り可能な記憶媒体。A computer-readable storage medium storing a program for executing a step of removing block noise generated when an image is processed in units of two-dimensional blocks composed of a plurality of pixels along a horizontal direction and a vertical direction. And
The step includes
Each smoothing weight coefficient for each of the three pixels including each pixel in the block and two pixels surrounding each pixel is stored in the storage unit for each pixel in the block;
A process of performing weighted addition of the pixel value of each pixel and each of the two surrounding pixels using each of the three smoothing weighting factors to perform smoothing is performed for each pixel in the block. ,
Presetting the smoothing weighting factor stored in the storage means;
With steps,
Two pixels around each pixel are a pixel adjacent in the horizontal direction of each pixel and a pixel adjacent in the direction away from the center of the block and a pixel adjacent in the vertical direction of each pixel. Vertical adjacent pixels on the direction side away from the center of the block,
In the step of setting the coefficient,
When the horizontal component and the vertical component of the vector extending in the opposite direction from the center of the block along the line connecting the center of the block and the center of the pixel are equal to each other, Setting the smoothing weighting factor for horizontal neighboring pixels and the smoothing weighting factor for the vertical neighboring pixels to equal values, respectively.
If the horizontal component of the vector is greater than the vertical component, the smoothing weighting factor for the horizontal adjacent pixel is set to a value greater than the smoothing weighting factor for the vertical adjacent pixel;
When the horizontal component of the vector is smaller than the vertical component, the smoothing weight coefficient for the horizontal adjacent pixel is set to a value smaller than the smoothing weight coefficient for the vertical adjacent pixel.
A computer-readable storage medium characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37453599A JP4265849B2 (en) | 1999-12-28 | 1999-12-28 | Block noise elimination method, block noise elimination apparatus, and computer-readable storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP37453599A JP4265849B2 (en) | 1999-12-28 | 1999-12-28 | Block noise elimination method, block noise elimination apparatus, and computer-readable storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001189937A JP2001189937A (en) | 2001-07-10 |
| JP4265849B2 true JP4265849B2 (en) | 2009-05-20 |
Family
ID=18504014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP37453599A Expired - Lifetime JP4265849B2 (en) | 1999-12-28 | 1999-12-28 | Block noise elimination method, block noise elimination apparatus, and computer-readable storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4265849B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005210384A (en) * | 2004-01-22 | 2005-08-04 | Konica Minolta Medical & Graphic Inc | Image processing method, image processor, and image processing program |
-
1999
- 1999-12-28 JP JP37453599A patent/JP4265849B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001189937A (en) | 2001-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7830967B1 (en) | Video camera | |
| JP4145665B2 (en) | Image processing apparatus and image processing method | |
| JP3001094B2 (en) | Signal adaptive filtering method and signal adaptive filter for reducing ringing noise | |
| JP4870743B2 (en) | Selective chrominance decimation for digital images | |
| US7444031B2 (en) | Image processing apparatus | |
| JP4360416B2 (en) | Image compression method, image compression apparatus, and program | |
| KR100504649B1 (en) | Device for compressing image data | |
| US20050201632A1 (en) | Resolution changing method and apparatus | |
| JP3804906B2 (en) | Line image processing method and recording medium | |
| JPH0630308A (en) | Picture data processing unit | |
| JP3469438B2 (en) | Image signal processing method and apparatus, recording medium | |
| JP4265849B2 (en) | Block noise elimination method, block noise elimination apparatus, and computer-readable storage medium | |
| JP4053460B2 (en) | Image processing apparatus, image forming apparatus, image processing method, image processing program, and recording medium | |
| JPH07307942A (en) | Image noise removing device | |
| JP4662189B2 (en) | Image processing apparatus and image processing program | |
| JP3715273B2 (en) | Image data smoothing processing apparatus, smoothing processing method, and smoothing processing program | |
| JP2000316174A (en) | Color picture compression method and its device | |
| JP2003224868A (en) | Image compression apparatus, image compression method, image compression program, and image expansion program | |
| JP4239483B2 (en) | Image processing method, image processing program, and image processing apparatus | |
| JP4622762B2 (en) | Image data compression / decompression method | |
| CN117014557B (en) | Compression method and device for document image, electronic equipment and storage medium | |
| JP2832073B2 (en) | Image coding device | |
| US20200005434A1 (en) | Video capture devices and methods | |
| JP3054299B2 (en) | Image processing apparatus and method | |
| JP2950134B2 (en) | Color image information data and color image information data processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061225 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070126 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090210 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090212 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4265849 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140227 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |