JP4449430B2

JP4449430B2 - 画像処理装置および画像処理方法、プログラム、並びに記録媒体

Info

Publication number: JP4449430B2
Application number: JP2003388812A
Authority: JP
Inventors: 京子福田; 顕松本; 博小林
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-11-19
Filing date: 2003-11-19
Publication date: 2010-04-14
Anticipated expiration: 2023-11-19
Also published as: JP2005151385A

Description

本発明は、画像処理装置および画像処理方法、プログラム、並びに記録媒体に関し、特に、例えば、隣接する画素間において、画素値の不自然な不連続が生じない自然な画像を得ることができるようにする画像処理装置および画像処理方法、プログラム、並びに記録媒体に関する。

従来において、静止画データや動画データ等を効率よく圧縮符号化するための符号化方式として、離散コサイン変換後（ＤＣＴ（Discrete Cosine Transform）変換）に高域成分を制限すること、即ち、ＤＣＴ係数を量子化することによってデータ圧縮を行うＭＰＥＧ（Moving Picture Experts Group）方式が良く用いられる。

しかしながら、ＭＰＥＧ方式のように周波数変換および非可逆圧縮といった技術により圧縮符号化された画像をデコードして得られる復号画像は、原理的に、原画像に対して、誤差を有したものとなり、特に量子化/逆量子化による量子化誤差によりが画質が劣化する。例えば、復号画像において、隣接ブロックとの境界部での画素値のずれが生じ、これは、ブロック歪みとして知覚される。また、復号画像においては、高周波成分が不足して、波上の符号化雑音をが発生し、これがモスキートノイズとして知覚される。

周波数変換および非可逆圧縮といった技術により圧縮符号化された画像をデコード（復号）に得られる復号画像において、圧縮のさいに原理的に発生するノイズを低減させる技術としては、復号画像をＬＰＦ（Low Pass Filter）でフィルタリング処理することによるノイズ除去がある。

しかしながら、復号画像全体を、ＬＰＦ（Low Pass Filter）でフィルタリング処理した場合、復号画像にエッジが含まれているときには、エッジに対応する高周波数成分が失われることによりエッジが鈍り、そのエッジに対応する部分の画像の画質が劣化する。一方そのような、画質の劣化を防止するために、例えば、ＬＰＦのカットオフ周波数を高く設定した場合には、ノイズが十分に除去されないこととなる。

そこで、特許文献１には、閾値を設けることにより画像を構成する画素の画素値を２値化し、その結果に応じて画素単位でフィルタリング処理を施すフィルタが選択することにより、画素の種類に応じてフィルタリング処理を施すノイズ除去技術が記載されている。

特開平８−１８６７１４号公報

しかしながら、画像に対して画素単位でフィルタリング処理を施す場合には、その画像を構成する画素のうちフィルタリング処理が施された画素と、フィルタリング処理が施されない画素とが生じうる。このような画素どうしが隣接する場合、その隣接する画素どうしの画素値が不自然に不連続になることにより、画像全体が不自然になることがあった。

本発明はこのような状況に鑑みてなされたものであり、隣接する画素間において、画素値の不自然な不連続が生じない自然な画像を得ることができるようにするものである。

本発明の画像処理装置は、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定手段と、注目している注目画素に対するフィルタリング処理の実行が有りと判定された場合において、注目画素に隣接する隣接画素に対するフィルタリング処理の実行が無しと判定された場合、注目画素に対するフィルタリング処理のフィルタ強度を弱めるように調整する調整手段とを備えることを特徴とする。

本発明の画像処理方法は、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップと、注目している注目画素に対するフィルタリング処理の実行が有りと判定された場合において、注目画素に隣接する隣接画素に対するフィルタリング処理の実行が無しと判定された場合、注目画素に対するフィルタリング処理のフィルタ強度を弱めるように調整する調整ステップとを含むことを特徴とする。

本発明のプログラムは、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップと、注目している注目画素に対するフィルタリング処理の実行が有りと判定された場合において、注目画素に隣接する隣接画素に対するフィルタリング処理の実行が無しと判定された場合、注目画素に対するフィルタリング処理のフィルタ強度を弱めるように調整する調整ステップとを含むことを特徴とする。

本発明のコンピュータが読み取り可能なプログラムが記録されている記録媒体は、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップと、注目している注目画素に対するフィルタリング処理の実行が有りと判定された場合において、注目画素に隣接する隣接画素に対するフィルタリング処理の実行が無しと判定された場合、注目画素に対するフィルタリング処理のフィルタ強度を弱めるように調整する調整ステップとを含むことを特徴とする。

本発明の画像処理装置、画像処理方法、プログラム、および記録媒体においては、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無が判定され、注目している注目画素に対するフィルタリング処理の実行が有りと判定された場合において、注目画素に隣接する隣接画素に対するフィルタリング処理の実行が無しと判定された場合、注目画素に対するフィルタリング処理のフィルタ強度が弱められる。

本発明によれば、隣接する画素間において、画素値の不自然な不連続が生じない自然な画像を得ることができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、実施の形態との対応関係を例示すると、次のようになる。なお、明細書には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、明細書に記載されている発明が、全て記載されていることを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により出願したり、追加される発明の存在を否定するものではない。

本発明によれば、画像処理装置が提供される。この画像処理装置は、画像を処理する画像処理装置において、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定手段（例えば、図２のノイズ判定部２５）と、注目している注目画素に対するフィルタリング処理の実行が有りと判定された場合において、注目画素に隣接する隣接画素に対するフィルタリング処理の実行が無しと判定された場合、注目画素に対するフィルタリング処理のフィルタ強度を弱めるように調整する調整手段と（例えば、図２のスムージング処理部２６）とを備えることを特徴とする。

この画像処理装置には、調整手段により調整されたフィルタ強度に基づき、注目画素に対するフィルタリング処理のフィルタ係数を決定するフィルタ係数決定手段（例えば、図２のフィルタ係数決定部２７）をさらに備えることができる。

また、本発明によれば、画像処理方法が提供される。この画像処理方法では、画像を処理する画像処理方法において、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップ（図７のプログラムの処理ステップＳ３）と、注目している注目画素に対するフィルタリング処理の実行が有りと判定された場合において、注目画素に隣接する隣接画素に対するフィルタリング処理の実行が無しと判定された場合、注目画素に対するフィルタリング処理のフィルタ強度を弱めるように調整する調整ステップ（図７のプログラムの処理ステップＳ４）とを含むことを特徴とする。

また、本発明によれば、プログラムが提供される。画像を処理する画像処理を、コンピュータに実行させるプログラムにおいて、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップ（図７のプログラムの処理ステップＳ３）と、注目している注目画素に対するフィルタリング処理の実行が有りと判定された場合において、注目画素に隣接する隣接画素に対するフィルタリング処理の実行が無しと判定された場合、注目画素に対するフィルタリング処理のフィルタ強度を弱めるように調整する調整ステップ（図７のプログラムの処理ステップＳ４）とを含むことを特徴とする。

このプログラムは、記録媒体に記録することができる。

以下に、本発明の実施の形態を説明する。

図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。図１の画像処理装置は、ＭＰＥＧデコード部１とノイズ除去部２から構成されている。

ＭＰＥＧデコード部１には、図示せぬエンコーダにより符号化（ＭＰＥＧエンコード）されて伝送された符号化データが供給される。ＭＰＥＧデコード部１は、そこに供給された符号化データをデコードし、その結果得られる復号画像の画像信号をノイズ除去部２に供給する。さらに、ＭＰＥＧデコード部１は、符号化データに含まれる、その符号化データのデコードに必要な情報である、例えば、量子化ステップを表す量子化情報などをノイズ除去部２に供給する。

ノイズ除去部２には、ＭＰＥＧデコード部１から復号画像の画像信号および量子化情報が供給される他、図示せぬ入力装置をユーザが操作することにより入力される外部設定値が供給される。ノイズ除去部２は、ＭＰＥＧデコード部１から供給される量子化情報、および図示せぬ入力装置から供給される外部設定値を必要に応じて用いながら、ＭＰＥＧデコード部１から供給される復号画像に対して、その復号画像に含まれるノイズ（歪）を除去するノイズ除去処理としての画像処理を施し、ブロック歪やモスキートノイズ等が効果的に除去された画像信号を出力する。

図１において、ＭＰＥＧデコード部１は、可変長復号部１１、逆量子化部１２、逆ＤＣＴ変換部１３、逆ブロック化部１４、および動き補償実行部１５から構成されている。

可変長復号部１１には、符号化データが供給され、可変長復号部１１は、その符号化データを可変長復号し、例えば、量子化されたＤＣＴ係数、その量子化されたＤＣＴ係数を画像にデコードするのに用いられる情報である量子化情報、動きベクトル、ブロックタイプなどを出力する。可変長復号部１１が出力する量子化されたＤＣＴ係数は逆量子化部１２に、量子化情報は逆量子化部１２およびノイズ除去部２に、動きベクトルおよびブロックタイプは動き補償実行部１５に、それぞれ供給される。

逆量子化部１２は、可変長復号部１１から供給された量子化されたＤＣＴ係数を、同じく可変長復号部１１から供給された量子化情報が表す量子化ステップで逆量子化し、その結果得られるＤＣＴ係数を８×８画素のフロック単位で、逆ＤＣＴ変換部１３に供給する。

逆ＤＣＴ変換部１３は、逆量子化部１２からのブロック単位のＤＣＴ係数を逆ＤＣＴ変換し、これにより得られる画素値で構成されるブロックを、逆ブロック化部１４に供給する。

一方、動き補償実行部１５は、可変長復号部１１から供給される動きベクトルおよびブロックタイプに基づき、逆ブロック化部１４に記憶された、既にデコードされている復号画像（Ｉ（Intra）ピクチャまたはＰ（Predictive）ピクチャ）を動き補償し、その結果得られる予測画像（動き補償された画像）を、逆ブロック化部１４に供給する。

逆ブロック化部１４は、逆ＤＣＴ変換部１３から供給されるブロック（から構成されるマクロブロック）に、動き補償実行部１５から供給される予測画像を必要に応じて加算することにより、元の画素値でなるブロックを得る。さらに、逆ブロック化部１４は、そのブロックを逆ブロック化することにより、即ち、例えば、ブロックを、図示せぬメモリの対応する位置のアドレスに記憶することにより、１フレーム（またはフィールド）の復号画像を構成し、ノイズ除去部２に供給するとともに、必要に応じて、動き補償実行部１５に供給する。

図２は、ノイズ除去部２の構成例を示すブロック図である。ノイズ除去部２は、ダイナミックレンジ演算部２１、アクティビティ演算部２２、制御部２３、特徴判定部２４、ノイズ判定部２５、スムージング処理部２６、フィルタ係数決定部２７、およびフィルタ２８から構成されている。

ダイナミックレンジ演算部２１には、ＭＰＥＧデコード部１から復号画像（の画像信号）が供給される。ダイナミックレンジ演算部２１は、ＭＰＥＧデコード部１から供給された復号画像を構成する各画素を、順次、注目画素として、注目画素を含む所定のブロックについて、そのブロック内の画素の画素値のダイナミックレンジＤＲ₁を演算し、制御部２３および特徴判定部２４に供給する。ここで、注目画素を含むブロックとしては、例えば、ＭＰＥＧエンコード時にＤＣＴ処理の対象となる８×８画素のブロックを採用することができる。

アクティビティ演算部２２には、ＭＰＥＧデコード部１から復号画像（の画像信号）が供給される。アクティビティ演算部２２は、ＭＰＥＧデコード部１から供給された復号画像を構成する各画素を、順次、注目画素として、注目画素を含む所定のブロックについて、そのブロック内の画素の画素値のアクティビティＡＣＴ₁を演算し、特徴判定部２４に供給する。ここで、注目画素を含むブロックとしては、例えば、注目画素を中心とした３×３画素のブロックを採用することができる。

制御部２３には、ダイナミックレンジ演算部２１からダイナミックレンジＤＲ₁が供給される他、上述したように、ＭＰＥＧデコード部１から、量子化情報が、図示せぬ入力装置から、外部設定値が供給される。制御部２３は、必要に応じて、量子化情報、外部設定値、またはダイナミックレンジＤＲ₁に基づき、特徴判定部２４で用いられる閾値、ノイズ判定部２５で用いられる後述する判定順番、フィルタ２８で用いられるデフォルトのフィルタ係数を設定（決定）し、特徴判定部２４、ノイズ判定部２５、フィルタ係数決定部２７にそれぞれ供給する。

なお、制御部２３は、閾値を設定する部分、判定順番を設定する部分、およびフィルタ係数を設定する部分を、それぞれ独立に構成することができる。

また、制御部２３が設定する閾値としては、Ｖパターンエッジ判定部３１で用いられるダイナミックレンジの閾値ａ₁および閾値ａ₂、インパルスエッジ判定部３２で用いられるアクティビティのＴＨ_ACT1およびＴＨ_ACTard、平坦部判定部３３で用いられるダイナミックレンジの閾値ＴＨ_DR1およびＴＨ_ACT1、モスキートノイズ判定部３４で用いられるモスキートノイズの閾値ＴＨ_Nがそれぞれ設定される。

特徴判定部２４には、ダイナミックレンジ演算部２１からダイナミックレンジＤＲ₁が、アクティビティ演算部２２からアクティビティＡＣＴ₁が、制御部２３から閾値が、それぞれ供給される他、ＭＰＥＧデコード部１から復号画像の画像信号が供給される。特徴判定部２４は、ダイナミックレンジ演算部２１から供給されるダイナミックレンジＤＲ₁が、アクティビティ演算部２２から供給されるアクティビティＡＣＴ₁、制御部２３から供給される閾値に基づき、注目画素の特徴を判定し、その判定結果を、ノイズ判定部２５とフィルタ係数決定部２７に供給する。

即ち、特徴判定部２４は、Ｖパターンエッジ判定部３１、インパルスエッジ判定部３２、平坦部判定部３３、およびモスキートノイズ判定部３４から構成されている。

Ｖパターンエッジ判定部３１は、制御部２３から供給されるダイナミックレンジの閾値ａ₁および閾値ａ₂に基づき、ＭＰＥＧデコード部１から供給される復号画像を構成する画素が、後述するＶパターンエッジである可能性を、なし、小、大の３段階に判定し、画素がＶパターンエッジである可能性（画素がＶパターンエッジの特徴を有する程度）を示したＶパターンエッジ判定結果を、ノイズ判定部２５およびフィルタ係数決定部２７に供給する。

インパルスエッジ判定部３２は、アクティビティ演算部２２から供給される注目画素のアクティビティＡＣＴ₁、並びに制御部２３から供給されるアクティビティの閾値ＴＨ_ACT1およびの閾値ＴＨ_ACTardに基づき、ＭＰＥＧデコード部１から供給される復号画像を構成する画素にインパルスエッジが存在する可能性の有無を判定し、画素がインパルスエッジである可能性（画素がインパルスエッジの特徴を有する程度）を示したインパルスエッジ判定結果を、フィルタ係数決定部２７に供給する。

平坦部判定部３３は、ダイナミックレンジ演算部２１から供給されるダイナミックレンジＤＲ₁、アクティビティ演算部２２から供給されるアクティビティＡＣＴ₁、並びに制御部２３から供給されるダイナミックレンジＤＲ₁の閾値ＴＨ_DR1およびアクティビティの閾値ＴＨ_ACT2に基づき、ＭＰＥＧデコード部１から供給される復号画像を構成する画素が平坦部であるかどうかを判定し、画素が平坦部である可能性（画素が平坦部の特徴を有する程度）を示した平坦部判定結果を、ノイズ判定部２５に供給する。

モスキートノイズ判定部３４は、制御部２３から供給される閾値ＴＨ_Nに基づき、ＭＰＥＧデコード部１から供給される復号画像を構成する画素がモスキートノイズであるかどうかを判定し、画素がモスキートノイズである可能性（画素がモスキートノイズの特徴を有する程度）を示したモスキートノイズ判定結果を、ノイズ判定部２５に供給する。

なお、制御部２３からインパルスエッジ判定部３２に供給される閾値ＴＨ_ACT1および閾値ＴＨ_ACTard、制御部２３から平坦部判定部３３に供給される閾値ＴＨ_ACT2としては、同一の値であってもよいし、異なる値であってもよい。

ノイズ判定部２５は、制御部２３から供給される判定順番に応じて、特徴判定部２４から供給される、復号画像を構成する各画素についてのＶパターンエッジ判定結果、平坦部判定結果、およびモスキートノイズ判定結果を処理し、これにより、復号画像を構成する各画素について、フィルタリング処理の実行の有無を判定し、その判定結果をスムージング処理部２６に供給する。

スムージング処理部２６は、ノイズ判定部２５から供給される注目画素についてのフィルタリング処理の実行の有無の判定結果と、注目画素の水平、垂直、または斜めに隣接する画素（以下、適宜、隣接画素と称する）についてのフィルタリング処理の実行の有無の判定結果とに基づき、注目画素をフィルタリング処理するときのフィルタ強度を調整し、そのフィルタ強度を表すフィルタ強度情報を、フィルタ係数決定部２７に供給する。

ここで、フィルタリング処理のフィルタ強度とは、例えば、信号をフィルタリング処理したときの、その信号の高域への影響を表し、フィルタ強度が強いフィルタリング処理とは、例えば、カットオフ周波数が低い、または、ロールオフが急峻なＬＰＦによるフィルタリング処理をいう。

フィルタ係数決定部２７は、特徴判定部２４から供給される注目画素の特徴の判定結果としてのＶパターンエッジ判定結果およびインパルスエッジ判定結果、並びにスムージング処理部２６から供給されるフィルタ強度情報に基づき、制御部２３から供給される、注目画素に対するフィルタリング処理に用いるフィルタ係数の値を調整、決定（確定）し、フィルタ２８に供給する。

フィルタ２８には、フィルタ係数決定部２７からフィルタ係数が供給される他、ＭＰＥＧデコード部１から復号画像の画像信号が供給される。フィルタ２８は、フィルタ係数決定部２７から供給されるフィルタ係数に基づき、注目画素にフィルタリング処理を施し、その結果得られる注目画素の画素値を出力する。また、フィルタ２８は、フィルタタップ数を任意に設定し、フィルタリング処理を行うことができる。

図３を参照して、図２のダイナミックレンジ演算部２１が行う処理について説明する。

ダイナミックレンジ演算部２１は、注目画素について、例えば、ＭＰＥＧエンコード時にＤＣＴ処理の対象となる８×８画素のブロック（以下、適宜、ＤＣＴブロックという）を構成し、そのダイナミックレンジＤＲ₁を求める。

図３は、注目画素についてのＤＣＴブロックを構成する各画素と、その画素値との関係を示している。

ダイナミックレンジ演算部２１は、注目画素についてのＤＣＴブロック（注目画素を含むＤＣＴブロック）を構成する各画素の画素値の最大値と最小値とを求める。さらに、ダイナミックレンジ演算部２１は、その最大値から最小値を減算し、その減算値を、注目画素（のＤＣＴブロック）のダイナミックレンジＤＲ₁として求める。

なお、ダイナミックレンジＤＲ₁を求める対象となるブロックは、８×８画素のＤＣＴブロックに限定されるものではない。即ち、ダイナミックレンジＤＲ₁は、注目画素を中心とする所定画素数のブロックを対象に用いることが可能である。

図４を参照して、図２のアクティビティ演算部２２が行う処理について説明する。

図４において、太線で示す８×８画素のブロックは、ＤＣＴブロックを示している。従って、太線で囲まれている８×８画素のいずれかが注目画素とされた場合は、図２のダイナミックレンジ演算部２１では、いずれの場合も、図４に示したＤＣＴブロックのダイナミックレンジＤＲ₁が求められる。

アクティビティ演算部２２は、例えば、注目画素を中心とする縦に３画素、横に３画素の全部で９画素から構成されるブロック（以下、適宜、小ブロックと称する）を用いて、注目画素のアクティビティＡＣＴ₁を演算する。図４において、例えば、画素Ｅを注目画素とすると、その注目画素Ｅについての小ブロックは、注目画素Ｅと、その注目画素Ｅの縦方向、横方向、および斜め方向の隣接画素Ａ,Ｂ,Ｃ,Ｄ,Ｆ,Ｇ,Ｈ、およびＩとから構成される。アクティビティ演算部２２は、注目画素についての小ブロックを構成する画素の画素値の空間的な変化値を、注目画素のアクティビティＡＣＴ₁として求める。

なお、ここでは、小ブロックとしては、注目画素を中心とする縦に３画素、横に３画素のブロックを採用したが、その他の任意の大きさのブロックを採用することができる。

図５を参照して、図２のＶパターンエッジ判定部３１が行う処理について説明する。

Ｖパターンエッジ判定部３１は、注目画素を含む、その近傍の各画素と、その画素値との関係から、注目画素がＶパターンエッジであるかどうかを判定する。

図５は、注目画素を通るある空間方向に並ぶ各画素と、その画素値との関係を示している。

ここで、図５において、横軸は、注目画素を通るある空間方向に並ぶ複数の画素の位置を表し、縦軸は、その各画素の画素値を表している。

Ｖパターンエッジ判定部３１は、注目画素を通るある空間方向にい並ぶ複数の画素の画素値でなる波形の形状がＶ字状になっており、注目画素の画素値が、そのＶ字状の形状の先端部分に対応する場合に、注目画素がＶパターンエッジである判定する。

図６を参照して、図２のインパルスエッジ判定部３２が行う処理について説明する。

インパルスエッジ判定部３２は、注目画素を含むＤＣＴブロックを構成する各画素と、その画素値との関係から、注目画素がインパルスエッジであるかどうかを判定する。

図６は、注目画素についてのＤＣＴブロックを構成する画素のうちの注目画素を通るある空間方向に並ぶ画素と、その画素値との関係を示している。

ここで、図６において、横軸は、注目画素を通るある空間方向に並ぶ複数の画素の位置を表し、縦軸は、その各画素の画素値を表している。

インパルスエッジ判定部３２は、ＤＣＴブロックを構成する画素のうちの注目画素を通るある空間方向に並ぶ複数の画素の画素値でなる波形の形状がエッジ部に対応する場合に、注目画素がインパルスエッジである判定する。

図７は、図２のノイズ除去部２の動作を説明するフローチャートである。

ノイズ除去部２では、まず最初に、ステップＳ１−１、ステップＳ１−２、ステップＳ１−３からなるステップＳ１の処理が行われる。

即ち、ステップＳ１−１において、ダイナミックレンジ演算部２１は、ＭＰＥＧデコード部１から供給される復号画像を構成する画素を、順次、注目画素として、注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ₁を演算し、制御部２３および特徴判定部２４に供給する。

具体的には、ステップＳ１−１において、ダイナミックレンジ演算部２１は、注目画素についてのＤＣＴブロック内の全６４画素の画素値のうちの最大値と最小値を求め、さらに、ダイナミックレンジＤＲ₁＝（最大値）−（最小値）を演算することにより、注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ₁を得る。

ステップＳ１−２において、アクティビティ演算部２２は、注目画素のアクティビティＡＣＴ₁を演算し、特徴判定部２４に供給する。

即ち、ステップＳ１−２において、アクティビティ演算部２２は、図４に示したように、注目画素（の画素値）をＥとするとともに、注目画素Ｅを中心とする小ブロック内における、注目画素Ｅに隣接する８つの隣接画素をＡ,Ｂ,Ｃ,Ｄ,Ｆ,Ｇ,Ｈ、およびＩとすることとすると、注目画素Ｅの画素値と、隣接画素Ａ,Ｂ,Ｃ,Ｄ,Ｆ,Ｇ,Ｈ,Ｉの画素値それぞれとの差の絶対値の２乗和の平方根を演算することにより、即ち、アクティビティＡＣＴ₁＝√（|Ａ−Ｅ|²＋|Ｂ−Ｅ|²＋|Ｃ−Ｅ|²＋|Ｄ−Ｅ|²＋|Ｆ−Ｅ|²＋|Ｇ−Ｅ|²＋|Ｈ−Ｅ|²＋|I−Ｅ|²）を演算することにより、注目画素ＥのアクティビティＡＣＴ₁を得る。

なお、アクティビティＡＣＴ₁としては、その他、例えば、注目画素の画素値と隣接画素の画素値との差の絶対値の２乗の平均値や、注目画素の画素値と隣接画素の画素値との差の絶対値の平均値などを用いてもよい。

ステップＳ１−３において、制御部２３は、量子化情報、外部設定値、およびダイナミックレンジ演算部２１から供給されるダイナミックレンジＤＲ₁に基づき、閾値、判定順番、およびフィルタ係数を設定し、閾値を特徴判定部２４に、判定順番をノイズ判定部２５に、フィルタ係数をフィルタ係数決定部２７に、それぞれ供給する。

即ち、ステップＳ１−３において、制御部２３は、Ｖパターンエッジについての閾値ａ₁および閾値ａ₂、アクティビティＡＣＴ₁についての閾値である閾値ＴＨ_ACT1、ダイナミックレンジＤＲ₁についての閾値である閾値ＴＨ_DR1、並びにモスキートノイズについての閾値ＴＨ_Nを設定する。さらに、制御部２３は、ステップＳ１−３において、閾値ａ₁および閾値ａ₂をＶパターンエッジ判定部３１に、閾値ＴＨ_ACT1を平坦部判定部３３に、閾値ＴＨ_DR1および閾値ＴＨ_ACT1を平坦部判定部３３に、閾値ＴＨ_Nをモスキートノイズ判定部３４に、それぞれ供給する。

ここで、制御部２３は、例えば、Ｖパターンエッジについての閾値ａ₁および閾値ａ₂とする２つの値の組み合わせを複数セット記憶しており、ダイナミックレンジ演算部２１からの注目画素についてのダイナミックレンジＤＲ₁に基づき、複数セットの２つの値の組み合わせのうちのいずれかのセットの２つの値を、閾値ａ₁および閾値ａ₂に設定する。

具体的に、制御部２３は、例えば、式
ｉｆ(ダイナミックレンジＤＲ₁＞ＶＡＬＵＥ＿Ａ) {
ａ₁＝ＶＡＬＵＥ＿Ｂ；
ａ₂＝ＶＡＬＵＥ＿Ｃ；
} else {
ａ₁＝ＶＡＬＵＥ＿Ｄ；
ａ₂＝ＶＡＬＵＥ＿Ｅ；
}
にしたがって、閾値ａ₁および閾値ａ₂に設定する。この場合、注目画素についてのダイナミックレンジＤＲ₁が値Ａよりも大きいときは、閾値ａ₁は値Ｂに、閾値ａ₂は値Ｃに、それぞれ設定する。一方、注目画素についてのダイナミックレンジＤＲ₁が値Ａと等しい、または値Ａよりも小さい場合、閾値ａ₁は値Ｄに、閾値ａ₂を値Ｅに設定する。

なお、閾値ａ₁と閾値ａ₂の大小関係は、閾値ａ₁が閾値ａ₂よりも大きい、即ち、閾値ａ₁＞閾値ａ₂である。なお、閾値ＴＨ_Nを設定する処理としては、ダイナミックレンジＤＲ₁と比較する設定値は１個であるが、設定値を複数個設けることにより、３個以上の閾値の組み合わせから閾値を設定することができる。

また、制御部２３は、閾値ＴＨ_DR1および閾値ＴＨ_ACT1を設定する場合において、ある値を記憶し、その値に基づいて、閾値ＴＨ_DR1および閾値ＴＨ_ACT1をそれぞれ設定する。さらに、閾値ＴＨ_Nの設定方法は、図１２を用いて後述する。

なお、Ｖパターンエッジの大きさに応じて、ダイナミックレンジの閾値の値を変化させることができる。

また、制御部２３は、例えば、次のようにして、フィルタ係数を設定する。

即ち、注目画素に対する量子化情報が表す量子化ステップが大きい（粗い）場合（あるいは、符号化データのデータレートが低い場合）には、量子化誤差が大きくなり、モスキートノイズが発生する可能性が高い。このため、制御部２３は、注目画素に対する量子化ステップが大きい場合には、モスキートノイズを十分に除去することができるように、フィルタ強度の強いフィルタ係数、即ち、カットオフ周波数が低いＬＰＦ、または、ロールオフが急峻なＬＰＦを実現するフィルタ係数を設定し、フィルタ係数決定部２７に供給する。

一方、注目画素に対する量子化情報が表す量子化ステップが小さい（細かい）場合（あるいは、符号化データのデータレートが高い場合）には、量子化誤差が小さくなり、モスキートノイズが発生している可能性は小さい。このため、制御部２３は、注目画素に対する量子化ステップが小さい場合には、フィルタ強度の弱いフィルタ係数、即ち、カットオフ周波数が高いＬＰＦ、または、ロールオフが滑らかなＬＰＦを実現するフィルタ係数を設定し、フィルタ係数決定部２７に供給する。

以上のように、量子化ステップに応じて、フィルタ係数を設定することにより、画像に対して、例えば、モスキートノイズを十分に除去するような、効果的にフィルタリング処理を施すことができる。

なお、制御部２３は、閾値ａ₁および閾値ａ₂、閾値ＴＨ_ACT1、閾値ＴＨ_DR1および閾値ＴＨ_ACT1、並びに閾値ＴＨ_Nを、外部設定値にも基づいて設定できることが可能である。

さらに、制御部２３では、ユーザの操作に対応して供給される外部設定値に基づいて、フィルタ係数を設定することができる。即ち、制御部２３は、外部設定値が表すフィルタ強度のフィルタ係数を設定することができる。この場合、ユーザの好みに応じた画質の画像をなるようなフィルタリング処理を行うことができる。

なお、制御部２３は、量子化情報および外部設定値の両方を考慮したフィルタ強度のフィルタ係数を設定することができる。

また、制御部２３は、例えば、外部設定値に基づいて、判定順番を設定する。

ステップＳ１のステップＳ１−１乃至ステップＳ１−３の各処理が終了すると、ステップＳ２に進み、ステップＳ２−１乃至ステップＳ２−３の処理が行われる。

即ち、ステップＳ２−１において、Ｖパターンエッジ判定部３１は、制御部２３から供給される閾値ａ₁および閾値ａ₂に基づき、注目画素がＶパターンエッジである可能性を、なし、小、大の３段階に判定し、その判定結果であるＶパターンエッジ判定結果を、ノイズ判定部２５およびフィルタ係数決定部２７に供給する。

ステップＳ２−２において、インパルスエッジ判定部３２は、アクティビティ演算部２２から供給される注目画素のアクティビティＡＣＴ₁および制御部２３から供給されるアクティビティの閾値ＴＨ_ACT1などに基づき、注目画素がインパルスエッジである可能性の有無を判定する。

なお、画像の平坦部に存在するインパルスエッジが、誤って、モスキートノイズとして検出され、モスキートノイズを除去するためのフィルタリング処理が施されると、インパルスエッジが鈍り、画質が劣化する。さらに、インパルスエッジが、誤って、モスキートノイズとして検出されることと、検出されないこととが、時間方向に繰り返され、これにより、時系列のフレーム（またはフィールド）の、空間的に同一位置の画素に対して、フィルタリング処理が行われたり、または行われなかったりすることが繰り返されると、インパルスエッジ部分の画質の劣化が目立つようになる。

このため、インパルスエッジ判定部３２は、インパルスエッジの有無を、後述するように、注目画素のアクティビティのみならず、必要に応じて、周囲のアクティビティをも用いて、確実に判定して、その判定結果であるインパルスエッジ判定結果を、フィルタ係数決定部２７に供給する。

ステップＳ２−３において、平坦部判定部３３は、ダイナミックレンジ演算部２１から供給される注目画素のダイナミックレンジＤＲ₁、アクティビティ演算部２２から供給される注目画素のアクティビティＡＣＴ₁、並びに制御部２３から供給される閾値ＴＨ_DR1および閾値ＴＨ_ACTに基づき、注目画素が平坦部であるかどうかを判定し、その判定結果である平坦部判定結果を、ノイズ判定部２５に供給する。

ステップＳ２−４において、モスキートノイズ判定部３４は、制御部２３から供給される閾値ＴＨ_Nに基づき、注目画素がモスキートノイズを有するかどうかを判定し、その判定結果であるモスキートノイズ判定結果を、モスキートノイズ判定部２５に供給する。

そして、ステップＳ２のステップＳ２−１乃至ステップＳ２−４の各処理が終了すると、ステップＳ３に進む。

ステップＳ３において、ノイズ判定部２５は、制御部２３から供給される判定順番に応じて、特徴判定部２４から供給される注目画素についてのＶパターンエッジ判定結果、平坦部判定結果、およびモスキートノイズ判定結果を処理し、これにより、注目画素に対してフィルタリング処理を実行するかどうかのフィルタリング処理実行の有無を判定する。さらに、ノイズ判定部２５は、その判定結果を、スムージング処理部２６に供給し、ステップＳ３からステップＳ４に進む。

ここで、画素に対してフィルタリング処理を施すのは、その画素が有するノイズを除去するためである。従って、画素に対してフィルタリング処理を実行すると判定することは、その画素がノイズを有すると判定することと等価である。かかる観点からは、ノイズ判定部でのフィルタリング処理実行の有無を判定する処理は、画素がノイズを有しているかどうかのノイズ判定処理であるということできる。

ステップＳ４において、スムージング処理部２６は、ノイズ判定部２５から供給される注目画素についてのフィルタリング処理実行の有無の判定結果と、その注目画素に対する隣接画素についてのフィルタリング処理実行の有無の判定結果とに基づき、注目画素に対するフィルタリング処理のフィルタ強度を調整し、そのフィルタ強度を表すフィルタ強度情報をフィルタ係数決定部２７に供給して、ステップＳ５に進む。

なお、ステップＳ４において、スムージング処理部２６は、注目画素に対する隣接画素について、フィルタリング処理実行の有無の判定結果が得られていない場合には、注目画素に対するフィルタ強度の調整を待機し、ノイズ判定部２５において隣接画素に対するフィルタリング処理実行の有無の判定結果が得られてから、注目画素についてのフィルタ強度を調整する。

ステップＳ５において、フィルタ係数決定部２７は、特徴判定部２４から供給される注目画素の特徴の判定結果としてのＶパターンエッジ判定結果およびインパルスエッジ判定結果、スムージング処理部２６から供給される注目画素についてのフィルタ強度情報、並びに、制御部２３から供給されるフィルタ係数に基づき、注目画素のフィルタリング処理に用いる最終的なフィルタ係数を決定する。そして、フィルタ係数決定部２７は、そのフィルタ係数をフィルタ２８に供給し、ステップＳ６に進む。

即ち、ステップＳ５において、フィルタ係数決定部２７は、インパルスエッジ判定部３２からのインパルスエッジ判定結果が、注目画素がインパルスエッジであることを表している場合、制御部２３からのフィルタ係数を、例えば、フィルタ強度が弱いＬＰＦが実現されるように補正する。この場合、平坦部に存在するインパルスエッジが損なわれるようなフィルタリング処理が行われることを防止することができる。

また、フィルタ係数決定部２７は、例えば、注目画素がＶパターンエッジである可能性が小さいというＶパターンエッジ判定結果がダイナミックレンジ判定部３１から供給された場合、注目画素に対してフィルタ強度がある程度強いフィルタリング処理が施されたとしても、画質の劣化が生ずる可能性が小さいため、制御部２３からのフィルタ係数を、フィルタ強度がある程度強いフィルタを実現するフィルタ係数に補正する。

さらに、フィルタ係数決定部２７は、例えば、注目画素がＶパターンエッジである可能性がないというＶパターンエッジ判定結果がダイナミックレンジ判定部３１から供給された場合、制御部２３からのフィルタ係数を、Ｖパターンエッジである可能性が小さい場合よりもフィルタ強度が強いフィルタを実現するフィルタ係数に補正する。また、フィルタ係数決定部２７は、注目画素がＶパターンエッジである可能性があるいうＶパターンエッジ判定結果がダイナミックレンジ判定部３１から供給された場合、Ｖパターンエッジである可能性が小さい場合よりもフィルタ強度が強いフィルタを実現するフィルタ係数をフィルタ部２８に供給する。

ステップＳ６において、フィルタ２８は、フィルタ係数決定部２７から供給されるフィルタ係数によって構成されるＬＰＦにより、ＭＰＥＧデコード部１から供給される注目画素にフィルタリング処理を施し、その結果得られる注目画素の画素値を出力して、処理を終了する。

なお、図７の処理は、ＭＰＥＧデコード部１から供給される復号画像を構成する画素すべてに対して、各画素を注目画素として行われる。

図７の処理により、Ｖパターンエッジおよびインパルスエッジが判定され、さらに、アクティビティの変化により、画像の平坦部やモスキートノイズが判定される。したがって、元の画像の画質を損なわず精度の高いノイズ除去処理を行うことができる。

図８は、図２のＶパターンエッジ判定部３１が図７のステップＳ２−１で行う処理を説明するフローチャートである。

ステップＳ２１において、Ｖパターンエッジ判定部３１は、注目画素の画素値と、注目画素に隣接する８つの隣接画素の画素値それぞれとの差分値を演算し、ステップＳ２２に進み、その差分値を用いて注目画素が極値を持つかどうかを判定する。

即ち、例えば、図４に示した画素Ｅを注目画素とすると、Ｖパターンエッジ判定部３１は、注目画素Ｅの画素値と、その注目画素に隣接する隣接画素Ａ,Ｂ,Ｃ,Ｄ,Ｆ,Ｇ,Ｈ,Ｉの画素値それぞれとの差分値の符号を用いて、注目画素Ｅを中心とする水平方向、垂直方向、右肩下がりの斜め方向、および右肩上がりの斜め方向の４方向それぞれについて、各歩行に対して得られる２つの差分値の符号の排他的論理和が１になるかどうかを判定することにより、注目画素Ｅが極値を持つかどうかを判定する。なお、差分値の符号としては、正を０、負を１で表すこととする。

例えば、水平方向については、隣接画素Ｄの画素値から注目画素Ｅの画素値を減算して得られる差分値を表す符号と、注目画素Ｅの画素値から隣接画素Ｆの画素値を減算して得られる差分値を表す符号との排他的論理和ＥＯＲ（exclusive OR）が１になる場合、即ち、式（Ｄ−Ｅの符号）ＥＯＲ（Ｅ−Ｆの符号）＝１を満たす場合、注目画素Ｅは水平方向に極値を持つ（注目画素Ｅが極小値または極大値の画素値を有する画素となっている）と判定される。

一方、隣接画素Ｄの画素値から注目画素Ｅの画素値を減算して得られる差分値を表す符号と、注目画素Ｅの画素値から隣接画素Ｆの画素値を減算して得られる差分値を表す符号との排他的論理和ＥＯＲが１にならない場合、即ち、式（Ｄ−Ｅの符号）ＥＯＲ（Ｅ−Ｆの符号）＝１を満たさない場合、注目画素Ｅは水平方向に極値を持たない（注目画素Ｅが極小値または極大値の画素値を有する画素ではない）と判定される。

Ｖパターンエッジ判定部３１は、水平方向と同様に、垂直方向、右肩下がりの斜め方向、右肩上がりの斜め方向それぞれについても、式（Ｂ−Ｅの符号）ＥＯＲ（Ｅ−Ｈの符号）＝１、（Ａ−Ｅの符号）ＥＯＲ（Ｅ−Ｉの符号）＝１、（Ｃ−Ｅの符号）ＥＯＲ（Ｅ−Ｇの符号）＝１をそれぞれ満たすかどうかを判定することにより、注目画素Ｅか垂直方向、右肩下がりの斜め方向、右肩上がりの斜め方向に極値を持つかどうかをそれぞれ判定する。

ステップＳ２２において、注目画素が水平方向、垂直方向、右肩下がりの斜め方向、および右肩上がりの斜め方向のいずれの方向にも極値を持たないと判定された場合、ステップＳ２３に進み、Ｖパターンエッジ判定部３１は、注目画素にＶパターンエッジが存在する可能性がないというＶパターンエッジ判定結果を、ノイズ判定部２５およびフィルタ係数決定部２７に供給して、リターンする。

一方、ステップＳ２２において、注目画素が水平方向、垂直方向、右肩下がりの斜め方向、または右肩上がりの斜め方向のうち少なくとも１方向に極値を持つと判定された場合、ステップＳ２４に進み、Ｖパターンエッジ判定部３１は、極値が存在する１以上の方向についての注目画素と隣接画素との差分値のうち最大値（の絶対値）が閾値ａ₁より小さい（または以下）かどうかを判定する。

ステップＳ２４において、Ｖパターンエッジ判定部３１は、差分値の最大値が閾値ａ₁より小さくないと判定した場合、即ち、画素値として極値を有する注目画素と隣接画素との差分が非常に大である場合、ステップＳ２５に進み、注目画素にＶパターンエッジが存在する可能性が大きいというＶパターンエッジ判定結果を、ノイズ判定部２５およびフィルタ係数決定部２７に供給して、リターンする。

一方、ステップＳ２４において、差分値の最大値が閾値ａ₁より小さいと判定された場合、ステップＳ２６に進み、Ｖパターンエッジ判定部３１は、差分値（の絶対値）の最大値が閾値ａ₁より小さい閾値ａ₂より小さいか（または以下）どうかを判定する。

ステップＳ２６において、差分値の最大値が閾値ａ₂より小さくないと判定された場合、即ち、画素値として有する注目画素と隣接画素との差分が閾値ａ₁から閾値ａ₁の範囲の、ある程度大きい場合、ステップＳ２７に進み、Ｖパターンエッジ判定部３１は、注目画素にＶパターンエッジが存在する可能性が小さいというＶパターンエッジ判定結果を、ノイズ判定部２５およびフィルタ係数決定部２７に供給して、リターンする。

一方、ステップＳ２６において、差分値の最大値が閾値ａ₂より小さいと判定された場合、即ち、画素値として有する注目画素と隣接画素との差分が閾値ａ₁から閾値ａ₁の範囲の、ある程度小さい場合、ステップＳ２８に進み、Ｖパターンエッジ判定部３１は、注目画素にＶパターンエッジが存在する可能性がないというＶパターンエッジ判定結果を、ノイズ判定部２５およびフィルタ係数決定部２７に供給して、リターンする。

なお、図８の処理では、２個の閾値（閾値ａ₁および閾値ａ₂）に基づき、注目画素ＥがＶパターンエッジである可能性を、可能性なし、可能性小、および可能性大の３段階に区別するように採用したが、Ｖパターンエッジについての判定には、閾値ａ_iをＮ個設定し、そのＮ個の閾値ａ_i（但し、ｉ＝１・・・Ｎとする）により、注目画素がＶパターンエッジである可能性をＮ段階に判定することが可能である。

また、図８では、注目画素と隣接画素との差分値（の絶対値）のうちの最大値を、閾値ａ₁や閾値ａ₂とに比較するようにしたが、閾値ａ₁や閾値ａ₂との比較は、その他、例えば、注目画素が極値をとる１以上の方向の隣接画素との差分値すべての乗算値などの、注目画素が極値をとる方向の画素値の変化を表す情報を対象に行うことができる。

図９は、図２のインパルスエッジ判定部３２が図７のステップＳ２−２で行う処理を説明するフローチャートである。

ステップＳ４１において、インパルスエッジ判定部３２は、アクティビティ演算部２２から供給される注目画素のアクティビティＡＣＴ₁が制御部２３から供給されるアクティビティの閾値ＴＨ_ACT1より大きい（または以上である）かどうかを判定する。ステップＳ４１において、注目画素のアクティビティＡＣＴ₁がアクティビティの閾値ＴＨ_ACT1より大きくないと判定された場合、即ち、注目画素のアクティビティＡＣＴ₁が小さい場合、ステップＳ４４に進み、インパルスエッジ判定部３２は、注目画素にインパルスエッジが存在する可能性がないというインパルスエッジ判定結果を、フィルタ係数決定部２７に供給して、リターンする。

一方、ステップＳ４１において、注目画素のアクティビティＡＣＴ₁が、アクティビティの閾値ＴＨ_ACT1より大きいと判定された場合、ステップＳ４２に進み、インパルスエッジ判定部３２は、注目画素についての小ブロックに接する８つの小ブロック（以下、適宜、隣接小ブロックと称する）のアクティビティＡＣＴ_ardそれぞれを求め、そのうちのいずれかが、制御部２３からのアクティビティの閾値ＴＨ_ACTardより小さいかどうかを判定する。

ステップＳ４２において、８つの隣接小ブロックのアクティビティＡＣＴ_ardのいずれもが、アクティビティの閾値ＴＨ_ACTardより小さくないと判定された場合、即ち、注目画素のアクティビティＡＣＴ₁も、その周辺のアクティビティＡＣＴ_ardも、ある程度大きい場合、ステップＳ４４に進み、インパルスエッジ判定部３２は、注目画素にインパルスエッジが存在する可能性がないというインパルスエッジ判定結果を、フィルタ係数決定部２７に供給して、リターンする。

一方、ステップＳ４２において、１以上の隣接小ブロックのアクティビティＡＣＴ_ardがアクティビティの閾値ＴＨ_ACTardより小さいと判定された場合、即ち、注目画素のアクティビティＡＣＴ₁が大きいのに、その周辺にアクティビティが小さい部分が存在す場合、ステップＳ４３に進み、インパルスエッジ判定部３２は、注目画素にインパルスエッジが存在する可能性が大きいというインパルスエッジ判定結果を、フィルタ係数決定部２７に供給して、リターンする。

なお、図９の処理では、注目画素がインパルスエッジである可能性を、可能性なし、および可能性大の２段階に区別するようにしたが、例えば、閾値ＴＨ_ACT1や閾値ＴＨ_ACTardとして、複数の値を用いることにより、注目画素がインパルスエッジである可能性を３段階以上に判定することが可能である。

図１０は、図２の平坦部判定部３３が図７のステップＳ２−３で行う処理を説明するフローチャートである。

ステップＳ５１において、平坦部判定部３３は、ダイナミックレンジ演算部２１から供給される注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ₁が制御部２３から供給されるダイナミックレンジの閾値ＴＨ_DR1より小さい（または以下）かどうかを判定する。

ステップＳ５１において、ダイナミックレンジ演算部２１から供給される注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ₁が、制御部２３から供給されるダイナミックレンジの閾値ＴＨ_DR1より小さくないと判定された場合、即ち、注目画素についてのダイナミックレンジＤＲ₁がある程度大きい場合、ステップＳ５４に進み、平坦部判定部３３は、注目画素が平坦部の画素でないという平坦部判定結果を、ノイズ判定部２５に供給して、リターンする。

一方、ステップＳ５１において、ダイナミックレンジ演算部２１から供給される注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ₁が、制御部２３から供給されるダイナミックレンジの閾値ＴＨ_DR1より小さいと判定された場合、ステップＳ５２に進み、平坦部判定部３３は、アクティビティ演算部２２から供給される注目画素のアクティビティＡＣＴ₁が、制御部２３から供給されるアクティビティの閾値ＴＨ_ACT2より小さい（または以下）かどうかを判定する。

ステップＳ５２において、注目画素のアクティビティＡＣＴ₁が、アクティビティの閾値ＴＨ_ACT2より小さくないと判定された場合、即ち、注目画素のアクティビティＡＣＴ₁がある程度大きい場合、ステップＳ５４に進み、平坦部判定部３３は、注目画素が平坦部の画素でないという平坦部判定結果を、ノイズ判定部２５に供給して、リターンする。

一方、ステップＳ５２において、注目画素のアクティビティＡＣＴ₁がアクティビティの閾値ＴＨ_ACTより小さいと判定された場合、即ち、注目画素についてのダイナミックレンジＤＲ₁が小さく、かつ、そのアクティビティＡＣＴ₁も小さい場合、ステップＳ５３に進み、平坦部判定部３３は、注目画素が平坦部の画素であるという平坦部判定結果を、ノイズ判定部２５に供給して、リターンする。

なお、図１０の処理では、注目画素が平坦部である可能性を、可能性なし、および可能性大の２段階に区別するようにしたが、例えば、閾値ＴＨ_DR1や閾値ＴＨ_ACTとして、複数の値を用いることにより、注目画素が平坦部である可能性を３段階以上に判定することが可能である。

図１１は、図２のモスキートノイズ判定部３４が図７のステップＳ２−４で行う処理を説明するフローチャートである。

ここで、注目画素の周辺のダイナミックレンジに対する、注目画素のアクティビティが小さいほど、注目画素はモスキートノイズを有する画素である可能性が高い。一方、注目画素の周辺のダイナミックレンジに対する、注目画素のアクティビティが大きいほど、注目画素は、本来の画素値を有する画素である可能性が高い。そこで、モスキートノイズ判定部３４においては、注目画素の周辺のアクティビティおよびダイナミックレンジに基づいて、注目画素がモスキートノイズを有する可能性が判定される。

即ち、ステップＳ６１において、モスキートノイズ判定部３４は、例えば、注目画素を中心とする３×３画素の小ブロックを構成する画素の画素値の最大値および最小値を求め、その最大値から最小値を減算することにより、注目画素についての小ブロックのダイナミックレンジＤＲ₂を演算し、ステップＳ６２進む。

ステップＳ６２では、モスキートノイズ判定部３４は、注目画素についての小ブロックのダイナミックレンジＤＲ₂を、簡易的な注目画素周辺のアクティビティとして、その簡易的なアクティビティであるダイナミックレンジＤＲ₂が、閾値ＴＨ_Nよりも小さいかどうかを判定する。

ここで、ステップＳ６２で用いられる閾値ＴＨ_Nは、制御部２３が、図７のステップＳ１−３において、注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ₁を基準として求めたもので、制御部２３からモスキートノイズ判定部３４に供給される。制御部２３での閾値ＴＨ_Nの求め方については、後述する。

ステップＳ６２において、注目画素についての小ブロックのダイナミックレンジＤＲ₂が、制御部２３から供給される閾値ＴＨ_Nより小さくない、即ち、注目画素についての小ブロックのダイナミックレンジＤＲ₂が閾値ＴＨ_Nと等しい、または注目画素についての小ブロックのダイナミックレンジＤＲ₂が閾値ＴＨ_Nより大きいと判定された場合、ステップＳ６４進み、モスキートノイズ判定部３４は、注目画素がモスキートノイズを有する可能性がないことを示すモスキートノイズ判定結果を、ノイズ判定部２５に供給して、リターンする。

一方、ステップＳ６２において、注目画素についての小ブロックのダイナミックレンジＤＲ₂が、制御部２３から供給される閾値ＴＨ_Nよりも小さいと判定された場合、ステップＳ６３進み、モスキートノイズ判定部３４は、注目画素がモスキートノイズである可能性が高いことを示すモスキートノイズ判定結果、をノイズ判定部２５に供給して、リターンする。

なお、図１１の処理では、閾値ＴＨ_Nに基づき、注目画素Ｅがモスキートノイズを有する可能性を、可能性なし、または可能性大の２段階に区別するように採用したが，モスキートノイズについての判定には、制御部２３において閾値ＴＨ_NiをＮ個設定し、そのＮ個の閾値ＴＨ_Ni（但し、ｉ＝１・・・Ｎとする）により、注目画素がモスキートノイズを有する可能性を示すモスキートノイズ判定結果をＮ段階に判定することが可能である。

図１２は、図７のステップＳ１−３の処理において、制御部２３がモスキートノイズ判定部３４に供給する閾値ＴＨ_Nの設定方法の例を説明する図である。

図７のステップＳ１−３において、制御部２３は、図１２に示すように、ダイナミックレンジ演算部２１から供給される注目画素についてのダイナミックレンジＤＲ₁に応じて、モスキートノイズ判定部３４で、注目画素がモスキートノイズを有するかどうかの判定にで用いられる閾値ＴＨ_NをダイナミックレンジＤＲ₁／ｋ（図１２では、ｋは整数）に設定する。

さらに、制御部２３は、図１２に示すように、ＭＰＥＧデコード部１から供給される注目画素についての量子化情報が表す量子化ステップから予測される量子化誤差の程度（例えば、大、中、および小の３段階）や、ユーザの操作に応じて供給される外部設定値が表すフィルタ強度（例えば、弱、中、および強の３段階）にも応じて、閾値ＴＨ_Nを設定する。

即ち、制御部２３は、量子化誤差が大きい場合（量子化ステップが大きい場合）には、閾値ＴＨ_Nを大きい値に設定し、量子化誤差が小さい場合（量子化ステップが小さい場合）には、閾値ＴＨ_Nを小さい値に設定する。

さらに、制御部２３は、ユーザの操作に応じて供給される外部設定値が表すフィルタ強度が強い場合には、閾値ＴＨ_Nを大きい値に設定し、ユーザの操作に応じて供給される外部設定値が表すフィルタ強度が弱い場合には、閾値ＴＨ_Nを小さい値に設定する。

図１２によれば、制御部２３は、外部設定値が表すフィルタ強度が「弱」である場合、注目画素についての量子化情報が表す量子化ステップが大であり、このため、量子化誤差も大であるときには、閾値ＴＨ_Nを、注目画素についてのダイナミックレンジＤＲ₁の４分の１（ＴＨ_N＝ＤＲ₁／４）に、量子化誤差が中であるときには、閾値ＴＨ_NをダイナミックレンジＤＲ₁の８分の１（ＴＨ_N＝ＤＲ₁／８）に、量子化誤差が小であるときには、閾値ＴＨ_NダイナミックレンジＤＲ₁の１０分の１（ＴＨ_N＝ＤＲ₁／１０）に、それぞれ設定する。

また、外部設定値が表すフィルタ強度が「中」である場合、注目画素についての量子化情報が表す量子化ステップが大であり、このため、量子化誤差も大であるときには、閾値ＴＨ_Nを、注目画素についてのダイナミックレンジＤＲ₁の３分の１（ＴＨ_N＝ＤＲ₁／３）に、量子化誤差が中であるときには、閾値ＴＨ_NをダイナミックレンジＤＲ₁の４分の１（ＴＨ_N＝ＤＲ₁／４）に、量子化誤差が小であるときには、閾値ＴＨ_NダイナミックレンジＤＲ₁の８分の１（ＴＨ_N＝ＤＲ₁／８）に、それぞれ設定する。

さらに、外部設定値が表すフィルタ強度が「強」である場合、注目画素についての量子化情報が表す量子化ステップが大であり、このため、量子化誤差も大であるときには、閾値ＴＨ_Nを、注目画素についてのダイナミックレンジＤＲ₁の２分の１（ＴＨ_N＝ＤＲ₁／２）に、量子化誤差が中であるときには、閾値ＴＨ_NをダイナミックレンジＤＲ₁の３分の１（ＴＨ_N＝ＤＲ₁／３）に、量子化誤差が小であるときには、閾値ＴＨ_NダイナミックレンジＤＲ₁の４分の１（ＴＨ_N＝ＤＲ₁／４）に、それぞれ設定する。

例えば、量子化情報が表す量子化ステップが小さく、符号化データのビットレートが高い場合には、制御部２３においては、フィルタ強度が弱いフィルタを実現するフィルタ係数を設定することができる。一方、量子化情報が表す量子化ステップが大きく、符号化データのビットレートが低い場合には、フィルタ強度が強いフィルタを実現するフィルタ係数を設定することができる。

なお、注目画素に対する閾値ＴＨ_Nは、その他、例えば，注目画素についてのダイナミックレンジＤＲ₁が所定の値より大きいかどうかを判定し、その判定結果に応じて設定することができる。

即ち、注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ₁が値αより大きい場合には、閾値ＴＨ_Nを大きい値である、例えば、ＤＲ₁／２に設定し、注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ₁が所定の閾αより大きない場合には、閾値ＴＨ_Nを小さい値である、例えば、ＤＲ₁／４に設定することが可能である。

図１３は、図２のノイズ判定部２５が図７のステップＳ３で行う処理を説明するフローチャートである。

ノイズ判定部２５では、上述したように、注目画素に対するフィルタリング処理の実行の有無、即ち、注目画素に対して、フィルタリング処理を施すか否かが判定される。

ここで、Ｖパターンエッジとなっている画素、即ち、エッジの先端部になっている画素にフィルタリング処理が施された場合、擬似エッジが発生し、その結果、画質の劣化が生じてしまう。一方、エッジが存在しない平坦部を構成する画素に対してフィルタリング処理を施しても、復号画像本来の情報が失われず、平坦部には、画質の劣化が生じない。さらに、平坦部にノイズが存在する場合には、そのノイズが目立つため、平坦部には、フィルタリング処理を積極的に施すことが望ましい。また、画素がモスキートノイズを有する場合には、そのモスキートノイズをフィルタリング処理によって除去する必要がある。

そこで、ノイズ判定部２５は、Ｖパターンエッジ判定結果、平坦部判定結果、モスキートノイズ判定結果を、次のように処理して、注目画素に対してフィルタリング処理を施すかどうかを判定する。

ステップＳ７１において、ノイズ判定部２５は、平坦部判定部３３から供給された注目画素についての平坦部判定結果に基づき、注目画素が平坦部の画素であるかどうかを判定する。ステップＳ７１において、注目画素が平坦部の画素であると判定された場合、ステップＳ７３に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施すという信号をスムージング処理部２６に供給して、リターンする。

一方、ステップＳ７１において、注目画素が平坦部の画素でないと判定された場合には、ステップＳ７２に進み、ノイズ判定部２５は、Ｖパターンエッジ判定部３１から供給された注目画素についてのＶパターンエッジ判定結果に基づき、注目画素がＶパターンエッジを有する画素（Ｖパターンエッジの先端部の画素）であるかどうかを判定する。

ステップＳ７２において、注目画素がＶパターンエッジを有する画素であると判定された場合、即ち、注目画素がＶパターンエッジである可能性が大きい、またはＶパターンエッジである可能性が小さいというＶパターンエッジ判定結果がＶパターンエッジ判定部３１からノイズ判定部２５に供給された場合、ステップＳ７５に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施さないという信号をスムージング処理部２６に供給して、リターンする。

一方、ステップＳ７２において、注目画素がＶパターンエッジを有する画素でないと判定された場合には、ステップＳ７４に進み、ノイズ判定部２５は、モスキートノイズ判定部３４から供給された注目画素についてのモスキートノイズ判定結果に基づき、注目画素がモスキートノイズを有する画素であるかどうかを判定する。

ステップＳ７４において、注目画素がモスキートノイズを有すると判定された場合、ステップＳ７３に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施すという信号をスムージング処理部２６に供給して、リターンする。

一方、ステップＳ７４において、注目画素がモスキートノイズを有しないと判定された場合、ステップＳ７５に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施さないという信号をスムージング処理部２６に供給して、リターンする。

なお、ノイズ判定部２５では、上述した処理順に限らず、制御部２３から供給された判定順番に応じたその他の処理順で処理を行うことができる。

また、図１３では、注目画素にフィルタリング処理を施す、または注目画素にフィルタリング処理を施さないという２通りの判定を行うようにしたが、その他、例えば、注目画素に対するフィルタリング処理におけるフィルタ強度を強、中、弱にするといった３以上の判定を行うようにすることも可能である。この場合、２通りの判定を行う場合に比較して、より適切にノイズ除去を行うことができる。

即ち、図１３では、Ｖパターンエッジ判定結果、平坦部判定結果、モスキートノイズ判定結果を、平坦部判定結果、Ｖパターンエッジ判定結果、モスキートノイズ判定結果の順で処理することとしたが、この処理順は、閾値設定部２３からノイズ判定部２５に供給される判定順番に基づいて決定される。従って、ノイズ判定部２５においては、Ｖパターンエッジ判定結果、平坦部判定結果、モスキートノイズ判定結果を、図１３における場合と異なる順序で処理することもできる。

即ち、ノイズ判定部２５においては、Ｖパターンエッジ判定結果、平坦部判定結果、モスキートノイズ判定結果を、閾値設定部２３から供給される判定順番にしたがい、例えば、まず、モスキートノイズ判定結果を処理し、その処理結果に応じて、Ｖパターンエッジ判定結果または平坦部判定結果を処理することができる。

図１４は、図１３と異なる処理順により図２のノイズ判定部２５が図７のステップＳ３で行う処理を説明するフローチャートである。

ステップＳ８１において、ノイズ判定部２５は、モスキートノイズ判定部３４から供給された注目画素についてのモスキートノイズ判定結果に基づき、注目画素がモスキートノイズを有するかどうかを判定する。ステップＳ８１において、注目画素がモスキートノイズを有しないと判定された場合には、ステップＳ８３に進み、ノイズ判定部２５は、平坦部判定部３３から供給された注目画素についての平坦部判定結果に基づき、注目画素が平坦部の画素であるかどうかを判定する。

ステップＳ８３において、注目画素が平坦部の画素であると判定された場合、ステップＳ８６に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施すという信号をスムージング処理部２６に供給して、リターンする。

一方、ステップＳ８３において、注目画素が平坦部の画素でないと判定された場合、ステップＳ８５に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施さないという信号をスムージング処理部２６に供給して、リターンする。

一方、ステップＳ８１において、注目画素がモスキートノイズを有すると判定された場合には、ステップＳ８２に進み、ノイズ判定部２５は、Ｖパターンエッジ判定部３１から供給された注目画素についてのＶパターンエッジ判定結果に基づき、注目画素がＶパターンエッジの画素（先端部分の画素）であるかどうかを判定する。ステップＳ８２において、注目画素がＶパターンエッジの画素であると判定された場合、ステップＳ８５に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施さないという信号をスムージング処理部２６に供給して、リターンする。

一方、ステップＳ８２において、注目画素がＶパターンエッジの画素でないと判定された場合、ステップＳ８４に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施すという信号をスムージング処理部２６に供給して、リターンする。

なお、モスキートノイズ判定部２５におけるＶパターンエッジ判定部３１、平坦部判定部３３、モスキートノイズ判定部３４の判定結果の処理順は、図１３または図１４の処理順に限定されず、その他の処理順とすることが可能である。

図１５は、図２のスムージング処理部２６の処理（図７のステップＳ４）を説明するフローチャートである。なお、図１５においては、図４の注目画素Ｅを中心として、水平方向ついて行われるスムージング処理部２６の処理を説明する。

ステップＳ９１において、スムージング処理部２６は、ノイズ判定部２５から供給された注目画素Ｅに対するフィルタリング処理の実行の有無を示した信号に基づき、注目画素Ｅがフィルタリング処理を施すフィルタ対象画素であるかどうかを判定する。ステップＳ９１において、注目画素Ｅがフィルタリング処理を施すフィルタ対象画素でないと判定された場合、ステップＳ９３に進み、スムージング処理部２６は、注目画素Ｅがフィルタリング処理を施すフィルタ対象画素でないことを表す情報、即ち、注目画素Ｅのフィルタ強度を０（または最も小さい値）に設定するというフィルタ強度情報を、フィルタ係数決定部２７に供給して、リターンする。

一方、ステップＳ９１において、注目画素Ｅがフィルタ対象画素と判定された場合、ステップＳ９２に進み、スムージング処理部２６は、注目画素Ｅの水平方向に隣接する２つの画素、即ち、注目画素Ｅの左側の隣接画素Ｄと右側の隣接画素Ｆの両方が、フィルタ対象画素かどうかを判定する。

ステップＳ９２において、注目画素Ｅの左側の隣接画素Ｄと右側の隣接画素Ｆのうちの、少なくとも一方の隣接画素がフィルタ対象画素でないと判定された場合、即ち、注目画素Ｅが、フィルタリング処理の対象となる領域と、対象となっていない領域との境界にある、対象となる領域側の画素である場合、ステップＳ９４に進み、スムージング処理部２６は、注目画素Ｅをフィルタリング処理するときのフィルタ強度を制御部２３から供給されたフィルタ係数で実現されるフィルタリング処理のフィルタ強度より弱くするフィルタ強度情報を、フィルタ係数決定部２７に供給して、リターンする。

一方、ステップＳ９２において、注目画素Ｅの左側の隣接画素Ｄと右側の隣接画素Ｆの両方がフィルタ対象画素であると判定された場合、ステップＳ９５に進み、スムージング処理部２６は、注目画素Ｅをフィルタリング処理するときのフィルタ強度を制御部２３から供給されたフィルタ係数で実現されるフィルタリング処理のフィルタ強度とするというフィルタ強度情報を、フィルタ係数決定部２７に供給して、リターンする。

なお、図１５の処理は、図４の注目画素Ｅを中心として、垂直方向についても行われる。また、図１５の処理は、注目画素について、時間方向にも行うことができる。

そして、フィルタ係数決定部２７は、注目画素について、図７のステップＳ１−３の処理により制御部２３から供給されるフィルタ係数、図８の処理によりＶパターンエッジ判定部３１から供給されるＶパターンエッジ判定結果、図９の処理によりインパルスエッジ判定部３２から供給されるインパルスエッジ判定結果、および図１５の処理によりスムージング処理部２６から供給されるフィルタ強度情報に基づき、図７のステップＳ５で説明したように、最終的なフィルタ係数を決定し、フィルタ部２８に供給する。

フィルタ部２８は、フィルタ係数決定部２７から供給される最終的なフィルタ係数に基づき、注目画素にフィルタリング処理を施し、その結果得られる注目画素の画素値を出力する。

以上のように、ノイズ判定部２５は、特徴判定部２４が判定する画素の１以上の特徴に基づき、その画素に対するフィルタリング処理の実行の有無を判定するので、例えば、ノイズを有する画素にのみフィルタリング処理を施すことができる。これにより、フィルタリング処理を施す場合と比較して、ノイズに対して十分に効果的にフィルタリング処理を施し、高画質の画像となることができる。

また、スムージング処理部２６は、注目画素に対するフィルタリング処理の実行の有無の判定結果と、注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、注目画素に対するフィルタリング処理のフィルタ強度を調整するので、空間方向や時間方向に隣接した画素間において、一方の画素に強いフィルタ強度のフィルタリング処理が施されることにより、画素値が不自然に不連続になることを防止して、画質のよい画像を得ることができる。

また、特徴判定部２４において、注目画素の複数の特徴を判定し、ノイズ判定部２５において、その複数の判定結果に基づいて、注目画素に対するフィルタリング処理の実行の有無を判定するようにしたので、例えば、ノイズを有する画素を正確に判定して、そのような画素に対してのみ、フィルタリング処理を実行することができる。

制御部２３は、量子化情報に基づき、フィルタ係数や、画素の特徴を判定するために用いる閾値などを設定するので、その量子化情報により、モスキートノイズが多く生ずることが予測される場合には、フィルタ強度の強いフィルタリング処理を行うことが可能となる。一方、モスキートノイズが少ないことが予測される場合には、フィルタ強度の弱いフィルタリング処理を行うことが可能となる。また、量子化情報その他の符号化データに含まれる画像の復号に用いられる情報によって、符号化データの圧縮率を判定することができる場合には、制御部２３において、その判定結果に応じて、フィルタ係数や特徴判定部２４で用いられる閾値などを設定することにより、圧縮率が高く、画質が低い画像に対しては、効果的に十分なノイズ除去を行う強いフィルタ強度のフィルタリング処理を行い、圧縮率の低い高画質の画像に対しては、弱いフィルタ強度のフィルタリング処理を行うことができる。

また、フィルタ係数決定部２７は、特徴判定部２４により判定された画素の１以上の特徴に応じ、画素に対するフィルタリング処理のフィルタ係数を最終的に決定するので、画像における、例えば、Ｖパターンエッジやインパルスエッジなどをフィルタリング処理してエッジがボケてしまうということを防止することができる。

さらに、制御部２３やフィルタ係数決定部２７では、ユーザからの外部設定値に応じて、フィルタ係数が設定（決定）されるので、そのようなフィルタ係数によるっフィルタリング処理が行われることにより、ユーザの好みの画質の画像を得ることができる。

上述した一連の処理は、専用のハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

上述した一連の処理をソフトウェアで実行する場合、図１のノイズ除去部２は、例えば、図１６に示されるようなコンピュータをベースとして構成することが可能である。

即ち、図１６は、コンピュータのベースとして構成したノイズ除去部２の構成例を示している。

図１６において、ＣＰＵ（Central Processing Unit）４１は、ＲＯＭ（Read Only Memory）４２に記憶されているプログラム、または記憶部４８からＲＡＭ（Random Access Memory）４３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ４３にはまた、ＣＰＵ４１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ４１、ＣＰＵ４２、およびＲＡＭ４３は、バス４４を介して相互に接続されている。このバス４４にはまた、入出力インタフェース４５も接続されている。

入出力インタフェース４５には、キーボード、マウスなどよりなる入力部４６、ディスプレイなどよりなる出力部４７、ハードディスクなどより構成される記憶部４８、および通信部４９が接続されている。

入出力インタフェース４５にはまた、必要に応じてドライブ５０が接続され、磁気ディスク５１、光ディスク５２、光磁気ディスク５３、或いは半導体メモリ５４が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、図１６のコンピュータに、プログラム格納媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１６に示すように、磁気ディスク５１（フロッピディスクを含む）、光ディスク５２（CD-ROM(Compact Disk-Read Only Memory)、ＤＶＤ(Digital Versatile Disk)を含む）、光磁気ディスク５３（ＭＤ（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリ５４などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に格納されるＣＰＵ１５２や、記憶部４８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

ＣＰＵ４１は、記憶部４８にインストールされているプログラムを実行することにより、ノイズ除去部２が行う処理を実行する。

なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、図２のノイズ除去部２は、エンコードされた後にデコードされた復号画像に限らず、エンコードされていない画像を対象として処理を行うことも可能である。

また、図２のノイズ除去部２は、ＭＰＥＧエンコードにより符号化された信号に限らず、その他の符号化方法によりエンコードされた画像をデコードした復号画像を対象として処理を行うことも可能である。

さらに、ノイズ除去部２では、輝度信号と色信号の両方、またはいずれか一方を処理対象とすることができる。

また、本実施の形態では、制御部２３において、量子化情報に応じて、フィルタ係数や、特徴判定部２４で用いる閾値などを設定するようにしたが、符号化データに含まれるその他の情報、即ち、動きベクトルやピクチャタイプなどに応じて、フィルタ係数や閾値などを設定することが可能となる。

さらに、本実施の形態では、フィルタ２８におけるタップ数や、タップの構成（構造）
については、本願に言及しなかったが、これらは、特に限定されるものではない。即ち、フィルタ２８におけるタップ数としては、任意の値を採用することができ、タップも、空間方向と時間方向の一方または両方に設けることができる。また、フィルタ２８におけるタップ数やタップの構成は、制御部２３やフィルタ係数決定部２７において、量子化情報、外部設定値、特徴判定部２４における判定結果に応じて設定（決定）することも可能である。

また、本発明は、空間方向について処理を施したが、時間方向についても同様の処理を行うことができる。

本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。ノイズ除去部２の構成例を示すブロック図である。ダイナミックレンジを説明する図である。ブロックを説明する図である。Ｖパターンエッジを説明する図である。インパルスエッジを説明する図である。図２のノイズ除去部２の動作を説明するフローチャートである。図２のＶパターンエッジ判定部３１の処理を説明するフローチャートである。図２のインパルスエッジ判定部３２の処理を説明するフローチャートである。図２の平坦部判定部３３の処理を説明するフローチャートである。図２のモスキートノイズ判定部３４の処理を説明するフローチャートである。閾値ＴＨ_Nの設定方法の例を説明する図である。図２のノイズ判定部２５の処理を説明するフローチャートである。図２のノイズ判定部２５の処理を説明するフローチャートである。図２のスムージング処理部２６の処理を説明するフローチャートである。ノイズ除去部２を実現するコンピュータのハードウェア構成例を示すブロック図である。

符号の説明

１ＭＰＥＧデコード部，２ノイズ除去部，１１可変長復号部，１２逆量子化部，１３逆ＤＣＴ変換部，１４逆ブロック化部，１５動き補償実行部，２１ダイナミックレンジ演算部，２２アクティビティ演算部，２３閾値制御部，２４特徴判定部，２５ノイズ判定部，２６スムージング処理部，２７フィルタ係数決定部，２８フィルタ，３１Ｖパターンエッジ判定部，３２インパルスエッジ判定部，３３平坦部判定部，３４モスキートノイズ判定部，４１ＣＰＵ，４２ＲＯＭ，４３ＲＡＭ，４４バス，４５入出力インタフェース，４６入力部，４７出力部，４８記憶部，４９通信部，５０ドライブ，５１磁気ディスク，５２光ディスク，５３光磁気ディスク，５４半導体メモリ

Claims

画像を処理する画像処理装置において、
前記画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定手段と、
注目している注目画素に対するフィルタリング処理の実行が有りと判定された場合において、前記注目画素に隣接する隣接画素に対するフィルタリング処理の実行が無しと判定された場合、前記注目画素に対する前記フィルタリング処理のフィルタ強度を弱めるように調整する調整手段と
を備えることを特徴とする画像処理装置。
前記調整手段により調整された前記フィルタ強度に基づき、前記注目画素に対する前記フィルタリング処理のフィルタ係数を決定するフィルタ係数決定手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
画像を処理する画像処理方法において、
前記画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップと、
注目している注目画素に対するフィルタリング処理の実行が有りと判定された場合において、前記注目画素に隣接する隣接画素に対するフィルタリング処理の実行が無しと判定された場合、前記注目画素に対する前記フィルタリング処理のフィルタ強度を弱めるように調整する調整ステップと
を含むことを特徴とする画像処理方法。
画像を処理する画像処理を、コンピュータに実行させるプログラムにおいて、
前記画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップと、
注目している注目画素に対するフィルタリング処理の実行が有りと判定された場合において、前記注目画素に隣接する隣接画素に対するフィルタリング処理の実行が無しと判定された場合、前記注目画素に対する前記フィルタリング処理のフィルタ強度を弱めるように調整する調整ステップと
を含むことを特徴とするプログラム。
画像を処理する画像処理を、コンピュータに実行させるプログラムが記録されている記録媒体において、
前記画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップと、
注目している注目画素に対するフィルタリング処理の実行が有りと判定された場合において、前記注目画素に隣接する隣接画素に対するフィルタリング処理の実行が無しと判定された場合、前記注目画素に対する前記フィルタリング処理のフィルタ強度を弱めるように調整する調整ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。