JP4618218B2 - 画像処理装置および画像処理方法 - Google Patents

Description

この発明は、画像信号のノイズを除去する画像処理装置および画像処理方法に関するものである。

従来、画像信号のノイズ除去を行う画像処理方法として、画像信号の特定色領域内と特定色領域外の色に対して、異なる係数を適用するフィルタ処理によりノイズを除去する例が特許文献１に示されている。
また、シーン情報に基づいて画像信号の特定色領域を検出してノイズを除去する例が特許文献２に示されている。

特開２００４−１７２９８７号公報（１１頁、図１５） 特開２００２−１０１４２２号公報（５頁、図２）

ノイズ除去のフィルタ処理においては、周辺の画素値が反映されるものである。従来の画像処理装置および画像処理方法では、そのノイズ除去する際のフィルタ係数を選択する判断基準として、その画素が特定色領域の色信号の値をもつか否かのみを用いていた。このため、その画素の周辺画素の色信号の値が大きく変化する部分においては、フィルタを適用する画素と大きく異なる色信号の値をもつ周辺画素の影響を与えたくない場合でも、フィルタ係数をその画素の色信号のみで判断していたため、周辺画素の色信号の値の影響が大きいフィルタ処理を行ってしまうことがあり、特定色領域と特定色領域外との境界付近の画像がぼけてしまうことがあるという問題点があった。

この発明は、上記のような課題を解決するためになされたもので、その画素と周辺の画素の色信号の値の変化の大きさに対応したエッジ情報を考慮して、適切なノイズ除去を行うことで、特定色領域と特定色領域外との境界付近の画像がぼけるのを抑制したノイズ除去を実現することを目的とする。

この発明に係る画像処理装置および画像処理方法は、入力画像信号の注目画素の周辺におけるエッジの有無に関するエッジ情報を抽出するエッジ抽出部と、特定色領域情報に基づいて、注目画素の色信号が特定色領域内か特定色領域外かを判定し、この判定結果とエッジ抽出部が抽出したエッジ情報とを用いて注目画素に適用するノイズ除去処理を選択するノイズ除去選択部と、ノイズ除去選択部が選択したノイズ除去処理を注目画素に適用するノイズ除去処理部とを備えたものである。

この発明によれば、その画素と周辺の画素の色信号の値の変化の大きさに対応したエッジ情報を考慮して、適切なノイズ除去を行うようにしたので、特定色領域と特定色領域外との境界付近の画像がぼけるのを抑制したノイズ除去を実現することができる。

この発明に係る画像処理装置および画像処理方法の実施の形態について説明する。以下の実施の形態では、画像信号のノイズ除去にエッジ情報を用いることで、画像がぼけるのを抑制し、エッジをぼかさずに保存できるとともに、画像信号のノイズを効果的に除去する画像処理を行う。

実施の形態１．
この発明の実施の形態１では、入力される画像信号のノイズ除去処理対象の画素（以下、注目画素という）の色信号が特定色領域に含まれるとき、エッジ情報に基づいて強度の異なる特定色ノイズ除去と通常ノイズ除去を切り替えて適用する画像処理装置１０ａについて説明する。

図１は、この発明の実施の形態１に係る画像処理装置１０ａの構成の一例を示すブロック図である。このブロック図に基づいて、各ブロックの機能の概要を説明する。

図１において、エッジ抽出部１１ａは、入力画像信号の注目画素に対するエッジ抽出範囲内におけるエッジの有無に関するエッジ情報を抽出する。ノイズ除去選択部１２ａは、特定色領域情報に基づいて、注目画素の色信号が特定色領域内か特定色領域外かを判定し、エッジ抽出部が抽出したエッジ情報を用いて前記注目画素に適用するノイズ除去処理を選択する。ノイズ除去処理部１３ａは、ノイズ除去選択部が選択したノイズ除去処理を注目画素に適用する。

また、図２は、この発明の実施の形態１に係る画像処理装置１０ａのノイズ除去選択部１２ａの構成の一例を示すブロック図であり、ノイズ除去選択部１２ａは、特定色領域判定手段２１ａとノイズ除去判定手段２２から構成される。

図２において、特定色領域判定手段２１ａは、入力画像信号の注目画素の色信号が、特定色領域情報に基づいて、特定色領域内にあるか特定色領域外にあるかを判定する。ノイズ除去判定手段２２は、この特定色領域判定手段２１ａが判定した注目画素に対して、色信号が特定色領域内にある注目画素に適用する特定色ノイズ除去と特定色領域外にある注目画素に適用する通常ノイズ除去のいずれか一つを選択し、判定情報とする。ただし、このノイズ除去判定手段２２は、特定色領域判定手段２１ａが出力した注目画素に対する特定色領域内か特定色領域外かの判定とともに、エッジ抽出部１１ａが抽出したエッジ情報を用いて、特定色ノイズ除去か通常ノイズ除去かを選択する。そして、ノイズ除去処理部１３ａは、このノイズ除去選択部１２ａが選択した判定情報から特定色ノイズ除去と通常ノイズ除去のいずれか一つのノイズ除去処理を適用して注目画素からノイズ除去することになる。

次に、この画像処理装置１０ａの各部の動作について、図３のフローチャートに関連付けて説明する。ここでは、入力画像信号と出力画像信号は、輝度Ｙ、色差Ｃｂ、Ｃｒの色信号（色空間成分）から構成されるものとする。

まず、図１におけるエッジ抽出部１１ａは、入力画像信号を入力とし、注目画素の周辺の横ｍ画素、縦ｎ画素、合計ｍ×ｎ画素の周辺画素からなる設定範囲（エッジ抽出範囲という）内にエッジが存在するか存在しないかをエッジ情報として抽出する（ステップST101）。つまり、エッジ情報とは、注目画素の周辺（エッジ抽出範囲）におけるエッジ有無を示す情報である。ここで、ｍおよびｎは、それぞれ整数で、画像サイズに対して、０＜ｍ＜水平画素数、０＜ｎ＜垂直画素数を満たすものとする。なお、このエッジ抽出範囲の形状は、矩形でなくてもよい。

エッジ情報を求める方法の一例として、入力画像信号の輝度Ｙ値の分布に基づいてエッジを抽出する方法について説明する。エッジ抽出部１１ａは、注目画素の周辺領域のエッジ抽出範囲内でＹ値の信号分布のヒストグラムを求め、Ｙ値が大きいところ（最大値寄り）と小さいところ（最小値寄り）に偏って分布して中間値が少なく二極化した場合には、注目画素の周辺領域にエッジが存在する（エッジを含む確率が高い）と判定し、その他の場合はエッジが存在しない（エッジを含む確率が低い）と判定し、エッジ情報とする。

より具体的な例としては、エッジ抽出範囲内の周辺画素におけるＹ値の信号分布の最大値と最小値から計算される各所定比率の内分点として第１の閾値Ｔ１および第２の閾値Ｔ２（＜Ｔ１）を設定することで、Ｙ値の大きいところとする第１の閾値Ｔ１以上の画素数が所定の個数以上、かつ、Ｙ値の小さいところとする第２の閾値Ｔ２以下の画素数が所定の個数以上ある場合には、注目画素の周辺領域内にエッジが存在すると判定する。この二つの所定の個数は、同値でなくてもよく、エッジ抽出範囲がｍ×ｎ画素の矩形領域として全体画素数が決まっていれば、それぞれ所定の割合の画素数として設定することもできる。

また、同様に、入力画像信号の色差Ｃｂ値およびＣｒ値の分布に基づいてエッジ情報を求めてもよい。この場合、エッジ抽出部１１ａは、注目画素の周辺領域のエッジ抽出範囲内でＣｂ値およびＣｒ値の信号分布を求め、エッジが存在するか存在しないかを判定し、エッジ情報としてもよい。さらに、Ｙ値のエッジ情報と、Ｃｂ値およびＣｒ値のエッジ情報を重み付けして、注目画素の周辺領域にエッジが存在するか否かを総合的に判定し、エッジ情報としても構わない。要するに、エッジ情報とは、色信号の変化の大きい画素が存在するか否かを示す情報であり、どの色信号から得てもよい。

次に、図１におけるノイズ除去選択部１２ａの特定色領域判定手段２１ａは、入力画像信号の注目画素の色信号が、特定色領域情報に基づく特定色領域内にあるか、特定色領域外にあるかを判定する（ステップST102）。ここで、特定色領域とは、特定色領域情報としてＹ値、Ｃｂ値、Ｃｒ値にそれぞれ設定された上限値および下限値を境界とする範囲にそれぞれ収まる特定色信号の領域とする。各境界値上の色信号を特定色領域内外のいずれとして扱うかは、あらかじめ設定しておけばよい。

特定色領域判定手段２１ａにおいて、この注目画素の色信号が特定色領域外にあると判定した場合（ステップST102がＮｏ）には、ノイズ除去選択部１２ａのノイズ除去判定手段２２は、特定色領域外にある通常の注目画素に対しては通常ノイズ除去の選択をノイズ除去選択部１２ａの判定情報とし、その結果としてステップST104に進む。

一方、特定色領域判定手段２１ａにおいて、この注目画素の色信号が特定色領域内にあると判定した場合（ステップST102がＹｅｓ）、ノイズ除去選択部１２ａのノイズ除去判定手段２２は、エッジ抽出部１１ａから入力されたエッジ情報を参照し、注目画素の周辺領域にエッジが存在するか、存在しないかを判定する（ステップST103）。

ここで、ノイズ除去判定手段２２が、この注目画素の周辺領域にエッジが存在すると判定した場合（ステップST103がＹｅｓ）には、色信号が特定色領域内にあっても特定色領域外と同じ通常ノイズ除去の選択をノイズ除去選択部１２ａの判定情報とし、その結果としてステップST104に進む。一方、この注目画素の周辺領域にエッジが存在しないと判定した場合（ステップST103がＮｏ）には、特定色ノイズ除去の選択をノイズ除去選択部１２ａの判定情報とし、その結果としてステップST105に進む。

このノイズ除去選択部１２ａにおいて、特定色領域判定手段２１ａがステップST102の特定色領域判定を行って特定色領域内にある注目画素に対し、さらにノイズ除去判定手段２２がステップST103の注目画素周辺のエッジ有無を判定することで、特定色領域内にあっても、その注目画素周辺にエッジが存在するときには、エッジのぼけをより小さく抑制して保存できる通常ノイズ処理を適用するとともに、エッジが存在しないときには、ノイズ除去の効果が大きい特定色ノイズ除去を適用することができる。

そして、図１におけるノイズ除去処理部１３ａは、入力画像信号に対して、ノイズ除去選択部１２ａから入力された判定情報に基づいてノイズ除去を適用し、出力画像信号として出力する。より具体的には、通常ノイズ除去が選択されたステップST102がＮｏのとき、またはステップST103がＹｅｓのときには、入力画像信号に通常ノイズ除去を適用する（ステップST104）。また、特定色ノイズ除去が選択されたステップST103がＮｏのときには、入力画像信号に特定色ノイズ除去を適用する（ステップST105）。

ここで、ノイズ除去は、横ａ画素、縦ｂ画素の、合計ａ×ｂ画素の領域サイズのローパスフィルタで行う。ここで、ａおよびｂは、それぞれ整数で、画像サイズに対して、０＜ａ＜水平画素数、０＜ｂ＜垂直画素数を満たすものとする。このａ×ｂ画素の領域サイズは、エッジ抽出部１１ａのｍ×ｎ画素のエッジ抽出範囲のサイズと必ずしも一致させる必要はない。

ノイズ除去部１３ａは、特定色領域のノイズ除去に適用するローパスフィルタの係数と、通常のノイズ除去に適用するローパスフィルタの係数を変えることで、ノイズ除去の効果（強度という）の異なるローパスフィルタを備え、ノイズ除去選択部１２ａから入力された判定情報に基づく適切なローパスフィルタを選択して入力画像信号に対してノイズ除去を行う。なお、ノイズを除去するローパスフィルタは、Ｙ値に対して適用するだけでもよいが、Ｃｂ値およびＣｒ値に対して適用してもよく、さらに、両方を組み合わせて、Ｙ値、Ｃｂ値、Ｃｒ値のすべてに対してそれぞれ適用しても構わない。

このように、この発明の実施の形態１に係る画像処理装置では、特定色領域判定を行って特定色領域内にある注目画素に対し、さらに注目画素周辺のエッジ有無を判定することで、特定色領域内にあっても、その注目画素周辺にエッジが存在するときには、特定色領域外の画素に対するノイズ処理と同じ通常ノイズ処理を適用することで、エッジをぼかさないようにするとともに、エッジが存在しないときには、ノイズ除去の効果が大きい特定色ノイズ除去を適用することで効果の高いノイズ除去を実現する。

また、エッジ抽出部１１ａが抽出するエッジ情報は、注目画素の周辺領域で、エッジの有無、すなわちエッジが存在するか存在しないかの２値で説明を行ったが、各画素におけるエッジらしさの確率として、例えば、線形一次微分フィルタであるＳｏｂｅｌフィルタを用いて演算した値をエッジ情報としてもよい。このように、エッジ情報を確率として表した場合には、所定の閾値（入力信号は図示せず）を設けて、例えば、その閾値以上であればエッジが存在し、閾値未満であればエッジが存在しないと判定すればよい。なお、エッジ抽出部１１ａのエッジ抽出手段としては、Ｓｏｂｅｌフィルタに限らず、例えば、他の一次微分フィルタのＰｒｅｗｉｔｔフィルタ、Ｒｏｂｅｒｔｓフィルタや、二次微分フィルタのＬａｐｌａｃｉａｎフィルタなどを適用しても構わない。

ここでは、エッジ情報は、エッジらしさの確率に対して、エッジ抽出部１１ａにおいて所定の閾値によるエッジの有無の２値化判定が行われるものとして説明しているが、ノイズ除去判定手段２２にエッジらしさの確率のままで入力し、同様の所定の閾値によるエッジの有無の２値化判定を行わせても構わない。

なお、この発明の実施の形態１において、図３のフローチャートにおけるエッジ情報を抽出するステップST101は、特定色領域を判定するステップST102の前に行っているが、ステップST102ではエッジ情報が使用されないので、エッジ情報の抽出ステップはその後でもよく、要するに、抽出したエッジ情報が使用されるステップST103までに行えばよい。例えば、ステップST103の直前に配置を入れ替えても構わない。

以上説明したように、この発明の実施の形態１における画像処理装置は、特定色領域に含まれる注目画素に対して、エッジ情報に基づいて強度の異なる特定色ノイズ除去と通常ノイズ除去を切り替えて適用するようにしたので、注目画素の周辺にエッジの存在する領域ではエッジのぼけを抑制して、解像度を保ち、エッジの存在しない特定色領域に対して適切なノイズ除去を行う効果を得ることができる。

実施の形態２．
この発明の実施の形態２は、この発明の実施の形態１に係る画像処理装置１０ａのノイズ除去選択部１２ａの内部構成を変更したノイズ除去選択部１２ｂを備えた画像処理装置１０ｂとして構成される。

この発明の実施の形態２では、この発明の実施の形態１に対して、エッジ情報に基づいて注目画素と周辺画素との色信号から算出した統計値、例えば色信号の平均値や最頻値などが特定色領域に含まれるか否かの判定を行うことによって、この算出した統計値が特定色領域に含まれるとき、エッジ情報に基づいて強度の異なる特定色ノイズ除去と通常ノイズ除去を切り替えて適用する画像処理装置について説明する。

この発明の実施の形態２に係る画像処理装置１０ｂは、この発明の実施の形態１で示した図１と同様の構成であるが、ノイズ除去選択部１２ａをノイズ除去選択部１２ｂに置き換えた構成となっている。なお、この発明の実施の形態１の図１のブロック図の当該ブロックと変更点がなく、同一符号を付したエッジ抽出部１１ａおよびノイズ除去処理部１３ａは、同一または相当の機能を果たすものとして、説明を省略する。

この発明の実施の形態２におけるノイズ除去選択部１２ｂは、エッジ抽出部１１ａが抽出したエッジ情報と特定色領域情報に基づいて、注目画素に適用するノイズ除去処理を選択する。

また、図４は、この発明の実施の形態２に係る画像処理装置１０ｂのノイズ除去選択部１２ｂの構成の一例を示すブロック図であり、ノイズ除去選択部１２ｂは、特定色領域判定手段２１ｂとノイズ除去判定手段２２から構成される。なお、この発明の実施の形態１の図２のブロック図の当該ブロックと変更点がなく、同一符号を付したノイズ除去判定手段２２は、同一または相当の機能を果たすものとする。

図４において、特定色領域判定手段２１ｂは、エッジ抽出部１１ａが抽出したエッジ情報に基づき前記注目画素に対する設定範囲（特定色判定範囲という）を設定し、この特定色判定範囲内における周辺画素および注目画素の色信号の統計値が、特定色領域情報に基づいて、特定色領域内か特定色領域外かを判定する。この特定色判定範囲は、エッジ抽出部１１ａのエッジ抽出範囲のサイズ、ノイズ除去処理部１３ａのローパスフィルタのサイズと必ずしも一致させる必要はない。ノイズ除去判定手段２２は、この特定色領域判定手段２１ｂが判定した注目画素に対して、色信号が特定色領域内にある注目画素に適用する特定色ノイズ除去と特定色領域外にある注目画素に適用する通常ノイズ除去のいずれか一つを選択し、判定情報とする。ただし、ノイズ除去判定手段２２は、特定色領域判定手段２１ｂが出力した特定色判定範囲における統計値に対する特定色領域内か特定色領域外かの判定と、エッジ抽出部１１ａが抽出したエッジ情報を用いて、特定色ノイズ除去か通常ノイズ除去かを選択する。そして、ノイズ除去処理部１３ａは、このノイズ除去選択部１２ｂが選択した判定情報から特定色ノイズ除去と通常ノイズ除去のいずれか一つのノイズ除去処理を適用して注目画素からノイズ除去することになる。

次に、この画像処理装置１０ｂの各部の動作について、図３のフローチャートに関連付けて説明する。この図３のフローチャートにおいて、この発明の実施の形態１の画像処理装置１０ａの各部と異なる動作を行う部分は、ノイズ除去選択部１２ｂに係る処理を示すステップST102である。その他の部分の同一または相当の動作説明については、省略する。

図１、図４におけるノイズ除去選択部１２ｂの特定色領域判定手段２１ｂは、入力画像信号の注目画素と、エッジ抽出部１１ａが抽出したエッジ情報に基づき設定される特定色判定範囲の周辺画素との色信号の統計値を算出し、この統計値が、特定色領域情報に基づく特定色領域内にあるか、特定色領域外にあるかを判定する（ステップST102）。

このように、ノイズ除去選択部１２ｂは、エッジ情報に基づいた特定色領域判定手段２１ｂの判定とノイズ除去判定手段２２の判定とによって、ノイズ除去を適切に選択する。つまり、特定色判定範囲の周辺画素との色信号の統計値に対して判定した特定色領域内にある注目画素に対し、さらに注目画素周辺のエッジ有無を判定することで、特定色領域内にあっても、その注目画素周辺にエッジが存在するときには、特定色領域外の画素に対するノイズ処理と同じ通常ノイズ処理を選択する判定情報を出力し、エッジが存在しないときには、ノイズ除去の効果が大きい特定色ノイズ除去を選択する判定情報を出力することで、ノイズ除去部１３ａのノイズ除去処理で特定色領域内の色信号をもつ注目画素周辺のエッジをぼかさないように保存しながら効果の高いノイズ除去を実現する。

また、この特定色領域判定手段２１ｂは、エッジ情報を参照することで、エッジ情報に基づいて統計値の算出に適用する周辺画素の色信号の特定色判定範囲を変更することができるようになる。例えば、エッジが周辺になければ、特定色判定範囲を広くし、エッジが周辺にあれば、特定色判定範囲を狭くすることで、色信号の統計値へのエッジの影響を抑制する。

また、先に説明したこの発明の実施の形態１の画像処理装置１０ａのノイズ除去選択部１２ａでは、特定色領域判定手段２１ａにおいて、注目画素の色信号に対して特定色領域内にあるか、特定色領域外にあるかを判定していた。しかし、この発明の実施の形態２に係る画像処理装置１０ｂのノイズ除去選択部１２ｂでは、特定色領域判定手段２１ｂにおいて、注目画素と、エッジ情報に基づき設定される特定色判定範囲の周辺画素との色信号の統計値、先に説明したように、例えば色信号の平均値や最頻値などに対して特定色領域内にあるか、特定色領域外にあるかを判定する。あるいは、この色信号の統計値は、注目画素との距離で重みを変えた重み付け平均値としても構わない。このような統計値を用いることで、局所的に大きなノイズの影響を抑制する。

以上説明したように、この発明の実施の形態２に係る画像処理装置は、特定色領域に含まれる注目画素に対して、エッジ情報に基づいて強度の異なる特定色ノイズ除去と通常ノイズ除去を切り替えて適用するようにしたので、この発明の実施の形態１における画像処理装置と同様の効果を得ることができる。

また、この発明の実施の形態２に係る画像処理装置は、特定色領域に含まれる注目画素に対して、エッジ情報に基づいて統計値の算出に用いる周辺画素の特定色判定範囲を設定して、注目画素と周辺画素との色信号から算出した統計値が特定色領域内にあるか特定色領域外にあるかを判定し、局所的なノイズの影響を抑制するようにしたので、注目画素単独で判定するより特定色領域の判定精度を向上させる効果を得ることができる。

実施の形態３．
この発明の実施の形態３では、この発明の実施の形態１に対して、エッジ情報に基づいて強度の異なる特定色ノイズ除去と通常ノイズ除去を切り替えるとともに、さらに、周辺画素情報も参照してノイズ除去を切り替えるようにした画像処理装置１０ｃについて説明する。

図５は、この発明の実施の形態３に係る画像処理装置１０ｃの一例を示すブロック図であり、この発明の実施の形態２のエッジ抽出部１１ａをエッジ抽出部１１ｂに、また、ノイズ除去選択部１２ｂをノイズ除去選択部１２ｃに置き換えた構成となっている。このブロック図に基づいて、各ブロックの機能の概要を説明する。なお、この発明の実施の形態２の図１のブロック図の当該ブロックと変更点がなく、同一符号を付したノイズ除去処理部１３ａは、同一または相当の機能を果たすものとして、説明を省略する。

図５におけるエッジ抽出部１１ｂとノイズ除去選択部１２ｃのブロックは、より詳細に内部構成を示す図６および図７により機能の概要を説明する。

まず、図６は、この発明の実施の形態３に係る画像処理装置１０ｃのエッジ抽出部１１ｂの構成の一例を示すブロック図であり、エッジ抽出手段３１とエッジ情報記憶手段３２から構成される。

図６におけるエッジ抽出部１１ｂのエッジ抽出手段３１は、入力画像信号の注目画素に対する周辺画素のエッジ抽出範囲内においてエッジが存在するか存在しないかを示すエッジ情報を抽出する。エッジ情報記憶手段３２は、エッジ抽出手段３１が抽出したエッジ情報を周辺画素情報として記憶し、この注目画素に対するエッジ情報とともに周辺画素に対するエッジ情報、すなわち周辺画素情報を出力する。

次に、図７は、この発明の実施の形態３に係る画像処理装置１０ｃのノイズ除去選択部１２ｃの構成の一例を示すブロック図であり、ノイズ除去選択部１２ｃは、特定色領域判定手段２１ｃとノイズ除去判定手段２２から構成される。なお、この発明の実施の形態２の図４のブロック図の当該ブロックと変更点がなく、同一符号を付したノイズ除去判定手段２２は、同一または相当の機能を果たすものとする。

図７におけるノイズ除去選択部１２ｃの特定色領域判定手段２１ｃは、入力画像信号の注目画素に対してエッジ抽出部１１ａが抽出したエッジ情報とエッジ抽出部１１ａが記憶した特定色判定範囲内の周辺画素情報とに基づく該当画素の色信号の統計値が、特定色領域情報に基づいて、特定色領域内にあるか特定色領域外にあるかを判定する。ノイズ除去判定手段２２は、この特定色領域判定手段２１ｃが判定した注目画素に対して、色信号が特定色領域内にある注目画素に適用する特定色ノイズ除去と特定色領域外にある注目画素に適用する通常ノイズ除去のいずれか一つを選択し、判定情報とする。ただし、ノイズ除去判定手段２２は、特定色領域判定手段２１ｂが出力した特定色判定範囲における統計値に対する特定色領域内か特定色領域外かの判定と、エッジ抽出部１１ａが抽出したエッジ情報を用いて、特定色ノイズ除去か通常ノイズ除去かを選択する。そして、ノイズ除去処理部１３ａは、このノイズ除去選択部１２ｂが選択した判定情報から特定色ノイズ除去と通常ノイズ除去のいずれか一つのノイズ除去処理を適用して注目画素からノイズ除去することになる。

次に、この画像処理装置１０ｃの各部の動作について、図８のフローチャートに関連付けて説明する。この図８のフローチャートにおいて、この発明の実施の形態１の画像処理装置１０ａの各部と異なる動作を行う部分は、エッジ抽出部１１ｂに係る処理を示すステップST201（追加）、およびノイズ除去選択部１２ｃに係る処理を示すST102である。その他の同一または相当の部分の動作説明については、省略する。

まず、図５、図６におけるエッジ抽出部１１ｂのエッジ抽出手段３１は、入力画像信号を入力とし、注目画素の周辺画素からなるエッジ抽出範囲内にエッジが存在するか存在しないかをエッジ情報として抽出する（ステップST101）。

次に、エッジ抽出部１１ｂのエッジ情報記憶手段３２は、エッジ抽出手段３１が抽出したエッジ情報を周辺画素情報として記憶する。これにより、過去に抽出されたエッジ情報を記憶したエッジ情報記憶手段３２は、記憶したエッジ情報を周辺画素情報として出力し、参照可能とする（ステップST201）。

また、図５、図７におけるノイズ除去選択部１２ｃの特定色領域判定手段２１ｃは、エッジ抽出部１１ｂのエッジ抽出手段３１が抽出したエッジ情報に基づいて参照する周辺画素の特定色判定範囲を設定し、注目画素とエッジ抽出部１１ｂのエッジ情報記憶手段３２が記憶した特定色判定範囲内の周辺画素情報を参照してエッジが存在しなかった周辺画素のみを対象として色信号の統計値を算出し、特定色領域内にあるか特定色領域外にあるかを判定する（ステップST102）。

このノイズ除去選択部１２ｃの特定色領域判定手段２１ｃは、この発明の実施の形態２に係る画像処理装置１０ｂのノイズ除去選択部１２ｂの特定色領域判定手段２１ｂと同様に注目画素と周辺画素との色信号の統計値を算出するが、エッジ抽出部１１ａが抽出したエッジ情報とエッジ抽出部１１ａが記憶した周辺画素情報とに基づいて参照する周辺画素の特定色判定範囲を設定するため、エッジ抽出部１１ａが抽出したエッジ情報だけに基づいて周辺画素の範囲を設定するよりも、周辺画素情報からエッジが存在しなかった周辺画素のみを統計値の算出対象とすることができ、特定色領域の判定精度を向上させ、その後のノイズ除去の選択にもエッジの存在の影響を抑制することができる。

ここで、特定色判定範囲は、その大きさや形状、および注目画素に対する配置などがエッジ情報と周辺画素情報に基づいて設定され、例えば、周辺にエッジが存在する画素が最小限となるようにしてもよい。また、色信号の統計値の算出に当たっては、周辺にエッジが存在する画素が特定色判定範囲に含まれても、周辺画素情報を参照することで対象画素から外すことでも、エッジの存在の影響を抑制できるので、エッジ情報に関わらず特定色判定範囲の大きさ、形状、配置の設定を逐次変更せずに固定とし、すなわち、その設定のために使用していた特定色領域判定手段２１ｃに入力されるエッジ情報を不要とした構成も、この実施の形態３の変形例に含まれる。

このように、この発明の実施の形態３に係る画像処理装置では、この発明の実施の形態３と同様に、ノイズ除去選択部１２ｃの特定色領域判定手段２１ｃにおいて算出した色信号の統計値を用いることで、局所的なノイズの影響を抑制することができる。また、このノイズ除去選択部１２ｃの特定色領域判定手段２１ｂは、エッジ情報を参照することで、エッジ情報に基づいて統計値の算出に適用する周辺画素の色信号の特定色判定範囲を設定し、さらに、設定された特定色判定範囲内においても、周辺画素情報を参照することで、統計値の算出に適用する周辺画素をエッジが存在しなかった画素に限定し、エッジの存在の影響を抑制することができる。

なお、この発明の実施の形態３に係る画像処理装置では、エッジ抽出部１１ｂのエッジ抽出手段３１が抽出したエッジ情報をエッジ情報記憶手段３２が周辺画素情報として逐次記憶していく処理手順で説明を行った。エッジ情報記憶手段３２から出力される周辺画素情報は、エッジ情報を記憶することで設定されるが、注目画素より後方に位置するエッジ情報が抽出されていない画素に対する周辺画素情報は、不定の状態にある。よって、注目画素より後方に位置する不定の状態にある画素は、ノイズ除去選択部１２ｃの特定色領域判定手段２１ｃにおける特定色判定範囲内の周辺画素の色信号に基づく統計値の算出の対象画素から外すようにする。このため、エッジ情報記憶手段３２が記憶する各画素に対する周辺のエッジ有無を示すエッジ情報は、初期値として、不定の状態であることを示す値を用意しても、または統計値算出の対象画素から外されるようにエッジがあることを示す値を設定しておいてもよい。なお、特定色判定範囲内において、注目画素より後方に位置する画素を少なくするために、例えば、注目画素を特定色判定範囲の中央でなく、下方に配置してもよい。

また、この発明の実施の形態３の一変形例として、エッジ抽出部１１ｂが注目画素に対する特定色判定範囲内の周辺画素情報（エッジ情報）を出力できるように、注目画素に対する周辺画素情報として必要なエッジ情報を抽出するための最小限のバッファメモリ（図示せず）を備えておき、そのバッファメモリに蓄積した画像信号をプリスキャンすることで、周辺画素情報として出力されるエッジ情報を先行抽出してエッジ情報記憶手段３２に記憶しておき、周辺画素情報が不定の状態で出力されることを解消するようにしてもよい。このバッファメモリは、ノイズ除去選択部１２ｃの特定色領域判定手段２１ｃがエッジ情報に基づいて特定色判定範囲を設定するので、少なくとも特定色判定範囲とされうる周辺画素の周辺画素情報（エッジ情報）を抽出するために必要となる周辺画素を蓄積できるものとする。さらに、画像信号を蓄積するフレームメモリ（図示せず）を備えた構成を採用できる場合には、画像信号をプリスキャンして画像フレーム全体のエッジ情報を先行抽出してエッジ情報記憶手段３２に記憶する手順を採用しても構わない。

以上説明したように、この発明の実施の形態３に係る画像処理装置は、特定色領域に含まれる注目画素に対して、エッジ情報に基づいて強度の異なる特定色ノイズ除去と通常ノイズ除去を切り替えて適用するようにしたので、この発明の実施の形態１に係る画像処理装置と同様の効果を得ることができる。

また、この発明の実施の形態３に係る画像処理装置は、特定色領域に含まれる注目画素に対して、エッジ情報に基づいて統計値の算出に用いる周辺画素の特定色判定範囲を設定して、注目画素と周辺画素との色信号から算出した統計値が特定色領域内にあるか特定色領域外にあるかを判定し、局所的なノイズの影響を抑制するようにしたので、この発明の実施の形態２に係る画像処理装置と同様の効果を得ることができる。

さらに、この発明の実施の形態３に係る画像処理装置は、周辺画素情報に基づいて特定色判定範囲のエッジが存在しない周辺画素のみを統計値の算出対象として、注目画素と周辺画素との色信号から算出した統計値が特定色領域内にあるか特定色領域外にあるかを判定し、局所的なノイズの影響を抑制するようにしたので、エッジが存在した周辺画素を含めて色信号の統計値を算出して判定するよりも特定色領域の判定精度を向上させる効果を得ることができる。

実施の形態４．
この発明の実施の形態４では、この発明の実施の形態３に対して、入力される画像信号の色差成分を最初に色差低減処理しておく画像処理装置１０ｄについて説明する。

図９は、この発明の実施の形態４に係る画像処理装置１０ｄの一例を示すブロック図であり、この発明の実施の形態３のブロック図に色差低減処理部１４を加えた構成となっている。このブロック図に基づいて、各ブロックの機能の概要を説明する。なお、この発明の実施の形態３の図５のブロック図の当該ブロックと変更点がなく、同一符号を付したエッジ抽出部１１ｂ、ノイズ除去選択部１２ｃおよびノイズ除去処理部１３ａは、同一または相当の機能を果たすものとして、説明を省略する。なお、色差低減処理部１４は、エッジ抽出部１１ｂ、ノイズ除去選択部１２ｃおよびノイズ除去処理部１３ａの外部にあるものとして共有化して示されているが、エッジ抽出部１１ｂ、ノイズ除去選択部１２ｃおよびノイズ除去処理部１３ａのそれぞれが独立に色差低減処理部１４を備えた構成であっても構わない。あるいは、エッジ抽出部１１ｂ、ノイズ除去選択部１２ｃおよびノイズ除去処理部１３ａのうち１つが独立に色差低減処理部１４を備え、残る２つは共有化したまま使用する構成であっても構わない。

図９における色差低減処理部１４は、エッジ抽出部１１ｂ、ノイズ除去選択部１２ｃおよびノイズ除去処理部１３ａに入力画像信号に対して色差低減処理を前処理として行う。ここで、色差低減処理の適用によって輝度Ｙ、色差Ｃｂ、Ｃｒの成分からなる画像信号の色信号（色空間成分）には変更はなく、輝度Ｙは無変換のまま、色差Ｃｂ、Ｃｒの成分が色差低減処理された入力画像信号に対して、この発明の実施の形態３に相当する処理を行ってノイズ除去が行われる。

ノイズ除去の前処理として色差低減処理を行うことで、色差信号のノイズが抑圧され、この後の色差信号へのノイズ除去の効果を向上させることができる。このような前処理は、特に高感度画像に現れやすいノイズの抑圧に有効である。この色差低減処理部１４で行われる色差低減処理（色差低減方式）の一例を説明する。なお、ここでは色差信号Ｃｂ値およびＣｒ値は、例えば、−１２８から＋１２７のような正負の値をとるものとする。

色差信号Ｃｂ値およびＣｒ値に適用する色差低減処理について、色差信号Ｃｂ値に適用する場合について説明する。まず、横ｘ画素、縦ｙ画素、合計ｘ×ｙ画素の局所領域における色差信号Ｃｂ値の平均値Ａｖｅをそれぞれ算出する。ここで、ｘおよびｙは、それぞれ整数で、画像サイズに対して、０＜ｘ＜水平画素数、０＜ｙ＜垂直画素数を満たすものとする。次に、注目画素のＣｂ値は、その絶対値と正負を示す符号信号を分けて保存し、Ｃｂ値の絶対値から平均値Ａｖｅを減算する。さらに、この平均値Ａｖｅを減算した絶対値を係数倍する。この係数の値は、０．０〜１．０までの値とし、平均値Ａｖｅに近い絶対値、すなわち平均値Ａｖｅを減算されて０に近くなる絶対値では係数の値を小さくし、平均値Ａｖｅから離れた絶対値ほど係数の値を大きくなるようにして、平均値Ａｖｅからの距離に応じて滑らかに変化させる。最後に、この係数倍されたＣｂ値の絶対値に平均値Ａｖｅを加算して、保存しておいた符号信号を付加する。なお、色差信号Ｃｒ値についても同様に処理すればよい。このように、入力画像信号の色差信号Ｃｂ値およびＣｒ値に対して、この色差低減処理を画素ごとに適用してから後段のノイズ除去の処理を行う。

次に、この画像処理装置１０ｄの各部の動作について、図１０のフローチャートに関連付けて説明する。この図１０のフローチャートにおいて、この発明の実施の形態３の画像処理装置１０ｃの各部と異なる動作を行う部分は、色差低減処理部１４に係る処理を示すステップST200（追加）である。その他の同一または相当の部分の動作説明については、省略する。

図９における色差低減処理部１４は、入力画像信号の色差Ｃｂ値、Ｃｒ値に対して色差低減処理を行う（ステップST200）。輝度Ｙ値は無変換のまま、色差低減された色差Ｃｂ値、Ｃｒ値からなる画像信号に対して、この発明の実施の形態３と同様にステップST101、ST201、ST102からST105の処理を行う。

このように、この発明の実施の形態４に係る画像処理装置では、ノイズ除去の前処理として色差低減処理を適用して色差信号のノイズを抑圧するようにしたので、より効果的にノイズ除去が行える。

以上説明したように、この発明の実施の形態４に係る画像処理装置は、特定色領域に含まれる注目画素に対して、エッジ情報に基づいて強度の異なる特定色ノイズ除去と通常ノイズ除去を切り替えて適用するようにしたので、この発明の実施の形態１に係る画像処理装置と同様の効果を得ることができる。

また、この発明の実施の形態４に係る画像処理装置は、特定色領域に含まれる注目画素に対して、エッジ情報に基づいて統計値の算出に用いる周辺画素の特定色判定範囲を設定して、注目画素と周辺画素との色信号から算出した統計値が特定色領域内にあるか特定色領域外にあるかを判定し、局所的なノイズの影響を抑制するようにしたので、この発明の実施の形態２に係る画像処理装置と同様の効果を得ることができる。

また、この発明の実施の形態４に係る画像処理装置は、周辺画素情報に基づいて特定色判定範囲のエッジが存在しない周辺画素のみを統計値の算出対象として、注目画素と周辺画素との色信号から算出した統計値が特定色領域内にあるか特定色領域外にあるかを判定し、局所的なノイズの影響を抑制するようにしたので、この発明の実施の形態３に係る画像処理装置と同様の効果を得ることができる。

また、この発明の実施の形態４に係る画像処理装置は、入力画像信号の色差信号に対して色差低減処理を適用してから、この発明の実施の形態３に係る画像処理装置の処理を行うようにしたので、ノイズが抑圧された色差信号に基づきより精度の高いノイズ除去の効果を得ることができる。

実施の形態５．
この発明の実施の形態５では、色空間変換部１５を設けて、この発明の実施の形態１に係る画像処理装置１０ａのノイズ除去選択部１２ａへ入力される画像信号を、最初に色空間変換部１５で色空間変換してから処理するノイズ除去選択部１２ｄを備えた画像処理装置１０ｅについて説明する。

図１１は、この発明の実施の形態５に係る画像処理装置１０ｅの一例を示すブロック図であり、この発明の実施の形態１のブロック図（図１）のノイズ除去選択部１２ａの前段に色空間変換部１５を加えた構成となっている。このブロック図に基づいて、各ブロックの機能の概要を説明する。なお、この発明の実施の形態１の図１のブロック図の当該ブロックと変更点がなく、同一符号を付したエッジ抽出部１１ａおよびノイズ除去処理部１３ａは、同一または相当の機能を果たすものとして、説明を省略する。なお、色空間変換部１５は、ノイズ除去選択部１２ｄの外部にあるものとして示されているが、ノイズ除去選択部１２ｄが色空間変換部１５を備えた構成であっても構わない。

図１１における色空間変換部１５は、入力画像信号に色空間変換を適用する。ノイズ除去選択部１２ｄは、色空間変換部１５が色空間変換した画像信号（色情報）から、このエッジ抽出部１１ａが抽出したエッジ情報と特定色領域情報に基づいて、注目画素に適用するノイズ除去処理を選択する。

また、このノイズ除去選択部１２ｄは、図２におけるノイズ除去選択部１２ａと同様の内部構成である。ただし、特定色領域判定手段２１ａは、色空間変換部１５が色空間変換した色空間の特定色領域情報に基づいて、色空間変換部１５が色空間変換した画像信号の注目画素の色信号が、特定色領域内にあるか特定色領域外にあるかを判定する。

次に、この画像処理装置１０ｅの各部の動作について、図１２のフローチャートに関連付けて説明する。この図１２のフローチャートにおいて、この発明の実施の形態１の画像処理装置１０ａの各部と異なる動作を行う部分は、色空間変換部１５に係る処理を示すステップST301（追加）と、ノイズ除去選択部１２ｄの特定色領域判定手段２１ａに係る処理を示すステップST102である。その他の同一または相当の部分の動作説明については、省略する。

まず、図１１における色空間変換部１５は、入力画像信号に対して色空間変換を行う（ステップST301）。

また、図１１におけるエッジ抽出部１１ａは、入力画像信号を入力とし、注目画素の周辺領域のエッジ抽出範囲内にエッジが存在するか存在しないかをエッジ情報として抽出する（ステップST101）。

次に、図１１におけるノイズ除去選択部１２ｄの特定色領域判定手段２１ａは、色空間変換部１５が色空間変換した画像信号の注目画素の色信号が、色空間変換部１５が色空間変換した色空間の特定色領域情報に基づく特定色領域内にあるか、特定色領域外にあるかを判定する（ステップST102）。以下、この発明の実施の形態１と同様にステップST103からST105の処理を行う。

このように、この発明の実施の形態５に係る画像処理装置では、色空間変換を適用することで、より人間の感覚に近いパラメータである色相、彩度、明度に変換した色情報を基に視覚特性に応じて特定色領域を判定でき、精度の高いノイズ除去が可能となる。

なお、この発明の実施の形態５において、図１２のフローチャートにおける入力画像信号に対して色空間変換を行うステップST301は、エッジ情報を抽出するステップST101の前に行っているが、ステップST101ではエッジ情報が使用されないので、エッジ情報の抽出ステップはその後でもよく、要するに、特定色領域を判定するステップST102までに行えばよい。例えば、ステップST102の直前に配置を入れ替えても構わない。

また、図１２のフローチャートにおけるエッジ情報を抽出するステップST101は、この発明の実施の形態１と同様に、特定色領域を判定するステップST102の前に行っているが、ステップST102ではエッジ情報が使用されないので、エッジ情報の抽出ステップはその後でもよく、要するに、抽出したエッジ情報が使用されるステップST103までに行えばよい。例えば、ステップST103の直前に配置を入れ替えても構わない。

以上説明したように、この発明の実施の形態５に係る画像処理装置は、特定色領域に含まれる注目画素に対して、エッジ情報に基づいて強度の異なる特定色ノイズ除去と通常ノイズ除去を切り替えて適用するようにしたので、この発明の実施の形態１に係る画像処理装置と同様の効果を得ることができる。

また、この発明の実施の形態５に係る画像処理装置は、ノイズ除去選択部への入力画像信号に対して色空間変換を適用してからノイズ除去を行うので、より人間の感覚に近いパラメータである色相、彩度、明度に変換した色情報を基に視覚特性に応じて特定色領域を判定でき、精度の高いノイズ除去効果を得ることができる。

実施の形態６．
この発明の実施の形態６では、色空間変換部１５を設けて、この発明の実施の形態１に係る画像処理装置１０ａのエッジ抽出部１１ａへ入力される画像信号を、最初に色空間変換部１５で色空間変換してから処理するエッジ抽出部１１ｃを備えた画像処理装置１０ｆについて説明する。

図１３は、この発明の実施の形態５に係る画像処理装置１０ｆの一例を示すブロック図であり、この発明の実施の形態１のブロック図（図１）のエッジ抽出部１１ａの前段に色空間変換部１５を加えた構成となっている。このブロック図に基づいて、各ブロックの機能の概要を説明する。なお、この発明の実施の形態１の図１のブロック図の当該ブロックと変更点がなく、同一符号を付したノイズ除去選択部１２ａおよびノイズ除去処理部１３ａは、同一または相当の機能を果たすものとして、説明を省略する。なお、色空間変換部１５は、エッジ抽出部１１ｃの外部にあるものとして示されているが、エッジ抽出部１１ｃが色空間変換部１５を備えた構成であっても構わない。

図１３における色空間変換部１５は、入力画像信号に色空間変換を適用する。エッジ抽出部１１ｃは、色空間変換部１５が色空間変換した画像信号の注目画素に対する周辺画素のエッジ抽出範囲内においてエッジが存在するか存在しないかを示すエッジ情報を抽出する。

次に、この画像処理装置１０ｆの各部の動作について、図１２のフローチャートに関連付けて説明する。この図１２のフローチャートにおいて、この発明の実施の形態１の画像処理装置１０ａの各部と異なる動作を行う部分は、色空間変換部１５に係る処理を示すステップST301（追加）と、エッジ抽出部１１ｃに係る処理を示すステップST101である。その他の同一または相当の部分の動作説明については、省略する。

まず、図１３における色空間変換部１５は、入力画像信号に対して色空間変換を行う（ステップST301）。

また、図１３におけるエッジ抽出部１１ａは、色空間変換部１５が色空間変換した画像信号を入力とし、注目画素の周辺領域のエッジ抽出範囲内にエッジが存在するか存在しないかをエッジ情報として抽出する（ステップST101）。以下、この発明の実施の形態１と同様にステップST102からST105の処理を行う。

このように、この発明の実施の形態６に係る画像処理装置では、色空間変換を適用することで、より人間の感覚に近いパラメータである色相、彩度、明度に変換した色情報を基に視覚特性に応じてエッジを抽出でき、精度の高いノイズ除去が可能となる。

以上説明したように、この発明の実施の形態６に係る画像処理装置は、特定色領域に含まれる注目画素に対して、エッジ情報に基づいて強度の異なる特定色ノイズ除去と通常ノイズ除去を切り替えて適用するようにしたので、この発明の実施の形態１に係る画像処理装置と同様の効果を得ることができる。

また、この発明の実施の形態６に係る画像処理装置は、エッジ抽出部への入力画像信号に対して色空間変換を適用してからノイズ除去を行うので、より人間の感覚に近いパラメータである色相、彩度、明度に変換した色情報を基に視覚特性に応じてエッジを抽出でき、精度の高いノイズ除去効果を得ることができる。

実施の形態７．
この発明の実施の形態７では、色空間変換部１５を設けて、この発明の実施の形態１に係る画像処理装置１０ａのエッジ抽出部１１ａ、ノイズ除去選択部１２ａへ入力される画像信号を、最初に色空間変換部１５で色空間変換してから処理するエッジ抽出部１１ｃ、ノイズ除去選択部１２ｄを備えた画像処理装置１０ｇについて説明する。

図１４は、この発明の実施の形態７に係る画像処理装置１０ｇの一例を示すブロック図であり、この発明の実施の形態１のブロック図（図１）のエッジ抽出部１１ａとノイズ除去選択部１２ａの前段に色空間変換部１５を加えた構成となっている。このブロック図に基づく各ブロックの機能の概要は、この発明の実施の形態１の図１、この発明の実施の形態５の図１１およびこの発明の実施の形態６の図１３のブロック図の当該ブロックと変更点がなく、同一符号を付したエッジ抽出部１１ｃ、ノイズ除去選択部１２ｄ、ノイズ除去処理部１３ａおよび色空間変換部１５は、同一または相当の機能を果たすものとして、説明を省略する。なお、色空間変換部１５は、エッジ抽出部１１ｃおよびノイズ除去選択部１２ｄの外部にあるものとして共有化して示されているが、エッジ抽出部１１ｃおよびノイズ除去選択部１２ｄのそれぞれが独立に色空間変換部１５を備えた構成であっても構わない。

次に、この画像処理装置１０ｇの各部の動作について、図１２のフローチャートに関連付けて説明する。この図１２のフローチャートにおいて、この発明の実施の形態１の画像処理装置１０ａの各部と異なる動作を行う部分は、色空間変換部１５に係る処理を示すステップST301（追加）と、エッジ抽出部１１ｃに係る処理を示すステップST101と、ノイズ除去選択部１２ｄの特定色領域判定手段２１ａに係る処理を示すステップST102である。ただし、追加されたステップST301と、変更されたステップST101およびステップST102は、この発明の実施の形態５の画像処理装置１０ｅまたはこの発明の実施の形態６の画像処理装置１０ｆの当該ブロックであるエッジ抽出部１１ｃ、ノイズ除去選択部１２ｄおよび色空間変換部１５と同一または相当の動作を行うものであり、またその他の同一または相当の部分の動作説明については、省略する。

このように、この発明の実施の形態７に係る画像処理装置では、色空間変換を適用することで、より人間の感覚に近いパラメータである色相、彩度、明度に変換した色情報を基に視覚特性に応じて精度の高いノイズ除去が可能となる。

以上説明したように、この発明の実施の形態７に係る画像処理装置は、特定色領域に含まれる注目画素に対して、エッジ情報に基づいて強度の異なる特定色ノイズ除去と通常ノイズ除去を切り替えて適用するようにしたので、この発明の実施の形態１に係る画像処理装置と同様の効果を得ることができる。

また、この発明の実施の形態７に係る画像処理装置は、エッジ抽出部およびノイズ除去選択部への入力画像信号に対して色空間変換を適用してからノイズ除去を行うので、この発明の実施の形態５および実施の形態６に係る画像処理装置と同様の効果を得ることができる。

実施の形態８．
この発明の実施の形態８では、この発明の実施の形態７に係る画像処理装置１０ｇのノイズ除去処理部１３ａへ入力される画像信号を色空間変換部１５で色空間変換した画像信号とした画像処理装置１０ｈについて説明する。また、この画像処理装置１０ｈでは、ノイズ除去処理部１３ｂでノイズ除去された画像信号に色空間変換部１５の色空間変換に対する色空間逆変換を行う色空間逆変換部１６を備えた構成として説明する。

図１５は、この発明の実施の形態８に係る画像処理装置１０ｈの一例を示すブロック図であり、この発明の実施の形態７のブロック図（図１４）のノイズ除去処理部１３ａの前段に色空間変換部１５、またノイズ除去処理部１３ａの後段に色空間逆変換部１６を加えた構成となっている。このブロック図に基づく各ブロックの機能の概要は、この発明の実施の形態７の図１４のブロック図の当該ブロックと変更点がなく、同一符号を付したエッジ抽出部１１ｃ、ノイズ除去選択部１２ｄおよび色空間変換部１５は、同一または相当の機能を果たすものとして、説明を省略する。なお、色空間変換部１５は、エッジ抽出部１１ｃ、ノイズ除去選択部１２ｄおよびノイズ除去処理部１３ｂの外部にあるものとして共有化して示されているが、エッジ抽出部１１ｃ、ノイズ除去選択部１２ｄおよびノイズ除去処理部１３ｂのそれぞれが独立に色空間変換部１５を備えた構成であっても構わない。あるいは、エッジ抽出部１１ｂ、ノイズ除去選択部１２ｃおよびノイズ除去処理部１３ａのうち１つが独立に色空間変換部１５を備え、残る２つは共有化したまま使用する構成であっても構わない。

図１５におけるノイズ除去処理部１３ｂは、色空間変換部１５が色空間変換した画像信号に、ノイズ除去選択部１２ｄが選択したノイズ除去処理を適用してノイズ除去する。色空間逆変換部１６は、ノイズ除去処理部１３ｂがノイズ除去した画像信号に色空間変換部１５の色空間変換に対する色空間逆変換を行う。

ただし、この発明の実施の形態８に係る画像処理装置１０ｈは、ノイズ除去処理部１３ｂがノイズ除去した画像信号を色空間逆変換部１６に通すことなく出力しても構わない。これは、例えば、入力画像信号が輝度色差信号ＹＣｂＣｒで与えられ、色空間変換部１５で色相、彩度、明度に変換して、ノイズ除去した後、そのまま外部の符号器で符号化して蓄積や通信するような場合に用いることができる。このとき、必要があれば、色空間逆変換部１６は再生装置の側に備え、復号器で復号した色相、彩度、明度を入力画像信号と同じ輝度色差信号ＹＣｂＣｒに逆変換するようにしてもよい。また。入出力画像信号は、輝度色差信号ＹＣｂＣｒに限らず、ＲＧＢ信号などであってもよい。

次に、この画像処理装置１０ｈの各部の動作について、図１６のフローチャートに関連付けて説明する。この図１６のフローチャートにおいて、この発明の実施の形態７の画像処理装置１０ｇの各部と異なる動作を行う部分は、ノイズ除去処理部１３ｂに係る処理を示すステップST104、ST105、および色空間逆変換部１６に係る処理を示すステップST302（追加）である。その他の同一または相当の部分の動作説明については、省略する。

まず、この発明の実施の形態７と同様にステップST301とステップST101からST103の処理を行い、ノイズ除去処理部１３ｂで適用するノイズ除去処理をノイズ除去選択部１２ｄが選択する。

次に、図１５におけるノイズ除去処理部１３ｂは、ノイズ除去選択部１２ｄが選択したノイズ除去処理に基づいて、通常ノイズ除去処理（ステップST104）または特定色ノイズ除去処理（ステップST105）を色空間変換部１５が色空間変換した画像信号に適用してノイズ除去する。

また、図１５における色空間逆変換部１６は、ノイズ除去処理部１３ｂがノイズ除去した画像信号を色空間逆変換して、入力画像信号と同じ色空間の画像信号に逆変換する。

このように、この発明の実施の形態８に係る画像処理装置では、色空間変換を適用することで、より人間の感覚に近いパラメータである色相、彩度、明度に変換した色情報を基にノイズ除去を行うことで、視覚特性に応じてエッジを抽出し、特定色領域を判定し、精度の高いノイズ除去が可能となる。

以上説明したように、この発明の実施の形態８に係る画像処理装置は、特定色領域に含まれる注目画素に対して、エッジ情報に基づいて強度の異なる特定色ノイズ除去と通常ノイズ除去を切り替えて適用するようにしたので、この発明の実施の形態１に係る画像処理装置と同様の効果を得ることができる。

また、この発明の実施の形態８に係る画像処理装置は、エッジ抽出部およびノイズ除去選択部への入力画像信号に対して色空間変換を適用してからノイズ除去を行うので、この発明の実施の形態５から実施の形態７に係る画像処理装置と同様の効果を得ることができる。

また、この発明の実施の形態８に係る画像処理装置は、ノイズ除去処理部への入力画像信号に対して色空間変換を適用してからノイズ除去を行うので、より人間の感覚に近いパラメータである色相、彩度、明度に変換した色情報を基に視覚特性に応じて精度の高いノイズ除去効果を得ることができる。

なお、この発明の実施の形態に係る画像処理装置で説明した構成の各ブロックが有する同一または相当の各機能は、この発明の実施の形態における他の画像処理装置に組み合わせて適用しても構わない。例えば、次のような画像処理装置を構成することもできる。さらに、多くの機能を同時に実装した画像処理装置も考えられることも自明である。

この発明の実施の形態２から実施の形態４に係る画像処理装置のノイズ除去選択部の特定色判定手段で行うエッジ情報に基づく特定色判定範囲を設定する機能は、エッジ情報をノイズ除去選択部に入力することによって、この発明の実施の形態５から実施の形態８に係る画像処理装置に適用しても構わない。

また、この発明の実施の形態３および実施の形態４に係る画像処理装置のノイズ除去選択部の特定色判定手段で行う特定色判定範囲に含まれる周辺画素の色信号から算出した統計値による特定色領域を判定する機能は、エッジ抽出部のエッジ情報記憶手段にエッジ情報を周辺画素情報として記憶して蓄えておき、周辺画素情報をノイズ除去選択部に入力することによって、この発明の実施の形態５から実施の形態８に係る画像処理装置に適用しても構わない。

また、この発明の実施の形態４に係る画像処理装置の色差低減処理部で行う入力画像信号を色差低減する機能は、この発明の実施の形態１、実施の形態２および実施の形態５から実施の形態８に係る画像処理装置への入力画像信号が輝度色差信号からなる画像信号であれば、色差低減処理部を同様に設けて適用しても構わない。

この発明の実施の形態５から実施の形態８に係る画像処理装置の色空間変換部で行う色区間を変換する機能は、この発明の実施の形態１から実施の形態４に係る画像処理装置に色空間変換部を同様に該当部に設けて適用しても構わない。また、色空間変換部とともに、色空間逆変換部を同様に該当部に設けて適用しても構わない。

この発明の実施の形態１から実施の形態８に係る画像処理装置のノイズ除去選択部でノイズ除去処理を選択する機能は、特定色領域情報に基づいて、注目画素が特定色領域にあるか否かを判定してから、エッジ情報を用いて、特定色領域にあると判定された注目画素の周辺にエッジが存在しない注目画素に対して特定色ノイズ除去を適用するように選択しているが、エッジ情報を用いて注目画素の周辺にエッジが存在するか存在しないかを判定し、周辺にエッジが存在しないと判定された注目画素に対して、特定色領域情報に基づいて、特定色領域にある注目画素に対して特定色ノイズ除去を適用するように選択しても構わない。

なお、この発明の実施の形態１から実施の形態８に係る画像処理装置のエッジ抽出部では、画像信号からエッジを抽出する構成として説明したが、すでに抽出されたエッジ情報が画像信号とともに入力される構成であってもよい。この場合、実施の形態１から実施の形態２および実施の形態５から実施の形態８では、画像信号の注目画素とともに画素単位にエッジ情報を逐次入力することで、エッジ抽出部を備えない構成であってもよい。また、実施の形態３および実施の形態４では、エッジ抽出部にエッジ抽出手段を備えず、エッジ情報記憶手段は、ノイズ除去選択部の特定色領域判定手段が設定する可能性のある特定色判定範囲を単位に、または画像１フレームを単位に周辺画像情報となるエッジ情報を記憶する構成であってもよい。

この発明の実施の形態に係る画像処理装置で説明したこれらの機能を適用して画像信号からノイズ除去を行う際に、エッジ情報を用いることで、画像がぼけるのを抑制し、エッジをぼかさずに保存できるとともに、画像信号のノイズを効果的に除去する画像処理を行うことができる。特に、画像信号としてノイズが多く現れやすい高感度画像に対するノイズ除去においては、大きな効果を得ることができる。

以上のように、この発明の実施の形態に係る画像処理装置は、特定色領域に含まれる注目画素に対して、エッジ情報に基づいて強度の異なる特定色ノイズ除去と通常ノイズ除去を切り替えて適用するようにしたので、注目画素の周辺にエッジの存在する領域ではエッジのぼけを抑制して、解像度を保ち、エッジの存在しない特定色領域に対して適切なノイズ除去を行う効果を得ることができる。

また、この発明の実施の形態に係る画像処理装置は、特定色領域に含まれる注目画素に対して、エッジ情報に基づいて統計値の算出に用いる周辺画素の特定色判定範囲を設定して、注目画素と周辺画素との色信号から算出した統計値が特定色領域内にあるか特定色領域外にあるかを判定し、局所的なノイズの影響を抑制するようにしたので、注目画素単独で判定するより特定色領域の判定精度を向上させる効果を得ることができる。

また、この発明の実施の形態に係る画像処理装置は、周辺画素情報に基づいて特定色判定範囲のエッジが存在しない周辺画素のみを統計値の算出対象として、注目画素と周辺画素との色信号から算出した統計値が特定色領域内にあるか特定色領域外にあるかを判定し、局所的なノイズの影響を抑制するようにしたので、エッジが存在した周辺画素を含めて色信号の統計値を算出して判定するよりも特定色領域の判定精度を向上させる効果を得ることができる。

また、この発明の実施の形態に係る画像処理装置は、入力画像信号の色差信号に対して色差低減処理を適用してからノイズ除去を行うので、ノイズが抑圧された色差信号に基づきより精度の高いノイズ除去の効果を得ることができる。

また、この発明の実施の形態に係る画像処理装置は、ノイズ除去選択部への入力画像信号に対して色空間変換を適用してからノイズ除去を行うので、より人間の感覚に近いパラメータである色相、彩度、明度に変換した色情報を基に視覚特性に応じて特定色領域を判定でき、精度の高いノイズ除去効果を得ることができる。

また、この発明の実施の形態に係る画像処理装置は、エッジ抽出部への入力画像信号に対して色空間変換を適用してからノイズ除去を行うので、より人間の感覚に近いパラメータである色相、彩度、明度に変換した色情報を基に視覚特性に応じてエッジを抽出でき、精度の高いノイズ除去効果を得ることができる。

また、この発明の実施の形態に係る画像処理装置は、ノイズ除去処理部への入力画像信号に対して色空間変換を適用してからノイズ除去を行うので、より人間の感覚に近いパラメータである色相、彩度、明度に変換した色情報を基に視覚特性に応じて精度の高いノイズ除去効果を得ることができる。

この発明の実施の形態１による画像処理装置の構成の一例を示すブロック図である。 この発明の実施の形態１による画像処理装置のノイズ除去選択部の構成の一例を示すブロック図である。 この発明の実施の形態１およびこの発明の実施の形態２による画像処理装置の処理手順の一例を示すフローチャートである。 この発明の実施の形態２による画像処理装置のノイズ除去選択部の構成の一例を示すブロック図である。 この発明の実施の形態３による画像処理装置の構成の一例を示すブロック図である。 この発明の実施の形態３による画像処理装置のエッジ抽出部の構成の一例を示すブロック図である。 この発明の実施の形態３による画像処理装置のノイズ除去選択部の構成の一例を示すブロック図である。 この発明の実施の形態３による画像処理装置の処理手順の一例を示すフローチャートである。 この発明の実施の形態４による画像処理装置の構成の一例を示すブロック図である。 この発明の実施の形態４による画像処理装置の処理手順の一例を示すフローチャートである。 この発明の実施の形態５による画像処理装置の構成の一例を示すブロック図である。 この発明の実施の形態５からこの発明の実施の形態７による画像処理装置の処理手順の一例を示すフローチャートである。 この発明の実施の形態６による画像処理装置の構成の一例を示すブロック図である。 この発明の実施の形態７による画像処理装置の構成の一例を示すブロック図である。 この発明の実施の形態８による画像処理装置の構成の一例を示すブロック図である。 この発明の実施の形態８による画像処理装置の処理手順の一例を示すフローチャートである。

符号の説明

１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ、１０ｆ、１０ｇ、１０ｈ 画像処理装置
１１ａ、１１ｂ、１１ｃ エッジ抽出部
１２、１２ａ、１２ｂ、１２ｃ ノイズ除去選択部
１３ａ、１３ｂ ノイズ除去処理部
１４ 色差低減処理部
１５ 色空間変換部
１６ 色空間逆変換部
２１ａ、２１ｂ 特定色領域判定手段
２２ ノイズ除去判定手段
３１ エッジ抽出手段
３２ エッジ情報記憶手段

Claims (12)

1. 入力画像信号の色差信号と前記色差信号の平均値との差と、前記色差信号と前記色差信号の平均値との距離の大きさに応じて０から１まで増加する係数とを用いて、前記色差信号から前記平均値を減算した値と前記係数との積に前記色差信号の平均値を加算することで入力画像信号の色差信号に対して色差低減処理する色差低減処理部と、
   前記色差低減処理部が色差低減処理した入力画像信号の注目画素の周辺におけるエッジの有無に関するエッジ情報を抽出するエッジ抽出部と、
   特定色領域情報に基づいて、前記注目画素の色信号が特定色領域内か特定色領域外かを判定し、この判定結果と前記エッジ抽出部が抽出したエッジ情報とを用いて前記注目画素に適用するノイズ除去処理を選択するノイズ除去選択部と、
   このノイズ除去選択部が選択したノイズ除去処理を前記注目画素に適用するノイズ除去処理部と
   を備えたことを特徴とする画像処理装置。
2. 前記ノイズ除去選択部は、
   前記注目画素の色信号が、前記特定色領域情報に基づいて、特定色領域内か特定色領域外かを判定する特定色領域判定手段と、
   この特定色領域判定手段が特定色領域内にあると判定し、かつ前記エッジ抽出部が抽出したエッジ情報を用いて周辺にエッジが存在しない注目画素に対して特定色ノイズ除去を選択し、その他の注目画素に対して通常ノイズ除去を選択するノイズ除去判定手段と
   を備えたことを特徴とする請求項１記載の画像処理装置。
3. 前記ノイズ除去選択部は、
   前記エッジ抽出部が抽出したエッジ情報に基づき前記注目画素に対する特定色判定範囲を設定し、前記特定色判定範囲内における周辺画素および前記注目画素の色信号の統計値が、前記特定色領域情報に基づいて、特定色領域内か特定色領域外かを判定する特定色領域判定手段と、
   この特定色領域判定手段が特定色領域内にあると判定し、かつ前記エッジ抽出部が抽出したエッジ情報を用いて周辺にエッジが存在しない注目画素に対して特定色ノイズ除去を選択し、その他の注目画素に対して通常ノイズ除去を選択するノイズ除去判定手段と
   を備えたことを特徴とする請求項１記載の画像処理装置。
4. 前記エッジ抽出部は、
   抽出したエッジ情報を周辺画素情報として記憶するエッジ情報記憶手段
   を備え、
   前記特定色領域判定手段は、前記エッジ情報記憶手段が記憶した周辺画素情報に基づいて、前記特定色判定範囲内においてエッジが存在しないことを示す周辺画素情報に対応する前記周辺画素および前記注目画素の色信号から統計値を算出する
   ことを特徴とする請求項３記載の画像処理装置。
5. 入力画像信号を他の色空間の画像信号に色空間変換する色空間変換部
   を備え、
   前記ノイズ除去選択部は、前記色空間変換部が色空間変換した入力画像信号を入力として前記注目画素に適用するノイズ除去処理を選択する
   ことを特徴とする請求項１記載の画像処理装置。
6. 入力画像信号を他の色空間の画像信号に色空間変換する色空間変換部
   を備え、
   前記エッジ抽出部は、前記色空間変換部が色空間変換した入力画像信号を入力としてエッジ情報を抽出する
   ことを特徴とする請求項１記載の画像処理装置。
7. 入力画像信号を他の色空間の画像信号に色空間変換する色空間変換部
   を備え、
   前記ノイズ除去処理部は、前記色空間変換部が色空間変換した入力画像信号を入力としてノイズ除去する
   ことを特徴とする請求項１記載の画像処理装置。
8. 前記ノイズ除去処理部がノイズ除去した画像信号を前記色空間変換部が色空間変換した入力画像信号と同一の色空間に逆変換する色空間逆変換部
   を備えることを特徴とする請求項７記載の画像処理装置。
9. 入力画像信号の色差信号と前記色差信号の平均値との差と、前記色差信号と前記色差信号の平均値との距離の大きさに応じて０から１まで増加する係数とを用いて、前記色差信号から前記平均値を減算した値と前記係数との積に前記色差信号の平均値を加算することで入力画像信号の色差信号に対して色差低減処理する色差低減処理ステップと、
   前記色差低減処理ステップが色差低減処理した入力画像信号の注目画素の周辺におけるエッジの有無に関するエッジ情報を抽出するエッジ抽出ステップと、
   特定色領域情報に基づいて、前記注目画素の色信号が特定色領域内か特定色領域外かを判定し、この判定結果と前記エッジ抽出ステップが抽出したエッジ情報とを用いて前記注目画素に適用するノイズ除去処理を選択するノイズ除去選択ステップと、
   このノイズ除去選択ステップが選択したノイズ除去処理を前記注目画素に適用するノイズ除去処理ステップと
   を有することを特徴とする画像処理方法。
10. 前記ノイズ除去選択ステップは、
    前記注目画素の色信号が、前記特定色領域情報に基づいて、特定色領域内か特定色領域外かを判定する特定色領域判定ステップと、
    この特定色領域判定ステップが特定色領域内にあると判定し、かつ前記エッジ抽出ステップが抽出したエッジ情報を用いて周辺にエッジが存在しない注目画素に対して特定色ノイズ除去を選択し、その他の注目画素に対して通常ノイズ除去を選択するノイズ除去判定ステップと
    を有することを特徴とする請求項９記載の画像処理方法。
11. 前記ノイズ除去選択ステップは、
    前記エッジ抽出ステップが抽出したエッジ情報に基づき前記注目画素に対する特定色判定範囲を設定し、前記特定色判定範囲内における周辺画素の色信号の統計値が、前記特定色領域情報に基づいて、特定色領域内か特定色領域外かを判定する特定色領域判定ステップと、
    この特定色領域判定ステップが特定色領域内にあると判定し、かつ前記エッジ抽出ステップが抽出したエッジ情報を用いて周辺にエッジが存在しない注目画素に対して特定色ノイズ除去を選択し、その他の注目画素に対して通常ノイズ除去を選択するノイズ除去判定ステップと
    を有することを特徴とする請求項９記載の画像処理方法。
12. 前記エッジ抽出ステップは、
    抽出したエッジ情報を周辺画素情報として記憶するエッジ情報記憶ステップ
    を有し、
    前記特定色領域判定ステップは、前記エッジ情報記憶ステップが記憶した周辺画素情報に基づいて、前記特定色判定範囲内においてエッジが存在しないことを示す周辺画素情報に対応する前記周辺画素および前記注目画素の色信号から統計値を算出する
    ことを特徴とする請求項１１記載の画像処理方法。

Images