JP6912869B2 - 画像処理装置、画像処理プログラム、画像処理方法 - Google Patents

Description

本発明は、階調変換後の画像に対して空間フィルタ処理を行う画像処理装置、画像処理プログラム、画像処理方法に関する。

現在の映像信号は８ビット信号が主流であるが、８ビット信号では量子化の粗さに起因してグラデーション再現における階調とびが生じ、この階調とびが偽輪郭として視認される場合がある。ここに、偽輪郭は、隣接する平坦部のレベル差が視認されて、階調が不連続に見える現象である。

これに対して、例えば特許第４９８３４１５号公報には、入力されたデジタル画像信号のビット数を伸張する多ビット化の技術が記載されている。さらに、該公報には、微小振幅信号のみにローパスフィルタ処理を施すことにより、画像全体をボケさせることなく、偽輪郭を改善する技術が記載されている。この技術によれば、平坦部のレベル差で生じる境界をローパスフィルタでぼかすことにより、偽輪郭を軽減する効果が得られると期待される。

特許第４９８３４１５号公報

しかしながら、上記特許第４９８３４１５号公報に記載の技術では、あるレベルの第１の平坦部と第１の平坦部に隣接する他のレベルの第２の平坦部と、の境界となる階段状のレベル差が、局所的には曲線状に滑らかに変化するレベル差になるものの、平坦部の領域が広い（具体的には、ローパスフィルタのフィルタサイズよりも広い）と、ローパスフィルタ処理後であっても、第１の平坦部があるレベルであり、第２の平坦部が他のレベルであるということに変更は生じないために、境界をぼかすだけでは平坦部に不連続性がある印象を受ける点にあまり変化がない。

また、人の視覚特性はウェーバー・フェヒナーの法則にあてはまることから、偽輪郭は暗部で目立ち明部では目立たないと言えるが、上記公報に記載の技術は信号の振幅に基づいて処理を制御するものであるために、明部においては偽輪郭の軽減効果よりもボケによる解像度劣化の副作用のほうが目立ってしまうことが懸念される。

本発明は上記事情に鑑みてなされたものであり、人の視覚特性を考慮して、階調変換後の画像の、解像度劣化を抑制しながら、偽輪郭が目立たないようにすることができる画像処理装置、画像処理プログラム、画像処理方法を提供することを目的としている。

本発明のある態様による画像処理装置は、複数の画素で構成される画像を、モニタでの階調表示が適切となるような階調変換特性で階調変換する階調変換部と、前記階調変換後の画像を構成する画素のそれぞれに対して、該階調変換後の隣接階調の値の差の画素信号値に対するウェーバー比がより大きい画素信号をより高い強度で平滑化する平滑化部と、前記平滑化後の画像の画素信号値が取り得る全範囲内に、前記ウェーバー比がより大きい画素信号により大きいランダム成分を付加する一部範囲が存在するように、かつ前記一部範囲が信号値０を含まないように、前記平滑化後の画素信号にランダム成分を付加するランダム成分付加部と、を備え、前記ランダム成分付加部は、前記平滑化後の画像の画素信号値が、０以上第１の信号値以下の場合にはランダム成分を付加せず、第１の信号値よりも大きく第２の信号値未満の場合にはランダム成分を単調増加させて付加し、第２の信号値以上第３の信号値以下の場合には上限値のランダム成分を付加し、第３の信号値よりも大きく第４の信号値未満の場合にはランダム成分を単調減少させて付加し、第４の信号値以上の場合にはランダム成分を付加しない。

本発明のある態様による画像処理プログラムは、コンピュータに、複数の画素で構成される画像を、モニタでの階調表示が適切となるような階調変換特性で階調変換する階調変換ステップと、前記階調変換後の画像を構成する画素のそれぞれに対して、該階調変換後の隣接階調の値の差の画素信号値に対するウェーバー比がより大きい画素信号をより高い強度で平滑化する平滑化ステップと、前記平滑化後の画像の画素信号値が取り得る全範囲内に、前記ウェーバー比がより大きい画素信号により大きいランダム成分を付加する一部範囲が存在するように、かつ前記一部範囲が信号値０を含まないように、前記平滑化後の画素信号にランダム成分を付加するランダム成分付加ステップであって、前記平滑化後の画像の画素信号値が、０以上第１の信号値以下の場合にはランダム成分を付加せず、第１の信号値よりも大きく第２の信号値未満の場合にはランダム成分を単調増加させて付加し、第２の信号値以上第３の信号値以下の場合には上限値のランダム成分を付加し、第３の信号値よりも大きく第４の信号値未満の場合にはランダム成分を単調減少させて付加し、第４の信号値以上の場合にはランダム成分を付加しない前記ランダム成分付加ステップと、を実行させるためのプログラムである。

本発明のある態様による画像処理方法は、複数の画素で構成される画像を、モニタでの階調表示が適切となるような階調変換特性で階調変換する階調変換ステップと、前記階調変換後の画像を構成する画素のそれぞれに対して、該階調変換後の隣接階調の値の差の画素信号値に対するウェーバー比がより大きい画素信号をより高い強度で平滑化する平滑化ステップと、前記平滑化後の画像の画素信号値が取り得る全範囲内に、前記ウェーバー比がより大きい画素信号により大きいランダム成分を付加する一部範囲が存在するように、かつ前記一部範囲が信号値０を含まないように、前記平滑化後の画素信号にランダム成分を付加するランダム成分付加ステップであって、前記平滑化後の画像の画素信号値が、０以上第１の信号値以下の場合にはランダム成分を付加せず、第１の信号値よりも大きく第２の信号値未満の場合にはランダム成分を単調増加させて付加し、第２の信号値以上第３の信号値以下の場合には上限値のランダム成分を付加し、第３の信号値よりも大きく第４の信号値未満の場合にはランダム成分を単調減少させて付加し、第４の信号値以上の場合にはランダム成分を付加しない前記ランダム成分付加ステップと、を有する。

本発明の画像処理装置、画像処理プログラム、画像処理方法によれば、人の視覚特性を考慮して、階調変換後の画像の、解像度劣化を抑制しながら、偽輪郭が目立たないようにすることができる。

本発明の実施形態１における画像処理装置の構成を示すブロック図。 上記実施形態１における画像処理部の構成を示すブロック図。 上記実施形態１における空間フィルタ処理部の構成を示すブロック図。 上記実施形態１における画像処理部の作用を示すフローチャート。 上記実施形態１の図４のステップＳ６における空間フィルタ処理の基本的な内容を示すフローチャート。 上記実施形態１の図４のステップＳ６における空間フィルタ処理の、ＲＧＢカラー画像に対する処理内容を示すフローチャート。 上記実施形態１の図５または図６のステップＳ１１における平滑化処理を示すフローチャート。 上記実施形態１の図６のステップＳ１２ｇにおけるＧ信号のランダム成分付加処理を示すフローチャート。 上記実施形態１の図６のステップＳ１２ｒｂにおけるＲ，Ｂ信号の偽色抑制ランダム成分付加処理を示すフローチャート。 上記実施形態１の図６のステップＳ１７におけるＲ，Ｂ信号の色ノイズ抑制処理を示すフローチャート。 上記実施形態１において、モニタの階調変換特性と、モニタの階調変換特性に応じて画像処理装置により行われる補正用の階調変換の特性と、を示す線図。 上記実施形態１において、階調変換により生じる量子化誤差の一例を示す線図。 上記実施形態１における平滑化フィルタのフィルタ構成の一例を示す図。 上記実施形態１における平滑化フィルタのフィルタ強度を、信号値に応じて変更するための重みの一例を示す線図。 上記実施形態１における平滑化フィルタのフィルタ強度を、さらに信号値の信号レンジに応じて変更するための信号レンジ重みの一例を示す線図。 上記実施形態１において付加するランダム成分の大きさを、信号値に応じて変更するための基準上限ランダム成分量の一例を示す線図。 上記実施形態１において付加するランダム成分の大きさを、さらに彩度評価値に応じて変更するための彩度重みの一例を示す線図。 上記実施形態１において、平滑化後のＧ信号とＲ信号の空間分布の一例を示す図。 上記実施形態１の図１８に示したＧ信号にランダム成分を付加した後のＧ信号とＲ信号の空間分布の一例を示す図。 上記実施形態１の図１９に示したＲ信号に偽色抑制ランダム成分を付加した後のＲ信号とＧ信号の空間分布の一例を示す図。 上記実施形態１の図２０に示したＲ信号に色ノイズ抑制処理を行った後のＲ信号とＧ信号の空間分布の一例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図２１は本発明の実施形態１を示したものであり、図１は画像処理装置１の構成を示すブロック図である。

図１に示すように、この画像処理装置１は、記録媒体１０と、メモリインタフェース（メモリＩ／Ｆ）１１と、バス１２と、ＳＤＲＡＭ１３と、画像処理部１４と、ＪＰＥＧ処理部１５と、動画コーデック１６と、操作部１７と、フラッシュメモリ１８と、マイクロコンピュータ１９と、を備えている。

記録媒体１０は、例えば画像処理装置１に着脱できるメモリカード等により構成されていて、画像データ（動画像データ、静止画像データ等）を不揮発に記憶する記録部である。従って、記録媒体１０は、画像処理装置１に固有の構成である必要はない。

本実施形態においては、画像処理装置１が、例えば記録媒体１０を介して画像データを入力するものとするが、これに限定されるものではなく、通信回線等を介して画像データを入力する構成であっても構わないし、画像処理装置１が撮像装置に組み込まれたものである場合には、撮像装置で撮像して取得された画像データを処理する構成としても良い。

そして、画像データは、レンズにより結像された被写体の光学像を、例えば、原色ベイヤー配列のカラーフィルタを備えたカラー撮像素子により光電変換し、さらにＡ／Ｄ変換して得られたデジタルのカラー画像信号、つまりいわゆるＲＡＷ画像データであるものとする。ただし、これに限定されるものではなく、例えば、デジタルのモノクロ画像信号であっても構わない。

また、画像処理部１４により処理された後の画像データは、表示装置であるモニタに出力して表示しても良いし、記録媒体１０に出力して記録しても構わない。

メモリＩ／Ｆ１１は、記録媒体１０に記録されている画像データを読み出す制御を行う読出制御部であり、さらに、画像処理後の画像データを記録媒体１０へ記録する制御を行う記録制御部でもある。

バス１２は、各種のデータや制御信号を、画像処理装置１内のある場所から他の場所へ転送するための転送路である。本実施形態におけるバス１２は、メモリＩ／Ｆ１１と、ＳＤＲＡＭ１３と、画像処理部１４と、ＪＰＥＧ処理部１５と、動画コーデック１６と、マイクロコンピュータ１９と、に接続されている。

そして、メモリＩ／Ｆ１１により記録媒体１０から読み出された画像データは、バス１２を介して転送され、ＳＤＲＡＭ１３に一旦記憶される。

ＳＤＲＡＭ１３は、記録媒体１０から読み出された画像データ、画像処理部１４により処理されもしくは処理途中の画像データ、動画コーデック１６により処理されもしくは処理途中の画像データ、等の各種データを一時的に記憶する記憶部である。

画像処理部１４は、画像データに各種の画像処理を行い、表示用あるいは記録用の画像を作成する。

ＪＰＥＧ処理部１５は、静止画像データを、ＪＰＥＧ処理により圧縮または伸張する圧縮伸張部である。このＪＰＥＧ処理部１５により処理された静止画像データは、マイクロコンピュータ１９によりヘッダ等を付加されて、メモリＩ／Ｆ１１を介して記録媒体１０にＪＰＥＧファイルとして記録される。

動画コーデック１６は、動画像データを、ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧなどの適宜の処理方式で圧縮伸張するものである。この動画コーデック１６により処理された動画像データは、マイクロコンピュータ１９によりヘッダ等を付加されて、メモリＩ／Ｆ１１を介して記録媒体１０に動画像ファイルとして記録される。

操作部１７は、この画像処理装置１に対する各種の操作入力を行うためのものであり、画像処理装置１の電源のオン／オフ、画像処理の開始／終了、画像処理における各種パラメータの設定、記録媒体１０に対する画像ファイルの読み出しや保存などを操作することができるようになっている。この操作部１７に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ１９へ出力される。

フラッシュメモリ１８は、マイクロコンピュータ１９により実行される処理プログラム（画像処理装置１により画像処理方法を実行するためのプログラムである画像処理プログラムを含む）と、この画像処理装置１に係る各種の情報と、を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ１８が記憶する情報としては、例えば、画像処理に用いるパラメータ、テーブル、関数、あるいはユーザにより設定された設定値などが挙げられる。このフラッシュメモリ１８が記憶する情報は、マイクロコンピュータ１９により読み取られる。

マイクロコンピュータ１９は、画像処理装置１を統括的に制御する制御部である。マイクロコンピュータ１９は、操作部１７からユーザの操作入力を受けると、フラッシュメモリ１８に記憶されている処理プログラムに従って、フラッシュメモリ１８から処理に必要なパラメータ等を読み込んで、操作内容に応じた各種のシーケンスを実行する。

例えば、対象となる画像が選択されて、画像処理の実行が開始されると、マイクロコンピュータ１９の制御に基づいて、記録媒体１０からメモリＩ／Ｆ１１を介して画像データが読み出され、バス１２を介してＳＤＲＡＭ１３に記憶される。さらに、マイクロコンピュータ１９の制御に基づいて、画像処理部１４により画像処理が行われ、画像処理後の画像データが再びＳＤＲＡＭ１３に記憶される。この画像処理後の画像データはモニタに表示される。ユーザは、モニタに表示された画像を見て、必要に応じて処理パラメータの設定値を変更して、画像処理を再度実行することもできる。そして、画像データが静止画像データである場合にはＪＰＥＧ処理部１５によりＪＰＥＧ圧縮され、また、画像データが動画像データである場合には動画コーデック１６により動画圧縮されて、画像ファイルとして記録媒体１０に記録される。

なお、画像処理装置１は、専用の処理装置として構成されていても良いし、コンピュータに画像処理プログラムを実行させる構成であっても構わない。これらの場合には、専用の処理装置またはコンピュータに接続されたモニタを、画像を表示する表示部として用いることができる。

また、画像処理装置１は、撮像装置内に組み込まれたものであっても構わない。この場合には、撮像装置内に組み込まれている背面液晶や電子ビューファインダ等のモニタを、画像を表示する表示部として用いることができる。

次に、図２は画像処理部１４の構成を示すブロック図、図４は画像処理部１４の作用を示すフローチャートである。

図２に示すように、画像処理部１４は、ＯＢ減算部２１と、デモザイキング処理部２２と、ホワイトバランス補正部２３と、色マトリクス演算部２４と、階調変換部２５と、空間フィルタ処理部２６と、を備えている。

そして、画像処理装置１における図示しないメイン処理から図４に示す処理に入ると、ＯＢ減算部２１は、画像データにＯＢ（オプティカル・ブラック）成分が含まれている場合に、ＯＢ成分の減算を行う（ステップＳ１）。従って、ＯＢ成分が含まれている画像データの場合には、記録媒体１０にＯＢ成分も記録されていてメモリＩ／Ｆ１１により読み出されることになる。

デモザイキング処理部２２は、１画素に付き１色の色信号のみが存在するＲＧＢベイヤー画像において、ある色信号が欠落する画素の該色信号を、該画素の近傍において同色の色信号を有する画素の色信号に基づき補間することを、各画素の各欠落色信号に対して行うことにより、１画素に付きＲＧＢ各色の色信号が存在する画像を生成する（ステップＳ２）。

ホワイトバランス補正部２３は、白色の被写体が画像上においても白色に見えるように、例えばＲ信号およびＢ信号にゲインを乗算することにより、ホワイトバランス補正を行う（ステップＳ３）。

色マトリクス演算部２４は、画像データを構成する各画素データのＲＧＢ成分を例えば３行１列（あるいは１行３列でも構わない）の行列として構成し、この画素データに３行３列の色マトリクスを行列演算して、被写体の色をより忠実に再現する処理を行う（ステップＳ４）。ここに、３行３列の色マトリクスを構成する各係数は、例えば、画像データを撮影して取得する際に設定されていたホワイトバランスモード（例えば、太陽光モード、電球モード、蛍光灯モード等）に応じて予め定められており、この色マトリクス係数が例えばフラッシュメモリ１８に記録されている。

階調変換部２５は、モニタでの階調表示が適切となるような階調変換特性で画像を階調変換する（ステップＳ５）。具体的に、階調変換部２５は、画像データに対する階調変換処理として、例えば、非線形処理であるガンマ変換処理を行う。なお、ここでは階調変換処理としてガンマ変換処理を例に挙げたが、これに限定されるものではなく、ガンマ変換曲線を折れ線近似したニー処理を行っても良いし、その他の適宜の処理を行っても構わない。

空間フィルタ処理部２６は、階調変換後の画像の、解像度劣化を抑制しながら、偽輪郭が目立たないようにする空間フィルタ処理を行う（ステップＳ６）。

その後は、画像処理装置１のメイン処理にリターンする。

ここで、図１１は、モニタの階調変換特性と、モニタの階調変換特性に応じて画像処理装置１により行われる補正用の階調変換の特性と、を示す線図である。この図１１においては、横軸が入力信号値Ｌｉｎ、縦軸が階調変換後の出力信号値Ｌｏｕｔをそれぞれ示している。

図１１に示すように、モニタの階調変換曲線γｍは、入力信号値Ｌｉｎが大きくなるにつれて、入力信号値Ｌｉｎに対する出力信号値Ｌｏｕｔの傾きが大きくなる特性に設計されるのが一般的であり、例えばＲＧＢモニタの場合には、入力信号値Ｌｉｎのγ乗が出力信号値Ｌｏｕｔになる近似式において、γ＝２．２に設定するのが標準的である。

従って、このようなモニタに表示したときに、画像の階調特性がリニアになるように行うのが、階調変換部２５による補正用の階調変換処理、具体例としてはガンマ変換処理であり、基本的には、モニタの階調変換曲線γｍの逆関数を補正用の階調変換曲線γｃとすれば良い。一例として、上述したようなＲＧＢモニタがγ＝２．２である場合に、補正用の階調変換曲線としてγ＝（１／２．２）を設定すれば良い。ただし実用上は、階調特性を変えたい場合があるために、このときには補正用の階調変換曲線γｃに適宜の修正を加えることになる。

階調変換部２５によってこのような補正用の階調変換処理を行うことにより、画像データの階調特性が、モニタで画像を観察するのに適した特性となる。

ところで、ガンマ変換等の階調変換を行うと、量子化誤差が発生する。この点について、図１２を参照して説明する。ここに、図１２は、階調変換により生じる量子化誤差の一例を示す線図である。この図１２においては、階調変換部２５への入力信号値をＬｇ＿ｉｎ、階調変換部２５からの出力信号値をＬｇ＿ｏｕｔ、モニタへの入力信号値をＬｍ＿ｉｎ、モニタからの出力信号値（モニタ表示に用いられる信号値）をＬｍ＿ｏｕｔとしており、Ｌｇ＿ｏｕｔ＝Ｌｍ＿ｉｎとなることを想定している。

量子化誤差は、アナログ信号からデジタル信号に変換する際に発生するだけでなく、デジタル信号からデジタル信号への変換においても発生する。

すなわち、補正用の階調変換曲線γｃは、階調変換部２５への入力信号値Ｌｇ＿ｉｎが小さい程、傾きが大きく、入力信号値Ｌｇ＿ｉｎが大きくなるにつれて傾きも次第に小さくなる。このとき、Ｌｍ＿ｏｕｔで生じる隣接階調の段差（着目する階調レベルとそれに最も近い階調レベルとの差）は、信号値が小さい側ではΔＱｓ、信号値が大きい側ではΔＱｈのようになり、
ΔＱｈ＞ΔＱｓ
の大小関係となる。

ところで、人の感覚において、刺激の強度がＲから（Ｒ＋ΔＲ）に変化したときに、その変化に気付くことができる最小の刺激差（刺激の弁別閾）ΔＲは、基準となる基礎刺激の強度Ｒに比例することがウェーバーの法則として知られている。このウェーバーの法則は、人の視覚特性にも当てはまり、このときのΔＲ／Ｒは、ウェーバー比と呼ばれる。

これに対して、量子化誤差により生じる刺激差はウェーバー比による比較となるために、
（ΔＱｈ／Ｌｈ）＜（ΔＱｓ／Ｌｓ）
となって、信号値が低い領域の刺激差の方が、信号値が高い領域の刺激差よりも大きくなる。この関係は、一般的なガンマ変換などの階調変換において成り立つために、量子化誤差により生じる階調の段差（階調とび）、ひいては偽輪郭は、信号値の低い領域において、信号値の高い領域よりも観察され易いことが分かる。

図３は、空間フィルタ処理部２６の構成を示すブロック図である。

空間フィルタ処理部２６は、上述したような人の視覚特性を考慮して空間フィルタ処理を行うために、図３に示すように、平滑化部３１と、ランダム成分付加部３２と、色ノイズ抑制処理部３３と、を備えている。ただし、色ノイズ抑制処理部３３は、カラー画像に対して処理を行うものであるために、モノクロ信号のみを処理するのであれば、設けなくても構わない。

平滑化部３１は、階調変換後の画像に対して、平滑化処理を行う。

ランダム成分付加部３２は、平滑化後の画像に対してランダム成分を付加する。

色ノイズ抑制処理部３３は、画像がカラー画像である場合に、ランダム成分を付加された画像の色ノイズを抑制する処理を行う。ここに、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれにランダム成分を個別に付加した場合には、カラーバランスが崩れて色ノイズが生じることがある。そこで、色ノイズ抑制処理部３３は、Ｇ信号に付加したランダム成分量に基づいて、Ｒ信号に付加するランダム成分量とＢ信号に付加するランダム成分量とを調整することにより、こうした色ノイズを抑制するようにしている。

図５は、図４のステップＳ６における空間フィルタ処理の基本的な内容を示すフローチャートである。この図５に示す空間フィルタ処理は、モノクロ画像とカラー画像との何れに対しても適用されるが、後で図６を参照して説明するようなカラー画像特有の処理を行っていないために、特にモノクロ画像に対して好適に適用される。

この処理に入ると、平滑化部３１により画像の平滑化処理を行い（ステップＳ１１）、ランダム成分付加部３２により平滑化後の画像に対するランダム成分の付加処理を行って（ステップＳ１２）、図４に示した処理にリターンする。

図６は、図４のステップＳ６における空間フィルタ処理の、ＲＧＢカラー画像に対する処理内容を示すフローチャートである。

この処理に入ると、何れかの色信号に対して平滑化部３１により画像の平滑化処理を行い（ステップＳ１１）、Ｒ信号、Ｇ信号、およびＢ信号の全てに対する平滑化処理が終了したか否かを判定する（ステップＳ１３）。

ステップＳ１３においてまだ終了していないと判定された場合には、ステップＳ１１へ戻って、まだ処理されていない色信号に対して処理を行う。こうして、平滑化処理は、色信号（ここでは、Ｒ信号、Ｇ信号、およびＢ信号）のそれぞれについて、各別に行われるようになっている。

ここで、図７は、図５または図６のステップＳ１１における平滑化処理を示すフローチャートである。

この処理に入ると、平滑化部３１は、平滑化フィルタ内の各画素の信号値Ｌの信号平均値Ｌａｖｅを算出する（ステップＳ２１）。

ここに、図１３は平滑化フィルタのフィルタ構成の一例を示す図である。例えば、この図１３に示すような３×３画素の平滑化フィルタを用いる場合には、信号平均値Ｌａｖｅは、
Ｌａｖｅ＝（Ｌ００＋Ｌ０１＋Ｌ０２＋Ｌ１０＋Ｌ１１
＋Ｌ１２＋Ｌ２０＋Ｌ２１＋Ｌ２２）／９
として算出される。

次に、平滑化部３１は、平滑化フィルタ内における各画素の信号値Ｌの信号レンジＲａｎｇｅを算出する（ステップＳ２２）。具体的に、Ｌ００，Ｌ０１，Ｌ０２，Ｌ１０，Ｌ１１，Ｌ１２，Ｌ２０，Ｌ２１，Ｌ２２の内の最大信号値をＬｍａｘ、最小信号値をＬｍｉｎとすると、信号レンジＲａｎｇｅは、
Ｒａｎｇｅ＝Ｌｍａｘ−Ｌｍｉｎ
として算出される。

続いて、平滑化部３１は、基本平滑化重みＷｙを算出する（ステップＳ２３）。ここに、図１４は、平滑化フィルタのフィルタ強度を、信号値に応じて変更するための重みの一例を示す線図である。

図１３に示したような３×３画素の平滑化フィルタにおける中央の画素位置は、着目画素位置となる。平滑化部３１は、値が大きいほど平滑化の強度が高いことを示す基本平滑化重みＷｙを、この中央の画素位置の信号値Ｌｏｒｇ＝Ｌ１１に基づいて設定する。

上述したようにウェーバー比は、信号値が高い領域よりも、信号値が低い領域の方が大きな値となる。そこで、基本平滑化重みＷｙは、図１４に示すように、信号値が低い領域の方が、信号値が高い領域よりも高い値をとるように設定されている。

具体的に、基本平滑化重みＷｙは、着目画素の信号値Ｌｏｒｇに応じて、０以上１．０以下の範囲（０≦Ｗｙ≦１．０）内の値をとるように設定される。その上で、図１４に示す例においては、０≦Ｌｏｒｇ≦ＬａでＷｙ＝１．０、Ｌａ＜Ｌｏｒｇ≦Ｌｂで１．０から０．０への単調減少、Ｌｂ＜ＬｏｒｇでＷｙ＝０．０の値をとるようになっている。

このように平滑化部３１は、階調変換後の画像に対して、階調変換により生じる量子化誤差の信号値に対するウェーバー比がより大きい信号を、より高い強度で平滑化する。具体的には、例えば、Ｌｂ＜Ｌｏｒｇよりもウェーバー比が大きい０≦Ｌｏｒｇ≦Ｌａの信号値に対して、基本平滑化重みＷｙをより大きくすることで、より高い強度で平滑化するようにしている。

次に、平滑化部３１は、信号レンジ重みＫを算出する（ステップＳ２４）。ここに、図１５は、平滑化フィルタのフィルタ強度を、さらに信号値Ｌの信号レンジＲａｎｇｅに応じて変更するための信号レンジ重みＫの一例を示す線図である。

この信号レンジ重みＫは、値が大きいほど平滑化の強度が高いことを示し、着目画素を中心とした平滑化フィルタ内における各画素の信号値Ｌの信号レンジＲａｎｇｅに応じて、０以上１．０以下の範囲（０≦Ｋ≦１．０）内の値をとるように設定される。従って、信号レンジ重みＫの最大値Ｋｍａｘも１．０以下となり、図１５には１未満となる例を示している。

その上で、図１５に示す例においては、０≦Ｒａｎｇｅ≦Ｒ１でＫ＝０．０、Ｒ１＜Ｒａｎｇｅ≦Ｒ２で０．０からＫｍａｘへの単調増加、Ｒ２＜Ｒａｎｇｅ≦Ｒ３でＫ＝Ｋｍａｘ、Ｒ３＜Ｒａｎｇｅ≦Ｒ４でＫｍａｘから０．０への単調減少、Ｒ４＜ＲａｎｇｅでＫ＝０．０の値をとるようになっている。

このように、平滑化部３１は、適用する平滑化フィルタ内における最大信号値Ｌｍａｘと最小信号値Ｌｍｉｎとの信号値差である信号レンジＲａｎｇｅが、所定の下限閾値（具体例としてはＲ１）以下または所定の上限閾値（具体例としてはＲ４）以上である場合に、下限閾値と上限閾値との間である場合（Ｒ１＜Ｒａｎｇｅ＜Ｒ４である場合）よりも、平滑化の強度を低くする重み付けをさらに行う。

これは、信号値差である信号レンジＲａｎｇｅが小さい領域は階調とびがほぼ生じていないために平滑化の必要性が低く、信号レンジＲａｎｇｅが大きい領域はエッジであるために、エッジが劣化するのを避けるために平滑化しないことが好ましいためである。こうして、信号レンジＲａｎｇｅが一定の範囲にあって階調とびが生じていると想定される領域だけを、平滑化の対象としている。

続いて、平滑化部３１は、着目画素に対して適用する平滑化重みＷｓｍｆを、基本平滑化重みＷｙと信号レンジ重みＫとの乗算値として、
Ｗｓｍｆ＝Ｋ×Ｗｙ
のように算出する（ステップＳ２５）。

そして、平滑化部３１は、着目画素に対する平滑化後の信号値Ｌｓｍｆを、
Ｌｓｍｆ＝（１−Ｗｓｍｆ）×Ｌｏｒｇ＋Ｗｓｍｆ×Ｌａｖｅ
のように算出する（ステップＳ２６）。従って、平滑化重みＷｓｍｆは、着目画素の元の信号値Ｌｏｒｇと、着目画素を中心とした平滑化フィルタ内の信号平均値Ｌａｖｅと、を合成して平滑化後の信号値Ｌｓｍｆを得る際に、信号平均値Ｌａｖｅに対してどれだけの重みを付けるかを与える係数となっている。

その後、画像内の全ての画素に対する平滑化処理が終了したか否かを判定する（ステップＳ２７）。

ここでまだ終了していないと判定された場合には、着目画素位置を移動してからステップＳ２１に戻り、次の着目画素について上述したような処理を行う。

こうして着目画素位置を順次移動しながら平滑化処理を行い、ステップＳ２７において、全画素に対する処理が終了したと判定された場合には、図５または図６の処理にリターンする。

なお、上述した処理における、図１４に示した閾値Ｌａ，Ｌｂと、図１５に示した閾値Ｒ１〜Ｒ４および最大値Ｋｍａｘは、色信号の種類に応じて、すなわち、信号がＲ信号、Ｇ信号、Ｂ信号の何れであるかに応じて、最適化された値をとるようになっている（従って、一例を挙げれば、Ｒ信号に対して適用されるＬａと、Ｇ信号に対して適用されるＬａとは、一般に異なる値となる）。より一般には、図１４に示すグラフは色信号毎に最適化され、同様に、図１５に示すグラフも色信号毎に最適化されることになる。

また、上述では図１４に示した基本平滑化重みＷｙと、図１５に示した信号レンジ重みＫと、の乗算値を平滑化重みＷｓｍｆとしたが、例えば信号レンジ重みＫについては省略して、基本平滑化重みＷｙをそのまま平滑化重みＷｓｍｆとして用いる簡略化処理を行うようにしても構わない。

こうして、図６のステップＳ１３において、Ｒ信号、Ｇ信号、およびＢ信号の全てに対する平滑化処理が終了したと判定された場合には、色ノイズ抑制処理部３３が、平滑化後の彩度評価値Ｓを算出する（ステップＳ１４）。

具体例として、本実施形態においては、Ｒ彩度評価値ＳｒをＲ信号に対するＧ信号の比Ｇ／Ｒとして、また、Ｂ彩度評価値ＳｂをＢ信号値に対するＧ信号の比Ｇ／Ｂとして、それぞれ算出する（ただし、この算出法に限定されるものではない）。

従って、色ノイズ抑制処理部３３は、平滑化後の第２のＲ彩度評価値Ｓｒ＿ｓｍｆを、平滑化後のＲ信号値Ｒｓｍｆに対する平滑化後のＧ信号値Ｇｓｍｆの比として、
Ｓｒ＿ｓｍｆ＝Ｇｓｍｆ／Ｒｓｍｆ
のように算出すると共に、平滑化後の第２のＢ彩度評価値Ｓｂ＿ｓｍｆを、平滑化後のＢ信号値Ｂｓｍｆに対する平滑化後のＧ信号値Ｇｓｍｆの比として、
Ｓｂ＿ｓｍｆ＝Ｇｓｍｆ／Ｂｓｍｆ
のように算出する（なお、第１のＲ／Ｂ彩度評価値、および第３のＲ／Ｂ彩度評価値については後述する）。

次に、ランダム成分付加部３２が、Ｇ信号のランダム成分付加処理を行う（ステップＳ１２ｇ）。すなわち、ランダム成分付加部３２は、平滑化後の画像がＲＧＢカラー画像である場合には、ランダム成分の付加を、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの信号値に応じて行っており、まず、平滑化後のＧ信号値Ｇｓｍｆに対してランダム成分の付加を行う。

ここで、図８は、図６のステップＳ１２ｇにおけるＧ信号のランダム成分付加処理を示すフローチャートである。なお、図５のステップＳ１２におけるランダム成分付加処理も、この図８に示す処理とほぼ同様に行われる（例えば、モノクロ画像の場合には、図８のＧ信号を輝度信号に読み替えれば良い）。

この処理に入ると、ランダム成分付加部３２は、ある画素を着目画素として、着目画素の平滑化後のＧ信号値Ｇｓｍｆに基づいて基準上限ランダム成分量Ｎｍａｘを算出する（ステップＳ３１）。

図１６は、付加するランダム成分の大きさを、信号値に応じて変更するための基準上限ランダム成分量Ｎｍａｘの一例を示す線図である。この図１６においては、平滑化後の信号をＬｓｍｆと表記しているが、Ｒ信号の場合にはＲｓｍｆ、Ｂ信号の場合にはＢｓｍｆ、Ｇ信号の場合にはＧｓｍｆであるものとして読み替えれば良い。

従って、このステップＳ３１においては、平滑化後のＧ信号値Ｇｓｍｆに基づき図１６を参照することにより、基準上限ランダム成分量Ｎｍａｘを算出する。

ここに、基準上限ランダム成分量Ｎｍａｘは、例えば、平滑化後の信号値Ｌｓｍｆが０≦Ｌｓｍｆ≦Ｌｓａのときに０、Ｌｓａ＜Ｌｓｍｆ＜Ｌｓｂのときに単調増加、Ｌｓｂ≦Ｌｓｍｆ≦Ｌｓｃのときに上限値Ｎｍａｘ０、Ｌｓｃ＜Ｌｓｍｆ＜Ｌｓｄのときに単調減少、Ｌｓｃ≦Ｌｓｍｆのときに０をとるように設定されている。

すなわち、信号値Ｌｓｍｆが小さいとき（例えば、Ｌｓｍｆ≦Ｌｓａのとき）には、上述したようにウェーバー比が大きくなるために、ノイズを重畳するとノイズが目立ってしまうために、ノイズ量を抑制している。また、信号値Ｌｓｍｆが大きいとき（例えば、Ｌｓｄ≦Ｌｓｍｆのとき）は、ウェーバー比が小さくなるために、階調の段差（階調とび）があったとしても目立たなくなり、ノイズを重畳する必要がなくなるために、ノイズ量を抑制している。そして、一定量のノイズを重畳するある信号領域（図１６の例では、Ｌｓｂ≦Ｌｓｍｆ≦Ｌｓｃ）の前後において、ノイズ量を（ＬｓｂからＬｓａへ向けて、あるいはＬｓｃからＬｓｄへ向けて）０に漸近させている。

こうして、ランダム成分付加部３２は、平滑化後の画像に対して、最低信号値付近（図１６の例では、０＜Ｌｓｍｆ＜Ｌｓｂ）を除くウェーバー比がより大きい信号（例えば、Ｌｓｂ≦Ｌｓｍｆ≦Ｌｓｃの信号）に、より大きいランダム成分（例えば、Ｌｓｃ＜Ｌｓｍｆの信号よりも大きいランダム成分）を付加するようにしている。

次に、（−ａ／２）以上（ａ／２）以下の乱数を出力する関数Ｎ（ａ）は、０以上ａ以下の乱数を出力する関数Ｎ０（ａ）を用いて、次のように書くことができる。
Ｎ（ａ）＝Ｎ０（ａ）−ａ／２

そこで、このような関数Ｎ（ａ）を用いて、乱数Ｎ（Ｎｍａｘ×Ｗｓ）を発生させる（ステップＳ３２）。ここに、Ｗｓは後述するように彩度重み付けであるが、Ｇ信号に対するランダム成分付加処理においては、Ｗｓ＝１に設定されている（従ってここでは、乱数Ｎ（Ｎｍａｘ）を発生させていることと等しい）。

こうして発生した乱数Ｎ（Ｎｍａｘ×Ｗｓ）をランダム成分量Ｎとして、
Ｎ＝Ｎ（Ｎｍａｘ×Ｗｓ）
平滑化後の信号値Ｌｓｍｆに加算し、
Ｌｒｎｄ＝Ｌｓｍｆ＋Ｎ
ランダム成分付加後の信号値Ｌｒｎｄを算出する（ステップＳ３３）。

具体的に、ここではＧ信号に対するランダム成分付加処理を行っているために、ランダム成分付加後のＧ信号値Ｇｒｎｄを、
Ｇｒｎｄ＝Ｇｓｍｆ＋Ｎ
により算出することになる。

その後、全てのＧ画素についての処理が終了したか否かを判定する（ステップＳ３４）。

ここで、まだ全てのＧ画素についての処理が終了していないと判定された場合には上述したステップＳ３１へ戻って次のＧ画素について処理を行う。

一方、全てのＧ画素についての処理が終了したと判定された場合には、図６の処理にリターンする。

続いて、ランダム成分付加部３２は、Ｇ信号のランダム成分付加後の、第１のＲ彩度評価値Ｓｒ＿ｇｒｎｄおよび第１のＢ彩度評価値Ｓｂ＿ｇｒｎｄを算出する（ステップＳ１５）。

具体的に、ランダム成分付加部３２は、平滑化後のＲ信号値Ｒｓｍｆに対するランダム成分付加後のＧ信号値Ｇｒｎｄの比を第１のＲ彩度評価値Ｓｒ＿ｇｒｎｄとして、
Ｓｒ＿ｇｒｎｄ＝Ｇｒｎｄ／Ｒｓｍｆ
のように算出すると共に、平滑化後のＢ信号値Ｂｓｍｆに対するランダム成分付加後のＧ信号値Ｇｒｎｄの比を第１のＢ彩度評価値Ｓｂ＿ｇｒｎｄとして、
Ｓｂ＿ｇｒｎｄ＝Ｇｒｎｄ／Ｂｓｍｆ
のように算出する。

そして、ランダム成分付加部３２は、Ｒ信号およびＢ信号の偽色抑制ランダム成分付加処理を行う（ステップＳ１２ｒｂ）。

ここで、図９は、図６のステップＳ１２ｒｂにおけるＲ，Ｂ信号の偽色抑制ランダム成分付加処理を示すフローチャートである。

この処理に入ると、ランダム成分付加部３２は、ある画素を着目画素として、着目画素の平滑化後のＲ信号値Ｒｓｍｆに基づいて基準上限ランダム成分量Ｎｍａｘを算出すると共に、着目画素の平滑化後のＢ信号値Ｂｓｍｆに基づいて基準上限ランダム成分量Ｎｍａｘを算出する（ステップＳ４１）。

ここでは、図８におけるステップＳ３１と同様に、平滑化後のＲ信号値Ｒｓｍｆに基づいて図１６に示したようなグラフを参照することによりＲ信号用の基準上限ランダム成分量Ｎｍａｘを算出すると共に、平滑化後のＢ信号値Ｂｓｍｆに基づいて図１６に示したようなグラフを参照することにより基準上限ランダム成分量Ｎｍａｘを算出する。

ここに、図１６に示すグラフは、色信号毎に最適化されているために、例えば、Ｒ信号用のグラフとＢ信号用のグラフとは一般に同一でない。従って、ある画素のＲ信号値ＲｓｍｆとＢ信号値Ｂｓｍｆとがもし同一であったとしても、算出される基準上限ランダム成分量ＮｍａｘはＲ信号用とＢ信号用とでは一般に異なる値となる。

次に、ランダム成分付加部３２は、Ｒ信号に対する彩度重みＷｓと、Ｂ信号に対する彩度重みＷｓと、を算出する（ステップＳ４２）。

ここでは具体的に、図６のステップＳ１５において算出した、Ｇ信号のランダム成分付加後の第１のＲ彩度評価値Ｓｒ＿ｇｒｎｄに基づいて図１７に示すようなグラフを参照することによりＲ信号に対する彩度重みＷｓを算出し、同様に、Ｇ信号のランダム成分付加後の第１のＢ彩度評価値Ｓｂ＿ｇｒｎｄに基づいて図１７に示すようなグラフを参照することによりＢ信号に対する彩度重みＷｓを算出する。

ここに、図１７は、付加するランダム成分の大きさを、さらに彩度評価値Ｓに応じて変更するための彩度重みＷｓの一例を示す線図である。

ここに、彩度重みＷｓは、例えば、彩度評価値Ｓが０≦Ｓ≦１．０のときに１．０、１．０＜Ｓ＜Ｓａのときに単調増加、Ｓａ≦Ｓ≦Ｓｂのときに上限値Ｗｓｍａｘ（ここに、Ｗｓｍａｘ＞１．０）、Ｓｂ＜Ｓ＜Ｓｃのときに単調減少、Ｓｃ≦Ｓのときに１．０をとるように設定されている。

この図１７に示すグラフも、上述した各グラフと同様に、色信号毎に最適化されているために、例えば、Ｒ信号用のグラフとＢ信号用のグラフとは一般に同一でない。

彩度重みＷｓは、彩度評価値Ｓが小さい（Ｓ≦１．０）とき、および彩度評価値Ｓが大きい（Ｓｃ≦Ｓ）ときには１．０のままであり、彩度評価値Ｓが一定の範囲（Ｓａ≦Ｓ≦Ｓｂ）のときに１．０よりも大きい値となって、ランダム成分量がより大きくなるように設定されている。

こうして、ランダム成分付加部３２は、第１のＲ彩度評価値Ｓｒ＿ｇｒｎｄが所定の範囲（具体例としては、図１７に示す１．０＜Ｓ＜Ｓｃの範囲）にある場合にランダム成分を大きくする重み付けをしてＲ信号値Ｒｓｍｆにランダム成分の付加を行い、第１のＢ彩度評価値Ｓｂ＿ｇｒｎｄが所定の範囲（同様に、図１７に示す１．０＜Ｓ＜Ｓｃの範囲）にある場合にランダム成分を大きくする重み付けをしてＢ信号値Ｂｓｍｆにランダム成分の付加を行っている。

そして、ステップＳ４１において算出した基準上限ランダム成分量Ｎｍａｘと、ステップＳ４２において算出した彩度重みＷｓと、を乗算することにより、上限ランダム成分量（Ｎｍａｘ×Ｗｓ）を算出する（ステップＳ４３）。

続いて、上述した関数Ｎ（ａ）を用いて、乱数Ｎ（Ｎｍａｘ×Ｗｓ）を発生させる（ステップＳ４４）。

こうして発生した乱数Ｎ（Ｎｍａｘ×Ｗｓ）をランダム成分量Ｎとして平滑化後の信号値Ｌｓｍｆに加算し、ランダム成分付加後の信号値Ｌｒｎｄ＝（Ｌｓｍｆ＋Ｎ）を算出する（ステップＳ４５）。

具体的に、Ｒ信号に対して発生させた乱数をＮｒ、Ｂ信号に対して発生させた乱数をＮｂとすると、Ｒ信号に対する偽色抑制ランダム成分付加後のＲ信号値Ｒｒｎｄと、Ｂ信号に対する偽色抑制ランダム成分付加後のＢ信号値Ｂｒｎｄとを、
Ｒｒｎｄ＝Ｒｓｍｆ＋Ｎｒ
Ｂｒｎｄ＝Ｂｓｍｆ＋Ｎｂ
により算出する。

その後、全てのＲ画素およびＢ画素についての処理が終了したか否かを判定する（ステップＳ４６）。

ここで、まだ全てのＲ画素およびＢ画素についての処理が終了していないと判定された場合には上述したステップＳ４１へ戻って次のＲ画素およびＢ画素について処理を行う。

一方、全てのＲ画素およびＢ画素についての処理が終了したと判定された場合には、図６の処理にリターンする。

続いて、色ノイズ抑制処理部３３は、第３のＲ彩度評価値Ｓｒ＿ｒｎｄを、偽色抑制ランダム成分付加後のＲ信号値Ｒｒｎｄに対するランダム成分付加後のＧ信号値Ｇｒｎｄの比として、
Ｓｒ＿ｒｎｄ＝Ｇｒｎｄ／Ｒｒｎｄ
のように算出すると共に、第３のＢ彩度評価値Ｓｂ＿ｒｎｄを、偽色抑制ランダム成分付加後のＢ信号値Ｂｒｎｄに対するランダム成分付加後のＧ信号値Ｇｒｎｄの比として、
Ｓｂ＿ｒｎｄ＝Ｇｒｎｄ／Ｂｒｎｄ
のように算出する（ステップＳ１６）。

その後、色ノイズ抑制処理部３３は、Ｒ信号およびＢ信号の色ノイズ抑制処理を行う（ステップＳ１７）。

ここで、図１０は、図６のステップＳ１７におけるＲ，Ｂ信号の色ノイズ抑制処理を示すフローチャートである。

この処理に入ると、色ノイズ抑制処理部３３は、Ｇ信号、Ｒ信号、およびＢ信号にランダム成分を付加したことにより、Ｒ信号の彩度評価値とＢ信号の彩度評価値との少なくとも一方が増加したか否かを判定する（ステップＳ５１）。

具体的に、Ｒ信号に関しては、平滑化後の第２のＲ彩度評価値Ｓｒ＿ｓｍｆよりもＲ信号のランダム成分付加後の第３のＲ彩度評価値Ｓｒ＿ｒｎｄが大きい（つまり、Ｓｒ＿ｓｍｆ＜Ｓｒ＿ｒｎｄ）か否か、Ｂ信号に関しては、平滑化後の第２のＢ彩度評価値Ｓｂ＿ｓｍｆよりもＢ信号のランダム成分付加後の第３のＢ彩度評価値Ｓｂ＿ｒｎｄが大きい（つまり、Ｓｂ＿ｓｍｆ＜Ｓｂ＿ｒｎｄ）か否か、を判定する。

ここで、Ｒ信号とＢ信号との少なくとも一方の彩度評価値が増加したと判定された場合には、彩度評価値が増加した色信号の色ノイズを抑制する（ステップＳ５２）。

具体的に、色ノイズ抑制処理部３３は、Ｒ信号に関して、第２のＲ彩度評価値Ｓｒ＿ｓｍｆよりも第３のＲ彩度評価値Ｓｒ＿ｒｎｄが大きいときに、ランダム成分付加後のＧ信号値Ｇｒｎｄを平滑化後のＧ信号値Ｇｓｍｆで割ったものを平滑化後のＲ信号値Ｒｓｍｆに乗算して、
Ｒｃｎｒ＝Ｇｒｎｄ／Ｓｒ＿ｓｍｆ
＝Ｒｓｍｆ×Ｇｒｎｄ／Ｇｓｍｆ
のように色ノイズ抑制後のＲ信号値Ｒｃｎｒを算出する。１行目に示したように、この算出法は、ランダム成分付加後のＧ信号値Ｇｒｎｄを第２のＲ彩度評価値Ｓｒ＿ｓｍｆで割ったものに等しい。

同様に、色ノイズ抑制処理部３３は、Ｂ信号に関して、第２のＢ彩度評価値Ｓｂ＿ｓｍｆよりも第３のＢ彩度評価値Ｓｂ＿ｒｎｄが大きいときに、ランダム成分付加後のＧ信号値Ｇｒｎｄを平滑化後のＧ信号値Ｇｓｍｆで割ったものを平滑化後のＢ信号値Ｂｓｍｆに乗算して、
Ｂｃｎｒ＝Ｇｒｎｄ／Ｓｂ＿ｓｍｆ
＝Ｂｓｍｆ×Ｇｒｎｄ／Ｇｓｍｆ
のように色ノイズ抑制後のＢ信号値Ｂｃｎｒを算出する。１行目に示したように、この算出法は、ランダム成分付加後のＧ信号値Ｇｒｎｄを第２のＢ彩度評価値Ｓｂ＿ｓｍｆで割ったものに等しい。

ステップＳ５２の処理を行うか、またはステップＳ５１において彩度評価値が増加していないと判定された場合には、全てのＲ画素およびＢ画素についての処理が終了したか否かを判定する（ステップＳ５３）。

ここで、まだ全てのＲ画素およびＢ画素についての処理が終了していないと判定された場合には上述したステップＳ５１へ戻って次のＲ画素およびＢ画素について処理を行う。

以上のような処理を行った場合に、空間フィルタ処理部２６からの出力は、Ｇ信号についてはランダム成分を付加したＧ信号値Ｇｒｎｄとなる。また、Ｒ信号については、彩度評価値が増加していない場合には偽色抑制ランダム成分を付加したＲ信号値Ｒｒｎｄとなり、彩度評価値が増加した場合には色ノイズを抑制したＲ信号値Ｒｃｎｒとなる。同様に、Ｂ信号については、彩度評価値が増加していない場合には偽色抑制ランダム成分を付加したＢ信号値Ｂｒｎｄとなり、彩度評価値が増加した場合には色ノイズを抑制したＢ信号値Ｂｃｎｒとなる。

こうして、ステップＳ５３において、全てのＲ画素およびＢ画素についての処理が終了したと判定された場合には、図６の処理にリターンする。

以上のような処理による信号値の変化の様子の一例を、図１８〜図２１を参照して説明する。これら図１８〜図２１において、横軸は空間位置Ｐを示し、縦軸は信号値Ｌを示している。

まず、図１８は、平滑化後のＧ信号とＲ信号の空間分布の一例を示す図である。

平滑化後のＧ信号値Ｇｓｍｆと、平滑化後のＲ信号値Ｒｓｍｆとが例えば図１８に示すような空間分布となっているものとすると、Ｒ信号値Ｒｓｍｆに対するＧ信号値Ｇｓｍｆの比により、上述したように平滑化後の第２のＲ彩度評価値Ｓｒ＿ｓｍｆが算出される。

次に、図１９は、図１８に示したＧ信号にランダム成分を付加した後のＧ信号とＲ信号の空間分布の一例を示す図である。

平滑化後のＧ信号値Ｇｓｍｆのみにランダム成分を付加してＧ信号値Ｇｒｎｄを算出しているために、Ｇｒｎｄの空間分布はＧｓｍｆから変化しているが、Ｒｓｍｆの空間分布については変化していない。

続いて、図２０は、図１９に示したＲ信号に偽色抑制ランダム成分を付加した後のＲ信号とＧ信号の空間分布の一例を示す図である。

偽色抑制ランダム成分を付加したことにより、Ｒ信号値Ｒｒｎｄは、Ｒ信号値Ｒｓｍｆと比較したときに、第３のＲ彩度評価値Ｓｒ＿ｒｎｄが減少した画素と増加した画素とが生じている。この図２０において、ハッチングを付した部分が、Ｒ信号値Ｒｓｍｆに対して付加したランダム成分量Ｎに該当する。

そして、図２１は、図２０に示したＲ信号に色ノイズ抑制処理を行った後のＲ信号とＧ信号の空間分布の一例を示す図である。

上述したように、色ノイズ抑制処理は、図１８に示した第２のＲ彩度評価値Ｓｒ＿ｓｍｆよりも、図２０に示した第３のＲ彩度評価値Ｓｒ＿ｒｎｄが増加した画素に対してのみ行われ、処理により得られたＲ信号値Ｒｃｎｒは、色ノイズが抑制されたものとなる。

こうして、上述したような処理を行うことにより、色ノイズを抑制しながら、ランダムノイズを付加することができる。

なお、図１４〜図１７に示したような重みＷｙ，Ｋ，Ｗｓや基準上限ランダム成分量Ｎｍａｘは、関数としてフラッシュメモリ１８に記憶していても良いし、テーブルとしてフラッシュメモリ１８に記憶していても構わない。

また、上述した空間フィルタ処理においては、ビット数の変換は特に行っていないが、行っても構わない。すなわち、空間フィルタ処理部２６に入力される信号のビット数よりも、空間フィルタ処理部２６から出力される信号のビット数が大きくなるようにビット数の変換を行うと共に、平滑化処理後の信号が、多ビット化に応じてより滑らかに信号値を変化させる信号となるようにしても良い。

このような実施形態１によれば、階調変換後の画像に対して、図１４に示したように、階調変換により生じる量子化誤差の、信号値に対する比（ウェーバー比）がより大きい信号（つまり、偽輪郭がより目立ち易い信号）をより高い強度で平滑化し、平滑化後の画像に対して、図１６に示したように、最低信号値付近を除くウェーバー比がより大きい信号に、より大きいランダム成分を付加するようにしたために、人の視覚特性を考慮して、階調変換後の画像の偽輪郭が目立たないようにすることができる。

そして、ウェーバー比が小さい信号、つまり、人の視覚特性ではモニタ表示上で階調とびが視認され難い信号については、平滑化の強度を低くし、付加するランダム成分を小さくしているために、人の視覚特性を考慮して、階調変換後の画像の解像度劣化を抑制することができる。

また、図１５に示したように、適用する平滑化フィルタ内における最大信号値と最小信号値との信号値差である信号レンジＲａｎｇｅが、所定の下限閾値以下または所定の上限閾値以上である場合に、下限閾値と上限閾値との間である場合よりも、平滑化の強度を低くする重み付けを行うようにしたために、平滑化の必要性がない信号値差の小さい領域（ほぼ平坦な画像部分）、およびエッジであると考えられる信号値差の大きい領域の平滑化を軽減することができる。これにより、平坦な画像部分の不要な平滑化を抑制することができると共に、平滑化によってエッジのシャープさが損なわれるのを防ぐことができる。

さらに、平滑化後の画像にランダム成分を付加する際に、まず、Ｇ信号に対して付加し、ランダム成分付加後のＧ信号を用いて第１のＲ彩度評価値および第１のＢ彩度評価値を算出し、各評価値が図１７に示したような所定の範囲にある場合にランダム成分を大きくする重み付けをしてＲ信号／Ｂ信号にランダム成分を付加するようにしたために、Ｇ信号に付加したランダム成分量を考慮して、Ｒ信号に付加するランダム成分量、およびＢ信号に付加するランダム成分量が決定されることになり、偽色が生じるのを抑制することができる。

加えて、平滑化後の画像に基づく第２のＲ彩度評価値／第２のＢ彩度評価値よりも、ランダム成分付加後の画像に基づく第３のＲ彩度評価値／第３のＢ彩度評価値の方が大きいときに、ランダム成分の付加によるＧ信号の信号値の変化割合と同じ変化割合をＲ信号／Ｂ信号に与えて色ノイズ抑制をするようにしたために、偽色抑制ランダム成分を付加した後に残る色ノイズを有効に抑制することができる。

なお、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

また、上述では主として画像処理装置について説明したが、画像処理装置と同様の処理を行う画像処理方法であってもよいし、コンピュータに画像処理方法を実行させるための画像処理プログラム、該画像処理プログラムを記録するコンピュータにより読み取りできる一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用ができることは勿論である。

１…画像処理装置
１０…記録媒体
１１…メモリＩ／Ｆ
１２…バス
１３…ＳＤＲＡＭ
１４…画像処理部
１５…ＪＰＥＧ処理部
１６…動画コーデック
１７…操作部
１８…フラッシュメモリ
１９…マイクロコンピュータ
２１…ＯＢ減算部
２２…デモザイキング処理部
２３…ホワイトバランス補正部
２４…色マトリクス演算部
２５…階調変換部
２６…空間フィルタ処理部
３１…平滑化部
３２…ランダム成分付加部
３３…色ノイズ抑制処理部

Claims (6)

1. 複数の画素で構成される画像を、モニタでの階調表示が適切となるような階調変換特性で階調変換する階調変換部と、
   前記階調変換後の画像を構成する画素のそれぞれに対して、該階調変換後の隣接階調の値の差の画素信号値に対するウェーバー比がより大きい画素信号をより高い強度で平滑化する平滑化部と、
   前記平滑化後の画像の画素信号値が取り得る全範囲内に、前記ウェーバー比がより大きい画素信号により大きいランダム成分を付加する一部範囲が存在するように、かつ前記一部範囲が信号値０を含まないように、前記平滑化後の画素信号にランダム成分を付加するランダム成分付加部と、
   を備え、
   前記ランダム成分付加部は、前記平滑化後の画像の画素信号値が、０以上第１の信号値以下の場合にはランダム成分を付加せず、第１の信号値よりも大きく第２の信号値未満の場合にはランダム成分を単調増加させて付加し、第２の信号値以上第３の信号値以下の場合には上限値のランダム成分を付加し、第３の信号値よりも大きく第４の信号値未満の場合にはランダム成分を単調減少させて付加し、第４の信号値以上の場合にはランダム成分を付加しないことを特徴とする画像処理装置。
2. 前記平滑化部は、さらに、１つの画素を着目画素として平滑化フィルタが適用される領域内における最大信号値と最小信号値との信号値差が、所定の下限閾値以下または所定の上限閾値以上である場合に、前記下限閾値と前記上限閾値との間である場合よりも、前記平滑化の強度を低くする重み付けを行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記平滑化後の画像は各画素の画素信号としてＲ信号、Ｇ信号、およびＢ信号が存在するＲＧＢカラー画像であり、
   前記ランダム成分付加部は、前記ランダム成分の付加を、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの信号値に応じて行うものであり、まず、前記平滑化後のＧ信号に対して前記ランダム成分の付加を行い、その後に、前記平滑化後のＲ信号に対する前記ランダム成分付加後のＧ信号の比を第１のＲ彩度評価値として算出すると共に、前記平滑化後のＢ信号に対する前記ランダム成分付加後のＧ信号の比を第１のＢ彩度評価値として算出し、前記第１のＲ彩度評価値が所定の範囲にある場合にランダム成分を大きくする重み付けをしてＲ信号に前記ランダム成分の付加を行い、前記第１のＢ彩度評価値が所定の範囲にある場合にランダム成分を大きくする重み付けをしてＢ信号に前記ランダム成分の付加を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記平滑化後のＲ信号に対する前記平滑化後のＧ信号の比を第２のＲ彩度評価値として算出すると共に、前記平滑化後のＢ信号に対する前記平滑化後のＧ信号の比を第２のＢ彩度評価値として算出し、さらに、前記ランダム成分付加後のＲ信号に対する前記ランダム成分付加後のＧ信号の比を第３のＲ彩度評価値として算出すると共に、前記ランダム成分付加後のＢ信号に対する前記ランダム成分付加後のＧ信号の比を第３のＢ彩度評価値として算出して、前記第２のＲ彩度評価値よりも前記第３のＲ彩度評価値が大きいときに、前記ランダム成分付加後のＧ信号を前記平滑化後のＧ信号で割ったものを前記平滑化後のＲ信号に乗算することにより色ノイズ抑制後のＲ信号を算出し、前記第２のＢ彩度評価値よりも前記第３のＢ彩度評価値が大きいときに、前記ランダム成分付加後のＧ信号を前記平滑化後のＧ信号で割ったものを前記平滑化後のＢ信号に乗算することにより色ノイズ抑制後のＢ信号を算出する色ノイズ抑制処理部をさらに備えることを特徴とする請求項３に記載の画像処理装置。
5. コンピュータに、
   複数の画素で構成される画像を、モニタでの階調表示が適切となるような階調変換特性で階調変換する階調変換ステップと、
   前記階調変換後の画像を構成する画素のそれぞれに対して、該階調変換後の隣接階調の値の差の画素信号値に対するウェーバー比がより大きい画素信号をより高い強度で平滑化する平滑化ステップと、
   前記平滑化後の画像の画素信号値が取り得る全範囲内に、前記ウェーバー比がより大きい画素信号により大きいランダム成分を付加する一部範囲が存在するように、かつ前記一部範囲が信号値０を含まないように、前記平滑化後の画素信号にランダム成分を付加するランダム成分付加ステップであって、前記平滑化後の画像の画素信号値が、０以上第１の信号値以下の場合にはランダム成分を付加せず、第１の信号値よりも大きく第２の信号値未満の場合にはランダム成分を単調増加させて付加し、第２の信号値以上第３の信号値以下の場合には上限値のランダム成分を付加し、第３の信号値よりも大きく第４の信号値未満の場合にはランダム成分を単調減少させて付加し、第４の信号値以上の場合にはランダム成分を付加しない前記ランダム成分付加ステップと、
   を実行させるための画像処理プログラム。
6. 複数の画素で構成される画像を、モニタでの階調表示が適切となるような階調変換特性で階調変換する階調変換ステップと、
   前記階調変換後の画像を構成する画素のそれぞれに対して、該階調変換後の隣接階調の値の差の画素信号値に対するウェーバー比がより大きい画素信号をより高い強度で平滑化する平滑化ステップと、
   前記平滑化後の画像の画素信号値が取り得る全範囲内に、前記ウェーバー比がより大きい画素信号により大きいランダム成分を付加する一部範囲が存在するように、かつ前記一部範囲が信号値０を含まないように、前記平滑化後の画素信号にランダム成分を付加するランダム成分付加ステップであって、前記平滑化後の画像の画素信号値が、０以上第１の信号値以下の場合にはランダム成分を付加せず、第１の信号値よりも大きく第２の信号値未満の場合にはランダム成分を単調増加させて付加し、第２の信号値以上第３の信号値以下の場合には上限値のランダム成分を付加し、第３の信号値よりも大きく第４の信号値未満の場合にはランダム成分を単調減少させて付加し、第４の信号値以上の場合にはランダム成分を付加しない前記ランダム成分付加ステップと、
   を有する画像処理方法。

Images