JP4952796B2 - 画像処理装置 - Google Patents

Description

この発明は、入力された入力画像から当該入力画像をぼかした平滑化画像を生成する画像処理装置に関する。

従来より、デジタル画像処理では画像をぼかした平滑化画像を生成する際にはローパスフィルタを用いて、フィルタサイズ内の各画素のレベル値の平均値を注目画素の信号レベルとしていた。ところが、ローパスフィルタを用いた場合、フィルタサイズ内の各画素のレベル値の平均値を注目画素のレベル値とするため、レベル値の差が大きいエッジ部分もぼやけてしまうという問題があった。具体的には、ローパスフィルタを用いた場合、図１７に示すように、実線で示した処理対象画像の明暗の差が大きいエッジ部分の勾配が、ローパスフィルタから出力される点線で示したローパスフィルタ画像（図中ではＬＰＦ画像）ではなまっており、エッジ部分を保持することができない。

このような問題を改善するために、従来から、画像のエッジ部分を正確に保存し、かつエッジ以外をぼかすための種々の技術が考えられている。例えば、特許文献１には、イプシロンフィルタを用いた顔画像処理装置（画像処理装置）に関する技術が開示されている。

具体的には、図１８に示すように、顔画像処理装置は、画像の座標（ｍ，ｎ）に位置する画素を注目画素とし、注目画素の周囲の画素（この場合は、座標（ｍ−１，ｎ−１）、座標（ｍ，ｎ−１）、座標（ｍ＋１，ｎ−１）、座標（ｍ−１，ｎ）、座標（ｍ＋１，ｎ）、座標（ｍ−１，ｎ＋１）、座標（ｍ，ｎ＋１）、座標（ｍ＋１，ｎ＋１）の８画素）を周辺画素とする。続いて、顔画像処理装置は、注目画素のレベル値（たとえば、輝度信号の階調値）と各周辺画素のレベル値との差分を算出し、算出されたそれぞれの差分が所定の閾値ＴＨより小さい周辺画素を抽出する。そして、顔画像処理装置は、抽出された周辺画素の信号レベルに所定の係数を乗じた画素値を注目画素の画素値に加算した値を注目画素の画素値として出力する。

このように、特許文献１に記載の従来技術においては、注目画素のレベル値との差分が閾値ＴＨより小さい周辺画素のみ処理対象とすることで階調値のレベル幅を制限するようにしているため、図１９に示すように、イプシロンフィルタから出力される点線で示したイプシロンフィルタ画像（図中ではεフィルタ画像）のエッジ部分の勾配はなまることなく、実線で示した処理対象画像のエッジ部分の勾配を保持しており、エッジ部分を正確に保存し、かつエッジ以外をぼかすことができる。

特開２０００−１０５８１５号公報

しかしながら、上記した従来の技術では、ノイズ除去強度を簡単に制御できないという課題と、ノイズ除去強度をできたとしても処理が高速でないという課題があった。

具体的には、画像内のノイズには、明度（輝度）変化によるノイズと色彩（色味）変化によるノイズとがある。色彩変化は人の目につきやすく、また、色彩変化によるノイズは、低輝度領域に多く存在する傾向がある。そこで、不自然にならないように色彩変化ノイズを除去するためには、入力画像の輝度値に応じて色彩変化ノイズの除去強度を変化させる必要がある。例えば、上記した特許文献１では、平滑化処理において、入力画像ごとに輝度値を算出し、算出した輝度値に応じたフィルタ係数をεフィルタに乗じることで、εフィルタにおけるノイズ除去強度を変化させる手法が考えられるが、この場合、入力画像ごとに毎回、輝度値を算出してフィルタ係数を求め、このフィルタ係数をεフィルタに乗じて平滑化処理を実施しなければならず、処理が格段に遅くなる。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、ノイズ除去強度を高速かつ簡単に制御することが可能である画像処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本装置は、入力された入力画像から当該入力画像をぼかした平滑化画像を生成する画像処理装置であって、それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタを用いて、前記入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、前記複数のレベル値で制限された複数のレベル値制限平滑化画像を生成するレベル値制限平滑化画像生成手段と、前記レベル値制限平滑化画像生成手段により生成された複数のレベル値制限平滑化画像を一つまたは複数選択して、選択したレベル値制限平滑化画像を合成してレベル値合成画像を生成するレベル値合成手段と、前記レベル値制限平滑化画像生成手段により複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報とは異なる画像情報に基づいて、前記レベル値合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、前記レベル値合成画像と入力画像とを合成して平滑化画像を生成する平滑化画像生成手段と、を有する。

本発明によれば、ノイズ除去強度を高速かつ簡単に制御することが可能である。例えば、処理対象の画像成分そのものではない画像成分に応じて、高速なエッジ保存平滑化処理を実施でき、また、離散化されたローパスフィルタとは独立してレベル値制限合成画像と入力画像とを合成することが可能であり、また、低輝度部のノイズ除去強度を強め、高輝度部のノイズ除去強度を弱めることが可能である。

以下に添付図面を参照して、この発明に係る画像処理装置の実施例を詳細に説明する。なお、以下では、本実施例で用いる主要な用語、本実施例に係る画像処理装置の概要および特徴、画像処理装置の構成および処理の流れを順に説明し、最後に本実施例に対する種々の変形例を説明する。

［用語の説明］
まず最初に、本実施例で用いる主要な用語を説明する。本実施例で用いる「画像処理装置（請求の範囲に記載の「画像処理装置」に対応する。）」とは、入力画像と画像情報を受け付け、受け付けた入力画像を平滑化して出力画像を生成する装置のことであり、入力画像は、動画であっても静止画であってもよく、カラーでもモノクロでもかまわない。

また、イプシロンフィルタと同様に、画像のエッジ部分を正確に保存し、かつエッジ以外をぼかすための技術としては、離散化されたローパスフィルタを用いた手法が考えられる。具体的には、図２０に示すように、それぞれ異なるレベル値範囲を設定し、レベル値範囲内の画素のみで平滑化画像を生成する複数のレベル制限ローパスフィルタ（離散化ローパスフィルタ）によって、あらかじめ平滑画像を複数生成して複数の平滑化結果を選択し、補間することで、エッジ部分を正確に保存し、かつエッジ以外をぼかすことが考えられる。

具体的には、「画像処理装置」は、第１階層〜第ｎ階層までのレベル値が異なる（離散化された）ローパスフィルタ（ＬＰＦ）を備え、それぞれのＬＰＦは、まず入力画像の横方向に対する１次元のフィルタ処理において、フィルタサイズ内の入力画像の画素のレベル値が自身に設定されているレベル値範囲内であるか否かを判定する。そして、ＬＰＦは、フィルタサイズ内の入力画像の画素のレベル値が自身に設定されているレベル値範囲内であると判定した画素のレベル値を累積して平均値を算出し、算出した平均値を注目画素のレベル値とする。次に、ＬＰＦは、横方向のフィルタ処理を全画素実施した画像に対し、同様に縦方向に対する１次元フィルタ処理を実施し、入力画像の全ての画素を注目画素としてそれぞれのレベル値を求めてレベル値制限平滑化画像を生成する。その後、「画像処理装置」は、生成されたレベル値制限平滑化画像を合成して、平滑化画像を生成する。なお、ここで言う「平均値」は、重み付け平均値も含むものとする。例えば、位置に関しては、フィルタ領域内の中央をもっとも高い重みとするレベル方向であれば、範囲の中央をもっとも高い重みとする等の重み付けである。

図２１を用いてより具体的に説明すると、「画像処理装置」は、ＬＰＦ０〜ＬＰＦ４の複数のローパスフィルタを備え、それぞれのＬＰＦ０〜ＬＰＦ４には、０〜８４（Ｐ０）、４２〜１２８（Ｐ１）、８５〜１６０（Ｐ２）、１２９〜２１２（Ｐ３）、１６１〜２５５（Ｐ４）のレベル値がそれぞれ設定されている。このような構成において、「画像処理装置」は、入力画像５０の画素を縦方向および横方向とも３画素おきに抽出して、縮小画像５１を生成する。そして、ＬＰＦ０〜ＬＰＦ４は、縮小画像５１に対してレベル値制限平滑化処理を行って、レベル値制限平滑化画像５２−１〜５２−５を生成する。

その後、画像処理装置は、例えば、入力画像５０の画素ｇ１を対象画素として選択した場合、画素ｇ１のレベル値に基づいてレベル値制限平滑化画像５２−１〜５２−５を選択する。対象画素ｇ１のレベル値がレベル値制限範囲Ｐ４に含まれる場合、画像処理装置は、レベル値制限平滑化画像５２−１を選択し、対象画素ｇ１に対応するレベル値制限平滑化画像５３−１の画素ｇ２と隣接する画素ｇ３〜ｇ５を選択する。また、画像処理装置は、選択したレベル値制限平滑化画像５３−１のレベル値範囲に最も近いレベル値制限平滑化画像５３−２の画素の中から、レベル値制限平滑化画像５３−１の画素ｇ２〜ｇ５に対応する画素ｇ６〜ｇ９を選択する。

そして、画像処理装置は、選択した８個の画素ｇ２〜ｇ９のそれぞれのレベル値と位置情報（ｘｙ座標）を入力としてレベル値補間（３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行って、入力画像５０の領域ｅ１に対応する部分を拡大する。このとき、画像処理装置は、入力画像５０の領域ｅ１に位置する画素のレベル値の中にレベル値範囲Ｐ４が含まれないレベル値をもつ画素が存在する場合には、その画素のレベル値を含むレベル値範囲のレベル値制限平滑化画像５２−２〜５２−３を選択し、対象画素ｇ１に対応する画素と当該画素に隣接する画素のそれぞれのレベル値と位置情報とを用いて、３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎを行って、入力画像５０の領域ｅ１に対応する部分を拡大する。すなわち、画像処理装置は、入力画像５０の領域ｅ１の各画素のレベル値が含まれるレベル値制限平滑化画像５２−１〜５２−５の領域ｅ１に対応する部分のみを拡大することとなる。

その後、画像処理装置は、入力画像５０の領域ｅ１の各画素ごとに当該画素のレベル値に基づいて、レベル値制限平滑化画像５３−１〜５３−ｎを選択してレベル値を合成して平滑化画像５４を生成する。合成は、選択したレベル値制限平滑化画像のレベル値を、レベル値範囲の中心値と処理対象画素のレベル値との差分に応じて重み付け平均値を算出する。例えば、画像処理装置は、処理対象画素のレベル値が６０の時、６０を含むレベル値範囲はレベル値０〜８４であるＰ０と、４２〜１２８であるＰ１であるので、ＬＰＦ０とＬＰＦ１とを選択する。この時、Ｐ０のレベル値範囲の中心値は４２、Ｐ１のレベル値範囲の中心値は８５であるので、「画像処理装置」は、処理対象画素のレベル値（６０）に近いレベル値中心値を持つＬＰＦ１の画素レベル値の重みを大きくするよう重み付けおよび入力画像が縮小画像であった場合にはさらに位置情報（縦軸（Ｘ軸）、横軸（Ｙ軸））を用いて平均値を算出することで、生成されたレベル値制限平滑化画像を合成して平滑化画像を生成する。具体的には、「画像処理装置」は、「ＬＰＦ１の画素レベル値×（２５／４３）＋ＬＰＦ０の画素レベル値×（１８／４３）」などとする。

このように、「画像処理装置」は、生成されたレベル値制限平滑化画像を、処理対象画素のレベル値および位置情報の３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎによる補間をおこなうことで、画像のエッジ部分を正確に保存し、かつエッジ以外をぼかす処理を高速に行うことができる。

ところが、上記した手法は、処理対象画像以外で補正強度などを制御する手段がなく、「色味のノイズ除去において、輝度の高低でノイズ除去強度を制御」が不可能であった。具体的には、エッジ保存の高画質と高速処理の両立という優れた特徴を有するが、フィルタ特性を決める要素は、処理対象の画像そのもの（処理対象の画像成分そのもの）となる。一般に、画像のノイズの大小は、処理対象画像そのものだけでは決まらないことが多い。たとえば、画像の成分は、色味と輝度とに分けられるが、色味のノイズは、センサの感度などにより輝度の低い部分に多いといった性質がある。ノイズの除去は、完全に副作用（たとえばボケ感など）を抑えることは難しいため、理想的には、ノイズの大きなところに選択的に、強いノイズ除去をかけるのが望ましい。したがって、例えば、色味のノイズ除去において、輝度の高低でノイズ除去強度を制御するといったことが望まれている。

［画像処理装置の概要および特徴］
次に、図１を用いて、実施例１に係る画像処理装置の概要および特徴を説明する図１は、実施例１に係る画像処理装置の概要と特徴を説明するための図である。

図１に示すように、この画像処理装置は、第１階層〜第ｎ階層までのレベル値が異なるローパスフィルタ（ＬＰＦ）を備え、入力された入力画像から当該入力画像をぼかした平滑化画像を生成することを概要とするものであり、特に、ノイズ除去強度を高速かつ簡単に制御することが可能である点に主たる特徴がある。

この主たる特徴を具体的に説明すると、画像処理装置は、それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタであるＬＰＦ＃０〜ＬＰＦ＃ｎを用いて、入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、複数のレベル値で制限された複数のレベル値制限平滑化画像を生成する（図１の（１）と（２）参照）。具体的に例を挙げれば、画像処理装置は、入力画像を色差成分と輝度成分とに分離し、分離した入力画像の色差成分について、ＬＰＦ＃０〜ＬＰＦ＃ｎからなるｎ階層のフィルタを用いて、上記した手法と同様の手法で、レベル値制限平滑化画像を生成する。例えば、ＬＰＦ＃０〜ＬＰＦ＃ｎのそれぞれは、入力された入力画像の各画素を参照して、自身に設定されているレベル値範囲内の画素を取得し、取得した各画素のレベル値を累積して平均値を算出（平滑化）する。また、ＬＰＦ＃０〜ＬＰＦ＃ｎのそれぞれは、入力画像の横方向、縦方向のそれぞれについて、上記した手法を実施し、それぞれの方向から算出された値の平均値を算出し、算出した平均値を入力画像の各画素の平滑化結果とする。

その後、画像処理装置は、生成された複数のレベル値制限平滑化画像を一つまたは複数選択して、選択したレベル値制限平滑化画像を合成してレベル値合成画像を生成する（図１の（３）参照）。具体的に例を挙げれば、画像処理装置は、入力画像の各画素のレベル値に対応するレベル値制限変換画像を、各フィルタにより生成された複数のレベル値制限変換画像から選択する。そして、画像処理装置は、入力画像の各画素について選択した複数のレベル値制限変換画像を合成して、１つの合成画像（フレーム）であるレベル値制限合成画像を生成する。なお、合成についても、上記した手法と同様の手法でレベル値制限平滑化画像を合成する。

そして、画像処理装置は、複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報とは異なる画像情報に基づいて、合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成する（図１の（４）と（５）参照）。

具体的に例を挙げれば、画像処理装置は、複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報である色差成分とは異なる入力画像を分離して得られた輝度成分に基づいて、原画像である入力画像と生成されたレベル値制限合成画像との合成比率を決定する。例えば、上記した例では、複数のレベル値制限平滑化画像が生成する際に用いられた入力画像の色差成分とは異なる輝度成分が値が大きい場合には、入力画像の比率を高く、レベル値制限合成画像の比率を低くするように合成比率を決定し、また、輝度成分が小さい場合には、入力画像の比率を低く、レベル値制限合成画像の比率を高くするように合成比率を決定する。そして、画像処理装置は、決定した合成比率に基づいて、レベル値合成画像と入力画像とを合成して平滑化画像を生成する。

このように、実施例１に係る画像処理装置は、処理対象の画像成分そのものではない画像成分に応じて、高速なエッジ保存平滑化処理を実施でき、また、離散化されたローパスフィルタとは独立してレベル値制限合成画像と入力画像とを合成することができる結果、上記した主たる特徴のごとく、ノイズ除去強度を高速かつ簡単に制御することが可能である。

［画像処理装置の構成］
次に、図２を用いて、図１に示した画像処理装置の構成を説明する。図２は、実施例１に係る画像処理装置の構成を示すブロック図である。図２に示すように、この画像処理装置１０は、入力画像受付部１１と、記憶部２０と、制御部３０と、画像出力部４０とから構成される。

入力画像受付部１１は、動画像データなどを外部から受け付ける。具体的には、入力画像受付部１１は、動画像データを１フレームずつ外部から受け付け、受け付けたフレームを入力画像として、後述する入力画像ＤＢ２１に格納する。また、入力画像受付部１１は、ネットワークなどを介して外部装置から入力画像を受け付けてもよく、ＣＤ−ＲＯＭやＤＶＤなどの記憶媒体などから受け付けてもよい。なお、入力画像は、動画であっても静止画であってもよく、カラーでもモノクロでもかまわない。また、入力画像は、縮小画像であってもよく、その場合、後述する平滑化画像生成部３４において拡大処理が実行される。

記憶部２０は、制御部３０による各種処理に必要なデータおよびプログラムを格納するとともに、特に本発明に密接に関連するものとしては、入力画像ＤＢ２１と、レベル値制限平滑化画像＃０ＤＢ２２と、レベル値制限平滑化画像＃１ＤＢ２３と、レベル値制限平滑化画像＃ｎＤＢ２４と、レベル値制限合成画像ＤＢ２５と、平滑化画像ＤＢ２６とを備える。

入力画像ＤＢ２１は、画像処理装置１０に入力されたフレームを記憶する。具体的に例を挙げると、入力画像ＤＢ２１は、入力画像受付部１１によって格納された動画像データのＮ番目のフレーム、Ｎ＋１番目のフレームなどを記憶する。

レベル値制限平滑化画像＃０ＤＢ２２〜レベル値制限平滑化画像＃ｎＤＢ２４は、後述するフィルタ処理部３１のＬＰＦ＃０〜ＬＰＦ＃ｎにより生成されたレベル値制限平滑化画像を記憶する。上記した例で具体的に説明すると、レベル値制限平滑化画像＃０ＤＢ２２〜レベル値制限平滑化画像＃ｎＤＢ２４は、後述するフィルタ処理部３１に備えられたＬＰＦの数およびフィルタ処理部Ｂ３５に備えられたＬＰＦの数分のＤＢであり、それぞれのＬＰＦに対応付けられている。例えば、レベル値制限平滑化画像＃０ＤＢ２２は、ＬＰＦ＃０により格納されたレベル値（例えば、０画素〜４０画素）の複数の平滑化画像を記憶し、同様に、レベル値制限平滑化画像＃１ＤＢ２３は、ＬＰＦ＃１により格納されたレベル値（例えば、３０画素〜６０画素）の複数の平滑化画像を記憶し、レベル値制限平滑化画像＃ｎＤＢ２４は、ＬＰＦ＃ｎにより格納されたレベル値（例えば、２１０画素〜２５５画素）の複数の平滑化画像を記憶する。

レベル値制限合成画像ＤＢ２５は、後述するフィルタ処理部３１のＬＰＦ＃０〜ＬＰＦ＃ｎにより生成されてレベル値制限平滑化画像が合成されたレベル値制限合成画像を記憶する。上記した例で具体的に説明すると、レベル値制限合成画像ＤＢ２５は、後述するレベル値制限平滑化画像合成部３２によりにより、フィルタ処理部３１のＬＰＦ＃０〜ＬＰＦ＃ｎにより生成されてレベル値制限平滑化画像＃０ＤＢ２２〜レベル値制限平滑化画像＃ｎＤＢ２４に格納されたそれぞれのレベル値制限平滑化画像が合成されたレベル値制限合成画像を記憶する。

平滑化画像ＤＢ２６は、生成された平滑化画像を記憶する。上記した例で具体的に説明すると、平滑化画像ＤＢ２６は、後述する平滑化画像生成部３４によって格納された平滑化画像である、色味のノイズ除去において、輝度の高低でノイズ除去強度を制御したエッジ部分を正確に保存しつつエッジ以外をぼかした（平滑化された）平滑化画像を記憶する。

制御部３０は、ＯＳ（Operating System）などの制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、フィルタ処理部３１と、レベル値制限平滑化画像合成部３２と、合成比率決定部３３と、平滑化画像生成部３４とを備え、これらによって種々の処理を実行する。

フィルタ処理部３１は、それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタを用いて、入力画像の色差成分に対してフィルタリング処理を実施して複数のフィルタリング結果を生成し、特に本発明に密接に関連するものとしては、ＬＰＦ＃０〜ＬＰＦ＃ｎを備える。

ＬＰＦ＃０〜ＬＰＦ＃ｎは、入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、複数のレベル値で制限された複数のレベル値制限平滑化画像を生成する。具体的に例を挙げると、ＬＰＦ＃０〜ＬＰＦ＃ｎは、１次元のローパスフィルタで、それぞれ異なったレベル値範囲が予め設定されており、記憶部に記憶されている入力画像の画素のレベル値が、自身に設定されたレベル値範囲内の画素を処理対象として平滑化（平均値の算出）するレベル値制限平滑化処理を行ってレベル値制限平滑化画像を生成し、生成したレベル値制限平滑化画像を対応するレベル値制限平滑化画像ＤＢ（例えば、ＬＰＦ＃０の場合、レベル値制限平滑化画像ＤＢ＃０）に格納する。なお、ＬＰＦに設定するレベル値範囲は、その範囲の一部が少なくとも２つのＬＰＦに重なるようにすることが好ましいが、入力画像のレベル値範囲をカバーしていればよい。さらに、ＬＰＦのフィルタサイズおよびレベル値範囲は、固定値を設定しておいてもよいし、外部から設定するようにしてもよい。

例えば、ＬＰＦ＃０〜ＬＰＦ＃ｎがＬＰＦ１〜ＬＰＦ１７の１７階層であった場合、その時、ＬＰＦ１＿１からＬＰＦ１−１７まで順に、レベル値範囲は、0-16、0-32、16-48、32-64、48-80、64-96、80-112、96-128、112-144、128-160、144-176、160-192、176-208、192-224、208-240、224-255、240-255とし、フィルタサイズは、すべて１５としたりする。もちろん他の階層数でもかまわない。なお、上記したように、各ＬＰＦに設定するレベル値範囲は、その範囲の一部が少なくとも２つのＬＰＦに重なるようにすることが好ましいが、入力画像のレベル値範囲をカバーしていればよい。

レベル値制限平滑化画像合成部３２は、フィルタ処理部３１により生成された複数のレベル値制限平滑化画像を一つまたは複数選択して、選択したレベル値制限平滑化画像を合成してレベル値合成画像を生成する。上記した例で具体的に説明すると、レベル値制限平滑化画像合成部３２は、入力画像の各画素のレベル値に対応するレベル値制限変換画像を、フィルタ処理部３１により生成されて格納された複数のレベル値制限変換画像＃０ＤＢ２２〜レベル値制限変換画像＃ｎＤＢ２４から選択する。そして、レベル値制限平滑化画像合成部３２は、入力画像の各画素について選択した複数のレベル値制限変換画像を合成して、１つの合成画像（フレーム）であるレベル値制限合成画像を生成してレベル値制限合成画像ＤＢ２５に格納する。なお、選択および合成については、上記した手法と同様の手法を用いるので、ここではその詳細な説明は省略する。

合成比率決定部３３は、フィルタ処理部３１により複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報とは異なる画像情報に基づいて、前記第一の合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定して、決定した合成比率を平滑化画像生成部３４に通知する。上記した例で具体的に説明すると、合成比率決定部３３は、複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報である色差成分とは異なる入力画像を分離して得られた輝度成分に基づいて、原画像である入力画像と生成されたレベル値制限合成画像との合成比率を決定する。例えば、上記した例では、複数のレベル値制限平滑化画像が生成する際に用いられた入力画像の色差成分とは異なる輝度成分が値が大きい場合には、入力画像の比率を高く、レベル値制限合成画像の比率を低くするように合成比率を決定し、また、輝度成分が小さい場合には、入力画像の比率を低く、レベル値制限合成画像の比率を高くするように合成比率を決定し、平滑化画像生成部３４に通知する。

平滑化画像生成部３４は、合成比率決定部３３により決定された合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成する。上記した例で具体的に説明すると、平滑化画像生成部３４は、合成比率決定部３３により合成比率が「入力画像：レベル値制限合成画像」＝「７：３」と決定された場合、入力画像ＤＢ２１に記憶される入力画像の割合を「７」、レベル値制限合成画像ＤＢ２５に記憶されるレベル値制限合成画像の割合を「３」として、両画像を合成して平滑化画像を生成し、生成した平滑化画像を平滑化画像ＤＢ２６に格納する。

ここで、図３〜図７を用いて、合成比率決定部３３による合成比率決定手法と平滑化画像生成部３４による合成手法について、具体的に例を挙げて説明する。なお、図３は、入力画像から分解されたY成分を示す図であり、図４は、入力画像から分解されたCr成分を示す図であり、図５は、平滑化された入力画像のCr成分を示す図であり、図６は、合成比率を用いて原画合成された平滑化画像を示す図であり、図７は、高輝度域において非線形な合成比率を用いて原画合成された平滑化画像を示す図である。

上記したように、例えば、画像の色差成分のノイズを除去するノイズ除去用の平滑化処理について説明すると、色差成分は、例えば、画像処理の分野で一般的に用いられている、YCbCr三成分のうちの，CbCrの二成分に対応する。ここでは、0から255の8bitデータを処理することを前提とし、この場合、無彩色は、Cb、Crがともに、128に対応することとなる。

このような状態において、合成比率決定部３３は、入力画像をY成分とCb、Crの２成分に分解すると、上記したフィルタ処理部３１では、このCb、Cr成分が平滑化対象となり、Y成分が合成比率決定対象となる。なお、色差成分の信号は、一般的なマトリクス演算によってRGB値からY成分とCb、Crの２成分に分解すればよい。このようにして入力画像から分解されたY成分を入力画像の各画素に対応付けて数値化した図を図３に示し、同様にCr成分を図４に示す。図３と図４とを比較すると、入力画像の左上には、輝度成分よりも色差成分が多く、右上には色差成分よりも輝度成分が多いことがわかる。

その後、それぞれ異なったレベル値範囲が予め設定されているフィルタ処理部３１の各ＬＰＦにより、入力画像の画素のレベル値が自身に設定されたレベル値範囲内の画素を処理対象として平滑化（平均値の算出）されたレベル制限平滑化画像が生成され、レベル値制限平滑化画像合成部３２により、入力画像の各画素のレベル値に基づいて、当該画素に対するレベル制限平滑化画像を選択されて補間処理によって合成されたレベル値制限合成画像を図５に示す。平滑化された入力画像のCr成分は、図５に示すように、図４に比べて、全体的に平滑化されている。

そして、合成比率決定部３３は、図４に示された輝度成分に基づいて、上記したように低輝度部のノイズ除去強度を強め、高輝度部のノイズ除去強度を弱めるとすると、入力画像をIn、LPF結果をL、出力をOut、該当画素の輝度Yを用いた「Out＝（L＊(255−Y)＋In＊Y）／255」を合成比率として決定し、平滑化画像生成部３４は、この決定された算出式を用いて、図６に示すように、入力画像（図４参照）とレベル値制限合成画像（図５参照）とを原画合成する。このように、原画合成された図６に示す平滑化画像は、図４に示された入力画像（原画像）と図５に示されたレベル制限平滑化画像（平滑化結果）とのそれぞれと比べて、レベル値制限された平滑化画像（図５参照）における低輝度部分である図左上については補正が強く、高輝度部分である図右上については補正が弱いことがわかる。つまり、図６では、低輝度部分である図左上については、図４に示された入力画像の割合が少なく、図５に示されたレベル値制限合成画像の割合が多い。また、高輝度部分である図右上については、図４に示された入力画像の割合が多く、図５に示されたレベル値制限合成画像の割合が少ないことがわかる。

また、上式においては、輝度に応じて単純に線形補間を実施したものであるが、例えば、高輝度においては完全に補正量を「0」にせず、ある程度の高輝度域においては、一定の補正強度とするような非線形な制御にするならば、「if Y＜255／2、Out＝（L＊（255−Y）＋In＊Y）／255、else Out＝（In＋L）／2」のような合成式（合成比率）を用いればよく、この式を用いて合成した場合、図７に示すような結果が得られる。図７では、高輝度においては完全に補正量を「0」とした図６と比べて、高輝度部分である図右上については補正が異なることがわかる。

画像出力部４０は、生成された平滑化画像を接続される他の装置に出力する。具体的に例を挙げると、画像出力部４０は、平滑化画像生成部３４により生成されて平滑化画像ＤＢ２に格納された平滑化画像を取得し、例えば、逆光画像などをきれいにするダイナミックレンジ圧縮を行って画像を生成するダイナミックレンジ装置に出力する。

［画像処理装置による処理］
次に、図８を用いて、画像処理装置による処理を説明する。図８は、実施例１に係る画像処理装置における処理の流れを示すフローチャートである。

図８に示すように、入力画像が入力画像受付部１１により受け付けられて入力画像ＤＢ１２に格納されると（ステップＳ１０１肯定）、フィルタ処理部３１のＬＰＦ＃０〜ＬＰＦ＃ｎは、レベル値制限平滑化画像を生成して、対応するレベル値制限平滑化画像＃０ＤＢ２２〜レベル値制限平滑化画像＃ｎＤＢ２４に格納する（ステップＳ１０２）。

続いて、レベル値制限平滑化画像合成部３２は、フィルタ処理部３１により生成された複数のレベル値制限平滑化画像をレベル値制限平滑化画像＃０ＤＢ２２〜レベル値制限平滑化画像＃ｎＤＢ２４から一つまたは複数選択して合成したレベル値合成画像を生成し、生成したレベル値制限合成画像をレベル値制限合成画像ＤＢ２５に格納する（ステップＳ１０３）。

その後、合成比率決定部３３は、入力画像ＤＢ２１に格納される入力画像を取得して、取得した入力画像から合成比率を算出し、算出した合成比率を平滑化画像生成部３４に通知し（ステップＳ１０４）、平滑化画像生成部３４は、通知された合成比率に基づいて、レベル値制限合成画像ＤＢ２５に記憶されるレベル値制限合成画像と、入力画像ＤＢ２１に記憶される入力画像とを合成した平滑化画像を生成して、生成した平滑化画像を平滑化画像ＤＢ２６に格納する（ステップＳ１０５）。

そして、画像出力部４０は、平滑化画像生成部３４により生成されて平滑化画像ＤＢ２５に格納された平滑化画像を取得し、例えば、逆光画像などをきれいにするダイナミックレンジ圧縮を行って画像を生成するダイナミックレンジ装置に出力する。

［実施例１による効果］
このように、実施例１によれば、それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタであるＬＰＦ＃０〜ＬＰＦ＃ｎを用いて、入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、前記複数のレベル値で制限された複数のレベル値制限平滑化画像を生成し、生成された複数のレベル値制限平滑化画像を一つまたは複数選択して、選択したレベル値制限平滑化画像を合成してレベル値合成画像を生成し、複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報とは異なる画像情報に基づいて、合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成するので、高速なエッジ保存平滑化処理を実施でき、また、離散化されたローパスフィルタとは独立してレベル値制限合成画像と入力画像とを合成することができる結果、ノイズ除去強度を高速かつ簡単に制御することが可能である。

また、実施例１によれば、複数のレベル値制限平滑化画像が生成される際に使用された処理対象成分とは異なる成分に基づいて、合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成するので、処理対象の画像成分そのものではない画像成分に応じて、ノイズ除去強度を高速かつ簡単に制御することが可能である。

また、実施例１によれば、入力画像における色差成分情報について、それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタを用いて、入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、複数のレベル値で制限された複数のレベル値制限平滑化画像を生成し、複数のレベル値制限平滑化画像が生成される際に使用された色差成分情報とは異なる輝度成分情報に基づいて、合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成するので、色差成分のノイズ除去を輝度の高低で制御することが可能である。

また、実施例１によれば、複数のレベル値制限平滑化画像が生成される際に使用された色差成分情報よりも輝度成分情報が大きい場合には、合成されたレベル値合成画像よりも入力画像の比率を大きくするように合成比率を決定し、決定した合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成するので、低輝度部のノイズ除去強度を強め、高輝度部のノイズ除去強度を弱めることが可能である。例えば、入力画像の比率を高めれば補正を弱めることが可能である。

ところで、実施例１では、入力画像の色差成分のノイズ除去強度を制御した場合について説明したが、本発明はこれに限定されるものではなく、本発明は、入力画像の輝度成分のノイズ除去強度を制御することもできる。

そこで、実施例２では、図９〜図１４を用いて、入力画像の輝度成分のノイズ除去強度を制御する場合について説明する。図９は、実施例２に係る画像処理装置の全体構成を示す図である。なお、輝度成分のノイズは、ゲイン補正など輝度のレベル補正の量に依存するので、ここでは、輝度に対する補正処理（階調補正）を実施したあとのノイズ除去に関して説明する。

図９に示すように、ここでは、画像処理装置は、原画像に対して輝度補正が実施された画像を入力画像として受け付けて、実施例１と同様に、レベル値制限された複数のＬＰＦを用いてレベル値制限平滑化画像を生成し、その後、レベル値制限平滑化画像を一つまたは複数選択して合成したレベル値制限合成画像を生成する。なお、ここでは、原画像と輝度補正された入力画像とを対応付けて、入力画像ＤＢ２１に格納する。

そして、実施例１と異なり、実施例２に係る画像処理装置は、入力画像とレベル値制限合成画像とを合成（原画合成）する場合に、原画像と入力画像との差分を算出し、算出した差分である輝度補正量に基づいて合成比率を決定し、決定した合成比率を用いて入力画像とレベル値制限合成画像とを合成した平滑化画像を生成する。

ここで、入力画像の輝度成分のノイズ除去強度を制御する、つまり、原画像と入力画像との差分を算出し、算出した差分である輝度補正量に基づいて合成比率を決定して入力画像とレベル値制限合成画像とを合成した平滑化画像を生成する場合について、図１０〜図１４を用いて、具体的に例を挙げて説明する。なお、図１０は、実施例２に係る原画像から分解されたY成分を示す図であり、図１１は、実施例２に係る入力画像から分解されたY成分を示す図であり、図１２は、平滑化された入力画像のY成分を示す図であり、図１３は、輝度補正量を示す図であり、図１４は、実施例２に係る合成比率を用いて原画合成された平滑化画像を示す図である。

上記したように、画像の輝度成分のノイズを除去するノイズ除去用の平滑化処理について説明すると、色差成分は、例えば、画像処理の分野で一般的に用いられている、YCbCr三成分のうちの、CbCrの二成分に対応する。ここでは、0から255の8bitデータを処理することを前提とし、この場合、無彩色は、Cb、Crがともに、128に対応することとなる。

このような状態において、入力画像受付部１１は、原画像に対して輝度補正が実施された画像を入力画像として受け付ける。例えば、図１０に示したような原画像のY成分が、図１１に示したように輝度補正された入力画像を受け付ける。ここで、図１０と図１１とを比較してもわかるように、原画像（図１０）の輝度成分が小さい図左上の各画素が、輝度補正された図１１では大きくなっており、これが、輝度補正されたことを示している。

その後、実施例１と同様に、それぞれ異なったレベル値範囲が予め設定されているフィルタ処理部３１の各ＬＰＦにより、入力画像の画素のレベル値が自身に設定されたレベル値範囲内の画素を処理対象として平滑化（平均値の算出）されたレベル制限平滑化画像が生成され、レベル値制限平滑化画像合成部３２により、入力画像の各画素のレベル値に基づいて、当該画素に対するレベル制限平滑化画像を選択されて補間処理によって合成されたレベル値制限合成画像を図１２に示す。

そして、合成比率決定部３３は、図１３に示すように、図１０に示された原画像の輝度成分と、図１１に示された輝度補正された入力画像の輝度成分との差分を算出する。ここで、原画像に輝度補正が施され、その補正量の大小に応じて合成比率を制御するとすれば、合成比率決定部３３は、原画像をIn、LPF結果をL、出力をOut、当該画素の輝度補正量をCとした算出式「Out＝（In＊（255−C）＋L＊C）／255」を合成比率として決定する。なお、補正量の大きな画素ほどLPFが強くかかるため、輝度補正の方法としては、たとえば、retinex等の方法を用いればよい。その後、平滑化画像生成部３４は、この決定された算出式（合成比率）を用いて、図１４に示すように、入力画像（図１１参照）とレベル値制限合成画像（図１２参照）とを合成した平滑化画像を生成する。図１４では、合成において、輝度補正量の小さい図左上については、入力画像（図１１参照）の割合が大きく、輝度補正量の大きい図右上については、レベル値制限合成画像（図１２参照）の割合が大きくなっていることがわかる。

［実施例２による効果］
このように、実施例２によれば、入力画像から取得した階調補正処理の情報を示す階調補正情報に基づいて、合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、レベル値合成画像と入力画像とを合成して平滑化画像を生成するので、輝度に対する補正量に応じて、ノイズ除去強度を制御することが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に示すように、（１）輪郭強調補正量を用いた合成、（２）フィルタ数、（３）システム構成等、（４）プログラムにそれぞれ区分けして異なる実施例を説明する。

（１）輪郭強調補正量を用いた合成
例えば、実施例２では、輝度に対する補正処理（階調補正）を実施したあとのノイズ除去、つまり、原画像に対して輝度補正が実施された画像を入力画像として受け付けた場合の合成手法について説明したが、本発明はこれに限定されるものではなく、原画像に対して実施されている輪郭強調やエッジ補正に応じた補正量に基づいて合成することもできる。

具体的には、図１５に示すように、画像処理装置は、原画像に対して、USM（アンシャープマスク）等の方法により輪郭強調補正が実施された画像を入力画像として受け付けて、実施例２と同様に、レベル値制限された複数のＬＰＦを用いてレベル値制限平滑化画像を生成し、その後、レベル値制限平滑化画像を一つまたは複数選択して合成したレベル値制限合成画像を生成する。なお、ここでは、原画像と輝度補正された入力画像とを対応付けて、入力画像ＤＢ２１に格納する。また、図１５は、輪郭協調量を用いて合成する場合の画像処理装置の全体構成を示す図である。

そして、実施例１や２と異なり、画像処理装置は、入力画像とレベル値制限合成画像とを合成（原画合成）する場合に、原画像と入力画像との差分を算出し、算出した差分である輪郭強調量に基づいて合成比率を決定し、決定した合成比率を用いて入力画像とレベル値制限合成画像とを合成した平滑化画像を生成する。

例えば、ノイズは、輪郭強調量に依存するが、極端に大きく輪郭強調した場所は、輪郭の目立つところであり、LPFでぼかすべきでない。したがって、ノイズ除去のフィルタは、やや大きな値で輪郭強調が施されたところを選択的に実施するのがのぞましい。そこで、画像処理装置は、原画像をIn、LPF結果をL、出力をOut、該当画素の輪郭補正量をSとした場合に、「if S ＞ 50、Out＝In、else if S ＞ 25、Out＝（In＊（S−25）＋L＊（50−S））／25、else Out＝（In＊（25−S）＋L（S））／25」を合成比率として決定し、これを用いて入力画像とレベル値制限合成画像とを合成する。

（２）フィルタ数
また、本発明では、フィルタ数は図示したものに限定されるものではなく、フィルタ数を３や１０などにしてもよい。また、各フィルタに設定されたレベル範囲（階調範囲）も上記した実施例で記載した数値に限定されるわけでなく、任意に設定することができる。

（３）システム構成等
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（４）プログラム
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムを他の実施例として説明する。

図１６は、画像処理プログラムを実行するコンピュータシステムの例を示す図である。図１６に示すように、コンピュータシステム１００は、ＲＡＭ１０１と、ＨＤＤ１０２と、ＲＯＭ１０３と、ＣＰＵ１０４とから構成される。ここで、ＲＯＭ１０３には、上記の実施例と同様の機能を発揮するプログラム、つまり、図１６に示すように、レベル値制限平滑化画像生成プログラム１０３ａと、レベル値制限合成プログラム１０３ｂと、平滑化画像生成プログラム１０３ｃとがあらかじめ記憶されている。

そして、ＣＰＵ１０４には、これらのプログラム１０３ａ〜１０３ｃを読み出して実行することで、図１６に示すように、レベル値制限平滑化画像生成プロセス１０４ａと、レベル値制限合成プロセス１０４ｂと、平滑化画像生成プロセス１０４ｃとなる。なお、レベル値制限平滑化画像生成プロセス１０４ａは、図２に示した、フィルタ処理部３１に対応し、同様に、レベル値制限合成プロセス１０４ｂは、レベル値制限平滑化画像合成部３２に対応し、平滑化画像生成プロセス１０４ｃは、合成比率決定部３３と平滑化画像生成部３４とに対応する。

また、ＨＤＤ１０２は、受け付けられた入力画像、レベル値制限平滑化画像生成プロセス１０４ａにより生成された複数のレベル値制限平滑化画像、レベル値制限合成プロセス１０４ｂにより合成されたレベル値制限合成画像、平滑化画像生成プロセス１０４ｃにより生成された平滑化画像をそれぞれ記憶する。

ところで、上記したプログラム１０３ａ〜１０３ｃは、必ずしもＲＯＭ１０３に記憶させておく必要はなく、例えば、コンピュータシステム１００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」の他に、コンピュータシステム１００の内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらに、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータシステム１００に接続される「他のコンピュータシステム」に記憶させておき、コンピュータシステム１００がこれらからプログラムを読み出して実行するようにしてもよい。

以上のように、本発明に係る画像処理装置は、入力された入力画像から当該入力画像をぼかした平滑化画像を生成することに有用であり、特に、ノイズ除去強度を高速かつ簡単に制御することに適する。

図１は、実施例１に係る画像処理装置の概要と特徴を説明するための図である。 図２は、実施例１に係る画像処理装置の構成を示すブロック図である。 図３は、入力画像から分解されたY成分を示す図である。 図４は、入力画像から分解されたCr成分を示す図である。 図５は、平滑化された入力画像のCr成分を示す図である。 図６は、合成比率を用いて原画合成された平滑化画像を示す図である。 図７は、高輝度域において非線形な合成比率を用いて原画合成された平滑化画像を示す図である。 図８は、実施例１に係る画像処理装置における処理の流れを示すフローチャートである。 図９は、実施例２に係る画像処理装置の全体構成を示す図である。 図１０は、実施例２に係る原画像から分解されたY成分を示す図である。 図１１は、実施例２に係る入力画像から分解されたY成分を示す図である。 図１２は、平滑化された入力画像のY成分を示す図である。 図１３は、輝度補正量を示す図である。 図１４は、実施例２に係る合成比率を用いて原画合成された平滑化画像を示す図である。 図１５は、輪郭協調量を用いて合成する場合の画像処理装置の全体構成を示す図である。 図１６は、画像処理プログラムを実行するコンピュータシステムの例を示す図である。 図１７は、従来技術を説明するための図である。 図１８は、従来技術を説明するための図である。 図１９は、従来技術を説明するための図である。 図２０は、離散化されたローパスフィルタを用いた画像処理装置の例を示す図である。 図２１は、離散化されたローパスフィルタを用いた画像処理装置における合成処理を説明するための図である。

１０ 画像処理装置
１１ 入力画像受付部
２０ 記憶部
２１ 入力画像ＤＢ
２２ レベル値制限平滑化画像＃０ＤＢ
２３ レベル値制限平滑化画像＃１ＤＢ
２４ レベル値制限平滑化画像＃ｎＤＢ
２５ レベル値制限合成画像ＤＢ
２６ 平滑化画像ＤＢ
３０ 制御部
３１ フィルタ処理部
３２ レベル値制限平滑化画像合成部
３３ 合成比率決定部
３４ 平滑化画像生成部
４０ 画像出力部
１００ コンピュータシステム
１０１ ＲＡＭ
１０２ ＨＤＤ
１０３ ＲＯＭ
１０３ａ レベル値制限平滑化画像生成プログラム
１０３ｂ レベル値制限合成プログラム
１０３ｃ 平滑化画像生成プログラム
１０４ ＣＰＵ
１０４ａ レベル値制限平滑化画像生成プロセス
１０４ｂ レベル値制限合成プロセス
１０４ｃ 平滑化画像生成プロセス

Claims (5)

1. 入力された入力画像から当該入力画像をぼかした平滑化画像を生成する画像処理装置であって、
   それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタを用いて、前記入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、前記複数のレベル値で制限された複数のレベル値制限平滑化画像を生成するレベル値制限平滑化画像生成手段と、
   前記レベル値制限平滑化画像生成手段により生成された複数のレベル値制限平滑化画像を一つまたは複数選択して、選択したレベル値制限平滑化画像を合成してレベル値合成画像を生成するレベル値合成手段と、
   前記レベル値制限平滑化画像生成手段により複数のレベル値制限平滑化画像が生成される際に使用された入力画像を構成する画像に関する画像情報とは異なる画像情報に基づいて、前記レベル値合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、前記レベル値合成画像と入力画像とを合成して平滑化画像を生成する平滑化画像生成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記平滑化画像生成手段は、前記レベル値制限平滑化画像生成手段により複数のレベル値制限平滑化画像が生成される際に使用された処理対象成分とは異なる成分に基づいて、前記レベル値合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、前記レベル値合成画像と入力画像とを合成して平滑化画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記レベル値制限平滑化画像生成手段は、前記入力画像における色差成分情報について、それぞれ異なる複数のレベル値範囲が設定された複数のローパスフィルタを用いて、前記入力画像の各画素を処理対象画素とし、当該複数のローパスフィルタのフィルタサイズ内に含まれる処理対象画素を含む入力画像の各画素からレベル値範囲に含まれる各画素の平均値を算出して、前記複数のレベル値で制限された複数のレベル値制限平滑化画像を生成し、
   前記平滑化画像生成手段は、前記レベル値制限平滑化画像生成手段により複数のレベル値制限平滑化画像が生成される際に使用された色差成分情報とは異なる輝度成分情報に基づいて、前記レベル値合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、前記レベル値合成画像と入力画像とを合成して平滑化画像を生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記入力画像は、画像の階調を補正する階調補正処理が既に実施されている画像であって、
   前記平滑化画像生成手段は、前記入力画像から取得した階調補正処理の情報を示す階調補正情報に基づいて、前記レベル値合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、前記レベル値合成画像と入力画像とを合成して平滑化画像を生成することを特徴とする請求項１に記載の画像処理装置。
5. 前記入力画像は、画像のエッジ部分を補正するエッジ強調処理が既に実施されている画像であって、
   前記平滑化画像生成手段は、前記入力画像から取得したエッジ強調処理の情報を示すエッジ強調情報に基づいて、前記レベル値合成手段により合成されたレベル値合成画像と入力画像との合成比率を決定し、決定した合成比率を用いて、前記レベル値合成画像と入力画像とを合成して平滑化画像を生成することを特徴とする請求項１に記載の画像処理装置。

Images