JP4847531B2 - 画像処理装置、画像処理プログラム、および画像処理方法 - Google Patents

Description

本発明は、画像を構成する画素にローパスフィルタをかけて平滑化画像を生成する画像処理に関するものであり、特に、入力画像のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像を生成する画像処理装置、画像処理プログラム、および画像処理方法に関するものである。

デジタル画像処理では画像をぼかした平滑化画像を生成する際にはローパスフィルタを用いて、フィルタサイズ内の各画素のレベル値の平均値を注目画素の信号レベルとしていた。しかしながら、ローパスフィルタを用いた場合、フィルタサイズ内の各画素のレベル値の平均値を注目画素のレベル値とするため、レベル値の差が大きいエッジ部分もぼやけてしまうという問題があった。具体的には、ローパスフィルタを用いた場合、図１７に示すように、実線で示した処理対象画像の明暗の差が大きいエッジ部分の勾配が、ローパスフィルタから出力される点線で示したローパスフィルタ画像（図中ではＬＰＦ画像）ではなまっており、エッジ部分を保持することができない。

このような問題を改善するために、従来から、画像のエッジ部分を正確に保存し、かつエッジ以外をぼかすための種々の技術が考えられている。たとえば、特許文献１には、イプシロンフィルタを用いた顔画像処理装置（画像処理装置）に関する技術が開示されている。

具体的には、図１８に示すように、画像の座標（ｍ，ｎ）に位置する画素を注目画素とし、注目画素の周囲の画素にの場合は、座標（ｍ−１，ｎ−１）、座標（ｍ，ｎ−１）、座標（ｍ＋１，ｎ−１）、座標（ｍ−１，ｎ）、座標（ｍ＋１，ｎ）、座標（ｍ−１，ｎ＋１）、座標（ｍ，ｎ＋１）、座標（ｍ＋１，ｎ＋１）の８画素）を周辺画素とし、差分検出器５００が、注目画素のレベル値（たとえば、輝度信号の階調値）と各周辺画素のレベル値との差分を算出し、閾値判定部５０１が、差分検出器５００によって算出されたそれぞれの差分が所定の閾値ＴＨより小さい周辺画素を抽出する。そして、加算部５０３が、閾値判定部５０１によって抽出された周辺画素の信号レベルに所定の係数を乗じた画素値を注目画素の画素値に加算した値を注目画素の画素値として出力する。

このように、特許文献１に記載の従来技術においては、注目画素のレベル値との差分が閾値ＴＨより小さい周辺画素のみ処理対象とすることで階調値のレベル幅を制限するようにしているため、図１９に示すように、イプシロンフィルタから出力される点線で示したイプシロンフィルタ画像（図中ではεフィルタ画像）のエッジ部分の勾配はなまることなく、実線で示した処理対象画像のエッジ部分の勾配を保持しており、エッジ部分を正確に保存し、かつエッジ以外をぼかすことを可能にしている。

特開２０００−１０５８１５号公報

しかしながら、上記特許文献１に記載のイプシロンフィルタを用いた従来技術では、画像の各画素を注目画素とし、それぞれの注目画素のレベル値と各周辺画素のレベル値との差分を算出して閾値と比較しなければならないため、変数による条件分岐処理を含むこととなり、処理負荷が大きく、高速化が困難であるという問題があった。

処理負荷を軽減して高速化を実現するために、画像を縮小（画像の画素を間引いて画素数を少なくして注目画素および周辺画素の数を少なくする）してイプシロンフィルタによる平滑化処理を実行し、平滑化処理を行った画像を拡大することが考えられる。すなわち、画像を低解像化（離散化）して処理を実行することで高速化することが考えられる。しかしながら、画像を縮小するとエッジの位置によってはエッジ部分の画素が間引かれてしまいエッジの情報を含まない縮小画像が生成されることがある。そのため、注目画素の画素値と処理対象とする周辺画素の画素値とを加算して注目画素の画素値とする上記特許文献１に記載のイプシロンフィルタを用いた従来技術では、図２０に示すように、実線で示した処理対象画像のエッジ部分の勾配が、点線で示した離散処理によるイプシロンフィルタの出力では保持することができなくなる場合がある。すなわち、上記特許文献１に記載のイプシロンフィルタを用いた従来技術では、処理負荷を軽減して高速化を実現するために画像を低解像化して処理を行った場合、エッジ部分を正確に保持することはできないという問題が生じる。

また、処理負荷を軽減して高速化を実現するために、２次元フィルタを画像の横方向の処理に用いる１次元のフィルタと画像の縦方向の処理に用いる１次元のフィルタとに分解し、横方向の平滑化処理を実行した後に縦方向の平滑化処理を実行する方法（逐次処理）がある。しかしながら、上記特許文献１に記載のイプシロンフィルタを用いた従来技術に逐次処理を適用した場合、横方向の１次元のフィルタ（横フィルタ）の出力画像に対して縦方向の１次元のフィルタ（縦フィルタ）を適用するため、縦輪郭が発生する場合がある。

図２１を参照して、縦輪郭が発生する場合について説明する。入力画像６００において、領域６０２に位置する各画素のレベル値（階調値）と領域６０３に位置する各画素の階調値との差が大きく、かつ領域６０１に位置する各画素のレベル値（階調値）と領域６０１の横に隣接する領域６０２に位置する各画素の階調値との差が制限レベル幅以上（閾値ＴＨ以上）であって、領域６０１に位置する各画素の階調値と領域６０１の縦方向下に隣接する領域６０３に位置する各画素の階調値との差が制限レベル幅未満であるとする。

入力画像６００に横方向の処理に用いる１次元のフィルタを適用すると、領域６０１に位置する各画素の階調値と領域６０２に位置する各画素の階調値の差が閾値ＴＨ以上であるため、領域６０１に位置する画素を注目画素とした場合、領域６０２に位置する画素は処理対象とならない。また、領域６０２に位置する画素を注目画素とした場合、領域６０１に位置する画素は処理対象とならない。そのため、入力画像６００に横フィルタを適用した横フィルタ出力画像６００ａは、入力画像６００の領域６０１に対応する領域６０１ａと入力画像６００の領域６０２に対応する領域６０２ａはぼかされていない。

つぎに、横フィルタ出力画像６００ａに縦フィルタを適用する。入力画像６００の領域６０１に位置する各画素の階調値と領域６０３に位置する各画素の階調値との差は閾値ＴＨ未満であるため、入力画像６００の領域６０１に対応する横フィルタ出力画像６００ａの領域６０１ａに位置する各画素の階調値と入力画像６００の領域６０３に対応する横フィルタ出力画像６００ａの領域６０３ａに位置する各画素の階調値との差も閾値ＴＨ未満となる。よって、横フィルタ出力画像６００ａの領域６０１ａの画素を注目画素とした場合、領域６０３ａに位置する画素は処理対象となり、横フィルタ出力画像６００ａの領域６０３ａの画素を注目画素とした場合、領域６０１ａに位置する画素は処理対象となる。よって、横フィルタ出力画像６００ａに縦フィルタを適用した縦フィルタ出力画像６００ｂの縦方向（入力画像６００の領域６０１，６０３に対応する領域６０１ｂ，６０３ｂ）はぼけているが、横フィルタによってぼかすことができなかった入力画像６００の領域６０１と領域６０２に対応する領域６０１ｂと領域６０２ａとの境界に縦輪郭が発生する。

このように、上記特許文献１に記載のイプシロンフィルタを用いた従来技術では、画像の低解像化や逐次処理によって処理負荷を低減して高速化を図った場合、エッジを正確に保持することができないという問題があった。

本発明は、上記に鑑みてなされたものであって、入力画像のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像を高速に生成する画像処理装置、画像処理プログラム、および画像処理方法を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、入力画像をぼかした平滑化画像を生成する画像処理装置であって、それぞれ異なるレベル値範囲が設定され、前記入力画像または該入力画像を元に生成した第１の入力画像の各画素を注目画素とし、フィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とする第１のレベル値制限平滑化画像を生成する複数の第１のローパスフィルタと、前記入力画像または該入力画像を元に生成した第２の入力画像の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されている第１のローパスフィルタが生成した第１のレベル値制限平滑化画像を１または複数選択し、選択した第１のレベル値制限平滑化画像の中で前記処理対象画素の位置もしくはその近傍の１または複数の画素のレベル値より算出する値を前記処理対象画素のレベル値とする平滑化画像を生成する第１の合成処理手段と、を備えることを特徴とする。

また、本発明は、上記発明において、前記第１の入力画像は、前記入力画像の縮小画像であり、前記第１の合成処理手段は、前記入力画像に基づいて前記第１の入力画像から生成された第１のレベル値制限平滑化画像を拡大し、拡大した第１のレベル値制限平滑化画像を１または複数選択すること、を特徴とする。

また、本発明は、上記発明において、前記第１の合成処理手段は、前記第１のレベル値制限平滑化画像の画素のレベル値および位置情報を用いた３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎによるレベル値補間によって前記第１のレベル値制限平滑化画像を生成すること、を特徴とする。

また、本発明は、上記発明において、前記第１の合成処理手段は、前記第１のレベル値制限平滑化画像の画素のレベル値を重み付け平均化することによって前記平滑化画像を生成すること、を特徴とする。

また、本発明は、上記発明において、前記第１のローパスフィルタは、１次元のローパスフィルタであり、横方向平滑化処理および縦方向平滑化処理の逐次実施により平滑化すること、を特徴とする。

また、本発明は、上記発明において、前記複数の第１のローパスフィルタとは異なるフィルタサイズであって、かつそれぞれ異なるレベル値範囲が設定され、前記入力画像または第１の入力画像の各画素を注目画素としてフィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とする第２のレベル値制限平滑化画像を生成する複数の第２のローパスフィルタと、前記第１の合成処理手段によって生成された第１の平滑化画像の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されている第２のローパスフィルタが生成した第２のレベル値制限平滑化画像を１または複数選択し、選択した第２のレベル値制限平滑化画像の中で前記処理対象画素の位置もしくはその近傍の１または複数の画素のレベル値より算出する値を前記処理対象画素のレベル値とする平滑化画像を生成する第２の合成処理手段と、を備えることを特徴とする。

また、本発明は、上記発明において、前記複数の第１のローパスフィルタとは異なるフィルタサイズが設定され、前記第１の合成処理手段によって生成された第１の平滑化画像または該第１の平滑化画像を元に生成した第２の平滑化画像の各画素を注目画素とし、フィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とする第２のレベル値制限平滑化画像を生成する複数の第２のローパスフィルタと、前記第１の合成処理手段によって生成された第１の平滑化画像の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されている第２のローパスフィルタが生成した第２のレベル値制限平滑化画像を１または複数選択し、選択した第２のレベル値制限平滑化画像の中で前記処理対象画素の位置もしくはその近傍の１または複数の画素のレベル値より算出する値を前記処理対象画素のレベル値とする平滑化画像を生成する第２の合成処理手段と、を備えることを特徴とする。

本発明にかかる画像処理装置によれば、それぞれ異なるレベル値範囲が設定された複数の第１のローパスフィルタが、入力画像または入力画像を元に生成した第１の入力画像の各画素を注目画素とし、フィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とする第１のレベル値制限平滑化画像を生成し、第１の合成処理手段が、入力画像または入力画像を元に生成した第２の入力画像の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されている第１のローパスフィルタが生成した第１のレベル値制限平滑化画像を１または複数選択し、選択した第１のレベル値制限平滑化画像の中で処理対象画素の位置もしくはその近傍の１または複数画素のレベル値より算出する値を処理対象画素のレベル値とする平滑化画像を生成することで、複数の第１のローパスフィルタの処理を条件分岐処理ではなく固定化した処理とすることを可能にし、入力画像のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像を高速に生成する画像処理装置を得ることができるという効果を奏する。

また、本発明にかかる画像処理装置によれば、第１の入力画像を入力画像の縮小画像とし、第１の合成処理手段が、前記入力画像に基づいて第１の入力画像から生成された第１のレベル値制限平滑化画像を拡大し、拡大した第１のレベル値制限平滑化画像を１または複数選択するようにしているため、複数の第１のローパスフィルタの処理対象となる画素数を削減することができ、入力画像のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像を高速に生成する画像処理装置を得ることができるという効果を奏する。

また、本発明にかかる画像処理装置によれば、第１の合成処理手段は、第１のレベル値制限平滑化画像の画素のレベル値および位置情報を用いた３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎによるレベル値補間によって第１のレベル値制限平滑化画像を生成することで、複数の第１のレベル値制限平滑化画像全てを補間することなく、必要な部分のみを補間して拡大するようにしているため、拡大処理に要する時間を短縮することが可能となり、入力画像のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像を高速に生成する画像処理装置を得ることができるという効果を奏する。

また、本発明にかかる画像処理装置によれば、第１の合成処理手段が、第１のレベル値制限平滑化画像の画素のレベル値を重み付け平均化することによって平滑化画像を生成するようにしているため、入力画像のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像を高速に生成するとともに、生成する平滑化画像の品質を向上することができる画像処理装置を得ることができるという効果を奏する。

また、本発明にかかる画像処理装置１によれば、第１のローパスフィルタを１次元のローパスフィルタとし、横方向平滑化処理および縦方向平滑化処理の逐次実施によって平滑化するようにしているため、２次元のローパスフィルタを用いる場合と比較して処理負荷を低減させることが可能となり、入力画像のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像を高速に生成する画像処理装置を得ることができるという効果を奏する。

複数の第１のローパスフィルタとは異なるフィルタサイズであって、かつそれぞれ異なるレベル値範囲が設定された複数の第２のローパスフィルタが、入力画像または第１の入力画像の各画素を注目画素とし、フィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化して注目画素のレベル値とする第２のレベル値制限平滑化画像を生成し、第２の合成処理手段が、第１のローパスフィルタによって生成された第１のレベル値制限平滑化画像から生成された第１の平滑化画像の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されている第２のローパスフィルタが生成した第２のレベル値制限平滑化画像を１または複数選択し、選択した第２のレベル値制限平滑化画像の中で処理対象画素の位置もしくはその近傍の１または複数の画素のレベル値より算出する値を処理対象画素のレベル値とする平滑化画像を生成するようにしている。すなわち、フィルタサイズの異なる同一構造の処理を複数回行なうことで、入力画像の微細構造の残存を残すことなく、入力画像のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像を高速に生成する画像処理装置を得ることができるという効果を奏する。

また、本発明にかかる画像処理装置によれば、複数の第１のローパスフィルタとは異なるフィルタサイズであって、それぞれ異なるレベル値範囲が設定された複数の第２のローパスフィルタが、複数の第１のローパスフィルタが生成した第１のレベル値制限平滑化画像から生成された平滑化画像（第１の平滑化画像）または第１の平滑化画像を元に生成した第２の平滑化画像の各画素を注目画素とし、フィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化して注目画素のレベル値とする第２のレベル値制限平滑化画像を生成し、第２の合成処理手段が、第１のローパスフィルタによって生成された第１のレベル値制限平滑化画像から生成された第１の平滑化画像の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されている第２のローパスフィルタが生成した第２のレベル値制限平滑化画像を１または複数選択し、選択した第２のレベル値制限平滑化画像の中で処理対象画素の位置もしくはその近傍の１または複数の画素のレベル値より算出する値を処理対象画素のレベル値とする平滑化画像を生成するようにしている。すなわち、フィルタサイズの異なる同一構造の処理を複数回行なう際に、１度目は入力画像または入力画像を元に生成した画像を処理の対象とし、２度目は１度目の処理によって生成された第１の平滑化画像または第１の平滑化画像を元に生成した第２の平滑化画像を処理の対象とすることで、入力画像の微細構造の残存を残すことなく、入力画像のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像を高速に生成する画像処理装置を得ることができるという効果を奏する。

図１は、実施例１の画像処理装置の構成を示すブロック図である。 図２は、実施例１の画像処理装置の動作を説明するためのフローチャートである。 図３は、実施例１の画像処理装置の動作を説明するための図である。 図４は、実施例２の画像処理装置の構成を示すブロック図である。 図５は、実施例２の画像処理装置の動作を説明するためのフローチャートである。 図６は、実施例２の画像処理装置の動作を説明するための図である。 図７は、拡大および合成処理を説明するための図である。 図８は、重み付けを説明するための図である。 図９は、微細構造を説明するための図である。 図１０は、実施例４の画像処理装置の構成を示すブロック図である。 図１１は、実施例４の画像処理装置の動作を説明するためのフローチャートである。 図１２は、実施例４の画像処理装置の動作を説明するための図である。 図１３は、実施例４の画像処理装置の動作を説明するための図である。 図１４は、実施例５の画像処理装置の構成を示すブロック図である。 図１５は、実施例５の画像処理装置の動作を説明するためのフローチャートである。 図１６は、実施例５の画像処理装置の動作を説明するための図である。 図１７は、従来技術を説明するための図である。 図１８は、従来技術を説明するための図である。 図１９は、従来技術を説明するための図である。 図２０は、従来技術の低解像度化による高速化の弊害を説明するための図である。 図２１は、横縦処理によるアーチフェクトを説明するための図である。

符号の説明

１，１ａ，１ｂ，１ｃ 画像処理装置
２，４５，６０，７０，８０，１３１ 入力画像
３ 出力画像
１１ 制御部
１３ 記憶部
４６，７１，８１，１３４ 縮小画像
４７−１，４７−２，４７−３，４７−４，４７−５，７２−１，７２−２，７２−３，７２−４，７２−５，７４−１，７４−２，７４−３，７４−４，７４−５，８２−１，８２−２，８２−３，８２−４，８２−５，８５−１，８５−２，８５−３，８５−４，８５−５，１３２−１，１３２−ｎ，１３２ａ−１，１３２ａ−ｎ，１３２ｂ−１，１３２ｂ−ｎ レベル値制限平滑化画像
４９，６１，７５，８６，１３３ 平滑化画像
７３，８３，１３５ 参照用画像
８４，１３６ 縮小参照用画像
１１１ 入力画像受付部
１１２，１１２ｂ 平滑化画像生成部
１１３ 出力画像生成部
１１２０ フィルタ処理部
１１２１−１，１１２１−ｎ，１１２１ａ−１，１１２１ａ−ｎ，１１２１ｂ−１，１１２１ｂ−ｎ ローパスフィルタ
１１２２ 合成処理部
１１２３，１１２３ａ 縮小画像生成部
１１２４，１１２４ａ，１１２４ｂ 拡大・合成処理部

以下に、本発明にかかる画像処理装置、画像処理プログラム、および画像処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１〜図３を用いてこの発明の実施例１を説明する。図１は、この発明における画像処理装置の実施例１の構成を示すブロック図である。図１において、画像処理装置１は、入力画像２を受け付け、受け付けた入力画像２を平滑化して出力画像３を生成する制御部１１と、各種画像を記憶する記憶部１３とを備えている。入力画像２は、動画であっても静止画であってもよく、カラーでもモノクロでもかまわない。

制御部１１は、入力画像受付部１１１、それぞれレベル値範囲の異なるｎ（１＜ｎ，ｎは自然数）個のローパスフィルタ（以下、ＬＰＦという）１１２１−１〜１１２１−ｎを有するフィルタ処理部１１２０、および合成処理部１１２２を備えている。入力画像受付部１１１は、入力画像２を読み込んで入力画像１３１として記憶部１３に記憶させる。

ＬＰＦ１１２１−１〜１１２１−ｎは、同一フィルタサイズの１次元のローパスフィルタで、それぞれ異なったレベル値範囲が予め設定されており、記憶部１３に記憶されている入力画像１３１の画素のレベル値が、自身に設定されたレベル値範囲内の画素を処理対象として平滑化（平均値の算出）するレベル値制限平滑化処理を行ってレベル値制限平滑化画像１３２−１〜１３２−ｎを生成する。ＬＰＦ１１２１−１〜１１２１−ｎは、生成したレベル値制限平滑化画像１３２−１〜１３２−ｎを記憶部１３に記憶させる。

なお、ＬＰＦ１１２１−１〜１１２１−ｎのフィルタサイズは、処理対象となる画像（この場合は、入力画像１３１）のおおむね１／２程度が好ましいが、他のフィルタサイズであってもかまわない。また、ＬＰＦ１１２１−１〜１１２１−ｎに設定するレベル値範囲は、その範囲の一部が少なくとも２つのＬＰＦ１１２１−１〜１１２１−ｎに重なるようにすることが好ましいが、入力画像のレベル値範囲をカバーしていればよい。さらに、ＬＰＦ１１２１−１〜１１２１−ｎのフィルタサイズおよびレベル値範囲は、固定値を設定しておいてもよいし、外部から設定するようにしてもよい。

合成処理部１１２２は、記憶部１３に記憶されている入力画像１３１の各画素のレベル値に基づいて、当該画素に対するレベル値制限平滑化画像１３２−１〜１３２−ｎを選択し、選択したレベル値制限平滑化画像１３２−１〜１３２−ｎのレベル値を合成して平滑化画像１３３を生成する。合成処理部１１２２は、生成した平滑化画像１３３を記憶部１３に記憶させる。

出力画像生成部１１３は、記憶部１３に記憶されている入力画像１３１および平滑化画像１３３に基づいて出力画像３を生成して出力する。

つぎに、図２のフローチャートと、図１および図３を参照して、この発明における画像処理装置１の実施例１の動作を説明する。入力画像受付部１１１は、１フレーム分の入力画像２を読み込む（ステップＳ１００）。図３においては、入力画像４０が読み込まれる。入力画像受付部１１１は、読み込んだ入力画像２を入力画像１３１として記憶部１３に記憶させる。図３においては、入力画像４０が入力画像受付部１１１によって読み込まれて記憶部１３に記憶される。

フィルタ処理部１１２０は、所定のフィルタサイズ内で指定されたレベル値範囲内にある入力画像１３１の画素を累積して平均するレベル値制限平滑化処理を実行してレベル値制限平滑化画像１３２−１〜１３２−ｎを生成する（ステップＳ１０１）。なお平均値算出は、フィルタ中心部の画素の重みを大きくし、フィルタ両端部の画素の重みを小さくするように、フィルタ中心部との距離に応じた重み付け平均値を算出してもよい。

具体的には、フィルタ処理部１１２０のＬＰＦ１１２１−１〜１１２１−ｎは、まず画像の横方向に対する１次元のフィルタ処理において、フィルタサイズ内の入力画像１３１の画素のレベル値が自身に設定されているレベル値範囲内であるか否かを判定する。ＬＰＦ１１２１−１〜１１２１−ｎは、フィルタサイズ内の入力画像１３１の画素のレベル値が自身に設定されているレベル値範囲内であると判定した画素のレベル値を累積して平均値を算出する。ＬＰＦ１１２１−１〜１１２１−ｎは、フィルタサイズ内の入力画像１３１の画素のレベル値が自身に設定されているレベル値範囲内となる画素が存在しない場合にはフィルタサイズ内の入力画像１３１の全ての画素のレベル値を累積して平均値を算出する。ＬＰＦ１１２１−１〜１１２１−ｎは、フィルタサイズ内の任意の画素（たとえば、フィルタサイズ内の中心に位置する画素）を注目画素とし、算出した平均値を注目画素のレベル値とする。次に横方向のフィルタ処理を全画素実施した画像に対し、同様に縦方向に対する１次元フィルタ処理を実施し、ＬＰＦ１１２１−１〜１１２１−ｎは、入力画像１３１の全ての画素を注目画素としてそれぞれのレベル値を求めてレベル値制限平滑化画像１３２−１〜１３２−ｎを生成して記憶部１３に記憶させる。なお、１次元フィルタ処理は、縦方向を先に実施してもよく、２次元フィルタで実施してもよい。

また、フィルタサイズ内の入力画像１３１の画素のレベル値が自身に設定されているレベル値範囲内となる画素が、あらかじめ設定した閾値を下回る個数の場合に、全ての画素のレベル値を累積して平均値を算出してもよい。また全ての画素のレベル値を累積して平均値を算出するのではなく、レベル値中央の値を出力してもよい。

図３においては、ｎ＝５、すなわち５個のＬＰＦ１１２１−１−１１２１−５が、それぞれに設定されたレベル値範囲で入力画像４０に対してレベル値制限平滑化処理を実行してレベル値制限平滑化画像４１−１〜４１−５を生成している。

合成処理部１１２２は、入力画像１３１の各画素のレベル値に基づいて当該画素に対応するレベル値制限平滑化画像１３２−１〜１３２−ｎを選択する（ステップＳ１０２）。具体的には、合成処理部１１２２は、入力画像１３１から処理対象となる画素（処理対象画素）を選択し、選択した処理対象画素のレベル値をレベル値範囲とするレベル値制限平滑化画像１３２−１〜１３２−ｎを選択する。ＬＰＦ１１２１−１〜１１２１−ｎに設定されたレベル値範囲が重なっている場合、処理対象画素のレベル値をレベル値範囲とするレベル値制限平滑化画像１３２−１〜１３２−ｎが複数存在する。この場合、合成処理部１１２２は、レベル値範囲の中心値と処理対象画素のレベル値との差が小さいレベル値制限平滑化画像１３２−１〜１３２−ｎを２つ以上選択する。

合成処理部１１２２は、選択したレベル値制限平滑化画像１３２−１〜１３２−ｎのレベル値を合成して平滑化画像１３３を生成する（ステップＳ１０３）。具体的には、合成処理部１１２２は、選択したレベル値制限平滑化画像１３２−１〜１３２−ｎから処理対象画素の位置に対応する画素のレベル値を抽出し、抽出したレベル値をレベル値範囲の中心値と処理対象画素のレベル値との差分に応じて重みを付け平均値を算出し、処理対象画素が位置する画素のレベル値とする。合成処理部１１２２は、入力画像１３１の全ての画素を処理対象画素として処理対象画素の位置に対応する画素のレベル値を求めて平滑化画像１３３を生成する。合成処理部１１２２は、生成した平滑化画像１３３を記憶部１３に記憶させる。図３においては、入力画像４０の各画素のレベル値に基づいて画素毎にレベル値制限平滑化画像４１−１〜４１−５を選択し、選択したレベル値制限平滑化画像４１−１〜４１−５の画素のレベル値を合成して平滑化画像４２を生成している。なお、レベル値制限平滑化画像が１つしか選択されない場合は、処理対象画素が位置する画素のレベル値を、処理対象画素のレベル値とすればよい。

出力画像生成部１１３は、入力画像１３１および平滑化画像１３３に基づいて出力画像３を生成して出力する（ステップＳ１０４）。具体的には、出力画像生成部１１３は、入力画像１３１および平滑化画像１３３から低周波成分および高周波成分を算出する。ここで、低周波成分とは、平滑化画像１３３の画素のレベル値そのものであり、高周波成分とは、入力画像１３１の画素のレベル値と当該画素に対応する位置の平滑化画像１３３の画素のレベル値との差分である。

出力画像生成部１１３は、低周波成分および高周波成分を算出した後、低周波成分のダイナミックレンジを圧縮するため、低周波成分（平滑化画像の各画素のレベル値）をレベル範囲の中間値に近づける処理を行なう。なお、中間値に近づける割合は、経験的なものであって、平滑化画像１３３の画素のレベル値と中間値とのちょうど半分程度のレベル値にすることが一般的である。出力画像生成部１１３は、中間値に近づけた平滑化画像１３３の各画素のレベル値に当該画素の高周波成分を加算して出力画像を生成する。

なお、高周波成分を単純に加算するのではなく、拡大した高周波成分を加算するようにしてもよい。この場合、高周波成分を強調することによって、メリハリの出力画像を生成することが可能となる。また、高周波成分を非線形変換することによって拡大し、拡大した高周波成分を加算するようにしてもよい。この場合、高周波成分の変化を緩和することによって仕上がりが自然な出力画像を生成することが可能となる。

このように、この実施例１においては、それぞれ異なるレベル値範囲が設定された複数の第１のローパスフィルタであるＬＰＦ１１２１−１〜１１２１−ｎが、入力画像１３１の各画素を注目画素とし、フィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とする第１のレベル値制限平滑化画像であるレベル値制限平滑化画像１３２−１〜１３２−ｎを生成し、第１の合成処理手段である合成処理部１１２２が、入力画像１３１の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されているＬＰＦ１１２１−１〜１１２１−ｎが生成したレベル値制限平滑化画像１３２−１〜１３２−ｎを１または複数選択し、選択したレベル値制限平滑化画像１３２−１〜１３２−ｎの中で処理対象画素の位置もしくはその近傍の１または複数の画素のレベル値より算出する値を処理対象画素のレベル値とする平滑化画像１３３を生成することで、複数のＬＰＦ１１２１−１〜１１２１−ｎの処理を条件分岐処理ではなく固定化した処理とすることを可能にし、入力画像１３１のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像１３３を高速に生成することができる。

また、この実施例１においては、第１のローパスフィルタであるＬＰＦ１１２１−１〜１１２１−ｎを１次元のローパスフィルタと詩、横方向平滑化処理および縦方向平滑化処理の逐次処理によって平滑化するようにしているため、２次元のローパスフィルタを用いる場合と比較して処理負荷を低減させることが可能となり、入力画像の園児を生活に保持し、かつエッジ以外をぼかした平滑化画像をより高速に生成することができる。

なお、この実施例１の入力画像受付部１１１、ＬＰＦ１１２１−１〜１１２１−ｎ、合成処理部１１２２、および出力画像生成部１１３によって実現される前述した各機能を汎用のコンピュータに実現させるための画像処理プログラムとして提供してもよい。この場合、画像処理プログラムは、コンピュータにインストール可能な形式、またはコンピュータが実行可能な形式のファイルでＲＯＭ、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供する。記録媒体に記録された画像処理プログラムは、記録媒体から読み出されてコンピュータ上で実現される。

図４〜図７を用いてこの発明の実施例２を説明する。図４は、この発明における画像処理装置の実施例２の構成を示すブロック図である。図４に示した画像処理装置１ａは、先の図１に示した実施例１の画像処理装置１の平滑化画像生成部１１２の代わりに、平滑化画像生成部１１２ａを備えている。先の図１に示した実施例１の画像処理装置１と同じ機能を持つ構成部分には同一符号を付し、重複する説明は省略する。

平滑化画像生成部１１２ａは、先の図１に示した平滑化画像生成部１１２の合成処理部１１２２の代わりに拡大・合成処理部１１２４を備え、縮小画像生成部１１２３が追加されている。縮小画像生成部１１２３は、記憶部１３に記憶されている入力画像１３１の画素を間引いて入力画像１３１を縮小した（画素数を少なくした）縮小画像１３４を生成して記憶部１３に記憶させる。なお、入力画像１３１の縮小は、１／６４程度が好ましいが、これに限るものではない。

フィルタ処理部１１２０のＬＰＦ１１２１−１〜１１２１−ｎは、縮小画像１３４に対してレベル値制限平滑化処理を行なって、レベル値制限平滑化画像１３２−１〜１３２−ｎを生成して記憶部１３に記憶させる。なお、ＬＰＦ１１２１−１〜１１２１−ｎの処理対象となる画像は縮小画像１３４となるので、ＬＰＦ１１２１−１〜１１２１−ｎのフィルタサイズは、縮小画像１３４に適した値（たとえば、縮小画像１３４の１／２）に設定する。

拡大・合成処理部１１２４は、記憶部１３に記憶されているレベル値制限平滑化画像１３２−１〜１３２−ｎを入力画像１３１の大きさに拡大するとともに、記憶部１３に記憶されている入力画像１３１の各画素のレベル値に基づいて、当該画素に対応する拡大したレベル値制限平滑化画像１３２−１〜１３２−ｎを選択し、選択した拡大したレベル値制限平滑化画像１３２−１〜１３２−ｎのレベル値を合成して平滑化画像１３３を生成する。拡大・合成処理部１１２４は、生成した平滑化画像１３３を記憶部１３に記憶させる。

つぎに、図５のフローチャートと、図４および図６を参照して、この発明における画像処理装置１ａの動作を説明する。なお、先の図２のフローチャートを参照して説明した実施例１の画像処理装置１と同じ動作については、その詳細な説明を省略する。

入力画像受付部１１１は、１フレーム分の入力画像２を読み込んで入力画像１３１として記憶部１３に記憶させる（ステップＳ２００）。図６においては、入力画像４５が入力画像受付部１１１によって読み込まれる。

縮小画像生成部１１２３は、画素を間引いて入力画像１３１を縮小した（画素数を少なくした）縮小画像１３４を生成する（ステップＳ２０１）。具体的には、縮小画像生成部１１２３は、予め定められた値おきに入力画像１３１の画素を抽出し、抽出した画素のみで構成された縮小画像１３４を生成する。縮小画像生成部１１２３は、生成した縮小画像１３４を記憶部１３に記憶させる。図６においては、入力画像４５から縮小画像４６が生成される。なお縮小画像生成部を持たずに、外部で縮小した縮小画像を記憶部１３に記憶させてもよい。

フィルタ処理部１１２０は、所定のフィルタサイズ内で指定されたレベル値範囲内にある縮小画像１３４の画素を累積して平均するレベル値制限平滑化処理を実行してレベル値制限平滑化画像１３２−１〜１３２−ｎを生成する（ステップＳ２０２）。なお平均値算出は、フィルタ中心部の画素の重みを大きくし、フィルタ両端部の画素の重みを小さくするように、フィルタ中心部との距離に応じた重み付け平均値を算出してもよい。

具体的には、フィルタ処理部１１２０のＬＰＦ１１２１−１〜１１２１−ｎは、フィルタサイズ内の縮小画像１３４の画素のレベル値が自身に設定されているレベル値範囲内である画素のレベル値が存在する場合にはそれらのレベル値を累積して平均値を算出し、フィルタサイズ内の縮小画像１３４の画素のレベル値が自身に設定されているレベル値範囲内である画素のレベル値が存在しない場合にはフィルタサイズ内の全ての画素のレベル値を累積して平均値を算出する。ＬＰＦ１１２１−１〜１１２１−ｎは、算出した平均値を注目画素のレベル値として縮小画像１３４に対するレベル値制限平滑化画像１３２−１〜１３２−ｎを生成する。ＬＰＦ１１２１−１〜１１２１−ｎは、生成したレベル値制限平滑化画像１３２−１〜１３２−ｎを記憶部１３に記憶させる。

また、フィルタサイズ内の縮小画像１３４の画素のレベル値が自身に設定されているレベル値範囲内となる画素が、あらかじめ設定した閾値を下回る個数の場合に、全ての画素のレベル値を累積して平均値を算出してもよい。また全ての画素のレベル値を累積して平均値を算出するのではなく、レベル値中央の値を出力してもよい。

図６においては、ｎ＝５、すなわち５個のＬＰＦ１１２１−１〜１１２１−５が、それぞれに設定されたレベル値範囲で縮小画像４６に対してレベル値制限平滑化処理を実行してレベル値制限平滑化画像４７−１〜４７−５を生成している。

拡大・合成処理部１１２４は、記憶部１３に記憶されているレベル値制限平滑化画像１３２−１〜１３２−ｎを入力画像１３１の大きさに拡大する（ステップＳ２０３）。拡大は、バイリニア法など一般的な画像処理の補間方法を用いればよい。図６においては、レベル値制限平滑化画像４７−１〜４７−５を拡大したレベル値制限平滑化画像４８−１〜４８−７が生成される。

拡大・合成処理部１１２４は、入力画像１３１の各画素のレベル値に基づいて当該画素に対応する拡大したレベル値制限平滑化画像１３２−１〜１３２−ｎを選択する（ステップＳ２０４）。拡大・合成処理部１１２４は、選択した拡大したレベル値制限平滑化画像１３２−１〜１３２−ｎのレベル値を合成して平滑化画像１３３を生成する（ステップＳ２０５）。拡大・合成処理部１１２４は、生成した平滑化画像１３３を記憶部１３に記憶させる。図６においては、入力画像４５の各画素のレベル値に基づいて各画素毎に拡大したレベル値制限平滑化画像４８−１〜４８−５を選択し、選択した拡大したレベル値制限平滑化画像４８−１〜４８−５の画素のレベル値を合成して平滑化画像４９を生成している。合成は、選択したレベル値制限平滑化画像のレベル値を、レベル値範囲の中心値と処理対象画素のレベル値との差分に応じて重みを付け平均値を算出すればよい。

出力画像生成部１１３は、入力画像１３１および平滑化画像１３３に基づいて出力画像３を生成して出力する（ステップＳ２０６）。

このように、この実施例２においては、縮小画像生成部１１２３が、入力画像１３１の画素から任意の画素を抽出して入力画像１３１を縮小画像１３４（入力画像１３１を元に生成した第１の入力画像）を生成し、それぞれ異なるレベル値範囲が設定された複数の第１のローパスフィルタであるＬＰＦ１１２１−１〜１１２１−ｎが、縮小画像生成部１１２３が生成した縮小画像１３４の各画素を注目画素とし、フィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とする第１のレベル値制限平滑化画像であるレベル値制限平滑化画像１３２−１〜１３２−ｎを生成し、第１の合成処理手段である拡大・合成処理部１１２４が、入力画像１３１に基づいて縮小画像１３４から生成されたレベル値制限平滑化画像１３２−１〜１３２−ｎの画素を補間して拡大し、入力画像１３１の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されているＬＰＦ１１２１−１〜１１２１−ｎが生成したレベル値制限平滑化画像１３２−１〜１３２−ｎを拡大した画像を１または複数選択し、選択した画像の中で処理対象画素の位置に対応する画素のレベル値より算出する値を処理対象画素のレベル値とする平滑化画像１３３を生成するようにしているため、ＬＰＦ１１２１−１〜１１２１−ｎの処理対象となる画素数を削減することができ、入力画像１３１のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像を高速に生成することができる。

なお、この実施例２においては、レベル値制限平滑化画像１３２−１〜１３２−ｎ（図６においてはレベル値制限平滑化画像４７−１〜４７−５）をそれぞれ補間して入力画像１３１（図６においては入力画像４５）の大きさに拡大した後に、入力画像１３１（図においては入力画像４５）に基づいて拡大したレベル値制限平滑化画像１３２−１〜１３２−ｎ（図６においてはレベル値制限平滑化画像４８−１〜４８−５）を合成するようにしたが、拡大と合成を一度に行うようにしてもよい。

図７を参照して、拡大および合成を１度に行なう具体的な動作を説明する。図７においては、レベル値を暗い、中間、明るいのおおむね１／３に分割し、暗いを示すレベル値範囲Ｐ０がＬＰＦ１１２１−５に設定され、中間を示すレベル値範囲Ｐ２がＬＰＦ１１２１−３に設定され、明るいを示すレベル値範囲Ｐ４がＬＰＦ１１２１−１に設定され、レベル値範囲Ｐ０の中心点からレベル値範囲Ｐ２の中心点までのやや暗いを示すレベル値範囲Ｐ１がＬＰＦ１１２１−４に設定され、レベル値範囲Ｐ２の中心点からレベル値範囲Ｐ４の中心点までのやや明るいを示すレベル値範囲Ｐ３がＬＰＦ１１２１−２に設定されているものとする。

縮小画像生成部１１２３は、入力画像５０の画素を縦方向および横方向ともに３画素おきに抽出して、縮小画像５１を生成する。ＬＰＦ１１２１−１〜１１２１−５は、縮小画像５１に対してレベル値制限平滑化処理を行なって、レベル値制限平滑化画像５２−１〜５２−５を生成する。

拡大・合成処理部１１２４は、対象画素を選択する。たとえば、拡大・合成処理部１１２４が、入力画像５０の画素ｇ１を対象画素として選択したとする。拡大・合成処理部１１２４は、画素ｇ１のレベル値に基づいてレベル値制限平滑化画像５２−１〜５２−５を選択する。対象画素ｇ１のレベル値がレベル値範囲Ｐ４に含まれる場合、拡大・合成処理部１１２４は、レベル値制限平滑化画像５２−１（レベル値制限平滑化画像５３−１）を選択する。拡大・合成処理部１１２４は、対象画素ｇ１に対応するレベル値制限平滑化画像５３−１の画素ｇ２と隣接する画素ｇ３〜ｇ５を選択する。また、拡大・合成処理部１１２４は、選択したレベル値制限平滑化画像５３−１のレベル値範囲に最も近いレベル値制限平滑化画像５３−２（レベル値制限平滑化画像５２−２）の画素の中から、レベル値制限平滑化画像５３−１の画素ｇ２〜ｇ５に対応する画素ｇ６〜ｇ９を選択する。拡大・合成処理部１１２４は、選択した８個の画素ｇ２〜ｇ９のそれぞれのレベル値と位置（ｘｙ座標）を入力としてレベル値補間（３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行なって入力画像５０の領域ｅ１に対応する部分を拡大する。このとき、拡大・合成処理部１１２４は、入力画像５０の領域ｅ１に位置する画素のレベル値の中にレベル値範囲Ｐ４に含まれないレベル値を持つ画素が存在する場合には、その画素のレベル値を含むレベル値範囲のレベル値制限平滑化画像５２−２〜５２−３を選択し、対象画素ｇ１に対応する画素と当該画素に隣接する画素（画素ｇ２〜ｇ９に対応する位置の画素）のそれぞれのレベル値と位置（ｘｙ座標）を入力としてレベル値補間（３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行なって入力画像５０の領域ｅ１に対応する部分を拡大する。すなわち、拡大・合成処理部１１２４は、入力画像５０の領域ｅ１の各画素のレベル値が含まれるレベル値制限平滑化画像５２−１〜５２−５の領域ｅ１に対応する部分のみを拡大する。

拡大・合成処理部１１２４は、入力画像５０の領域ｅ１の各画素毎に当該画素のレベル値に基づいてレベル値制限平滑化画像５３−１〜５３−ｎを選択してレベル値を合成し、平滑化画像５４を生成する。合成は、実施例１で述べた通り、選択したレベル値制限平滑化画像のレベル値を、レベル値範囲の中心値と処理対象画素のレベル値との差分に応じて重みを付け平均値を算出すればよい。図７を参照し、具体的な動作を説明する。

Ｐ０〜Ｐ４のレベル値の範囲をそれぞれ、０〜８４，４２〜１２８，８５〜１６０，１２９〜２１２，１６１〜２５５とする。処理対象画素のレベル値が６０の時、６０を含むレベル値範囲は、レベル値の範囲が０〜８４であるＰ０と、４２〜１２８であるＰ１であるので、ＬＰＦ１１２１−５とＬＰＦ１１２１−４が選択される。この時、Ｐ０のレベル値範囲の中心値は４２、Ｐ１のレベル値範囲の中心値は８５であるので、処理対象画素のレベル値として算出する値は，処理対象画素のレベル値である６０により近いレベル値範囲中心値を持つＬＰＦ１１２１−５の画素レベル値の重みを大きくするよう重み付け平均値を算出する。具体的にはＬＰＦ１１２１−５の画素レベル値×（２５／４３）＋ＬＰＦ１１２１−４の画素レベル値×（１８／４３）とする。

このように第１の合成処理手段である拡大・合成処理部１１２４は、第１のレベル値制限平滑化画像であるレベル値制限平滑化画像１３２−１〜１３２−ｎの画素のレベル値および位置情報を用いた３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎによるレベル値補間によってレベル値制限平滑化画像１３２−１〜１３２−ｎを補間することで、レベル値制限平滑化画像１３２−１〜１３２−ｎ全てを補間することなく、必要な部分のみを補間して拡大するようにしているため、拡大処理に要する時間を短縮ことが可能となり、入力画像１３１のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像１３３を高速に生成するができる。

また、拡大・合成処理部１１２４が、レベル値制限平滑化画像１３２−１〜１３２−ｎの画素のレベル値を重み付け平均化することによって平滑化画像１３３を生成するようにしているため、入力画像のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像の品質を向上させることができる。

なお、この実施例２の入力画像受付部１１１、縮小画像生成部１１２３、ＬＰＦ１１２１−１〜１１２１−ｎ、拡大・合成処理部１１２４、および出力画像生成部１１３によって実現される前述した各機能を汎用のコンピュータに実現させるための画像処理プログラムとして提供してもよい。この場合、画像処理プログラムは、コンピュータにインストール可能な形式、またはコンピュータが実行可能な形式のファイルでＲＯＭ、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供する。記録媒体に記録された画像処理プログラムは、記録媒体から読み出されてコンピュータ上で実現される。

図８を参照してこの発明の実施例３を説明する。この実施例３では、実施例１または２で説明した画像処理装置１または画像処理装置１ａのＬＰＦ１１２１−１〜１１２１−ｎがレベル値制限平滑化画像１３２−１〜１３２−ｎを生成する際の重み付けについて説明する。

動画像の場合、レベル値がレベル値範囲の上限または下限に近い値の画素は、後続の画像では現在のレベル値範囲とは異なるレベル値範囲のレベル値になること、すなわち異なるフレームの同じ位置の画素のレベル値がふらつくことがある。出力画像生成部１１３は、入力画像１３１および平滑化画像１３３に基づいて平滑化画像１３３のレベル値を強調した出力画像３を生成するため、レベル値のふらつきがあると動画像の品質が低下してしまう。このような問題を改善するために、ＬＰＦ１１２１−１〜１１２１−ｎがレベル値制限平滑化画像１３２−１〜１３２−ｎを生成する際、すなわち画素のレベル値の平均値を算出する際に、レベル値に応じて重み付けを行なう。

図８は、レベル値範囲における重み付けの一例を示す図である。図８においては、レベル値の重み付けを０．２５、０．５、０．７５、１．０の４ステップとし、レベル値範囲の下限値および上限値から中心値に向かってレベルＮ（Ｎは自然数）までの重み付けを０．２５とし、レベル値範囲の下限値および上限値から中心値に向かってレベルＮからレベル２Ｎまでの重み付けを０．５とし、レベル値範囲の下限値および上限値から中心値に向かってレベル２Ｎからレベル３Ｎまでの重み付けを０．７５とし、レベル値範囲の下限値から中心値に向かってレベル３Ｎからレベル値範囲の上限値から中心値に向かってレベル３Ｎまでの重み付けを１．０としている。

たとえば、ＬＰＦ１１２１−１〜１１２１−ｎが、レベル値範囲の下限値および上限値から中心値に向かってレベルＮからレベル２Ｎまでに含まれるレベル値ａ１と、レベル値範囲の下限値および上限値から中心値に向かってレベル２Ｎからレベル３Ｎまでに含まれるレベル値ａ２と、レベル値範囲の下限値から中心値に向かってレベル３Ｎからレベル値範囲の上限値から中心値に向かってレベル３Ｎまでに含まれるａ３を平滑化する場合の計算式は、「（０．５×ａ１＋０７５×ａ２＋１．０×ａ３）／（０．５×１＋０．７５×１＋１．０×１）」となる。すなわち、ＬＰＦ１１２１−１〜１１２１−ｎは、レベル値とそのレベル値を有する画素数に対して重み付けして平滑化する。

このように、この実施例３においては、複数の第１のローパスフィルタであるＬＰＦ１１２１−１〜１１２１−ｎは、自身に設定されたレベル値範囲において、下限値および上限値から中心値に近づくほど重み付けを大きくして平均値を算出するようにしているため、入力画像１３１が動画像の場合でも、レベル値のふらつきによる影響を抑制した高品質の出力画像３を生成することができる。

なお、この実施例３においては、レベル値の重み付けを４ステップとしたが、これに限るものではない。また、下限値および上限値から中心値に向かってのレベルをＮの倍数としたが、それぞれ異なるレベルとしてもよい。さらに、重み付けの値もこれに限るものではなく、下限値および上限値から中心値に向かって重み付けが増加するように設定すればよい。さらにまた、レベルおよび重み付けは、ＬＰＦ１１２１−１〜１１２１−ｎに予め設定しておいてもよいし、外部から任意の値を設定するようにしてもよい。

図９〜図１３を参照してこの発明の実施例４を説明する。先の実施例１〜３では、入力画像１３１または縮小画像１３４の画素のレベル値が自身に設定されたレベル値範囲内の画素を累積して平均化するレベル値制限平滑化処理を実行してレベル値制限平滑化画像１３２−１〜１３２−ｎを生成し、レベル値制限平滑化画像１３２−１〜１３２−ｎまたは拡大したレベル値制限平滑化画像１３２−１〜１３２−ｎのレベル値を合成して平滑化画像１３３を生成したが、入力画像１３１によっては微細構造が残ってしまうことがある。たとえば、図９に示すように、入力画像６０から生成した平滑化画像６１の領域ｅ２には微細構造が残っている。このような問題を改善するために、この実施例４では２種類の異なるフィルタサイズの複数のＬＰＦを用いることで平滑化画像の微細構造を消去するものである。

図１０は、この発明における実施例４の画像処理装置１ｂの構成を示すブロック図である。図１０に示した実施例４の画像処理装置１ｂは、先の図４に示した実施例２の平滑化画像生成部１１２ａの代わりに平滑化画像生成部１１２ｂを備えている。平滑化画像生成部１１２ｂは、縮小画像生成部１１２３、ＬＰＦ１１２１ａ−１〜１１２１ａ−ｎを有するフィルタ処理部１１２０ａ、ＬＰＦ１１２１ｂ−１〜１１２１ｂ−ｎを有するフィルタ処理部１１２０ｂ、および拡大・合成処理部１１２４ａ、１１２４ｂを備えている。なお、先の図４に示した実施例２の画像処理装置１ａと同じ機能を持つ構成部分には同一符号を付し、重複する説明は省略する。

ＬＰＦ１１２１ａ−１〜１１２１ａ−ｎは、同一フィルタサイズの１次元のローパスフィルタで、それぞれ異なったレベル値範囲が予め設定されており、記憶部１３に記憶されている縮小画像１３４の画素のレベル値が、自身に設定されたレベル値範囲内の画素を処理対象として平滑化（平均値の算出）するレベル値制限平滑化処理を行ってレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎを生成する。ＬＰＦ１１２１ａ−１〜１１２１ａ−ｎは、生成したレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎを記憶部１３に記憶させる。

ＬＰＦ１１２１ｂ−１〜１１２１ｂ−ｎは、同一フィルタサイズであって、かつＬＰＦ１１２１ａ−１〜１１２１ａ−ｎのフィルタサイズとは異なるフィルタサイズの１次元のローパスフィルタで、それぞれ異なったレベル値範囲が予め設定されており、記憶部１３に記憶されている縮小画像１３４の画素のレベル値が、自身に設定されたレベル値範囲内の画素を処理対象として平滑化（平均値の算出）するレベル値制限平滑化処理を行ってレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを生成する。ＬＰＦ１１２１ｂ−１〜１１２１ｂ−ｎは、生成したレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを記憶部１３に記憶させる。

なお、一方のフィルタ処理部が有するＬＰＦのフィルタサイズを処理対象となる画像（この場合は、縮小画像１３４）のおおむね１／２程度、他方のフィルタ処理部が有するＬＰＦのフィルタサイズを処理対象となる我像（この場合は、縮小画像１３４）のおおむね１／１０程度とすることが好ましいが、これに限るものではない。

拡大・合成処理部１１２４ａは、記憶部１３に記憶されているレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎを入力画像１３１の大きさに拡大するとともに、記憶部１３に記憶されている入力画像１３１の各画素のレベル値に基づいて、当該画素に対応する拡大したレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎを選択し、選択した拡大したレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎのレベル値を合成して参照用画像１３５を生成する。拡大・合成処理部１１２４ａは、生成した参照用画像１３５を記憶部１３に記憶させる。

拡大・合成処理部１１２４ｂは、記憶部１３に記憶されているレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを参照用画像１３５の大きさ（入力画像１３１の大きさと等価）に拡大するとともに、記憶部１３に記憶されている参照用画像１３５の各画素のレベル値に基づいて、当該画素に対応する拡大したレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを選択し、選択した拡大したレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎのレベル値を合成して平滑化画像１３３を生成する。拡大・合成処理部１１２４ｂは、生成した平滑化画像１３３を記憶部１３に記憶させる。

つぎに、図１１のフローチャートと、図１０、図１２、および図１３を参照して、この発明における実施例４の画像処理装置１ｂの動作を説明する。なお、先の実施例１および２と同じ動作については、その詳細な説明を省略する。

入力画像受付部１１１は、１フレーム分の入力画像２を読み込んで入力画像１３１として記憶部１３に記憶させる（ステップＳ３００）。図１２においては、入力画像７０が入力画像受付部１１１によって読み込まれる。縮小画像生成部１１２３は、画素を間引いて入力画像１３１を縮小した（画素数を少なくした）縮小画像１３４を生成する（ステップＳ３０１）。図１２においては、入力画像７０から縮小画像７１が生成される。

フィルタ処理部１１２０ａは、所定のフィルタサイズ内で指定されたレベル値範囲内にある縮小画像１３４の画素を累積して平均するレベル値制限平滑化処理を実行してレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎを生成する（ステップＳ３０２）。なお平均値算出は、フィルタ中心部の画素の重みを大きくし、フィルタ両端部の画素の重みを小さくするように、フィルタ中心部との距離に応じた重み付け平均値を算出してもよい。

具体的には、フィルタ処理部１１２０ａのＬＰＦ１１２１ａ−１〜１１２１ａ−ｎは、まず画像の横方向に対する１次元のフィルタ処理において、フィルタサイズ内の縮小画像１３４の画素のレベル値が自身に設定されているレベル値範囲内である画素のレベル値が存在する場合にはそれらのレベル値を累積して平均値を算出し、フィルタサイズ内の縮小画像１３４の画素のレベル値が自身に設定されているレベル値範囲内である画素のレベル値が存在しない場合にはフィルタサイズ内の全ての画素のレベル値を累積して平均値を算出する。次に横方向のフィルタ処理を全画素実施した画像に対し、同様に縦方向に対する１次元フィルタ処理を実施し、ＬＰＦ１１２１ａ−１〜１１２１ａ−ｎは、算出した平均値を注目画素のレベル値として縮小画像１３４に対するレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎを生成する。ＬＰＦ１１２１ａ−１〜１１２１ａ−ｎは、生成したレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎを記憶部１３に記憶させる。なお、平均値を算出する際に、先の実施例３で説明したように重み付けを行なってもよい。なお、１次元フィルタ処理は、縦方向を先に実施してもよく、２次元フィルタで実施してもよい。

また、フィルタサイズ内の縮小画像１３４の画素のレベル値が自身に設定されているレベル値範囲内となる画素が、あらかじめ設定した閾値を下回る個数の場合に、全ての画素のレベル値を累積して平均値を算出してもよい。また全ての画素のレベル値を累積して平均値を算出するのではなく、レベル値中央の値を出力してもよい。

図１２においては、ｎ＝５、すなわち５個のフィルタサイズｎ１×ｎ２のＬＰＦ１１２１ａ−１〜１１２１ａ−５が、それぞれに設定されたレベル値範囲で縮小画像７１に対してレベル値制限平滑化処理を実行してレベル値制限平滑化画像７２−１〜７２−５を生成している。

拡大・合成処理部１１２４ａは、記憶部１３に記憶されている入力画像１３１に基づいてレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎを先の実施例２で説明した３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎによる補間（拡大）および合成処理によって参照用画像１３５を生成する（ステップＳ３０３）。図１２においては、入力画像７０に基づいてレベル値制限平滑化画像７２−１〜７２−５から参照用画像７３が生成される。

フィルタ処理部１１２０ｂは、所定のフィルタサイズ内で指定されたレベル値範囲内にある縮小画像１３４の画素を累積して平均するレベル値制限平滑化処理を実行してレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを生成する（ステップＳ３０４）。

具体的には、フィルタ処理部１１２０ｂのＬＰＦ１１２１ｂ−１〜１１２１ｂ−ｎは、まず画像の横方向に対する１次元のフィルタ処理において、フィルタサイズ内の縮小画像１３４の画素のレベル値が自身に設定されているレベル値範囲内である画素のレベル値が存在する場合にはそれらのレベル値を累積して平均値を算出し、フィルタサイズ内の縮小画像１３４の画素のレベル値が自身に設定されているレベル値範囲内である画素のレベル値が存在しない場合にはフィルタサイズ内の全ての画素のレベル値を累積して平均値を算出する。次に横方向のフィルタ処理を全画素実施した画像に対し、同様に縦方向に対する１次元フィルタ処理を実施し、ＬＰＦ１１２１ｂ−１〜１１２１ｂ−ｎは、算出した平均値を注目画素のレベル値として縮小画像１３４に対するレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを生成する。ＬＰＦ１１２１ｂ−１〜１１２１ｂ−ｎは、生成したレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを記憶部１３に記憶させる。なお、平均値を算出する際に、先の実施例３で説明したように重み付けを行なってもよい。なお、１次元フィルタ処理は、縦方向を先に実施してもよく、２次元フィルタで実施してもよい。

また、フィルタサイズ内の縮小画像１３４の画素のレベル値が自身に設定されているレベル値範囲内となる画素が、あらかじめ設定した閾値を下回る個数の場合に、全ての画素のレベル値を累積して平均値を算出してもよい。また全ての画素のレベル値を累積して平均値を算出するのではなく、レベル値中央の値を出力してもよい。

図１２においては、ｎ＝５、すなわち５個のフィルタサイズｍ１×ｍ２のＬＰＦ１１２１ｂ−１〜１１２１ｂ−５が、それぞれに設定されたレベル値範囲で縮小画像７１に対してレベル値制限平滑化処理を実行してレベル値制限平滑化画像７４−１〜７４−５を生成している。

拡大・合成処理部１１２４ｂは、記憶部１３に記憶されている参照用画像１３５に基づいてレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを先の実施例２で説明した３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎによる補間（拡大）および合成処理によって平滑化画像１３３を生成する（ステップＳ３０５）。図１２においては、参照用画像７３に基づいてレベル値制限平滑化画像７４−１〜７４−５から平滑化画像７５が生成される。

出力画像生成部１１３は、入力画像１３１および平滑化画像１３３に基づいて平滑化画像１３３のレベル値を強調した出力画像３を生成して出力する（ステップＳ３０６）。

図１３に、画像処理装置１ｂの入力画像７０と平滑化画像７５を示す。図１３に示すように、画像処理装置１ｂの平滑化画像７５は、先の図９に示した平滑化画像６１の領域ｅ２の微細構造が消去されている。

このように、この実施例４においては、複数の第１のローパスフィルタであるＬＰＦ１１２１ａ−１〜１１２１ａ−ｎとは異なるフィルタサイズであって、それぞれ異なるレベル値範囲が設定された複数の第２のローパスフィルタであるＬＰＦ１１２１ｂ−１〜１１２１ｂ−ｎが、入力画像１３１を縮小した第１の入力画像である縮小画像１３４の各画素を注目画素とし、フィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とする第２のレベル値制限平滑化画像であるレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを生成し、第２の合成処理手段である拡大・合成処理部１１２４ｂが、ＬＰＦ１１２１ａ−１〜１１２１ａ−ｎによって生成された第１のレベル値制限平滑化画像であるレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎから生成された第１の平滑化画像である参照用画像１３５の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されているＬＰＦ１１２１ｂ−１〜１１２１ｂ−ｎが生成したレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを１または複数選択し、選択したレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎの中で処理対象画素の位置もしくは近傍の１または複数の画素のレベル値より算出する値を処理対象画素のレベル値とする平滑化画像１３３を生成するようにしている。すなわち、フィルタサイズの異なる同一構造の処理を複数回行なうことで、入力画像の微細構造の残存を残すことなく、入力画像のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像を高速に生成することができる。なお、この実施例４においては処理を２回繰り返したが、３回以上繰り返してもよい。

なお、この実施例４においては、先の実施例２で説明した３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎによって補間および合成を行なうようにしたが、バイリニア法などによってレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎおよびレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎをすべて拡大した後にレベル値を合成するようにしてもよい。合成は、選択したレベル値制限平滑化画像のレベル値を、レベル値範囲の中心値と処理対象画素のレベル値との差分に応じて重みを付け平均値を算出すればよい。

また、この実施例４においては、入力画像１３１を縮小した縮小画像１３４を用いてレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎおよびレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを生成して補間および合成することで参照用画像１３５および平滑化画像１３３を生成するようにしたが、フィルタ処理部１１２０ａ，１１２０ｂへのインプットを縮小画像とせずに、入力画像１３１を用いてレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎおよびレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを生成して合成することで参照用画像１３５および平滑化画像１３３を生成するようにしてもよい。

さらに、この実施例４の入力画像受付部１１１、縮小画像生成部１１２３、ＬＰＦ１１２１ａ−１〜１１２１ａ−ｎ，１１２１ｂ−１〜１１２１ｂ−ｎ、拡大・合成処理部１１２４ａ，１１２４ｂ、および出力画像生成部１１３によって実現される前述した各機能を汎用のコンピュータに実現させるための画像処理プログラムとして提供してもよい。この場合、画像処理プログラムは、コンピュータにインストール可能な形式、またはコンピュータが実行可能な形式のファイルでＲＯＭ、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供する。記録媒体に記録された画像処理プログラムは、記録媒体から読み出されてコンピュータ上で実現される。

図１４〜図１６を参照して、この発明の実施例５を説明する。図１４は、この発明における実施例５の画像処理装置１ｃの構成を示すブロック図である。図１４に示した画像処理装置１ｃは、先の図１０に示した実施例４の画像処理装置１ｂの平滑化画像生成部１１２ｂの代わりに、平滑化画像生成部１１２ｂに縮小画像生成部１１２３ａが追加された平滑化画像生成部１１２ｃを備えている。先の図１０に示した実施例４の画像処理装置１ｂと同じ機能を持つ構成部分には同一符号を付し、重複する説明は省略する。

縮小画像生成部１１２３ａは、記憶部１３に記憶されている参照用画像１３５の画素を間引いて参照用画像１３５を縮小した（画素数を少なくした）縮小参照用画像１３６を生成して記憶部１３に記憶させる。なお、参照用画像１３５の縮小は、縮小画像生成部１１２３が入力画像１３１を縮小する縮小率と同じとする。

フィルタ処理部１１２０ｂのＬＰＦ１１２１ｂ−１〜１１２１ｂ−ｎは、縮小参照用画像１３６に対してレベル値制限平滑化処理を行なう。

図１５のフローチャートと、図１４および図１６を参照して、この発明の実施例５の画像処理装置１ｃの動作を説明する。なお、先の実施例４の画像処理装置１ｂと同じ動作については、その詳細な説明を省略する。

入力画像受付部１１１は、１フレーム分の入力画像２を読み込んで入力画像１３１として記憶部１３に記憶させる（ステップＳ４００）。図１６においては、入力画像８０が入力画像受付部１１１によって読み込まれる。縮小画像生成部１１２３は、画素を間引いて入力画像１３１を縮小した（画素数を少なくした）縮小画像１３４を生成する（ステップＳ４０１）。図１６においては、入力画像８０から縮小画像８１が生成される。

フィルタ処理部１１２０ａは、所定のフィルタサイズ内で指定されたレベル値範囲内にある画素を累積して平均するレベル値制限平滑化処理を実行してレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎを生成する（ステップＳ４０２）。

図１６においては、ｎ＝５、すなわち５個のフィルタサイズｎ１×ｎ２のＬＰＦ１１２１ａ−１〜１１２１ａ−５が、それぞれに設定されたレベル値範囲で縮小画像８１に対してレベル値制限平滑化処理を実行してレベル値制限平滑化画像８２−１〜８２−５を生成している。

拡大・合成処理部１１２４ａは、記憶部１３に記憶されている入力画像１３１に基づいてレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎを先の実施例２で説明した３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎによる補間（拡大）および合成処理によって参照用画像１３５を生成する（ステップＳ４０３）。図１６においては、入力画像８０に基づいてレベル値制限平滑化画像８２−１〜８２−５から参照用画像８３が生成される。

縮小画像生成部１１２３ａは、画素を間引いて参照用画像１３５を縮小した（画素数を少なくした）縮小参照用画像１３６を生成する（ステップＳ４０４）。図１６においては、参照用画像８３から縮小参照用画像８４が生成される。

フィルタ処理部１１２０ｂは、所定のフィルタサイズ内で指定されたレベル値範囲内にある縮小参照用画像１３６の画素を累積して平均するレベル値制限平滑化処理を実行してレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを生成する（ステップＳ４０５）。

図１６においては、ｎ＝５、すなわち５個のフィルタサイズｍ１×ｍ２のＬＰＦ１１２１ｂ−１〜１１２１ｂ−５が、それぞれに設定されたレベル値範囲で縮小参照用画像８４に対してレベル値制限平滑化処理を実行してレベル値制限平滑化画像８５−１〜８５−５を生成している。

拡大・合成処理部１１２４ｂは、記憶部１３に記憶されている参照用画像１３５に基づいてレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを先の実施例２で説明した３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎによる補間（拡大）および合成処理によって平滑化画像１３３を生成する（ステップＳ４０６）。図１６においては、参照用画像８３に基づいてレベル値制限平滑化画像８５−１〜８５−５から平滑化画像８６が生成される。

出力画像生成部１１３は、入力画像１３１および平滑化画像１３３に基づいて平滑化画像１３３のレベル値を強調した出力画像３を生成して出力する（ステップＳ４０７）。

このように、この実施例５においては、複数の第１のローパスフィルタであるＬＰＦ１１２１ａ−１〜１１２１ａ−ｎとは異なるフィルタサイズであって、それぞれ異なるレベル値範囲が設定された複数の第２のローパスフィルタであるＬＰＦ１１２１ｂ−１〜１１２１ｂ−ｎが、ＬＰＦ１１２１ａ−１〜１１２１ａ−ｎが生成したレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎから生成された参照用画像１３５を縮小した第２の平滑化画像である縮小参照用画像１３６の各画素を注目画素とし、フィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とする第２のレベル値制限平滑化画像であるレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを生成し、第２の合成処理手段である拡大・合成処理部１１２４ｂが、参照用画像１３５の各画素を順に処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されているＬＰＦ１１２１ｂ−１〜１１２１ｂ−ｎが生成したレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを選択し、選択したレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎの中で処理対象画素の位置に対応する画素のレベル値より算出する値を処理対象画素のレベル値とする平滑化画像１３３を生成するようにしている。すなわち、フィルタサイズの異なる同一構造の処理を複数回行なう際に前段で生成した平滑化画像である参照用画像１３５を縮小した縮小参照用画像１３６を後段で用いるようにしているため、後段の入力に入力画像１３１を縮小した縮小画像１３４を用いる場合よりもより正確に入力画像入力画像の微細構造の残存を残すことなく、入力画像のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像を高速に生成することができる。

なお、この実施例５においては、先の実施例２で説明した３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎによって補間および合成を行なうようにしたが、バイリニア法などによってレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎおよびレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎをすべて拡大した後にレベル値を合成するようにしてもよい。合成は、選択したレベル値制限平滑化画像のレベル値を、レベル値範囲の中心値と処理対象画素のレベル値との差分に応じて重みを付け平均値を算出すればよい。

また、この実施例５においては、入力画像１３１を縮小した縮小画像１３４を用いてレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎを生成し、また、レベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎを補間および合成して得た参照用画像１３５を縮小した縮小参照用画像１３６を用いてレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを生成して補間および合成することで平滑化画像１３３を生成するようにしたが、フィルタ処理部１１２０ａ，１１２０ｂへのインプットを縮小画像とせずに、入力画像１３１を用いてレベル値制限平滑化画像１３２ａ−１〜１３２ａ−ｎを生成して合成することで参照用画像１３５を生成し、また、参照用画像１３５を用いてレベル値制限平滑化画像１３２ｂ−１〜１３２ｂ−ｎを生成して合成することで平滑化画像１３３を生成するようにしてもよい。

さらに、この実施例５の入力画像受付部１１１、縮小画像生成部１１２３，１１２３ａ、ＬＰＦ１１２１ａ−１〜１１２１ａ−ｎ，１１２１ｂ−１〜１１２１ｂ−ｎ、拡大・合成処理部１１２４ａ，１１２４ｂ、および出力画像生成部１１３によって実現される前述した各機能を汎用のコンピュータに実現させるための画像処理プログラムとして提供してもよい。この場合、画像処理プログラムは、コンピュータにインストール可能な形式、またはコンピュータが実行可能な形式のファイルでＲＯＭ、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録して提供する。記録媒体に記録された画像処理プログラムは、記録媒体から読み出されてコンピュータ上で実現される。

以上のように、本発明にかかる画像処理装置は、入力画像をぼかした平滑化画像を生成する場合に有用であり、特に、入力画像のエッジを正確に保持し、かつエッジ以外をぼかした平滑化画像を高速に生成することが要求される場合に適している。

Claims (15)

1. 入力画像をぼかした平滑化画像を生成する画像処理装置であって、
   それぞれ異なるレベル値範囲が入力画像のレベル値範囲をカバーするように設定された複数の第１のローパスフィルタであって、前記入力画像または該入力画像を元に生成した第１の入力画像の各画素を注目画素とし、フィルタサイズ内にレベル値範囲内の画素が存在する場合には、フィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とし、フィルタサイズ内にレベル値範囲内の画素が存在しない場合には、前記フィルタサイズ内に含まれる注目画素を含む全ての画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とする第１のレベル値制限平滑化画像を生成する複数の第１のローパスフィルタと、
   前記入力画像または該入力画像を元に生成した第２の入力画像の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されている第１のローパスフィルタが生成した第１のレベル値制限平滑化画像を１または複数選択し、選択した第１のレベル値制限平滑化画像の中で前記処理対象画素の位置もしくはその近傍の１または複数の画素のレベル値より算出する値を前記処理対象画素のレベル値とする平滑化画像を生成する第１の合成処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第１の入力画像は、前記入力画像の縮小画像であり、
   前記第１の合成処理手段は、
   前記入力画像に基づいて前記第１の入力画像から生成された第１のレベル値制限平滑化画像を拡大し、拡大した第１のレベル値制限平滑化画像を１または複数選択すること、
   を特徴とする請求項１に記載の画像処理装置。
3. 前記第１の合成処理手段は、
   前記第１のレベル値制限平滑化画像の画素のレベル値および位置情報を用いた３Ｄ−ｉｎｔｅｒｐｏｌａｔｉｏｎによるレベル値補間によって前記第１のレベル値制限平滑化画像を生成すること、
   を特徴とする請求項１に記載の画像処理装置。
4. 前記第１の合成処理手段は、
   前記第１のレベル値制限平滑化画像の画素のレベル値を重み付け平均化することによって前記平滑化画像を生成すること、
   を特徴とする請求項１に記載の画像処理装置。
5. 前記第１のローパスフィルタは、
   １次元のローパスフィルタであり、横方向平滑化処理および縦方向平滑化処理の逐次実施により平滑化すること、
   を特徴とする請求項１に記載の画像処理装置。
6. 前記複数の第１のローパスフィルタは、
   自身に設定されたレベル値範囲において、下限値および上限値から中心値に近づくほど重み付けを大きくして平均値を算出すること、
   を特徴とする請求項１に記載の画像処理装置。
7. 前記複数の第１のローパスフィルタは、
   前記フィルタサイズ内に含まれる注目画素を含む各画素のレベル値の中に自身に設定されているレベル値範囲に含まれるレベル値が存在しない、または、予め設定された閾値を下回る個数の場合には、前記フィルタサイズ内に含まれる注目画素を含む全ての画素を抽出して平均値を算出すること、
   を特徴とする請求項１に記載の画像処理装置。
8. 前記複数の第１のローパスフィルタは、
   前記フィルタサイズ内に含まれる注目画素を含む各画素のレベル値の中に自身に設定されているレベル値範囲に含まれるレベル値が存在しない、または、予め設定された閾値を下回る個数の場合には、レベル値範囲の予め設定された値を出力すること、
   を特徴とする請求項１に記載の画像処理装置。
9. 前記レベル値範囲の予め設定された値は、レベル値範囲の中央値であること
   を特徴とする請求項８に記載の画像処理装置。
10. 前記複数の第１のローパスフィルタとは異なるフィルタサイズであって、かつそれぞれ異なるレベル値範囲が設定され、前記入力画像または第１の入力画像の各画素を注目画素としてフィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とする第２のレベル値制限平滑化画像を生成する複数の第２のローパスフィルタと、
    前記第１の合成処理手段によって生成された第１の平滑化画像の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されている第２のローパスフィルタが生成した第２のレベル値制限平滑化画像を１または複数選択し、選択した第２のレベル値制限平滑化画像の中で前記処理対象画素の位置もしくはその近傍の１または複数の画素のレベル値より算出する値を前記処理対象画素のレベル値とする平滑化画像を生成する第２の合成処理手段と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
11. 前記第１の入力画像は、前記入力画像の縮小画像であり、
    前記第１の合成処理手段は、
    前記入力画像に基づいて前記第１の入力画像から生成された第１のレベル値制限平滑化画像を拡大し、拡大した第１のレベル値制限平滑化画像を１または複数選択し、
    前記第２の合成処理手段は、
    前記第１の合成処理手段によって生成された平滑化画像に基づいて前記第１の入力画像から生成された第２のレベル値制限平滑化画像を拡大し、拡大した第２のレベル値制限平滑化画像を１または複数選択すること、
    を特徴とする請求項１０に記載の画像処理装置。
12. 前記複数の第１のローパスフィルタとは異なるフィルタサイズが設定され、前記第１の合成処理手段によって生成された第１の平滑化画像または該第１の平滑化画像を元に生成した第２の平滑化画像の各画素を注目画素とし、フィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とする第２のレベル値制限平滑化画像を生成する複数の第２のローパスフィルタと、
    前記第１の合成処理手段によって生成された第１の平滑化画像の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されている第２のローパスフィルタが生成した第２のレベル値制限平滑化画像を１または複数選択し、選択した第２のレベル値制限平滑化画像の中で前記処理対象画素の位置もしくはその近傍の１または複数の画素のレベル値より算出する値を前記処理対象画素のレベル値とする平滑化画像を生成する第２の合成処理手段と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
13. 前記第１の入力画像は、前記入力画像の縮小画像であり、
    前記第１の合成処理手段は、
    前記入力画像に基づいて前記第１の入力画像から生成された第１のレベル値制限平滑化画像を拡大し、拡大した第１のレベル値制限平滑化画像を１または複数選択し、
    前記第２の平滑化画像は、前記第１の平滑化画像の縮小画像であり、
    前記第２の合成処理手段は、
    前記第１の合成処理手段によって生成された前記第１の平滑化画像に基づいて前記第２の平滑化画像から生成された第２のレベル値制限平滑化画像を拡大し、拡大した第２のレベル値制限平滑化画像を１または複数選択すること、
    を特徴とする請求項１２に記載の画像処理装置。
14. 入力画像をぼかした平滑化画像を生成する画像処理プログラムであって、
    それぞれ異なるレベル値範囲が入力画像のレベル値範囲をカバーするように設定された複数の第１のローパスフィルタ処理ステップであって、前記入力画像または該入力画像を元に生成した第１の入力画像の各画素を注目画素とし、フィルタサイズ内にレベル値範囲内の画素が存在する場合には、フィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とし、フィルタサイズ内にレベル値範囲内の画素が存在しない場合には、前記フィルタサイズ内に含まれる注目画素を含む全ての画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とする第１のレベル値制限平滑化画像を生成する複数の第１のローパスフィルタ処理ステップと、
    前記入力画像または該入力画像を元に生成した第２の入力画像の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されている第１のローパスフィルタ処理ステップが生成した第１のレベル値制限平滑化画像を１または複数選択し、選択した第１のレベル値制限平滑化画像の中で前記処理対象画素の位置もしくはその近傍の１または複数の画素のレベル値より算出する値を前記処理対象画素のレベル値とする平滑化画像を生成する第１の合成処理ステップと、
    を備えることを特徴とする画像処理プログラム。
15. 入力画像をぼかした平滑化画像を生成する画像処理方法であって、
    それぞれ異なるレベル値範囲が入力画像のレベル値範囲をカバーするように設定された複数の第１のローパスフィルタ処理ステップであって、前記入力画像または該入力画像を元に生成した第１の入力画像の各画素を注目画素とし、フィルタサイズ内にレベル値範囲内の画素が存在する場合には、フィルタサイズ内に含まれる注目画素を含む各画素のレベル値が自身に設定されているレベル値範囲に含まれる各画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とし、フィルタサイズ内にレベル値範囲内の画素が存在しない場合には、前記フィルタサイズ内に含まれる注目画素を含む全ての画素を抽出し、抽出した画素のレベル値を平滑化し注目画素のレベル値とする第１のレベル値制限平滑化画像を生成する複数の第１のローパスフィルタ処理ステップと、
    前記入力画像または該入力画像を元に生成した第２の入力画像の各画素を処理対象画素とし、処理対象画素のレベル値を含むレベル値範囲が設定されている第１のローパスフィルタ処理ステップが生成した第１のレベル値制限平滑化画像を１または複数選択し、選択した第１のレベル値制限平滑化画像の中で前記処理対象画素の位置もしくはその近傍の１または複数の画素のレベル値より算出する値を前記処理対象画素のレベル値とする平滑化画像を生成する第１の合成処理ステップと、
    を備えることを特徴とする画像処理方法。

Images