JP5220677B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像データに対してノイズ低減処理を行う画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。

撮影用レンズによって集光した光をＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子上に結像し、被写体像を撮像する撮像装置が知られている。このような撮像システムで得られた画像は、撮影用レンズを通して撮像素子上に結像した像を撮像素子の各画素の受光部で光電変換する際、あるいは光電変換して得た電荷量を増幅し、Ａ／Ｄ変換する際等、アナログ信号時に混入されるノイズを含有している。

例えば、光電変換時において支配的に発生するノイズは、光電変換が確率的にゆらぐことに起因するショットノイズであり、いわゆるランダムノイズと呼ばれるノイズである。発生電荷量のゆらぎは、光子数（あるいは暗電流）の増加に伴って増大する。一方、Ａ／Ｄ変換時において支配的に発生するノイズは、各画素の暗電流や感度バラツキ、信号転送路、周辺画素のクロストーク等によって混入するノイズ、あるいは多線読み出しによる信号増幅のバラツキによって混入するノイズ等、ランダムノイズとは異なるいわゆる固定パターンノイズと呼ばれるノイズである。

固定パターンノイズについては、予めその特性を補正データとして記録しておき、この補正データを用いてＡ／Ｄ変換後の画像データを補正することによって低減できる。これに対し、ランダムノイズについては、固定パターンノイズのように予めその特性を想定しておくことはできない。このため、従来から、平滑化処理によって信号対ノイズ比（ＳＮ比）を改善し、低減を図っている。

ここで、平滑化処理としては、撮像された画像の局所的な構造に関わらず固定のローパスフィルタ特性を一律に適用してフィルタ処理するものから、画像の局所構造を考慮し、適用するローパスフィルタ特性を変化させてフィルタ処理するものまで様々な手法が提案されており、いずれの手法を採用するかによってノイズ低減性能の優劣が決定する。

中でも、効果的にノイズの低減が可能な手法の１つとして、画素毎に重み係数を決定し、決定した重み係数を用いて各画素を平滑化処理する手法が知られている（例えば特許文献１，２を参照）。特許文献１では、注目画素とその周辺画素との画素値の相関（例えば画素値差の絶対値）をもとに、重み係数を画素毎に適応的に変化させてフィルタ処理を行っている。一方、特許文献２では、注目画素と周辺画素との相対的な空間距離や画素値差の絶対値を用いて重み係数を決定し、決定した重み係数を用いてフィルタ処理する。そして、フィルタ処理した注目画素値をもとに注目画素に関するノイズ量を推定し、注目画素値と推定したノイズ量とをもとに注目画素のノイズ低減処理を行っている。

このような画素値差の絶対値を用いる平滑化フィルタとして代表的なのがバイラテラルフィルタである。バイラテラルフィルタは、２種類のパラメータを用い、画像の局所構造に応じてローパスフィルタ特性を変更する適応フィルタであり、画像中のエッジを保存しながら平滑化処理を行うことができる。このバイラテラルフィルタでは、フィルタ係数を決定付ける関数として例えばガウス関数が用いられ、前述の２種類の各パラメータの値を重みとして求めた２つのガウス関数値の積によってフィルタ係数を算出する。

ここで、バイラテラルフィルタで用いる２種類のパラメータのうちの一方のパラメータが注目画素とその周辺画素との画素値差の絶対値に相当し、この値が小さいほどフィルタ係数を大きく設定するようになっている。また、他方のパラメータとしては、注目画素とその周辺画素との相対的な空間距離を用い、この値が小さいほどフィルタ係数を大きく設定するようになっている。

各パラメータについて簡単に説明すると、画素値差の絶対値である一方のパラメータは、エッジの有無を判別するために使用され、その判別条件がガウス関数のσ値で決定される。保存したいエッジ量（すなわち画素値差の絶対値）がσ値より十分大きければガウス関数値はゼロに漸近するため、平滑化処理に寄与しない画素となる。したがって、エッジ境界部分の画素のように、周辺の画素との間で画素値差の絶対値が大きい画素（画素値差の絶対値について相関がない画素）は、平滑化処理に利用されない。これによって、エッジを鈍らせないという効果が得られる。

一方、空間距離である他方のパラメータは、画像の局所領域を統計的に見た場合には空間距離が遠いほど画素値の相関が低くなるという仮定に基づくものである。すなわち、遠距離にある同一画素値の画素は、本来の画素値が同一なのではなく、ノイズが混入したことによって同一の画素値を有していると仮定するのである。具体的には、同じ画素値の画素が近距離と遠距離に存在する場合に、近距離の画素を遠距離の画素よりも画素値の相関が高いとして近距離の画素に重みを大きく作用させるようになっている。したがって、周辺の画素との間で空間距離が遠い画素（空間距離について相関がない画素）は、平滑化処理に利用されない。

以上のようにモデル化されたバイラテラルフィルタを用いたノイズ低減効果は、急峻で大きなエッジと平坦部とからなる領域においては非常に優れた性能を示す。

この他、ノイズ低減効果が高い平滑化処理の他の手法としては、例えば、エッジ方向に沿った１次元のローパスフィルタを作用させる手法が挙げられる（例えば特許文献３を参照）。特許文献３では、先ず、エッジの方向を判定する。そして、判定結果をもとに、水平方向の平滑化フィルタ、垂直方向の平滑化フィルタまたは斜め方向の平滑化フィルタを選択してフィルタ処理を行う。

さらに、エッジ方向に沿ったフィルタ処理におけるノイズ低減効果を向上させるための手法として、エッジ方向に沿って２次元フィルタを作用させるものも知られている（例えば特許文献４を参照）。特許文献４では、エッジ方向を判定する際に局所領域内で複数方向の分散値を算出し、判定したエッジ方向とその分散値とをもとに非等方な２次元フィルタを生成している。

さらに、エッジ方向の判定精度を向上させ、微細構造を保持できるようにしたものもある（例えば特許文献５を参照）。この特許文献５では、空間周波数をサブバンド化した画像に対する平滑化処理が開示されており、局所領域のエネルギー量とその判定閾値とをもとにバイラテラルフィルタまたは方向依存のガウスフィルタを切り換えて用い、平滑化処理を行う。そして、方向依存のガウスフィルタを用いる場合には、局所領域の等方性を示す量をもとに、予め用意されるルックアップテーブル（ＬＵＴ）からフィルタ係数が選択されるようになっており、エッジ方向に沿って重み付けられたフィルタ係数がその局所領域に作用する構成となっている。より詳細には、局所領域のエネルギー量、すなわち大きなエッジの有無によってバイラテラルフィルタと方向依存のガウスフィルタとを切り換えており、バイラテラルフィルタの特性を考慮した制御を実現している。

特開２００６−３０２０２３号公報 特開２００８−１２４７６４号公報 特開昭６１−２０６３７６号公報 米国特許第７３１７８４２号明細書 米国特許出願公開第２００８／１０７３５２号明細書

ところで、特許文献１や特許文献２に開示されているような画素値差の絶対値を用いたフィルタ処理として代表的なバイラテラルフィルタでは、自動的にエッジ領域を検出し、その方向を意識することなく急峻で大きなエッジを保存できる一方で、微細なエッジについてはノイズとみなしてしまうという問題があった。この問題は、ガウス関数のσ値の調整によってある程度軽減可能ではあるが、σ値を小さくしすぎると、ノイズ低減の効果が低下してしまうという問題があった。ここで、微細なエッジとは、画素値差（輝度値差）の小さいエッジ境界部のことであり、以下、微細なエッジを適宜「微細構造」と呼ぶ。

また、特許文献３や特許文献４に開示されている手法では、判定したエッジ方向に沿って平滑化処理を行えるため、微細構造を保存できる。しかしながら、この手法では、例えばノイズが混入している等の要因でエッジ方向の判定を誤るという事態が生じ得る。そして、エッジ方向の判定を誤るとエッジを潰してしまい、結果的に人工的なノイズパターンを発生させるという問題があった。また、特許文献３の技術では、１次元フィルタのサイズを大きくしないと平滑化処理に利用できる画素を十分に確保できず、高いノイズ低減効果が得られないという問題もあった。

また、特許文献５の手法では、微細構造の保存を受け持つフィルタは方向依存のガウスフィルタであり、そのフィルタ係数は、微細構造の非等方性判定の役割を担うＬＵＴに依存している。このため、微細構造を精度良く保存できないという問題があった。

本発明は、上記に鑑み為されたものであって、画像の微細構造を潰すことなく精度良くノイズを低減可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、画像データを入力する画像データ入力部と、前記画像データから、処理対象の注目画素と該注目画素の周辺に位置する周辺画素とを含む画素領域を抽出する画素抽出部と、前記画素領域内の各画素を前記画素領域内の画素値分布に応じて区分し、複数の画素グループを形成する画素グループ形成部と、前記画素グループ毎に、該各画素グループに属する前記画素領域内の画素に設定する画素グループ類似度として、前記注目画素を含む画素グループとの間の類似度を算出する画素グループ類似度算出部と、前記注目画素の画素値をもとに、前記画素領域内の各画素の画素値類似度を算出する画素値類似度算出部と、前記画素グループ類似度と前記画素値類似度とをもとに、前記画素領域内の画素に適用するフィルタ係数を算出するフィルタ係数算出部と、前記画素領域内の画素値と前記フィルタ係数とをもとに、前記注目画素の画素値を平滑化処理する平滑化処理部と、を備えることを特徴とする。

この態様にかかる画像処理装置では、処理対象の注目画素と該注目画素の周辺に位置する周辺画素とを含む画素領域を抽出する。そして、抽出した画素領域内の各画素をこの画素領域内の画素値分布に応じて区分することによって複数の画素グループを形成し、形成した画素グループ毎に、これら各画素グループに属する画素に設定する画素グループ類似度を、注目画素を含む画素グループとの間の類似度として算出する。また、注目画素の画素値をもとに、抽出した画素領域内の各画素の画素値類似度を算出する。そして、画素グループ類似度と画素値類似度とをもとに、抽出した画素領域内の画素に適用するフィルタ係数を算出し、この画素領域内の画素値と算出したフィルタ係数とをもとに注目画素の画素値を平滑化処理する。これによれば、画素領域内の画素値分布を考慮してフィルタ係数を算出し、このフィルタ係数を用いて注目画素を平滑化処理することができる。したがって、画像の微細構造を潰さずに高精度にノイズを低減でき、ノイズ低減効果を向上させることができる。

また、本発明の別の態様にかかる画像処理方法は、画像データを入力する画像データ入力工程と、前記画像データから、処理対象の注目画素と該注目画素の周辺に位置する周辺画素とを含む画素領域を抽出する画素抽出工程と、前記画素領域内の各画素を前記画素領域内の画素値分布に応じて区分し、複数の画素グループを形成する画素グループ形成工程と、前記画素グループ毎に、該各画素グループに属する前記画素領域内の画素に設定する画素グループ類似度として、前記注目画素を含む画素グループとの間の類似度を算出する画素グループ類似度算出工程と、前記注目画素の画素値をもとに、前記画素領域内の各画素の画素値類似度を算出する画素値類似度算出工程と、前記画素グループ類似度と前記画素値類似度とをもとに、前記画素領域内の画素に適用するフィルタ係数を算出するフィルタ係数算出工程と、前記画素領域内の画素値と前記フィルタ係数とをもとに、前記注目画素の画素値を平滑化処理する平滑化処理工程と、を含むことを特徴とする。

また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、画像データを入力する画像データ入力手順と、前記画像データから、処理対象の注目画素と該注目画素の周辺に位置する周辺画素とを含む画素領域を抽出する画素抽出手順と、前記画素領域内の各画素を前記画素領域内の画素値分布に応じて区分し、複数の画素グループを形成する画素グループ形成手順と、前記画素グループ毎に、該各画素グループに属する前記画素領域内の画素に設定する画素グループ類似度として、前記注目画素を含む画素グループとの間の類似度を算出する画素グループ類似度算出手順と、前記注目画素の画素値をもとに、前記画素領域内の各画素の画素値類似度を算出する画素値類似度算出手順と、前記画素グループ類似度と前記画素値類似度とをもとに、前記画素領域内の画素に適用するフィルタ係数を算出するフィルタ係数算出手順と、前記画素領域内の画素値と前記フィルタ係数とをもとに、前記注目画素の画素値を平滑化処理する平滑化処理手順と、を実行させることを特徴とする。

本発明によれば、画像の微細構造を潰さずに高精度にノイズを低減でき、ノイズ低減効果を向上させることができる。

以下、図面を参照し、本発明を実施するための最良の形態について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
先ず、実施の形態１について説明する。実施の形態１では、本発明の画像処理装置を適用した撮像システムについて説明する。図１は、実施の形態１における撮像システム１の全体構成例を示すブロック図である。図１に示すように、実施の形態１の撮像システム１は、画像データ入力部としての撮像部１１と、入力部１２と、表示部１３と、記録部１４と、画像処理部１５と、これら各部の動作を制御する制御部１６とを備える。

撮像部１１は、撮影用レンズ、入射光をＲＧＢ各色の波長帯の色光に分離するプリズム、ＲＧＢの色毎に被写体像を撮像する例えばＣＣＤやＣＭＯＳ等の撮像素子を含む３板式のデジタルビデオカメラで構成され、１画素当たり３チャンネルの信号を出力する。この撮像部１１は、撮影用レンズによって集光した光を撮像素子上に結像し、結像した光を電気信号に変換する。そして、変換された電気信号に増幅処理やＡ／Ｄ変換処理を施してＲＧＢ３チャンネルの画像データを生成する。生成した画像データは、画像処理部１５のＯＢ／ＡＧＣ処理部１５１に出力される。

入力部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、これらに対する操作信号を制御部１６に出力する。表示部１３は、ＬＣＤ（Liquid Crystal Display）やＥＬディスプレイ（Electroluminescence Display）等の表示装置によって実現されるものであり、制御部１６の制御のもと、例えば撮像部１１で撮像された画像の表示画面や撮像システム１の動作環境を設定するための設定画面等の各種画面を表示する。

記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等といった各種記録媒体およびその読取装置等によって実現されるものであり、撮像システム１を動作させ、この撮像システム１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。また、記録部１４には、撮像部１１によって撮像され、画像処理部１５によって画像処理された画像データが記録される。

画像処理部１５は、撮像部１１によって撮像された画像に対してノイズ低減処理を含む各種画像処理を施す。この画像処理部１５は、ＯＢ／ＡＧＣ処理部１５１と、ノイズ低減処理部２０と、ＷＢ処理部１５３と、色変換処理部１５４と、階調変換処理部１５５と、ＹＣ分離処理部１５６と、エッジ強調処理部１５７と、データ圧縮記録処理部１５８とを備える。

ＯＢ／ＡＧＣ処理部１５１は、撮像部１１から入力された画像データに対し、黒レベルのオフセット量を補正する処理（ＯＢクランプ処理）を施す。具体的には、先ず、画像データ中の所定のＯＢ領域内の画素平均値を算出する。そして、算出した画素平均値を画像データ中の有効領域から減算処理し、処理後の有効領域を抽出してＯＢクランプ処理を行う。さらに、ＯＢ／ＡＧＣ処理部１５１は、ＯＢクランプ処理を施した画像データに対し、明るさレベルの調整処理（ＡＧＣ処理）を施す。具体的には、画像データ中の所定の領域内の画素平均値または最大値をもとにゲイン量を算出し、算出したゲイン量を画像データ中の有効領域に乗算してＡＧＣ処理を行う。処理後の画像データは、ノイズ低減処理部２０に出力される。

ノイズ低減処理部２０は、ＯＢ／ＡＧＣ処理部１５１から入力された画像データに対してノイズ低減処理を施す。処理後の画像データは、ＷＢ処理部１５３に出力される。

ＷＢ処理部１５３は、ノイズ低減処理部２０から入力された画像データに対してホワイトバランス補正処理を施す。具体的には、白色時のＲチャンネル、ＢチャンネルおよびＢチャンネルの値が等しくなるようにＲチャンネルおよびＢチャンネルの補正係数を算出し、算出した補正係数を用いて入力された画像データのホワイトバランスを補正する。処理後の画像データは、色変換処理部１５４に出力される。

色変換処理部１５４は、ＷＢ処理部１５３から入力された画像データに対して色変換処理を施す。ここで、ＷＢ処理部１５３からの画像データは、入力デバイスに依存するＲＧＢ各色の画像データである。色変換処理部１５４は、マトリックス演算処理を行って入力されたデバイス依存のＲＧＢ各色の画像データを例えばｓＲＧＢ等のデバイスに依存しないＲＧＢ各色の画像データに変換する。処理後の画像データは、階調変換処理部１５５に出力される。

階調変換処理部１５５は、色変換処理部１５４から入力された画像データに対して階調変換処理を施す。ここで、色変換処理部１５４からの画像データは、線形階調特性の画像データとして入力される。階調変換処理部１５５は、制御部１６から通知される所定のガンマ特性を用い、入力された線形階調特性の画像データを非線形階調特性の画像データに変換する。処理後の画像データは、ＹＣ分離処理部１５６に出力される。

ＹＣ分離処理部１５６は、階調変換処理部１５５から入力された画像データに対してＹＣ分離処理を施す。具体的には、ＹＣ分離処理部１５６は、３×３のマトリックス演算処理を行って入力された画像データを輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒに変換する。処理後の輝度信号および色差信号は、エッジ強調処理部１５７に出力される。

エッジ強調処理部１５７は、ＹＣ分離処理部１５６から入力された輝度信号に対してエッジ強調処理を施す。具体的には、エッジ強調処理部１５７は、入力された輝度信号をもとにエッジ信号の抽出処理を行い、抽出したエッジ信号に対する増幅処理の後、増幅処理したエッジ信号を輝度信号の入力値に加算処理してエッジを強調した輝度信号を生成する。処理後の輝度信号およびＹＣ分離処理部１５６から入力された色差信号は、データ圧縮記録処理部１５８に出力される。

データ圧縮記録処理部１５８は、エッジ強調処理部１５７から入力された輝度信号および色差信号に対して例えばＭＰＥＧ方式やＪＰＥＧ方式等に基づく圧縮処理を施し、処理後の画像データを記録部１４に書き込んで記録する処理（記録処理）を行う。

制御部１６は、ＣＰＵ等のハードウェアによって実現される。この制御部１６は、入力部１２から入力される操作信号、あるいは記録部１４に記録されたプログラムやデータ等に基づいて撮像システム１を構成する各部への指示やデータの転送等を行い、撮像システム１全体の動作を統括的に制御する。例えば、露光量の設定やゲインの設定等を行って撮像部１１の動作を制御する処理や、入力部１２を介してユーザが指示したモード設定に応じた各種処理パラメータの値を設定し、装置各部に通知する処理等を行う。

次に、画像処理部１５のノイズ低減処理部２０について説明する。図２は、実施の形態１におけるノイズ低減処理部２０の構成例を示すブロック図である。上記したように、このノイズ低減処理部２０には画像データとしてＲＧＢ３チャンネルの画像データが入力されるが、ノイズ低減処理部２０は、各チャンネルの画像データに対して同一の処理を行う。ここで、ノイズ低減処理部２０は、これらの各チャンネルの画像データに対する処理を順番に行うこととしてもよいし、並行して同時に行う構成としてもよい。

図２に示すように、ノイズ低減処理部２０は、画素抽出部２１と、画素グループ形成部３０と、画素グループ類似度算出部４０と、画素値類似度算出部２４と、フィルタ係数算出部２５と、平滑化処理部２６とを備え、各画素を順次処理対象として処理を行う（以下、処理対象の画素を「注目画素」と呼ぶ。）。このノイズ低減処理部２０では、画素抽出部２１が注目画素を含む処理画素領域を抽出する。次いで、画素グループ形成部３０および画素グループ類似度算出部４０が処理画素領域内の各画素について画素グループ類似度を得る。また、画素値類似度算出部２４が処理画素領域内の各画素について画素値類似度を得る。そして、フィルタ係数算出部２５が画素グループ類似度と画素値類似度とをもとに処理画素領域内の各画素に適用するフィルタ係数を算出し、平滑化処理部２６が注目画素を平滑化処理する。以下、各部が行う処理について説明する。

ＯＢ／ＡＧＣ処理部１５１からの画像データは、チャンネル毎に順番に画素抽出部２１に入力される。画素抽出部２１は、注目画素をノイズ低減処理する際に参照する画素領域を処理画素領域として抽出する。図３は、画素抽出部２１によって抽出される処理画素領域の一例を示す図である。実施の形態１では、画素抽出部２１は、中央の注目画素を中心とした５×５の処理画素領域を抽出する。

ここで、図３中に示すように、注目画素について抽出した処理画素領域内の各画素（注目画素を含む）の画素値をＰ_x+i,y+j（ｉ＝−２，−１，０，１，２；ｊ＝−２，−１，０，１，２）と定義する。ｘ，ｙは、画像データ中での注目画素の水平座標（ｘ座標）および垂直座標（ｙ座標）を示す。また、ｉ，ｊは、抽出された処理画素領域中での各画素の水平方向の相対座標（ｉ）および垂直方向の相対座標（ｊ）を示す。抽出された処理画素領域（実際には処理画素領域を構成する各画素の画素値Ｐ_x+i,y+j）は、画素グループ形成部３０の画素グループ群代表類似度算出部３１および画素値類似度算出部２４にそれぞれ出力される。

画素グループ形成部３０は、画素抽出部２１から入力された処理画素領域内を複数の小領域に区分して画素グループを形成する。例えば、予め複数通りの区分パターンを定めておく。そして、定めておいた区分パターンに従って区分した複数通りの画素グループ群を候補とし、これら候補の中から１つの代表画素グループ群を選択することによって、画素グループを形成する。

実施の形態１では、５×５の処理画素領域内をそれぞれ５つの画素グループに区分する５通りの区分パターンを定めておき、これらの区分パターンに従って区分した５通りの画素グループ群を候補とする。図４−１〜５は、候補とする５通りの画素グループ群の一例を示す図である。なお、各図４−１〜５において、ハッチングの種類によって同一の画素グループに属する画素を識別して示している。

すなわち、図４−１に示すように、処理画素領域内を列方向の５画素毎に区分した５つの画素グループｇ₁₀〜ｇ₁₄で構成される画素グループ群（以下、「垂直相関画素グループ群」と呼ぶ。）を１つ目の候補とする。また、図４−２に示すように、処理画素領域内を行方向の５画素毎に区分した５つの画素グループｇ₂₀〜ｇ₂₄で構成される画素グループ群（以下、「水平相関画素グループ群」と呼ぶ。）を２つ目の候補とする。また、図４−３に示すように、処理画素領域内を左上がりの斜め方向に沿って区分した５つの画素グループｇ₃₀〜ｇ₃₄で構成される画素グループ群（以下、「左斜相関画素グループ群」と呼ぶ。）を３つ目の候補とする。また、図４−４に示すように、処理画素領域内を右上がりの斜め方向に沿って区分した５つの画素グループｇ₄₀〜ｇ₄₄で構成される画素グループ群（以下、「右斜相関画素グループ群」と呼ぶ。）を４つ目の候補とする。そして、図４−５に示すように、各画素グループを構成する画素がそれぞれ中央の注目画素を中心として点対称となるように、処理画素領域内を５つの画素グループｇ₅₀〜ｇ₅₄に区分した画素グループ群（以下、「等方相関画素グループ群」と呼ぶ。）を５つ目の候補とする。

実際には、図２に示すように、画素グループ形成部３０は、画素グループ群代表類似度算出部３１と、代表画素グループ群選択部３２とを備え、各部の処理によって画素グループを形成する（すなわち代表画素グループ群を選択する）。

先ず、画素グループ群代表類似度算出部３１が、処理画素領域内を各候補の画素グループ群に区分した際の類似度（画素グループ群代表類似度）をそれぞれ算出する。図５は、画素グループ群代表類似度算出部３１の構成を示すブロック図である。図５に示すように、画素グループ群代表類似度算出部３１は、垂直相関画素グループ群代表類似度算出部３１１と、水平相関画素グループ群代表類似度算出部３１２と、左斜相関画素グループ群代表類似度算出部３１３と、右斜相関画素グループ群代表類似度算出部３１４と、等方相関画素グループ群代表類似度算出部３１５とを備える。

垂直相関画素グループ群代表類似度算出部３１１は、処理画素領域内を垂直相関画素グループ群に区分した場合の類似度（画素グループ群代表類似度）ＳＧｖを算出する。図６は、実施の形態１における画素グループ群代表類似度ＳＧｖの算出原理を説明する説明図である。垂直相関画素グループ群代表類似度算出部３１１は、図６中に矢印ａ１で示すように、垂直方向に隣接する画素間で例えば画素値の差分絶対値を隣接画素類似度として算出し、その総和を画素グループ群代表類似度ＳＧｖとする。この画素グループ群代表類似度ＳＧｖの算出式は、次式（１）で表される。
ＳＧｖ＝｜Ｐ_x-2,y-1−Ｐ_x-2,y｜＋｜Ｐ_x-2,y−P_x-2,y+1｜＋｜Ｐ_x-1,y-2−Ｐ_x-1,y-1｜
＋｜Ｐ_x-1,y-1−Ｐ_x-1,y｜＋｜Ｐ_x-1,y−Ｐ_x-1,y+1｜＋｜P_x-1,y+1−Ｐ_x-1,y+2｜
＋｜Ｐ_x,y-2−Ｐ_x,y-1｜＋｜Ｐ_x,y-1−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x,y+1｜
＋｜Ｐ_x,y+1−Ｐ_x,y+2｜＋｜Ｐ_x+1,y-2−Ｐ_x+1,y-1｜＋｜Ｐ_x+1,y-1−Ｐ_x+1,y｜
＋｜Ｐ_x+1,y−Ｐ_x+1,y+1｜＋｜Ｐ_x+1,y+1−Ｐ_x+1,y+2｜＋｜Ｐ_x+2,y-1−Ｐ_x+2,y｜
＋｜Ｐ_x+2,y−Ｐ_x+2,y+1｜ ・・・（１）

また、水平相関画素グループ群代表類似度算出部３１２は、処理画素領域内を水平相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｈを算出する。図７は、実施の形態１における画素グループ群代表類似度ＳＧｈの算出原理を説明する説明図である。水平相関画素グループ群代表類似度算出部３１２は、図７中に矢印ａ２で示すように、水平方向に隣接する画素間で例えば画素値の差分絶対値を隣接画素類似度として算出し、その総和を画素グループ群代表類似度ＳＧｈとする。この画素グループ群代表類似度ＳＧｈの算出式は、次式（２）で表される。
ＳＧｈ＝｜Ｐ_x-1,y-2−Ｐ_x,y-2｜＋｜Ｐ_x,y-2−Ｐ_x+1,y-2｜＋｜Ｐ_x-2,y-1−Ｐ_x-1,y-1｜
＋｜Ｐ_x-1,y-1−Ｐ_x,y-1｜＋｜Ｐ_x,y-1−Ｐ_x+1,y-1｜＋｜Ｐ_x+1,y-1−Ｐ_x+2,y-1｜
＋｜Ｐ_x-2,y−Ｐ_x-1,y｜＋｜Ｐ_x-1,y−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x+1,y｜
＋｜Ｐ_x+1,y−Ｐ_x+2,y｜＋｜Ｐ_x-2,y+1−Ｐ_x-1,y+1｜＋｜Ｐ_x-1,y+1−Ｐ_x,y+1｜
＋｜Ｐ_x,y+1−Ｐ_x+1,y+1｜＋｜Ｐ_x+1,y+1−Ｐ_x+2,y+1｜＋｜Ｐ_x-1,y+2−Ｐ_x,y+2｜
＋｜Ｐ_x,y+2−Ｐ_x+1,y+2｜ ・・・（２）

また、左斜相関画素グループ群代表類似度算出部３１３は、処理画素領域内を左斜相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｂを算出する。図８は、実施の形態１における画素グループ群代表類似度ＳＧｂの算出原理を説明する説明図である。左斜相関画素グループ群代表類似度算出部３１３は、図８中に矢印ａ３で示すように、左上がりの斜め方向に隣接する画素間で例えば画素値の差分絶対値を隣接画素類似度として算出し、その総和を画素グループ群代表類似度ＳＧｂとする。この画素グループ群代表類似度ＳＧｂの算出式は、次式（３）で表される。
ＳＧｂ＝｜Ｐ_x+1,y-2−Ｐ_x+2,y-1｜＋｜Ｐ_x,y-2−Ｐ_x+1,y-1｜＋｜Ｐ_x+1,y-1−Ｐ_x+2,y｜
＋｜Ｐ_x-1,y-2−Ｐ_x,y-1｜＋｜Ｐ_x,y-1−Ｐ_x+1,y｜＋｜Ｐ_x+1,y−Ｐ_x+2,y+1｜
＋｜Ｐ_x-2,y-2−Ｐ_x-1,y-1｜＋｜Ｐ_x-1,y-1−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x+1,y+1｜
＋｜Ｐ_x+1,y+1−Ｐ_x+2,y+2｜＋｜Ｐ_x-2,y-1−Ｐ_x-1,y｜＋｜Ｐ_x-1,y−Ｐ_x,y+1｜
＋｜Ｐ_x,y+1−Ｐ_x+1,y+2｜＋｜Ｐ_x-2,y−Ｐ_x-1,y+1｜＋｜Ｐ_x-1,y+1−Ｐ_x,y+2｜
＋｜Ｐ_x-2,y+1−Ｐ_x-1,y+2｜ ・・・（３）

また、右斜相関画素グループ群代表類似度算出部３１４は、処理画素領域内を右斜相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｓを算出する。図９は、実施の形態１における画素グループ群代表類似度ＳＧｓの算出原理を説明する説明図である。右斜相関画素グループ群代表類似度算出部３１４は、図９中に矢印ａ４で示すように、右上がりの斜め方向に隣接する画素間で例えば画素値の差分絶対値を隣接画素類似度として算出し、その総和を画素グループ群代表類似度ＳＧｓとする。この画素グループ群代表類似度ＳＧｓの算出式は、次式（４）で表される。
ＳＧｓ＝｜Ｐ_x-2,y-1−Ｐ_x-1,y-2｜＋｜Ｐ_x-2,y−Ｐ_x-1,y-1｜＋｜Ｐ_x-1,y-1−Ｐ_x,y-2｜
＋｜Ｐ_x-2,y+1−Ｐ_x-1,y｜＋｜Ｐ_x-1,y−Ｐ_x,y-1｜＋｜Ｐ_x,y-1−Ｐ_x+1,y-2｜
＋｜Ｐ_x-2,y+2−Ｐ_x-1,y+1｜＋｜Ｐ_x-1,y+1−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x+1,y-1｜
＋｜Ｐ_x+1,y-1−Ｐ_x+2,y-2｜＋｜Ｐ_x-1,y+2−Ｐ_x,y+1｜＋｜Ｐ_x,y+1−Ｐ_x+1,y｜
＋｜Ｐ_x+1,y−Ｐ_x+2,y-1｜＋｜Ｐ_x,y+2−Ｐ_x+1,y+1｜＋｜Ｐ_x+1,y+1−Ｐ_x+2,y｜
＋｜Ｐ_x+1,y+2−Ｐ_x+2,y+1｜ ・・・（４）

また、等方相関画素グループ群代表類似度算出部３１５は、処理画素領域内を等方相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｅを算出する。図１０は、実施の形態１における画素グループ群代表類似度ＳＧｅの算出原理を説明する説明図である。等方相関画素グループ群代表類似度算出部３１５は、図１０中に矢印ａ５で示すように、注目画素を中心として放射状に隣接する画素間で例えば画素値の差分絶対値を隣接画素類似度として算出し、その総和を画素グループ群代表類似度ＳＧｅとする。この画素グループ群代表類似度ＳＧｅの算出式は、次式（５）で表される。
ＳＧｅ＝｜Ｐ_x-2,y+2−Ｐ_x-1,y+1｜＋｜Ｐ_x-1,y+1−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x+1,y-1｜
＋｜Ｐ_x+1,y-1−Ｐ_x+2,y-2｜＋｜Ｐ_x-2,y-2−Ｐ_x-1,y-1｜＋｜Ｐ_x-1,y-1−Ｐ_x,y｜
＋｜Ｐ_x,y−Ｐ_x+1,y+1｜＋｜Ｐ_x+1,y+1−Ｐ_x+2,y+2｜＋｜Ｐ_x,y-2−Ｐ_x,y-1｜
＋｜Ｐ_x,y-1−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x,y+1｜＋｜Ｐ_x,y+1−Ｐ_x,y+2｜
＋｜Ｐ_x-2,y−Ｐ_x-1,y｜＋｜Ｐ_x-1,y−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x+1,y｜
＋｜Ｐ_x+1,y−Ｐ_x+2,y｜ ・・・(５)

以上のようにして算出された候補毎の５つの画素グループ群代表類似度ＳＧｖ，ＳＧｈ，ＳＧｂ，ＳＧｓ，ＳＧｅは、代表画素グループ群選択部３２に出力される。

代表画素グループ群選択部３２は、画素グループ群代表類似度算出部３１から入力された５つの画素グループ群代表類似度ＳＧｖ，ＳＧｈ，ＳＧｂ，ＳＧｓ，ＳＧｅをもとに処理画素領域の画素値分布に最もマッチングしている区分パターンを判定し、その代表画素グループ群を選択する。具体的には、画素グループ群代表類似度が最も高い画素グループ群（ここでは最も小さい値の画素グループ群代表類似度を算出した画素グループ群）を代表画素グループ群として選択する。例えば値が最小の画素グループ群代表類似度がＳＧｖの場合であれば、処理画素領域内の各画素は、垂直方向に隣接する画素間で画素値の類似度が高い。このため、垂直相関画素グループ群（図４−１を参照）の区分パターンが最も処理画素領域の画素値分布にマッチングしていると判定し、この垂直相関画素グループ群を代表画素グループ群として選択する。すなわちこの場合には、処理画素領域について図４−１の画素グループｇ₁₀〜ｇ₁₄が形成される。なお、予め画素グループ群代表類似度に優先順位を設定しておく構成としてもよい。例えば、等方相関画素グループ群を最も優先順位の高い画素グループ群とする等、適宜設定しておくことができる。そして、最小値となる画素グループ群代表類似度が複数種類存在する場合には、優先順位に従って画素グループ群を選択することとしてもよい。

ここでの処理によって、各画素グループを構成する画素間の画素値の類似度が高くなるように画素グループが形成される。換言すると、各画素グループを構成する画素間の画素値の類似度が高くなるような区分パターンの画素グループ群が代表画素グループ群として選択される。したがって、処理画素領域内の各画素を、画素値が類似する画素毎にグループ化できる。

以上のようにして選択された代表画素グループ群は、画素グループ類似度算出部４０の画素グループ代表値算出部４１に出力される。実際には、図４−１〜５に示した各画素グループ群に予め固有のインデックス値を割り振っておく。例えば、図４−１の垂直相関画素グループ群のインデックス値を“０”、図４−２の水平相関画素グループ群のインデックス値を“１”、図４−３の左斜相関画素グループ群のインデックス値を“２”、図４−４の右斜相関画素グループ群のインデックス値を“３”、図４−５の等方相関画素グループ群のインデックス値を“４”とする。そして、代表画素グループ群選択部３２は、代表画素グループ群として選択した画素グループ群のインデックス値を画素グループ代表値算出部４１に出力する。

画素グループ類似度算出部４０は、図２に示すように、画素グループ代表値算出部４１と、画素グループ代表値類似度算出部４３とを備え、各部の処理によって、処理画素領域について形成された画素グループ間の類似度を算出する。

画素グループ代表値算出部４１は、画素抽出部２１から入力された処理画素領域内の各画素の画素値をもとに、処理画素領域について形成した各画素グループの代表値（画素グループ代表値）をそれぞれ算出する。具体的には、画素グループ代表値算出部４１は、先ず代表画素グループ群選択部３２から入力されたインデックス値をもとに代表画素グループ群を特定する。そして、画素グループ代表値算出部４１は、特定した代表画素グループ群に応じて各画素グループの画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄を算出する。

例えば、画素グループ代表値算出部４１は、代表画素グループ群選択部３２から垂直相関画素グループ群のインデックス値“０”が入力された場合には、次式（６）〜（１０）に従って画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄を算出する。ここで、注目画素を含む画素グループｇ₁₂（図４−１参照）の画素グループ代表値がＡ₀に対応している。

また、画素グループ代表値算出部４１は、代表画素グループ群選択部３２から水平相関画素グループ群のインデックス値“１”が入力された場合には、次式（１１）〜（１５）に従って画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄を算出する。ここで、注目画素を含む画素グループｇ₂₂（図４−２参照）の画素グループ代表値がＡ₀に対応している。

また、画素グループ代表値算出部４１は、代表画素グループ群選択部３２から左斜相関画素グループ群のインデックス値“２”が入力された場合には、次式（１６）〜（２０）に従って画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄を算出する。ここで、注目画素を含む画素グループｇ₃₂（図４−３参照）の画素グループ代表値がＡ₀に対応している。

また、画素グループ代表値算出部４１は、代表画素グループ群選択部３２から右斜相関画素グループ群のインデックス値“３”が入力された場合には、次式（２１）〜（２５）に従って画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄を算出する。ここで、注目画素を含む画素グループｇ₄₂（図４−４参照）の画素グループ代表値がＡ₀に対応している。

また、画素グループ代表値算出部４１は、代表画素グループ群選択部３２から等方相関画素グループ群のインデックス値“４”が入力された場合には、次式（２６）〜（３０）に従って画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄を算出する。ここで、注目画素を含む画素グループｇ₅₂（図４−５参照）の画素グループ代表値がＡ₀に対応している。

以上のようにして算出された各画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄は、画素グループ代表値類似度算出部４３に出力される。

画素グループ代表値類似度算出部４３は、画素グループ代表値算出部４１から入力された各画素グループの画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄をもとに、先ず、画素グループ代表値類似度を算出する。具体的には、次式（３１）に従って、注目画素を含む画素グループ（ｎ＝０）の画素グループ代表値（Ａ₀）との差分絶対値を画素グループ毎に算出し、画素グループ代表値類似度ＳＧ_nとする。
ＳＧ_n＝｜Ａ_n−Ａ₀｜ ・・・（３１）
（ただしｎ＝０，１，２，３，４）

続いて、画素グループ代表値類似度算出部４３は、算出した画素グループ代表値類似度ＳＧ_nをもとに、次式（３２）に従って処理画素領域内の各画素に画素グループ類似度ＳＧ_x+i,y+jを設定する。この結果、同一の画素グループｎに属する画素に対してはその画素グループｎについて算出した画素グループ代表値類似度ＳＧ_nの値が一律に設定される。画素毎に設定された画素グループ類似度ＳＧ_x+i,y+jは、フィルタ係数算出部２５に出力される。

画素値類似度算出部２４は、画素抽出部２１から入力された処理画素領域を構成する各画素の画素値Ｐ_x+i,y+jをもとに、各画素の画素値類似度ＳＰ_x+i,y+jを算出する。例えば、各画素の画素値類似度ＳＰ_x+i,y+jを、注目画素Ｐ_x,yとの画素値の差分の絶対値として算出する。この画素値類似度ＳＰ_x+i,y+jは次式（３３）によって表される。算出された各画素の画素値類似度ＳＰ_x+i,y+jは、フィルタ係数算出部２５に出力される。
ＳＰ_x+i,y+j＝｜Ｐ_x+i,y+j−Ｐ_x,y｜ ・・・（３３）
（ただし、ｉ＝−２，−１，０，１，２；ｊ＝−２，−１，０，１，２）

フィルタ係数算出部２５は、画素グループ代表値類似度算出部４３から入力された画素グループ類似度ＳＧ_x+i,y+jと画素値類似度算出部２４から入力された画素値類似度ＳＰ_x+i,y+jとをもとに、処理画素領域内の各画素に適用するフィルタ係数を算出する。具体的には、制御部１６から処理パラメータの値として通知されるノイズ低減量に関するσ_g値およびσ_p値を用い、ガウス関数や有理関数等に従ってフィルタ係数を算出する。ここでは、代表的な平滑化フィルタとして知られる公知のバイラテラルフィルタを後述の平滑化処理で利用することとし、フィルタ係数をガウス関数を用いて重み算出する。

この場合には、画素グループ類似度ＳＧ_x+i,y+jおよび画素値類似度ＳＰ_x+i,y+jをそれぞれガウス関数値の重みとし、次式（３４）に従ってフィルタ係数Ｃ_x+i,y+jを算出する。算出されたフィルタ係数Ｃ_x+i,y+jは、平滑化処理部２６に出力される。ここで、Ｗｇ_x+i,y+jは、画素グループ類似度が低いほど値が小さく算出される第１の関数値であり、Ｗｐ_x+i,y+jは、画素値類似度が低いほど値が小さく算出される第２の関数値である。

ここで、σ_g値およびσ_p値は、制御部１６がユーザ操作に従って設定し、フィルタ係数算出部２５に通知する構成としてもよいし、ＩＳＯ感度や信号ゲイン量をもとに制御部１６が自動的に決定し、フィルタ係数算出部２５に通知する構成としてもよい。実施の形態１では、ユーザによるノイズ低減量の強／弱の選択操作を受け付ける。そして、制御部１６が、選択されたノイズ低減量の強弱に応じてσ_g値およびσ_p値を設定し、フィルタ係数算出部２５に通知する。

図１１は、ゲイン量またはＩＳＯ感度の値に応じて定まるσ_g値をグラフ化した図である。そして、図１１中において、ユーザによってノイズ低減量が「強」として選択された場合のゲイン量またはＩＳＯ感度とσ_g値との対応関係を実線で示し、ユーザによってノイズ低減量が「弱」として選択された場合のゲイン量またはＩＳＯ感度とσ_g値との対応関係を一点鎖線で示している。

また、図１２は、ゲイン量またはＩＳＯ感度の値に応じて定まるσ_p値をグラフ化した図である。そして、図１２中において、ユーザによってノイズ低減量が「強」として選択された場合のゲイン量またはＩＳＯ感度とσ_p値との対応関係を実線で示し、ユーザによってノイズ低減量が「弱」として選択された場合のゲイン量またはＩＳＯ感度とσ_p値との対応関係を一点鎖線で示している。

図１１および図１２に示すように、σ_g値およびσ_p値は、ゲイン量やＩＳＯ感度が増大するにつれて大きくなるように設定される。ゲイン量やＩＳＯ感度が増大するとノイズ量が増加するが、σ値が小さいまま固定することとすると、ノイズに伴う画素値の変化によってフィルタ係数が必要以上に小さくなる場合がある。このような場合に平滑化に寄与する画素数が確保できない事態を防止するため、図１１および図１２に示すような設定を行う。なお、ガウス関数値であるＷｇ_x+i,y+jおよびＷｐ_x+i,y+jを回路で計算するのはコストがかかる。このため、予め複数のσ_p値およびσ_g値毎にガウス関数値を設定した不図示のＬＵＴを用意しておく構成としてもよい。そして、制御部１６から通知されたσ_g値に応じたＬＵＴを参照して画素グループ類似度ＳＧ_x+i,y+jに対応するガウス関数値を読み出してＷｇ_x+i,y+jを得るとともに、通知されたσ_p値に応じたＬＵＴを参照して画素値類似度ＳＰ_x+i,y+jに対応するガウス関数値を読み出してＷｐ_x+i,y+jを得て、フィルタ係数Ｃ_x+i,y+jを算出することとしてもよい。

平滑化処理部２６は、画素抽出部２１から入力された処理画素領域内の各画素の画素値と、フィルタ係数算出部２５から入力されたフィルタ係数Ｃ_x+i,y+jとをもとに注目画素を平滑化処理する。具体的には、次式（３８）に従って、注目画素の画素値Ｐ_x,yを平滑化処理した平滑化画素値Ｐｆ_x,yを得る。得られた平滑化画素値Ｐｆ_x,yは、ＷＢ処理部１５３に出力される。

背景技術で上記したように、従来のバイラテラルフィルタでは、画素値差の絶対値および相対的な空間距離の２つの画素値相関をパラメータとして用い、これらのパラメータで重み付けしたガウス関数値の積によってフィルタ係数を算出していた。

ここで、空間距離を用いてガウス関数値を重み付けし、フィルタ係数を算出するということは、注目画素とその周辺画素との画素値相関が、空間距離が遠くなるにつれて等方的に低下していくという仮定を適用することである。しかしながら、画素値が非等方的に変化する微細構造を有する処理画素領域に前述の仮定を適用し、空間距離を用いた等方的な平滑化処理を行うと、その処理画素領域の非等方的な微細構造を潰す方向でフィルタが作用することになり、微細構造を保存できない。

なお、従来のバイラテラルフィルタでは、画素値差の絶対値によって重み付けしたガウス関数値が空間距離による重み付けの作用を軽減しており、大きく急峻なエッジ部分を鈍らせることなく保存することができる。また、画素値差の小さい微細構造を保存するため、画素値類似度ＳＰ_x+i,y+jを鋭敏化するようにパラメータを調整（すなわちσ_p値を小さく）していた。しかしながら実際には、ノイズ低減効果が著しく低下し、微細構造とともにノイズを残してしまうという問題があった。すなわち、ノイズ低減レベルによって定まる平滑化対象のノイズ量（ノイズの平均振幅）に対して十分に大きなエッジは保存できるが、微細構造のように画素値の変化が小さくその値と前述のノイズ量との差が小さくなると、エッジ（すなわち微細構造）を保存できなくなる。

これに対し、実施の形態１では、画素値差が大きなエッジの保存に大きく寄与する画素値類似度ＳＰ_x+i,y+jと画素値差が小さな微細構造の保存に大きく寄与する画素グループ類似度ＳＧx_+i,y+jとの２つのパラメータの値を用いてフィルタ係数を算出し、このフィルタ係数を用いて注目画素を平滑化処理することができる。

すなわち、実施の形態１では、バイラテラルフィルタで用いる２つのパラメータのうちの一方のパラメータとして、画素値類似度ＳＰ_x+i,y+jを用いる。これは、従来のバイラテラルフィルタで用いていた注目画素とその周辺画素との画素値差の絶対値に相当する。これによって、急峻で大きなエッジを保存できる。

具体的には、処理画素領域内の各画素について注目画素との差分絶対値を画素値類似度ＳＰ_x+i,y+jとして算出することとした。したがって、処理画素領域内の急峻なエッジを低コストで高速に、且つ精度良く保存することができる。

一方、他方のパラメータとして、従来は、注目画素とその周辺画素との相対的な空間距離を用いていたが、実施の形態１では、この空間距離にかえて、画素グループ類似度ＳＧx_+i,y+jを用いる。すなわち、従来のバイラテラルフィルタでは、相対的な空間距離に基づく等方的な重み付けを行ってガウス関数値を算出していたのに対し、実施の形態１では、処理画素領域内の画素値分布をもとにこの処理画素領域内をグループ化することで得た画素グループ類似度ＳＧx_+i,y+jを用い、非等方的な重み付けを行ってガウス関数値を算出する。

より詳細には、処理画素領域に含まれる方向性を持った構造あるいは処理画素領域に含まれる規則性を持った構造に合致するような画素グループ群を予め用意される画素グループ群の候補の中から選択することによって、処理画素領域内を画素値が類似する画素毎の小領域に区分し、画素グループを形成することとした。したがって、処理画素領域内の各画素を、この処理画素領域内の特定方向に低周波成分を持つ微細構造に応じてグループ化することができる。

そして、各画素グループに属する画素値をもとに、画素グループ毎に画素グループ類似度ＳＧx_+i,y+jを算出することとした。したがって、処理画素領域内の微細構造の方向性や規則性を反映させた値として画素グループ類似度ＳＧx_+i,y+jを得ることができる。そして、同一の画素グループに属する画素にはそれぞれ同一のパラメータ（すなわち画素グループ類似度ＳＧx_+i,y+j）を与え、ガウス関数値を重み算出することとした。したがって、画素グループ類似度ＳＧ_x+i,y+jによって各区分パターンに適合するような特定方向に低周波成分を持つ微細構造を保存でき、画素値類似度ＳＰ_x+i,y+jによって高周波成分を持った急峻なエッジを保存できる。例えば、画素グループ類似度ＳＧ_x+i,y+jおよび画素値類似度ＳＰ_x+i,y+jがともに高い場合には重点的に大きな重みを設定できる。これによれば、従来の空間距離を用いた場合のような均等で方向性のない重み付けと異なり、処理画素領域内の画像の構造に適応した（処理画素領域内の画像の構造の方向性や規則性に依存した）重み付けが実現できる。これによって、微細構造（微細なエッジ）の保存が可能となる。

実際には、画素グループ類似度ＳＧ_x+i,y+jを重みとして第１の関数値であるガウス関数値を算出する。そして、画素値類似度ＳＰ_x+i,y+jを重みとして第２の関数値であるガウス関数値を算出し、算出した各ガウス関数値を乗算することによってフィルタ係数を算出することとした。

また、実施の形態１では、処理画素領域内を各候補の画素グループ群に区分した際の画素グループ群代表類似度を算出するが、このとき、各候補の画素グループ毎にこれら画素グループに属する隣接画素間の差分絶対値を算出し、算出した隣接画素間の差分絶対値の総和によって画素グループ群代表類似度を算出することとした。そして、算出した候補毎の画素グループ群代表類似度の中から値が最も小さい画素グループ群代表類似度の画素グループ群を代表画素グループ群として選択することとした。したがって、処理画素領域の画素値分布に適合した代表画素グループ群を低コストで高速に選択することができる。

また、処理画素領域について形成した各画素グループの画素グループ代表値をそれぞれ算出することとした。そして、注目画素を含む画素グループの画素グループ代表値との差分絶対値を画素グループ毎に算出し、これら各画素グループに属する画素に対し、得られた画素グループ代表値類似度を画素グループ類似度として設定することとした。したがって、画素グループ代表値や画素グループ類似度の各値を低コストで高速に算出できる。

以上説明したように、実施の形態１によれば、画像の微細構造を潰さずに保存しつつ高精度にノイズを低減でき、ノイズ低減効果を向上させることができるという効果を奏する。したがって、大きく急峻なエッジから微細構造までを含めて保存が可能で、且つ十分なノイズ低減効果を安定的に実現することができ、主観画質を向上させることが可能となる。

なお、上記した実施の形態１では、平滑処理部２６による平滑化処理後の平滑化画素値をＷＢ処理部１５３に出力する構成とした。これに対し、例えば上記した特許文献２に開示されている技術を適用することとしてもよい。すなわち、平滑化処理後の平滑化画素値をもとに新たな平滑化画素値を算出し、算出した新たな平滑化画素値をＷＢ処理部１５３に出力する構成としてもよい。

具体的には、輝度レベルに応じて発生するノイズ量を推定するためのノイズモデルテーブルを予め記録部１４に記録しておく。そして、平滑化処理の結果得られた平滑化画素値Ｐｆ_x,yを輝度レベルとしてノイズモデルテーブルを参照し、ノイズ量Ｎｑの推定を行う。そして、平滑化画素値Ｐｆ_x,yを基準レベルとし、推定ノイズ量Ｎｑをコアリング処理の幅として注目画素の画素値Ｐ_x,yに対してコアリング処理を行う。そしてこのコアリング処理の結果得た新たな平滑化画素値Ｐｆ´_x,yをＷＢ処理部１５３に出力することとしてもよい。具体的には、次式（３９）〜（４１）に従ってコアリング処理を実現する。
｜Ｐｆ_x,y−Ｐ_x,y｜≦ＮｑならばＰｆ´_x,y＝Ｐｆ_x,y ・・・（３９）
Ｐ_x,y−Ｐｆ_x,y＞ＮｑならばＰｆ´_x,y＝Ｐ_x,y−Ｎｑ ・・・（４０）
Ｐｆ_x,y−Ｐ_x,y＞ＮｑならばＰｆ´_x,y＝Ｐ_x,y＋Ｎｑ ・・・（４１）

本変形例によれば、平滑化画素値Ｐｆ_x,yを用いることでノイズ量の推定精度を向上させることができるので、画像の微細構造をより高精度に保存することができ、ノイズ低減効果を向上させることができる。

また、上記した実施の形態１では、図４−１〜５に示した５通りの区分パターンを予め用意し、各区分パターンに従って区分した５通りの画素グループ群を候補として用いることとしたが、区分パターンは例示したものに限定されるものではない。例えば、市松模様の微細構造を想定した区分パターンを設定する等、予め想定し得る処理画素領域内の微細構造（画素値分布）に応じた区分パターンを適宜設定しておくことができる。

また、上記した実施の形態１では、撮像部１１として３板構成の撮像素子を用いた場合を例示したが、撮像部の構成をモノクロの撮像素子を用いた単板構成としてもよい。本構成によれば、例えば、照明光がＲＧＢ３チャンネルの波長帯域で時系列で面順次に切り替えられる内視鏡に上記した撮像システム１を適用することができる。

また、実施の形態１では、撮像部１１を備えた撮像システム１について説明したが、撮像装置を具備しない画像処理装置に適用し、別個の撮像装置で撮像された画像データを外部入力する構成としてもよい。例えば、画像データを可搬型の記録媒体を経由して、あるいは通信接続される外部機器から外部入力し、この画像データを画像処理する画像処理装置に適用することができる。

また、実施の形態１では、画像処理部１５を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、各部が行う処理をＣＰＵが行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

この場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理部１５の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。

図１３は、本変形例のコンピュータシステム１０００の構成を示すシステム構成図であり、図１４は、このコンピュータシステム１０００における本体部１０１０の構成を示すブロック図である。図１３に示すように、コンピュータシステム１０００は、本体部１０１０と、本体部１０１０からの指示によって表示画面１０２１に画像等の情報を表示するためのディスプレイ１０２０と、このコンピュータシステム１０００に種々の情報を入力するためのキーボード１０３０と、ディスプレイ１０２０の表示画面１０２１上の任意の位置を指定するためのマウス１０４０とを備える。

また、このコンピュータシステム１０００における本体部１０１０は、図１４に示すように、ＣＰＵ１０１１と、ＲＡＭ１０１２と、ＲＯＭ１０１３と、ハードディスクドライブ（ＨＤＤ）１０１４と、ＣＤ−ＲＯＭ１０６０を受け入れるＣＤ−ＲＯＭドライブ１０１５と、ＵＳＢメモリ１０７０を着脱可能に接続するＵＳＢポート１０１６と、ディスプレイ１０２０、キーボード１０３０およびマウス１０４０を接続するＩ／Ｏインターフェース１０１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース１０１８とを備える。

さらに、このコンピュータシステム１０００には、インターネット等の公衆回線Ｎ３に接続するためのモデム１０５０が接続されるとともに、ＬＡＮインターフェース１０１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）１０８１、サーバ１０８２、プリンタ１０８３等が接続される。

そして、このコンピュータシステム１０００は、所定の記録媒体に記録された画像処理プログラム（例えば図１５や図１６を参照して後述する処理手順を実現するための画像処理プログラム）を読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ１０６０やＵＳＢメモリ１０７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム１０００の内外に備えられるＨＤＤ１０１４やＲＡＭ１０１２、ＲＯＭ１０１３等の「固定用の物理媒体」、モデム１０５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）１０８１またはサーバ１０８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」等、コンピュータシステム１０００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。

すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム１０００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム１０００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）１０８１またはサーバ１０８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。

図１５は、本変形例においてコンピュータシステム１０００のＣＰＵ１０１１が行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、ＣＰＵ１０１１が上記した所定の記録媒体に記録された画像処理プログラムを実行することにより実現される。

図１５に示すように、先ず、３板式の撮像素子で構成される撮像装置で撮影されたＲＡＷ画像データを例えば可搬型の記録媒体を経由して、あるいは通信接続される外部機器から取得（入力）する（ステップＳ１）。このとき、複数のフレームで構成されるＲＡＷ画像を取得し、入力部１２の操作によってユーザが指定した処理フレーム分のＲＡＷ画像を処理対象とする構成としてもよい。この場合には、各フレームを順次１枚ずつ取得する。

そして、ステップＳ１で取得したＲＡＷ画像に対し、ステップＳ３〜ステップＳ２１の各処理を行う。すなわち先ず、ＲＡＷ画像にＯＢクランプ処理を施す（ステップＳ３）。続いて、ＯＢクランプ処理後のＲＡＷ画像にＡＧＣ処理を施す（ステップＳ５）。続いて、ＡＧＣ処理後のＲＡＷ画像にノイズ低減処理を施す（ステップＳ７）。続いて、ノイズ低減処理後のＲＡＷ画像にホワイトバランス補正処理を施す（ステップＳ９）。続いて、ホワイトバランス補正処理後のＲＡＷ画像に色変換処理を施す（ステップＳ１１）。続いて、色変換処理後のＲＡＷ画像に階調変換処理を施す（ステップＳ１３）。続いて、階調変換処理後のＲＡＷ画像にＹＣ分離処理を施す（ステップＳ１５）。続いて、ＹＣ分離処理後のＲＡＷ画像にエッジ強調処理を施す（ステップＳ１７）。そして、エッジ強調処理後のＲＡＷ画像に圧縮処理を施し（ステップＳ１９）、圧縮処理後の画像データを所定の記録媒体に書き込んで記録処理する（ステップＳ２１）。

その後、未処理のＲＡＷ画像がある場合には（ステップＳ２３：Ｙｅｓ）、ステップＳ１に戻り、未処理のＲＡＷ画像を対象にステップＳ３〜ステップＳ２１の処理を行う。一方、未処理のＲＡＷ画像がなければ（ステップＳ２３：Ｎｏ）、本処理を終える。

次に、ステップＳ７のノイズ低減処理について説明する。図１６は、ノイズ低減処理の詳細な処理手順を示すフローチャートである。図１６に示すように、ノイズ低減処理では、先ず、注目画素をノイズ低減処理する際に参照する注目画素を含む処理画素領域を抽出する（ステップＳ７０１）。続いて、ステップＳ７０１で抽出した処理画素領域内を、予め複数通り用意される各候補の画素グループ群に区分した際の画素グループ群代表類似度をそれぞれ算出する（ステップＳ７０３）。そして、算出した各候補の画素グループ群代表類似度をもとに、代表画素グループ群を選択する（ステップＳ７０５）。

続いて、ステップＳ７０１で抽出した処理画素領域内の各画素の画素値をもとに、ステップＳ７０５で選択した代表画素グループ群に応じて各画素グループの画素グループ代表値を算出する（ステップＳ７０７）。続いて、算出した各画素グループの画素グループ代表値をもとに、画素グループ代表値類似度を算出する（ステップＳ７０９）。そして、算出した画素グループ代表値類似度をもとに、処理画素領域内の各画素に画素グループ類似度を設定する（ステップＳ７１１）。

また、ステップＳ７０１で抽出した処理画素領域内の各画素の画素値をもとに、各画素の画素値類似度を算出する（ステップＳ７１３）。

そして、ステップＳ７１１で処理画素領域内の各画素に設定した画素グループ類似度とステップＳ７１３で処理画素領域内の画素毎に算出した画素値類似度とをもとに、処理画素領域内の各画素に適用するフィルタ係数を算出する（ステップＳ７１５）。そして、算出したフィルタ係数を用いて注目画素を平滑化処理する（ステップＳ７１７）。

その後、未処理の画素がある場合には（ステップＳ７１９：Ｙｅｓ）、ステップＳ７０１に戻り、未処理の画素を注目画素としてステップＳ７０１〜ステップＳ７１７の処理を行う。一方、未処理の画素がなければ（ステップＳ７１９：Ｎｏ）、本処理を終える。

（実施の形態２）
次に、実施の形態２について説明する。図１７は、実施の形態２における撮像システム１ｂの全体構成例を示すブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図１７に示すように、実施の形態２の撮像システム１ｂは、撮像部１１ｂと、入力部１２と、表示部１３と、記録部１４ｂと、画像処理部１５ｂと、これら各部の動作を制御する制御部１６ｂとを備える。

実施の形態２では、撮像部１１ｂは、撮影用レンズや単板式の撮像素子等で構成されるデジタルカメラまたはデジタルビデオカメラで構成され、１画素当たり１チャンネルの信号を出力する。単板式の撮像素子は、例えばモノクロの撮像素子上にＲＧＢの各色の原色フィルタを市松模様状にベイヤー配列したものである。

図１８は、ＲＧＢ各色の原色フィルタの配列例を示す図である。図１８に示すような原色フィルタを具備した単板式の撮像素子を用いる場合には、近傍の画素値を利用することで不足するＲ，Ｇ，Ｂ成分を補間する。なお、図１８では、Ｒチャンネルと水平方向に隣接するＧチャンネルをＧ_rと表記し、Ｂチャンネルと水平方向に隣接するＧチャンネルをＧ_bと表記しているが、実施の形態２では、Ｇ_rとＧ_bとを別個のチャンネルとして扱う。すなわち、撮像部１１ｂは、１画素当たりＲチャンネル、Ｇ_rチャンネル、Ｇ_bチャンネルおよびＢチャンネルのいずれか１チャンネルの信号を出力する。

また、記録部１４ｂには、撮像システム１ｂを動作させ、この撮像システム１ｂが備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記録される。また、撮像部１１ｂによって撮像された画像データが記録される。

そして、画像処理部１５ｂは、ＯＢ／ＡＧＣ処理部１５１と、ノイズ低減処理部２０ｂと、ＷＢ処理部１５３と、補間処理部１５９ｂと、色変換処理部１５４と、階調変換処理部１５５と、ＹＣ分離処理部１５６と、エッジ強調処理部１５７と、データ圧縮記録処理部１５８とを備える。

ここで、補間処理部１５９ｂは、ＷＢ処理部１５３から入力された画像データに対して補間処理を施す。具体的には、補間処理部１５９ｂは、１画素当たり１チャンネルの信号を１画素当たりＲＧＢ３チャンネルに同時化する。処理後のＲＧＢ各色の画像データは、色変換処理部１５４に出力される。

次に、実施の形態２のノイズ低減処理部２０ｂについて説明する。図１９は、ノイズ低減処理部２０ｂの構成例を示すブロック図である。

図１９に示すように、ノイズ低減処理部２０ｂは、画素抽出部２１ｂと、同一チャンネル信号選択部２７ｂと、画素グループ形成部３０ｂと、画素グループ類似度算出部４０ｂと、画素値類似度算出部２４ｂと、フィルタ係数算出部２５ｂと、平滑化処理部２６ｂとを備える。

ＯＢ／ＡＧＣ処理部１５１からの画像データは、画素抽出部２１ｂに入力される。画素抽出部２１ｂは、各画素を順番に処理対象とし、処理対象の画素である注目画素をノイズ低減処理する際に参照する処理画素領域を抽出する。実施の形態２では、ノイズ低減処理に際し、実施の形態１と同様に注目画素を中心とした５×５画素を参照する。このため、画素抽出部２１ｂは、注目画素を中心として注目画素と同一チャンネルの５×５画素を含むように、注目画素を中心とした９×９の画素領域を処理画素領域として抽出する。抽出された処理画素領域は、同一チャンネル信号選択部２７ｂに出力される。

同一チャンネル信号選択部２７ｂは、画素抽出部２１ｂによって抽出された処理画素領域の中から、注目画素およびこの注目画素と同一チャンネルの２５個の画素を選択する。チャンネルが同一である画素の配置は図１８に示した原色フィルタの配列によって定まる。図２０は、画素抽出部２１ｂによって抽出される処理画素領域の一例を示す図であり、図２０中において、同一チャンネル信号選択部２７ｂによって選択される注目画素およびこの注目画素と同一チャンネルの２５画素にハッチングを付して示している。ここで、図２０中に示すように、選択される注目画素およびこの注目画素と同一チャンネルの２５画素の画素値をＰ_x+i,y+j（ｉ＝−４，−２，０，２，４；ｊ＝−４，−２，０，２，４）と定義する。ｘ，ｙは、画像データ中での注目画素の水平座標（ｘ座標）および垂直座標（ｙ座標）を示す。また、ｉ，ｊは、抽出された処理画素領域中での各画素の水平方向の相対座標（ｉ）および垂直方向の相対座標（ｊ）を示す。

以上のようにして選択された注目画素およびこの注目画素と同一チャンネルの２５画素の画素値（Ｐ_x+i,y+jの各値）は、画素グループ形成部３０ｂの画素グループ群代表類似度算出部３１ｂおよび画素値類似度算出部２４ｂにそれぞれ出力される。

画素グループ形成部３０ｂは、同一チャンネル信号選択部２７ｂから入力された２５画素の画素値Ｐ_x+i,y+jをもとに画素グループを形成する。画素グループの形成方法は実施の形態１と同様に実現できるが、実施の形態２では、画素抽出部２１ｂが抽出した９×９の処理画素領域の中から同一チャンネル信号選択部２７ｂが選択した注目画素を含む２５画素（以下、「選択画素」と呼ぶ。）を対象に処理を行い、画素グループを形成する。

図２１−１〜５は、実施の形態２で候補とする５通りの画素グループ群の一例を示す図である。なお、各図２１−１〜５において、ハッチングの種類によって同一の画素グループに属する選択画素を識別して示している。

すなわち、図２１−１に示すように、処理画素領域内の選択画素を列方向の５画素毎に区分した５つの画素グループｇ_{10_2}〜ｇ_{14_2}で構成される垂直相関画素グループ群を１つ目の候補とする。また、図２１−２に示すように、処理画素領域内の選択画素を行方向の５画素毎に区分した５つの画素グループｇ_{20_2}〜ｇ_{24_2}で構成される水平相関画素グループ群を２つ目の候補とする。また、図２１−３に示すように、処理画素領域内の選択画素を左上がりの斜め方向に沿って区分した５つの画素グループｇ_{30_2}〜ｇ_{34_2}で構成される左斜相関画素グループ群を３つ目の候補とする。また、図２１−４に示すように、処理画素領域内の選択画素を右上がりの斜め方向に沿って区分した５つの画素グループｇ_{40_2}〜ｇ_{44_2}で構成される右斜相関画素グループ群を４つ目の候補とする。そして、図２１−５に示すように、各画素グループを構成する画素がそれぞれ中央の注目画素を中心として点対称となるように、処理画素領域内の選択画素を５つの画素グループｇ_{50_2}〜ｇ_{54_2}に区分した等方相関画素グループ群を５つ目の候補とする。

実際には、図１９に示すように、画素グループ形成部３０ｂは、実施の形態１と同様に、画素グループ群代表類似度算出部３１ｂと、代表画素グループ群選択部３２とを備え、各部の処理によって画素グループを形成する（代表画素グループ群を選択する）。

先ず、画素グループ群代表類似度算出部３１ｂが、処理画素領域内を各候補の画素グループ群に区分した際の画素グループ群代表類似度をそれぞれ算出する。なお、図示しないが、画素グループ群代表類似度算出部３１ｂは、実施の形態１の画素グループ群代表類似度算出部３１（図５を参照）と同様に、垂直相関画素グループ群代表類似度算出部と、水平相関画素グループ群代表類似度算出部と、左斜相関画素グループ群代表類似度算出部と、右斜相関画素グループ群代表類似度算出部と、等方相関画素グループ群代表類似度算出部とを備える。

そして、実施の形態２では、垂直相関画素グループ群代表類似度算出部は、処理画素領域内の選択画素を垂直相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｖを算出する。図２２は、実施の形態２における画素グループ群代表類似度ＳＧｖの算出原理を説明する説明図である。なお、図２２中において、処理画素領域中の選択画素にハッチングを付して示している。垂直相関画素グループ群代表類似度算出部３１１は、図２２中に矢印ａ１１で示すように、垂直方向に隣接する選択画素間で例えば画素値の差分絶対値を隣接画素類似度として算出し、その総和を画素グループ群代表類似度ＳＧｖとする。この画素グループ群代表類似度ＳＧｖの算出式は、次式（４２）で表される。
ＳＧｖ＝｜Ｐ_x-4,y-2−Ｐ_x-4,y｜＋｜Ｐ_x-4,y−Ｐ_x-4,y+2｜＋｜Ｐ_x-2,y-4−Ｐ_x-2,y-2｜
＋｜Ｐ_x-2,y-2−Ｐ_x-2,y｜＋｜Ｐ_x-2,y−Ｐ_x-2,y+2｜＋｜Ｐ_x-2,y+2−Ｐ_x-2,y+4｜
＋｜Ｐ_x,y-4−Ｐ_x,y-2｜＋｜Ｐ_x,y-2−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x,y+2｜
＋｜Ｐ_x,y+2−Ｐ_x,y+4｜＋｜Ｐ_x+2,y-4−Ｐ_x+2,y-2｜＋｜Ｐ_x+2,y-2−Ｐ_x+2,y｜
＋｜Ｐ_x+2,y−Ｐ_x+2,y+2｜＋｜Ｐ_x+2,y+2−Ｐ_x+2,y+4｜＋｜Ｐ_x+4,y-2−Ｐ_x+4,y｜
＋｜Ｐ_x+4,y−Ｐ_x+4,y+2｜ ・・・（４２）

また、水平相関画素グループ群代表類似度算出部は、処理画素領域内の選択画素を水平相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｈを算出する。図２３は、実施の形態２における画素グループ群代表類似度ＳＧｈの算出原理を説明する説明図である。なお、図２３中において、処理画素領域中の選択画素にハッチングを付して示している。水平相関画素グループ群代表類似度算出部３１２は、図２３中に矢印ａ１２で示すように、水平方向に隣接する選択画素間で例えば画素値の差分絶対値を隣接画素類似度として算出し、その総和を画素グループ群代表類似度ＳＧｈとする。この画素グループ群代表類似度ＳＧｈの算出式は、次式（４３）で表される。
ＳＧｈ＝｜Ｐ_x-2,y-4−Ｐ_x,y-4｜＋｜Ｐ_x,y-4−Ｐ_x+2,y-4｜＋｜Ｐ_x-4,y-2−Ｐ_x-2,y-2｜
＋｜Ｐ_x-2,y-2−Ｐ_x,y-2｜＋｜Ｐ_x,y-2−Ｐ_x+2,y-2｜＋｜Ｐ_x+2,y-2−Ｐ_x+4,y-2｜
＋｜Ｐ_x-4,y−Ｐ_x-2,y｜＋｜Ｐ_x-2,y−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x+2,y｜
＋｜Ｐ_x+2,y−Ｐ_x+4,y｜＋｜Ｐ_x-4,y+2−Ｐ_x-2,y+2｜＋｜Ｐ_x-2,y+2-Ｐ_x,y+2｜
＋｜Ｐ_x,y+2−Ｐ_x+2,y+2｜＋｜Ｐ_x+2,y+2-Ｐ_x+4,y+2｜＋｜Ｐ_x-2,y+4−Ｐ_x,y+4｜
＋｜Ｐ_x,y+4-Ｐ_x+2,y+4｜ ・・・（４３）

また、左斜相関画素グループ群代表類似度算出部は、処理画素領域内の選択画素を左斜相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｂを算出する。図２４は、実施の形態２における画素グループ群代表類似度ＳＧｂの算出原理を説明する説明図である。なお、図２４中において、処理画素領域中の選択画素にハッチングを付して示している。左斜相関画素グループ群代表類似度算出部３１３は、図２４中に矢印ａ１３で示すように、左上がりの斜め方向に隣接する選択画素間で例えば画素値の差分絶対値を隣接画素類似度として算出し、その総和を画素グループ群代表類似度ＳＧｂとする。この画素グループ群代表類似度ＳＧｂの算出式は、次式（４４）で表される。
ＳＧｂ＝｜Ｐ_x+2,y-4−Ｐ_x+4,y-2｜＋｜Ｐ_x,y-4−Ｐ_x+2,y-2｜＋｜Ｐ_x+2,y-2−Ｐ_x+4,y｜
＋｜Ｐ_x-2,y-4−Ｐ_x,y-2｜＋｜Ｐ_x,y-2−Ｐ_x+2,y｜＋｜Ｐ_x+2,y−Ｐ_x+4,y+2｜
＋｜Ｐ_x-4,y-4−Ｐ_x-2,y-2｜＋｜Ｐ_x-2,y-2−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x+2,y+2｜
＋｜Ｐ_x+2,y+2−Ｐ_x+4,y+4｜＋｜Ｐ_x-4,y-2−Ｐ_x-2,y｜＋｜Ｐ_x-2,y−Ｐ_x,y+2｜
＋｜Ｐ_x,y+2−Ｐ_x+2,y+4｜＋｜Ｐ_x-4,y−Ｐ_x-2,y+2｜＋｜Ｐ_x-2,y+2−Ｐ_x,y+4｜
＋｜Ｐ_x-4,y+2−Ｐ_x-2,y+4｜ ・・・（４４）

また、右斜相関画素グループ群代表類似度算出部は、処理画素領域内の選択画素を右斜相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｓを算出する。図２５は、実施の形態２における画素グループ群代表類似度ＳＧｓの算出原理を説明する説明図である。なお、図２５中において、処理画素領域中の選択画素にハッチングを付して示している。右斜相関画素グループ群代表類似度算出部３１４は、図２５中に矢印ａ１４で示すように、右上がりの斜め方向に隣接する選択画素間で例えば画素値の差分絶対値を隣接画素類似度として算出し、その総和を画素グループ群代表類似度ＳＧｓとする。この画素グループ群代表類似度ＳＧｓの算出式は、次式（４５）で表される。
ＳＧｓ＝｜Ｐ_x-4,y-2−Ｐ_x-2,y-4｜＋｜Ｐ_x-4,y−Ｐ_x-2,y-2｜＋｜Ｐ_x-2,y-2−Ｐ_x,y-4｜
＋｜Ｐ_x-4,y+2−Ｐ_x-2,y｜＋｜Ｐ_x-2,y−Ｐ_x,y-2｜＋｜Ｐ_x,y-2−Ｐ_x+2,y-4｜
＋｜Ｐ_x-4,y+4−Ｐ_x-2,y+2｜＋｜Ｐ_x-2,y+2−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x+2,y-2｜
＋｜Ｐ_x+2,y-2−Ｐ_x+4,y-4｜＋｜Ｐ_x-2,y+4−Ｐ_x,y+2｜＋｜Ｐ_x,y+2−Ｐ_x+2,y｜
＋｜Ｐ_x+2,y−Ｐ_x+4,y-2｜＋｜Ｐ_x,y+4−Ｐ_x+2,y+2｜＋｜Ｐ_x+2,y+2−Ｐ_x+4,y｜
＋｜Ｐ_x+2,y+4−Ｐ_x+4,y+2｜ ・・・（４５）

また、等方相関画素グループ群代表類似度算出部は、処理画素領域内の選択画素を等方相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｅを算出する。図２６は、実施の形態２における画素グループ群代表類似度ＳＧｅの算出原理を説明する説明図である。なお、図２６中において、処理画素領域中の選択画素にハッチングを付して示している。等方相関画素グループ群代表類似度算出部３１５は、図２６中に矢印ａ１５で示すように、注目画素を中心として放射状に隣接する選択画素間で例えば画素値の差分絶対値を隣接画素類似度として算出し、その総和を画素グループ群代表類似度ＳＧｅとする。この画素グループ群代表類似度ＳＧｅの算出式は、次式（４６）で表される。
ＳＧｅ＝｜Ｐ_x-4,y+4−Ｐ_x-2,y+2｜＋｜Ｐ_x-2,y+2−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x+2,y-2｜
＋｜Ｐ_x+2,y-2−Ｐ_x+4,y-4｜＋｜Ｐ_x-4,y-4−Ｐ_x-2,y-2｜＋｜Ｐ_x-2,y-2−Ｐ_x,y｜
＋｜Ｐ_x,y−Ｐ_x+2,y+2｜＋｜Ｐ_x+2,y+2−Ｐ_x+4,y+4｜＋｜Ｐ_x,y-4−Ｐ_x,y-2｜
＋｜Ｐ_x,y-2−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x,y+2｜＋｜Ｐ_x,y+2−Ｐ_x,y+4｜
＋｜Ｐ_x-4,y−Ｐ_x-2,y｜＋｜Ｐ_x-2,y−Ｐ_x,y｜＋｜Ｐ_x,y−Ｐ_x+2,y｜
＋｜Ｐ_x+2,y−Ｐ_x+4,y｜ ・・・(４６)

以上のようにして算出された候補毎の５つの画素グループ群代表類似度ＳＧｖ，ＳＧｈ，ＳＧｂ，ＳＧｓ，ＳＧｅは、代表画素グループ群選択部３２に出力される。

代表画素グループ群選択部３２は、実施の形態１と同様の要領で、画素グループ群代表類似度算出部３１ｂから入力された５つの画素グループ群代表類似度ＳＧｖ，ＳＧｈ，ＳＧｂ，ＳＧｓ，ＳＧｅをもとに処理画素領域の画素値分布に最もマッチングしている区分パターンを判定し、代表画素グループ群を選択する。そして、代表画素グループ群選択部３２は、代表画素グループ群として選択した画素グループ群のインデックス値を画素グループ類似度算出部４０ｂに出力する。

画素グループ類似度算出部４０ｂは、図１９に示すように、画素グループ代表値算出部４１ｂと、画素グループ代表値類似度算出部４３とを備え、各部の処理によって、処理画素領域について形成された画素グループ間の類似度を算出する。

画素グループ代表値算出部４１ｂは、同一チャンネル信号選択部２７ｂから入力された２５画素の画素値Ｐ_x+i,y+jをもとに、処理画素領域について形成した各画素グループの画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄を算出する。画素グループ代表値の算出方法は実施の形態１と同様に実現できる。

例えば、画素グループ代表値算出部４１ｂは、代表画素グループ群選択部３２から垂直相関画素グループ群のインデックス値“０”が入力された場合には、次式（４７）〜（５１）に従って画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄を算出する。ここで、注目画素を含む画素グループｇ_{12_2}（図２１−１参照）の画素グループ代表値がＡ₀に対応している。

また、画素グループ代表値算出部４１ｂは、代表画素グループ群選択部３２から水平相関画素グループ群のインデックス値“１”が入力された場合には、次式（５２）〜（５６）に従って画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄を算出する。ここで、注目画素を含む画素グループｇ_{22_2}（図２１−２参照）の画素グループ代表値がＡ₀に対応している。

また、画素グループ代表値算出部４１ｂは、代表画素グループ群選択部３２から左斜相関画素グループ群のインデックス値“２”が入力された場合には、次式（５７）〜（６１）に従って画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄を算出する。ここで、注目画素を含む画素グループｇ_{32_2}（図２１−３参照）の画素グループ代表値がＡ₀に対応している。

また、画素グループ代表値算出部４１ｂは、代表画素グループ群選択部３２から右斜相関画素グループ群のインデックス値“３”が入力された場合には、次式（６２）〜（６６）に従って画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄を算出する。ここで、注目画素を含む画素グループｇ_{42_2}（図２１−４参照）の画素グループ代表値がＡ₀に対応している。

また、画素グループ代表値算出部４１ｂは、代表画素グループ群選択部３２から等方相関画素グループ群のインデックス値“４”が入力された場合には、次式（６７）〜（７１）に従って画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄を算出する。ここで、注目画素を含む画素グループｇ_{52_2}（図２１−５参照）の画素グループ代表値がＡ₀に対応している。

以上のようにして算出された各画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄は、画素グループ代表値類似度算出部４３に出力される。

画素グループ代表値類似度算出部４３は、実施の形態１と同様の要領で、先ず、画素グループ代表値算出部４１ｂから入力された各画素グループの画素グループ代表値Ａ₀，Ａ₁，Ａ₂，Ａ₃、Ａ₄をもとに、画素グループ代表値類似度ＳＧ_nを算出する。そして、画素グループ代表値類似度算出部４３は、実施の形態１と同様の要領で、算出した画素グループ代表値類似度ＳＧ_nをもとに、次式（７２）に従って処理画素領域内の各画素に画素グループ類似度ＳＧ_x+i,y+jを設定する。

また、画素値類似度算出部２４ｂは、同一チャンネル信号選択部２７ｂから入力された２５画素の画素値Ｐ_x+i,y+jをもとに、各画素の画素値類似度ＳＰ_x+i,y+jを算出する。例えば、各画素の画素値類似度ＳＰ_x+i,y+jを、注目画素Ｐ_x,yとの画素値の差分の絶対値として算出する。この画素値類似度ＳＰ_x+i,y+jは次式（７３）によって表される。算出された各画素の画素値類似度ＳＰ_x+i,y+jは、フィルタ係数算出部２５ｂに出力される。
ＳＰ_x+i,y+j＝｜Ｐ_x+i,y+j−Ｐ_x,y｜ ・・・（７３）
（ただし、ｉ＝−４，−２，０，２，４；ｊ＝−４，−２，０，２，４）

フィルタ係数算出部２５ｂは、画素グループ代表値類似度算出部４３から入力された画素グループ類似度ＳＧ_x+i,y+jと画素値類似度算出部２４ｂから入力された画素値類似度ＳＰ_x+i,y+jとをもとに、処理画素領域内の各画素に適用するフィルタ係数を算出する。具体的には、実施の形態１と同様の要領で、画素グループ類似度ＳＧ_x+i,y+jおよび画素値類似度ＳＰ_x+i,y+jをそれぞれガウス関数値の重みとし、次式（７４）に従ってフィルタ係数Ｃ_x+i,y+jを算出する。算出されたフィルタ係数Ｃ_x+i,y+jは、平滑化処理部２６ｂに出力される。

ここで、σ_g値およびσ_p値は、制御部１６ｂから処理パラメータの値として通知される値であり、実施の形態１と同様の要領で制御部１６ｂが設定し、フィルタ係数算出部２５ｂに通知する値である。

平滑化処理部２６ｂは、同一チャンネル信号選択部２７ｂから入力された２５画素の画素値Ｐ_x+i,y+jと、フィルタ係数算出部２５ｂから入力されたフィルタ係数Ｃ_x+i,y+jとをもとに注目画素を平滑化処理する。具体的には、次式（７８）に従って、注目画素の画素値Ｐ_x,yを平滑化処理した平滑化画素値Ｐｆ_x,yを得る。得られた平滑化画素値Ｐｆ_x,yは、ＷＢ処理部１５３に出力される。

以上説明した実施の形態２によれば、原色フィルタを用いた単板式の撮像素子等で撮像部１１ｂを構成した場合であっても、実施の形態１と同様の効果を奏することができ、画像の微細構造を潰さずに保存しつつ高精度にノイズを低減し、ノイズ低減効果を向上させることができる。

なお、実施の形態２の画像処理部１５ｂについても、実施の形態１と同様にハードウェアで構成する場合に限定されるものではなく、図１３や図１４に例示したようなコンピュータシステム１０００のＣＰＵ１０１１が画像処理プログラムを実行することによってソフトウェアとして実現することとしてもよい。

図２７は、本変形例においてＣＰＵ１０１１が行う処理手順を示す全体フローチャートである。なお、図２７において、実施の形態１と同様の処理工程には、同一の符号を付しており、説明は省略する。

図２７に示すように、本変形例では、ノイズ低減処理後のＲＡＷ画像に対してホワイトバランス補正処理を施した後（ステップＳ９）、続いて、補間処理を施す（ステップＳ１０）。そして、続くステップＳ１１では、補間処理後のＲＡＷ画像に色変換処理を施す。

（実施の形態３）
次に、実施の形態３について説明する。実施の形態３では、時系列に沿って画像を連続的に撮影して得た動画像を処理対象としている。

図２８は、実施の形態３の撮像システムが備える画像処理部のノイズ低減処理部２０ｃの構成例を示すブロック図である。実施の形態３の撮像システムは、実施の形態２で図１７を参照して説明した撮像システム１ｂと同様に構成され、図１７の制御部１６ｂを図２８に示す制御部１６ｃに置き換えるとともに、図１７のノイズ低減処理部２０ｂを図２８に示すノイズ低減処理部２０ｃに置き換えた構成で実現できる。

図２８に示すように、ノイズ低減処理部２０ｃは、現フレーム画素抽出部２１ｃと、現フレーム同一チャンネル信号選択部２７ｃと前フレーム画素抽出部２８ｃと、前フレーム同一チャンネル信号選択部２９ｃと、画素グループ形成部３０ｃと、画素グループ類似度算出部４０ｃと、画素値類似度算出部２４ｃと、フィルタ係数算出部２５ｃと、平滑化処理部２６ｃと、フレームメモリ５０ｃとを備える。

ここで、フレームメモリ５０ｃは、ノイズ低減処理を施した現フレーム（現画像）を次のフレームで前フレーム（過去画像）として参照できるよう、ノイズ低減処理後の現フレームを保持しておくためのものである。このフレームメモリ５０ｃは、２フレーム分の画像データを格納するための領域を備える。具体的には、前回ノイズ低減処理された前フレーム中の各画素の平滑化画素値が格納される格納領域と、今回ノイズ低減処理された現フレーム中の各画素の平滑化画素値が格納される格納領域とを備える。例えば、格納領域を環状に管理し、１フレーム分のノイズ低減処理が終了した時点で次のフレームの格納領域を切り換えるリングバッファを用いることができる。

ＯＢ／ＡＧＣ処理部１５１からの画像データは、現フレーム画素抽出部２１ｃに入力される。現フレーム画素抽出部２１ｃは、現フレーム中の各画素を順番に処理対象とし、処理対象の画素である注目画素をノイズ低減処理する際に参照する現画像画素領域としての処理画素領域（現フレーム処理画素領域）を抽出する。具体的には、現フレーム画素抽出部２１ｃは、実施の形態２で説明した画素抽出部２１ｂと同様の要領で、現フレーム中の注目画素を中心とした９×９の画素領域を現フレーム処理画素領域として抽出する。抽出された現フレーム処理画素領域は、現フレーム同一チャンネル信号選択部２７ｃに出力される。

現フレーム同一チャンネル信号選択部２７ｃは、実施の形態２で説明した同一チャンネル信号選択部２７ｂと同様の要領で、現フレーム画素抽出部２１ｃによって抽出された現フレーム処理画素領域の中から注目画素およびこの注目画素と同一チャンネルの２５個の画素を選択する。以上のようにして現フレーム処理画素領域から選択された注目画素およびこの注目画素と同一チャンネルの２５画素の画素値（Ｐ_x+i,y+jの各値）は、画素グループ形成部３０ｃの現フレーム画素グループ群代表類似度算出部３１ｃと画素値類似度算出部２４ｃとにそれぞれ出力される。

一方、フレームメモリ５０ｃに保持されている直前のフレーム（前フレーム）の画像データが前フレーム画素抽出部２８ｃに入力される。前フレーム画素抽出部２８ｃは、前フレーム中の各画素を順番に処理対象とし、処理対象の画素である注目画素をノイズ低減処理する際に参照する過去画像画素領域としての画素領域（前フレーム処理画素領域）を抽出する。具体的には、前フレーム画素抽出部２８ｃは、現フレーム画素抽出部２１ｃと同様に、前フレーム中の注目画素を中心とした９×９の画素領域を前フレーム処理画素領域として抽出する。抽出された前フレーム処理画素領域は、前フレーム同一チャンネル信号選択部２９ｃに出力される。

前フレーム同一チャンネル信号選択部２９ｃは、現フレーム同一チャンネル信号選択部２７ｃと同様にして、前フレーム画素抽出部２８ｃによって抽出された前フレーム処理画素領域の中から注目画素およびこの注目画素と同一チャンネルの２５個の画素を選択する。以上のようにして前フレーム処理画素領域から選択された注目画素およびこの注目画素と同一チャンネルの２５画素の画素値（Ｐ_x+i,y+jの各値）は、画素グループ形成部３０ｃの前フレーム画素グループ群代表類似度算出部３３ｃと画素値類似度算出部２４ｃとにそれぞれ出力される。

図２９は、現フレーム画素抽出部２１ｃによって時刻ｔ＝０の現フレームから抽出される現フレーム処理画素領域ｒ（０）および前フレーム画素抽出部２８ｃによって時刻ｔ＝−１の前フレームから抽出される前フレーム処理画素領域ｒ（−１）の一例を示す図である。この図２９中に示す現フレーム処理画素領域ｒ（０）において、現フレーム同一チャンネル信号選択部２７ｃによって選択される注目画素およびこの注目画素と同一チャンネルの２５画素にハッチングを付して示している。同様に、図２９中に示す前フレーム処理画素領域ｒ（−１）において、前フレーム同一チャンネル信号選択部２９ｃによって選択される注目画素およびこの注目画素と同一チャンネルの２５画素にハッチングを付して示している。

ここで、図２９中に示すように、現フレーム同一チャンネル信号選択部２７ｃによって現フレーム処理画素領域ｒ（０）から選択される注目画素およびこの注目画素と同一チャンネルの各画素の画素値をＰ_x+i,y+j（ｉ＝−４，−２，０，２，４；ｊ＝−４，−２，０，２，４）と定義する。一方、前フレーム同一チャンネル信号選択部２９ｃによって前フレーム処理画素領域ｒ（−１）から選択される注目画素およびこの注目画素と同一チャンネルの各画素の画素値をＰ´_x+i,y+j（ｉ＝−４，−２，０，２，４；ｊ＝−４，−２，０，２，４）と定義する。ｘ，ｙは、対応するフレームの画像データ中での注目画素の水平座標（ｘ座標）および垂直座標（ｙ座標）を示す。また、ｉ，ｊは、抽出された現フレーム処理画素領域または前フレーム処理画素領域中での各画素の水平方向の相対座標（ｉ）および垂直方向の相対座標（ｊ）を示す。

画素グループ形成部３０ｃは、図２８に示すように、第１の画素グループ群代表類似度算出部としての現フレーム画素グループ群代表類似度算出部３１ｃと、第１の代表画素グループ群選択部としての現フレーム代表画素グループ群選択部３２ｃとを含む。そして、現フレーム画素グループ群代表類似度算出部３１ｃおよび現フレーム代表画素グループ群選択部３２ｃによって、現フレーム画素抽出部２１ｃが抽出した９×９の現フレーム処理画素領域の中から現フレーム同一チャンネル信号選択部２７ｃが選択した注目画素を含む２５画素（以下、「現フレーム選択画素」と呼ぶ。）を対象に処理を行い、画素グループを形成する。

さらに、画素グループ形成部３０ｃは、第２の画素グループ群代表類似度算出部としての前フレーム画素グループ群代表類似度算出部３３ｃと、第２の代表画素グループ群選択部としての前フレーム代表画素グループ群選択部３４ｃとを含む。そして、前フレーム画素グループ群代表類似度算出部３３ｃおよび前フレーム代表画素グループ群選択部３４ｃによって、前フレーム画素抽出部２８ｃが抽出した９×９の前フレーム処理画素領域の中から前フレーム同一チャンネル信号選択部２９ｃが選択した注目画素を含む２５画素（以下、「前フレーム選択画素」と呼ぶ。）を対象に処理を行い、画素グループを形成する。

ここで、画素グループ形成部３０ｃが現フレームに対して行う処理および前フレームに対して行う処理を順番に説明する。現フレームに対して行う処理では先ず、現フレーム画素グループ群代表類似度算出部３１ｃが、現フレーム処理画素領域内を各候補の画素グループ群に区分した際の画素グループ群代表類似度（現画像画素グループ群代表類似度）をそれぞれ算出する。なお、図示しないが、現フレーム画素グループ群代表類似度算出部３１ｃは、実施の形態２の画素グループ群代表類似度算出部３１ｂと同様に、垂直相関画素グループ群代表類似度算出部と、水平相関画素グループ群代表類似度算出部と、左斜相関画素グループ群代表類似度算出部と、右斜相関画素グループ群代表類似度算出部と、等方相関画素グループ群代表類似度算出部とを備える。

そして、実施の形態３では、現フレーム画素グループ群代表類似度算出部３１ｃの垂直相関画素グループ群代表類似度算出部は、実施の形態２と同様の要領で、現フレーム処理画素領域内の現フレーム選択画素を垂直相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｖ（０）を次式（７９）に従って算出する。
ＳＧｖ（０）＝｜Ｐ_x-4,y-2−Ｐ_x-4,y｜＋｜Ｐ_x-4,y−Ｐ_x-4,y+2｜
＋｜Ｐ_x-2,y-4−Ｐ_x-2,y-2｜＋｜Ｐ_x-2,y-2−Ｐ_x-2,y｜
＋｜Ｐ_x-2,y−Ｐ_x-2,y+2｜＋｜Ｐ_x-2,y+2−Ｐ_x-2,y+4｜
＋｜Ｐ_x,y-4−Ｐ_x,y-2｜＋｜Ｐ_x,y-2−Ｐ_x,y｜
＋｜Ｐ_x,y−Ｐ_x,y+2｜＋｜Ｐ_x,y+2−Ｐ_x,y+4｜
＋｜Ｐ_x+2,y-4−Ｐ_x+2,y-2｜＋｜Ｐ_x+2,y-2−Ｐ_x+2,y｜
＋｜Ｐ_x+2,y−Ｐ_x+2,y+2｜＋｜Ｐ_x+2,y+2−Ｐ_x+2,y+4｜
＋｜Ｐ_x+4,y-2−Ｐ_x+4,y｜＋｜Ｐ_x+4,y−Ｐ_x+4,y+2｜ ・・・（７９）

また、現フレーム画素グループ群代表類似度算出部３１ｃの水平相関画素グループ群代表類似度算出部は、実施の形態２と同様の要領で、現フレーム処理画素領域内の現フレーム中選択画素を水平相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｈ（０）を次式（８０）に従って算出する。
ＳＧｈ（０）＝｜Ｐ_x-2,y-4−Ｐ_x,y-4｜＋｜Ｐ_x,y-4−Ｐ_x+2,y-4｜
＋｜Ｐ_x-4,y-2−Ｐ_x-2,y-2｜＋｜Ｐ_x-2,y-2−Ｐ_x,y-2｜
＋｜Ｐ_x,y-2−Ｐ_x+2,y-2｜＋｜Ｐ_x+2,y-2−Ｐ_x+4,y-2｜
＋｜Ｐ_x-4,y−Ｐ_x-2,y｜＋｜Ｐ_x-2,y−Ｐ_x,y｜
＋｜Ｐ_x,y−Ｐ_x+2,y｜＋｜Ｐ_x+2,y−Ｐ_x+4,y｜
＋｜Ｐ_x-4,y+2−Ｐ_x-2,y+2｜＋｜Ｐ_x-2,y+2-Ｐ_x,y+2｜
＋｜Ｐ_x,y+2−Ｐ_x+2,y+2｜＋｜Ｐ_x+2,y+2-Ｐ_x+4,y+2｜
＋｜Ｐ_x-2,y+4−Ｐ_x,y+4｜＋｜Ｐ_x,y+4-Ｐ_x+2,y+4｜・・・（８０）

また、現フレーム画素グループ群代表類似度算出部３１ｃの左斜相関画素グループ群代表類似度算出部は、実施の形態２と同様の要領で、現フレーム処理画素領域内の現フレーム中選択画素を左斜相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｂ（０）を次式（８１）に従って算出する。
ＳＧｂ（０）＝｜Ｐ_x+2,y-4−Ｐ_x+4,y-2｜＋｜Ｐ_x,y-4−Ｐ_x+2,y-2｜
＋｜Ｐ_x+2,y-2−Ｐ_x+4,y｜＋｜Ｐ_x-2,y-4−Ｐ_x,y-2｜
＋｜Ｐ_x,y-2−Ｐ_x+2,y｜＋｜Ｐ_x+2,y−Ｐ_x+4,y+2｜
＋｜Ｐ_x-4,y-4−Ｐ_x-2,y-2｜＋｜Ｐ_x-2,y-2−Ｐ_x,y｜
＋｜Ｐ_x,y−Ｐ_x+2,y+2｜＋｜Ｐ_x+2,y+2−Ｐx_+4,y+4｜
＋｜Ｐ_x-4,y-2−Ｐ_x-2,y｜＋｜Ｐ_x-2,y−Ｐ_x,y+2｜
＋｜Ｐ_x,y+2−Ｐ_x+2,y+4｜＋｜Ｐ_x-4,y−Ｐ_x-2,y+2｜
＋｜Ｐ_x-2,y+2−Ｐ_x,y+4｜＋｜Ｐ_x-4,y+2−Ｐ_x-2,y+4｜ ・・・（８１）

また、現フレーム画素グループ群代表類似度算出部３１ｃの右斜相関画素グループ群代表類似度算出部は、実施の形態２と同様の要領で、現フレーム処理画素領域内の現フレーム中選択画素を右斜相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｓ（０）を次式（８２）に従って算出する。
ＳＧｓ（０）＝｜Ｐ_x-4,y-2−Ｐ_x-2,y-4｜＋｜Ｐ_x-4,y−Ｐ_x-2,y-2｜
＋｜Ｐ_x-2,y-2−Ｐ_x,y-4｜＋｜Ｐ_x-4,y+2−Ｐ_x-2,y｜
＋｜Ｐ_x-2,y−Ｐ_x,y-2｜＋｜Ｐ_x,y-2−Ｐ_x+2,y-4｜
＋｜Ｐ_x-4,y+4−Ｐ_x-2,y+2｜＋｜Ｐ_x-2,y+2−Ｐ_x,y｜
＋｜Ｐ_x,y−Ｐ_x+2,y-2｜＋｜Ｐ_x+2,y-2−Ｐ_x+4,y-4｜
＋｜Ｐ_x-2,y+4−Ｐ_x,y+2｜＋｜Ｐ_x,y+2−Ｐ_x+2,y｜
＋｜Ｐ_x+2,y−Ｐ_x+4,y-2｜＋｜Ｐ_x,y+4−Ｐ_x+2,y+2｜
＋｜Ｐ_x+2,y+2−Ｐ_x+4,y｜＋｜Ｐ_x+2,y+4−Ｐ_x+4,y+2｜ ・・・（８２）

また、現フレーム画素グループ群代表類似度算出部３１ｃの等方相関画素グループ群代表類似度算出部は、実施の形態２と同様の要領で、現フレーム処理画素領域内の現フレーム中選択画素を等方相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｅ（０）を次式（８３）に従って算出する。
ＳＧｅ（０）＝｜Ｐ_x-4,y+4−Ｐ_x-2,y+2｜＋｜Ｐ_x-2,y+2−Ｐ_x,y｜
＋｜Ｐ_x,y−Ｐ_x+2,y-2｜＋｜Ｐ_x+2,y-2−Ｐ_x+4,y-4｜
＋｜Ｐ_x-4,y-4−Ｐ_x-2,y-2｜＋｜Ｐ_x-2,y-2−Ｐ_x,y｜
＋｜Ｐ_x,y−Ｐ_x+2,y+2｜＋｜Ｐ_x+2,y+2−Ｐ_x+4,y+4｜
＋｜Ｐ_x,y-4−Ｐ_x,y-2｜＋｜Ｐ_x,y-2−Ｐ_x,y｜
＋｜Ｐ_x,y−Ｐ_x,y+2｜＋｜Ｐ_x,y+2−Ｐ_x,y+4｜
＋｜Ｐ_x-4,y−Ｐ_x-2,y｜＋｜Ｐ_x-2,y−Ｐ_x,y｜
＋｜Ｐ_x,y−Ｐ_x+2,y｜＋｜Ｐ_x+2,y−Ｐ_x+4,y｜ ・・・(８３)

以上のようにして算出された候補毎の５つの画素グループ群代表類似度ＳＧｖ（０），ＳＧｈ（０），ＳＧｂ（０），ＳＧｓ（０），ＳＧｅ（０）は、現フレーム代表画素グループ群選択部３２ｃに出力される。

現フレーム代表画素グループ群選択部３２ｃは、実施の形態１と同様の要領で、現フレーム画素グループ群代表類似度算出部３１ｃから入力された５つの画素グループ群代表類似度ＳＧｖ（０），ＳＧｈ（０），ＳＧｂ（０），ＳＧｓ（０），ＳＧｅ（０）をもとに現フレーム処理画素領域の画素値分布に最もマッチングしている区分パターンを判定し、代表画素グループ群（第１の代表画素グループ群）を選択する。そして、現フレーム代表画素グループ群選択部３２ｃは、代表画素グループ群として選択した画素グループ群のインデックス値を画素グループ類似度算出部４０ｃに出力する。

一方、前フレームに対して行う処理としては先ず、前フレーム画素グループ群代表類似度算出部３３ｃが、前フレーム処理画素領域内を各候補の画素グループ群に区分した際の画素グループ群代表類似度（過去画像画素グループ群代表類似度）をそれぞれ算出する。なお、図示しないが、前フレーム画素グループ群代表類似度算出部３３ｃは、実施の形態２の画素グループ群代表類似度算出部３１ｂと同様に、垂直相関画素グループ群代表類似度算出部と、水平相関画素グループ群代表類似度算出部と、左斜相関画素グループ群代表類似度算出部と、右斜相関画素グループ群代表類似度算出部と、等方相関画素グループ群代表類似度算出部とを備える。

そして、実施の形態３では、前フレーム画素グループ群代表類似度算出部３３ｃの垂直相関画素グループ群代表類似度算出部は、実施の形態２と同様の要領で、前フレーム処理画素領域内の前フレーム選択画素を垂直相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｖ（−１）を次式（８４）に従って算出する。
ＳＧｖ（−１）＝｜Ｐ´_x-4,y-2−Ｐ´_x-4,y｜＋｜Ｐ´_x-4,y−Ｐ´_x-4,y+2｜
＋｜Ｐ´_x-2,y-4−Ｐ´_x-2,y-2｜＋｜Ｐ´_x-2,y-2−Ｐ´_x-2,y｜
＋｜Ｐ´_x-2,y−Ｐ´_x-2,y+2｜＋｜Ｐ´_x-2,y+2−Ｐ´_x-2,y+4｜
＋｜Ｐ´_x,y-4−Ｐ´_x,y-2｜＋｜Ｐ´_x,y-2−Ｐ´_x,y｜
＋｜Ｐ´_x,y−Ｐ´_x,y+2｜＋｜Ｐ´_x,y+2−Ｐ´_x,y+4｜
＋｜Ｐ´_x+2,y-4−Ｐ´_x+2,y-2｜＋｜Ｐ´_x+2,y-2−Ｐ´_x+2,y｜
＋｜Ｐ´_x+2,y−Ｐ´_x+2,y+2｜＋｜Ｐ´_x+2,y+2−Ｐ´_x+2,y+4｜
＋｜Ｐ´_x+4,y-2−Ｐ´_x+4,y｜
＋｜Ｐ´_x+4,y−Ｐ´_x+4,y+2｜・・・（８４）

また、前フレーム画素グループ群代表類似度算出部３３ｃの水平相関画素グループ群代表類似度算出部は、実施の形態２と同様の要領で、前フレーム処理画素領域内の前フレーム中選択画素を水平相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｈ（−１）を次式（８５）に従って算出する。
ＳＧｈ（−１）＝｜Ｐ´_x-2,y-4−Ｐ´_x,y-4｜＋｜Ｐ´_x,y-4−Ｐ´_x+2,y-4｜
＋｜Ｐ´_x-4,y-2−Ｐ´_x-2,y-2｜＋｜Ｐ´_x-2,y-2−Ｐ´_x,y-2｜
＋｜Ｐ´_x,y-2−Ｐ´_x+2,y-2｜＋｜Ｐ´_x+2,y-2−Ｐ´_x+4,y-2｜
＋｜Ｐ´_x-4,y−Ｐ´_x-2,y｜＋｜Ｐ´_x-2,y−Ｐ´_x,y｜
＋｜Ｐ´_x,y−Ｐ´_x+2,y｜＋｜Ｐ´_x+2,y−Ｐ´_x+4,y｜
＋｜Ｐ´_x-4,y+2−Ｐ´_x-2,y+2｜＋｜Ｐ´_x-2,y+2-Ｐ´_x,y+2｜
＋｜Ｐ´_x,y+2−Ｐ´_x+2,y+2｜＋｜Ｐ´_x+2,y+2-Ｐ´_x+4,y+2｜
＋｜Ｐ´_x-2,y+4−Ｐ´_x,y+4｜
＋｜Ｐ´_x,y+4-Ｐ´_x+2,y+4｜ ・・・（８５）

また、前フレーム画素グループ群代表類似度算出部３３ｃの左斜相関画素グループ群代表類似度算出部は、実施の形態２と同様の要領で、前フレーム処理画素領域内の前フレーム中選択画素を左斜相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｂ（−１）を次式（８６）に従って算出する。
ＳＧｂ（−１）＝｜Ｐ´_x+2,y-4−Ｐ´_x+4,y-2｜＋｜Ｐ´_x,y-4−Ｐ´_x+2,y-2｜
＋｜Ｐ´_x+2,y-2−Ｐ´_x+4,y｜＋｜Ｐ´_x-2,y-4−Ｐ´_x,y-2｜
＋｜Ｐ´_x,y-2−Ｐ´_x+2,y｜＋｜Ｐ´_x+2,y−Ｐ´_x+4,y+2｜
＋｜Ｐ´_x-4,y-4−Ｐ´_x-2,y-2｜＋｜Ｐ´_x-2,y-2−Ｐ´_x,y｜
＋｜Ｐ´_x,y−Ｐ´_x+2,y+2｜＋｜Ｐ´_x+2,y+2−Ｐ´x_+4,y+4｜
＋｜Ｐ´_x-4,y-2−Ｐ´_x-2,y｜＋｜Ｐ´_x-2,y−Ｐ´_x,y+2｜
＋｜Ｐ´_x,y+2−Ｐ´_x+2,y+4｜＋｜Ｐ´_x-4,y−Ｐ´_x-2,y+2｜
＋｜Ｐ´_x-2,y+2−Ｐ´_x,y+4｜
＋｜Ｐ´_x-4,y+2−Ｐ´_x-2,y+4｜ ・・・（８６）

また、前フレーム画素グループ群代表類似度算出部３３ｃの右斜相関画素グループ群代表類似度算出部は、実施の形態２と同様の要領で、前フレーム処理画素領域内の前フレーム中選択画素を右斜相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｓ（−１）を次式（８７）に従って算出する。
ＳＧｓ（−１）＝｜Ｐ´_x-4,y-2−Ｐ´_x-2,y-4｜＋｜Ｐ´_x-4,y−Ｐ´_x-2,y-2｜
＋｜Ｐ´_x-2,y-2−Ｐ´_x,y-4｜＋｜Ｐ´_x-4,y+2−Ｐ´_x-2,y｜
＋｜Ｐ´_x-2,y−Ｐ´_x,y-2｜＋｜Ｐ´_x,y-2−Ｐ´_x+2,y-4｜
＋｜Ｐ´_x-4,y+4−Ｐ´_x-2,y+2｜＋｜Ｐ´_x-2,y+2−Ｐ´_x,y｜
＋｜Ｐ´_x,y−Ｐ´_x+2,y-2｜＋｜Ｐ´_x+2,y-2−Ｐ´_x+4,y-4｜
＋｜Ｐ´_x-2,y+4−Ｐ´_x,y+2｜＋｜Ｐ´_x,y+2−Ｐ´_x+2,y｜
＋｜Ｐ´_x+2,y−Ｐ´_x+4,y-2｜＋｜Ｐ´_x,y+4−Ｐ´_x+2,y+2｜
＋｜Ｐ´_x+2,y+2−Ｐ´_x+4,y｜
＋｜Ｐ´_x+2,y+4−Ｐ´_x+4,y+2｜ ・・・（８７）

また、前フレーム画素グループ群代表類似度算出部３３ｃの等方相関画素グループ群代表類似度算出部は、実施の形態２と同様の要領で、前フレーム処理画素領域内の前フレーム中選択画素を等方相関画素グループ群に区分した場合の画素グループ群代表類似度ＳＧｅ（−１）を次式（８８）に従って算出する。
ＳＧｅ（−１）＝｜Ｐ´_x-4,y+4−Ｐ´_x-2,y+2｜＋｜Ｐ´_x-2,y+2−Ｐ´_x,y｜
＋｜Ｐ´_x,y−Ｐ´_x+2,y-2｜＋｜Ｐ´_x+2,y-2−Ｐ´_x+4,y-4｜
＋｜Ｐ´_x-4,y-4−Ｐ´_x-2,y-2｜＋｜Ｐ´_x-2,y-2−Ｐ´_x,y｜
＋｜Ｐ´_x,y−Ｐ´_x+2,y+2｜＋｜Ｐ´_x+2,y+2−Ｐ´_x+4,y+4｜
＋｜Ｐ´_x,y-4−Ｐ´_x,y-2｜＋｜Ｐ´_x,y-2−Ｐ´_x,y｜
＋｜Ｐ´_x,y−Ｐ´_x,y+2｜＋｜Ｐ´_x,y+2−Ｐ´_x,y+4｜
＋｜Ｐ´_x-4,y−Ｐ´_x-2,y｜＋｜Ｐ´_x-2,y−Ｐ´_x,y｜
＋｜Ｐ´_x,y−Ｐ´_x+2,y｜
＋｜Ｐ´_x+2,y−Ｐ´_x+4,y｜ ・・・(８８)

以上のようにして算出された候補毎の５つの画素グループ群代表類似度ＳＧｖ（−１），ＳＧｈ（−１），ＳＧｂ（−１），ＳＧｓ（−１），ＳＧｅ（−１）は、前フレーム代表画素グループ群選択部３４ｃに出力される。

前フレーム代表画素グループ群選択部３４ｃは、実施の形態１と同様の要領で、前フレーム画素グループ群代表類似度算出部３３ｃから入力された５つの画素グループ群代表類似度ＳＧｖ（−１），ＳＧｈ（−１），ＳＧｂ（−１），ＳＧｓ（−１），ＳＧｅ（−１）をもとに前フレーム処理画素領域の画素値分布に最もマッチングしている区分パターンを判定し、代表画素グループ群（第２の代表画素グループ群）を選択する。そして、前フレーム代表画素グループ群選択部３４ｃは、代表画素グループ群として選択した画素グループ群のインデックス値を画素グループ類似度算出部４０ｃに出力する。

画素グループ類似度算出部４０ｃは、図２８に示すように、現フレーム画素グループ代表値算出部４１ｃと、前フレーム画素グループ代表値算出部４２ｃと、画素グループ代表値類似度算出部４３ｃとを備え、各部の処理によって、現フレーム処理画素領域について形成された画素グループ間の類似度を算出する。

現フレーム画素グループ代表値算出部４１ｃは、現フレーム同一チャンネル信号選択部２７ｃから入力された２５画素の画素値Ｐ_x+i,y+jをもとに、現フレーム処理画素領域について形成した各画素グループの画素グループ代表値Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃、Ｂ₄を算出する。画素グループ代表値Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃、Ｂ₄の算出方法は実施の形態２で説明した画素グループ代表値の算出方法と同様に実現できる。算出された各画素グループ代表値Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃、Ｂ₄は、画素グループ代表値類似度算出部４３ｃに出力される。

例えば、現フレーム画素グループ代表値算出部４１ｃは、現フレーム代表画素グループ群選択部３２ｃから垂直相関画素グループ群のインデックス値“０”が入力された場合には、次式（８９）〜（９３）に従って画素グループ代表値Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃、Ｂ₄を算出する。

また、現フレーム画素グループ代表値算出部４１ｃは、現フレーム代表画素グループ群選択部３２ｃから水平相関画素グループ群のインデックス値“１”が入力された場合には、次式（９４）〜（９８）に従って画素グループ代表値Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃、Ｂ₄を算出する。

また、現フレーム画素グループ代表値算出部４１ｃは、現フレーム代表画素グループ群選択部３２ｃから左斜相関画素グループ群のインデックス値“２”が入力された場合には、次式（９９）〜（１０３）に従って画素グループ代表値Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃、Ｂ₄を算出する。

また、現フレーム画素グループ代表値算出部４１ｃは、現フレーム代表画素グループ群選択部３２ｃから右斜相関画素グループ群のインデックス値“３”が入力された場合には、次式（１０４）〜（１０８）に従って画素グループ代表値Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃、Ｂ₄を算出する。

また、現フレーム画素グループ代表値算出部４１ｃは、現フレーム代表画素グループ群選択部３２ｃから等方相関画素グループ群のインデックス値“４”が入力された場合には、次式（１０９）〜（１１３）に従って画素グループ代表値Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃、Ｂ₄を算出する。

以上のようにして算出された各画素グループ代表値Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃、Ｂ₄は、画素グループ代表値類似度算出部４３ｃに出力される。

一方、前フレーム画素グループ代表値算出部４２ｃは、前フレーム同一チャンネル信号選択部２９ｃから入力された２５画素の画素値Ｐ´_x+i,y+jをもとに、前フレーム処理画素領域について形成した各画素グループの画素グループ代表値Ｃ₀，Ｃ₁，Ｃ₂，Ｃ₃、Ｃ₄を算出する。画素グループ代表値Ｃ₀，Ｃ₁，Ｃ₂，Ｃ₃、Ｃ₄の算出方法は画素グループ代表値Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃、Ｂ₄の算出方法と同様に実現できる。算出された各画素グループ代表値Ｃ₀，Ｃ₁，Ｃ₂，Ｃ₃、Ｃ₄は、画素グループ代表値類似度算出部４３ｃに出力される。

例えば、前フレーム画素グループ代表値算出部４２ｃは、前フレーム代表画素グループ群選択部３４ｃから垂直相関画素グループ群のインデックス値“０”が入力された場合には、次式（１１４）〜（１１８）に従って画素グループ代表値Ｃ₀，Ｃ₁，Ｃ₂，Ｃ₃、Ｃ₄を算出する。

また、前フレーム画素グループ代表値算出部４２ｃは、前フレーム代表画素グループ群選択部３４ｃから水平相関画素グループ群のインデックス値“１”が入力された場合には、次式（１１９）〜（１２３）に従って画素グループ代表値Ｃ₀，Ｃ₁，Ｃ₂，Ｃ₃、Ｃ₄を算出する。

また、前フレーム画素グループ代表値算出部４２ｃは、前フレーム代表画素グループ群選択部３４ｃから左斜相関画素グループ群のインデックス値“２”が入力された場合には、次式（１２４）〜（１２８）に従って画素グループ代表値Ｃ₀，Ｃ₁，Ｃ₂，Ｃ₃、Ｃ₄を算出する。

また、前フレーム画素グループ代表値算出部４２ｃは、前フレーム代表画素グループ群選択部３４ｃから右斜相関画素グループ群のインデックス値“３”が入力された場合には、次式（１２９）〜（１３３）に従って画素グループ代表値Ｃ₀，Ｃ₁，Ｃ₂，Ｃ₃、Ｃ₄を算出する。

また、前フレーム画素グループ代表値算出部４２ｃは、前フレーム代表画素グループ群選択部３４ｃから等方相関画素グループ群のインデックス値“４”が入力された場合には、次式（１３４）〜（１３８）に従って画素グループ代表値Ｃ₀，Ｃ₁，Ｃ₂，Ｃ₃、Ｃ₄を算出する。

以上のようにして算出された各画素グループ代表値Ｃ₀，Ｃ₁，Ｃ₂，Ｃ₃、Ｃ₄は、画素グループ代表値類似度算出部４３ｃに出力される。

画素グループ代表値類似度算出部４３ｃは、先ず、現フレーム画素グループ代表値算出部４１ｃから入力された画素グループ代表値Ｂ₀，Ｂ₁，Ｂ₂，Ｂ₃、Ｂ₄および前フレーム画素グループ代表値算出部４２ｃから入力された画素グループ代表値Ｃ₀，Ｃ₁，Ｃ₂，Ｃ₃、Ｃ₄をもとに、次式（１３９）に従って画素グループ代表値類似度を算出する。ここで、ｋは現フレームを示す“０”または前フレームを示す“−１”である。ｎは画素グループのインデックス値（ｎ＝０，１，２，３，４）である。また、Ｂ₀は、現フレーム中の注目画素が属する画素グループの画素グループ代表値である。
ＳＧ_n,k=0＝｜Ｂ_n−Ｂ₀｜，ＳＧ_n,k=-1＝｜Ｃ_n−Ｂ₀｜ ・・・（１３９）

続いて、画素グループ代表値類似度算出部４３ｃは、算出した画素グループ代表値類似度ＳＧ_n,k=0，ＳＧ_n,k=-1をもとに、次式（１４０）に従って現フレーム処理画素領域および前フレーム処理画素領域内の各画素に画素グループ類似度ＳＧ_x+i,y+j,kを設定する。画素毎に設定された画素グループ類似度ＳＧ_x+i,y+j,kは、フィルタ係数算出部２５ｃに出力される。

画素値類似度算出部２４ｃは、現フレーム同一チャンネル信号選択部２７ｃおよび前フレーム同一チャンネル信号選択部２９ｃからそれぞれ入力された２５画素の画素値Ｐ_x+i,y+j，Ｐ´_x+i,y+jをもとに、各画素の画素値類似度ＳＰ_x+i,y+j,kを算出する。例えば、各画素の画素値類似度ＳＰ_x+i,y+j,kを、現フレーム中の注目画素Ｐ_x,yとの画素値の差分の絶対値として算出する。この画素値類似度ＳＰ_x+i,y+j,kは次式（１４１），（１４２）によって表される。ここで、ｋは現フレームを示す“０”または前フレームを示す“−１”である。算出された各画素の画素値類似度ＳＰ_x+i,y+j,kは、フィルタ係数算出部２５ｃに出力される。
ＳＰ_x+i,y+j,0＝｜Ｐ_x+i,y+j−Ｐ_x,y｜ ・・・（１４１）
ＳＰ_x+i,y+j,-1＝｜Ｐ´_x+i,y+j−Ｐ_x,y｜ ・・・（１４２）
（ただし、ｉ＝−４，−２，０，２，４；ｊ＝−４，−２，０，２，４）

フィルタ係数算出部２５ｃは、画素グループ代表値類似度算出部４３ｃから入力された画素グループ類似度ＳＧ_x+i,y+j,kと画素値類似度算出部２４ｃから入力された画素値類似度ＳＰ_x+i,y+j,kとをもとに、現フレーム処理画素領域内の各画素および前フレーム処理画素領域内の各画素にそれぞれ適用するフィルタ係数Ｃ_x+i,y+j,kを算出する。具体的には、実施の形態１と同様の要領で、画素グループ類似度ＳＧ_x+i,y+j,kおよび画素値類似度ＳＰ_x+i,y+j,kをそれぞれガウス関数値の重みとし、次式（１４３）に従ってフィルタ係数Ｃ_x+i,y+j,kを算出する。算出されたフィルタ係数Ｃ_x+i,y+j,kは、平滑化処理部２６ｃに出力される。

ここで、σ_g,k値およびσ_p,k値は、制御部１６ｃから処理パラメータの値として通知される値であり、実施の形態１と同様の要領で制御部１６ｃが設定し、フィルタ係数算出部２５ｃに通知する値である。また、実施の形態３では、現フレームと前フレームとで適用するσ_g,k値およびσ_p,k値を個別に設定できるようになっている。実施の形態３では、ノイズ低減処理部２０ｃがフレーム巡回型の構成となっており、被写体とカメラとの相対的な動きに伴い発生する残像が長時間継続する巡回型ならではの不具合が生じる場合がある。この種の不具合が、前フレーム用に設定するσ値（σ_g,-1値およびσ_p,-1値）を現フレーム用に設定するσ（σ_g,0値およびσ_p,0値）値よりも小さく設定することで低減できるからである。σ_g,0値やσ_p,0値と比べてσ_g,-1値やσ_p,-1値が小さいということは、画素グループ類似度ＳＧ_x+i,y+j,kや画素値類似度ＳＰ_x+i,y+j,kの各値が同レベルであっても、重み付けされたガウス関数値Ｗｇ_x+i,y+j,-1やＷｐ_x+i,y+j,-1の値が、Ｗｇ_x+i,y+j,0やＷｐ_x+i,y+j,0の値よりも小さくなる。すなわち、重みを小さくする作用をもたらす。

なお、ノイズ低減処理の前段で現フレームと前フレームとの間で公知の動き補償処理を行う構成としてもよい。これによれば、被写体とカメラとの相対的な動きを補償し、前フレームから抽出される画素領域Ｐ_x+i,y+jと現フレームから抽出されるＰ´_x+i,y+jとの間の相対的な動き量を消すことができるので、上記したような残像の発生を抑えることができる。この場合には、ノイズ低減処理部２０ｃでは、入力される各フレームの画像を静止画像と見なして処理できる。したがって、前フレームに対するσ値を小さく抑えるといった制御は必要なく、ノイズ低減効果を向上させることができる。

平滑化処理部２６ｃは、現フレーム同一チャンネル信号選択部２７ｃから入力された２５画素の画素値Ｐ_x+i,y+jと、前フレーム同一チャンネル信号選択部２９ｃから入力された２５画素の画素値Ｐ´_x+i,y+jと、フィルタ係数算出部２５ｃから入力されたフィルタ係数Ｃ_x+i,y+j,kとをもとに注目画素を平滑化処理する。具体的には、次式（１４７）に従って、注目画素の画素値Ｐ_x,yを平滑化処理した平滑化画素値Ｐｆ_x,yを得る。得られた平滑化画素値Ｐｆ_x,yは、ＷＢ処理部に出力されるとともに、フレームメモリ５０ｃに格納される。

以上説明した実施の形態３によれば、前フレームの画素値を考慮してフィルタ係数を算出し、算出したフィルタ係数を用いて注目画素を平滑化処理することができる。これによれば、フレーム間の相関性を考慮した巡回型のノイズ低減処理を実現でき、より精度良く微細構造を潰さずに保存しつつノイズを低減し、ノイズ低減効果を向上させることができる。

なお、上記第３の実施の形態では、ノイズ低減処理に用いる前フレームとしてノイズ低減処理後の画像データを用いることとした。これに対し、ノイズ低減処理部２０ｃに入力されたノイズ低減処理前の現フレームの画素値をフレームメモリに保持しておく構成とし、前フレームとしてノイズ低減処理前の画像データを用いることとしてもよい。

また、実施の形態３で説明したノイズ低減処理部２０ｃについても、実施の形態１と同様にハードウェアで構成する場合に限定されるものではなく、図１３や図１４に例示したようなコンピュータシステム１０００のＣＰＵ１０１１が画像処理プログラムを実行することによってソフトウェアとして実現することとしてもよい。

図３０は、本変形例においてＣＰＵ１０１１が行うノイズ低減処理の詳細な処理手順を示すフローチャートである。

図３０に示すように、ノイズ低減処理では、先ず、現フレームから、注目画素を含む現フレーム処理画素領域を抽出する（ステップＳ８０１）。続いて、ステップＳ８０１で抽出した現フレーム処理画素領域内を予め複数通り用意される各候補の画素グループ群に区分した際の画素グループ群代表類似度を、上記した式（７９）〜（８３）に従ってそれぞれ算出する（ステップＳ８０３）。そして、算出した各候補の画素グループ群代表類似度をもとに、現フレーム処理画素領域について代表画素グループ群を選択する（ステップＳ８０５）。

続いて、ステップＳ８０１で抽出した現フレーム処理画素領域内の各画素の画素値をもとに、ステップＳ８０５で選択した代表画素グループ群に応じた各画素グループの画素グループ代表値を、上記した式（８９）〜（１１３）のうちの対応する式に従って算出する（ステップＳ８０７）。そして、現フレームが先頭フレームか否かを判定する。先頭フレームであれば（ステップＳ８０９：Ｙｅｓ）、ステップＳ８０７で現フレーム処理画素領域について算出した画素グループ代表値をもとに、上記した式（１３９）に従って画素グループ代表値類似度を算出する（ステップＳ８１１）。そして、算出した画素グループ代表値類似度をもとに、上記した式（１４０）に従って現フレーム処理画素領域内の各画素に画素グループ類似度を設定する（ステップＳ８１３）。

また、ステップＳ８０１で抽出した現フレーム処理画素領域内の各画素の画素値をもとに、上記した式（１４１）に従って各画素の画素値類似度を算出する（ステップＳ８１５）。

そして、上記した式（１４３）に従い、ステップＳ８１３で現フレーム処理画素領域内の各画素に設定した画素グループ類似度とステップＳ８１５で現フレーム処理画素領域内の画素毎に算出した画素値類似度とをもとに処理パラメータの値を用いて現フレーム処理画素領域に対するフィルタ係数を算出する（ステップＳ８１７）。また、前フレームが存在しないため、前フレーム処理画素領域に対するフィルタ係数を“ゼロ”にセットする（ステップＳ８１９）。その後、ステップＳ８３９に移行する。

一方、ステップＳ８０９で現フレームが先頭フレームでないと判定した場合には（ステップＳ８０９：Ｎｏ）、前回現フレームとして平滑化処理され、後述するステップＳ８４１でフレームメモリに格納される前フレームを読み出し、読み出した前フレームから、注目画素を含む前フレーム処理画素領域を抽出する（ステップＳ８２１）。続いて、ステップＳ８２１で抽出した前フレーム処理画素領域内を予め複数通り用意される各候補の画素グループ群に区分した際の画素グループ群代表類似度を、上記した式（８４）〜（８８）に従ってそれぞれ算出する（ステップＳ８２３）。そして、算出した各候補の画素グループ群代表類似度をもとに、前フレーム処理画素領域について代表画素グループ群を選択する（ステップＳ８２５）。

続いて、ステップＳ８２１で抽出した前フレーム処理画素領域内の各画素の画素値をもとに、ステップＳ８２５で選択した代表画素グループ群に応じた各画素グループの画素グループ代表値を、上記した式（１１４）〜（１３８）のうちの対応する式に従って算出する（ステップＳ８２７）。

続いて、上記した式（１３９）に従い、ステップＳ８０７で現フレーム処理画素領域について算出した画素グループ代表値をもとに画素グループ代表値類似度を算出するとともに、ステップＳ８２７で前フレーム処理画素領域について算出した画素グループ代表値をもとに画素グループ代表値類似度を算出する（ステップＳ８２９）。そして、上記した式（１４０）に従い、算出した画素グループ代表値類似度をもとに現フレーム処理画素領域内の各画素に画素グループ類似度を設定するとともに、前フレーム処理画素領域内の各画素に画素グループ類似度を設定する（ステップＳ８３１）。

また、ステップＳ８０１で抽出した現フレーム処理画素領域内の各画素の画素値をもとに各画素の画素値類似度を上記した式（１４１）に従って算出するとともに、ステップＳ８２１で抽出した前フレーム処理画素領域内の各画素の画素値をもとに上記した式（１４２）に従って各画素の画素値類似度を算出する（ステップＳ８３３）。

そして、上記した式（１４３）に従い、ステップＳ８３１で設定した画素グループ類似度とステップＳ８３３で算出した画素値類似度とをもとに処理パラメータの値を用いて現フレーム処理画素領域および前フレーム処理画素領域に対するフィルタ係数を算出する（ステップＳ８３５）。その後、ステップＳ８３７に移行する。

そして、ステップＳ８３７では、上記した式（１４７）に従って、ステップＳ８３５で算出したフィルタ係数をもとに平滑化処理を行い、平滑化画素値を算出する。得られた平滑化画素値は、ＷＢ処理部に出力されるとともに、フレームメモリに格納される。

その後、未処理の画素がある場合には（ステップＳ８３９：Ｙｅｓ）、ステップＳ８０１に戻り、未処理の画素を注目画素としてステップＳ８０１〜ステップＳ８３７の処理を行う。一方、未処理の画素がなければ（ステップＳ８３９：Ｎｏ）、本処理を終える。

実施の形態１における撮像システムの全体構成例を示すブロック図である。 実施の形態１におけるノイズ低減処理部の構成例を示すブロック図である。 実施の形態１における処理画素領域の一例を示す図である。 実施の形態１において候補とする画素グループ群の一例を示す図である。 実施の形態１において候補とする画素グループ群の他の例を示す図である。 実施の形態１において候補とする画素グループ群の他の例を示す図である。 実施の形態１において候補とする画素グループ群の他の例を示す図である。 実施の形態１において候補とする画素グループ群の他の例を示す図である。 画素グループ群代表類似度算出部の構成を示すブロック図である。 実施の形態１における画素グループ群代表類似度の算出原理を説明する説明図である。 実施の形態１における画素グループ群代表類似度の算出原理を説明する説明図である。 実施の形態１における画素グループ群代表類似度の算出原理を説明する説明図である。 実施の形態１における画素グループ群代表類似度の算出原理を説明する説明図である。 実施の形態１における画素グループ群代表類似度の算出原理を説明する説明図である。 ゲイン量またはＩＳＯ感度とσ_g値との対応関係をグラフ化した図である。 ゲイン量またはＩＳＯ感度とσ_P値との対応関係をグラフ化した図である。 変形例におけるコンピュータシステムの構成を示すシステム構成図である。 図１３のコンピュータシステムにおける本体部の構成を示すブロック図である。 変形例におけるＣＰＵの処理手順を示す全体フローチャートである。 ノイズ低減処理の詳細な処理手順を示すフローチャートである。 実施の形態２における撮像システムの全体構成例を示すブロック図である。 ＲＧＢ各色の原色フィルタの配列例を示す図である。 ノイズ低減処理部の構成例を示すブロック図である。 実施の形態２における処理画素領域の一例を示す図である。 実施の形態２において候補とする画素グループ群の一例を示す図である。 実施の形態２において候補とする画素グループ群の他の例を示す図である。 実施の形態２において候補とする画素グループ群の他の例を示す図である。 実施の形態２において候補とする画素グループ群の他の例を示す図である。 実施の形態２において候補とする画素グループ群の他の例を示す図である。 実施の形態２における画素グループ群代表類似度の算出原理を説明する説明図である。 実施の形態２における画素グループ群代表類似度の算出原理を説明する説明図である。 実施の形態２における画素グループ群代表類似度の算出原理を説明する説明図である。 実施の形態２における画素グループ群代表類似度の算出原理を説明する説明図である。 実施の形態２における画素グループ群代表類似度の算出原理を説明する説明図である。 変形例におけるＣＰＵの処理手順を示す全体フローチャートである。 実施の形態３の撮像システムが備える画像処理部のノイズ低減処理部の構成例を示すブロック図である。 現フレーム処理画素領域および前フレーム処理画素領域の一例を示す図である。 本変形例におけるノイズ低減処理の詳細な処理手順を示すフローチャートである。

１，１ｂ 撮像システム
１１，１１ｂ 撮像部
１２ 入力部
１３ 表示部
１４，１４ｂ 記録部
１５，１５ｂ 画像処理部
１５１ ＯＢ／ＡＧＣ処理部
２０，２０ｂ，２０ｃ ノイズ低減処理部
２１，２１ｂ 画素抽出部
２１ｃ 現フレーム画素抽出部
３０，３０ｂ，３０ｃ 画素グループ形成部
３１，３１ｂ 画素グループ群代表類似度算出部
３１ｃ 現フレーム画素グループ群代表類似度算出部
３１１ 垂直相関画素グループ群代表類似度算出部
３１２ 水平相関画素グループ群代表類似度算出部
３１３ 左斜相関画素グループ群代表類似度算出部
３１４ 右斜相関画素グループ群代表類似度算出部
３１５ 等方相関画素グループ群代表類似度算出部
３２ 代表画素グループ群選択部
３２ｃ 現フレーム代表画素グループ群選択部
３３ｃ 前フレーム画素グループ群代表類似度算出部
３４ｃ 前フレーム代表画素グループ群選択部
４０，４０ｂ，４０ｃ 画素グループ類似度算出部
４１，４１ｂ 画素グループ代表値算出部
４１ｃ 現フレーム画素グループ代表値算出部
４２ｃ 前フレーム画素グループ代表値算出部
４３，４３ｃ 画素グループ代表値類似度算出部
２４，２４ｂ，２４ｃ 画素値類似度算出部
２５，２５ｂ，２５ｃ フィルタ係数算出部
２６，２６ｂ，２６ｃ 平滑化処理部
２７ｂ 同一チャンネル信号選択部
２７ｃ 現フレーム同一チャンネル信号選択部
２８ｃ 前フレーム画素抽出部
２９ｃ 前フレーム同一チャンネル信号選択部
５０ｃ フレームメモリ
１５３ ＷＢ処理部
１５４ 色変換処理部
１５５ 階調変換処理部
１５６ ＹＣ分離処理部
１５７ エッジ強調処理部
１５８ データ圧縮記録処理部
１５９ｂ 補間処理部
１６，１６ｂ，１６ｃ 制御部

Claims (16)

1. 画像データを入力する画像データ入力部と、
   前記画像データから、処理対象の注目画素と該注目画素の周辺に位置する周辺画素とを含む画素領域を抽出する画素抽出部と、
   前記画素領域内の各画素を前記画素領域内の画素値分布に応じて区分し、複数の画素グループを形成する画素グループ形成部と、
   前記画素グループ毎に、該各画素グループに属する前記画素領域内の画素に設定する画素グループ類似度として、前記注目画素を含む画素グループとの間の類似度を算出する画素グループ類似度算出部と、
   前記注目画素の画素値をもとに、前記画素領域内の各画素の画素値類似度を算出する画素値類似度算出部と、
   前記画素グループ類似度と前記画素値類似度とをもとに、前記画素領域内の画素に適用するフィルタ係数を算出するフィルタ係数算出部と、
   前記画素領域内の画素値と前記フィルタ係数とをもとに、前記注目画素の画素値を平滑化処理する平滑化処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記画素グループ形成部は、
   予め定められる複数の区分パターンに従って前記画素領域内を複数の画素グループに区分した複数通りの画素グループ群の候補毎に画素グループ群代表類似度を算出する画素グループ群代表類似度算出部と、
   前記画素グループ群代表類似度をもとに、前記複数通りの画素グループ群の候補の中から前記画素領域の画素値分布に適合する画素グループ群の候補を代表画素グループ群として選択する代表画素グループ群選択部と、
   を備え、前記代表画素グループ群の選択によって前記画素グループを形成することを特徴とする請求項１に記載の画像処理装置。
3. 前記画素グループ群代表類似度算出部は、前記画素グループ群の候補を構成する画素グループ毎に該画素グループに属する隣接画素間の類似度を算出し、算出した類似度の総和を前記画素グループ群代表類似度として算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記画素グループ群代表類似度算出部は、前記隣接画素の画素値の差分絶対値を前記隣接画素間の類似度として算出することを特徴とする請求項３に記載の画像処理装置。
5. 前記代表画素グループ群選択部は、前記複数通りの画素グループ群の候補毎に算出した画素グループ群代表類似度のうち、値が最も小さい画素グループ群代表類似度の画素グループ群の候補を前記代表画素グループ群として選択することを特徴とする請求項４に記載の画像処理装置。
6. 前記画素グループ類似度算出部は、
   前記複数の画素グループ毎に、画素グループ代表値を算出する画素グループ代表値算出部と、
   前記画素グループ代表値をもとに、前記注目画素を含む画素グループとの間の画素グループ代表値類似度を前記複数の画素グループ毎に算出する画素グループ代表値類似度算出部と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
7. 前記画素グループ代表値算出部は、前記画素グループに属する各画素の画素値平均を前記画素グループ代表値として算出することを特徴とする請求項６に記載の画像処理装置。
8. 前記画素グループ代表値類似度算出部は、前記画素グループの画素グループ代表値と前記注目画素を含む画素グループの画素グループ代表値との差分絶対値を、前記画素グループ代表値類似度として算出することを特徴とする請求項６に記載の画像処理装置。
9. 前記画素値類似度算出部は、前記画素領域内の各画素について、前記注目画素の画素値との差分絶対値を前記画素値類似度として算出することを特徴とする請求項１に記載の画像処理装置。
10. 前記フィルタ係数算出部は、前記画素グループ類似度が低いほど値が小さく算出される第１の関数値と、前記画素値類似度が低いほど値が小さく算出される第２の関数値とを乗算して前記フィルタ係数を算出することを特徴とする請求項１に記載の画像処理装置。
11. 前記第１の関数値および第２の関数値は、それぞれガウス関数を用いて算出されることを特徴とする請求項１０に記載の画像処理装置。
12. 前記画像データ入力部は、連続した画像列を構成する各画像を時系列順に順次入力し、
    前記画素抽出部は、現画像の画像データから前記注目画素と該注目画素の周辺に位置する周辺画素とを含む画素領域を現画像画素領域として抽出するとともに、過去画像の画像データから前記注目画素と該注目画素の周辺に位置する周辺画素とを含む画素領域を過去画像画素領域として抽出し、
    前記画素グループ形成部は、前記現画像画素領域について前記画素グループを形成するとともに、前記過去画像画素領域について前記画素グループを形成し、
    前記画素グループ類似度算出部は、前記現画像画素領域について前記画素グループ類似度を算出するとともに、前記過去画像画素領域について前記画素グループ類似度を算出し、
    前記画素値類似度算出部は、前記現画像画素領域内の各画素について前記画素値類似度を算出するとともに、前記過去画像画素領域内の各画素について前記画素値類似度を算出し、
    前記フィルタ係数算出部は、前記現画像画素領域について算出した前記画素グループ類似度と前記現画像画素領域内の各画素について算出した前記画素値類似度とをもとに前記現画像画素領域内の画素に適用するフィルタ係数を算出するとともに、前記過去画像画素領域について算出した前記画素グループ類似度と前記過去画像画素領域内の各画素について算出した前記画素値類似度とをもとに前記過去画像画素領内の画素に適用するフィルタ係数を算出し、
    前記平滑化処理部は、前記現画像画素領域内の画素値と、前記過去画像画素領域内の画素値と、前記現画像画素領域内の画素および前記過去画像画素領域内の画素にそれぞれ適用する前記フィルタ係数とをもとに、前記現画像画素領域内の前記注目画素の画素値を平滑化処理することを特徴とする請求項１に記載の画像処理装置。
13. 前記画素グループ形成部は、
    予め定められる複数の区分パターンに従って前記現画像画素領域内を複数の画素グループに区分した複数通りの画素グループ群の候補毎に、現画像画素グループ群代表類似度を算出する第１の画素グループ群代表類似度算出部と、
    前記現画像画素グループ群代表類似度をもとに、前記複数通りの画素グループ群の候補の中から前記現画像画素領域の画素値分布に適合する画素グループ群の候補を、第１の代表画素グループ群として選択する第１の代表画素グループ群選択部と、
    予め定められる複数の区分パターンに従って前記過去画像画素領域内を複数の画素グループに区分した複数通りの画素グループ群の候補毎に、過去画像画素グループ群代表類似度を算出する第２の画素グループ群代表類似度算出部と、
    前記過去画像画素グループ群代表類似度をもとに、前記複数通りの画素グループ群の候補の中から前記過去画像画素領域の画素値分布に適合する画素グループ群の候補を、第２の代表画素グループ群として選択する第２の代表画素グループ群選択部と、
    を備え、前記第１の代表画素グループ群の選択によって前記現画像画素領域について前記画素グループを形成し、前記第２の代表画素グループ群の選択によって前記過去画像画素領域について前記画素グループを形成することを特徴とする請求項１２に記載の画像処理装置。
14. 前記過去画像は、前記平滑化処理部によって平滑化処理された画像データであることを特徴とする請求項１３に記載の画像処理装置。
15. 画像データを入力する画像データ入力工程と、
    前記画像データから、処理対象の注目画素と該注目画素の周辺に位置する周辺画素とを含む画素領域を抽出する画素抽出工程と、
    前記画素領域内の各画素を前記画素領域内の画素値分布に応じて区分し、複数の画素グループを形成する画素グループ形成工程と、
    前記画素グループ毎に、該各画素グループに属する前記画素領域内の画素に設定する画素グループ類似度として、前記注目画素を含む画素グループとの間の類似度を算出する画素グループ類似度算出工程と、
    前記注目画素の画素値をもとに、前記画素領域内の各画素の画素値類似度を算出する画素値類似度算出工程と、
    前記画素グループ類似度と前記画素値類似度とをもとに、前記画素領域内の画素に適用するフィルタ係数を算出するフィルタ係数算出工程と、
    前記画素領域内の画素値と前記フィルタ係数とをもとに、前記注目画素の画素値を平滑化処理する平滑化処理工程と、
    を含むことを特徴とする画像処理方法。
16. コンピュータに、
    画像データを入力する画像データ入力手順と、
    前記画像データから、処理対象の注目画素と該注目画素の周辺に位置する周辺画素とを含む画素領域を抽出する画素抽出手順と、
    前記画素領域内の各画素を前記画素領域内の画素値分布に応じて区分し、複数の画素グループを形成する画素グループ形成手順と、
    前記画素グループ毎に、該各画素グループに属する前記画素領域内の画素に設定する画素グループ類似度として、前記注目画素を含む画素グループとの間の類似度を算出する画素グループ類似度算出手順と、
    前記注目画素の画素値をもとに、前記画素領域内の各画素の画素値類似度を算出する画素値類似度算出手順と、
    前記画素グループ類似度と前記画素値類似度とをもとに、前記画素領域内の画素に適用するフィルタ係数を算出するフィルタ係数算出手順と、
    前記画素領域内の画素値と前記フィルタ係数とをもとに、前記注目画素の画素値を平滑化処理する平滑化処理手順と、
    を実行させることを特徴とする画像処理プログラム。

Images