JP6086663B2 - 画像処理装置、内視鏡装置及び孤立点ノイズ補正方法 - Google Patents

Description

本発明は、画像処理装置、内視鏡装置及び孤立点ノイズ補正方法等に関する。

例えば撮像素子の画素欠陥や撮像画像を無線伝送する場合の伝送エラー等に伴って、ノイズレベルが大きな孤立点ノイズが発生する場合がある。このような孤立点ノイズを補正する手法として、画像に対してメディアンフィルター処理を行う手法が一般的に知られている。

また特許文献１には、注目画素の画素値とその周辺画素の画素値との差分が第１の所定閾値以上であり、且つその周辺画素同士の画素値の差分が第２の所定閾値以下である場合に、注目画素が孤立点ノイズであると判定し、その孤立点ノイズであると判定した注目画素の画素値を周辺画素の画素値に基づいて補正する手法が開示されている。

特開２００７−１４３１２０号公報

しかしながら、特許文献１の手法では、注目画素の周辺領域に、例えばエッジ部等の局所的な画素値変化が存在すると、孤立点ノイズの検出精度が低下するという課題がある。検出精度が低下するのは、第１の所定閾値及び第２の所定閾値が局所的な画素値変化に連動せず一定値であるためである。

本発明の幾つかの態様によれば、画像の局所的な画素値変化に対して適応的に孤立点ノイズを検出可能な画像処理装置、内視鏡装置及び孤立点ノイズ補正方法等を提供できる。

本発明の一態様は、画像に含まれる孤立点ノイズを検出する孤立点ノイズ検出部と、前記孤立点ノイズ検出部により検出された前記孤立点ノイズを補正する孤立点ノイズ補正部と、を含み、前記孤立点ノイズ検出部は、前記孤立点ノイズの検出対象である注目画素を含む所定領域内の画素の画素値を昇順又は降順にした第１〜第ｎの画素値のレンジを表す第１指標値と、前記第１〜第ｎの画素値から少なくとも第１の画素値及び第ｎの画素値のうち一方を除いた画素値群のレンジを表す第２指標値と、に基づいて前記所定領域に前記孤立点ノイズが含まれるか否かを判定する孤立点ノイズ有無判定部と、前記所定領域に前記孤立点ノイズが含まれると判定された場合に、前記注目画素が前記孤立点ノイズの画素であるか否かを判定する注目画素孤立点ノイズ判定部と、を有する画像処理装置に関係する。

本発明の一態様によれば、第１指標値と第２指標値とに基づいて、注目画素を含む所定領域に孤立点ノイズが含まれるか否かが判定され、所定領域に孤立点ノイズが含まれると判定された場合に、注目画素が孤立点ノイズの画素であるか否かが判定される。これにより、画像の局所的な画素値変化に対して適応的に孤立点ノイズを検出することが可能になる。

また本発明の他の態様は、画像に含まれる孤立点ノイズを検出する孤立点ノイズ検出部と、前記孤立点ノイズ検出部により検出された前記孤立点ノイズを補正する孤立点ノイズ補正部と、を含み、前記孤立点ノイズ検出部は、前記孤立点ノイズの検出対象である注目画素を含む所定領域内の画素の画素値に基づいて、前記所定領域に前記孤立点ノイズが含まれるか否かを判定し、前記所定領域に前記孤立点ノイズが含まれると判定された場合に、前記注目画素が前記孤立点ノイズの画素であるか否かを判定する画像処理装置に関係する。

また本発明の更に他の態様は、孤立点ノイズの検出対象である注目画素を含む所定領域内の画素の画素値を昇順又は降順にした第１〜第ｎの画素値のレンジを表す第１指標値と、前記第１〜第ｎの画素値から少なくとも第１の画素値及び第ｎの画素値のうち一方を除いた画素値群のレンジを表す第２指標値と、を求め、前記第１指標値と前記第２指標値とに基づいて、前記所定領域に前記孤立点ノイズが含まれるか否かを判定し、前記所定領域に前記孤立点ノイズが含まれると判定された場合に、前記注目画素が前記孤立点ノイズの画素であるか否かを判定し、前記注目画素が前記孤立点ノイズの画素であると判定された場合に、前記注目画素の画素値を補正する孤立点ノイズ補正方法に関係する。

画像処理装置の構成例。 第１の実施形態における孤立点ノイズ補正処理部の詳細な構成例。 図３（Ａ）〜図３（Ｄ）は、補正処理領域抽出部が行う処理についての説明図。 第１のダイナミックレンジと第２のダイナミックレンジについての説明図。 孤立点ノイズ判定部と注目画素孤立点ノイズ判定部が行う処理についての説明図。 孤立点ノイズ判定部と注目画素孤立点ノイズ判定部が行う処理についての説明図。 図７（Ａ）〜図７（Ｄ）は、孤立点ノイズ判定部と注目画素孤立点ノイズ判定部が行う処理についての説明図。 孤立点ノイズ補正処理のフローチャート。 輝点補正処理についての説明図。 第２の実施形態における孤立点ノイズ補正処理部の詳細な構成例。 輝点補正処理部の詳細な構成例。 第１輝点判定領域抽出部と注目画素輝点判定部が行う処理についての説明図。 第２輝点判定領域抽出部と隣接画素輝点判定部が行う処理についての説明図。 輝点補正処理のフローチャート。 内視鏡装置の構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の概要
画像データ中に含まれるノイズとして、ランダムノイズや固定パターンノイズ、孤立点ノイズが知られている。ランダムノイズは、撮像素子の光電変換に伴って発生するノイズである。固定パターンノイズは、撮像素子から多線読み出しにより画素値を読み出す際に、各読み出し線に設けられたアンプゲイン等の回路特性のバラツキに伴って発生するノイズである。孤立点ノイズは、例えば撮像素子の画素欠陥や、撮像画像を無線伝送する場合の伝送エラー等に伴って発生する、ノイズレベルの大きなノイズである。

ランダムノイズや固定パターンノイズの低減には、注目画素と隣接する周辺画素に対して平滑化フィルター処理を行う手法が一般的に使用されている。その平滑化フィルターには近年、エッジを保存しつつノイズ低減が行えるエッジ保存型の平滑化フィルター（例えばεフィルターやバイラテラルフィルター等）が使われるようになってきている。

一方、孤立点ノイズの除去では、孤立点ノイズ自体がエッジと見なされるため、上記エッジ保存型の平滑化フィルターを利用しても孤立点ノイズを低減できない。孤立点ノイズ補正処理には、所定抽出領域（注目画素とその周辺画素）に対してメディアンフィルター処理を行う手法が一般的に使用される。メディアンフィルターは、非エッジ保存型の平滑化フィルター（例えばガウスフィルター等）よりもエッジ成分を残す周波数特性を持っており、且つ処理対象となる抽出領域内の孤立点ノイズに対応する最大画素値、或いは最小画素値を取り除くことが可能である。

しかしながら、メディアンフィルターを画像全体に一律に処理すると解像度劣化は避けられない。そこで、孤立点ノイズ補正処理では、孤立点ノイズを検出し、その検出した孤立点ノイズとその周辺画素のみに対してメディアンフィルター処理等の平滑化フィルター処理を行う手法が一般的に行われている。特に、孤立点ノイズが撮像素子の欠陥画素起因であれば孤立点ノイズの位置は殆ど変化しないので、予め所定のチャートを撮影して欠陥画素（白キズ画素や黒キズ画素とも呼ばれる）を検出できる。そして、その欠陥画素位置を撮像装置内のメモリーに記録しておくことが可能であり、メモリーに記録された欠陥画素位置に対してのみ補正処理が行える。

しかしながら、孤立点ノイズが、例えば画像伝送時のエラー等のランダムな事象により発生した場合には、そのランダムに発生した孤立点ノイズを画像伝送後の画像から検出して補正する必要がある。このような逐次孤立点ノイズを検出する手法として、例えば上述の特許文献１には次のような手法が開示されている。即ち、注目画素とその周辺画素との画素値の差分が第１の所定閾値以上であり、且つその周辺画素同士の画素値の差分が第２の所定閾値以下である場合に、注目画素が孤立点ノイズであると検出する手法である。

この手法によれば、注目画素の周辺領域が平坦部である場合には、精度良く孤立点ノイズを検出できる。しかしながら、注目画素の周辺領域にエッジ部が存在すると、検出精度が低下するという課題がある。これは、第１の所定閾値及び第２の所定閾値が、処理画像の局所的な画素値変化に連動せず、一定値であることが理由である。

そこで本実施形態では、図４等で後述するように、まず注目画素を含む所定領域の画素Ｐ（−１，−１）〜Ｐ（１，１）に孤立点ノイズが存在するか否かを判定する。そして、所定領域の画素Ｐ（−１，−１）〜Ｐ（１，１）に孤立点ノイズが存在すると判定した場合には、注目画素Ｐ（０，０）が孤立点ノイズであるか否かを判定する。注目画素Ｐ（０，０）が孤立点ノイズであると判定した場合、その孤立点ノイズの補正処理を行う。

このようにすれば、まず孤立点ノイズに相当する突出した画素値が所定領域内に存在するか否かを判断できる。これにより、注目画素の周辺に局所的な画素値変化（例えば画像のエッジ部）が存在する場合であっても、その局所的な画素値変化に影響されずに、所定領域内に孤立点ノイズが存在するか否かを判断できる。そして、その突出した画素値が所定領域内に存在すると判断した場合に、その画素が注目画素であるか否かを判断することで、最終的に孤立点ノイズを検出できる。

２．第１の実施形態
２．１．画像処理装置
次に、本実施形態の詳細について説明する。図１に、本実施形態における画像処理装置の構成例を示す。

図１の画像処理装置は、撮像部１００、ＯＢ処理部１１０（ＯＢ：オプティカルブラック）、孤立点ノイズ補正処理部１２０、ランダムノイズ低減処理部１３０、ＷＢ処理部１４０（ＷＢ：ホワイトバランス）、デモザイキング処理部１５０、ＣＭＳ処理部１６０（ＣＭＳ：カラーマネジメントシステム）、ガンマ処理部１７０、エッジ強調処理部１８０、出力部１９０、制御部２００を含む。なお、本実施形態は図１の構成に限定されず、その構成要素の一部を省略（例えば撮像部１００、制御部２００、出力部１９０等）したり、他の構成要素を追加したりする等の種々の変形実施が可能である。

制御部２００は、ＯＢ処理部１１０、孤立点ノイズ補正処理部１２０、ランダムノイズ低減処理部１３０、ＷＢ処理部１４０、デモザイキング処理部１５０、ＣＭＳ処理部１６０、ガンマ処理部１７０、エッジ強調処理部１８０と双方向に接続されており、各部の処理で使用されるパラメーターを各部と授受する制御を行う。

撮像部１００は、例えば撮像レンズ、撮像素子、Ａ／Ｄ変換部から構成される。撮像素子は、例えばＣＣＤやＣＭＯＳイメージセンサーにより構成される。本実施形態では、撮像素子は原色ベイヤ配列の単板撮像素子を想定しているが、これに限定されず種々の撮像素子を適用可能である。撮像レンズにより撮像素子上に結像した結像画像は、撮像素子の各画素で光電変換されてアナログ信号に変換される。そして、そのアナログ信号がＡ／Ｄ変換部によりデジタル信号に変換され、そのデジタル信号に変換された画像信号がＯＢ処理部１１０へ出力される。

ＯＢ処理部１１０は、撮像素子の遮光領域から得られた画像信号に基づいて画像信号のゼロレベルを決定し、撮像素子の露光領域から得られた画像信号からゼロレベルを減算し、そのゼロレベル補正した画像信号（以下では適宜「画像」と呼ぶ）を孤立点ノイズ補正処理部１２０へ出力する。

孤立点ノイズ補正処理部１２０は、入力された画像に対して孤立点ノイズの検出及び補正を行い、その孤立点ノイズ補正された画像をランダムノイズ低減処理部１３０へ出力する。孤立点ノイズの検出及び補正の詳細については、後述する。

ランダムノイズ低減処理部１３０は、入力された画像に対して例えばエッジ保存型の適応ノイズフィルター処理等を行ってランダムノイズを低減し、そのランダムノイズが低減された画像をＷＢ処理部１４０へ出力する。

ＷＢ処理部１４０は、入力された画像のＲ信号及びＢ信号に対してホワイトバランス係数を乗算してホワイトバランス補正を行い、そのホワイトバランス補正を施した画像をデモザイキング処理部１５０へ出力する。

デモザイキング処理部１５０は、入力されたベイヤ配列の画像に対して補間処理を行ってカラー画像（カラー画像信号）を生成し、そのカラー画像をＣＭＳ処理部１６０へ出力する。補間処理では、例えば、処理対象の注目画素の画素値（信号値）を、その周辺画素の画素値を用いて補間する。カラー画像は、各画素にＲ（赤）、Ｇ（緑）、Ｂ（青）の３つの画素値が存在する画像である。

ＣＭＳ処理部１６０は、入力されたカラー画像に対して、表示画像が所望の色再現となるように色変換処理を行い、その色変換処理したカラー画像をガンマ処理部１７０へ出力する。

ガンマ処理部１７０は、入力されたカラー画像に対して、表示装置の階調特性に合わせるためのガンマ変換処理を行い、そのガンマ変換処理したカラー画像をエッジ強調処理部１８０へ出力する。

エッジ強調処理部１８０は、入力されたカラー画像からエッジ成分を抽出し、所望のゲイン量をエッジ成分に乗算し、その乗算後のエッジ成分をカラー画像に加算することでエッジ強調処理を行い、そのエッジ強調処理後のカラー画像を出力部１９０へ出力する。

出力部１９０は、例えば液晶表示装置や有機ＥＬ表示装置等であり、入力されたカラー画像を表示し、カラー画像を画像情報として視覚化できる状態でユーザーに提示する。

２．２．孤立点ノイズ補正処理部
図２に、孤立点ノイズ補正処理部１２０の詳細な構成例を示す。孤立点ノイズ補正処理部１２０は、補正処理領域抽出部１２１、同一色信号選択部１２２、孤立点ノイズ補正部１２５（孤立点画素ノイズ補正部）、孤立点ノイズ検出部１２６を含む。孤立点ノイズ検出部１２６は、孤立点ノイズ有無判定部１２３（孤立点ノイズ領域検出部）、注目画素孤立点ノイズ判定部１２４、を含む。

補正処理領域抽出部１２１には、孤立点ノイズを補正するための抽出領域の位置と大きさが、処理パラメーターとして制御部２００から与えられる。孤立点ノイズ有無判定部１２３には、同一色信号選択部１２２により選択された同一色の画素領域内に孤立点ノイズ画素を含んでいるか否かを判定するための第１の所定係数Ｃｏ１が、処理パラメーターとして制御部２００から与えられる。また、孤立点ノイズ有無判定部１２３が同一色の画素領域内に孤立点ノイズ画素を含んでいると判定した場合には、孤立点ノイズ有無判定部１２３には、その同一色の画素領域内の注目画素（領域中央に位置する画素）の画素値が孤立点ノイズであるか否かを判定するための第２の所定係数Ｃｏ２が、処理パラメーターとして制御部２００から与えられる。

ＯＢ処理部１１０から出力された画像は、補正処理領域抽出部１２１へ入力される。補正処理領域抽出部１２１は、上述した制御部２００からの処理パラメーターに基づいて、注目画素とその周辺の所定のＮ×Ｍ画素領域（処理対象の領域）を画像から抽出する（Ｎ、Ｍは自然数）なお以下では、図３（Ａ）に示すように、Ｎ×Ｍ画素領域のサイズが５×５画素領域である場合を例にとり説明する。ここで、図３（Ａ）ではＮ×Ｍ画素領域の左上画素の画素値をＲ信号としたが、Ｎ×Ｍ画素領域の左上画素の画素値は、Ｇｒ信号、Ｂ信号、Ｇｂ信号であってもよい。孤立点ノイズ有無判定部１２３、注目画素孤立点ノイズ判定部１２４、孤立点ノイズ補正部１２５の処理を同一にするため、Ｇ信号をＧｒ信号とＧｂ信号に分けているが、本実施形態はこれに限定されず、Ｇｒ信号とＧｂ信号を合わせてＧ信号とし、Ｒ、Ｂ信号とは異なる画素数で処理する構成とすることは可能である。

補正処理領域抽出部１２１により抽出されたＮ×Ｍ画素領域は、同一色信号選択部１２２へ入力される。同一色信号選択部１２２は、Ｎ×Ｍ画素領域の中から注目画素と同一色の画素値を選択し、選択した画素値を孤立点ノイズ有無判定部１２３へ出力する。また同一色信号選択部１２２は、注目画素の画素値を孤立点ノイズ補正部１２５へ出力する。例えば、図３（Ａ）に示すように、注目画素がＲ信号である場合、Ｎ×Ｍ画素領域の中から３×３画素のＲ信号が出力される。図３（Ｂ）に示すように、注目画素がＧｒ信号である場合、３×３画素のＧｒ信号が出力される。図３（Ｃ）に示すように、注目画素がＧｂ信号である場合、３×３画素のＧｂ信号が出力され、図３（Ｄ）に示すように、注目画素がＢ信号である場合、３×３画素のＢ信号が出力される。

図４に示すように、孤立点ノイズ有無判定部１２３は、３×３画素の同一色の画素値を、小さいものから大きいものへ順番（昇順）に１次元に並べ、不図示のメモリーに一時格納する。図４では、Ｓ１が同一色の画素値の最小値であり、Ｓ２が最小値Ｓ１の次に小さい値であり、Ｍｉｄが中間値であり、Ｌ１が同一色の画素値の最大値であり、Ｌ２が最大値Ｌ１の次に大きな値である。なお以下では画素値を昇順に並べる場合を例に説明するが、本実施形態では、画素値を大きいものから小さいものへ順番（降順）に並べてもよい。また以下では中間値がメディアン値である場合を例に説明するが、本実施形態では、中間値はＳ２〜Ｌ２の範囲内の値であればよい。ここで、メディアン値とは、昇順又は降順に並べた場合の中央値（順番が真ん中である値）であり、例えば９個の画素値の場合、昇順又は降順に並べたときの５番目の値である。

さて、３×３画素の中に１つだけ孤立点ノイズがある場合を考える。この場合、Ｓ１及びＬ１のうちいずれかが孤立点ノイズの候補となる。Ｓ１及びＬ１のいずれかが孤立点ノイズであるか否かを判定するために、孤立点ノイズ有無判定部１２３は、第１のダイナミックレンジｄＲａｎｇｅ１（第１指標値）としてＬ１とＳ１の差分を求め、第２のダイナミックレンジｄＲａｎｇｅ２（第２指標値）としてＬ２とＳ２の差分を求める。ｄＲａｎｇｅ１は、３×３画素の局所領域において、画素値の最小値Ｓ１から最大値Ｌ１までのレンジを表す指標値であり、ｄＲａｎｇｅ２は、３×３画素の局所領域において、最大値Ｌ１と最小値Ｓ１を除く画素値の最小値Ｓ２から最大値Ｌ２までのレンジを表す指標値である。

図５に示すように、３×３画素の局所領域内にエッジＥＧが存在する場合を考える。もし、他の画素値よりも突出して大きい画素値或は小さい画素値が１つしかなければ、その画素値は孤立点ノイズと見なせる。そのため、３×３画素の局所領域内に孤立点ノイズがない場合には、３×３画素のうち少なくも２画素は同程度の大きい画素値（図５で白抜きの画素）を持ち、少なくとも２画素は同程度の小さな画素値（図５でハッチングされた画素）を持つはずである。この場合、図７（Ｂ）に示すように、ｄＲａｎｇｅ１とｄＲａｎｇｅ２は大きな差がないはずである（図７（Ｂ）では、ＭｉｄとＬ４の差がエッジによる画素値の差を表す）。また、３×３画素の局所領域内にエッジが無い平坦部であれば、全ての画素値に差が無く、ｄＲａｎｇｅ１とｄＲａｎｇｅ２は大きな差がない。

そこで、孤立点ノイズ有無判定部１２３は、ｄＲａｎｇｅ１と、制御部２００からの所定係数Ｃｏ１を乗算したｄＲａｎｇｅ２とを比較し、Ｃｏ１×ｄＲａｎｇｅ２よりもｄＲａｎｇｅ１が大きい場合には、Ｌ１或はＳ１が孤立点ノイズであると判定する。なお、ｄＲａｎｇｅ１とｄＲａｎｇｅ２の比較方法は上記に限定されず、ｄＲａｎｇｅ１からｄＲａｎｇｅ２を減算した結果を所定閾値と比較することで、Ｌ１或はＳ１が孤立点ノイズであるか否かを判定してもよい。

孤立点ノイズ有無判定部１２３は、３×３画素の同一色の画素値に孤立点ノイズが存在するか否かの判定結果（孤立点ノイズ有無判定情報）を注目画素孤立点ノイズ判定部１２４へ出力する。また孤立点ノイズ有無判定部１２３は、３×３画素の同一色の画素値に孤立点ノイズが存在すると判定した場合、Ｍｉｄ、ｄＲａｎｇｅ２、注目画素の画素値を注目画素孤立点ノイズ判定部１２４へ出力する。

注目画素孤立点ノイズ判定部１２４は、孤立点ノイズ有無判定情報が孤立点ノイズ有りである場合には、ＭｉｄとｄＲａｎｇｅ２と注目画素の画素値とに基づいて、注目画素が孤立点ノイズであるか否かを判定する。具体的には図７（Ｃ）に示すように、Ｍｉｄと注目画素の画素値Ｐ（０，０）の差分絶対値が閾値よりも大きい場合には、注目画素が孤立点ノイズであると判定する。閾値は、制御部２００から与えられる第２所定係数Ｃｏ２をｄＲａｎｇｅ２に乗算した値である。

｜Ｍｉｄ−Ｐ（０，０）｜がＣｏ２×ｄＲａｎｇｅ２よりも大きいということは、３×３画素の局所領域においてＬ１とＳ１を除く画素値のレンジを表すｄＲａｎｇｅ２よりも、注目画素の画素値Ｐ（０，０）の方が明確に大きいと判断できる。そのため、｜Ｍｉｄ−Ｐ（０，０）｜がＣｏ２×ｄＲａｎｇｅ２よりも大きい場合、注目画素がＬ１及びＳ１のいずれかである可能性が高く、注目画素を孤立点ノイズであると判定できる。注目画素孤立点ノイズ判定部１２４は、判定結果である孤立点ノイズ補正フラグと、中間値Ｍｉｄと、を孤立点ノイズ補正部１２５へ出力する。孤立点ノイズ補正フラグは、注目画素が孤立点ノイズであると判定された場合には“ＯＮ”（例えば論理レベル“１”）であり、補正有りを表す。また、注目画素が孤立点ノイズでないと判定された場合には“ＯＦＦ”（例えば論理レベル“０”）であり、補正無しを表す。

なお、図６に示すように、３×３画素の角の１画素と角以外の８画素との間にエッジＥＧが存在する場合もあり得る。この場合、他の画素値よりも突出して大きい画素値或は小さい画素値は角の１画素しかないので、その角の１画素は孤立点ノイズ有無判定部１２３により孤立点ノイズと判定される。しかしながら、図７（Ｄ）に示すように、｜Ｍｉｄ−Ｐ（０，０）｜がＣｏ２×ｄＲａｎｇｅ２よりも小さいため、注目画素孤立点ノイズ判定部１２４により注目画素が孤立点ノイズでないと判定され、孤立点ノイズとしては検出されない。このように、エッジＥＧにより３×３画素内に見かけ上の孤立点ノイズが生じる場合であっても、本実施形態では実際の孤立点ノイズであるか否かを判別できる。

孤立点ノイズ補正部１２５には、同一色信号選択部１２２からの注目画素の画素値と、注目画素孤立点ノイズ判定部１２４からの中間値Ｍｉｄ及び孤立点ノイズ補正フラグと、が入力される。孤立点ノイズ補正部１２５は、孤立点ノイズ補正フラグが“ＯＮ”の場合は、注目画素の画素値として中間値Ｍｉｄを出力し、孤立点ノイズ補正フラグが“ＯＦＦ”の場合は、注目画素の画素値をそのまま出力する。以上の処理により、注目画素に対する孤立点ノイズの補正処理は完了する。なお、本実施形態では、注目画素を中間値Ｍｉｄで補正する場合に限定されず、３×３画素の局所領域に含まれる画素値Ｓ１〜Ｌ１から得られる値により注目画素を補正すればよい。

２．３．孤立点ノイズ補正処理の詳細
図７（Ａ）〜図７（Ｄ）を用いて、孤立点ノイズ補正処理について、より詳細に説明する。図７（Ａ）〜図７（Ｄ）は、図５に示す３×３画素の局所領域の画素値を、左から小さい順に並べた模式図である。第１のダイナミックレンジｄＲａｎｇｅ１は、Ｌ１とＳ１の差分であり、第２のダイナミックレンジｄＲａｎｇｅ２は、Ｌ２とＳ２の差分である。局所領域内における画素値の変化は、ｄＲａｎｇｅ１とｄＲａｎｇｅ２で表現される。

図７（Ａ）は、局所領域内に１つの孤立点ノイズが有る場合の模式図であり、図７（Ｂ）は、局所領域内に孤立点ノイズが無い場合の模式図である。ハッチングされた画素値は、孤立点ノイズよりも相対的に小さい画素値を表し、ハッチングされていない画素値は、孤立点ノイズに相当する大きい画素値を表す。

局所領域内にエッジ（図５のエッジＥＧ）が有る場合、ハッチングされた画素値の大きさは、２つのグループに分割される。即ち、図７（Ａ）では８個の画素値Ｓ１〜Ｌ２が、Ｓ１〜ＭｉｄとＬ４〜Ｌ２に分割され、図７（Ｂ）では９個の画素値Ｓ１〜Ｌ１が、Ｓ１〜ＭｉｄとＬ４〜Ｌ１に分割される。図７（Ｂ）に示すように、孤立点ノイズが無い場合には、ｄＲａｎｇｅ１とｄＲａｎｇｅ２の大きさにほとんど違いが現れない。即ち、ｄＲａｎｇｅ１とｄＲａｎｇｅ２はともに、エッジによる画素値のギャップ（Ｓ１〜ＭｉｄとＬ４〜Ｌ１との差）に対して適応的に変化するため、エッジに影響されずｄＲａｎｇｅ１とｄＲａｎｇｅ２の大きさにほとんど違いが生じない。一方、図７（Ａ）に示すように、孤立点ノイズが１つある場合には、ｄＲａｎｇｅ１とｄＲａｎｇｅ２の大きさに違いが現れる。以上のように、ｄＲａｎｇｅ１とｄＲａｎｇｅ２の大きさの違いを検出することにより、エッジの存在に左右されることなく、局所領域内に孤立点ノイズが存在するか否かを判定できる。

なお上記では、ｄＲａｎｇｅ１とｄＲａｎｇｅ２＝Ｌ２−Ｓ２を用いて、局所領域内に１つの孤立点ノイズが有るか否かを判定する場合を例に説明したが、本実施形態はこれに限定されない。例えば本実施形態では、Ｌ１−Ｓ２、Ｌ２−Ｓ１の２つの差分を算出し、値が小さい方の差分をｄＲａｎｇｅ２としてもよい。或は本実施形態では、局所領域内に２つ以上の孤立点ノイズが有るか否かを判定してもよい。例えば、ｄＲａｎｇｅ１とｄＲａｎｇｅ３（ｄＲａｎｇｅ３＝Ｌ３−Ｓ３）を用いて、局所領域内に２つの孤立点ノイズが有るか否かを判定してもよい。なお、ｄＲａｎｇｅ１とｄＲａｎｇｅ２を用いて、局所領域内に１つの孤立点ノイズが有るか否かを判定することで、局所領域の縁にエッジが存在する場合に、そのエッジを孤立点ノイズと誤判定する可能性を小さくできる。

図７（Ｃ）は、注目画素が孤立点ノイズである場合の模式図であり、図７（Ｄ）は、注目画素が孤立点ノイズでない場合の模式図である。注目画素が孤立点ノイズであるか否かは、９個の画素値Ｓ１〜Ｌ１の中間値Ｍｉｄ（中央値）と注目画素Ｐ（０，０）との差分絶対値｜Ｍｉｄ−Ｐ（０，０）｜が第２のダイナミックレンジｄＲａｎｇｅ２の範囲内か否かで判定する。

即ち、図７（Ｃ）に示すように、注目画素Ｐ（０，０）が孤立点ノイズで無い場合には、｜Ｍｉｄ−Ｐ（０，０）｜は第２のダイナミックレンジｄＲａｎｇｅ２の範囲内に収まる。即ち、ｄＲａｎｇｅ２は、局所領域内のエッジに伴う画素値差を表しており、そのレンジ内の画素値であるＭｉｄとＰ（０，０）の差分絶対値は、ｄＲａｎｇｅ２よりも小さいからである。この関係は、ｄＲａｎｇｅ２がエッジに対して適応的に変化することから、エッジの存在に関わらず成立する関係である。一方、注目画素Ｐ（０，０）が孤立点ノイズである場合は、｜Ｍｉｄ−Ｐ（０，０）｜はｄＲａｎｇｅ２より大きな値を取ることになる。以上のように、｜Ｍｉｄ−Ｐ（０，０）｜とｄＲａｎｇｅ２を比較することにより、注目画素が孤立点ノイズか否かを判定できる。また、図７（Ａ）〜図７（Ｄ）で説明した２段階の判定を行うことにより、エッジが存在する場合であっても、注目画素に孤立点ノイズが存在するか否かを正確に検出できる。

図８に、孤立点ノイズ補正処理部１２０が行う孤立点ノイズ補正処理のフローチャートを示す。この処理が開始されると、補正処理領域抽出部１２１は、処理対象領域である局所領域（注目画素と、注目画素の周辺画素。Ｎ×Ｍ画素）の画素値を入力画像から抽出し、同一色信号選択部１２２が、注目画素と同一色の複数の画素値（３×３画素）を、局所領域の画素値から選択する（ステップＳ２１）。

次に、孤立点ノイズ有無判定部１２３は、選択された複数の同色画素値の中から、最大値Ｌ１と最大値Ｌ１の次に大きな画素値Ｌ２とを検出する（ステップＳ２２）。孤立点ノイズ有無判定部１２３は、選択された複数の同色画素値の中から、最小値Ｓ１と最小値Ｓ１の次に小さな画素値Ｓ２とを検出する（ステップＳ２３）。次に、孤立点ノイズ有無判定部１２３は、Ｌ１からＳ１を減算することで、第１のダイナミックレンジｄＲａｎｇｅ１を算出する（ステップＳ２４）。孤立点ノイズ有無判定部１２３は、Ｌ２からＳ２を減算することで、第２のダイナミックレンジｄＲａｎｇｅ２を算出する（ステップＳ２５）。次に、孤立点ノイズ有無判定部１２３は、制御部２００から設定された所定係数Ｃｏ１を第２のダイナミックレンジｄＲａｎｇｅ２に乗算することで、ダイナミックレンジ閾値Ｔｈ１を算出する（ステップＳ２６）。

次に、孤立点ノイズ有無判定部１２３は、第１のダイナミックレンジｄＲａｎｇｅ１が閾値Ｔｈ１よりも大きいか否かを判定する（ステップＳ２７）。ｄＲａｎｇｅ１がＴｈ１以下であると判定した場合には、ステップＳ３２を実行する。ｄＲａｎｇｅ１がＴｈ１よりも大きいと判定した場合には、中間値Ｍｉｄを検出する（ステップＳ２８）。

次に、注目画素孤立点ノイズ判定部１２４は、制御部２００から設定された所定係数Ｃｏ２を第２のダイナミックレンジｄＲａｎｇｅ２に乗算することで、孤立点ノイズ判定閾値Ｔｈ２を算出する（ステップＳ２９）。次に、注目画素孤立点ノイズ判定部１２４は、中間値Ｍｉｄと注目画素の画素値Ｐ（０，０）の差分絶対値｜Ｍｉｄ−Ｐ（０，０）｜が閾値Ｔｈ２よりも大きいか否かを判定する（ステップＳ３０）。差分絶対値｜Ｍｉｄ−Ｐ（０，０）｜が閾値Ｔｈ２以下であると判定した場合には、ステップＳ３２を実行する。差分絶対値｜Ｍｉｄ−Ｐ（０，０）｜が閾値Ｔｈ２よりも大きいと判定した場合には、注目画素の画素値Ｐ（０，０）を中間値Ｍｉｄに置き換える（ステップＳ３１）。

次に、処理すべき画素の全てについて処理が終了したか否かを判定する（ステップＳ３２）。処理していない画素が存在する場合には、ステップＳ２１へ戻り、全画素の処理を終了した場合には、本処理を終了する。

なお、以上の実施形態では、原色ベイヤ配列の撮像素子で撮像した画像に対して孤立点ノイズ補正処理を適用した場合を例に説明したが、本実施形態はこれに限定されない。即ち、注目画素とその周辺の同色画素からなる局所領域を定義できれば、原色３板の撮像素子や補色単板の撮像素子、面順次のモノクロ単板撮像素子で撮像した画像に対しても、同様の孤立点ノイズ補正処理を行うことが可能である。

以上の実施形態によれば、図２に示すように、画像処理装置は、画像に含まれる孤立点ノイズを検出する孤立点ノイズ検出部１２６と、孤立点ノイズ検出部１２６により検出された孤立点ノイズを補正する孤立点ノイズ補正部１２５と、を含む。孤立点ノイズ検出部１２６は、孤立点ノイズ有無判定部１２３と、注目画素孤立点ノイズ判定部１２４と、を有する。図４等で説明したように、孤立点ノイズ有無判定部１２３は、第１〜第ｎの画素値Ｓ１〜Ｌ１のレンジを表す第１指標値ｄＲａｎｇｅ１（第１のダイナミックレンジ）と、画素値群Ｓ２〜Ｌ２のレンジを表す第２指標値ｄＲａｎｇｅ２（第２のダイナミックレンジ）と、に基づいて、所定領域（局所領域）に孤立点ノイズが含まれるか否かを判定する。第１〜第ｎの画素値Ｓ１〜Ｌ１は、孤立点ノイズの検出対象である注目画素Ｐ（０，０）を含む所定領域内の画素Ｐ（−１，−１）〜Ｐ（１，１）の画素値を、昇順又は降順にしたものである。画素値群Ｓ２〜Ｌ２は、第１〜第ｎの画素値Ｓ１〜Ｌ１から少なくとも第１の画素値Ｓ１及び第ｎの画素値Ｌ１のうち一方を除いたものである。注目画素孤立点ノイズ判定部１２４は、所定領域に孤立点ノイズが含まれると判定された場合に、注目画素Ｐ（０，０）が孤立点ノイズの画素であるか否かを判定する。

このようにすれば、所定領域内の画素Ｐ（−１，−１）〜Ｐ（１，１）について第１指標値ｄＲａｎｇｅ１と第２指標値ｄＲａｎｇｅ２を算出することで、局所的な画素値変化が発生する画像（例えばエッジ部の画像）であっても、所定領域内に孤立点ノイズが存在するか否かを高精度に検出できる。即ち、図７（Ａ）等で説明したように、第１指標値ｄＲａｎｇｅ１と第２指標値ｄＲａｎｇｅ２が、局所的な画素値変化に対して適応的に変化するため、局所的な画素値変化に左右されずに孤立点ノイズを検出できる。また、局所領域内に孤立点ノイズが検出された場合にのみ注目画素が孤立点ノイズであるか否かを判定するので、注目画素に対する孤立点ノイズの検出精度を向上できる。

ここで、画素値のレンジを表す指標値（第１、第２指標値）とは、画素値分布の広がり度合い（レンジ）を表す指標値であり、画素値分布の幅が大きいほど値が大きくなる指標値である。例えば、画素値分布における最大値が大きいほど又は最小値が小さいほど、指標値は大きくなる。エッジが含まれる局所領域では、エッジが含まれない平坦な局所領域に比べて画素値分布が広くなると想定されるため、指標値は大きくなる。このように、指標値は、エッジ等による局所的な画素値分布の広がり度合いの変化に対して、適応的に変化する。

また本実施形態では、孤立点ノイズ有無判定部１２３は、第１の画素値Ｓ１と第ｎの画素値Ｌ１との差分値｜Ｌ１−Ｓ１｜を第１指標値ｄＲａｎｇｅ１として求め、画素値群に含まれる画素値Ｓ２〜Ｌ２の最大値と最小値との差分値｜Ｌ２−Ｓ２｜を第２指標値ｄＲａｎｇｅ２として求める。

このようにすれば、第１〜第ｎの画素値Ｓ１〜Ｌ１のレンジを表す第１指標値ｄＲａｎｇｅ１と、画素値群の画素値Ｓ２〜Ｌ２のレンジを表す第２指標値ｄＲａｎｇｅ２と、を求めることができる。これらの最大値と最小値の間には、エッジによる画素値のギャップが含まれるため、ｄＲａｎｇｅ１、ｄＲａｎｇｅ２がエッジの存在に応じて適応的に変化できる。

また本実施形態では、画素値群は、第１〜第ｎの画素値Ｌ１〜Ｓ１のうち第２〜第ｎ−１の画素値Ｓ２〜Ｌ２である。孤立点ノイズ有無判定部１２３は、画素値群のうちの第２の画素値Ｓ２と第ｎ−１の画素値Ｌ２との差分値｜Ｌ２−Ｓ２｜を第２指標値ｄＲａｎｇｅ２として求める。

このようにすれば、孤立点ノイズが白色ノイズ（高輝度ノイズ）、黒色ノイズ（低輝度ノイズ）のいずれであっても、孤立点ノイズを検出できる。なお、本実施形態では、上記に限定されず、例えば、画素値群は第１〜第ｎ−１の画素値Ｓ１〜Ｌ２であってもよく、孤立点ノイズ有無判定部１２３はｄＲａｎｇｅ２＝｜Ｌ２−Ｓ１｜を求めてもよい。この場合、昇順であればＬ１は最大値であるので、白色の孤立点ノイズを検出できる。あるいは、画素値群は第２〜第ｎの画素値Ｓ２〜Ｌ１であってもよく、孤立点ノイズ有無判定部１２３はｄＲａｎｇｅ２＝｜Ｌ１−Ｓ２｜を求めてもよい。この場合、昇順であればＳ１は最小値であるので、黒色の孤立点ノイズを検出できる。また、本実施形態では、第１〜第ｎの画素値Ｓ１〜Ｌ１のうち最大値側（又は最小値側）の２画素以上を除いて、画素値群としてもよい。

３．第２の実施形態
３．１．孤立点ノイズ補正処理部
図９に示すように、原色単板の撮像素子上に所定サイズの輝点（ハイライト）が結像したとする。このような場合に本実施形態の孤立点ノイズ補正処理を実施すると、輝点の画素が孤立点ノイズと誤判定され、過補正される可能性がある。

例えば、隣接する５画素が、輝度飽和を起こすような輝点領域に含まれるものとする。図９の例では、輝点領域の５画素のうち、Ｒ信号が２つ、Ｇｒ信号・Ｇｂ信号・Ｂ信号がそれぞれ１つずつである。第１の実施形態で説明した孤立点ノイズ補正処理では、３×３画素の局所領域の中に１画素だけ突出した画素値が存在した場合に、孤立点ノイズが検出される。そのため、この５画素に対して孤立点ノイズ補正処理を適用した場合、Ｒ信号は孤立点ノイズとして検出されず、Ｇｒ信号・Ｇｂ信号・Ｂ信号は孤立点ノイズとして検出される。そうすると、Ｒ信号のみが補正されずに残ってしまい、本来、白色の輝点領域である所が、赤い斑点領域として再生されてしまうという課題がある。そこで、第２の実施形態では、このような輝点による過補正を修正する処理を行う。

図１０に、第２の実施形態における孤立点ノイズ補正処理部１２０の詳細な構成例を示す。図１０の孤立点ノイズ補正処理部１２０は、補正処理領域抽出部１２１、同一色信号選択部１２２、孤立点ノイズ補正部１２５（孤立点ノイズ画素補正部）、孤立点ノイズ検出部１２６、輝点補正処理部８０１（輝点検出補正処理部、過補正修正部）を含む。孤立点ノイズ検出部１２６は、孤立点ノイズ有無判定部１２３（孤立点ノイズ領域検出部）、注目画素孤立点ノイズ判定部１２４を含む。なお、第１の実施形態で説明した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。

ここで、以下では、撮像素子が原色ベイヤ配列の単板撮像素子である場合を例に説明するが、本実施形態ではこれに限定されず、種々の撮像素子を適用可能である。

輝点補正処理部８０１には、注目画素孤立点ノイズ判定部１２４からの孤立点ノイズ補正フラグと、孤立点ノイズ補正部１２５からの孤立点ノイズ補正結果と、制御部２００からのホワイトバランス係数と、ＯＢ処理部１１０からの孤立点ノイズ補正前の画像と、が入力される。輝点補正処理部８０１は、孤立点ノイズ補正フラグが“ＯＮ”である画素（つまり、孤立点ノイズ補正された画素）が、輝点領域内の画素であるか否かを判定し、輝点領域内の画素であると判定した場合には、補正済みの画素値を補正前の画素値に戻して出力する。

３．２．輝点補正処理部
図１１に、輝点補正処理部８０１の詳細な構成例を示す。輝点補正処理部８０１は、第１輝点判定領域抽出部９０１（ホワイトバランス補正部）、第２輝点判定領域抽出部９０２、注目画素輝点判定部９０３、隣接画素輝点判定部９０４、注目画素輝点確定部９０５、注目画素補正部９０６、孤立点ノイズ補正フラグ記憶部９０７を含む。

注目画素孤立点ノイズ判定部１２４から出力される孤立点ノイズ補正フラグは、孤立点ノイズ補正フラグ記憶部９０７に入力される。第１輝点判定領域抽出部９０１と第２輝点判定領域抽出部９０２が抽出する領域の孤立点ノイズ補正フラグが揃うまで、必要なライン数分の孤立点ノイズ補正フラグが孤立点ノイズ補正フラグ記憶部９０７に格納される。

第１輝点判定領域抽出部９０１には、ＯＢ処理部１１０からの孤立点ノイズ補正前の画像と、孤立点ノイズ補正フラグ記憶部９０７からの孤立点ノイズ補正フラグと、制御部２００からのホワイトバランス係数と、が入力される。孤立点ノイズ補正前の画像は、不図示のラインメモリーに格納される。

図１２に示すように、第１輝点判定領域抽出部９０１は、孤立点ノイズ補正フラグが“ＯＮ”である画素位置を中心とする所定の２次元領域（例えば３×３画素）を、ラインメモリーに格納された画像から抽出する。ここで、第１輝点判定領域抽出部９０１により抽出された領域を「第１輝点判定領域」と呼び、その中央画素を「第１輝点判定注目画素」と呼ぶ。

第１輝点判定領域抽出部９０１（ホワイトバランス補正部）は、第１輝点判定領域のＲ信号及びＢ信号に対してホワイトバランス係数を乗算してホワイトバランス補正を行い、そのホワイトバランス補正を施した画素値を注目画素輝点判定部９０３へ出力する。ホワイトバランス補正を行うのは、輝点は本来白色であり、ＲＧＢの画素値は同等になるからである。後述する判定処理では、異色画素値間の相関を見て、輝点か否かを判定する。ホワイトバランスがずれていると、異色画素値が同じにならず判定に影響するので、ホワイトバランス補正によりＲＧＢのゲインを合わせる。

注目画素輝点判定部９０３には、第１輝点判定領域抽出部９０１からのホワイトバランス補正された第１輝点判定領域の画素値と、制御部２００からの第１の所定係数（第１の実施形態における第１の所定係数Ｃｏ１とは異なる）と、孤立点ノイズ補正フラグ記憶部９０７からの第１輝点判定領域の画素に対応する孤立点ノイズ補正フラグと、が入力される。

図１２に示すように、注目画素輝点判定部９０３は、第１輝点判定注目画素の上下左右（画像の垂直走査方向ｙ及び水平走査方向ｘ）に隣接する画素ＮＰ１〜ＮＰ４（異色隣接画素）のうち、孤立点ノイズ補正フラグが“ＯＦＦ”である画素の画素値を抽出する。図１２では、孤立点ノイズ補正フラグを“（ＯＮ）”又は“（ＯＦＦ）”で示す。注目画素輝点判定部９０３は、抽出した画素値と第１輝点判定注目画素の画素値との差分絶対値を求め、求めた差分絶対値が複数存在する場合には、最小の差分絶対値を１つ選択する。隣接画素ＮＰ１〜ＮＰ４の孤立点ノイズ補正フラグが全て“ＯＮ”である場合には、差分絶対値を、設定可能な最大の値に設定し、輝点と判定されないようにする。

注目画素輝点判定部９０３は、第１輝点判定注目画素の画素値を第１の所定係数で除算した値を閾値（注目画素輝点判定用の閾値）として求め、選択した差分絶対値と閾値とを比較する。注目画素輝点判定部９０３は、選択した差分絶対値が閾値よりも小さい場合には、第１輝点判定注目画素が輝点候補であると判定し、選択した差分絶対値が閾値以上である場合には、第１輝点判定注目画素が輝点候補でないと判定する。注目画素輝点判定部９０３は、この判定結果を注目画素輝点判定フラグとして注目画素輝点確定部９０５へ出力する。注目画素輝点判定フラグは、輝点候補であると判定された場合には“ＯＮ”（例えば論理レベル“１”）であり、輝点候補でないと判定された場合には“ＯＦＦ”（例えば論理レベル“０”）である。また、注目画素輝点判定部９０３は、選択した差分絶対値に対応する隣接画素の、第１輝点判定注目画素に対する方向の情報を、相関方向の情報として隣接画素輝点判定部９０４へ出力する。ここで、相関方向は、上方向（図１３の−ｙ方向）、下方向（＋ｙ方向）、左方向（−ｘ方向）、右方向（＋ｘ）方向のいずれかであり、例えば図１２のＮＰ１が、選択した差分絶対値に対応する隣接画素である場合には、相関方向は左方向（−ｘ方向）である。なお以下では、相関方向を、適宜「輝点相関方向」と呼ぶ。

第２輝点判定領域抽出部９０２には、孤立点ノイズ補正部１２５からの孤立点ノイズ補正後の画像と、孤立点ノイズ補正フラグ記憶部９０７からの孤立点ノイズ補正フラグと、が入力される。孤立点ノイズ補正後の画像は、不図示のラインメモリーに格納される。

図１３に示すように、第２輝点判定領域抽出部９０２は、孤立点ノイズ補正フラグが“ＯＮ”である画素位置を中心とする所定の２次元領域（例えば５×５画素）を、ラインメモリーに格納された画像から抽出する。ここで、第２輝点判定領域抽出部９０２により抽出された領域を「第２輝点判定領域」と呼び、その中央画素を「第２輝点判定注目画素」と呼ぶ。第２輝点判定領域抽出部９０２は、抽出した第２輝点判定領域の画素値を、隣接画素輝点判定部９０４へ出力する。

隣接画素輝点判定部９０４には、第２輝点判定領域抽出部９０２からの第２輝点判定領域の画素値と、制御部２００からの第２の所定係数（第１の実施形態における第２の所定係数Ｃｏ２とは異なる）と、注目画素輝点判定部９０３からの輝点相関方向の情報と、が入力される。なお以下では、輝点相関方向が左方向（図１３の−ｘ方向）である場合を例にとり説明する。

図１３に示すように、隣接画素輝点判定部９０４は、第２輝点判定注目画素に対して輝点相関方向（−ｘ方向）に隣接する画素ＮＰ１の画素値を、第２輝点判定領域から抽出する。また、その画素ＮＰ１と同色の画素のうち、輝点相関方向の直交方向ｙにおいて画素ＮＰ１から最近傍の画素ＳＣ１〜ＳＣ４の画素値を、第２輝点判定領域から抽出する。隣接画素輝点判定部９０４は、隣接画素ＮＰ１、ＮＰ２の画素値と最近傍画素ＳＣ１〜ＳＣ４の画素値との間に相関があるか否かを判定し、相関が無い場合には隣接画素が輝点であると判定する。

具体的には、隣接画素輝点判定部９０４は、４つの最近傍画素のうち距離が近い２画素の画素値を平均し、２つの平均画素値を算出する。即ち、ＳＣ１、ＳＣ２の画素値の平均値（第１平均値）と、ＳＣ３、ＳＣ４の画素値の平均値（第２平均値）と、を算出する。これら第１、第２平均画素値それぞれに対して、制御部２００からの第２所定係数を乗算し、第１、第２平均画素値に対応する第１、第２閾値（隣接画素輝点判定用の第１、第２閾値）を算出する。隣接画素輝点判定部９０４は、隣接画素ＮＰ１の画素値と第１平均値との差分絶対値を算出し、この差分絶対値と第１閾値とを比較する。また、隣接画素ＮＰ１の画素値と第２平均値との差分絶対値を算出し、この差分絶対値と第２閾値とを比較する。

そして、隣接画素輝点判定部９０４は、少なくとも１つの差分絶対値が、対応する閾値よりも大きい場合には、第２輝点判定注目画素に隣接する画素ＮＰ１〜ＮＰ４の少なくとも１つ（ここではＮＰ１）が輝点であると判定する。即ち、ＮＰ１の画素値と第１平均値の差分絶対値が第１閾値よりも大きい場合と、ＮＰ１の画素値と第２平均値の差分絶対値が第２閾値よりも大きい場合と、の少なくとも一方に該当する場合には、ＮＰ１が輝点であると判定する。隣接画素輝点判定部９０４は、この判定結果を、隣接画素輝点判定フラグとして注目画素輝点確定部９０５へ出力する。隣接画素輝点判定フラグは、輝点であると判定された場合には“ＯＮ”（例えば論理レベル“１”）であり、輝点でないと判定された場合には“ＯＦＦ”（例えば論理レベル“０”）である。

注目画素輝点確定部９０５は、注目画素輝点判定フラグと隣接画素輝点判定フラグがともに“ＯＮ”である場合には、注目画素が輝点であると確定判定し、注目画素輝点判定フラグと隣接画素輝点判定フラグの少なくとも一方が“ＯＦＦ”である場合には、注目画素が輝点でないと確定判定する。具体的には、注目画素輝点判定部９０３は、注目画素輝点判定フラグと隣接画素輝点判定フラグとの論理積を取り、その結果を、輝点判定フラグとして注目画素補正部９０６へ出力する。輝点判定フラグは、注目画素輝点判定フラグと隣接画素輝点判定フラグがともに“ＯＮ”の場合には“ＯＮ”となり、注目画素輝点判定フラグと隣接画素輝点判定フラグの少なくとも一方が“ＯＦＦ”の場合には“ＯＦＦ”となる。

また、注目画素輝点確定部９０５は、注目画素輝点判定フラグと隣接画素輝点判定フラグとの否定論理積を取り、その結果を、修正された孤立点ノイズ補正フラグとして孤立点ノイズ補正フラグ記憶部９０７へ出力する。修正された孤立点ノイズ補正フラグは、輝点判定フラグが“ＯＮ”の場合には“ＯＦＦ”となり、輝点判定フラグが“ＯＦＦ”の場合には“ＯＮ”となる。孤立点ノイズ補正フラグ記憶部９０７は、画素位置に対応して記録されている孤立点ノイズ補正フラグを、その画素位置に対応する修正された孤立点ノイズ補正フラグに更新する。孤立点ノイズとして一旦検出された画素が、輝点と判定された場合には、その画素の孤立点ノイズ補正フラグは、“ＯＮ”から“ＯＦＦ”に更新されることになる。

注目画素補正部９０６は、入力された輝点判定フラグが“ＯＮ”である（つまり、注目画素と隣接画素がともに輝点であると判定された）場合には、第２輝点判定注目画素の画素値を、孤立点ノイズ補正前の第１輝点判定注目画素の画素値（第１輝点判定領域抽出部９０１によりホワイトバランス補正される前の画素値）に置き換えて出力する。入力された輝点判定フラグが“ＯＦＦ”である（つまり、注目画素と隣接画素の少なくとも一方が輝点でないと判定された）場合には、第２輝点判定注目画素の画素値をそのまま出力する。

さて、図９で説明した理由と同様の理由により、図１３の例では、注目画素のＧｒ信号は孤立点ノイズと判定され、隣接画素ＮＰ１、ＮＰ２のＲ信号は孤立点ノイズと判定されない。そのため、孤立点ノイズ補正を行うと、輝点領域に赤の偽色が発生するという課題がある。

この点、上述した第２の実施形態によれば、孤立点ノイズとして過補正された注目画素の画素値を、補正前の画素値に戻すことができる。即ち、注目画素と隣接画素ＮＰ１、ＮＰ２はともに輝点領域に含まれるため画素値が近いので、注目画素輝点判定部９０３により注目画素が輝点候補と判定される。また、輝点領域に含まれる隣接画素ＮＰ１、ＮＰ２の画素値は大きいため、最近傍画素ＳＣ１〜ＳＣ４の画素値との差分が大きく、隣接画素輝点判定部９０４により隣接画素ＮＰ１、ＮＰ２は輝点と判定される。そして、注目画素が輝点候補であり、且つ隣接画素ＮＰ１、ＮＰ２が輝点であるため、注目画素輝点確定部９０５により注目画素が輝点であると確定判定され、注目画素補正部９０６により注目画素の画素値が補正前の画素値に戻される。このようにして、輝点による過補正を修正することができる。

３．３．輝点補正処理
図１４に、輝点補正処理部８０１が行う処理のフローチャートを示す。この処理が開始されると、第１輝点判定領域抽出部９０１は、孤立点ノイズ補正フラグ記憶部９０７に記録された孤立点ノイズ補正フラグが“ＯＮ”であるか否か（つまり、注目画素に対して孤立点ノイズ補正が施されたか否か）を判定する（ステップＳ５１）。注目画素の孤立点ノイズ補正フラグが“ＯＦＦ”である場合には、注目画素を次の画素に変更してステップＳ５１を実行する。図１２で説明したように、注目画素の孤立点ノイズ補正フラグが“ＯＮ”である場合には、注目画素の位置を中心に所定サイズ（例えば３×３画素）の領域を、孤立点ノイズ補正前の画像から抽出する（ステップＳ５２）。

次に、第１輝点判定領域抽出部９０１は、抽出領域の画素値に対してホワイトバランス補正を行う（ステップＳ５３）。次に、注目画素輝点判定部９０３は、抽出領域において第１輝点検出注目画素の隣接画素ＮＰ１〜ＮＰ４であると共に孤立点ノイズ補正フラグが“ＯＦＦ”の画素のうち、ホワイトバランス補正された画素値が第１輝点検出注目画素に対して最大相関である画素（例えばＮＰ１）を選択する（ステップＳ５４）。次に、注目画素輝点判定部９０３は、選択した画素の画素値と第１輝点検出注目画素の画素値とに基づいて、第１輝点検出注目画素が輝点候補であるか否かを判定する（ステップＳ５５、Ｓ５６）。第１輝点検出注目画素が輝点候補でないと判定された場合には、注目画素を次の画素に変更してステップＳ５１を実行する。

図１３で説明したように、第１輝点検出注目画素が輝点候補であると判定された場合には、第２輝点判定領域抽出部９０２は、孤立点ノイズ補正後の画像から所定領域（例えば５×５画素）を抽出する（ステップＳ５７）。次に、隣接画素輝点判定部９０４は、抽出領域において第２輝点検出注目画素の周辺に位置する最近傍画素であると共に第２輝点検出注目画素と同色の画素ＳＣ１〜ＳＣ４の画素値と、注目画素輝点判定部９０３により選択された隣接画素（ＮＰ１）の画素値と、に基づいて、第２輝点検出注目画素に対する最大相関の隣接画素（ＮＰ１）が輝点であるか否かを判定する（ステップＳ５８）。

次に、注目画素輝点確定部９０５は、第１輝点検出注目画素が輝点候補であると判定され、且つ第２輝点検出注目画素に対する最大相関の隣接画素（ＮＰ１）が輝点であると判定されたか否かを判定し、第２輝点検出注目画素が輝点であるか否かを確定判定する（ステップＳ５９）。第２輝点検出注目画素が輝点でないと確定判定された場合には、注目画素を次の画素に変更してステップＳ５１を実行する。第２輝点検出注目画素が輝点であると確定判定された場合には、注目画素補正部９０６は、第２輝点検出注目画素の画素値を、孤立点ノイズ補正前の画素値に戻し、孤立点ノイズ補正フラグ記憶部９０７は、第２輝点検出注目画素の孤立点ノイズ補正フラグを“ＯＦＦ”に戻す（ステップＳ６０）。

次に、画像内の全ての画素について処理が終了したか否かを判定する（ステップＳ６１）。終了していなければステップＳ５１へ戻り、終了している場合には本処理を終了する。

以上の実施形態によれば、図１０に示すように、画像処理装置は輝点補正処理部８０１を含む。輝点補正処理部８０１は、孤立点ノイズ補正部１２５により補正された注目画素が輝点領域内の画素であるか否かを判定し、注目画素が輝点領域内の画素であると判定した場合に、その注目画素の画素値を、孤立点ノイズ補正部１２５による補正前の画素値に戻す処理を行う。

このようにすれば、輝点領域の画素が孤立点ノイズとして過補正された場合であっても、その過補正された孤立点ノイズの画素値を、孤立点ノイズ補正前の画素値に修正することができる。このようにして、孤立点ノイズの補正精度を向上させることが可能となり、輝点領域でのアーティファクト発生を抑制できる。

また本実施形態では、孤立点ノイズの補正対象である画像は、複数色（例えばＲＧＢ）の画素が配置（例えばベイヤ配列）された画像である。図１１に示すように、輝点補正処理部８０１は、注目画素輝点判定部９０３を有する。図１２で説明したように、注目画素輝点判定部９０３は、孤立点ノイズ補正部１２５による補正前の注目画素の画素値と、注目画素と異色であると共に注目画素の隣の画素である異色隣接画素ＮＰ１〜ＮＰ４の画素値とを比較して、注目画素が輝点領域内の画素の候補であるか否かを判定する。

このようにすれば、注目画素と異色隣接画素ＮＰ１〜ＮＰ４が同じ輝点領域に含まれる場合には、注目画素と異色隣接画素ＮＰ１〜ＮＰ４の画素値差が小さくなるため、注目画素が輝点領域に含まれる可能性があることを検出できる。

また本実施形態では、図１２で説明したように、注目画素輝点判定部９０３は、異色隣接画素ＮＰ１〜ＮＰ４のうち、画素値が注目画素の画素値に最も近い画素（例えばＮＰ１）を選択画素として選択する。図１１に示すように、輝点補正処理部８０１は、隣接画素輝点判定部９０４を有する。隣接画素輝点判定部９０４は、注目画素輝点判定部９０３により注目画素が輝点領域内の画素の候補であると判定された場合に、選択画素ＮＰ１の画素値と、選択画素ＮＰ１と同色であると共に選択画素ＮＰ１に対して所定位置に存在する画素ＳＣ１〜ＳＣ４の画素値とを比較して、選択画素ＮＰ１が輝点領域内の画素であるか否かを判定する。

例えば本実施形態では、選択画素に対する所定位置とは、注目画素に対する選択画素の方向（図１３のＮＰ１では−ｘ方向）に対して直交する方向（ｙ方向）において、選択画素と同色の画素のうち注目画素から最も近い４つの画素位置（画素ＳＣ１〜ＳＣ４の画素位置）である。

注目画素輝点判定部９０３により注目画素が輝点候補であると判定された場合であっても、隣接画素が輝点領域に含まれない場合には注目画素が輝点でない可能性がある。この点、本実施形態によれば、隣接画素が輝点領域に含まれるか否かを判定できるので、注目画素が輝点領域に含まれるか否かを確定判定できる。

４．撮像装置
図１５に、本実施形態の画像処理装置が適用された撮像装置の構成例として、内視鏡装置の構成例を示す。内視鏡装置は、光源部５００、撮像部５１０（挿入部）、制御装置５２０（処理部）、表示部５３０、外部Ｉ／Ｆ部５４０を含む。

光源部５００は、照明光を発生する光源５０１と、照明光の光量を制御する光量制御部５０２と、光源５０１からの照明光を集光する集光レンズ５０３と、を含む。撮像部５１０は、観察対象への挿入を可能にするために細長く且つ湾曲可能に形成されている。

撮像部５１０は、集光レンズ５０３により集光された照明光を撮像部５１０の先端まで導くライトガイドファイバー５０４と、ライトガイドファイバー５０４により導かれた照明光を拡散させて被写体に照射する照明レンズ５０５と、を含む。また撮像部５１０は、被写体像を結像させる対物レンズ５１１及びフォーカスレンズ５１３と、フォーカスレンズ５１３を駆動するフォーカスレンズ駆動部５１２と、被写体像を撮像する撮像素子５１５と、撮像素子５１５からのアナログ信号をＡ／Ｄ変換するＡ／Ｄ変換部５１６と、を含む。

制御装置５２０は、Ａ／Ｄ変換部５１６から入力される画像に対して種々の画像処理を行う画像処理部５２１（画像処理装置）と、内視鏡装置の各部を制御する制御部５２２と、フォーカスレンズ駆動部５１２を制御してフォーカス調整を行うフォーカス制御部５２３と、を含む。画像処理部５２１は、上述した孤立点ノイズ補正処理や輝点補正処理等を行う。

なお上記では、撮像装置が内視鏡装置である場合を例に説明したが、本実施形態はこれに限定されず、種々の撮像装置に適用できる。例えば撮像装置として、静止画像を撮像するデジタルカメラや、動画像を撮影するビデオカメラ、カプセル内視鏡等が想定される。例えばカプセル内視鏡では、体内のカプセルと体外の受信記との間で無線通信を行うため、その無線通信での伝送エラーによりランダムな孤立点ノイズの発生が想定されるが、本実施形態によれば、ランダムな孤立点ノイズがエッジ部の近傍に発生した場合であっても、適切に孤立点ノイズを補正可能である。

また本実施形態は、ワークステーションやパソコン等の公知のコンピューターシステムを画像処理装置として用いる場合にも適用可能である。この場合、画像処理装置の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピューターシステムのＣＰＵが実行することによって、画像処理装置の各部を実現できる。

以上、本発明を適用した実施形態及びその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。更に、異なる実施形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１００ 撮像部、１１０ ＯＢ処理部、１２０ 孤立点ノイズ補正処理部、
１２１ 補正処理領域抽出部、１２２ 同一色信号選択部、
１２３ 孤立点ノイズ有無判定部、１２４ 注目画素孤立点ノイズ判定部、
１２５ 孤立点ノイズ補正部、１２６ 孤立点ノイズ検出部、
１３０ ランダムノイズ低減処理部、１４０ ＷＢ処理部、
１５０ デモザイキング処理部、１６０ ＣＭＳ処理部、１７０ ガンマ処理部、
１８０ エッジ強調処理部、１９０ 出力部、２００ 制御部、
５００ 光源部、５０１ 光源、５０２ 光量制御部、５０３ 集光レンズ、
５０４ ライトガイドファイバー、５０５ 照明レンズ、
５１０ 撮像部、５１１ 対物レンズ、５１２ フォーカスレンズ駆動部、
５１３ フォーカスレンズ、５１５ 撮像素子、５１６ Ａ／Ｄ変換部、
５２０ 制御装置、５２１ 画像処理部、５２２ 制御部、
５２３ フォーカス制御部、５３０ 表示部、５４０ 外部Ｉ／Ｆ部、
８０１ 輝点補正処理部、９０１ 第１輝点判定領域抽出部、
９０２ 第２輝点判定領域抽出部、９０３ 注目画素輝点判定部、
９０４ 隣接画素輝点判定部、９０５ 注目画素輝点確定部、
９０６ 注目画素補正部、９０７ 孤立点ノイズ補正フラグ記憶部、
Ｃｏ１ 第１の所定係数、Ｃｏ２ 第２の所定係数、ＥＧ エッジ、
Ｌ１〜Ｓ１ 第１〜第ｎの画素値、Ｍｉｄ 中間値、
ＮＰ１〜ＮＰ４ 隣接画素、ＳＣ１〜ＳＣ４ 最近傍画素、
ｄＲａｎｇｅ１ 第１のダイナミックレンジ（第１指標値）、
ｄＲａｎｇｅ２ 第２のダイナミックレンジ（第２指標値）、
ｘ 水平走査方向、ｙ 垂直走査方向

Claims (18)

1. 画像に含まれる孤立点ノイズを検出する孤立点ノイズ検出部と、
   前記孤立点ノイズ検出部により検出された前記孤立点ノイズを補正する孤立点ノイズ補正部と、
   を含み、
   前記孤立点ノイズ検出部は、
   前記孤立点ノイズの検出対象である注目画素を含む所定領域内の画素の画素値を昇順又は降順にした第１〜第ｎの画素値のレンジを表す第１指標値と、前記第１〜第ｎの画素値から少なくとも第１の画素値及び第ｎの画素値のうち一方を除いた画素値群のレンジを表す第２指標値と、に基づいて前記所定領域に前記孤立点ノイズが含まれるか否かを判定する孤立点ノイズ有無判定部と、
   前記所定領域に前記孤立点ノイズが含まれると判定された場合に、前記注目画素が前記孤立点ノイズの画素であるか否かを判定する注目画素孤立点ノイズ判定部と、
   を有することを特徴とする画像処理装置。
2. 請求項１において、
   前記孤立点ノイズ有無判定部は、
   前記第１の画素値と前記第ｎの画素値との差分値を前記第１指標値として求め、前記画素値群に含まれる画素値の最大値と最小値との差分値を前記第２指標値として求めることを特徴とする画像処理装置。
3. 請求項２において、
   前記画素値群は、前記第１〜第ｎの画素値のうち第２〜第ｎ−１の画素値であり、
   前記孤立点ノイズ有無判定部は、
   前記画素値群のうちの前記第２の画素値と前記第ｎ−１の画素値との差分値を前記第２指標値として求めることを特徴とする画像処理装置。
4. 請求項１において、
   前記孤立点ノイズ有無判定部は、
   前記第１指標値が、前記第２指標値に第１の所定係数を乗じた値よりも大きい場合に、前記所定領域に前記孤立点ノイズが含まれると判定することを特徴とする画像処理装置。
5. 請求項１において、
   前記注目画素孤立点ノイズ判定部は、
   前記画素値群のレンジ内の所定値と前記注目画素の画素値との差分絶対値が、前記第２指標値に第２の所定係数を乗じた値よりも大きい場合に、前記注目画素が前記孤立点ノイズの画素であると判定することを特徴とする画像処理装置。
6. 請求項５において、
   前記所定値は、前記画素値群に含まれる画素値のメディアン値であることを特徴とする画像処理装置。
7. 請求項１において、
   前記孤立点ノイズ補正部は、
   前記注目画素が前記孤立点ノイズの画素であると判定された場合に、前記第１〜第ｎの画素値から得られる値により前記注目画素の補正を行うことを特徴とする画像処理装置。
8. 請求項７において、
   前記孤立点ノイズ補正部は、
   前記注目画素の画素値を、前記第１〜第ｎの画素値のメディアン値に置換することにより、前記注目画素の補正を行うことを特徴とする画像処理装置。
9. 請求項１において、
   前記孤立点ノイズの補正対象である前記画像は、複数色の画素が配置された画像であり、
   前記第１〜第ｎの画素値は、前記所定領域に含まれる画素のうち前記注目画素と同色の画素の画素値であることを特徴とする画像処理装置。
10. 請求項１において、
    前記孤立点ノイズ補正部により補正された前記注目画素が輝点領域内の画素であるか否かを判定し、前記注目画素が輝点領域内の画素であると判定した場合に、前記注目画素の画素値を、前記孤立点ノイズ補正部による補正前の画素値に戻す処理を行う輝点補正処理部を含むことを特徴とする画像処理装置。
11. 請求項１０において、
    前記孤立点ノイズの補正対象である前記画像は、複数色の画素が配置された画像であり、
    前記輝点補正処理部は、
    前記孤立点ノイズ補正部による補正前の前記注目画素の画素値と、前記注目画素と異色であると共に前記注目画素の隣の画素である異色隣接画素の画素値とを比較して、前記注目画素が前記輝点領域内の画素の候補であるか否かを判定する注目画素輝点判定部を有することを特徴とする画像処理装置。
12. 請求項１１において、
    前記注目画素輝点判定部は、
    前記異色隣接画素のうち、前記孤立点ノイズ補正部により補正されていない画素の画素値と、前記孤立点ノイズ補正部による補正前の前記注目画素の画素値と、を比較することを特徴とする画像処理装置。
13. 請求項１１において、
    前記異色隣接画素に対してホワイトバランス補正処理を行うホワイトバランス補正部を含み、
    前記注目画素輝点判定部は、
    前記ホワイトバランス補正処理が施された前記異色隣接画素に基づいて、前記注目画素が前記輝点領域内の画素の候補であるか否かの判定を行うことを特徴とする画像処理装置。
14. 請求項１１において、
    前記注目画素輝点判定部は、
    異色隣接画素のうち、画素値が前記注目画素の画素値に最も近い画素を選択画素として選択し、
    前記輝点補正処理部は、
    前記注目画素輝点判定部により前記注目画素が前記輝点領域内の画素の候補であると判定された場合に、前記選択画素の画素値と、前記選択画素と同色であると共に前記選択画素に対して所定位置に存在する画素の画素値とを比較して、前記選択画素が前記輝点領域内の画素であるか否かを判定する隣接画素輝点判定部を有することを特徴とする画像処理装置。
15. 請求項１４において、
    前記輝点補正処理部は、
    前記注目画素輝点判定部により前記注目画素が前記輝点領域内の画素の候補であると判定されると共に、前記隣接画素輝点判定部により前記異色隣接画素が前記輝点領域内の画素であると判定された場合に、前記注目画素が前記輝点領域内の画素であると確定判定する注目画素輝点確定部を有することを特徴とする画像処理装置。
16. 画像に含まれる孤立点ノイズを検出する孤立点ノイズ検出部と、
    前記孤立点ノイズ検出部により検出された前記孤立点ノイズを補正する孤立点ノイズ補正部と、
    を含み、
    前記孤立点ノイズ検出部は、
    前記孤立点ノイズの検出対象である注目画素を含む所定領域内の画素の画素値に基づいて、前記所定領域に前記孤立点ノイズが含まれるか否かを判定し、前記所定領域に前記孤立点ノイズが含まれると判定された場合に、前記注目画素が前記孤立点ノイズの画素であるか否かを判定することを特徴とする画像処理装置。
17. 請求項１乃至１６のいずれかに記載された画像処理装置を含むことを特徴とする内視鏡装置。
18. 孤立点ノイズの検出対象である注目画素を含む所定領域内の画素の画素値を昇順又は降順にした第１〜第ｎの画素値のレンジを表す第１指標値と、前記第１〜第ｎの画素値から少なくとも第１の画素値及び第ｎの画素値のうち一方を除いた画素値群のレンジを表す第２指標値と、を求め、
    前記第１指標値と前記第２指標値とに基づいて、前記所定領域に前記孤立点ノイズが含まれるか否かを判定し、
    前記所定領域に前記孤立点ノイズが含まれると判定された場合に、前記注目画素が前記孤立点ノイズの画素であるか否かを判定し、
    前記注目画素が前記孤立点ノイズの画素であると判定された場合に、前記注目画素の画素値を補正することを特徴とする孤立点ノイズ補正方法。