JP6128987B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、欠陥画素及びインパルスノイズの画素といった補正すべき画素を画像から検出して補正するための画像処理装置、画像処理方法及び画像処理プログラムに関する。

欠陥画素やインパルスノイズの画素等の補正すべき画素を入力画像から検出する技術として例えば非特許文献１の方法が知られている。非特許文献１では、注目画素とその近傍画素の平均値との差分絶対値又は注目画素とその近傍画素との差分絶対値のうち、差分絶対値の小さい４つの合計値を孤立度として算出する方法が提案されている。

Roman Garnett, Timothy Huegerich, Charles Chui, Fellow, IEEE, and Wenjie He, Member, IEEE,"A Universal Noise Removal Algorithm with an Impulse Detector"

ここで、非特許文献１の方法では、補正すべき画素の領域だけでなく、画素値が大きく変化するエッジ領域又はグラデーション領域においても孤立度が高くなる。したがって、非特許文献１の方法では、補正すべき画素を表す正確な孤立度を算出することが困難な場合がある。

本発明は、前記の事情に鑑みてなされたもので、欠陥画素及びインパルスノイズの画素等の補正すべき画素をより正確に検出して補正できる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、入力画像における注目画素の画素値と前記注目画素の近傍の参照画素の画素値との類似度及び前記注目画素の画素値と前記注目画素の近傍の複数の参照画素の画素値の平均値との類似度を算出する類似度算出部と、前記算出された類似度のうちの最も高い類似度に第１の所定の閾値以上の係数を乗じた乗算結果に対する比又は差が第２の所定の閾値以上となる類似度を有する前記参照画素の画素値及び前記参照画素の画素値の平均値のそれぞれに対し、前記比又は差が小さいほど大きくなるような重み係数を算出する重み係数算出部と、前記算出された重み係数を用いて、前記参照画素の画素値の重み付け平均値及び前記参照画素の画素値の平均値の重み付け平均値を算出する重み付け平均値算出部と、前記注目画素の画素値と前記参照画素の画素値の重み付け平均値との差分値及び前記注目画素の画素値と前記参照画素の画素値の平均値の重み付け平均値との差分値を算出する減算部と、前記算出された差分値に基づいて前記注目画素が補正すべき画素か判定するための孤立度を算出する孤立度算出部と、前記算出された孤立度に基づいて前記注目画素を補正する補正部とを具備することを特徴とする。

前記の目的を達成するために、本発明の第２の態様の画像処理装置は、入力画像における注目画素の周辺の画素を含む領域である注目画素周辺領域に含まれる画素の画素値を成分とする注目画素特徴ベクトルを生成するとともに、前記注目画素周辺領域に含まれる色情報と前記注目画素の近傍の参照画素の周辺の画素を含む領域である参照画素周辺領域に含まれる色情報とを画素毎に比較し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が全て等しい場合には、前記参照画素周辺領域に含まれる画素値を成分とする参照画素特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が異なる画素が存在する場合には、該参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の画素値を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素を用いて算出した画素値に置き換えた画素値を成分とする参照画素特徴ベクトルを生成するベクトル生成部と、前記生成された前記注目画素特徴ベクトルと前記参照画素特徴ベクトルとの類似度を算出する類似度算出部と、前記算出された類似度のうちの最も高い類似度に第１の所定の閾値以上の係数を乗じた乗算結果に対する比又は差が第２の所定の閾値以上となる類似度を有する前記参照画素の画素値に対し、前記比又は差が小さいほど大きくなるように重み係数を算出する重み係数算出部と、前記重み係数を用いて、前記参照画素の画素値の重み付け平均値及び前記参照画素の画素値の平均値の重み付け平均値を算出する重み付け平均値算出部と、前記注目画素の画素値と前記参照画素の画素値の重み付け平均値との差分値及び前記注目画素の画素値と前記参照画素の画素値の平均値の重み付け平均値との差分値を算出する減算部と、前記算出された差分値に基づいて前記注目画素が補正すべき画素か判定するための孤立度を算出する孤立度算出部と、前記算出された孤立度に基づいて前記注目画素を補正する補正部とを具備することを特徴とする。

前記の目的を達成するために、本発明の第３の態様の画像処理装置は、入力画像における画素毎の孤立度を検出する検出部と、入力画像における注目画素の周辺の画素を含む領域である注目画素周辺領域の画素値を成分とする注目画素特徴ベクトルを生成し、前記注目画素の孤立度に対して前記注目画素周辺領域に含まれる孤立度を成分とする注目孤立度特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記注目画素の近傍の参照画素の周辺の画素を含む領域である参照画素周辺領域に含まれる色情報とを画素毎に比較し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が全て等しい場合には、前記参照画素周辺領域に含まれる画素値を成分とする参照画素特徴ベクトルと前記参照画素周辺領域に含まれる孤立度を成分とする参照孤立度特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が異なる画素が存在する場合には、該参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の画素値を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素を用いて算出した画素値に置き換えた画素値を成分とする参照画素特徴ベクトルと前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の孤立度を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素の孤立度を用いて算出した孤立度に置き換えた孤立度を成分とする参照孤立度特徴ベクトルを生成するベクトル生成部と、前記注目孤立度特徴ベクトルと前記参照孤立度特徴ベクトルとを用いて前記注目画素特徴ベクトルと前記参照画素特徴ベクトルとの類似度を算出する類似度算出部と、前記算出された類似度と前記検出された孤立度とに基づいて前記参照画素の重み係数を算出する重み係数算出部と、前記算出された重み係数を用いて複数の前記参照画素の重み付け平均値を補正値として算出する重み付け平均値算出部と、前記検出された孤立度に基づいて前記注目画素の画素値と前記補正値とを混合する混合部とを具備することを特徴とする。

前記の目的を達成するために、本発明の第４の態様の画像処理方法は、入力画像における注目画素の画素値と前記注目画素の近傍の参照画素の画素値との類似度及び前記注目画素の画素値と前記注目画素の近傍の複数の参照画素の画素値の平均値との類似度を算出することと、前記算出された類似度のうちの最も高い類似度に第１の所定の閾値以上の係数を乗じた乗算結果に対する比又は差が第２の所定の閾値以上となる類似度を有する前記参照画素の画素値及び前記参照画素の画素値の平均値のそれぞれに対し、前記比又は差が小さいほど大きくなるような重み係数を算出することと、前記算出された重み係数を用いて、前記参照画素の画素値の重み付け平均値及び前記参照画素の画素値の平均値の重み付け平均値を算出することと、前記注目画素の画素値と前記参照画素の画素値の重み付け平均値との差分値及び前記注目画素の画素値と前記参照画素の画素値の平均値の重み付け平均値との差分値を算出することと、前記算出された差分値に基づいて前記注目画素が補正すべき画素か判定するための孤立度を算出することと、前記算出された孤立度に基づいて前記注目画素を補正することとを具備することを特徴とする。

前記の目的を達成するために、本発明の第５の態様の画像処理方法は、入力画像における注目画素の周辺の画素を含む領域である注目画素周辺領域に含まれる画素の画素値を成分とする注目画素特徴ベクトルを生成するとともに、前記注目画素周辺領域に含まれる色情報と前記注目画素の近傍の参照画素の周辺の画素を含む領域である参照画素周辺領域に含まれる色情報とを画素毎に比較し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が全て等しい場合には、前記参照画素周辺領域に含まれる画素値を成分とする参照画素特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が異なる画素が存在する場合には、該参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の画素値を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素を用いて算出した画素値に置き換えた画素値を成分とする参照画素特徴ベクトルを生成することと、前記生成された前記注目画素特徴ベクトルと前記参照画素特徴ベクトルとの類似度を算出することと、前記算出された類似度のうちの最も高い類似度に第１の所定の閾値以上の係数を乗じた乗算結果に対する比又は差が第２の所定の閾値以上となる類似度を有する前記参照画素の画素値に対し、前記比又は差が小さいほど大きくなるように重み係数を算出することと、前記重み係数を用いて、前記参照画素の画素値の重み付け平均値及び前記参照画素の画素値の平均値の重み付け平均値を算出することと、前記注目画素の画素値と前記参照画素の画素値の重み付け平均値との差分値及び前記注目画素の画素値と前記参照画素の画素値の平均値の重み付け平均値との差分値を算出することと、前記算出された差分値に基づいて前記注目画素が補正すべき画素か判定するための孤立度を算出することと、前記算出された孤立度に基づいて前記注目画素を補正することとを具備することを特徴とする。

前記の目的を達成するために、本発明の第６の態様の画像処理方法は、入力画像における画素毎の孤立度を検出することと、入力画像における注目画素の周辺の画素を含む領域である注目画素周辺領域の画素値を成分とする注目画素特徴ベクトルを生成し、前記注目画素の孤立度に対して前記注目画素周辺領域に含まれる孤立度を成分とする注目孤立度特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記注目画素の近傍の参照画素の周辺の画素を含む領域である参照画素周辺領域に含まれる色情報とを画素毎に比較し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が全て等しい場合には、前記参照画素周辺領域に含まれる画素値を成分とする参照画素特徴ベクトルと前記参照画素周辺領域に含まれる孤立度を成分とする参照孤立度特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が異なる画素が存在する場合には、該参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の画素値を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素を用いて算出した画素値に置き換えた画素値を成分とする参照画素特徴ベクトルと前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の孤立度を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素の孤立度を用いて算出した孤立度に置き換えた孤立度を成分とする参照孤立度特徴ベクトルを生成することと、前記注目孤立度特徴ベクトルと前記参照孤立度特徴ベクトルとを用いて前記注目画素特徴ベクトルと前記参照画素特徴ベクトルとの類似度を算出することと、前記算出された類似度と前記検出された孤立度とに基づいて前記参照画素の重み係数を算出することと、前記算出された重み係数を用いて複数の前記参照画素の重み付け平均値を補正値として算出することと、前記検出された孤立度に基づいて前記注目画素の画素値と前記補正値とを混合することとを具備することを特徴とする。

前記の目的を達成するために、本発明の第７の態様の画像処理プログラムは、入力画像における注目画素の画素値と前記注目画素の近傍の参照画素の画素値との類似度及び前記注目画素の画素値と前記注目画素の近傍の複数の参照画素の画素値の平均値との類似度を算出する機能と、前記算出された類似度のうちの最も高い類似度に第１の所定の閾値以上の係数を乗じた乗算結果に対する比又は差が第２の所定の閾値以上となる類似度を有する前記参照画素の画素値及び前記参照画素の画素値の平均値のそれぞれに対し、前記比又は差が小さいほど大きくなるような重み係数を算出する機能と、前記算出された重み係数を用いて、前記参照画素の画素値の重み付け平均値及び前記参照画素の画素値の平均値の重み付け平均値を算出する機能と、前記注目画素の画素値と前記参照画素の画素値の重み付け平均値との差分値及び前記注目画素の画素値と前記参照画素の画素値の平均値の重み付け平均値との差分値を算出する機能と、前記算出された差分値に基づいて前記注目画素が補正すべき画素か判定するための孤立度を算出する機能と、前記算出された孤立度に基づいて前記注目画素を補正する機能とをコンピュータに実現させる。

前記の目的を達成するために、本発明の第８の態様の画像処理プログラムは、入力画像における注目画素の周辺の画素を含む領域である注目画素周辺領域に含まれる画素の画素値を成分とする注目画素特徴ベクトルを生成するとともに、前記注目画素周辺領域に含まれる色情報と前記注目画素の近傍の参照画素の周辺の画素を含む領域である参照画素周辺領域に含まれる色情報とを画素毎に比較し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が全て等しい場合には、前記参照画素周辺領域に含まれる画素値を成分とする参照画素特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が異なる画素が存在する場合には、該参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の画素値を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素を用いて算出した画素値に置き換えた画素値を成分とする参照画素特徴ベクトルを生成する機能と、前記生成された前記注目画素特徴ベクトルと前記参照画素特徴ベクトルとの類似度を算出する機能と、前記算出された類似度のうちの最も高い類似度に第１の所定の閾値以上の係数を乗じた乗算結果に対する比又は差が第２の所定の閾値以上となる類似度を有する前記参照画素の画素値に対し、前記比又は差が小さいほど大きくなるように重み係数を算出する機能と、前記重み係数を用いて、前記参照画素の画素値の重み付け平均値及び前記参照画素の画素値の平均値の重み付け平均値を算出する機能と、前記注目画素の画素値と前記参照画素の画素値の重み付け平均値との差分値及び前記注目画素の画素値と前記参照画素の画素値の平均値の重み付け平均値との差分値を算出する機能と、前記算出された差分値に基づいて前記注目画素が補正すべき画素か判定するための孤立度を算出する機能と、前記算出された孤立度に基づいて前記注目画素を補正する機能とをコンピュータに実現させる。

前記の目的を達成するために、本発明の第９の態様の画像処理プログラムは、入力画像における画素毎の孤立度を検出する機能と、入力画像における注目画素の周辺の画素を含む領域である注目画素周辺領域の画素値を成分とする注目画素特徴ベクトルを生成し、前記注目画素の孤立度に対して前記注目画素周辺領域に含まれる孤立度を成分とする注目孤立度特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記注目画素の近傍の参照画素の周辺の画素を含む領域である参照画素周辺領域に含まれる色情報とを画素毎に比較し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が全て等しい場合には、前記参照画素周辺領域に含まれる画素値を成分とする参照画素特徴ベクトルと前記参照画素周辺領域に含まれる孤立度を成分とする参照孤立度特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が異なる画素が存在する場合には、該参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の画素値を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素を用いて算出した画素値に置き換えた画素値を成分とする参照画素特徴ベクトルと前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の孤立度を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素の孤立度を用いて算出した孤立度に置き換えた孤立度を成分とする参照孤立度特徴ベクトルを生成する機能と、前記注目孤立度特徴ベクトルと前記参照孤立度特徴ベクトルとを用いて前記注目画素特徴ベクトルと前記参照画素特徴ベクトルとの類似度を算出する機能と、前記算出された類似度と前記検出された孤立度とに基づいて前記参照画素の重み係数を算出する機能と、前記算出された重み係数を用いて複数の前記参照画素の重み付け平均値を補正値として算出する機能と、前記検出された孤立度に基づいて前記注目画素の画素値と前記補正値とを混合する機能とをコンピュータに実現させる。

本発明によれば、欠陥画素及びインパルスノイズの画素等の補正すべき画素をより正確に検出して補正できる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明の各実施形態に係る画像処理装置を有する情報処理装置の構成例を示す図である。 本発明の第１の実施形態に係る画像処理装置としての画像処理部の一構成例を示すブロック図である。 本発明の第１の実施形態の画像処理部による画像処理の動作を示すフローチャートである。 参照画素の第１の選択例を示す図である。 参照画素の第２の選択例を示す図である。 本発明の第１の実施形態における類似度から重み係数を算出する際の算出例を示す図である。 孤立度算出方法の例を示す図である。 本発明の第２の実施形態に係る画像処理装置としての画像処理部の一構成例を示すブロック図である。 注目画素特徴ベクトルの生成方法の例を示す図である。 参照画素特徴ベクトルの生成方法の第１の例を示す図である。 参照画素特徴ベクトルの生成方法の第２の例を示す図である。 ３×３成分よりも少ない成分数を持つ特徴ベクトルの第１の生成例を示す図である。 ３×３成分よりも少ない成分数を持つ特徴ベクトルの第２の生成例を示す図である。 注目画素特徴ベクトルと参照画素特徴ベクトルとを用いた類似度の算出例を示す図である。 本発明の第３の実施形態に係る画像処理装置としての画像処理部の一構成例を示すブロック図である。 注目画素及び参照画素を中心とする３×３画素の領域から、Ｒ、Ｇ、Ｂの色情報毎に一つの成分を持つ特徴ベクトルを生成する際の生成例を示す図である。 本発明の第３の実施形態における類似度から重み係数を算出する際の算出例を示す図である。 孤立度に基づく注目画素と補正値との混合比率の設定例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の各実施形態に係る画像処理装置を有する情報処理装置の構成例を示す図である。図１に示す情報処理装置１は、例えばパーソナルコンピュータ（ＰＣ）である。ただし、情報処理装置１は、必ずしもＰＣである必要はなく、画像処理機能を有する各種の情報処理装置でよい。例えば情報処理装置１は、デジタルカメラでよい。

情報処理装置１は、制御部２と、記憶部３と、画像処理部４と、表示部５と、操作部６と、ＲＡＭ７と、バス８とを有している。制御部２は、例えばＣＰＵであり、記憶部３に記憶されているプログラムに従って情報処理装置１の各種の動作を制御する。記憶部３は、例えばハードディスクであり、情報処理装置１の動作に必要なプログラム及び画像処理部４の処理対象の画像である入力画像といった各種のデータを記憶している。本発明の各実施形態に係る画像処理装置としての画像処理部４は、記憶部３から読み出されてＲＡＭ７に展開された入力画像に対して画像処理を施す。表示部５は、入力画像を表示する。操作部６は、例えばキーボードやマウスであり、ユーザが情報処理装置１の各種の操作をするために必要な操作部材である。ＲＡＭ７は、情報処理装置１の内部で発生した各種のデータを一時記憶する。バス８は、情報処理装置１の内部で発生した各種のデータを転送するための転送路である。

［第１の実施形態］
（構成）
以下、本発明の第１の実施形態について説明する。図２は、本発明の第１の実施形態に係る画像処理装置としての画像処理部４の一構成例を示すブロック図である。ここで、図２の実線矢印は、画像データの流れを示す。また、図２の破線矢印は、制御データの流れを示す。図２に示すように、画像処理部４は、検出部１１０と、補正部１２０とを有している。画像処理部４の各ブロックの機能は、ハードウェアによって実現されてもよいし、ソフトウェアによって実現されてもよいし、それらの組み合わせによって実現されてもよい。

検出部１１０は、参照画素選択部１１１と、類似度算出部１１２と、重み係数算出部１１３、重み付け平均値算出部１１４と、減算部１１５と、孤立度算出部１１６とを有しており、入力画像における補正すべき画素である孤立点を検出するための孤立度を算出する。参照画素選択部１１１は、類似度算出部１１２と重み付け平均値算出部１１４とに接続され、類似度算出部１１２とＲＡＭ７に記憶された入力画像のうちの参照画素の画素値を選択し、選択した参照画素の画素値を類似度算出部１１２と重み付け平均値算出部１１４とに入力する。類似度算出部１１２は、参照画素選択部１１１と重み係数算出部１１３とに接続され、注目画素と参照画素との類似度を算出し、算出した類似度を重み係数算出部１１３に入力する。重み係数算出部１１３は、類似度算出部１１２と重み付け平均値算出部１１４とに接続され、類似度算出部１１２で算出された類似度に従ってそれぞれの参照画素に対応した重み係数を算出し、算出した重み係数を重み付け平均値算出部１１４に入力する。重み付け平均値算出部１１４は、参照画素選択部１１１と重み係数算出部１１３と減算部１１５に接続され、参照画素選択部１１１の出力と重み係数算出部１１３の出力とに基づき、参照画素選択部１１１で選択された参照画素の画素値の重み付け平均値を注目画素に対する補正値として算出し、算出した補正値を減算部１１５と補正部１２０とに入力する。減算部１１５は、重み付け平均値算出部１１４と孤立度算出部１１６とに接続され、注目画素の画素値と補正値との差分値を算出し、算出した差分値を孤立度算出部１１６に入力する。孤立度算出部１１６は、減算部１１５と補正部１２０とに接続され、減算部１１５で算出された差分値に基づいて注目画素の孤立度を算出し、算出した孤立度を補正部１２０に入力する。

補正部１２０は、孤立度算出部１１６に接続され、孤立度算出部１１６で算出された孤立度により、必要に応じて重み付け平均値算出部１１４と同様にして算出した補正値を用いて注目画素の画素値を補正する。

（動作）
次に、本実施形態に係る画像処理部４の動作を説明する。図３は、本実施形態の画像処理部４による画像処理の動作を示すフローチャートである。ここで、図３は、画像処理として欠陥画素補正のみが行われる例を示している。実際には、欠陥画素補正以外の各種の画像処理が行われてよい。

ステップＳ１０１において、参照画素選択部１１１は、ＲＡＭ７に記憶されている入力画像における注目画素Ｐを選択し、選択した注目画素Ｐの位置（座標）に従って入力画像における参照画素Ｑｉを選択する。注目画素Ｐは、補正処理の対象となる画素である。最初の選択時における注目画素Ｐは、例えば入力画像の左上端の画素である。２回目以後は、ステップＳ１０７の処理により、注目画素Ｐの位置が順次変更される。

図４及び図５は、参照画素Ｑｉ（ｉ＝０，１，２，３，…，Ｎ−１）の選択例を示している。参照画素選択部１１１は、注目画素Ｐの位置に基づき、図４又は図５で示した位置の参照画素Ｑｉを選択する。なお、図４及び図５は、入力画像の色配列が原色系ベイヤ配列の例である。入力画像の色配列は、原色系ベイヤ配列でなくともよい。

図４は、注目画素Ｐの近傍の同色画素（ｉ＝０〜７）と注目画素Ｐの近傍の同色２画素の平均（ｉ＝８〜１１）とを参照画素Ｑｉとする例を示している。近傍の同色画素は、例えばある注目画素Ｐを中心として上下左右斜め方向の位置にある最も近い画素のことである。また、注目画素Ｐの近傍の同色２画素の平均とは、注目画素Ｐの近傍の同色画素のうち、注目画素Ｐに対して点対称の位置にある画素の平均のことである。図４（ａ）は、Ｇ画素についての参照画素Ｑｉを示している。また、図４（ｂ）は、Ｂ画素及びＲ画素についての参照画素Ｑｉを示している。

図５は、注目画素Ｐの近傍の同色画素（ｉ＝０〜７）と注目画素Ｐの近傍の同色２画素の平均（ｉ＝８〜１１）と注目画素Ｐの近傍の同色３画素の平均（ｉ＝１２〜１５）を参照画素Ｑｉとする例を示している。注目画素Ｐの近傍の同色３画素の平均とは、注目画素Ｐの近傍の同色画素のうち、左上、右上、左下、右下の位置にある画素と、それぞれの画素を挟む２画素との平均のことである。図５（ａ）は、Ｇ画素についての参照画素Ｑｉを示している。また、図５（ｂ）はＢ画素及びＲ画素についての参照画素Ｑｉを示している。

ステップＳ１０２において、類似度算出部１１２は、注目画素Ｐと参照画素Ｑｉとの類似度ｄｉｆ_ｉを算出する。類似度ｄｉｆ_ｉは、以下の（式１）に示すように、注目画素Ｐの画素値ａと参照画素Ｑｉの画素値ｂ_ｉとの差分絶対値である。
ｄｉｆ_ｉ＝｜ａ−ｂ_ｉ｜ （式１）
（式１）の演算によってＮ個の類似度ｄｉｆ_ｉ（ｉ＝０〜Ｎ−１）が得られる。ここで、本実施形態では例として画素毎に類似度を算出する例を示している。この他、複数の画素の類似度の和（差分絶対値和）を類似度としてもよい。

ステップＳ１０３において、重み係数算出部１１３は、類似度算出部１１２から入力されるそれぞれの参照画素Ｑｉの類似度ｄｉｆ_ｉから、それぞれの参照画素Ｑｉに対する重み係数Ｗ_ｉを算出する。図６は、類似度ｄｉｆ_ｉから重み係数Ｗ_ｉを算出する際の算出例を示す。それぞれの参照画素Ｑｉに対する重み係数Ｗ_ｉは、それぞれの参照画素Ｑｉの類似度ｄｉｆ_ｉと類似度ｄｉｆ_ｉの最小値ＤＩＦ＿ＭＩＮとの比に応じて算出される。重み係数Ｗ_ｉは０から１までの値を持つものであり、ＤＩＦ＿ＭＩＮと参照画素Ｑｉに対する類似度ｄｉｆ_ｉとの比が第２の所定の閾値としての定数Ｃ（例えばＣは、１以上）以下である場合、参照画素Ｑｉは有効な参照画素であるとして非零の重み係数を割り当てる。一方、ＤＩＦ＿ＭＩＮと参照画素Ｑｉに対する類似度ｄｉｆ_ｉとの比が定数Ｃよりも大きい場合、無効な参照画素として重み係数０を割り当てる。以下の（式２）が重み係数Ｗ_ｉの算出式を示している。

参照画素Ｑｉの類似度ｄｉｆ_ｉの分布は、注目画素Ｐの周辺領域の画素値の傾向によって異なる。したがって、類似度ｄｉｆ_ｉと予め定められた閾値との単純な比較によって重み係数Ｗ_ｉを算出した場合、非零の有効な重み係数Ｗ_ｉが割り当てられる参照画素Ｑｉの個数にバラツキが生じる。このことは、エッジ部のボケや段差の発生といった補正後の画質の劣化の原因となる。これに対し、本実施形態では、参照画素Ｑｉに対して算出される類似度ｄｉｆ_ｉのうちの最小値、すなわち最も高い類似度ＤＩＦ＿ＭＩＮを基準として重み係数Ｗ_ｉを割り当てている。したがって、注目画素Ｐの周辺領域の画素値の状況に応じて安定した重み係数Ｗ_ｉの割り当てを行うことができる。

ここで、重み係数Ｗ_ｉを割り当てる方法は、（式２）で示した以外にも、ＤＩＦ＿ＭＩＮと類似度ｄｉｆ_ｉとの比が定数Ｃ以下の場合には一律に同じ重み係数を割り当てる方法、ＤＩＦ＿ＭＩＮと類似度ｄｉｆ_ｉとの比ではなく差に応じて重み係数を割り当てる方法等が用いられる。すなわち、ＤＩＦ＿ＭＩＮを基準とした類似度の高い順番に重み係数を割り当てる方法であればよい。

ステップＳ１０４において、重み付け平均値算出部１１４は、参照画素Ｑｉの画素値ｂ_ｉについての重み係数Ｗ_ｉによる重み付け平均値を補正値ｂ_ａｖｅとして以下の（式３）で示すようにして算出する。

ステップＳ１０５において、減算部１１５は、注目画素Ｐの画素値ａと重み付け平均値算出部１１４から入力された補正値ｂ_ａｖｅとの差分値ｉｓｏ_ｄｉｆを以下の（式４）で示すようにして算出する。
ｉｓｏ_ｄｉｆ＝ａ−ｂ_ａｖｅ （式４）

ステップＳ１０６において、孤立度算出部１１６は、減算部１１５から入力された差分値ｉｓｏ_ｄｉｆを修正することにより、入力画像における補正すべき画素を判定するための孤立度ｉｓｏを算出する。図７は、孤立度算出方法の例を示す。図７の例では、差分値ｉｓｏ_ｄｉｆに対する正のゲイン値ＳＬＰ＿ＰＬＵＳ及び負のゲイン値ＳＬＰ＿ＭＩＮＵＳと、正のクリップ値ＣＬＰ＿ＰＬＵＳ及び負のクリップ値ＣＬＰ＿ＭＩＮＵＳとが予め設定される。ここで、｜ＳＬＰ＿ＰＬＵＳ｜＞｜ＳＬＰ＿ＭＩＮＵＳ｜かつ｜ＣＬＰ＿ＰＬＵＳ｜＞｜ＣＬＰ＿ＭＩＮＵＳ｜である。孤立度ｉｓｏは、以下の（式５）で示すようにして算出される。

（式５）に示すように、差分値ｉｓｏ_ｄｉｆの正負に応じて孤立度ｉｓｏを算出することにより、注目画素とその近傍に位置する参照画素との明暗の傾向に応じた孤立度ｉｓｏを算出することができる。

ステップＳ１０７において、補正部１２０は、孤立度算出部１１６で算出された孤立度ｉｓｏから必要に応じてＲＡＭ７から読み出した注目画素Ｐの画素値を補正する。補正部１２０は、孤立度ｉｓｏを予め定められた閾値と比較し、孤立度ｉｓｏが閾値以下である場合には補正の必要がないと判定して、注目画素Ｐの画素値をそのまま出力する。なお、閾値は、孤立点と判断するに確からしい閾値として定められるものである。孤立点は、入力画像を撮像する撮像素子上の欠陥画素（例えば被写体の明るさによらずに出力が飽和してしまう白キズ画素）やインパルスノイズの画素等の補正すべき画素である。一方、補正部１２０は、孤立度ｉｓｏが閾値よりも大きいと場合に補正の必要があると判定する。補正は、例えば注目画素Ｐの画素値を重み付け平均値算出部１１４と同様にして算出した補正値に置き換えることで行われる。

以上説明したように本実施形態によれば、参照画素毎に算出される類似度のうちの最も高い類似度を基準とした重み係数をそれぞれの参照画素に割り当てることにより、注目画素の周辺領域の画素値の状況に応じて安定した重み係数の割り当てを行うことができる。

さらに、注目画素の近傍に位置する同色の参照画素に加えて複数の参照画素による平均値も参照画素として扱うことにより、入力画像に含まれるエッジ、グラデーション、角のパターンを孤立点と判定するような孤立度の誤算出を抑制することができる。

さらに、注目画素と参照画素の重み付け平均値とを減算した結果に基づいて孤立度を算出することにより、注目画素とその近傍に位置する参照画素との明暗の傾向を把握しつつ孤立度を算出できる。なお、本実施形態では差分値ｉｓｏ_ｄｉｆを修正して孤立度ｉｓｏとしている。これに対し、差分値ｉｓｏ_ｄｉｆをそのまま孤立度ｉｓｏとしてもよい。

［第２の実施の形態］
（構成）
図８は、本発明の第２の実施形態に係る画像処理装置としての画像処理部４の一構成例を示すブロック図である。図８において図２と異なる部分についての説明は省略する。図８においては、参照画素選択部１１１と類似度算出部１１２との間にベクトル生成部１１７が設けられている。ベクトル生成部１１７は、注目画素Ｐの特徴を表す特徴ベクトル（以下、注目画素特徴ベクトルと呼ぶ）と参照画素Ｑｉの特徴を表す特徴ベクトル（以下、参照画素特徴ベクトルと呼ぶ）とを生成する。また、図８においては、欠陥位置情報生成部１３０が設けられている。欠陥位置情報生成部１３０は、例えばＲＯＭであって欠陥画素の位置情報を記憶している。

（動作）
次に、本実施形態に係る画像処理部４の動作を説明する。ここでは第１の実施の形態と異なる部分を中心に説明する。すなわち、ベクトル生成部１１７の動作を主に説明する。図３のステップＳ１０１において参照画素の選択が行われた後、ベクトル生成部１１７は、注目画素特徴ベクトルと参照画素特徴ベクトルとを生成する。以下、図９、図１０、図１１を参照して注目画素特徴ベクトル及び参照画素特徴ベクトルの生成例を説明する。ここで、図９〜図１１の例は、注目画素Ｐ又は参照画素Ｑｉを中心とする３×３画素の画素値を有する特徴ベクトルを生成する例である。

注目画素特徴ベクトルの生成について説明する。図９は、注目画素特徴ベクトルの生成方法の例を示す図である。ベクトル生成部１１７は、図９の太枠で示す注目画素Ｐを中心とする３×３画素の領域の画素値を読み出し、それぞれの画素値を成分とする注目画素特徴ベクトルを生成する。注目画素Ｐの位置が基準位置（０，０）であるとすると、注目画素Ｐに対する注目画素周辺領域Ａの画素値はａ_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１）と表される。したがって、注目画素特徴ベクトルの成分ａ´_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１）は、以下の（式６）に従って算出される。

参照画素特徴ベクトルの生成について説明する。図１０及び図１１は、参照画素特徴ベクトルの生成方法の例を示す図である。ベクトル生成部１１７は、参照画素選択部１１１により選択された注目画素Ｐと同色の参照画素Ｑｉに対して、参照画素Ｑｉを中心とする３×３画素の領域の画素を読み出し、注目画素Ｐを中心とする３×３画素の領域の画素の色情報（画素値）と参照画素Ｑｉを中心とする３×３画素の領域の色情報とを画素毎に比較する。注目画素Ｐを中心とする３×３画素の領域の画素の色情報と参照画素Ｑｉを中心とする３×３画素の領域の画素の色情報が全て等しい場合、ベクトル生成部１１７は、図１０に示すように、参照画素Ｑｉを中心とする３×３画素の領域の画素値を成分とする参照画素特徴ベクトルを生成する。一方、注目画素Ｐを中心とする３×３画素の領域の画素の色情報と参照画素Ｑｉを中心とする３×３画素の領域の画素の色情報が異なる画素が存在する場合、ベクトル生成部１１７は、図１１に示すように、参照画素Ｑｉを中心とする３×３画素の領域のさらに周辺に位置する画素を読み出し、注目画素Ｐを中心とする３×３画素の領域の画素の色情報と等しい成分を持つように周辺の位置する画素と置き換えた参照画素特徴ベクトルを生成する。異なる色情報を持つ画素の周辺に位置する画素から注目画素と等しい色情報を持つ画素値を成分として生成する方法は、等しい色情報を持つ画素値の平均値や中央値等、許容される演算量に応じて適切な方法が選択される。図１１の例において、等しい色情報を持つ画素値の平均値を用いて成分を生成する場合、参照画素Ｑｉに対する参照画素周辺領域Ｂｉの画素値をｂ_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１）とすると、参照画素Ｑｉに対する参照画素特徴ベクトルの成分ｂ´_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１）は、以下の（式７）に従って算出される。

このように、注目画素Ｐの周辺領域に含まれる画素の色情報と参照画素Ｑｉの周辺領域に含まれる画素の色情報とが等しくなるように参照画素特徴ベクトルを生成することにより、類似度の算出に使用できる参照画素Ｑｉの個数を増加させることができる。したがって、より高精度に類似度を算出することができる。

前述の図９から図１１は、３×３の成分を持つ特徴ベクトルの生成例を示している。これに対し、３×３成分よりも少ない成分数を持つ特徴ベクトルの第１の生成例を図１２に示す。図１２は、注目画素Ｐ及び参照画素Ｑｉを中心とした３×３画素の領域の画素から、Ｒ、Ｇ、Ｂの色情報毎に一つの成分を持つ特徴ベクトルｒ、ｇ、ｂを生成する例を示している。特徴ベクトルの各成分を生成する方法は、注目画素Ｐ又は参照画素Ｑｉを中心とした３×３画素の領域における等しい色情報を持つ画素値の平均値を生成する方法や中央値を生成する方法等、許容される演算量に応じて適切な方法が選択される。等しい色情報を持つ画素値の平均値を用いて成分を生成する場合、注目画素周辺領域Ａの画素値をａ_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１）とし、参照画素周辺領域Ｂ_ｉの画素値をｂ_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１）とした場合、注目画素特徴ベクトルの色情報毎の一つの成分ａ´_ｋ（ｋ＝０，１，２）及び参照画素特徴ベクトルの色情報毎の一つの成分ｂ´_ｋ（ｋ＝０，１，２）は、以下の（式８）に従って算出される。

３×３成分よりも少ない成分数を持つ特徴ベクトルの第２の生成例を図１３に示す。図１３は、注目画素Ｐ及び参照画素Ｑｉを中心とした３×３画素の領域の画素から、Ｇの色情報に対して二つの成分を持ち、ＲとＢの色情報に対して一つの成分を持つ特徴ベクトルｇ０、ｇ１、ｍｇを生成する例である。特徴ベクトルの各成分を生成する方法は、注目画素Ｐ又は参照画素Ｑｉを中心とした３×３画素の領域における等しい色情報を持つ画素値の平均値を生成する方法や中央値を生成する方法等、許容される演算量に応じて適切な方法が選択される。等しい色情報を持つ画素値の平均値を用いて成分を生成する場合、注目画素特徴ベクトルの色情報毎の一つの成分ａ´_ｋ（ｋ＝０，１，２）及び参照画素特徴ベクトルの色情報毎の一つの成分ｂ´_ｋ（ｋ＝０，１，２）は、以下の（式９）に従って算出される。

図１２及び図１３に示すように、注目画素周辺領域又は参照画素周辺領域に含まれる画素数よりも少ない成分数を持つ特徴ベクトルを生成することにより、類似度算出部１１２における類似度の算出の際の演算量を削減することができる。また、図１３のように、色情報の配置パターンや色成分毎の特性等の、入力画像が持つ色成分に関する固有の特性を利用した成分を生成することにより、成分の削減に伴う特徴量の精度の低下を抑えつつ、類似度算出部１１２における類似度の算出の際の演算量を削減することができる。

本実施形態における類似度算出部１１２は、ベクトル生成部１１７から入力される注目画素特徴ベクトルとそれぞれの参照画素特徴ベクトルとの類似度を求める。図１４は、注目画素特徴ベクトルと参照画素特徴ベクトルとを用いた類似度の算出例を示す。入力画素に孤立点が多く含まれる場合、特徴ベクトルの成分には注目画素Ｐ以外の補正すべき孤立点が存在する可能性がある。補正すべき孤立点に位置が既知のものが含まれる場合、注目画素Ｐの周辺領域と参照画素Ｑｉの周辺領域における位置が既知の孤立点の有無を考慮し、正常な画素のみを用いて類似度を算出することが望ましい。以下にこのような既知の孤立点の有無を考慮した類似度の算出方法について説明する。

類似度算出部１１２は、以下の（式１０）のように、ベクトル生成部１１７から入力された注目画素特徴ベクトルと参照画素特徴ベクトルとの各成分ａ´_ｍ，ｎ及び参照画素特徴ベクトルｂ´_ｍ，ｎの差分絶対値ｄｉｆ＿ａｂｓ_ｍ，ｎを算出する。
ｄｉｆ＿ａｂｓ_ｍ，ｎ＝｜ａ´_ｍ，ｎ−ｂ´_ｍ，ｎ｜ （式１０）
また、類似度算出部１１２は、注目画素周辺領域と参照画素周辺領域における既知の孤立点の有無を示す情報を欠陥位置情報生成部１３０から取得する。既知の孤立点が有ることが判別された場合に、類似度算出部１１２は、以下の（式１１）で示す判別式に従って、予め定められた各成分の重みＷ_ｎを既知の孤立点ではない有効画素のみにマスクした重みＷ_ｎ´を生成する。

続いて、類似度算出部１１２は、以下の（式１２）で示すように、差分絶対値ｄｉｆ＿ａｂｓ_ｍ，ｎと重みＷ_ｎ´との積和演算を行い、積和演算した結果を重みＷ_ｎ´の合計値によって除算することにより、差分絶対値の重み付け平均値ｄｉｆ_ｉを算出する。この重み付け平均値ｄｉｆ_ｉが参照画素Ｑｉに対する類似度である。

ここで、本実施形態においては重みＷ_ｎの設定方法は限定されない。重みＷ_ｎは、例えば注目画素周辺領域及び参照画素周辺領域のそれぞれの中心画素からの距離に応じて設定されてよい。本実施形態のように、正常な画素のみを用いて類似度を算出することにより、入力画素に位置が既知の孤立点が多く含まれる場合に特に精度の高い類似度を算出することができる。また、既知の孤立点の有無に応じて特徴ベクトルの各成分の重みＷ_ｎを調節することにより、特徴ベクトルの生成方法や入力画像の持つ特性に応じて類似度を算出することができる。

［第３の実施の形態］
（構成）
図１５は、本発明の第３の実施形態に係る画像処理装置としての画像処理部４の一構成例を示すブロック図である。図１５において図８と異なる部分についての説明は省略する。図１５においては、検出部１１０ではなく、補正部１２０が参照画素選択部１２１と、ベクトル生成部１２２と、類似度算出部１２３と、重み係数算出部１２４と、重み付け平均値算出部１２５とを有している。また、補正部１２０は、重み付け平均値算出部１２５に接続された混合部１２６を有している。混合部１２６は、注目画素の画素値と重み付け平均値算出部１２５で算出される補正値（重み付け平均値）とを検出部１１０で得られる孤立度に応じて混合することにより注目画素の画素値の補正を行う。

（動作）
次に、本実施形態に係る画像処理部４の動作を説明する。ここでは第１及び第２の実施の形態と異なる部分を中心に説明する。第３の実施形態において、参照画素選択部１２１は、第１及び第２の実施形態と同様、注目画素Ｐの近傍の同色の画素を参照画素Ｑｉとして選択する。

ベクトル生成部１２２は、注目画素Ｐの特徴を表す注目画素特徴ベクトルと、注目画素Ｐの孤立度の特徴を表す注目孤立度特徴ベクトルと、参照画素Ｑｉの特徴を表す参照画素特徴ベクトルと、参照画素Ｑｉの孤立度の特徴を表す参照孤立度特徴ベクトルとをそれぞれ生成する。図１６は、注目画素Ｐ及び参照画素Ｑｉを中心とする３×３画素の領域から、Ｒ、Ｇ、Ｂの色情報毎に一つの成分を持つ特徴ベクトルを生成する際の生成例を示す。ここで、図１６（ａ）は、注目画素特徴ベクトルと参照画素特徴ベクトルの生成例を示す。また、図１６（ｂ）は、注目孤立度特徴ベクトルと参照孤立度特徴ベクトルの生成例を示す。各成分を生成する方法は、注目画素Ｐ又は参照画素Ｑｉを中心とした３×３画素の領域における等しい色情報を持つ画素値の平均値や中央値等、許容される演算量に応じて適切な方法が選択される。等しい色情報を持つ画素値の平均値を用いて成分を生成する場合、等しい色情報を持つ画素値の平均値を用いて成分を生成する場合、注目画素特徴ベクトルの色情報毎の一つの成分ａ´_ｋ（ｋ＝０，１，２）及び参照画素特徴ベクトルの色情報毎の一つの成分ｂ´_ｋ（ｋ＝０，１，２）は、以下の（式１３）に従って算出される。

また、注目画素Ｐを中心とする３×３画素の領域の孤立度をａ＿ｉｓｏ_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１）とし、参照画素Ｑｉを中心とする３×３画素の領域の孤立度をｂ＿ｉｓｏ_ｍ，ｎ（−１≦ｍ≦１，−１≦ｎ≦１）としたとき、注目孤立度特徴ベクトルの色情報毎の一つの成分ａ＿ｉｓｏ´_ｋ（ｋ＝０，１，２）及び参照孤立度特徴ベクトルの色情報毎の一つの成分ｂ＿ｉｓｏ´_ｋ（ｋ＝０，１，２）は、以下の（式１４）に従って算出される。

類似度算出部１２３は、ベクトル生成部１２２から入力される注目画素特徴ベクトルとそれぞれの参照画素特徴ベクトルに対する類似度を求める。入力画素に孤立点が多く含まれる場合、特徴ベクトルの成分に注目画素以外に補正すべき孤立点が存在する可能性がある。したがって、孤立度を考慮して正常な成分のみを用いて類似度を算出することが望ましい。本実施形態では、注目画素Ｐの特徴ベクトルと参照画素Ｑｉの特徴ベクトルから各成分の差分絶対値を算出し、成分毎の差分絶対値に対して予め定められた重みに対して、注目孤立度特徴ベクトルと参照孤立度特徴ベクトルから孤立点を含む成分を除外した重みを算出し、成分毎の孤立度を考慮した差分絶対値の重み付け平均値を参照画素に対する類似度とする。

図１６（ａ）及び図１６（ｂ）を用いてさらに説明する。本実施形態における類似度算出部１２３は、以下の（式１５）のように、ベクトル生成部１１７から入力された注目画素特徴ベクトルと参照画素特徴ベクトルとの各成分ａ´_ｍ，ｎ及び参照画素特徴ベクトルｂ´_ｍ，ｎの差分絶対値ｄｉｆ＿ａｂｓ_ｍ，ｎを算出する。
ｄｉｆ＿ａｂｓ_ｍ，ｎ＝｜ａ´_ｍ，ｎ−ｂ´_ｍ，ｎ｜ （式１５）
また、類似度算出部１２３は、以下の（式１６）で示す判別式に従って、ベクトル生成部１１７から入力された注目孤立度特徴ベクトルの各成分ａ＿ｉｓｏ_ｍ，ｎ及び参照孤立度画素特徴ベクトルとの各成分ｂ＿ｉｓｏ_ｍ，ｎを予め定められた閾値ＴＨ１と比較する。そして、類似度算出部１２３は、閾値ＴＨ１よりも大きい孤立度が含まれる場合、予め定められた各成分の重みＷ_ｎをマスクすることより、各成分の孤立度を考慮した重みＷ_ｎ´を生成する。

続いて、類似度算出部１２３は、以下の（式１７）で示すように、差分絶対値ｄｉｆ＿ａｂｓ_ｍ，ｎと重みＷ_ｎ´との積和演算を行い、積和演算した結果を重みＷ_ｎ´の合計値によって除算することにより、差分絶対値の重み付け平均値ｄｉｆ_ｉを算出する。この重み付け平均値ｄｉｆ_ｉが参照画素Ｑｉに対する類似度である。

ここで、本実施形態においては重みＷ_ｎの設定方法は限定されない。重みＷ_ｎは、例えば注目画素周辺領域及び参照画素周辺領域のそれぞれの中心画素からの距離に応じて設定されてよい。本実施形態のように検出部１１０から入力される孤立度を元に正常な画素のみを用いて類似度を算出することにより、入力画素に位置が既知の孤立点が多く含まれる場合に特に精度の高い類似度を算出することができる。また、本実施形態においても第２の実施形態と同様に、特徴ベクトルの各成分の重みＷ_ｎを調節することにより、特徴ベクトルの生成方法や入力画像の持つ特性に応じて類似度を算出することができる。

類似度の算出後、重み係数算出部１２４は、類似度算出部１２３から入力されるそれぞれの参照画素Ｑｉの類似度ｄｉｆ_ｉと孤立度ｉｓｏとから、それぞれの参照画素Ｑｉに対する重み係数Ｗ_ｉを算出する。図１７は、類似度ｄｉｆ_ｉから重み係数Ｗ_ｉを算出する際の算出例を示す。それぞれの参照画素Ｑｉに対する重み係数Ｗ_ｉは、それぞれの参照画素Ｑｉの類似度ｄｉｆ_ｉと類似度ｄｉｆ_ｉの最小値ＤＩＦ＿ＭＩＮとの比に応じて算出される。重み係数Ｗ_ｉは０から１までの値を持つものであり、ＤＩＦ＿ＭＩＮと参照画素Ｑｉに対する類似度ｄｉｆ_ｉとの比が定数Ｃ以下である場合、参照画素Ｑｉは有効な参照画素であるとして非零の重み係数を割り当てる。一方、ＤＩＦ＿ＭＩＮと参照画素Ｑｉに対する類似度ｄｉｆ_ｉとの比が定数Ｃよりも大きい場合、又は注目画素Ｐの孤立度ｉｓｏが予め設定された閾値ＴＨ２よりも大きい場合、無効な参照画素として重み係数０を割り当てる。以下の（式１８）が重み係数Ｗ_ｉの算出式を示している。

重み係数Ｗ_ｉの算出後、重み付け平均値算出部１２５は、参照画素Ｑｉの画素値ｂｉの重み係数Ｗ_ｉによる重み付け平均値を補正値ｂ_ａｖｅとして以下の（式１９）で示すようにして算出する。

補正後の算出後、混合部１２６は、検出部１１０により入力された孤立度に基づいて注目画素と補正値との混合比率を設定し、この混合比率に基づいて、注目画素と補正値との加重平均による混合処理を行う。図１８は、孤立度に基づく注目画素と補正値との混合比率の設定例を示す。図１８の例においては、入力画像に含まれる孤立点とそれ以外の画素の孤立度の数値的傾向から、正常な画素と判断するに確からしい閾値１と、孤立点と判断するに確からしい閾値２とを設け、その間の孤立度に対する混合比率を直線式により算出している。また、閾値１よりも低い孤立度を持つ注目画素（すなわち正常な画素）に対しても補正値を混合するように混合比率を設定することにより、入力画像に含まれるランダムノイズを低減することができる。

以上説明したように本実施形態によれば、検出部１１０で得られる孤立度に基づいて注目画素の画素値と補正値とを混合することにより、出力画像のディテール保持性能の調整を可能にし、入力画像に含まれるランダムノイズを低減することができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れも制御部２に実行させることができるプログラムとして記憶される。このプログラムは、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部２は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…情報処理装置、２…制御部、３…記憶部、４…画像処理部、５…表示部、６…操作部、７…ＲＡＭ、８…バス、１１０…検出部、１１１…参照画素選択部、１１２…類似度算出部、１１３…重み係数算出部、１１４…重み付け平均値算出部、１１５…減算部、１１６…孤立度算出部、１１７…ベクトル生成部、１２０…補正部、１２１…参照画素選択部、１２２…ベクトル生成部、１２３…類似度算出部、１２４…重み係数算出部、１２５…重み付け平均値算出部、１２６…混合部、１３０…欠陥位置情報生成部

Claims (11)

1. 入力画像における注目画素の画素値と前記注目画素の近傍の参照画素の画素値との類似度及び前記注目画素の画素値と前記注目画素の近傍の複数の参照画素の画素値の平均値との類似度を算出する類似度算出部と、
   前記算出された類似度のうちの最も高い類似度に第１の所定の閾値以上の係数を乗じた乗算結果に対する比又は差が第２の所定の閾値以上となる類似度を有する前記参照画素の画素値及び前記参照画素の画素値の平均値のそれぞれに対し、前記比又は差が小さいほど大きくなるような重み係数を算出する重み係数算出部と、
   前記算出された重み係数を用いて、前記参照画素の画素値の重み付け平均値及び前記参照画素の画素値の平均値の重み付け平均値を算出する重み付け平均値算出部と、
   前記注目画素の画素値と前記参照画素の画素値の重み付け平均値との差分値及び前記注目画素の画素値と前記参照画素の画素値の平均値の重み付け平均値との差分値を算出する減算部と、
   前記算出された差分値に基づいて前記注目画素が補正すべき画素か判定するための孤立度を算出する孤立度算出部と、
   前記算出された孤立度に基づいて前記注目画素を補正する補正部と、
   を具備することを特徴とする画像処理装置。
2. 入力画像における注目画素の周辺の画素を含む領域である注目画素周辺領域に含まれる画素の画素値を成分とする注目画素特徴ベクトルを生成するとともに、前記注目画素周辺領域に含まれる色情報と前記注目画素の近傍の参照画素の周辺の画素を含む領域である参照画素周辺領域に含まれる色情報とを画素毎に比較し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が全て等しい場合には、前記参照画素周辺領域に含まれる画素値を成分とする参照画素特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が異なる画素が存在する場合には、該参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の画素値を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素を用いて算出した画素値に置き換えた画素値を成分とする参照画素特徴ベクトルを生成するベクトル生成部と、
   前記生成された前記注目画素特徴ベクトルと前記参照画素特徴ベクトルとの類似度を算出する類似度算出部と、
   前記算出された類似度のうちの最も高い類似度に第１の所定の閾値以上の係数を乗じた乗算結果に対する比又は差が第２の所定の閾値以上となる類似度を有する前記参照画素の画素値に対し、前記比又は差が小さいほど大きくなるように重み係数を算出する重み係数算出部と、
   前記重み係数を用いて、前記参照画素の画素値の重み付け平均値及び前記参照画素の画素値の平均値の重み付け平均値を算出する重み付け平均値算出部と、
   前記注目画素の画素値と前記参照画素の画素値の重み付け平均値との差分値及び前記注目画素の画素値と前記参照画素の画素値の平均値の重み付け平均値との差分値を算出する減算部と、
   前記算出された差分値に基づいて前記注目画素が補正すべき画素か判定するための孤立度を算出する孤立度算出部と、
   前記算出された孤立度に基づいて前記注目画素を補正する補正部と、
   を具備することを特徴とする画像処理装置。
3. 前記孤立度算出部は、入力画素値又は前記差分値に応じて前記孤立度を修正すること特徴とする請求項１又は２に記載の画像処理装置。
4. 前記類似度算出部は、入力画像における既知の補正すべき画素の情報によって特定される前記既知の補正すべき画素の画素値を除外して前記類似度を算出することを特徴とする請求項１又は２に記載の画像処理装置。
5. 入力画像における画素毎の孤立度を検出する検出部と、
   入力画像における注目画素の周辺の画素を含む領域である注目画素周辺領域の画素値を成分とする注目画素特徴ベクトルを生成し、前記注目画素の孤立度に対して前記注目画素周辺領域に含まれる孤立度を成分とする注目孤立度特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記注目画素の近傍の参照画素の周辺の画素を含む領域である参照画素周辺領域に含まれる色情報とを画素毎に比較し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が全て等しい場合には、前記参照画素周辺領域に含まれる画素値を成分とする参照画素特徴ベクトルと前記参照画素周辺領域に含まれる孤立度を成分とする参照孤立度特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が異なる画素が存在する場合には、該参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の画素値を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素を用いて算出した画素値に置き換えた画素値を成分とする参照画素特徴ベクトルと前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の孤立度を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素の孤立度を用いて算出した孤立度に置き換えた孤立度を成分とする参照孤立度特徴ベクトルを生成するベクトル生成部と、
   前記注目孤立度特徴ベクトルと前記参照孤立度特徴ベクトルとを用いて前記注目画素特徴ベクトルと前記参照画素特徴ベクトルとの類似度を算出する類似度算出部と、
   前記算出された類似度と前記検出された孤立度とに基づいて前記参照画素の重み係数を算出する重み係数算出部と、
   前記算出された重み係数を用いて複数の前記参照画素の重み付け平均値を補正値として算出する重み付け平均値算出部と、
   前記検出された孤立度に基づいて前記注目画素の画素値と前記補正値とを混合する混合部と、
   を具備することを特徴とする画像処理装置。
6. 入力画像における注目画素の画素値と前記注目画素の近傍の参照画素の画素値との類似度及び前記注目画素の画素値と前記注目画素の近傍の複数の参照画素の画素値の平均値との類似度を算出することと、
   前記算出された類似度のうちの最も高い類似度に第１の所定の閾値以上の係数を乗じた乗算結果に対する比又は差が第２の所定の閾値以上となる類似度を有する前記参照画素の画素値及び前記参照画素の画素値の平均値のそれぞれに対し、前記比又は差が小さいほど大きくなるような重み係数を算出することと、
   前記算出された重み係数を用いて、前記参照画素の画素値の重み付け平均値及び前記参照画素の画素値の平均値の重み付け平均値を算出することと、
   前記注目画素の画素値と前記参照画素の画素値の重み付け平均値との差分値及び前記注目画素の画素値と前記参照画素の画素値の平均値の重み付け平均値との差分値を算出することと、
   前記算出された差分値に基づいて前記注目画素が補正すべき画素か判定するための孤立度を算出することと、
   前記算出された孤立度に基づいて前記注目画素を補正することと、
   を具備することを特徴とする画像処理方法。
7. 入力画像における注目画素の周辺の画素を含む領域である注目画素周辺領域に含まれる画素の画素値を成分とする注目画素特徴ベクトルを生成するとともに、前記注目画素周辺領域に含まれる色情報と前記注目画素の近傍の参照画素の周辺の画素を含む領域である参照画素周辺領域に含まれる色情報とを画素毎に比較し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が全て等しい場合には、前記参照画素周辺領域に含まれる画素値を成分とする参照画素特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が異なる画素が存在する場合には、該参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の画素値を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素を用いて算出した画素値に置き換えた画素値を成分とする参照画素特徴ベクトルを生成することと、
   前記生成された前記注目画素特徴ベクトルと前記参照画素特徴ベクトルとの類似度を算出することと、
   前記算出された類似度のうちの最も高い類似度に第１の所定の閾値以上の係数を乗じた乗算結果に対する比又は差が第２の所定の閾値以上となる類似度を有する前記参照画素の画素値に対し、前記比又は差が小さいほど大きくなるように重み係数を算出することと、
   前記重み係数を用いて、前記参照画素の画素値の重み付け平均値及び前記参照画素の画素値の平均値の重み付け平均値を算出することと、
   前記注目画素の画素値と前記参照画素の画素値の重み付け平均値との差分値及び前記注目画素の画素値と前記参照画素の画素値の平均値の重み付け平均値との差分値を算出することと、
   前記算出された差分値に基づいて前記注目画素が補正すべき画素か判定するための孤立度を算出することと、
   前記算出された孤立度に基づいて前記注目画素を補正することと、
   を具備することを特徴とする画像処理方法。
8. 入力画像における画素毎の孤立度を検出することと、
   入力画像における注目画素の周辺の画素を含む領域である注目画素周辺領域の画素値を成分とする注目画素特徴ベクトルを生成し、前記注目画素の孤立度に対して前記注目画素周辺領域に含まれる孤立度を成分とする注目孤立度特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記注目画素の近傍の参照画素の周辺の画素を含む領域である参照画素周辺領域に含まれる色情報とを画素毎に比較し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が全て等しい場合には、前記参照画素周辺領域に含まれる画素値を成分とする参照画素特徴ベクトルと前記参照画素周辺領域に含まれる孤立度を成分とする参照孤立度特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が異なる画素が存在する場合には、該参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の画素値を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素を用いて算出した画素値に置き換えた画素値を成分とする参照画素特徴ベクトルと前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の孤立度を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素の孤立度を用いて算出した孤立度に置き換えた孤立度を成分とする参照孤立度特徴ベクトルを生成することと、
   前記注目孤立度特徴ベクトルと前記参照孤立度特徴ベクトルとを用いて前記注目画素特徴ベクトルと前記参照画素特徴ベクトルとの類似度を算出することと、
   前記算出された類似度と前記検出された孤立度とに基づいて前記参照画素の重み係数を算出することと、
   前記算出された重み係数を用いて複数の前記参照画素の重み付け平均値を補正値として算出することと、
   前記検出された孤立度に基づいて前記注目画素の画素値と前記補正値とを混合することと、
   を具備することを特徴とする画像処理方法。
9. 入力画像における注目画素の画素値と前記注目画素の近傍の参照画素の画素値との類似度及び前記注目画素の画素値と前記注目画素の近傍の複数の参照画素の画素値の平均値との類似度を算出する機能と、
   前記算出された類似度のうちの最も高い類似度に第１の所定の閾値以上の係数を乗じた乗算結果に対する比又は差が第２の所定の閾値以上となる類似度を有する前記参照画素の画素値及び前記参照画素の画素値の平均値のそれぞれに対し、前記比又は差が小さいほど大きくなるような重み係数を算出する機能と、
   前記算出された重み係数を用いて、前記参照画素の画素値の重み付け平均値及び前記参照画素の画素値の平均値の重み付け平均値を算出する機能と、
   前記注目画素の画素値と前記参照画素の画素値の重み付け平均値との差分値及び前記注目画素の画素値と前記参照画素の画素値の平均値の重み付け平均値との差分値を算出する機能と、
   前記算出された差分値に基づいて前記注目画素が補正すべき画素か判定するための孤立度を算出する機能と、
   前記算出された孤立度に基づいて前記注目画素を補正する機能と、
   をコンピュータに実現させるための画像処理プログラム。
10. 入力画像における注目画素の周辺の画素を含む領域である注目画素周辺領域に含まれる画素の画素値を成分とする注目画素特徴ベクトルを生成するとともに、前記注目画素周辺領域に含まれる色情報と前記注目画素の近傍の参照画素の周辺の画素を含む領域である参照画素周辺領域に含まれる色情報とを画素毎に比較し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が全て等しい場合には、前記参照画素周辺領域に含まれる画素値を成分とする参照画素特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が異なる画素が存在する場合には、該参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の画素値を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素を用いて算出した画素値に置き換えた画素値を成分とする参照画素特徴ベクトルを生成する機能と、
    前記生成された前記注目画素特徴ベクトルと前記参照画素特徴ベクトルとの類似度を算出する機能と、
    前記算出された類似度のうちの最も高い類似度に第１の所定の閾値以上の係数を乗じた乗算結果に対する比又は差が第２の所定の閾値以上となる類似度を有する前記参照画素の画素値に対し、前記比又は差が小さいほど大きくなるように重み係数を算出する機能と、
    前記重み係数を用いて、前記参照画素の画素値の重み付け平均値及び前記参照画素の画素値の平均値の重み付け平均値を算出する機能と、
    前記注目画素の画素値と前記参照画素の画素値の重み付け平均値との差分値及び前記注目画素の画素値と前記参照画素の画素値の平均値の重み付け平均値との差分値を算出する機能と、
    前記算出された差分値に基づいて前記注目画素が補正すべき画素か判定するための孤立度を算出する機能と、
    前記算出された孤立度に基づいて前記注目画素を補正する機能と、
    をコンピュータに実現させるための画像処理プログラム。
11. 入力画像における画素毎の孤立度を検出する機能と、
    入力画像における注目画素の周辺の画素を含む領域である注目画素周辺領域の画素値を成分とする注目画素特徴ベクトルを生成し、前記注目画素の孤立度に対して前記注目画素周辺領域に含まれる孤立度を成分とする注目孤立度特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記注目画素の近傍の参照画素の周辺の画素を含む領域である参照画素周辺領域に含まれる色情報とを画素毎に比較し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が全て等しい場合には、前記参照画素周辺領域に含まれる画素値を成分とする参照画素特徴ベクトルと前記参照画素周辺領域に含まれる孤立度を成分とする参照孤立度特徴ベクトルを生成し、前記注目画素周辺領域に含まれる色情報と前記参照画素周辺領域に含まれる色情報が異なる画素が存在する場合には、該参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の画素値を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素を用いて算出した画素値に置き換えた画素値を成分とする参照画素特徴ベクトルと前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の孤立度を、前記参照画素周辺領域に含まれる前記注目画素周辺領域と色情報が異なる画素の周辺に位置する画素であって前記注目画素周辺領域と等しい色情報を持つ画素の孤立度を用いて算出した孤立度に置き換えた孤立度を成分とする参照孤立度特徴ベクトルを生成する機能と、
    前記注目孤立度特徴ベクトルと前記参照孤立度特徴ベクトルとを用いて前記注目画素特徴ベクトルと前記参照画素特徴ベクトルとの類似度を算出する機能と、
    前記算出された類似度と前記検出された孤立度とに基づいて前記参照画素の重み係数を算出する機能と、
    前記算出された重み係数を用いて複数の前記参照画素の重み付け平均値を補正値として算出する機能と、
    前記検出された孤立度に基づいて前記注目画素の画素値と前記補正値とを混合する機能と、
    をコンピュータに実現させるための画像処理プログラム。

Images