JP5309940B2 - 画像処理装置、および撮像装置 - Google Patents

Description

本発明は、画像処理装置、および撮像装置に関する。

次のような画像処理装置が知られている。この画像処理装置は、画像データ内の塊欠陥画素を補間する（例えば、特許文献１）。
また、別な画像処理装置は、別の色成分の凹凸構造を検出して補間値に加える欠陥補正を行っている（例えば、特許文献２）。

特開２００５−２２３８１５号公報 特許第３９５１９９２号公報

一般に、Ｂａｙｅｒ画像において欠落する色成分は、次のように補間される。すなわち、まず、対象箇所の周囲の画素のうち、対象色成分と同じ色の画素値を用いて平均値を求める。そして、対象色成分とは異なる色の画素値などを用いて対象箇所における凹凸構造を抽出し、抽出した値を平均値に加える。これにより、微細構造再現精度や偽色抑制精度を向上している。しかしながら、従来の画像処理装置では、任意の形状の塊欠陥の補正を行う際に、別の色成分の凹凸を補間値に加えるものがないため、微細構造再現精度や偽色抑制精度が充分とは言えない。

本発明による画像処理装置は、欠陥画素の位置情報を記録した欠陥画素位置情報記憶手段と、欠陥画素を補間対象画素として設定する補間対象画素設定手段と、補間対象画素の画素値を補間するための補間精度の異なる複数の補間値算出式の中から、補間対象画素に対して参照する画素が全て正常であって、かつ最も補間精度が良い補間値算出式を最適補間値算出式として選択する選択手段と、選択手段によって選択された最適補間値算出式を用いて補間対象画素の画素値を補間する補間手段と、を備えることを特徴とする。
本発明では、補間値算出式は、基準補間値算出式と補助補間値算出式とを含み、選択手段は、補間精度の異なる複数の基準補間値算出式の中から、補間対象画素に対して参照する画素が全て正常であって、かつ最も補間精度が良い基準補間値算出式を最適基準補間値算出式として選択した後、最適基準補間値算出式に対応する補間精度の異なる複数の補助補間値算出式の中から、補間対象画素に対して参照する画素が全て正常であって、かつ最も補間精度が良い補助補間値算出式を最適補助補間値算出式として選択し、補間手段は、最適基準補間値算出式を用いて算出された基準補間値と、最適補助補間値算出式を用いて算出された補助補間値とを合わせた値を、補間対象画素の画素値とするようにしてもよい。
選択手段は、補間精度の良い順に補間値算出式が適用可能かを判定し、最初に適用可能と判定した補間値算出式を最適補間値算出式として選択するようにしてもよい。
選択手段は、補間精度の良い順に基準補間値算出式で参照する画素が全て正常であるか否かを判定し、最初に全て正常と判定した基準補間値算出式を最適基準補間値算出式として選択するようにしてもよい。
選択手段は、補間精度の良い順に補助補間値算出式で参照する画素が全て正常であるか否かを判定し、最初に全て正常と判定した補助補間値算出式を最適補助補間値算出式として選択するようにしてもよい。
補間対象画素の近傍における画像構造の類似方向を判定する類似方向判定手段をさらに備え、選択手段は、類似方向判定手段によって判定された類似方向に応じた複数の補間値算出式の中から、最適補間値算出式を選択するようにしてもよい。
本発明による画像処理装置は、複数の欠陥画素の位置情報を記録した欠陥画素位置情報記憶手段と、欠陥画素の近傍の画素のうち、欠陥画素の色と同色の正常な画素を用いて欠陥画素の画素値を補間するための補間精度の異なる複数の補間値算出式の中から、欠陥画素に対して最も補間精度の良い第１の補間値算出式を選択し、欠陥画素の近傍の画素のうち、欠陥画素の色と異色の正常な画素を用いて欠陥画素の画素値を補間するための補間精度の異なる複数の補間値算出式の中から、欠陥画素に対して最も補間精度の良い第２の補間値算出式を選択し、欠陥画素の位置情報、第１の補間値算出式、および第２の補間値算出式を用いて欠陥画素の画素値を補間する補間手段と、を備えることを特徴とする。
補間手段は、欠陥画素の近傍における画像構造の類似方向を判定し、判定した類似方向に応じた複数の補間値算出式の中から、第１の補間値算出式と第２の補間値算出式とを選択するようにしてもよい。
最も補間精度が良い補間値算出式とは、最も参照画素数が多い補間値算出式であるようにしてもよい。
本発明による撮像装置は、被写体像を撮像する撮像素子と、撮像素子から出力される画像信号に対して画像処理を行なって画像データを生成する上記いずれかの画像処理装置とを備え、画像処理装置は、撮像素子から出力される画像信号を用いて、撮像素子に含まれる欠陥画素の画素値を補間して、画像データを生成することを特徴とする。

本発明によれば、撮像素子の任意の形状の塊画素欠陥を補正するにあたって、微細構造再現精度や偽色抑制精度を向上することができる。

―第１の実施の形態―
図1は、第１の実施の形態におけるデジタルカメラの一実施の形態の構成を示すブロック図である。デジタルカメラ１００は、レンズ１０１と、撮像素子１０２と、欠陥画素補正部１０３と、画像処理部１０４と、画像記録部１０５とを備えている。

レンズ１０１は、複数の光学レンズにより構成され、被写体像を撮像素子１０２へ結像する。撮像素子１０２は、例えばＣＣＤやＣＭＯＳセンサであり、この撮像素子１０２が一定時間露光することにより、光学像が画像データとして得られる。撮像素子１０２は、取得した画像データを欠陥画素補正部１０３へ出力する。このとき、撮像素子１０２が塊画素欠陥を有している場合には、撮像素子１０２で取得した画像データには、欠陥画素が発生することになる。欠陥画素補正部１０３は、後述する処理を行って、このような塊画素欠陥を有する撮像素子で撮像された画像データ内の欠陥画素を補正して、補正後の画像データを画像処理部１０４へ出力する。

なお、本実施の形態では、撮像素子１０２から入力される画像データは、Ｂａｙｅｒ配列の画像データであるものとする。また、この画像データ内の欠陥画素は、大きさが４×４画素以内の任意形状であるものとする。本実施の形態では、画像データ内の各画素の位置を座標値によって特定するものとし、画像の左の方がｘ座標が小さく、上の方がｙ座標が小さいものとする。

画像処理部１０４は、入力された画像データに対して、ホワイトバランス処理、色補間処理、エッジ強調処理、サイド強調処理などの公知の画像処理を施した後、画像処理後の画像データを画像記録部１０５へ出力する。画像データを画像記録部１０５は、例えば、メモリカードなどの外部記憶媒体や、フラッシュメモリなどの内部記憶媒体に画像データを記録する。なお、欠陥画素補正部１０３、画像処理部１０４、および画像記録部１０５は、ＣＰＵおよびその他の周辺回路により構成されている。

図２は、欠陥画素補正部１０３の構成を示すブロック図である。以下、この図２を用いて、欠陥画素補正部１０３によって実行される処理について説明する。欠陥画素補正部１０３は、類似方向判定部１０３ａと、補間値算出方法供給部１０３ｂと、欠陥画素位置情報記録部１０３ｃと、最適補間値算出方法選択部１０３ｄと、補間生成対象画素設定部１０３ｅと、欠陥画素補間生成部１０３ｆとを備えている。なお、欠陥画素位置情報記録部１０３ｃは、後述する欠陥画素位置情報を記録するためのメモリ、例えばフラッシュメモリである。なお、類似方向判定部１０３ａと、最適補間値算出方法選択部１０３ｄと、補間生成対象画素設定部１０３ｅと、欠陥画素補間生成部１０３ｆとが演算処理部を構成している。

欠陥画素位置情報記録部１０３ｃには、画像データ内の欠陥画素の位置や分布を特定するための欠陥画素位置情報として、塊欠陥位置（Ｐ，Ｑ）と欠陥マップＤ（ｉ，ｊ）（ｉ＝０〜３，ｊ＝０〜３）が記録されている。塊欠陥位置（Ｐ，Ｑ）は、画像内の４×４画素の塊欠陥領域の左上端の座標値である。また、欠陥マップＤ（ｉ，ｊ）（ｉ＝０〜３，ｊ＝０〜３）は、塊欠陥領域のそれぞれの画素が欠陥かどうかを指定するためのマップ情報である。なお、塊欠陥位置（Ｐ，Ｑ）と欠陥マップＤ（ｉ，ｊ）（ｉ＝０〜３，ｊ＝０〜３）は、デジタルカメラを出荷する前に、撮像素子の欠陥画素特性を調査した結果に基づいて生成されているものとする。

この欠陥マップＤ（ｉ，ｊ）は、図３に示すように、０と１のコード値によって正常画素と欠陥画素とを区別している。すなわち、欠陥マップＤ（ｉ，ｊ）においては、画像データ上の画素（Ｐ＋ｉ，Ｑ＋ｊ）が正常画素ならＤ（ｉ，ｊ）＝０となり、画像データ上の画素（Ｐ＋ｉ，Ｑ＋ｊ）が欠陥画素ならＤ（ｉ，ｊ）＝１となる。なお、ここで言う正常画素とは、出力低下などの異常性のある画素に対して、ゲイン補正などの不図示の前補正処理を施すことによって正常な出力値に補正された画素を含む。以下の説明では、１つの塊欠陥を補正する例について説明するが、同じ処理を繰り返すことによって複数の塊欠陥を補正することができる。

まず、撮像素子１０２から出力された画像データは、類似方向判定部１０３ａへ入力される。類似方向判定部１０３ａは、欠陥画素位置情報記録部１０３ｃから上述した塊欠陥位置（Ｐ，Ｑ）を読み込む。そして、類似方向判定部１０３ａは、塊欠陥領域からの距離が４画素以内の領域、（つまり、欠陥領域４×４を中心とする１２×１２の領域のうち、中心の４×４を除く領域）において、同色画素の隣接画素差分絶対値和である、ＣＶ、ＣＨ、Ｃ４５、およびＣ１３５を算出する。ここで、ＣＶは縦方向に隣接する画素の差分絶対値和であり、ＣＨは横方向に隣接する画素の差分絶対値和である。また、Ｃ４５は斜め４５度方向に隣接する画素の差分絶対値和であり、Ｃ１３５は斜め１３５度方向に隣接する画素の差分絶対値和である。そして、類似方向判定部１０３ａは、この４方向のうち、画素差分絶対値和が最も小さくなる方向を類似方向と判定する。

補間値算出方法供給部１０３ｂは、類似方向判定部１０３ａが判定した類似方向に応じた複数の補間値算出方法を最適補間値算出方法選択部１０３ｄへ出力する。すなわち、類似方向が横、縦、斜め４５度、斜め１３５度のそれぞれの場合の補間値算出方法があらかじめ設定されてメモリに記録されており、補間値算出方法供給部１０３ｂは、その中から類似方向判定部１０３ａによる判定結果に応じた方向の補間値算出方法を選択して、最適補間値算出方法選択部１０３ｄへ出力する。

例えば、類似方向判定部１０３ａによる類似方向の判定結果が横方向であった場合には、補間値算出方法供給部１０３ｂは、横方向の画素を参照する複数の補間値算出方法として、以下の補間値算出方法１から補間値算出方法８の８通りの補間値算出方法（補間値算出式）を最適補間値算出方法選択部１０３ｄへ出力する。

補間値算出方法１：ｎ＝６、 Ｘ＝｛−２， ２， −３， −１， １， ３｝、Ｙ＝｛０， ０， ０， ０， ０， ０｝、Ｋ＝｛２，２，−１，１，１，−１｝
補間値算出方法２：ｎ＝４, Ｘ＝｛−２， ２， −３， −１｝、 Ｙ＝｛０， ０， ０， ０｝、 Ｋ＝｛２，２，−１，１｝
補間値算出方法３：ｎ＝４, Ｘ＝｛−２， ２， １， ３｝、Ｙ＝｛０， ０， ０， ０｝、 Ｋ＝｛２，２，１，−１｝
補間値算出方法４：ｎ＝２, Ｘ＝｛−２， ２｝、Ｙ＝｛０， ０｝、 Ｋ＝｛２，２｝
補間値算出方法５：ｎ＝３, Ｘ＝｛−２， −３， −１｝、 Ｙ＝｛０， ０， ０｝、 Ｋ＝｛４，−２，２｝
補間値算出方法６：ｎ＝３, Ｘ＝｛２， １， ３｝、 Ｙ＝｛０， ０， ０｝、 Ｋ＝｛４，２，−２｝
補間値算出方法７：ｎ＝１, Ｘ＝｛−２｝、 Ｙ＝｛０｝、 Ｋ＝｛４｝
補間値算出方法８：ｎ＝１, Ｘ＝｛２｝、Ｙ＝｛０｝、Ｋ＝｛４｝

なお、上記補間値算出方法１における「Ｘ＝｛−２， ２， −３， −１， １， ３｝」という表記は、配列Ｘの各値が、Ｘ［０］＝−２、Ｘ［１］＝２、Ｘ［２］＝−３、Ｘ［３］＝−１、Ｘ［４］＝１、Ｘ［５］＝３であることを表す。また、それぞれの補間値算出方法は、パラメータｎ、Ｘ、Ｙ、およびＫを持つ構造体として出力される。

上記ｎおよび配列Ｘ、Ｙ、Ｋは、補間方法を特定するパラメータであり、座標（ｘ，ｙ）の画素値Ａ（ｘ，ｙ）を算出する処理は次の補間式（１）によりなされる。

例えば、補間値算出方法１の補間式は次式（２）のようになる。

ここで、式（２）に示す補間式の第一項は、（ｘ，ｙ）の左右の同色画素の平均を求めることにより基準となる補間値を算出している。そして、第二項は（ｘ，ｙ）の左右の異色画素を用いて微細な凹凸構造を抽出して基準となる補間値に加算することにより微細構造の再現性を向上させている。

また、補間値算出方法２の補間式は次式（３）のようになる。

この式（３）に示す補間式では、凹凸構造を抽出する第二項が不完全なので補間値算出方法１に比べて補間精度がやや劣る。

また、補間値算出方法５の補間式は次式（４）のようになる。

この式（４）に示す補間式では、基準となる補間値算出で（ｘ，ｙ）の左側の画素しか参照していないので、補間値算出方法１や２よりも補間精度が劣る。このように、補間値算出方法は、補間精度が良い順に並んでいる。

補間生成対象画素設定部１０３ｅは、欠陥画素位置情報記録部１０３ｃから欠陥マップＤ（ｉ，ｊ）（ｉ＝０〜３，ｊ＝０〜３）を読み込み、欠陥マップＤ（ｉ，ｊ）内におけるＤ（ｐ，ｑ）＝１を満たす画素の画素位置（補間生成対象画素相対位置）（ｐ，ｑ）を特定する。例えば、図３に示す欠陥マップＤ（ｉ，ｊ）においては、補間生成対象画素設定部１０３ｅは、（ｐ，ｑ）として（１，１）、（１，２）、（２，１）、（２，２）、（３，２）を補間生成対象画素相対位置として特定する。そして、補間生成対象画素設定部１０３ｅは、欠陥マップＤ（ｉ，ｊ）、および補間生成対象画素相対位置（ｐ，ｑ）を最適補間値算出方法選択部１０３ｄへ出力する。

最適補間値算出方法選択部１０３ｄは、補間値算出方法供給部１０３ｂから入力された補間値算出方法１から８と、補間生成対象画素設定部１０３ｅから入力された欠陥マップＤ（ｉ，ｊ）、および補間生成対象画素相対位置（ｐ，ｑ）を取得する。そして、最適補間値算出方法選択部１０３ｄは、欠陥マップＤ（ｉ，ｊ）を参照しながら、各補間生成対象画素相対位置（ｐ，ｑ）に対して補間値算出方法１から８のいずれが適用可能であるかを判定する。このとき、最適補間値算出方法選択部１０３ｄは、補間値算出方法１から順に当該判定を行う。

最適補間値算出方法選択部１０３ｄは、補間値算出方法が参照する画素が全て正常である場合に、その補間値算出方法は適用可能であると判定する。具体的には、最適補間値算出方法選択部１０３ｄは、欠陥マップＤ（ｉ，ｊ）においてｉ，ｊが負または4以上の場合の値を０に設定したときに次式（５）が成立する場合に、その補間値算出方法は適用可能であると判定する。

最適補間値算出方法選択部１０３ｄは、上記判定を行った結果、最初に適用可能と判定した補間値算出方法を最適補間値算出方法として選択する。例えば、図３に示す欠陥マップＤ（ｉ，ｊ）においては、（ｐ，ｑ）＝（１，１）に対しては補間値算出方法２が最適補間値算出方法として選択され、（ｐ，ｑ）＝（１，２）に対しては補間値算出方法３が最適補間値算出方法として選択される。また、（ｐ，ｑ）＝（２，１）に対しては補間値算出方法５が最適補間値算出方法として選択され、（ｐ，ｑ）＝（２，２）に対しては補間値算出方法４が最適補間値算出方法として選択され、（ｐ，ｑ）＝（３，２）に対しては補間値算出方法６が最適補間値算出方法として選択される。

上述したように補間値算出方法は補間精度が良い順に１から並んでおり、最適補間値算出方法選択部１０３ｄは、補間値算出方法１から順番に補間値算出方法が適用可能か否かの判定を行って最適補間値算出方法を選択するため、適用可能な補間値算出方法の中で最も補間精度が良い補間値算出方法を最適補間値算出方法として選択することができる。なお、塊欠陥の幅が４画素以下の場合には、補間値算出方法７と８の少なくともどちらか一方は適用可能と判定されるため、必ず補間値算出方法７か８のいずれかの補間値算出方法が選択されることになる。

最適補間値算出方法選択部１０３ｄは、各補間生成対象画素相対位置（ｐ，ｑ）と、各補間生成対象画素相対位置（ｐ，ｑ）を補間するための最適補間値算出方法とを欠陥画素補間生成部１０３ｆへ出力する。

欠陥画素補間生成部１０３ｆは、最適補間値算出方法選択部１０３ｄから入力される補間生成対象画素相対位置（ｐ，ｑ）とそれを補間するための最適補間値算出方法とを取得する。また、欠陥画素補間生成部１０３ｆは、欠陥画素位置情報記録部１０３ｃから上述した塊欠陥位置（Ｐ，Ｑ）を読み込む。そして、欠陥画素補間生成部１０３ｆは、各補間生成対象画素相対位置（ｐ，ｑ）に対して、最適補間値算出方法のパラメータｎ、Ｘ、Ｙ、およびＫを用いて、次式（６）により欠陥画素Ａ（Ｐ＋ｐ，Ｑ＋ｑ）を補間生成する。

これによって、欠陥画素補間生成部１０３ｆは、最適補間値算出方法選択部１０３ｄで選択された最適補間値算出方法を用いて算出した最適な補間値を用いて補画像データ内の欠陥画素Ａ（Ｐ＋ｐ，Ｑ＋ｑ）を補間生成することができる。

以上説明した第１の実施の形態によれば、以下のような作用効果を得ることができる。
（１）欠陥画素位置情報記録部１０３ｃには、撮像素子の欠陥画素位置情報を記録しておき、補間値算出方法供給部１０３ｂは、欠陥画素における画素値を補間生成するための複数の補間値算出方法を最適補間値算出方法選択部１０３ｄへ供給し、補間生成対象画素設定部１０３ｅは、欠陥画素を補間生成対象画素として設定するようにした。そして、最適補間値算出方法選択部１０３ｄは、補間値算出方法供給部１０３ｂから供給された補間値算出方法の中から、補間生成対象画素設定部１０３ｅによって設定された補間生成対象画素に対して適用可能であって、かつ最も補間精度が高い補間値算出方法を最適補間値算出方法として選択するようにした。そして、欠陥画素補間生成部１０３ｆは、最適補間値算出方法選択部１０３ｄによって選択された最適補間値算出方法を用いて補間生成対象画素における画素値を補間生成するようにした。これによって、画像データの欠陥画素を補間するにあたって、微細構造再現精度や偽色抑制精度を向上することができる。

（２）補間値算出方法供給部１０３ｂは、各補間値算出方法について、補間生成対象画素に対する補間参照画素の相対位置情報を最適補間値算出方法選択部１０３ｄへ供給し、最適補間値算出方法選択部１０３ｄは、画像データ内における補間生成対象画素の位置と、補間参照画素の相対位置情報に基づいて、画像データ内における補間参照画素の位置を求め、画像データ内における補間参照画素の位置と、欠陥画素位置情報とに基づいて、補間参照画素が欠陥画素か否かを判定し、補間参照画素が欠陥画素ではないと判定した場合に、その補間値算出方法を適用可能と判定するようにした。これによって、正常画素のみを参照画素として補間を行うことができるため、補間精度を向上することができる。

（３）最適補間値算出方法選択部１０３ｄは、補間精度の良い順に補間値算出方法が適用可能か判定し、最初に適用可能と判定した補間値算出方法を最適補助補間値算出方法として選択するようにした。これによって、最も精度の高い補間値算出方法を使用して、欠陥画素を補間することができる。

（４）類似方向判定部１０３ａは、補間生成対象画素の近傍における画像構造の類似方向を判定し、補間値算出方法供給部１０３ｂは、類似方向判定部１０３ａによって判定された類似方向に基づいて、複数の補間値算出方法を供給するようにした。これによって、補間生成対象画素と類似する方向に存在する画素の画素値を用いて、精度高く補間を行うことが可能となる。

―第２の実施の形態―
第２の実施の形態では、最適補間値算出方法選択部１０３ｄは、補間生成対象画素相対位置（ｐ，ｑ）の周囲の画素のうち、補間生成対象画素相対位置（ｐ，ｑ）と同じ色の画素を用いて補間生成対象画素相対位置（ｐ，ｑ）を補間した後、補間生成対象画素相対位置（ｐ，ｑ）の周囲の画素のうち、補間生成対象画素相対位置（ｐ，ｑ）とは異なる色の画素を用いて補間生成対象画素相対位置（ｐ，ｑ）を補間する。補間値算出方法供給部１０３ｂは、このために用いる補間値算出方法を最適補間値算出方法選択部１０３ｄへ出力する。

なお、第２の実施の形態では、図１から図３の各図については、第１の実施の形態と同様のため、説明を省略する。また、図２に示す各部１０３ａから１０３ｆのうち、類似方向判定部１０３ａ、欠陥画素位置情報記録部１０３ｃ、および補間生成対象画素設定部１０３ｅによる処理については、第１の実施の形態と同様のため、説明を省略する。

補間値算出方法供給部１０３ｂは、類似方向判定部１０３ａが判定した類似方向に応じた複数の補間値算出方法を最適補間値算出方法選択部１０３ｄへ出力する。例えば、類似方向判定部１０３ａによる類似方向の判定結果が横方向であった場合には、補間値算出方法供給部１０３ｂは、以下の基準補間値算出方法１から３、および各基準補間値算出方法に対応する補助補間値算出方法を最適補間値算出方法選択部１０３ｄへ出力する。

基準補間値算出方法１：ｎ＝２、Ｘ＝｛−２， ２｝、Ｙ＝｛０， ０｝、Ｋ＝｛２，２｝
基準補間値算出方法１に対応する補助補間値算出方法１：ｎ＝４、Ｘ＝｛−３， −１， １， ３｝Ｙ＝｛０， ０， ０， ０｝、Ｋ＝｛−１，１，１，−１｝
基準補間値算出方法１に対応する補助補間値算出方法２：ｎ＝２、Ｘ＝｛−３， −１｝、Ｙ＝｛０， ０｝、Ｋ＝｛−１，１｝
基準補間値算出方法１に対応する補助補間値算出方法３：ｎ＝２、Ｘ＝｛１， ３｝、Ｙ＝｛０， ０｝、Ｋ＝｛１，−１｝
基準補間値算出方法１に対応する補助補間値算出方法４：ｎ＝０、Ｘ＝｛｝， Ｙ＝｛｝、Ｋ＝｛｝

基準補間値算出方法２：ｎ＝１、Ｘ＝｛−２｝、Ｙ＝｛０｝、Ｋ＝｛２｝
基準補間値算出方法２に対応する補助補間値算出方法１：ｎ＝２、Ｘ＝｛−３， −１｝、Ｙ＝｛０， ０｝、Ｋ＝｛−１，１｝
基準補間値算出方法２に対応する補助補間値算出方法２：ｎ＝０、Ｘ＝｛｝、Ｙ＝｛｝、Ｋ＝｛｝

基準補間値算出方法３：ｎ＝１、Ｘ＝｛−２｝、Ｙ＝｛０｝、Ｋ＝｛２｝
基準補間値算出方法３に対応する補助補間値算出方法１：ｎ＝２、Ｘ＝｛１， ３｝、Ｙ＝｛０， ０｝Ｋ＝｛１，−１｝
基準補間値算出方法３に対応する補助補間値算出方法２：ｎ＝０、Ｘ＝｛｝、Ｙ＝｛｝、Ｋ＝｛｝

最適補間値算出方法選択部１０３ｄは、補間値算出方法供給部１０３ｂから入力された基準補間値算出方法１から３と、それぞれの基準補間値算出方法に対応する補助補間値算出方法を取得する。また、最適補間値算出方法選択部１０３ｄは、補間生成対象画素設定部１０３ｅから入力された欠陥マップＤ（ｉ，ｊ）、および補間生成対象画素相対位置（ｐ，ｑ）を取得する。

最適補間値算出方法選択部１０３ｄは、上述した第１の実施の形態と同様に、各補間生成対象画素相対位置（ｐ，ｑ）について基準補間値算出方法１から順に適用可能か判定し、最初に適用可能と判定されたものを最適基準補間値算出方法として選択する。次に、最適補間値算出方法選択部１０３ｄは、最適基準補間値算出方法に対応する補助補間値算出方法を１から順に適用可能か判定し、最初に適用可能と判定されたものを最適補助補間値算出方法として選択する。

そして、最適補間値算出方法選択部１０３ｄは、各補間生成対象画素相対位置（ｐ，ｑ）と、各補間生成対象画素相対位置（ｐ，ｑ）を補間するための最適基準補間値算出方法および最適補助補間値算出方法とを欠陥画素補間生成部１０３ｆへ出力する。

欠陥画素補間生成部１０３ｆは、最適補間値算出方法選択部１０３ｄから入力される補間生成対象画素相対位置（ｐ，ｑ）と、それを補間するための最適基準補間値算出方法および最適補助補間値算出方法とを取得する。また、欠陥画素補間生成部１０３ｆは、欠陥画素位置情報記録部１０３ｃから上述した塊欠陥位置（Ｐ，Ｑ）を読み込む。

そして、欠陥画素補間生成部１０３ｆは、まず、各補間生成対象画素相対位置（ｐ，ｑ）に対して、最適基準補間値算出方法のパラメータｎ、Ｘ、Ｙ、およびＫを用いて、次式（７）により欠陥画素Ａ（Ｐ＋ｐ，Ｑ＋ｑ）の基準補間値を補間生成する。

次に、欠陥画素補間生成部１０３ｆは、最適補助補間値算出方法のパラメータｎ、Ｘ、Ｙ、およびＫを用いて、次式（８）により欠陥画素Ａ（Ｐ＋ｐ，Ｑ＋ｑ）に補助補間値を加算する。

以上説明した第２の実施の形態によれば、第１の実施の形態における作用効果に加えて、次のような効果を得ることができる。すなわち、最適補間値算出方法を、最適基準補間値算出方法と最適補助補間値算出方法とに分けて算出し、これらを用いて欠陥画素Ａ（Ｐ＋ｐ，Ｑ＋ｑ）を補間生成するようにしたので、補間値算出方法を記録するためのメモリ量や最適補間値選択の演算量を節約するという効果を得ることができる。

さらに、第２の実施の形態によると、補助所補間値を基準補間値と区別して算出するので、補助補間値に対して修正を加えることができる。例えば、補助補間値が大きくなり過ぎないようにクリッピング処理を行うようにしてもよい。具体的には、補助補間値の絶対値が画素値の値域の８分の１程度の所定値以内になるように制限すればよい。そのような処理を行うことにより以下の効果がある。

欠陥補正を行う箇所の基準補間値の色成分の大きさに対して、補助補間値の色成分が大きい場合、補助補間値として算出される高周波成分の大きさが基準補間値の色成分の実際の高周波成分よりも大きくなり、不適切な構造を加えてしまう場合がある。したがって、補助補間値が大きな値になる場合には、それをそのまま基準補間値に加えるのは望ましくなく、上記処理のように補助補間値の大きさを制限して加えることが望ましい。なお、補助補間値の絶対値が画素値の値域の８分の１程度の所定値以内になるように制限する代わりに、例えば基準補間値の半分程度の値以内に制限するようにしてもよい。

―変形例―
なお、上述した実施の形態のデジタルカメラは、以下のように変形することもできる。
（１）上述した第１の実施の形態では、例えば、類似方向判定部１０３ａによる類似方向の判定結果が横方向であった場合に、補間値算出方法供給部１０３ｂは、補間値算出方法１から補間値算出方法８の８通りの補間値算出方法を最適補間値算出方法選択部１０３ｄへ出力する例について説明した。また、上述した第２の実施の形態では、例えば、類似方向判定部１０３ａによる類似方向の判定結果が横方向であった場合に、補間値算出方法供給部１０３ｂは、基準補間値算出方法１から３、および各基準補間値算出方法に対応する補助補間値算出方法を最適補間値算出方法選択部１０３ｄへ出力する例について説明した。しかしながら、補間値算出方法供給部１０３ｂが出力する補間値算出方法は、上記各方法に限定されず、公知の様々な補間値算出方法を適用することも可能である。

（２）上述した第１および第２の実施の形態では、欠陥画素の補正処理をデジタルカメラ１００上で行う例について説明した。しかしながた、撮像素子を備えた他の画像処理装置、例えばカメラ付き携帯電話やビデオカメラ等で処理を行うようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

デジタルカメラの一実施の形態の構成を示すブロック図である。 欠陥画素補正部１０３の構成を示すブロック図である。 欠陥マップＤ（ｉ，ｊ）の具体例を示す図である。

符号の説明

１００ デジタルカメラ、１０１ レンズ、１０２ 撮像素子、１０３ 欠陥画素補正部、１０３ａ 類似方向判定部、１０３ｂ 補間値算出方法供給部、１０３ｃ 欠陥画素位置情報記録部、１０３ｄ 最適補間値算出方法選択部、１０３ｅ 補間生成対象画素設定部、１０３ｆ 欠陥画素補間生成部、１０４ 画像処理部、１０５ 画像記録部

Claims (10)

1. 欠陥画素の位置情報を記録した欠陥画素位置情報記憶手段と、
   前記欠陥画素を補間対象画素として設定する補間対象画素設定手段と、
   前記補間対象画素の画素値を補間するための補間精度が異なる複数の補間値算出式の中から、前記補間対象画素に対して参照画素が全て正常であって、かつ最も補間精度が良い補間値算出式を最適補間値算出式として選択する選択手段と、
   前記選択手段によって選択された前記最適補間値算出式を用いて前記補間対象画素の画素値を補間する補間手段と、を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記補間値算出式は、基準補間値算出式と補助補間値算出式とを含み、
   前記選択手段は、複数の前記基準補間値算出式の中から、前記補間対象画素に対して適用可能であって、かつ最も補間精度が高い基準補間値算出式を最適基準補間値算出式として選択した後、前記最適基準補間値算出式に対応する補間精度が異なる複数の前記補助補間値算出式の中から、前記補間対象画素に対して参照する画素が全て正常であって、かつ最も補間精度が良い補助補間値算出式を最適補助補間値算出式として選択し、
   前記補間手段は、前記最適基準補間値算出式を用いて算出された基準補間値と、前記最適補助補間値算出式を用いて算出された補助補間値とを合わせた値を、前記補間対象画素の画素値とすることを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記選択手段は、補間精度の良い順に、前記補間値算出式で参照する画素がすべて正常であるか否かを判定し、最初に全て正常と判定した補間値算出式を前記最適補間値算出式として選択することを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記選択手段は、補間精度の良い順に、前記基準補間値算出式で参照する画素がすべて正常であるか否かを判定し、最初に全て正常と判定した基準補間値算出式を前記最適基準補間値算出式として選択することを特徴とする画像処理装置。
5. 請求項２に記載の画像処理装置において、
   前記選択手段は、補間精度の良い順に、前記補助補間値算出式で参照する画素がすべて正常であるか否かを判定し、最初に全て正常と判定した補助補間値算出式を前記最適補助補間値算出式として選択することを特徴とする画像処理装置。
6. 請求項１〜５のいずれか一項に記載の画像処理装置において、
   前記補間対象画素の近傍における画像構造の類似方向を判定する類似方向判定手段をさらに備え、
   前記選択手段は、前記類似方向判定手段によって判定された類似方向に応じた前記複数の補間値算出式の中から、前記最適補間値算出式を選択することを特徴とする画像処理装置。
7. 複数の欠陥画素の位置情報を記録した欠陥画素位置情報記憶手段と、
   前記欠陥画素の近傍の画素のうち、前記欠陥画素の色と同色の正常な画素を用いて前記欠陥画素の画素値を補間するための補間精度の異なる複数の補間値算出式の中から、前記欠陥画素に対して最も補間精度の良い第１の補間値算出式を選択し、前記欠陥画素の近傍の画素のうち、前記欠陥画素の色と異色の正常な画素を用いて前記欠陥画素の画素値を補間するための補間精度の異なる複数の補間値算出式の中から、前記欠陥画素に対して最も補間精度の良い第２の補間値算出式を選択し、前記欠陥画素の位置情報、前記第１の補間値算出式、および前記第２の補間値算出式を用いて前記欠陥画素の画素値を補間する補間手段と、を備えることを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記補間手段は、前記欠陥画素の近傍における画像構造の類似方向を判定し、判定した類似方向に応じた複数の補間値算出式の中から、前記第１の補間値算出式と前記第２の補間値算出式とを選択することを特徴とする画像処理装置。
9. 請求項１〜８のいずれか一項に記載の画像処理装置において、
   前記最も補間精度が良い補間値算出式とは、最も参照画素数が多い補間値算出式であることを特徴とする画像処理装置。
10. 被写体像を撮像する撮像素子と、
    前記撮像素子から出力される画像信号に対して画像処理を行なって画像データを生成する請求項１〜９のいずれかに記載の画像処理装置と、を備え、
    前記画像処理装置は、前記撮像素子から出力される画像信号を用いて、前記撮像素子に含まれる欠陥画素の画素値を補間して、前記画像データを生成することを特徴とする撮像装置。
    

Images