JP6326961B2 - 欠陥画素補正方法及び画像処理装置 - Google Patents

Description

本発明は、欠陥画素補正方法及び画像処理装置に関する。

ＣＣＤ（Charge Coupled Device）などの撮像素子を有する撮像装置では、一定の入射光にもかかわらず、周辺の画素と比べて特異な値を出力する画素（いわゆる、欠陥画素）が含まれる場合がある。このような画素は、ユーザに撮像装置が提供される前に予め工場などで検出され、その画素の位置情報がメモリに記憶される。そして、撮像装置が使用される際には、その画素の値は、たとえば、周囲の同色画素の平均値を用いて補正される。

しかしながら、平均値を用いた補正では、その画素がエッジに属しているような場合に、エッジがぼけてしまう可能性がある。そのため、その画素の周辺画素からエッジ方向（またはエッジの境界に沿う方向）を判定し、エッジ方向に属した画素を用いて補正を行うという手法が提案されている。

エッジ方向判定の際には、補正対象画素を中心に各方向で、エッジ方向判定用の指標となる画素間の画素値の相関値が算出され、各方向での相関値の比較結果に基づき、エッジ方向が判定される。

なお、近年、撮像素子の画素数の増加、サイズの小型化など、微細化が進むことにより欠陥画素の発生頻度は高まっている。また、工場出荷後に欠陥画素が生じる場合もある。

特開２００５−１２３９４６号公報 特開２００４−２２１８３８号公報 特開２００５−３１８３８３号公報

ところで、補正対象画素の近傍の画素群に別の欠陥画素が含まれているときには、その画素群からは正しい相関値が得られず、エッジ方向が判定できない可能性がある。そこで、補正対象画素の近接の画素群で得られた相関値でエッジ方向が検出されなかったときには、それよりも離れた画素群で得られる相関値を用いてエッジ方向を判定することが考えられる。

ただ、相関値の算出に用いる画素が補正対象画素から離れるほど、エッジ方向の判定精度は悪化してしまう。

発明の一観点によれば、画像処理装置が、補正対象画素の周囲にある画素群の中から欠陥画素とみなせる第１の画素を検出すると、前記第１の画素の画素値と前記画素群の画素値との差異に基づき、前記第１の画素が欠陥である度合いに依存する前記欠陥画素の誤検出率を算出し、前記補正対象画素から第１の距離にあり、前記第１の画素が属する第１の画素群に含まれる画素間の相関を示す第１の相関値を、前記補正対象画素に対する複数の方向でそれぞれ算出し、前記補正対象画素から前記第１の距離よりも離れた第２の距離にある第２の画素群に含まれる画素間の相関を示す第２の相関値を、前記補正対象画素に対する複数の方向でそれぞれ算出し、同一方向での前記第１の相関値及び前記第２の相関値を、前記誤検出率に基づく割合で組み合わせて第３の相関値を算出し、複数の前記第３の相関値の大小関係に基づき、前記画素群におけるエッジ方向を判定し、判定した前記エッジ方向の画素を用いて、前記補正対象画素を補正する、欠陥画素補正方法が提供される。

また、発明の一観点によれば、補正対象画素の周囲にある画素群の中から欠陥画素とみなせる第１の画素を検出すると、前記第１の画素の画素値と前記画素群の画素値とに基づき、前記第１の画素が欠陥である度合いに依存する前記欠陥画素の誤検出率を算出する誤検出率算出部と、前記補正対象画素から第１の距離にあり、前記第１の画素が属する第１の画素群に含まれる画素間の第１の相関値を、前記補正対象画素に対する複数の方向でそれぞれ算出し、前記補正対象画素から前記第１の距離よりも離れた第２の距離にある第２の画素群に含まれる画素間の第２の相関値を、前記補正対象画素に対する複数の方向でそれぞれ算出し、同一方向での前記第１の相関値及び前記第２の相関値を、前記誤検出率に基づく割合で組み合わせて第３の相関値を算出する相関値算出部と、複数の前記第３の相関値の大小関係に基づき、前記画素群におけるエッジ方向を判定するエッジ方向判定部と、前記エッジ方向の画素を用いて、前記補正対象画素を補正する補正部と、を有する画像処理装置が提供される。

開示の欠陥画素補正方法及び画像処理装置によれば、画像のエッジ方向の判定精度を向上できる。

第１の実施の形態の欠陥画素補正方法の一例を示す図である。 撮像装置の一例を示す図である。 画像処理装置の一例を示す図である。 欠陥画素補正方法の一例の流れを示すフローチャートである。 登録欠陥画素と動的欠陥画素の一例を示す図である。 動的欠陥画素の欠陥の度合いの一例を示す図である。 誤検出率αの分布の一例を示す図である。 画素値の分散の第１の例を示す図である。 画素値の分散の第２の例を示す図である。 ヒストグラムが２つのピークを有するときの誤検出率の算出例を示す図である。 分散が大きくなる絵柄の一例を示す図である。 水平方向の相関値の算出例を説明する図である。 優先順位の低い参照パターンに動的欠陥画素が含まれる場合の、水平方向の相関値の算出例を説明する図である。 １番目と２番目の優先順位の参照パターンに動的欠陥画素が含まれる場合の、水平方向の相関値の算出例を説明する図である。 信頼度の算出例を説明する図である。 動的欠陥画素がある場合の、信頼度の算出例を示す図である。

以下、発明を実施するための形態を、図面を参照しつつ説明する。
（第１の実施の形態）
図１は、第１の実施の形態の欠陥画素補正方法の一例を示す図である。

以下に示す処理は、画像処理装置（たとえば、図２、３参照）により行われる。
欠陥画素補正処理が開始されると、まず、補正対象画素の設定が行われる（ステップＳ１）。補正対象画素は、撮像装置における撮像素子に含まれるいわゆる欠陥画素であり、予めメモリなどにその位置情報が記憶されているものである。ステップＳ１の処理では、画像処理装置が、上記位置情報をメモリから読み出し、その位置情報で表される画素を補正対象画素として設定する。図１の例では、画素Ｇ２２が補正対象画素であるものとしている。

次に、画像処理装置は、補正対象画素の周囲にある画素群（図１の例では、５×５の画素群のうち補正対象画素を除く画素群）の中から、欠陥画素とみなせる画素の検出を行う（ステップＳ２）。なお、図１の例では、Ｇ（グリーン）、Ｒ（レッド）、Ｂ（ブルー）のカラーフィルタを備えた撮像素子の画素群が示されている。画像処理装置は、輝度に対して最も寄与するＧのカラーフィルタが適用される画素Ｇ００，Ｇ０２，Ｇ０４，Ｇ１１，Ｇ１３，Ｇ２０，Ｇ２４，Ｇ３１，Ｇ３３，Ｇ４０，Ｇ４２，Ｇ４４を用いて欠陥画素補正を行うものとする。

ステップＳ２の処理では、たとえば、画素ごとに、その周囲の画素との画素値との差異に基づき欠陥画素とみなせるか否かが判定される。たとえば、ある画素の画素値が、周囲の画素の画素値の平均値から所定値以上離れている場合には、その画素は欠陥画素と判定される。図１の例では、画素Ｇ１３が欠陥画素として検出された例が示されている。以下、画像処理装置で検出される欠陥画素を、動的欠陥画素と呼ぶ。

次に、画像処理装置は、動的欠陥画素の画素値と、補正対象画素の周囲にある画素群の画素値との差異に基づき、動的欠陥画素が欠陥である度合いに依存する、動的欠陥画素の誤検出率を算出する（ステップＳ３）。

図１には、誤検出率αの分布の例が示されている。横軸は画素値、縦軸は誤検出率を示している。この分布は、画素Ｇ００〜Ｇ４４に含まれる正常画素の標準偏差σに基づいた正規分布曲線である。画素Ｇ００〜Ｇ４４に含まれる正常画素の画素値の平均値が、分布の中心となっている。画素Ｇ１３の画素値Ｐ_G13は、上記平均値よりも大きな値となっており、このときの誤検出率αはα１となっている。誤検出率αが小さいほど、動的欠陥画素が欠陥である度合いは大きく、逆に、誤検出率αが大きいほど、動的欠陥画素が欠陥である度合いが小さい。

次に、画像処理装置は相関値の算出を行う（ステップＳ４）。相関値は、画素間の差分値の和などであり、エッジ方向判定用の指標となるものである。図１中の矢印は、相関値が算出される画素間の関係を示している。

ステップＳ４の処理では、まず、補正対象画素から最も近い画素群（画素Ｇ１１，Ｇ１３，Ｇ３１，Ｇ３３）に含まれる画素間の相関を示す相関値が、補正対象画素に対する複数の方向でそれぞれ算出される。

図１の例では、補正対象画素である画素Ｇ２２に対して水平方向、垂直方向、右上（左下）方向、右下（左上）方向のそれぞれの方向で、まず、相関値ＤＨ１，ＤＶ１，ＤＳ１，ＤＢ１が算出される。ここで、ＤＨ１＝｜（Ｐ_G11−Ｐ_G13）＋（Ｐ_G31−Ｐ_G33）｜／２、ＤＶ１＝｜（Ｐ_G11−Ｐ_G31）＋（Ｐ_G13−Ｐ_G33）｜／２、ＤＳ１＝｜Ｐ_G13−Ｐ_G31｜、ＤＢ１＝｜Ｐ_G11−Ｐ_G33｜である。

なお、Ｐ_G11，Ｐ_G13，Ｐ_G31，Ｐ_G33は、画素Ｇ１１，Ｇ１３，Ｇ３１、Ｇ３３の画素値である。
さらに、ステップＳ４の処理では、補正対象画素から次に近い画素群（画素Ｇ０２，Ｇ２０，Ｇ２４，Ｇ４２）に含まれる画素間の相関値が、補正対象画素に対する複数の方向でそれぞれ算出される。

図１の例では、補正対象画素である画素Ｇ２２に対して水平方向、垂直方向、右上方向のそれぞれの方向で、相関値ＤＨ２，ＤＶ２，ＤＳ２が算出される。ここで、ＤＨ２＝｜Ｐ_G20−Ｐ_G24｜、ＤＶ２＝｜Ｐ_G02−Ｐ_G42｜、ＤＳ２＝｜（Ｐ_G02−Ｐ_G20）＋（Ｐ_G24−Ｐ_G42）｜／２である。

なお、Ｐ_G02，Ｐ_G20，Ｐ_G24，Ｐ_G42は、画素Ｇ０２，Ｇ２０，Ｇ２４，Ｇ４２の画素値である。ここで、画素Ｇ２２に対して右下方向の相関値が算出されないのは、画素Ｇ２２から最近接の画素群で得られた右下方向の相関値ＤＢ１には、動的欠陥画素が関与しないため、相関値ＤＢ１はそのまま使えるためである。

そして、画像処理装置は、上記のように補正対象画素からの距離に応じて求めた同一方向の相関値を、誤検出率αに基づく割合で組み合わせて相関値ＤＨ１，ＤＶ１，ＤＳ１を修正する。

図１の例では、補正対象画素である画素Ｇ２２から最も近い画素群のなかに動的欠陥画素とみなされた画素Ｇ１３が存在するため、画素Ｇ１３が関与する相関値に対して、画素Ｇ１３の誤検出率α＝α１が掛けられる。画素Ｇ１３が関与する相関値は、相関値ＤＨ１，ＤＶ１，ＤＳ１であるため、これらにα１が掛けられる。そして、画素Ｇ２２から次に近い画素群（動的欠陥画素が含まれない画素群）の画素間で求められた相関値のうち、画素Ｇ２２から最も近い画素群から得られた相関値で、α１が掛けられた方向の相関値に対して、（１−α１）が掛けられる。図１の例では、相関値ＤＨ２，ＤＶ２，ＤＳ２に（１−α１）が掛けられる。

そして、α１が掛けられた相関値ＤＨ１，ＤＶ１，ＤＳ１と、（１−α１）が掛けられた相関値ＤＨ２，ＤＶ２，ＤＳ２がブレンド（加算）されることで、図１に示すような水平方向の相関値ＤＨα、垂直方向の相関値ＤＶα、右上方向の相関値ＤＳαが求められる。すなわち、ＤＨα＝ＤＨ１×α１＋ＤＨ２×（１−α１）、ＤＶα＝ＤＶ１×α１＋ＤＶ２×（１−α１）、ＤＳα＝ＤＳ１×α１＋ＤＳ２×（１−α１）が得られる。

なお、右下方向の相関値ＤＢαは、相関値ＤＢ１の算出に、動的欠陥画素である画素Ｇ１３が関与しないため、この相関値ＤＢ１がそのまま適用される。
次に、画像処理装置は、複数の方向でそれぞれ算出した、複数の相関値ＤＨα，ＤＶα，ＤＳα，ＤＢαの大小関係に基づき、エッジ方向を判定する（ステップＳ５）。図１の例では、相関値ＤＨα，ＤＶα，ＤＳα，ＤＢαのうち最小の相関値（ＭＩＮ（ＤＨα，ＤＶα，ＤＳα，ＤＢα））に対応する方向がエッジ方向として判定される。

エッジ方向が判定されると、画像処理装置は、判定したエッジ方向の画素を用いて、補正対象画（画素Ｇ２２）を補正する（ステップＳ６）。たとえば、画像処理装置は、判定したエッジ方向の画素の画素値の平均値で、画素Ｇ２２を補正する。

このような第１の実施の形態の欠陥画素補正方法によれば、補正対象画素の周囲に別の欠陥画素があっても、補正対象画素からの距離が近い画素間の相関値を誤検出率αの値に基づいて使用できるため、エッジ方向の判定精度が向上する。エッジ方向の判定精度が向上することによって、補正精度も向上できる。

（第２の実施の形態）
図２は、撮像装置の一例を示す図である。
撮像装置１０は、撮像素子１１、内蔵メモリ１２、不揮発性メモリ１３、プロセッサ１４、画像処理装置１５、表示制御部１６、入出力制御部１７を有し、これらはバス１８に接続されている。さらに、表示制御部１６には、表示部１６ａが接続され、入出力制御部１７には、外部インターフェース部１７ａが接続されている。

撮像素子１１は、たとえば、ＣＣＤである。以下の説明では、撮像素子１１は、カラーフィルタを備えているものとする。
内蔵メモリ１２は、ＤＲＡＭ（Dynamic Random Access Memory）などであり、撮像素子１１で得られた画像データなどを一旦格納する。

不揮発性メモリ１３は、フラッシュメモリなどであり、プロセッサ１４が実行するプログラムや、欠陥画素の位置情報などを格納している。
プロセッサ１４は、撮像装置１０の全体を制御する。プロセッサ１４は、マルチプロセッサであってもよい。プロセッサ１４は、たとえばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＰＬＤ（Programmable Logic Device）である。またプロセッサ１４は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

画像処理装置１５は、撮像素子１１で得られた画像データを処理する。この画像処理装置１５で、本実施の形態の欠陥画素補正方法が実行される。
表示制御部１６は、表示部１６ａに画像データを表示させる。表示部１６ａは、ＬＣＤ（Liquid Crystal Display）、ＥＶＦ（Electronic View Finder）などの表示装置である。

入出力制御部１７は、外部インターフェース部１７ａを用いた外部との信号の入出力を制御する。外部インターフェース部１７ａは、外部ストレージに接続するためのインターフェースまたはネットワークに接続するための通信インターフェースなどである。

（画像処理装置の一例）
以下、本実施の形態の画像処理装置１５の一例を示す。
図３は、画像処理装置の一例を示す図である。

なお、図３では、欠陥画素の補正を行う部分以外の要素については図示が省略されている。
画像処理装置１５は、画素データ取り込み部２１、欠陥情報取り込み部２２、動的欠陥判定部２３、ヒストグラム算出部２４、誤検出率算出部２５、欠陥情報記憶部２６、欠陥照合部２７を有している。さらに画像処理装置１５は、相関値算出部２８、信頼度算出部２９、エッジ方向判定部３０、補間方向決定部３１、補正部３２を有している。

画素データ取り込み部２１は、画像データを記憶する内蔵メモリ１２から、欠陥画素の補正に用いる画素データを取り込む。
欠陥情報取り込み部２２は、不揮発性メモリ１３に予め格納されている欠陥画素（以下登録済欠陥画素と呼ぶ）の位置情報を取り込む。

動的欠陥判定部２３は、画素データ取り込み部２１で取り込まれた画素データから動的欠陥画素とみなす画素を検出する。
ヒストグラム算出部２４は、画素データの画素値を所定のレンジで区切って各レンジに属する画素の数を表すヒストグラムを算出する。

誤検出率算出部２５は、動的欠陥画素の誤検出率を算出する。
欠陥情報記憶部２６は、動的欠陥画素の位置情報、登録済欠陥画素の位置情報、誤検出率を記憶する。

欠陥照合部２７は、動的欠陥画素の位置情報と、登録済欠陥画素の位置情報と、取り込まれた画素データとから、登録済欠陥画素の補正に使用する周辺画素に動的欠陥画素が含まれるか否かの照合を行う。

相関値算出部２８は、登録済欠陥画素を補正対象として、その画素からの距離に応じた複数の画素群による参照パターンを設定し、各参照パターンで、複数方向の画素間の相関値を算出する。また、相関値算出部２８は、動的欠陥画素があるとき、誤検出率αに基づく割合で、異なる距離で算出された同一方向の相関値をブレンド（加算）する。

信頼度算出部２９は、相関値算出部２８で算出された相関値に基づくエッジ方向判定の信頼度を求める。
エッジ方向判定部３０では、相関値算出部２８で算出された相関値に基づき、エッジ方向の判定を行う。

補間方向決定部３１、判定されたエッジ方向に基づき、補正対象の登録済欠陥画素を補間する方向を決定する。
補正部３２は、補間方向決定部３１で決定された補間方向の画素を用いて、補正対象の登録済欠陥画素を補正する。

このような画像処理装置１５により、以下に示す欠陥画素補正方法が行われる。
（欠陥画素補正方法の一例）
図４は、欠陥画素補正方法の一例の流れを示すフローチャートである。

欠陥情報取り込み部２２は、補正対象領域内の登録済欠陥画素の欠陥情報（位置情報）を不揮発性メモリ１３から取得する（ステップＳ１０）。そして、動的欠陥判定部２３により、補正対象領域内の動的欠陥画素の検出が行われる（ステップＳ１１）。動的欠陥画素が検出されると、その誤検出率が誤検出率算出部２５で算出される（ステップＳ１２）。

さらに優先順位ごとに参照パターンの設定が行われる（ステップＳ１３）。エッジ方向判定の際、登録済欠陥画素からなるべく距離が近い参照パターンを用いて算出される相関値を用いると判定精度が高くなるので、登録済欠陥画素から距離が近い参照パターンほど優先順位が高いものとする。ステップＳ１３の処理では、初めに最も優先順位の高い（１番目の優先順位）参照パターンが設定される。

次に、欠陥照合部２７は、設定された参照パターン内に欠陥画素（動的欠陥画素）があるか否かを判定する（ステップＳ１４）。
参照パターン内に欠陥画素がないときには、相関値算出部２８は、その参照パターン内の画素間で、登録済欠陥画素に対して複数の方向で相関値を算出する（ステップＳ１５）。その後、エッジ方向判定部３０は、相関値算出部２８で算出された相関値に基づきエッジ方向の判定を行い（ステップＳ１６）、信頼度算出部２９は、エッジ方向判定の信頼度を算出する（ステップＳ１７）。その後ステップＳ２３の処理が行われる。

一方、ステップＳ１４の処理で、参照パターン内に欠陥画素があると判定されたときには、欠陥照合部２７は、欠陥画素がない参照パターンがあるかないかを判定する（ステップＳ１８）。欠陥画素がない参照パターンがあるときには、相関値算出部２８は、その参照パターンを設定し（ステップＳ１９）、誤検出率を用いた相関値の算出を行う（ステップＳ２０）。

その後、エッジ方向判定部３０は、相関値算出部２８で算出された相関値に基づき、エッジ方向の判定を行い（ステップＳ２１）、信頼度算出部２９は、エッジ方向判定の信頼度を算出する（ステップＳ２２）。その後ステップＳ２３の処理が行われる。

ステップＳ２３の処理では、エッジ方向判定部３０は、信頼度と所定の閾値とを比較して、エッジ方向判定の妥当性を判定する（ステップＳ２３）。エッジ方向判定部３０は、たとえば、信頼度が閾値以下の場合は、エッジ方向の判定結果を、方向性なしと判定する。

一方、ステップＳ１８の処理で、欠陥画素がない参照パターンがないと判定されたときには、エッジ方向判定部３０では、エッジ方向は検出されない（方向性なし）、と判定される（ステップＳ２４）。その後ステップＳ２５の処理が行われる。

ステップＳ２５の処理では、エッジ方向判定部３０は、エッジ方向の判定結果が、方向性なし、であるか否かを判定する。
方向性なし、と判定されたときには、未判定の参照パターンがあるか否かの判定が行われ（ステップＳ２６）、未判定の参照パターンがあるときには、ステップＳ１３からの処理が繰り返される。未判定の参照パターンがないとき、また、エッジ方向の判定結果が、方向性なし、ではないときには、方向判定結果が確定する（ステップＳ２７）。

その後、補正部３２により、登録済欠陥画素の補正処理が行われる（ステップＳ２８）。
なお、上記の各ステップの順序は一例であり、適宜入れ替えることも可能である。たとえば、ステップＳ１６，Ｓ１７の順序や、ステップＳ２１，Ｓ２２の順序を入れ替えてもよい。

以下、各ステップの処理の一例を説明する。
図５は、登録欠陥画素と動的欠陥画素の一例を示す図である。
図５の例では、Ｇ（グリーン）、Ｒ（レッド）、Ｂ（ブルー）のカラーフィルタを備えた撮像素子の画素群が示されている。ＲとＢの画素については図示を省略している。画像処理装置１５は、輝度に対して最も寄与するＧのカラーフィルタが適用される画素Ｇ００，Ｇ０２，Ｇ０４，Ｇ１１，Ｇ１３，Ｇ２０，Ｇ２４，Ｇ３１，Ｇ３３，Ｇ４０，Ｇ４２，Ｇ４４を用いて欠陥画素の補正を行うものとする。

ステップＳ１０の処理で取得された登録済欠陥画素（補正対象画素）が、画素Ｇ２２として示されている。ステップＳ１１の処理では、画素Ｇ００，Ｇ０２，Ｇ０４，Ｇ１１，Ｇ１３，Ｇ２０，Ｇ２４，Ｇ３１，Ｇ３３，Ｇ４０，Ｇ４２，Ｇ４４に対して、それぞれ動的欠陥画素の検出が行われる。たとえば、動的欠陥判定部２３は、画素ごとに、その周囲の画素との画素値の差異（周囲の画素の画素値の平均値から所定値以上離れているか否かなど）から動的欠陥画素とみなせるか否かを判定する。

図５の例では、画素Ｇ１３が動的欠陥画素として検出された例が示されている。
画素Ｇ１３が動的欠陥画素として検出されたとき、ステップＳ１２の処理では、動的欠陥画素の誤検出率が算出される。動的欠陥画素の誤検出率は、動的欠陥画素の欠陥の度合いに依存する。以下、誤検出率の算出例を説明する。

（誤検出率の算出例）
図６は、動的欠陥画素の欠陥の度合いの一例を示す図である。
図６には、画素値の分布が示されており、画素Ｇ０２，Ｇ０４，Ｇ２４などの正常な画素が示す画素値範囲における平均値と、画素Ｇ１３の画素値との差分が欠陥の度合いとして示されている。

図７は、誤検出率αの分布の一例を示す図である。
横軸は画素値を示し、縦軸は誤検出率αを示している。
破線で示されている分布は、画素Ｇ００〜Ｇ４４に含まれる正常画素の標準偏差σに基づいた正規分布曲線の一例である。画素Ｇ００〜Ｇ４４に含まれる正常画素の画素値の平均値が分布の中心となっている。また、誤検出率αの分布は、計算時間短縮のため、図７の実線で示されているように、２σで０になるような直線で近似されていてもよい。

動的欠陥画素である画素Ｇ１３の画素値は、上記平均値よりも大きな値となっており、かつ、平均値との差が２σを超えているため、このときの誤検出率αはほぼ０となっている。誤検出率αが小さいほど、動的欠陥画素の画素値は正常画素の平均値から離れるので、図６に示した関係から、動的欠陥画素が欠陥である度合いは大きい。逆に、誤検出率αが大きいほど、動的欠陥画素の画素値は正常画素の平均値に近づくので、図６に示した関係から、動的欠陥画素が欠陥である度合いが小さい。

ところで、上記の誤検出率の算出方法では、正常画素の画素値の分散が大きいと、誤検出率が大きくなり、動的欠陥画素を正常とみなして相関値の算出に用いるという傾向になる。ここで、分散がノイズに起因しているのか、被写体そのもの（絵柄）に起因しているのかを考慮して誤検出率を算出することが望ましい。以下、その理由を示す。

図８は、画素値の分散の第１の例を示す図である。
横軸は画素値を示し、縦軸は誤検出率αを示している。
破線で示されている分布は、画素Ｇ００〜Ｇ４４に含まれる正常画素の標準偏差σに基づいた正規分布曲線の一例である。さらに、図８では、画素値の分布がヒストグラムで示されている。

図８の例では、画素値は、正常画素の平均値の近辺となる画素値が多く、分散はノイズ起因である可能性が高いことが推定できる。このようにヒストグラムが１つのピークを持っているときには、図８に示すような正規分布曲線を用いて、画素Ｇ１３の誤検出率を算出することは望ましい。

図９は、画素値の分散の第２の例を示す図である。
横軸は画素値を示し、縦軸は誤検出率αを示している。
破線で示されている分布は、画素Ｇ００〜Ｇ４４に含まれる正常画素の標準偏差σに基づいた正規分布曲線の一例である。さらに、図９でも、画素値の分布がヒストグラムで示されている。

図９の例では、ヒストグラムのピークが複数存在しており、分散は絵柄に起因している可能性が高いことが推定できる。このような場合、分散が大きくなり、誤検出率が過大となってしまう可能性がある。つまり、正常画素の平均値から離れているにもかかわらず（欠陥の度合いが大きいにもかかわらず）、画素Ｇ１３は正常画素とみなされやすくなる。

そこで、ヒストグラム算出部２４は、図８、図９に示したようなヒストグラムを算出し、誤検出率算出部２５は、ヒストグラムのピークが複数あるときには、以下に示すように複数の正規分布曲線を設定し、誤検出率を算出する。

図１０は、ヒストグラムが２つのピークを有するときの誤検出率の算出例を示す図である。
横軸は画素値を示し、縦軸は誤検出率αを示している。また、ヒストグラム算出部２４で算出された正常画素の画素値のヒストグラムが示されている。画素数があまり多くない、画素Ｇ００〜Ｇ４４に含まれる正常画素の画素値からヒストグラムが算出されるので、同一ピークとする画素値の幅（レンジ）は粗くてよい。図１０の例では、画素値の幅は１６である。

誤検出率算出部２５は、図１０に示されているようなヒストグラムにおいて、ピークを検出する。誤検出率算出部２５は、たとえば、隣接するレンジの画素数との差分が正から負になるポイントで、かつ度数（画素数）が閾値を超えているポイントをピークとして検出する。

たとえば、閾値を４として、９６〜１１２のレンジの画素数が２、１１２〜１２８のレンジの画素数が６、１２８〜１４４のレンジの画素数が１の場合、６−２＞０、１−６＜０となるので、１１２〜１２８のレンジにおける度数がピークとして検出される。閾値は、正規分布曲線の算出精度などを考慮して決定される。たとえば、閾値は、画素Ｇ００〜Ｇ４４に含まれる正常画素数の３割以上としてもよい。

誤検出率算出部２５は、たとえば、図１０に示されているような、ピークを２つ検出した場合、２つのピークの中間で、ヒストグラムのレンジを分割する。図１０の例では、画素値＝７２が２つのピークの中間であるため、０〜７１の画素値のレンジと、７２〜２５５の画素値のレンジに分割される。

そして、誤検出率算出部２５は、レンジごとに、画素Ｇ００〜Ｇ４４に含まれる正常画素の標準偏差σに基づいた正規分布曲線と、画素値の平均値を算出し、レンジごとに動的欠陥画素（画素Ｇ１３）の誤検出率を算出する。

図１０の例では、０〜７１の範囲のレンジの正規分布曲線に基づく、画素Ｇ１３の誤検出率はほぼ０となり、７２〜２５５の範囲のレンジの正規分布曲線に基づく、画素Ｇ１３の誤検出率は０以上の値となる。

誤検出率算出部２５は、複数のレンジで、誤検出率を算出した場合、最小の誤検出率を選択する。その理由を以下に説明する。
図１１は、分散が大きくなる絵柄の一例を示す図である。

画素Ｇ００，Ｇ１１，Ｇ２０，Ｇ３１，Ｇ４０が、同様の画素値をもち、図１０の１１２〜１２８のレンジのピークを形成するものとする。また、画素Ｇ０２，Ｇ０４，Ｇ２４，Ｇ３３，Ｇ４２，Ｇ４４が、同様の画素値をもち、図１０の１６〜３２のレンジのピークを形成するものとする。このとき、画素Ｇ１３の画素値は、図１０のように、１１２から１２８のレンジのピークの近くに存在するため、誤検出率は大きくなる。しかし、画素Ｇ１３の位置は、図１１に示すように、１６〜３２のレンジの画素値をもつ画素Ｇ０２，Ｇ０４，Ｇ２４，Ｇ３３の近くに存在し、画素値は大きく離れている。このような画素Ｇ１３は、動的欠陥画素と判定することが望ましいため、誤検出率算出部２５は、複数のレンジで誤検出率を算出した場合には、最小の誤検出率を選択して、相関値の算出に適用できるようにする。

以上のような、誤検出率の算出法によれば、被写体の絵柄に起因した分散によって誤検出率が過大になってしまうことを抑制できる。
次に、参照パターン内に欠陥画素（動的欠陥画素）があるが、欠陥画素がない別の参照パターンがある場合の相関値の算出例を説明する。この処理は図４のステップＳ２０の処理に相当する。

（誤検出率を用いた相関値の算出例）
図１２は、水平方向の相関値の算出例を説明する図である。
図１２中の矢印は、水平方向の相関値が算出される画素間の関係を示している。

登録済欠陥画素である画素Ｇ２２から最も近い位置に、動的欠陥画素である画素Ｇ１３が存在している例が示されている。
相関値算出部２８は、１番目の優先順位の参照パターンから相関値を算出する。図１２の例では、１番目の優先順位の参照パターンは、画素Ｇ１１，Ｇ１３，Ｇ３１，Ｇ３３による参照パターンである。

１番目の優先順位の参照パターンでの、水平方向の相関値ＤＨ１は、画素Ｇ１１の画素値Ｐ_G11と画素Ｇ１３の画素値Ｐ_G13の差分と、画素Ｇ３１の画素値Ｐ_G31と画素Ｇ３３の画素値Ｐ_G33の差分との和を２で割った値となる。

すなわち、ＤＨ１＝｜（Ｐ_G11−Ｐ_G13）＋（Ｐ_G31−Ｐ_G33）｜／２となる。
次に相関値算出部２８は、欠陥画素がない参照パターンを設定して相関値を算出する。１番目の優先順位の参照パターンの次に優先順位の高い（２番目の優先順位の）参照パターンは、画素Ｇ０２，Ｇ２０，Ｇ２４，Ｇ４２による参照パターンであり、これらの画素からは動的欠陥画素が検出されていない。

そこで、相関値算出部２８は、これらの画素による参照パターンから相関値を算出する。画素Ｇ０２，Ｇ２０，Ｇ２４，Ｇ４２による参照パターンでの水平方向の相関値ＤＨ２は、画素Ｇ２０の画素値Ｐ_G20と画素Ｇ２４の画素値Ｐ_G24の差分となる。すなわち、ＤＨ２＝｜Ｐ_G20−Ｐ_G24｜である。

さらに、相関値算出部２８は、誤検出率算出部２５で算出された動的欠陥画素（画素Ｇ１３）の誤検出率αに基づく割合で、優先順位の異なる参照パターンから得られた相関値ＤＨ１，ＤＨ２をブレンドする。これによって、水平方向の相関値ＤＨα＝ＤＨ１×α＋ＤＨ２×（１−α）が得られる。

相関値算出部２８は、垂直方向及び右上方向の相関値に関しても同様に、優先順位の異なる参照パターンでの相関値を誤検出率αを用いてブレンドする。
１番目の優先順位の参照パターン（動的欠陥画素を含む）における垂直方向の相関値をＤＶ１、右上方向の相関値をＤＳ１、２番目の優先順位の高い参照パターン（動的欠陥画素を含まない）における垂直方向の相関値をＤＶ２、右上方向の相関値をＤＳ２とする。このとき、誤検出率αによるブレンド後の各方向の相関値は、垂直方向の相関値ＤＶα＝ＤＶ１×α＋ＤＶ２×（１−α）、右上方向の相関値ＤＳα＝ＤＳ１×α＋ＤＳ２×（１−α）となる。

なお、右下方向の相関値ＤＢαの算出には、動的欠陥画素である画素Ｇ１３が寄与しないため、１番目の優先順位の参照パターンでの相関値ＤＢ１＝｜Ｐ_G11−Ｐ_G33｜が、そのまま用いられる。

以上のようにして、各方向の相関値が得られる。
ところで、１番目の優先順位の参照パターンに動的欠陥画素が含まれない場合も、その参照パターンから得られる相関値だけでは、エッジ方向の判定が困難な被写体の絵柄が存在する可能性がある。そこで、優先順位の低い参照パターンから得られる相関値も利用することで、より精度のよいエッジ方向判定を行うことが可能となる。

優先順位の低い参照パターンの画素群から動的欠陥画素が検出された場合には、その参照パターンでの相関値は、その動的欠陥画素の誤検出率に基づき、以下のように修正される。

図１３は、優先順位の低い参照パターンに動的欠陥画素が含まれる場合の、水平方向の相関値の算出例を説明する図である。図１３中の矢印は、水平方向の相関値が算出される画素間の関係を示している。

図１３の例では、画素Ｇ０２，Ｇ２０，Ｇ２４，Ｇ４２による参照パターンで、画素Ｇ２４が動的欠陥画素であると検出された場合が示されている。
画素Ｇ０２，Ｇ２０，Ｇ２４，Ｇ４２による参照パターンでの水平方向の相関値ＤＨ２は、前述したように、ＤＨ２＝｜Ｐ_G20−Ｐ_G24｜となる。相関値算出部２８は、さらに優先順位の低い、画素Ｇ００，Ｇ０４，Ｇ４０，Ｇ４４による参照パターンでの水平方向の相関値ＤＨ３を求め、動的欠陥画素の誤検出率を用いて、相関値ＤＨ２とブレンドする。

画素Ｇ００，Ｇ０４，Ｇ４０，Ｇ４４による参照パターンでの水平方向の相関値ＤＨ３は、画素Ｇ００画素値Ｐ_G00と画素Ｇ０４の画素値Ｐ_G04の差分と、画素Ｇ４０の画素値Ｐ_G40と画素Ｇ４４の画素値Ｐ_G44の差分との和を１／２した値となる。

すなわち、ＤＨ３＝｜（Ｐ_G00−Ｐ_G04）＋（Ｐ_G40−Ｐ_G44）｜／２となる。
誤検出率α２（画素Ｇ２４の誤検出率）によるブレンド後の、画素Ｇ０２，Ｇ２０，Ｇ２４，Ｇ４２による参照パターンでの水平方向の相関値ＤＨ２αは、ＤＨ２α＝ＤＨ２×α２＋ＤＨ３×（１−α２）となる。

なお、１番目の優先順位の、画素Ｇ１１，Ｇ１３，Ｇ３１，Ｇ３３による参照パターンでの水平方向の相関値としては、前述したＤＨ１＝｜（Ｐ_G11−Ｐ_G13）＋（Ｐ_G31−Ｐ_G33）｜／２が用いられる。

相関値算出部２８は、右上方向及び右下方向の相関値に関しても同様に、優先順位の異なる参照パターンでの相関値を誤検出率α２を用いてブレンドする。
２番目の優先順位の参照パターンにおける右上方向の相関値をＤＳ２、右下方向の相関値をＤＢ２、３番目の優先順位の参照パターンにおける右上方向の相関値をＤＳ３、右下方向の相関値をＤＢ３とする。このとき、誤検出率α２によるブレンド後の各方向の相関値は、右上方向の相関値ＤＳ２α＝ＤＳ２×α２＋ＤＳ３×（１−α２）、右下方向の相関値ＤＢ２α＝ＤＢ２×α２＋ＤＳ３×（１−α２）となる。

なお、垂直方向の相関値の算出には、動的欠陥画素と検出された画素Ｇ２４が寄与しないため、２番目の優先順位の参照パターンでの相関値ＤＶ２＝｜Ｐ_G02−Ｐ_G42｜が、そのまま用いられる。

次に、１番目の優先順位の参照パターンと２番目の優先順位の参照パターンの両方で動的欠陥画素が検出された場合について説明する。
図１４は、１番目と２番目の優先順位の参照パターンに動的欠陥画素が含まれる場合の、水平方向の相関値の算出例を説明する図である。図１４中の矢印は、水平方向の相関値が算出される画素間の関係を示している。

図１４の例では、１番目と２番目の優先順位の参照パターンで、画素Ｇ１３と画素Ｇ２４が動的欠陥画素であると検出された場合が示されている。
このような場合、１番目の優先順位の参照パターンでの相関値は、欠陥がない３番目の優先順位の参照パターンでの相関値と、画素Ｇ１３の誤検出率αで修正される。また、２番目の優先順位の参照パターンでの相関値は、欠陥がない３番目の優先順位の参照パターンでの相関値と、画素Ｇ２４の誤検出率α２で修正される。

１番目の優先順位の参照パターンでの水平方向の相関値ＤＨ１αは、ＤＨ１α＝ＤＨ１α＋ＤＨ３×（１−α）となる。また、２番目の優先順位の参照パターンでの水平方向の相関値ＤＨ２α＝ＤＨ２×α２＋ＤＨ３×（１−α２）となる。

同様に、１番目の優先順位の参照パターンでの垂直方向の相関値ＤＶ１α、右上方向の相関値ＤＳ１αは、ＤＶ１α＝ＤＶ１×α＋ＤＶ３×（１−α）、ＤＳ１α＝ＤＳ１×α＋ＤＳ３×（１−α）となる。

右下方向の相関値ＤＢ１αの算出には、動的欠陥画素は影響を与えないため、ＤＢ１α＝ＤＢ１となる。
２番目の優先順位の参照パターンでの垂直方向、右上方向、右下方向の相関値ＤＶ２α、ＤＳ２α、ＤＢ２αは、前述した画素Ｇ２４だけが動的欠陥画素と検出されたときの値と同じであるので、説明を省略する。

図４のステップＳ２１の処理では、エッジ方向判定部３０は、上記のように算出された複数方向での相関値のうち、最小の相関値に対応した方向を、エッジ方向として判定する。最小の相関値に対応した方向では、画素間の画素値の勾配が最も小さくなるため、エッジ方向と考えられるためである。

次に、図４のステップＳ１７，Ｓ２２の信頼度の算出例を説明する。
（信頼度の算出例）
図１５は、信頼度の算出例を説明する図である。

図中の矢印は、相関値が算出される各方向の画素間の関係を示している。
図１５では、動的欠陥画素がない場合の、信頼度の算出例が示されている。信頼度算出部２９は、第１の優先順位の参照パターンによる水平方向の相関値ＤＨ、垂直方向の相関値ＤＶ、右上方向の相関値ＤＳ、右下方向の相関値ＤＢに基づいて信頼度を算出する。たとえば、ＭＩＮを相関値ＤＨ，ＤＶ，ＤＳ，ＤＢの最小値とすると、信頼度Ｔ０＝｜ＤＨ−ＭＩＮ｜＋｜ＤＶ−ＭＩＮ｜＋｜ＤＳ−ＭＩＮ｜＋｜ＤＢ−ＭＩＮ｜＝ＤＨ＋ＤＶ＋ＤＳ＋ＤＢ−４×ＭＩＮ、と算出される。

次に、動的欠陥画素がある場合の、信頼度の算出例を説明する。
図１６は、動的欠陥画素がある場合の、信頼度の算出例を示す図である。
図中の矢印は、相関値が算出される画素間の関係を示している。図１６の例では、１番目の優先順位の参照パターンに動的欠陥画素（画素Ｇ１３）が検出されている。このような場合、動的欠陥画素の誤検出率αを用いて誤検出率算出部２５で算出された各方向の相関値ＤＨα，ＤＶα，ＤＳα，ＤＢαに基づいて、信頼度算出部２９は信頼度を算出する。

たとえば、ＭＩＮを相関値ＤＨα，ＤＶα，ＤＳα，ＤＢαの最小値とすると、信頼度Ｔ１＝｜ＤＨα−ＭＩＮ｜＋｜ＤＶα−ＭＩＮ｜＋｜ＤＳα−ＭＩＮ｜＋｜ＤＢα−ＭＩＮ｜＝ＤＨα＋ＤＶα＋ＤＳα＋ＤＢα−４×ＭＩＮ、と算出される。

ただし、上記の信頼度Ｔ１は、誤検出率αに依存したものであるため、誤検出率αが適切でない可能性もあり（真に欠陥画素であるものが正常画素とみなされる）、信頼度Ｔ１を修正する（下げる）ことが望ましい。信頼度算出部２９は、たとえば、修正済の信頼度Ｔ２として、Ｔ２＝Ｔ１×（ｐａ−ｐｂ）／ｐａ、を計算する。ここで、ｐａは、相関値の算出に用いられた画素数であり、ｐｂは、動的欠陥画素数である。

たとえば、図１６の例では、ｐａ＝８であり、ｐｂ＝１である。したがって、Ｔ２＝Ｔ１×７／８となる。
エッジ方向判定部３０では、図４のステップＳ２３の処理で、上記のように信頼度算出部２９で算出された信頼度と、所定の閾値とを比較する。たとえば、信頼度が閾値以下の場合は、エッジ方向判定部３０は、エッジ方向の判定結果の妥当性がないと判定し、判定結果を「方向性なし」とする。信頼度が閾値よりも大きい場合は、エッジ方向判定部３０は、ステップＳ１６，Ｓ２１で判定されたエッジ方向の判定結果を確定する（ステップＳ２７）。

以上のように、エッジ方向が確定されると、補間方向決定部３１にて確定されたエッジ方向で補間方向が決定され、補正部３２は、その補間方向の画素を用いて登録済欠陥画素（画素Ｇ２２）を補正する。

以上のような、欠陥画素補正方法及び画像処理装置１５によれば、補正対象である登録済欠陥画素の周囲に別の欠陥画素があっても、補正対象からの距離が近い画素間の相関値を誤検出率αの値に基づいて使用できるため、エッジ方向の判定精度が向上する。エッジ方向の判定精度が向上することによって、補正精度も向上できる。

以上、実施の形態に基づき、本発明の欠陥画素補正方法及び画像処理装置の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。
たとえば、上記では、撮像素子１１は、カラーフィルタを備えているものとして説明したが、カラーフィルタを備えていなくてもよい。

Ｇ００〜Ｇ４４ 画素
１０ 撮像装置
１１ 撮像素子
１２ 内蔵メモリ
１３ 不揮発性メモリ
１４ プロセッサ
１５ 画像処理装置
１６ 表示制御部
１６ａ 表示部
１７ 入出力制御部
１７ａ 外部インターフェース部
１８ バス
２１ 画素データ取り込み部
２２ 欠陥情報取り込み部
２３ 動的欠陥判定部
２４ ヒストグラム算出部
２５ 誤検出率算出部
２６ 欠陥情報記憶部
２７ 欠陥照合部
２８ 相関値算出部
２９ 信頼度算出部
３０ エッジ方向判定部
３１ 補間方向決定部
３２ 補正部

Claims (5)

1. 画像処理装置が、
   補正対象画素の周囲にある画素群の中から欠陥画素とみなせる第１の画素を検出すると、前記第１の画素の画素値と前記画素群の画素値との差異に基づき、前記第１の画素が欠陥である度合いに依存する前記欠陥画素の誤検出率を算出し、
   前記補正対象画素から第１の距離にあり、前記第１の画素が属する第１の画素群に含まれる画素間の相関を示す第１の相関値を、前記補正対象画素に対する複数の方向でそれぞれ算出し、
   前記補正対象画素から前記第１の距離よりも離れた第２の距離にある第２の画素群に含まれる画素間の相関を示す第２の相関値を、前記補正対象画素に対する複数の方向でそれぞれ算出し、
   同一方向での前記第１の相関値及び前記第２の相関値を、前記誤検出率に基づく割合で組み合わせて第３の相関値を算出し、
   複数の前記第３の相関値の大小関係に基づき、前記画素群におけるエッジ方向を判定し、
   判定した前記エッジ方向の画素を用いて、前記補正対象画素を補正する、
   ことを特徴とする欠陥画素補正方法。
2. 前記補正対象画素の周囲にある正常画素の画素値の分布を示すヒストグラムを算出し、
   前記ヒストグラムのピークが複数あるときには、それぞれ１つのピークを含む複数の画素値範囲を設定し、前記複数の画素値範囲内の正常画素の画素値の標準偏差に基づき、前記誤検出率の分布を示す正規分布曲線を、各画素値範囲で算出する、ことを特徴とする請求項１に記載の欠陥画素補正方法。
3. 前記複数の画素値範囲で算出される、前記欠陥画素の複数の前記誤検出率のうち、最小値に基づいて、前記第３の相関値を算出する、ことを特徴とする請求項２に記載の欠陥画素補正方法。
4. 複数の前記第３の相関値と、前記欠陥画素とみなされた前記第１の画素の個数と正常画素の個数に基づき、前記エッジ方向の判定結果の信頼度を算出する、ことを特徴とする請求項１ないし３の何れか一項に記載の欠陥画素補正方法。
5. 補正対象画素の周囲にある画素群の中から欠陥画素とみなせる第１の画素を検出すると、前記第１の画素の画素値と前記画素群の画素値とに基づき、前記第１の画素が欠陥である度合いに依存する前記欠陥画素の誤検出率を算出する誤検出率算出部と、
   前記補正対象画素から第１の距離にあり、前記第１の画素が属する第１の画素群に含まれる画素間の第１の相関値を、前記補正対象画素に対する複数の方向でそれぞれ算出し、前記補正対象画素から前記第１の距離よりも離れた第２の距離にある第２の画素群に含まれる画素間の第２の相関値を、前記補正対象画素に対する複数の方向でそれぞれ算出し、同一方向での前記第１の相関値及び前記第２の相関値を、前記誤検出率に基づく割合で組み合わせて第３の相関値を算出する相関値算出部と、
   複数の前記第３の相関値の大小関係に基づき、前記画素群におけるエッジ方向を判定するエッジ方向判定部と、
   前記エッジ方向の画素を用いて、前記補正対象画素を補正する補正部と、
   を有することを特徴とする画像処理装置。

Images