JP6111736B2 - 画像処理装置、撮像装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法および画像処理プログラムに関する。

従来から、欠陥画素を中心とした所定の領域内で算出された勾配の方向に基づいて、欠陥画素を補正するための画素を決定し、画素欠陥補正を行う撮像装置が知られている（たとえば特許文献１）。

特開２０１１−１２０２０２号公報

しかしながら、すべての欠陥画素に対して同一の補正処理を行うため、処理時間が増加や消費電力が増大するという問題がある。

第１の態様によれば、画像処理装置は、複数の画素より出力された画像信号を取得する第１取得部と、複数の画素のうち、欠陥画素の位置に関する情報を取得する第２取得部と、画像信号のうち、欠陥画素の位置を含む予め定められたサイズの検索領域に包含される画像信号を用いて、被写体の輪郭を検出する検出部と、補正精度が異なる複数の欠陥画素補正処理の中から、検出部により検出された被写体の輪郭に基づいて欠陥画素補正処理を選択する選択部と、選択された欠陥画素補正処理を用いて、欠陥画素に対応する画像信号を補正する補正部と、時間的に連続する複数の画像を取得して、前記連続する複数の画像の画像信号を用いて、前記被写体の移動量を検出する移動量検出部と、を備え、選択部は、被写体の移動量が小さいと判定した場合には、前回の画像に対して選択された欠陥画素補正処理を選択する。
第２の態様によれば、画像処理装置は、複数の画素を有する撮像素子によって生成される画像信号と、撮像素子が有する欠陥画素の位置情報とが入力され、位置情報に基づいて欠陥画素ごとに検索領域を生成し検索領域で被写体の輪郭強度を検出する検出部と、輪郭が検出された検索領域の欠陥画素からの画像信号に対して第１の欠陥画素補正処理を行い、残りの検索領域内の欠陥画素からの画像信号に対して第１の欠陥画素補正処理とは異なる第２の欠陥画素補正処理を行う補正部とを備え、補正部は、輪郭強度が強い検索領域に対して、処理する欠陥画素の数が閾値になるまで第１の欠陥画素補正処理を行い、残りの検索領域には第２の欠陥画素補正処理を行う。
第３の態様によれば、撮像装置は、第１または第２の態様の画像処理装置を備える。
第４の態様によれば、画像処理方法は、複数の画素を有する撮像素子によって生成される画像信号と、撮像素子が有する欠陥画素の位置情報とが入力され、位置情報に基づいて欠陥画素ごとに検索領域を生成し検索領域で被写体の輪郭強度を検出し、輪郭が検出された検索領域の欠陥画素からの画像信号に対して第１の欠陥画素補正処理を行い、残りの検索領域内の欠陥画素からの画像信号に対して第１の欠陥画素補正処理とは異なる第２の欠陥画素補正処理を行い、輪郭強度が強い検索領域に対して、処理する欠陥画素の数が閾値になるまで第１の欠陥画素補正処理を行い、残りの検索領域には第２の欠陥画素補正処理を行う。

本発明によれば、画像信号から検出された被写体の輪郭に応じた欠陥画素補正処理を用いて、補正対象信号を補正することができる。

本発明の第１および第２の実施の形態によるデジタルカメラの要部構成を示すブロック図 第１および第２の実施の形態による欠陥画素補正回路の構成を示すブロック図 欠陥補正の一例を模式的に説明する図 第１の実施の形態による欠陥画素補正処理を説明するフローチャート 第２の実施の形態による欠陥画素補正処理を説明するフローチャート 第３の実施の形態によるデジタルカメラの要部構成を示すブロック図 第３の実施の形態による欠陥画素補正処理を説明するフローチャート 変形例による画像処理装置の要部構成を説明するブロック図 変形例による欠陥画素補正回路の構成を示すブロック図

−第１の実施の形態−
図面を参照して、本発明の第１の実施の形態によるデジタルカメラについて説明する。図１はデジタルカメラ１の要部構成を示すブロック図である。デジタルカメラ１は、撮影レンズＬ１、撮像素子１０１、制御回路１０２、ＬＣＤ駆動回路１０５、液晶表示器１０６、操作部１０７、メモリ１０８およびメモリカードインタフェース１０９を備えている。

撮像素子１０１は、ＣＣＤやＣＭＯＳ等の光電変換素子により構成され、後述する制御回路１０２の制御に応じて駆動して撮影レンズＬ１を通して入力される被写体像を撮像し、撮像して得た画像信号を制御回路１０２へ出力する。ライブビュー表示や動画撮影を行う場合には、撮像素子１０１は、所定の撮影周期（たとえば１／３０秒周期）ごとに被写体像を撮像して得た画像信号を、逐次、制御回路１０２へ出力する。さらに、撮像素子１０１を構成する各画素にはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが、いわゆるベイヤー配列となるように設けられている。これにより、撮像素子１０１から出力される画像信号はＲＧＢ値で表される。撮像素子１０１に出力低下などの異常性がある欠陥画素が含まれる場合には、撮像素子１０１から出力された画像信号にも異常な信号が含まれることになる。上記の異常な信号については、欠陥画素から出力された画像信号に対して後述する制御回路１０２で補正処理が行われる（欠陥画素補正処理）。

制御回路１０２は、図示しないＣＰＵおよびその他の周辺回路により構成され、制御プログラムに基づいて、デジタルカメラ１の各構成要素を制御したり、各種のデータ処理を実行したりする演算回路である。制御プログラムは、制御回路１０２内の不図示の不揮発性メモリに格納されている。制御回路１０２は、欠陥画素補正部１０３および画像処理部１０４を機能的に備えている。

欠陥画素補正部１０３は、後述する欠陥画素補正処理を行って、欠陥画素を有する撮像素子１０１から出力された画像信号を補正する。欠陥画素補正部１０３は、補正後の画像データを画像処理部１０４へ出力する。画像処理部１０４は、入力された画像データに対して、ホワイトバランス処理、色補間処理、エッジ強調処理、サイド強調処理などの公知の画像処理を施す。そして、画像処理部１０４は、画像処理後の画像データを、例えば、メモリカード１１０などの外部記憶媒体や、フラッシュメモリなどの内部記憶媒体に画像データを記録する。

ＬＣＤ駆動回路１０５は、制御回路１０２の命令に基づいて液晶表示器１０６を駆動する回路である。液晶表示器１０６は、撮像素子１０１で撮像した画像信号に対応する画像をリアルタイムに表示するライブビュー表示とともに、メモリカード１１０に記録されている画像データに基づいて画像処理部１０４で作成された画像データに対応する画像の表示を行う。

操作部１０７はユーザによって操作される種々の操作部材に対応して設けられた種々のスイッチを含み、操作部材の操作に応じた操作信号を制御回路１０２へ出力する。操作部材は、たとえばレリーズボタンや、上記のメニュー画面を表示させるためのメニューボタンや、各種の設定等を選択操作する時に操作される十字キー、十字キーにより選択された設定等を決定するための決定ボタン、撮影モードと再生モードとの間でデジタルカメラ１の動作を切替えるモード切替ボタン等を含む。また、操作部１０７により、撮像モードとして静止画撮影モードや動画撮影モードやライブビュー表示モードの設定が可能である。

メモリ１０８は、たとえばフラッシュメモリ等の不揮発性記録媒体によって構成され、撮像素子１０１に含まれる欠陥画素の位置に関する情報、すなわち欠陥画素の座標値が記録されている。メモリカードインタフェース１０９は、メモリカード１１０が着脱可能なインタフェースである。メモリカードインタフェース１０９は、制御回路１０２の制御に基づいて、画像ファイルをメモリカード１１０に書き込んだり、メモリカード１１０に記録されている画像ファイルを読み出したりするインタフェース回路である。メモリカード１１０はコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。

図２は、欠陥画素補正部１０３の機能を説明するブロック図である。欠陥画素補正部１０３は、エッジ検出部２００と、補正部２０１とを備えている。エッジ検出部２００は、ラインメモリ等で構成される内部バッファ２００ａと、メモリ１０８から欠陥画素の座標値を取得する取得部２００ｂと、被写体の輪郭、すなわちエッジを検出するエッジ検出処理を実行する検出処理部２００ｃとを備えている。なお、内部バッファ２００ａはフレームメモリによって構成されてもよい。補正部２０１は、補正精度の異なる第１および第２の欠陥画素補正方法の中から最適な欠陥画素補正方法を選択する選択部２０１ａと、選択された欠陥画素補正方法を用いて、撮像素子１０１の欠陥画素から出力された画像信号（以下、補正対象信号）に対して補正処理を施す補正処理部２０１ｂとを備えている。

以下、第１の実施の形態による欠陥画素補正部１０３による処理について詳細に説明する。欠陥画素補正部１０３は、全ての欠陥画素から出力された補正対象信号のそれぞれに対して、以下に説明する処理を施す。なお、以下の説明においては、第１の欠陥画素補正処理は第２の欠陥画素補正処理よりも精度が高いものとする。また、撮像素子１０１は、欠陥画素をたとえば１０００個有するものとし、欠陥画素補正部１０３は１０００個の補正対象信号のうち、１００個の補正対象信号に対して第１の欠陥画素補正処理を用いて補正処理を施すものとする。残りの９００個の欠陥画素から出力された補正対象信号については、第２の欠陥画素補正処理により補正処理が施される。

撮像素子１０１から出力された画像信号は、エッジ検出部２００の内部バッファ２００ａに入力され、一時的に格納される。取得部２００ｂは、メモリ１０９から撮像素子１０１が有する全ての欠陥画素の座標値を読み込む。検出処理部２００ｃは、内部バッファ２００ａに格納された画像信号を行単位で順次入力して、取得部２００ｂにより読み込まれた欠陥画素の座標値に基づいて、それぞれの欠陥画素を中心とする所定サイズ、たとえば４００×４００画素の検索領域を設定する。なお、検索領域のサイズは、たとえば１００×１００画素の範囲でもよいし、より好ましくは１０×１０画素の範囲でもよい。また、内部バッファ２００ａがフレームメモリによって構成される場合には、検出処理部２００ｃは全ての画像信号をまとめて内部バッファ２００ａから入力してもよい。

検索領域を設定すると、検出処理部２００ｃは、検出領域内の画像信号を用いて、被写体のエッジ検出処理を行う。この場合、検出処理部２００ｃは、たとえば横、縦、斜め４５度、斜め１３５度のそれぞれについて、隣接する画素から出力された画像信号の差分絶対値和を算出する。そして、検出処理部２００ｃは、差分絶対値和が最大となる箇所をエッジとして判定する。なお、検出処理部２００ｃは、横、縦、斜め４５度、斜め１３５度の全てについて、差分絶対値和が所定値未満の場合には、検索領域は均一面な被写体、すなわちエッジが存在しないと判定する。なお、検出処理部２００ｃによるエッジ検出処理は、差分絶対値和を用いるものに限定されず、二値化処理やラプラシアンフィルタ等のエッジ検出用のフィルターを用いた処理等の公知の手法を用いても良い。

検出処理部２００ｃは、検索領域内にエッジが検出された場合は、補正対象領域を設定し、欠陥画素の座標値と補正対象領域の座標値とをエッジ検出情報として補正部２０１へ出力する。この場合、検出処理部２００ｃは、欠陥画素の座標値を中心として、たとえば４００×４００画素の領域を補正対象領域として設定するが、１００×１００画素の領域を補正対象領域としてもよいし、より好ましくは１０×１０画素の範囲を補正対象領域としてもよい。また、エッジが検出された検索領域が１００個を超える場合には、検出処理部２００ｃは、検出したエッジの強度が強い順序で１００個の補正対象領域を設定して、設定した補正対象領域に対応するエッジ検出情報をそれぞれ出力する。この場合、検出処理部２００ｃは、差分絶対値和が最大のものから降順で１００番目までの強度を有するエッジを含む検索領域を抽出して、抽出した検索領域に対応する欠陥画素の座標値を中心として補正対象領域を設定すればよい。

補正部２０１の選択部２０１ａは、メモリ１０８から読み込んだ撮像素子１０１の欠陥画素の座標値と、検出処理部２００ｃから入力したエッジ検出情報とを用いて、それぞれの補正対象信号に対する欠陥画素補正方法を第１および第２の欠陥画素補正方法の中から選択する。検索領域内でエッジが検出された場合、選択部２０１ａは、欠陥画素から出力された補正対象信号に対して、第１の欠陥画素補正方式、すなわち補正精度が高い欠陥画素補正方式を選択する。そして、選択部２０１ａは、入力したエッジ検出情報と、選択した第１の欠陥画素補正方法とを高精度補正情報として補正処理部２０１ｂへ出力する。

検索領域内にエッジが検出されていない場合には、選択部２０１ａは、欠陥画素に対応する補正対象信号に対して、第２の欠陥画素補正方式、すなわち補正精度が低い欠陥画素補正方式を選択する。選択部２０１ａは、欠陥画素の座標値と、選択した第２の欠陥画素補正方法とを低精度補正情報として補正処理部２０１ｂへ出力する。この場合、選択部２０１ａは、メモリ１０８から読み込んだ全ての欠陥画素の座標値から、検出処理部２００ｃから入力したエッジ検出情報に含まれる欠陥画素の座標値を除外した欠陥画素の座標値を、低精度補正情報に含める。

補正処理部２０１ｂは、高精度補正情報に基づいて、内部バッファ２００ａから入力した画像信号に含まれる、欠陥画素から出力された補正対象信号に対して、第１の欠陥画素補正処理を施す。また、補正処理部２０１ｂは、低精度補正情報に基づいて、入力した画像信号に含まれる補正対象信号に対して、第２の欠陥補正処理を施す。以下、第１の欠陥画素補正処理と、第２の欠陥画素補正処理とに分けて説明する。

（１）第１の欠陥画素補正処理
補正処理部２０１ｂは、高精度補正情報に含まれるエッジ検出情報を参照して、検出処理部２００ｃにより検出されたエッジに対して欠陥画素の近傍に配列された、欠陥画素と同色のカラーフィルタを有する複数の画素から出力された画像信号に、たとえば重み付け等をしたうえで平均値を算出する。そして、補正処理部２０１ｂは、補正対象信号を算出した平均値で置換する。

図３に、欠陥画素と検出されたエッジとの位置関係を模式的に示す。図３は、補正対象領域の一部を示すものであり、検出されたエッジを符合ＥＤ、欠陥画素を符合Ａ１で表している。また、図３に記すＲ，Ｇ，Ｂは、各画素に設けられたカラーフィルタの色を示している。この場合、斜線を付した領域Ｒに含まれる画素が、ドットを付して示すエッジＥＤに対して欠陥画素Ａ１と同じ領域内に配列された画素となる。図３では欠陥画素Ａ１に設けられたカラーフィルタはＧ色なので、補正処理部２０１ｂは、欠陥画素Ａ１の近傍に設けられたＧ色のカラーフィルタを有する画素Ｂ１〜Ｂ７から出力された画像信号を用いて平均値を算出する。このとき、補正処理部２０１ｂは、欠陥画素Ａ１の至近に配列された画素Ｂ２、Ｂ４、Ｂ５、Ｂ７から出力された画像信号に対しては重み付けの値を大きくし、画素Ｂ１、Ｂ３、Ｂ６から出力された画像信号に対しては重み付けの値を小さくした後、平均値を算出する。このため、補正処理部２０１ｂは、高い精度で欠陥画素補正を行って画質を向上させることができる。

（２）第２の欠陥画素補正処理
補正処理部２０１ｂは、補正対象信号に対して、前置補正または後置補正等の処理方法を用いて第２の欠陥画素補正処理を施す。前置補正を行う場合、補正処理部２０１ｂは、補正対象信号を、欠陥画素と同一の画素行上で欠陥画素の直前に配列された、欠陥画素と同色のカラーフィルタを有する画素から出力された画像信号で置き換えることにより補正する。後置補正を行う場合、補正処理部２０１ｂは、補正対象信号を、欠陥画素と同一の画素行上で欠陥画素の直後に配列された、欠陥画素と同色のカラーフィルタを有する画素から出力された画像信号で置き換えることにより補正する。このため、補正処理部２０１ｂは、高速で欠陥画素補正処理を行うことが可能となる。

図４のフローチャートを用いて、欠陥画素補正部１０３の処理を説明する。図４のフローチャートに示す各処理は、欠陥画素補正部１０３でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、ユーザによって図示しないレリーズボタンが全押し操作されて撮影開始が指示されると欠陥画素補正部１０３により起動され、実行される。

ステップＳ１では、撮像素子１０１から出力された画像信号を取得してステップＳ２へ進む。ステップＳ２では、メモリ１０８から欠陥画素の座標値を入力してステップＳ３へ進む。ステップＳ３では、ステップＳ２で入力した欠陥画素の座標値を中心として設定した検索領域内でエッジ検出処理を行ってステップＳ４へ進む。

ステップＳ４では、ステップＳ３のエッジ検出処理によりエッジが検出されたか否かを判定する。エッジが検出された場合には、ステップＳ４が肯定判定されてステップＳ５へ進み、補正対象信号に対して第１の欠陥画素補正処理を施して後述するステップＳ７へ進む。エッジが検出されていない場合には、ステップＳ４が否定判定されてステップＳ６へ進み、補正対象信号に対して第２の欠陥画素補正処理を施してステップＳ７へ進む。

ステップＳ７では、全ての欠陥画素に対応する補正対象信号について処理が終了したか否かを判定する。全ての補正対象信号に対して処理が終了していない場合には、ステップＳ７が否定判定されてステップＳ３へ戻る。全ての補正対象信号に対して処理が終了している場合には、ステップＳ７が肯定判定されてステップＳ８へ進む。ステップＳ８では、欠陥画素補正処理が終了した画像信号を用いて生成した画像データを画像処理部１０４へ出力して処理を終了する。

上述した第１の実施の形態によるデジタルカメラ１によれば、次の作用効果が得られる。
デジタルカメラ１の欠陥画素補正部１０３は、内部バッファ２００ａと、取得部２００ｂと、検出処理部２００ｃと、選択部２０１ａと、補正処理部２０１ｂとを機能的に備えている。内部バッファ２００ａは、複数の画素を有する撮像素子１０１により出力された画像信号を取得する。取得部２００ｂは、複数の画素のうち、欠陥画素の位置に関する情報、すなわち座標値を取得する。検出処理部２００ｃは、取得された前記画像信号のうち、取得部２００ｂにより取得された欠陥画素の位置を含む所定サイズの検索領域に包含される画像信号を用いて、被写体の輪郭、すなわちエッジを検出する。選択部２０１ａは、補正精度が異なる複数の欠陥画素補正処理の中から、検出処理部２００ｂにより検出されたエッジに応じた欠陥画素補正処理を選択する。補正処理部２０１ｂは、選択部２０１ａによって選択された欠陥画素補正処理を用いて、欠陥画素に対応する画像信号である補正対象信号を補正する。特に、選択部２０１ａは、検出処理部２００ｂによってエッジが検出された場合には、第１の欠陥画素補正処理を選択し、検出処理部２００ｂによりエッジが検出されない場合には、第１の欠陥画素補正処理よりも補正精度の低い第２の欠陥画素補正処理を選択するようにした。すなわち、近傍にエッジが検出されていない欠陥画素から出力された補正対象信号にはアルゴリズムが単純な処理を用いて欠陥画素補正処理を施す。その結果、全ての欠陥画素から出力された補正対象信号に対して同一の欠陥画素補正処理を施す場合に比べて、消費電力を抑制させることができる。さらに、全欠陥画素からの補正対象信号に対して同一の欠陥画素補正処理を施す場合に比べて、欠陥画素補正処理に要する処理時間を短縮できるので、連続撮影時、たとえば連写撮影時のコマ速低下、動画撮影時やライブビュー表示時のフレームレート低下を防止できる。

−第２の実施の形態−
本発明の第２の実施の形態によるデジタルカメラを説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、第１および第２の欠陥画素補正処理に加えて、第３の欠陥画素補正処理を備えている。第３の欠陥画素補正処理は、第１の欠陥画素補正処理よりも補正精度が劣るが、第２の欠陥画素補正処理よりも補正精度は良い。そして、検出したエッジの強度に応じて、３つの欠陥画素補正処理の中から最適な欠陥画素補正処理を選択する点で、第１の実施の形態と異なる。

検出処理部２００ｃは、第１の実施の形態の場合と同様にして、読み込んだ欠陥画素の座標値に基づいて、取得部２００ｂから入力された画像信号に対して、検索領域を設定する。そして、検出処理部２００ｃは、検索領域内でエッジ検出処理を行う。このとき、検出処理部２００ｃは、横、縦、斜め４５度、斜め１３５度のそれぞれについて算出した差分絶対値和のうちの最大値と、所定の閾値との大小関係、すなわちエッジの強度を判定する。検出処理部２００ｃは、差分絶対値和の最大値が第１閾値以上の場合には、エッジの強度が強いと判定する。差分絶対値和の最大値が、第１閾値よりも小さい第２閾値以上であり、かつ第１閾値未満の場合には、検出処理部２００ｃは、検出したエッジの強度が中程度と判定する。さらに、検出処理部２００ｃは、差分絶対値和の最大値が第２閾値未満の場合には、検出したエッジの強度が弱いと判定する。なお、第１閾値および第２閾値は、エッジの強度と欠陥画素補正処理の精度とを考慮して決定された値であり、予め所定のメモリ（不図示）に記憶されているものとする。

検出されたエッジの強度が強いまたは中程度と判定された場合、検出処理部２００ｃは、補正対象領域を設定し、欠陥画素の座標値と補正対象領域の座標値とエッジの強度を示す情報とをエッジ検出情報として補正部２０１へ出力する。なお、検出処理部２００ｃは、エッジの強度が中程度と判定した場合には、エッジの強度が強いと判定した場合よりも、補正対象領域のサイズを小さく設定してもよい。

補正部２０１の選択部２０１ａは、メモリ１０８から読み込んだ撮像素子１０１の欠陥画素の座標値と、検出処理部２００ｃから入力したエッジ検出情報とを用いて、それぞれの補正対象信号に対する欠陥画素補正処理を第１、第２および第３の欠陥画素補正処理の中から選択する。検索領域内で強度が強いエッジが検出された場合、選択部２０１ａは、欠陥画素から出力された補正対象信号に対して、第１の欠陥画素補正処理、すなわち補正精度が最も高い欠陥画素補正処理を選択する。そして、選択部２０１ａは、入力したエッジ検出情報と、選択した第１の欠陥画素補正処理とを高精度補正情報として補正処理部２０１ｂへ出力する。

検索領域内で強度が中程度のエッジが検出された場合、選択部２０１ａは、補正対象信号に対して、第３の欠陥画素補正処理、すなわち補正精度が中程度の欠陥画素補正処理を選択する。そして、選択部２０１ａは、入力したエッジ検出情報と、選択した第３の欠陥画素補正処理とを中精度補正情報として補正処理部２０１ｂへ出力する。

検索領域内に強度が弱いエッジが検出された場合には、選択部２０１ａは、補正対象信号に対して、第２の欠陥画素補正処理、すなわち補正精度が最も低い欠陥画素補正処理を選択する。選択部２０１ａは、欠陥画素の座標値と、選択した第２の欠陥画素補正処理とを低精度補正情報として補正処理部２０１ｂへ出力する。この場合、選択部２０１ａは、第１の実施の形態の場合と同様に、メモリ１０８から読み込んだ全ての欠陥画素の座標値から、検出処理部２００ｃから入力したエッジ検出情報に含まれる欠陥画素の座標値を除外した欠陥画素の座標値を、低精度補正情報に含める。

補正処理部２０１ｂは、高精度補正情報に基づいて、内部バッファ２００ａから入力した画像信号に含まれる補正対象信号に対して、第１の欠陥画素補正処理を施す。また、補正処理部２０１ｂは、中精度補正情報に基づいて、内部バッファ２００ａから入力した画像信号に含まれる補正対象信号に対して、第３の欠陥画素補正処理を施す。低精度補正情報に基づいて、入力した画像信号に含まれる補正対象信号に対して、第２の欠陥補正処理を施す。

第３の欠陥画素補正処理では、補正処理部２０１ｂは、中精度補正情報に含まれるエッジ検出情報を参照して、検出処理部２００ｃにより検出されたエッジに対して欠陥画素の近傍に配列された、欠陥画素と同色のカラーフィルタを有する複数の画素から出力された画像信号の平均値を算出する。そして、補正処理部２０１ｂは、補正対象信号を算出した平均値で置換する。

図３に示すような場合では、補正処理部２０１ｂは、欠陥画素Ａ１の近傍に、検出されたエッジの方向に沿って配列された画素Ｂ３、Ｂ６から出力された画像信号を用いて平均値を算出する。このため、補正処理部２０１ｂは、平均値を算出する際のアルゴリズムが第１の欠陥画素補正処理の場合よりも簡易となるので、処理速度を速くさせることが可能となる。また、補正処理部２０１ｂは、第３の欠陥画素補正処理により補正する場合は、前置置換または後置置換により補正する第２の欠陥画素補正処理の場合より、補正精度を高くすることができる。

図５のフローチャートを用いて、欠陥画素補正部１０３の処理を説明する。図５のフローチャートに示す各処理は、欠陥画素補正部１０３でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、ユーザによって図示しないレリーズボタンが全押し操作されて撮影開始が指示されると欠陥画素補正部１０３により起動され、実行される。

ステップＳ１０（画像信号取得）からステップＳ１３（エッジ検出判定）までの各処理は、図４のステップＳ１（画像信号取得）からステップＳ３（エッジ検出判定）までの各処理と同様の処理を行う。なお、ステップＳ１３が肯定判定された場合にはステップＳ１４へ進み、ステップＳ１３が否定判定された場合にはステップＳ１８へ進む。

ステップＳ１４へ進み、検出されたエッジの強度が第１閾値以上か否かを判定する。エッジの強度が第１閾値以上の場合には、ステップＳ１４が肯定判定されてステップＳ１５へ進み、補正対象信号に対して第１の欠陥画素補正処理を施してステップＳ１９へ進む。 エッジの強度が第１閾値未満の場合には、ステップＳ１４が否定判定されてステップＳ１６へ進む。

ステップＳ１６では、エッジの強度が第２閾値以上か否かを判定する。エッジ強度が第２閾値以上の場合には、ステップＳ１６が肯定判定されてステップＳ１７へ進み、補正対象信号に対して第３の欠陥画素補正処理を施してステップＳ１９へ進む。エッジの強度が第２閾値未満の場合には、ステップＳ１６が否定判定されてステップＳ１８へ進む。ステップＳ１８では、補正対象信号に対して第２の欠陥画素補正処理を施してステップＳ１９へ進む。ステップＳ１９（全画欠陥画素について処理終了判定）およびステップＳ２０（画像データ出力）の各処理は、図４のステップＳ７（全画欠陥画素について処理終了判定）およびステップＳ８（画像データ出力）の各処理と同一の処理を行う。なお、ステップＳ１９が否定判定された場合には、ステップＳ１２へ戻る。

以上で説明した第２の実施の形態によるデジタルカメラによれば、第１の実施の形態により得られる作用効果に加えて、以下の作用効果が得られる。
選択部２０１ａは、検出処理部２００ｃによって検出されたエッジの強度が強くなるに従って、補正精度が低い第２の欠陥画素補正処理、第３の欠陥画素補正処理、補正精度が最も高い第１の欠陥画素補正処理を選択するようにした。したがって、エッジの強度に応じてアルゴリズムの異なる補正処理によって欠陥画素補正処理を行うので、生成される画像の画質を向上させることができる。

−第３の実施の形態−
図６、図７を参照して、本発明の第３の実施の形態によるデジタルカメラを説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、動画撮影やライブビュー表示等の連続撮影の際に、第３フレーム以降の画像に対しては、画像信号の差分絶対値を用いてエッジ検出をする代わりに、被写体の移動量を用いる点で、第１の実施の形態と異なる。

図６は、第３の実施の形態によるデジタルカメラ１の要部構成を示すブロック図である。図６に示すように、本実施の形態によるデジタルカメラ１の制御回路１０２は、動体検出部１１１を機能的に備えている。動体検出部１１１は、ユーザにより動画撮影モードやライブビュー表示モードが設定されている場合、時間的に連続する２つの画像データを用いて、公知の方法によって、２つの画像データ上の同一特徴点の移動量を算出する。この場合、動体検出部１１１は、画像処理部１０４により生成された第Ｎフレームの画像データＦ（Ｎ）と、第（Ｎ＋１）フレームの画像データＦ（Ｎ＋１）とから、同一の特徴点、たとえばエッジ等に対応する座標値を検出する。そして、動体検出部１１１は、２つの同一特徴点に対応する座標値の差分を演算することによって、移動量を算出する。

以下、ユーザによって動画撮影モードやライブビュー表示モードが設定された場合に、第３の実施の形態によるデジタルカメラ１によって実行される欠陥画素補正処理について説明する。撮像素子１０１から第１フレームの画像データＦ（１）に対応する画像信号が出力されると、欠陥画素補正部１０３は、第１の実施の形態の場合と同様にして、欠陥画素補正処理を行う。そして、欠陥画素補正部１０３は、第１の欠陥画素補正処理および第１の欠陥画素補正処理が行われた欠陥画素の座標値、すなわち高精度補正情報を制御回路１０２内のバッファメモリに格納する。さらに、欠陥画素補正部１０３は、第２の欠陥画素補正処理および第２の欠陥画素補正処理が行われた欠陥画素の座標値、すなわち低精度補正情報を制御回路１０２内のバッファメモリに格納する。

画像処理部１０４は、欠陥画素補正部１０３によって欠陥画素補正処理が施された画像信号に基づいて、第１フレームの画像データＦ（１）を生成し、制御回路１０２内のバッファメモリに格納する。撮像素子１０１から第２フレームの画像データＦ（２）に対応する画像信号が出力された場合も、欠陥画素補正部１０３および画像処理部１０４は、第１フレームの画像データＦ（１）の場合と同様の処理を行う。

画像データＦ（１）およびＦ（２）が生成されると、動体検出部１１１は、画像データＦ（１）およびＦ（２）のそれぞれに共通する同一の特徴点を抽出し、抽出点の移動量を算出する。そして、動体検出部１１１は、画像データＦ（２）から抽出した特徴点の座標と、算出した移動量とを移動情報としてバッファメモリ（不図示）に格納する。

撮像素子１０１から第３フレームの画像データＦ（３）に対応する画像信号が出力されると、欠陥画素補正部１０３の補正部２０１が有する選択部２０１ａは、動体検出部１１１によってバッファメモリに格納された移動情報を読み込む。そして、選択部２０１ａは、読み込んだ移動量が小さいか否か、すなわち所定の移動量閾値以下であるか否かを判定する。なお、移動量閾値は、第Ｎフレームの画像データＦ（Ｎ）が生成されてから第（Ｎ＋１）フレームの画像データＦ（Ｎ＋１）が生成されるまでの期間中に、特徴点が検索範囲を超えて移動しない程度の移動量として決定される。

移動量が移動量閾値以下の場合には、選択部２０１ａは、特徴点の座標値を中心として、検索範囲と同じサイズの領域（以下、移動領域と呼ぶ）を設定する。そして、選択部２０１ａは、上記の移動領域内にメモリ１０８から読み込んだ欠陥画素の座標値が含まれるか否かを判定する。移動領域内に欠陥画素の座標値が含まれる場合には、第２フレームの画像データＦ（２）を生成する際に検出されたエッジの位置が実質的に変化していない、すなわち被写体が低速で移動またはほとんど移動していないと推定できる。このため、選択部２０１ａは、第３フレームの画像データＦ（３）の生成に際して、第２フレームの画像データＦ（２）の生成時に用いた欠陥画素補正処理を用いることができる。この場合、選択部２０１ａは、第２フレームの画像データＦ（２）を生成時に第１の欠陥画素補正処理を行った場合にはバッファメモリに格納された高精度補正情報を読出して、補正処理部２０１ｂへ出力する。選択部２０１ａは、第２フレームの画像データＦ（２）の生成時に第２の欠陥画素補正処理を行った場合にはバッファメモリに格納された低精度補正情報を読出して、補正処理部２０１ｂへ出力する。

移動領域内に欠陥画素の座標値が含まれない場合には、欠陥画素の近傍にエッジが存在しない、すなわち被写体が比較的高速で移動しているものと推定できる。この場合、検出処理部２００ｃは、第１の実施の形態と同様にしてエッジ検出処理を行う。移動量が移動量閾値を超える場合、たとえば被写体が高速で移動している場合には、検出処理部２００ｃは、第１の実施の形態と同様にしてエッジ検出処理を行う。そして、選択部２０１ａは、エッジ検出処理の結果に応じて、第１または第２の欠陥画素補正方式を選択して、高精度または低精度補正情報を補正処理部２０１ｂへ出力する。補正処理部２０１ｂは、入力した高精度補正情報と低精度補正情報とに基づいて、第１の実施の形態の場合と同様にして、補正対象信号に対して欠陥画素補正処理を施す。欠陥画素補正部１０３は、上述した第３フレームの画像データＦ（３）を生成する際に実行した処理を、第４フレーム以降の画像データを生成する際にも繰り返し実行する。なお、動画撮影モードが設定されている場合には、画像処理部１０４は、上述のようにして生成された複数フレームの画像データを動画データとしてメモリカード１１０に記録する。

図７のフローチャートを用いて、欠陥画素補正部１０３の処理を説明する。図７のフローチャートに示す各処理は、欠陥画素補正部１０３でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、ユーザによって図示しないレリーズボタンが全押し操作されて連続撮影の開始が指示されると欠陥画素補正部１０３により起動され、実行される。

ステップＳ３０では、撮像素子１０１から画像信号を取得してステップＳ３１へ進む。ステップＳ３１では、取得した画像信号が第３フレーム以降の画像データを生成するための画像信号か否かを判定する。第３フレーム以降の画像データの場合には、ステップＳ３１が肯定判定されて後述するステップＳ３７へ進む。第１フレームまたは第２フレームの画像データの場合には、ステップＳ３１が否定判定されてステップＳ３２へ進む。ステップＳ３２（欠陥画素の座標値入力）からステップＳ３６（第２の欠陥補正処理）までの各処理は、図４のステップＳ２（欠陥画素の座標値入力）からステップＳ６（第２の欠陥補正処理）までの各処理と同様の処理を行う。

ステップＳ３１が肯定判定されるとステップＳ３７へ進み、動体検出部１１１により抽出された特徴点と移動量とを含む移動情報読み込んでステップＳ３８へ進む。ステップＳ３８は、移動情報に基づいて、被写体の移動量が小さいか否かを判定する。被写体の移動量が大きい場合、すなわち移動量が移動量閾値よりも大きい、または移動量閾値以下であるが移動領域内に欠陥画素が含まれない場合には、ステップＳ３８が否定判定されてステップＳ３３へ戻る。被写体の移動量が小さい場合、すなわち移動量が移動量閾値以下であり、かつ移動領域内に欠陥画素が含まれている場合には、ステップＳ３８が肯定判定されてステップＳ３９へ進む。ステップＳ３９では、前回フレームの画像データの生成時に用いた欠陥画素補正処理の情報、すなわち高精度補正情報または低精度補正情報を読み出してステップＳ４０へ進む。

ステップＳ４０では、ステップＳ３９で読み出した高精度補正情報または低精度補正情報に応じて、補正対処信号に対して第１または第２の欠陥画素補正処理を施してステップＳ４１へ進む。ステップＳ４１では、今回の欠陥画素補正処理に用いた情報、すなわち高精度補正情報または低精度補正情報をバッファメモリに記録してステップＳ４２へ進む。ステップＳ４２（全画欠陥画素について処理終了判定）およびステップＳ４３（画像データ出力）の各処理は、図４のステップＳ７（全画欠陥画素について処理終了判定）およびステップＳ８（画像データ出力）の各処理と同一の処理を行う。なお、ステップＳ４２が否定判定された場合には、ステップＳ３１へ戻る。

以上で説明した第３の実施の形態によるデジタルカメラ１によれば、第１の実施の形態によって得られた作用効果に加えて、以下の作用効果が得られる。
動体検出部１１１は、時間的に連続する複数の画像を取得して、連続する複数の画像の画像信号を用いて、被写体の特徴点の移動量を検出する。そして、選択部２０１ａは、被写体の移動量が小さいと判定した場合には、前回の画像に対して選択された欠陥画素補正処理を選択するようにした。したがって、動画撮影やライブビュー表示等の連続撮影時に被写体の移動量が小さい場合には、特に第３フレーム以降の画像データを生成する際に、検出処理部２００ｃによるエッジ検出処理を省略できるので、消費電力の増加を抑制するとともに、処理速度の低下を防ぐことができる。

以上で説明した第１〜第３の実施の形態を、以下のように変形できる。
（１）欠陥画素の座標値をメモリ１０８に記録させておくものに代えて、撮像素子１０１から出力された画像信号を用いて、欠陥画素の座標値を検出してもよい。この場合、欠陥画素補正部１０３の検出処理部２００ｃは、撮像素子１０１から入力された画像信号に対して、たとえばローパスフィルタやメディアンフィルタ等による公知の方法を用いて、欠陥画素の座標値を検出すればよい。

（２）デジタルカメラ１で欠陥画素補正処理をするものに代えて、外部に接続された画像処理装置（たとえばパーソナルコンピュータ等）により欠陥画素補正処理を行ってもよい。図８、図９に、画像処理装置としてパーソナルコンピュータを一例としたブロック図を示す。画像処理装置５００は、デジタルカメラ１で撮像した被写体像の画像データの表示や編集、画像データの保存を行う。画像処理装置５００は、制御回路５０１、ＨＤＤ５０２、モニタ制御回路５０３、モニタ５０４、メモリ５０５、入力装置５０６、メモリカードインタフェース５０７、および外部インタフェース５０８を備える。外部インタフェース５０８は、所定のケーブルや無線伝送路を介してデジタルカメラ１等の外部装置とデータ通信を行う。

入力装置５０６は、ユーザによって操作され、たとえばキーボードやマウスなどで構成される。ＨＤＤ５０２には、たとえばデジタルカメラ１で撮影した動画や静止画に対応する画像ファイルなどが記録されている。外部インタフェース５０８は、たとえば画像処理装置５００にデジタルカメラ１などの外部機器を接続するＵＳＢインタフェースである。画像処理装置５００は、メモリカードインタフェース５０７や外部インタフェース５０８を介してメモリカード１１０や外部機器から画像ファイルなどを入力する。入力された画像ファイルは、制御回路５０１によりＨＤＤ５０２に記録される。上述したデジタルカメラ１の撮像素子１０１から出力された画像信号と、メモリ１０８に記録されている欠陥画素の座標値も、同様にＨＤＤ５０２に記録される。

制御回路５０１は、画像処理装置５００の制御を行うマイクロコンピュータであり、ＣＰＵやＲＯＭその他周辺回路により構成される。制御回路５０１は、欠陥画素補正部６０３および画像処理部６０４を機能的に備える。欠陥画素補正部６０３は、第１〜第３の実施の形態にて説明した欠陥画素補正部１０３と同様にして欠陥画素補正処理を行って補正対象信号を補正して、補正後の画像データを画像処理部６０４へ出力する。図９に示すように、画素欠陥補正部６０３は、取得部７００ａと検出処理部７００ｂとを有する検出部７００と、選択部７０１ａと補正処理部７０１ｂとを有する補正部７０１とを機能的に備える。なお、検出部７００と補正部７０１とは説明を後述する。画像処理部６０４は、入力された画像データに対して、ホワイトバランス処理、色補間処理、エッジ強調処理、サイド強調処理などの公知の画像処理を施す。そして、画像処理部６０４は、画像処理後の画像データを、ＨＤＤ５０２やメモリカード１１０へ記録する。

メモリ５０５は制御回路５０１のワーキングメモリであり、たとえばＳＤＲＡＭにより構成される。モニタ５０４は、たとえば液晶モニタやＣＲＴモニタである。モニタ５０４には、モニタ制御回路５０３に制御されて、表示用の画像データに対応する画像および各種設定を行うためのメニュー画面などが表示される。

次に、画像処理装置５００による欠陥画素補正処理について説明する。画像処理装置５００により欠陥画素補正処理を行う場合、ユーザにより補正用ソフトを起動して実行する。この補正用ソフトは、画像処理装置５００の制御回路５０１内の不図示のメモリに記録されている。ユーザによる入力装置５０６の操作に応じて補正用ソフトの起動が指示されると、制御回路５０１の欠陥画素補正部６０３は、ＨＤＤ５０２に記録された画像信号と欠陥画素の座標値を読み込む。

取得部７００ａは、デジタルカメラ１の取得部２００ｂと同様に、ＨＤＤ５０２から全ての欠陥画素の座標値を読み込む。検出処理部７００ｂは、デジタルカメラ１の検出処理部２００ｃと同様に、ＨＤＤ５０２から読み出された画像信号に対して、取得部７００ａにより読み込まれた欠陥画素の座標値に基づいて、それぞれの欠陥画素を中心とする所定サイズの検索領域を設定する。そして、検出処理部７００ｂは、設定した検出領域内の画像信号を用いて被写体のエッジ検出処理を行う。検出処理部７００ｂは、検索領域内にエッジが検出された場合は、補正対象領域を設定し、欠陥画素の座標値と補正対象領域の座標値とをエッジ検出情報として補正部７０１へ出力する。

補正部７０１の選択部７０１ａは、デジタルカメラ１の選択部２０１ａと同様に、ＨＤＤ５０２から読み込んだ欠陥画素の座標値と、検出処理部７００ｂから入力したエッジ検出情報とを用いて、それぞれの補正対象信号に対する欠陥画素補正処理を第１および第２の欠陥画素補正処理の中から選択する。すなわち、エッジが検出されている場合には、選択部７０１ａは、入力したエッジ検出情報と、選択した第１の欠陥画素補正処理とを高精度補正情報として補正処理部７０１ｂへ出力する。エッジが検出されていない場合には、選択部７０１ａは、欠陥画素の座標値と、選択した第２の欠陥画素補正処理とを低精度補正情報として補正処理部２０１ｂへ出力する。補正処理部７０１ｂは、デジタルカメラ１の補正処理部２０１ｂと同様に、高精度補正情報および低精度補正情報のそれぞれに応じて、補正対象信号に対して第１または第２の欠陥画素補正処理を施す。

なお、選択部７０１ａは、第２の実施の形態のデジタルカメラ１の場合と同様に、検出したエッジの強度に応じて、精度の異なる複数の欠陥画素補正処理を選択してもよい。また、制御回路５０１が動体検出部を機能的に備える場合には、第３のデジタルカメラ１の場合と同様に、動画データの第３フレーム以降の処理については、欠陥画素補正部６０３がエッジ検出を行うものに代えて、被写体の移動量を用いるようにしてもよい。また、上記の変形例（１）の場合のように、欠陥画素の座標値をデジタルカメラ１から取得するものに代えて、画像信号を用いて欠陥画素の座標値を検出してもよい。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１…デジタルカメラ、１０１…撮像素子、
１０２、５０１…制御回路、１０３、６０３…欠陥画素補正部、
１１１…動体検出部、１０８…メモリ、
２００、７００…エッジ検出部、２００ａ…内部バッファ、
２００ｂ、７００ａ…取得部、２００ｃ、７００ｂ…検出処理部、
２０１、７０１…補正部、２０１ａ、７０１ａ…選択部、
２０１ｂ、７０１ｂ…補正処理部、５００…画像処理装置、
５０２…ＨＤＤ

Claims (11)

1. 複数の画素より出力された画像信号を取得する第１取得部と、
   前記複数の画素のうち、欠陥画素の位置に関する情報を取得する第２取得部と、
   前記画像信号のうち、前記欠陥画素の位置を含む予め定められたサイズの検索領域に包含される画像信号を用いて、被写体の輪郭を検出する検出部と、
   補正精度が異なる複数の欠陥画素補正処理の中から、前記検出部により検出された前記被写体の輪郭に基づいて欠陥画素補正処理を選択する選択部と、
   前記選択された前記欠陥画素補正処理を用いて、前記欠陥画素に対応する前記画像信号を補正する補正部と、
   時間的に連続する複数の画像を取得して、前記連続する複数の画像の画像信号を用いて、前記被写体の移動量を検出する移動量検出部と、を備え、
   前記選択部は、前記被写体の移動量が小さいと判定した場合には、前回の画像に対して選択された前記欠陥画素補正処理を選択する画像処理装置。
2. 複数の画素を有する撮像素子によって生成される画像信号と、前記撮像素子が有する欠陥画素の位置情報とが入力され、前記位置情報に基づいて前記欠陥画素ごとに検索領域を生成し前記検索領域で被写体の輪郭強度を検出する検出部と、
   輪郭が検出された前記検索領域の前記欠陥画素からの前記画像信号に対して第１の欠陥画素補正処理を行い、残りの前記検索領域内の前記欠陥画素からの前記画像信号に対して前記第１の欠陥画素補正処理とは異なる第２の欠陥画素補正処理を行う補正部とを備え、
   前記補正部は、前記輪郭強度が強い前記検索領域に対して、処理する欠陥画素の数が閾値になるまで前記第１の欠陥画素補正処理を行い、残りの前記検索領域には前記第２の欠陥画素補正処理を行う画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記補正部は、前記輪郭強度が検出されない前記検索領域内の前記欠陥画素からの前記画像信号に対して、前記第１の欠陥画素補正処理よりも補正精度の低い第２の欠陥画素補正処理を行う画像処理装置。
4. 請求項２または３に記載の画像処理装置において、
   前記補正部は、前記検出された前記被写体の輪郭強度が強い順に前記閾値になるまで前記第１の欠陥画素補正処理を行う画像処理装置。
5. 請求項２乃至４の何れか一項に記載の画像処理装置において、
   前記補正部は、前記第１の欠陥画素補正処理を行う場合には、前記欠陥画素を中心とする予め定められたサイズの補正対象領域に包含される前記画像信号を用いて、前記欠陥画素からの前記画像信号を補正し、
   前記第２の欠陥画素補正処理を行う場合には、前記欠陥画素から予め定められた位置の画素に対応する前記画像信号を用いて、前記欠陥画素からの前記画像信号を補正する画像処理装置。
6. 請求項２乃至５のいずれか一項に記載の画像処理装置において、
   前記検出部は、前記検索領域に包含される前記画像信号間のコントラストを用いて前記被写体の輪郭を検出する画像処理装置。
7. 請求項２乃至６のいずれか一項に記載の画像処理装置において、
   時間的に連続する複数の画像を取得して、前記連続する複数の画像の画像信号を用いて、前記被写体の移動量を検出する移動量検出部をさらに備え、
   前記補正部は、前記被写体の移動量が小さいと判定した場合には、前回の画像に対して行われた欠陥画素補正処理を用いる画像処理装置。
8. 請求項１乃至７のいずれか一項に記載の画像処理装置において、
   前記検出部は、前記欠陥画素の位置が記録された記録媒体から前記欠陥画素の位置に関する情報を取得する画像処理装置。
9. 請求項１乃至８のいずれか一項に記載の画像処理装置を備える撮像装置。
10. 複数の画素を有する撮像素子によって生成される画像信号と、前記撮像素子が有する欠陥画素の位置情報とが入力され、前記位置情報に基づいて前記欠陥画素ごとに検索領域を生成し前記検索領域で被写体の輪郭強度を検出し、
    輪郭が検出された前記検索領域の前記欠陥画素からの前記画像信号に対して第１の欠陥画素補正処理を行い、残りの前記検索領域内の前記欠陥画素からの前記画像信号に対して前記第１の欠陥画素補正処理とは異なる第２の欠陥画素補正処理を行い、
    前記輪郭強度が強い前記検索領域に対して、処理する欠陥画素の数が閾値になるまで前記第１の欠陥画素補正処理を行い、残りの前記検索領域には前記第２の欠陥画素補正処理を行う画像処理方法。
11. 請求項１０に記載の画像処理方法をコンピュータに実行させる画像処理プログラム。

Images