JP4985124B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、電子式の画像ブレ補正機能を備えたデジタルカメラに用いて好適な画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。

従来、デジタルカメラにおいて、撮影時の手振れや被写体ブレに起因し生じる画像のブレを防止する技術として、１回の撮影に際し撮像動作を複数回行い、撮像した複数の画像を各々の撮影時におけるカメラ本体や被写体のブレ量に応じ互いにずらして合成することにより、結果としてブレのない画像を得る電子式の手振れ補正が公知である。また、下記特許文献１には、電子式手振れ補正によれば、ＣＣＤ型やＭＯＳ型の固体撮像素子に存在する欠陥画素（光電感度を有していない「黒キズ」や光電感度を有する「白キズ」等）に対応する画像のキズ位置が合成する画像毎にずれるため、合成後の画像においては結果的にキズが目立たなくなる。つまり画像のブレ補正と同時に、欠陥画素によるキズを補正することができる点が記載されている。
特開２０００−６９３５２号公報

しかしながら、上述した画像合成によるキズ補正では、例えば撮影時における手振れ量が僅かであったとき、連続して撮影された各画像間におけるブレ量（及び方向）によっては、合成されるいくつかの画像に存在するキズ画素の位置が一致する場合があるが、その場合、位置が一致したキズ画素については複数のキズ画素が加算されることにより良好な補正効果を得ることができず、それにより最終的な記録画像の質が低下するという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、撮像された複数の画像を位置調整して合成することにより得られる合成画像の質を向上させることが可能となる画像処理装置、画像処理方法と、それらの実現に使用される画像処理プログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係る画像処理装置にあっては、固体撮像素子により撮像された複数の画像を互いに位置をずらして合成する合成手段と、前記固体撮像素子が有する欠陥画素の座標位置を記憶するキズ情報記憶手段と、前記合成手段による複数の画像の合成に伴い複数の画像のいずれかに存在する前記欠陥画素に対応するキズ画素が他のいずれかの画像に存在する前記欠陥画素に対応するキズ画素と加算された加算回数を取得する回数取得手段と、この回数取得手段により取得された加算回数が所定回数以上である特定のキズ画素を補完対象画素と判断する判断手段と、この判断手段により補完対象画素と判断された特定のキズ画素の画素値を、当該特定のキズ画素の周辺画素の画素値に基づき補完する画素補完手段とを備えたことを特徴とする。

また、請求項２記載の発明に係る画像処理装置にあっては、前記回数取得手段は、前記キズ情報記憶手段に記憶されている座標位置に基づき、前記加算回数を、各々のキズ画素が加算された特定の座標位置毎に取得することを特徴とする。

また、請求項３記載の発明に係る画像処理装置にあっては、前記回数取得手段は、前記合成手段による複数の画像の合成時における画像の合成回数を合成時における画像のずらし位置毎に取得する合成回数取得手段を含み、前記判断手段は、前記合成回数取得手段により取得した前記ずらし位置毎の前記合成回数に基づいて、前記回数取得手段により取得された加算回数が所定回数以上であるか否かを確認し、加算回数が所定回数以上である特定のキズ画素を補完対象画素と判断することを特徴とする。

また、請求項４記載の発明に係る画像処理装置にあっては、前記回数取得手段は、前記合成手段によりによる複数の画像の合成に伴い前記複数の画像のいずれかに存在するある１つの欠陥画素に対応するキズ画素が他のいずれかの画像に存在する前記ある１つの欠陥画素と同一の欠陥画素に対応する画素キズ画素と加算された加算回数を取得することを特徴とする。

また、請求項５記載の発明に係る画像処理装置にあっては、前記回数取得手段は、前記合成手段により合成された合成画像について、前記複数の画像のいずれかに存在するある１つの欠陥画素に対応するキズ画素が他のいずれかの画像に存在する前記ある１つの欠陥画素と異なる欠陥画素に対応する画素キズ画素と加算されている特定の座標位置における元のキズ画素の加算回数を取得することを特徴とする。

また、請求項６記載の発明に係る画像処理装置にあっては、前記画素補完手段は、前記判断手段により補完対象画素と判断された特定のキズ画素の画素値を、当該特定のキズ画素の周辺画素であって前記欠陥画素に対応するキズ画素以外の周辺画素の画素値に基づき補完することを特徴とする。

また、請求項７記載の発明に係る画像処理装置にあっては、前記画素補完手段は、前記判断手段により補完対象画素と判断された特定のキズ画素の画素値を、前記周辺画素の画素値に置換することを特徴とする。

また、請求項８記載の発明に係る画像処理装置にあっては、前記画素補完手段は、前記判断手段により補完対象画素と判断された特定のキズ画素の画素値を、複数の前記周辺画素の画素値を平均した画素値に置換することを特徴とする。

また、請求項９記載の発明に係る画像処理装置にあっては、前記キズ情報記憶手段には、前記固体撮像素子が有する欠陥画素の座標位置がライン単位に記憶され、前記画素補完手段は、前記判断手段により補完対象画素と判断された特定のキズ画素の画素値を、同一ライン上における前記周辺画素の画素値に基づき補完することを特徴とする。

また、請求項１０記載の発明に係る画像処理装置にあっては、前記合成手段は、前記固体撮像素子により時間的に連続して撮像された複数の画像を、各画像の撮像時における前記固体撮像素子のブレ量に応じ互いに位置をずらして合成することを特徴とする。

また、請求項１１記載の発明に係る画像処理装置にあっては、前記判断手段が、前記合成手段により合成された合成画像に存在するいずれかの特定のキズ画素を補完対象画素と判断するときの判断基準となる前記所定回数を制御する基準制御手段をさらに備えたことを特徴とする。

また、請求項１２記載の発明に係る画像処理方法にあっては、固体撮像素子により撮像された複数の画像を互いに位置をずらして合成する工程と、複数の画像の合成に伴い前記複数の画像のいずれかに存在するとともに前記固体撮像素子が有する欠陥画素に対応するキズ画素が他のいずれかの画像に存在する前記欠陥画素に対応するキズ画素と加算された加算回数を取得する工程と、取得した加算回数が所定回数以上である特定のキズ画素を補完対象画素と判断する工程と、補完対象画素と判断した特定のキズ画素の画素値を、当該特定のキズ画素の周辺画素の画素値に基づき補完する工程とを含むことを特徴とする。

また、請求項１３記載の発明に係る画像処理プログラムにあっては、画像処理装置が有するコンピュータに、固体撮像素子により撮像された複数の画像を互いに位置をずらして合成する手順と、複数の画像の合成に伴い前記複数の画像のいずれかに存在するとともに前記固体撮像素子が有する欠陥画素に対応するキズ画素が他のいずれかの画像に存在する前記欠陥画素に対応するキズ画素と加算された加算回数を取得する手順と、取得した加算回数が所定回数以上である特定のキズ画素を補完対象画素と判断する手順と、補完対象画素と判断した特定のキズ画素の画素値を、当該特定のキズ画素の周辺画素の画素値に基づき補完する手順とを実行させることを特徴とする。

本発明によれば、撮像された複数の画像を位置調整して合成することにより得られる合成画像の質を向上させることが可能となる。

以下、本発明の好ましい実施形態を図にしたがって説明する。図１は、本発明に係るデジタルカメラのブロック図である。このデジタルカメラ１は、１回の撮影に際し撮像動作を複数回行い、撮像した複数の画像を各々の撮影時におけるカメラ本体のブレ量に応じ互いにずらして合成することにより手振れを補正する電子式の手振れ補正機能を備えたものであって、以下のような構成を有している。

すなわち図１に示したようにデジタルカメラ１は、システムの全体を制御するＣＰＵ２と、光学系３を介して被写体を撮像するＣＣＤ４とを備えている。ＣＣＤ４はＴＧ（Timing Generator）５により所定の周期で走査駆動されて、結像された被写体の光学像を画素毎に光電変換し、光の強さに応じた画素信号からなるアナログの撮像信号をアナログ処理部６に出力する。なお、ＣＣＤ４はＣＰＵ２から送られるシャッターパルスに応じて電荷蓄積時間を変化されることにより電子シャッターとして機能する。

アナログ処理部６は、入力した撮像信号に含まれるノイズを除去するＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）と、ＣＤＳを経た撮像信号を増幅するアナログアンプであるＡＧＣ（ゲイン調整アンプ）と、ＡＧＣで増幅され調整されたアナログの撮像信号をデジタル信号に変換するＡＤ（Ａ／Ｄ変換器）とからなり、デジタル化した撮像信号をＣＰＵ２に出力する。

ＣＰＵ２は、画像データの圧縮・伸張を含む各種のデジタル信号処理機能を備えており、アナログ処理部６から出力された撮像信号、すなわち受光面に設けられているカラーフィルタの色配列（例えばベイヤー配列）に応じた色成分の画素情報からなる画像データをアドレス・データバス７を介して順次ＤＲＡＭ８に送り画素データとして蓄積する。また、ＤＲＡＭ８に蓄積された画素を、所定の画像処理ブロック単位で読み出し、画素毎にＲＧＢの色差成分を補間した後、輝度（Ｙ）信号・色差（Ｃｂ，Ｃｒ）信号の画像データへ変換し、さらに変換後の画像データに基づきビデオ信号を生成して液晶モニタ９へ送る。

液晶モニタ９は、記録モードが設定されているときには、所定のフレーム周期で更新される被写体画像すなわちスルー画像等を表示するとともに、操作補助用として各種のメニュー画面や種々の設定画面、メッセージ等を表示する。

また、ＣＰＵ２は、画像記録時においては画像処理ブロック単位のＹ，Ｃｂ，Ｃｒの画像データを所定の方式で圧縮符号化し、記録されている静止画像の再生時には伸張復号化する。撮影時に圧縮符号化された画像データは、静止画データとして内蔵フラッシュメモリ１０や、カードインターフェース１１を介して着脱自在な各種のメモリカード１２に記録する。

内蔵フラッシュメモリ１０には、カメラ本体にメモリカード１２が装着されていない状態で撮影された画像のファイルが記録される画像記憶領域、及びプログラム領域とが確保されている。プログラム領域には、ＣＰＵ２に画像データの圧縮・伸張や、色調整処理を含む各種の画像信号処理や、ＡＥ制御等を行わせるための各種プログラムと、それらのプログラムに基づく動作に必要な各種データが記憶されている。特に本実施の形態においては、手振れ補正機能が使用されているときＣＰＵ２を本発明の合成手段、回数取得手段（合成回数取得手段を含む）、判断手段、画素補完手段として機能させる画像処理プログラムと、前記ＣＣＤ４に固有の情報であって、ＣＣＤ４に存在する欠陥画素の座標位置を示す座標データ（アドレスデータ）が記憶されている。なお、内蔵フラッシュメモリ１０には、ＣＰＵ２が上述した制御に際して使用する作業領域も確保されており、内蔵フラッシュメモリ１０が本発明の回数記憶手段、キズ情報記憶手段である。

キー入力部１３は、電源キーやシャッターキー、モード切替スイッチ、メニューキー、コントロールキー、セットキー等の各操作キーから構成されており、各々の操作状態がＣＰＵ２によって逐次スキャンされる。

振れ検出部１４は、垂直及び水平方向の角速度を検出するための一対の角速度センサと、その出力信号をデジタル信号に変換するＡ／Ｄ変換器や、一対の角速度センサにより検出した角速度に基づきカメラ本体の垂直及び水平方向のブレ量を演算する演算回路から構成され、デジタルカメラの垂直方向及び水平方向のブレ量を検出しＣＰＵ２へ出力する。

次に、以上の構成からなるデジタルカメラ１の手振れ補正機能に関する動作について説明する。図２及び図３は、記録モードにおいてＣＰＵ２が実行する処理の内容を示したフローチャートである。

記録モードが設定されているとき、デジタルカメラ１においては前述したように所定の周期で撮像動作が繰り返し行われ、被写体の画像が取り込まれるとともに取り込まれた被写体画像がスルー画像として液晶モニタ９に逐次表示される。

その間、図２に示したようにＣＰＵ２はシャッターキーの押下の有無を逐次確認しており、シャッターキーが押下されたら（ステップＳ１でＹＥＳ）、まず、その直前に取り込まれている被写体画像の輝度情報に基づいて撮像回数、及び１回の撮像時における露出時間を決定した後（ステップＳ２）、１回目の撮像処理を行う（ステップＳ３）。すなわちＣＣＤ４を駆動するとともに、電荷蓄積時間を決められた時間に制御して記録用の画像を取り込む。このとき、取り込んだ画像に、当該画像と中心が一致するとともに、後述する２回目以降の撮像処理により取得した画像の合成時における画像のずらし量を勘案して予め決められている記録画像のサイズに応じたトリミング領域（有効画素領域）を設定してトリミング処理を行い、トリミング後の画像のデータをＤＲＡＭ８内に確保した画像合成用の所定領域に記憶する。

引き続き、２回目の撮像処理を行うとともに（ステップＳ４）、前記振れ検出部１４によりブレ量を検出し、その検出結果に基づき１回目の撮像を行った時点を基準とするカメラ本体の水平方向及び垂直方向の相対的なブレ量を取得する（ステップＳ５）。そして、取得したブレ量に応じた画像のずらし量を算出する（ステップＳ６）。ここで算出するずらし量は、取得したブレ量と方向が１８０度異なる移動量であって、例えば取得した水平及び垂直方向のブレ量（Ｘｎ，Ｙｎ）が（２，２）であるとき算出される水平及び垂直方向のずらし量は（−２，−２）となる。

しかる後、取り込んだ２回目の画像に、１回目の画像に設定したトリミング領域に対して算出したずらし量分だけ中心位置をずらしたトリミング領域を設定してトリミング処理を行い（ステップＳ７）、トリミング後の画像のデータをＤＲＡＭ８の前記所定領域内の１回目の画像のデータに合成する（ステップＳ８）。さらに、この時のずらし量を内蔵フラッシュメモリ１０の作業領域に記憶するとともに、ずらし量に対応する重ね合わせ回数をインクリメントし、それをずらし量と対応付けて内蔵フラッシュメモリ１０の作業領域に記憶する（ステップＳ９）。

以後、ステップＳ２で決定した撮像回数が終了するまで（ステップＳ１０でＮＯ）、ステップＳ４〜ステップＳ９の処理を繰り返し、３回目以降の画像を順に撮像してＤＲＡＭ８内の合成画像を逐次更新する。つまり連続して撮像した各画像を各々の間に存在するズレを補正しながら合成することにより、手振れが補正された記録用の画像を取得し、その間に、各画像のずらし量、及びずらし量（ずらし位置）毎の重ね合わせ回数を更新する。

図４（ａ）は、上述した処理中における各撮像時における被写体に対する画角の違い、つまり合成時における各画像の相対的なずらし量を示した模式図である。同図においては、太線で示した矩形が基準となる１回目の撮像時における画角（画像）であり、細線で示した矩形が２回目以降の撮像時における画角（画像）である。また、図に破線で示した矩形領域がトリミング領域であり、この領域の画像が記録用の画像となる。また、図４（ｂ）は、図４（ａ）のように画角が変化した場合に最終的に内蔵フラッシュメモリ１０の作業領域に記憶される、基準となる１回目の画像のずらし量（０，０）を含む全てのずらし量、及びそれらに対応する重ね合わせ回数を示した図である。なお、この図は、撮像回数が３３回である場合の例であり、以下の説明においてもこれを前提とする。

そして、ＣＰＵ２は、当初決めた回数の撮像処理、及び撮像した各画像の合成処理等が終了したら（ステップＳ１０でＹＥＳ）、内蔵フラッシュメモリ１０に記憶してある、ずらし量別の重ね合わせ回数を読み出し（ステップＳ１１）、それが撮像回数（３３回）の４０％以上の回数であるずらし量（ずらし位置）が存在するか否かを確認する（ステップＳ１２）。ここで、重ね合わせ回数が４０％以上であるずらし量（ずらし位置）が存在していない場合には（ステップＳ１２でＮＯ）、前述した合成後の記録用の画像のデータをそのまま圧縮し、撮影画像としてメモリカード１２に記録する（ステップＳ１３）。

一方、重ね合わせ回数が４０％以上であるずらし量（ずらし位置）が存在していた場合には（ステップＳ１２でＹＥＳ）、内蔵フラッシュメモリ１０からＣＣＤ４のキズ座標データを読み込み（ステップＳ１４）、そのキズ座標データと、前述したずらし量のデータに基づき、記録用の画像に存在する全てのキズ画素の座標位置を示す補完用キズマップを生成する（ステップＳ１５）。係る補完用キズマップの生成は、ＣＣＤ４の欠陥画素の座標位置を、記録用の画像として合成した各々の画像におけるトリミング領域の画素空間の座標位置に変換することにより生成する。

このときＣＣＤ４のある欠陥画素に対応するキズ画素の座標位置は、例えばある欠陥画素の座標位置が（０，０）、つまりＣＣＤ４の画素空間の中心であり、ずらし量が（−２，−２）である場合には、
（０，０）−（−２，−２）＝（２，２）
となり、また上記ずらし量が（２，２）である場合には、
（０，０）−（２，２）＝（−２，−２）
となる。

図５（ａ）は、図４に対応する上記補完用キズマップＭ１（但し一部分）を示す概念図であって、ＣＣＤ４に存在する、ある１つの欠陥画素に対応するキズ画素のみを示した図である。図示したように記録用の画像には、１つの欠陥画素に対応するキズ画素（図に斜線示した画素）が、各画像を合成したときのずらし量（ずらし位置）の数（ここでは"７"）と同じ数だけ存在する。また、各々のキズ画素Ａ０〜Ａ６の位置は、各々の画像のずらし量分だけズレを生じている。

なお、図５（ａ）においては、中央部分のキズ画素Ａ０が基準となる画像（１回目の撮像画像）に存在していたキズ画素である。また、各々のキズ画素Ａ０〜のＡ６に示した数字は前述した重ね合わせ回数であって、この数が各々の座標位置におけるキズ画素の加算回数である。

さらに、ＣＰＵ２は、前記補完用キズマップＭ１とは別に、前述したずらし量毎の重ね合わせ回数のデータに基づき、ＣＣＤ４に存在する同一の欠陥画素にそれぞれ対応する異なる画像のキズ画素が複数回加算されている座標位置の特定のキズ画素（以下、加算キズ）の中で、キズ画素の加算回数が合成した画像の数（撮像回数）の４０％以上である加算キズ（以下、補完対象キズ）のみを示す補完対象キズマップを生成する（ステップＳ１６）。

係る補完対象キズマップの生成は、補完用キズマップＭ１の場合とは異なり、ＣＣＤ４のキズ座標データと、前述したずらし量のデータのうちで重ね合わせ回数が撮像回数の４０％以上であったずらし量のデータとに基づいて行う。すなわち、図４（ｂ）に示した例では、重ね合わせ回数が撮像回数の４０％以上（１４回以上）であったずらし量は（２，２）と（−２，−２）であるため、例えば座標位置が（０，０）である欠陥画素に対応する補完対象キズの座標位置は、
（０，０）−（−２，−２）＝（２，２）
及び、
（０，０）−（２，２）＝（−２，−２）
となる。

図５（ｂ）は、図５（ａ）に対応する補完対象キズマップＭ２を示す概念図であり、図に黒塗りで示した画素Ｂ１，Ｂ２が補完対象キズ（キズ画素の加算回数が１４回である加算キズ）である。

引き続き、ＣＰＵ２は、記録用の画像に対し、上記補完対象キズマップＭ２における各々の補完対象キズＢ１，Ｂ２を対象として以下の補完処理を繰り返す。まず補完すべき補完対象キズの左側に隣接する同色の画素（隣接画素）がキズ画素であるか否かを前記補完用キズマップＭ１において確認する（ステップＳ１７）。その際、左側の隣接画素がキズ画素であれば（ステップＳ１７でＹＥＳ）、補完対象キズの画素値を右側に隣接する同色の画素（隣接画素）の画素値に置換し（ステップＳ１８）、左側の隣接画素がキズ画素でなければ（ステップＳ１７でＮＯ）、補完対象キズの画素値を左側の隣接画素の画素値に置換する（ステップＳ１９）。

そして、全ての補完対象キズ（Ｂ１，Ｂ２）について上記補完処理（画素値の置換）が終了したら（ステップＳ２０でＹＥＳ）、処理後の記録用の画像のデータを圧縮し、撮影画像としてメモリカード１２に記録する（ステップＳ１３）。これにより１回の撮影時における処理を終了する。

以上のように本実施形態によれば、撮影画像における手振れが防止できるとともに、撮影画像に存在する、連続して撮像した画像を位置をずらして合成しただけでは効果的な補正を行うことができない、その存在が目立つキズを無くすことができる。つまり撮像された複数の画像を合成することにより得られる撮影画像（記録画像）の質を向上させることができる。

また、ＣＣＤ４の欠陥画素に対応するキズの補正を、連続して撮像した画像に対して個別に行うのではなく、合成後（トリミング後）における記録用の画像に対して一括して行い、しかも、その際には目立つキズ画素（補完対象キズ）のみを補完対象として補完を行うため、キズの補完を効率的に行うことができる。したがって、前述したように１回の撮影時における撮像回数（合成する画像の数）が多い場合であっても、キズの補正に要する画像処理量が膨大となるようなこともない。

ここで、本実施形態においては、記録用の画像において補完対象とする補完対象キズ（Ｂ１，Ｂ２）を、ＣＣＤ４に存在する同一の欠陥画素にそれぞれ対応する異なる画像のキズ画素が複数回加算されている座標位置の加算キズの中で、キズ画素の加算回数が合成した画像の数（撮像回数）の４０％以上である加算キズとしたが、補完対象キズを決める際に基準とする上記割合（４０％）を固定とせず、例えば１回の撮像時における露出時間に応じて変化させてもよい。その場合、前述したステップＳ１２で確認する画像の重ね合わせ回数の割合についても、露出時間に応じた同様の割合に変化させることとなる。

また、上記とは別に、ステップＳ１２では、画像の重ね合わせ回数と１回の撮像時の露出時間との積（時間）が所定時間以上となるずらし量（ずらし位置）の有無を確認し、それが存在していた場合にのみ、前述したステップＳ１４以降の処理により記録用の画像における補完対象キズを補完するようにしてもよい。

また、本実施形態では、記録用の画像に存在するとともに、ＣＣＤ４に存在する同一の欠陥画素にそれぞれ対応する異なる画像のキズ画素が複数回加算されている座標位置の加算キズ（以下、第１の加算キズ）の中で、キズ画素の加算回数が所定回数以上である加算キズを補完対象キズとしたが、記録用の画像には、上記第１の加算キズに比べ、それが生じる確率は低いものの、ＣＣＤ４に存在する同一の欠陥画素及び／又は異なる欠陥画素にそれぞれ対応する異なる画像のキズ画素が複数回加算されている座標位置の加算キズ（以下、第２の加算キズ）が存在している場合もある。したがって、係る第２の加算キズについても、第１の加算キズと同様の条件を満たすものを補完対象キズとして補完するようにしてもよい。その場合には、記録画像の質をより確実に向上させることができる。

但し、その場合には、連続して撮像した画像を合成するとき、各画像のずらし量（ずらし位置）毎に重ね合わせ回数をカウントしても、それをキズ画素の加算回数として使用することができない。したがって、例えば以下のような処理を行うこととなる。

すなわち複数回の撮像、及び画像合成を繰り返す間には、各々の画像の合成時におけるずらし量（ずらし位置）のみを記憶しておき、複数回の撮像、及び画像合成によって記録用の画像を取得したら、直ちにＣＣＤ４のキズ座標データを読み込み、キズ座標データと、上記ずらし量のデータとに基づいて記録用の画像に存在する全てのキズ画素の座標位置を示す本実施形態と同様の補完用キズマップ（Ｍ１）を生成する。また、その際には、いずれかのキズ画素が存在する座標位置毎に、その座標位置に該当するキズ画素の数、つまりキズ画素の加算回数をカウントし、それを座標位置と対応付けて加算回数情報として別途記憶する。

しかる後、補完用キズマップと上記加算回数情報とに基づいて、記録用の画像に存在する前述した第１及び第２の加算キズの中で、キズ画素の加算回数が所定回数以上である補完対象キズを示す、本実施形態とは異なる補完対象キズマップを生成する。その際、補完対象キズが存在していなければ、直ちに記録用の画像を撮影画像として記録し、また、補完対象キズが存在していれば、前述した補完用キズマップと補完対象キズマップとに基づき、補完対象キズを本実施形態と同様の処理（ステップＳ１７〜Ｓ２０）によって補完し、補完後の記録用の画像を撮影画像として記録する。

なお、係る処理においても、先に述べたように、補完対象キズを決める際に基準とする、合成した画像の数（撮像回数）に対するキズ画素の加算回数の割合（４０％）を１回の撮像時における露出時間に応じて変化させてもよい。

また、以上の説明においては、前述した補完対象キズの画素値を、その左側の隣接画素がキズ画素（加算キズであるか否かは問わない）でなければ左側の隣接画素の画素値に置換し、左側の隣接画素がキズ画素であれば右側の隣接画素の画素値に置換するものとしたが、以下のようにしてもよい。

例えば、左側及び右側の隣接画素の双方がキズ画素でないときには、補完対象キズの画素値を双方の隣接画素の平均値としてもよい。その場合、補完対象キズの画素値をより適切な画素値とすることができるため、記録画像の質をより一層向上させることができる。

また、左側の隣接画素がキズ画素であるときには、右側の隣接画素ではなく、当該キズ画素のさらに左側の隣接画素の画素値を補完対象キズの画素値としてもよい。

また、補完対象キズの画素値を、左側又は右側の隣接画素のいずれか一方の画素値に置換する場合、または左側及び右側の隣接画素の平均値とする場合のいずれにおいても、左側の隣接画素及び／又は右側の隣接画素が単にキズ画素であるか否かに基づいて補完対象キズの画素値の補完方法を決めるのではなく、左側の隣接画素及び／又は右側の隣接画素がキズ画素である場合には、さらにそのキズ画素が前述した加算キズであるか否かに基づいて補完対象キズの画素値の補完方法を決めるようにしてもよい。

なお、その場合における具体的な補完方法の決め方については任意であるが、例えば左側の隣接画素がキズ画素であっても、それが加算キズでなければ左側の隣接画素の画素値に置換するようにしたり、左側の隣接画素が加算キズであっても、キズ画素の加算回数や、合成した画像の数に対する加算回数の割合が所定値以下であるときには、左側の隣接画素の画素値に置換するようにしたりしてもよい。

また、補完対象キズの画素値の補完に使用する隣接画素については、必ずしも左側又は右側の隣接画素に限定されるものではなく、上側や下側等の周辺に隣接する他の隣接画素としてもよく、ＣＣＤ等のカラーフィルタの色配列に応じたものとすればよい。なお、ＣＣＤ等が白黒画像用であるか、又はカラー画像用であっても記録画像が白黒画像である場合においては、補完対象キズの画素値の補完に使用する隣接画素は文字通り隣接した画素である。

また、本実施形態においては、記録用の画像における前述した補完対象キズの補完処理に先立ち、記録用の画像に存在する全てのキズ画素の座標位置を示す補完用キズマップＭ１と、記録用の画像に存在する補完対象キズのみを示す補完対象キズマップＭ２とを予め生成し、それらに基づき補完処理を行うようにしたが、以下のようにしてもよい。

すなわち補完用キズマップＭ１や補完対象キズマップＭ２を生成せずに、ＣＣＤ４のキズ座標データと各画像の合成時に記憶しておいた、ずらし量毎の重ね合わせ回数のデータとに基づいて、記録用の画像に存在する補完対象キズ（所定の条件に該当する加算キズ）を順に検索して行き、検索した補完対象キズの左側の隣接画素がキズ画素であるか否かを逐次判断する補完処理を行うようにしてもよい。

特にその場合においては、ＣＣＤ４のキズ座標データをライン単位で区切って内蔵フラッシュメモリ１０に記憶させておけば、補完対象キズの検索処理を効率的に、つまり短時間で行うことが可能となる。

また、本発明においては、手振れが補正された記録用の画像を取得するための具体的な構成、すなわち連続して撮像した画像を、各画像の撮像時におけるブレ量に応じて互いにずらして合成するとともに記録画像のサイズに応じた画像データを取得する方法や、その際におけるずらし量（ブレ量）の取得方法については任意であり、前述した実施形態に限定されるものではない。例えば本実施形態とは異なり、連続して撮像した全ての画像をいったんバッファに記憶してから、それらを合成してもよいし、また、ずらし量（ブレ量）については、角速度センサを用いることなく、各画像の画像信号に基づき動きベクトルを検出することによって手ブレ量や被写体ブレ量を取得してもよい。

また、以上の説明においては、本発明を電子式の手振れ補正機能を備えたデジタルカメラ１に適用し、手振れ補正を目的として複数の画像を位置調整して合成した撮影画像（記録画像）の質を向上させる場合について説明したが、これに限らず本発明においては、任意の目的で複数の撮像画像を、互いに位置をずらして合成する構成を有するものであれば、一般的なデジタルカメラはもとより、携帯電話端末等の他の情報機器に内蔵されたデジタルカメラや、デジタルビデオカメラ等の他の撮像装置や、その他の任意の画像処理装置にも適用することができる。

本発明に係るデジタルカメラのブロック図である。 手振れ補正機能がオン状態にあるときのＣＰＵ２処理内容を示したフローチャートである。 図２に続くフローチャートである。 （ａ）は、撮像した各画像の合成時における相対的なずらし量の例を示した模式図、（ｂ）は、全てのずらし量と、それらに対応する重ね合わせ回数の例を示した図である。 （ａ）は、補完用キズマップを示す概念図、（ｂ）は、補完対象キズマップを示す概念図である。

符号の説明

２ ＣＰＵ
４ ＣＣＤ
６ アナログ処理部
８ ＤＲＡＭ
９ 液晶モニタ
１０ 内蔵フラッシュメモリ
１２ メモリカード
１４ 振れ検出部
Ａ０〜Ａ６ キズ画素
Ｂ１，Ｂ２ 補完対象キズ
Ｍ１ 補完用キズマップ
Ｍ２ 補完対象キズマップ

Claims (13)

1. 固体撮像素子により撮像された複数の画像を互いに位置をずらして合成する合成手段と、
   前記固体撮像素子が有する欠陥画素の座標位置を記憶するキズ情報記憶手段と、
   前記合成手段による複数の画像の合成に伴い複数の画像のいずれかに存在する前記欠陥画素に対応するキズ画素が他のいずれかの画像に存在する前記欠陥画素に対応するキズ画素と加算された加算回数を取得する回数取得手段と、
   この回数取得手段により取得された加算回数が所定回数以上である特定のキズ画素を補完対象画素と判断する判断手段と、
   この判断手段により補完対象画素と判断された特定のキズ画素の画素値を、当該特定のキズ画素の周辺画素の画素値に基づき補完する画素補完手段と
   を備えたことを特徴とする画像処理装置。
2. 前記回数取得手段は、前記キズ情報記憶手段に記憶されている座標位置に基づき、前記加算回数を、各々のキズ画素が加算された特定の座標位置毎に取得することを特徴とする請求項１記載の画像処理装置。
3. 前記回数取得手段は、前記合成手段による複数の画像の合成時における画像の合成回数を合成時における画像のずらし位置毎に取得する合成回数取得手段を含み、
   前記判断手段は、前記合成回数取得手段により取得した前記ずらし位置毎の前記合成回数に基づいて、前記回数取得手段により取得された加算回数が所定回数以上であるか否かを確認し、加算回数が所定回数以上である特定のキズ画素を補完対象画素と判断することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記回数取得手段は、前記合成手段によりによる複数の画像の合成に伴い前記複数の画像のいずれかに存在するある１つの欠陥画素に対応するキズ画素が他のいずれかの画像に存在する前記ある１つの欠陥画素と同一の欠陥画素に対応する画素キズ画素と加算された加算回数を取得することを特徴とする請求項１又は２，３記載の画像処理装置。
5. 前記回数取得手段は、前記合成手段により合成された合成画像について、前記複数の画像のいずれかに存在するある１つの欠陥画素に対応するキズ画素が他のいずれかの画像に存在する前記ある１つの欠陥画素と異なる欠陥画素に対応する画素キズ画素と加算されている特定の座標位置における元のキズ画素の加算回数を取得することを特徴とする請求項１又は２記載の画像処理装置。
6. 前記画素補完手段は、前記判断手段により補完対象画素と判断された特定のキズ画素の画素値を、当該特定のキズ画素の周辺画素であって前記欠陥画素に対応するキズ画素以外の周辺画素の画素値に基づき補完することを特徴とする請求項１乃至５いずれか記載の画像処理装置。
7. 前記画素補完手段は、前記判断手段により補完対象画素と判断された特定のキズ画素の画素値を、前記周辺画素の画素値に置換することを特徴とする請求項１乃至６いずれか記載の画像処理装置。
8. 前記画素補完手段は、前記判断手段により補完対象画素と判断された特定のキズ画素の画素値を、複数の前記周辺画素の画素値を平均した画素値に置換することを特徴とする請求項１乃至６いずれか記載の画像処理装置。
9. 前記キズ情報記憶手段には、前記固体撮像素子が有する欠陥画素の座標位置がライン単位に記憶され、
   前記画素補完手段は、前記判断手段により補完対象画素と判断された特定のキズ画素の画素値を、同一ライン上における前記周辺画素の画素値に基づき補完することを特徴とする請求項１乃至８いずれか記載の画像処理装置。
10. 前記合成手段は、前記固体撮像素子により時間的に連続して撮像された複数の画像を、各画像の撮像時における前記固体撮像素子のブレ量に応じ互いに位置をずらして合成することを特徴とする請求項１乃至９いずれか記載の画像処理装置。
11. 前記判断手段が、前記合成手段により合成された合成画像に存在するいずれかの特定のキズ画素を補完対象画素と判断するときの判断基準となる前記所定回数を制御する基準制御手段をさらに備えたことを特徴とする請求項１乃至１０いずれか記載の画像処理装置。
12. 固体撮像素子により撮像された複数の画像を互いに位置をずらして合成する工程と、
    複数の画像の合成に伴い前記複数の画像のいずれかに存在するとともに前記固体撮像素子が有する欠陥画素に対応するキズ画素が他のいずれかの画像に存在する前記欠陥画素に対応するキズ画素と加算された加算回数を取得する工程と、
    取得した加算回数が所定回数以上である特定のキズ画素を補完対象画素と判断する工程と、
    補完対象画素と判断した特定のキズ画素の画素値を、当該特定のキズ画素の周辺画素の画素値に基づき補完する工程と
    を含むことを特徴とする画像処理方法。
13. 画像処理装置が有するコンピュータに、
    固体撮像素子により撮像された複数の画像を互いに位置をずらして合成する手順と、
    複数の画像の合成に伴い前記複数の画像のいずれかに存在するとともに前記固体撮像素子が有する欠陥画素に対応するキズ画素が他のいずれかの画像に存在する前記欠陥画素に対応するキズ画素と加算された加算回数を取得する手順と、
    取得した加算回数が所定回数以上である特定のキズ画素を補完対象画素と判断する手順と、
    補完対象画素と判断した特定のキズ画素の画素値を、当該特定のキズ画素の周辺画素の画素値に基づき補完する手順と
    を実行させることを特徴とする画像処理プログラム。

Images