JP4389671B2 - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents
画像処理装置、および画像処理方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP4389671B2 JP4389671B2 JP2004163274A JP2004163274A JP4389671B2 JP 4389671 B2 JP4389671 B2 JP 4389671B2 JP 2004163274 A JP2004163274 A JP 2004163274A JP 2004163274 A JP2004163274 A JP 2004163274A JP 4389671 B2 JP4389671 B2 JP 4389671B2
- Authority
- JP
- Japan
- Prior art keywords
- flash
- white balance
- image
- balance correction
- correction coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、フラッシュ撮影画像に対する最適なホワイトバランス調整を可能とし高品質な画像データの生成、出力を実現する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
フラッシュ（ｅｌｅｃｔｒｉｃａｌ ｆｌａｓｈ， ｓｔｒｏｂｅ）は、カメラ撮影時に補助光源として用いられる。近年ＤＳＣ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）が急速に普及しているが、ＤＳＣにおいても、しばしば、フラッシュ撮影が行われる。フラッシュを使うことにより、フィルインライト（人物の顔に影がきつく出過ぎるときなどに影を弱める技法）、逆光補正（太陽を背にした人物を撮る場合などに顔が黒くつぶれるのを防ぐ技法）、キャッチライト（眼の瞳にきらりと光る「光の点」を入れ、瞳を美しく撮影する技法）、あるいは日中シンクロ（デイライトシンクロ、昼間や夕方に補助光線として使うテクニック）等、様々な写真撮影を行うことができる。一方で、フラッシュ撮影を行うと、外光とフラッシュのホワイトバランス値が異なる場合等において、色バランスが崩れてしまうという問題が発生する。本発明は、このようなフラッシュ撮影において色バランスが崩れてしまう現象を補正可能な適切な手段を提供することを１つの目的とする。
従来のデジタルスチルカメラでは、白い被写体が白く撮影されるように、ホワイトバランス調整が行われる。フラッシュ撮影を行う場合は、フラッシュ光、外光の２種類の光が被写体に反射され、カメラの撮像素子に到達する。ところで、フラッシュ光と外光のホワイトバランス値が異なる場合、ホワイトバランス調整をフラッシュ光に合わせて実施すると、フラッシュ光が多く当たっている被写体部分は自然なものになるが、フラッシュ光の届かない背景部分は外光のみの影響によりワイトバランス値があっていないので不自然なものとなる。逆に、フラッシュ光の影響の少ない背景部分にあわせてホワイトバランス調整を行うと、フラッシュ光の多くあたった部分が不自然になってしまう。
このような撮影画像の不自然さを解消するために、例えば特許文献１では、まずフラッシュを発光せず撮影し、次に同じ条件でフラッシュを発光させ撮影された２つの画像をブロックに分割し、各ブロック毎に輝度値の比較を行い、ここで得られた輝度値の比較結果に基づいて、フラッシュ発光撮影画像に対する
ａ）フラッシュ光に合わせたホワイトバランス（ＷＢ）調整、
ｂ）フラッシュ光と外光の中間にあわせたホワイトバランス（ＷＢ）調整、
ｃ）外光にあわせホワイトバランス（ＷＢ）調整
のいずれかを選択し、処理を実行する構成を開示している。しかし、本特許文献１に記載の構成は、処理をブロック単位で実行する構成であり、ブロック歪みを生ずる問題や被写体が動いた場合などには正しい処理ができない問題などがある。
ａ）フラッシュ光に合わせたホワイトバランス（ＷＢ）調整、
ｂ）フラッシュ光と外光の中間にあわせたホワイトバランス（ＷＢ）調整、
ｃ）外光にあわせホワイトバランス（ＷＢ）調整
のいずれかを選択し、処理を実行する構成を開示している。しかし、本特許文献１に記載の構成は、処理をブロック単位で実行する構成であり、ブロック歪みを生ずる問題や被写体が動いた場合などには正しい処理ができない問題などがある。
さらに、特許文献２は以下の画像処理構成を開示している。まず絞りを開放し露出時間を短くした上でフラッシュを発光させ撮影し、その後、本来意図した露光条件でフラッシュを発光せずに撮影を行う。ここで、前者を第１画像、後者を第２画像とする。さらに第１画像において所定のレベル以上の画素を主要被写体領域、それ以外を背景領域として登録する。その後、第１画像をフラッシュに合わせてホワイトバランス調整、第２画像を外光に合わせてホワイトバランス調整し、第１画像の主要被写体領域と第２画像の背景領域を組み合わせて最終的な記録画像とするものである。しかし、本特許文献２に記載の構成は、外光とフラッシュ光の両方が当たった被写体のホワイトバランス調整は正しく行うことができないという問題がある。
また、特許文献３は、上述の特許文献２の技術に加えて、像ブレ検出手段を備えた構成を開示している。像ブレがあると判断された場合は、フラッシュを発光させ撮影した第１画像をそのまま記録画像とし、上記特許文献２の技術が適用されるのを禁止している。この構成により、像ブレ発生時に画像が不明瞭になるという問題が解消される。しかし一方、本構成では、ブレが検出された場合は、フラッシュ光と外光の色温度の違いに起因する不自然さが解消されないという問題が残存してしまうことになる。
また、特許文献４は以下の画像処理構成を開示している。フラッシュを発光させて撮影した画像と、フラッシュ発光なしで撮影した画像の対応する各画素の輝度値を割り算し、フラッシュ光の寄与率を求める。この寄与率に基づき、フラッシュを発光させて撮影した画像に対してホワイトバランス調整を行う構成としたものである。しかし、理想的には、外光のみが被写体に反射して撮像された画像と、フラッシュ光のみが被写体に反射して撮像された画像を、独立にホワイトバランス調整し合成するべきである。したがって、本特許文献４に記載された処理のように、輝度値に基づく寄与率を使って、フラッシュを発光させて撮影した画像をホワイトバランス調整するだけでは、正確なホワイトバランス調整を行うことができないという問題がある。
特開平８−５１６３２号公報
特開２０００−３０８０６８号公報
特開２０００−３０７９４０号公報
特開平８−３４０５４２号公報
本発明は、上述の従来技術の問題点に鑑みてなされたものであり、フラッシュを発光して行われた撮影画像に対して最適なホワイトバランス調整を可能とするとともに、像ブレが検出された場合においても破綻することのない最適なホワイトバランス調整を行うことを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
さらに、本発明は、画像データ中のブレ領域における高周波ブレ領域を検出し、高周波ブレ領域においては非ブレ領域（静止領域）と同様のホワイトバランス補正係数算出を実行して、低周波ブレ領域においてのみ補間処理によって算出したホワイトバランス補正係数を適用したホワイトバランス調整処理を実行することで、最適なホワイトバランス調整を可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第１の側面は、
画像処理装置であり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出部と、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出部と、
前記フラッシュ成分抽出部の抽出データおよび前記ブレ領域検出部の検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出部と、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出部の算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間部と、
前記前記ホワイトバランス補正係数算出部の算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間部の算出したブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行するホワイトバランス補正部と、
を有することを特徴とする画像処理装置にある。
画像処理装置であり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出部と、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出部と、
前記フラッシュ成分抽出部の抽出データおよび前記ブレ領域検出部の検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出部と、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出部の算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間部と、
前記前記ホワイトバランス補正係数算出部の算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間部の算出したブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行するホワイトバランス補正部と、
を有することを特徴とする画像処理装置にある。
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記ブレ領域検出部の検出したブレ領域から、高周波ブレ領域の検出処理を実行する高周波ブレ領域検出部を有し、前記ホワイトバランス補正係数算出部は、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するとともに、前記高周波ブレ領域検出部において検出された高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出する構成であり、前記ホワイトバランス補正係数補間部は、前記複数の画像データにおいて低周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出部の算出した非ブレ領域または高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数に基づく補間により算出する構成であり、前記ホワイトバランス補正部は、前記前記ホワイトバランス補正係数算出部の算出した非ブレ領域および高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間部の算出した低周波ブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記高周波ブレ領域検出部の検出した高周波ブレ領域にあるフラッシュ有り撮影画像と、フラッシュ無し撮影画像の画素データに基づいて、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データの抽出を実行する第２のフラッシュ成分抽出部を有し、前記ホワイトバランス補正係数算出部は、前記第２のフラッシュ成分抽出部の抽出データに基づいて高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記高周波ブレ領域検出部は、フラッシュ有り撮影画像と、フラッシュ無し撮影画像のブレ領域に含まれる画素データに設定した局所領域における画素データの統計量の比較による高周波ブレ領域検出処理を実行する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記高周波ブレ領域検出部は、
フラッシュ有り撮影画像と、フラッシュ無し撮影画像のブレ領域に含まれる画素データに設定した局所領域における画素データの統計量として、
（ａ）局所領域における全画素値平均値と、
（ｂ）局所領域における全画素値平均値以下の画素値を持つ選択画素のみの画素値平均である低画素値平均値と、
（ｃ）局所領域における全画素値平均値以上の画素値を持つ選択画素のみの画素値平均である高画素値平均値と、
の３つの統計量を算出し、各画像間の統計量の比較に基づいて、高周波ブレ領域であるか否かを判定する処理を実行する構成であることを特徴とする。
フラッシュ有り撮影画像と、フラッシュ無し撮影画像のブレ領域に含まれる画素データに設定した局所領域における画素データの統計量として、
（ａ）局所領域における全画素値平均値と、
（ｂ）局所領域における全画素値平均値以下の画素値を持つ選択画素のみの画素値平均である低画素値平均値と、
（ｃ）局所領域における全画素値平均値以上の画素値を持つ選択画素のみの画素値平均である高画素値平均値と、
の３つの統計量を算出し、各画像間の統計量の比較に基づいて、高周波ブレ領域であるか否かを判定する処理を実行する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記高周波ブレ領域検出部は、第１のフラッシュ無し撮影画像と、フラッシュ有り撮影画像と、第２のフラッシュ無し撮影画像とに基づいて、ブレ領域内の各画素が高周波ブレ領域に含まれるか否かを判定する処理を実行する構成であり、検証対象画素について、第１のフラッシュ無し撮影画像と第２のフラッシュ無し撮影画像の画素値差分を算出し、算出した画素値差分＜閾値であり、かつ、第１のフラッシュ無し撮影画像における検証対象画素を含む局所領域と、フラッシュ有り撮影縮小画像における対応局所領域内の画素値変移データの微分値の符号が異なる場合、または、画素値差分＜閾値であり、かつ、フラッシュ有り撮影画像の検証対象画素を含む局所領域と、第２のフラッシュ無し撮影画像の対応局所領域内の画素値変移データの微分値の符号が異なる場合に、検証対象画素が高周波ブレ領域に含まれると判定する処理を実行する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、縮小画像生成部を有し、ホワイトバランス補正係数の算出処理は、前記縮小画像生成部において生成した縮小画像データに基づいて算出する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、フラッシュ有り撮影画像と、フラッシュ無し撮影画像の撮影を実行する撮像部と、前記撮像部の撮影したフラッシュ有り撮影画像と、フラッシュ無し撮影画像を格納するメモリを有する構成であることを特徴とする。
さらに、本発明の第２の側面は、
画像処理方法であり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出ステップと、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出ステップと、
前記フラッシュ成分抽出ステップにおける抽出データおよび前記ブレ領域検出ステップにおける検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間ステップと、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出したブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行するホワイトバランス補正ステップと、
を有することを特徴とする画像処理方法にある。
画像処理方法であり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出ステップと、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出ステップと、
前記フラッシュ成分抽出ステップにおける抽出データおよび前記ブレ領域検出ステップにおける検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間ステップと、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出したブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行するホワイトバランス補正ステップと、
を有することを特徴とする画像処理方法にある。
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記ブレ領域検出ステップにおいて検出したブレ領域から、高周波ブレ領域の検出処理を実行する高周波ブレ領域検出ステップを有し、前記ホワイトバランス補正係数算出ステップは、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するとともに、前記高周波ブレ領域検出ステップにおいて検出された高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するステップであり、前記ホワイトバランス補正係数補間ステップは、前記複数の画像データにおいて低周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域または高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数に基づく補間により算出するステップであり、前記ホワイトバランス補正ステップは、前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域および高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出した低周波ブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行することを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、前記高周波ブレ領域検出ステップにおいて検出した高周波ブレ領域にあるフラッシュ有り撮影画像と、フラッシュ無し撮影画像の画素データに基づいて、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データの抽出を実行する第２のフラッシュ成分抽出ステップを有し、前記ホワイトバランス補正係数算出ステップは、前記第２のフラッシュ成分抽出ステップにおいて抽出したデータに基づいて高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出することを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記高周波ブレ領域検出ステップは、フラッシュ有り撮影画像と、フラッシュ無し撮影画像のブレ領域に含まれる画素データに設定した局所領域における画素データの統計量の比較による高周波ブレ領域検出処理を実行することを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記高周波ブレ領域検出ステップは、フラッシュ有り撮影画像と、フラッシュ無し撮影画像のブレ領域に含まれる画素データに設定した局所領域における画素データの統計量として、
（ａ）局所領域における全画素値平均値と、
（ｂ）局所領域における全画素値平均値以下の画素値を持つ選択画素のみの画素値平均である低画素値平均値と、
（ｃ）局所領域における全画素値平均値以上の画素値を持つ選択画素のみの画素値平均である高画素値平均値と、
の３つの統計量を算出し、各画像間の統計量の比較に基づいて、高周波ブレ領域であるか否かを判定する処理を実行することを特徴とする。
（ａ）局所領域における全画素値平均値と、
（ｂ）局所領域における全画素値平均値以下の画素値を持つ選択画素のみの画素値平均である低画素値平均値と、
（ｃ）局所領域における全画素値平均値以上の画素値を持つ選択画素のみの画素値平均である高画素値平均値と、
の３つの統計量を算出し、各画像間の統計量の比較に基づいて、高周波ブレ領域であるか否かを判定する処理を実行することを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記高周波ブレ領域検出ステップは、第１のフラッシュ無し撮影画像と、フラッシュ有り撮影画像と、第２のフラッシュ無し撮影画像とに基づいて、ブレ領域内の各画素が高周波ブレ領域に含まれるか否かを判定する処理を実行するステップを含み、検証対象画素について、第１のフラッシュ無し撮影画像と第２のフラッシュ無し撮影画像の画素値差分を算出し、算出した画素値差分＜閾値であり、かつ、第１のフラッシュ無し撮影画像における検証対象画素を含む局所領域と、フラッシュ有り撮影縮小画像における対応局所領域内の画素値変移データの微分値の符号が異なる場合、または、画素値差分＜閾値であり、かつ、フラッシュ有り撮影画像の検証対象画素を含む局所領域と、第２のフラッシュ無し撮影画像の対応局所領域内の画素値変移データの微分値の符号が異なる場合に、検証対象画素が高周波ブレ領域に含まれると判定する処理を実行することを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、縮小画像生成ステップを有し、ホワイトバランス補正係数の算出は、前記縮小画像生成ステップにおいて生成した縮小画像データに基づいて算出することを特徴とする。
さらに、本発明の第３の側面は、
画像処理を実行するコンピュータ・プログラムであり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出ステップと、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出ステップと、
前記フラッシュ成分抽出ステップにおける抽出データおよび前記ブレ領域検出ステップにおける検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間ステップと、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出したブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行するホワイトバランス補正ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
画像処理を実行するコンピュータ・プログラムであり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出ステップと、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出ステップと、
前記フラッシュ成分抽出ステップにおける抽出データおよび前記ブレ領域検出ステップにおける検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間ステップと、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出したブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行するホワイトバランス補正ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
さらに、本発明のコンピュータ・プログラムの一実施態様において、前記コンピュータ・プログラムは、さらに、前記ブレ領域検出ステップにおいて検出したブレ領域から、高周波ブレ領域の検出処理を実行する高周波ブレ領域検出ステップを有し、前記ホワイトバランス補正係数算出ステップは、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するとともに、前記高周波ブレ領域検出ステップにおいて検出された高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するステップであり、前記ホワイトバランス補正係数補間ステップは、前記複数の画像データにおいて低周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域または高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数に基づく補間により算出するステップであり、前記ホワイトバランス補正ステップは、前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域および高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出した低周波ブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行することを特徴とする。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の構成によれば、フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データに基づいて、フラッシュ有り撮影画像に含まれるフラッシュ成分画像データと、外光成分画像データとを抽出し、ホワイトバランス補正係数算出部において、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するとともに、ホワイトバランス補正係数補間部において、ブレ領域に含まれる画素に対応するホワイトバランス補正係数を、非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出して、これらのホワイトバランス補正係数に基づいてホワイトバランス補正処理を実行する構成としたので、ブレ領域、非ブレ領域とも適正なホワイトバランス調整が実行できる。
さらに、本発明の構成によれば、高周波ブレ領域の検出処理を実行する高周波ブレ領域検出部を設け、ホワイトバランス補正係数算出部において、ブレの認められない非ブレ領域と高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数を算出する。低周波ブレ領域においてのみ、ホワイトバランス補正係数を補間により算出する。本構成により、非ブレ領域および高周波ブレ領域に含まれる画素については、補間処理によらない画素対応のホワイトバランス補正係数を適用したホワイトバランス調整が実行され、補間によって算出する補正係数を低周波ブレ領域のみに限定することが可能となり、より適格な補正係数を適用したホワイトバランス調整が実現される。
さらに、本発明の構成によれば、フラッシュなどの撮影時の補助光源を備えたデジタルカメラなどのフラッシュ撮影において、フラッシュの色温度が外光と異なる場合にホワイトバランス調整がうまくいかないという問題があるが、フラッシュ無し撮影画像とフラッシュ有り撮影画像を複数毎連続撮影し、これらの画像データに基づく画像処理によってフラッシュ成分の抽出、外光にあわせたホワイトバランス調整を行なうことで、より自然なホワイトバランス調整が可能となる。また、被写体のブレ領域に対しても、周波数に応じた領域分割とそれぞれに最適なホワイトバランス調整を行うことが可能であるので、被写体のブレ領域も考慮した最適なホワイトバランス調整が実現される。
以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法の詳細について説明する。
図１は、本発明の画像処理装置の一構成例を示すデジタルスチルカメラの構成を示すブロック図である。図１に示すデジタルスチルカメラは、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。光学系は、被写体の光画像を集光するレンズ１０１、光画像の光量を調整する絞り１０２、および、集光された光画像を光電変換して電気信号に変換するイメージセンサー１０３から構成される。なお、イメージセンサー１０３の例としては、ＣＣＤやＣＭＯＳなどがあげられる。
信号処理系は、イメージセンサー１０３からの電気信号をサンプリングすることによってノイズを低減させる相関２重サンプリング回路(ＣＤＳ:Correlated Double Sampling)１０４、相関２重サンプリング回路１０４が出力するアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ１０５、Ａ／Ｄコンバータ１０５から入力されるデジタル信号に所定の画像処理を施すＤＳＰブロック１０６から構成される。なお、ＤＳＰブロック１０６が実行する処理の詳細については後述する。
記録系は、ＤＳＰブロック１０６が処理した画像信号を符号化してメモリ１１２に記録し、また、読み出して復号し、ＤＳＰブロック１０６に供給するＣＯＤＥＣ(Compression/Decompression)１１１、および、画像信号を記憶するメモリ１１２から構成される。
表示系は、ＤＳＰブロック１０６が処理した画像信号をアナログ化するＤ／Ａコンバータ１０８、アナログ化された画像信号を後段のディスプレイ１１０に適合する形式のビデオ信号にエンコードするビデオエンコーダ１０９、および、入力されるビデオ信号に対応する画像を表示することによってファインダとして機能するＬＣＤ(Liquid Crystal Display)等よりなるディスプレイ１１０から構成される。
制御系は、ＣＣＤイメージセンサー１０３乃至ＤＳＰブロック１０６の動作タイミングを制御するタイミングジェネレータ(ＴＧ)１０７、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力回路１１４、および、フラッシュ１２０の発光制御などを行ったり、ドライブ１１５を制御して磁気ディスク１１６、光ディスク１１７、光磁気ディスク１１８、または半導体メモリ１１９に記憶されている制御用プログラムの読み出し、読み出した制御用プログラム、操作入力回路１１４から入力されるユーザからのコマンド等に基づいてデジタルスチルカメラの全体を制御するＣＰＵ(Central Processing Unit)などからなる制御回路１１３から構成される。
図１に示すデジタルスチルカメラにおいて、被写体の光学画像（入射光）は、レンズ１０１および絞り１０２を介してイメージセンサー１０３に入射され、イメージセンサー１０３によって光電変換されて電気信号となる。得られた電気信号は、相関２重サンプリング回路（ＣＤＳ）１０４によってノイズ成分が除去され、Ａ／Ｄコンバータによってデジタル化された後、ＤＳＰブロック１０６が内蔵する画像メモリに一時格納される。ＤＳＰブロック１０６においては、Ａ／Ｄコンバータ１０５から入力されるデジタル画像信号に対してＲＧＢ同時化処理を行い、出力するビット数にあわせて階調の圧縮を行う階調圧縮処理を行う。
なお、通常の状態では、タイミングジェネレータ１０７による信号処理系に対する制御により、ＤＳＰブロック１０６が内蔵する画像メモリには、イメージセンサー１０３から情報量を減らした画像信号が、一定のフレームレートで絶えず上書きされるようになされている。ＤＳＰブロック１０６が内蔵する画像メモリの画像信号は、Ｄ／Ａコンバータ１０８によってアナログ信号に変換され、ビデオエンコーダ１０９によってビデオ信号に変換されて対応する画像がディスプレイ１１０に表示される。ディスプレイ１１０は、当該デジタルスチルカメラのファインダの役割も担っている。
ユーザが操作入力回路１１４に含まれるシャッタボタンを押下した場合、制御回路１１３は、タイミングジェネレータ１０７がシャッタボタンを押下したタイミングで、イメージセンサー１０３に対し全画素読出しのトリガーをかけるように制御を行い、読み出された画像信号を保持するように、すなわち、ＤＳＰブロック１０６の画像メモリに画像信号が上書きされないように信号処理系を制御する。ＤＳＰブロック１０６の画像メモリに保持された画像データは、ＤＳＰブロックにおいてデモザイク処理、階調変換処理などを行い、ＣＯＤＥＣ１１１によって符号化されてメモリ１１２に記録される。以上のようなデジタルスチルカメラの動作によって、１枚の画像データの取り込みが完了する。
また、フラッシュのホワイトバランスを補正するモードの場合は、ユーザが操作入力回路１１４に含まれるシャッタボタンを押下した場合、制御回路１１３は、タイミングジェネレータ１０７がシャッタボタンを押下したタイミングで、イメージセンサー１０３に対し複数回の全画素読出しのトリガーをかけ、また、フラッシュ１２０をそれぞれの読出しに対し異なる量の発光を行うように制御を行い、読み出した画像信号をＤＳＰブロック１０６の画像メモリに保持するように制御を行う。ＤＳＰブロック１０６の画像メモリに保持された画像データは、ＤＳＰブロックにおいてデモザイク処理、ホワイトバランス調整処理、階調変換処理などを行い、ＣＯＤＥＣ１１１によって符号化されてメモリ１１２に記録される。以上のようなデジタルスチルカメラの動作によって、１枚の画像データの取り込みが完了する。
次に、ＤＳＰブロック１０６の構成例について、図２を用いて説明する。デモザイク回路２００は、イメージセンサー１０３から読み出された色モザイク画像信号を入力とし、デモザイク処理を行い、処理結果をスイッチ２０１に出力する。ここにおけるデモザイク処理とは、イメージセンサー１０３が出力する各画素に単色の情報しかない色モザイク画像信号を、各画素に全色の情報を揃える処理のことを指す。
スイッチ２０１は、フラッシュのホワイトバランスを補正するモードで撮影した場合は、ホワイトバランス調整回路２０２に結線し、その他のモードの時は階調変換回路２０３に結線する。ホワイトバランス調整回路２０２は、フラッシュの強度を変えて撮影されデモザイク処理された複数枚の画像信号を入力とし、フラッシュ成分のホワイトバランスを外光成分に合わせることでフラッシュと外光のホワイトバランスが異なる場合においても自然なバランスのとれた一枚の画像信号を算出し、結果を階調変換回路２０３に出力する。階調変換回路２０３は、デモザイク処理された画像信号、または、デモザイク及びフラッシュのホワイトバランス補正を行った画像信号を入力とし、出力するビット数にあわせて階調を圧縮する階調変換処理を行い、結果を出力する。
次に、ホワイトバランス調整回路２０２の複数の構成例について説明する。以下に示す４つの構成例について順次、説明する。
（１）第１の構成例：フラッシュ無し撮影画像とフラッシュ有り撮影画像の２枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成
（２）第２の構成例：第１のフラッシュ無し撮影画像とフラッシュ有り撮影画像と、第２のフラッシュ無し撮影画像の３枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成
（３）第３の構成例：フラッシュ無し撮影画像とフラッシュ有り撮影画像の２枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成において、高周波ブレ領域を検出して高周波ブレ領域に対する特別の調整を実行する構成
（４）第４の構成例：第１のフラッシュ無し撮影画像とフラッシュ有り撮影画像と、第２のフラッシュ無し撮影画像の３枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成において、高周波ブレ領域を検出して高周波ブレ領域に対する特別の調整を実行する構成
（１）第１の構成例：フラッシュ無し撮影画像とフラッシュ有り撮影画像の２枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成
（２）第２の構成例：第１のフラッシュ無し撮影画像とフラッシュ有り撮影画像と、第２のフラッシュ無し撮影画像の３枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成
（３）第３の構成例：フラッシュ無し撮影画像とフラッシュ有り撮影画像の２枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成において、高周波ブレ領域を検出して高周波ブレ領域に対する特別の調整を実行する構成
（４）第４の構成例：第１のフラッシュ無し撮影画像とフラッシュ有り撮影画像と、第２のフラッシュ無し撮影画像の３枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成において、高周波ブレ領域を検出して高周波ブレ領域に対する特別の調整を実行する構成
［（１）第１の構成例］
まず、第１の構成例として、フラッシュ無し撮影画像とフラッシュ有り撮影画像の２枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成について、図３を用いて説明する。フラッシュのホワイトバランスを補正するモードで撮影した場合、ホワイトバランス調整回路２０２は、フラッシュの強度を変えて連続撮影されデモザイク処理された複数枚の画像信号を入力するが、図３に示す構成例はフラッシュ無し撮影画像とフラッシュ有り撮影画像の２枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成を持つホワイトバランス調整回路２０２の一構成例である。
まず、第１の構成例として、フラッシュ無し撮影画像とフラッシュ有り撮影画像の２枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成について、図３を用いて説明する。フラッシュのホワイトバランスを補正するモードで撮影した場合、ホワイトバランス調整回路２０２は、フラッシュの強度を変えて連続撮影されデモザイク処理された複数枚の画像信号を入力するが、図３に示す構成例はフラッシュ無し撮影画像とフラッシュ有り撮影画像の２枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成を持つホワイトバランス調整回路２０２の一構成例である。
図３に示すホワイトバランス調整回路２０２の構成について説明する。縮小画像生成回路２１０は、入力画像を縮小する処理を行う。本構成例の場合は、ホワイトバランス調整回路２０２に入力されたフラッシュ無し撮影画像とフラッシュ有り撮影画像の２枚の入力画像をそれぞれ縮小し、縮小したフラッシュ無し撮影画像を縮小画像保持用ＲＡＭ１，２１１に出力して格納し、縮小したフラッシュ有り撮影画像を縮小画像保持用ＲＡＭ２，２１２に出力して格納する。
なお、縮小画像生成回路２１０は省略する構成も可能であるが、この場合には、入力データ保持用のメモリ、すなわち、縮小画像保持用ＲＡＭ１，２１１、縮小画像保持用ＲＡＭ２，２１２のメモリサイズを大きくすることが必要となり、また後段の処理回路における計算量も増加することになり、回路規模を大きくすることが必要となる。本実施例では、縮小画像生成回路２１０を設置することにより、回路規模の縮小、計算量の削減を図っている。
画像保持用ＲＡＭ２１３は、ホワイトバランス調整回路２０２に入力されたフラッシュ有り撮影画像を保持する。この画像は縮小処理のなされていない画像データである。
ブレ領域検出回路２１６は、縮小画像保持用ＲＡＭ１，２１１に保持されているフラッシュ無し撮影縮小画像と、縮小画像保持用ＲＡＭ２，２１２に保持されているフラッシュ有り撮影縮小画像を入力とし、被写体の動き等によるブレ領域の検出を行い、結果をフラッシュ成分抽出回路１，２１５と、ホワイトバランス補正係数補間回路２１７に出力する。
ブレ領域検出回路２１６で実行するブレ領域の検出の方法は、例えばフラッシュ無し撮影画像とフラッシュ有り撮影画像の各々において画素毎に周辺画素との画素値変移データに対する微分値を算出しその符号が一致していなければブレの発生している領域であると判定し、そうでなければブレの発生していない領域でないと判定する。つまり、ブレ領域でない非ブレ領域である場合は、フラッシュ無し撮影画像、フラッシュ有り撮影画像に関わらず、画素間の微分値は等しくなるはずであり、そうでない場合は、ブレ領域であると判断する。
フラッシュ成分抽出回路１，２１５は、縮小画像保持用ＲＡＭ１，２１１に保持されているフラッシュ無し撮影縮小画像と、縮小画像保持用ＲＡＭ２，２１２に保持されているフラッシュ有り撮影縮小画像と、ブレ領域検出回路２１６から出力されるブレ領域情報を入力し、ブレ領域でないと判定された領域、つまり、静止物体領域に対し、フラッシュ有り無しの２入力画像の差分を利用してフラッシュ成分と外光成分の分離を行い、結果をホワイトバランス補正係数算出回路２１８に出力する。
フラッシュ成分ホワイトバランス補正係数算出回路２１４は、縮小画像保持用ＲＡＭ１，２１１に保持されているフラッシュ無し撮影縮小画像と、縮小画像保持用ＲＡＭ２，２１２に保持されているフラッシュ有り撮影縮小画像と、ブレ領域検出回路２１６から出力されるブレ領域情報を入力とし、ブレ領域でないと判定された領域、つまり、静止物体領域において、外光とフラッシュ光がある程度あたっている領域を検出し、フラッシュ有り無しの２入力画像の差分を利用して、フラッシュ光と外光の成分分離を行い、それぞれの成分のホワイトバランスからフラッシュ成分のホワイトバランスの補正係数（外光のホワイトバランスにあわせるための補正係数）を算出し、その結果をホワイトバランス補正係数算出回路２１８に出力する。
フラッシュ成分抽出回路１，２１５において実行するフラッシュ成分と外光成分の分離処理と、フラッシュ成分ホワイトバランス補正係数算出回路２１４において実行するフラッシュ成分のホワイトバランスの補正係数の算出処理の詳細について説明する。
撮影画像にあらわれる物体の色は、光がその物体に反射しイメージセンサーに入射し撮像されたものである。たとえば、白色光源下で、ある物体が画像上で赤色である場合、その物体は、赤色に相当する周波数の可視光をよく反射し、それ以外の色に相当する周波数の光は吸収する特性を持っている。つまり、物体には、各周波数の光に関して固有の反射率を持っていると言える。いま、物体の各ＲＧＢ色成分に関する光の反射率を（Ｏｒ，Ｏｇ，Ｏｂ）として、ある色温度の光を（ｌｒ，ｌｇ，ｌｂ）であらわす。１つの光源からの光（ｌｒ，ｌｇ，ｌｂ）が物体（Ｏｒ，Ｏｇ，Ｏｂ）に反射した光がカメラによって撮像される時、イメージセンサーに入射し撮像された画像を構成する画素の値（Ｉｒ，Ｉｇ，Ｉｂ）は、以下に示す式（１）で表現することができる。
（Ｉｒ，Ｉｇ，Ｉｂ）＝（ｋ１×ｌｒ×Ｏｒ，ｋ１×ｌｇ×Ｏｇ，ｋ１×ｌｂ×Ｏｂ）
・・・・・式（１）
（Ｉｒ，Ｉｇ，Ｉｂ）＝（ｋ１×ｌｒ×Ｏｒ，ｋ１×ｌｇ×Ｏｇ，ｋ１×ｌｂ×Ｏｂ）
・・・・・式（１）
式（１）は、１つの光源からの光が被写体である物体に反射した場合の撮像面の入射光（Ｉｒ，Ｉｇ，Ｉｂ）を表しており、（ｌ１ｒ，ｌ１ｇ，ｌ１ｂ）は光源の色温度、（Ｏｒ，Ｏｇ，Ｏｂ）は物体の反射率、ｋ１は、１つの光源の光の強さを表すスカラー値を表している。
いま、例えば外光とフラッシュ光のように２つの照射光として、光源１（ｌ１ｒ，ｌ１ｇ，ｌ１ｂ），と、光源２（ｌ２ｒ，ｌ２ｇ，ｌ２ｂ）があり、これらの２つの光が、ある物体（Ｏｒ，Ｏｇ，Ｏｂ）に反射した光をカメラで撮像する場合、カメラの撮影画像の画素値（Ｉｒ，Ｉｇ，Ｉｂ）は、以下に示す式（２）で表現することができる。
（Ｉｒ，Ｉｇ，Ｉｂ）＝（（ｋ１×ｌ１ｒ＋ｋ２×ｌ２ｒ）×Ｏｒ，（ｋ１×ｌ１ｇ＋ｋ２×ｌ２ｇ）×Ｏｇ，（ｋ１×ｌ１ｂ＋ｋ２×ｌ２ｂ）×Ｏｂ）
・・・・・式（２）
ここで、ｋ１は光源１の強さ、ｋ２は光源２の強さを表すスカラー値である。
（Ｉｒ，Ｉｇ，Ｉｂ）＝（（ｋ１×ｌ１ｒ＋ｋ２×ｌ２ｒ）×Ｏｒ，（ｋ１×ｌ１ｇ＋ｋ２×ｌ２ｇ）×Ｏｇ，（ｋ１×ｌ１ｂ＋ｋ２×ｌ２ｂ）×Ｏｂ）
・・・・・式（２）
ここで、ｋ１は光源１の強さ、ｋ２は光源２の強さを表すスカラー値である。
上記式（２）は、光源が２種類有った場合の撮像面の入射光（Ｉｒ，Ｉｇ，Ｉｂ）を表しており、（ｌ１ｒ，ｌ１ｇ，ｌ１ｂ）は光源１の色温度、（ｌ２ｒ，ｌ２ｇ，ｌ２ｂ）は光源２の色温度、ｋ１は光源１の光の強さ、ｋ２は光源２の光の強さを表している。
上記式において、外光の色温度（ｌ１ｒ，ｌ１ｇ，ｌ１ｂ）は、フラッシュ無し撮影画像やフラッシュ有り撮影画像のフラッシュの当たってない領域から従来のオートホワイトバランス処理で算出可能であり、フラッシュ光の色温度（ｌ２ｒ，ｌ２ｇ，ｌ２ｂ）は、フラッシュ装置固有のものなので既知であり予め取得可能な値である。
外光の色温度（ｌ１ｒ，ｌ１ｇ，ｌ１ｂ）と、フラッシュ光の色温度（ｌ２ｒ，ｌ２ｇ，ｌ２ｂ）とに基づいて、フラッシュ成分のホワイトバランス補正係数（ｃｒ，ｃｇ，ｃｂ）を算出するための式として、下式、式（３）が設定される。
ｌ１ｒ：ｌ１ｇ：ｌ１ｂ＝ｃｒ×ｌ２ｒ：ｃｇ×ｌ２ｇ：ｃｂ×ｌ２ｂ
・・・式（３）
ｌ１ｒ：ｌ１ｇ：ｌ１ｂ＝ｃｒ×ｌ２ｒ：ｃｇ×ｌ２ｇ：ｃｂ×ｌ２ｂ
・・・式（３）
ここで、光源１を外光、光源２をフラッシュ光とする。縮小画像保持用ＲＡＭ１，２１１には、フラッシュ無し撮影縮小画像が格納されており、この画像データは、上記式（１）に対応する画素値：（Ｉｒ，Ｉｇ，Ｉｂ）＝（ｋ１×ｌｒ×Ｏｒ，ｋ１×ｌｇ×Ｏｇ，ｋ１×ｌｂ×Ｏｂ）を有しており、縮小画像保持用ＲＡＭ２，２１２には、フラッシュ有り撮影縮小画像が格納されており、この画像データは、上記式（２）に対応する画素値：（Ｉｒ，Ｉｇ，Ｉｂ）＝（（ｋ１×ｌ１ｒ＋ｋ２×ｌ２ｒ）×Ｏｒ，（ｋ１×ｌ１ｇ＋ｋ２×ｌ２ｇ）×Ｏｇ，（ｋ１×ｌ１ｂ＋ｋ２×ｌ２ｂ）×Ｏｂ）を有している。
フラッシュ成分ホワイトバランス補正係数算出回路２１４は、縮小画像保持用ＲＡＭ１，２１１に格納されたフラッシュ無し撮影縮小画像データと、縮小画像保持用ＲＡＭ２，２１２に格納されたフラッシュ有り撮影縮小画像データとを入力し、さらに、ブレ領域検出回路２１６からのブレ領域情報を入力する。
フラッシュ成分ホワイトバランス補正係数算出回路２１４は、これらの入力データに基づいて、上記式（１）〜（３）に従って、フラッシュ成分ホワイトバランス補正係数（ｃｒ，ｃｇ，ｃｂ）を算出し、ホワイトバランス補正係数算出回路２１８に出力する。
また、フラッシュ成分抽出回路１，２１５は、フラッシュ有り撮影縮小画像の持つ入射光（Ｉｒ，Ｉｇ，Ｉｂ）からフラッシュ無し撮影画像における入射光（Ｉｒ，Ｉｇ，Ｉｂ）を減算し、フラッシュ有り撮影縮小画像における入射光（Ｉｒ，Ｉｇ，Ｉｂ）に含まれるフラッシュ成分（ｋ２×ｌ２ｒ×Ｏｒ，ｋ２×ｌ２ｇ×Ｏｇ，ｋ２×ｌ２ｂ×Ｏｂ）を抽出する。この抽出処理においては、ブレ領域検出回路２１６から入力するブレ領域情報に基づいて、フラッシュ有り撮影縮小画像においてフラッシュがあたっていて、かつ、ブレていない領域を選択して実行する。この処理により正確なフラッシュ成分算出が可能となる。
さらに、フラッシュ有り撮影縮小画像における入射光（Ｉｒ，Ｉｇ，Ｉｂ）に含まれる外光成分を、フラッシュ有り撮影縮小画像における入射光（Ｉｒ，Ｉｇ，Ｉｂ）から、上記フラッシュ成分（ｋ２×ｌ２ｒ×Ｏｒ，ｋ２×ｌ２ｇ×Ｏｇ，ｋ２×ｌ２ｂ×Ｏｂ）を減算する処理によって算出する。すなわち、外光成分（ｋ１×ｌ１ｒ×Ｏｒ，ｋ１×ｌ１ｇ×Ｏｇ，ｋ１×ｌ１ｂ×Ｏｂ）を算出する。
フラッシュ成分抽出回路１，２１５は、これらのフラッシュ成分データおよび外光成分データ、すなわち、
フラッシュ成分：（ｋ２×ｌ２ｒ×Ｏｒ，ｋ２×ｌ２ｇ×Ｏｇ，ｋ２×ｌ２ｂ×Ｏｂ）
外光成分：（ｋ１×ｌ１ｒ×Ｏｒ，ｋ１×ｌ１ｇ×Ｏｇ，ｋ１×ｌ１ｂ×Ｏｂ）
を算出して、ホワイトバランス補正係数算出回路２１８に出力する。
フラッシュ成分：（ｋ２×ｌ２ｒ×Ｏｒ，ｋ２×ｌ２ｇ×Ｏｇ，ｋ２×ｌ２ｂ×Ｏｂ）
外光成分：（ｋ１×ｌ１ｒ×Ｏｒ，ｋ１×ｌ１ｇ×Ｏｇ，ｋ１×ｌ１ｂ×Ｏｂ）
を算出して、ホワイトバランス補正係数算出回路２１８に出力する。
なお、上述した処理においては、フラッシュ成分ホワイトバランス補正係数算出回路２１４は、式（１）〜（３）の適用によって、入力画像データに基づいてフラッシュ成分ホワイトバランス補正係数を算出する処理構成を示したが、カメラから直接与えられる係数に基づいて直接、フラッシュ成分ホワイトバランス補正係数を取得する構成としてもよい。例えば、外光のホワイトバランスがカメラのオートホワイトバランス等で算出されている場合、フラッシュのホワイトバランスは既知なので、フラッシュ成分のホワイトバランスを外光のホワイトバランスにあわせる補正係数は一意に求めることができる。
ホワイトバランス補正係数算出回路２１８は、フラッシュ成分抽出回路１，２１５からの出力、すなわち、下記のフラッシュ成分データおよび外光成分データ、
フラッシュ成分：（ｋ２×ｌ２ｒ×Ｏｒ，ｋ２×ｌ２ｇ×Ｏｇ，ｋ２×ｌ２ｂ×Ｏｂ）
外光成分：（ｋ１×ｌ１ｒ×Ｏｒ，ｋ１×ｌ１ｇ×Ｏｇ，ｋ１×ｌ１ｂ×Ｏｂ）
と、
フラッシュ成分ホワイトバランス補正係数算出回路２１４の出力、すなわち、
フラッシュ成分ホワイトバランス補正係数：（ｃｒ，ｃｇ，ｃｂ）
とを入力し、ブレていない静止物体領域におけるホワイトバランス補正係数を算出し、結果をホワイトバランス補正係数補間回路２１７とホワイトバランス補正回路２１９に出力する。
フラッシュ成分：（ｋ２×ｌ２ｒ×Ｏｒ，ｋ２×ｌ２ｇ×Ｏｇ，ｋ２×ｌ２ｂ×Ｏｂ）
外光成分：（ｋ１×ｌ１ｒ×Ｏｒ，ｋ１×ｌ１ｇ×Ｏｇ，ｋ１×ｌ１ｂ×Ｏｂ）
と、
フラッシュ成分ホワイトバランス補正係数算出回路２１４の出力、すなわち、
フラッシュ成分ホワイトバランス補正係数：（ｃｒ，ｃｇ，ｃｂ）
とを入力し、ブレていない静止物体領域におけるホワイトバランス補正係数を算出し、結果をホワイトバランス補正係数補間回路２１７とホワイトバランス補正回路２１９に出力する。
具体的には、フラッシュ成分抽出回路１，２１５の出力であるフラッシュ成分：（ｋ２×ｌ２ｒ×Ｏｒ，ｋ２×ｌ２ｇ×Ｏｇ，ｋ２×ｌ２ｂ×Ｏｂ）に対し、フラッシュ成分ホワイトバランス補正係数算出回路２１４の出力であるフラッシュ成分ホワイトバランス補正係数：（ｃｒ，ｃｇ，ｃｂ）を積算することでフラッシュ成分のホワイトバランスを外光に合わせ、それをフラッシュ成分抽出回路１，２１５の出力である外光成分：（ｋ１×ｌ１ｒ×Ｏｒ，ｋ１×ｌ１ｇ×Ｏｇ，ｋ１×ｌ１ｂ×Ｏｂ）に加算する処理を実行して、ホワイトバランスが補正されたフラッシュ＋外光成分を算出し、補正前のフラッシュ＋外光成分データ、すなわち、フラッシュ有り撮影画像の持つ画像データとの比率から最終的なホワイトバランス補正係数を算出する。
なお、ホワイトバランス補正係数算出回路２１８は、フラッシュ成分抽出回路１，２１５の出力に含まれるブレていない領域、すなわち非ブレ領域に含まれる画素に対応するホワイトバランス補正係数のみを算出する。
ホワイトバランス補正係数補間回路２１７は、縮小画像保持用ＲＡＭ２，２１２に保持されているフラッシュ有り撮影縮小画像と、ホワイトバランス補正係数算出回路２１８から出力されるホワイトバランス補正係数と、ブレ領域検出回路２１６から出力されるブレ領域情報を入力とし、ブレ領域に位置する画素に対するホワイトバランス補正係数を、周辺のブレていない静止物体領域に位置する画素に対するホワイトバランス補正係数に基づいて補間する処理を実行する。周辺のブレていない静止物体領域に位置する画素に対するホワイトバランス補正係数は、ホワイトバランス補正係数算出回路２１８から入力する。
ホワイトバランス補正係数補間回路２１７では、ブレ領域に位置する画素に対するホワイトバランス補正係数を、周辺のブレていない静止物体領域に位置する画素に対するホワイトバランス補正係数に基づいて、単純に拡散フィルタで穴埋めする方法、あるいは縮小画像保持用ＲＡＭ２，２１２に保持されているフラッシュ有り撮影縮小画像を利用してエッジ方向を算出し、それを利用した重み付け補間を行う。エッジ方向情報を利用した重み付け補間を行うことで、よりエッジに自然な補間を行うことができる。
ホワイトバランス補正係数補間回路２１７は、ブレ領域に位置する画素に対するホワイトバランス補正係数を算出し、この結果をホワイトバランス補正回路２１９に出力する。
ホワイトバランス補正回路２１９は、画像保持用ＲＡＭ２１３に保持されているフラッシュ有り撮影画像に対し、ブレ領域に関しては、ホワイトバランス補正係数補間回路２１７で算出された補正係数を適用して補正を行い、ブレ領域でない領域（静止物体領域ホワイト）に対しては、ホワイトバランス補正係数算出回路２１８で算出された補正係数を適用して補正を行い、各画素に対応したホワイトバランス調整処理を実行し、その結果を出力する。
なお、ホワイトバランス補正係数補間回路２１７とホワイトバランス補正係数算出回路２１８で算出された補正係数は、縮小画像に対して算出されたものであり、画像保持用ＲＡＭ２１３に保持されているフラッシュ有り撮影画像は縮小されていない画像であるので、縮小画像に対応して算出されたホワイトバランス補正係数に対して拡大フィルタなどを適用することで、各補正係数を画像保持用ＲＡＭ２１３に保持されているフラッシュ有り撮影画像データの画素位置に対応付ける処理を実行した後、各画素に対するホワイトバランス調整処理を実行する。
［（２）第２の構成例］
次に、第１のフラッシュ無し撮影画像とフラッシュ有り撮影画像と、第２のフラッシュ無し撮影画像の３枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成について、図４を用いて説明する。フラッシュのホワイトバランスを補正するモードで撮影した場合、ホワイトバランス調整回路２０２は、フラッシュの強度を変えて連続撮影されデモザイク処理された複数毎の画像信号を入力するが、本構成例は、
（１）フラッシュ無し撮影画像、
（２）フラッシュ有り撮影画像、
（３）フラッシュ無し撮影画像
の連続撮影された３枚を画像を入力としてホワイトバランス調整を実行する構成例である。
次に、第１のフラッシュ無し撮影画像とフラッシュ有り撮影画像と、第２のフラッシュ無し撮影画像の３枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成について、図４を用いて説明する。フラッシュのホワイトバランスを補正するモードで撮影した場合、ホワイトバランス調整回路２０２は、フラッシュの強度を変えて連続撮影されデモザイク処理された複数毎の画像信号を入力するが、本構成例は、
（１）フラッシュ無し撮影画像、
（２）フラッシュ有り撮影画像、
（３）フラッシュ無し撮影画像
の連続撮影された３枚を画像を入力としてホワイトバランス調整を実行する構成例である。
ホワイトバランス調整回路２０２に入力される連続撮影されたフラッシュ無し、フラッシュ有り、フラッシュ無しの３枚の画像データは、縮小画像生成回路２３０で縮小され、それぞれ、縮小画像保持用ＲＡＭ１，２３１、縮小画像保持用ＲＡＭ２，２３２、縮小画像保持用ＲＡＭ２，２３３、に保持される。また、入力されたフラッシュ有り撮影画像は、画像保持用メモリ２３４に保持される。
ブレ領域検出回路２３７は、
縮小画像保持用ＲＡＭ１，２３１に保持されているフラッシュ無し撮影縮小画像１と、
縮小画像保持用ＲＡＭ２，２３２に保持されているフラッシュ有り撮影縮小画像と、
縮小画像保持用ＲＡＭ３，２３３に保持されているフラッシュ無し撮影縮小画像２、
の３枚の画像を入力とし、時間が異なって撮影されたフラッシュ無し撮影縮小画像１とフラッシュ無し撮影縮小画像２の差分の絶対値を利用して、被写体の動きなどによるブレ領域を検出する。これら２枚の画像の差分の絶対値がある閾値以上だったら、ブレ領域であると判定する。また、フラッシュ有り撮影縮小画像とフラッシュ無し撮影縮小画像１、または、フラッシュ有り撮影縮小画像とフラッシュ無し撮影縮小画像２の差分値がある閾値以下だった場合もブレ領域と判定する。つまり、ブレ領域でない場合（静止物体領域）は前記の差分値はフラッシュによる増分値（少なくとも正の値）をとるはずであり、そうでない場合は、ブレ領域であると判定する。これにより、図３の第１の構成例のフラッシュ無し、有りの２枚の撮影画像を利用したブレ領域検出に比べ、本構成例の場合、高い精度でブレ領域の検出を行うことができる。
縮小画像保持用ＲＡＭ１，２３１に保持されているフラッシュ無し撮影縮小画像１と、
縮小画像保持用ＲＡＭ２，２３２に保持されているフラッシュ有り撮影縮小画像と、
縮小画像保持用ＲＡＭ３，２３３に保持されているフラッシュ無し撮影縮小画像２、
の３枚の画像を入力とし、時間が異なって撮影されたフラッシュ無し撮影縮小画像１とフラッシュ無し撮影縮小画像２の差分の絶対値を利用して、被写体の動きなどによるブレ領域を検出する。これら２枚の画像の差分の絶対値がある閾値以上だったら、ブレ領域であると判定する。また、フラッシュ有り撮影縮小画像とフラッシュ無し撮影縮小画像１、または、フラッシュ有り撮影縮小画像とフラッシュ無し撮影縮小画像２の差分値がある閾値以下だった場合もブレ領域と判定する。つまり、ブレ領域でない場合（静止物体領域）は前記の差分値はフラッシュによる増分値（少なくとも正の値）をとるはずであり、そうでない場合は、ブレ領域であると判定する。これにより、図３の第１の構成例のフラッシュ無し、有りの２枚の撮影画像を利用したブレ領域検出に比べ、本構成例の場合、高い精度でブレ領域の検出を行うことができる。
ブレ領域検出回路２３７は、このように、３枚の画像データを用いた高精度でのブレ領域検出を実行し、ブレ領域以外の静止領域対応の画素については、ホワイトバランス補正係数算出回路２３８においてホワイトバランス補正係数が算出され、ブレ領域の画素については、ホワイトバランス補正係数補間回路２３９においてホワイトバランス補正係数算出回路２３８からの入力係数に基づく補間処理によってホワイトバランス補正係数が算出され、ホワイトバランス補正回路２４０では、これらの算出値に基づくホワイトバランス補正処理が実行される。これらの処理は、先に図３を参照して説明した処理と同様であるので説明は省略する。
本構成例が、図３のホワイトバランス調整回路２０２の第１の構成例と異なるのは、入力画像が３枚になった点、縮小画像保持用ＲＡＭ３，２３３の追加、ブレ領域検出回路２３７の処理内容の変更で、それ以外は図３の第１の構成例と同様の処理である。本構成によれば、高い精度でブレ領域の検出を行うことができ、高精度で検出したブレ領域に対応した的確なホワイトバランス調整が可能となる。
［（３）第３の構成例］
次に、第３の構成例として、フラッシュ無し撮影画像とフラッシュ有り撮影画像の２枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成において、高周波ブレ領域を検出して高周波ブレ領域に対する特別の調整を実行するホワイトバランス調整回路構成について、図５を用いて説明する。
次に、第３の構成例として、フラッシュ無し撮影画像とフラッシュ有り撮影画像の２枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成において、高周波ブレ領域を検出して高周波ブレ領域に対する特別の調整を実行するホワイトバランス調整回路構成について、図５を用いて説明する。
本構成例はフラッシュ無し撮影画像と、フラッシュ有り撮影画像の２枚を入力とした構成例である。入力は、ホワイトバランス調整回路２０２の第１の構成例（図３）と同様であるが、後段の回路構成が異なる。
ホワイトバランス調整回路２０２に入力される連続撮影されたフラッシュ無し撮影画像、フラッシュ有り撮影画像の２枚の画像データは、縮小画像生成回路２５０で縮小され、それぞれ、縮小画像保持用ＲＡＭ１，２５１、縮小画像保持用ＲＡＭ２，２５２に保持される。また、入力されたフラッシュ有り撮影画像は、画像保持用メモリ２５３に保持される。
ブレ領域検出回路２５６は、図３のブレ領域検出回路２１６と同様に、フラッシュ無し撮影縮小画像と、フラッシュ有り撮影縮小画像との２画像データに基づいてブレ領域を判定し、結果をフラッシュ成分ホワイトバランス補正係数算出回路２５４と高周波ブレ領域検出回路２５７に出力する。
フラッシュ成分抽出回路１，２５５は、図３のブレ領域検出回路２１５と同様に、縮小画像保持用ＲＡＭ１，２５１、縮小画像保持用ＲＡＭ２，２５２の２枚の縮小画像と、ブレ領域検出回路２５６の出力を入力とし、ブレ領域でないと判定された領域（静止物体領域）について、フラッシュ無し撮影画像と、フラッシュ有り撮影画像の２つの入力画像の差分を利用してフラッシュ成分の抽出と外光成分の分離を行い、結果をホワイトバランス補正係数算出回路２５９に出力する。
高周波ブレ領域検出回路２５７は、縮小画像保持用ＲＡＭ１，２５１、縮小画像保持用ＲＡＭ２，２５２の２枚の縮小画像とブレ領域検出回路２５６の出力を入力とし、ブレ領域検出回路２５６においてブレ領域と判定された領域に対して、さらに検証を実行し、高周波ブレ領域を検出し、その結果をフラッシュ成分抽出回路２，２５８、ホワイトバランス補正係数補間回路２６０に出力する。
高周波ブレ領域検出回路２５７における高周波ブレ領域の検出処理は例えば以下の処理によって実行される。まず、ブレ領域検出回路２５６においてブレ領域として抽出された領域内において、フラッシュ無し撮影縮小画像とフラッシュ有り撮影縮小画像の低周波成分の差分を算出する。次に、算出した低周波成分の差分の絶対値と予め定めた閾値とを比較し、算出した低周波成分の差分の絶対値が閾値以下である領域を高周波ブレ領域であると判定する。
つまり、高周波ブレ領域検出回路２５７は、フラッシュ無し撮影縮小画像とフラッシュ有り撮影縮小画像の比較を行い、画素単位ではブレ領域と判定されるが、低周波成分では差分が小さい領域を高周波ブレ領域とする。低周波成分の算出方法は、ローパスフィルタなどを用いる。
高周波ブレ領域検出回路２５７における高周波ブレ領域検出処理の具体例について、図６を参照して説明する。
図６（１）において、横軸（ｘ）は注目画素の位置を示し、縦軸は、画素値を示している。（Ａ）はフラッシュ無し撮影画像の局所領域、（Ｂ）はフラッシュ有り撮影画像の局所領域で、同一の画像データ部分であるがブレ領域であるため、ＡとＢの位相はずれている。また、フラッシュ有り撮影画像Ｂの方は、フラッシュがあたっている分、フラッシュ無し撮影画像Ａに比べて画素値がその分大きくなっている。図に示すデータ部３１０がフラッシュに基づく画素値増加分として推定されるデータ部である。
ブレ領域検出回路２５６は、前述したように、フラッシュ無し撮影画像とフラッシュ有り撮影画像の各々において画素毎に周辺画素との画素値変移データに対する微分値を算出しその符号が一致していなければブレの発生している領域であると判定し、そうでなければブレの発生していない領域でないと判定する。高周波ブレ領域検出回路２５７では、この結果から、さらに、高周波ブレ領域を検出する。
高周波ブレ領域検出回路２５７では、ブレ領域検出回路２５６において、ブレ領域と判定された領域から局所領域（αβ）を選択し、（Ａ）フラッシュ無し撮影画像の局所領域（αβ）と、（Ｂ）フラッシュ有り撮影画像の局所領域（αβ）における画素値に対して、複数の統計量を算出し、この複数の統計量の差がほぼ等しい場合に、この局所領域を高周波ブレ領域と判定する。
局所領域（αβ）における画素値に対して算出する複数の統計量としては、例えば、下記式に示す各値が適用される。すなわち、
（ａ）局所領域における全画素値平均値（ａｖｇ）：式（４）
（ｂ）局所領域における低画素値平均値（ａｖｇ＿ｌｏｗ）：式（５）
（ｃ）局所領域における高画素値平均値（ａｖｇ＿ｈｉｇｈ）：式（６）
（ａ）局所領域における全画素値平均値（ａｖｇ）：式（４）
（ｂ）局所領域における低画素値平均値（ａｖｇ＿ｌｏｗ）：式（５）
（ｃ）局所領域における高画素値平均値（ａｖｇ＿ｈｉｇｈ）：式（６）
上記式（４）は、局所領域（αβ）における全画素値平均値（ａｖｇ）の算出式である。この式（４）により、
図６（Ａ）フラッシュ無し撮影画像の局所領域（αβ）についての全画素値平均値：ａｖｇ（Ａ）と、
図６（Ｂ）フラッシュ有り撮影画像の局所領域（αβ）についての全画素値平均値：ａｖｇ（Ｂ）と、
が算出される。
図６（Ａ）フラッシュ無し撮影画像の局所領域（αβ）についての全画素値平均値：ａｖｇ（Ａ）と、
図６（Ｂ）フラッシュ有り撮影画像の局所領域（αβ）についての全画素値平均値：ａｖｇ（Ｂ）と、
が算出される。
上記式（５）は、局所領域（αβ）における全画素値平均値（ａｖｇ）以下の画素値を持つ選択画素のみの画素値平均である低画素値平均値（ａｖｇ＿ｌｏｗ）の算出式である。この式（５）により、
図６（Ａ）フラッシュ無し撮影画像の局所領域（αβ）についての低画素値平均値（ａｖｇ＿ｌｏｗ）：ａｖｇ＿ｌｏｗ（Ａ）と、
図６（Ｂ）フラッシュ有り撮影画像の局所領域（αβ）についての低画素値平均値（ａｖｇ＿ｌｏｗ）：ａｖｇ＿ｌｏｗ（Ｂ）と、
が算出される。
図６（Ａ）フラッシュ無し撮影画像の局所領域（αβ）についての低画素値平均値（ａｖｇ＿ｌｏｗ）：ａｖｇ＿ｌｏｗ（Ａ）と、
図６（Ｂ）フラッシュ有り撮影画像の局所領域（αβ）についての低画素値平均値（ａｖｇ＿ｌｏｗ）：ａｖｇ＿ｌｏｗ（Ｂ）と、
が算出される。
上記式（６）は、局所領域（αβ）における全画素値平均値（ａｖｇ）以上の画素値を持つ選択画素のみの画素値平均である高画素値平均値（ａｖｇ＿ｈｉｇｈ）の算出式である。この式（６）により、
図６（Ａ）フラッシュ無し撮影画像の局所領域（αβ）についての高画素値平均値（ａｖｇ＿ｈｉｇｈ）：ａｖｇ＿ｈｉｇｈ（Ａ）と、
図６（Ｂ）フラッシュ有り撮影画像の局所領域（αβ）についての高画素値平均値（ａｖｇ＿ｈｉｇｈ）：ａｖｇ＿ｈｉｇｈ（Ｂ）と、
が算出される。
図６（Ａ）フラッシュ無し撮影画像の局所領域（αβ）についての高画素値平均値（ａｖｇ＿ｈｉｇｈ）：ａｖｇ＿ｈｉｇｈ（Ａ）と、
図６（Ｂ）フラッシュ有り撮影画像の局所領域（αβ）についての高画素値平均値（ａｖｇ＿ｈｉｇｈ）：ａｖｇ＿ｈｉｇｈ（Ｂ）と、
が算出される。
図６（２）は、横軸に画素値（ｌｏｗ〜ｈｉｇｈ）を設定し、図６（１）に示す（Ａ）フラッシュ無し撮影画像の局所領域（αβ）についての全画素値平均値（ａｖｇ（ａ））、低画素値平均値（ａｖｇ＿ｌｏｗ（ａ））、高画素値平均値（ａｖｇ＿ｈｉｇｈ（ａ））と、（Ｂ）フラッシュ有り撮影画像の局所領域（αβ）についての全画素値平均値（ａｖｇ（ｂ））、低画素値平均値（ａｖｇ＿ｌｏｗ（ｂ））、高画素値平均値（ａｖｇ＿ｈｉｇｈ（ｂ））とを示した図である。
高周波ブレ領域検出回路２５７では、このように、ブレ領域検出回路２５６において、ブレ領域と判定された領域から局所領域（αβ）を選択し、（Ａ）フラッシュ無し撮影画像の局所領域（αβ）と、（Ｂ）フラッシュ有り撮影画像の局所領域（αβ）における画素値に対して、例えば、全画素値平均値（ａｖｇ）、低画素値平均値（ａｖｇ＿ｌｏｗ）、高画素値平均値（ａｖｇ＿ｈｉｇｈ）等の複数の統計量を算出し、この複数の統計量の差がほぼ等しい場合に、この局所領域を高周波ブレ領域と判定する。すなわち、上記例においては、
（ａ１）Ｄａｖｇ＝｜ａｖｇ（Ａ）−ａｖｇ（Ｂ）｜
（ｂ１）Ｄａｖｇ＿ｌｏｗ＝｜ａｖｇ＿ｌｏｗ（Ａ）−ａｖｇ＿ｌｏｗ（Ｂ）｜
（ｃ１）Ｄａｖｇ＿ｈｉｇｈ＝｜ａｖｇ＿ｈｉｇｈ（Ａ）−ａｖｇ＿ｈｉｇｈ（Ｂ）｜
これらの３つの差分データが、ほぼ等しい場合、すなわち、
Ｄａｖｇ≒Ｄａｖｇ＿ｌｏｗ≒Ｄａｖｇ＿ｈｉｇｈ
が成立する場合に、局所領域（αβ）を高周波ブレ領域と判定する。
Ｄａｖｇ≒Ｄａｖｇ＿ｌｏｗ≒Ｄａｖｇ＿ｈｉｇｈ
が成立しない局所領域は、ブレ領域ではあるが、高周波ブレ領域ではないと判定する。
（ａ１）Ｄａｖｇ＝｜ａｖｇ（Ａ）−ａｖｇ（Ｂ）｜
（ｂ１）Ｄａｖｇ＿ｌｏｗ＝｜ａｖｇ＿ｌｏｗ（Ａ）−ａｖｇ＿ｌｏｗ（Ｂ）｜
（ｃ１）Ｄａｖｇ＿ｈｉｇｈ＝｜ａｖｇ＿ｈｉｇｈ（Ａ）−ａｖｇ＿ｈｉｇｈ（Ｂ）｜
これらの３つの差分データが、ほぼ等しい場合、すなわち、
Ｄａｖｇ≒Ｄａｖｇ＿ｌｏｗ≒Ｄａｖｇ＿ｈｉｇｈ
が成立する場合に、局所領域（αβ）を高周波ブレ領域と判定する。
Ｄａｖｇ≒Ｄａｖｇ＿ｌｏｗ≒Ｄａｖｇ＿ｈｉｇｈ
が成立しない局所領域は、ブレ領域ではあるが、高周波ブレ領域ではないと判定する。
図５に戻り、本構成例のホワイトバランス調整処理についての説明を続ける。フラッシュ成分抽出回路２，２５８は、高周波ブレ領域検出回路２５７で高周波ブレ領域と判定された領域に対して、フラッシュ成分と外光成分の成分分離を行い、結果をホワイトバランス補正係数算出回路２５９に出力する。
このフラッシュ成分抽出回路２，２５８において実行するフラッシュ成分と外光成分の分離方法は、フラッシュ成分抽出回路１，２５５と異なる。フラッシュ成分抽出回路２，２５８におけるフラッシュ成分と外光成分の分離処理について、図７を参照して説明する。図７（１）、図６（１）と同様の図であり、横軸（ｘ）は注目画素の位置を示し、縦軸は、画素値を示している。（Ａ）はフラッシュ無し撮影画像の局所領域、（Ｂ）はフラッシュ有り撮影画像の局所領域で、同一の画像データ部分であるがブレ領域であるため、ＡとＢの位相はずれている。また、フラッシュ有り撮影画像Ｂの方は、フラッシュがあたっている分、フラッシュ無し撮影画像Ａに比べて画素値がその分大きくなっている。図に示すデータ部３１０がフラッシュに基づく画素値増加分として推定されるデータ部である。
図７（１）に示すグラフは、ブレ領域であるため、ＡとＢの位相はずれている。ブレを考慮せず、単純に注目画素のフラッシュ成分を、２つの画像データ上の同一座標位置から選択して差分値として算出すると、例えば（ｂ４−ａ５）のように算出されてしまい、本来の同一被写体の画素値差分が算出されず、誤差が発生する。
フラッシュ成分抽出回路２，２５８は、ブレを考慮して正確なフラッシュ成分抽出を実行するため、以下の処理に従ってフラッシュ成分抽出処理を実行する。
このために、（Ｂ）フラッシュ有り撮影画像の注目画素を決定し、決定した注目画素に対応する（Ａ）フラッシュ無し撮影画像の画素値を推定する。この画素値推定処理は、ＡとＢの２つの画像データの局所領域の統計量を適用した処理として実行される。以下に、（Ｂ）フラッシュ有り撮影画像の注目画素の画素値（ｂ４とする）に基づいて、注目画素に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ４）を算出する式を示す。
上記式は、
（Ｂ）フラッシュ有り撮影画像の注目画素の画素値（ｂ４とする）に応じて、式（７）〜式（９）を適用して、注目画素に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を算出する式を示している。
（Ｂ）フラッシュ有り撮影画像の注目画素の画素値（ｂ４とする）に応じて、式（７）〜式（９）を適用して、注目画素に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を算出する式を示している。
低画素値平均値（ａｖｇ＿ｌｏｗ（Ｂ））≦ｂ４≦全画素値平均値（ａｖｇ（Ｂ））である場合は、式（７）に基づいて、注目画素に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を算出する。
全画素値平均値（ａｖｇ（Ｂ））≦ｂ４≦高画素値平均値（ａｖｇ＿ｈｉｇｈ（Ｂ））である場合は、式（８）に基づいて、注目画素に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を算出する。
ｂ４≦低画素値平均値（ａｖｇ＿ｌｏｗ（Ｂ））である場合は、式（９）に基づいて、注目画素に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を算出する。
高画素値平均値（ａｖｇ＿ｈｉｇｈ（Ｂ））≦ｂ４である場合は、式（１０）に基づいて、注目画素に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を算出する。
全画素値平均値（ａｖｇ（Ｂ））≦ｂ４≦高画素値平均値（ａｖｇ＿ｈｉｇｈ（Ｂ））である場合は、式（８）に基づいて、注目画素に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を算出する。
ｂ４≦低画素値平均値（ａｖｇ＿ｌｏｗ（Ｂ））である場合は、式（９）に基づいて、注目画素に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を算出する。
高画素値平均値（ａｖｇ＿ｈｉｇｈ（Ｂ））≦ｂ４である場合は、式（１０）に基づいて、注目画素に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を算出する。
上記式において、全画素値平均値（ａｖｇ（Ｂ））、低画素値平均値（ａｖｇ＿ｌｏｗ（Ｂ））、高画素値平均値（ａｖｇ＿ｈｉｇｈ（Ｂ）は、前述の式（４）〜（６）、すなわち、
（ａ）局所領域における全画素値平均値（ａｖｇ）
（ｂ）局所領域における低画素値平均値（ａｖｇ＿ｌｏｗ））
（ｃ）局所領域における高画素値平均値（ａｖｇ＿ｈｉｇｈ）
であり、図７（２）に示すような分布である。この処理によって、図７（３）に示すように、（Ｂ）フラッシュ有り撮影画像の注目画素の画素値（ｂ４）に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を位相を合わせた状態として算出することができる。
（ａ）局所領域における全画素値平均値（ａｖｇ）
（ｂ）局所領域における低画素値平均値（ａｖｇ＿ｌｏｗ））
（ｃ）局所領域における高画素値平均値（ａｖｇ＿ｈｉｇｈ）
であり、図７（２）に示すような分布である。この処理によって、図７（３）に示すように、（Ｂ）フラッシュ有り撮影画像の注目画素の画素値（ｂ４）に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を位相を合わせた状態として算出することができる。
上記式（７）〜（８）を適用して、（Ｂ）フラッシュ有り撮影画像の注目画素の画素値（ｂ４）に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を算出し、その差分｜ｂ４−ａ'４｜に基づいて、フラッシュ成分を抽出する。図７（３）に示すフラッシュ成分３２０が抽出され、残りを外光成分として分離することができる。なお、上述した処理では、局所領域内の統計量として、
（ａ）局所領域における全画素値平均値（ａｖｇ）
（ｂ）局所領域における低画素値平均値（ａｖｇ＿ｌｏｗ））
（ｃ）局所領域における高画素値平均値（ａｖｇ＿ｈｉｇｈ）
の各統計量を適用して、フラッシュ無し撮影画像の注目画素対応画素値を推定する構成としたが、これらの統計量以外の統計量情報からフラッシュ無し撮影画像の注目画素値を推定しフラッシュ成分と外光成分を分離する構成としてもよい。
（ａ）局所領域における全画素値平均値（ａｖｇ）
（ｂ）局所領域における低画素値平均値（ａｖｇ＿ｌｏｗ））
（ｃ）局所領域における高画素値平均値（ａｖｇ＿ｈｉｇｈ）
の各統計量を適用して、フラッシュ無し撮影画像の注目画素対応画素値を推定する構成としたが、これらの統計量以外の統計量情報からフラッシュ無し撮影画像の注目画素値を推定しフラッシュ成分と外光成分を分離する構成としてもよい。
図５に戻り、本構成例のホワイトバランス調整処理についての説明を続ける。ホワイトバランス補正係数算出回路２５９は、フラッシュ成分抽出回路１，２５５、フラッシュ成分抽出回路２，２５８、フラッシュ成分ホワイトバランス補正係数算出回路２５４の出力を入力とし、ブレていない静止物体領域および高周波ブレ領域に対してホワイトバランス補正係数を算出し、結果をホワイトバランス補正係数補間回路２６０とホワイトバランス補正回路２６１に出力する。
ホワイトバランス補正係数算出回路２５９は、フラッシュ成分抽出回路１，２５４からの出力、すなわち、図３を参照して説明したト同様の下記のフラッシュ成分データおよび外光成分データ、
フラッシュ成分：（ｋ２×ｌ２ｒ×Ｏｒ，ｋ２×ｌ２ｇ×Ｏｇ，ｋ２×ｌ２ｂ×Ｏｂ）
外光成分：（ｋ１×ｌ１ｒ×Ｏｒ，ｋ１×ｌ１ｇ×Ｏｇ，ｋ１×ｌ１ｂ×Ｏｂ）
と、
フラッシュ成分ホワイトバランス補正係数算出回路２５４の出力、すなわち、
フラッシュ成分ホワイトバランス補正係数：（ｃｒ，ｃｇ，ｃｂ）
とを入力し、ブレていない静止物体領域におけるホワイトバランス補正係数を算出し、結果をホワイトバランス補正係数補間回路２６０とホワイトバランス補正回路２６１に出力する。
フラッシュ成分：（ｋ２×ｌ２ｒ×Ｏｒ，ｋ２×ｌ２ｇ×Ｏｇ，ｋ２×ｌ２ｂ×Ｏｂ）
外光成分：（ｋ１×ｌ１ｒ×Ｏｒ，ｋ１×ｌ１ｇ×Ｏｇ，ｋ１×ｌ１ｂ×Ｏｂ）
と、
フラッシュ成分ホワイトバランス補正係数算出回路２５４の出力、すなわち、
フラッシュ成分ホワイトバランス補正係数：（ｃｒ，ｃｇ，ｃｂ）
とを入力し、ブレていない静止物体領域におけるホワイトバランス補正係数を算出し、結果をホワイトバランス補正係数補間回路２６０とホワイトバランス補正回路２６１に出力する。
さらに、本構成例では、ホワイトバランス補正係数算出回路２５９は、フラッシュ成分抽出回路２，２５８から、例えば上記式（７）〜式（１０）に従って算出された高周波ブレ領域におけるフラッシュ成分データおよび外光成分データを入力し、この入力データと、フラッシュ成分ホワイトバランス補正係数算出回路２５４の出力であるフラッシュ成分ホワイトバランス補正係数：（ｃｒ，ｃｇ，ｃｂ）とに基づいて、高周波ブレ領域におけるホワイトバランス補正係数を算出し、結果をホワイトバランス補正係数補間回路２６０とホワイトバランス補正回路２６１に出力する。
ホワイトバランス補正係数算出回路２５９は、高周波ブレ領域におけるホワイトバランス補正係数算出処理として以下の処理を実行する。まず、フラッシュ成分抽出回路２，２５８の出力であるフラッシュ成分に対し、フラッシュ成分ホワイトバランス補正係数算出回路２５４の出力であるフラッシュ成分ホワイトバランス補正係数：（ｃｒ，ｃｇ，ｃｂ）を積算することでフラッシュ成分のホワイトバランスを外光に合わせ、それをフラッシュ成分抽出回路２，２５８の出力である外光成分に加算する処理を実行して、ホワイトバランスが補正されたフラッシュ＋外光成分を算出し、補正前のフラッシュ＋外光成分データ、すなわち、フラッシュ有り撮影画像の持つ画像データとの比率から最終的なホワイトバランス補正係数を算出する。
本構成例において、ホワイトバランス補正係数算出回路２５９は、フラッシュ成分抽出回路１，２５５の出力に含まれるブレていない領域にある画素に対応するホワイトバランス補正係数と、フラッシュ成分抽出回路２，２５８の出力に含まれる高周波ブレ領域にある画素に対応するホワイトバランス補正係数とを算出する。
ホワイトバランス補正係数補間回路２６０は、縮小画像保持用ＲＡＭ２，２５２に保持されているフラッシュ有り撮影縮小画像を入力し、ホワイトバランス補正係数算出回路２５９の出力、高周波ブレ領域検出回路２５７の出力を入力とし、高周波ブレ領域と判定されないブレ領域、すなわち低周波ブレ領域におけるホワイトバランス補正係数を、周辺のブレていない静止物体領域や高周波ブレ領域において算出されたホワイトバランス補正係数（ホワイトバランス補正係数算出回路２５９の出力）に基づいて補間することで算出し、結果をホワイトバランス補正回路２６１に出力する。
ホワイトバランス補正係数補間回路２６０では、低周波ブレ領域に位置する画素に対するホワイトバランス補正係数を、周辺のブレていない静止物体領域あるいは高周波ブレ領域に位置する画素に対するホワイトバランス補正係数に基づいて、単純に拡散フィルタで穴埋めする方法、あるいは縮小画像保持用ＲＡＭ２，２５２に保持されているフラッシュ有り撮影縮小画像を利用してエッジ方向を算出し、それを利用した重み付け補間を行う。エッジ方向情報を利用した重み付け補間を行うことで、よりエッジに自然な補間を行うことができる。
ホワイトバランス補正係数補間回路２６０は、低周波ブレ領域に位置する画素に対するホワイトバランス補正係数を算出し、この結果をホワイトバランス補正回路２６１に出力する。
ホワイトバランス補正回路２６１は、画像保持用ＲＡＭ２５３に保持されているフラッシュ有り撮影画像に対し、低周波ブレ領域に関しては、ホワイトバランス補正係数補間回路２１７で算出された補正係数を適用して補正を行い、ブレ領域でない領域（静止物体領域ホワイト）および高周波ブレ領域に対しては、ホワイトバランス補正係数算出回路２５９で算出された補正係数を適用して補正を行い、各画素に対応したホワイトバランス調整処理を実行し、その結果を出力する。
なお、前述の構成例と同様、ホワイトバランス補正係数補間回路２６０とホワイトバランス補正係数算出回路２５９で算出された補正係数は、縮小画像に対して算出されたものであり、画像保持用ＲＡＭ２５３に保持されているフラッシュ有り撮影画像は縮小されていない画像であるので、縮小画像に対応して算出されたホワイトバランス補正係数に対して拡大フィルタなどを適用することで、各補正係数を画像保持用ＲＡＭ２５３に保持されているフラッシュ有り撮影画像データの画素位置に対応付ける処理を実行した後、各画素に対するホワイトバランス調整処理を実行する。
前述した第１、第２の構成例において、ブレ領域は全て補間によってホワイトバランスの補正係数を求めていたが、本構成例では、ブレ領域を高周波ブレ領域と低周波ブレ領域に区別し、高周波ブレ領域に対しては補間ではなく画素毎にホワイトバランス補正係数を算出し、低周波ブレ領域に対しては周辺からの補間によってホワイトバランスの補正係数を算出することにより、ブレ領域におけるホワイトバランス補正係数算出の精度をあげることが可能となる。
［（４）第４の構成例］
次に、第４の構成例として、第１のフラッシュ無し撮影画像とフラッシュ有り撮影画像と、第２のフラッシュ無し撮影画像の３枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成において、高周波ブレ領域を検出して高周波ブレ領域に対する特別の調整を実行する構成について、図８を用いて説明する。
次に、第４の構成例として、第１のフラッシュ無し撮影画像とフラッシュ有り撮影画像と、第２のフラッシュ無し撮影画像の３枚の撮影画像信号を入力としてホワイトバランス調整を実行する構成において、高周波ブレ領域を検出して高周波ブレ領域に対する特別の調整を実行する構成について、図８を用いて説明する。
本構成例は第１のフラッシュ無し撮影画像、フラッシュ有り撮影画像、第２のフラッシュ無し撮影画像の３枚を入力とした構成例である。入力は、ホワイトバランス調整回路２０２の第２の構成例（図４）と同様であるが、後段の回路構成が異なる。
ホワイトバランス調整回路２０２に入力される連続撮影されたフラッシュ無し撮影画像、フラッシュ有り撮影画像、フラッシュ無し撮影画像の３枚は、縮小画像生成回路２７０で縮小され、それぞれ、縮小画像保持用ＲＡＭ１，２７１、縮小画像保持用ＲＡＭ２，２７２、縮小画像保持用ＲＡＭ２，２７３、に保持される。また、入力されたフラッシュ有り撮影画像は、画像保持用メモリ２７４に保持される。
ブレ領域検出回路２７７は、縮小画像保持用ＲＡＭ１，２７１に保持されているフラッシュ無し撮影縮小画像１、縮小画像保持用ＲＡＭ２，２７２に保持されているフラッシュ有り撮影縮小画像、縮小画像保持用ＲＡＭ３，２７３に保持されているフラッシュ無し撮影縮小画像２、を入力とし、時間が異なって撮影されたフラッシュ無し撮影縮小画像１とフラッシュ無し撮影縮小画像２の差分の絶対値を利用して、被写体の動きなどによるブレ領域を検出する。つまり、差分の絶対値がある閾値以上だったら、ブレ領域であると判定する。また、フラッシュ有り撮影縮小画像とフラッシュ無し撮影縮小画像１、または、フラッシュ有り撮影縮小画像とフラッシュ無し撮影縮小画像２の差分値がある閾値以下だった場合もブレ領域と判定する。つまり、ブレ領域でない場合（静止物体領域）は前記の差分値はフラッシュによる増分値（少なくとも正の値）をとるはずであり、そうでない場合は、ブレ領域であると判定する。これにより、図５の第３の構成例のフラッシュ無し、有りの２枚の撮影画像を利用したブレ領域検出に比べ、本構成例の場合、高い精度でブレ領域の検出を行うことができる。
高周波ブレ領域検出回路２７８は、縮小画像保持用ＲＡＭ１，２７１に保持されているフラッシュ無し撮影縮小画像１、縮小画像保持用ＲＡＭ２，２７２に保持されているフラッシュ有り撮影縮小画像、縮小画像保持用ＲＡＭ３，２７３に保持されているフラッシュ無し撮影縮小画像２を入力とし、ブレ領域と判定された領域に対して、さらに高周波ブレ領域を算出し、その結果をフラッシュ成分抽出回路２，２７９、ホワイトバランス補正係数補間回路２８１に出力する。
高周波ブレ領域検出回路２７８における高周波ブレ領域検出処理の具体例について、図９を参照して説明する。
図９において、横軸（ｘ）は注目画素の位置を示し、縦軸は、画素値を示している。（Ａ）は第１のフラッシュ無し撮影画像の局所領域、（Ｂ）はフラッシュ有り撮影画像の局所領域、（Ｃ）は第２のフラッシュ無し撮影画像の局所領域で、同一の画像データ部分であるがブレ領域であるため、ＡとＢとＣの位相はずれている。また、フラッシュ有り撮影画像Ｂの方は、フラッシュがあたっている分、フラッシュ無し撮影画像Ａに比べて画素値がその分大きくなっている。図に示すデータ部３３０がフラッシュに基づく画素値増加分として推定されるデータ部である。
ブレ領域検出回路２７７は、前述したように、（Ａ）フラッシュ無し撮影縮小画像１と（Ｂ）フラッシュ有り撮影縮小画像、または、（Ｃ）フラッシュ無し撮影縮小画像２と（Ｂ）フラッシュ有り撮影縮小画像において画素毎に周辺画素との画素値変移データに対する微分値を算出しその符号が一致していなければブレ領域であると判定する。
高周波ブレ領域検出回路２７８では、ブレ領域検出回路２７７において、ブレ領域と判定された領域から、以下のステップによって高周波ブレ領域を抽出する。例えば画素ｘ（図９参照）が高周波ブレ領域にあるか否かを以下のステップで判定する。
［ステップ１］
（Ａ）フラッシュ無し撮影縮小画像１と（Ｃ）フラッシュ無し撮影縮小画像２の画素値差分｜Ａｘ−Ｃｘ｜を算出する
［ステップ２］
（２−１）ステップ１で算出した画素値差分｜Ａｘ−Ｃｘ｜＜閾値であり、かつ、
（Ａ）フラッシュ無し撮影縮小画像１の局所領域（αβ）と（Ｂ）フラッシュ有り撮影縮小画像の局所領域（αβ）内の画素値変移データに対する微分値の符号が異なる場合、
あるいは、
（２−２）ステップ１で算出した画素値差分｜Ａｘ−Ｃｘ｜＜閾値であり、かつ、
（Ｂ）フラッシュ有り撮影縮小画像の局所領域（αβ）と（Ｃ）フラッシュ無し撮影縮小画像２の局所領域（αβ）内の画素値変移データに対する微分値の符号が異なる場合、
上記（２−１）または（２−２）の条件を満足する場合、画素ｘ（図９（１）参照）は高周波ブレ領域にあると判定する。
上記（２−１）および（２−２）の条件のいずれも満足しない場合、画素ｘ（図９（１）参照）は高周波ブレ領域にないと判定する。
（Ａ）フラッシュ無し撮影縮小画像１と（Ｃ）フラッシュ無し撮影縮小画像２の画素値差分｜Ａｘ−Ｃｘ｜を算出する
［ステップ２］
（２−１）ステップ１で算出した画素値差分｜Ａｘ−Ｃｘ｜＜閾値であり、かつ、
（Ａ）フラッシュ無し撮影縮小画像１の局所領域（αβ）と（Ｂ）フラッシュ有り撮影縮小画像の局所領域（αβ）内の画素値変移データに対する微分値の符号が異なる場合、
あるいは、
（２−２）ステップ１で算出した画素値差分｜Ａｘ−Ｃｘ｜＜閾値であり、かつ、
（Ｂ）フラッシュ有り撮影縮小画像の局所領域（αβ）と（Ｃ）フラッシュ無し撮影縮小画像２の局所領域（αβ）内の画素値変移データに対する微分値の符号が異なる場合、
上記（２−１）または（２−２）の条件を満足する場合、画素ｘ（図９（１）参照）は高周波ブレ領域にあると判定する。
上記（２−１）および（２−２）の条件のいずれも満足しない場合、画素ｘ（図９（１）参照）は高周波ブレ領域にないと判定する。
すなわち、高周波ブレ領域検出回路２７８は、
第１のフラッシュ無し撮影画像と第２のフラッシュ無し撮影画像の画素値差分を算出し、算出した画素値差分＜閾値であり、かつ、第１のフラッシュ無し撮影画像における検証対象画素を含む局所領域と、フラッシュ有り撮影縮小画像における対応局所領域内の画素値変移データの微分値の符号が異なる場合、または、
画素値差分＜閾値であり、かつ、フラッシュ有り撮影画像の検証対象画素を含む局所領域と、第２のフラッシュ無し撮影画像の対応局所領域内の画素値変移データの微分値の符号が異なる場合に、検証対象画素が高周波ブレ領域に含まれると判定する処理を実行する。
第１のフラッシュ無し撮影画像と第２のフラッシュ無し撮影画像の画素値差分を算出し、算出した画素値差分＜閾値であり、かつ、第１のフラッシュ無し撮影画像における検証対象画素を含む局所領域と、フラッシュ有り撮影縮小画像における対応局所領域内の画素値変移データの微分値の符号が異なる場合、または、
画素値差分＜閾値であり、かつ、フラッシュ有り撮影画像の検証対象画素を含む局所領域と、第２のフラッシュ無し撮影画像の対応局所領域内の画素値変移データの微分値の符号が異なる場合に、検証対象画素が高周波ブレ領域に含まれると判定する処理を実行する。
このように、高周波ブレ領域検出回路２７８では、３枚連続撮影された情報を元に、１枚目と３枚目のフラッシュ無し撮影縮小画像間の差分では検出できない高周波のブレ領域を、２枚目のフラッシュ有り撮影縮小画像の情報も使うことで高周波ブレ領域を検出する。これにより、図５の第３の構成例のフラッシュ無し、有りの２枚の撮影画像を利用した高周波ブレ領域検出に比べ、高い精度で高周波ブレ領域の検出を行うことができる。
図８に戻り、本構成例のホワイトバランス調整処理についての説明を続ける。フラッシュ成分抽出回路２，２７９は、高周波ブレ領域検出回路２７８で高周波ブレ領域と判定された領域に対して、フラッシュ成分と外光成分の成分分離を行い、結果をホワイトバランス補正係数算出回路２８０に出力する。
このフラッシュ成分抽出回路２，２７９において実行するフラッシュ成分と外光成分の分離方法は、先に、図７を参照して説明した処理と同様であり、前述した式（７）〜（１０）を適用して算出される画素値に基づく処理として実行される。
前述した式（７）〜（８）を適用して、（Ｂ）フラッシュ有り撮影画像の注目画素の画素値（ｂ４）に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を算出し、その差分｜ｂ４−ａ'４｜に基づいて、フラッシュ成分を抽出する。図７（３）に示すフラッシュ成分３２０が抽出され、残りを外光成分として分離することができる。なお、適用する統計量は、前述した統計量情報以外の情報を適用する構成としてもよい。
ホワイトバランス補正係数算出回路２８０は、フラッシュ成分抽出回路１，２７６、フラッシュ成分抽出回路２，２７９、フラッシュ成分ホワイトバランス補正係数算出回路２７５の出力を入力とし、ブレていない静止物体領域および高周波ブレ領域に対してホワイトバランス補正係数を算出し、結果をホワイトバランス補正係数補間回路２８１とホワイトバランス補正回路２８２に出力する。
ホワイトバランス補正係数算出回路２８１、ホワイトバランス補正回路２８２の処理は、図５を参照して説明した第３の構成例の処理と同様の処理である。すなわち、ホワイトバランス補正係数算出回路２８１では、ブレていない静止物体領域におけるホワイトバランス補正係数と、高周波ブレ領域におけるホワイトバランス補正係数を算出し、結果をホワイトバランス補正係数補間回路２８１とホワイトバランス補正回路２８２に出力する。
ホワイトバランス補正係数補間回路２８１は、縮小画像保持用ＲＡＭ２，２７３に保持されているフラッシュ有り撮影縮小画像を入力し、ホワイトバランス補正係数算出回路２８０の出力、高周波ブレ領域検出回路２７８の出力を入力とし、高周波ブレ領域と判定されないブレ領域、すなわち低周波ブレ領域におけるホワイトバランス補正係数を、周辺のブレていない静止物体領域や高周波ブレ領域において算出されたホワイトバランス補正係数（ホワイトバランス補正係数算出回路２８０の出力）に基づいて補間することで算出し、結果をホワイトバランス補正回路２８２に出力する。
ホワイトバランス補正回路２８２は、画像保持用ＲＡＭ２７４に保持されているフラッシュ有り撮影画像に対し、低周波ブレ領域に関しては、ホワイトバランス補正係数補間回路２８１で算出された補正係数を適用して補正を行い、ブレ領域でない領域（静止物体領域ホワイト）および高周波ブレ領域に対しては、ホワイトバランス補正係数算出回路２８０で算出された補正係数を適用して補正を行い、各画素に対応したホワイトバランス調整処理を実行し、その結果を出力する。
なお、前述の構成例と同様、ホワイトバランス補正係数補間回路２８１とホワイトバランス補正係数算出回路２８０で算出された補正係数は、縮小画像に対して算出されたものであり、画像保持用ＲＡＭ２５３に保持されているフラッシュ有り撮影画像は縮小されていない画像であるので、縮小画像に対応して算出されたホワイトバランス補正係数に対して拡大フィルタなどを適用することで、各補正係数を画像保持用ＲＡＭ２７４に保持されているフラッシュ有り撮影画像データの画素位置に対応付ける処理を実行した後、各画素に対するホワイトバランス調整処理を実行する。
前述した第１、第２の構成例において、ブレ領域は全て補間によってホワイトバランスの補正係数を求めていたが、本構成例は、前述の第３の構成例と同様、ブレ領域を高周波ブレ領域と低周波ブレ領域に区別し、高周波ブレ領域に対しては補間ではなく画素毎にホワイトバランス補正係数を算出し、低周波ブレ領域に対しては周辺からの補間によってホワイトバランスの補正係数を算出することにより、ブレ領域におけるホワイトバランス補正係数算出の精度をあげることが可能となる。
次に、上述した第１〜第４の各構成例におけるＤＳＰブロック１０６の処理手順についてフローチャートを参照して説明する。
まず、第１〜第４の各構成例に共通する総括的な処理シーケンスについて、図１０のフローチャートを参照して説明する。ユーザが操作入力回路１１４に含まれるシャッタボタンを押下すと、フラッシュ無し撮影画像と、フラッシュ有り撮影画像の２枚の画像、または、フラッシュ無し撮影画像と、フラッシュ有撮影画像と、フラッシュ無し撮影画像との３枚の画像が連続撮影される。次に、撮像された画像信号に対し、ステップＳ１０１において、イメージセンサーが出力する各画素に単色の情報しかない色モザイク画像信号を、各画素に全色の情報を揃える処理（デモザイク処理）を行う。
次に、ステップＳ１０２において、デモザイク処理された複数毎の撮像画像の縮小画像を生成する。この際、フラッシュ無し撮影画像と、フラッシュ有り撮影画像の全ての縮小画像と、縮小されていないフラッシュ有り撮影画像をメモリに保持する。次に、ステップＳ１０３において、縮小画像に基づいて算出された補正係数を適用したホワイトバランス調整処理、すなわち、フラッシュ有り撮影画像のフラッシュ成分のホワイトバランスを外光成分に合わせるホワイトバランス調整処理を行う。最後に、ステップＳ１０４において、出力するビット数にあわせて階調を圧縮する階調変換処理を行う。
次に、図１０のフローにおけるステップＳ１０２のホワイトバランス調整処理の詳細シーケンスについて、前述した高周波ブレ領域の判別処理を実行しない処理例としての第１、第２の構成例の処理シーケンスについて、図１１のフローチャートを参照して説明し、前述した高周波ブレ領域の判別処理を実行する処理例としての第３、第４の構成例の処理シーケンスについて、図１２のフローチャートを参照して説明する。
まず、高周波ブレ領域の判別処理を実行しない処理例としての第１、第２の構成例におけるホワイトバランス調整処理の詳細シーケンスについて、図１１のフローチャートを参照して説明する。最初に、ステップＳ１１１において、フラッシュ成分のホワイトバランス補正係数を算出する。
フラッシュ成分のホワイトバランス補正係数（ｃｒ，ｃｇ，ｃｂ）は、前述したように、物体の各ＲＧＢ色成分に関する光の反射率を（Ｏｒ，Ｏｇ，Ｏｂ）、ある色温度の光を（ｌｒ，ｌｇ，ｌｂ）としたとき、１つの光源からの光（ｌｒ，ｌｇ，ｌｂ）が物体（Ｏｒ，Ｏｇ，Ｏｂ）に反射した光がカメラによって撮像された場合の撮像画像を構成する画素の値（Ｉｒ，Ｉｇ，Ｉｂ）は、以下に示す式（１）で表現することができる。
（Ｉｒ，Ｉｇ，Ｉｂ）＝（ｋ１×ｌｒ×Ｏｒ，ｋ１×ｌｇ×Ｏｇ，ｋ１×ｌｂ×Ｏｂ）
・・・・・式（１）
（Ｉｒ，Ｉｇ，Ｉｂ）＝（ｋ１×ｌｒ×Ｏｒ，ｋ１×ｌｇ×Ｏｇ，ｋ１×ｌｂ×Ｏｂ）
・・・・・式（１）
外光とフラッシュ光のように２つの照射光として、光源１（ｌ１ｒ，ｌ１ｇ，ｌ１ｂ），と、光源２（ｌ２ｒ，ｌ２ｇ，ｌ２ｂ）があり、これらの２つの光が、ある物体（Ｏｒ，Ｏｇ，Ｏｂ）に反射した光をカメラで撮像する場合、カメラの撮影画像の画素値（Ｉｒ，Ｉｇ，Ｉｂ）は、以下に示す式（２）で表現することができる。
（Ｉｒ，Ｉｇ，Ｉｂ）＝（（ｋ１×ｌ１ｒ＋ｋ２×ｌ２ｒ）×Ｏｒ，（ｋ１×ｌ１ｇ＋ｋ２×ｌ２ｇ）×Ｏｇ，（ｋ１×ｌ１ｂ＋ｋ２×ｌ２ｂ）×Ｏｂ）
・・・・・式（２）
ここで、ｋ１は光源１の強さ、ｋ２は光源２の強さを表すスカラー値である。
（Ｉｒ，Ｉｇ，Ｉｂ）＝（（ｋ１×ｌ１ｒ＋ｋ２×ｌ２ｒ）×Ｏｒ，（ｋ１×ｌ１ｇ＋ｋ２×ｌ２ｇ）×Ｏｇ，（ｋ１×ｌ１ｂ＋ｋ２×ｌ２ｂ）×Ｏｂ）
・・・・・式（２）
ここで、ｋ１は光源１の強さ、ｋ２は光源２の強さを表すスカラー値である。
外光の色温度（ｌ１ｒ，ｌ１ｇ，ｌ１ｂ）と、フラッシュ光の色温度（ｌ２ｒ，ｌ２ｇ，ｌ２ｂ）とに基づいて、フラッシュ成分のホワイトバランス補正係数（ｃｒ，ｃｇ，ｃｂ）を算出するための式として、下式、式（３）が設定される。
ｌ１ｒ：ｌ１ｇ：ｌ１ｂ＝ｃｒ×ｌ２ｒ：ｃｇ×ｌ２ｇ：ｃｂ×ｌ２ｂ
・・・式（３）
ｌ１ｒ：ｌ１ｇ：ｌ１ｂ＝ｃｒ×ｌ２ｒ：ｃｇ×ｌ２ｇ：ｃｂ×ｌ２ｂ
・・・式（３）
光源１を外光、光源２をフラッシュ光とする。フラッシュ有り撮影画像では、光源１（外光）、光源２（フラッシュ光）の２種類の光源が被写体に反射し、このときの撮像面の入射光（Ｉｒ，Ｉｇ，Ｉｂ）は、上記式（２）によって算出される。一方、フラッシュ無し撮影画像では、光源１（外光）のみの１種類の光源が被写体に反射し、このときの撮像面の入射光（Ｉｒ，Ｉｇ，Ｉｂ）は、上記式（１）によって算出される。
従って、フラッシュ有り撮影縮小画像における入射光（Ｉｒ，Ｉｇ，Ｉｂ）からフラッシュ無し撮影画像における入射光（Ｉｒ，Ｉｇ，Ｉｂ）を減算することで、フラッシュ有り撮影縮小画像における入射光（Ｉｒ，Ｉｇ，Ｉｂ）に含まれるフラッシュ成分（ｋ２×ｌ２ｒ×Ｏｒ，ｋ２×ｌ２ｇ×Ｏｇ，ｋ２×ｌ２ｂ×Ｏｂ）が抽出できる。なお、この算出処理においては、フラッシュ有り撮影縮小画像においてフラッシュがあたっていて、かつ、ブレていない領域を選択して実行する。この処理により正確なフラッシュ成分算出が可能となる。
さらに、フラッシュ有り撮影縮小画像における入射光（Ｉｒ，Ｉｇ，Ｉｂ）に含まれる外光成分は、フラッシュ有り撮影縮小画像における入射光（Ｉｒ，Ｉｇ，Ｉｂ）から、上記フラッシュ成分（ｋ２×ｌ２ｒ×Ｏｒ，ｋ２×ｌ２ｇ×Ｏｇ，ｋ２×ｌ２ｂ×Ｏｂ）を減算することで算出きる。すなわち、外光成分（ｋ１×ｌ１ｒ×Ｏｒ，ｋ１×ｌ１ｇ×Ｏｇ，ｋ１×ｌ１ｂ×Ｏｂ）が算出できる。
フラッシュ光成分のホワイトバランスを外光にあわせるためには、式（３）の補正係数（ｃｒ，ｃｇ，ｃｂ）の算出が必要となる。ステップＳ１１１においては、フラッシュ無し撮影縮小画像と、フラッシュ有り撮影縮小画像とに基づいて、上記式（１）〜（３）を適用して、フラッシュ光成分のホワイトバランス補正係数（ｃｒ，ｃｇ，ｃｂ）を算出する。
次のステップＳ１１２〜Ｓ１１７の処理は、画素毎のホワイトバランス補正係数の算出または補正係数の補間処理の実行ステップである。まず、ステップＳ１１２において、未処理の画素を選択し、ステップＳ１１３でブレ領域かどうかを判定する。
ブレ領域にあるか否かの判定は、前述したように、フラッシュ無し撮影画像とフラッシュ有り撮影画像の各々において画素毎に周辺画素との画素値変移データに対する微分値を算出しその符号が一致していなければブレの発生している領域であると判定し、そうでなければブレの発生していない領域でないと判定する。
選択画素がブレ領域だった場合、ステップＳ１１６に進み、周辺のブレていない領域におけるホワイトバランス補正係数を利用して選択画素の補正係数を補間で算出する。補間の方法としては、単純に拡散フィルタで穴埋めする方法、フラッシュ有り撮影縮小画像を利用してエッジ方向を算出し、それを利用した重み付け補間を行う方法などがある。
ステップＳ１１３で選択画素がブレ領域でないと判定されたとき、ステップＳ１１４において、選択画素位置のフラッシュ無し撮影縮小画像とフラッシュ有り撮影縮小画像の差分値を利用してフラッシュ成分を算出し、選択画素位置のフラッシュ有り撮影画像からフラッシュ成分を引くことで、外光成分を抽出する。
次に、Ｓ１１５において、ホワイトバランス補正係数の算出を行う。具体的には、分離されたフラッシュ成分に対し、ステップＳ１１１で算出したフラッシュ成分のホワイトバランス補正係数を適用して外光のホワイトバランスにあわせ、分離した外光成分を足すことにより、補正されたフラッシュ成分＋外光成分を得ることができる。そして、補正前フラッシュ成分＋外光成分（フラッシュ有り撮影画像）との比率をとることで、選択画素のホワイトバランス補正係数を求める。この補正係数をフラッシュ有り撮影画像に適用することで、フラッシュのホワイトバランスを外光のホワイトバランスに合わせ、より自然な画像にすることができる。
ステップＳ１１５またはステップＳ１１６において、全画素のホワイトバランス補正係数が算出されるまでＳ１１２〜Ｓ１１７の処理を繰り返す。全画素のホワイトバランス補正係数が算出されると（Ｓ１１７：Ｙｅｓ）、最後に、ステップＳ１１８において、オリジナルのフラッシュ有り撮影画像の各画素に対して、ホワイトバランス補正係数を適用したホワイトバランス調整処理を実行する。
なお、オリジナルのフラッシュ有り撮影画像は縮小画像ではなく、一方、ホワイトバランス補正係数の算出に使用した画像は縮小画像であるので、ホワイトバランス補正係数の適用の際に、拡大フィルタで位相を合わせた後、元画像（フラッシュ有り撮影画像）に適用する。
次に、高周波ブレ領域の判別処理を実行する処理例としての第３、第４の構成例におけるホワイトバランス調整処理の詳細シーケンスについて、図１２のフローチャートを参照して説明する。図１１のフローチャートと重なる部分が多いので、異なるフローについてのみ説明を行い、他は説明を省略する。
ステップＳ１２１〜Ｓ１２３までは、図１１のフローチャートにおけるステップＳ１１１〜Ｓ１１３の処理と同様の処理である。ステップＳ１２１は、フラッシュ無し撮影縮小画像と、フラッシュ有り撮影縮小画像とに基づいて、前述した式（１）〜（３）を適用して、フラッシュ光成分のホワイトバランス補正係数（ｃｒ，ｃｇ，ｃｂ）を算出する処理であり、ステップＳ１２２において未処理画素を選択し、ステップＳ１２３で選択画素がブレ領域にあるか否かを判定する。
ステップＳ１２３において、選択画素がブレ領域と判定された場合、Ｓ１２６に進み、さらに選択画素が高周波ブレ領域かどうかを判定する。判定方法は、先に、図５の高周波ブレ領域検出回路２５７、図８の高周波ブレ領域検出回路２７８についての説明において説明したように、入力画像データがフラッシュ無し撮影縮小画像とフラッシュ有り撮影縮小画像の２枚の場合と、入力画像データが第１のフラッシュ無し撮影縮小画像とフラッシュ有り撮影縮小画像と、第２のフラッシュ無し撮影縮小画像とからなる３枚の画像の場合とでは異なる処理として実行される。
入力画像データがフラッシュ無し撮影縮小画像とフラッシュ有り撮影縮小画像の２枚の場合は、図５に示す高周波ブレ領域検出回路２５７は、先に図６を参照して説明したように、２枚の画像において、
（ａ）局所領域における全画素値平均値（ａｖｇ）：式（４）
（ｂ）局所領域における低画素値平均値（ａｖｇ＿ｌｏｗ）：式（５）
（ｃ）局所領域における高画素値平均値（ａｖｇ＿ｈｉｇｈ）：式（６）
を算出し、さらに、差分データとして、下記の値を算出する。
（ａ１）Ｄａｖｇ＝｜ａｖｇ（Ａ）−ａｖｇ（Ｂ）｜
（ｂ１）Ｄａｖｇ＿ｌｏｗ＝｜ａｖｇ＿ｌｏｗ（Ａ）−ａｖｇ＿ｌｏｗ（Ｂ）｜
（ｃ１）Ｄａｖｇ＿ｈｉｇｈ＝｜ａｖｇ＿ｈｉｇｈ（Ａ）−ａｖｇ＿ｈｉｇｈ（Ｂ）｜
これらの３つの差分データが、ほぼ等しい場合、すなわち、
Ｄａｖｇ≒Ｄａｖｇ＿ｌｏｗ≒Ｄａｖｇ＿ｈｉｇｈ
が成立する場合に、局所領域（αβ）を高周波ブレ領域と判定する。
Ｄａｖｇ≒Ｄａｖｇ＿ｌｏｗ≒Ｄａｖｇ＿ｈｉｇｈ
が成立しない局所領域は、ブレ領域ではあるが、高周波ブレ領域ではないと判定する。
（ａ）局所領域における全画素値平均値（ａｖｇ）：式（４）
（ｂ）局所領域における低画素値平均値（ａｖｇ＿ｌｏｗ）：式（５）
（ｃ）局所領域における高画素値平均値（ａｖｇ＿ｈｉｇｈ）：式（６）
を算出し、さらに、差分データとして、下記の値を算出する。
（ａ１）Ｄａｖｇ＝｜ａｖｇ（Ａ）−ａｖｇ（Ｂ）｜
（ｂ１）Ｄａｖｇ＿ｌｏｗ＝｜ａｖｇ＿ｌｏｗ（Ａ）−ａｖｇ＿ｌｏｗ（Ｂ）｜
（ｃ１）Ｄａｖｇ＿ｈｉｇｈ＝｜ａｖｇ＿ｈｉｇｈ（Ａ）−ａｖｇ＿ｈｉｇｈ（Ｂ）｜
これらの３つの差分データが、ほぼ等しい場合、すなわち、
Ｄａｖｇ≒Ｄａｖｇ＿ｌｏｗ≒Ｄａｖｇ＿ｈｉｇｈ
が成立する場合に、局所領域（αβ）を高周波ブレ領域と判定する。
Ｄａｖｇ≒Ｄａｖｇ＿ｌｏｗ≒Ｄａｖｇ＿ｈｉｇｈ
が成立しない局所領域は、ブレ領域ではあるが、高周波ブレ領域ではないと判定する。
一方、入力画像データが第１のフラッシュ無し撮影縮小画像とフラッシュ有り撮影縮小画像と、第２のフラッシュ無し撮影縮小画像とからなる３枚の画像の場合は、
［ステップ１］
（Ａ）フラッシュ無し撮影縮小画像１と（Ｃ）フラッシュ無し撮影縮小画像２の画素値差分｜Ａｘ−Ｃｘ｜を算出する
［ステップ２］
（２−１）ステップ１で算出した画素値差分｜Ａｘ−Ｃｘ｜＜閾値であり、かつ、
（Ａ）フラッシュ無し撮影縮小画像１の局所領域（αβ）と（Ｂ）フラッシュ有り撮影縮小画像の局所領域（αβ）内の画素値変移データに対する微分値の符号が異なる場合、
あるいは、
（２−２）ステップ１で算出した画素値差分｜Ａｘ−Ｃｘ｜＜閾値であり、かつ、
（Ｂ）フラッシュ有り撮影縮小画像の局所領域（αβ）と（Ｃ）フラッシュ無し撮影縮小画像２の局所領域（αβ）内の画素値変移データに対する微分値の符号が異なる場合、
上記（２−１）または（２−２）の条件を満足する場合、画素ｘ（図９（１）参照）は高周波ブレ領域にあると判定する。
上記（２−１）および（２−２）の条件のいずれも満足しない場合、画素ｘ（図９（１）参照）は高周波ブレ領域にないと判定する。
［ステップ１］
（Ａ）フラッシュ無し撮影縮小画像１と（Ｃ）フラッシュ無し撮影縮小画像２の画素値差分｜Ａｘ−Ｃｘ｜を算出する
［ステップ２］
（２−１）ステップ１で算出した画素値差分｜Ａｘ−Ｃｘ｜＜閾値であり、かつ、
（Ａ）フラッシュ無し撮影縮小画像１の局所領域（αβ）と（Ｂ）フラッシュ有り撮影縮小画像の局所領域（αβ）内の画素値変移データに対する微分値の符号が異なる場合、
あるいは、
（２−２）ステップ１で算出した画素値差分｜Ａｘ−Ｃｘ｜＜閾値であり、かつ、
（Ｂ）フラッシュ有り撮影縮小画像の局所領域（αβ）と（Ｃ）フラッシュ無し撮影縮小画像２の局所領域（αβ）内の画素値変移データに対する微分値の符号が異なる場合、
上記（２−１）または（２−２）の条件を満足する場合、画素ｘ（図９（１）参照）は高周波ブレ領域にあると判定する。
上記（２−１）および（２−２）の条件のいずれも満足しない場合、画素ｘ（図９（１）参照）は高周波ブレ領域にないと判定する。
ステップＳ１２６において、処理対象画素が、高周波のブレ領域に含まれると判定された場合は、Ｓ１２７において、フラッシュ成分と外光成分の分離を行い、Ｓ１２６において高周波のブレ領域でないと判定された場合は、処理対象画素が、低周波ブレ領域に含まれると判定され、Ｓ１２８において、周辺のブレてない領域あるいは高周波のブレ領域におけるホワイトバランス補正係数を利用して選択画素の補正係数を補間する。この処理は、図５のホワイトバランス補正係数補間回路２６０、図６のホワイトバランス補正係数補間回路２８１の処理である。補間の方法としては、単純に拡散フィルタで穴埋めする方法、フラッシュ有り撮影縮小画像を利用してエッジ方向を算出し、それを利用した重み付け補間を行う方法などがある。
ステップＳ１２６において、高周波ブレ領域にあると判定された場合は、ステップＳ１２７に進み、高周波ブレ領域のフラッシュ成分と外光成分の分離処理を実行する。この分離処理は、先に、図７を参照して説明した処理である。すなわち、まず、図７に示す（Ｂ）フラッシュ有り撮影画像の注目画素の画素値（例えば図７（１）に示すｂ４）に応じて、前述した式（７）〜式（９）を適用して、注目画素に対応する（Ａ）フラッシュ無し撮影画像の画素値（ａ'４）を算出し、その差分｜ｂ４−ａ'４｜に基づいて、フラッシュ成分を抽出する。図７（３）に示すフラッシュ成分３２０が抽出され、残りを外光成分として分離する。
ステップＳ１２７において、高周波ブレ領域におけるフラッシュ成分と外光成分の分離が終了すると、ステップＳ１２５において、ホワイトバランス補正係数の算出を行う。この処理は、図５のホワイトバランス補正係数算出回路２５９、図６のホワイトバランス補正例数算出回路２８０の処理であり、ブレていない静止物体領域および高周波ブレ領域に対してホワイトバランス補正係数を算出する処理として実行される。
ステップＳ１２５におけるブレていない静止物体領域および高周波ブレ領域の画素対応のホワイトバランス補正係数の算出と、ステップＳ１２８における低周波ブレ領域にある画素に対応するホワイトバランス補正係数の算出を実行し、全画素のホワイトバランス補正係数が算出されるまでＳ１２２〜Ｓ１２８の処理を繰り返す。全画素のホワイトバランス補正係数が算出されると（Ｓ１２９：Ｙｅｓ）、最後に、ステップＳ１３０において、オリジナルのフラッシュ有り撮影画像の各画素に対して、ホワイトバランス補正係数を適用したホワイトバランス調整処理を実行する。
以上の処理によって、ブレ領域を高周波ブレ領域と低周波ブレ領域に区別し、高周波ブレ領域に対しては補間ではなく画素毎にホワイトバランス補正係数を算出し、低周波ブレ領域に対してのみ周辺からの補間によってホワイトバランスの補正係数を算出し、算出したホワイトバランス補正係数に基づいてホワイトバランス補正を行なった画像が出力される。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。なお、上述した実施例では、被写体が暗い場合に発光する照明装置としてフラッシュという用語を用いて説明したが、このほかに、ストロボと呼ばれることもあり、フラッシュに限定されるわけではなく、一般的に被写体が暗い場合に発光する照明装置において本発明は適用される。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の構成によれば、フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データに基づいて、フラッシュ有り撮影画像に含まれるフラッシュ成分画像データと、外光成分画像データとを抽出し、ホワイトバランス補正係数算出部において、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するとともに、ホワイトバランス補正係数補間部において、ブレ領域に含まれる画素に対応するホワイトバランス補正係数を、非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出して、これらのホワイトバランス補正係数に基づいてホワイトバランス補正処理を実行する構成としたので、ブレ領域、非ブレ領域とも適正なホワイトバランス調整が実行できる。
さらに、本発明の構成によれば、高周波ブレ領域の検出処理を実行する高周波ブレ領域検出部を設け、ホワイトバランス補正係数算出部において、ブレの認められない非ブレ領域と高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数を算出する。低周波ブレ領域においてのみ、ホワイトバランス補正係数を補間により算出する。本構成により、非ブレ領域および高周波ブレ領域に含まれる画素については、補間処理によらない画素対応のホワイトバランス補正係数を適用したホワイトバランス調整が実行され、補間によって算出する補正係数を低周波ブレ領域のみに限定することが可能となり、より適格な補正係数を適用したホワイトバランス調整が実現される。
さらに、本発明の構成によれば、フラッシュなどの撮影時の補助光源を備えたデジタルカメラなどのフラッシュ撮影において、フラッシュの色温度が外光と異なる場合にホワイトバランス調整がうまくいかないという問題があるが、フラッシュ無し撮影画像とフラッシュ有り撮影画像を複数毎連続撮影し、これらの画像データに基づく画像処理によってフラッシュ成分の抽出、外光にあわせたホワイトバランス調整を行なうことで、より自然なホワイトバランス調整が可能となる。また、被写体のブレ領域に対しても、周波数に応じた領域分割とそれぞれに最適なホワイトバランス調整を行うことが可能であるので、被写体のブレ領域も考慮した最適なホワイトバランス調整が実現される。
１０１ レンズ
１０２ 絞り
１０３ イメージセンサー
１０４ 相関２重サンプリング回路（ＣＤＳ）
１０５ Ａ／Ｄコンバータ
１０６ ＤＳＰブロック
１０７ タイミングジェネレータ
１０８ Ｄ／Ａコンバータ
１０９ ビデオエンコーダ
１１０ ビデオモニタ
１１１ コーデック（ＣＯＤＥＣ）
１１２ メモリ
１１３ 制御回路
１１４ 操作入力回路
１１５ ドライブ
１１６ 磁気ディスク
１１７ 光ディスク
１１８ 光磁気ディスク
１１９ 半導体メモリ
１２０ フラッシュ
２００ デモザイク回路
２０１ スイッチ
２０２ ホワイトバランス調整回路
２０３ 階調変換回路
２１０ 縮小画像生成回路
２１１ 縮小画像保持用ＲＡＭ１
２１２ 縮小画像保持用ＲＡＭ２
２１３ 画像保持用ＲＡＭ
２１４ フラッシュ成分ホワイトバランス補正係数算出回路
２１５ フラッシュ成分抽出回路１
２１６ ブレ領域検出回路
２１７ ホワイトバランス補正係数補間回路
２１８ ホワイトバランス補正係数算出回路
２１９ ホワイトバランス補正回路
２３０ 縮小画像生成回路
２３１ 縮小画像保持用ＲＡＭ１
２３２ 縮小画像保持用ＲＡＭ２
２３３ 縮小画像保持用ＲＡＭ３
２３４ 画像保持用ＲＡＭ
２３５ フラッシュ成分ホワイトバランス補正係数算出回路
２３６ フラッシュ成分抽出回路１
２３７ ブレ領域検出回路
２３８ ホワイトバランス補正係数算出回路
２３９ ホワイトバランス補正係数補間回路
２４０ ホワイトバランス補正回路
２５０ 縮小画像生成回路
２５１ 縮小画像保持用ＲＡＭ１
２５２ 縮小画像保持用ＲＡＭ２
２５３ 画像保持用ＲＡＭ
２５４ フラッシュ成分ホワイトバランス補正係数算出回路
２５５ フラッシュ成分抽出回路１
２５６ ブレ領域検出回路
２５７ 高周波ブレ領域検出回路
２５８ フラッシュ成分抽出回路２
２５９ ホワイトバランス補正係数算出回路
２６０ ホワイトバランス補正係数補間回路
２６１ ホワイトバランス補正回路
２７０ 縮小画像生成回路
２７１ 縮小画像保持用ＲＡＭ１
２７２ 縮小画像保持用ＲＡＭ２
２７３ 縮小画像保持用ＲＡＭ３
２７４ 画像保持用ＲＡＭ
２７５ フラッシュ成分ホワイトバランス補正係数算出回路
２７６ フラッシュ成分抽出回路１
２７７ ブレ領域検出回路
２７８ 高周波ブレ領域検出回路
２７９ フラッシュ成分抽出回路２
２８０ ホワイトバランス補正係数算出回路
２８１ ホワイトバランス補正係数補間回路
２８２ ホワイトバランス補正回路
３１０〜３３０ フラッシュ成分
１０２ 絞り
１０３ イメージセンサー
１０４ 相関２重サンプリング回路（ＣＤＳ）
１０５ Ａ／Ｄコンバータ
１０６ ＤＳＰブロック
１０７ タイミングジェネレータ
１０８ Ｄ／Ａコンバータ
１０９ ビデオエンコーダ
１１０ ビデオモニタ
１１１ コーデック（ＣＯＤＥＣ）
１１２ メモリ
１１３ 制御回路
１１４ 操作入力回路
１１５ ドライブ
１１６ 磁気ディスク
１１７ 光ディスク
１１８ 光磁気ディスク
１１９ 半導体メモリ
１２０ フラッシュ
２００ デモザイク回路
２０１ スイッチ
２０２ ホワイトバランス調整回路
２０３ 階調変換回路
２１０ 縮小画像生成回路
２１１ 縮小画像保持用ＲＡＭ１
２１２ 縮小画像保持用ＲＡＭ２
２１３ 画像保持用ＲＡＭ
２１４ フラッシュ成分ホワイトバランス補正係数算出回路
２１５ フラッシュ成分抽出回路１
２１６ ブレ領域検出回路
２１７ ホワイトバランス補正係数補間回路
２１８ ホワイトバランス補正係数算出回路
２１９ ホワイトバランス補正回路
２３０ 縮小画像生成回路
２３１ 縮小画像保持用ＲＡＭ１
２３２ 縮小画像保持用ＲＡＭ２
２３３ 縮小画像保持用ＲＡＭ３
２３４ 画像保持用ＲＡＭ
２３５ フラッシュ成分ホワイトバランス補正係数算出回路
２３６ フラッシュ成分抽出回路１
２３７ ブレ領域検出回路
２３８ ホワイトバランス補正係数算出回路
２３９ ホワイトバランス補正係数補間回路
２４０ ホワイトバランス補正回路
２５０ 縮小画像生成回路
２５１ 縮小画像保持用ＲＡＭ１
２５２ 縮小画像保持用ＲＡＭ２
２５３ 画像保持用ＲＡＭ
２５４ フラッシュ成分ホワイトバランス補正係数算出回路
２５５ フラッシュ成分抽出回路１
２５６ ブレ領域検出回路
２５７ 高周波ブレ領域検出回路
２５８ フラッシュ成分抽出回路２
２５９ ホワイトバランス補正係数算出回路
２６０ ホワイトバランス補正係数補間回路
２６１ ホワイトバランス補正回路
２７０ 縮小画像生成回路
２７１ 縮小画像保持用ＲＡＭ１
２７２ 縮小画像保持用ＲＡＭ２
２７３ 縮小画像保持用ＲＡＭ３
２７４ 画像保持用ＲＡＭ
２７５ フラッシュ成分ホワイトバランス補正係数算出回路
２７６ フラッシュ成分抽出回路１
２７７ ブレ領域検出回路
２７８ 高周波ブレ領域検出回路
２７９ フラッシュ成分抽出回路２
２８０ ホワイトバランス補正係数算出回路
２８１ ホワイトバランス補正係数補間回路
２８２ ホワイトバランス補正回路
３１０〜３３０ フラッシュ成分
Claims (17)
- 画像処理装置であり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出部と、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出部と、
前記フラッシュ成分抽出部の抽出データおよび前記ブレ領域検出部の検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出部と、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出部の算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間部と、
前記前記ホワイトバランス補正係数算出部の算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間部の算出したブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行するホワイトバランス補正部と、
を有することを特徴とする画像処理装置。 - 前記画像処理装置は、さらに、
前記ブレ領域検出部の検出したブレ領域から、高周波ブレ領域の検出処理を実行する高周波ブレ領域検出部を有し、
前記ホワイトバランス補正係数算出部は、
ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するとともに、前記高周波ブレ領域検出部において検出された高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出する構成であり、
前記ホワイトバランス補正係数補間部は、
前記複数の画像データにおいて低周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出部の算出した非ブレ領域または高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数に基づく補間により算出する構成であり、
前記ホワイトバランス補正部は、
前記前記ホワイトバランス補正係数算出部の算出した非ブレ領域および高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間部の算出した低周波ブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記高周波ブレ領域検出部の検出した高周波ブレ領域にあるフラッシュ有り撮影画像と、フラッシュ無し撮影画像の画素データに基づいて、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データの抽出を実行する第２のフラッシュ成分抽出部を有し、
前記ホワイトバランス補正係数算出部は、
前記第２のフラッシュ成分抽出部の抽出データに基づいて高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出する構成であることを特徴とする請求項２に記載の画像処理装置。 - 前記高周波ブレ領域検出部は、
フラッシュ有り撮影画像と、フラッシュ無し撮影画像のブレ領域に含まれる画素データに設定した局所領域における画素データの統計量の比較による高周波ブレ領域検出処理を実行する構成であることを特徴とする請求項２に記載の画像処理装置。 - 前記高周波ブレ領域検出部は、
フラッシュ有り撮影画像と、フラッシュ無し撮影画像のブレ領域に含まれる画素データに設定した局所領域における画素データの統計量として、
（ａ）局所領域における全画素値平均値と、
（ｂ）局所領域における全画素値平均値以下の画素値を持つ選択画素のみの画素値平均である低画素値平均値と、
（ｃ）局所領域における全画素値平均値以上の画素値を持つ選択画素のみの画素値平均である高画素値平均値と、
の３つの統計量を算出し、各画像間の統計量の比較に基づいて、高周波ブレ領域であるか否かを判定する処理を実行する構成であることを特徴とする請求項２に記載の画像処理装置。 - 前記高周波ブレ領域検出部は、
第１のフラッシュ無し撮影画像と、フラッシュ有り撮影画像と、第２のフラッシュ無し撮影画像とに基づいて、ブレ領域内の各画素が高周波ブレ領域に含まれるか否かを判定する処理を実行する構成であり、検証対象画素について、
第１のフラッシュ無し撮影画像と第２のフラッシュ無し撮影画像の画素値差分を算出し、算出した画素値差分＜閾値であり、かつ、第１のフラッシュ無し撮影画像における検証対象画素を含む局所領域と、フラッシュ有り撮影縮小画像における対応局所領域内の画素値変移データの微分値の符号が異なる場合、または、
画素値差分＜閾値であり、かつ、フラッシュ有り撮影画像の検証対象画素を含む局所領域と、第２のフラッシュ無し撮影画像の対応局所領域内の画素値変移データの微分値の符号が異なる場合に、検証対象画素が高周波ブレ領域に含まれると判定する処理を実行する構成であることを特徴とする請求項２に記載の画像処理装置。 - 前記画像処理装置は、さらに、
縮小画像生成部を有し、
ホワイトバランス補正係数の算出処理は、前記縮小画像生成部において生成した縮小画像データに基づいて算出する構成であることを特徴とする請求項１乃至６いずれかに記載の画像処理装置。 - 前記画像処理装置は、さらに、
フラッシュ有り撮影画像と、フラッシュ無し撮影画像の撮影を実行する撮像部と、
前記撮像部の撮影したフラッシュ有り撮影画像と、フラッシュ無し撮影画像を格納するメモリを有する構成であることを特徴とする請求項１乃至７いずれかに記載の画像処理装置。 - 画像処理方法であり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出ステップと、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出ステップと、
前記フラッシュ成分抽出ステップにおける抽出データおよび前記ブレ領域検出ステップにおける検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間ステップと、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出したブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行するホワイトバランス補正ステップと、
を有することを特徴とする画像処理方法。 - 前記画像処理方法は、さらに、
前記ブレ領域検出ステップにおいて検出したブレ領域から、高周波ブレ領域の検出処理を実行する高周波ブレ領域検出ステップを有し、
前記ホワイトバランス補正係数算出ステップは、
ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するとともに、前記高周波ブレ領域検出ステップにおいて検出された高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するステップであり、
前記ホワイトバランス補正係数補間ステップは、
前記複数の画像データにおいて低周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域または高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数に基づく補間により算出するステップであり、
前記ホワイトバランス補正ステップは、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域および高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出した低周波ブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行することを特徴とする請求項９に記載の画像処理方法。 - 前記画像処理方法は、さらに、
前記高周波ブレ領域検出ステップにおいて検出した高周波ブレ領域にあるフラッシュ有り撮影画像と、フラッシュ無し撮影画像の画素データに基づいて、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データの抽出を実行する第２のフラッシュ成分抽出ステップを有し、
前記ホワイトバランス補正係数算出ステップは、
前記第２のフラッシュ成分抽出ステップにおいて抽出したデータに基づいて高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出することを特徴とする請求項１０に記載の画像処理方法。 - 前記高周波ブレ領域検出ステップは、
フラッシュ有り撮影画像と、フラッシュ無し撮影画像のブレ領域に含まれる画素データに設定した局所領域における画素データの統計量の比較による高周波ブレ領域検出処理を実行することを特徴とする請求項１０に記載の画像処理方法。 - 前記高周波ブレ領域検出ステップは、
フラッシュ有り撮影画像と、フラッシュ無し撮影画像のブレ領域に含まれる画素データに設定した局所領域における画素データの統計量として、
（ａ）局所領域における全画素値平均値と、
（ｂ）局所領域における全画素値平均値以下の画素値を持つ選択画素のみの画素値平均である低画素値平均値と、
（ｃ）局所領域における全画素値平均値以上の画素値を持つ選択画素のみの画素値平均である高画素値平均値と、
の３つの統計量を算出し、各画像間の統計量の比較に基づいて、高周波ブレ領域であるか否かを判定する処理を実行することを特徴とする請求項１０に記載の画像処理方法。 - 前記高周波ブレ領域検出ステップは、
第１のフラッシュ無し撮影画像と、フラッシュ有り撮影画像と、第２のフラッシュ無し撮影画像とに基づいて、ブレ領域内の各画素が高周波ブレ領域に含まれるか否かを判定する処理を実行するステップを含み、検証対象画素について、
第１のフラッシュ無し撮影画像と第２のフラッシュ無し撮影画像の画素値差分を算出し、算出した画素値差分＜閾値であり、かつ、第１のフラッシュ無し撮影画像における検証対象画素を含む局所領域と、フラッシュ有り撮影縮小画像における対応局所領域内の画素値変移データの微分値の符号が異なる場合、または、
画素値差分＜閾値であり、かつ、フラッシュ有り撮影画像の検証対象画素を含む局所領域と、第２のフラッシュ無し撮影画像の対応局所領域内の画素値変移データの微分値の符号が異なる場合に、検証対象画素が高周波ブレ領域に含まれると判定する処理を実行することを特徴とする請求項１０に記載の画像処理方法。 - 前記画像処理方法は、さらに、
縮小画像生成ステップを有し、
ホワイトバランス補正係数の算出は、前記縮小画像生成ステップにおいて生成した縮小画像データに基づいて算出することを特徴とする請求項９乃至１４いずれかに記載の画像処理方法。 - 画像処理を実行するコンピュータ・プログラムであり、
フラッシュを発光して撮影したフラッシュ有り撮影画像と、フラッシュを発光せずに撮影したフラッシュ無し撮影画像を含む複数の画像データを入力し、フラッシュ有り撮影画像に含まれるフラッシュ光に基づく画像成分データとしてのフラッシュ成分画像データと、フラッシュ光以外の外光に基づく画像成分データとしての外光成分画像データとに分離するフラッシュ成分抽出ステップと、
前記複数の画像データを入力し、該複数の画像データにおいてブレの認められるブレ領域を検出するブレ領域検出ステップと、
前記フラッシュ成分抽出ステップにおける抽出データおよび前記ブレ領域検出ステップにおける検出情報を入力し、ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するホワイトバランス補正係数算出ステップと、
前記複数の画像データにおいてブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数に基づく補間により算出するホワイトバランス補正係数補間ステップと、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出したブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行するホワイトバランス補正ステップと、
を有することを特徴とするコンピュータ・プログラム。 - 前記コンピュータ・プログラムは、さらに、
前記ブレ領域検出ステップにおいて検出したブレ領域から、高周波ブレ領域の検出処理を実行する高周波ブレ領域検出ステップを有し、
前記ホワイトバランス補正係数算出ステップは、
ブレの認められない非ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するとともに、前記高周波ブレ領域検出ステップにおいて検出された高周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を算出するステップであり、
前記ホワイトバランス補正係数補間ステップは、
前記複数の画像データにおいて低周波ブレ領域に含まれる画素に対応するホワイトバランス補正係数を、前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域または高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数に基づく補間により算出するステップであり、
前記ホワイトバランス補正ステップは、
前記前記ホワイトバランス補正係数算出ステップにおいて算出した非ブレ領域および高周波ブレ領域に含まれる画素対応のホワイトバランス補正係数と、ホワイトバランス補正係数補間ステップにおいて算出した低周波ブレ領域画素対応のホワイトバランス補正係数とに基づいて前記フラッシュ有り撮影画像に対してホワイトバランス補正処理を実行することを特徴とする請求項１６に記載のコンピュータ・プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004163274A JP4389671B2 (ja) | 2004-06-01 | 2004-06-01 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004163274A JP4389671B2 (ja) | 2004-06-01 | 2004-06-01 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005347935A JP2005347935A (ja) | 2005-12-15 |
| JP4389671B2 true JP4389671B2 (ja) | 2009-12-24 |
Family
ID=35499924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004163274A Expired - Fee Related JP4389671B2 (ja) | 2004-06-01 | 2004-06-01 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4389671B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9036045B2 (en) | 2011-05-02 | 2015-05-19 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US11363193B2 (en) | 2017-11-03 | 2022-06-14 | Samsung Electronics Co., Ltd. | Electronic apparatus and image correction method thereof |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5589585B2 (ja) * | 2009-07-07 | 2014-09-17 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP6049343B2 (ja) * | 2012-08-01 | 2016-12-21 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2020240989A1 (ja) * | 2019-05-29 | 2020-12-03 | ソニー株式会社 | 撮像装置、撮像制御方法および撮像制御プログラム |
-
2004
- 2004-06-01 JP JP2004163274A patent/JP4389671B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9036045B2 (en) | 2011-05-02 | 2015-05-19 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US11363193B2 (en) | 2017-11-03 | 2022-06-14 | Samsung Electronics Co., Ltd. | Electronic apparatus and image correction method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005347935A (ja) | 2005-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9094648B2 (en) | Tone mapping for low-light video frame enhancement | |
| KR101032165B1 (ko) | 화상 처리 방법 및 화상 처리 장치, 및 컴퓨터 판독 가능 기록 매체 | |
| US9307212B2 (en) | Tone mapping for low-light video frame enhancement | |
| KR101388130B1 (ko) | 화상처리장치 및 화상처리방법 | |
| JP4973719B2 (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
| JP5115568B2 (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
| JP4668956B2 (ja) | 画像処理装置および方法並びにプログラム | |
| JP5743696B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| WO2004010711A1 (ja) | 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム | |
| JP2007124604A (ja) | 画像処理装置およびその処理方法 | |
| JP4818393B2 (ja) | 画像処理方法および画像処理装置 | |
| JP2007174277A (ja) | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム | |
| JP5804857B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2009005083A (ja) | 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム | |
| JP4029206B2 (ja) | 撮像装置 | |
| JP4389671B2 (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
| JP5814610B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| JP2010161455A (ja) | 赤外線混合撮像装置 | |
| JP2010213105A (ja) | 撮像装置 | |
| JP5160655B2 (ja) | 画像処理装置および方法並びにプログラム | |
| US8334912B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and computer readable recording medium storing image processing program | |
| JP2011135379A (ja) | 撮像装置、撮像方法及びプログラム | |
| JP2009022044A (ja) | 画像処理装置及び画像処理プログラム | |
| KR101408359B1 (ko) | 촬상장치 및 촬상방법 | |
| JP2007267170A (ja) | 彩度調整機能を有する電子カメラ、および画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070530 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090915 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090928 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131016 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |