JP4379129B2 - 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、画像処理方法、および画像処理装置、並びにコンピュータ・プログラムに関する。さらに詳細には、フラッシュ光を発光して撮影した画像と、発光させずに撮影した画像とを用いた画素値補正処理を実行するとともに最適なフラッシュ強度を推定し、推定結果に基づいた補正を行なうことで高品質な画像の生成を可能とした画像処理方法、および画像処理装置、並びにコンピュータ・プログラムに関する。

フラッシュ（ｅｌｅｃｔｒｉｃａｌ ｆｌａｓｈ，ｓｔｒｏｂｅ）は、カメラ撮影時に補助光源として用いられる。近年ＤＳＣ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）が急速に普及しているが、ＤＳＣにおいても、しばしば、フラッシュ撮影が行われる。フラッシュを使うことにより、フィルインライト（人物の顔に影がきつく出過ぎるときなどに影を弱める技法）、逆光補正（太陽を背にした人物を撮る場合などに顔が黒くつぶれるのを防ぐ技法）、キャッチライト（眼の瞳にきらりと光る「光の点」を入れ、瞳を美しく撮影する技法）、あるいは日中シンクロ（デイライトシンクロ、昼間や夕方に補助光線として使うテクニック）等、様々な写真撮影を行うことができる。一方で、フラッシュ撮影を行うと、色バランスが崩れたり、白飛びが生じたりする場合がある。本発明は、このようなフラッシュ撮影で生じる良くない現象を補正可能な適切な手段を提供することを１つの目的とする。

一般的に、デジタルカメラでは、白い被写体が白く撮影されるようにホワイトバランス（ＷＢ）調整が行われる。例えば自然光、照明光、フラッシュ（ストロボ）等の被写体に対して照射される光の色温度が高くブルー（Ｂ）の光が強い光成分環境で撮影する場合は、ブルーの光に対する感度を抑制し、レッド（Ｒ）の光に対する感度を相対的に高くし、逆に被写体に対して照射される光の色温度が低くレッド（Ｒ）の光が強い光成分環境で撮影する場合は、レッドの光に対する感度を抑制し、ブルー（Ｂ）の光に対する感度を相対的に高くするなどのホワイトバランス調整が行われる。

ホワイトバランス調整は、通常、撮影時に用いる光源に応じた調整パラメータを設定した調整処理が実行される。例えばフラッシュ撮影を行う場合は、適用するフラッシュ光の持つ光成分に応じたパラメータに従ってホワイトバランス調整が行われる。

しかし、フラッシュ光以外の外光がある状態で、フラッシュ撮影を行うと、フラッシュ光、外光の２種類の光が被写体に照射されてその反射光がカメラの撮像素子に到達し、撮影が行われることになる。このような撮影が行われる場合、ホワイトバランス調整をフラッシュ光に合わせて実施すると、フラッシュ光が多く当たっている被写体部分は自然な色に調整されるが、フラッシュ光が届かず外光のみの反射光として撮影される領域、例えば背景画像領域などは、フラッシュ光の光成分に合わせたパラメータ設定に従ったホワイトバランス調整を行ってしまうと、適切なホワイトバランス調整が実行されず不自然な色を持つ領域として出力されることになる。

逆に、背景部分にあわせたホワイトバランス調整、すなわち外光のみによって撮影されたものとして、撮影画像全体のホワイトバランス調整を実行するとフラッシュ光の多くあたった部分が不自然な色に調整されることになる。

このような問題に対処するための構成がいくつか提案されている。例えば特許文献１は、フラッシュを発光せず撮影した画像と、フラッシュを発光させた撮影画像を取得し、この撮影された２つの画像をブロックに分割し、各ブロック毎に輝度値の比較を行い、輝度値の比較結果に基づいて、フラッシュを発光して撮影した画像について各ブロック毎に異なるホワイトバランス調整を行う構成を示している。

ホワイトバランス調整は、各ブロック毎にフラッシュ光に合わせたホワイトバランス調整、またはフラッシュ光と外光の中間にあわせたホワイトバランス調整、または外光にあわせたホワイトバランス調整のいづれかを選択して実行する。しかし、このような構成では、処理をブロック単位で行うことが必要となり、ブロック歪みを生ずる問題や被写体が動いた場合などには正しい処理ができない問題などがある。

また、特許文献２には、以下の処理構成を開示している。すなわち、まず絞りを開放し露出時間を短くした上でフラッシュを発光させて撮影し、その後、本来意図した露光条件でフラッシュを発光せずに撮影を行う。ここで、前者を第１画像、後者を第２画像とする。さらに第１画像において所定のレベル以上の画素を主要被写体領域、それ以外を背景領域として登録する。その後、第１画像をフラッシュに合わせてホワイトバランス調整、第２画像を外光に合わせてホワイトバランス調整し、第１画像の主要被写体領域と第２画像の背景領域を組み合わせて最終的な記録画像とする構成である。

しかし、本構成では、外光とフラッシュ光の両方が当たった被写体のホワイトバランス調整は正しく行うことができない。

また、特許文献３は、上述の特許文献２の構成に加えて、像ぶれ検出手段を付加した構成を開示している。ぶれがあると判断された場合は、前述の第１画像をそのまま記録画像とし、第１画像と第２画像の組み合わせ処理を実行しない構成としている。従ってぶれが検出された場合は、フラッシュ光と外光の色温度の違いに起因する不自然さが解消されないことになる。

さらに、特許文献４は、フラッシュを発光させて撮影した画像と、フラッシュ発光なしで撮影した画像の対応画素の輝度値を割り算し、フラッシュ光の寄与率を求め、この寄与率に基づき、フラッシュを発光させて撮影した画像に対してホワイトバランス調整を行う構成を開示している。

しかし、本構成では、フラッシュ光、外光からの反射光が混合され撮像された画像に対し、フラッシュの寄与率に基づきフラッシュ光と外光用のホワイトバランスパラメータを、単純に補間し、最終的な画像を生成する。しかし、物理的な光の反射モデルを考慮した場合、フラッシュ光による成分と外光による成分は独立に処理されるべきであり、フラッシュ光、外光からの反射光が混合され撮像された画像を処理するだけでは、最適な結果画像を生成することは出来ない。
特開平８−５１６３２号公報 特開２０００−３０８０６８号公報 特開２０００−３０７９４０号公報 特開平８−３４０５４２号公報

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、外光とフラッシュ光が混在する環境下で撮影した画像の最適なホワイトバランス調整を可能とし、また、フラッシュ光の強度が強すぎたり、あるいは弱すぎたりといった場合に最適なフラッシュ光の強度を推定して、推定した最適なフラッシュ光強度に対応した調整画像に基づく補正を行なうことで、高品質な画像を生成することを可能とした画像処理方法、および画像処理装置、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
フラッシュを発光させずに撮影した第１の画像と、フラッシュを発光させて撮影した第２の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出ステップと、
前記フラッシュ成分画像の強度調整値を算出する強度調整値算出ステップと、
前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出ステップと、
前記第１の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成ステップを有し、
前記強度調整値算出ステップは、
フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像から予め定めた閾値以上の画素値を持つ画素によって構成されるフラッシュマスクＭ_ｆを生成するフラッシュマスク生成ステップと、
下記算出式、
ｇ＝｛Ｔ^−１（ｍａｘ−ｋ×ｓｔｄ_ｒｓｌｔ）−ａｖｇ_１｝÷ａｖｇ_Ｆ
ただし、Ｔ^−１は、非線形変換Ｔの逆変換、
ｍａｘは、最大出力画素値、
ｋは、予め定めたスカラー値
ａｖｇ_１は、前記第１の画像に対するホワイトバランス調整画像Ｉ_１'のフラッシュマスクＭ_ｆ部分の輝度値の平均値
ａｖｇ_Ｆは、前記フラッシュ成分画像のホワイトバランス調整画像Ｆ'のフラッシュマスクＭ_ｆ部分の輝度値の平均値
ｓｔｄ_ｒｓｌｔは、非線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分を構成する画素の画素値ヒストグラムにおける標準偏差である
によって強度調整値としてのゲインｇを算出するステップと、
を有することを特徴とする画像処理方法にある。

さらに、本発明の画像処理方法の一実施態様において、前記フラッシュ成分画像算出ステップは、前記第１の画像と第２の画像との差分画像データを算出するステップと、前記差分画像データに対して、フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行するステップとを含み、前記強度調整値算出ステップは、前記ホワイトバランス調整処理のなされたフラッシュ成分画像の強度調整値を算出するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記最終調整画像生成ステップは、
（ａ）前記第１の画像について、外光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したホワイトバランス調整済みの第１の画像と、
（ｂ）フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像に対して強度調整を実行した強度調整フラッシュ成分画像と、
上記（ａ）および（ｂ）の２画像に基づいて最終調整画像の生成処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記強度調整値算出ステップは、外光成分対応パラメータに基づくホワイトバランス調整処理を実行した前記第１の画像と、フラッシュ光成分対応パラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像との合成画像に基づいて生成する非線形変換処理画像中の飽和画素値を持つ画素数を抑制する調整値として前記強度調整値を算出することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記非線形変換処理は、ガンマ補正であり、前記強度調整値算出ステップは、ガンマ補正画像中の飽和画素値を持つ画素数を抑制する調整値として前記強度調整値を算出することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記強度調整フラッシュ成分画像算出ステップは、強度調整値として、前記ゲインｇを適用して、強度調整フラッシュ成分画像Ｆ"を、下記式、
Ｆ"＝ｇＦ'
によって算出し、
前記最終調整画像生成ステップは、
最終調整画像Ｒを、下記式、
Ｒ＝Ｉ_１＋Ｆ"
に従って算出するステップであることを特徴とする。

さらに、本発明の第２の側面は、
画像処理装置であり、
フラッシュを発光させずに撮影した第１の画像と、フラッシュを発光させて撮影した第２の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出部と、
前記フラッシュ成分画像の強度調整値を算出する強度調整値算出部と、
前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出部を有し、
前記第１の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成部と、
前記強度調整値算出部は、
フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像から予め定めた閾値以上の画素値を持つ画素によって構成されるフラッシュマスクＭ_ｆを生成し、
下記算出式、
ｇ＝｛Ｔ^−１（ｍａｘ−ｋ×ｓｔｄ_ｒｓｌｔ）−ａｖｇ_１｝÷ａｖｇ_Ｆ
ただし、Ｔ^−１は、非線形変換Ｔの逆変換、
ｍａｘは、最大出力画素値、
ｋは、予め定めたスカラー値
ａｖｇ_１は、前記第１の画像に対するホワイトバランス調整画像Ｉ_１'のフラッシュマスクＭ_ｆ部分の輝度値の平均値
ａｖｇ_Ｆは、前記フラッシュ成分画像のホワイトバランス調整画像Ｆ'のフラッシュマスクＭ_ｆ部分の輝度値の平均値
ｓｔｄ_ｒｓｌｔは、非線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分を構成する画素の画素値ヒストグラムにおける標準偏差である
によって強度調整値としてのゲインｇを算出する構成を有することを特徴とする画像処理装置にある。

さらに、本発明の第２の側面は、
画像処理装置であり、
フラッシュを発光させずに撮影した第１の画像と、フラッシュを発光させて撮影した第２の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出部と、
前記フラッシュ成分画像の強度調整値を算出する強度調整値算出部と、
前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出部と、
前記第１の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成部と、
を有することを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記フラッシュ成分画像算出部は、前記第１の画像と第２の画像との差分画像データを算出する差分画像算出部と、前記差分画像データに対して、フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行するホワイトバランス調整部とを含み、前記強度調整値算出部は、前記ホワイトバランス調整処理のなされたフラッシュ成分画像の強度調整値を算出する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記最終調整画像生成部は、
（ａ）前記第１の画像について、外光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したホワイトバランス調整済みの第１の画像と、
（ｂ）フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像に対して強度調整を実行した強度調整フラッシュ成分画像と、
上記（ａ）および（ｂ）の２画像に基づいて最終調整画像の生成処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記強度調整値算出部は、外光成分対応パラメータに基づくホワイトバランス調整処理を実行した前記第１の画像と、フラッシュ光成分対応パラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像との合成画像に基づいて生成する非線形変換処理画像中の飽和画素値を持つ画素数を抑制する調整値として前記強度調整値を算出する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記非線形変換処理は、ガンマ補正であり、前記強度調整値算出部は、ガンマ補正画像中の飽和画素値を持つ画素数を抑制する調整値として前記強度調整値を算出する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記強度調整フラッシュ成分画像算出部は、強度調整値として、前記ゲインｇを適用して、強度調整フラッシュ成分画像Ｆ"を、下記式、
Ｆ"＝ｇＦ'
によって算出し、
前記最終調整画像生成部は、
最終調整画像Ｒを、下記式、
Ｒ＝Ｉ_１＋Ｆ"
に従って算出する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、フラッシュの発光を制御して、前記第１の画像と、前記第２の画像を含む複数画像の撮影を実行する撮像部を有することを特徴とする。

さらに、本発明の第３の側面は、
画像処理を実行するコンピュータ・プログラムであり、
フラッシュを発光させずに撮影した第１の画像と、フラッシュを発光させて撮影した第２の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出ステップと、
前記フラッシュ成分画像の強度調整値を算出する強度調整値算出ステップと、
前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出ステップと、
前記第１の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成ステップを有し、
前記強度調整値算出ステップは、
フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像から予め定めた閾値以上の画素値を持つ画素によって構成されるフラッシュマスクＭ_ｆを生成するフラッシュマスク生成ステップと、
下記算出式、
ｇ＝｛Ｔ^−１（ｍａｘ−ｋ×ｓｔｄ_ｒｓｌｔ）−ａｖｇ_１｝÷ａｖｇ_Ｆ
ただし、Ｔ^−１は、非線形変換Ｔの逆変換、
ｍａｘは、最大出力画素値、
ｋは、予め定めたスカラー値
ａｖｇ_１は、前記第１の画像に対するホワイトバランス調整画像Ｉ_１'のフラッシュマスクＭ_ｆ部分の輝度値の平均値
ａｖｇ_Ｆは、前記フラッシュ成分画像のホワイトバランス調整画像Ｆ'のフラッシュマスクＭ_ｆ部分の輝度値の平均値
ｓｔｄ_ｒｓｌｔは、非線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分を構成する画素の画素値ヒストグラムにおける標準偏差である
によって強度調整値としてのゲインｇを算出するステップと、
を有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、フラッシュを発光させずに撮影した第１の画像と、フラッシュを発光させて撮影した第２の画像とに基づいてフラッシュ成分画像を算出し、該フラッシュ成分画像の強度調整を実行して生成した強度調整フラッシュ成分画像を適用して最終調整画像を生成する構成としたので、出力画像を生成する際に実行されるガンマ補正などの非線形変換処理後の画像における飽和画素値を持つ画素、すなわち白とびを削減した高品質な画像を生成することが可能となる。

さらに、本発明の構成によれば、フラッシュを発光させずに撮影した第１の画像について、外光成分に対応するパラメータに基づくホワイトバランス調整処理を実行してホワイトバランス調整済みの第１の画像を生成し、さらに、フラッシュ成分画像に対してフラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像を強度調整して、これらの画像に基づいて、最終調整画像を生成する構成としたので、個々の画像に対応するパラメータを用いた最適なホワイトバランス調整が実行される。

以下、図面を参照しながら、本発明の詳細について説明する。図１は、本発明に係る画像処理装置の一構成例を示すものであり、撮像部を備えた画像処理装置例を示している。

図１に示す画像処理装置は、レンズ１０１、絞り１０２、固体撮像素子１０３、相関２重サンプリング回路１０４、Ａ／Ｄコンバータ１０５、ＤＳＰブロック１０６、タイミングジェネレータ１０７、Ｄ／Ａコンバータ１０８、ビデオエンコーダ１０９、ビデオモニタ１１０、コーデック（ＣＯＤＥＣ）１１１、メモリ１１２、ＣＰＵ１１３、入力デバイス１１４、フラッシュ制御装置１１５、フラッシュ発光装置１１６から構成される。

入力デバイス１１４はカメラ本体にある録画ボタンなどの操作ボタン類を含む。また、ＤＳＰブロック１０６は信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下ＤＳＰブロックを単にＤＳＰと呼ぶ。

本実施例の全体的な動作を以下に説明する。
光学系を通過して固体撮像素子１０３に到達した入射光は、まず撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路１０４によってノイズ除去され、Ａ／Ｄコンバータ１０５によってデジタル信号に変換された後、デジタル信号処理部（ＤＳＰ）１０６中の画像メモリに一時格納される。なお、必要があれば、撮影の際に、フラッシュ制御装置１１５を介して、フラッシュ発光装置１１６を発光させることができる。

撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ１０７が信号処理系を制御する。デジタル信号処理部（ＤＳＰ）１０６へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはＤ／Ａコンバータ１０８もしくはコーデック（ＣＯＤＥＣ）１１１あるいはその両方に送られる。Ｄ／Ａコンバータ１０８はデジタル信号処理部（ＤＳＰ）１０６から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ１０９がビデオ信号に変換し、そのビデオ信号をビデオモニタ１１０でモニタできるようになっていて、このビデオモニタ１１０は本実施例においてカメラのファインダの役割を担っている。また、コーデック（ＣＯＤＥＣ）１１１はデジタル信号処理部（ＤＳＰ）１０６から送られる画像データに対する符号化をおこない、符号化された画像データはメモリ１１２に記録される。ここで、メモリ１１２は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。

以上が本実施例のデジタルビデオカメラのシステム全体の説明である。撮影画像の画像補正処理は、主にデジタル信号処理部（ＤＳＰ）１０６において実行される。以下、この画像処理の詳細について説明する。

画像処理は、デジタル信号処理部（ＤＳＰ）１０６に入力された画像信号ストリームに対して、所定のプログラムコードに記述された処理を順次実行することで行なわれる。以降の説明では、プログラム中の各処理の実行シーケンスについて、フローチャートを参照して説明する。なお、本発明は以下において説明するプログラム処理形態に限らず、以下に説明する処理シーケンスを実行する機能を持つハードウェア構成によって実現することも可能である。

図２はデジタル信号処理部（ＤＳＰ）１０６内部において、入力された画像信号のストリームに対して実行するホワイトバランス（ＷＢ）調整処理を含む画素値補正処理の手順を説明するフローチャートである。

ステップＳ１０１では、事前に設定された絞り、シャッタースピードを用いて、フラッシュ発光なしで撮影し、ステップＳ１０２でこのフラッシュ発光なし撮影画像を画像データＩ_１としてメモリに格納する。ステップＳ１０３では、ステップＳ１０１と同様に事前に設定された絞り、シャッタースピードを用いて、フラッシュ発光を行って撮影し、ステップＳ１０４でこのフラッシュ発光あり撮影画像を画像データＩ_２としてメモリに格納する。

次にステップＳ１０５では、ステップＳ１０１と同様に事前に設定された絞り、シャッタースピードを用いて、フラッシュ発光なしで、再度撮影し、ステップＳ１０６でこのフラッシュ発光なし撮影画像を画像データＩ_３としてメモリに格納する。

なお、ステップＳ１０１，Ｓ１０３，Ｓ１０５の撮影は、連続した撮影、例えば約１／１００秒間隔の連続撮影として実行される。それぞれの撮影ステップから得られた複数の画像を用いて、ホワイトバランス（ＷＢ）の調整処理等の画素値補正を行い、最終的な画素値補正画像としての最終調整画像を生成する。

また、ステップＳ１０２、Ｓ１０４、Ｓ１０６においてメモリに格納される画像データＩ_１、Ｉ_２、Ｉ_３は手ぶれ補正が行われた画像とする。すなわち、３枚の画像Ｉ_１、Ｉ_２、Ｉ_３の撮影時に手ぶれがおきている場合には、それらをあらかじめ補正してからメモリに格納する。すなわち、撮影画像が手ぶれの発生画像である場合には、ステップＳ１０１とＳ１０２の間、ステップＳ１０３とＳ１０４の間、およびステップＳ１０５とＳ１０６の間において、手ぶれの補正を実行し補正後の画像をメモリに格納する。したがってメモリに格納される画像データＩ_１、Ｉ_２、Ｉ_３は三脚にカメラを固定した状態で連続撮影したかのような画像となる。

なお手ぶれの補正処理は、従来から知られた処理が適用可能である。例えば、加速度センサを用いてずれを検出し、レンズをずらす方法、または目的の解像度より大きい解像度の画像を撮像素子を用いて撮影してずれが生じないように適切な部分を読み出す方法、さらにはセンサを用いず画像処理だけで手ぶれを補正する方法など、従来から広く用いられている方法が適用される。

次にステップＳ１０７において、ステップＳ１０１、Ｓ１０３、Ｓ１０５の３枚の画像の撮影の間に、被写体自体の動きに起因する像ぶれがあったか否かを検出する。この被写体自体の動きに起因する像ぶれがあったか否かの検出処理は、３枚の画像から２つの画像を比較して行われる。たとえば、画像Ｉ_１と画像Ｉ_３を用いて、動き部分を検出することができる。一例として、画像Ｉ_１と画像Ｉ_３の各画素に関して差分をとり、ある閾値以上である場合は、動きがあった部分として登録するという方法がある。被写体自体の動きに起因する像ぶれがなかったと判定した場合（ステップＳ１０８：Ｎｏ）は、ステップＳ１１２に進む。動きが検出された場合（ステップＳ１０８：Ｙｅｓ）は、ステップＳ１０９に進む。

ステップＳ１０９において、ステップＳ１０７で検出された動き部分に関して、適切なホワイトバランス（ＷＢ）調整を行うための補正処理が可能かどうか判定を行う。この判定処理はたとえば、ステップＳ１０７において動き部分として登録された画素数の画像全体の画素数に対する比率に基づいて行う方法が適用される。例えば、動き部分として登録された画素数の画像全体の画素数に対する比率［ｒａｔｉｏＡ］が、予め定めたある一定の閾値［Ｔｈｒｅｓｈｏｌｄ］以上である場合には補正が不可能と判定し、閾値未満である場合には補正可能と判定する。

ステップＳ１０９で、補正不可能であると判定された場合、ステップＳ１１３に進み、補正可能であると判定された場合は、ステップＳ１１０に進む。

ステップＳ１１３においては、フラッシュ発光ありの撮影画像データＩ_２に対して、ホワイトバランス（ＷＢ）調整を行い、出力画像Ｒを生成し、処理を終了する。ホワイトバランス調整に使用するパラメータ値としては、外光成分にあわせて設定されたパラメータ、フラッシュ光成分にあわせて設定されたパラメータ、または、外光とフラッシュ光の中間成分に基づいて設定されるパラメータのいずれかであり、これらのパラメータを設定したホワイトバランス（ＷＢ）調整を実行する。なお、このホワイトバランス調整法は、従来から行われている方法であり、その詳細説明は省略する。なお、適用するパラメータは、３×３行列によって示されるパラメータであり、各画素の色を構成する色成分の変換に適用する行列である。３×３行列は、対角成分以外を０として設定した行列が適用される。

ステップＳ１１０では、複数画像データに基づくホワイトバランス調整処理を含む画素値補正が実行される。なお、ステップＳ１１０では、ステップＳ１０７の動き部分検出処理において検出された動き部分を除く画素の画素値の補正のみが実行され、動き部分の画素値補正処理は、ステップＳ１１１において実行する。あるいは、ステップＳ１１０ですべての画素についてホワイトバランス調整処理を含む画素値補正を実行し、ステップＳ１１１において、動き部分画素についてのみ、再度補正を実行してもよい。

なお、ステップＳ１１１において実行する動き部分の画素値補正処理は、例えば、放射規定関数（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を適用した処理や、平滑化フィルタを適用した処理などによって実行される。なお、これらの処理の詳細については、本発明と同一出願人の特許出願である特願２００３−３１２６３０に記載されている。

次に、ステップＳ１１０およびステップＳ１１２における複数画像データに基づくホワイトバランス（ＷＢ）調整処理について説明する。ステップＳ１１０およびステップＳ１１２における処理は、同一の処理である。すなわち、ステップＳ１１２では、ステップＳ１０７の動き部分検出処理において動きが検出されなかった場合に画像すべてに対して画素値補正が実行され、ステップＳ１１０では、ステップＳ１０７の動き部分検出処理において検出された動き部分を除く画素の画素値補正、あるいはすべての画素に対する画素値補正が同一の処理シーケンスによって実行される。この処理の詳細について、図３を参照して説明する。

ステップＳ２０１おいて、フラッシュ光あり撮影画像データＩ_２の成分とフラッシュ光なし撮影画像Ｉ_１の画素の各色成分（例えばＲＧＢ各チャンネル毎）の差をとり、差分画像Ｆ＝Ｉ_２−Ｉ_１を、フラッシュ成分画像として生成してメモリに格納する。フラッシュ光なしの撮影を行ったステップＳ１０１とフラッシュ光ありの撮影を行ったステップＳ１０３の間に、被写体が動かなかったとすれば、差分画像Ｆ＝Ｉ_２−Ｉ_１は、外光がまったく無い状態でフラッシュ光のみを照射しフラッシュ光のみが被写体に反射して、カメラの固体撮像素子に入射し撮像される画像、すなわちフラッシュ成分画像と等価なものとなる。

次にステップＳ２０２において、差分画像Ｆに対して、フラッシュ光の色温度にあわせたホワイトバランス（ＷＢ）調整を実行する。すなわち、フラッシュ成分画像である差分画像データＦをフラッシュ光成分に合わせて設定したパラメータに基づいてホワイトバランス（ＷＢ）調整を実行する。さらにフラッシュ光が明るすぎるまたは暗すぎる場合に、画像の明るさが最適になるようにレベル調整し、補正されたフラッシュ成分画像としての補正差分画像Ｆ'を生成する。

次にステップＳ２０３において、フラッシュ光なし撮影画像データＩ_１に対して、外光に合わせたホワイトバランス（ＷＢ）調整を実行する。すなわち、フラッシュ光なし撮影画像データＩ_１を外光成分に対応するパラメータに基づいてホワイトバランス（ＷＢ）調整を実行し、補正画像Ｉ_１'を生成する。

これは、従来から広く知られているホワイトバランス（ＷＢ）調整によって実行される。例えば、特開２００１−７８２０２に述べられている技術を適用可能である。特開２００１−７８２０２では、フラッシュ発光ありで撮影した画像Ｉ_２とフラッシュなしで撮影した画像Ｉ_１の差分画像Ｆと既知のフラッシュの分光特性から、物体色成分データおよび外光の分光分布を照明成分データとして求める。この照明成分データを用いて、フラッシュ光なし撮影画像Ｉ_１のホワイトバランス（ＷＢ）調整を実行して、補正画像Ｉ'を生成する。

次にステップＳ２０４において、さらにフラッシュ光が明るすぎるまたは暗すぎる場合に、最終の結果画像の明るさを最適にするように補正されたフラッシュ成分画像である補正差分画像Ｆ'の強度（ゲイン）を調整し、ゲイン調整差分画像としての強度調整フラッシュ成分画像Ｆ"を生成する。

強度調整フラッシュ成分画像Ｆ"の生成処理の概要は、以下の通りである。すなわち、補正差分画像Ｆ'と補正画像Ｉ_１'とこれらの画像の画素値に基づくヒストグラムなどの統計量と、合成画像［Ｆ'＋Ｉ_１'］にガンマ補正など非線形変換を施した画像に関する統計量を用いて、補正差分画像Ｆ'の最適なゲインを求め、明るさを調節したゲイン調整差分画像としての強度調整フラッシュ成分画像Ｆ"を生成するものである。

以下、ステップＳ２０４において実行する強度調整フラッシュ成分画像Ｆ"（ゲイン調整差分画像）の生成処理の詳細について、図４に示すフローを参照して説明する。

まず、ステップＳ３０１において、ホワイトバランス調整のなされたフラッシュ成分画像である補正差分画像Ｆ'に基づいて、ある程度の光量のフラッシュ光が当たっている物体が撮像されていると考えられる画像中の部分を表すフラッシュマスクＭ_ｆを求める。フラッシュマスクＭ_ｆを求める具体的方法の一例を、以下に説明する。

まず、補正差分画像Ｆ'について、輝度があらかじめ定めたある閾値（Ｔｈ１）以上である画素を検出する。閾値（Ｔｈ１）以上の輝度値を持つ抽出画素の輝度の平均値を算出する。補正差分画像Ｆ'を構成する画素各々の輝度が、算出した平均値以上である場合は、フラッシュ光が比較的大きく、外光とフラッシュ光を合成した最終画像への影響が大きい部分であると言える。

なお、図２を参照して説明したステップＳ１０７において検出した被写体自体の動き部分に相当する画素に関しては、動きがフラッシュ成分として現れている可能性があるので、フラッシュマスク設定対象画素からは除外する。動き部分の画素値補正処理は、図の処理フローにおけるステップＳ１１１において実行する。

すなわち、
（ａ）補正差分画像Ｆ'について、輝度があらかじめ定めたある閾値以上である画素
（ｂ）被写体自体の動き部分に相当しない画素
（ａ），（ｂ）の２つの条件に該当する画素領域によって構成されるマスクをフラッシュマスクＭ_ｆとして生成する。

ステップＳ３０２以下では、上記（ａ），（ｂ）両条件を満足する画素から構成されるフラッシュマスクＭ_ｆ部分の画像の解析処理を実行し、最適な補正差分画像Ｆ'のゲインｇを算出して、ゲイン調整差分画像としての、
Ｆ"＝ｇＦ'
を求める。

ステップＳ３０２以下の処理について、図５、図６、および図７を参照して説明する。ステップＳ３０２では、補正差分画像Ｆ'と、補正画像Ｉ_１'のフラッシュマスクＭ_ｆ部分の輝度平均値を算出する。

図５（１）は、補正画像Ｉ_１'のフラッシュマスクＭ_ｆ部分の輝度（画素値）の度数分布図としてのヒストグラムを示している。横軸が画素値、縦軸が度数を示している。画素値は、例えば０（ｍｉｎ）〜２５５（ｍａｘ）の輝度値を示している。なお、ここでは説明を簡潔にするため、１つのヒストグラムを適用して説明するが、ＲＧＢカラー画像の場合は、各画素の各チャンネル、例えばＲＧＢ各チャンネルのヒストグラムをそれぞれ生成して、各チャネル毎に以下に説明する処理を実行する。

補正画像Ｉ_１'のフラッシュマスクＭ_ｆ部分を構成する画素の輝度（画素値）は、最小値（ｍｉｎ）、例えば画素値＝０から最大値（ｍａｘ）、例えば画素値＝２５５の間に分布しており、補正画像Ｉ_１'のフラッシュマスクＭ_ｆ部分の輝度値の平均値（ａｖｇ_１と呼ぶ）を平均値（ａｖｇ_１）として示している画素値である。

図５（２）は、補正差分画像Ｆ'のフラッシュマスクＭ_ｆ部分の輝度（画素値）の度数分布図としてのヒストグラムを示している。補正差分画像Ｆ'のフラッシュマスクＭ_ｆ部分を構成する画素の輝度（画素値）は補正差分画像Ｆ'のフラッシュマスクＭ_ｆ部分の輝度値の平均値（ａｖｇ_Ｆと呼ぶ）は、平均値（ａｖｇ_Ｆ）として示している画素値となる。

図４に示すフローのステップＳ３０２においては、図５（１）と（２）に示すヒストグラムを生成して、それぞれのヒストグラムにおける平均値、すなわち、
補正画像Ｉ_１'のフラッシュマスクＭ_ｆ部分の輝度（画素値）の平均値［ａｖｇ_１］
補正差分画像Ｆ'のフラッシュマスクＭ_ｆ部分の輝度（画素値）の平均値［ａｖｇ_Ｆ］
を算出する。

次にステップＳ３０３において、補正画像Ｉ_１'と、補正差分画像Ｆ'の合成画像Ｒ_ｔｍｐ＝Ｉ_１'＋Ｆ'を生成する。これは、補正画像Ｉ_１'の各画素の画素値に対して補正差分画像Ｆ'の対応画素の画素値を加算して生成する。

図５（３）に示すヒストグラムは、補正画像Ｉ_１'と、補正差分画像Ｆ'の合成画像Ｒ_ｔｍｐ＝Ｉ_１'＋Ｆ'のフラッシュマスクＭ_ｆ部分の輝度（画素値）の度数分布図としてのヒストグラムを示している。合成画像Ｒ_ｔｍｐ＝Ｉ_１'＋Ｆ'のフラッシュマスクＭ_ｆ部分を構成する画素の輝度（画素値）は全体的に最大画素値（ｍａｘ）側にずれたヒストグラムとして設定され、合成画像Ｒ_ｔｍｐ＝Ｉ_１'＋Ｆ'のフラッシュマスクＭ_ｆ部分の輝度値の平均値は、平均値（ａｖｇ_１＋Ｆ）として示している画素値となる。

固体撮像素子から出力される画像を構成する各画素の輝度は、固体撮像素子に入射する光の量と線形の関係にある。一方、一般的なデジタルスチルカメラなどが最終画像として出力する画像は、固体撮像素子から出力される画像に対し、ガンマ補正などの非線形変換を施したものである。ガンマ補正は、画像の明るさや色の彩度を正しく表示するための補正処理であり、デジタルスチルカメラが撮像して得た画素値を、そのまま出力すると、人の目によって観察された場合に、不自然になる場合がある。これを解決するため、入力画素値と出力画素値とを所定のγ曲線を用いて非線形変換処理を施す、これをガンマ補正とよぶ。

ここでは、この非線形変換をＴと標記する。ステップＳ３０４において、補正画像Ｉ_１'と、補正差分画像Ｆ'の合成画像Ｒ_ｔｍｐ＝Ｉ_１'＋Ｆ'について、非線形変換Ｔを施した画像を、
非線形変換画像Ｒ_ｔｍｐ'＝Ｔ（Ｆ'＋Ｉ_１'）
を生成する。

ここで、非線形変換画像Ｒ_ｔｍｐ'＝Ｔ（Ｆ'＋Ｉ_１'）は、合成画像Ｒ_ｔｍｐ＝（Ｆ'＋Ｉ_１'）の各画素の各チャンネル、例えばＲＧＢ各チャンネルの画素値に対しそれぞれ非線形変換Ｔを施して得られる非線形変換画像をあらわす。

図６は、図５（３）に示す補正画像Ｉ_１'と、補正差分画像Ｆ'の合成画像（Ｆ'＋Ｉ_１'）の各画素の各チャンネルの画素値に対しそれぞれ非線形変換Ｔを施して得られる非線形変換画像Ｔ（Ｆ'＋Ｉ_１'）についてのフラッシュマスクＭ_ｆ部分の輝度（画素値）の度数分布図としてのヒストグラムを示している。線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分を構成する画素の輝度（画素値）は全体的に最大画素値（ｍａｘ）側にずれたヒストグラムとして設定される。

ステップＳ３０５において、図６に示すヒストグラムから標準偏差を算出する。線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分を構成する画素の画素値平均値は、図６に示すように、［ａｖｇ_ｒｓｌｔ］である。また、標準偏差は［ｓｔｄ_ｒｓｌｔ］として求められる。

図６に示すように、線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分を構成する画素の画素値によって構成されるヒストグラムは、最大値（ｍａｘ）、例えば画素値＝２５５付近に多くの画素が分布しており、白とびが起きていることが分かる。白とび画素は、図６に示す白とび部分２０１に存在すべき画素である。すなわち、ガンマ補正によって多くの画素の画素値が最大値（最大輝度値）に設定、すなわち飽和画素値に設定されてしまっている。この状態は、本来の画素レベルの差異を表現できないいわゆる白とびと呼ばれる。

理想的な画像は、十分に明るく、かつ白とびが起きていない画像である。ガンマ補正によって、図６に示すような飽和画素値を多く持つ画像は、理想的な画像としての特徴を備えていないものである。

従って、本発明においては、外光成分対応パラメータに基づくホワイトバランス調整処理を実行した補正画像Ｉ_１'と、フラッシュ光成分対応パラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像である補正差分画像Ｆ'との合成画像に基づいて生成する非線形変換処理画像中の飽和画素値を持つ画素数を抑制する調整値として強度調整値、すなわちゲイン（ｇ）を算出し、このゲインを適用して、補正差分画像Ｆ'を補正して強度調整フラッシュ成分画像を生成する。

このように、本発明においては、補正差分画像Ｆ'のゲイン（ｇと呼ぶ）を調節することにより仮想的にフラッシュ光の強度を調節した上で、最終的な結果画像（最終調整画像）を生成する。

ステップＳ３０６において、明るくかつ白とびが起きていない画像を最終調整画像として生成するため、
図５（１）に示す補正画像Ｉ_１'のフラッシュマスクＭ_ｆ部分の輝度値の平均値（ａｖｇ_１）、
図５（２）に示す補正差分画像Ｆ'のフラッシュマスクＭ_ｆ部分の輝度値の平均値（ａｖｇ_Ｆ）、さらに、
図６に示す線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分を構成する画素の画素値ヒストグラムにおける標準偏差［ｓｔｄ_ｒｓｌｔ］
などを用いて、最適な補正差分画像Ｆ'のゲインｇを算出し、ステップＳ３０７において、ゲインｇを補正差分画像Ｆ'の各画素の各チャンネルの値に乗算し、強度調整フラッシュ成分画像Ｆ"を求める。すなわち、
Ｆ"＝ｇＦ'
として強度調整フラッシュ成分画像Ｆ"を求める。

一般的に、測定画素値が正規分布に従い分布している場合は、「平均値」±「標準偏差」の範囲に測定画素の約６８％、「平均値」±「標準偏差の２倍」の範囲に測定画素の約９５％が存在する。画素値分布が厳密に正規分布に従わない場合も、似たような傾向があると考えられる。

従って、図６に示す線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分を構成する画素の画素値ヒストグラムのように、多くの白とびが発生する場合、フラッシュマスクＭ_ｆ部分の輝度の［平均値］＋［標準偏差］、すなわち、図６に示す点［Ａ］が画素値最大値（ｍａｘ）より大きくなることが多い。

そこで、ステップＳ３０６における補正差分画像Ｆ'に対するゲインｇの算出処理においては、線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分を構成する画素の画素値ヒストグラムから求められる「平均値」±「標準偏差のｋ倍」（ｋはあらかじめ定められた固定のスカラー値、例えば１，１．５，２など）の範囲が、
画素値最大値（ｍａｘ）より大きな範囲を取らない、かつ
十分明るいよう
範囲に設定されるようにゲインｇを設定する。

白とびのない、あるいは少ない理想的な画像のヒストグラムとしては、例えば図７に示すようなヒストグラムが考えられる。

ゲイン調整非線形変換画像Ｔ（ｇＦ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分の輝度のヒストグラムを図７に示すようなヒストグラムとして設定し、このゲイン調整非線形変換画像を元に最終出力画像を生成すれば、十分に明るく、かつ白とびが起きていない理想的な画像を得ることができる。

図７に示すヒストグラムの平均値は、図７に示すように、［ａｖｇ'_ｒｓｌｔ］、標準偏差を［ｓｔｄ'_ｒｓｌｔ］である。

ここで、［平均値］＋［標準偏差］によって示される点［Ａ］は、図７に示す最大値（ｍａｘ）よりも小さく、かつ平均値［ａｖｇ'_ｒｓｌｔ］は十分に明るい画素値となっている。例えば中間画素値［（ｍｉｎ＋ｍａｘ）／２］より大である十分な画素レベル（輝度値）を持つ値となっている。

ここで、図７に示すようなヒストグラムをゲイン調整非線形変換画像Ｔ（ｇＦ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分の輝度ヒストグラムであるとする。

本実施例では、ゲイン調整非線形変換画像Ｔ（ｇＦ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分は白とびが少なくかつ十分明るい画像とするために、ゲイン調整非線形変換画像Ｔ（ｇＦ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分の輝度ヒストグラム（図７）の平均値［ａｖｇ'_ｒｓｌｔ］が、輝度最大値（ｍａｘ）から標準偏差［ｓｔｄ'_ｒｓｌｔ］のｋ倍を除算した値と同等となるようにゲインｇを調整する。

このようなゲインｇを適用して生成したゲイン調整非線形変換画像Ｔ（ｇＦ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分は白とびが少なくかつ十分明るい画像となる。

このような最適な結果画像を生成するゲインｇが算出された場合、ゲインｇが極端に大きいまたは小さい値ではない場合は、非線形変換画像Ｔ（Ｆ'＋Ｉ_１'）と、ゲイン調整非線形変換画像Ｔ（ｇＦ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分の輝度の標準偏差は大きな差が無いと考えられるので、図７に示すヒストグラム、すなわち、ゲイン調整非線形変換画像Ｔ（ｇＦ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分の輝度ヒストグラムにおける標準偏差［ｓｔｄ'_ｒｓｌｔ］は、図６に示すヒストグラム、すなわち、ゲイン調整前の非線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分の輝度ヒストグラムにおける標準偏差［ｓｔｄ_ｒｓｌｔ］と同じ大きさであると仮定する。すなわち、
ｓｔｄ'_ｒｓｌｔ＝ｓｔｄ_ｒｓｌｔ
である。

また、図５（１）に示す補正画像Ｉ_１'のヒストグラムの平均値［ａｖｇ_１］と、ゲインｇを施した補正差分画像Ｆ'のフラッシュマスクＭ_ｆ部分の輝度の平均値［ｇ×ａｖｇ_Ｆ］との加算値［ａｖｇ_１＋ｇ×ａｖｇ_Ｆ］に対して非線形変換Ｔを施して算出するスカラー値、
Ｔ（ａｖｇ_１＋ｇ×ａｖｇ_Ｆ）
は、最終的なゲイン調整非線形変換画像Ｔ（ｇＦ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分の輝度の平均値［ａｖｇ'_ｒｓｌｔ］（図７参照）と同等になると仮定する。すなわち、
ａｖｇ'_ｒｓｌｔ＝Ｔ（ａｖｇ_１＋ｇ×ａｖｇ_Ｆ）
と仮定する。

すなわち、求めたい最終のゲイン調整非線形変換画像Ｔ（ｇＦ'＋Ｉ_１'）の平均値［ａｖｇ'_ｒｓｌｔ］は、Ｔ（ａｖｇ_１＋ｇ×ａｖｇ_Ｆ）と等しくなる。そして、この値が、（ｍａｘ−ｋ×ｓｔｄ_ｒｓｌｔ）と同じ値になれば、図７に示すヒストグラムに対応する画像が設定され、結果として白とびが少なくかつ十分明るい画像に対応するヒストグラムとなる。

すなわち、
Ｔ（ａｖｇ_１＋ｇ×ａｖｇ_Ｆ）＝ｍａｘ−ｋ×ｓｔｄ_ｒｓｌｔ・・・（式１）

上記（式１）を満足するゲイン［ｇ］を算出すればよい。ゲイン［ｇ］の算出式は、上記（式１）を変形した下記の（式２）を適用する。
ｇ＝｛Ｔ^−１（ｍａｘ−ｋ×ｓｔｄ_ｒｓｌｔ）−ａｖｇ_１｝÷ａｖｇ_Ｆ・・・（式２）
ここで、Ｔ^−１は、非線形変換Ｔの逆変換を表している。

図４に示すフローのステップＳ３０６においては、上記（式２）に基づいて、フラッシュ成分画像（補正差分画像Ｆ'）の強度調整値としてのゲインｇを算出する。上記（式２）から理解されるように、
ゲイン［ｇ］は、
ａ）図５（１）に示す補正画像Ｉ_１'のフラッシュマスクＭ_ｆ部分の輝度値の平均値（ａｖｇ_１）、
ｂ）図５（２）に示す補正差分画像Ｆ'のフラッシュマスクＭ_ｆ部分の輝度値の平均値（ａｖｇ_Ｆ）、さらに、
ｃ）図６に示す非線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分を構成する画素の画素値ヒストグラムにおける標準偏差［ｓｔｄ_ｒｓｌｔ］
ｄ）固定のスカラー値［ｋ］
の各値に基づいても算出される。
なお、固定のスカラー値［ｋ］は、ｋ＝１あるいはｋ＝１．５などの固定値であり、予め設定される値である。

ステップＳ３０７において、補正差分画像Ｆ'の各画素の各チャンネルの値をｇで乗算して強度調整フラッシュ成分画像Ｆ"を、
Ｆ"＝ｇＦ'
として算出し、この強度調整フラッシュ成分画像Ｆ"を、最終調整画像の生成に適用するフラッシュ成分画像として設定する。

以上の処理が、図３に示すステップＳ２０４の処理である。なおここでは、ゲインｇを自動で算出する方法を述べたが、ゲインｇはユーザが自由に設定して、好みのフラッシュの強さに調節することも可能である。

ステップＳ２０４が終了した後、次にステップＳ２０５において、フラッシュ成分画像として設定した強度調整フラッシュ成分画像Ｆ"と画像Ｉ_１'を合成し、最終調整画像としてのホワイトバランス調整画像Ｒを生成する。すなわち、
Ｒ＝Ｉ_１'＋Ｆ"
として、ホワイトバランス調整画像Ｒを生成する。

以上の処理が、図２に示すステップＳ１１２とステップＳ１１０における処理の詳細である。

ステップＳ１０７において、動き部分が検出されなかった場合は、ステップＳ１１２において上述の処理よって取得した強度調整フラッシュ成分画像Ｆ"と画像Ｉ_１'の合成によるホワイトバランス調整画像Ｒ、すなわち、
Ｒ＝Ｉ_１'＋Ｆ"
が最終的な調整画像とされる。なお、この後最終調整画像Ｒに対してガンマ補正等の非線形変換処理がなされて出力される。

なお、ステップＳ１０７において、動き部分が検出された場合は、ステップＳ１１０において上述の処理よって取得したホワイトバランス調整画像Ｒ、すなわち、
Ｒ＝Ｉ_１'＋Ｆ"
を取得した後、ステップＳ１１１において、動き部分の画素値補正を実行する。ステップＳ１１１における動き部分の画素値補正は、前述したように、本発明と同一出願人の特許出願である特願２００３−３１２６３０に記載されている放射規定関数（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を適用した処理や、平滑化フィルタを適用した処理などによって実行される。

ステップＳ１０７において、動き部分が検出された場合はステップＳ１１１において、動き部分の画素値補正がなされた画像が、最終的な調整画像とされる。

なお、ステップ１１０における画素値補正においては、動き部分の画素であるか動き部分以外の画素であるかの区別を行なうことなく、画像構成画素、すべてについての補正を実行し、ステップ１１０におけるホワイトバランス調整画像Ｒ、すなわち、
Ｒ＝Ｉ_１'＋Ｆ"
の生成の後、ステップ１１１において、ステップ１０７で検出した動き部分の画素値のみを対象とした例外補正処理を実行して、画像Ｒを修正する構成としてもよい。具体的には、動きが検出された部分のフラッシュ発光あり画像Ｉ_２の画素値を入力として、画像Ｒにおける動きが無かった部分の画素値を参照して、最終的な画像を合成する方法などが適用可能である。

図８は、本実施例に従った処理を実行するデジタル信号処理部（ＤＳＰ）（図１のＤＳＰ１０６に相当）の機能構成を示すブロック図である。

図２に示すフローチャートと対比しながら、図８に示すデジタル信号処理部（ＤＳＰ）における処理について説明する。

図２のステップＳ１０１〜１０６において、撮影されたフラッシユなし画像Ｉ_１、フラッシユあり画像Ｉ_２、およびフラッシユなし画像Ｉ_３は、それぞれフレームメモリ３０１，３０２，３０３に格納される。なお、画像格納用のフレームメモリとしてはデジタル信号処理部（ＤＳＰ）内に構成したメモリを適用してもバス接続されたメモリ（図１のメモリ１１２）を適用してもよい。

ステップＳ１０７の動き検出処理は、動き検出部３０９において実行される。動き検出処理は、フラッシユなし画像Ｉ_１と、フラッシユなし画像Ｉ_３に基づく差分データによる検出処理として実行する。

ステップＳ１１０と、ステップＳ１１２で実行する複数画像データに基づくホワイトバランス調整処理は、先に図３、図４を参照して説明した処理である。

まず、フラッシユなし画像Ｉ_１と、フラッシユあり画像Ｉ_２に基づいて、フラッシュ成分画像産出部３３０に構成された差分画像算出部３０４において差分画像データＦ＝Ｉ_２−Ｉ_１を求める（図３，Ｓ２０１）。次に、差分画像データＦ＝Ｉ_２−Ｉ_１、すなわちフラッシユ光のみの照射条件で撮影した画像に相当する差分画像Ｆに対して、ホワイトバランス調整部３０７でフラッシュ光の成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理を実行して補正されたフラッシュ成分画像としての補正差分画像Ｆ'を求める（図３，Ｓ２０２）。

さらに、外光成分推定部３０６で推定した外光成分の推定値に基づいて設定されるパラメータに従ったホワイトバランス調整処理をフラッシユなし画像Ｉ_１に対してホワイトバランス調整部３０５で実行する（図３，Ｓ２０３）。

さらに、強度調整値（ゲイン）算出部３２１において、補正差分画像Ｆ'について白とびの無い、または少ない画像とするための強度調整値としてのゲイン［ｇ］を算出して、強度調整フラッシュ成分画像算出部３２２において、強度調整フラッシュ成分画像Ｆ"＝ｇＦ'を算出する。この処理は、図３のステップＳ２０３の処理、すなわち、図４に示すフローに従った処理である。

さらに、最終調整画像算出部（画素値加算部）３０８において、ホワイトバランス調整部３０５から出力される補正画像Ｉ_１'と、強度調整フラッシュ成分画像算出部３２２から出力される強度調整フラッシュ成分画像Ｆ"の画素値を加算する（図３，Ｓ２０５）。

撮影画像に動き部分が含まれない場合は、動き部分補正画素値算出部３１０において処理を実行することなく、画素値加算部３０８において加算した画素値を持つ画像データがホワイトバランス調整画像として出力切り替え部３１２を介して出力される。出力先はデジタルアナログ変換を実行するＤ／Ａ変換器１０８（図１参照）や、符号化処理を実行するコーデック１１１などである。

一方、動き検出部３０９においてフラッシユなし画像Ｉ_１と、フラッシユなし画像Ｉ_３に基づく差分データによる動き検出の結果、被写体自身の動き領域が検出された場合は、さらに、動き部分補正画素地算出部３１０において、放射規定関数（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を適用した処理や、平滑化フィルタを適用した処理などにより、動きあり部分の画素値の補正（変換）がなされ、動きあり部分が、補正画素値によって置き換えられた画素値データを持つ画像が出力切り替え部３１２を介して出力される。

ホワイトバランス調整部３１１は、図２の処理フローにおけるステップＳ１１３の処理を実行する。すなわち、動き検出部３０９において動き領域が検出されたものの、動き領域の画像全体に占める割合が高いなど、補正不可能と判断された場合に、フラッシユあり画像Ｉ_２を入力し、予め定めたパラメータに従ったホワイトバランス調整を実行し、これを出力切り替え部３１２を介して出力する。

なお、図８に示す構成は、機能を説明するために各処理部を区別して示してあるが、実際の処理としては、上述した各処理フローに従った処理を実行するプログラムに従って、ＤＳＰ内のプロセッサによって実行可能である。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。なお、上述した実施例では、被写体が暗い場合に発光する照明装置としてフラッシュという用語を用いて説明したが、このほかに、ストロボと呼ばれることもあり、フラッシュに限定されるわけではなく、一般的に被写体が暗い場合に発光する照明装置において本発明は適用される。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、フラッシュを発光させずに撮影した第１の画像と、フラッシュを発光させて撮影した第２の画像とに基づいてフラッシュ成分画像を算出し、該フラッシュ成分画像の強度調整を実行して生成した強度調整フラッシュ成分画像を適用して最終調整画像を生成する構成としたので、出力画像を生成する際に実行されるガンマ補正などの非線形変換処理後の画像における飽和画素値を持つ画素、すなわち白とびを削減した高品質な画像を生成することが可能となり、例えばデジタルカメラにおいて撮影された画像の補正処理に適用することができる。

さらに、本発明の構成によれば、フラッシュを発光させずに撮影した第１の画像について、外光成分に対応するパラメータに基づくホワイトバランス調整処理を実行してホワイトバランス調整済みの第１の画像を生成し、さらに、フラッシュ成分画像に対してフラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像を強度調整して、これらの画像に基づいて、最終調整画像を生成する構成としたので、個々の画像に対応するパラメータを用いた最適なホワイトバランス調整が実行され、例えばデジタルカメラにおいて撮影された画像の補正処理に適用することができる。

本発明の画像処理装置の構成を示す図である。 本発明の画像処理方法の手順を説明するフローチャートである。 本発明の画像処理方法における複数の画像データに基づくホワイトバランス調整処理の手順を説明するフローチャートである。 本発明の画像処理方法における強度調整フラッシュ成分画像の生成処理手順を説明するフローチャートである。 本発明の画像処理における強度調整フラッシュ成分画像の生成処理の詳細について説明する図である。 本発明の画像処理における強度調整フラッシュ成分画像の生成処理の詳細について説明する図である。 本発明の画像処理における強度調整フラッシュ成分画像の生成処理の詳細について説明する図である。 本発明の画像処理における複数の画像データに基づく画素値調整処理を実行する機構を説明する図である。

符号の説明

１０１ レンズ
１０２ 絞り
１０３ 固体撮像素子
１０４ 相関２重サンプリング回路
１０５ Ａ／Ｄコンバータ
１０６ ＤＳＰブロック
１０７ タイミングジェネレータ
１０８ Ｄ／Ａコンバータ
１０９ ビデオエンコーダ
１１０ ビデオモニタ
１１１ コーデック（ＣＯＤＥＣ）
１１２ メモリ
１１３ ＣＰＵ
１１４ 入力デバイス
１１５ フラッシュ制御装置
１１６ フラッシュ発光装置
３０１，３０２，３０３ フレームメモリ
３０４ 差分画像算出部
３０５ ホワイトバランス調整部
３０６ 外光成分推定部
３０７ ホワイトバランス調整部
３０８ 画素値加算部
３０９ 動き検出部
３１０ 動き部分補正画素値算出部
３１１ ホワイトバランス調整部
３１２ 出力切り替え部
３２１ 強度調整値（ゲイン）算出部
３２２ 強度調整フラッシュ成分画像算出部
３３０ フラッシュ成分画像算出部

Claims (15)

1. フラッシュを発光させずに撮影した第１の画像と、フラッシュを発光させて撮影した第２の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出ステップと、
   前記フラッシュ成分画像の強度調整値を算出する強度調整値算出ステップと、
   前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出ステップと、
   前記第１の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成ステップを有し、
   前記強度調整値算出ステップは、
   フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像から予め定めた閾値以上の画素値を持つ画素によって構成されるフラッシュマスクＭ_ｆを生成するフラッシュマスク生成ステップと、
   下記算出式、
   ｇ＝｛Ｔ^−１（ｍａｘ−ｋ×ｓｔｄ_ｒｓｌｔ）−ａｖｇ_１｝÷ａｖｇ_Ｆ
   ただし、Ｔ^−１は、非線形変換Ｔの逆変換、
   ｍａｘは、最大出力画素値、
   ｋは、予め定めたスカラー値
   ａｖｇ_１は、前記第１の画像に対するホワイトバランス調整画像Ｉ_１'のフラッシュマスクＭ_ｆ部分の輝度値の平均値
   ａｖｇ_Ｆは、前記フラッシュ成分画像のホワイトバランス調整画像Ｆ'のフラッシュマスクＭ_ｆ部分の輝度値の平均値
   ｓｔｄ_ｒｓｌｔは、非線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分を構成する画素の画素値ヒストグラムにおける標準偏差である
   によって強度調整値としてのゲインｇを算出するステップと、
   を有することを特徴とする画像処理方法。
2. 前記フラッシュ成分画像算出ステップは、
   前記第１の画像と第２の画像との差分画像データを算出するステップと、
   前記差分画像データに対して、フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行するステップとを含み、
   前記強度調整値算出ステップは、
   前記ホワイトバランス調整処理のなされたフラッシュ成分画像の強度調整値を算出するステップであることを特徴とする請求項１に記載の画像処理方法。
3. 前記最終調整画像生成ステップは、
   （ａ）前記第１の画像について、外光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したホワイトバランス調整済みの第１の画像と、
   （ｂ）フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像に対して強度調整を実行した強度調整フラッシュ成分画像と、
   上記（ａ）および（ｂ）の２画像に基づいて最終調整画像の生成処理を実行するステップであることを特徴とする請求項１に記載の画像処理方法。
4. 前記強度調整値算出ステップは、
   外光成分対応パラメータに基づくホワイトバランス調整処理を実行した前記第１の画像と、フラッシュ光成分対応パラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像との合成画像に基づいて生成する非線形変換処理画像中の飽和画素値を持つ画素数を抑制する調整値として前記強度調整値を算出することを特徴とする請求項１に記載の画像処理方法。
5. 前記非線形変換処理は、ガンマ補正であり、
   前記強度調整値算出ステップは、
   ガンマ補正画像中の飽和画素値を持つ画素数を抑制する調整値として前記強度調整値を算出することを特徴とする請求項４に記載の画像処理方法。
6. 前記強度調整フラッシュ成分画像算出ステップは、
   強度調整値として、前記ゲインｇを適用して、強度調整フラッシュ成分画像Ｆ"を、下記式、
   Ｆ"＝ｇＦ'
   によって算出し、
   前記最終調整画像生成ステップは、
   最終調整画像Ｒを、下記式、
   Ｒ＝Ｉ_１＋Ｆ"
   に従って算出するステップであることを特徴とする請求項１に記載の画像処理方法。
7. 前記画像処理方法は、さらに、
   フラッシュの発光を制御して、前記第１の画像と、前記第２の画像を含む複数画像の撮影を実行する撮影ステップを有することを特徴とする請求項１に記載の画像処理方法。
8. 画像処理装置であり、
   フラッシュを発光させずに撮影した第１の画像と、フラッシュを発光させて撮影した第２の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出部と、
   前記フラッシュ成分画像の強度調整値を算出する強度調整値算出部と、
   前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出部を有し、
   前記第１の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成部と、
   前記強度調整値算出部は、
   フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像から予め定めた閾値以上の画素値を持つ画素によって構成されるフラッシュマスクＭ_ｆを生成し、
   下記算出式、
   ｇ＝｛Ｔ^−１（ｍａｘ−ｋ×ｓｔｄ_ｒｓｌｔ）−ａｖｇ_１｝÷ａｖｇ_Ｆ
   ただし、Ｔ^−１は、非線形変換Ｔの逆変換、
   ｍａｘは、最大出力画素値、
   ｋは、予め定めたスカラー値
   ａｖｇ_１は、前記第１の画像に対するホワイトバランス調整画像Ｉ_１'のフラッシュマスクＭ_ｆ部分の輝度値の平均値
   ａｖｇ_Ｆは、前記フラッシュ成分画像のホワイトバランス調整画像Ｆ'のフラッシュマスクＭ_ｆ部分の輝度値の平均値
   ｓｔｄ_ｒｓｌｔは、非線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分を構成する画素の画素値ヒストグラムにおける標準偏差である
   によって強度調整値としてのゲインｇを算出する構成を有することを特徴とする画像処理装置。
9. 前記フラッシュ成分画像算出部は、
   前記第１の画像と第２の画像との差分画像データを算出する差分画像算出部と、
   前記差分画像データに対して、フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行するホワイトバランス調整部とを含み、
   前記強度調整値算出部は、
   前記ホワイトバランス調整処理のなされたフラッシュ成分画像の強度調整値を算出する構成であることを特徴とする請求項８に記載の画像処理装置。
10. 前記最終調整画像生成部は、
    （ａ）前記第１の画像について、外光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したホワイトバランス調整済みの第１の画像と、
    （ｂ）フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像に対して強度調整を実行した強度調整フラッシュ成分画像と、
    上記（ａ）および（ｂ）の２画像に基づいて最終調整画像の生成処理を実行する構成であることを特徴とする請求項８に記載の画像処理装置。
11. 前記強度調整値算出部は、
    外光成分対応パラメータに基づくホワイトバランス調整処理を実行した前記第１の画像と、フラッシュ光成分対応パラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像との合成画像に基づいて生成する非線形変換処理画像中の飽和画素値を持つ画素数を抑制する調整値として前記強度調整値を算出する構成であることを特徴とする請求項８に記載の画像処理装置。
12. 前記非線形変換処理は、ガンマ補正であり、
    前記強度調整値算出部は、
    ガンマ補正画像中の飽和画素値を持つ画素数を抑制する調整値として前記強度調整値を算出する構成であることを特徴とする請求項１１に記載の画像処理装置。
13. 前記強度調整フラッシュ成分画像算出部は、
    強度調整値として、前記ゲインｇを適用して、強度調整フラッシュ成分画像Ｆ"を、下記式、
    Ｆ"＝ｇＦ'
    によって算出し、
    前記最終調整画像生成部は、
    最終調整画像Ｒを、下記式、
    Ｒ＝Ｉ_１＋Ｆ"
    に従って算出する構成であることを特徴とする請求項８に記載の画像処理装置。
14. 前記画像処理装置は、さらに、
    フラッシュの発光を制御して、前記第１の画像と、前記第２の画像を含む複数画像の撮影を実行する撮像部を有することを特徴とする請求項８に記載の画像処理装置。
15. 画像処理を実行するコンピュータ・プログラムであり、
    フラッシュを発光させずに撮影した第１の画像と、フラッシュを発光させて撮影した第２の画像とに基づいてフラッシュ成分画像を算出するフラッシュ成分画像算出ステップと、
    前記フラッシュ成分画像の強度調整値を算出する強度調整値算出ステップと、
    前記強度調整値を適用して、強度調整フラッシュ成分画像を算出する強度調整フラッシュ成分画像算出ステップと、
    前記第１の画像と前記強度調整フラッシュ成分画像とに基づいて最終調整画像を生成する最終調整画像生成ステップを有し、
    前記強度調整値算出ステップは、
    フラッシュ光成分に対応するパラメータに基づくホワイトバランス調整処理を実行したフラッシュ成分画像から予め定めた閾値以上の画素値を持つ画素によって構成されるフラッシュマスクＭ_ｆを生成するフラッシュマスク生成ステップと、
    下記算出式、
    ｇ＝｛Ｔ^−１（ｍａｘ−ｋ×ｓｔｄ_ｒｓｌｔ）−ａｖｇ_１｝÷ａｖｇ_Ｆ
    ただし、Ｔ^−１は、非線形変換Ｔの逆変換、
    ｍａｘは、最大出力画素値、
    ｋは、予め定めたスカラー値
    ａｖｇ_１は、前記第１の画像に対するホワイトバランス調整画像Ｉ_１'のフラッシュマスクＭ_ｆ部分の輝度値の平均値
    ａｖｇ_Ｆは、前記フラッシュ成分画像のホワイトバランス調整画像Ｆ'のフラッシュマスクＭ_ｆ部分の輝度値の平均値
    ｓｔｄ_ｒｓｌｔは、非線形変換画像Ｔ（Ｆ'＋Ｉ_１'）のフラッシュマスクＭ_ｆ部分を構成する画素の画素値ヒストグラムにおける標準偏差である
    によって強度調整値としてのゲインｇを算出するステップと、
    を有することを特徴とするコンピュータ・プログラム。

Images