JPWO2004010711A1 - 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム - Google Patents

Abstract

外光とフラッシュ光など、異なる光成分の混在した環境下で撮影した画像についての適格なホワイトバランス調整を可能とする。外光とフラッシュ光など、複数の異なる光照射の下に撮影される画像について、単一の照射光環境下での撮影画像を取得または生成し、それぞれの単一の照射光環境下の画像について、それぞれの照射光の色成分（色温度）に基づいて設定されるパラメータに従ったホワイトバランス調整を実行し、それらを合成する構成とした。さらに、被写体自身の動きの発生部分について、動きなし部分の隣接画素値に基づいて画素値を補正して設定する構成としたので、画素間のなめらかな変化による自然な画像データを生成することが可能となる。

Description

本発明は、撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラムに関する。さらに詳細には、適切なホワイトバランス処理を実現し、明瞭な画像を取得することを可能とした撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラムに関する。

フラッシュ（ｅｌｅｃｔｒｉｃａｌ ｆｌａｓｈ，ｓｔｒｏｂｅ）は、カメラ撮影時に補助光源として用いられる。近年ＤＳＣ（Ｄｉｇｉｔａｌ Ｓｔｉｌｌ Ｃａｍｅｒａ）が急速に普及しているが、ＤＳＣにおいても、しばしば、フラッシュ撮影が行われる。フラッシュを使うことにより、フィルインライト（人物の顔に影がきつく出過ぎるときなどに影を弱める技法）、逆光補正（太陽を背にした人物を撮る場合などに顔が黒くつぶれるのを防ぐ技法）、キャッチライト（眼の瞳にきらりと光る「光の点」を入れ、瞳を美しく撮影する技法）、あるいは日中シンクロ（デイライトシンクロ、昼間や夕方に補助光線として使うテクニック）等、様々な写真撮影を行うことができる。一方で、フラッシュ撮影を行うと、色バランスが崩れたり、白飛びが生じたりする場合がある。本発明は、このようなフラッシュ撮影で生じる良くない現象を補正可能な適切な手段を提供することを１つの目的とする。
一般的に、デジタルカメラでは、白い被写体が白く撮影されるようにホワイトバランス（ＷＢ）調整が行われる。例えば自然光、照明光、フラッシュ（ストロボ）等の被写体に対して照射される光の色温度が高くブルー（Ｂ）の光が強い光成分環境で撮影する場合は、ブルーの光に対する感度を抑制し、レッド（Ｒ）の光に対する感度を相対的に高くし、逆に被写体に対して照射される光の色温度が低くレッド（Ｒ）の光が強い光成分環境で撮影する場合は、レッドの光に対する感度を抑制し、ブルー（Ｂ）の光に対する感度を相対的に高くするなどのホワイトバランス調整が行われる。
ホワイトバランス調整は、通常、撮影時に用いる光源に応じた調整パラメータを設定した調整処理が実行される。例えばフラッシュ撮影を行う場合は、適用するフラッシュ光の持つ光成分に応じたパラメータに従ってホワイトバランス調整が行われる。
しかし、フラッシュ光以外の外光がある状態で、フラッシュ撮影を行うと、フラッシュ光、外光の２種類の光が被写体に照射されてその反射光がカメラの撮像素子に到達し、撮影が行われることになる。このような撮影が行われる場合、ホワイトバランス調整をフラッシュ光に合わせて実施すると、フラッシュ光が多く当たっている被写体部分は自然な色に調整されるが、フラッシュ光が届かず外光のみの反射光として撮影される領域、例えば背景画像領域などは、フラッシュ光の光成分に合わせたパラメータ設定に従ったホワイトバランス調整を行ってしまうと、適切なホワイトバランス調整が実行されず不自然な色を持つ領域として出力されることになる。
逆に、背景部分にあわせたホワイトバランス調整、すなわち外光のみによって撮影されたものとして、撮影画像全体のホワイトバランス調整を実行するとフラッシュ光の多くあたった部分が不自然な色に調整されることになる。
このような問題に対処するための構成がいくつか提案されている。例えば特開平８−５１６３２は、フラッシュを発光せず撮影した画像と、フラッシュを発光させた撮影画像を取得し、この撮影された２つの画像をブロックに分割し、各ブロック毎に輝度値の比較を行い、輝度値の比較結果に基づいて、フラッシュを発光して撮影した画像について各ブロック毎に異なるホワイトバランス調整を行う構成を示している。
ホワイトバランス調整は、各ブロック毎にフラッシュ光に合わせたホワイトバランス調整、またはフラッシュ光と外光の中間にあわせたホワイトバランス調整、または外光にあわせたホワイトバランス調整のいづれかを選択して実行する。しかし、このような構成では、処理をブロック単位で行うことが必要となり、ブロック歪みを生ずる問題や被写体が動いた場合などには正しい処理ができない問題などがある。
特開２０００−３０８０６８には、以下の処理構成を開示している。すなわち、まず絞りを開放し露出時間を短くした上でフラッシュを発光させて撮影し、その後、本来意図した露光条件でフラッシュを発光せずに撮影を行う。ここで、前者を第１画像、後者を第２画像とする。さらに第１画像において所定のレベル以上の画素を主要被写体領域、それ以外を背景領域として登録する。その後、第１画像をフラッシュに合わせてホワイトバランス調整、第２画像を外光に合わせてホワイトバランス調整し、第１画像の主要被写体領域と第２画像の背景領域を組み合わせて最終的な記録画像とする構成である。
しかし、本構成では、外光とフラッシュ光の両方が当たった被写体のホワイトバランス調整は正しく行うことができない。
また、特開２０００−３０７９４０は、上述の特開２０００−３０８０６８の構成に加えて、像ぶれ検出手段を付加した構成を開示している。ぶれがあると判断された場合は、前述の第１画像をそのまま記録画像とし、第１画像と第２画像の組み合わせ処理を実行しない構成としている。従ってぶれが検出された場合は、フラッシュ光と外光の色温度の違いに起因する不自然さが解消されないことになる。
また、特開平８−３４０５４２は、フラッシュを発光させて撮影した画像と、フラッシュ発光なしで撮影した画像の対応画素の輝度値を割り算し、フラッシュ光の寄与率を求め、この寄与率に基づき、フラッシュを発光させて撮影した画像に対してホワイトバランス調整を行う構成を開示している。
しかし、本構成では、フラッシュ光、外光からの反射光が混合され撮像された画像に対し、フラッシュの寄与率に基づきフラッシュ光と外光用のホワイトバランスパラメータを、単純に補間し、最終的な画像を生成する。しかし、物理的な光の反射モデルを考慮した場合、フラッシュ光による成分と外光による成分は独立に処理されるべきであり、フラッシュ光、外光からの反射光が混合され撮像された画像を処理するだけでは、最適な結果画像を生成することは出来ない。
最近のカメラは、フラッシュ光を発行する機構であるストロボとカメラの撮像部間で情報のやり取りを行い、ストロボが適正な発光量で発光することで、カメラが適正な露出で撮影を行うことが出来るようになっている。このシステムは、ＴＴＬ（スルーザレンズ）自動調光システムと呼ばれ、その技術は広く使われている。
図１は、このような場合において、暗い部屋の中の人物像をストロボを使用して撮影した典型的な写真１０の例を示している。人物Ａの投影像が１１である。暗い部屋の投影像が１２である。この写真を撮影した時の状況は、以下のとおりである。暗い部屋に人物Ａがいる。撮影者はストロボ付きのカメラを持ち、人物Ａのそばから撮影した。
ＴＴＬ自動調光システムは、撮影されている間、逐次、ストロボから発せられ対象物体で反射されてカメラに戻ってくる光の累積量を計測している。そして、適正な光量になった時点で、カメラがストロボ側に対して、発光の停止を命ずる。これにより、適正な露出の画像が得られるようになっている。
しかしながら、図１に示す写真のように、人物Ａの投影像１１が小さい場合、ストロボから発せられる光のほとんどは人物Ａには照射されず、比較的遠くにある部屋の壁で反射される。そのため、戻ってくる光の量はわずかであり、ＴＴＬ自動調光システムは「光量が十分ではない」と判断し、ストロボからの発光量を多くするように調整が行なわれる。
この調整処理の結果、撮影時のストロボの発光量が多くなるため、撮像装置（カメラ）のすぐそばにいた人物Ａからのストロボ発光に対する反射光の総量は、かなり多くなり、結果として、人物Ａの投影像部分の画素データの値が過度に高くなり飽和状態となってしまう。
画素データを数値を用いて表すと以下のようになる。各画素データの赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれを０〜２５５の２５６段階で表す方式が一般的であるが、上記例では、人物Ａ（特に、顔などの肌色部分）は、（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）となる。これは、カメラの至近距離にある人物Ａに対して、ストロボによる過度のフラッシュ光が照射されたためである。
すなわち、ストロボの発光量が多いため、人物Ａからの反射光の総量のＲ成分が２５５を超え、Ｇ成分も２５５を超え、Ｂ成分についても２５５を超えてしまった結果である。（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）は、最も明るい白色を表している。これがいわゆる「白飛び」である。人物Ａの顔の投影像は、肌色ではなく、真っ白になってしまっている。
（Ｒ，Ｇ，Ｂ）＝（２５５以上，２５５以上，２５５以上）として取得された画素データは、実際には、それぞれ違う色相をもっているはずであるが、被写体に対して過度の光照射がなされることで、これらは、すべてまとめて（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）と表現され、真っ白になってしまう。
このような、いわゆる「白飛び」の問題点を解決する構成として、特開２０００−２７８５９８号に記載の技術がある。本特許公開公報には、オーバー露光された撮影画像において、高輝度の画像信号の偏りを補正する処理構成が開示されている。これは、具体的には、入力信号の輝度レベルと出力信号の輝度レベルの変換特性カーブを、全体的にシフトして、出力信号の高輝度部を調整、すなわちガンマ補正テーブルにより補正を行うとする構成である。
しかしながら、この特開２０００−２７８５９８号に記載の技術を適用しても、入力信号として、（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）となったものは、すべてある設定出力値に変換されるだけである。つまり、実際には（Ｒ，Ｇ，Ｂ）＝（２５５以上，２５５以上，２５５以上）であった画素データは、常に同じ値になってしまう。これでは、上記「白飛び」の問題を解決できない。すなわち、様々な画素値を有するはずの被写体像が同一色、あるいは輝度に設定されてしまい、被写体の色または輝度の分布を再現することはできない。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、外光とフラッシュ光が混在する環境下で撮影した画像の最適なホワイトバランス調整を可能とし、また像ぶれが検出された場合も破綻することなく最適にホワイトバランス調整を行うことができる撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラムを提供することを目的とする。
さらに、被写体に対して光照射を行なって画像を撮影する構成において、被写体が撮像装置の至近距離にあり、被写体に対する光の照射量が過度になって被写体の画像の（Ｒ，Ｇ，Ｂ）値が飽和して最も明るい白色になってしまうという問題を解決し、過度の照射がなされた被写体においても、正確な色または輝度を再現した画像生成を可能とする撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第１の側面は、
撮像データ処理方法であって、
第１光源を発光させた撮影処理により取得した第２撮像データを構成する各画素の画素値から、前記第１光源を発光させない撮影処理により取得した第１撮像データの対応画素の画素値を減算し、前記第１光源のみの照射環境下での撮影画像に相当する差分画像データを取得するステップと、
前記差分画像データに対して画素値調整処理を実行する差分画像データ画素値調整処理ステップと、
前記差分画像データ画素値調整処理ステップにおいて生成した画素値調整済み画像データを適用して最終画素値調整画像を生成する最終画素値調整画像生成ステップと、
を有することを特徴とする撮像データ処理方法にある。
さらに、本発明の撮像データ処理方法の一実施態様において、前記撮像データ処理方法は、さらに、前記第１撮像データに対して画素値調整処理を実行する第１撮像データ画素値調整処理ステップを有し、前記最終画素値調整画像生成ステップは、前記差分画像データ画素値調整処理ステップおよび前記第１撮像データ画素値調整処理ステップによって取得した２つの画素値調整済み画像データの対応画素の画素値加算処理を実行して最終画素値調整画像データを生成するステップであることを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記画素値調整処理は、ホワイトバランス調整処理であり、前記差分画像データ画素値調整処理ステップは、前記第１光源の光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理であり、前記第１撮像データ画素値調整処理ステップは、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理であることを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記パラメータは、３×３行列によって示されるパラメータであり、各画素の色を構成する色成分の変換に適用する行列であることを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記３×３行列は、対角成分以外を０として設定した行列であることを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記撮像データ処理方法は、さらに、前記差分画像データ画素値調整処理ステップにおいて生成した画素値調整済み画像データの各画素の画素値と、前記第１撮像データの対応画素の画素値を加算する画素値加算ステップを有し、前記最終画素値調整画像生成ステップは、前記画素値加算ステップにおいて生成した画像データに対する画素値調整を実行し、最終画素値調整画像データを生成するステップであることを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記画素値調整処理は、ホワイトバランス調整処理であり、前記差分画像データ画素値調整処理ステップは、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理であることを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記撮像データ処理方法は、さらに、複数の撮像データの差分データに基づいて被写体の動きのある動き部分を検出する動き検出ステップと、前記動き部分についての画素値調整処理を実行する動き部分画素値調整ステップと、を有することを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記動き部分画素値調整ステップは、動きあり部分に隣接する動きなし部分の画素に対応するデータとして、前記第１光源を発光させた場合とさせない場合の２つの光源の光強度スカラー比を算出するステップと、放射基底関数（ＲＢＦ：Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を適用して、動きあり部分の各画素対応の光強度スカラー比を算出するステップと、動きあり部分の各画素対応の光強度スカラー比に基づいて、前記第１光源のみの照射環境下での撮影画像に相当する画像における動きあり部分の各画素の画素値を第１画素値として算出する第１画素値算出ステップと、動きあり部分の各画素対応の光強度スカラー比に基づいて、前記第１光源を含まない外光照射環境での撮影画像に相当する画像における動きあり部分の各画素の画素値を第２画素値として算出する第２画素値算出ステップと、前記第１画素値算出ステップにおいて算出した第１画素値に基づいて画素値調整処理を実行する第１画素値調整処理ステップと、前記第２画素値算出ステップにおいて算出した第２画素値に基づいて画素値調整処理を実行する第２画素値調整処理ステップと、前記第１画素値調整処理ステップおよび第２画素値調整処理ステップで生成した２つの調整画素値を加算する画素値加算ステップと、を有することを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記画素値調整処理は、ホワイトバランス調整処理であり、前記第１画素値調整処理ステップは、前記第１光源の光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理であり、前記第２画素値調整処理ステップは、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理であることを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記動き部分画素値調整ステップは、さらに、動きあり部分内周画素の画素値と、動きあり部分内周画素に隣接する動きあり部分外周画素の画素値平均値との色成分比（α_ｒ，α_ｇ，α_ｂ）を算出するステップと、動きあり部分内周画素のすべてをサンプル点として各画素対応の色成分比に基づく放射基底関数（ＲＢＦ：Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を構築するステップと、前記放射基底関数（ＲＢＦ）に基づいて、動きあり部分の各画素に対応する色成分比を算出し、該色成分比を補正対象画像に乗算して補正画素値を算出するステップと、を有することを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記撮像データ処理方法は、さらに、複数の撮像データの差分データに基づいて被写体の動きのある動き部分を検出する動き検出ステップと、前記動き部分の画像全体に占める割合が予め定めた閾値より大である場合に、前記第１光源を発光させた撮影処理により取得した第２撮像データに基づく画素値調整処理を実行するステップを有し、該第２撮像データに基づく画素値調整データを最終画素値調整データとして設定することを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記第２撮像データに基づく画素値調整処理は、前記第１光源の光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理、または、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理、または、前記第１光源の光成分および前記第１光源を含まない外光成分の中間的光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理のいずれかであることを特徴とする。
さらに、本発明の第２の側面は、
撮像データ処理装置であって、
第１光源を発光させない撮影処理により取得した第１撮像データと、前記第１光源を発光させた撮影処理により取得した第２撮像データを記憶するメモリと、
前記メモリに格納した撮像データに基づく画素値調整処理を実行するデータ処理部とを有し、
前記データ処理部は、
前記第２撮像データを構成する各画素の画素値から前記第１撮像データの対応画素の画素値を減算し、前記第１光源のみの照射環境下での撮影画像に相当する差分画像データを取得する差分画像データ取得部と、
前記差分画像データに対して画素値調整処理を実行する差分画像データ画素値調整部と、
前記差分画像データ画素値調整部において生成した画素値調整済み画像データを適用して最終画素値調整を実行する最終画素値調整部と、
を有することを特徴とする撮像データ処理装置にある。
さらに、本発明の撮像データ処理装置の一実施態様において、前記データ処理部は、さらに、前記第１撮像データに対して画素値調整処理を実行する第１撮像データ画素値調整部を有し、前記最終画素値調整部は、前記差分画像データ画素値調整部および前記第１撮像データ画素値調整部において生成した２つの画素値調整済み画像データの対応画素の画素値加算処理を実行して最終画素値調整画像データを生成する構成であることを特徴とする。
さらに、本発明の撮像データ処理装置の一実施態様において、前記画素値調整処理は、ホワイトバランス調整処理であり、前記差分画像データ画素値調整部は、前記第１光源の光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理を実行する構成であり、前記第１撮像データ画素値調整部は、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理を実行する構成であることを特徴とする。
さらに、本発明の撮像データ処理装置の一実施態様において、前記データ処理部は、さらに、前記差分画像データ画素値調整部において生成した画素値調整済み画像データの各画素の画素値と、前記第１撮像データの対応画素の画素値を加算する画素値加算部を有し、前記最終画素値調整画像生成部は、前記画素値加算部において生成した画像データに対する画素値調整を実行し、最終画素値調整画像データを生成する構成であることを特徴とする。
さらに、本発明の撮像データ処理装置の一実施態様において、前記画素値調整処理は、ホワイトバランス調整処理であり、前記差分画像データ画素値調整部は、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理を実行する構成であることを特徴とする。
さらに、本発明の撮像データ処理装置の一実施態様において、前記データ処理部は、さらに、複数の撮像データの差分データに基づいて被写体の動きのある動き部分を検出する動き検出部と、前記動き部分についての画素値調整処理を実行する動き部分画素値調整部と、を有することを特徴とする。
さらに、本発明の撮像データ処理装置の一実施態様において、前記動き部分画素値調整部は、動きあり部分に隣接する動きなし部分の画素に対応するデータとして、前記第１光源を発光させた場合とさせない場合の２つの光源の光強度スカラー比を算出し、放射基底関数（ＲＢＦ：Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を適用して、動きあり部分の各画素対応の光強度スカラー比を算出し、動きあり部分の各画素対応の光強度スカラー比に基づいて、前記第１光源のみの照射環境下での撮影画像に相当する画像における動きあり部分の各画素の画素値を第１画素値として算出し、動きあり部分の各画素対応の光強度スカラー比に基づいて、前記第１光源を含まない外光照射環境での撮影画像に相当する画像における動きあり部分の各画素の画素値を第２画素値として算出し、前記第１画素値に基づいて画素値調整処理を実行し、前記第２画素値に基づいて画素値調整処理を実行し、生成した２つの調整画素値を加算して動き部分画素値調整処理を実行する構成であることを特徴とする。
さらに、本発明の撮像データ処理装置の一実施態様において、前記画素値調整処理は、ホワイトバランス調整処理であり、前記第１画素値調整処理は、前記第１光源の光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理として実行し、前記第２画素値調整処理は、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理として実行する構成であることを特徴とする。
さらに、本発明の撮像データ処理装置の一実施態様において、前記動き部分画素値調整部は、動きあり部分内周画素の画素値と、動きあり部分内周画素に隣接する動きあり部分外周画素の画素値平均値との色成分比（α_ｒ，α_ｇ，α_ｂ）を算出し、動きあり部分内周画素のすべてをサンプル点として各画素対応の色成分比に基づく放射基底関数（ＲＢＦ：Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を構築し、前記放射基底関数（ＲＢＦ）に基づいて、動きあり部分の各画素に対応する色成分比を算出し、該色成分比を補正対象画像に乗算して補正画素値を算出する構成を有することを特徴とする。
さらに、本発明の撮像データ処理装置の一実施態様において、前記データ処理部は、さらに、前記動き検出部の検出した動き部分の画像全体に占める割合が予め定めた閾値より大である場合に、前記第１光源を発光させた撮影処理により取得した第２撮像データに基づく画素値調整処理を実行し、前記第２撮像データに基づく画素値調整データを最終画素値調整データとして設定する構成であることを特徴とする。
さらに、本発明の撮像データ処理装置の一実施態様において、前記第２撮像データに基づく画素値調整処理は、前記第１光源の光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理、または、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理、または、前記第１光源の光成分および前記第１光源を含まない外光成分の中間的光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理のいずれかを実行する構成であることを特徴とする。
さらに、本発明の第３の側面は、
撮像データ処理方法であって、
第１光源を発光させない撮影処理により第１撮像データを取得するステップと、
前記第１光源を発光させた撮影処理により第２撮像データを取得するステップと、
前記第２撮像データを構成する各画素の画素値から前記第１撮像データの対応画素の画素値を減算し、前記第１光源のみの照射環境下での撮影画像に相当する差分画像データを取得するステップと、
前記差分画像データに対して画素値調整処理を実行する差分画像データ画素値調整処理ステップと、
前記差分画像データ画素値調整処理ステップにおいて生成した画素値調整済み画像データを適用して最終画素値調整画像を生成する最終画素値調整画像生成ステップと、
を有することを特徴とする撮像データ処理方法にある。
さらに、本発明の第４の側面は、
撮像データ処理方法であって、
相互に異なる時間に第１光源の発光条件が相互に同一の撮影条件下で撮影された複数の撮像データを取得するステップと、
前記複数の撮像データの比較に基づき、動き情報を取得するステップと、
前記複数の撮像データの一つ、一部、または全部、あるいは他の撮像データに対して、前記動き情報に基づいて設定されるホワイトバランスによる処理を実行するステップと、
を有することを特徴とする撮像データ処理方法にある。
さらに、本発明の撮像データ処理方法の一実施態様において、前記動き情報に基づいて設定されるホワイトバランスによる処理を実行するステップでは、前記複数の撮像データが撮影された時間内に撮影された、あるいは前記複数の撮像データが撮影された時間の直前あるいは直後に撮影された他の撮像データに対し、該等部分のホワイトバランスが調整されることを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記動き情報に基づき、動きが大きいと判断された場合には、前記動き情報に基づいて設定されるホワイトバランスによる処理を実行するステップでは、外光、フラッシュ、または外光とフラッシュとの中間の仮想的光源に基づいてホワイトバランス調整処理を行うことを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記動き情報に基づいて設定されるホワイトバランスによる処理を実行するステップでは、画像全体に対して一様な処理ではなく、画像の場所ごとに適応的にホワイトバランス調整処理は切り替わり、さらに、前記動き情報に基づき、該当部分に隣接する静止部分の画像データから補間して、該当部分の画像データを求めるステップをさらに含むことを特徴とする。
さらに、本発明の第５の側面は、
撮像データ処理装置であって、
第１光源を発光させない撮影処理および、前記第１光源を発光させた撮影処理により複数の撮像データを取得する撮像手段と、
前記第１光源を発光させない撮影処理により取得した第１撮像データと、前記第１光源を発光させた撮影処理により取得した第２撮像データを記憶するメモリと、
前記メモリに格納した撮像データに基づく画素値調整処理を実行するデータ処理部とを有し、
前記データ処理部は、
前記第２撮像データを構成する各画素の画素値から前記第１撮像データの対応画素の画素値を減算し、前記第１光源のみの照射環境下での撮影画像に相当する差分画像データを取得する差分画像データ取得部と、
前記差分画像データに対して画素値調整処理を実行する差分画像データ画素値調整部と、
前記差分画像データ画素値調整部において生成した画素値調整済み画像データを適用して最終画素値調整を実行する最終画素値調整部と、
を有することを特徴とする撮像データ処理装置にある。
さらに、本発明の第６の側面は、
撮像データ処理装置であって、
相互に異なる時間に第１光源の発光条件が相互に同一の撮影条件下で撮影された複数の撮像データを取得する手段と、
前記複数の撮像データの比較に基づき、動き情報を取得する手段と、
前記複数の撮像データの一つ、一部、または全部、あるいは他の撮像データに対して、前記動き情報に基づいて設定されるホワイトバランスによる処理を実行する手段と、
を有することを特徴とする撮像データ処理装置にある。
さらに、本発明の第７の側面は、
撮像データの処理を実行するコンピュータ・プログラムであり、
第１光源を発光させない撮影処理により第１撮像データを取得するステップと、
前記第１光源を発光させた撮影処理により第２撮像データを取得するステップと、
前記第２撮像データを構成する各画素の画素値から前記第１撮像データの対応画素の画素値を減算し、前記第１光源のみの照射環境下での撮影画像に相当する差分画像データを取得するステップと、
前記差分画像データに対して画素値調整処理を実行する差分画像データ画素値調整処理ステップと、
前記差分画像データ画素値調整処理ステップにおいて生成した画素値調整済み画像データを適用して最終画素値調整画像を生成する最終画素値調整画像生成ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
さらに、本発明の第８の側面は、
飽和画素値を有する画像データについての画素値補正処理を実行する撮像データ処理方法であり、
画像データ中の少なくとも一部画素が最大画素値として設定された飽和画素を有する補正対象の第１の画像データと、該第１の画像データと異なる露光条件において撮影された１以上のサブ画像データとからなる複数画像データを入力し、複数の入力画像データ相互の対応画素値差分に基づいて、各画像データ取得時の露光条件の差異を示す露光条件差異データを取得し、該露光条件差異データに基づいて、前記第１の画像データにおける飽和画素の仮補正画素値を算出する仮補正画素値算出ステップと、
前記仮補正画素値を出力可能範囲の画素値に補正する正規化処理を実行する補正画素値算出ステップと、
を有することを特徴とする撮像データ処理方法にある。
さらに、本発明の撮像データ処理方法の一実施態様において、前記第１の画像データは、飽和画素位置（Ｘｃ，Ｙｃ）において、画素値（Ｒｃ１，Ｇｃ１，Ｂｃ１）を有し、非飽和画素（Ｘｕ，Ｙｕ）において、画素値（Ｒｕ１，Ｇｕ１，Ｂｕ１）を有する画像データであり、前記サブ画像データは、前記第１の画像データより低強度露光の撮影画像としての第２の画像データと、該第２の画像データよりさらに低強度露光の撮影画像としての第３の画像データとを含み、前記仮補正画素値算出ステップは、第２の画像データおよび第３の画像データにおける前記第１の画像データの非飽和画素（Ｘｕ，Ｙｕ）に対応する位置の画素値を（Ｒｕ２，Ｇｕ２，Ｂｕ２）、および（Ｒｕ３，Ｇｕ３，Ｂｕ３）としたとき、下式に従った算出処理を実行し、

上記（式１）および（式２）に基づいて、露光条件差異データ：Ｓを算出することを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記補正画素値算出ステップは、第２の画像データおよび第３の画像データにおける前記第１の画像データの飽和画素（Ｘｃ，Ｙｃ）に対応する位置の画素値を（Ｒｃ２，Ｇｃ２，Ｂｃ２）、および（Ｒｃ３，Ｇｃ３，Ｂｃ３）としたとき、さらに、下式に従った算出処理を実行し、

上記（式３）に基づいて、前記第１の画像データにおける飽和画素の仮補正画素値（Ｒｃｑ，Ｇｃｑ，Ｂｃｑ）を算出することを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記補正画素値算出ステップは、前記第１の画像の非飽和画素（Ｘｕ，Ｙｕ）の画素値：（Ｒｕ，Ｇｕ，Ｂｕ）および、飽和画素（Ｘｃ，Ｙｃ）についての前記仮補正画素値（Ｒｃｑ，Ｇｃｑ，Ｂｃｑ）の全てのデータの最大値：Ｄｍａｘを算出するとともに、下式に従った算出処理を実行し、

上記（式４）に基づいて、前記第１の画像データの非飽和画素の補正画素値（Ｒｕｆ，Ｇｕｆ，Ｂｕｆ）、および、飽和画素の補正画素値（Ｒｃｆ，Ｇｃｆ，Ｂｃｆ）、を算出することを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記第１の画像データおよび１以上のサブ画像データの露光条件の差異は、照射光強度の差異であり、前記仮補正画素値算出ステップは、前記露光条件差異データとして複数の画像データの照射光強度の差に基づく照射光量の比を算出することを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記第１の画像データおよび１以上のサブ画像データの露光条件の差異は、露光時間の差異であり、前記仮補正画素値算出ステップは、前記露光条件差異データとして複数の画像データの露光時間の差に基づく照射光量の比を算出することを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記仮補正画素値算出ステップ、および前記補正画素値算出ステップは、前記第１の画像におけるカラー画像の信号成分の各々についての補正データを算出することを特徴とする。
さらに、本発明の撮像データ処理方法の一実施態様において、前記仮補正画素値算出ステップ、および前記補正画素値算出ステップは、前記第１の画像における輝度成分についての補正データを算出することを特徴とする。
さらに、本発明の第９の側面は、
画像データを撮影し記憶部に記録する撮像方法であり、
異なる露光条件を設定して画像を撮影する撮像ステップと、
画像データ中の少なくとも一部画素が最大画素値として設定された飽和画素を有する補正対象の第１の画像データと、該第１の画像データと異なる露光条件において撮影された１以上のサブ画像データとからなる複数画像データを入力し、複数の入力画像データ相互の対応画素値差分に基づいて、各画像データ取得時の露光条件の差異を示す露光条件差異データを取得し、該露光条件差異データに基づいて、前記第１の画像データにおける飽和画素の仮補正画素値を算出する仮補正画素値算出ステップと、
前記仮補正画素値を出力可能範囲の画素値に補正する正規化処理を実行する補正画素値算出ステップと、
前記補正画素値算出ステップによって補正された画素値によって構成される画像データを格納する記憶ステップと、
を有することを特徴とする撮像方法にある。
さらに、本発明の撮像方法の一実施態様において、前記露光条件の差異は、照射光強度の差異、または露光時間の差異であり、前記撮像ステップは、照射光強度、または露光時間の異なる条件設定の下に複数の画像データを撮影し、
前記仮補正画素値算出ステップは、前記露光条件差異データとして複数の画像データの照射光強度または露光時間の差に基づく照射光量の比を算出することを特徴とする。
さらに、本発明の第１０の側面は、
飽和画素値を有する画像データについての画素値補正処理を実行する撮像データ処理装置であり、
画像データ中の少なくとも一部画素が最大画素値として設定された飽和画素を有する補正対象の第１の画像データと、該第１の画像データと異なる露光条件において撮影された１以上のサブ画像データとからなる複数画像データを入力し、複数の入力画像データ相互の対応画素値差分に基づいて、各画像データ取得時の露光条件の差異を示す露光条件差異データを取得し、該露光条件差異データに基づいて、前記第１の画像データにおける飽和画素の仮補正画素値を算出する仮補正画素値算出手段と、
前記仮補正画素値を出力可能範囲の画素値に補正する正規化処理を実行する補正画素値算出手段と、
を有することを特徴とする撮像データ処理装置にある。
さらに、本発明の第１１の側面は、
飽和画素値を有する画像データについての画素値補正処理を含む撮像データ処理を実行するコンピュータ・プログラムであって、
画像データ中の少なくとも一部画素が最大画素値として設定された飽和画素を有する補正対象の第１の画像データと、該第４の画像データと異なる露光条件において撮影された１以上のサブ画像データとからなる複数画像データを入力し、複数の入力画像データ相互の対応画素値差分に基づいて、各画像データ取得時の露光条件の差異を示す露光条件差異データを取得し、該露光条件差異データに基づいて、前記第１の画像データにおける飽和画素の仮補正画素値を算出する仮補正画素値算出ステップと、
前記仮補正画素値を出力可能範囲の画素値に補正する正規化処理を実行する補正画素値算出ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
本発明の構成に従えば、外光とフラッシュ光など、異なる光成分の混在した環境下で撮影した画像についての適格なホワイトバランス調整が可能となり、色合いの自然な画像データを取得することが可能となる。
また、本発明の構成に従えば、外光とフラッシュ光など、複数の異なる光照射の下に撮影される画像について、単一の照射光環境下での撮影画像を取得または生成し、それぞれの単一の照射光環境下の画像について、それぞれの照射光の色成分（色温度）に基づいて設定されるパラメータに従ったホワイトバランス調整を実行し、それらを合成する構成としたので、フラッシュと外光との色温度の差を軽減させた適格なホワイトバランス調整処理を実現することができる。
さらに、本発明の構成によれば、被写体自身の動きの発生部分について、動きなし部分の隣接画素値に基づいて画素値を調整して設定する構成としたので、画素間のなめらかな変化による自然な画像データを生成することが可能となる。
さらに、本発明の構成においては、カメラ等の撮像手段に付属するストロボ等の照射光により、撮像手段に近接する被写体に過度の照射光が発生して、被写体画像の画素値が飽和状態となってしまった画像データについての適切な画素値補正が可能となる。
また、本発明の構成に従えば、露光条件の異なる複数の画像データに基づいて、飽和画素値の仮補正画素値を求め、さらに、仮補正画素値を正規化処理により出力可能画素値に再補正して出力または記録を行なうことで、適性な補正画素値算出、補正画素値に基づく明瞭な画像データの出力および記録が可能となる。
さらに、本発明の構成に従えば、画像データ中の少なくとも一部画素が最大画素値として設定された飽和画素を有する補正対象の第１の画像データと、第１の画像データと異なる露光条件において撮影された１以上のサブ画像データとからなる複数画像データを入力し、複数の入力画像データ相互の対応画素値差分に基づいて、各画像データ取得時の露光条件の差異を示す露光条件差異データを取得し、該露光条件差異データに基づいて、前記第１の画像データにおける飽和画素の仮補正画素値を算出し、仮補正画素値を出力可能範囲の画素値に補正する正規化処理を実行する構成としたので、適性な補正画素値算出、補正画素値に基づく明瞭な画像データの出力および記録が可能となる。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

図１は、ストロボ等の光照射における撮影画像の問題点を説明する図である。
図２は、本発明の画像処理装置において取得する複数画像の露光条件について説明する図である。
図３は、本発明の画像処理装置のハードウェア構成例について説明する図である。
図４は、本発明の画像処理装置における画像取得例について説明する図である。
図５は、本発明の画像処理装置における複数の撮影画像例について説明する図である。
図６は、本発明の画像処理装置における画素値補正処理について説明するフロー図である。
図７は、本発明の画像処理装置における画素値補正処理について説明するフロー図である。
図８は、本発明の画像処理装置における画素値補正処理について説明するフロー図である。
図９は、本発明の画像処理装置における画素値補正を実行する処理を機能別に示した機能ブロック図である。
図１０は、本発明の画像処理装置において取得する複数画像の露光条件について説明する図である。
図１１は、本発明の撮像データ処理装置の構成を示す図である。
図１２は、本発明の撮像データ処理方法の手順を説明するフローチャートである。
図１３は、本発明の撮像データ処理方法における複数の画像データに基づくホワイトバランス調整処理の手順を説明するフローチャートである。
図１４は、本発明の撮像データ処理方法における複数の画像データに基づくホワイトバランス調整処理の原理を説明する図である。
図１５は、本発明の撮像データ処理における複数の画像データに基づく動き部分の検出処理について説明する図である。
図１６は、本発明の撮像データ処理における動き部分の画素値調整処理について説明するフロー図である。
図１７は、本発明の撮像データ処理における動き部分の画素値調整処理について説明する図である。
図１８は、本発明の撮像データ処理における複数の画像データに基づく画素値調整処理を実行する機構を説明する図である。
図１９は、本発明の撮像データ処理方法における複数の画像データに基づくホワイトバランス調整処理の手順を説明するフローチャートである。
図２０は、本発明の撮像データ処理における複数の画像データに基づく画素値調整処理を実行する機構を説明する図である。

以下、図面を参照しながら、本発明の撮像データ処理方法、撮像装置、画像処理装置および方法について説明する。説明は、以下の２つのテーマについて、順次説明する。
１．過度な照射光による飽和画素値の補正処理
２．外光とフラッシュ光が混在する環境下における撮影の最適なホワイトバランス調整処理
［１．過度な照射光による飽和画素値の補正処理］
まず、過度な照射光による飽和画素値の補正処理を実行するための本発明の画像処理装置、撮像装置および方法の概要について説明する。本発明では、異なる撮影態様で撮影した少なくとも３枚以上の画像を撮影する。これら複数の画像の撮影態様は、図２（ａ），（ｂ）に示すように、露光時間あるいは発光量を変更して撮影する。第１の画像は、補正対象画像であり、第２および第３の画像は、第１の画像の補正処理に適用するためのサブ画像である。
補正処理対象となる第１の画像は、従来と同様に発光手段、例えば、ストロボによる発光とともに露光を行なう。従って、撮影対象が撮像装置に対して近い位置および遠い位置の双方に存在する場合には、撮像装置に対して近い位置にある撮影対象には過度な光量の光照射が行われ、（Ｒ，Ｇ，Ｂ）の値が飽和した画像（第１の画像と呼ぶ）となる。なお、以下の説明において、発光手段は、ストロボまたはフラッシュとして説明するが、発光手段は、ストロボ、フラッシュに限らず、その他の異なる光照射手段を適用した場合も本発明の構成は適用可能である。
サブ画像としての第２の画像は、第１の画像に比べて露光時間を短く設定して撮影した画像、あるいは、第１の画像を撮影したときよりもストロボの発光量を少なくした状態で撮影した画像（第２の画像と呼ぶ）である。
さらに、サブ画像としての第３の画像は、第２の画像に比べてさらに露光時間を短く設定して撮影した画像、あるいは、第２の画像を撮影したときよりもさらに、ストロボの発光量が少ない（あるいは発光していない）状態で撮影した画像（第３の画像と呼ぶ）である。
第２の画像および第３の画像においては、露光時間が少ない、あるいは、ストロボの光量が少ないため画像は全体的に暗くなり、撮像装置（カメラ）に近く発光手段としてのストロボからの距離が短い被写体であっても照射光量が減少し、撮影画像のどの画素も飽和することはない。
これら第２の画像と第３の画像は暗い画像のため、観賞用には使用できないが、第１の画像では欠落してしまった有用な情報を含んでいる。即ち、色相の情報である。換言すれば、各画素におけるＲ：Ｇ：Ｂの割合が、第２の画像と第３の画像から求まる。この情報より、第１の画像において飽和してしまった画素のデータ（特に色相）を復元する。
以下、本発明の具体的構成について説明する。まず、本発明の画像処理装置のハードウェア構成例について、図３を参照して説明する。図３を参照しながら、画像処理装置１００内の各構成要素について説明する。なお、図３に示す画像処理装置１００は、撮像装置（カメラ）内に組み込むことも可能である。
画像処理装置１００のメイン・コントローラであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。ＣＰＵ１０１は、例えば、撮像手段としてのデジタルカメラ１５０から外部機器インターフェース１０６を介して、一度ＨＤＤ１１１へダウンロードされた画像を補正するアプリケーション・プログラムを実行することができる。図示の通り、ＣＰＵ１０１は、バス１０７によって他の機器類と相互接続されている。
メモリ１０２は、ＣＰＵ１０１において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。同図に示すメモリ１０２は、ＲＯＭなどの不揮発性メモリ及びＤＲＡＭなどの揮発性メモリの双方を含むものと理解されたい。
ディスプレイ・コントローラ１０３は、ＣＰＵ１０１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ１０３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ディスプレイ１０８によって画面出力される。例えば、ＨＤＤ（１１１）から再生された画像や、ＣＰＵ１０１により処理された画像は、ディスプレイ１０８で画面表示されて、ユーザはそれを見ることが出来る。
入力機器インターフェース１０４は、キーボード１０９やマウス１１０などのユーザ入力機器をシステム１００に接続するための装置である。ユーザは、キーボード１０９やマウス１１０を介して、画像を処理するためや表示するためのコマンドなどを入力することができる。
ネットワーク・インターフェース１０５は、Ｅｔｈｅｒｎｅｔなどの所定の通信プロトコルに従って、システム１００をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。
ネットワーク上では、複数のホスト端末やサーバー（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行うことができる。例えば、他人が撮影した画像が保存されている他のサーバーから画像データを、ネットワーク経由でＨＤＤ（１１１）へダウンロードすることができる。
外部機器インターフェース１０６は、デジタルカメラや、ハード・ディスク・ドライブ（ＨＤＤ）１１１やメディア・ドライブ１１２などの外部装置をシステム１００に接続するための装置である。
ＨＤＤ１１１は、記憶媒体としての磁気ディスクを固定的に搭載した外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。また、ランダムアクセスも可能である。ソフトウェア・プログラムを実行可能な状態でＨＤＤ１１１上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１１１には、ＣＰＵ１０１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。例えば、後述する画像補正プログラムを、ＨＤＤ１１１上にインストールすることができる。
メディア・ドライブ１１２は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの可搬型メディア１６０を装填して、そのデータ記録面にアクセスするための装置である。
可搬型メディア１６０は、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。画像処理を行うためのアプリケーション・プログラムを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。
なお、図３に示すような画像処理装置１００の一例は、米ＩＢＭ社のパーソナル・コンピュータ″ＰＣ／ＡＴ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ／Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ）″の互換機又は後継機として実現可能である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係る画像処理装置１００として適用することも可能である。さらには、デジタルカメラ内に内蔵して、デジタルカメラ内で処理する構成として実現することも可能である。
以下、本発明の画像処理装置における具体的な画像処理例を説明する。図４に示すように、撮影者は、撮像手段としてのカメラ（デジタルカメラ）２１０で、撮影対象物体としての人物Ａ，２５０を撮影する。人物Ａ，２５０は、暗い部屋２００内におり、撮影者はストロボ２１１付きのカメラ（デジタルカメラ）２１０を持ち、カメラ２１０は、人物Ａ，２５０に近接した位置にある。
カメラ２１０は外光の量を検知して自動で「ストロボ連続撮影」モードにて撮影を行う。あるいは、撮影者が意図的にデジタルカメラに付属されているボタンを操作することで「ストロボ連続撮影」モードとして撮影を行なう。なお、「ストロボ連続撮影」モードとは、本発明の画像処理装置における処理に適用する複数画像を連続して撮影するモードであり、一般用語ではない。
「ストロボ連続撮影」モードにおいては、撮影者がレリーズボタンを押すと、自動で複数（例えば３枚）の画像の連続撮影を実行する。「ストロボ連続撮影」モードにおいて、レリーズボタンが押されると、最初に、従来から知られている方法によりストロボを発光しながらの撮影が行われる。この撮影された画像は、すぐに、デジタルカメラ内にあるメモリ（フレームメモリ）に第１の画像として取り込まれる。
メモリに第１の画像が取り込まれた後、ストロボを１枚目の撮影の時よりも弱く発光しながら、再度撮影が行われる。そして、カメラ内にあるメモリに第２の画像として取り込まれる。さらに、取り込まれた後、ストロボを発光せずに、再度撮影が行われる。そして、デジタルカメラ内にあるメモリに第３の画像として取り込まれる。
なお、これら撮影する画像の順番は関係ない。あるいは、複数の撮像デバイスを用いて、ほぼ同時刻に撮影を行ってもよい。また、撮影者が意図的にストロボの発光量を制御しながらレリーズボタンを３回おすことで、上記第１の画像、第２の画像、および、第３の画像を撮影しても良い。
この撮影で、例えば、図５に示すような画像が得られる。図５（ａ）が通常光照射により撮影した第１の画像であり、図５（ｂ）が低強度光照射により撮影した第２の画像であり、図５（ｃ）が最低強度光照射により撮影した第３の画像である。
図６は、本発明の画像処理装置１００上で実行される処理手順をフローチャートの形式で示した図である。図６を用いて、本発明の画像処理装置における処理手順について、図３の画像処理装置を参照しながら詳しく説明する。
まず、図６のステップ１では、画像処理装置１００のユーザが、撮影したデジタルカメラを外部インターフェース１０６に接続する。あるいは、撮影したデータがＭＯ等可搬型メディアにある場合には、その可搬型メディアをメディアドライブ１１２にセットする。
ステップ２では、デジタルカメラ、あるいは、ＭＯ等可搬型メディアから、処理対象となる画像データを取り出し、例えば、ＨＤＤ１１１にコピーする。ここで取り出す画像データは、前述の「ストロボ連続撮影」モードで撮影された複数の画像、すなわち、露光条件の異なる複数の画像データである。例えば、図５で示される３つの画像データである。ステップ２Ｓでは、さらに、メモリ１０２へと、その画像データを送る。もちろん、ＨＤＤ１１１に一度コピーする必要はないが、後ほど、デジタルカメラやＭＯ等可搬型メディアを接続しなくても、再度見ることが出来るように、ＨＤＤ１１１にコピーしておくと良い。そして、ステップ３に進む。
ステップ３では、ＣＰＵ１０１により、第１の画像データ（例えば、図５（ａ）で示される通常光照射により撮影した第１の画像データを解析して、飽和している画像データ領域を抽出する。これは、画像データ中の各画素に対して、Ｒ、Ｇ、Ｂの３つの要素のうち、２５５となっている要素が１つ以上あるか、どうかで判断する。
すなわち、画素値Ｒ＝２５５、または画素値Ｇ＝２５５、または画素値Ｂ＝２５５のいずれかの値を有する画素を飽和画素として抽出する。飽和している画素位置を（Ｘｃ，Ｙｃ）とする。飽和していない画素位置を（Ｘｕ，Ｙｕ）とする。そして、ステップ４に進む。
ステップ４では、ステップ３で求めた第１の画像中の飽和している画素位置（Ｘｃ，Ｙｃ）の補正画素データ、すなわち補正画素値を第２の画像および第３の画像に基づいて算出する。ステップ４の具体的処理について、図７、図８を参照して説明する。なお、図７、図８において、ステップ４１〜４５が図６におけるステップ４の詳細処理を示し、ステップ５１〜５２が図６におけるステップ５の詳細処理（正規化処理）を示す。これらの処理は、以下に説明する処理をＣＰＵ１０１によって実行することで行われる。
まず、ステップ４１において、第１の画像のうち飽和している画素（飽和画素）の位置（Ｘｃ，Ｙｃ）と、第１の画像のうち飽和していない画素（非飽和画素）の位置（Ｘｕ，Ｙｕ）を判別し画素位置情報を取得する。飽和している画素（飽和画素）とは、Ｒ，Ｇ，Ｂのいずれかが最大値（例えば２５５）として設定されている画素である。非飽和画素とは、それ以外の画素すなわち、Ｒ，Ｇ，Ｂのいずれも最大値（例えば２５５）として設定されていない画素である。
次にステップ４２において、第１の画像のうち飽和している画素（飽和画素）の位置（Ｘｃ，Ｙｃ）と同じ位置の画素を、第２の画像および第３の画像から取り出す。この第１の飽和している画素のＲ、Ｇ、Ｂを、それぞれ、Ｒｃ１、Ｇｃ１、Ｂｃ１とし、この第２の画像から取り出した同じ位置の画素のＲ、Ｇ、Ｂを、それぞれ、Ｒｃ２、Ｇｃ２、Ｂｃ２とする。また、この第３の画像から取り出した同じ位置の画素のＲ、Ｇ、Ｂを、それぞれ、Ｒｃ３、Ｇｃ３、Ｂｃ３とする。
また、第１の画像のうち飽和していない画素（非飽和画素）の位置（Ｘｕ，Ｙｕ）と同じ位置の画素を、第２の画像および第３の画像から取り出す。この第１の飽和していない画素のＲ、Ｇ、Ｂを、それぞれ、Ｒｕ１、Ｇｕ１、Ｂｕ１とし、この第２の画像から取り出した同じ位置の画素のＲ、Ｇ、Ｂを、それぞれ、Ｒｕ２、Ｇｕ２、Ｂｕ２とする。また、この第３の画像から取り出した同じ位置の画素のＲ、Ｇ、Ｂを、それぞれ、Ｒｕ３、Ｇｕ３、Ｂｕ３とする。
次に、ステップ４２において、第１の画像のうち飽和していない画素（飽和画素）の各位置（Ｘｕ，Ｙｕ）に対して、以下に示す（式１）により、Ｐ（Ｘｕ，Ｙｕ）を算出する。

第１の画像のうち飽和していない画素のすべての位置（Ｘｕ，Ｙｕ）に対して（式１）により、Ｐ（Ｘｕ，Ｙｕ）を算出し、さらに、ステップ４４において、すべての画素位置のＰ（Ｘｕ，Ｙｕ）の平均値：Ｓを算出する。平均値Ｓは以下の（式２）により算出される。

上記（式１）、（式２）において、（Ｘｕ，Ｙｕ）は、第１の画像のうち飽和していない画素の位置である。ｎは、第１の画像のうち飽和していない画素の総数である。
上記（式１）、（式２）によって算出される：Ｓは、「第１の画像を撮影するときに発光されたストロボの発光量＝［高強度ストロボ光］」と「第２の画像を撮影するときに発光されたストロボの発光量＝［低強度ストロボ光］」との比を表している。すなわちＳは、各画像データの露光条件差異データとしての照射光量の比を示すものであると言える。
すなわち、（Ｒｕ１−Ｒｕ３，Ｇｕ１−Ｇｕ３，Ｂｕ１−Ｂｕ３）は、第１の画像のうち飽和していない画素（非飽和画素）についての第１の画像の画素値（Ｒｕ１，Ｇｕ１，Ｂｕ１）から、第３の画像における対応位置の画素値（Ｒｕ３，Ｇｕ３，Ｂｕ３）を差し引いた差分であり、これは、外光成分を除去して純粋に［高強度ストロボ光］により発光されて照らされた投影像の画像における画素値を示している。ここで言う［高強度ストロボ光］とは、第１の画像を撮影するときに発光されたストロボ光を意味する。
同様に、（Ｒｕ２−Ｒｕ３，Ｇｕ２−Ｇｕ３，Ｂｕ２−Ｂｕ３）は、第１の画像のうち飽和していない画素（非飽和画素）に対応する位置の第２の画像の画素値（Ｒｕ２，Ｇｕ２，Ｂｕ２）から、第３の画像における対応位置の画素値（Ｒｕ３，Ｇｕ３，Ｂｕ３）を差し引いた差分値であり、これは、外光成分を除去して純粋に［低強度ストロボ光］により発光されて照らされた投影像の画像となる。ここで言う［低強度ストロボ光］は、第２の画像を撮影するときに発光されたストロボ光を意味する。
従って、上記（式２）によって算出される露光条件差異データ：Ｓは、「第１の画像を撮影するときに発光されたストロボの発光量＝［高強度ストロボ光］」と「第２の画像を撮影するときに発光されたストロボの発光量＝［低強度ストロボ光］」との比を表すことになる。
このようにして、３枚の異なる発光条件で撮影した画像に基づく画像解析処理により、「第１の画像を撮影するときに発光されたストロボの発光量＝［高強度ストロボ光］」と「第２の画像を撮影するときに発光されたストロボの発光量＝［低強度ストロボ光］」との比：Ｓが求められる。
なお、撮像装置（カメラ）側、あるいはカメラに接続された制御装置において、ストロボの発行量が正確に制御でき、「第１の画像を撮影するときに発光されたストロボの発光量＝［高強度ストロボ光］」と「第２の画像を撮影するときに発光されたストロボの発光量＝［低強度ストロボ光］」との比を示すデータが撮影時に取得可能であれば、その取得データをＳとしても良い。
次に、ステップ４５（図８）において、第１の画像中の飽和している画素（飽和画素）の位置（Ｘｃ，Ｙｃ）を取得し、各位置（Ｘｃ，Ｙｃ）の仮補正画素値（Ｒｃｑ，Ｇｃｑ，Ｂｃｑ）を露光条件差異データ：Ｓを用いて以下の（式３）に従って算出する。

そして、この（式３）で表される仮補正画素値（Ｒｃｑ，Ｇｃｑ，Ｂｃｑ）を、それぞれ、第１の画像における飽和画素位置（Ｘｃ，Ｙｃ）に対する仮補正画素値として設定する。
ここで、（Ｘｃ，Ｙｃ）は、第１の画像のうち飽和している画素（飽和画素）の位置である。上述の（式３）によって算出される値（Ｒｃｑ，Ｇｃｑ，Ｂｃｑ）は、「第２の画像を撮影するときに発光されたストロボの発光量＝［低強度ストロボ光］」のＳ倍の発光量が発光されたと仮定した場合の画素の値である。つまり、「第１の画像を撮影するときに発光されたストロボの発光量＝［高強度ストロボ光］」で発光されたとき飽和しないとした場合の画素の値である。
従って、上述の（式３）によって算出される画素値は、実画像の画素値の最大値（例えば２５５）を超える値を取り得る、
このようにして、図６の処理フローにおけるステップ４（図７，８のステップ４１〜４５）では、第１の画像における飽和画素を、飽和していないと仮定した場合の仮定の画素値、すなわち仮補正画素値（Ｒｃｑ，Ｇｃｑ，Ｂｃｑ）で置き換える処理を実行する。
次に、ステップ５では、飽和画素位置（Ｘｃ，Ｙｃ）の画素（Ｒｃ，Ｇｃ，Ｂｃ）に対応してステップ４で算出した仮補正画素値（Ｒｃｑ，Ｇｃｑ，Ｂｃｑ）、および非飽和画素位置（Ｘｕ，Ｙｕ）の画素（Ｒｕ，Ｇｕ，Ｂｕ）によって構成される第１の画像の構成画素値の正規化を行う。
ステップ４での画素データの置き換え処理において算出した仮補正画素値（Ｒｃｑ，Ｇｃｑ，Ｂｃｑ）は、前述したように、Ｒｃｑまたは、Ｂｃｑ、またはＧｃｑの値がいずれも０〜２５５の範囲内に設定されるとは限らず、いずれかの値が２５５を超える場合がある。この状態では、画像の出力はできない。そこで、すべての画素のＲ、Ｇ、Ｂの値を出力可能値、例えば０から２５５の範囲に抑えるように正規化処理を行い真の補正画素値（Ｒｃｆ，Ｇｃｆ，Ｂｃｆ）を算出する。
具体的な正規化処理について、図８のステップ５１，５２を参照して説明する。まず、ステップ５１において、第１の画像の最大画素値Ｄｍａｘを求める。
すなわち、第１の画像の非飽和画素（Ｘｕ，Ｙｕ）の画素値：（Ｒｕ，Ｇｕ，Ｂｕ）および、飽和画素（Ｘｃ，Ｙｃ）についてステップ４（＝ステップ４１〜４５）において算出した仮補正画素値（Ｒｃｑ，Ｇｃｑ，Ｂｃｑ）から構成される第１の画像の全画素についての画素値をそれぞれ求め、それら全ての最大値：Ｄｍａｘを算出する。
次にステップ５２において、ステップ５１で算出した最大画素値Ｒｍａｘ，Ｇｍａｘ，Ｂｍａｘにより、第１の画像の構成画素の各画素値を割り、以下の（式４）により、非飽和画素位置（Ｘｕ，Ｙｕ）の補正画素値（Ｒｕｆ，Ｇｕｆ，Ｂｕｆ）と、飽和画素位置（Ｘｃ，Ｙｃ）の補正画素値（Ｒｃｆ，Ｇｃｆ，Ｂｃｆ）とをそれぞれ求める。

上記式４によって算出した画素値、すなわち、非飽和画素位置（Ｘｕ，Ｙｕ）の補正画素値（Ｒｕｆ，Ｇｕｆ，Ｂｕｆ）と、飽和画素位置（Ｘｃ，Ｙｃ）の補正画素値（Ｒｃｆ，Ｇｃｆ，Ｂｃｆ）は、０から２５５の値に抑えることが出来る。これら補正画素値が出力画素値として適用される。
正規化処理としては、上述の処理に限らず、他の正規化処理例として、本出願入と同一の出願人による特許出願、特願２００２−０２５４６４号に記載の処理を適用することも可能である。これは、ダイナミックレンジの広い画像（即ち、２５５を超える値を有する画像）から、人間の視覚に違和感を与えずに、ダイナミックレンジの狭い画像（即ち、すべての画素のＲ、Ｇ、Ｂの値が０から２５５の範囲である画像）に変換する処理方法であり、この方法を適用して、第１の画像を構成する非飽和画素位置（Ｘｕ，Ｙｕ）の補正画素値（Ｒｕｆ，Ｇｕｆ，Ｂｕｆ）と、飽和画素位置（Ｘｃ，Ｙｃ）の補正画素値（Ｒｃｆ，Ｇｃｆ，Ｂｃｆ）を算出することで、すべての画素のＲ、Ｇ、Ｂの値を０から２５５の範囲に抑えることが可能となる。
図６におけるステップ５（図８のステップ５１，５２）における正規化処理の後、ステップ６に進む。ステップ６では、ステップ５により書き換えられた第１の画像を出力して、この処理を終了する。この画像は、非飽和画素位置（Ｘｕ，Ｙｕ）の補正画素値（Ｒｕｆ，Ｇｕｆ，Ｂｕｆ）と、飽和画素位置（Ｘｃ，Ｙｃ）の補正画素値（Ｒｃｆ，Ｇｃｆ，Ｂｃｆ）によって構成される画像である。
このようにして得られる画像は、オリジナルの第１の画像において飽和してしまった画素を飽和しなかったと仮定した画素に置き換えた画像であり、従来の欠点を克服するものである。つまり、ストロボ撮影により、対象物体が近い場合、（Ｒ，Ｇ，Ｂ）の値が飽和してしまい、最も明るい白色になってしまうことがなくなる。
図９は、本発明の画像処理装置の処理を説明する機能ブロック図である。画像処理装置は、先に図３を用いて説明したＣＰＵを有する例えばＰＣ等において実現可能であり、図６〜図８を参照して説明した処理手順を記録したプログラムをＣＰＵにおいて実行することで、補正画素値の算出が可能となる。図９は、主にＣＰＵにおいて実行する処理機能を個別にブロック化して示した機能ブロック図である。
撮像部３０１において、前述の露光条件を変化させた複数の画像（図２、図５参照）を取得し、これらの複数の画像をメモリ３０２に格納する。メモリ３０２に格納された複数の画像について画素値判定部３０３において、画素値判定処理を行ない、複数の画像の画素値の取得処理を行なう。
画素領域分割部３０４では、画素値判定部３０３において取得された第１の画像中の画素値について、飽和画素領域と、非飽和画素との分割処理を行なう。飽和画素は、Ｒ、Ｇ、Ｂの３つの要素のうち、最大値（例えば２５５）となっている要素が１つ以上ある画素であり、非飽和画素は、それ以外の画素である。
仮補正画素値算出部３０５には、第１〜第３の画像の全画素値データが取り込まれ、前述した式１〜３を適用して、第１の画像における飽和画素位置（Ｘｃ，Ｙｃ）の仮補正画素値（Ｒｃｑ，Ｇｃｑ，Ｂｃｑ）を算出する。
補正画素値算出部（正規化処理部）３０６には、第１の画像の非飽和画素（Ｘｕ，Ｙｕ）の画素値（Ｒｕ，Ｇｕ，Ｂｕ）が画素領域分割部３０４から入力され、さらに、仮補正画素値算出部３０５から第１の画像の飽和画素（Ｘｃ，Ｙｃ）の仮補正画素値（Ｒｃｑ，Ｇｃｑ，Ｂｃｑ）が入力されて、前述の（式４）に従って、非飽和画素位置（Ｘｕ，Ｙｕ）の補正画素値（Ｒｕｆ，Ｇｕｆ，Ｂｕｆ）と、飽和画素位置（Ｘｃ，Ｙｃ）の補正画素値（Ｒｃｆ，Ｇｃｆ，Ｂｃｆ）とがそれぞれ求められる。
出力部３０７では、補正画素値算出部（正規化処理部）３０６において算出した補正画素値に従った画像データを出力する。
なお、図９に示す構成は撮像装置（カメラ）として構成することも可能であり、この場合、先に図３を参照して説明した画像処理装置構成を撮像装置（カメラ）に組み込み、補正画像データを例えばＤＶＤ、ＣＤ、フラッシュメモリ等によって構成される記憶部に記憶する。撮像部は、上述した説明に従った、異なる露光条件を連続的に設定して複数の画像（図２、図５参照）を撮り込む処理を実行し、撮像装置内に構成されたＣＰＵを含む画像処理部（図３参照）により、前述の処理を実行して補正画素値を算出し、補正画素値に基づく画像データを記憶部に格納する。
本構成に従った撮像装置では、複数の画像に基づいて補正された画像データが記憶部に記憶されることになり、飽和画素値の補正された明瞭な画像データを記録データとして残すことが可能となる。
このように、本発明の画像処理装置または撮像装置によれば、通常照射光により、過度の照射光が発生して、画素値が最大となり、飽和状態となってしまった画素領域を持つ画像データについて、画素値の補正により、最適画素値が算出され、明瞭な画像データを出力または記録することが可能となる。
なお、上述の実施例においては、通常ストロボによる撮影と、低強度ストロボによる撮影、最低強度ストロボによる撮影画像の３種類の画像に基づいて画素値補正を行なう構成例について説明したが、さらに４枚以上の異なる露光条件で撮影した画像を適用して補正処理を行なう構成としてもよい。この場合、前述の（式２）において求めた各強度のストロボ光の比を複数算出し、それぞれについて、（式３）を適用して仮補正画素値を求めて、算出した複数の仮補正画素値の平均値を最終的な仮補正画素値として設定した後、（式４）による正規化処理を行なうことが可能である。
また、上述の実施例ではストロボ光の強度を変更して撮影したる複数画像を適用した処理について説明したが、露光時間を変更して撮影した複数の画像についても、上記と同様の補正処理が実行可能である。すなわち、各画像データの露光時間の差に基づく照射光量の比：Ｓを前述の（式２）において求め、以下同様の補正画素値算出処理を実行することが可能である。
また、図１０に示すように、第１の画像を撮影する前に、ストロボを発光しないで、第３’の画像を撮影し、
（１）第３’の画像（ストロボ無し）
（２）第１の画像（通常ストロボ）
（３）第２の画像（低強度ストロボ）
（４）第３の画像（ストロボ無し）
を撮影して、「第３の画像と第３’の画像の平均値」を算出して、算出した画像を、前述の説明における第３の画像として用いても良い。このように平均化処理を実行することで、連続して撮影する間に人物Ａが動いてしまうことによる「各画像間でずれ」を補正することが出来、またノイズ低減も可能となる。
また、上述の実施例においては、画素値を（Ｒ，Ｇ，Ｂ）の３原色による構成である画像データに対する補正例を示したが、カラー画像ではなく白黒のみすなわち、輝度データのみの画像データにおいても同様の処理による輝度補正が可能である。また、ＲＧＢ以外のカラー表現画像データにおいても、それぞれのデータ値の補正により飽和データの補正が可能となる。
［２．外光とフラッシュ光が混在する環境下における撮影の最適なホワイトバランス調整処理］
次に、外光とフラッシュ光が混在する環境下における撮影の最適なホワイトバランス調整処理構成について説明する。
図１１は、本実施例に係る撮像装置の構成を示すブロック図である。図１１に示すように、本実施例に係る撮像装置は、レンズ５０１、絞り５０２、固体撮像素子５０３、相関２重サンプリング回路５０４、Ａ／Ｄコンバータ５０５、ＤＳＰブロック５０６、タイミングジェネレータ５０７、Ｄ／Ａコンバータ５０８、ビデオエンコーダ５０９、ビデオモニタ５１０、コーデック（ＣＯＤＥＣ）５１１、メモリ５１２、ＣＰＵ５１３、入力デバイス５１４、フラッシュ制御装置５１５、フラッシュ発光装置５１６から構成される。
ここで、入力デバイス５１４はカメラ本体にある録画ボタンなどの操作ボタン類をさす。また、ＤＳＰブロック５０６は信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下ＤＳＰブロックを単にＤＳＰと呼ぶ。
本実施例の全体的な動作を以下に説明する。
光学系を通過して固体撮像素子５０３に到達した入射光は、まず撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路５０４によってノイズ除去され、Ａ／Ｄコンバータ５０５によってデジタ。信号に変換された後、デジタル信号処理部（ＤＳＰ）５０６中の画像メモリに一時格納される。なお、必要があれば、撮影の際に、フラッシュ制御装置５１５を介して、フラッシュ発光装置５１６を発光させることができる。
撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ５０７が信号処理系を制御する。デジタル信号処理部（ＤＳＰ）５０６へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはＤ／Ａコンバータ５０８もしくはコーデック（ＣＯＤＥＣ）５１１あるいはその両方に送られる。Ｄ／Ａコンバータ５０８はデジタル信号処理部（ＤＳＰ）５０６から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ５０９がビデオ信号に変換し、そのビデオ信号をビデオモニタ５１０でモニタできるようになっていて、このビデオモニタ５１０は本実施例においてカメラのファインダの役割を担っている。また、コーデック（ＣＯＤＥＣ）５１１はデジタル信号処理部（ＤＳＰ）５０６から送られる画像データに対する符号化をおこない、符号化された画像データはメモリ５１２に記録される。ここで、メモリ５１２は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。
以上が本実施例のデジタルビデオカメラのシステム全体の説明であるが、本実施例中で本発明が実現されているのは、デジタル信号処理部（ＤＳＰ）５０６における画像処理である。以下その画像処理の部分を詳細に説明する。
前述のように、本実施例の画像処理部は実際には、デジタル信号処理部（ＤＳＰ）５０６で実現されている。したがって本実施例の構成においては、画像処理部の動作は、デジタル信号処理部（ＤＳＰ）５０６内部において、入力された画像信号のストリームに対して演算ユニットが所定のプログラムコードに記述された演算を順次実行するようにして実現されている。以降の説明では、そのプログラム中の各処理が実行される順序をフローチャートで説明する。しかしながら、本発明は本実施例で説明するようなプログラムという形態以外にも、以降で説明する機能と同等の処理を実現するハードウェア回路を実装して構成してもよい。
図１２はデジタル信号処理部（ＤＳＰ）５０６内部において、入力された画像信号のストリームに対して実行するホワイトバランス（ＷＢ）調整処理の手順を説明するフローチャートである。
ステップ１０１では、事前に設定された絞り、シャッタースピードを用いて、フラッシュ発光なしで撮影し、ステップ１０２でこのフラッシュ発光なし撮影画像を画像データＩ_１としてメモリに格納する。ステップ１０３では、ステップ１０１と同様に事前に設定された絞り、シャッタースピードを用いて、フラッシュ発光を行って撮影し、ステップ１０４でこのフラッシュ発光あり撮影画像を画像データＩ_２としてメモリに格納する。
次にステップ１０５では、ステップ１０１と同様に事前に設定された絞り、シャッタースピードを用いて、フラッシュ発光なしで、再度撮影し、ステップ１０６でこのフラッシュ発光なし撮影画像を画像データＩ_３としてメモリに格納する。
なお、ステップ１０１，１０３，１０５の撮影は、連続した撮影、例えば約１／１００秒間隔の連続撮影として実行される。それぞれの撮影ステップから得られた複数の画像を用いて、ホワイトバランス（ＷＢ）の調整処理を行い、１つのホワイトバランス（ＷＢ）の調整された画像データを生成する。
また、ステップ１０２、１０４、１０６においてメモリに格納される画像データＩ_１、Ｉ_２、Ｉ_３は手ぶれ補正が行われた画像とする。すなわち、３枚の画像Ｉ_１、Ｉ_２、Ｉ_３の撮影時に手ぶれがおきている場合には、それらをあらかじめ補正してからメモリに格納する。すなわち、撮影画像が手ぶれの発生画像である場合には、ステップ１０１と１０２の間、ステップ１０３と１０４の間、およびステップ１０５と１０６の間において、手ぶれの補正を実行し補正後の画像をメモリに格納する。したがってメモリに格納される画像データＩ_１、Ｉ_２、Ｉ_３は三脚にカメラを固定した状態で連続撮影したかのような画像となる。
なお手ぶれの補正処理は、従来から知られた処理が適用可能である。例えば、加速度センサを用いてずれを検出し、レンズをずらす方法、または目的の解像度より大きい解像度の画像を撮像素子を用いて撮影してずれが生じないように適切な部分を読み出す方法、さらにはセンサを用いず画像処理だけで手ぶれを補正する方法など、従来から広く用いられている方法が適用される。
次にステップ１０７において、ステップ１０１、１０３、１０５の３枚の画像の撮影の間に、被写体自体の動きに起因する像ぶれがあったか否かを検出する。この被写体自体の動きに起因する像ぶれがあったか否かの検出処理は、３枚の画像から２つの画像を比較して行われる。たとえば、画像Ｉ_１と画像Ｉ_３を用いて、動き部分を検出することができる。一例として、画像Ｉ_１と画像Ｉ_３の各画素に関して差分をとり、ある閾値以上である場合は、動きがあった部分として登録するという方法がある。被写体自体の動きに起因する像ぶれがなかったと判定した場合（ステップ１０８：Ｎｏ）は、ステップ１１２に進む。動きが検出された場合（ステップ１０８：Ｙｅｓ）は、ステップ１０９に進む。
ステップ１０９において、ステップ１０７で検出された動き部分に関して、適切なホワイトバランス（ＷＢ）調整を行うための補正処理が可能かどうか判定を行う。この判定処理はたとえば、ステップ１０７において動き部分として登録された画素数の画像全体の画素数に対する比率に基づいて行う方法が適用される。例えば、動き部分として登録された画素数の画像全体の画素数に対する比率［ｒａｔｉｏＡ］が、予め定めたある一定の閾値［Ｔｈｒｅｓｈｏｌｄ］以上である場合には補正が不可能と判定し、閾値未満である場合には補正可能と判定する。
ステップ１０９で、補正不可能であると判定された場合、ステップ１１３に進み、補正可能であると判定された場合は、ステップ１１０に進む。
ステップ１１３においては、フラッシュ発光ありの撮影画像データＩ_２に対して、ホワイトバランス（ＷＢ）調整を行い、出力画像Ｒを生成し、処理を終了する。ホワイトバランス調整に使用するパラメータ値としては、外光成分にあわせて設定されたパラメータ、フラッシュ光成分にあわせて設定されたパラメータ、または、外光とフラッシュ光の中間成分に基づいて設定されるパラメータのいずれかであり、これらのパラメータを設定したホワイトバランス（ＷＢ）調整を実行する。なお、このホワイトバランス調整法は、従来から行われている方法であり、その詳細説明は省略する。なお、適用するパラメータは、３×３行列によって示されるパラメータであり、各画素の色を構成する色成分の変換に適用する行列である。３×３行列は、対角成分以外を０として設定した行列が適用される。
次に、ステップ１１０およびステップＳ１１２における複数画像データに基づくホワイトバランス（ＷＢ）調整処理について説明する。ステップ１１０およびステップＳ１１２における処理は同一の処理である。この処理の詳細について、図１３を参照して説明する。
ステップ２０１おいて、フラッシュ光あり撮影画像データＩ_２の成分とフラッシュ光なし撮影画像Ｉ_１の画素の各色の成分の差をとり、差分画像Ｆ＝Ｉ_２−Ｉ_１を生成してメモリに格納する。フラッシュ光なしの撮影を行ったステップ１０１とフラッシュ光ありの撮影を行ったステップ１０３の間に、被写体が動かなかったとすれば、差分画像Ｆ＝Ｉ_２−Ｉ_１は、外光がまったく無い状態でフラッシュ光のみを照射しフラッシュ光のみが被写体に反射して、カメラの固体撮像素子に入射し撮像される画像と等価なものとなる。次にステップ２０２において、画像Ｆに対して、フラッシュ光の色温度にあわせたホワイトバランス（ＷＢ）調整を実行する。すなわち、差分画像データＦをフラッシュ光に合わせて設定したパラメータに基づいてホワイトバランス（ＷＢ）調整を実行する。さらにフラッシュ光が明るすぎるまたは暗すぎる場合に、画像の明るさが最適になるようにレベル調整し、補正画像Ｆ’を生成する。
次にステップ２０３において、フラッシュ光なし撮影画像データＩ_１に対して、外光に合わせたホワイトバランス（ＷＢ）調整を実行する。すなわち、フラッシュ光なし撮影画像データＩ_１を外光に合わせて設定したパラメータに基づいてホワイトバランス（ＷＢ）調整を実行し、補正画像Ｉ_１’を生成する。
これは、従来から広く知られているホワイトバランス（ＷＢ）調整によって実行される。例えば、特開２００１−７８２０２に述べられている技術を適用可能である。特開２００１−７８２０２では、フラッシュ発光ありで撮影した画像Ｉ_２とフラッシュなしで撮影した画像Ｉ_１の差分画像Ｆと既知のフラッシュの分光特性から、物体色成分データおよび外光の分光分布を照明成分データとして求める。この照明成分データを用いて、画像Ｉ_１ホワイトバランス（ＷＢ）調整を実行する。
次にステップ２０４において、差分画像Ｆ’と補正画像Ｉ_１’を加算することによりホワイトバランス（ＷＢ）調整画像Ｒを生成する。以上のステップにより、動きが無い部分に関してホワイトバランス（ＷＢ）調整画像Ｒは、フラッシュ光による成分、外光による成分が独立にホワイトバランス（ＷＢ）調整されたものとなる。
図１４は、図１３のフローに従って実行する２つの画像に基づくホワイトバランス（ＷＢ）調整画像Ｒの生成原理を説明する図である。すなわち、フラッシュ光なし撮影画像データＩ_１とフラッシュ光あり撮影画像データＩ_２とに基づくホワイトバランス（ＷＢ）調整画像Ｒの生成原理を説明する図である。
図１４（ａ）は、フラッシュ光あり撮影画像データＩ_２のある座標位置（ｘ，ｙ）における画素をＲＧＢ空間上でベクトルＶ３として示した図である。ベクトルＶ３は、（Ｒ，Ｇ，Ｂ）の値として、（ｉｒ，ｉｇ，ｉｂ）を持つ。このベクトルＶ３は、外光成分とフラッシュ光成分両者を含む照射光に基づいて取得された画素値である。
従って、このベクトルＶ３は、外光成分のみの撮影によって取得された同じ座標（ｘ，ｙ）における画素値、すなわち、フラッシュ光なし撮影画像データＩ_１の画素値に基づくベクトルＶ１と、外光のないフラッシュ光のみの仮想条件で撮影した場合に取得される画像の画素値成分からなるベクトルＶ２の加算値に相当する。
従って、ベクトルＶ３からベクトルＶ１の示す画素値を減算することで、ベクトルＶ２の画素値、すなわち、外光のないフラッシュ光のみの仮想条件で撮影した場合に取得される画像の画素値が取得される。この結果を示すのが、図１４（ｂ）のベクトルＶ２である。ベクトルＶ２によって示されるフラッシュ光のみの照射条件の画素値をフラッシュ光成分に基づいて設定されたパラメータに従って、ホワイトバランス調整を実行して、補正画素値を求め、補正画素値からなるベクトルＶ２’が求められる。このベクトルＶ２’の示す画素値によって構成される画像が、図１３のステップ２０２におけるホワイトバランス調整の結果として得られる補正画像Ｆ’に相当する。すなわち、図１４（ａ），（ｂ）の処理は、図１３のフローにおけるステップ２０１、２０２に相当する。
図１４（ｃ）は、フラッシュ光なし撮影画像データＩ_１の画素値に基づくベクトルＶ１に対応する画素値を外光成分に基づいて設定されたパラメータに従って、ホワイトバランスの調整を実行して、補正画素値を求め、補正画素値からなるベクトルＶ１’を求める処理であり、このベクトルＶ１’の示す画素値によって構成される画像が図１３のステップ２０３におけるホワイトバランス調整の結果として得られる補正画像Ｉ_１’に相当する。すなわち、図１４（ｃ）の処理は、図１３のフローにおけるステップ２０３に相当する。
図１４（ｄ）は、図１４（ｂ）に示される補正画像Ｆ’に相当するベクトルＶ２’の示す画素値と、図１４（ｃ）に示される補正画像Ｉ_１’に相当するベクトルＶ１’の示す画素値とを加算し、最終的なホワイトバランス調整画素値を持つホワイトバランス調整画像データＲを生成する処理を示している。すなわち、ある座標（ｘ，ｙ）におけるホワイトバランス調整画素値は図１４（ｂ）に示される補正画像Ｆ’に相当するベクトルＶ２’の示す画素値と、図１４（ｃ）に示される補正画像Ｉ_１’に相当するベクトルＶ１’の示す画素値とを加算した結果得られる画素値である。すなわち、図１４（ｄ）の処理は、図１３のフローにおけるステップ２０４に相当する。
このように、本実施例におけるホワイトバランス調整処理は、外光成分とフラッシュ光成分の両者が含まれる画像について外光成分のみで撮影された画像とフラッシュ光成分のみで撮影された画像の２つの画像に分離し、外光成分のみで撮影された画像については外光成分に基づいて設定されたパラメータに従ってホワイトバランスの調整を実行し、フラッシュ光成分のみで撮影された画像についてはフラッシュ光成分に基づいて設定されたパラメータに従ってホワイトバランスの調整を実行し、再度これらの補正画素値を加算して最終的なホワイトバランス調整画像Ｒを求める構成である。このように、２つの光成分に対して独立にそれぞれの光成分に適合したパラメータでホワイトバランス調整を行うことになり、適正なホワイトバランス調整が実行される。すなわち、あたかも外光とフラッシュ光が同一色である状況の下で撮影されたような調整画像の生成が可能となる。
図１２のフローに戻りステップの説明を続ける。ステップ１１２で上述した複数画像に基づくホワイトバランス調整処理が行われると、そのホワイトバランス調整画像Ｒが、最終的な出力画像として設定され、処理が終了する。
一方、ステップ１１０で上述した複数画像に基づくホワイトバランス調整処理が行われる場合は、被写体自体の動きに起因する像ぶれがあると判定され、その像ぶれについての補正が可能と判定された場合であり、ステップ１１０で生成したホワイトバランス調整画像Ｒ中、被写体自体の動きに起因する像ぶれの画像領域、すなわち動き部分領域については、ステップ１１１において画素値補正処理を実行する。すなわち、ステップ１０７で検出した動き部分の画素値に対して例外処理を行い、ホワイトバランス調整画像Ｒを修正する。修正処理は、例えば、動きが検出された部分に対応するフラッシュ発光あり撮影画像データＩ_２の画素値を入力として、ホワイトバランス調整画像Ｒにおける動きが無かった部分の画素値を参照して、動きが検出された部分の画素値を決定し、最終的な画像を合成する方法がある。
この合成手法について説明する。画像にあらわれる物体の色は、光がその物体に反射し撮像素子に入射し撮像されたものである。たとえば、白色光源下で、ある物体が画像上で赤色である場合、その物体は、赤色に相当する周波数の可視光をよく反射し、それ以外の色に相当する周波数の光は吸収する特性を持っている。つまり、物体には、各周波数の光に関して固有の反射率を持っていると言える。いま、物体の各ＲＧＢ色成分に関する光の反射率を（ｏ_ｒ，ｏ_ｇ，ｏ_ｂ）として、ある色温度の光を（ｌ_ｒ，ｌ_ｇ，ｌ_ｂ）であらわす。光（ｌ_ｒ，ｌ_ｇ，ｌ_ｂ）が物体（ｏ_ｒ，ｏ_ｇ，ｏ_ｂ）に反射した光がカメラによって撮像される時、撮像された画像を構成する画素の値（ｉ_ｒ，ｉ_ｇ，ｉ_ｂ）は、以下に示す式（式５）で表現することができる。

上記式において、ｋは光の強さを表すスカラー値である。
いま、例えば外光とフラッシュ光のように２つの照射光として、光源１（ｌ_１ｒ，ｌ_１ｇ，ｌ_１ｂ），と、光源２（ｌ_２ｒ，ｌ_２ｇ，ｌ_２ｂ）があり、これらの２つの光が、ある物体（ｏ_ｒ，ｏ_ｇ，ｏ_ｂ）に反射した光をカメラで撮像する場合、カメラの撮影画像の画素値（ｉ_ｒ，ｉ_ｇ，ｉ_ｂ）は、以下に示す式（式６）で表現することができる。

ここで、ｋ_１は光源１の強さ、ｋ_２は光源２の強さを表すスカラー値である。
いまｏ_ｒ’＝ｋ_１＊ｏ_ｒ、ｏ_ｇ’＝ｋ_１＊ｏ_ｇ、ｏ_ｂ’＝ｋ_１＊ｏ_ｂとおくと上記式（式６）は、以下に示す式（式７）のように変換できる。

ここでｋ’＝ｋ_２／ｋ_１であり、ｋ’は、２つの光源の光強度スカラー比である。すなわち、ｋ’は、注目する画素に撮像された被写体の部分における、光源１と光源２から照射される光の強度スカラー比である。
ここで外光とフラッシュ光の２種類の光が物体に反射されて撮像された画像Ｉ_２上でのある画素値（ｉ_ｒ，ｉ_ｇ，ｉ_ｂ）に関して考える。上記式（式７）における光源１を外光、光源２をフラッシュ光とする。外光の色（ｌ_１ｒ，ｌ_１ｇ，ｌ_１ｂ）は、従来から行われているオートホワイトバランス調整で用いられる方法により計測することができる。またフラッシュ光の色（ｌ_２ｒ，ｌ_２ｇ，ｌ_２ｂ）は、フラッシュ装置に固有のものであるので、既知でありあらかじめ設定することが可能である。さらにｋ’が既知である場合、画素（ｉ_ｒ，ｉ_ｇ，ｉ_ｂ）は、外光成分（ｌ_１ｒ＊ｏ_ｒ’，ｌ_１ｇ＊ｏ_ｇ’，ｌ_１ｂ＊ｏ_ｂ’）、フラッシュ光成分（ｋ’＊ｌ_２ｒ＊ｏ_ｒ’，ｋ’＊ｌ_２ｇ＊ｏ_ｇ’，ｋ’＊ｌ_２ｂ＊ｏ_ｂ’）に分解することができる。外光成分、フラッシュ光成分それぞれを分離して独立にＷＢ処理し、足し合わせ画像を再構成すると、外光とフラッシュ光の色温度の違いによる画像の不自然さを解消することができる。
図１２を参照して説明したフロー中の、ステップＳ１０７において検出された動き部分に対して、ステップＳ１１１の画素値補正を上述した処理に従って実行する。以下、具体的な処理例について説明する。
前述したように、ステップ１０７では、ステップ１０１、１０３、１０５の３枚の画像の撮影の間に、被写体自体の動きに起因する像ぶれがあったか否かを検出する。この被写体自体の動きに起因する像ぶれがあったか否かの検出処理は、３枚の画像から２つの画像を比較して行われる。
たとえば、図１５に示すように、（ａ）フラッシュ光なし画像Ｉ_１と、（ｂ）フラッシュ光あり画像Ｉ_２と、（ｃ）フラッシュ光なし画像Ｉ_３を連続撮影している間にボール６００が転がっている場合、（ａ）の画像Ｉ_１と（ｃ）の画像Ｉ_３の差分画像（ｄ）Ｉ_３−Ｉ_１を取得し、被写体自体の動きに起因する像ぶれの発生領域６１０を検出する。
図１６、および図１７を参照して、動き部分の画素値補正処理の具体的処理手順について説明する。図１６は動き部分の画素値補正処理の具体的処理手順を示すフローチャートであり、図１７は、補正対象となる動き部分を含む画素領域を示している。すなわち、図１５における領域６１０の部分である。
図１７に示すように、動いていると判定された画像領域中、動いていないと判定された画像領域の隣接画素（周囲８画素に含まれる位置の画素）を、動きあり部分の内周画素６５０と定義する。また、動いていると判定された画像領域中、内周画素６５０以外の画素を動きあり非内周画素６５２とする。
また、動いていない判定された画像領域において、動いていると判定された画像領域の隣接位置の画素（周囲８画素に含まれる位置の画素）を、動きあり部分の外周画素６５１と定義する。また、ステップ１０３で動いていないと判定された部分において、動きあり部分の外周画素６５１以外の画素を動きなし非外周画素６５３とする。
動きあり部分の画素に関して、光源１（外光）の強さ（スカラー値）ｋ_１と、光源２（フラッシュ光）の強さ（スカラー値）ｋ_２の比率、すなわち、光強度スカラー比ｋ’＝ｋ_２／ｋ_１の値は未知である。ここで目標とする正しくホワイトバランス（ＷＢ）調整が行われ、かつ動き部分の補正がなされた画像は、動きあり部分と、動きなし部分の画素値が滑らかに変化する画素構成を持つと仮定する。この仮定の下、動きあり部分外周画素６５１に関して光強度スカラー比ｋ’の値を求める。これらの動きあり部分外周画素６５１画素に関しては、前述の式（式７）における外光成分（ｌ_１ｒ＊ｏ_ｒ’，ｌ_１ｇ＊ｏ_ｇ’，ｌ_１ｂ＊ｏ_ｂ’）は、フラッシュなし撮影画像データＩ_１における対応する画素の値と等しいので、光強度スカラー比ｋ’＝ｋ_２／ｋ_１の値は、フラッシュあり撮影画像データＩ_２の画素値（ｉ_ｒ，ｉ_ｇ，ｉ_ｂ）ならびに式（式７）に基づいて、求めることができる。この動きあり部分外周画素６５１についての、光源１（外光）の強さ（スカラー値）ｋ_１と、光源２（フラッシュ光）の強さ（スカラー値）ｋ_２の比率：ｋ’＝ｋ_２／ｋ_１の算出処理が図１６のステップ３０１の処理である。
このステップ３０１の処理により、動きあり部分外周画素６５１に関しては、光強度スカラー比ｋ’が求まる。しかし、動きあり部分に含まれる画素に対応する光強度スカラー比ｋ’の値は不明である。これらの動きあり部分に含まれる画素に対応する光強度スカラー比ｋ’の値を、動きあり部分外周画素６５１に対応して算出したｋ’の値から補間する。補間方法の一例として挙げられるのが、放射基底関数（ＲＢＦ：Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を適用した処理である。ＲＢＦを用いたデータの補間に関する参考文献として、たとえば、Ｊ．Ｃ．Ｃａｒｒ，ｅｔ ａｌ，”Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ３Ｄ Ｏｂｊｅｃｔｓ ｗｉｔｈ Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ，”ＡＣＭ ＳＩＧＧＲＡＰＨ ２００１，Ｌｏｓ Ａｎｇｅｌｅｓ，ＣＡ，ｐｐ６７−７６，１２−１７ Ａｕｇｕｓｔ ２００１ が挙げられる。
Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ（放射基底関数）とは，中心点から距離が離れるにつれて，値が単調に減少（または増加）し，その等高線が超球（２次元の場合，円または楕円）になる関数のことをいう。高さのわかっているサンプル地点を通過し、かつ、できるだけ滑らかになるような関数を構成することによって未知の地点の高さの値をも見積もるという問題を解決するためには、既知のサンプル地点を中心とするＲＢＦを重ね合わせればよい、ということが分かっている。具体的には、サンプル点が２次元空間上にある場合には、サンプル

値、ｙ座標値を表す）、それぞれの地点での高さを｛ｈ_ｉ｝（１＜ｉ＜ｎ）としたとき、求め

｛ｄ_ｉ｝（１＜ｉ＜ｎ），｛ｐ_ｉ｝（０＜ｉ＜２）を特定することができない。そこで、以下の式（式９）を満たす｛ｄ_ｉ｝（１＜ｉ＜ｎ），｛ｐ_ｉ｝（０＜ｉ＜２）を求める。

数の数ｎ＋３、式の数ｎ＋３）｛ｄ_ｉ｝（１＜ｉ＜ｎ），｛ｐ_ｉ｝（０＜ｉ＜２）を求めることができる。
動きあり部分外周画素６５１における光強度スカラー比ｋ’をサンプルとして

きる。この処理が図１６におけるステップ３０２のサンプル点の光強度スカラー比ｋ’（動きあり部分外周画素６５１におけるｋ’）に基づくＲＢＦ構築処理である。
このＲＢＦ構築処理により、動いていると判定された部分のフラッシュあり撮影画像データＩ_２上での各画素に対応する光源１（外光）の強さ（スカラー値）ｋ_１と、光源２（フラッシュ光）の強さ（スカラー値）ｋ_２の比率、すなわち、動きあり部分に含まれる画素各々に対応する光強度スカラー比ｋ’：ｋ’＝ｋ_２／ｋ_１を推定する。推定された各画素対応の光強度スカラー比ｋ’を用いて、画像Ｉ_２の動きあり領域部分を外光成分とフラッシュ成分に分解し、それぞれの光の色温度にあわせて個々にホワイトバランス（ＷＢ）調整処理を実行する。
即ち、動きあり部分の各画素位置において、光強度スカラー比ｋ’が求まるので、このｋ’と、フラッシュあり撮影画像データＩ_２の各画素位置における画素値（ｉ_ｒ，ｉ_ｇ，ｉ_ｂ）、および既知である光源１（外光）の光成分（ｌ_１ｒ，ｌ_１ｇ，ｌ_１ｂ）と光源２（フラッシュ光）の光成分（ｌ_２ｒ，ｌ_２ｇ，ｌ_２ｂ）を、上述の式（式７）に代入し、光源１（外光）にのみ基づく被写体の反射率、（ｏ_ｒ’，ｏ_ｇ’，ｏ_ｂ’）が求まる。
さらに、外光成分のみが照射された場合の被写体の画素値：（ｌ_１ｒ＊ｏ_ｒ’，ｌ_１ｇ＊ｏ_ｇ’，ｌ_１ｂ＊ｏ_ｂ’）と、フラッシュ光成分のみが照射された場合の被写体の画素値：（ｋ’＊ｌ_２ｒ＊ｏ_ｒ’，ｋ’＊ｌ_２ｇ＊ｏ_ｇ’，ｋ’＊ｌ_２ｂ＊ｏ_ｂ’）と求め、それぞれに対して、先に図１３、図１４を参照して説明したそれぞれの光成分に応じた独立したパラメータの設定による２つのホワイトバランス調整を実行し、それらの調整データを再合成する処理により、最終的なホワイトバランス調整画素値を算出する。
動きあり部分の画素値の補正の手順をまとめると以下のａ〜ｆ処理となる。
ａ．まず、動きあり部分に隣接する動きなし部分の画素に対応するデータとして、その画素に撮像された被写体の部分における、前記第１光源のみから照射される光と、前記第１光源なしで外光のみから照射される光の２種類の光源の光強度スカラー比を算出する。
ｂ．放射基底関数（ＲＢＦ：Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を適用して、動きあり部分の各画素対応の光強度スカラー比を算出する。
ｃ．動きあり部分の各画素対応の光強度スカラー比に基づいて、第１光源のみの照射環境下での撮影画像に相当する画像における動きあり部分の各画素の画素値を第１画素値として算出する。
ｄ．動きあり部分の各画素対応の光強度スカラー比に基づいて、第１光源を含まない外光照射環境での撮影画像に相当する画像における動きあり部分の各画素の画素値を第２画素値として算出する。
ｅ．第１画素値に基づいて画素値調整処理（ホワイトバランス調整）を実行し、第２画素値に基づいて画素値調整処理（ホワイトバランス調整）を実行する。
ｆ．生成した２つの調整画素値を加算する。
このように動き部分に含まれる画素についてのホワイトバランス（ＷＢ）調整画素値を図１２のステップ１１０において生成した画像データＲに上書きし、第１補正画像データＲ’を求める。すなわち、撮影画像に被写体の動きに起因する動き領域についての画素値のみが、ステップ１１１において再設定されて、ステップ１１０において生成したホワイトバランス調整画像Ｒに上書きを行い、第１補正画像データＲ’を求める。
なお、先に、図１３の処理フローにおいて説明したように、フラッシュ光のレベル補正（Ｓ２０２）を行った場合は、動き部分の画素値算出の際にも同等のレベル補正を行った後に、外光成分とフラッシュ光成分に基づくホワイトバランス調整画素値の足し合わせを行う。
このようにして動き部分の画素値が再設定され、画像Ｒの動き部分領域に相当する画素を書き換える。この処理が、図１６におけるステップ３０３の処理である。
しかし、上述の動きあり領域において再設定した画素値を、ステップＳ１１０において生成済みのホワイトバランス調整画像Ｒに上書きして求めた第１補正画像Ｒ’において、元々の画像Ｒの動きなし部分の画素と、動きあり部分の再設定画素の境界が滑らかにつながらない場合がある。原因としては、外光の色を正しく測定できなかった場合や、フラッシュあり撮影画像Ｉ_２で白抜けが起こっている場合などが考えられる。そこで、そのような場合に対応するために、境界部分を滑らかに設定する、さらなる色変換処理を実行する。
具体的には、図１６のステップ３０４〜３０６の処理を行う。ステップ３０４において、まず、第１補正画像Ｒ’の動きあり部分内周画素６５０のうちのある画素ａ６５４（図１７参照）についての画素値と、画素ａ６５４の隣接画素（周囲８画素に含まれる位置の画素）のうち動きあり部分外周画素（図１７における画素６５５）の第１補正画像Ｒ’における値の平均値とについての各色成分の比（α_ｒ，α_ｇ，α_ｂ）を求める。この比を画素ａ６５４に対応する色成分比データとして保存する。同様に、動きあり部分内周画素６５０のすべての位置の各画素に対応する各色成分の比（α_ｒ，α_ｇ，α_ｂ）を画素対応色成分比データとして算出し、各画素に対応する色成分比データとして保存する。次に、ステップ３０５において、動きあり部分内周画素６５０のすべてをサンプル点として用いて色成分比データに基づくＲＢＦを構築する。最後に、ステップ３０６において、動きあり部分の各画素に関して、構築した色成分比データに基づくＲＢＦに基づいて、動きあり部分の各画素に対応する色成分比データ（α_ｒ，α_ｇ，α_ｂ）を求め、第１補正画像Ｒ’において設定されている各画素の画素値に対応画素の色成分比データ（α_ｒ，α_ｇ，α_ｂ）を乗算することにより、新たな画素値を算出し、この画素値を動きあり部分の画素とした第２の色変換を実行する。この第２の色変換処理を実行して得られた第２補正画像Ｒ”を出力画像とする。この処理が図１６のステップ３０６の処理である。
なお、図１６におけるステップ３０３までの処理を行って得られる第１補正画像Ｒ’において、動きあり部分画像と動きなし部分画像の境界が滑らかにつながっている場合には、ステップ３０４からステップ３０６の処理は省略して良い。
以上の説明では、サンプル点で与えられた値をほかの点において補間する方法に関して、ＲＢＦを用いる方法を述べたが、これに限らず別の方法で補間してもよい。以上の処理が、図１２のステップ１１１の具体的な処理例である。このように、連続撮影画像から、被写体自身の動きに基づく像ぶれが検出された場合には、図１６に示すフローに従った処理が実行され、前述した処理によって生成される第２補正画像Ｒ”または第１補正画像Ｒ’が最終出力画像とされる。
なお、予め被写体自身の動きがないことが分かっている場合は、図１２のステップ１０７から１１１の処理は不要となる。また、ステップ１０８の判定も常にＮｏであるので、ステップ１０８の判定処理を行う必要はなく、従ってステップ１０８の判定のために使うデータを作成し格納するステップ１０５、１０６も不用である。
このように、予め被写体自身の動きがないことが分かっている場合は、ステップ１０５で撮影するフラッシュなし撮影画像Ｉ_３は不用な画像であり、この場合には、フラッシュなし撮影画像Ｉ_１とフラッシュあり撮影画像Ｉ_２の２枚の画像のみを撮影すればよい。
なお、ここでは、被写体が暗い場合に発光する照明装置としてフラッシュという用語を用いて説明したが、このほかに、ストロボと呼ばれることもあり、フラッシュに限定されるわけではなく、一般的に被写体が暗い場合に発光する照明装置において本発明は適用される。
以上、説明したように、本実施例においてはフラッシュと外光等、複数の異なる光照射の下に撮影される画像について、単一の照射光環境下での撮影画像を取得または生成し、それぞれの単一の照射光環境下の画像について、それぞれの照射光の色成分（色温度）に基づいて設定されるパラメータに従ったホワイトバランス調整を実行し、それらを合成することにより、フラッシュと外光との色温度の差を軽減させた適格なホワイトバランス調整処理を実現することができる。
図１８は、本実施例に従った処理を実行するデジタル信号処理部（ＤＳＰ）（図１１のＤＳＰ５０６に相当）の機能構成を示すブロック図である。
図１２に示すフローチャートと対比しながら、図１８に示すデジタル信号処理部（ＤＳＰ）における処理について説明する。
図１２のステップ１０１〜１０６において、撮影されたフラッシュなし画像Ｉ_１、フラッシュあり画像Ｉ_２、およびフラッシュなし画像Ｉ_３は、それぞれフレームメモリ７０１，７０２，７０３に格納される。なお、画像格納用のフレームメモリとしてはデジタル信号処理部（ＤＳＰ）内に構成したメモリを適用してもバス接続されたメモリ（図１１のメモリ５１２）を適用してもよい。
ステップＳ１０７の動き検出処理は、動き検出部７０９において実行される。これは、先に図１５を参照して説明したようにフラッシュなし画像Ｉ_１と、フラッシュなし画像Ｉ_３に基づく差分データによる検出処理として実行する。
ステップ１１２の複数画像データに基づくホワイトバランス調整処理は、先に図１３、図１４を参照して説明した処理である。
まず、フラッシュなし画像Ｉ_１と、フラッシュあり画像Ｉ_２に基づいて、差分画像算出部７０４において差分画像データＦ＝Ｉ_２−Ｉ_１を求める（図１３，Ｓ２０１）。次に、差分画像データＦ＝Ｉ_２−Ｉ_１、すなわちフラッシュ光のみの照射条件で撮影した画像に相当する画像Ｆに対して、ホワイトバランス調整部７０７でフラッシュ光の成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理を実行する（図１３，Ｓ２０２）。さらに、外光成分推定部７０６で推定した外光成分の推定値に基づいて設定されるパラメータに従ったホワイトバランス調整処理をフラッシュなし画像Ｉ_１に対してホワイトバランス調整部７０５で実行する（図１３，Ｓ２０３）。
さらに、これらの２つのホワイトバランス調整処理によって取得した２つの画像の画素値を画素値加算部７０８において加算する（図１３，Ｓ２０４）。
撮影画像に動き部分が含まれない場合は、動き部分補正画素地算出部７１０において処理を実行することなく、画素値加算部７０８において加算した画素値を持つ画像データがホワイトバランス調整画像として出力切り替え部７１２を介して出力される。出力先はデジタルアナログ変換を実行するＤ／Ａ変換器５０８（図１１参照）や、符号化処理を実行するコーデック５１１などである。
一方、動き検出部７０９においてフラッシュなし画像Ｉ_１と、フラッシュなし画像Ｉ_３に基づく差分データによる動き検出の結果、被写体自身の動き領域が検出された場合は、さらに、動き部分補正画素地算出部７１０において、先に図１６、図１７を参照して説明した動きあり部分の画素値の補正（変換）がなされ、動きあり部分が、補正画素値によって置き換えられた画素値データを持つ画像が出力切り替え部７１２を介して出力される。
ホワイトバランス調整部７１１は、図１２の処理フローにおけるステップ１１３の処理を実行する。すなわち、動き検出部７０９において動き領域が検出されたものの、動き領域の画像全体に占める割合が高いなど、補正不可能と判断された場合に、フラッシュあり画像Ｉ_２を入力し、予め定めたパラメータに従ったホワイトバランス調整を実行し、これを出力切り替え部７１２を介して出力する。
なお、図１８に示す構成は、機能を説明するために各処理部を区別して示してあるが、実際の処理としては、上述した各処理フローに従った処理を実行するプログラムに従って、ＤＳＰ内のプロセッサによって実行可能である。
（ホワイトバランス調整処理の第２実施例）
上述したホワイトバランス調整処理では、図１３、図１４を参照して説明したように、外光成分、フラッシュ光成分各々についての単一照射光画像データを求め、これらの画像データについて、外光成分、フラッシュ光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理を実行する構成例を説明した。
次に、フラッシュ光のみの照射光条件に相当する差分画像データＦ＝Ｉ_２−Ｉ_１に対して、外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理を実行する構成例について説明する。
図１９に、先の実施例における図１３のフローに相当する本実施例の複数画像データに基づくホワイトバランス調整処理フローを示す。
ステップ４０１おいて、フラッシュ光あり撮影画像データＩ_２の成分とフラッシュ光なし撮影画像Ｉ_１の画素の各色の成分の差をとり、差分画像Ｆ＝Ｉ_２−Ｉ_１を生成してメモリに格納する。差分画像Ｆ＝Ｉ_２−Ｉ_１は、外光がまったく無い状態でフラッシュ光のみを照射しフラッシュ光のみが被写体に反射して、カメラの固体撮像素子に入射し撮像される画像と等価なものとなる。次にステップ４０２において、画像Ｆに対して、外光の色温度にあわせたホワイトバランス（ＷＢ）調整を実行し、補正画像Ｆ’を生成する。すなわち、差分画像データＦを外光の色温度に合わせて設定したパラメータに基づいてホワイトバランス（ＷＢ）調整を実行して、補正画像Ｆ’を生成する。
この際、差分画像Ｆとフラッシュ光なし撮影画像Ｉ_１の各画素を直接比較することにより、フラッシュ光が外光の色に合うようにホワイトバランス調整処理を行う。このＷＢ処理の具体的な例としては、差分画像Ｆの画素（ｒ_ｆ，ｇ_ｆ，ｂ_ｆ）と同じ位置のフラッシュ光なし撮影画像Ｉ_１の画素（ｒ_ｉ，ｇ_ｉ，ｂ_ｉ）を用いて、差分画像Ｆの画素のＲ、Ｂの成分を、フラッシュ光なし撮影画像Ｉ_１の画素のＧ信号のレベルに合わせて、以下の（式１０）（式１１）を用いた画素値変換を実行する。

次に、ｒ_ｆ’とｒ_ｉ、ｂ_ｆ’とｂ_ｉを比較して次の値を得る。

上記（式１２）ならびに（式１３）を用いて求めたａ_ｒとａ_ｂを全画素に関して平均することによりＷＢパラメータを求める。求めたパラメータを画像Ｆの各画素のＲ成分、Ｂ成分に掛け合わせることによりホワイトバランス調整が行われる。この処理により、画像Ｆは、あたかも外光と同じ色のフラッシュが発光されて撮影されたかのような画像に変換され画像Ｆ’として保存される。
さらに、ステップ４０３において、差分画像Ｆ’とフラッシュ光なし撮影画像Ｉ_１を合成し第１ホワイトバランス調整画像Ｒ_１を生成する。第１ホワイトバランス調整画像Ｒ_１は、外光とフラッシュ光の色温度が一致した画像となる。
最後にステップ４０４において、第１ホワイトバランス調整画像Ｒ_１に対してさらに、ホワイトバランス調整を行い、第２ホワイトバランス調整画像Ｒ_２を生成する。
ステップ４０４におけるＷＢのパラメータに関しては、ユーザーが設定した値を用いても良いし、公知のオートホワイトバランス技術を用いて、最終的な第２ホワイトバランス調整画像Ｒ_２が自然な色合いになるように変換しても良い。
この実施例に従った処理により、外光の成分をより尊重したホワイトバランス調整が可能になる。具体的には、外光が夕焼け当により赤みがかった、すなわちＲ成分の多い場合には、全体を赤みがかった色合いで調整するなど、外光に応じた調整が可能となる。
図２０は、本実施例に従った処理を実行するデジタル信号処理部（ＤＳＰ）（図１１のＤＳＰ５０６に相当）の機能構成を示すブロック図である。
図１９に示すフローチャートと対比しながら、図２０に示すデジタル信号処理部（ＤＳＰ）における処理について説明する。
図１２のステップ１０１〜１０６において、撮影されたフラッシュなし画像Ｉ_１、フラッシュあり画像Ｉ_２、およびフラッシュなし画像Ｉ_３は、それぞれフレームメモリ８０１，８０２，８０３に格納される。
フラッシュなし画像Ｉ_１と、フラッシュあり画像Ｉ_２に基づいて、差分画像算出部８０４において差分画像データＦ＝Ｉ_２−Ｉ_１を求める（図１９，Ｓ４０１）。次に、差分画像データＦ＝Ｉ_２−Ｉ_１、すなわちフラッシュ光のみの照射条件で撮影した画像に相当する画像Ｆに対して、ホワイトバランス調整部８０５で外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理を実行する（図１９，Ｓ４０２）。さらに、このホワイトバランス調整処理によって取得した補正画像Ｆ’とフラッシュなし画像Ｉ_１との画素値を画素値加算部８０６において加算し、第１ホワイトバランス調整画像Ｒ_１を生成する（図１９，Ｓ４０３）。さらに、ホワイトバランス調整部８０７において、第１ホワイトバランス調整画像Ｒ_１に対してホワイトバランス調整を行い、第２ホワイトバランス調整画像Ｒ_２を生成する。
撮影画像に動き部分が含まれない場合は、動き部分補正画素地算出部８０９において処理を実行することなく、第２ホワイトバランス調整画像Ｒ_２をホワイトバランス調整画像として出力切り替え部８１１を介して出力する。出力先はデジタルアナログ変換を実行するＤ／Ａ変換器５０８（図１１参照）や、符号化処理を実行するコーデック５１１などである。
一方、動き検出部８０８においてフラッシュなし画像Ｉ_１と、フラッシュなし画像Ｉ_３に基づく差分データによる動き検出の結果、被写体自身の動き領域が検出された場合は、さらに、動き部分補正画素地算出部８０９において、先に図１６、図１７を参照して説明した動きあり部分の画素値の補正（変換）がなされ、動きあり部分が、補正画素値によって置き換えられた画素値データを持つ画像を出力切り替え部８１１を介して出力する。
ホワイトバランス調整部８１０は、図１２の処理フローにおけるステップ１１３の処理を実行する。すなわち、動き検出部８０８において動き領域が検出されたものの、動き領域の画像全体に占める割合が高いなど、補正不可能と判断された場合に、フラッシュあり画像Ｉ_２を入力し、予め定めたパラメータに従ったホワイトバランス調整を実行し、これを出力切り替え部８１１を介して出力する。
なお、図２０に示す構成は、機能を説明するために各処理部を区別して示してあるが、実際の処理としては、上述した各処理フローに従った処理を実行するプログラムに従って、ＤＳＰ内のプロセッサによって実行可能である。
本実施例に従えば、外光の成分をより尊重したホワイトバランス調整が可能になる。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成に従えば、外光とフラッシュ光など、異なる光成分の混在した環境下で撮影した画像についての適格なホワイトバランス調整が可能となり、色合いの自然な画像データを取得することが可能となる。
また、本発明の構成に従えば、外光とフラッシュ光など、複数の異なる光照射の下に撮影される画像について、単一の照射光環境下での撮影画像を取得または生成し、それぞれの単一の照射光環境下の画像について、それぞれの照射光の色成分（色温度）に基づいて設定されるパラメータに従ったホワイトバランス調整を実行し、それらを合成する構成としたので、フラッシュと外光との色温度の差を軽減させた適格なホワイトバランス調整処理を実現することができる。
さらに、本発明の構成によれば、被写体自身の動きの発生部分について、動きなし部分の隣接画素値に基づいて画素値を調整して設定する構成としたので、画素間のなめらかな変化による自然な画像データを生成することが可能となる。
さらに、本発明の構成に従えば、カメラ等の撮像手段に付属するストロボ等の照射光により、撮像手段に近接する被写体に過度の照射光が発生して、被写体画像の画素値が飽和状態となってしまった画像データについての適切な画素値補正が可能となる。
また、本発明の構成に従えば、露光条件の異なる複数の画像データに基づいて、飽和画素値の仮補正画素値を求め、さらに、仮補正画素値を正規化処理により出力可能画素値に再補正して出力または記録を行なうことで、適性な補正画素値算出、補正画素値に基づく明瞭な画像データの出力および記録が可能となる。
さらに、本発明の構成に従えば、画像データ中の少なくとも一部画素が最大画素値として設定された飽和画素を有する補正対象の第１の画像データと、第１の画像データと異なる露光条件において撮影された１以上のサブ画像データとからなる複数画像データを入力し、複数の入力画像データ相互の対応画素値差分に基づいて、各画像データ取得時の露光条件の差異を示す露光条件差異データを取得し、該露光条件差異データに基づいて、前記第１の画像データにおける飽和画素の仮補正画素値を算出し、仮補正画素値を出力可能範囲の画素値に補正する正規化処理を実行する構成としたので、適性な補正画素値算出、補正画素値に基づく明瞭な画像データの出力および記録が可能となる。

Claims (44)

1. 撮像データ処理方法であって、
   第１光源を発光させた撮影処理により取得した第２撮像データを構成する各画素の画素値から、前記第１光源を発光させない撮影処理により取得した第１撮像データの対応画素の画素値を減算し、前記第１光源のみの照射環境下での撮影画像に相当する差分画像データを取得するステップと、
   前記差分画像データに対して画素値調整処理を実行する差分画像データ画素値調整処理ステップと、
   前記差分画像データ画素値調整処理ステップにおいて生成した画素値調整済み画像データを適用して最終画素値調整画像を生成する最終画素値調整画像生成ステップと、
   を有することを特徴とする撮像データ処理方法。
2. 前記撮像データ処理方法は、さらに、
   前記第１撮像データに対して画素値調整処理を実行する第１撮像データ画素値調整処理ステップを有し、
   前記最終画素値調整画像生成ステップは、
   前記差分画像データ画素値調整処理ステップおよび前記第１撮像データ画素値調整処理ステップによって取得した２つの画素値調整済み画像データの対応画素の画素値加算処理を実行して最終画素値調整画像データを生成するステップであることを特徴とする請求項１に記載の撮像データ処理方法。
3. 前記画素値調整処理は、ホワイトバランス調整処理であり、
   前記差分画像データ画素値調整処理ステップは、前記第１光源の光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理であり、
   前記第１撮像データ画素値調整処理ステップは、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理であることを特徴とする請求項２に記載の撮像データ処理方法。
4. 前記パラメータは、３×３行列によって示されるパラメータであり、各画素の色を構成する色成分の変換に適用する行列であることを特徴とする請求項３に記載の撮像データ処理方法。
5. 前記３×３行列は、対角成分以外を０として設定した行列であることを特徴とする請求項４に記載の撮像データ処理方法。
6. 前記撮像データ処理方法は、さらに、
   前記差分画像データ画素値調整処理ステップにおいて生成した画素値調整済み画像データの各画素の画素値と、前記第１撮像データの対応画素の画素値を加算する画素値加算ステップを有し、
   前記最終画素値調整画像生成ステップは、
   前記画素値加算ステップにおいて生成した画像データに対する画素値調整を実行し、最終画素値調整画像データを生成するステップであることを特徴とする請求項１に記載の撮像データ処理方法。
7. 前記画素値調整処理は、ホワイトバランス調整処理であり、
   前記差分画像データ画素値調整処理ステップは、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理であることを特徴とする請求項６に記載の撮像データ処理方法。
8. 前記撮像データ処理方法は、さらに、
   複数の撮像データの差分データに基づいて被写体の動きのある動き部分を検出する動き検出ステップと、
   前記動き部分についての画素値調整処理を実行する動き部分画素値調整ステップと、
   を有することを特徴とする請求項１に記載の撮像データ処理方法。
9. 前記動き部分画素値調整ステップは、
   動きあり部分に隣接する動きなし部分の画素に対応するデータとして、前記第１光源を発光させた場合とさせない場合の２つの光源の光強度スカラー比を算出するステップと、
   放射基底関数（ＲＢＦ：Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を適用して、動きあり部分の各画素対応の光強度スカラー比を算出するステップと、
   動きあり部分の各画素対応の光強度スカラー比に基づいて、前記第１光源のみの照射環境下での撮影画像に相当する画像における動きあり部分の各画素の画素値を第１画素値として算出する第１画素値算出ステップと、
   動きあり部分の各画素対応の光強度スカラー比に基づいて、前記第１光源を含まない外光照射環境での撮影画像に相当する画像における動きあり部分の各画素の画素値を第２画素値として算出する第２画素値算出ステップと、
   前記第１画素値算出ステップにおいて算出した第１画素値に基づいて画素値調整処理を実行する第１画素値調整処理ステップと、
   前記第２画素値算出ステップにおいて算出した第２画素値に基づいて画素値調整処理を実行する第２画素値調整処理ステップと、
   前記第１画素値調整処理ステップおよび第２画素値調整処理ステップで生成した２つの調整画素値を加算する画素値加算ステップと、
   を有することを特徴とする請求項８に記載の撮像データ処理方法。
10. 前記画素値調整処理は、ホワイトバランス調整処理であり、
    前記第１画素値調整処理ステップは、前記第１光源の光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理であり、
    前記第２画素値調整処理ステップは、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理であることを特徴とする請求項９に記載の撮像データ処理方法。
11. 前記動き部分画素値調整ステップは、さらに、
    動きあり部分内周画素の画素値と、動きあり部分内周画素に隣接する動きあり部分外周画素の画素値平均値との色成分比（α_ｒ，α_ｇ，α_ｂ）を算出するステップと、
    動きあり部分内周画素のすべてをサンプル点として各画素対応の色成分比に基づく放射基底関数（ＲＢＦ：Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を構築するステップと、
    前記放射基底関数（ＲＢＦ）に基づいて、動きあり部分の各画素に対応する色成分比を算出し、該色成分比を補正対象画像に乗算して補正画素値を算出するステップと、
    を有することを特徴とする請求項８に記載の撮像データ処理方法。
12. 前記撮像データ処理方法は、さらに、
    複数の撮像データの差分データに基づいて被写体の動きのある動き部分を検出する動き検出ステップと、
    前記動き部分の画像全体に占める割合が予め定めた閾値より大である場合に、前記第１光源を発光させた撮影処理により取得した第２撮像データに基づく画素値調整処理を実行するステップを有し、
    該第２撮像データに基づく画素値調整データを最終画素値調整データとして設定することを特徴とする請求項１に記載の撮像データ処理方法。
13. 前記第２撮像データに基づく画素値調整処理は、
    前記第１光源の光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理、または、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理、または、前記第１光源の光成分および前記第１光源を含まない外光成分の中間的光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理のいずれかであることを特徴とする請求項１２に記載の撮像データ処理方法。
14. 撮像データ処理装置であって、
    第１光源を発光させない撮影処理により取得した第１撮像データと、前記第１光源を発光させた撮影処理により取得した第２撮像データを記憶するメモリと、
    前記メモリに格納した撮像データに基づく画素値調整処理を実行するデータ処理部とを有し、
    前記データ処理部は、
    前記第２撮像データを構成する各画素の画素値から前記第１撮像データの対応画素の画素値を減算し、前記第１光源のみの照射環境下での撮影画像に相当する差分画像データを取得する差分画像データ取得部と、
    前記差分画像データに対して画素値調整処理を実行する差分画像データ画素値調整部と、
    前記差分画像データ画素値調整部において生成した画素値調整済み画像データを適用して最終画素値調整を実行する最終画素値調整部と、
    を有することを特徴とする撮像データ処理装置。
15. 前記データ処理部は、さらに、
    前記第１撮像データに対して画素値調整処理を実行する第１撮像データ画素値調整部を有し、
    前記最終画素値調整部は、
    前記差分画像データ画素値調整部および前記第１撮像データ画素値調整部において生成した２つの画素値調整済み画像データの対応画素の画素値加算処理を実行して最終画素値調整画像データを生成する構成であることを特徴とする請求項１４に記載の撮像データ処理装置。
16. 前記画素値調整処理は、ホワイトバランス調整処理であり、
    前記差分画像データ画素値調整部は、前記第１光源の光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理を実行する構成であり、
    前記第１撮像データ画素値調整部は、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理を実行する構成であることを特徴とする請求項１５に記載の撮像データ処理装置。
17. 前記データ処理部は、さらに、
    前記差分画像データ画素値調整部において生成した画素値調整済み画像データの各画素の画素値と、前記第１撮像データの対応画素の画素値を加算する画素値加算部を有し、
    前記最終画素値調整画像生成部は、
    前記画素値加算部において生成した画像データに対する画素値調整を実行し、最終画素値調整画像データを生成する構成であることを特徴とする請求項１４に記截の撮像データ処理装置。
18. 前記画素値調整処理は、ホワイトバランス調整処理であり、
    前記差分画像データ画素値調整部は、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理を実行する構成であることを特徴とする請求項１７に記載の撮像データ処理装置。
19. 前記データ処理部は、さらに、
    複数の撮像データの差分データに基づいて被写体の動きのある動き部分を検出する動き検出部と、
    前記動き部分についての画素値調整処理を実行する動き部分画素値調整部と、
    を有することを特徴とする請求項１４に記載の撮像データ処理装置。
20. 前記動き部分画素値調整部は、
    動きあり部分に隣接する動きなし部分の画素に対応するデータとして、前記第１光源を発光させた場合とさせない場合の２つの光源の光強度スカラー比を算出し、
    放射基底関数（ＲＢＦ：Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を適用して、動きあり部分の各画素対応の光強度スカラー比を算出し、
    動きあり部分の各画素対応の光強度スカラー比に基づいて、前記第１光源のみの照射環境下での撮影画像に相当する画像における動きあり部分の各画素の画素値を第１画素値として算出し、
    動きあり部分の各画素対応の光強度スカラー比に基づいて、前記第１光源を含まない外光照射環境での撮影画像に相当する画像における動きあり部分の各画素の画素値を第２画素値として算出し、
    前記第１画素値に基づいて画素値調整処理を実行し、前記第２画素値に基づいて画素値調整処理を実行し、生成した２つの調整画素値を加算して動き部分画素値調整処理を実行する構成であることを特徴とする請求項１９に記載の撮像データ処理装置。
21. 前記画素値調整処理は、ホワイトバランス調整処理であり、
    前記第１画素値調整処理は、前記第１光源の光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理として実行し、
    前記第２画素値調整処理は、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理として実行する構成であることを特徴とする請求項２０に記載の撮像データ処理装置。
22. 前記動き部分画素値調整部は、
    動きあり部分内周画素の画素値と、動きあり部分内周画素に隣接する動きあり部分外周画素の画素値平均値との色成分比（α_ｒ，α_ｇ，α_ｂ）を算出し、
    動きあり部分内周画素のすべてをサンプル点として各画素対応の色成分比に基づく放射基底関数（ＲＢＦ：Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ）を構築し、
    前記放射基底関数（ＲＢＦ）に基づいて、動きあり部分の各画素に対応する色成分比を算出し、該色成分比を補正対象画像に乗算して補正画素値を算出する構成を有することを特徴とする請求項１９に記載の撮像データ処理装置。
23. 前記データ処理部は、さらに、
    前記動き検出部の検出した動き部分の画像全体に占める割合が予め定めた閾値より大である場合に、前記第１光源を発光させた撮影処理により取得した第２撮像データに基づく画素値調整処理を実行し、前記第２撮像データに基づく画素値調整データを最終画素値調整データとして設定する構成であることを特徴とする請求項１９に記載の撮像データ処理装置。
24. 前記第２撮像データに基づく画素値調整処理は、
    前記第１光源の光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理、または、前記第１光源を含まない外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理、または、前記第１光源の光成分および前記第１光源を含まない外光成分の中間的光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理のいずれかを実行する構成であることを特徴とする請求項２３に記載の撮像データ処理装置。
25. 撮像データ処理方法であって、
    第１光源を発光させない撮影処理により第１撮像データを取得するステップと、
    前記第１光源を発光させた撮影処理により第２撮像データを取得するステップと、
    前記第２撮像データを構成する各画素の画素値から前記第１撮像データの対応画素の画素値を減算し、前記第１光源のみの照射環境下での撮影画像に相当する差分画像データを取得するステップと、
    前記差分画像データに対して画素値調整処理を実行する差分画像データ画素値調整処理ステップと、
    前記差分画像データ画素値調整処理ステップにおいて生成した画素値調整済み画像データを適用して最終画素値調整画像を生成する最終画素値調整画像生成ステップと、
    を有することを特徴とする撮像データ処理方法。
26. 撮像データ処理方法であって、
    相互に異なる時間に第１光源の発光条件が相互に同一の撮影条件下で撮影された複数の撮像データを取得するステップと、
    前記複数の撮像データの比較に基づき、動き情報を取得するステップと、
    前記複数の撮像データの一つ、一部、または全部、あるいは他の撮像データに対して、前記動き情報に基づいて設定されるホワイトバランスによる処理を実行するステップと、
    を有することを特徴とする撮像データ処理方法。
27. 前記動き情報に基づいて設定されるホワイトバランスによる処理を実行するステップでは、前記複数の撮像データが撮影された時間内に撮影された、あるいは前記複数の撮像データが撮影された時間の直前あるいは直後に撮影された他の撮像データに対し、該等部分のホワイトバランスが調整されることを特徴とする請求項２６に記載の撮像データ処理方法。
28. 前記動き情報に基づき、動きが大きいと判断された場合には、前記動き情報に基づいて設定されるホワイトバランスによる処理を実行するステップでは、外光、フラッシュ、または外光とフラッシュとの中間の仮想的光源に基づいてホワイトバランス調整処理を行うことを特徴とする請求項２６に記載の撮像データ処理方法。
29. 前記動き情報に基づいて設定されるホワイトバランスによる処理を実行するステップでは、画像全体に対して一様な処理ではなく、画像の場所ごとに適応的にホワイトバランス調整処理は切り替わり、
    さらに、前記動き情報に基づき、該当部分に隣接する静止部分の画像データから補間して、該当部分の画像データを求めるステップをさらに含むことを特徴とする請求項２６に記載の撮像データ処理方法。
30. 撮像データ処理装置であって、
    第１光源を発光させない撮影処理および、前記第１光源を発光させた撮影処理により複数の撮像データを取得する撮像手段と、
    前記第１光源を発光させない撮影処理により取得した第１撮像データと、前記第１光源を発光させた撮影処理により取得した第２撮像データを記憶するメモリと、
    前記メモリに格納した撮像データに基づく画素値調整処理を実行するデータ処理部とを有し、
    前記データ処理部は、
    前記第２撮像データを構成する各画素の画素値から前記第１撮像データの対応画素の画素値を減算し、前記第１光源のみの照射環境下での撮影画像に相当する差分画像データを取得する差分画像データ取得部と、
    前記差分画像データに対して画素値調整処理を実行する差分画像データ画素値調整部と、
    前記差分画像データ画素値調整部において生成した画素値調整済み画像データを適用して最終画素値調整を実行する最終画素値調整部と、
    を有することを特徴とする撮像データ処理装置。
31. 撮像データ処理装置であって、
    相互に異なる時間に第１光源の発光条件が相互に同一の撮影条件下で撮影された複数の撮像データを取得する手段と、
    前記複数の撮像データの比較に基づき、動き情報を取得する手段と、
    前記複数の撮像データの一つ、一部、または全部、あるいは他の撮像データに対して、前記動き情報に基づいて設定されるホワイトバランスによる処理を実行する手段と、
    を有することを特徴とする撮像データ処理装置。
32. 撮像データの処理を実行するコンピュータ・プログラムであり、
    第１光源を発光させない撮影処理により第１撮像データを取得するステップと、
    前記第１光源を発光させた撮影処理により第２撮像データを取得するステップと、
    前記第２撮像データを構成する各画素の画素値から前記第１撮像データの対応画素の画素値を減算し、前記第１光源のみの照射環境下での撮影画像に相当する差分画像データを取得するステップと、
    前記差分画像データに対して画素値調整処理を実行する差分画像データ画素値調整処理ステップと、
    前記差分画像データ画素値調整処理ステップにおいて生成した画素値調整済み画像データを適用して最終画素値調整画像を生成する最終画素値調整画像生成ステップと、
    を有することを特徴とするコンピュータ・プログラム。
33. 飽和画素値を有する画像データについての画素値補正処理を実行する撮像データ処理方法であり、
    画像データ中の少なくとも一部画素が最大画素値として設定された飽和画素を有する補正対象の第１の画像データと、該第１の画像データと異なる露光条件において撮影された１以上のサブ画像データとからなる複数画像データを入力し、複数の入力画像データ相互の対応画素値差分に基づいて、各画像データ取得時の露光条件の差異を示す露光条件差異データを取得し、該露光条件差異データに基づいて、前記第１の画像データにおける飽和画素の仮補正画素値を算出する仮補正画素値算出ステップと、
    前記仮補正画素値を出力可能範囲の画素値に補正する正規化処理を実行する補正画素値算出ステップと、
    を有することを特徴とする撮像データ処理方法。
34. 前記第１の画像データは、飽和画素位置（Ｘｃ，Ｙｃ）において、画素値（Ｒｃ１，Ｇｃ１，Ｂｃ１）を有し、非飽和画素（Ｘｕ，Ｙｕ）において、画素値（Ｒｕ１，Ｇｕ１，Ｂｕ１）を有する画像データであり、前記サブ画像データは、前記第１の画像データより低強度露光の撮影画像としての第２の画像データと、該第２の画像データよりさらに低強度露光の撮影画像としての第３の画像データとを含み、
    前記仮補正画素値算出ステップは、第２の画像データおよび第３の画像データにおける前記第１の画像データの非飽和画素（Ｘｕ，Ｙｕ）に対応する位置の画素値を（Ｒｕ２，Ｇｕ２，Ｂｕ２）、および（Ｒｕ３，Ｇｕ３，Ｂｕ３）としたとき、下式に従った算出処理を実行し、
    

    

    上記（式１）および（式２）に基づいて、露光条件差異データ：Ｓを算出することを特徴とする請求項３３に記載の撮像データ処理方法。
35. 前記補正画素値算出ステップは、第２の画像データおよび第３の画像データにおける前記第１の画像データの飽和画素（Ｘｃ，Ｙｃ）に対応する位置の画素値を（Ｒｃ２，Ｇｃ２，Ｂｃ２）、および（Ｒｃ３，Ｇｃ３，Ｂｃ３）としたとき、さらに、下式に従った算出処理を実行し、
    

    

    上記（式３）に基づいて、前記第１の画像データにおける飽和画素の仮補正画素値（Ｒｃｑ，Ｇｃｑ，Ｂｃｑ）を算出することを特徴とする請求項３３に記載の撮像データ処理方法。
36. 前記補正画素値算出ステップは、前記第１の画像の非飽和画素（Ｘｕ，Ｙｕ）の画素値：（Ｒｕ，Ｇｕ，Ｂｕ）および、飽和画素（Ｘｃ，Ｙｃ）についての前記仮補正画素値（Ｒｃｑ，Ｇｃｑ，Ｂｃｑ）の全てのデータの最大値：Ｄｍａｘを算出するとともに、下式に従った算出処理を実行し、
    

    

    上記（式４）に基づいて、前記第１の画像データの非飽和画素の補正画素値（Ｒｕｆ，Ｇｕｆ，Ｂｕｆ）、および、飽和画素の補正画素値（Ｒｃｆ，Ｇｃｆ，Ｂｃｆ）、を算出することを特徴とする請求項３５に記載の撮像データ処理方法。
37. 前記第１の画像データおよび１以上のサブ画像データの露光条件の差異は、照射光強度の差異であり、前記仮補正画素値算出ステップは、前記露光条件差異データとして複数の画像データの照射光強度の差に基づく照射光量の比を算出することを特徴とする請求項３３に記載の撮像データ処理方法。
38. 前記第１の画像データおよび１以上のサブ画像データの露光条件の差異は、露光時間の差異であり、前記仮補正画素値算出ステップは、前記露光条件差異データとして複数の画像データの露光時間の差に基づく照射光量の比を算出することを特徴とする請求項３３に記載の撮像データ処理方法。
39. 前記仮補正画素値算出ステップ、および前記補正画素値算出ステップは、
    前記第１の画像におけるカラー画像の信号成分の各々についての補正データを算出することを特徴とする請求項３３に記載の撮像データ処理方法。
40. 前記仮補正画素値算出ステップ、および前記補正画素値算出ステップは、
    前記第１の画像における輝度成分についての補正データを算出することを特徴とする請求項３３に記載の撮像データ処理方法。
41. 画像データを撮影し記憶部に記録する撮像方法であり、
    異なる露光条件を設定して画像を撮影する撮像ステップと、
    画像データ中の少なくとも一部画素が最大画素値として設定された飽和画素を有する補正対象の第１の画像データと、該第１の画像データと異なる露光条件において撮影された１以上のサブ画像データとからなる複数画像データを入力し、複数の入力画像データ相互の対応画素値差分に基づいて、各画像データ取得時の露光条件の差異を示す露光条件差異データを取得し、該露光条件差異データに基づいて、前記第１の画像データにおける飽和画素の仮補正画素値を算出する仮補正画素値算出ステップと、
    前記仮補正画素値を出力可能範囲の画素値に補正する正規化処理を実行する補正画素値算出ステップと、
    前記補正画素値算出ステップによって補正された画素値によって構成される画像データを格納する記憶ステップと、
    を有することを特徴とする撮像方法。
42. 前記露光条件の差異は、照射光強度の差異、または露光時間の差異であり、前記撮像ステップは、照射光強度、または露光時間の異なる条件設定の下に複数の画像データを撮影し、
    前記仮補正画素値算出ステップは、前記露光条件差異データとして複数の画像データの照射光強度または露光時間の差に基づく照射光量の比を算出することを特徴とする請求項４１に記載の撮像方法。
43. 飽和画素値を有する画像データについての画素値補正処理を実行する撮像データ処理装置であり、
    画像データ中の少なくとも一部画素が最大画素値として設定された飽和画素を有する補正対象の第１の画像データと、該第１の画像データと異なる露光条件において撮影された１以上のサブ画像データとからなる複数画像データを入力し、複数の入力画像データ相互の対応画素値差分に基づいて、各画像データ取得時の露光条件の差異を示す露光条件差異データを取得し、該露光条件差異データに基づいて、前記第１の画像データにおける飽和画素の仮補正画素値を算出する仮補正画素値算出手段と、
    前記仮補正画素値を出力可能範囲の画素値に補正する正規化処理を実行する補正画素値算出手段と、
    を有することを特徴とする撮像データ処理装置。
44. 飽和画素値を有する画像データについての画素値補正処理を含む撮像データ処理を実行するコンピュータ・プログラムであって、
    画像データ中の少なくとも一部画素が最大画素値として設定された飽和画素を有する補正対象の第１の画像データと、該第１の画像データと異なる露光条件において撮影された１以上のサブ画像データとからなる複数画像データを入力し、複数の入力画像データ相互の対応画素値差分に基づいて、各画像データ取得時の露光条件の差異を示す露光条件差異データを取得し、該露光条件差異データに基づいて、前記第１の画像データにおける飽和画素の仮補正画素値を算出する仮補正画素値算出ステップと、
    前記仮補正画素値を出力可能範囲の画素値に補正する正規化処理を実行する補正画素値算出ステップと、
    を有することを特徴とするコンピュータ・プログラム。

Images