WO2005025235A1

WO2005025235A1 - 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム

Info

Publication number: WO2005025235A1
Application number: PCT/JP2004/011477
Authority: WO
Inventors: Rui Yamada
Original assignee: Sony Corporation
Priority date: 2003-09-04
Filing date: 2004-08-10
Publication date: 2005-03-17
Also published as: KR101032165B1; EP1662806B1; JP2005102116A; KR20060070557A; CN1846447B; JP3838243B2; CN1846447A; ATE515890T1; US7903896B2; US20070165960A1; EP1662806A1; EP1662806A4

Abstract

　撮影画像データの動きのある領域の画素値の補正を効率的に実行することを可能とする。動きあり領域などの特定領域の画素値の補正処理において、ホワイトバランス調整のなされた画像データと、フラッシュ発光あり画像データとの差分あるいは比率の初期値を設定し、平滑化フィルタ、またはフラッシュ発光あり画像データに基づいて重みを設定した変換式に従って初期値の変換を行って、動きあり領域における画像差分または画像比率の推定値を算出し、該推定値を適用して動きあり領域の画素値補正を実行する。また、低解像度画像を適用したホワイトバランス調整や動きあり部分の画素値補正後、補正画像と低解像度画像データとの対応に基づいて、高解像度補正画像を生成する

Description

明細書

画像処理方法、および画像処理装置、並びにコンピュータ 'プログラム技術分野

[0001] 本発明は、画像処理方法、および画像処理装置、並びにコンピュータ 'プログラムに関する。さらに詳細には、複数の画像を用いて外光とフラッシュ光の色温度の違いに起因する不自然さを解消する画像調整を可能とするとともに、画像調整に適用した複数の画像間での像ぶれが生じた場合においても、効率的な高速補正処理を可能とした画像処理方法、および画像処理装置、並びにコンピュータ 'プログラムに関する。

背景技術

[0002] フラッシュ（electrical flash, strobe)は、カメラ撮影時に補助光源として用いられる。近年 DSC (Digital Still Camera)が急速に普及している力 DSCにおいても、しばしば、フラッシュ撮影が行われる。フラッシュを使うことにより、フィルインライト（人物の顔に影がきつく出過ぎるときなどに影を弱める技法)、逆光補正 (太陽を背にした人物を撮る場合などに顔が黒くつぶれるのを防ぐ技法）、キャッチライト（眼の瞳にきらりと光る「光の点」を入れ、瞳を美しく撮影する技法）、あるいは日中シンクロ（デイライトシンクロ、昼間や夕方に補助光線として使うテクニック)等、様々な写真撮影を行うことができる。一方で、フラッシュ撮影を行うと、色バランスが崩れたり、白飛びが生じたりする場合がある。本発明は、このようなフラッシュ撮影で生じる良くない現象を補正可能な適切な手段を提供することを 1つの目的とする。

[0003] 一般的に、デジタルカメラでは、白い被写体が白く撮影されるようにホワイトバランス

(WB)調整が行われる。例えば自然光、照明光、フラッシュ (ストロボ）等の被写体に対して照射される光の色温度が高くブルー（B)の光が強い光成分環境で撮影する場合は、ブルーの光に対する感度を抑制し、レッド (R)の光に対する感度を相対的に高くし、逆に被写体に対して照射される光の色温度が低くレッド (R)の光が強い光成分環境で撮影する場合は、レッドの光に対する感度を抑制し、ブルー（B)の光に対する感度を相対的に高くするなどのホワイトバランス調整が行われる。 [0004] ホワイトバランス調整は、通常、撮影時に用いる光源に応じた調整パラメータを設定した調整処理が実行される。例えばフラッシュ撮影を行う場合は、適用するフラッシュ光の持つ光成分に応じたパラメータに従ってホワイトバランス調整が行われる。

[0005] しかし、フラッシュ光以外の外光がある状態で、フラッシュ撮影を行うと、フラッシュ光、外光の 2種類の光が被写体に照射されてその反射光がカメラの撮像素子に到達し、撮影が行われることになる。このような撮影が行われる場合、ホワイトバランス調整をフラッシュ光に合わせて実施すると、フラッシュ光が多く当たっている被写体部分は自然な色に調整されるが、フラッシュ光が届かず外光のみの反射光として撮影される領域、例えば背景画像領域などは、フラッシュ光の光成分に合わせたパラメータ設定に従ったホワイトバランス調整を行ってしまうと、適切なホワイトバランス調整が実行されず不自然な色を持つ領域として出力されることになる。

[0006] 逆に、背景部分にあわせたホワイトバランス調整、すなわち外光のみによって撮影されたものとして、撮影画像全体のホワイトバランス調整を実行するとフラッシュ光の多くあたった部分が不自然な色に調整されることになる。

[0007] このような問題に対処するための構成がいくつか提案されている。例えば特許文献 1 (特開平 8— 51632号公報）は、フラッシュを発光せず撮影した画像と、フラッシュを発光させた撮影画像を取得し、この撮影された 2つの画像をブロックに分割し、各ブロック毎に輝度値の比較を行レ、、輝度値の比較結果に基づいて、フラッシュを発光して撮影した画像について各ブロック毎に異なるホワイトバランス調整を行う構成を示している。

[0008] ホワイトバランス調整は、各ブロック毎にフラッシュ光に合わせたホワイトバランス調整、またはフラッシュ光と外光の中間にあわせたホワイトバランス調整、または外光にあわせたホワイトバランス調整のいづれ力、を選択して実行する。しかし、このような構成では、処理をブロック単位で行うことが必要となり、ブロック歪みを生ずる問題や被写体が動いた場合などには正しい処理ができない問題などがある。

[0009] また、特許文献 2 (特開 2000—308068号公報）には、以下の処理構成を開示している。すなわち、まず絞りを開放し露出時間を短くした上でフラッシュを発光させて撮影し、その後、本来意図した露光条件でフラッシュを発光せずに撮影を行う。ここで、前者を第 1画像、後者を第 2画像とする。さらに第 1画像において所定のレベル以上の画素を主要被写体領域、それ以外を背景領域として登録する。その後、第 1画像をフラッシュに合わせてホワイトバランス調整、第 2画像を外光に合わせてホワイトバランス調整し、第 1画像の主要被写体領域と第 2画像の背景領域を組み合わせて最終的な記録画像とする構成である。

[0010] しかし、本構成では、外光とフラッシュ光の両方が当たった被写体のホワイトバランス調整は正しく行うことができない。

[0011] また、特許文献 3 (特開 2000—307940号公報）は、上述の特許文献 2の構成に加えて、像ぶれ検出手段を付加した構成を開示している。ぶれがあると判断された場合は、前述の第 1画像をそのまま記録画像とし、第 1画像と第 2画像の組み合わせ処理を実行しない構成としている。従ってぶれが検出された場合は、フラッシュ光と外光の色温度の違いに起因する不自然さが解消されないことになる。

[0012] さらに、特許文献 4 (特開平 8-340542号公報）は、フラッシュを発光させて撮影した画像と、フラッシュ発光なしで撮影した画像の対応画素の輝度値を割り算し、フラッシュ光の寄与率を求め、この寄与率に基づき、フラッシュを発光させて撮影した画像に対してホワイトバランス調整を行う構成を開示している。

[0013] しかし、本構成では、フラッシュ光、外光からの反射光が混合され撮像された画像に対し、フラッシュの寄与率に基づきフラッシュ光と外光用のホワイトバランスパラメ一タを、単純に補間し、最終的な画像を生成する。しかし、物理的な光の反射モデルを考慮した場合、フラッシュ光による成分と外光による成分は独立に処理されるべきであり、フラッシュ光、外光からの反射光が混合され撮像された画像を処理するだけでは、最適な結果画像を生成することは出来ない。

特許文献 1 :特開平 8 - 51632号公報

特許文献 2：特開 2000 - 308068号公報

特許文献 3：特開 2000 - 307940号公報

特許文献 4：特開平 8— 340542号公報

発明の開示

発明が解決しょうとする課題 [0014] 本発明は、上述の従来技術の問題点に鑑みてなされたものであり、外光とフラッシュ光が混在する環境下で撮影した画像の最適なホワイトバランス調整を可能とし、また像ぶれが検出された場合も破綻することなく効率的にかつ高速に最適なホワイトバランス調整等の画素値補正を行うことができる画像処理方法、および画像処理装置、並びにコンピュータ 'プログラムを提供することを目的とする。

課題を解決するための手段

[0015] 本発明の第 1の側面は、

画像処理方法であって、

異なる画素値を持つ第 1画像データと第 2画像データの対応画素値に基づいて画像差分または画像比率を算出するステップと、

画像データの特定領域において、前記画像差分または画像比率に基づく推定値を算出する推定値算出ステップと、

前記推定値算出ステップにおいて算出した前記特定領域における画像差分または画像比率の推定値と、前記第 2画像データとに基づレ、て前記特定領域の補正画像を生成する補正画像生成ステップと、

を有することを特徴とする画像処理方法にある。

[0016] さらに、本発明の画像処理方法の一実施態様において、前記画像差分 d (x, y)は、前記第 1画像データの各画素 (x， y)の画素値ベクトルを A (x， y)、前記第 2画像データの対応画素（x， y)の画素値ベクトルを B (x, y)としたとき、

d (x, y) =A (x, y) -B (x, y)

として算出されるベクトルであり、

前記画像比率 d (x， y)は、

d (x， y) =A (x, y) / (B (x, y) + e)

ただし、 eは、固定値、として算出されるベクトルであることを特徴とする。

[0017] さらに、本発明の画像処理方法の一実施態様において、前記第 1画像データは、フラッシュ発光なし撮影画像とフラッシュ発光あり撮影画像とに基づいて画素値調整の施されたホワイトバランス調整画像 Rであり、前記第 2画像データは、フラッシュ発光画像 Iであり、前記特定領域は、被写体の動きが検出された動きあり領域であり、前記画像差分 d (x， y)は、

前記ホワイトバランス調整画像 Rの各画素（x, y)の画素値べクトノレを R (x, y)、前記フラッシュ発光画像 Iの対応画素（X, y)の画素値ベクトルを I (X, y)としたとき、

2 2

d (x, y) =R (x, y) -I (x, y)

2

として算出されるベクトルであり、

前記画像比率 d (x， y)は、

d (x， y) =R (x, y) / (I (x, y) + e)

2

ただし、 eは、固定値、

として算出されるベクトルであり、

前記補正画像生成ステップは、前記推定値算出ステップにおいて算出した前記動きあり領域における画像差分または画像比率の推定値と、前記フラッシュ発光画像 I

2 とに基づいて前記動きあり領域の補正画像を生成するステップであることを特徴とする。

[0018] さらに、本発明の画像処理方法の一実施態様において、前記推定値算出ステップは、画像データの特定領域において、該特定領域の隣接領域において決定された画像差分または画像比率に基づいて、特定領域の画像差分または画像比率の初期値を設定する初期値設定ステップと、前記初期値設定ステップにおレ、て設定した初期値に対して平滑フィルタに基づく平滑処理を実行する平滑処理実行ステップと、を含むことを特徴とする。

[0019] さらに、本発明の画像処理方法の一実施態様において、前記初期値設定ステップは、初期値設定対象画素の近傍にある画像差分または画像比率設定済み画素に設定された画像差分または画像比率に基づいて、初期値設定対象画素の初期値を設定するステップであることを特徴とする。

[0020] さらに、本発明の画像処理方法の一実施態様において、前記初期値設定ステップは、初期値設定対象画素および、画像差分または画像比率設定済み画素の判別のために、マスク画像を適用するステップを含むことを特徴とする。

[0021] さらに、本発明の画像処理方法の一実施態様において、前記補正画像生成ステツプは、前記推定値算出ステップにおいて算出した前記特定領域における画像差分または画像比率の推定値と、前記第 2画像データとに基づいて前記特定領域の補正画像を生成するステップであり、画像差分を適用した処理においては、前記特定領域における前記第 2画像データに対して、前記推定値算出ステップにおいて算出した前記特定領域における画像差分の推定値を加算するステップとして実行し、画像比率を適用した処理においては、前記特定領域における前記第 2画像データに対して、前記推定値算出ステップにおいて算出した前記特定領域における画像比率の推定値を乗算するステップとして実行することを特徴とする。

[0022] さらに、本発明の画像処理方法の一実施態様において、前記第 1画像データは、フラッシュ発光なし撮影画像とフラッシュ発光あり撮影画像とに基づいて画素値調整の施されたホワイトバランス調整画像 Rであり、前記第 2画像データは、フラッシュ発光画像 Iであり、前記特定領域は、被写体の動きが検出された動きあり領域であり、

2

前記補正画像生成ステップは、画像差分を適用した処理においては、前記動きあり領域における前記フラッシュ発光画像 Iに対して、前記推定値算出ステップにおいて

2

算出した前記特定領域における画像差分の推定値を加算するステップとして実行し、画像比率を適用した処理においては、前記動きあり領域における前記フラッシュ発光画像 Iに対して、前記推定値算出ステップにおいて算出した前記特定領域におけ

2

る画像比率の推定値を乗算するステップとして実行することを特徴とする。

[0023] さらに、本発明の画像処理方法の一実施態様において、前記推定値算出ステップは、画像データの特定領域において、該特定領域の隣接領域において決定された画像差分または画像比率に基づいて、特定領域の画像差分または画像比率の初期値を設定する初期値設定ステップと、前記初期値設定ステップにおレ、て設定した初期値に対して、前記第 2画像データに基づく重み設定のなされたフィルタを適用したフィルタリング処理に相当する画素値変換式に従った画素値変換処理を実行して前記特定領域の画像差分または画像比率の値を補正するフィルタリング処理ステップと、を含むことを特徴とする。

[0024] さらに、本発明の画像処理方法の一実施態様において、前記初期値設定ステップは、初期値設定対象画素の近傍にある画像差分または画像比率設定済み画素に設定された画像差分または画像比率に基づいて、初期値設定対象画素の初期値を設定するステップであることを特徴とする。

[0025] さらに、本発明の画像処理方法の一実施態様において、前記初期値設定ステップは、初期値設定対象画素および、画像差分または画像比率設定済み画素の判別のために、マスク画像を適用するステップを含むことを特徴とする。

[0026] さらに、本発明の画像処理方法の一実施態様において、前記第 1画像データは、フラッシュ発光なし撮影画像とフラッシュ発光あり撮影画像とに基づいて画素値調整の施されたホワイトバランス調整画像 Rであり、前記第 2画像データは、フラッシュ発光あり撮影画像 Iであり、前記特定領域は、被写体の動きが検出された動きあり領域

2

であり、前記フィルタリング処理ステップは、前記フラッシュ発光あり撮影画像 Iの画

2 像データを構成する画素の画素値に応じて重みを設定した関数を含む変換式を適用した画素値変換処理を実行するステップであることを特徴とする。

[0027] さらに、本発明の画像処理方法の一実施態様において、前記フィルタリング処理ステツプは、下記変換式、

[数 3] ' ^{cA) =} ¾7^^ 7^ ^ ^{w(l" '^c/z)— ²⁽"^{c (}"'^{c/ }}

ただし、 d (x， y， ch)、 I (x， y， ch)は、画素位置（χ， y)の各チャンネル [ch]の画

2

像差分または画像比率 dに対応する値、ならびに、フラッシュ光あり撮影画像 Iの画

2 素値、 d' (x, y, ch)は、画素位置（χ, y)におけるチャンネル [ch]の差分画像 dの更新値、 i， jは、画素位置 (X, y)の値 dの更新値 d'を算出するために適用する参照画素位置であり、 kを任意の自然数としたとき、 x-k≤i≤x + k、y_k≤j≤y + k、w (x)は、前記フラッシュ発光あり撮影画像 Iの画像データを構成する画素の画素値に応じた

2

重みを設定する重み付け関数である、上記変換式を適用した画素値変換処理を実行するステップであることを特徴とする。

[0028] さらに、本発明の画像処理方法の一実施態様において、前記変換式における重み付け関数 w (x)は、下記式、

によって示される関数であることを特徴とする。

[0029] さらに、本発明の画像処理方法の一実施態様において、前記変換式における画素位置 (x， y)の値 dの更新値 d'を算出するために適用する参照画素位置 i, jは、 kを任意の自然数としたとき、 x_k≤i≤x + k、y_k≤j≤y + k fe 、k«、 1， 2、 3のレヽずれかの値であることを特徴とする。

[0030] さらに、本発明の画像処理方法の一実施態様において、

フラッシュ発光なし撮影画像に基づくフラッシュなし低解像度画像データ I をメモリ

1L に格納するステップと、

フラッシュ発光あり撮影画像に基づくフラッシュあり高解像度画像データ I 、および

2H フラッシュあり解像度画像データ I をメモリに格納するステップと、

2L

3L に格納するステップと、

前記フラッシュなし低解像度画像データ I とフラッシュなし低解像度画像データ I

1L 3L とに基づいて動きあり領域を検出するステップとをさらに含み、

前記フラッシュなし低解像度画像データ I を前記第 1画像データ、前記フラッシュ

1L

あり低解像度画像データ I を前記第 2画像データとして前記推定値を算出してホヮ

2L

イトバランス調整処理および動き部分画素値補正処理を含む画素値調整画像 Rを生成し、

前記補正画像生成ステップにおいては、前記画素値調整画像と、フラッシュあり高解像度画像データ I と、フラッシュあり解像度画像データ I との対応画素値に基

2H 2L

づいて、高解像度最終補正画像 R を生成することを特徴とする。

H

[0031] さらに、本発明の画像処理方法の一実施態様において、前記補正画像生成ステツプは、フラッシュあり解像度画像データ I に対する前記画素値調整画像 Rの対応画

2L

素の画素値変換情報を取得するステップと、前記画素値変換情報に基づいて、フラッシュあり高解像度画像データ I の画素値変換を実行するステップと、を有すること

2H

を特徴とする。

[0032] さらに、本発明の第 2の側面は、

画像処理装置であって、

異なる画素値を持つ第 1画像データと第 2画像データの対応画素値に基づいて画像差分または画像比率を算出する手段と、

画像データの特定領域において、前記画像差分または画像比率に基づく推定値を算出する推定値算出手段と、

前記推定値算出ステップにおいて算出した前記特定領域における画像差分または画像比率の推定値と、前記第 2画像データとに基づいて前記特定領域の補正画像を生成する補正画像生成手段と、

を有することを特徴とする画像処理装置にある。

[0033] さらに、本発明の画像処理装置の一実施態様において、前記推定値算出手段は、画像データの特定領域において、該特定領域の隣接領域において決定された画像差分または画像比率に基づいて、特定領域の画像差分または画像比率の初期値を設定する初期値設定部と、前記初期値設定部において設定した初期値に対して平滑フィルタに基づく平滑処理を実行する平滑処理部とを含むことを特徴とする。

[0034] さらに、本発明の画像処理装置の一実施態様において、前記推定値算出手段は、画像データの特定領域において、該特定領域の隣接領域において決定された画像差分または画像比率に基づいて、特定領域の画像差分または画像比率の初期値を設定する初期値設定部と、前記初期値設定部において設定した初期値に対して、前記第 2画像データに基づく重み設定のなされたフィルタを適用したフィルタリング処理に相当する画素値変換式に従った画素値変換処理を実行して前記特定領域の画像差分または画像比率の値を補正するフィルタ処理部とを含むことを特徴とする。

[0035] さらに、本発明の第 3の側面は、

画像処理を実行するコンピュータ 'プログラムであって、異なる画素値を持つ第 1画像データと第 2画像データの対応画素値に基づいて画像差分または画像比率を算出するステップと、

前記推定値算出ステップにおいて算出した前記特定領域における画像差分または画像比率の推定値と、前記第 2画像データとに基づいて前記特定領域の補正画像を生成する補正画像生成ステップと、

を有することを特徴とするコンピュータ 'プログラムにある。

[0036] さらに、本発明のコンピュータ 'プログラムの一実施態様において、フラッシュ発光なし撮影画像に基づくフラッシュなし低解像度画像データ I をメモリに格納するステツ

1L

プと、フラッシュ発光あり撮影画像に基づくフラッシュあり高解像度画像データ I 、お

2H よびフラッシュあり解像度画像データ I をメモリに格納するステップと、フラッシュ発光

2L

なし撮影画像に基づくフラッシュなし低解像度画像データ I をメモリに格納するステ

3L

ップと、前記フラッシュなし低解像度画像データ I とフラッシュなし低解像度画像デ

1L

ータ I とに基づいて動きあり領域を検出するステップとをさらに含み、前記フラッシュ

3L

なし低解像度画像データ I を前記第 1画像データ、前記フラッシュあり低解像度画

1L

像データ I を前記第 2画像データとして前記推定値を算出してホワイトバランス調整

2L

処理および動き部分画素値補正処理を含む画素値調整画像 Rを生成し、前記補正画像生成ステップにおいては、前記画素値調整画像 Rと、フラッシュあり高解像度画像データ I と、フラッシュあり解像度画像データ I との対応画素値に基づいて、高解

2H 2L

像度最終補正画像 R を生成することを特徴とする。

H

[0037] なお、本発明のコンピュータ 'プログラムは、例えば、様々なプログラム 'コードを実行可能な汎用コンピュータ 'システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、 CDや FD、 MOなどの記憶媒体、あるいは、ネットヮークなどの通信媒体によって提供可能なコンピュータ 'プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ 'システム上でプログラムに応じた処理が実現される。

[0038] 本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づぐより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

発明の効果

[0039] 本発明の構成によれば、例えば動きあり領域などの特定領域の画素値の補正処理を、動きなし領域の画素値、たとえばホワイトバランス調整のなされた画像データと、動きあり領域などの特定領域のフラッシュ発光あり画像データとに基づいて、効率的に実行可能であり、ホワイトバランス調整のなされた画像データと滑らかに接続された画像を生成することが可能となるとともに、動きあり領域におけるフラッシュ発光あり画像データのテクスチャ情報を反映した画像を生成することができる。

[0040] 本発明の構成によれば、動きあり領域における画素値補正処理において、ホワイトバランス調整のなされた画像データと、フラッシュ発光あり画像データとの差分あるレ、は比率の初期値を動きあり領域に設定した後、平滑化フィルタによって平滑化し、動きあり領域における画像差分または画像比率の推定値を算出し、該推定値によって動きあり領域の画素値補正を実行する構成としたので、計算量の少なレ、高速処理が実現される。

[0041] さらに、本発明の構成によれば、動きあり部分画素領域における補正をフラッシュ光あり撮影画像 Iの画素値を考慮して決定された係数を用いた画素値変換式に従つ

2

たフィルタリング処理を行なう構成としたので、フラッシュ光あり撮影画像 Iのテクスチ

2 ャを反映した画素値補正が行なわれることとなり、動きあり領域においてもエッジ部のぼやけ、色のにじみなどが解消され、フラッシュ光あり撮影画像 Iのテクスチャを反映

2

した画像を生成することが可能となる。

[0042] さらに、本発明によれば、低解像度画像を適用したホワイトバランス調整や動きあり部分の画素値補正を実行した後、補正画像データと低解像度画像データとの対応関係に基づいて、高解像度補正画像を生成することが可能となり、少ないメモリ量で、高速な処理が可能となり、最終的に高解像度の補正画像を取得することが可能となる。

発明を実施するための最良の形態 [0043] 以下、図面を参照しながら、本発明の画像処理方法、および画像処理装置の複数の実施例について説明する。

実施例 1

[0044] まず、外光とフラッシュ光が混在する環境下における撮影の最適なホワイトバランス調整処理を実行する画像処理方法、および画像処理装置の実施例 1につレ、て説明する。

[0045] 図 1は、本実施例に係る撮像装置の構成を示すブロック図である。図 1に示すように、本実施例に係る撮像装置は、レンズ 101、絞り 102、固体撮像素子 103、相関 2重サンプリング回路 104、 A/Dコンバータ 105、 DSPブロック 106、タイミングジエネレータ 107、 D/Aコンバータ 108、ビデオエンコーダ 109、ビデオモニタ 110、コーデック（CODEC) 111、メモリ 112、 CPU113、入力デバイス 114、フラッシュ制御装置 115、フラッシュ発光装置 116から構成される。

[0046] ここで、入力デバイス 114はカメラ本体にある録画ボタンなどの操作ボタン類をさす。また、 DSPブロック 106は信号処理用プロセッサと画像用 RAMを持つブロックで、信号処理用プロセッサが画像用 RAMに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになつている。以下 DSPブロックを単に DSPと呼ぶ。

[0047] 本実施例の全体的な動作を以下に説明する。

光学系を通過して固体撮像素子 103に到達した入射光は、まず撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関 2重サンプリング回路 104によってノイズ除去され、 A/Dコンバータ 105によってデジタ。信号に変換された後、デジタル信号処理部（DSP) 106中の画像メモリに一時格納される。なお、必要があれば、撮影の際に、フラッシュ制御装置 115を介して、フラッシュ発光装置 116を発光させることができる。

[0048] 撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ 107が信号処理系を制御する。デジタル信号処理部（DS P) 106へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データは D/Aコンバータ 108もしくはコーデック（CODEC) 111 あるいはその両方に送られる。 D/Aコンバータ 108はデジタル信号処理部（DSP) 1 06から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ 109がビデオ信号に変換し、そのビデオ信号をビデオモニタ 110でモニタできるようになつていて、このビデオモニタ 110は本実施例においてカメラのファインダの役割を担つている。また、コーデック（CODEC) 111はデジタル信号処理部（DSP) 106から送られる画像データに対する符号化をおこなレ、、符号化された画像データはメモリ 112に記録される。ここで、メモリ 112は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。

[0049] 以上が本実施例のデジタルビデオカメラのシステム全体の説明である力 S、本実施例中で本発明が実現されているのは、デジタル信号処理部（DSP) 106における画像処理である。以下その画像処理の部分を詳細に説明する。

[0050] 前述のように、本実施例の画像処理部は実際には、デジタル信号処理部（DSP) 1 06で実現されている。したがって本実施例の構成においては、画像処理部の動作は、デジタル信号処理部（DSP) 106内部において、入力された画像信号のストリームに対して演算ユニットが所定のプログラムコードに記述された演算を順次実行するようにして実現されている。以降の説明では、そのプログラム中の各処理が実行される順序をフローチャートで説明する。し力しながら、本発明は本実施例で説明するようなプログラムという形態以外にも、以降で説明する機能と同等の処理を実現するハードウエア回路を実装して構成してもよレ、。

[0051] 図 2はデジタル信号処理部（DSP) 106内部において、入力された画像信号のストリームに対して実行するホワイトバランス (WB)調整処理の手順を説明するフローチヤートである。

[0052] ステップ S101では、事前に設定された絞り、シャッタースピードを用いて、フラッシュ発光なしで撮影し、ステップ S102でこのフラッシュ発光なし撮影画像を画像データ Iとしてメモリに格納する。ステップ S103では、ステップ S101と同様に事前に設定された絞り、シャッタースピードを用いて、フラッシュ発光を行って撮影し、ステップ S10 4でこのフラッシュ発光あり撮影画像を画像データ Iとしてメモリに格納する。

2

[0053] 次にステップ S105では、ステップ S101と同様に事前に設定された絞り、シャッタースピードを用いて、フラッシュ発光なしで、再度撮影し、ステップ S 106でこのフラッシュ発光なし撮影画像を画像データ Iとしてメモリに格納する。

3

[0054] なお、ステップ S101 , S103, S105の撮影は、連続した撮影、例えば約 1/100秒間隔の連続撮影として実行される。それぞれの撮影ステップから得られた複数の画像を用いて、ホワイトバランス（WB)の調整処理を行レ、、 1つのホワイトバランス（WB) の調整された画像データを生成する。

[0055] また、ステップ S102、 S104、 S106においてメモリに格納される画像データ I、 I、 I

1 2 は手ぶれ補正が行われた画像とする。すなわち、 3枚の画像 I、 I、 Iの撮影時に手

3 1 2 3

ぶれがおきている場合には、それらをあら力、じめ補正してからメモリに格納する。すなわち、撮影画像が手ぶれの発生画像である場合には、ステップ S101と S102の間、ステップ S103と S104の間、およびステップ S105と S106の間におレヽて、手ぶれの補正を実行し補正後の画像をメモリに格納する。したがってメモリに格納される画像データ I、 I、 Iは三脚にカメラを固定した状態で連続撮影したかのような画像となる。

1 2 3

[0056] なお手ぶれの補正処理は、従来から知られた処理が適用可能である。例えば、カロ速度センサを用いてずれを検出し、レンズをずらす方法、または目的の解像度より大きレ、解像度の画像を撮像素子を用いて撮影してずれが生じなレ、ように適切な部分を読み出す方法、さらにはセンサを用いず画像処理だけで手ぶれを補正する方法など、従来から広く用いられている方法が適用される。

[0057] 次にステップ S107において、ステップ S101、 S103、 S105の 3枚の画像の撮影の間に、被写体自体の動きに起因する像ぶれがあつたか否かを検出する。この被写体自体の動きに起因する像ぶれがあつたか否かの検出処理は、 3枚の画像から 2つの画像を比較して行われる。たとえば、画像 Iと画像 Iを用いて、動き部分を検出するこ

1 3

とができる。一例として、画像 Iと画像 Iの各画素に関して差分をとり、ある閾値以上

1 3

である場合は、動きがあった部分として登録するという方法がある。被写体自体の動きに起因する像ぶれがな力たと判定した場合 (ステップ S108 : No)は、ステップ S1 12に進む。動きが検出された場合 (ステップ S108 :Yes)は、ステップ S109に進む。

[0058] ステップ S109において、ステップ S107で検出された動き部分に関して、適切なホワイトバランス (WB)調整を行うための補正処理が可能かどうか判定を行う。この判定処理はたとえば、ステップ SI 07において動き部分として登録された画素数の画像全体の画素数に対する比率に基づいて行う方法が適用される。例えば、動き部分として登録された画素数の画像全体の画素数に対する比率 [ratioA]が、予め定めたある一定の閾値 [Threshold]以上である場合には補正が不可能と判定し、閾値未満である場合には補正可能と判定する。

[0059] ステップ S109で、補正不可能であると判定された場合、ステップ S113に進み、補正可能であると判定された場合は、ステップ S110に進む。

[0060] ステップ S113においては、フラッシュ発光ありの撮影画像データ Iに対して、ホワイ

2

トバランス (WB)調整を行い、出力画像 Rを生成し、処理を終了する。ホワイトバランス調整に使用するパラメータ値としては、外光成分にあわせて設定されたパラメータ、フラッシュ光成分にあわせて設定されたパラメータ、または、外光とフラッシュ光の中間成分に基づいて設定されるパラメータのいずれかであり、これらのパラメータを設定したホワイトバランス (WB)調整を実行する。なお、このホワイトバランス調整法は、従来から行われている方法であり、その詳細説明は省略する。なお、適用するパラメータは、 3 X 3行列によって示されるパラメータであり、各画素の色を構成する色成分の変換に適用する行列である。 3 3行歹は、対角成分以外を 0として設定した行列が適用される。

[0061] 次に、ステップ S110およびステップ S112における複数画像データに基づくホワイトバランス（WB)調整処理にっレ、て説明する。ステップ S 110およびステップ SI 12における処理は同一の処理である。この処理の詳細について、図 3を参照して説明する。

[0062] ステップ S201おいて、フラッシュ光あり撮影画像データ Iの成分とフラッシュ光なし

2

撮影画像 Iの画素の各色の成分の差をとり、差分画像 F = I -Iを生成してメモリに格

1 2 1 納する。フラッシュ光なしの撮影を行ったステップ S101とフラッシュ光ありの撮影を行つたステップ S103の間に、被写体が動力、な力たとすれば、差分画像 F = I -Iは、

2 1 外光がまったく無い状態でフラッシュ光のみを照射しフラッシュ光のみが被写体に反射して、カメラの固体撮像素子に入射し撮像される画像と等価なものとなる。次にステップ S202において、画像 Fに対して、フラッシュ光の色温度にあわせたホワイトバランス (WB)調整を実行する。すなわち、差分画像データ Fをフラッシュ光に合わせて設定したパラメータに基づいてホワイトバランス (WB)調整を実行する。さらにフラッシュ光が明るすぎるまたは喑すぎる場合に、画像の明るさが最適になるようにレベル調整し、補正画像 F'を生成する。

[0063] 次にステップ S203において、フラッシュ光なし撮影画像データ Iに対して、外光に

1

合わせたホワイトバランス (WB)調整を実行する。すなわち、フラッシュ光なし撮影画像データ Iを外光に合わせて設定したパラメータに基づいてホワイトバランス (WB) 調整を実行し、補正画像 I 'を生成する。

1

[0064] これは、従来から広く知られているホワイトバランス (WB)調整によって実行される。

例えば、特開 2001—78202に述べられている技術を適用可能である。特開 2001— 78202では、フラッシュ発光ありで撮影した画像 Iとフラッシュなしで撮影した画像 I

2 1 の差分画像 Fと既知のフラッシュの分光特性から、物体色成分データおよび外光の分光分布を照明成分データとして求める。この照明成分データを用いて、画像 Iのホ

1 ワイトバランス (WB)調整を実行する。

[0065] 次にステップ S204において、差分画像 F'と補正画像 I 'を加算することによりホワイトバランス (WB)調整画像 Rを生成する。以上のステップにより、動きが無い部分に関してホワイトバランス (WB)調整画像 Rは、フラッシュ光による成分、外光による成分が独立にホワイトバランス (WB)調整されたものとなる。

[0066] 図 4は、図 3のフローに従って実行する 2つの画像に基づくホワイトバランス（WB)調整画像 Rの生成原理を説明する図である。すなわち、フラッシュ光なし撮影画像データ Iとフラッシュ光あり撮影画像データ Iとに基づくホワイトバランス (WB)調整画像 R

1 2

の生成原理を説明する図である。

[0067] 図 4 (a)は、フラッシュ光あり撮影画像データ Iのある座標位置 (x， y)における画素

2

を RGB空間上でベクトル V3として示した図である。ベクトル V3は、（R, G, B)の値として、（ir， ig, ib)を持つ。このベクトル V3は、外光成分とフラッシュ光成分両者を含む照射光に基づレ、て取得された画素値である。

[0068] 従って、このベクトル V3は、外光成分のみの撮影によって取得された同じ座標 (X, y)における画素値、すなわち、フラッシュ光なし撮影画像データ Iの画素値に基づくベクトル VIと、外光のないフラッシュ光のみの仮想条件で撮影した場合に取得される画像の画素値成分からなるベクトル V2の加算値に相当する。

[0069] 従って、ベクトル V3からベクトル VIの示す画素値を減算することで、ベクトル V2の画素値、すなわち、外光のないフラッシュ光のみの仮想条件で撮影した場合に取得される画像の画素値が取得される。この結果を示すのが、図 4 (b)のベクトル V2である。ベクトル V2によって示されるフラッシュ光のみの照射条件の画素値をフラッシュ光成分に基づいて設定されたパラメータに従って、ホワイトバランス調整を実行して、補正画素値を求め、補正画素値からなるベクトル V2'が求められる。このベクトル V2'の示す画素値によって構成される画像が、図 3のステップ S202におけるホワイトバランス調整の結果として得られる補正画像 F'に相当する。すなわち、図 4 (a) , (b)の処理は、図 3のフローにおけるステップ S201、 202に相当する。

[0070] 図 4 (c)は、フラッシュ光なし撮影画像データ Iの画素値に基づくベクトル VIに対応する画素値を外光成分に基づいて設定されたパラメータに従って、ホワイトバランスの調整を実行して、補正画素値を求め、補正画素値からなるベクトル VI'を求める処理であり、このベクトル VI'の示す画素値によって構成される画像が図 3のステップ S 203におけるホワイトバランス調整の結果として得られる補正画像 I 'に相当する。すなわち、図 4 (c)の処理は、図 3のフローにおけるステップ S203に相当する。

[0071] 図 4 (d)は、図 4 (b)に示される補正画像 F'に相当するベクトル V2'の示す画素値と、図 4 (c)に示される補正画像 I 'に相当するベクトル VI'の示す画素値とをカ卩算し、

1

最終的なホワイトバランス調整画素値を持つホワイトバランス調整画像データ Rを生成する処理を示している。すなわち、ある座標（X, y)におけるホワイトバランス調整画素値は図 4 (b)に示される補正画像 F'に相当するベクトル V2'の示す画素値と、図 4 ( c)に示される補正画像 I 'に相当するベクトル VI'の示す画素値とを加算した結果得

1

られる画素値である。すなわち、図 4 (d)の処理は、図 3のフローにおけるステップ S2 04に相当する。

[0072] このように、本実施例におけるホワイトバランス調整処理は、外光成分とフラッシュ光成分の両者が含まれる画像について外光成分のみで撮影された画像とフラッシュ光成分のみで撮影された画像の 2つの画像に分離し、外光成分のみで撮影された画像については外光成分に基づいて設定されたパラメータに従ってホワイトバランスの調整を実行し、フラッシュ光成分のみで撮影された画像にっレ、てはフラッシュ光成分に基づいて設定されたパラメータに従ってホワイトバランスの調整を実行し、再度これらの補正画素値を加算して最終的なホワイトバランス調整画像 Rを求める構成である。このように、 2つの光成分に対して独立にそれぞれの光成分に適合したパラメータでホワイトバランス調整を行うことになり、適正なホワイトバランス調整が実行される。すなわち、あた力も外光とフラッシュ光が同一色である状況の下で撮影されたような調整画像の生成が可能となる。

[0073] 図 2のフローに戻りステップの説明を続ける。ステップ S 112で上述した複数画像に基づくホワイトバランス調整処理が行われると、そのホワイトバランス調整画像 R力最終的な出力画像として設定され、処理が終了する。

[0074] 一方、ステップ S110で上述した複数画像に基づくホワイトバランス調整処理が行われる場合は、被写体自体の動きに起因する像ぶれがあると判定され、その像ぶれについての補正が可能と判定された場合であり、ステップ S110で生成したホワイトバランス調整画像 R中、被写体自体の動きに起因する像ぶれの画像領域、すなわち動き部分領域については、ステップ S111において画素値補正処理を実行する。すなわち、ステップ S107で検出した動き部分の画素値に対して例外処理を行レ、、ホワイトバランス調整画像 Rを修正する。修正処理は、例えば、動きが検出された部分に対応するフラッシュ発光あり撮影画像データ Iの画素値を入力として、ホワイトバランス

2

調整画像 Rにおける動きが無かった部分の画素値を参照して、動きが検出された部分の画素値を決定し、最終的な画像を合成する方法がある。

[0075] この合成手法について説明する。画像にあらわれる物体の色は、光がその物体に反射し撮像素子に入射し撮像されたものである。たとえば、白色光源下で、ある物体が画像上で赤色である場合、その物体は、赤色に相当する周波数の可視光をよく反射し、それ以外の色に相当する周波数の光は吸収する特性を持っている。つまり、物体には、各周波数の光に関して固有の反射率を持っていると言える。いま、物体の各 RGB色成分に関する光の反射率を (o , o , o )として、ある色温度の光を (1 , 1 , 1 )

r g b r g b であらわす。光 (1 , 1 , 1 )が物体 (ο， ο , ο )に反射した光がカメラによって撮像され r g b r g b る時、撮像された画像を構成する画素の値 (i， i， i )は、以下に示す式 (式 1)で表現すること力 Sできる。

[0076] (i, i , i ) = (k*l *o, k*l *o , k*l *o )

r g b r r g g b b

····· (式 1)

[0077] 上記式において、 kは光の強さを表すスカラー値である。

いま、例えば外光とフラッシュ光のように 2つの照射光として、光源 1(1

lr， 1 , 1 )，と lg lb

、光源 2(1 , 1 , 1 )があり、これらの 2つの光が、ある物体（o， o , o )に反射した光

2r 2g 2b r g b

をカメラで撮像する場合、カメラの撮影画像の画素値 (i , i , i )は、以下に示す式（

r g b

式 2)で表現することができる。

(i, i , i ) = ((k *1 +k *1 ) *o , (k *1 +k *1 ) * o , (k * 1 +k *1 ) r g b 1 lr 2 2r r 1 lg 2 2g 1 lb 2 2b

*o )

b

……（式 2)

ここで、 kは光源 1の強さ、 kは光源 2の強さを表すスカラー値である。

1 2

[0078] いま o， = k *o、 o，=k *o、 o， = k *oとおくと上記式（式 2)は、以下に示す

r 1 r g 1 g b l b

式 (式 3)のように変換できる。

(i， i， i ) = ((l +k，*l ) *o，， (1 +k，*l ) *o，， (1 +k，*l ) *o，） r g b lr 2r r lg 2g g lb 2b b

(式 3)

[0079] ここで k' = k /kであり、 k'は、 2つの光源の光強度スカラー比である。すなわち、 k

2 1

'は、注目する画素に撮像された被写体の部分における、光源 1と光源 2から照射される光の強度スカラー比である。

[0080] ここで外光とフラッシュ光の 2種類の光が物体に反射されて撮像された画像 I上で

2 のある画素値 (i， i , i )に関して考える。上記式 (式 3)における光源 1を外光、光源 2 r g b

光とする。外光の色 (1 , 1 , 1 )は、従来から行われているオートホワイト

lr lg lb

バランス調整で用いられる方法により計測することができる。またフラッシュ光の色 α

2r

, 1 , 1 )は、フラッシュ装置に固有のものであるので、既知でありあら力、じめ設定する

2g 2b

ことが可能である。さらに k'が既知である場合、画素 (i , i , i )は、外光成分 α *ο ' r g b 丄 r r

, 1 *o '， l *o，）、フラッシュ光成分（k'*l *o，， k，*l *ο ', k，*l *ο ')に lg lb b 2r r 2g g 2b b 分解することができる。外光成分、フラッシュ光成分それぞれを分離して独立に WB 処理し、足し合わせ画像を再構成すると、外光とフラッシュ光の色温度の違いによる画像の不自然さを解消することができる。

[0081] 図 2を参照して説明したフロー中の、ステップ S107において検出された動き部分に対して、ステップ S111の画素値補正を上述した処理に従って実行する。以下、具体的な処理例について説明する。

[0082] 前述したように、ステップ S107では、ステップ S101、 S103、 S105の 3枚の画像の撮影の間に、被写体自体の動きに起因する像ぶれがあつたか否力、を検出する。この被写体自体の動きに起因する像ぶれがあつたか否かの検出処理は、 3枚の画像から

2つの画像を比較して行われる。

[0083] たとえば、図 5に示すように、（a)フラッシュ光なし画像 Iと、（b)フラッシュ光あり画像 Iと、（c)フラッシュ光なし画像 Iを連続撮影している間にボール 200が転がっている

2 3

場合、（a)の画像 Iと（c)の画像 Iの差分画像 (d) I -Iを取得し、被写体自体の動き

1 3 3 1

に起因する像ぶれの発生領域 210を検出する。

[0084] 図 6、および図 7を参照して、動き部分の画素値補正処理の具体的処理手順について説明する。図 6は動き部分の画素値補正処理の具体的処理手順を示すフローチャートであり、図 7は、補正対象となる動き部分を含む画素領域を示している。すなわち、図 5における領域 210の部分である。

[0085] 図 7に示すように、動いていると判定された画像領域中、動いていないと判定された画像領域の隣接画素（周囲 8画素に含まれる位置の画素）を、動きあり部分の内周画素 250と定義する。また、動いていると判定された画像領域中、内周画素 250以外の画素を動きあり非内周画素 252とする。

[0086] また、動いていないと判定された画像領域において、動いていると判定された画像領域の隣接位置の画素 (周囲 8画素に含まれる位置の画素）を、動きあり部分の外周画素 251と定義する。また、動いていないと判定された部分において、動きあり部分の外周画素 251以外の画素を動きなし非外周画素 253とする。

[0087] 動きあり部分の画素に関して、光源 1 (外光）の強さ（スカラー値) kと、光源 2 (フラッ

1

シュ光）の強さ（スカラー値) kの比率、すなわち、光強度スカラー比 k' =k /kの値

2 2 1 は未知である。ここで目標とする正しくホワイトバランス (WB)調整が行われ、かつ動き部分の補正がなされた画像は、動きあり部分と、動きなし部分の画素値が滑らかに変化する画素構成を持つと仮定する。

[0088] この仮定の下、動きあり部分外周画素 251に関して光強度スカラー比 k'の値を求める。これらの動きあり部分外周画素 251画素に関しては、前述の式 (式 3)における外光成分 (1 * o '

lr r， 1 * o ', 1 * o ')は、フラッシュなし撮影画像データ Iにおける対

lg g lb b 1

応する画素の値と等しいので、光強度スカラー比 k' = k /kの値は、フラッシュあり

2 1

撮影画像データ Iの画素値 (i

2 r， i

g， i )ならびに式 (式 3)に基づいて、求めることがで b

きる。この動きあり部分外周画素 251についての、光源 1 (外光）の強さ（スカラー値) k と、光源 2 (フラッシュ光）の強さ（スカラー値) kの比率: k' = k /kの算出処理が図

1 2 2 1

6のステップ S301の処理である。

[0089] このステップ S301の処理により、動きあり部分外周画素 251に関しては、光強度スカラー比 k'が求まる。しかし、動きあり部分に含まれる画素に対応する光強度スカラ一比 k'の値は不明である。これらの動きあり部分に含まれる画素に対応する光強度スカラー比 k'の値を、動きあり部分外周画素 251に対応して算出した k'の値から補間する。補間方法の一例として挙げられるの力放射基底関数 (RBF : Radial Basis Function)を適用した処理である。

[0090] 放射基底関数 (RBF)を用いたデータの補間に関する参考文献として、たとえば、 J . C. Carr, et al, Reconstruction and Representation oi 3D Objects with Radial Basis Function, " ACM SIGGRAPH 2001 , Los Angele s, CA, pp67_76, 12—17 August 2001 が挙げられる。

[0091] Radial Basis Function (放射基底関数）とは，中心点から距離が離れるにつれて，値が単調に減少ほたは増カロ）し，その等高線が超球（2次元の場合，円または楕円）になる関数のことをいう。高さのわかっているサンプノレ地点を通過し、かつ、できるだけ滑らかになるような関数を構成することによって未知の地点の高さの値をも見積もるという問題を解決するためには、既知のサンプノレ地点を中心とする RBFを重ね合わせればよレ、、とレ、うことが分かっている。

[0092] 具体的には、サンプノレ点が 2次元空間上にある場合には、サンプノレ点を、

[数 5]

とする。 c.^x, はそれぞれ、サンプル点 iにおける x座標値、 y座標値を表す）、それぞれの地点での高さを {hi} (l≤i≤n)としたとき、求めたい関数

[数 6]

は、 RBFを用いて以下の式（式 4)のようにあらわされる。

[数 7] n

/( ） = P(x) + d^{x一 Cj )

ゾ =ι

. . . . (式 4) ここで、

[数 8]

p(x) = p₀ +p_lx + p₂y

である。

なお基底関数

[数 9]

の例としては、

[数 10]

などがある。

しかし上記式 (式 4)のみでは {d } (l≤i≤n)， {ゎ i (0≤i≤2)を特定することができなレ、。そこで、以下の式 (式 5)を満たす {d}(l≤i≤n)， {p}(0≤i≤2)を求める。

i i

[数 11]

• · · · (式 5

したがって、下式、

[数 12]

ならびに式（式 5)力、ら（未知数の数 n+ 3、式の数 n + 3) {d} (l≤i≤n)， {p } (0≤i ≤ 2)を求めることができる。 [0096] 動きあり部分外周画素 251における光強度スカラ

[数 13]

を構築すれば、任意の位置における光強度スカラー比 k'を求めることができる。

[0097] この処理が図 6におけるステップ S302のサンプル点の光強度スカラー比 k' (動きあり部分外周画素 251における k')に基づく RBF構築処理である。

[0098] この RBF構築処理により、動いていると判定された部分のフラッシュあり撮影画像データ I上での各画素に対応する光源 1(外光）の強さ（スカラー値) kと、光源 2 (フラ

2 1 ッシュ光）の強さ（スカラー値) kの比率、すなわち、動きあり部分に含まれる画素各々

2

に対応する光強度スカラー比 k':k'=k /kを推定する。推定された各画素対応の

2 1

光強度スカラー比 k'を用いて、画像 Iの動きあり領域部分を外光成分とフラッシュ成

2

分に分解し、それぞれの光の色温度にあわせて個々にホワイトバランス (WB)調整処理を実行する。

[0099] 即ち、動きあり部分の各画素位置において、光強度スカラー比 k'が求まるので、この k'と、フラッシュあり撮影画像データ Iの各画素位置における画素値 (i， i， i )、お

2 r g b よび既知である光源 1(外光）の光成分 (1 , 1 , 1 )と光源 2 (フラッシュ光）の光成分

lr lg lb

(1 , 1 , 1 )を、上述の式 (式 3)に代入し、光源 1(外光）にのみ基づく被写体の反射

2r 2g 2b

率、（ο', ο ', ο ')が求まる。

r g b

[0100] さらに、外光成分のみが照射された場合の被写体の画素値： (1 *o '， 1 *o '， 1 lr r lg g lb

*o ')と、フラッシュ光成分のみが照射された場合の被写体の画素値：（k'*l *o ' b 2r r

, k'*l *o k'*l *o，）と求め、それぞれに対して、先に図 3、図 4を参照して説

2g g 2b b

明したそれぞれの光成分に応じた独立したパラメータの設定による 2つのホワイトバランス調整を実行し、それらの調整データを再合成する処理により、最終的なホワイトバランス調整画素値を算出する。

[0101] 動きあり部分の画素値の補正の手順をまとめると以下の a f処理となる。 a.まず、動きあり部分に隣接する動きなし部分の画素に対応するデータとして、その画素に撮像された被写体の部分における、前記第 1光源のみから照射される光と、前記第 1光源なしで外光のみから照射される光の 2種類の光源の光強度スカラー比を算出する。

b.放射基底関数（RBF : Radial Basis Function)を適用して、動きあり部分の各画素対応の光強度スカラー比を算出する。

c動きあり部分の各画素対応の光強度スカラー比に基づいて、第 1光源のみの照射環境下での撮影画像に相当する画像における動きあり部分の各画素の画素値を第 1画素値として算出する。

[0102] d.動きあり部分の各画素対応の光強度スカラー比に基づいて、第 1光源を含まない外光照射環境での撮影画像に相当する画像における動きあり部分の各画素の画素値を第 2画素値として算出する。

e.第 1画素値に基づいて画素値調整処理 (ホワイトバランス調整)を実行し、第 2画素値に基づレ、て画素値調整処理 (ホワイトバランス調整）を実行する。

f.生成した 2つの調整画素値を加算する。

[0103] このように動き部分に含まれる画素についてのホワイトバランス (WB)調整画素値を図 2のステップ S110において生成した画像データ Rに上書きし、第 1補正画像データ R'を求める。すなわち、撮影画像に被写体の動きに起因する動き領域についての画素値のみが、ステップ S111において再設定されて、ステップ S110において生成したホワイトバランス調整画像 Rに上書きを行い、第 1補正画像データ R'を求める。

[0104] なお、先に、図 3の処理フローにおいて説明したように、フラッシュ光のレベル補正（ S202)を行った場合は、動き部分の画素値算出の際にも同等のレベル補正を行つた後に、外光成分とフラッシュ光成分に基づくホワイトバランス調整画素値の足し合わせを行う。

[0105] このようにして動き部分の画素値が再設定され、画像 Rの動き部分領域に相当する画素を書き換える。この処理が、図 6におけるステップ S303の処理である。

[0106] し力、し、上述の動きあり領域において再設定した画素値を、ステップ S110において生成済みのホワイトバランス調整画像 Rに上書きして求めた第 1補正画像 R'において、元々の画像 Rの動きなし部分の画素と、動きあり部分の再設定画素の境界が滑らかにつながらない場合がある。原因としては、外光の色を正しく測定できなかった場合や、フラッシュあり撮影画像 Iで白抜けが起こっている場合などが考えられる。そこで

2

、そのような場合に対応するために、境界部分を滑らかに設定する、さらなる色変換処理を実行する。

[0107] 具体的には、図 6のステップ S304— 306の処理を行う。ステップ S304において、まず、第 1補正画像 R'の動きあり部分内周画素 250のうちのある画素 a254 (図 7参照）についての画素値と、画素 _a254の隣接画素（周囲 8画素に含まれる位置の画素）のうち動きあり部分外周画素（図 7における画素 255)の第 1補正画像 R'における値の平均値とについての各色成分の比（ひ , , a )を求める。この比を画素 a254に対 r g b

応する色成分比データとして保存する。

[0108] 同様に、動きあり部分内周画素 250のすベての位置の各画素に対応する各色成分の比（α， α , ひ）を画素対応色成分比データとして算出し、各画素に対応する色 r g b

成分比データとして保存する。

[0109] 次に、ステップ S305において、動きあり部分内周画素 250のすベてをサンプル点として用いて色成分比データに基づく RBFを構築する。最後に、ステップ S306において、動きあり部分の各画素に関して、構築した色成分比データに基づく RBFに基づいて、動きあり部分の各画素に対応する色成分比データ（a , a , a )を求め、 r g b 第 1補正画像 R'において設定されている各画素の画素値に対応画素の色成分比デ →( a , a , a )を乗算することにより、新たな画素値を算出し、この画素値を動き r g b

あり部分の画素とした第 2の色変換を実行する。この第 2の色変換処理を実行して得られた第 2補正画像 R〃を出力画像とする。この処理が図 6のステップ S306の処理である。

[0110] なお、図 6におけるステップ S303までの処理を行って得られる第 1補正画像 R'において、動きあり部分画像と動きなし部分画像の境界が滑らかにつながつている場合には、ステップ S304力、らステップ S306の処理は省略して良い。

[0111] 以上の説明では、サンプノレ点で与えられた値をほかの点において補間する方法に関して、 RBFを用いる方法を述べたが、これに限らず別の方法で補間してもよい。以上の処理が、図 2のステップ SI 11の具体的な処理例である。このように、連続撮影画像から、被写体自身の動きに基づく像ぶれが検出された場合には、図 6に示すフロ一に従った処理が実行され、前述した処理によって生成される第 2補正画像 R"または第 1補正画像 R'が最終出力画像とされる。

[0112] なお、予め被写体自身の動きがないことが分かっている場合は、図 2のステップ S1 07力、ら 111の処理は不要となる。また、ステップ S108の判定も常に Noであるので、ステップ S108の判定処理を行う必要はなぐ従ってステップ S108の判定のために使うデータを作成し格納するステップ S105、 106も不用である。

[0113] このように、予め被写体自身の動きがないことが分かっている場合は、ステップ S10 5で撮影するフラッシュなし撮影画像 Iは不用な画像であり、この場合には、フラッシ

3

ュなし撮影画像 Iとフラッシュあり撮影画像 Iの 2枚の画像のみを撮影すればよい。

1 2

[0114] なお、ここでは、被写体が暗い場合に発光する照明装置としてフラッシュという用語を用いて説明したが、このほかに、ストロボと呼ばれることもあり、フラッシュに限定されるわけではなぐ一般的に被写体が暗い場合に発光する照明装置において本発明は適用される。

[0115] 以上、説明したように、本実施例においてはフラッシュと外光等、複数の異なる光照射の下に撮影される画像について、単一の照射光環境下での撮影画像を取得または生成し、それぞれの単一の照射光環境下の画像について、それぞれの照射光の色成分 (色温度）に基づいて設定されるパラメータに従ったホワイトバランス調整を実行し、それらを合成することにより、フラッシュと外光との色温度の差を軽減させた適格なホワイトバランス調整処理を実現することができる。

[0116] 図 8は、本実施例に従った処理を実行するデジタル信号処理部（DSP) (図 1の DS P106に相当）の機能構成を示すブロック図である。

[0117] 図 2に示すフローチャートと対比しながら、図 8に示すデジタル信号処理部（DSP) における処理について説明する。

[0118] 図 2のステップ S101— 106において、撮影されたフラッシュなし画像 I、フラッシュあり画像 I、およびフラッシュなし画像 Iは、それぞれフレームメモリ 301 , 302, 303

2 3

に格納される。なお、画像格納用のフレームメモリとしてはデジタル信号処理部（DS P)内に構成したメモリを適用してもバス接続されたメモリ（図 1のメモリ 112)を適用してもよい。

[0119] ステップ S107の動き検出処理は、動き検出部 309において実行される。これは、先に図 5を参照して説明したようにフラッシュなし画像 Iと、フラッシュなし画像 Iに基

1 3 づく差分データによる検出処理として実行する。

[0120] ステップ S112の複数画像データに基づくホワイトバランス調整処理は、先に図 3、図 4を参照して説明した処理である。

[0121] まず、フラッシュなし画像 Iと、フラッシュあり画像 Iに基づいて、差分画像算出部 3

1 2

04において差分画像データ F = I -Iを求める（図 3， S201) _o次に、差分画像デー

2 1

タ F = I -I、すなわちフラッシュ光のみの照射条件で撮影した画像に相当する画像

2 1

Fに対して、ホワイトバランス調整部 307でフラッシュ光の成分に基づレ、て設定されるパラメータに従ったホワイトバランス調整処理を実行する（図 3， S202)。さらに、外光成分推定部 306で推定した外光成分の推定値に基づいて設定されるパラメータに従つたホワイトバランス調整処理をフラッシュなし画像 Iに対してホワイトバランス調整部

1

305で実行する（図 3, S203)。

[0122] さらに、これらの 2つのホワイトバランス調整処理によって取得した 2つの画像の画素値を画素値加算部 308において加算する（図 3, S204)。

[0123] 撮影画像に動き部分が含まれない場合は、動き部分補正画素値算出部 310において処理を実行することなぐ画素値加算部 308において加算した画素値を持つ画像データがホワイトバランス調整画像として出力切り替え部 312を介して出力される。出力先はデジタルアナログ変換を実行する D/A変換器 108 (図 1参照）や、符号ィ匕処理を実行するコーデック 111などである。

[0124] 一方、動き検出部 309においてフラッシュなし画像 Iと、フラッシュなし画像 Iに基

1 3 づく差分データによる動き検出の結果、被写体自身の動き領域が検出された場合は

、さらに、動き部分補正画素値算出部 310において、先に図 6、図 7を参照して説明した動きあり部分の画素値の補正（変換）がなされ、動きあり部分が、補正画素値によつて置き換えられた画素値データを持つ画像が出力切り替え部 312を介して出力される。 [0125] ホワイトバランス調整部 311は、図 2の処理フローにおけるステップ S113の処理を実行する。すなわち、動き検出部 309において動き領域が検出されたものの、動き領域の画像全体に占める割合が高いなど、補正不可能と判断された場合に、フラッシュあり画像 Iを入力し、予め定めたパラメータに従ったホワイトバランス調整を実行し

2

、これを出力切り替え部 312を介して出力する。

[0126] なお、図 8に示す構成は、機能を説明するために各処理部を区別して示してあるが、実際の処理としては、上述した各処理フローに従った処理を実行するプログラムに従って、 DSP内のプロセッサによって実行可能である。

[0127] 上述したホワイトバランス調整処理では、図 3、図 4を参照して説明したように、外光成分、フラッシュ光成分各々についての単一照射光画像データを求め、これらの画像データについて、外光成分、フラッシュ光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理を実行する構成例を説明した。

[0128] 次に、フラッシュ光のみの照射光条件に相当する差分画像データ F = I — Iに対し

2 1 て、外光成分に基づいて設定されるパラメータに従ったホワイトバランス調整処理を実行する構成例について説明する。

[0129] 図 9に、先の実施例における図 3のフローに相当する本実施例の複数画像データに基づくホワイトバランス調整処理フローを示す。

[0130] ステップ 401おいて、フラッシュ光あり撮影画像データ Iの成分とフラッシュ光なし撮

2

影画像 Iの画素の各色の成分の差をとり、差分画像 F = I -Iを生成してメモリに格納

1 2 1

する。差分画像 F = I — Iは、外光がまったく無い状態でフラッシュ光のみを照射しフ

2 1

ラッシュ光のみが被写体に反射して、カメラの固体撮像素子に入射し撮像される画像と等価なものとなる。次にステップ 402において、画像 Fに対して、外光の色温度にあわせたホワイトバランス (WB)調整を実行し、補正画像 F'を生成する。すなわち、差分画像データ Fを外光の色温度に合わせて設定したパラメータに基づいてホワイトバランス (WB)調整を実行して、補正画像 F'を生成する。

[0131] この際、差分画像 Fとフラッシュ光なし撮影画像 Iの各画素を直接比較することによ

1

り、フラッシュ光が外光の色に合うようにホワイトバランス調整処理を行う。この WB処理の具体的な例としては、差分画像 Fの画素 (r , g , b )と同じ位置のフラッシュ光なし撮影画像 Iの画素（r, g, b)を用いて、差分画像 Fの画素の R、 Bの成分を、フラッ

1 i i i

シュ光なし撮影画像 Iの画素の G信号のレベルに合わせて、以下の（式 6) (式 7)を

1

用レ、た画素値変換を実行する。

r'=r * (g/g) …（式 6)

f f i f

b'=b * (g/g) …（式 7)

f f i f

[0132] 次に、 r 'と r、 b 'と bを比較して次の値を得る。

f i f i

a=r/r，=(r*g) (r *g)

r i f i f f i

…（式 8)

a =b/b'=(b *g)/(b *g)

b i f i f f i

…（式 9)

[0133] 上記（式 8)ならびに（式 9)を用いて求めた aと aを全画素に関して平均することによ

r b

り WBパラメータを求める。求めたパラメータを画像 Fの各画素の R成分、 B成分に掛け合わせることによりホワイトバランス調整が行われる。この処理により、画像 Fは、あた力も外光と同じ色のフラッシュが発光されて撮影されたかのような画像に変換され画像 F'として保存される。

[0134] さらに、ステップ 403において、差分画像 F'とフラッシュ光なし撮影画像 Iを合成し

1

第 1ホワイトバランス調整画像 Rを生成する。第 1ホワイトバランス調整画像 Rは、外光とフラッシュ光の色温度が一致した画像となる。

[0135] 最後にステップ 404において、第 1ホワイトバランス調整画像 Rに対してさらに、ホワイトバランス調整を行い、第 2ホワイトバランス調整画像 Rを生成する。

2

[0136] ステップ 404における WBのパラメータに関しては、ユーザーが設定した値を用いても良いし、公知のオートホワイトバランス技術を用いて、最終的な第 2ホワイトバランス調整画像 Rが自然な色合いになるように変換しても良レ、。

2

[0137] この実施例に従った処理により、外光の成分をより尊重したホワイトバランス調整が可能になる。具体的には、外光が夕焼け当により赤みがかった、すなわち R成分の多い場合には、全体を赤みがかった色合いで調整するなど、外光に応じた調整が可能となる。

[0138] 図 10は、本実施例に従った処理を実行するデジタル信号処理部（DSP) (図 1の D SP106に相当）の機能構成を示すブロック図である。

[0139] 図 9に示すフローチャートと対比しながら、図 10に示すデジタル信号処理部（DSP

)における処理について説明する。

[0140] 図 2のステップ S101— S106において、撮影されたフラッシュなし画像 I、フラッシ

1 ュあり画像 I、およびフラッシュなし画像 Iは、それぞれフレームメモリ 401 , 402, 40

2 3

3に格納される。

[0141] フラッシュなし画像 Iと、フラッシュあり画像 Iに基づいて、差分画像算出部 404に

1 2

おいて差分画像データ F = I -Iを求める（図 9， S401)。次に、差分画像データ F =

2 1

I -I、すなわちフラッシュ光のみの照射条件で撮影した画像に相当する画像 Fに対

2 1

して、ホワイトバランス調整部 405で外光成分に基づいて設定されるパラメータに従つたホワイトバランス調整処理を実行する（図 9, S402)。さらに、このホワイトバランス調整処理によって取得した補正画像 F'とフラッシュなし画像 Iとの画素値を画素値加

1

算部 406において加算し、第 1ホワイトバランス調整画像 Rを生成する（図 9, S403)

1

。さらに、ホワイトバランス調整部 407において、第 1ホワイトバランス調整画像 Rに対してホワイトバランス調整を行い、第 2ホワイトバランス調整画像 Rを生成する。

2

[0142] 撮影画像に動き部分が含まれない場合は、動き部分補正画素値算出部 409において処理を実行することなぐ第 2ホワイトバランス調整画像 Rをホワイトバランス調整

2

画像として出力切り替え部 411を介して出力する。出力先はデジタルアナログ変換を実行する D/A変換器 108 (図 1参照）や、符号ィ匕処理を実行するコーデック 111などである。

[0143] —方、動き検出部 408においてフラッシュなし画像 Iと、フラッシュなし画像 Iに基

、さらに、動き部分補正画素値算出部 409において、先に図 6、図 7を参照して説明した動きあり部分の画素値の補正（変換）がなされ、動きあり部分が、補正画素値によつて置き換えられた画素値データを持つ画像を出力切り替え部 411を介して出力する。

[0144] ホワイトバランス調整部 410は、図 2の処理フローにおけるステップ S113の処理を実行する。すなわち、動き検出部 408において動き領域が検出されたものの、動き領域の画像全体に占める割合が高いなど、補正不可能と判断された場合に、フラッシュあり画像 Iを入力し、予め定めたパラメータに従ったホワイトバランス調整を実行し

2

、これを出力切り替え部 411を介して出力する。

[0145] なお、図 10に示す構成は、機能を説明するために各処理部を区別して示してある力実際の処理としては、上述した各処理フローに従った処理を実行するプログラムに従って、 DSP内のプロセッサによって実行可能である。

[0146] 本実施例に従えば、外光の成分をより尊重したホワイトバランス調整が可能になる。

実施例 2

[0147] 次に、本発明の実施例 2として、上述したと同様、外光とフラッシュ光が混在する環境下における撮影の最適なホワイトバランス調整処理を実行する画像処理方法、および画像処理装置において、図 2のフローにおけるステップ S111の処理、すなわち、動き部分の画素値補正処理方法として実施例 1の手法と異なる手法を採用した構成について説明する。本方法は、例えば高解像度画像の高速処理を可能とするものである。

[0148] 上述した実施例 1においては、フラッシュ光と外光との色温度の差を解消することの出来る構成を説明した。その構成の概要は、まず、フラッシュを発光して撮影した画像と、フラッシュを発光しないで撮影した画像との差分画像から、フラッシュ光のみ成分を抽出し、その後、この差分画像とフラッシュを発光しないで撮影した画像に対して、独立に色変換を施し再合成することにより、外光とフラッシュ光との色温度の差を解消するものである。

[0149] この構成によれば、複数枚の画像を連射する必要があるが、その間に被写体などの動きがあった場合にも対応することができる。すなわち、フラッシュ発光なし、あり、なしの順序で 3枚の画像を連射し、 2枚のフラッシュ発光なし画像の差分から、被写体の動き部分を検出し、動き部分に含まれる画素に関して、フラッシュ光反射成分の外光反射成分に対する比率を、動き部分以外の画素におけるデータから、放射基底関数を用いて、補間処理を行うものである。

[0150] すなわち、実施例 1では、図 1に示すステップ S111の処理、すなわち、ホワイトバランス調整画像 Rにおける動き部分の画素値補正処理を図 6に示す処理フローに従つて実行した。

[0151] しかし、上述した動き部分の補償方法は、必要なメモリサイズが大きくなり、計算コストが高くなる場合がある。特に補正対象となる画像の解像度が高ければ高いほど、必要なメモリサイズ、計算コストの増大を招くとレ、う問題がある。

[0152] 実施例 2は、以上のような問題点を解決するものであり、フラッシュを発光して行われる撮影において、外光とフラッシュ光の色温度の違いに起因する不自然さを解消することが出来、さらに像ぶれが検出された場合においても、破綻することなく最適にかつ効率よく処理を行うことができ、対象画像の解像度が高い場合にも、効率よく高速に処理を行うことが可能な構成例である。

[0153] 実施例 2の画像処理装置は、先に実施例 1において図 1を参照して説明した構成と同様の構成を有する。デジタル信号処理部（DSP) 106における処理に特徴を有する。以下、本実施例 2に係る画像処理の詳細について説明する。

[0154] 画像処理は、 DSP106内部において、入力された画像信号のストリームに対して演算ユニットが所定のプログラムコードに記述された演算を順次実行するようにして実現される。以降の説明では、そのプログラム中の各処理が実行される順序をフローチヤートで説明する。し力しながら、本発明は本実施例で説明するようなプログラムとレ、う形態以外にも、以降で説明する機能と同等の処理を実現するハードウェア回路を実装して構成してもよい。

[0155] 本実施例におけるホワイトバランス (WB)補正処理の手順の基本処理は、上述した実施例 1において説明した図 2に示すフローチャートに従って実行される。すなわち、フラッシュ発光なし、あり、なしの順序で 3枚の画像を連続撮影し、これらの画像に基づレ、てホワイトバランス調整を行う。

[0156] 本実施例においては、図 2に示すステップ S111の動き部分の画素値補正処理をより効率的に高速化して実行可能としたものである。特に高解像度画像データの処理に際して、少なレ、メモリ容量を持つ装置であっても高速に適切な画素値補正処理が可能となる。

[0157] 図 2に示すステップ S110で上述した複数画像に基づくホワイトバランス調整処理が行われる場合は、被写体自体の動きに起因する像ぶれがあると判定され、その像ぶれについての補正が可能と判定された場合であり、ステップ SI 10で生成したホワイトバランス調整画像 R中、被写体自体の動きに起因する像ぶれの画像領域、すなわち動き部分領域については、ステップ S111において画素値補正処理を実行する。すなわち、ステップ S107で検出した動き部分の画素値に対して例外処理を行レ、、ホヮイトバランス調整画像 Rを修正する。修正処理は、例えば、動きが検出された部分に対応するフラッシュ発光あり撮影画像データ Iの画素値を入力として、ホワイトバラン

2

ス調整画像 Rにおける動きが無かった部分の画素値を参照して、動きが検出された部分の画素値を決定し、最終的な画像を合成する。

[0158] 本実施例に従った画素値補正処理の詳細について、以下説明する。

[0159] 図 11に、図 2のステップ S107において実行される動き検出処理の結果として取得されるデータの一例を表す模式図を示す。

[0160] 図 11において、図 2に示すフローのステップ S107において動いていると判定された部分を動きあり部分画素領域 550、動いていないと判定された部分を、動きなし部分画素領域 551と呼ぶ。

[0161] なお、先に図 3を参照して説明したステップ S204で得られた画像、すなわちホワイトバランス調整画像 Rの動きなし部分画素領域 551の構成画素は、図 2に示すステツプ S103、 S104において、フラッシュ光ありで撮影し、メモリに格納した画像 Iに対し

2 てフラッシュ光と外光の色の違いが軽減されるように正しく色変換が施されたものであると言える。一方、ホワイトバランス調整画像 Rの動きあり部分画素領域 550の構成画素については、被写体の動きが画素値に影響を及ぼしているので、正しく色変換がなされてレ、ない可能性が高レ、と言える。

[0162] そこで、動きあり部分画素領域 550の画素に関しては、フラッシュ光あり撮影画像 I

2 に直接色変換を施し、最終的なホワイトバランス調整画像 Rを求める処理を行う。

[0163] 実施例 1では、図 1に示すステップ S111の処理、すなわち、ホワイトバランス調整画像 Rにおける動き部分の画素値補正処理を図 6に示す処理フローに従って、放射基底関数を用いた補間処理として実行した。

[0164] 本実施例では、実施例 1とは異なるシーケンスでホワイトバランス調整画像 Rにおける動き部分の画素値補正処理を実行する。本実施例 2に係る動き部分の画素値補正処理のシーケンスについて、図 12に示すフローチャートを参照して説明する。

[0165] 図 12は、図 2に示すステップ S111の処理、すなわち、ホワイトバランス調整画像 R における動き部分の画素値補正処理の詳細を示すフローチャートである。各ステップの処理について説明する。

[0166] まずステップ S501において、図 2に示すステップ S110、すなわち、図 3の処理フロ一に従って生成したホワイトバランス調整画像と、図 2に示すステップ S103、 S104 において、フラッシュ光ありで撮影し、メモリに格納した画像 Iを用いて、以下に示す

2

式 (式 21)に基づき、画像差分 dを求める。

d(x, y)=R(x, y)-I (x, y)

2

…（式 21)

[0167] ここで、 d (x, y)， R (x， y) , I (x, y)はすべて、画素位置（x， y)における画像の色

2

に対応したベクトノレであり、上記式はベクトル計算として実行される。

[0168] 上記式 (式 21)においては、ホワイトバランス調整画像 Rと、フラッシュ光あり撮影画像 Iの各画素値の画像差分 dを求めているが、ホワイトバランス調整画像 Rと、フラッ

2

シュ光あり撮影画像 Iの各画素値の差分の変わりにホワイトバランス調整画像 Rと、フ

2

ラッシュ光あり撮影画像 Iの各画素値の比率、すなわち下記式 (式 22)のように、画

2

像比率 dを算出して適用してもよい。

d(x, y)=R(x, y)/(l (x, y)+e)

2

…（式 22)

[0169] 上記式 (式 22)において、 eは十分に小さな固定の値を各要素に設定したベクトル、例えば floor valueである。（式 22)の記号〃/"は、ベタトノレの各要素をそれぞれ除算し、その結果をベクトルの各要素とする演算である。 eは、 I (x, y)の要素が 0にな

2

つた場合に、 d(x, y)を計算できなくなるのを防ぐ目的で使われる。

[0170] いま、ホワイトバランス調整画像と、フラッシュ光あり撮影画像 Iの画像差分または

2

画像比率 d(x， y)が画像全体に渡って正しく求まれば、フラッシュ光あり撮影画像 I

2 を基準として、最終的なホワイトバランス調整画像 Rを算出できる。すなわち、 R(x, y )=d(x， y)+I (x， y)あるいは、 R(x， y) = (I (x， y)+e) *d(x, y)として算出する

2 2

こと力 sできる。ここで、記号〃*"は、ベクトルの各要素を乗算し、結果をベクトルの各要素とする演算である。

[0171] しかし、動きあり部分画素領域 550に関しては、動き画像として現れている可能性があるので、上記式 (式 21)または（式 22)によって算出される画像差分または画像比率 d (x， y)をそのまま適用すると、最適な色味を実現することができない。

[0172] そこで、本実施例においては、動きあり部分画素領域 550に関しての最終補正画素値、すなわち最終的なホワイトバランス調整画像 Rを動きなし部分画素領域 551の領域において求めた画像差分または画像比率 d (x， y)を用いて滑らかに補間することにより算出する。または画像比率 d (x, y)を用いた補間フィルタリング処理を使い滑らかに補間算出することにより算出する。補間フィルタリング処理には、以下に記載するような、例えば、画素領域 550部分で実際に観測される画素値の遷移状況や領域 550周辺の画素値に従い、領域 550周辺力、ら徐々に画素値を補間して行き、さらに低域透過フィルタリング処理を行う、というような方法によって、実現することができる。なお、本発明の補間フィルタリング処理は、これに限定されるものではない。

[0173] 本手法によれば、動きあり部分画素領域 550においても、動きあり部分画素領域 5 50のフラッシュ光あり撮影画像 Iのテクスチャを保持しつつ、色味を、最終的なホワイ

2

トバランス調整画像 Rと同じにしたような画像を生成することが出来る。

[0174] 図 13は、上述の（式 21)、すなわち、ホワイトバランス調整画像尺と、フラッシュ光あり撮影画像 Iの各画素値の画像差分 dの算出式を用いて、動きあり部分画素領域 550

2

に関しての最終補正画素値を求める補間処理を説明する図である。

[0175] 図 13においては、説明を分かりやすくするため、データが 1次元上に並んでいるものとして、その処理を説明するが、実際は、 2次元平面において処理が実行される。図 13 (a) （c)とも、横軸が画素位置を示し、縦軸が画素値 (輝度または R, G， B値）を示している。

[0176] 図 13 (a)は、動きなし部分画素領域 551および、動きあり部分画素領域 550におけるホワイトバランス調整画像 R560と、フラッシュ光あり撮影画像 I 561の画素値推移

2

を示している。

[0177] 図 13 (b)は、動きなし部分画素領域 551において、動きあり部分画素領域 550に近接する部分の画像差分 dの値 562を示している。すなわち、上述の（式 21)、すなわち、ホワイトバランス調整画像 Rと、フラッシュ光あり撮影画像 Iの各画素値の画像

2

差分 dの値 562を示している。

[0178] さらに、図 13 (b)に示す動きなし部分画素領域 551に示す点線は、画像差分 dの値 562を滑らかに補間することにより得られる動きあり部分画素領域 550における画像差分 dの推測値 563を示している。この画像差分 dの推測値 563の算出処理手法については後述する。

[0179] さらに図 13 (c)は、図 13 (a)に示す動きあり部分画素領域 550におけるフラッシュ光あり撮影画像 I 561の値に対して、図 13 (b)に示す動きあり部分画素領域 550に

2

おける推定された画像差分 d563を加算した結果を、動きあり部分画素領域 550における最終的なホワイトバランス調整画像 R564として点線で示した図である。

[0180] この図 13 (c)の動きあり部分画素領域 550に点線で示すホワイトバランス調整画像 R564と、動きなし部分画素領域 551におけるホワイトバランス調整画像 R560とが最終的なホワイトバランス調整画像 Rとして出力される。最終出力画像は、図 13 (c)に示す動きあり部分画素領域 550に点線で示すホワイトバランス調整画像 R564と動きなし部分画素領域 551におけるホワイトバランス調整画像 R560と滑らかに接続された画像となる。この出力画像は、動きあり部分画素領域 550におけるフラッシュ光あり撮影画像 I 561のテクスチャを保持したものとなる。

2

[0181] なお、 d (x, y)として、上述の式（式 21)による画像差分 dではなぐ上述の式（式 22 )を用いた画像比率 dを適用した場合も、上述の方法と同様の補正方法が実行可能である。すなわち、図 13 (b)に示す画像差分 dの代わりに画像比率 dを用い、図 13 (b )に示す動きなし部分画素領域 551に示す点線と同様、画像比率 dの値を、動きあり部分画素領域 550において滑らかに補間することにより動きあり部分画素領域 550 における画像比率 dの推測値を算出し、そののち、画像比率 dを、動きあり部分画素領域 550におけるフラッシュ光あり撮影画像 I 561の画素に掛け合わせることにより、

2

動きあり部分画素領域 550のホワイトバランス調整画像 Rを算出することが出来る。

[0182] 次に、ホワイトバランス調整画像 Rと、フラッシュ光あり撮影画像 Iの各画素値の画

2

像差分または画像比率 dを適用した補間方法の詳細について述べる。

[0183] 図 12に示すフローにおけるステップ S501の実行の後、ステップ S502において、補間の前処理として、動きあり部分画素領域 550の各画素における画像差分または画像比率 d(x， y)の初期値を求める。なお、以下の説明では、画像差分 d(x, y)を求める方法について説明するが、画像比率 d(x, y)を求める場合も同様の手法が適用される。

[0184] 最初に、各画素 2値のマスク画像 Mを用意し、動きなし部分画素領域 551の画素（ x， y)については、 M(x， y)=lとし、動きあり部分画素領域 550については M (x, y )=0とする。

[0185] 画像の各画素を調べ、いま M(x, y) =0の画素、すなわち動きあり部分画素領域 5 50の画素のうち、 M(x， y)=lである画素、すなわち、動きなし部分画素領域 551に隣接する（8近傍または 4近傍)画素に注目する。

[0186] そして、注目した画素に隣接した M(x， y)=lである画素の画像差分 d(x， y)の平均を算出する。この平均値を、注目する画素の位置 (X, y)における画像差分 d(x， y )の初期値として設定する。

[0187] 具体的処理について、図 14を参照して説明する。例えば図 14に示すような動きあり部分画素領域 550と動きなし部分画素領域 551を持つ画像の場合、動きあり部分画素領域 550中、動きなし部分画素領域 551に隣接する画素 581の画像差分 d(x, y)の初期値は、画素 581に隣接する動きなし部分画素領域 551の画素 582, 583, 584の平均値として設定される。

[0188] 動きあり部分画素領域 550に含まれる画素中、動きなし部分画素領域 551に隣接する画素についての初期値が、同様の手法で決定される。次に、初期値が新たに設定された画素に関してマスク画像 M(x, y)の値を 1に変更する。その後再び、 M(x, y) =0の画素、すなわち動きあり部分画素領域 550に含まれる画素中、 M(x， y)=l である画素に隣接する（8近傍または 4近傍)すべての画素の初期値を設定した後、新たに初期値が設定された画素に関して M(x， y) =1とする。すなわち、図 14に示す動きあり部分画素領域 550の周辺部から中央部に向けて、順に動きあり部分画素領域 550の画像差分 d(x, y)の初期値を決定していく。この処理を、すべての画素が M(x， y) =1になるまで、繰り返し行う。

[0189] この処理により、動きあり部分画素領域 550に含まれるすべての画素の画像差分 d (x, y)の初期値が決定する。この処理が、図 12に示すフローにおけるステップ S502 の処理である。

[0190] 上述の処理により、動きあり部分画素領域 550における画像差分 d (x, y)の初期値が求まった後、図 12に示すフローにおけるステップ S503の処理を実行する。

[0191] ステップ S503では、画像差分 dの中で動きあり部分画素領域 550の画素のみに対して、平滑化フィルタを施す。平滑化フィルタとしては、 n X nの正方形の近傍に含まれる画素値を平均する移動平均フィルタなどを用いればよい。この平滑化処理により、動きなし部分画素領域 551の画像差分 dの値は固定されたまま、動きあり部分画素領域 550の画像差分 dの値のみが滑らかにつながるような効果を得ることが出来る。

[0192] なお、このステップ S503で実行する平滑化処理において、平滑化フィルタによって、各画素において画像差分 d (x， y)の各色成分がどのように変化したかチェックし、画像差分 d (x, y)の各色成分の変化の最大値 (画素値変化最大値)をメモリに保存する。

[0193] 次にステップ S504において、ステップ S502の平滑化処理において保存した画像差分 d (x， y)の各色成分の変化の最大値 (画素値変化最大値)が、あらかじめ定めた閾値より大きいかどうかを判定し、小さかった場合はステップ S506に進み、平滑化処理を完了する。

[0194] テツプ S502の平滑化処理にぉレ、て保存した画像差分 d (X, y)の各色成分の変化の最大値（画素値変化最大値）力あらかじめ定めた閾値より大きい場合は、まだ、動きあり部分画素領域 550の画像差分 dが滑らかに補間されていないと判断し、ステップ S505に進む。

[0195] ステップ S505では、これまで、平滑化フィルタを画像差分 dの動きあり部分画素領域 550の画素に施した回数力あら力、じめ定めた閾値より大きいかどうかを判定し、大きかった場合は、ステップ S506に進む。小さかった場合は、ステップ 503に戻り、再び、平滑化フィルタを施し、動きあり部分画素領域 550の平滑化処理を再度、実行する。

[0196] なお、平滑化フィルタを画像差分 dの動きあり部分画素領域 550の画素に施した回数が、あらかじめ定めた閾値より大きい場合は、繰り返し実行しても画像差分 dの変化が得られないため、所定の平滑処理の最大実行回数を予め閾値として定め、この閾値に達した場合は、その時点で平滑化処理は終了させて、次のステップに進む。

[0197] ステップ S506では、上述の平滑化処理において求めた動きあり部分画素領域 55 0における画像差分 dを、推定された画像差分 d563として決定する。すなわち図 13 ( b)に示す動きあり部分画素領域 550における推定された画像差分 d563として決定する。

[0198] 次に、ステップ S507においては、上述の処理により算出された画像差分 dとフラッシュあり撮影画像 Iを用いて、動きあり部分画素領域 550の最終的なホワイトバランス

2

調整画像 Rを生成する。

[0199] すなわち、図 13に示す（c)の動きあり部分画素領域 550の最終的なホワイトバランス調整画像 Rを生成する。図 13 (a)に示す動きあり部分画素領域 550におけるフラッシュ光あり撮影画像 I 561の値に対して、図 13 (b)に示す動きあり部分画素領域 55

2

0における推定された画像差分 d563を加算した結果を、動きあり部分画素領域 550 における最終的なホワイトバランス調整画像 R564として設定する。

[0200] 上述した処理例は、前述した式 (式 21)に従って求めたホワイトバランス調整画像 R と、フラッシュ光あり撮影画像 Iの各画素値の画像差分 dを用いた例であるが、前述し

2

た式 (式 22)に従って求めたホワイトバランス調整画像尺と、フラッシュ光あり撮影画像 Iの各画素値の画像比率 dを用いた場合は、ステップ S507では、動きあり画素領域

2

550における画像比率 dとフラッシュ光あり撮影画像 Iの各画素の要素同士を乗算し

2

、最終的なホワイトバランス調整画像 Rを生成する。

[0201] 上述した処理によって、最終的な出力画像 Rを生成することが出来る。

[0202] 図 15を参照して、本実施例における動き部分補正画素値算出部の構成について説明する。

[0203] 本実施例における動き部分補正画素値算出部は、先の実施例 1において説明した図 8における動き部分補正画素値算出部 310、あるいは、図 10における動き部分補正画素値算出部 409に対応して設定される。

[0204] 図 15の構成について説明する。動き部分補正画素値算出部 710は、画像差分 (画像比率)算出部 711、動きあり画素領域画像差分 (画像比率) d初期値算出部 712、平滑化処理部 713、および動き部分最終補正画素値算出部 714を有する。

[0205] 画像差分 (画像比率)算出部 711は、動きなし部分画素領域ホワイトバランス調整画像 R701と、フラッシュ光あり撮影画像 Iの各画像データを入力し、前述の式 (式 21

2

)または、式 (式 22)に従って、動きなし部分画素領域における画像差分 dまたは、画像比率 dを算出する。これは、図 13 (a)に示す dに相当する。

[0206] 動きあり画素領域画像差分 (画像比率) d初期値算出部 712は、動きあり画素領域における画像差分（画像比率） dの初期値を設定する。この処理は、先に図 14を参照して説明したように、まず、動きあり画素領域における動きなし画素領域に隣接する部分において、動きなし画素領域の隣接画素の画像差分 (画像比率) dの平均値を初期値として設定し、順に動きあり画素領域の内側にむかって画像差分 (画像比率） dの初期値を決定する処理を実行する。

[0207] 平滑化処理部 713は、動きあり画素領域画像差分 (画像比率) d初期値算出部 712 におレ、て設定された動きあり画素領域画像差分 (画像比率) dの初期値に基づレ、て、例えば平滑フィルタ等を適用した平滑化処理を実行し、動きあり画素領域における画像差分 (画像比率)の推定値 dを決定する。すなわち図 13 (b)に示す動きあり部分画素領域 550における推定された画像差分 d563として決定する。

[0208] 動き部分最終補正画素値算出部 714は、平滑化処理部 713における平滑化された画像差分 (画像比率）の推定値 dと、フラッシュ光あり撮影画像 Iを入力し、動きあり

2

部分画素領域 550の最終的なホワイトバランス調整画像 Rを生成する。すなわち、図 13 (c)の動きあり部分画素領域 550の最終的なホワイトバランス調整画像 Rを生成する。

[0209] 図 13 (a)に示す動きあり部分画素領域 550におけるフラッシュ光あり撮影画像 I 56

2

1の値に対して、図 13 (b)に示す動きあり部分画素領域 550における推定された画像差分 d563を加算した結果を、動きあり部分画素領域 550における最終的なホワイトバランス調整画像 R564として設定し出力する。

[0210] 式 (式 22)に従って求めたホワイトバランス調整画像 Rと、フラッシュ光あり撮影画像 I

の各画素値の画像比率 dを用いた場合は、ステップ S507では、動きあり画素領域 5

2

50における画像比率 dとフラッシュ光あり撮影画像 Iの各画素の要素同士を乗算し、最終的なホワイトバランス調整画像 Rを生成して出力する。

[0211] 上述したように、本実施例の画素値補正処理によれば、平滑化フィルタを適用した簡単な処理により、動きあり部分画素領域の適切な色変換を行うことが出来る。

[0212] なお、本実施例では、ホワイトバランス調整処理として実行する例について説明したが、ここで説明した手法は、ホワイトバランス調整処理のみならず一般的なデータ処理の問題を解くのに用レ、ることが出来る。

[0213] すなわち、図 13に示すように、あるデータがある領域（図 13の領域 551)において、確定（図 13中のデータ 560)しており、それ以外の領域（図 13の 550)において、データを確定させたい場合について、本発明の処理が有効である。

[0214] 図 13に示す領域 550で示される領域と、それに隣接するデータ領域 551において

、参照データ 561が与えられているとする。このとき、参照データ 561の特徴（画像で言えばテクスチャ）と同じ特徴を有する補間データ（図 13の補間データ 564)を作成できる。

[0215] このデータ処理は上述した実施例における画像テータのホワイトバランス調整処理のみならず、一般的なデータ処理においても適用可能である。即ち、本発明は、ホヮイトバランス調整の問題に限定されるものではない。

実施例 3

[0216] 次に、本発明の実施例 3として、上述したと同様、外光とフラッシュ光が混在する環境下における撮影の最適なホワイトバランス調整処理を実行する画像処理方法、および画像処理装置において、図 2のフローにおけるステップ S111の処理、すなわち、動き部分の画素値補正処理方法として実施例 1および実施例 2の手法と異なる手法を採用した構成について説明する。

[0217] 実施例 1では、 2枚のフラッシュ発光なし画像の差分から、被写体の動き部分を検出し、動き部分に含まれる画素に関して、フラッシュ光反射成分の外光反射成分に対する比率を、動き部分以外の画素におけるデータから、放射基底関数を用いて、補間処理を行う構成について説明した。また実施例 2では、平滑化フィルタを用いて簡易化した処理により、動き部分の画素値補正を行なう構成を説明した。

[0218] 本実施例 3は、フラッシュ光あり撮影画像 Iの画像データに応じて動的に重みを決定したフィルタを設定し、設定したフィルタ用いて動きあり画素の画素値補正を行なう構成例である。

[0219] 実施例 3の画像処理装置は、先に図 1を参照して説明した構成と同様の構成を有し、実施例 3におけるフラッシュ光あり撮影画像 Iの画像データに応じたフィルタの設定

2

処理

およびフィルタを適用した画素値補正処理は、デジタル信号処理部（DSP) 106において実行される。以下、本実施例 3に係る画像処理の詳細について説明する。

[0220] 画像処理は、 DSP106内部において、入力された画像信号のストリームに対して演算ユニットが所定のプログラムコードに記述された演算を順次実行するようにして実現される。以降の説明では、そのプログラム中の各処理が実行される順序をフローチヤートで説明する。し力ながら、本発明は本実施例で説明するようなプログラムとレ、う形態以外にも、以降で説明する機能と同等の処理を実現するハードウェア回路を実装して構成してもよい。

[0221] 本実施例におけるホワイトバランス (WB)補正処理の手順の基本的なシーケンスは、上述した実施例 1、実施例 2と同様、図 2に示すフローチャートに従った処理である。すなわち、フラッシュ発光なし、あり、なしの順序で 3枚の画像を連続撮影し、これらの画像に基づいてホワイトバランス調整を行う。

[0222] 本実施例においては、図 2に示すステップ S111の動き部分の画素値補正処理を効率的にかつ高精度に実行可能としたものである。図 2に示すステップ S110で上述した複数画像に基づくホワイトバランス調整処理が行われる場合は、被写体自体の動きに起因する像ぶれがあると判定され、その像ぶれについての補正が可能と判定された場合であり、ステップ S110で生成したホワイトバランス調整画像 R中、被写体自体の動きに起因する像ぶれの画像領域、すなわち動き部分領域については、ステップ S111において画素値補正処理を実行する。すなわち、ステップ S107で検出した動き部分の画素値に対して例外処理を行い、ホワイトバランス調整画像 Rを修正する。修正処理は、例えば、動きが検出された部分に対応するフラッシュ発光あり撮影画像データ Iの画素値を入力として、ホワイトバランス調整画像 Rにおける動きが無か

2

つた部分の画素値を参照して、動きが検出された部分の画素値を決定し、最終的な画像を合成する。

[0223] 本実施例に従った画素値補正処理の詳細について、以下説明する。

[0224] 先の実施例においても説明したように、図 2のステップ S107において実行される動き検出処理の結果として取得されるデータは、図 16に示す模式図に相当するデータとなる。

[0225] 図 16において、図 2に示すフローのステップ S107において動いていると判定された部分が動きあり部分画素領域 550、動いていないと判定された部分が動きなし部分画素領域 551である。

[0226] なお、先に図 3を参照して説明したステップ S204で得られた画像、すなわちホワイトバランス調整画像 Rの動きなし部分画素領域 551の構成画素は、図 2に示すステツプ S103、 S104において、フラッシュ光ありで撮影し、メモリに格納した画像 Iに対し

[0227] そこで、動きあり部分画素領域 550の画素に関しては、フラッシュ光あり撮影画像 I

[0228] 実施例 1では、図 1に示すステップ S111の処理、すなわち、ホワイトバランス調整画像 Rにおける動き部分の画素値補正処理を図 6に示す処理フローに従って、放射基底関数を用いた補間処理として実行した。また、実施例 2では、図 12に示す処理フロ一に従って平滑フィルタを用いた補正処理を実行した。

[0229] 本実施例では、実施例 1、実施例 2とは異なるシーケンスでホワイトバランス調整画像 Rにおける動き部分の画素値補正処理を実行する。本実施例 3に係る動き部分の画素値補正処理のシーケンスについて、図 16に示すフローチャートを参照して説明する。

[0230] 図 16は、図 2に示すステップ S111の処理、すなわち、ホワイトバランス調整画像 R における動き部分の画素値補正処理を本実施例 3に従って実行する場合の詳細シ一ケンスを示すフローチャートである。各ステップの処理について説明する。 [0231] まずステップ S601において、図 2に示すステップ SI 10、すなわち、図 3の処理フロ一に従って生成したホワイトバランス調整画像 Rと、図 2に示すステップ S103、 S104 において、フラッシュ光ありで撮影し、メモリに格納した画像 Iを用いて、以下に示す

2

式 (式 31)に基づき、画像差分 dを求める。

d(x, y)=R(x, y)-I (x, y)

2

…（式 31)

[0232] ここで、 d (x, y)， R (x， y) , I (x, y)はすべて、画素位置（x， y)における画像の色

2

[0233] 上記式 (式 31)においては、ホワイトバランス調整画像 Rと、フラッシュ光あり撮影画像 Iの各画素値の画像差分 dを求めているが、ホワイトバランス調整画像 Rと、フラッ

2

シュ光あり撮影画像 Iの各画素値の差分の変わりにホワイトバランス調整画像と、フ

2

ラッシュ光あり撮影画像 Iの各画素値の比率、すなわち下記式 (式 32)のように、画

2

像比率 dを算出して適用してもよい。

d(x, y)=R(x, y)/(l (x, y)+e)

2

…（式 32)

[0234] 上記式（式 32)において、 eは十分に小さな固定の値を各要素に設定したベクトル、例えば floor valueである。（式 32)の記号〃/"は、ベタトノレの各要素をそれぞれ除算し、その結果をベクトルの各要素とする演算である。 eは、 I (X, y)の要素が 0にな

2

[0235] いま、ホワイトバランス調整画像 Rと、フラッシュ光あり撮影画像 Iの画像差分または

2

2 2

[0236] しかし、動きあり部分画素領域 550に関しては、動き画像として現れている可能性があるので、上記式 (式 31)または（式 32)によって算出される画像差分または画像比率 d(x， y)をそのまま適用すると、最適な色味を実現することができない。 [0237] そこで、本実施例においては、動きあり部分画素領域 550に関しての最終補正画素値、すなわち最終的なホワイトバランス調整画像 Rを動きなし部分画素領域 551の領域において求めた画像差分または画像比率 d (x， y)を用いて補間することにより算出する。こうして推定された画像差分または画像比率 d (x， y)を用いて動きあり部分 550の画素値補正を行なう。

[0238] 本手法によれば、動きあり部分画素領域 550においても、動きあり部分画素領域 5 50のフラッシュ光あり撮影画像 Iのテクスチャを保持しつつ、色味を、最終的なホワイ

2

[0239] 図 18は、上述の（式 31)、すなわち、ホワイトバランス調整画像 Rと、フラッシュ光あり撮影画像 Iの各画素値の画像差分 dの算出式を用いて、動きあり部分画素領域 550

2

[0240] 図 18においては、説明を分かりやすくするため、データが 1次元上に並んでいるものとして、その処理を説明するが、実際は、 2次元平面において処理が実行される。図 18 (a)—（c)とも、横軸が画素位置を示し、縦軸が画素値 (輝度または R, G, B値）を示している。

[0241] 図 18 (a)は、動きなし部分画素領域 551および、動きあり部分画素領域 550におけるホワイトバランス調整画像 R860と、フラッシュ光あり撮影画像 I 861の画素値推移

2

を示している。

[0242] 図 18 (b)は、動きなし部分画素領域 551において、動きあり部分画素領域 550に近接する部分の画像差分 dの値 862を示している。すなわち、上述の（式 31)を適用して算出されるホワイトバランス調整画像 Rと、フラッシュ光あり撮影画像 Iの各画素

2 値の画像差分 dの値 862を示してレ、る。

[0243] さらに、図 18 (b)に示す動きあり画素領域 550に示す点線は、動きあり部分画素領域 550に近接する動きなし部分画素領域 551の画像差分 d値 862aおよび画像差分 d値 862bに基づいて推測された値、すなわち、動きなし部分画素領域 551の画像差分 dの値 862a， 862bを滑らかに補間することにより得られる動きあり部分画素領域 5 50における画像差分 dの推測値 863を示している。

[0244] 動きあり部分画素領域 550における画像差分 dの推測値 863は、 (1)初期画像差分 dの設定ステップ、

(2)フラッシュ光あり撮影画像 Iの画像データに応じて動的に重みを決定したフィル

2

タを適用した初期画像差分 dの補正ステップ、

これら（1)と（2)のステップを実行することによって決定される推測値である。この動きあり部分画素領域 550における画像差分 dの推測値 863の算出処理手法については後述する。

[0245] 図 18 (c)は、図 18 (a)に示す動きあり部分画素領域 550におけるフラッシュ光あり撮影画像 I 861の値に対して、図 18 (b)に示す動きあり部分画素領域 550における

2

推定された画像差分 d863を加算した結果を、動きあり部分画素領域 550における最終的なホワイトバランス調整画像 R864として点線で示した図である。

[0246] この図 18 (c)の動きあり部分画素領域 550に点線で示すホワイトバランス調整画像 R864と、動きなし部分画素領域 551におけるホワイトバランス調整画像 R860とが最終的なホワイトバランス調整画像 Rとして出力される。最終出力画像は、図 18 (c)に示す動きあり部分画素領域 550に点線で示すホワイトバランス調整画像 R864と動きなし部分画素領域 551におけるホワイトバランス調整画像 R860と滑らかに接続された画像となる。さらに、この出力画像は、動きあり部分画素領域 550におけるフラッシュ光あり撮影画像 I 861のテクスチャを保持したものとなる。

2

[0247] なお、 d (x, y)として、上述の式（式 31)による画像差分 dではなぐ上述の式（式 32 )を用いた画像比率 dを適用した場合も、上述の方法と同様の補正方法が実行可能である。すなわち、図 18 (b)に示す画像差分 dの代わりに画像比率 dを用い、図 18 (b )に示す動きなし部分画素領域 551に示す点線と同様、画像比率 dの値を、動きあり部分画素領域 550において滑らかに補間することにより動きあり部分画素領域 550 における画像比率 dの推測値を算出し、そののち、画像比率 dを、動きあり部分画素領域 550におけるフラッシュ光あり撮影画像 I 861の画素に掛け合わせる、すなわち

2

加算処理ではなく乗算処理を行なうことにより、動きあり部分画素領域 550のホワイトバランス調整画像 Rを算出することが出来る。

[0248] 次に、ホワイトバランス調整画像 Rと、フラッシュ光あり撮影画像 Iの各画素値の画

2

像差分または画像比率 dを適用した補間方法の詳細について述べる。 [0249] 上述したように、動きあり部分画素領域 550における画像差分 dの推測値 863は、

(1)初期画像差分 dの設定ステップ、

2

タを適用した初期画像差分 dの補正ステップ、

これら（1)と（2)のステップを実行することによって決定される。

まず、（1)動きあり部分画素領域 550における画像差分 dの初期値の設定処理について説明する。

[0250] 図 17に示すフローにおけるステップ S601の実行の後、ステップ S602において、動きあり部分画素領域 550の各画素における画像差分または画像比率 d (x, y)の初期値を求める。なお、以下の説明では、画像差分 d (x, y)を求める方法について説明する力画像比率 d (x， y)を求める場合も同様の手法が適用される。

[0251] 最初に、各画素 2値のマスク画像 Mを用意し、動きなし部分画素領域 551の画素（ X, y)については、 M (x, y) = lとし、動きあり部分画素領域 550については M (x, y ) = 0とする。

[0252] 画像の各画素を調べ、いま M (x, y) = 0の画素、すなわち動きあり部分画素領域 5 50の画素のうち、 M (x, y) = 1である画素に隣接する画素、すなわち、動きなし部分画素領域 551に隣接する（8近傍または 4近傍)画素に注目する。

[0253] そして、注目した画素に隣接した M (x, y) = 1である画素の画像差分 d (x, y)の平均を算出する。この平均値を、注目する画素の位置 (X, y)における画像差分 d (x， y )の初期値として設定する。

[0254] 具体的処理について、図 16を参照して説明する。例えば図 16に示すような動きあり部分画素領域 550と動きなし部分画素領域 551を持つ画像の場合、動きあり部分画素領域 550中、動きなし部分画素領域 551に隣接する画素 821の画像差分 d (x, y)の初期値は、画素 821に隣接する動きなし部分画素領域 551の画素 822， 823, 824の平均値として設定される。

[0255] 動きあり部分画素領域 550に含まれる画素中、動きなし部分画素領域 551に隣接する画素についての初期値が、同様の手法で決定される。次に、初期値が新たに設定された画素に関してマスク画像 M (x, y)の値を 1に変更する。その後再び、 M (x, y) =0の画素、すなわち動きあり部分画素領域 550に含まれる画素中、 M (x, y) = l である画素に隣接する（8近傍または 4近傍)すべての画素の初期値を設定した後、新たに初期値が設定された画素に関して M (x, y) = 1とする。すなわち、図 16に示す動きあり部分画素領域 550の周辺部から中央部に向けて、順に動きあり部分画素領域 550の画像差分 d (x, y)の初期値を決定していく。この処理を、すべての画素が M (x， y) = 1になるまで、繰り返し行う。

[0256] この処理により、動きあり部分画素領域 550に含まれるすべての画素の画像差分 d

(x， y)の初期値が決定する。この処理が、図 17に示すフローにおけるステップ S602 の処理である。

[0257] 上述の処理により、動きあり部分画素領域 550における画像差分 d (x， y)の初期値が求まった後、図 16に示すフローにおけるステップ S603— S606の処理を実行する。この処理が、前述した

2

タを適用した初期画像差分 dの補正ステップ、

の処理である。

[0258] ステップ S603では、画像差分 dの中で動きあり部分画素領域 550の画素のみに対してフィルタによるフィルタリング処理によって初期画像差分 dの補正値 d'を算出する

[0259] 本実施例において、初期画像差分 dの補正値 d'を算出するフィルタリング処理に適用するフィルタは、実施例 2で適用した平滑フィルタではなぐフラッシュ光あり撮影画像 Iの

2 画像データに応じて動的に重みを決定したフィルタである。

[0260] 例えば、動きあり部分画素領域 550における画素位置 (x， y)の画像差分 d (x， y) の値を 1回の画素値補正処理に相当するフィルタリング処理によって更新画素値を求める算出式として、以下の式を適用する。

[数 14] ' ^{c )=}^^ ^^ ^{w(l" " '， ^{c (}'.

. · . . (式 3 3 )

[0261] 上記式（式 33)におレ、て、 d (X. V, ch)、 I (x, y, ch)は、画素位置（x, y)の各チヤ

2

ンネル [ch]の差分画像 dならびに、フラッシュ光あり撮影画像 Iの画素値である。チ

2

ヤンネルとは、カラー画像である場合の各チャンネル、具体的には、赤、緑、青 (RGB )各チャンネルを意味する。また、 d' (x， y, ch)は、画素位置 (_x， y)におけるチャンネル [ch]の差分画像 dの新しレ、画素値、すなわち更新画素値である。

[0262] また、上記式（式 33)の i, jは、画素位置 (X, y)の画素差分値 dの更新値 d'を算出するために適用する参照画素の位置を示している。 i， jの値の範囲は、 X— k≤i≤x + k、 y_k≤j≤y + kである。ここで、 kは自然数であり、 kとして 1から 3程度の比較的小さな値を設定する。

[0263] k= lとした場合は、画素位置 (X, y)の画素差分値 dの更新値 d'を算出するために適用する参照画素が、画素位置 (X, y)の隣接画素のみとなり、 k= 3とした場合は、画素位置 (x， y)の画素差分値 dの更新値 d'を算出するために適用する参照画素が、画素位置 (X, y)の周囲の左右および上下各方向の 3画素を含む領域として設定されることになる。 kの値は予め定めた値を適用する。

[0264] 上記式 (式 33)において、関数 w (x)は、重み付け関数であり、例えば、下記式 (式

34)によって示される関数が適用される。

[数 15]

(式 3 4 )

[0265] 上記式（式 34)において、 σはパラメータであり、あらかじめ設定された値を用いる。

[0266] 動きあり部分画素領域 550における画素位置 (X, y)の画像差分 d (x, y)の値を、上記式 (式 34)示す重み付け関数 w (x)を用いて、上記式 (式 33)によって算出する。

[0267] なお、図 17のフローに示すように、上記式 (式 33)を適用した動きあり部分画素領域 550における画素位置 (X, y)の画像差分 d (x, y)の値更新処理、すなわち、フィルタリング処理は、所定条件 (ステップ S604または S605で規定する条件）を満足するまで、繰り返し実行する。すなわち、上記式 (式 33)を適用した算出した更新画素値 d' (x, y, ch)を、次のフイノレタリング処理 ίこおレヽて、式（式 33)の d (x, y, ch)のィ直として設定し、新たな更新画素値 d' (x, y， ch)を算出する処理を繰り返し実行する。

[0268] 上記式 (式 33)による画素値更新 (フィルタリング処理）を繰り返し実行して、動きあり部分画素領域 550における画素位置 (x， y)の画像差分 d (x， y)の値を補正することで、動きなし部分画素領域 551の画像差分 d (x, y)の値を変更することなぐ動きあり部分画素領域 550の画素位置 (X, y)の画像差分 d (x， y)の値が補正され、動きあり部分画素領域 550の画素位置 (X, y)の画像差分 d (x， y)の値がフラッシュ光あり撮影画像 I 861のテクスチャ、エッジに従って平滑化されるような効果を得ることが出

2

来る。

[0269] このフィルタリング処理において、動きあり部分画素領域 550の画素位置（X, y)の画像差分 d (x， y)の値の各色成分 (各チャンネル）がどのように変化したかチェックし、その最大値を保存する。 [0270] 図 17のフローにおけるステップ S604では、上記式（式 33)による画素値更新（フィルタリング処理）によって、画像差分 d (x, y)の値の各色成分 (各チャンネル）の変化量の最大値と、あら力じめ定めた閾値との比較を実行する。すなわち、 1回あたりのフィルタリング処理 (式 33による画素値更新処理）によって得られた更新値 d'と更新前の画素値 dとの差分 dし dが、あらかじめ定めた閾値より小さい場合は、フィルタリング処理 (式 33による画素値更新処理）を繰り返し実行しても画素値の変更量が小さぐ処理を継続する効果が小さいと判断して式 33による画素値更新処理を終了してステップ S606に進む。

[0271] すなわち、ステップ S604において、

画素値変化量最大値 >閾値

が成立しないと判定した場合は、ステップ S606に進み、動きあり部分画素領域 55 0に対する画像差分 (画像比率） d推定値を決定する処理を実行する。

[0272] ステップ S604において、

画素値変化量最大値 >閾値

が成立すると判定した場合は、まだ、動きあり部分画素領域 550の画素位置 (X, y) の画像差分 d (x, y)が滑らかに補正されていないと判断し、ステップ S605に進む。

[0273] ステップ S605では、ステップ S603において上記式（式 33)を適用して実行した画素値更新処理 (フィルタリング処理）の実行回数力あらかじめ定めた閾値回数より大きいかどうかを判定し、

画素値更新処理 (フィルタリング処理）実行回数 >閾値回数

が成立する場合は、ステップ S606に進む。

[0274] 画素値更新処理 (フィルタリング処理）実行回数 >閾値回数

が成立しない場合は、ステップ S603に戻り、上記式 (式 33)に従った、動きあり部分画素領域 550の画素位置 (X, y)の画像差分 d (x， y)の補正処理（フィルタリング処理）を繰り返し実行する。

[0275] ステップ S604において、画素値変化量最大値 >閾値が成立しないと判定されるか、あるいは、ステップ S605において、画素値更新処理（フィルタリング処理）実行回数 >閾値回数が成立すると判定された場合、上記式 (式 33)に従った、動きあり部分画素領域 550の画素位置（x, y)の画像差分 d (x, y)の補正処理（フィルタリング処理）を完了し、ステップ S606に進み、動きあり部分画素領域 550に対する画像差分（画像比率） dの推定値を決定する処理を実行する。

[0276] ステップ S606では、上述のフィルタリング処理において求めた動きあり部分画素領域 550における画像差分 dを、推定された画像差分 dとして決定する。この処理ステツプによって算出された動きあり部分画素領域 550の画素位置 (X, y)の画像差分 d (x , y)が、図 18 (b)に示す動きあり部分画素領域 550における推定された画像差分 d8 63に相当する。

[0277] 次に、ステップ S607におレ、て、上述の式（式 33)を適用したフィルタリング処理により算出された動きあり部分画素領域 550の画素位置 (X, y)の画像差分 d (x, y)の値 (図 18 (b)に示す画像差分 d863)と、フラッシュ光あり撮影画像 I (図 18 (a)に示すフ

2

ラッシュ光あり撮影画像 I 861)との加算処理を実行して動きあり部分画素領域 550

2

におけるホワイトバランス調整画像 Rを生成する。すなわち、

R = I + d

2

により動きあり部分画素領域 550におけるホワイトバランス調整画像 Rの画素値を算出する。

[0278] この結果が、図 18 (c)の動きあり部分画素領域 550に点線で示すホワイトバランス調整画像 R864である。最終的な補正画像、すなわちホワイトバランス調整画像 Rは、動きなし部分画素領域 551におけるホワイトバランス調整画像 R860と、動きあり部分画素領域 550に点線で示すホワイトバランス調整画像 R864の連結画像である。

[0279] 最終ホワイトバランス調整画像 Rは、図 18 (c)に示すように、動きあり部分画素領域

550に点線で示すホワイトバランス調整画像 R864と動きなし部分画素領域 551におけるホワイトバランス調整画像 R860と滑らかに接続された画像となる。さらに、この出力画像は、動きあり部分画素領域 550におけるフラッシュ光あり撮影画像 I 861のテ

2 タスチヤを保持したものとなる。

[0280] なお、前述したように、上述の式（式 31)による画像差分 dではなぐ上述の式（式 3 2)を用いた画像比率 dを適用した場合も、上述の方法と同様の補正方法が実行可能であり、この場合は、ステップ S607において、画像比率 dを適用したフィルタリング処理により算出された動きあり部分画素領域 550の画素位置 (x, y)の画像比率 d (x, y )の値と、フラッシュ光あり撮影画像 Iとの

2 乗算処理を実行して動きあり部分画素領域

550におけるホワイトバランス調整画像 Rを生成する。すなわち、

R=I X d

2

[0281] すなわち、図 18 (b)に示す画像差分 dの代わりに画像比率 dを用レ、、図 18 (b)に示す動きなし部分画素領域 551に示す点線と同様、画像比率 dの値を、動きあり部分画素領域 550において滑らかに補間することにより動きあり部分画素領域 550における画像比率 dの推測値を算出し、そののち、画像比率 dを、動きあり部分画素領域 5 50におけるフラッシュ光あり撮影画像 I 861の画素に乗算して動きあり部分画素領域

2

550のホワイトバランス調整画像 Rを算出することが出来る。

[0282] 次に、図 19を参照して、本実施例における動き部分補正画素値算出部の構成について説明する。

[0283] 本実施例における動き部分補正画素値算出部は、先の実施例 1において説明した図 8における動き部分補正画素値算出部 310、あるいは、図 10における動き部分補正画素値算出部 409に対応して設定される。

[0284] 図 19の構成について説明する。動き部分補正画素値算出部 910は、画像差分 (画像比率)算出部 911、動きあり画素領域画像差分 (画像比率) d初期値算出部 912、フィルタ処理部 913、および動き部分最終補正画素値算出部 914を有する。

[0285] 画像差分 (画像比率)算出部 911は、動きなし部分画素領域ホワイトバランス調整画像 R901と、フラッシュ光あり撮影画像 I格納フレームメモリ 902に格納されたフラッ

2

シュ光あり撮影画像 Iの各画像データを入力し、前述の式 (式 31)または、式 (式 32)

2

に従って、動きなし部分画素領域における画像差分 dまたは、画像比率 dを算出する。これは、図 18 (b)に示す動きなし部分画素領域 551における画像差分 d862に相当する。

[0286] 動きあり画素領域画像差分 (画像比率) d初期値算出部 912は、動きあり画素領域における画像差分（画像比率） dの初期値を設定する。この処理は、先に図 16を参照して説明したように、まず、動きあり画素領域における動きなし画素領域に隣接する部分にぉレ、て、動きなし画素領域の隣接画素の画像差分（画像比率） dの平均値を初期値として設定し、順に動きあり画素領域の内側にむかって画像差分 (画像比率） dの初期値を決定する処理を実行する。

[0287] フィルタ処理部 913は、動きあり画素領域画像差分 (画像比率） d初期値算出部 91 2において設定された動きあり画素領域画像差分 (画像比率） dの初期値を、前述の式（式 33)に従って更新するフィルタリング処理を実行する。このフィルタリング処理はフラッシュ光あり撮影画像 Iに基づいて生成したフィルタによるフィルタ処理、すな

2

わち、前述の式（式 33)に従って更新するフィルタリング処理である。

[0288] フィルタ処理部 913は、図 17に示すフローを参照して説明したように、 1回のフィルタリング処理による画素値の最大変化が予め定めた閾値より小さレ、か、またはフィノレタリング処理回数力予め定めた閾値回数より多くなつたことを条件として、式 (式 33) を適用したフィルタリング処理を終了して動きあり画素領域における画像差分（画像比率）の推定値 dを決定する。すなわち図 18 (b)に示す動きあり部分画素領域 550 における推定された画像差分 d863として決定する。

[0289] 動き部分最終補正画素値算出部 914は、フィルタ処理部 913においてフィルタリング処理のなされた画像差分（画像比率）の推定値 dと、画像 I格納フレームメモリ 902

2

力フラッシュ光あり撮影画像 Iを入力し、動きあり部分画素領域 550の最終的なホ

2

ワイトバランス調整画像 Rを生成する。すなわち、図 18 (c)の動きあり部分画素領域 5 50の最終的なホワイトバランス調整画像 Rを生成する。

[0290] 図 18 (a)に示す動きあり部分画素領域 550におけるフラッシュ光あり撮影画像 I 86

2

1の値に対して、図 18 (b)に示す動きあり部分画素領域 550における推定された画像差分 d863を加算した結果を、図 18 (c)に示す動きあり部分画素領域 550における最終的なホワイトバランス調整画像 R864として設定し出力する。

[0291] なお、式 (式 32)に従って求めたホワイトバランス調整画像 Rと、フラッシュ光あり撮影画像 Iの各画素値の画像比率 dを用いた場合は、動きあり画素領域 550における

2

画像比率 dとフラッシュ光あり撮影画像 Iの各画素の要素同士を乗算し、最終的なホ

2

ワイトバランス調整画像 Rを生成して出力する。 [0292] 上述したように、本実施例の画素値補正処理によれば、フィルタを適用した処理により、動きあり部分画素領域の適切な色変換を行うことが可能となり、動きあり部分画素領域における補正画素値は、フラッシュ光あり撮影画像 Iのテクスチャを保持した

2

画素値となり、より自然な画像を生成することが可能となる。

[0293] 第 2実施例で適用した平滑フィルタを用いた処理を実行した場合には、オリジナル画像の画像差分または画像比率に対応した画素値補正が行いにくぐ画像の種類によっては、エッジ部のぼやけ、色のにじみなどが発生する場合がある力本実施例では、第 2の画像、すなわち、フラッシュ光あり撮影画像 Iの画素値を考慮して決定さ

2

れた係数を用いた画素値変換式を式 33に従って設定して、フィルタリング処理を行なう構成としたので、フラッシュ光あり撮影画像 Iのテクスチャを反映した画素値補正

2

が行なわれることとなり、動きあり領域においてもエッジ部のぼやけ、色のにじみなどが解消され、フラッシュ光あり撮影画像 Iのテクスチャを反映した画像を生成すること

2

が可能となる。

[0294] なお、本実施例では、ホワイトバランス調整処理として実行する例について説明した力ここで説明した手法は、ホワイトバランス調整処理以外にも、例えばある画像の一部分の画素値を変更する画像処理において、別の画像の特徴に似せて変更をしたい場合に、本発明は適用できる。つまり、第 2の画像の特徴を用いて決定された係数を用いた画素値変換式を式 33に従って設定して、フィルタリング処理を行なうことにより、第 1の画像の一部分の画素値を変更することで第 1の画像の色味を保持しつつ第 2の画像の特徴を持つ画像を生成することが可能となる。

実施例 4

[0295] 上述した実施例 1一実施例 3では、 3枚の画像、すなわちフラッシュなし画像、フラッシュあり画像、フラッシュなし画像の 3枚の画像を連写して 1つの出力画像を生成する構成である。上記実施例では、それらの 3枚の画像はすべて同じ解像であると仮定している。しかし、例えば数百万画素の解像度を持つ画像を対象とした処理を実行することを想定すると、これらの処理を実行するためには、 3枚の画像データを格納するため、さらには、様々な処理画像データを格納する大容量のメモリが必要となり、画素数の増大に伴い、実行すべき計算量が膨大になる。 [0296] 図 1に示す装置構成において、固体撮像素子 103として例えば CCD (Charge C oupled Device)を用いた場合、数百万画素の画像を、高速で連写することは難しレ、。ここで、一般的なデジタルカメラにおいては、撮影時に、例えば 30分の 1秒ごとに、解像度の低い画像を固体撮像素子 103から高速に読み出し、カメラ付属のデイスプレイに随時表示する機能を備えている。

[0297] 本実施例は、このようにして撮像した低解像度の画像を用いることにより、効率よく高速に、外光とフラッシュ光との色温度の違いを解消することが出来る構成例である

[0298] 本実施例の画像処理装置および撮像装置の構成を示すブロックダイアグラムは図

1と同様であり、その説明は前述と同様であるので、ここでは省略する。

[0299] 図 20は、本実施例の処理手順を説明するフローチャートである。図 20に示すフロ一チャートの各ステップについて説明する。

[0300] まず、ステップ S701において事前に設定された絞り、シャッタースピードを用いて、フラッシュ発光なしで撮影し、ステップ S702において、ステップ S701で撮影した画像に基づく低解像度画像 I をメモリに格納する。ここで、低解像度画像 I は、固体

1L 1L 撮像素子 103 (図 1参照）の本来の撮影画像の解像度より低い解像度の画像である。撮像された高解像度画像から低解像度である画像 I を生成する方法は、さまざまな

1L

方法が考えられる。例えば、単純に画素を間引く方法、近接する複数の画素の平均をとつて、ひとつの新しい画素とする方法などがある。前述の通り一般的なデジタル力メラでは、撮影時に固体撮像素子 103で撮像される画像を、低解像度のディスプレイに例えば毎秒 30フレームなどの速さで表示する機能が付いており、このときに使われる方法をそのまま適用することが可能である。

[0301] ステップ S701で撮影した画像に基づくフラッシュ発光なし低解像度画像 I をメモリ

1L に格納する場合、低解像度画像データの格納処理として実行することになり、メモリ格納データ量が少ないため、データのメモリ格納処理時間が短縮される。このため、高速に次のステップに移ることが出来る。

[0302] 次に、ステップ S703においてフラッシュを発光した上で画像を撮影し、ステップ S7 04おいて、ステップ S703で撮影した画像に基づくフラッシュ発光あり高解像度画像 I と、フラッシュ発光あり低解像度画像 I との 2画像をメモリに格納する。ここで、フラ

2H 2L

ッシュ発光あり低解像度画像 I は、フラッシュ発光なし低解像度画像 I と同じ解像

2L 1L

度の低解像度の画像で、前述した方法と同じ方法で求める。フラッシュ発光あり高解像度画像 I は最終的に出力として得たい解像度を持つ画像で、フラッシュ発光なし

2H

低解像度画像 I やフラッシュ発光あり低解像度画像 I より高解像度の画像である。

1L 2L

[0303] 次に、ステップ S705において、再度フラッシュを発光せずに撮影し、ステップ S706 におレ、て、ステップ S705で撮影した画像に基づくフラッシュ発光なし低解像度画像 I をメモリに格納する。ここで、フラッシュ発光なし低解像度画像 I は、フラッシュ発光

3L 3L

なし低解像度画像 I や、フラッシュ発光あり低解像度画像 I と同じ解像度の低解像

1L 2L

度の画像で、前述した方法と同じ方法で求める。

[0304] 次のステップ S707— S713までの処理は、前記の実施例において説明した図 2のフローチャートのステップ S107 S113と全く同じ処理であるので説明は省略する。

[0305] ただし、 S707— S713までの処理における処理対象画像データは、低解像度画像

、すなわち、フラッシュ発光なし低解像度画像 I と、フラッシュ発光あり低解像度画像

1L

I と、フラッシュ発光なし低解像度画像 I である。これらの低解像度画像に基づいて

2L 3L

ホワイトバランス調整画像 Rを生成する。なお、動き部分については、前述した実施例 1で説明した Radial Basis Function (放射基底関数）を適用した処理、あるいは実施例 2で説明した平滑フィルタを適用した平滑化処理に基づく処理、あるいは実施例 3で説明したフラッシュあり撮影画像に基づく重みを設定したフィルタを適用した処理などにより、補正された画素値が算出されたホワイトバランス調整画像 Rを生成する。

[0306] 最後にステップ S714において、低解像度画像に基づいて生成したホワイトバランス調整画像 Rと、フラッシュ発光あり低解像度画像 I と、フラッシュ発光あり高解像度

2L

画像 I とに基づいて、高解像度の最終画像 R を生成する。

2H H

[0307] まず、フラッシュ発光あり高解像度画像 I の各画素 I (x， y)に対して、それに対

2H 2H

応するフラッシュ発光あり低解像度画像 I と、ホワイトバランス調整画像 Rの位置 (χ'

2L

, y')における、画素位置 I (χ', y')、 R (x'， y')の画素値を求める。

2L

[0308] なお、 x'と y'は、整数になるとは限らない。（χ', y')における画素値を求める方法としては、 Nearest Neighbor法、 bilinear法、 bicubic法など、一般に広く用いられてレ、る画像補間手法を用レ、る。

[0309] 次に、低解像度画像に基づいて生成したホワイトバランス調整画像 Rの画素 R (x'， y')の画素値に対するフラッシュ発光あり低解像度画像 I の対応画素 I (x'

2L 2L ，y' )の画素値の比を求める。

[0310] この低解像度画像データに基づく画素値比：

R (x'，y，）：I (x'， y' )に対応させて、

2L

高解像度画像データに基づく画素値比：

R (X, y) : 1 (x， y)を設定する。

H 2H

ここで、フラッシュ発光あり高解像度画像 I の各画素値は既知であるので、画素 I

2H 2H

(x, y)と、低解像度画像データに基づく画素値比: R (x'， y' ) : 1 (χ' , y' )とを乗算す

2L

ることにより、高解像度の最終画像 R の画素 R (x

H H ，y)を算出する。

[0311] これを、すべてのフラッシュ発光あり高解像度画像 I の画素に関して計算し、最終

2H

的な高解像度ホワイトバランス調整画像 R を生成する。すなわち、低解像度の画像

H

上において、フラッシュ発光あり低解像度画像 I をホワイトバランス調整画像 Rに変

2L

換する場合の変換情報を取得し、この変換情報に基づいて、高解像度画像、すなわち、フラッシュ発光あり高解像度画像 I の各画素値の変換処理を実行して、高解像

2H

度ホワイトバランス調整画像 R を生成する。

H

[0312] この処理方法によれば、ステップ S707— S713までの処理における処理対象画像データは、低解像度画像、すなわち、フラッシュ発光なし低解像度画像 I と、フラッシ

1L ュ発光あり低解像度画像 I と、フラッシュ発光なし低解像度画像 I であり、低解像度

2L 3L

画像に基づくホワイトバランス調整画像 Rの生成処理として実行されることになり、画素数が少なく計算量が少なくて済み、高速な処理が可能となる。動き部分の補正処理においても、前述した実施例 1で説明した Radial Basis Function (放射基底関数）を適用した処理、あるいは実施例 2で説明した平滑フィルタを適用した平滑化処理に基づく処理、あるいは実施例 3で説明したフラッシュあり撮影画像に基づく重みを設定したフィルタを適用した処理、いずれの処理においても高速処理が可能となる [0313] また、 2つのフラッシュ光なしの撮影画像データは、いずれも低解像度画像データのみをメモリに格納すればよいので、メモリ容量の少ない装置、機種においても適用可能となる。

[0314] このように、本実施例の処理は、プロセッサの処理能力が比較的低ぐまたメモリ容量の小さな機種、装置においても実行可能であり、最終的に得られる画像データを高解像度のホワイトバランス調整画像データとして出力することが可能となる。

[0315] 以上、特定の実施例を参照しながら、本発明につレ、て詳解してきた。し力ながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。なお、上述した実施例では、被写体が暗い場合に発光する照明装置としてフラッシュという用語を用いて説明した力このほかに、ストロボと呼ばれることもあり、フラッシュに限定されるわけではなぐ一般的に被写体が暗い場合に発光する照明装置において本発明は適用される。

[0316] また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるカあるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

[0317] 例えば、プログラムは記録媒体としてのハードディスクや ROM (Read Only

Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルデイスク、 CD— R〇M(Compact Disc Read Only Memory), MO(Magneto optical)ディスク， DVD(Digital Versatile Disc),磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録)しておくことができる。このようなリムーバブル記録媒体は、レ、わゆるパッケージソフトウェアとして提供することができる。

[0318] なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、 LAN(Local Area Network),インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

[0319] なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

産業上の利用可能性

[0320] 以上、説明したように、本発明の構成によれば、例えば動きあり領域などの特定領域の画素値の補正処理を、動きなし領域の画素値、たとえばホワイトバランス調整のなされた画像データと、動きあり領域などの特定領域のフラッシュ発光あり画像データとに基づいて、効率的に実行可能であり、ホワイトバランス調整のなされた画像データと滑らかに接続された画像を生成することが可能となるとともに、動きあり領域におけるフラッシュ発光あり画像データのテクスチャ情報を反映した画像を生成することができ、動きのある画像を撮影するデジタルカメラなどに適用できる。

[0321] 本発明の構成によれば、動きあり領域における画素値補正処理において、ホワイトバランス調整のなされた画像データと、フラッシュ発光あり画像データとの差分あるレ、は比率の初期値を動きあり領域に設定した後、平滑化フィルタによって平滑化し、動きあり領域における画像差分または画像比率の推定値を算出し、該推定値によって動きあり領域の画素値補正を実行する構成としたので、計算量の少なレ、高速処理が実現され、動きのある画像を撮影するデジタルカメラなどに適用できる。

[0322] さらに、本発明の第 3実施例として説明した画素値補正処理によれば、フィルタを適用した処理により、動きあり部分画素領域の適切な色変換を行うことが可能となり、動きあり部分画素領域における補正画素値は、フラッシュ光あり撮影画像 Iのテクスチ

2

ャを保持した画素値となり、より自然な画像を生成することが可能となる。平滑フィルタを用いた処理を実行した場合には、オリジナル画像の画像差分または画像比率に対応した画素値補正が行いにくぐ画像の種類によっては、エッジ部のぼやけ、色のにじみなどが発生する場合があるが、第 3実施例として説明した画素値補正処理によれば、フラッシュ光あり撮影画像 Iの画素値を考慮して決定された係数を用いた画素値

2

変換式に従ったフィルタリング処理を行なう構成としたので、フラッシュ光あり撮影画像 Iのテクスチャを反映した画素値補正が行なわれることとなり、動きあり領域におい

2

てもエッジ部のぼやけ、色のにじみなどが解消され、フラッシュ光あり撮影画像 Iのテ

2 タスチヤを反映した画像を生成することが可能となる。

[0323] さらに、本発明によれば、低解像度画像を適用したホワイトバランス調整や動きあり部分の画素値補正を実行した後、補正画像データと低解像度画像データとの対応関係に基づいて、高解像度補正画像を生成することが可能となり、少ないメモリ量で、高速な処理が可能となり、最終的に高解像度の補正画像を取得することが可能となり、メモリ量の制限されたデジタルカメラなどに最適である。

図面の簡単な説明

[0324] [図 1]本発明の画像処理装置の構成を示す図である。

[図 2]本発明の画像処理方法の手順を説明するフローチャートである。

[図 3]本発明の画像処理方法における複数の画像データに基づくホワイトバランス調整処理の手順を説明するフローチャートである。

[図 4]本発明の画像処理方法における複数の画像データに基づくホワイトバランス調整処理の原理を説明する図である。

[図 5]本発明の画像処理における複数の画像データに基づく動き部分の検出処理について説明する図である。

[図 6]本発明の画像処理における動き部分の画素値調整処理について説明するフロ一図である。

[図 7]本発明の画像処理における動き部分の画素値調整処理について説明する図である。

[図 8]本発明の画像処理における複数の画像データに基づく画素値調整処理を実行する機構を説明する図である。

[図 9]本発明の画像処理方法における複数の画像データに基づくホワイトバランス調整処理の手順を説明するフローチャートである。

[図 10]本発明の画像処理における複数の画像データに基づく画素値調整処理を実行する機構を説明する図である。

園 11]本発明の画像処理における動き部分の画素値調整処理について説明する図である。

園 12]本発明の第 2実施例における動き部分の画素値調整処理について説明するフロー図である。

園 13]本発明の第 2実施例における動き部分の画素値調整処理について説明する図である。

園 14]本発明の第 2実施例における動き部分の画素値調整処理において実行する画像差分 dの初期値設定方法について説明する図である。

園 15]本発明の第 2実施例における動き部分補正画素値算出部の構成および処理について説明する図である。

[図 16]本発明の第 3実施例における動き部分の画素値調整処理、画像差分 dの初期値設定方法について説明する図である。

園 17]本発明の第 3実施例における動き部分の画素値調整処理について説明するフロー図である。

園 18]本発明の第 3実施例における動き部分の画素値調整処理について説明する図である。

園 19]本発明の第 3実施例における動き部分補正画素値算出部の構成および処理について説明する図である。

園 20]本発明の第 4実施例における処理について説明するフロー図である。

符号の説明

101 レンズ

102 絞り

103 固体撮像素子

104 相関 2重サンプリング回路

105 A/Dコンバータ

106 DSPブロック

107 タイミングジェネレータ 108 D/Aコンバータ

109 ビデオエンコーダ

110 ビデオモニタ

111 コーデック（CODEC)

112 メモリ

113 CPU

114 入力デバイス

115 フラッシュ制御装置

116 フラッシュ発光装置

200 ボール

210 像ぶれの発生領域

250 動きあり部分内周画素

251 動きあり部分外周画素

252 動きあり部分非内周画素

253 動きあり部分非外周画素

254 画素 a

255 aの隣接画素

301， 302, 303 フレームメモリ

304 差分画像算出部

305 ホワイトバランス調整部

306 外光成分推定部

307 ホワイトバランス調整部

308 画素値加算部

309 動き検出部

310 動き部分補正画素値算出部

311 ホワイトバランス調整部

312 出力切り替え部

401 , 402, 403 フレームメモリ 404 差分画像算出部

405 ホワイトバランス調整部

406 画素値加算部

407 ホワイトバランス調整部

408 動き検出部

409 動き部分補正画素値算出部

410 ホワイトバランス調整部

411 出力切り替え部

550 動きあり部分画素領域

551 動きなし部分画素領域

560 ホワイトバランス調整画像 R

561 フラッシュあり画像 I

2

564 ホワイトバランス調整画像 R

581 動きあり部分画素領域の画素

582— 584 動きなし部分画素領域の画素

701 動きなし部分画素領域ホワイトバランス調整画像 R

702 画像 I格納メモリ

2

710 動き部分補正画素値算出部

711 画像差分 (画像比率) d算出部

712 動きあり画素領域画像差分 (画像比率) d初期値設定部

713 平滑化処理部

714 動き部分最終補正画素値算出部

821 動きあり部分画素領域の画素

822-824 動きなし部分画素領域の画素

860 ホワイトバランス調整画像 R

861 フラッシュ光あり撮影画像 I

2

862 動きあり部分画素領域近接部分の画像差分 d

863 動きあり部分画素領域画像差分 d推測値 864 ホワイトバランス調整画像 R

901 動きなし部分画素領域ホワイトバランス調整画像 R

902 画像 I格納メモリ

2

910 動き部分補正画素値算出部

911 画像差分 (画像比率) d算出部

912 動きあり画素領域画像差分 (画像比率) d初期値設定部

913 フィルタ処理部

914 動き部分最終補正画素値算出部

Claims

請求の範囲

[1] 画像処理方法であって、

を有することを特徴とする画像処理方法。

[2] 前記画像差分 d(x， y)は、

前記第 1画像データの各画素 (x， y)の画素値ベクトルを A (x， y)、前記第 2画像データの対応画素（X, y)の画素値ベクトルを B(x, y)としたとき、

d(x, y)=A(x, y)-B(x, y)

として算出されるベクトルであり、

前記画像比率 d(x， y)は、

d(x， y)=A(x, y)/(B(x, y)+e)

ただし、 eは、固定値、

として算出されるベクトルであることを特徴とする請求項 1に記載の画像処理方法。

[3] 前記第 1画像データは、フラッシュ発光なし撮影画像とフラッシュ発光あり撮影画像とに基づいて画素値調整の施されたホワイトバランス調整画像 Rであり、前記第 2画像データは、フラッシュ発光画像 Iであり、前記特定領域は、被写体の動きが検出さ

2

れた動きあり領域であり、

前記画像差分 d(x， y)は、

前記ホワイトバランス調整画像 Rの各画素（X, y)の画素値べクトノレを R(x, y)、前記フラッシュ発光画像 Iの対応画素（X, y)の画素値ベクトルを I (X, y)としたとき、

2 2

d(x, y)=R(x, y)-I (x, y)

2

として算出されるベクトルであり、前記画像比率 d (x， y)は、

d (x, y) =R (x, y) / (l (x, y) + e)

2

ただし、 eは、固定値、

として算出されるベクトルであり、

前記補正画像生成ステップは、

前記推定値算出ステップにおいて算出した前記動きあり領域における画像差分または画像比率の推定値と、前記フラッシュ発光画像 Iとに基づいて前記動きあり領域

2

の補正画像を生成するステップであることを特徴とする請求項 1に記載の画像処理方法。

[4] 前記推定値算出ステップは、

画像データの特定領域において、該特定領域の隣接領域において決定された画像差分または画像比率に基づいて、特定領域の画像差分または画像比率の初期値を設定する初期値設定ステップと、

前記初期値設定ステップにおいて設定した初期値に対して平滑フィルタに基づく平滑処理を実行する平滑処理実行ステップと、

を含むことを特徴とする請求項 1に記載の画像処理方法。

[5] 前記初期値設定ステップは、

初期値設定対象画素の近傍にある画像差分または画像比率設定済み画素に設定された画像差分または画像比率に基づいて、初期値設定対象画素の初期値を設定するステップであることを特徴とする請求項 4に記載の画像処理方法。

[6] 前記初期値設定ステップは、

初期値設定対象画素および、画像差分または画像比率設定済み画素の判別のために、マスク画像を適用するステップを含むことを特徴とする請求項 5に記載の画像処理方法。

[7] 前記補正画像生成ステップは、

前記推定値算出ステップにおいて算出した前記特定領域における画像差分または画像比率の推定値と、前記第 2画像データとに基づいて前記特定領域の補正画像を生成するステップであり、画像差分を適用した処理においては、

前記特定領域における前記第 2画像データに対して、前記推定値算出ステップにおいて算出した前記特定領域における画像差分の推定値を加算するステップとして実行し、

画像比率を適用した処理においては、

前記特定領域における前記第 2画像データに対して、前記推定値算出ステップにおいて算出した前記特定領域における画像比率の推定値を乗算するステップとして実行することを特徴とする請求項 1に記載の画像処理方法。

[8] 前記第 1画像データは、フラッシュ発光なし撮影画像とフラッシュ発光あり撮影画像とに基づいて画素値調整の施されたホワイトバランス調整画像 Rであり、前記第 2画像データは、フラッシュ発光画像 Iであり、前記特定領域は、被写体の動きが検出さ

2

れた動きあり領域であり、

前記補正画像生成ステップは、

画像差分を適用した処理においては、

前記動きあり領域における前記フラッシュ発光画像 Iに対して、前記推定値算出ス

2

テツプにおいて算出した前記特定領域における画像差分の推定値を加算するステツプとして実行し、

画像比率を適用した処理においては、

2

テツプにおいて算出した前記特定領域における画像比率の推定値を乗算するステツプとして実行することを特徴とする請求項 1に記載の画像処理方法。

[9] 前記推定値算出ステップは、

前記初期値設定ステップにおいて設定した初期値に対して、前記第 2画像データに基づく重み設定のなされたフィルタを適用したフィルタリング処理に相当する画素値変換式に従った画素値変換処理を実行して前記特定領域の画像差分または画像比率の値を補正するフィルタリング処理ステップと、

を含むことを特徴とする請求項 1に記載の画像処理方法。

[10] 前記初期値設定ステップは、

初期値設定対象画素の近傍にある画像差分または画像比率設定済み画素に設定された画像差分または画像比率に基づいて、初期値設定対象画素の初期値を設定するステップであることを特徴とする請求項 9に記載の画像処理方法。

[11] 前記初期値設定ステップは、

初期値設定対象画素および、画像差分または画像比率設定済み画素の判別のために、マスク画像を適用するステップを含むことを特徴とする請求項 10に記載の画像処理方法。

[12] 前記第 1画像データは、フラッシュ発光なし撮影画像とフラッシュ発光あり撮影画像とに基づいて画素値調整の施されたホワイトバランス調整画像 Rであり、前記第 2画像データは、フラッシュ発光あり撮影画像 Iであり、前記特定領域は、被写体の動き

2

が検出された動きあり領域であり、

前記フィルタリング処理ステップは、

前記フラッシュ発光あり撮影画像 Iの画像データを構成する画素の画素値に応じて

2

重みを設定した関数を含む変換式を適用した画素値変換処理を実行するステップであることを特徴とする請求項 9に記載の画像処理方法。

[13] 前記フィルタリング処理ステップは、下記変換式、

[数 1]

， _∑ μ₂ ., , 2 /₂( ^

ただし、 d (x， y， ch)、 I (x, y， ch)は、画素位置（x， y)の各チャンネル [ch]の画

2

重みを設定する重み付け関数である、

上記変換式を適用した画素値変換処理を実行するステップであることを特徴とする請求項 12に記載の画像処理方法。

前記変換式における重み付け関数 w (x)は、下記式、

[数 2]

によって示される関数であることを特徴とする請求項 13に記載の画像処理方法。

[15] 前記変換式における画素位置 (x， y)の値 dの更新値 d'を算出するために適用する参照画素位置 i, jは、 kを任意の自然数としたとき、 x-k≤i≤x + k, y_k≤j≤y + kであり、 kは、 1, 2、 3のいずれかの値であることを特徴とする請求項 13に記載の画像処理方法。

[16] フラッシュ発光なし撮影画像に基づくフラッシュなし低解像度画像データ I をメモリ

1L に格納するステップと、

2L

3L に格納するステップと、

1L

2L

前記補正画像生成ステップにおいては、前記画素値調整画像 Rと、フラッシュあり高解像度画像データ I と、フラッシュあり解像度画像データ I との対応画素値に基

2H 2L

づいて、高解像度最終補正画像 R を生成することを特徴とする請求項 1に記載の画

H

像処理方法。

[17] 前記補正画像生成ステップは、

フラッシュあり解像度画像データ I に対する前記画素値調整画像 Rの対応画素の

2L

画素値変換情報を取得するステップと、

前記画素値変換情報に基づいて、フラッシュあり高解像度画像データ I の画素値

2H 変換を実行するステップと、

を有することを特徴とする請求項 16に記載の画像処理方法。

[18] 画像処理装置であって、

前記推定値算出ステップにおいて算出した前記特定領域における画像差分または画像比率の推定値と、前記第 2画像データとに基づレ、て前記特定領域の補正画像を生成する補正画像生成手段と、

を有することを特徴とする画像処理装置。

[19] 前記推定値算出手段は、

画像データの特定領域において、該特定領域の隣接領域において決定された画像差分または画像比率に基づいて、特定領域の画像差分または画像比率の初期値を設定する初期値設定部と、

前記初期値設定部において設定した初期値に対して平滑フィルタに基づく平滑処理を実行する平滑処理部と、

を含むことを特徴とする請求項 18に記載の画像処理装置。

[20] 前記推定値算出手段は、画像データの特定領域において、該特定領域の隣接領域において決定された画像差分または画像比率に基づいて、特定領域の画像差分または画像比率の初期値を設定する初期値設定部と、

前記初期値設定部において設定した初期値に対して、前記第 2画像データに基づく重み設定のなされたフィルタを適用したフィルタリング処理に相当する画素値変換式に従った画素値変換処理を実行して前記特定領域の画像差分または画像比率の値を補正するフィルタ処理部と、

を含むことを特徴とする請求項 18に記載の画像処理装置。

[21] 画像処理を実行するコンピュータ 'プログラムであって、

を有することを特徴とするコンピュータ 'プログラム。

[22] フラッシュ発光なし撮影画像に基づくフラッシュなし低解像度画像データ I をメモリ

1L に格納するステップと、

2L

3L に格納するステップと、

1L

2L

2H 2L

づいて、高解像度最終補正画像 R を生成することを特徴とする請求項 21に記載の

H

コンピュータ ·プログラム。