WO2003085989A1

WO2003085989A1 - Dispositif de traitement d'images, programme de traitement d'images et procede de traitement d'images

Info

Publication number: WO2003085989A1
Application number: PCT/JP2003/004327
Authority: WO
Inventors: Hideyasu Kuniba
Original assignee: Nikon Corporation
Priority date: 2002-04-04
Filing date: 2003-04-04
Publication date: 2003-10-16
Also published as: JPWO2003085989A1; JP3801177B2; AU2003221024A1

Description

1 明細書画像処理装置、画像処理プログラム、および画像処理方法技術分野

本発明は、画像処理装置、画像処理プログラム、および画像処理方法に関する。特に、本発明は、画像データの撮影光源に関する情報を求める技術に関する。背景技術

電子カメラで画像データを撮影すると、撮影光源の種類によって画像データに色の偏りが生じる。従来、この色の偏りを補正するため、電子カメラは、画像データにホワイトバランス補正を行っていた。このホワイトバランス補正では、撮影光源による色の偏りを、「画面全体の色平均」、「高頻度の出現色」、または「高輝度箇所の色」から求めていた（例えば、特開²00 0— 1 4 8 9 7 8号公報）。

一方、撮影光源の色温度を画像データから推定する手法として、文献『Shoji Tominaga, Satoru Ebisui, and Brian A. Wandell: Color Temperature Estimation of Scene Illumination, Proc. The Seventh Color Imaging Conference: Color Science, Systems and Applications, pp.42-47, Scottsdale, Arizona, Nov. 1999.』が知られている。

図 1 8は、この文献から引用した『RB色空間にプロットした分布』と『撮影光源の色温度』との関係を示す図である。

図 1 8に示されるように、撮影光源の色温度上昇に伴って、 RB色空間上の分布は R軸方向から B軸方向へと位置が移動する。上記文献の推定方法は、この R B色空間の分布が、どの色温度の分布域（色温度ごとに図 1 8に示す枠）に収まるかに基づいて、撮影光源の色温度を推定している。発明の開示

本発明の目的は、撮影光源に関する情報を正確に得るために、画像データの新しい解析技術を提供することである。

以下、本発明について説明する。

( 1 )

本発明の画像処理装置は、複数の画素のデータを含む画像データを処理して、画像データの撮影光源に関する情報を求める画像処理装置であって、分類部および判定部を備える。

この分類部は、画素が有する色情報および階調情報から、色情報の区分ごとに、階調情報の度数分布を求める。ここでは、このように求めた度数分布を『色単位の階調分布』という。

一方、判定部は、この色単位の階調分布から、階調のバリエーション（言い換えると、階調のバラツキ具合、階調の多様性、階調の豊かさ、ほぼ連続していると見なせる階調の幅）を色情報の区分単位に評価する。そして、判定部は、この階調バリエーションが多いと評価された色情報を、撮影光源の影響を反映した色情報と判定する。

例えば、上記の『画素が有する色情報』とは、その画素のデータなどから得られる『画素の色に関する情報』である。

( 2 )

なお好ましくは、本発明の画像処理装置は、上記の判定部が、色単位の階調分布について度数の積を算出し、この積の値に基づいて階調バリエーションを判定する。

さらに好ましくは、上記の判定部が、この積の値が大きい色情報ほど、階調バリエーションが多いと評価する。

( 3 )

なお好ましくは、本発明の画像処理装置は、上記の分類部が、次のような空間分類部および正規化部を有する。

この空間分類部は、画素の色情報および階調情報を基準にして、色一階調空間上の度数分布を求める。すなわち、色および階調を座標軸にした空間上において、画素の度数分布を得る。

一方、正規化部は、この度数分布を階調情報の区分ごとに正規化して、階調情報の値の違いによる度数バラツキを抑制する。

この場合、分類部は、この正規化部で正規化された度数分布から、色単位の階調分布を得る。

( 4 )

なお好ましくは、本発明の画像処理装置は、上記の正規化部が、正規化に際して、度数分布の全体傾向を損なわない小さな値を、度数分布の度数ゼロの箇所に補填する。

( 5 )

なお好ましくは、本発明の画像処理装置は、上記の分類部において、次のような前処理を実施する。すなわち、分類部は、画像データから複数の画像領域を抽出し、これら画像領域ごとに平均色を求める。

さらに、これら画像領域の平均色が、予め定められた無彩色範囲に収まるか否かを判定し、無彩色範囲に収まる画像領域を選抜する。

分類部は、この前処理によって選抜された画像領域について、上述した色単位の階調分布を求める。

( 6 )

なお好ましくは、本発明の画像処理装置では、分類部と判定部が、画像データから部分的に抽出した複数の画像領域ごとに、上記処理を実行する。

すなわち、分類部は、個々の画像領域それぞれについて、色単位の階調分布を求める。一方、判定部は、個々の画像領域それぞれについて、階調バリエーションの多い色情報を求める。

さらに、判定部は、これら画像領域ごとに求めた『階調バリエーションの多い色情報』から代表となる値を算出し、この代表値を前記撮影光源の影響を反映した色情報とする。

( 7 )

なお好ましくは、本発明の画像処理装置は、上記の判定部が、撮影光源の影響を反映すると判定された色情報に基づいて、画像データのホワイトバランス補正を行う。

さらに好ましくは、上記の判定部は、この撮影光源の影響を反映すると判定された色情報を無彩色に変換するように、画像データのホワイトバランス補正を行

5 o

( 8 )

本発明の画像処理プログラムは、コンピュータを、上記（1 ) 〜（7 ) のいずれか 1つに記載の分類部および判定部として機能させることを特徴とする。

( 9 )

本発明の画像処理方法は、複数の画素のデータを含む画像データを処理して、画像データの撮影光源に関する情報を求める画像処理方法であって、分類ステップおよび判定ステップを有する。

この分類ステップでは、画素が有する色情報および階調情報を基準にして、階調情報の度数分布を色情報の区分ごとに求める。

一方、判定ステップでは、この色単位の階調分布から階調のバリエーションを色単位に評価し、階調バリエーションが多いと評価された色情報を、撮影光源の影響を反映した色情報と判定する。図面の簡単な説明

なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。

図 1は、電子カメラ 1 1 (画像処理装置を含む）の構成を示す図である。

図 2は、第 1の実施形態におけるホワイトバランス補正を説明する流れ図である。

図 3は、撮影光源の色温度を変えながら、無彩色被写体の色情報（Β ' / K ' ) の軌跡を求めたグラフである。

図 4は、画像データの絵柄の一例を示すため、画像データにディザ化を施して作成した図である。

図 5は、画素単位の色情報および階調情報を、色—階調空間上にプロットした分布図である。

図 6は、色一階調空間上の度数分布である。 .

図 7は、正規化後の度数分布である。図 8は、度数の総和を示すグラフである。

図 9は、第 2の実施形態におけるホワイトバランス補正を説明する流れ図である。

図 1 0は、度数の積を示すグラフである。

図 1 1は、正規化後の度数分布である。

図 1 2は、第 3の実施形態におけるホワイトバランス補正を説明する流れ図である。

図 1 3は、度数の積を示すグラフである。

図 1 4は、正規化後の度数分布を示す図である。

図 1 5は、第 4の実施形態におけるホワイトバランス補正を説明する流れ図である。

図 1 6は、画像領域の選抜に使用される無彩色範囲の一例を示す図である。図 1 7は、画像領域の単位に、階調バリエーションの多い色情報を求めた結果を示す図である。

図 1 8は、『R B色空間にプロットした画素分布』と『撮影光源の色温度』との関係を示す図である。発明を実施するための最良の形態

以下、図面に基づいて本発明にかかる実施形態を説明する。

《第 1の実施形態》

第 1の実施形態は、請求項 1 , 3 , 7，および 9に対応する実施形態である。

[第 1の実施形態の構成]

図 1は、電子カメラ 1 1 (画像処理装置を含む）の構成を示す図である。図 1において、電子カメラ 1 1には、撮影レンズ 1 2が装着される。この撮影レンズ 1 2の像空間には、撮像素子 1 3の受光面が配置される。

この撮像素子 1 3で生成される画像データは、 A/ D変換部 1 4を介してデジタル化された後、画像メモリ 1 5に一時記憶される。

画像処理部 1 6は、画像メモリ 1 5内の画像データに対して、ホワイトバランス補正などの画像処理を実施する。圧縮記録部 1 7は、画像処理の完了した画像データを、記録媒体 1 8に圧縮記録する。

[発明との対応関係]

以下、発明と第 1の実施形態との対応関係について説明する。なお、ここでの対応関係は、発明の理解を容易にするために例示するものであり、発明をこの対応関係に限定するものではない。

請求項記載の分類部は、画像処理部 1 6の『画像データから色単位の階調分布を求める部分』に対応する。

請求項記載の判定部は、画像処理部 1 6の『色単位の階調分布に基づいて、撮影光源の影響を反映する色情報を求める部分』に対応する。

[第 1の実施形態の動作説明]

図 2は、第 1の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図 2に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。

ステップ S 0 ：画像処理部 1 6は、画像メモリ 1 5内の画像データから、撮影光源の推定材料とする RGBデータを取得する。

この段階での RGBデータは、画像データの絵柄の違いによって、明るさや色の信号レベルが一定しない。そこで、画像処理部 1 6は、下式の規格化を実施し、 RGBデータの信号レベルを揃える。

Imax = MAX[VR² +G² +B²] ..'(1)

(R' ， G' ， B' ) = (R， G, B) / I max · · · (2)

ステップ S I ：画像処理部 1 6は、規格化後の R' G' B' 成分に基づいて、色情報を算出する。

ここで、色情報として採用する指標値は、撮影光源の特性（例えば色温度）と一対一に対応する値が好ましい。さらには、撮影光源の違いに敏感に反応する値が好ましい。

第 1の実施形態では、色温度とよく対応するという観点から、次のような色情報を採用する。

色情報- B' /R' · · · (3) 図 3は、撮影光源の色温度を変えながら、無彩色被写体について色情報（Β' /R' ) の変化を求めたデータである。この図 3に示されるように、色情報（Β' /Κ' ) は、撮影光源の色温度とほぼ一対一に対応し、かつ撮影光源の色温度の変化に敏感に反応する。

ステップ S 2 ：続いて、画像処理部 1 6は、各画素の R' G' Β' 成分に基づいて、階調情報を算出する。

第 1の実施形態では、次のような階調情報を採用する。

Ρ皆調情報 = A/(R'² + ²) ·'·(4)

ステップ S 3 : 画像処理部 1 6は、このように求めた色情報および階調情報を基準にして各画素を分類し、図 6に示すような度数分布を求める。

以下、この図 6の度数分布を求めるまでの処理手順を具体的に説明する。図 4は、画像データの一例である。この画像データは、晴天時に撮影されたもので、撮影光源の色温度はおおよそ 6 0 0 0 Κである。

画像処理部 1 6は、上述した式 3および式 4を用いて、色情報および階調情報を算出する。

図 5は、この色情報および階調情報を、色一階調空間上にプロットした画素分布である。ここでの色一階調空間は、色および階調を座標軸にとった空間である。画像処理部 1 6は、この色一階調空間上に複数の領域を設ける。これら領域のサイズは、撮影光源の推定精度に実用上影響のない程度の大きさであればよい。また、領域の形状は、矩形や円形など、何でもよい。

第 1の実施形態では、これら複数の領域として、下記の条件式で規定される領域を採用する。

(式 5)

ただし、 σ = 0. 2 5 , kmax= 1 0である。

この条件式に、

階調区分 k = 1， 2 , 3 · · · 1 0

色区分（Β' /R' ) „= 0. 0， 0. 2， 0. 4 4. 8

の値を組み合わせて代入することにより、複数の領域が規定される。画像処理部 1 6は、各画素の色情報および階調情報をこの条件式に代入し、条件式が成立する領域（すなわち、条件式を満足する階調区分および色区分の値）を探索する。画像処理部 1 6は、条件式が成立する領域が見つかるたびに、その領域の度数を『 1』増やす。

このようなカウント処理により、図 6に示すような度数分布が得られる。ステップ S 4 ：画像処理部 1 6は、求めた度数分布を、階調区分 kごとに正規化する。ここでは、階調区分 kの度数の最大値が『1 0 0 0』になるように、正規化を行う。このような正規化により、階調区分 kごとの度数バラツキが抑制される。

図 7は、このような正規化後の度数分布を示す図である。

この正規化後の度数分布を、色区分ごとに分割したものが、第 1の実施形態における『色単位の階調分布』に該当する。

ステップ S 5 : 画像処理部 1 6は、これら色単位の階調分布ごとに、度数の総和を算出する。ステップ S 4において階調区分 kごとの度数バラツキを抑制しているため、この度数の総和は、階調バリエーションの度合いをよく反映する。そこで、画像処理部 1 6は、この度数の総和が大きい色情報ほど、階調バリエーションが多く、撮影光源の影響を反映した色情報であると判定する。

図 8は、色情報の値を横軸にして、この度数の総和をプロットしたグラフである。図 8に示したグラフの場合、色情報 2 . 0が、撮影光源の影響を一番反映した色情報と判断される。図 3に示した対応グラフから、このときの撮影光源の色温度は、おおよそ 6 9 0 O Kとなる。

ステップ S 6 ：画像処理部 1 6は、撮影光源の影響を反映すると判定された色情報に基づいて、画像データの色の偏りを補正する係数（ホワイトバランス補正値）をテーブル参照などによって得る。すなわち、上記の図 8のケースでは、画像処理部 1 6は、色温度 6 9 0 O Kのカラーバランスを補正するホワイトバランス補正値を得る。

ステップ S 7：画像処理部 1 6は、得られたホワイトバランス補正値を使って、画像メモリ 1 5内の画像データに対して、ホワイトバランス補正を実施する。

[第 1の実施形態の効果など] 第 1の実施形態における色温度の推定値 6 9 0 0 Kは、実際の色温度 6 0 0 0 Kに比べて若干高めである。しかしながら、今回の画像データ（図 4 ) の大部分が青空であるため、本来はもつと高めの色温度と推定されるおそれがあった。そのことを考慮すると、本実施形態では、大面積部分（青空）の影響を適度に抑えた良好な推定結果を得ていることが分かる。

例えば、図 1 8に示した従来技術では、大面積の青空を含む場合、 B軸の近くに度数分布が集中する。その結果、この従来技術では、もっと高い色温度と推定されるおそれがあった。

ところが、本実施形態は、図 5に示すように度数分布をとる。そのため、青空の微妙な色変化を反映して、青空の度数分布 Sは色情報の軸方向に広く分散する。そのため、上述した処理では、青空の度数分布 Sが、色情報の区分に細分化される。その結果、色情報の区分ごとの評価では、青空の階調バリエーションは少なく評価される。したがって、本実施形態では、大面積の青空に惑わされることなく、良好な推定結果を得ることができる。

すなわち、このような良好な推定結果は、色単位の階調バリエーションを尺度とした結果である。通常、被写界には、様々な反射率や反射角度を有する被写体や、種々の陰影が存在する。撮影光源の光は、これらによって明暗方向に変調されるため、多様な階調を生じる確率が高い。

一方、撮影光源の影響を素直に反映しない固有色や空色などは、その色自体の限られた階調範囲や、その色自体の色変化を含んで、画像データ中に現れる。そこで、色単位の階調バリエーションを尺度にすることにより、これら固有色の影響を排除して、撮影光源の影響を反映した色情報を的確に推定できる。

さらに、第 1の実施形態では、ステップ S 4の正規化処理により、階調区分 k ごとの度数バラツキを抑制している。通常、画像データの絵柄の違いによって、階調区分ごとの度数はばらつく。このバラツキにより、階調バリエーションを統一的な尺度で判定することが困難になる。しかしながら、本発明では、上述した正規化処理により、この度数バラツキを低減させ、階調方向の度数をなるベく均等化する。そのため、階調バリエーションを、絵柄の違いに係わらず、統一的な尺度で判定することが容易になる。次に、別の実施形態について説明する。

《第 2の実施形態》

第 2の実施形態は、請求項 1 , 2， 3， 4 , 7，および 9に対応する実施形態である。

なお、「第 2の実施形態の構成」および「発明との対応関係」については、第 1の実施形態と同様であるため、ここでの説明を省略する。

[第 2の実施形態の動作説明]

図 9は、第 2の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図 9に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。

ステップ S 0 第 1の実施形態のステップ S 0と同様の処理。

ステップ S 1 第 1の実施形態のステップ S 1と同様の処理。

ステップ S 2 第 1の実施形態のステップ S 2と同様の処理。

ステップ S 3 第 1の実施形態のステップ S 3と同様の処理。

ステップ S 4 画像処理部 1 6は、ステップ S 1 3で求めた度数分布の全体傾向を損なわない程度の小さな値を、度数分布の度数ゼロの箇所に捕填する。この実施形態では、度数分布（図 6参照）の全体に最小度数『1』を一様に加算している。

ステップ S 1 5 ：画像処理部 1 6は、色一階調空間の度数分布を、階調区分 k ごとに正規化する。ここでは、階調区分 kにおける度数の最大値が『1 0 0 0』になるように、正規化を行う。このような正規化により、階調区分 kごとの度数バラツキが抑制される。

図 1 1は、この正規化後の度数分布を示す図である。

この正規化後の度数分布を、色区分ごとに分割したものが、第 2の実施形態における『色単位の階調分布』である。

ステップ S 1 6 ：画像処理部 1 6は、これら色単位の階調分布ごとに、度数の積を算出する。この度数の積は、階調バリエーションの度合いをよく反映する。すなわち、画像処理部 1 6は、この度数の積が大きい色情報ほど、階調バリエ一ションが多く、撮影光源の影響を反映した色情報であると判定する。図 1 0は、色情報の値を横軸にして、この度数の積をプロットしたグラフである。図 1 0に示したグラフの場合、色情報 1 . 8力 S、撮影光源の影響を一番反映した色情報と判断される。図 3に示した対応グラフから、このときの撮影光源の色温度は、おおよそ 6 2 0 0 Kと推定される。

ステップ S 1 7 : 第 1の実施形態のステップ S 6と同様の処理。

ステップ S 1 8 : 第 1の実施形態のステップ S 7と同様の処理。

[第 2の実施形態の効果など]

第 2の実施形態における色温度の推定値 6 2 0 0 Kは、青空の影響をよく抑制した良好な推定結果である。このような良好な推定結果は、階調バリエーションを尺度にして、撮影光源を推定した結果である。

特に、第 2の実施形態では、色単位の階調分布について度数の積を算出し、その積の値により階調バリエーションを判定している。この積の演算では、階調バリエーションの違いが数値の大小として顕著に現れるため、階調バリエーションを明確に判定することが可能になる。

また、第 2の実施形態では、ステップ S 1 3の正規化処理により、階調区分 k ごとの度数バラツキを抑制している。その結果、絵柄による階調分布の違いを補正して、階調バリエーションをより的確に判定することが可能になる。

さらに、第 2の実施形態では、度数分布の全体傾向を損なわない程度の小さな値（ここでは最小度数『 1』）で度数ゼロの箇所を補填している。したがって、度数の積の演算に際して、度数ゼロをわざわざ排除する必要がなく、演算処理を単純化することが可能になる。

ちなみに、このような度数ゼロの箇所は、絵柄によってばらつく。このバラッキは、階調バリエーションを判定する際に弊害となる。しかしながら、本実施形態では、この度数ゼロの箇所を補填した後で、正規化処理を実行する。その結果、度数ゼロの箇所は、一様かつ適当な度数値（図 1 1に示す k = 8〜 1 0の列など）で包括的に埋められる。この包絡的な度数分布を用いて階調バリエーションを判定することにより、絵柄（特に階調欠落）による度数ゼロの発生バラツキを排除し、階調バリエーションを的確かつ容易に判定することが可能になる。

次に、別の実施形態について説明する。《第 3の実施形態》

第 3の実施形態は、請求項 1， 2 , 3， 4 , 7 , および 9に対応する実施形態である。

なお、「第 3の実施形態の構成」および「発明との対応関係」については、第 1の実施形態と同様であるため、ここでの説明を省略する。

[第 3の実施形態の動作説明]

図 1 2は、第 3の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図 1 2に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。

スステテッッププ SS 22 00 : 第 2の実施形態のステップ S 1 0と同様の処理。

ステップ S 2 1 第 2の実施形態のステップ S 1 1と同様の処理。

ステップ S 2 2 第 2の実施形態のステップ S 1 2と同様の処理。

ステップ S 2 3 第 2の実施形態のステップ S 1 3と同様の処理。

ステップ S 2 4 第 2の実施形態のステップ S 1 4と同様の処理。

スステテッッププ SS 22 55 ：画像処理部 1 6は、色—階調空間の度数分布度を、階調区分 kごとに正規化する。ここでは、階調区分 kにおける度数の総和が『1 0 0 0』になるように、正規化を行う。このような正規化により、階調区分 kごとの度数バラツキが抑制される。

図 1 4は、この正規化後の度数分布を示す図である。

この正規化後の度数分布を、色区分ごとに分割したものが、第 3の実施形態における『色単位の階調分布』である。

ステップ S 2 6 : 画像処理部 1 6は、これら色単位の階調分布ごとに、度数の積を算出する。この度数の積は、階調バリエーションの度合いをよく反映する。画像処理部 1 6は、この度数の積が大きい色情報ほど、階調バリエーションが多く、撮影光源の影響を反映した色情報であると判定する。

図 1 3は、色情報の値を横軸にして、この度数の積をプロットしたグラフである。図 1 3に示したグラフの場合、色情報 1 . 8が、撮影光源の影響を一番反映した色情報と判断される。図 3に示した対応グラフから、この場合の撮影光源の色温度は、おおよそ 6 2 0 0 Kと推定される。ステップ S 2 7 ：第 2の実施形態のステップ S 1 7と同様の処理。ステップ S 28 ：第 2の実施形態のステップ S 1 8と同様の処理。

[第 3の実施形態の効果など]

第 3の実施形態においても、第 2の実施形態とほぼ同様の効果を得ることがでさる。

《第 4の実施形態》

第 4の実施形態は、請求項 1〜7，および 9に対応する実施形態である。

なお、「第 4の実施形態の構成」および「発明との対応関係」については、第 1の実施形態と同様であるため、ここでの説明を省略する。

[第 4の実施形態の動作説明]

図 1 5は、第 4の実施形態におけるホワイトバランス補正を説明する流れ図である。以下、図 1 5に示すステップ番号に沿って、ホワイトバランス補正の処理動作を説明する。

ステップ S 3 1 ：画像処理部 1 6は、画像メモリ 1 5内の画像データを、複数の画像領域に区分する。例えば、画像データを縦 4分割、横 6分割して、 24個の画像領域を作成する。なお、ここでの画像領域の区分サイズを、画像データにおける色パターンの細かさや複雑さなどに応じて変更することが好ましレ、。また、ここでの画像領域の区分線の位置を、画面内における色パターンの位置関係などに応じて変更することが好ましい。

ステップ S 3 2 ：画像処理部 1 6は、画像領域の一つ一つについて、画素値を RGBごとに平均化して、平均色を求める。

ステップ S 3 3 ：画像処理部 1 6は、画像領域の一つ一つについて、平均色の RGBデータから（BZG) および（R/B) を求める。画像処理部 1 6は、求めた（B/G) および（R/B) を尺度にして、予め定められた無彩色範囲に平均色が収まるか否かを判定する。

図 1 6は、一例として、無彩色範囲 A (図 1 6中の斜線範囲）を示す図である。ここでの無彩色範囲 Aは、次のように決定される。

まず、（B_ G) および（RZB) を座標軸とした色度空間を設定し、その色度空間上に黒体軌跡 Bのカーブをプロットする。この黒体軌跡 Bは、撮影光源として通常予想される色温度範囲に予め制限される。すなわち、撮影光源の色温度の上限域（例えば 1 4 0 0 0 K以上）および下限域（例えば 2 0 0 0 K以下）については、黒体軌跡 Bから予め除かれる。この色度空間上において、（1 ) 黒体軌跡 Bに近接し、かつ（2 ) 被写体固有の色の影響をさほど受けずに撮影光源の色を反映していると判断できる範囲を定めて、無彩色範囲 Aとする。

具体的な無彩色範囲 Aは、色度空間上の各点が無彩色に近いか否かといった主観テストに基づいて決定することが好ましい。

画像処理部 1 6は、ステップ S 3 2で求めた平均色それぞれについて、無彩色範囲に収まるか否かを判定する。この判定結果から、画像処理部 1 6は、複数の画像領域から、平均色が無彩色範囲に収まるものを選別する。

図 1 7中に数字を示した画像領域は、このように選別された画像領域である。一方、図 1 7中に『一』で示した画像領域は、平均色が無彩色範囲 Aから外れたために、選抜されなかった画像領域である。

ちなみに、この図 1 7の元画像は、遊園地で撮影された画像であり、遊園地に特有の有彩色が局所的に配置された画像である。

ステップ S 3 4：画像処理部 1 6は、選抜された画像領域の数をカウントする。ここで、選抜された画像領域の数が所定数以下であり、撮影光源の色情報を求めるのに狭すぎると判断される場合、画像処理部 1 6はステップ S 3 5に動作を移行する。

一方、選抜された画像領域の数が所定数より多く、撮影光源の色情報を求めるのに十分であると判断される場合、画像処理部 1 6はステップ S 3 6に動作を移行する。

ステップ S 3 5 ：ここでは、選抜された画像領域の数が少ないために、画像データ全体を有彩色が占めているなどの状況が予想される。この場合、画像処理部 1 6は、画像データから撮影光源を推定することを諦め、予め設定された標準的なホワイトバランス補正値（予めプリセット設定された値など）を選択する。画像処理部 1 6は、この標準的なホワイトバランス補正値に従った調整を実施するため、ステップ S 4 0に動作を移行する。

ステップ S 3 6：ここでは、選抜された画像領域の数が所定数よりも多いため、撮影光源の推定を続行する。すなわち、画像処理部 1 6は、選抜した画像領域の一つ一つについて、色単位の階調分布を求める。なお、この処理の詳細については、個々の画像領域ごとに実施する点を除けば、第 1〜第 3の実施形態と同様であるため、ここでの説明を省略する。

ステップ S 3 7 ：画像処理部 1 6は、選抜した画像領域の一つ一つにおいて、色単位の階調分布から、階調バリエーションが多い色情報を求める。なお、この処理の詳細については、個々の画像領域ごとに実施する点を除けば、第 1〜第 3 の実施形態と同様であるため、ここでの説明を省略する。

図 1 7において、画像領域ごとに示す数値は、その画像領域において階調バリエーシヨンが最大となる色情報の（B Z R ) 値である。

ステップ S 3 8 ：画像処理部 1 6は、ステップ S 3 7で求めた色情報の中から最大値および最小値を、極端な値として除く。画像処理部 1 6は、残った色情報について平均をとつて、色情報の代表値とする。画像処理部 1 6は、この色情報の代表値を、撮影光源の影響を反映する色情報と判断する。

図 1 7のケースでは、色情報から最大値 3 . 9および最小値 0 . 7が除かれ、残りの色情報について平均を取ることにより、代表値（Bノ R ) = 1 . 5 6となる。この値は、 5 5 0 0 K程度の色温度に該当する。

なお、ここでの代表値を求める演算は、平均演算だけに限定されるものではない。例えば、メディアン演算や多数決演算などによって、代表値を求めてもよい。また、各画像領域の画面内位置に応じて重みを変えた加重平均演算により、代表値を求めてもよい。この場合、画面中央の重みを増やしたり、焦点検出エリアの選択箇所の重みを増やすなどしてもよい。

ステップ S 3 9 ：画像処理部 1 6は、色情報の代表値に基づいて、画像データの色の偏りを補正する係数（ホワイトバランス補正値）をテーブル参照などによつて得る。

ステップ S 4 0 ：画像処理部 1 6は、得られたホワイトバランス補正値を使つて、画像メモリ 1 5内の画像データに対して、ホワイトバランス補正を実施する。

[第 4の実施形態の効果など]

上述したように、第 4の実施形態では、平均色が無彩色範囲に収まる画像領域に範囲限定して、撮影光源の推定を行う。この場合、画像データ中から特定色に偏った画像領域を予め除くため、特定色の影響をあまり受けず、的確に撮影光源を推定できるという利点がある。

さらに、第 4の実施形態では、画像領域ごとに撮影光源の状況を個別に解析し、最終的に、これら個別の解析結果から代表値を求める。したがって、画面内の局所的な色の影響は、その局所的な画像領域に閉じこめることができる。その結果、局所的な有彩色の影響が、その他の画像領域の解析結果まで波及することがない。

さらに、この局所的な有彩色の影響は、ステップ S 38における代表値の算出過程において、排除できる。その結果、撮影光源の推定をより正確に実施できるという利点がある。

以下、他のホワイトバランス調整と比較した実験結果から、第 4の実施形態の効果を示す。

まず、屋外および屋内の 60シーンの画像データについて、下記のホワイトバランス調整をそれぞれ実施した。

(A) 画面全体の平均色を無彩色に変換するホワイトバランス調整

(B) 画像データから平均色が無彩色に近い領域のみを選別し、その領域の平均色を無彩色に変換するホワイトバランス調整

(C) 第 4の実施形態のホワイトバランス調整

これら 3通りの方法で得たホワイトバランス補正値 Wb, Wrと、本来の撮影光源から求めたホワイトバランス補正値 Wb o , Wr oとの誤差 δを、

により算出する。すると、 60シーン分の誤差 δの平均は、

(Α) の方法 · · · 0. 43 2

(Β) の方法 · · · （}. 28 2

(C) の方法 · · · （）. 202

であった。この結果から、第 4の実施形態である（C) 、 3通りの方法の中で、一番正解に近いホワイトバランス補正となった。

《実施形態の補足事項》

なお、上述した実施形態では、電子カメラ 1 1について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、上述した処理動作をプログラムコード化することにより、画像処理プログラム（請求項 8に対応）を作成してもよい。このような画像処理プログラムを使用することにより、コンビユータは、本実施形態のホワイトバランス捕正を実行することが可能になる。

また、本実施形態の画像処理方法を、インターネット等の通信回線を介して、サービス提供することも好ましい。例えば、画像アルバムやプリントサービスなどのサーバーにおいて、クライアントからアップロードされた画像データに対して、上述した撮影光源の解析や、ホワイトバランス調整などの画像処理サービスを提供することができる。

また、上述した実施形態では、度数の和または積によって階調バリエーションを判定している。しかしながら、本発明はこれに限定されるものではない。色単位の階調分布の広がり具合を求めることよって、階調バリエーションを判定することができる。例えば、色単位の階調分布の分散値（標準偏差）から、階調バリェ一ションを判定してもよい。

なお、上述した実施形態では、階調バリエーションが最も多い色情報を選択して、撮影光源の影響を反映した色情報としている。しかしながら、本発明はこれに限定されるものではない。例えば、ピーク付近の階調バリエーションを補間した後にピーク位置を検出することにより、最も階調バリエーションが多い色情報を正確に求めてもよい。このような処理により、撮影光源の違いを正確に判別することができるようになる。

また、上述した実施形態では、小さな値『1』を度数ゼロの箇所に補填した後に、正規化処理を実施している。しかしながら、本発明はこれに限定されるものではない。例えば、正規化処理、補填の順番で処理を行ってもよい。

なお、上述した実施形態では、色情報として（B / R ) を採用している。しかしながら、本発明はこれに限定されるものではない。一般に、色情報としては、撮影光源の違いによって変化する色の指標値，色の尺度，または色の特性であることが好ましい。例えば、色情報として、（B— R ) ，色相，色度，または色度座標などを採用してもよい。

また、上述した実施形態では、階調情報として R² + ²を採用している。し力 ^ しながら、本発明はこれに限定されるものではなレ、。一般に、階調情報としては、撮影光源の光が、被写界の陰影や反射率や照射面の角度などによって変調された際に、多様なバリエーションを派生する階調の指標値、階調の尺度、階調の特性であることが好ましい。例えば、輝度値や色成分値などを階調情報として採用してもよい。

なお、上述した実施形態では、階調バリエーションのみを尺度にして、撮影光源を推定している。しかしながら、本発明はこれに限定されるものではない。その他の推定技術と本発明とを組み合わせることにより、撮影光源をより厳密に推定しても勿論よい。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。産業上の利用可能性

以上説明したように、本発明では、色単位に階調バリエーションを求め、この階調バリエーションが多い色情報ほど、撮影光源の影響が強いと判定する。

本願発明者は、撮影光源の影響を反映する色情報は階調バリエーションが多く、撮影光源の影響の少ない色情報は階調バリエーションが限られることを発見した _c 本発明は、この知見を利用することで、撮影光源の影響を反映する色情報を的確に検出することを可能にした。

Claims

請求の範囲

1 . 複数の画素のデータを含む画像データを処理して、前記画像データの撮影光源に関する情報を求める画像処理装置であって、

前記画素が有する色情報および階調情報を基準にして、前記色情報の区分ごとに前記階調情報の度数分布（以下『色単位の階調分布』という）を求める分類部と、

前記色単位の階調分布から階調のバリエーションを色単位に評価し、前記階調バリエーションが多いと評価された色情報を、前記撮影光源の影響を反映した色情報と判定する判定部と

を備えたことを特徴とする画像処理装置。

2 . 請求項 1に記載の画像処理装置において、

前記判定部は、

前記色単位の階調分布について度数の積を算出し、前記積の値に基づいて前記階調バリエーションを評価する

ことを特徴とする画像処理装置。

3 . 請求項 1ないし請求項 2のいずれか 1項に記載の画像処理装置において、前記分類部は、

前記画素の前記色情報および前記階調情報を基準にして、色一階調空間上の度数分布を求める空間分類部と、

前記度数分布を前記階調情報の区分ごとに正規化して、前記階調情報の値の違いによる度数バラツキを抑制する正規化部とを備え、

前記分類部は、前記正規化部により正規化された前記度数分布から、前記色単位の階調分布を得る

ことを特徴とする画像処理装置。

4 . 請求項 3に記載の画像処理装置において、

前記正規化部は、

前記正規化に際して、前記度数分布の全体傾向を損なわない小さな値を、前記度数分布の度数ゼロの箇所に補填する

ことを特徴とする画像処理装置。

5 . 請求項 1ないし請求項 4のいずれか 1項に記載の画像処理装置において、前記分類部は、

前記画像データを区分して得た複数の画像領域ごとに平均色を求め、予め定められた無彩色範囲に前記平均色が収まる画像領域を選抜し、選抜された前記画像領域について前記色単位の階調分布を求める

ことを特徴とする画像処理装置。

6 . 請求項 1ないし請求項 5のいずれか 1項に記載の画像処理装置において、前記分類部は、

前記画像データから部分的に抽出した複数の画像領域ごとに、前記色単位の階調分布を求め、

前記判定部は、

前記画像領域ごとに求めた前記色単位の階調分布に基づいて、個々の前記画像領域ごとに『階調バリエーションの多い色情報』を求め、これら『階調バリエ一シヨンの多い色情報』から代表値を算出して、前記撮影光源の影響を反映した色情報と判定する

ことを特徴とする画像処理装置。

7 . 請求項 1ないし請求項 6のいずれか 1項に記載の画像処理装置において、前記判定部は、前記撮影光源の影響を反映すると判定された前記色情報に基づいて、前記画像データのホワイトバランス補正を行う

ことを特徴とする画像処理装置。

8 . コンピュータを、請求項 1ないし請求項 7のいずれか 1項に記載の前記分類部および前記判定部として機能させる

ことを特徴とする画像処理プログラム。

9 . 複数の画素のデータを含む画像データを処理して、前記画像データの撮影光源に関する情報を求める画像処理方法であって、

前記画素が有する色情報および階調情報を基準にして、前記色情報の区分ごとに前記階調情報の度数分布（以下『色単位の階調分布』という）を求める分類ステツプと、

前記色単位の階調分布から階調のバリエーションを色単位に評価し、前記階調バリエ一ションが多いと評価された色情報を、前記撮影光源の影響を反映した色情報と判定する判定ステップと

を有することを特徴とする画像処理方法。