JP3959909B2

JP3959909B2 - ホワイトバランス調整方法及び調整装置

Info

Publication number: JP3959909B2
Application number: JP32902199A
Authority: JP
Inventors: 賢二田中
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1999-11-19
Filing date: 1999-11-19
Publication date: 2007-08-15
Anticipated expiration: 2019-11-19
Also published as: JP2001148863A

Description

【０００１】
【発明の属する技術分野】
本発明はホワイトバランス調整方法及び調整装置に係り、特にビデオカメラやディジタルスチルカメラ等から得られる画像に対してホワイトバランス調整するホワイトバランス調整方法及び調整装置に関する。
【０００２】
【従来の技術】
ビデオカメラやディジタルスチルカメラは、ホワイトバランス等の各種自動設定機能を持っている。この各種自動設定機能のうち、ホワイトバランス調整機能は、一般に画像全体の画素を使用する全画像平均方式と呼ばれる方式で行われる。これは、一般被写体を撮像した場合、画面全体の色信号を平均化した値は、完全白色面を撮像した場合と等価になるというものである。実際の処理としては、画像のすべての画素について、例えばＲＧＢの三原色それぞれの色面毎に平均値を求め、その平均値が３原色共に一定になるような係数を算出し、その係数を画像全体に掛け合わせ、ホワイトバランスをとるものである。
【０００３】
しかし、この従来のホワイトバランス調整方法は、全画像平均方式によりホワイトバランス調整しているため、有彩色が多く含まれている画像に対しては、その有彩色の影響を受けて、正しい補正が行われない。また、画像全体の情報だけを基にホワイトバランス調整を行うと、人物の肌色のように人間が好ましいと感じる色のある場合には、かえって逆効果となる場合もある。
【０００４】
また、出力装置であるプリンタにも色合い、明るさというパラメータで調整できる機能がついており、これを調整して、ホワイトバランスを調整することが可能であるが、勘と経験によるところが大きく、誰でも容易にホワイトバランス調整ができるとは限らない。
【０００５】
【発明が解決しようとする課題】
そこで、本出願人は、先に特開平１０−２６４２４４号公報などにより、画像内の白色領域のデータを抽出し、各色面毎の平均値が一致するように、ホワイトバランス調整を行うホワイトバランス調整方法を提案したが、彩度の高い花などに照明が当たって飛び気味になっている部分から白色データを抽出した場合、この影響で最適な補正がなされないことがある。
【０００６】
また、特許第２７０２１１３号、特許第２７３５００３号なども提案されているが、いずれも人間が好ましいと感じる色を持つ人物画という分類による判断は含まれていない。人物画の場合には好ましい肌色が存在し、これからの色の差が他の色よりも大きく感じられる傾向があり、画像として違和感を与えることとなる。
【０００７】
本発明は上記の点に鑑みなされたもので、単に画素の集合体としての画像として捉えるのではなく、画像の種類を判断することによって、人間が違和感を感じないようなホワイトバランスを自動的に行い得るホワイトバランス調整方法及び調整装置を提供することを目的とする。
【０００８】
また、本発明の他の目的は、人物画の場合にホワイトバランスの実施が良い結果をもたらすかどうかを自動的に判断し、より好ましいホワイトバランス調整を行い得るホワイトバランス調整方法及び調整装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため、本発明方法は、カラー画像データからその明度情報と彩度情報とを抽出して、カラー画像データの明度情報と彩度情報とを表す色空間において、全画素の中の白及び予め設定した白に近いと認識される領域におけるデータに基づいて、三原色を表す色空間において、それぞれの色成分が一致するようなホワイトバランスパラメータを算出する第１のステップと、カラー画像データによる画像が人物画であるかどうか判定する第２のステップと、第２のステップにより人物画であると判定されたときは、人物画における顔領域から肌色情報を抽出する第３のステップと、第３のステップにより抽出された肌色情報に、第１のステップで算出したホワイトバランスパラメータを用いてホワイトバランス処理後の肌色情報を算出し、この算出した肌色情報が予め設定した好ましい肌色であるかどうか判定する第４のステップと、第４のステップにより算出した肌色情報が好ましい肌色であると判定されたとき、又は第２のステップによりカラー画像データによる画像が人物画でないと判定されたときに、第１のステップで算出したホワイトバランスパラメータを用いて計算処理を行い、ホワイトバランス調整したカラー画像データを出力する第５のステップとを含むことを特徴とする。
【００１０】
この発明では、従来のホワイトバランス調整に加えて、画像が人物画の場合には重要な肌色情報に着目したホワイトバランス調整が、画像全体に対してできる。ここで、上記の第４のステップは、第３のステップにより抽出された肌色情報の色相と予め設定した好ましい肌色を示す色相との差の第１の絶対値が、ホワイトバランス処理後の肌色情報の色相と予め設定した好ましい肌色を示す色相との差の第２の絶対値よりも大であるときは、好ましい肌色であると判定することを特徴とする。
【００１１】
また、上記の目的を達成するため、本発明装置は、カラー画像データを格納する画像データ格納部と、画像データ格納部から読み出したカラー画像データの明度情報と彩度情報とを抽出して、カラー画像データの明度情報と彩度情報とを表す色空間において、全画素の中の白及び予め設定した白に近いと認識される領域におけるデータに基づいて、三原色を表す色空間において、それぞれの色成分が一致するようなホワイトバランスパラメータを算出するホワイトバランスパラメータ算出部と、カラー画像データによる画像が人物画であるかどうか判定する人物画判定部と、人物画判定部により人物画であると判定されたときは、人物画における顔領域から抽出した肌色情報に、ホワイトバランスパラメータ算出部で算出したホワイトバランスパラメータを用いてホワイトバランス処理後の肌色情報を算出し、この算出した肌色情報が予め設定した好ましい肌色であるかどうか判定する肌色判定部と、肌色判定部により算出した肌色情報が好ましい肌色であると判定されたとき、又は人物画判定部によりカラー画像データによる画像が人物画でないと判定されたときに、ホワイトバランスパラメータ算出部で算出したホワイトバランスパラメータを用いて計算処理を行い、ホワイトバランス調整したカラー画像データを出力して画像データ格納部に格納する画像処理演算部とより構成したものである。
【００１２】
この発明では、画像データ格納部から読み出したカラー画像データによる画像が人物画であると判定された場合は、肌色判定部により人物画の肌色情報が好ましい肌色であるときに、重要な肌色情報に着目したホワイトバランス調整が画像全体に対してできる。
【００１３】
【発明の実施の形態】
次に、本発明の一実施の形態について図面と共に説明する。図１は本発明になるホワイトバランス調整装置の一実施の形態のブロック図を示す。同図に示すように、ホワイトバランス調整装置は画像データが格納されている画像データ格納部１と、画像データ全体からホワイトバランス調整に必要なパラメータを算出するホワイトバランスパラメータ算出部２と、画像が人物画であるかどうかを判定する人物画判定部３と、画像が人物画であった場合にホワイトバランス調整を行うべきかどうかを判断する肌色判定部４と、ホワイトバランスの処理を画像データに施す画像処理演算部５とから構成される。
【００１４】
ここで、ホワイトバランスパラメータ算出部２、人物画判定部３、肌色判定部４及び画像処理演算部５は、例えば、ビデオプリンタあるいはパーソナルコンピュータに搭載された中央処理装置が実行するソフトウェアにより実現することができる。
【００１５】
図２は本発明になるホワイトバランス調整方法の一実施の形態のフローチャートを示す。この図２を用いて図１の動作について説明する。まず、ホワイトバランスパラメータ算出部２においてホワイトバランスパラメータを算出する（ステップ１０１）。このホワイトバランスパラメータの算出方法としては、例えば本出願人が特願平１０−３３１５０６号にて提案した、図３のフローチャートに従って算出する。
【００１６】
すなわち、まず、図１の画像データ格納部１から読み出したカラー画像データの１フレームにおける明度（輝度）情報、彩度情報のそれぞれについて最大値と最小値を求める（図３のステップ３１）。ＲＧＢ色空間等、明度（輝度）情報と彩度情報とを表さない色空間において処理する場合は、Ｌ^*ａ^*ｂ^*に色空間等に変換して最大値と最小値を求める。なお、上記の画像の全画素の彩度、明度（輝度）それぞれの最大値、最小値を求める代わりに、画像の全画素の彩度、明度（輝度）それぞれのヒストグラムを計算してもよい。
【００１７】
続いて、画像の中の白い色と認識する範囲を決定する（図３のステップ３２）。このステップ３２は、画像の中の白い色の認識処理と、白い色の有効範囲の決定処理とからなる。まず、画像の中の白い色の認識処理については、ここではＲＧＢ等の三原色を表す色空間よりも人間の知覚に近いとされるＬ^*ａ^*ｂ^*均等色空間、若しくはＹｕｖ色空間等を使用している。Ｌ^*ａ^*ｂ^*均等色空間の場合、Ｌ^*は値が小さい場合は黒、値が大きい場合は白となる明度を表わし、ａ^*とｂ^*はａ^*ｂ^*面で考えると、原点に近い値ほど彩度が低く、原点から離れた値ほど彩度が高くなるので、原点からの距離をＣとして彩度を示すこととする。この明度（Ｌ^*）と彩度（Ｃ）の値を利用して、白い色の画像部分を認識する。つまり、明度（Ｌ^*）は白に近い値が大きい部分、彩度（Ｃ）は無彩色になる値が小さい部分を抽出することにより、白に近い画像部分を取り出せる。
【００１８】
続いて行われる有効範囲の決定処理では、白に近い色とする、明度（Ｌ^*）と彩度（Ｃ）の範囲（これを有効範囲というものとする）を決める。この有効範囲は画像の種類によって多様に変化することが考えられるので、各画像毎に最適と思われる範囲を計算により求める。明度（Ｌ^*）は値が高いほど白色に近くなるので、高い方から有効範囲を決定する。彩度（Ｃ）は値が低いほど無彩色、つまり白（灰色等）に近くなるので、低い方から有効範囲を決定する。
【００１９】
このため、ステップ３１で求めた画像全体の各色面の明度（Ｌ^*）、彩度（Ｃ）の最大値と最小値に基づいて、この画像のデータが存在している値の範囲を算出し、この範囲に対する比率で有効範囲を決定する。このように、明度（Ｌ^*）、彩度（Ｃ）の最大値、最小値から有効範囲を決めることで、撮影環境が違う様々な画像に対して最適な範囲を決定することが可能である。
【００２０】
このようにして、彩度と明度（輝度）のそれぞれから白色と認識する有効範囲を決定した後、続いて彩度と明度（輝度）の両方において同時に有効範囲と決定された白色と認識する領域が存在するかどうか判定する（図３のステップ３３）。白色と認識する領域が存在する場合は、その白色と認識する領域におけるＲＧＢ又はＹｕｖの３つの色面のそれぞれについて平均値を求め（図３のステップ３４）、その平均値から画像処理用係数を計算して出力する（図３のステップ３５）。
【００２１】
上記の白色と認識する領域の、Ｒ（赤），Ｇ（緑），Ｂ（青）それぞれの面での平均値は、ホワイトバランスが取れている画像においては一致している。つまり、白い部分が真っ白になる。よって、この平均値が異なる場合は、一致させるために、３つの色面のある一つの色面の平均値を基準として、他の２つの色面の平均値が基準と一致する様な係数を求め、この係数を掛け合わせる。例えば、Ｇを基準の色面とした場合、それぞれの割合を次式により計算し、これを上記の画像処理用係数Ｋｒ，Ｋｇ，Ｋｂとする。
【００２２】
Ｋｒ＝ｇ／ｒ、Ｋｇ＝ｇ／ｇ＝１．０、Ｋｂ＝ｇ／ｂ（１）
ただし、（１）式中、ｇは色面Ｇにおける白色と認識する領域の平均値、ｒは色面Ｒにおける白色と認識する領域の平均値、ｂは色面Ｂにおける白色と認識する領域の平均値を示す。
【００２３】
なお、どの色面を基準にしてもよいが、人間の比視感度特性と緑（Ｇ）の分光分布が似ているので、緑（Ｇ）を基準の色面にすることで明度の情報を保存できるため、緑（Ｇ）を基準の色面にすることが望ましい。
【００２４】
画像処理用係数の計算に続いて、上記の画像処理用係数Ｋｒ，Ｋｇ，Ｋｂが一致しているかどうか判定し（図３のステップ３６）、一致していない場合はホワイトバランスがとれていないので、処理実行を示す処理フラグＯＫを出力し（図３のステップ３７）、一致している場合はホワイトバランスがとれているので、処理非実行を示す処理フラグＮＯ＿ＤＡＴＡを出力する（図３のステップ３８）。なお、白い色と認識する領域が存在しない場合も処理非実行を示す処理フラグＮＯ＿ＤＡＴＡを出力する（図３のステップ３３、３８）。以上の画像処理係数と処理フラグＯＫ又は処理フラグＮＯ＿ＤＡＴＡがホワイトバランスパラメータである。
【００２５】
再び図２に戻って説明する。上記のホワイトバランスパラメータの算出と同時に、図１の人物画判定部３において顔部分認識方法により画像が人物画であるかどうかの判定を行う（ステップ１０２）。この人物画であるかどうかの判定は、例えば、本出願人が先に特願平１０ー３６４７７９号にて提案した、図４に示す如きフローチャートによる色認識方法に従って行われる。すなわち、人物画判定部３は、色空間が３次元のディジタルカラー画像データを図１の画像データ格納部１から取り込み（ステップ４１）、この３次元ディジタルカラー画像データの明度、色相、彩度が肌色である画素と肌色でない画素に分けて、肌色ならば”１”、そうでないなら”０”という２値データを内部のメモリに記憶する（ステップ４２）。
【００２６】
このステップ４２では、例えば、入力された色空間が３次元のディジタルカラー画像データのうち、Ｒ軸、Ｇ軸、Ｂ軸の３次元座標空間において、予め設定した肌色領域を示し、かつ、隣接する直方体領域の輝度境界値は同一値であるｍ個（ｍは２以上の整数）の直方体領域内に含まれる画素を、明度、色相、彩度が肌色である画素として判定する。
【００２７】
続いて、この２値データを見て、孤立点の除去、連結領域のラベル付け等を内部のメモリに対して行って、肌色である画素の連結状態を知り、肌色である画素について各連結領域の面積（画素数）を求め、連結領域の最大面積より面積が広い順に全部でｎ個のエリアを抽出する（ステップ４３）。孤立点の除去、連結領域のラベル付けは、文献（安居院猛、長尾智晴著、「画像の処理と認識」、ｐ６３−ｐ６８、昭晃堂発行、１９９２、１９９５年）等）に開示されている公知の方法で行われる。
【００２８】
続いて、抽出されたｎ個のエリアに対応するｎ個のラベル番号が上記の内部のメモリに格納される。ｎの値は２以上で、大きいほど認識率は高くなるが、あまり大きくても処理時間が長くなり、メモリ容量が増大するので、多くの画像にて実験して適切な値に定められる。通常は、ｎ＝５くらいで十分認識できる。
【００２９】
また、人物画判定部３は、画像データ格納部１から読み出した前記３次元ディジタルカラー画像データの明度、色相、彩度が髪色である画素と髪色でない画素に分けて、髪色ならば”１”、そうでないなら”０”という２値データを内部のメモリに記憶する（ステップ４４）。内部のメモリには既に肌色に関するラベルが格納されているので、使用していないビットに、髪色ならば”１”、そうでないなら”０”という２値データを記録する。
【００３０】
ステップ４３の処理が終わるとラベルはｎ個しか存在しないので、髪色か否かを示す２値のためのビットは十分存在するはずである。また、予めステップ４３の処理で最大７ビットのラベルで十分と分かっていれば、ステップ４２の処理にて肌色を認識すると同時に髪色を認識してしまって綴り返し演算を少なくしてもよい。髪色については連結領域のラベル付けの作業はしなくてよい。
【００３１】
次に、人物画判定部３は、ｎ個のエリアのそれぞれのエリアの上部に髪の毛エリアの枠を加えて得たエリアの１つずつについて、肌色総画素数（特徴量１）、縦方向についての情報（特徴量２）及び横方向の情報（特徴量３）からなる特徴量を把握してゆく（ステップ４５）。具体的には、まず１つのラベル番号を選び肌ラベルデータにてそのラベル番号の集まりを探す。左端、右端、上端、下端がわかったら、例えば図５（Ａ）に示すように縦４分割の枠にあてはめる。なお、図５（Ａ）、（Ｂ）中、丸５１は一つの肌エリアの連結領域（１つのラベル番号の集合）を示しているが、連結領域の形状はこれに限定されるものではないことは勿論である。
【００３２】
そして、上記の連結領域５１の左端、右端、上端、下端を一つの枠に当てはめ、その枠を縦３分割し、更にその上に５２で示すように、３分割領域の１領域分を加えて縦の長さとする。つまり、（肌ラベルの上端から下端までの長さ）×４／３の長さが全体の長さとなる。加えた１領域分５２は髪の毛エリアを想定している。この髪の毛エリアの下側の肌エリアが顔エリアである。
【００３３】
次に、上記の領域において、例えば下から［０］〜［３］の番号として配列に特徴量を格納してゆく。髪２値データを見て分割枠内の画素数に対する髪の画素数の割合を配列ｈｈａｉｒＣ［０］〜［３］に、肌ラベルデータを見て分割枠内の画素数に対する肌の画素数の割合を配列ｈｆａｃｅＣ［０］〜［３］に、肌ラベルデータと３次元画像データを見て分割枠内に存在する肌色の輝度平均値を配列ｈｆａｃｅＹ［０］〜［３］に格納する。
【００３４】
次に図５（Ｂ）に示すように横４分割の枠にあてはめる。横は肌ラベルの右端から左端までの長さを４等分する。例えば左から［０］〜［３］の番号として配列に特徴量を格納してゆく。すなわち、髪２値データを見て分割枠内の画素数に対する髪の画素数の割合を配列ｗｈａｉｒＣ［０］〜［３］に、肌ラベルデータを見て分割枠内の画素数に対する肌の画素数の割合を配列ｗｆａｃｅＣ［０］〜［３］に、肌ラベルデータと３次元画像データを見て分割枠内に存在する肌色の輝度平均値を配列ｗｆａｃｅＹ［０］〜［３］に格納する。こうしてｎ個のエリアについて特徴量が把握され、そのｎ個のエリアの特徴量とｎ個のラベル番号とが内部のメモリに格納される。
【００３５】
続いて、上記のｎ個のエリアの特徴量を分析し、顔エリアを１つ決定するか、あるいは顔エリアが存在しないと判断する（ステップ４６）。すなわち、各エリアに顔エリアである確率を示すポイントとしてまず０を設定し、各特徴量について顔エリアである確率が高いほど高いポイントを加算してゆく。そして、各エリアの総ポイント数のうち最も高いエリアを顔エリアと判断する。
【００３６】
ただし、総ポイント数が予め設定した下限値より小さい場合には、顔エリアが存在しない画像と判断する。またポイントが高くても肌色総画素数が予め設定した下限値より小さい場合にも顔エリアは存在しないと判断する。こうして１つの肌ラベル番号が決定して、顔エリアが決まり、その顔エリアデータは、人物画判定部３内部のメモリに格納される（ステップ４７）。
【００３７】
再び図２に戻って説明するに、顔エリアデータが存在する画像が人物画と判断され（ステップ１０２）、人物画判定部３の内部メモリに格納されたラベル番号に基づいて、画像データ格納部１の画像データの顔エリアを識別し、その顔エリアから例えばＹＵＶあるいはＲＧＢの色空間の画素とこれらから得た色相（Ｈｕｅ）等の全体の平均値、又は中央値（最も多い画素値）などの肌色情報を抽出する（ステップ１０３）。
【００３８】
続いて、肌色判定部４において、抽出した上記の肌色情報に、先に求めたホワイトバランスパラメータを用いてホワイトバランス調整後の肌色情報を計算した後（ステップ１０４）、予め設定された好ましい肌色であるかどうか判断する（ステップ１０５）。このように、ステップ１０４において、肌色情報についてのみホワイトバランス調整を予め行うのは、ステップ１０５におけるホワイトバランス調整後の肌色情報が好ましい肌色であるかどうかの判断を、画像全体についてホワイトバランス調整した後判断する場合に比べて、より迅速に行えるためである。
【００３９】
そして、ステップ１０５において、ホワイトバランス調整後の肌色情報を、好ましい肌色であると判断した時点で初めて、画像処理演算部５において先のホワイトバランスパラメータを基にホワイトバランス調整が画像全体に対して施される（ステップ１０７）。しかしながら、肌色判定部４の判定結果が、予め設定された好ましい肌色に近付かない場合には、ホワイトバランスの処理を行わない（ステップ１０６）。なお、計算後の肌色情報が「好ましい肌色」かどうかは、メーカ側で予め経験則に基づいて定めておく。
【００４０】
一方、ステップ１０２で人物画でないと判定された場合は、従来と同様に、画像処理演算部５においてホワイトバランスパラメータを基にホワイトバランスの補正処理が行われる（ステップ１０７）。
【００４１】
次に、ステップ１０７でのホワイトバランス補正処理について説明するに、画像処理演算部５はホワイトバランスパラメータ算出部２からの画像処理係数と処理フラグＯＫ又は処理フラグＮＯ＿ＤＡＴＡを入力として受け、処理フラグＯＫが入力されたときにのみ、画像データ格納部１から読み出したカラー画像データに対して、ホワイトバランス補正処理を行う。
【００４２】
すなわち、まず、入力された画像処理係数Ｋｒ，Ｋｇ，Ｋｂから計算式を求め、その計算式に従って補正計算をする。具体的には、画像処理演算部５は、次式で計算を行って、ホワイトバランス調整（色補正）された三原色信号データをＲ’，Ｇ’，Ｂ’を出力する。
【００４３】
Ｒ’＝Ｋｒ・ｒ、Ｇ’＝ｇ、Ｂ’＝Ｋｂ・ｂ（２）
このホワイトバランス調整（色補正）された三原色信号データＲ’，Ｇ’，Ｂ’は、画像データ格納部１に格納される。なお、上記の説明では、ＲＧＢ色空間でのホワイトバランス調整であるが、Ｙｕｖ色空間でのホワイトバランス調整を行う場合は、白色の部分の範囲指定および抽出については、Ｙｕｖを使用してＬ^*ａ^*ｂ^*の場合と同じようにして抽出する。比率とａ^*ｂ^*面，ｕｖ面が示す色空間は、ＲＧＢ色空間の場合と若干変わってくるが、ＹはＬ^*同様、明るさを表し、ｕｖはａ^*ｂ^*同様、彩度の情報を表している。
【００４４】
次に、肌色判定部４での処理の詳細について、更に図６のフローチャートと共に説明する。人物画判定部３で人物画であると判断された場合、顔エリアの肌色の情報に関して、ＹＵＶやＲＧＢの色空間における画素の値や色相（Ｈｕｅ）などの平均値あるいは中央値などを顔の肌色情報として求める（ステップ２０１）。また、顔エリアを複数のエリアに分割してそれぞれのエリアから情報を抽出し、最も面積の大きい部分の情報をもって肌色と判断するなどの方法で異種光源への対応も行うことができる。ここでは、ＲＧＢ値とそれから求めたＨｕｅを利用することとし、それぞれＲＧＢ＿Ｏｒｇ、Ｈｕｅ＿Ｏｒｇとする。
【００４５】
この情報に、先に求めたホワイトバランスパラメータ（ステップ２０２）を基に、ホワイトバランスの演算処理を行い、ホワイトバランス実施後の肌色情報を求める（ステップ２０３）。この肌色情報をＲＧＢ＿Ｃｈｇ、Ｈｕｅ＿Ｃｈｇとする。続いて、予め好ましい肌色として、Ｈｕｅ＿Ｔａｒｇｅｔを設定しておき、これと先のＨｕｅ＿Ｏｒｇ、Ｈｕｅ＿Ｃｈｇとの差をとって比較する（ステップ２０４）。
【００４６】
ここで、もし、
|Hue_Org ― Hue_Target| ＞|Hue_Chg ― Hue_Target|
ならば、好ましい肌色と判断して先に求めたホワイトバランスパラメータを基に画像全体に対してホワイトバランスが実行される（ステップ２０６）。一方、
|Hue_Org ― Hue_Target| ≦|Hue_Chg ― Hue_Target|
の場合は、ホワイトバランスを実行した結果、肌色が好ましい肌色から離れてしまうため、ホワイトバランスを実行しない（ステップ２０７）。
【００４７】
なお、ここでは処理時間の短縮や精度の問題からより大きく改善される場合にのみホワイトバランスを実行するように、
|Hue_Org ― Hue_Target| ＞|Hue_Chg ― Hue_Target|ー（定数）
|Hue_Org ― Hue_Target| ≦|Hue_Chg ― Hue_Target|ー（定数）
というように、ある程度の調整を行うことも可能である。また、上記の実施の形態ではＨｕｅを用いたが、ＲＧＢ等を用いて色空間の一点や空間のあるブロックを好ましい肌色と設定することも容易に考えられる。
【００４８】
【発明の効果】
以上説明したように、本発明によれば、従来のホワイトバランス調整に加えて、画像が人物画の場合には重要な肌色情報に関して好ましい肌色に近い結果を得るようにホワイトバランス調整することができる。また、本発明によれば、肌色だけを補正するわけではないので、異種光源により肌色が全体と違う照明を受けていたとしても、画像全体の色のバランスを崩すことなくホワイトバランス調整を行うことができる。
【図面の簡単な説明】
【図１】本発明装置の一実施の形態のブロック図である。
【図２】本発明方法の一実施の形態フローチャートである。
【図３】図２中のホワイトバランスパラメータ算出ステップの一例の詳細フローチャートである。
【図４】図２中の人物画の判定ステップの一例の詳細フローチャートである。
【図５】図４中のステップ４５の縦方向及び横方向の情報についての説明図である。
【図６】図２の要部の一実施の形態の詳細フローチャートである。
【符号の説明】
１画像データ格納部
２ホワイトバランスパラメータ産出部
３人物画判定部
４肌色判定部
５画像処理演算部

Claims

カラー画像データからその明度情報と彩度情報とを抽出して、前記カラー画像データの明度情報と彩度情報とを表す色空間において、全画素の中の白及び予め設定した白に近いと認識される領域におけるデータに基づいて、三原色を表す色空間において、それぞれの色成分が一致するようなホワイトバランスパラメータを算出する第１のステップと、
前記カラー画像データによる画像が人物画であるかどうか判定する第２のステップと、
前記第２のステップにより人物画であると判定されたときは、前記人物画における顔領域から肌色情報を抽出する第３のステップと、
前記第３のステップにより抽出された前記肌色情報に、前記第１のステップで算出した前記ホワイトバランスパラメータを用いてホワイトバランス処理後の肌色情報を算出し、この算出した肌色情報が予め設定した好ましい肌色であるかどうか判定する第４のステップと、
前記第４のステップにより前記算出した肌色情報が前記好ましい肌色であると判定されたとき、又は前記第２のステップにより前記カラー画像データによる画像が人物画でないと判定されたときに、前記第１のステップで算出した前記ホワイトバランスパラメータを用いて計算処理を行い、ホワイトバランス調整したカラー画像データを出力する第５のステップと
を含むことを特徴とするホワイトバランス調整方法。
前記第４のステップは、前記第３のステップにより抽出された前記肌色情報の色相と前記予め設定した好ましい肌色を示す色相との差の第１の絶対値が、前記ホワイトバランス処理後の肌色情報の色相と前記予め設定した好ましい肌色を示す色相との差の第２の絶対値よりも大であるときは、好ましい肌色であると判定することを特徴とする請求項１記載のホワイトバランス調整方法。
カラー画像データを格納する画像データ格納部と、
前記画像データ格納部から読み出したカラー画像データの明度情報と彩度情報とを抽出して、前記カラー画像データの明度情報と彩度情報とを表す色空間において、全画素の中の白及び予め設定した白に近いと認識される領域におけるデータに基づいて、三原色を表す色空間において、それぞれの色成分が一致するようなホワイトバランスパラメータを算出するホワイトバランスパラメータ算出部と、
前記カラー画像データによる画像が人物画であるかどうか判定する人物画判定部と、
前記人物画判定部により人物画であると判定されたときは、前記人物画における顔領域から抽出した肌色情報に、前記ホワイトバランスパラメータ算出部で算出した前記ホワイトバランスパラメータを用いてホワイトバランス処理後の肌色情報を算出し、この算出した肌色情報が予め設定した好ましい肌色であるかどうか判定する肌色判定部と、
前記肌色判定部により前記算出した肌色情報が前記好ましい肌色であると判定されたとき、又は前記人物画判定部により前記カラー画像データによる画像が人物画でないと判定されたときに、前記ホワイトバランスパラメータ算出部で算出した前記ホワイトバランスパラメータを用いて計算処理を行い、ホワイトバランス調整したカラー画像データを出力して前記画像データ格納部に格納する画像処理演算部と
を有することを特徴とするホワイトバランス調整装置。