JP4424216B2 - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Description

本発明は、画像処理に関し、特に、撮像画像のカラーバランス補正技術に関する。

デジタルスチルカメラやビデオカメラで生成された画像データに対して、撮影時の光源の種類による色の変化を補正するカラーバランス補正と呼ばれる画像処理が行われる。一般的なカラーバランス補正法として、画像全体の色の平均値が無彩色（白やグレー）になるように各色成分を補正することを基本的な考え方とする方法が知られている（例えば、特許文献１）。

特開２００１−３２０７２７号公報 特開２００２−４４４６９号公報

カラーバランス補正によって、画像に生じている色かぶりを低減することができる。例えば、元々白色である被写体を、撮影時の光源の種類等にかかわらず、正しく白色で再現できるようになる。

しかしながら、例えば、背景全体が青みを帯びた白色であるポートレート（人物画像）に対して従来のカラーバランス補正を行うと、画像全体に対して青成分を抑えて赤成分を強調することになるので、主要被写体である人物の肌色が赤みを帯びてしまい、望ましい色からかけ離れてしまう。このように、上記従来技術では、カラーバランス補正によって、特定の被写体の色調に望ましくない変化を与えてしまうおそれがあった。

本発明は、上記課題を解決するためになされたものであり、画像処理において被写体に応じたカラーバランス補正を実行し、画像における被写体の見映えを向上させることを目的とする。

上記課題を解決するために本発明の第１の態様は、撮像画像の画像データに対してカラーバランス補正を実行する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記画像データを取得する画像データ取得手段と、前記画像データにおいて、前記特定の被写体を示す特定被写体領域を判定する特定被写体領域判定手段と、
前記特定の被写体領域が、前記撮像画像中に占める割合である被写体領域割合を求める手段と、前記判定された特定被写体領域に対応する画像データの特性を表す特定被写体特性値を算出する特定被写体特性値算出手段と、前記算出した特定被写体特性値と予め設定された特性目標値とを用いて、カラーバランスの補正を行なう際の基準量である基準補正量を算出する基準補正量算出手段と、該算出した基準補正量を、前記求めた被写体領域割合が大きいほど大きな重み付けを与えて補正して、カラーバランス補正量を求める手段と、前記算出されたカラーバランス補正量を用いて、前記画像データに対して前記カラーバランス補正を実行する補正実行手段とを備えることを特徴とする。

本発明の第１の態様に係る画像処理装置によれば、特定の被写体を示す特定被写体領域を判定し、判定された特定被写体領域に対応する画素データの特性を表す特定被写体特性値と、予め定められた特性目標値とを用いて、カラーバランス補正量を求める。したがって、特定被写体の特性に応じて、カラーバランスを補正することができ、画像における被写体の見映えを向上させることができる。

本発明の第１の態様に係る画像処理装置において、前前記特定被写体特性値の算出は、前記特定被写体領域の中央領域において、前記特定被写体領域の中央領域以外の領域より大きく設定された重み付け分布を用いて実行されても良い。かかる場合には、特定被写体において、画像の見映えに影響しやすい中央領域の特性をより反映した特定被写体特性値を用いて、カラーバランスを補正することができ、画像における被写体の見映えをより向上させることができる。

本発明の第１の態様に係る画像処理装置において、複数の前記特定被写体領域が判定された場合には、前記特定被写体特性値の算出は、前記複数の特定被写体領域の前記特定被写体特性値に対して、各特定被写体領域の大きさに応じて設定された重み付け分布を用いて実行されても良い。また、前記特定被写体特性値の算出は、前記複数の特定被写体領域の前記特定被写体特性値の重み付き平均値を求めることによって実行されても良い。かかる場合には、画像の見映えに影響しやすい大きな特定被写体領域の特性をより反映した特定被写体特性値を用いて、カラーバランスを補正することができ、画像における被写体の見映えをより向上させることができる。

本発明の第１の態様に係る画像処理装置において、前記特定被写体特性値は、前記特定被写体の色彩に関する特性値であっても良い。かかる場合には特定被写体の色彩に応じて、カラーバランスを補正することができる。

本発明の第１の態様に係る画像処理装置において、前記特定被写体特性値は、前記判定された特定被写体領域内に含まれると共に、特定色域に属する画素データの特性を表す特定色特性値であっても良い。かかる場合には、特定色を基準にして、カラーバランスを補正することができ、特定色を有する被写体の見映えを向上させることができる。

本発明の第１の態様に係る画像処理装置において、前記特定色特性値は、前記特定色域に属する画素データの画素値の統計値であり、前記特性目標値は、予め設定された画素目標値であり、前記補正量算出手段により算出されるカラーバランス補正量は、前記画素値の統計値と前記画素目標値との差を解消または低減する補正量であっても良い。特定色域に属する画素データの画素値の統計値と、画素目標値との差を解消または低減するカラーバランス補正量を算出することにより、特定被写体の特定色を、好ましい色に近づけるように全体のカラーバランスを補正することができる。

本発明の第１の態様に係る画像処理装置において、前記特定の被写体は、人物の顔部分であり、前記特定色域に属する画素データは、人物の肌色に対応する色域に属する肌色画素データであっても良い。かかる場合には、人物の顔部分を被写体とする画像に対して、被写体である人物の肌色に応じて、全体のカラーバランスを補正することができる。

本発明の第１の態様に係る画像処理装置において、前記補正量算出手段により算出されるカラーバランス補正量は、画像中に占める前記特定被写体領域の割合に応じて重み付けされた補正量であっても良い。特定被写体に応じたカラーバランス補正は、画像中に占める特定被写体領域の割合が大きい画像に対して実行するのがより適切と考えられる。従って、この場合には、画像中に占める特定被写体領域の割合に応じて、補正の強度を調整して、より適切に全体のカラーバランスを補正することができる。

本発明の第１の態様に係る画像処理装置において、前記補正実行手段は、画像中に占める前記特定被写体領域の割合が所定の基準値以上である場合に、前記カラーバランス補正量を用いたカラーバランス補正を実行するのが好ましい。特定被写体の画像中に占める割合が所定の基準値以上である場合は、特定の被写体が主要被写体であり、特定被写体に応じたカラーバランス補正がより効果的であると考えられる。従って、この場合には、特定被写体に応じたカラーバランス補正を実行することにより、画像における特定被写体の見映えをより向上させることができる。

本発明の第１の態様に係る画像処理装置において、前記特定被写体判定手段は、判定対象である領域に含まれる画素データの画素値と、画像中における前記判定対象である領域の位置とを用いて、前記特定被写体領域を判定しても良い。かかる場合には、特定被写体の判定処理において、判定対象である領域に含まれる画素データの画素値と、画像中におけるその領域の位置とを用いるので、特定被写体の判定精度を向上させることができる。

本発明の第２の態様は、撮像画像の画像データに対してカラーバランス補正を実行する画像処理方法を提供する。本発明の第２の態様に係る画像処理方法は、前記画像データを取得し、前記画像データにおいて、前記特定の被写体を示す特定被写体領域を判定し、前記特定の被写体領域が、前記撮像画像中に占める割合である被写体領域割合を求め、前記判定された特定被写体領域に対応する画像データの特性を表す特定被写体特性値を算出し、前記算出した特定被写体特性値と予め設定された特性目標値とを用いて、カラーバランス補正量を算出し、前記算出されたカラーバランスの補正を行なう際の基準量である基準補正量を算出し、該算出した基準補正量を、前記求めた被写体領域割合が大きいほど大きな重み付けを与えて補正して、カラーバランス補正量を求め、補正量を用いて、前記画像データに対して前記カラーバランス補正を実行することを特徴とする。

本発明の第３の態様は、撮像画像の画像データに対してカラーバランス補正を実行するコンピュータプログラムを提供する。本発明の第３の態様に係るコンピュータプログラムは、前記画像データを取得する画像データ取得機能と、前記画像データにおいて、前記特定の被写体を示す特定被写体領域を判定する特定被写体領域判定機能と、前記特定の被写体領域が、前記撮像画像中に占める割合である被写体領域割合を求める機能と、前記判定された特定被写体領域に対応する画像データの特性を表す特定被写体特性値を算出する特定被写体特性値算出機能と、前記算出した特定被写体特性値と予め設定された特性目標値とを用いて、カラーバランスの補正を行なう際の基準量である基準補正量を算出する補正量算出機能と、該算出した基準補正量を、前記求めた被写体領域割合が大きいほど大きな重み付けを与えて補正して、カラーバランス補正量を求める機能と、前記算出されたカラーバランス補正量を用いて、前記画像データに対して前記カラーバランス補正を実行する補正実行機能とをコンピュータに実現させることを特徴とする。

本発明の第２の態様に係る画像処理方法および本発明の第３の態様に係るコンピュータプログラムによれば、本発明の第１の態様に係る画像処理装置と同様の作用効果を得ることができる。また、本発明の第２の態様に係る画像処理方法および本発明の第３の態様に係るコンピュータプログラムは、本発明の第１の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。また、本発明の第３の態様に係るコンピュータプログラムは、コンピュータプログラムを記録したコンピュータが読み取り可能な記録媒体としても実現され得る。

以下、本発明にかかる画像処理装置について、図面を参照しつつ、実施例に基づいて説明する。

・画像処理システムの構成：
図１は、本実施例に係る画像処理装置（パーソナルコンピュータ）を含む画像処理システムを示す説明図である。本発明の実施例に係る画像処理装置を適用可能な画像処理システムの構成について図１を参照して説明する。

画像処理システムは、画像データを生成する入力装置としてのディジタルスチルカメラ１０、ディジタルスチルカメラ１０にて生成された画像データに対して、カラーバランス補正を含む画像処理を実行し、印刷用画像データを出力する画像処理装置としてのパーソナルコンピュータ２０、印刷用画像データを用いて画像を出力する出力装置としてのカラープリンタ３０を備えている。カラープリンタ３０は、スタンドアローンにて画像処理、画像出力を実行するため、パーソナルコンピュータ２０が備える画像処理機能を備えても良い。出力装置としては、プリンタ３０の他に、ＬＣＤディスプレイ等のモニタ２５、プロジェクタ、電子式の写真フレームとして機能する表示装置等が用いられ得る。以下の説明では、パーソナルコンピュータ２０と接続されて用いられるカラープリンタ３０を出力装置として用いるものとする。

パーソナルコンピュータ２０は、一般的に用いられるタイプのコンピュータであり、カラーバランス補正を含む画像処理プログラムを実行するＣＰＵ２００、ＣＰＵ２００における演算結果、画像データ等を一時的に格納するＲＡＭ２０１、画像処理プログラムを格納するハードディスクドライブ（ＨＤＤ）２０２を備えている。パーソナルコンピュータ２０は、メモリカードＭＣを装着するためのカードスロット２０３、ディジタルスチルカメラ１０等からの接続ケーブルを接続するための入出力端子２０４を備えている。

ディジタルスチルカメラ１０は、光の情報をディジタルデバイス（ＣＣＤや光電子倍増管）に結像させることにより画像を取得するカメラである。ディジタルスチルカメラ１０は、取得した画像をディジタルデータとして記憶装置としてのメモリカードＭＣに保存する。ディジタルスチルカメラ１０における画像データの保存形式としては、非可逆圧縮保存方式としてＪＰＥＧデータ形式、可逆圧縮保存方式としてＴＩＦＦデータ形式が一般的である。

カラープリンタ３０は、カラー画像の出力が可能なプリンタであり、例えば、シアン、マゼンタ、イエロー、ブラックの４色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記４色に加えて、ライトシアン（薄いシアン）、ライトマゼンタ（薄いマゼンタ）、レッド、ブルーを用いても良い。

以下の説明では、ディジタルスチルカメラ１０で生成された画像データＧＤ１が、パーソナルコンピュータ２０に送出され、画像データＧＤ１に対する画像処理がパーソナルコンピュータ２０にて実行され、処理済みの画像データがカラープリンタ３０に対して出力される場合について説明する。

・パーソナルコンピュータ２０の機能的構成：
図２は、本実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図である。図２を参照してパーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成の概要について説明する。

画像データ取得部Ｍ１は、処理対象画像の画像データＧＤ１を取得する。画像データ取得部Ｍ１は、取得した画像データＧＤ１を顔領域判定部Ｍ２、補正実行部Ｍ６に送る。また、画像データ取得部Ｍ１は、必要に応じ白色画素平均値算出部Ｍ３および肌色画素平均値算出部Ｍ４に対して取得した画像データＧＤ１を送る。

顔領域判定部Ｍ２は、画像データ取得部Ｍ１から得られた画像データＧＤ１を解析して、被写体として人物の顔部分を有する領域を判定する。顔領域判定部Ｍ２は、顔領域の判定結果を肌色画素平均値算出部Ｍ４に送る。

白色画素平均値算出部Ｍ３は、画像データ取得部Ｍ１から得られた画像データＧＤ１を解析して、白色画素平均値を算出し、算出した白色画素平均値を補正量算出部Ｍ５に送る。

肌色画素平均値算出部Ｍ４は、画像データ取得部Ｍ１から画像データＧＤ１を取得し、顔領域判定部Ｍ２から顔領域の判定結果を取得する。肌色画素平均値算出部Ｍ４は、判定された顔領域に対応する画像データを解析して、肌色画素平均値を算出し、算出した肌色画素平均値を補正量算出部Ｍ５に送る。

補正量算出部Ｍ５は、白色画素平均値算出部Ｍ３から得られた白色画素平均値と予め設定された白色画素目標値とに基づいて、あるいは、肌色画素平均値算出部Ｍ４から得られた肌色画素平均値と予め設定された肌色画素目標値とに基づいてカラーバランス補正量を算出する。補正量算出部Ｍ５は、算出したカラーバランス補正量を補正実行部Ｍ６に送る。

補正実行部Ｍ６は、補正量算出部Ｍ５からカラーバランス補正量を取得し、画像データ取得部Ｍ１から画像データＧＤ１を取得する。補正実行部Ｍ６は、取得したカラーバランス補正量を用いて、画像データＧＤ１全体に対してカラーバランス補正処理を実行し、補正後画像データＧＤ２を生成する。

なお、特定被写体領域判定手段には、顔領域判定部Ｍ２が相当し、特定被写体特性値算出手段には、肌色画素平均値算出部Ｍ４が相当する。

・パーソナルコンピュータ２０における画像処理：
図３〜図９を参照してパーソナルコンピュータ２０において実行される画像処理について説明する。

図３は、本実施例に係る画像処理の処理ルーチンを示すフローチャートである。パーソナルコンピュータ２０（ＣＰＵ２００）は、スロット２０３にメモリカードＭＣが差し込まれると、あるいは、ディジタルスチルカメラ１０に接続されている接続ケーブルＣＶが入出力端子２０４に接続されると本画像処理のプログラムを起動する。ＣＰＵ２００は、ユーザの指示に従ってメモリカードＭＣから処理対象画像の画像データＧＤ１を取得し（読み出し）、取得した画像データをＲＡＭ２０１に一時的に格納する（ステップＳ１１０）。

ＣＰＵ２００は、画像データの伸長、色変換処理を実行する（ステップＳ１２０）。本実施例において用いられる画像データＧＤ１は、ＪＰＥＧ画像データを格納しており、ＪＰＥＧデータはＹＣｂＣｒデータを圧縮したデータである。ＣＰＵ２００は、かかる圧縮データを、パーソナルコンピュータによる画像処理において一般的に用いられているＲＧＢデータに変換する。すなわち、ＣＰＵ２００は、画像データＧＤを伸張し、伸張した画像データＧＤ１に対してマトリクスを用いたマトリクス演算を実行してＹＣｂＣｒ−ＲＧＢ色変換処理を実行する。

マトリクスは、ＪＦＩＦ規格において、ＹＣｂＣｒデータをＲＧＢデータへと変換する際に一般的に用いられるマトリクスであり、当業者にとって周知のマトリクスであるから詳細な説明は省略する。

ＣＰＵ２００は、続いて、画像データＧＤ１に対して、カラーバランス補正を実行する（ステップＳ１３０）。

図４は、本実施例に係るカラーバランス補正の処理ルーチンを示すフローチャートである。ＣＰＵ２００は、カラーバランス補正処理を開始すると、先ず、画像データＧＤ１において、特定の被写体を示す画像領域を判定する特定被写体領域判定処理を実行する。本実施例において、特定の被写体は、人物の顔部分であり、ＣＰＵ２００は、顔領域判定処理を実行する（ステップＳ２０２）。

本実施例における顔領域判定処理では、縦１６×横１６に等分割した画像領域を用いて、各画像領域ごとに行われる。ＣＰＵ２００は、着目する画像領域に対応する画像データを解析して、予め用意された判定基準を満たすか否かによって、画像領域内の被写体が人物の顔部分であるか否かを判定する。

例えば、ＣＰＵ２００は、画像領域内の全画素データに対して、肌色画素データの占める割合が、所定の割合Ｒ１以上である場合に、その画像領域は、人物の顔部分を被写体とする画像領域（以下、顔画像領域という。）であると判定しても良い。肌色画素データとは、画素値が肌色を表す所定の色域Ｃ１に属する画素をいう。肌色の色域Ｃ１の範囲は、例えば、ＨＳＢ色空間において、色相値Ｈの範囲と、彩度Ｓの範囲と、明度Ｂの範囲をそれぞれ定めることによって設定される。肌色の色域Ｃ１の範囲や、所定の割合Ｒ１の値は、画像サンプルの分析等により経験的に最適値が決定される。

図５は、画像データＧＤ１によって表される処理対象画像の一例を示す概略図である。この画像は、略中央部を比較的大きな人物の顔部分Ｆが占める典型的なポートレート（人物画像）である。具体例として、図５に示す画像データＧＤ１に対して、顔領域判定処理を実行すると、図６に示す結果が得られる。

図６は、顔領域判定処理の結果を概念的に示す説明図である。図６に示すように、ＣＰＵ２００は、顔領域判定処理の結果として、画像を縦１６×横１６に等分割した画像領域のうち、図５に示す画像中の人物の顔部分Ｆに対応する複数の顔画像領域からなる領域を顔領域ＦＡとして認識する。この顔領域判定処理では、肌色画素の割合のみを考慮しているが、認識された顔領域ＦＡに対して、追加の判定基準を設定し、判定精度を高めても良い。追加の判定基準として、画像中における顔領域ＦＡの位置情報を用いた判定基準が設定され得る。一般に、人物を主要被写体として撮像された画像では、人物の顔部分が画像の中央付近に位置する傾向があり、左右の端に接する（すなわち、顔部分が画像の端で切れている状態）ことはほとんど無い。従って、例えば、顔領域ＦＡが、画像の左端または右端に接していない場合に、ＣＰＵ２００は、顔領域ＦＡを最終的に顔領域であると判定しても良い。

ＣＰＵ２００は、処理対象画像に顔領域ＦＡがあるか否かを判断する（ステップＳ２０４）。顔領域判定処理の結果、顔領域ＦＡが認識された場合には、ＣＰＵ２００は、顔領域ＦＡがあると判断（ステップＳ２０４：ＹＥＳ）し、続いて、顔領域ＦＡが画像全体に対して占める割合が基準より大きいか否かを判断する（ステップＳ２０６）。ＣＰＵ２００は、例えば、顔領域ＦＡを構成する顔画像領域の数が所定の基準数以上である場合に、顔領域ＦＡの占める割合が基準より大きいと判断する。具体的には、縦１６×横１６に等分割した画像領域のうち、顔画像領域と判定された画像領域が１６個以上ある場合に、顔領域ＦＡの占める割合が基準より大きいと判断しても良い。

ＣＰＵ２００は、顔領域ＦＡがない場合、または、顔領域ＦＡの占める割合が基準より小さい場合には、画像データＧＤ１に対して通常のカラーバランス補正（以下、通常補正ともいう。）を実行すると判断する（ステップＳ２０６：ＮＯ）。

ＣＰＵ２００は、顔領域ＦＡの占める割合が基準より大きい場合には、画像データＧＤ１に対して、顔領域ＦＡの肌色を基準としたカラーバランス補正（以下、肌色基準補正ともいう。）を実行すると判断する（ステップＳ２０６：ＹＥＳ）。顔領域ＦＡの占める割合が基準より大きいことを肌色基準補正を実行する条件とするのは、画像における人物の顔部分が占める割合が小さい場合には、人物は主要被写体ではない可能性が高いからである。ここで、主要被写体とは、撮像画像中に存在する被写体のうち、画像を特徴付ける主だった被写体を言い、具体的には、ポートレートにおける人物、風景画像における風景等をいう。人物が主要被写体でない撮像画像は、顔領域ＦＡの肌色を基準としたカラーバランス補正を実行しても効果的でない。また、かえって、人物でない主要被写体（例えば、風景）のカラーバランスを崩してしまうおそれがある。したがって、人物が主要被写体でない画像に対しては、通常補正を実行する方が適切だと考えられる。

ＣＰＵ２００は、肌色基準補正を実行する場合には、画像データＧＤ１のうち、顔領域ＦＡに対応する画像データを解析し、肌色画素平均値を算出する（ステップＳ２０８）。肌色画素平均値は、顔領域ＦＡ内に含まれる肌色画素データの画素値の重み付き平均値である。具体的には、ＣＰＵ２００は、顔領域ＦＡに対応する画像データを画素単位にて、あるいは、所定画素毎にサンプリングする。ＣＰＵ２００は、サンプリングした画素データのうち肌色画素データの画素値に、重み付け係数Wを乗じて、重み付き画素値を算出する。ＣＰＵ２００は、算出された重み付き画素値を用いて、ＨＳＢ色空間における肌色画素平均彩度Ｆ(S)_aveと肌色画素平均色相Ｆ(H)_aveとを算出する。

図７は、肌色画素平均値の算出に用いる重み付け係数Ｗの分布を説明する第１の説明図である。重み付け係数Ｗは、顔領域ＦＡ中における肌色画素データの位置に応じて決定される。図７（ａ）は、顔領域ＦＡ中の直線Ａ−Ａ上の重み付け係数Ｗの分布（Ｙ方向の重み分布）を示しており、図７（ｂ）は、直線Ｂ−Ｂ上の重み付け係数Ｗの分布（Ｘ方向の重み分布）を示している。図７に示すように、重み付け係数Ｗは、顔領域ＦＡの中心に近い領域（以下、中央領域という。）ほど重みが大きくなり、それ以外の領域では重みが小さくなるように設定されている。

図８は、肌色画素平均値の算出に用いる重み付け係数Ｗの分布を説明する第２の説明図である。図８を用いて、処理対象の画像データにおいて、複数の顔領域が判定された場合の重み付け係数Ｗの分布について、説明する。図８に示す例では、顔領域ＦＡ_Lと、顔領域ＦＡ_Lより小さな顔領域ＦＡ_Sの２つの顔領域が判定されている。重み付け係数Ｗは、顔領域ＦＡ_Lと顔領域ＦＡ_Sそれぞれについて、図７で説明した顔領域ＦＡの場合と同様に、中央領域ほど重みが大きくなり、それ以外の領域では重みが小さくなるように設定されている。そして、各顔領域の重み付け係数Ｗの最大値は、各顔領域の大きさに応じて、異なる値が設定される。すなわち、図８に示すように、顔領域ＦＡ_Lより小さな顔領域ＦＡ_Sの重み付け係数Ｗの最大値W_s は、顔領域ＦＡ_Lの重み付け係数Ｗの最大値W_l より小さく設定される。例えば、顔領域の面積に比例するように、重み付け係数Ｗの最大値を設定しても良い。

ＣＰＵ２００は、算出した肌色画素平均彩度Ｆ(Ｓ)_aveと、肌色画素平均色相Ｆ(Ｈ)_aveと、予め設定された肌色画素目標値とを用いて、肌色基準補正用のカラーバランス補正量（以下、肌色基準補正量という。）を算出する（ステップＳ２１０）。

ＣＰＵ２００は、ＨＳＢ色空間における肌色画素平均色を、ＲＧＢ色空間に変換して、ＲＧＢ色空間における肌色画素平均色を算出する。ここで、ＨＳＢ色空間における肌色画素平均色は、算出した肌色画素平均彩度Ｆ(S)_aveと、算出した肌色画素平均色相Ｆ(H)_aveと、予め設定された補正基準明度Ｆ(B)_refとによって定義される色である。そして、算出されたＲＧＢ色空間における肌色画素平均色を表すＲＧＢそれぞれの色成分値を、Ｆ2(R)_ave、Ｆ2(G)_ave、Ｆ2(B)_aveとする。補正基準明度Ｆ(B)_refは、本実施例では、８ビットの情報で表され０〜２５５の値を取り得る明度値に対して、１９２と設定されている。

肌色画素目標値は、補正基準明度Ｆ(B)_refにおける肌色画素目標色を定義する画素値である。肌色画素目標色は、画像サンプルの解析等により経験的に求められた色であり、人物の肌の色として好ましい肌色である。本実施例では、肌色画素目標色は、３つの肌色画素目標値（肌色画素目標色相Ｆ(Ｈ)_target、肌色画像目標彩度Ｆ(Ｓ)_target、補正基準明度Ｆ(B)_ref）によって、ＨＳＢ色空間において定義される。ＨＳＢ色空間における肌色画素目標色をＲＧＢ空間に変換した色を表すＲＧＢそれぞれの色成分値をＦ2(R)_target、Ｆ2(G)_target、Ｆ2(B)_targetとする。

肌色基準補正量は、ＲＧＢのそれぞれの色成分に関する補正量ΔC(R)_face，ΔC(G)_face，ΔC(B)_faceとして算出される。ＣＰＵ２００は、各成分の補正量を、上述した種々の数値を用いて、以下の（１ａ）〜（１ｃ）式に従って算出する。

ΔC(R)_face = Ｆ2(R)_target -Ｆ2(R)_ave ...（１ａ）
ΔC(G)_face = Ｆ2(G)_target -Ｆ2(G)_ave ...（１ｂ）
ΔC(B)_face = Ｆ2(B)_target -Ｆ2(B)_ave ...（１ｃ）

（１ａ）〜（１ｃ）式の右辺は、処理対象画像の顔領域ＦＡ内の肌色画素の平均色をＲＧＢ色空間において表す画素値と、好ましい肌色を表す肌色画素目標色をＲＧＢ空間において表す画素値との差分である。これは、処理対象画像における顔領域ＦＡ内の肌色が好ましい肌色からずれている場合に、顔領域ＦＡ内の肌色を好ましい肌色に近付ける方向に画像全体のカラーバランスを補正する作用を有している。

次に、通常のカラーバランス補正（通常補正）する場合（ステップＳ２０４：ＮＯまたはステップＳ２０６：ＮＯ）について説明する。通常補正は、周知のカラーバランス補正方法として知られている種々の方法を用いることができる。例えば、白色近傍の画素データの平均値を、無彩色（正しい白）に近付ける方法を用いても良い。以下、簡単に説明する。

ＣＰＵ２００は、通常補正を実行する場合には、画像データＧＤ１全体を解析して、白色画素平均値を算出する（ステップＳ２１２）。白色画素は、ＨＳＢ色空間において予め定められた低彩度、かつ、高明度の所定の色域（白色近傍の色域）に属する画素値を有する画素を意味する。白色画素平均値は、白色画素の画素データに関する平均値である。ＣＰＵ２００は、白色画素平均値として、ＲＧＢ色空間におけるそれぞれの色成分の平均値W(R)_ave、W(G)_ave、W(B)_ave、および、ＨＳＢ色空間における明度の平均値W(H)_aveを算出する。

ＣＰＵ２００は、ＲＧＢのそれぞれの色成分に関する通常補正量ΔC(R)_white，ΔC(G)_white，ΔC(B)_whiteを、算出した白色画素平均値を用いて、以下の（２ａ）〜（２ｃ）式に従って算出する（ステップＳ２１４）。

ΔC(R)_white = W(H)_ave -W(R)_ave ...（２ａ）
ΔC(G)_white = W(H)_ave -W(G)_ave ...（２ｂ）
ΔC(B)_white = W(H)_ave -W(B)_ave ...（２ｃ）

（２ａ）〜（２ｃ）式の右辺は、白色画素の色が無彩色（正しい白色）からずれている場合に、白色画素の色を無彩色に近付ける方向に画像全体のカラーバランスを補正する作用を有している。

カラーバランス補正量（肌色基準補正量または通常補正量）が算出されると、ＣＰＵ２００は、算出された各補正量ΔC(R)，(G)，(B)を用いて、カラーバランス補正を実行し、補正後画像データＧＤ２を生成する（ステップＳ２１６）。

図９は、各補正量ΔC(R)、(G)、(B)を用いて実行されるカラーバランス補正の内容を示すグラフである。ＣＰＵ２００は、画像データＧＤ１における全画素データのＲＧＢ各色成分に対して、トーンカーブを用いた階調補正を実行する。図９において、破線は無変換の特性を示している。上述した手順で算出された各補正量ΔC(R)，(G)，(B)は、入力基準値Ｄrefにおける出力値の無変換特性からのシフト量に相当する。

入力基準値Ｄrefとしては、例えば、所定の一定値を用いることができる。本実施例では、８ビットの情報で表され０〜２５５の値を取り得るＲＧＢの各成分値に対して、補正基準明度Ｆ(B)_refの値（１９２）を入力基準値Ｄrefとして用いる。トーンカーブは、例えば、ＲＧＢのうちＲ成分について、入力値をＤrefとした場合の出力値がＤref＋ΔC(R)となる一次特性線を求めることによって得られる。

ＣＰＵ２００は、次に、カラーバランス補正後の画像データＧＤ２に対して、記憶色補正を実行する（ステップＳ２１８）。記憶色は、一般的に多くの人がイメージとして記憶している色と言うことができる。例えば、予め「人物の肌の色」「空の色」「夕焼けの色」「植物の緑色」といった特定の被写体の色が記憶色として予め設定されている。具体的には、「人物の肌の色」の記憶色（以下、肌色記憶色という。）として、所定の彩度Ｓ、色相Ｈ、明度Ｂが、プログラム上に記録されている。記憶色補正は、記憶色が設定されている特定の被写体（例えば、人物の肌）を表す画素データ（例えば、上述した肌色データ）のみを対象としている点で、画像データにおける全ての画素データを対象としているカラーバランス補正と異なる。記憶色補正は、処理対象画像の特定の被写体の色を記憶色に近付ける方向に、補正対象の画素データを補正する。

「人物の肌の色」についての記憶色補正を具体例として説明すると、ＣＰＵ２００は、カラーバランス補正処理におけるステップＳ２０８（図４参照）と同様の処理を、カラーバランス補正処理後の画像データＧＤ２に対して実行する。この結果、カラーバランス補正処理後の画像データＧＤ２についての肌色画素平均値として算出される。さらに、ＣＰＵ２００は、算出された肌色画素平均値および上述の肌色記憶色の値を用いて記憶色補正のための補正量をＲＧＢの各成分について算出する。ＣＰＵ２００は、算出した補正量を用いて、ＲＧＢの各成分についてトーンカーブを規定し、最後に、規定した各トーンカーブを用いて画像データＧＤ２における肌色データのＲＧＢの各成分について入力−出力変換を行う。

ここで、カラーバランス補正（ステップＳ２１６）において基準とする肌色画素目標色と、記憶色補正（ステップＳ２１８）において基準とする肌色記憶色とは、異なる色である。肌色画素目標色は、人が実際に人物を見たときに、無意識に行われる色順応（光源の影響を除去して物体の色を知覚しようとする働き）を経て知覚される肌の色の平均的な色と言うことができる。一方で、肌色記憶色は、上述のとおり、一般的に多くの人がイメージとして記憶している理想的な肌の色と言うことができる。肌色記憶色は、実際に知覚される肌の色より見映え良く設定されており、例えば、よりピンク味を帯びた健康的な肌色に設定されている。

本実施例に係る画像処理による人物画像に対する処理は、カラーバランス補正（ステップＳ２１６）によって、人が被写体（人物）を撮像したときに実際に知覚された被写体の肌の色（色順応後の色）を再現するように画像全体の色調を調整し、その後に、記憶色補正によって、より見映えが良い画像になるように被写体（人物）の肌の部分のみに色修正を施していると言える。このように、２段階に分けて処理しているのは、肌色記憶色に合わせて、画像全体の色調を調整すると、画像全体に好ましくない影響が表れるおそれ、例えば、画像全体がピンク味を帯びてしまうおそれがあるからである。

ＣＰＵ２００は、続いて、補正後の画像データＧＤ２をプリンタドライバに出力して（ステップＳ１５０）、本処理ルーチンを終了する。プリンタドライバでは、補正後画像データＧＤ２をＣＭＹＫデータに変換する色変換処理を実行する。すなわち、画像データの表色系をカラープリンタ３０が印刷処理を実行する際に用いる表色系であるＣＭＹＫ表色系に変換する。具体的には、ＨＤＤ２０２（または、ＲＯＭ）に格納されているＲＧＢ表色系とＣＭＹＫ表色系とを対応付けたルックアップデーブルを用いて実行される。また、ハーフトーン処理、解像度変換処理が実行され、印刷用のラスタデータとしてカラープリンタ３０に出力される。

以上説明したように、本実施例によれば、人物を被写体とする画像（例えば、ポートレート）を表す画像データに対して、人物の顔領域を判定し、判定した顔領域に対応する画像データを解析して、顔領域の肌色画素データの画素値の平均値を算出する。そして、算出した肌色画素平均値と、予め設定された肌色画素目標値を用いて、カラーバランス補正が実行される。したがって、被写体である人物の有する肌色に応じて、カラーバランス補正をすることができ、主要被写体である人物の肌の色に好ましくない変化を与えることを回避できる。

さらに、本実施例によれば、肌色画素平均値と、肌色画素目標値との差を解消または低減するカラーバランス補正量が算出され、この補正量を用いてカラーバランス補正が実行される。したがって、画像における人物の肌の色を好ましい色とする方向に全体のカラーバランスを補正することができる。

また、本実施例によれば、肌色画素平均値は、顔領域ＦＡの中央領域を大きく重み付けし、中央領域以外の領域を小さく重み付けするように設定された重み付け分布を用いて算出する。この結果、人物画像の見映えに影響しやすい顔領域の中央領域の肌色をより反映した肌色画素平均値が算出されるので、より人物画像の見映えが向上する方向に、カラーバランスを補正することができる。人物の顔部分における額や鼻付近等の中央部分は見映えに影響しやすく、かかる部分を好ましい肌色に補正することが求められる。一方、中央領域以外の領域、例えば、顔領域の外周部分は、影になって暗くなる場合もある。かかる部分の肌色を反映して、カラーバランスを補正すると、顔部分の中央付近の肌色を十分好ましい肌色に近付けられない場合がある。しかし、本実施例によれば、顔の中央部分の肌色を反映して、適切にカラーバランスを補正することができる。

さらに、本実施例によれば、画像データにおいて複数の顔領域が判定された場合、肌色画素平均値は、判定された複数の顔領域ごとに、顔領域の大きさに応じて設定された重み付け分布を用いて算出される。この結果、複数の人物の顔部分を含む人物画像において、より見映えに影響しやすい大きな顔部分の肌色をより反映した肌色画素平均値が算出されるので、より人物画像の見映えが向上する方向に、カラーバランスを補正することができる。

また、本実施例によれば、顔領域ＦＡが画像中に占める割合が所定の基準値以上である場合に、肌色を基準としたカラーバランス補正が実行される。したがって、画像中の所定割合以上の領域を人物が占め、肌色を基準としたカラーバランス補正効果が大きい画像のみに対して、肌色を基準としたカラーバランス補正を適切に実行できる。

・変形例：
上述した実施例に係る算出形式の代わりに、特定被写体特性値と、特性目標値とに基づいてカラーバランス補正量を算出する種々の形式を採用することが可能である。例えば、特定被写体特性値として、実施例では肌色画素平均値を用いているが、平均値に限らず、中間値等、他の統計値を用いても良い。

また、式（１ａ）〜（１ｃ）にそれぞれ、係数 k を乗じた以下の式を、式（１ａ）〜（１ｃ）の代わりに用いても良い。

ΔC(R)_face = k×{Ｆ2(R)_target -Ｆ2(R)_ave } ...（３ａ）
ΔC(G)_face = k×{Ｆ2(G)_target -Ｆ2(G)_ave } ...（３ｂ）
ΔC(B)_face = k×{Ｆ2(B)_target -Ｆ2(B)_ave } ...（３ｃ）
かかる場合は、 係数k の値によって、カラーバランスの補正レベルを調整することができる。

係数k の値は、画像中に占める顔領域ＦＡの割合に応じて、決定されても良い。例えば、顔領域ＦＡの画像中に占める割合に比例して、係数k の値を０〜１の範囲で設定しても良い。かかる場合には、顔領域ＦＡが大きく、肌色を基準としたカラーバランス補正の効果が大きい画像に対しては、画像の肌色を好ましい肌色に大きく近付ける方向に補正して、画像の見映えを向上することができる。一方で、顔領域ＦＡが小さく、肌色を基準としたカラーバランス補正の効果があまりない画像に対しては、画像の肌色を好ましい肌色に近付ける量を減らすことで、肌色を基準としたカラーバランス補正により、顔領域ＦＡ以外の領域に好ましくない変化が与えられることを回避できる。

さらに、上記実施例では、画像中に占める顔領域ＦＡの割合が、所定の基準値以上であるか否かによって、肌色基準補正量をΔC_faceを用いるか、通常補正量ΔC_whiteを用いるかを判断している（図４：ステップＳ２０６）が、これに代えて、画像中に占める顔領域ＦＡの割合に応じて決定される係数k1 およびk2 を用いて、肌色基準補正量ΔC_faceと、通常補正量ΔC_whiteと重み付けしても良い。例えば、以下の式（４ａ）〜（４ｃ）によって求められたカラーバランス補正量ΔCを用いて、カラーバランス補正を実行することができる。

ΔC(R) = k1×ΔC(R)_face + k2×ΔC(R)_white ...（４ａ）
ΔC(G) = k1×ΔC(G)_face + k2×ΔC(G)_white ...（４ｂ）
ΔC(B) = k1×ΔC(B)_face + k2×ΔC(B)_white ...（４ｃ）

係数k1 およびk2 は、それぞれ０〜１の範囲で設定され、係数k1 は、画像中に占める顔領域ＦＡの割合が大きいほど大きく、小さいほど小さく設定される。逆に、係数k2 は、画像中に占める顔領域ＦＡの割合が大きいほど小さく、小さいほど大きく設定される。

かかる場合には、画像中に占める顔領域ＦＡの割合に応じて、カラーバランス補正量ΔC(R)に占める肌色基準補正量の成分の割合と、通常補正量の成分の割合が調整されるので、画像に応じて適切なカラーバランス補正がなされる。すなわち、画像中に占める顔領域ＦＡの割合が大きい画像に対しては、顔領域ＦＡの肌色を好ましい肌色にすることを重視したカラーバランス補正を実行し、一方で、画像中に占める顔領域ＦＡの割合が小さい画像に対しては、顔領域ＦＡ以外の領域の色調を重視したカラーバランス補正を実行することができる。

また、式（１ａ）〜（１ｃ）の右辺は、差分値（例えば、Ｆ2(R)_target -Ｆ2(R)_ave）のみの形式を有していたが、他の形式を用いても良い。この場合、肌色画素データの画素値の統計値（本実施例では平均値）と、肌色画素目標値との差を解消または低減するカラーバランス補正量を算出する形式であるのが好ましい。例えば、差分値を２乗した値や平方根などを含む形式を用いることができる。

上記実施例では、人物の顔部分を特定被写体として特定被写体判定処理を実行し、肌色画素データの画素平均値を特定被写体の特性としてカラーバランス処理を実行しているが、その他の物を特定被写体として、同様のカラーバランス補正を実行しても良い。かかる場合には、ＣＰＵ２００は、人物の顔以外の特定被写体を有する画像データに対して、特定被写体の特性に応じて、適切にカラーバランス補正を実行することができる。例えば、ＣＰＵ２００は、木々（森等）を特定被写体とし、画像中において木々の領域を判定する。そして、ＣＰＵ２００は、判定の結果として認識された木々の領域に対応する画像データを解析して、木々の緑色に対応する色域に属する画素データの画素平均値を特定被写体特性値として求めても良い。

上記実施例では、縦１６×横１６に等分割した画像領域を用いて、顔領域判定処理を実行し、顔領域ＦＡを認識しているが、他の方法を用いても良い。例えば、画像データＧＤ１を含むファイルに、画像データと関連づけられた画像生成履歴情報が含まれている場合には、ＣＰＵ２００は、この画像生成履歴情報を取得して、顔領域判定処理において適宜利用しても良い。画像生成履歴情報とは、例えば、画像データがＥｘｉｆファイル形式で保存されている場合にＥｘｉｆデータ領域に記録されている情報をいい、具体的には、主要被写体の画像中における位置に関する被写体位置情報や、「人物」「風景」「夜景」等の撮影シーン情報など含まれ得る。

上記実施例に係る画像処理に加えて他の種類の画質調整処理を実行してもよい。例えば、コントラスト、色彩、シャープネスの補正等、一般的な画質調整処理を画像データＧＤ２に対して、さらに実行した後に、処理後の画像データをプリンタドライバに出力しても良い。

以上、実施例、変形例に基づき本発明に係る画像処理について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

実施例に係る画像処理装置（パーソナルコンピュータ）を含む画像処理システムを示す説明図。 実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図。 実施例に係る画像処理の処理ルーチンを示すフローチャート。 実施例に係るカラーバランス補正の処理ルーチンを示すフローチャート。 画像データＧＤ１によって表される処理対象画像の一例を示す概略図。 顔領域認定処理の結果を概念的に示す説明図。 肌色画素平均値の算出に用いる重み付け係数Ｗの分布を説明する第１の説明図。 肌色画素平均値の算出に用いる重み付け係数Ｗの分布を説明する第２の説明図 実施例に係るカラーバランス補正処理の内容を示すグラフ。

符号の説明

１０...ディジタルスチルカメラ（ＤＳＣ）
２０...パーソナルコンピュータ
２００...中央演算装置（ＣＰＵ）
２０１...ランダムアクセスメモリ（ＲＡＭ）
２０２...ハードディスク（ＨＤＤ）
２０３...カードスロット
２０４...入出力端子
２５...モニタ
３０...プリンタ
ＭＣ...メモリカード
Ｍ１...画像データ取得部
Ｍ２...顔領域判定部
Ｍ３...白色画素平均値算出部
Ｍ４...肌色画素平均値算出部
Ｍ５...補正量算出部
Ｍ６...補正実行部

Claims (12)

1. 撮像画像の画像データに対してカラーバランス補正を実行する画像処理装置であって、
   前記画像データを取得する画像データ取得手段と、
   前記画像データにおいて、前記特定の被写体を示す特定被写体領域を判定する特定被写体領域判定手段と、
   前記特定の被写体領域が、前記撮像画像中に占める割合である被写体領域割合を求める手段と、
   前記判定された特定被写体領域に対応する画像データの特性を表す特定被写体特性値を算出する特定被写体特性値算出手段と、
   前記算出した特定被写体特性値と予め設定された特性目標値とを用いて、カラーバランスの補正を行なう際の基準量である基準補正量を算出する基準補正量算出手段と、
   該算出した基準補正量を、前記求めた被写体領域割合が大きいほど大きな重み付けを与えて補正して、カラーバランス補正量を求める手段と、
   前記算出されたカラーバランス補正量を用いて、前記画像データに対して前記カラーバランス補正を実行する補正実行手段と
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記特定被写体特性値の算出は、前記特定被写体領域の中央領域において、前記特定被写体領域の中央領域以外の領域より大きく設定された重み付け分布を用いて実行される画
   像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   複数の前記特定被写体領域が判定された場合には、
   前記特定被写体特性値の算出は、前記複数の特定被写体領域の前記特定被写体特性値に対して、各特定被写体領域の大きさに応じて設定された重み付け分布を用いて実行される画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記特定被写体特性値の算出は、前記複数の特定被写体領域の前記特定被写体特性値の重み付き平均値を求めることによって実行される画像処理装置。
5. 請求項１ないし請求項４のいずれかに記載の画像処理装置において、
   前記特定被写体特性値は、前記特定被写体の色彩に関する特性値である画像処理装置。
6. 請求項１ないし請求項４のいずれかに記載の画像処理装置において、
   前記特定被写体特性値は、前記特定被写体領域内に含まれると共に、特定色域に属する画素データの特性を表す特定色特性値である画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記特定色特性値は、前記特定色域に属する画素データの画素値の統計値であり、
   前記特性目標値は、予め設定された画素目標値であり、
   前記算出されるカラーバランスの基準補正量は、前記画素値の統計値と前記画素目標値との差を解消または低減する補正量である画像処理装置。
8. 請求項６または請求項７に記載の画像処理装置において、
   前記特定の被写体は、人物の顔部分であり、
   前記特定色域に属する画素データは、人物の肌色に対応する色域に属する肌色画素データである画像処理装置。
9. 請求項１ないし請求項８のいずれかに記載の画像処理装置において、
   前記補正実行手段は、
   画像中に占める前記特定被写体領域の割合が所定の基準値以上である場合に、前記カラーバランス補正量を用いたカラーバランス補正を実行する画像処理装置。
10. 請求項１ないし請求項９のいずれかに記載の画像処理装置において、
    前記特定被写体判定手段は、判定対象である領域に含まれる画素データの画素値と、画像中における前記判定対象である領域の位置とを用いて、前記特定被写体領域を判定する画像処理装置。
11. 撮像画像の画像データに対してカラーバランス補正を実行する画像処理方法であって、
    前記画像データを取得し、
    前記画像データにおいて、前記特定の被写体を示す特定被写体領域を判定し、
    前記特定の被写体領域が、前記撮像画像中に占める割合である被写体領域割合を求め、
    前記判定された特定被写体領域に対応する画像データの特性を表す特定被写体特性値を算出し、
    前記算出した特定被写体特性値と予め設定された特性目標値とを用いて、カラーバランスの補正を行なう際の基準量である基準補正量を算出し、
    該算出した基準補正量を、前記求めた被写体領域割合が大きいほど大きな重み付けを与えて補正して、カラーバランス補正量を求め、
    前記算出されたカラーバランス補正量を用いて、前記画像データに対して前記カラーバランス補正を実行する
    画像処理方法。
12. 撮像画像の画像データに対してカラーバランス補正を実行するコンピュータプログラムであって、
    前記画像データを取得する画像データ取得機能と、
    前記画像データにおいて、前記特定の被写体を示す特定被写体領域を判定する特定被写体領域判定機能と、
    前記特定の被写体領域が、前記撮像画像中に占める割合である被写体領域割合を求める機能と、
    前記判定された特定被写体領域に対応する画像データの特性を表す特定被写体特性値を算出する特定被写体特性値算出機能と、
    前記算出した特定被写体特性値と予め設定された特性目標値とを用いて、カラーバランスの補正を行なう際の基準量である基準補正量を算出する補正量算出機能と、
    該算出した基準補正量を、前記求めた被写体領域割合が大きいほど大きな重み付けを与えて補正して、カラーバランス補正量を求める機能と、
    前記算出されたカラーバランス補正量を用いて、前記画像データに対して前記カラーバランス補正を実行する補正実行機能と
    をコンピュータに実現させるコンピュータプログラム。

Images