JP4375781B2 - 画像処理装置および画像処理方法並びにプログラムおよび記録媒体 - Google Patents

Description

本発明は、画像処理装置および画像処理方法並びに画像処理装置の機能をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、具体的には、記憶色を含む画像データに対して画像処理を行うものである。

デジタル技術の進歩により、デジタルカメラ、ネットワークスキャナ等の入力機器を用いて入力した画像データを、インクジェットプリンタ、レーザプリンタ、デジタルプルーファ等の画像データ出力機器にて出力することが普及している。このとき画像データ入力機器から入力された画像データは、画像処理装置、あるいはこれを実行させる画像処理方法により種々の加工を施され、出力されることが一般的である。

このような状況の中では様々な画像が取扱われるため、画像データに対する画質への要求も幅広いものとなった。なかでも、記憶色と称される肌色、芝生の緑、青空の色等は、我々の日常生活においてしばしば接する色であることから、その色再現は重要視されている。

とりわけ人物画像の肌色は最も注目される画質要因であることから、人物の肌色画像を適正な色となるように修正する技術が開示されている。
例えば、人物を含む画像から顔領域を抽出し、顔領域周辺の色および／または濃度（色濃度）を表す色濃度情報を検出し、この色濃度情報に基づいて顔領域の色濃度を調整する。そして、調整後の画像を再生することにより、顔領域周辺の色濃度に影響されない適正な色濃度の顔領域が知覚される（例えば、特許文献１参照）。

あるいは、人物像を含む画像データに含まれる人物像から肌色領域を抽出し、この抽出した肌色領域の肌色と予め備えられている肌色補正目標値とを比較して肌色補正値を算出する。この肌色補正値に基づいて、人物像の肌色領域の色を補正することによって、証明写真に写った人物の肌色をより実際の肌色に近づける（例えば、特許文献２参照）。

また、人間の視覚はある領域の色および濃度を認識する際に、その領域周辺の色および濃度により影響されることが知られている（例えば、非特許文献１参照）。即ち、同一の濃度を有するものであっても、周辺が暗いと明るく感じ、周辺が明るいと暗く感じる。
例えば、均一グレー濃度もつ各領域を、これらの領域と同じ濃度をもつ背景を配して観察した場合は、これらの領域は同一濃度として知覚されるが、一方、背景を黒や白とした場合は各領域の濃度はそれぞれの背景色によって異なるものとして知覚される。
特開２０００−２４２７７５号公報 特開２００１−１８６３２３号公報 M.D.Fairchild, "Color Appearance Model", ADDISON-WESLEY， 1998

したがって、特許文献２に記載されたように、肌色領域のみに対して適正な色および濃度となるような処理を施しても、その周辺の領域の色や濃度の影響により、知覚される顔領域の色や濃度が適正なものとならない虞がある。

また、特許文献１では、肌色領域とその周辺の領域の色や濃度の影響を考慮して、肌色領域の色や濃度を適正に補正しているが、好ましい色再現を実現できない場合があった。
例えば、肌色領域が全体として好ましい範囲に存在し、かつ周辺の領域が全体的に青味を帯びている画像に対しては、画像全体に対する色味のバランスをとる補正（所謂、ホワイトバランス補正）を施すために、画像全体は青味を減じる、つまり黄色味を加える色補正を施している。

一方、肌色領域に対しても同様の色補正が加えられるため、好ましい肌色の中心から離れていく可能性がある。この問題について図２２を参照して説明する。
図２２は、特許文献１における色補正を説明するための図で、ある画像データから抽出された肌色領域と肌色以外の領域（以下、背景領域と称する）とをＣＩＥＬＡＢ均等色空間においてプロットした模式図である。

図２２において、色味の色質指数成分を２次元的に示しており、横軸は赤・緑方向（ａ^＊）を、縦軸は黄・青方向（ｂ^＊）に色味を示している。ここでＳ点は、補正前の画像データの肌色領域、Ｒ_１点は補正前の背景領域の色味を表している。ここで肌色領域の色味が好ましい肌色範囲（網点部範囲）に存在している画像データを想定する。この場合には当然ながら肌色領域（Ｓ点）は、好ましい肌色として知覚される。

ところが、画像全体に対して青味を帯びた画像データ、すなわち、補正前の背景領域の色味がＲ_２点に示される場合を考える。この場合には、画像全体に対して青味をなくす補正処理が施されるため、画像データ全体に黄色味を付加する補正処理が画像全体に対して施される。図２２では背景領域に対して、Ｒ_２点はＲ_２'点へ補正されることになる。
一方、これは肌色領域の画像データに対しても同様に、Ｓ点からＳ'点へ色補正が施される。すなわち、画像全体の色のバランスはとれているが、肌色領域の色は好ましい肌色よりもやや黄色味を帯びた画像が得られることとなる。即ち、この画像データの肌色領域は、好ましい肌色として知覚されなくなってしまう。

本発明は、上述した事情を考慮してなされたものであり、画像データ中の記憶色の色を、その周辺領域および画像特性に応じて、常に好ましく知覚される色が得られるように画像補正することができる画像処理装置および画像処理方法並びに画像処理装置の機能をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とするものである。

上記課題を解決するために、請求項１の発明は、記憶色を含む画像データに対して画像処理を施す画像処理装置において、前記画像データから特性値を算出する特性値算出部と、前記特性値と記憶部に記憶した記憶色の色情報を用いて前記画像データから特定の色領域とその背景領域を抽出する領域抽出部と、前記特性値、前記領域の抽出結果と前記記憶部に記憶した前記特定色の好ましい色の色情報とから該好ましい色を色補正するための目標値とその補正量を算出する目標値算出部と、前記目標値算出結果および前記特性値に基づいて前記特定色領域の各色を補正する画像データ補正部を備え、前記目標値算出部は、前記背景領域の色度座標と原点を結ぶ線分の傾きと平行で、前記特定色の好ましい色の色度座標を通る直線と、該特定色の好ましい色範囲が形成する楕円体との交点を好ましい色の目標値と設定することを特徴とする。

請求項２の発明は、請求項１に記載の画像処理装置において、前記特性値算出部は、前記画像データを複数の領域に分割し、分割した領域ごとに、色情報における平均値、中央値、最頻値、標準偏差の少なくともいずれか一つと、該分割領域が前記画像データ全体に占める画像占有率とを算出することを特徴とする。

請求項３の発明は、請求項１または２に記載の画像処理装置において、前記記憶部に記憶した記憶色の好ましい色の色情報は、色空間内の色度座標およびその範囲であることを特徴とする。

請求項４の発明は、請求項３に記載の画像処理装置において、前記画像データ補正部は、前記画像データの特定色領域の色度座標を、前記目標値と前記特定色領域の特性値とで形成する軸に沿って、画像の特性値に基づいて算出される所定の距離だけ、補正することを特徴とする。

請求項５の発明は、請求項４に記載の画像処理装置において、前記所定の距離は、前記画像データの特定色領域の面積占有率に基づいて算出されることを特徴とする。

請求項６の発明は、記憶色を含む画像データに対して画像処理を施す画像処理方法において、前記画像データから特性値を算出する特性値算出ステップと、前記特性値と記憶部に記憶した記憶色の色情報を用いて前記画像データから特定の色領域とその背景領域を抽出する領域抽出ステップと、前記特性値、前記領域の抽出結果と前記記憶部に記憶した前記特定色の好ましい色の色情報とから該好ましい色を色補正するための目標値とその補正量を算出する目標値算出ステップと、前記目標値算出結果および前記特性値に基づいて前記特定色領域の各色を補正する画像データ補正ステップを備え、前記目標値算出ステップは、前記背景領域の色度座標と原点を結ぶ線分の傾きと平行で、前記特定色の好ましい色の色度座標を通る直線と、該特定色の好ましい色範囲が形成する楕円体との交点を好ましい色の目標値と設定することを特徴とする。
請求項７の発明は、請求項６に記載の画像処理方法において、前記特性値算出ステップは、前記画像データを複数の領域に分割し、分割した領域ごとに、色情報における平均値、中央値、最頻値、標準偏差の少なくともいずれか一つと、該分割領域が前記画像データ全体に占める画像占有率とを算出することを特徴とする。
請求項８の発明は、請求項６または７に記載の画像処理方法において、前記記憶部に記憶した記憶色の好ましい色の色情報は、色空間内の色度座標およびその範囲であることを特徴とする。
請求項９の発明は、請求項８に記載の画像処理方法において、前記画像データ補正部は、前記画像データの特定色領域の色度座標を、前記目標値と前記特定色領域の特性値とで形成する軸に沿って、画像の特性値に基づいて算出される所定の距離だけ、補正することを特徴とする。
請求項１０の発明は、請求項９に記載の画像処理方法において、前記所定の距離は、前記画像データの特定色領域の面積占有率に基づいて算出されることを特徴とする。

請求項１１の発明は、請求項１乃至５のいずれかに記載の画像処理装置の機能をコンピュータに実現させるためのプログラムである。
請求項１２の発明は、請求項６乃至１０のいずれかに記載の画像処理方法をコンピュータに実行させるためのプログラムである。
請求項１３の発明は、請求項１１または１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によると、画像データに含まれる記憶色の色を、その周辺領域に応じて好ましく知覚される色として得られるように画像補正することができる。

以下、図面を参照して本発明の画像処理装置に係る好適な実施形態について説明する。

＜実施形態１＞
図１は、本発明の一実施形態に係る画像処理装置の機能構成を示すブロック図で、図１において、画像データは、画像データ入力部１０から入力され、色補正装置１００にて色補正を施された後、画像データ出力部３０にて出力される。
色補正装置１００は、色補正装置１００の全体を制御するための装置制御部１０１と、画像データ入力部１０で入力された画像データ（以下、元画像データという）の特性値テーブルを算出する特性値算出部１０３と、記憶部１０９に記憶された記憶色の色情報を参照して、元画像データ中に含まれる色補正対象の特定色領域とその背景領域を抽出するための領域抽出部１０５と、抽出した特定色領域および背景領域の色情報および記憶部１０９から取得した特定色に対する好ましい色情報とから、特定色に対する色補正後の好ましい色の目標値と補正量を算出する目標値算出部１０７と、算出された好ましい記憶色の目標値と元画像データの特性値テーブルから得られる特性値に応じて補正する補正量を算出し、元画像データに対して補正量だけ色補正を施した画像データ（以下、補正後画像データという）を得る画像データ補正部１１１を含んでいる。

画像データ入力部１０は、画像処理装置に備えるネットワークインターフェースでインターネットなどへ接続させておき、ネットワークを介して外部から画像データを入力するようにしてもよいし、また、画像処理装置に接続されているハードウェアディスク、フレキシブルディスクドライブや光記録媒体読取装置、スキャナやデジタルカメラ等の装置から画像データを入力するようにしてもよい。

画像データ入力部１０は、入力された画像データがアナログ信号である場合にはデジタル信号に変換した後、所定のデジタル処理を行って、Ｒ（赤）、Ｇ（緑）およびＢ（青）のデジタル信号として色補正装置１００に対して出力する。
なお、本実施形態では、入力信号にはＲＢＧ色空間を用い、特性値の算出や領域の抽出にはＬａｂ色空間を用いるようにしているが、これに限定されたものではなく、ＹＣＣ色空間やＬｕｖ色空間等を用いるようにしてもよい。

また、記憶部１０９には、記憶色の色度情報とこの記憶色のうち好ましい色の色情報が記憶されており、元画像データから指定された記憶色を抽出する抽出条件として記憶されている。記憶色とは、人が記憶している色であり、たとえば、肌の色、空の色、海や川の色、草木の色、雪の色等である。

次に、この記憶色のうち「肌色」の設定方法と、「好ましい肌色」の色情報の設定方法について説明する。

（「肌色」の設定方法）
「肌色」の設定方法としては、例えば、（財）日本色彩研究所が上梓している「スキントーンカラー」の範囲のごとく、
色相（Ｈ）：１ＹＲ〜９ＹＲ、
彩度（Ｃ）：３，４および５、
明度（Ｖ）：４．０〜８．５
を予め記憶しておくことが挙げられる。このとき用いられるＨＶ／Ｃの値は、日本工業規格Ｚ８７２１における３属性による色の表示方法に例示されているように、ＨＶ／Ｃ（ＨＶＣ_ＪＩＳ）とこれに対応するｘｙ色度座標に式（１）で変換される。

次いで、得られたｘｙおよびＶ座標（ｘｙ_ＪＩＳ）から式（２）および式（３）で、適当な均等色空間上の値に変換される。

本実施形態では、ＣＩＥＸＹＺ１９３１の３刺激値（ＸＹＺ）、およびＣＩＥＬＡＢ値を算出して、肌色領域の範囲を算出した。この肌色範囲の１例を図２に示すが、得られた複数の点のＬａｂ値が９０％含まれる楕円体を定義し、その楕円体の範囲を肌色範囲としてもよい。

または、上述の肌色範囲の外周と原点を結ぶ線分との交点Ｕ_１およびＵ_２の座標をそれぞれ、（Ｌ^＊（Ｕ_１）,ａ^＊（Ｕ_１）,ｂ^＊（Ｕ_１））および（Ｌ^＊（Ｕ_２）,ａ^＊（Ｕ_２）,ｂ^＊（Ｕ_２））、楕円体の中心と原点を結ぶ線分との交点Ｕ_３およびＵ_４の座標をそれぞれ（Ｌ^＊（Ｕ_３）,ａ^＊（Ｕ_３）,ｂ^＊（Ｕ_３））および（Ｌ^＊（Ｕ_４）,ａ^＊（Ｕ_４）,ｂ^＊（Ｕ_４））としたとき、それらの４点のうち、最大および最小の色相と彩度を肌色範囲とすることも可能である。

また、適当な均等色空間上に変換する際には、色を観察する環境を設定しなければならない。例えば、式（１）では、光源における観察環境に限定されているため、他の観察環境における肌色領域は定義できない。
しかし、ユーザが画像データを観察する状況は様々であるので、画像データを観察する条件に応じて、式（１）から算出されたＣＩＥＸＹＺ１９３１の３刺激値を種々の光源での色の見えに合わせて、例えば、Ｖｏｎ Ｋｒｉｅｓモデル、ＣＩＥＣＡＭなどの色の見えモデルを適用して、変換することが好ましい。変換には観察環境のパラメータを指定する必要があるが、予め固有の値を設定しておき、ユーザが指定した際にこのパラメータを変更することが好適である。

（「好ましい肌色」の設定方法）
次に、「好ましい肌色」の色情報の設定方法について説明する。
まず、肌色を有する画像データを複数収集し、主観的に吟味、選択した画像データに対して「好ましい」あるいは「好ましくない」の主観評価を実施する。
得られた主観評価点が高い画像データの肌色の色度座標を用いて、式（４）を用いて主成分分析を行い、第１主成分，第２主成分，第３主成分ベクトルおよびそれぞれの固有値を算出する。

算出した楕円体の中心を好ましい肌色の中心座標Ｒ点とし、各主成分の固有値の２乗根を許容範囲と定め、図２に示すような好ましい肌色範囲を設定する。

以上のようにして設定される記憶色および記憶色に対する好ましい色情報を記憶部１０９へ予め記憶させておく。なお、例えば、名取和幸、近江源太郎著、「記憶色の現象的特徴に関する研究（第１報）」、色彩研究、日本色彩学会、２０００年、ｐ．７〜１８、における記憶色の対象物リストを記憶色としても同様の処理を加えることが可能である。
また、色度についても、Ｌａｂ色空間に限定されたものではなく、ＹＣＣ色空間、ｘｙ色度やＲＧＢの比を用いた色度であってもよい。

また、色補正装置１００で補正対象となる特定の色（以下、特定色という）は、次のようにしてユーザから指定されるようにしてもよい。
まず、画像表示装置（図示せず）の画面に表示されたメニューから「色指定」の選択ボタンを選択すると、引き続き画面に「どの特定色を記憶色としますか」のメッセージが表示され、その下に「記憶色１」、「記憶色２」、「ユーザ指定１」、「ユーザ指定２」の４つの選択ボタンが表示される。ユーザはこの４つの選択ボタンのうちいずれかを選択することができる。
これらの４つの選択ボタンから所望の記憶色を選択することにより、後述の色補正に際して、選択されたボタンに対応する記憶色が特定色として記憶部１０９から読出される。

ここで、「記憶色１」には「人の肌色」、「記憶色２」には「空の色」のように、予め定められた記憶色が対応付けられ、「ユーザ指定１」と「ユーザ指定２」には、ユーザが予め指定した記憶色を対応づけることができる。例えば、「ユーザ指定１」には「水の色」、「ユーザ指定２」には「草木の色」のように対応づけることができる。このように、ユーザが元画像データによって特定色を記憶色に設定することができる。

以下の説明では、ユーザから選択される特定色を記憶色の「人の肌色」として説明するが、他の記憶色であっても同様に適用することができる。また、元画像データの中の特定色からなる領域を特定色領域といい、記憶色の「人の肌色」を特定色としたときには特定色領域のことを肌色領域とも言うことにする。

画像データ出力部３０は、色補正装置１００で色補正された画像データをプリンタ、複合機、ファクシミリ装置等へ出力したり、ハードディスクや光記録媒体記録装置等の記憶装置へ出力する。或いは、ネットワークを介して外部へ出力するようにしてもよい。
次に、色補正装置１００を構成するそれぞれの処理部について詳細に説明する。

（特性値算出部１０３）
特性値算出部１０３では、画像データ入力部１０から渡された画像データの特性値を算出して特性値テーブルを出力する。
まず、画像データ入力部１０から入力された元画像データの各画素のＲＧＢデータ（Ｒ，Ｇ，Ｂ）を式（５）によってＣＩＥＬＡＢ均等色空間上の色度座標（Ｌ^＊，ａ^＊，ｂ^＊）に変換する。

次に、得られた色度座標から元画像データの特性値を算出する方法を説明する。
特性値の算出は、元画像データを画像特性に合わせた領域に分割後、分割した領域ごとにその特性値を算出する。その画像データの領域分割方法は、例えば、画像データの統計的情報から再帰的に領域分割する方法（大田友一、金出武雄、坂井利之著,「領域分割によるカラー画像情報の構造化」，情報処理，日本情報処理学会、１９７８年１２月、Vol. 19, No.12, pp.1130-1136）、あるいは画像の統計情報を用いて領域分割する方法（RON Ohlander et. al.,「Picture Segmentation Using A Recursive Segmentation Splitting Method」, Comp. Graph. and Image Proc., pp.313-333）など種々の方法が適用できる。

本実施形態では、Ｋ平均アルゴリズムを応用した領域分割法を適用する。例えば、図３（Ａ）のような分割前の画像データに対して、分割後の画像は図３（Ｂ）のように得られる。なお、図３は、領域の分割結果を分りやすくするため、コントラスト補正をかけて濃淡情報で表している。

この分割法の詳細は、上記の文献によるものであるが、概略処理は次のようになる。
まず、元画像データの画面全体を予め設定された小領域に分割して初期領域を生成し、領域ごとに統計情報テーブルを算出する（本実施形態では、縦：５×横：５＝２５の領域に分割した）。
このときの統計情報テーブルは、式（６）により算出された領域ごとの色情報Ｌａｂ値（Ｌ^＊，ａ^＊，ｂ^＊）の算術平均である（Ｌ^＊ _ａｖｅ，ａ^＊ _ａｖｅ，ｂ^＊ _ａｖｅ）と、位置情報（ｉ，ｊ）の算術平均値である（Ｉ_ａｖｅ，Ｊ_ａｖｅ）とからなっている。

次に、小領域探索にて、式（７）を用いて、画像データの色度座標値（Ｌ^＊，ａ^＊，ｂ^＊）と位置情報（ｉ，ｊ）と統計情報テーブルとの相対距離Ｄ（ｈ）を算出し、画素（ｉ，ｊ）が２５分割領域中で、どの領域において最短距離なのかを算出する。

これを小領域の回数（本実施形態では２５回）繰り返し、Ｄ（ｈ）を最小とする領域番号ｈを探索する。このｈは、小領域の通し番号であり、図４のＨｈのｈのことである。
ここで、探索した番号の統計情報テーブル内容と元々画素（ｉ，ｊ）が属していた小領域番号を書き換えて、統計情報テーブルを書き換える。これを画像データの画素数（実施形態では、（ｉ＋１）×（ｊ＋１）回）繰り返す。
これらの処理を所定回数繰り返して得られた領域分割画像データは図３（Ｂ）のようになる。

最後に、上記の処理で統計情報テーブルに得られた領域ごとの情報に基づいて、元画像データの色度座標の中心値である（Ｌ^＊ _ａｖｅ，ａ^＊ _ａｖｅ，ｂ^＊ _ａｖｅ）、および元画像データの面積に対して分割領域の占める画像占有率であるΔＳ［％］を特性値として、元画像データの特性値テーブルを算出する。
なお、上述した実施形態では、補正前画像データの特性値として平均値を用いたが、これに類する種々の統計量、例えば、標準偏差、中央値、最頻値等を用いることが可能である。
上記の処理の結果、元画像データから得られる特性値テーブルは、図４のようになる。

（領域抽出部１０５）
領域抽出部１０５では、算出された特性値テーブルおよび記憶部１０９に予め記憶した「記憶色」の色情報とから、画像データ入力部１０から渡された元画像データの特定色領域（肌色領域）と、その特定色領域の周辺部の背景領域とが抽出される。
これには、特性値算出部１０３と同様に分割領域ごとに、元画像データ（Ｒ，Ｇ，Ｂ）を式（５）で変換し、ＣＩＥＬＡＢ均等色空間上にマッピングする。
このマッピングした複数の点をＨ_ｈ点（Ｌ^＊（Ｈ_ｈ），ａ^＊（Ｈ_ｈ），ｂ^＊（Ｈ_ｈ）），ｈ=１，…，分割領域数、とし、その点の中で記憶部１０９に予め設定した特定色（肌色）の色度座標における範囲に属する領域を特定色領域（肌色領域）とする。

次に、図５を参照して、特定色領域（肌色領域）を抽出する方法を説明する。
図５は、図３の元画像データの各分割領域における色度座標をＣＩＥＬＡＢ均等色空間にマッピングした図である。図５で「特定色範囲」と記された範囲は、記憶部１０９に記憶されている特定色（肌色）の色度座標の範囲を示し、この範囲内にマッピングされた元画像データの点が特定色に該当する点となる。

また、図５の各点Ｈ_ｈは、元画像データの分割領域の番号ｈに対応しており、Ｈ_４点およびＨ_５点が特定色領域（肌色領域）として抽出される画像データの色度座標である。
なお、このとき抽出された特定色領域（肌色領域）は、Ｈ_４およびＨ_５と２つ存在するが、ここでは、元画像データに含まれる面積占有率が最も高い領域を特定色領域（肌色領域）とし、Ｈ_４点を特定色領域（肌色領域）として設定した。
なお、面積占有率が最も高い領域を求めるには、先に作成した特性値テーブルに登録されている分割領域ごとに算出された画像データに対する面積占有率ΔＳを用いて判断する。

また、同様に特定色（肌色）以外の領域についても３つの領域Ｈ_１、Ｈ_２、Ｈ_３が存在するが、画像に占める面積が大きいＨ_１を背景領域として選択する。

さらに、これらの領域を抽出するときには、元画像データにおける特定色領域（肌色領域）や背景領域が所定の領域の大きさより小さい場合は、その領域を補正処理に使用する対象外の領域とすることにより、適切に領域を抽出することも可能である。この所定の領域の大きさの好適な値としては、元画像データに対して占める割合が５〜１０％以下の場合である。

（目標値算出部１０７）
目標値算出部１０７では、元画像データの特定色領域（肌色領域）の補正目標となる「好ましい色の目標値」を算出する。図６を参照して、この目標値算出方法について説明する。図６におけるＲ点は好ましい特定色領域（肌色領域）の中心の色度座標であり、Ｓ点は元画像データの特定色領域（肌色領域）の特性値（前出のＨ_４がこれに該当する）である。ここで、背景領域のＱ点（前出のＨ_１がこれに該当する）とＲ点とから、目標値となる特定色（肌色）の色度座標Ｒ'を算出する。

以下、２次元の空間座標を用いた色度座標上において、それぞれの点を結ぶ直線の方程式を解いて算出するが、目標値の算出方法はこの方法に限定されず、例えば、後述する３次元の成分として３次元の主成分を適用することが可能である。また、直線の方程式はベクトル成分を用いて算出することも可能である。

まず、Ｏ点（原点）、Ｑ点（背景）の座標をＯ（ａ^＊（ｏ），ｂ^＊（ｏ））およびＱ（ａ^＊（ｑ），ｂ^＊（ｑ））とすると、この２点を通る線分の傾きと等しくＲ点（好み）を通る直線ｌは式（８）で表される。

このとき、Ｒ点の座標は、Ｒ（ａ^＊（ｒ），ｂ^＊（ｒ））であり、また、好ましい特定色領域（肌色領域）の第１主成分と第２主成分がなす楕円体Ｅ（式（９）および（１０）で定義される）と直線ｌとの交点をＲ'（目標）として算出する。得られた座標をＲ'（ａ^＊（ｒ'）,ｂ^＊（ｒ'））とする。

元画像データの特性値のＳ点（ａ^＊（ｓ），ｂ^＊（ｓ））と目標値Ｒ'点を結ぶ直線ｍを式（１１）にて算出し、この直線上の所定の点に画像データの制御点Ｓ'（目標）を設定する。

このときのＳ点からＳ'点への補正量Ｔｈは、画像の特性値から算出されるが、これについては後述の画像データ補正部１１１の項で説明する。

（画像データ補正部１１１）
画像データ補正部１１１では、目標値算出部１０７にて算出された特定色に対する「好ましい色の目標値」と元画像データの特性値テーブルから得られる特性値に応じて補正する補正量Ｔｈを算出し、元画像データに対して補正量だけ色補正を施した補正後画像データを得る。

補正量Ｔｈは、画像データに占める特定色領域（肌色領域）の面積占有率ΔＳに応じた補正量をＬＵＴ(Look-Up Table) などのメモリに記憶させておく構成とする。
あるいは、例えば、式（１２）のような関数を定義しておき、これを特性値テーブルから算出した画像面積占有率ΔＳから補正量Ｔｈを適宜算出するようにしてもよい。

次に、画像全体に対する補正方法について図６を参照して説明する。
元画像データは、前出の式（１０）にてＬａｂ値からＰ_１およびＰ_２値に変換される。
次に、元画像データのあるＳ_ｉ点は、背景領域からの距離に応じて、Ｓ_ｉ'点に補正される。このときの補正量δＴｈは、背景領域のＱ点と画像のＳ点との距離を｜ＱＳ｜、移動後の距離を前出のＴｈとすると、式（１３）で示される。

図７を参照して、この補正の詳細な動きについて説明する。図７は、直線ｍ上における補正前および補正後の色補正の位置を示している。前出の通り特定領域（肌色領域）に近いＳ点（画像）は、Ｓ'点（目標）に補正される。図中の矢印は、このときの補正量の大きさを示しているものとする。同様に、Ｓ_１点は、補正量Ｔｈ_１だけ移動してＳ_１'点に補正される。さらに、背景領域に近いＳ_２点は、補正量Ｔｈ_２だけ移動してＳ_２'点に補正される。

これらの補正量を比較すると、特定色領域（肌色領域）から背景領域に近づく（Ｓ→Ｓ_１→Ｓ_２）に従って、その補正量が小さくなる（｜Ｔｈ｜＞｜Ｔｈ_１｜＞｜Ｔｈ_２｜）構成となる。
このように補正を施すことにより、画像の特定色領域（肌色領域）に関しては、好ましい色に補正されることになり、かつ背景領域に対しては、ほとんどその色が補正されないため、画像全体のバランスを崩さずに、特定色（肌色）だけを好ましく補正することが可能となる。

最後に式（１４）を用いて、Ｐ_１およびＰ_２をＬａｂに逆変換し、さらに、ＲＧＢへ逆変換することにより補正された画像データを得て、画像データ出力部３０へ渡される。

本実施形態では、ＬａｂからＲＧＢに逆変換する線形な１次式を用いたが、これをＬＵＴ等に記憶させ、補間演算でＲＧＢ値に変換することも可能である。あるいは、Ｌａｂ値から濃度へ変換するＬＵＴを採用することも可能である。

なお、他の記憶色に対する補正処理の場合にも同様に実施することが可能である。その際は、ａｂ平面を適当な色相に分割し、分割した領域に属する記憶色の補正量（移動量）を制御すれば良い。

＜実施形態２＞
本実施形態２は、実施形態１と同様にして得た補正量に対して、外部から得た元画像データの属性情報に応じて常に好ましい色が得られるように画像処理を施す例について説明する。

図８は、本発明の画像処理装置に係る実施形態２の機能構成を示すブロック図で、図８において、画像データは、画像データ入力部１０から入力され、色補正装置１００にて色補正を施された後、画像データ出力部３０にて出力される。
色補正装置１００は、色補正装置１００の全体を制御するための装置制御部１０１と、画像データ入力部１０で入力された画像データ（以下、元画像データという）の特性値テーブルを算出する特性値算出部１０３と、記憶部１０９に記憶された記憶色の色情報を参照して、元画像データ中に含まれる色補正対象の特定色領域とその背景領域を抽出するための領域抽出部１０５と、抽出した特定色領域および背景領域の色情報および記憶部１０９から取得した特定色に対する好ましい色情報とから、特定色に対する色補正後の好ましい色の目標値を算出する目標値算出部１０７と、元画像データの属性情報を属性情報取得部と、算出された好ましい記憶色の目標値と元画像データの特性値テーブルと元画像の属性情報から得られる特性値に応じて補正する補正量を算出し、元画像データに対して補正量だけ色補正を施した画像データ（以下、補正後画像データという）を得る画像データ補正部１１１を含んでいる。
なお、図８において、実施形態１（図１）と同じ機能を有するものについては、同一の符号を付してあり、その説明を相違点についてのみ行うことにする。

属性情報取得部１１２は、画像データ入力部１０からの画像データに付加された情報を読み出し、これを画像データ補正部１１１に送出するが、このとき読み出されるデータ形式としては、任意のファイル構造を用いることが可能であり、例えばＥｘｉｆフォーマット、ＤＰＯＦフォーマット構造が挙げられる。

属性情報取得部１１２では、例えば、図９に示したようなＥｘｉｆフォーマットに順じたファイル構造からなる元画像データの属性情報を取得する。図９を参照すると、元画像データの撮影条件に関する情報の中で、撮像シーンタイプに関する画像属性情報を取得する場合には、画像のタグ番号（Ｈｅｘ：１６進数）の４１９９０における撮影シーンタイプのタイプ（符号なし整数値）の各整数値を読み取る。例えば、撮影シーンタイプのタイプが０であれば、撮影条件は標準状態で撮影されたことを示し、また２であれば人物画像が撮影されたことを示している。

元画像データに付された画像属性情報を読み込んだ場合、画像データ補正部１１１は、画像属性情報に応じた補正係数α_{ｓｃｅｎｅ}を補正係数テーブル（ＬＵＴ）から取得し、実施形態１と同様にして計算された補正量に対して、この補正係数α_{ｓｃｅｎｅ}を乗じた値を最終的な補正量として元画像データを補正するようにする。

この補正係数テーブルは、画像属性情報を撮影シーンタイプとした場合、図１０に示すように撮影シーンタイプのタイプごとに補正係数α_{ｓｃｅｎｅ}が対応するというデータ構造になっている。
例えば、人物画像が撮像された場合（図１０のタイプ２に相当する）には補正係数α_{ｓｃｅｎｅ}＝１.３０であり、標準の場合（図１０のタイプ０に相当する）よりも高い。これは、人物画像を撮影したときには画像データの肌色領域の再現性が重視され、補正量を多くするためである。

なお、この補正量の算出は、上記のように補正係数テーブルを参照する形式に限定されるものではなく、例えば、式（１５）を用いて補正係数αを適宜算出することも可能である。

また、画像属性情報としては撮影シーンタイプに限定したものではなく、その他の画像属性情報によって補正を加えることも可能である。例えば、上述した補正係数テーブルまたは式（１５）において、フラッシュが使われたことを検知し、フラッシュが使われた場合にはα_{ｓｃｅｎｅ}＝１とし、それ以外でα_{ｓｃｅｎｅ}≒０とすることで、夜景モードにおける人物が浮いた補正を制限することが可能となる。
また、画像属性情報のうちＦ値（絞り値）が大きい場合には、補正係数α_{ｓｃｅｎｅ}を大きくする、あるいは、シャッタースピードが小さい場合にも補正係数α_{ｓｃｅｎｅ}を大きくすることで、肌色領域の画像データをより好ましく再現することが可能となる。

さらに、ホワイトバランス補正の強弱に応じた補正を施すことも可能である。これは、肌色領域のＲ，Ｇ，Ｂ値の平均値と、画像全体のＲ，Ｇ，Ｂ値の平均値とを比較し、両者の差をＬＵＴ等に設定しておき、これに応じて補正を施すものである。
即ち、人物が撮影されたときに、大きくホワイトバランスがずれている場合にも、人物の肌色が好ましい範囲に設定されるため、肌色領域の画像データをより好ましく再現することが可能となる。

上記のように実施形態２を構成することによって、ユーザの求める記憶色のうちの特定色（人物の肌色）をその周辺領域に応じて常に好ましい色が得られるように補正することができる。

次に、図１１を参照して、実施形態１および実施形態２の画像処理装置における元画像データを補正する処理手順を説明する。
まず、ネットワークを介して外部から画像データを入力したり、また、ハードウェアディスク、フレキシブルディスクドライブや光記録媒体読取装置、スキャナやデジタルカメラ等の装置から画像データを入力し、入力された画像データがアナログ信号である場合にはデジタル信号に変換した後、所定のデジタル処理を行って、Ｒ（赤）、Ｇ（緑）およびＢ（青）のデジタル信号として出力する（ステップＳ１０）。

入力された各画素のＲＧＢデータ（Ｒ，Ｇ，Ｂ）を式（５）によってＣＩＥＬＡＢ均等色空間上の色度座標（Ｌ^＊，ａ^＊，ｂ^＊）に変換し、得られた色度座標を用いて、画像データの統計的情報から再帰的に領域分割を行って、領域ごとに元画像データの色度座標の中心値である（Ｌ^＊ _ａｖｅ，ａ^＊ _ａｖｅ，ｂ^＊ _ａｖｅ）、および元画像データの面積に対して分割領域の占める画像占有率であるΔＳ［％］を特性値として算出して特性値テーブルへ格納する（ステップＳ１１）。

分割された領域ごとに、元画像データ（Ｒ，Ｇ，Ｂ）を式（５）で変換し、ＣＩＥＬＡＢ均等色空間上にマッピングし、このマッピングした複数のＨ_ｈ点の中で記憶部１０９に記憶されている特定色（肌色）の色度座標における範囲に属する領域を特定色領域（肌色領域）とし、それ以外の範囲にある分割領域を背景領域とする（ステップＳ１２）。
ここで、特性値テーブルに登録されている領域の面積占有率ΔＳが所定の領域の大きさより小さい場合は（占有率が５〜１０％以下）、その領域を特定色領域（肌色領域）または背景領域として選択しないようにする。

元画像データの特定色領域（肌色領域）の補正目標となる「好ましい色の目標値」を算出する（ステップＳ１３）。
図６を用いて説明すると、Ｏ点（原点）とＱ点（背景）のを通る線分の傾きと等しく、Ｒ点（好み）を通る直線ｌ（式（８）参照）を求め、好ましい特定色領域（肌色領域）の第１主成分と第２主成分がなす楕円体Ｅ（式（９）および（１０）参照）と直線ｌとの交点をＲ'（目標）として算出する。
次に、特定色領域の特性値のＳ点と目標値Ｒ'点を結ぶ直線ｍを式（１１）にて算出し、この直線上の所定の点に画像データの制御点Ｓ'（目標）を設定する。
このときのＳ点からＳ'点への補正量Ｔｈは、画像データに占める特定色領域（肌色領域）の面積占有率ΔＳに応じた補正量をＬＵＴや式（１２）のような関数を用いて算出する。

算出された「好ましい色の目標値」と特性値テーブルから得られる特定色領域（肌色領域）に対する特性値に応じて補正する補正量を算出し、元画像データに対してこの補正量だけ色補正を施した補正後画像データを得る（ステップＳ１４）。
図６を用いて説明すると、元画像データを式（１０）にてＬａｂ値からＰ_１およびＰ_２値に変換し、背景領域のＱ点と画像のＳ点との距離を｜ＱＳ｜、Ｓ点での補正量をＴｈとして、特定色領域中のあるＳ_ｉ点の補正量δＴｈを式（１３）で算出する。この補正量δＴｈを用いてＳ_ｉ点をＳ_ｉ'点に補正する。
ここで、元画像に付された画像属性情報を取得した場合には、画像属性情報に応じた補正係数α_{ｓｃｅｎｅ}を補正係数テーブルや式（１５）で算出して、上記の補正量ＴｈおよびδＴｈに対してこの補正係数α_{ｓｃｅｎｅ}を乗じた値を最終的な補正量とする。
最後に式（１４）を用いて、Ｐ_１およびＰ_２をＬａｂに逆変換し、さらに、ＲＧＢへ逆変換することにより補正された画像データを得る。

元画像データに色補正された補正後の画像データをプリンタ、複合機、ファクシミリ装置等へ出力したり、ハードディスクや光記録媒体記録装置等の記憶装置へ出力すしたり、あるいは、ネットワークを介して外部へ出力する（ステップＳ１５）。

＜実施形態３＞
図１２は、本発明の画像処理装置に係る実施形態３の機能構成を示すブロック図で、図１２において、画像データは、画像データ入力部１０から入力され、色補正装置２００にて色補正を施された後、画像データ出力部３０にて出力される。
色補正装置２００は、色補正装置２００の全体を制御するための装置制御部２０１と、記憶部２０９に記憶された記憶色の範囲を参照して、画像データ入力部１０で入力された画像データ（以下、元画像データという）中に含まれる色補正対象の特定色領域とその背景領域を抽出するための領域抽出部２０３と、抽出した特定色領域および背景領域の特性値を算出する特性値算出部２０５と、特性値算出部２０５から得られた特性値と記憶部２０９から取得した記憶色の範囲とから、特性値に応じて特定色領域の目標色を算出する目標値算出部２０７と、算出された目標値によって領域抽出部２０３にて抽出した特定色領域に色補正を行う画像データ補正部２１１を含んでいる。
なお、画像データ入力部１０および画像データ出力部３０については、上述した実施形態１および２と同じ機能であるから説明を省略する。

ここで、記憶部２０９には、記憶色とこの記憶色のうち好ましい色の色情報が記憶されており、画像データから指定された記憶色を抽出する抽出条件として記憶されている。記憶色とは、人が記憶している色であり、たとえば、肌の色、空の色、海や川の色、草木の色、雪の色等である。これらの記憶色の抽出条件として、記憶色を抽出するための色度座標範囲および好ましい記憶色の色度座標範囲を予め設定した例を後述するが、これ以外の例として、すべて特定の色度座標範囲だけを予め設定しておくことも可能である。
また、色度についても、後述するＹＣＣ色空間による色度に限定されたものではなくｘｙ色度やＲＧＢの比を用いた色度であってもよい。

また、補正対象となる特定色は、実施形態１で述べたようにユーザから指定されるようにしてもよい。以下の説明では、特定色を記憶色の「人の肌色」として説明するが、他の記憶色であっても同様に適用することができる。

（領域抽出部２０３）
まず、画像データ入力部１０から入力された各画素のＲＧＢデータ（Ｒ，Ｂ，Ｇ）を次式（１６）によってＹＣＣデータ（ＹＹ，Ｃ_１，Ｃ_２）に変換する。

また、求められたＣ_２，Ｃ_１から、次式（１７）によって彩度（Ｃ）および色相角（Ｈ）を算出する。

次に、図１３を参照して、得られた色度情報から画像データに存在する特定色領域（肌色領域）を抽出する方法を説明する。図１３はＹＣＣ色空間座標をＣ_１−Ｃ_２平面で示した図であり、空間上でのＯ点からの距離および角度がそれぞれ彩度（Ｃ）、および色相（Ｈ）を表している。元画像データの各画素データを式（１６）にて変換し、ＲＧＢ色空間の色度座標値から、ＹＣＣ色空間の色度座標値へ変換する。

次いで、記憶部２０９に予め記憶されている肌色（特定色）範囲と比較する。このときの肌色領域の範囲はユーザが指定するようにしてもよい。即ち、図１４（Ａ）に例示されるように、画像データの中心Ｃ_ｉｊとこれを中心とした楕円体の横軸と縦軸方向への指定量であるｒ_ｉとｒ_ｊを指定し、およその肌色領域の範囲を定めることができる。
背景領域は、この肌色領域の範囲から短軸方向へ数倍した楕円体に含まれる領域として定める。
上述の処理で得られる肌色範囲をＳ領域、背景範囲をＲ領域として図１４（Ｂ）に例示する。

（特性値算出部２０５）
特性値算出部２０５は、元画像データから抽出された肌色領域と背景領域の特性値を算出する。この特性値を算出する方法としては、次の２つがある。

（１）元画像データの肌色領域に属する各画素点をＹＣＣ変換してＹＹ,Ｃ_１,Ｃ_２の各平面へマッピングした各点に対して頻度分布を算出する。図１５は、輝度ＹＹ平面の頻度分布の概略図であり、横軸に輝度ＹＹ、縦軸にその頻度ｆ（％）をとっている。
このとき、ある輝度値ｊ点での輝度値をＹＹ_ｊと全体の輝度平均値から肌色領域の輝度における標準偏差値（σ．Ｓｙｙ）を算出する。同様にＣ_１およびＣ_２平面における標準偏差値をそれぞれ式（１８）にて算出する。

さらに、前記同様に、背景領域についても標準偏差を式（１９）で算出する。

上記の方法にて算出された各々の標準偏差σ.Ｓｙｙ，σ.Ｓｃ１，σ.Ｓｃ２，σ.Ｒｙｙ，σ.Ｒｃ１およびσ.Ｒｃ２を元画像データの特性値とする。

なお、本実施形態では元画像データの特性値として、元画像データの標準偏差を用いたが、種々の統計量を用いることが可能であり、例えば、平均値、中央値、最頻値等の統計量が挙げられる。

（２）元画像データの肌色領域に属する各画素点をＹＣＣ変換して、さらに、これを式（１７）にて、彩度（Ｃ）、色相（Ｈ）に変換し、ＹＹ,Ｃ,Ｈの各平面へマッピングした各点に対して頻度分布を算出する。図１６は、彩度平面の頻度分布であり、横軸に彩度（Ｃ）縦軸にその頻度ｆ（％）をとっている。
このとき、ある彩度値ｊ点の彩度値をＣ_ｊとその彩度平均値から肌色領域の彩度における標準偏差（ρ．Ｓｃ）を算出する。
同様に、色相Ｈ平面および輝度ＹＹ平面における標準偏差をそれぞれ式（２０）にて算出する。

さらに、前記同様に、背景領域の標準偏差を式（２１）で算出する。

上記の方法にて算出された各々の標準偏差ρ．Ｓｙｙ，ρ．Ｓｃ，ρ．Ｓｈ，ρ．Ｒｙｙ，ρ．Ｒｃおよびρ．Ｒｈを元画像データの特性値とする。
なお、本実施形態では、元画像データの特性値として、元画像データの標準偏差を用いたが、種々の統計量を用いることが可能であり、例えば、平均値、中央値、最頻値等の統計量が挙げられる。

（目標値算出部２０７）
目標値算出部２０７では、元画像データの肌色領域の色をどの色へ補正するかを示す目標値の色度情報が算出される。
まず、各領域の代表色を求める。この代表色としては、領域中の任意の点を用いることが可能であるが、本実施形態では領域について主成分分析し、得られた主成分軸の中心をその領域の代表色とした。

肌色領域の代表色は、領域抽出部２０３から抽出された元画像データの肌色領域の各画素点に対してＹＣＣ変換を行い、変換後の肌色領域について主成分分析し、得られた主成分軸の中心を代表色とした（図１３のＳ点）。
同様に、領域抽出部２０３から抽出された元画像データの背景領域の各画素点に対してＹＣＣ変換し、変換後の背景領域について主成分分析し、得られた主成分軸の中心を背景領域の代表色とした（図１３のＲ点）。
さらに、記憶部２０９から肌色に対応する好ましい色の色度点を読み出す（図１３のＰ点）。

次に、Ｒ点、Ｐ点および特性値算出部１０３で求めた肌色領域および背景領域の特性値から、目標値の色度点（Ｑ点）を算出する。
例えば、Ｒ点とＰ点を結ぶ線分ＰＲ間の距離｜ＰＲ｜を式（２２）に基づき算出する。

次に、好ましい肌色を背景領域の色に応じて補正するための目標値として、Ｒ点とＰ点を結ぶ線分ＰＲ上のＱ点（Ｐ点から距離Ｔｈだけ移動した点）を計算する。

次に、特性値算出部２０５で説明した特性値の算出方法ごとに補正量の算出方法を説明する。

（３）上記（１）の特性値による補正量（Ｔｈ）の算出方法。
補正量Ｔｈは、肌色領域の特性値および背景領域の特性値と補正量との関係をＬＵＴ（Look-Up Table）に予め記憶しておき、ＬＵＴを参照することにより、上記（１）で計算した肌色領域の特性値（σ.Ｓｙｙ，σ.Ｓｃ１，σ.Ｓｃ２）および背景領域の特性値（σ.Ｒｙｙ，σ.Ｒｃ１，σ.Ｒｃ２）に対応する補正量を算出する。
例えば、図１７は、一般の背景領域において、特性値（輝度ＹＹの標準偏差）と補正量の関係を示すＬＵＴであり、ある特性値σ．Ｒｙｙが与えられると対応する補正量Ｔｈを算出するものである。

即ち、背景領域の輝度分布が広がりを持つ、例えば、風景画像のように多くの輝度情報が用いられる場合には、補正量が低く算出され、逆の場合、例えば、背景が単一色のポートレート写真などの場合には補正量が高く算出される。
これは、背景領域の情報量が少ないので補正量を大きくし、背景領域に情報量が多い場合には、肌色の再現性が軽視されるため、補正量を抑制するものである。
また、本実施形態においては、背景領域の輝度分布を用いたが、背景領域のＣ_１、Ｃ_２成分、或いは肌色領域の輝度成分、Ｃ_１、Ｃ_２成分を用いることも可能である。

（４）上記（２）の特性値による補正量（Ｔｈ）の算出。
補正量Ｔｈは、肌色領域の特性値および背景領域の特性値と補正量との関係を予めＬＵＴとして記憶しておき、ＬＵＴを参照することにより、上記（２）で計算した肌色領域の特性値（ρ.Ｓｙｙ，ρ.Ｓｃ，ρ.Ｓｈ）および背景領域の特性値（ρ.Ｒｙｙ，ρ.Ｒｃ，ρ.Ｒｈ）と対応する補正量を算出する。
例えば、図１８は、一般の肌色領域において、特性値（彩度Ｃの標準偏差）と補正量の関係を示す曲線であり、ある特性値ρ．Ｓｃが与えられると対応する補正量Ｔｈを算出するものである。

即ち、元画像データに対して肌色領域が占める割合が高い場合には、補正量が高く算出され、逆の場合には補正量が低く算出される。
これは、肌色領域が広いため肌色の再現性が重視され、肌色領域が狭い場合には、その再現性が画像品質に及ぼす影響が少ないためである。
また、本実施形態においては、肌色領域の彩度分布を用いたが、肌色領域の輝度、色相成分、あるいは背景領域の輝度成分、彩度成分、および色相成分を用いることも可能である。

なお、この補正量Ｔｈの算出は、特性値に対して好ましい色の補正量を予め計算し、この関係をＬＵＴなどのメモリに記憶させて直接算出することには限定されず、特性値と好ましい色の補正量との関係を表す関数から計算するようにしてもよい。これにより、様々な処理を施す構成とすることが可能である。

（画像データ補正部２１１）
画像データ補正部２１１では、ＹＣＣ色空間における肌色領域の代表色（Ｓ点）を目標値（Ｑ点）にシフトさせ、他の肌色領域（Ｓ領域）に含まれる色度点も同様にシフトさせて色補正する（図１３参照）。
これには、肌色領域（Ｓ範囲）にある各色度点Ｓ_ｉを、Ｓ点からＱ点へ方向で距離｜ＳＱ｜だけシフトさせた色度点Ｓ_ｉ’を算出し、色度点Ｓ_ｉと色度点Ｓ_ｉ’とを式（１６）を用いて、ＹＣＣ色空間からＲＧＢ色空間へ逆変換する。この色度点Ｓ_ｉを逆変換したＲＧＢ値と同じ値を持つ元画像データの画素データを、色度点Ｓ_ｉ’を逆変換したＲＧＢ値で置き換える。この操作を肌色領域（Ｓ範囲）にあるすべての色度点Ｓ_ｉに対して実行することによって、元画像データの肌色補正を行う。
なお、上記の説明では、各画素の移動は単純にシフトして移動したが、これを背景領域に近い特定色領域の画素の補正量を少なくするような所定の関数に基づいて移動させることも可能である。

以上の構成によって、特定色（例えば、人物の肌色）をその周辺領域に応じて常に好ましい色が得られるように補正することができる。

＜実施形態４＞
本実施形態４は、実施形態３の色補正装置２００において、画像の属性情報を読み取ることによって好ましい色が得られるようにしたものである。
図１９は、本発明の画像処理装置に係る実施形態４の機能構成を示すブロック図で、図１９において、画像データは、画像データ入力部１０から入力され、色補正装置２００にて色補正を施された後、画像データ出力部３０にて出力される。
色補正装置２００は、色補正装置２００の全体を制御するための装置制御部２０１と、記憶部２０９に記憶された記憶色の範囲を参照して、画像データ入力部１０で入力された画像データ（以下、元画像データという）中に含まれる色補正対象の特定色領域とその背景領域を抽出するための領域抽出部２０３と、抽出した特定色領域および背景領域の特性値を算出する特性値算出部２０５と、元画像データの属性情報を取得する属性情報取得部１１２と、特性値算出部２０５から得られた特性値と記憶部２０９から取得した記憶色の範囲と属性情報取得部１１２から取得した元画像データの属性情報とから、特性値に応じて肌色領域の目標値を算出する目標値算出部２０７と、算出された目標値によって領域抽出部２０３にて抽出した特定色領域に色補正を行う画像データ補正部２１１を含んでいる。
なお、図１９において上述した実施形態３と同一部分には同一符号を付して、その説明を相違点だけとする。

（目標値算出部２０７）
補正量（Ｔｈ）の算出方法の一例について図２０を用いて説明する。図２０は、ある撮影シーンタイプ値が与えられた際、肌色領域の補正量（Ｔｈ）に対する補正係数を表す補正係数テーブルである。各画像データに対する補正は、実施形態３の目標値算出部２０７で求めた補正量Ｔｈにこの補正係数を乗じた値を用いる。

即ち、人物画像が撮像された場合（図２０のタイプ２に相当する）には、補正係数は０.５と算出される。つまり、標準の場合（図２０のタイプ０に相当する）よりも高く算出される。これは、人物画像を撮影したときには元画像データの肌色領域の再現性が重視されるため、補正量を多くするものである。
なお、この補正係数は、上記のような補正係数テーブルを参照する形式に限定されるものではなく、画像属性情報に基づいた関数を用意して適宜算出することも可能である。また、補正値としては、輝度成分を用いたが、彩度、色相成分を用いることも可能である。

次に、図２１を参照して、実施形態３および４の画像処理装置における元画像データを補正する処理手順を説明する。
まず、ネットワークを介して外部から画像データを入力したり、また、ハードウェアディスク、フレキシブルディスクドライブや光記録媒体読取装置、スキャナやデジタルカメラ等の装置から画像データを入力し、入力された画像データがアナログ信号である場合にはデジタル信号に変換した後、所定のデジタル処理を行って、Ｒ（赤）、Ｇ（緑）およびＢ（青）のデジタル信号として出力する（ステップＳ２０）。

次に元画像データの各画素データを式（１６）にて変換し、ＲＧＢ色空間の色度座標値から、ＹＣＣ色空間の色度座標値へ変換し、記憶部２０９に予め記憶されている肌色（特定色）範囲と比較することにより、元画像データに存在する特定色領域（肌色領域）を抽出し、この肌色領域の範囲から短軸方向へ数倍した楕円体に含まれる領域を背景領域として定める（ステップＳ２１）。

次に、抽出された肌色領域と背景領域の特性値を算出する（ステップＳ２２）。
この特性値を算出する方法としては、次の２つがある。
（１）元画像データの肌色領域に属する各画素点をＹＣＣ変換してＹＹ,Ｃ_１,Ｃ_２の各平面へマッピングした各点に対して頻度分布を算出し、式（１８）を用いて各平面での標準偏差を肌色領域の特性値とする。同様に、背景領域についても式（１９）を用いて各平面での標準偏差を特性値として算出する。
（２）元画像データの肌色領域に属する各画素点をＹＣＣ変換して、さらに、これを式（１７）にて、彩度（Ｃ）、色相（Ｈ）に変換し、ＹＹ,Ｃ,Ｈの各平面へマッピングした各点に対して頻度分布を算出し、式（２０）を用いて各平面での標準偏差を肌色領域の特性値とする。同様に、背景領域についても、式（２１）を用いて各平面での標準偏差を特性値として算出する。

肌色領域の色をどの色へ補正するかを示す目標値の色度情報を算出する（ステップＳ２３）。
まず、肌色領域および背景領域について主成分分析し、得られた主成分軸の中心をその領域の代表色（図１３のＳ点およびＲ点）として求める。
次に、記憶部２０９から特定色（肌色）に対応する好ましい色の色度点を読み出し（図１３のＰ点）、Ｒ点、Ｐ点および元画像データの特性値から目標値の色度点（Ｐ点から距離Ｔｈだけ移動したＱ点）を算出する。
ここで、元画像に付された画像属性情報を取得した場合には、画像属性情報に応じた補正係数αを補正係数テーブル等で算出して、上記の補正量Ｔｈに対してこの補正係数αを乗じた値を最終的な補正量とする。

最後に、ＹＣＣ色空間における肌色領域の代表色（Ｓ点）を目標値（Ｑ点）にシフトさせ、他の肌色領域（Ｓ領域）に含まれる色度点も同様にシフトさせて色補正する（ステップＳ２４）。
肌色領域（Ｓ範囲）にある各色度点Ｓ_ｉについては、Ｓ点からＱ点への方向で距離｜ＳＱ｜だけシフトさせた色度点Ｓ_ｉ'を算出し、色度点Ｓ_ｉと色度点Ｓ_ｉ'とを式（１６）を用いて、ＹＣＣ色空間からＲＧＢ色空間へ逆変換する。この色度点Ｓ_ｉを逆変換したＲＧＢ値と同じ値を持つ元画像データの画素データを、色度点Ｓ_ｉ'を逆変換したＲＧＢ値で置き換える。この操作を肌色領域（Ｓ範囲）にあるすべての色度点Ｓ_ｉに対して実行することによって、元画像データの肌色補正を行う。

元画像データに色補正された補正後の画像データをプリンタ、複合機、ファクシミリ装置等へ出力したり、ハードディスクや光記録媒体記録装置等の記憶装置へ出力したり、あるいは、ネットワークを介して外部へ出力する（ステップＳ２５）。

＜その他の実施形態＞

本発明は、画像データに対して所望の色補正を行えればよいため、次のいずれの構成としてもよい。
（１）画像の入出力装置の間にコンピュータを組み込み、読み取った画像データの色補正をコンピュータで行って、補正された画像を出力する。
（２）デジタルカメラ内に所望の色補正を施す色補正装置を組み込み、変換された画像データを用いてプリントや液晶パネルに表示させる。
（３）プリンタ内に所望の色補正を施す色補正装置を組み込み、直接入力した画像データに所望の色補正を行って印刷する。

さらに、上述した実施形態の各装置の機能をそれぞれプログラム化し、予めＲＯＭやＣＤ−ＲＯＭ等の記録媒体に書き込んでおき、画像処理装置にこの記録媒体を装着して、これらのプログラムをマイクロプロセッサで実行することによって、本発明の目的が達成される。
この場合、記録媒体から読出されたプログラム自体が上述した実施形態を実現することになり、そのプログラムおよびそのプログラムを記録した記録媒体も本発明を構成することになる。

なお、記録媒体としては半導体媒体（例えば、ＲＯＭ、不揮発性メモリカード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、ＣＤ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシブルディスク等）のいずれであってもよい。
あるいは、インターネット等の通信網を介して記憶装置に格納されたプログラムをサーバコンピュータから直接供給を受けるようにしてもよい。この場合、このサーバコンピュータの記憶装置も本発明の記録媒体に含まれる。

また、ロードしたプログラムを実行することにより上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することによって上述した実施形態の機能が実現される場合も含まれる。

また、上述したプログラムをサーバコンピュータの磁気ディスク等の記憶装置に格納しておき、インターネット等の通信網で接続されたユーザのコンピュータから実行指示を受信して、当該プログラムを実行し、その結果をユーザのコンピュータへ返信するようなＡＳＰ（application service provider）による利用を提供する場合、このサーバコンピュータの記憶装置およびそのプログラムも本発明に含まれる。

このように上述した実施形態の機能をプログラム化して流通させることによって、コスト、可搬性、汎用性を向上させることができる。

実施形態１の機能構成を示すブロック図である。 記憶色の「肌色」の色情報および好ましい肌色の設定を説明するための図である。 元画像データの領域分割を説明する図である。 特性値テーブルのデータ例である。 図３の各分割領域における色度座標をＣＩＥＬＡＢ均等色空間にマッピングした図である。 補正量算出方法を説明するための図である。 背景領域と補正対象の特定色領域の距離と補正量との関係を説明するための図である。 実施形態２の機能構成を示すブロック図である。 元画像データの属性情報を格納するＥｘｉｆフォーマットに順じたファイル構造の例である。 実施形態２における撮影シーンタイプに対応する補正係数テーブルの例である。 実施形態１および２の画像処理装置における補正処理の手順を示すフローチャートである。 実施形態３の機能構成を示すブロック図である。 特性値、目標値および補正量の算出を説明するための図である。 抽出された肌色領域および背景領域を説明するための図である。 輝度平面における輝度の頻度分布を説明するための概略図である。 彩度平面の彩度の頻度分布を説明するための概略図である。 背景領域の輝度に関する特性値から補正量の算出を説明するための図である。 肌色領域の彩度に関する特性値から補正量の算出を説明するための図である。 実施形態４の機能構成を示すブロック図である。 実施形態４における撮影シーンタイプに対応する補正係数テーブルの例である。 実施形態３および４の画像処理装置における補正処理の手順を示すフローチャートである。 従来例において好ましい肌色補正の問題点を説明するための図である。

符号の説明

１０…画像データ入力部、３０…画像データ出力部、１００…色補正装置、１０１…装置制御部、１０３…特性値算出部、１０５…領域抽出部、１０７…目標値算出部、１０９…記憶部、１１１…画像データ補正部、１１２…属性情報取得部、２００…色補正装置、２０１…装置制御部、２０３…領域抽出部、２０５…特性値算出部、２０７…目標値算出部、２０９…記憶部、２１１…画像データ補正部。

Claims (13)

1. 記憶色を含む画像データに対して画像処理を施す画像処理装置において、前記画像データから特性値を算出する特性値算出部と、前記特性値と記憶部に記憶した記憶色の色情報を用いて前記画像データから特定の色領域とその背景領域を抽出する領域抽出部と、前記特性値、前記領域の抽出結果と前記記憶部に記憶した前記特定色の好ましい色の色情報とから該好ましい色を色補正するための目標値とその補正量を算出する目標値算出部と、前記目標値算出結果および前記特性値に基づいて前記特定色領域の各色を補正する画像データ補正部を備え、
   前記目標値算出部は、前記背景領域の色度座標と原点を結ぶ線分の傾きと平行で、前記特定色の好ましい色の色度座標を通る直線と、該特定色の好ましい色範囲が形成する楕円体との交点を好ましい色の目標値と設定することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、前記特性値算出部は、前記画像データを複数の領域に分割し、分割した領域ごとに、色情報における平均値、中央値、最頻値、標準偏差の少なくともいずれか一つと、該分割領域が前記画像データ全体に占める画像占有率とを算出することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、前記記憶部に記憶した記憶色の好ましい色の色情報は、色空間内の色度座標およびその範囲であることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、前記画像データ補正部は、前記画像データの特定色領域の色度座標を、前記目標値と前記特定色領域の特性値とで形成する軸に沿って、画像の特性値に基づいて算出される所定の距離だけ、補正することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、前記所定の距離は、前記画像データの特定色領域の面積占有率に基づいて算出されることを特徴とする画像処理装置。
6. 記憶色を含む画像データに対して画像処理を施す画像処理方法において、前記画像データから特性値を算出する特性値算出ステップと、前記特性値と記憶部に記憶した記憶色の色情報を用いて前記画像データから特定の色領域とその背景領域を抽出する領域抽出ステップと、前記特性値、前記領域の抽出結果と前記記憶部に記憶した前記特定色の好ましい色の色情報とから該好ましい色を色補正するための目標値とその補正量を算出する目標値算出ステップと、前記目標値算出結果および前記特性値に基づいて前記特定色領域の各色を補正する画像データ補正ステップを備え、
   前記目標値算出ステップは、前記背景領域の色度座標と原点を結ぶ線分の傾きと平行で、前記特定色の好ましい色の色度座標を通る直線と、該特定色の好ましい色範囲が形成する楕円体との交点を好ましい色の目標値と設定することを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法において、前記特性値算出ステップは、前記画像データを複数の領域に分割し、分割した領域ごとに、色情報における平均値、中央値、最頻値、標準偏差の少なくともいずれか一つと、該分割領域が前記画像データ全体に占める画像占有率とを算出することを特徴とする画像処理方法。
8. 請求項６または７に記載の画像処理方法において、前記記憶部に記憶した記憶色の好ましい色の色情報は、色空間内の色度座標およびその範囲であることを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法において、前記画像データ補正部は、前記画像データの特定色領域の色度座標を、前記目標値と前記特定色領域の特性値とで形成する軸に沿って、画像の特性値に基づいて算出される所定の距離だけ、補正することを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法において、前記所定の距離は、前記画像データの特定色領域の面積占有率に基づいて算出されることを特徴とする画像処理方法。
11. 請求項１乃至５のいずれかに記載の画像処理装置の機能をコンピュータに実現させるためのプログラム。
12. 請求項６乃至１０のいずれかに記載の画像処理方法をコンピュータに実行させるためのプログラム。
13. 請求項１１または１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images