JP4274383B2 - 画像処理装置 - Google Patents

Description

本発明は色変換を目的とする画像処理装置に関する。より詳細には、入力画像信号の特定領域の色をより好ましい色に自動変換する記憶色補正技術に関するものであり、ディスプレイ、プリンタ等の出力機器を始めデジタルカメラ、デジタルビデオカメラ等の入力機器および写真画像のデータベースやレタッチを目的とするＰＣアプリケーションソフトまで広く応用し得るものである。

従来、選択的色調整や記憶色補正と呼ばれてきた技術は、カメラ、ディスプレイ、プリンタなどの多くのフルカラー機器に必要な色補正技術、即ちカメラではＣＣＤの分光特性、プリンタではインクの分光特性等のデバイス固有の特性を補正する色補正技術、が発展途上にあったため上記色補正の補正精度が不十分であることを前提に、それらに起因する色再現の悪さもまとめて補正するものであった。

近年色補正技術の発達によりデバイス固有の特性は定量的に高精度に補正できるようになり、被写体と定量的に近い色が表示またはプリント出来るという意味でかなり忠実な色再現が可能になってきた。

しかし、デジタルカメラが普及し銀塩のアナログ写真に置き換わりつつある現状では、アナログの銀塩写真では不可能であった高画質化技術として、以前より目標レベルの高い選択的色調整、記憶色補正の技術が必要になってきている。というのは、自然界を撮影するカメラは、ディスプレイへの表示や紙へのプリントが被写体とは、物理的な形態、絶対的な大きさ、光源、撮影と再生の時間が離れていることなどの点で、原稿との忠実さが重要な複写機とは異なり、定量的に近い色が必ずしも視覚的に近く感じられないことが知られており、デジタルでしかできない美しい画像を表示・プリントするためには記憶色、中でも空の青の色、人の肌の色、木々の緑などに対する補正技術が重要になってくる。

しかし、定量的に忠実な色再現が実現できている状況においては、従来以上に記憶色補正の副作用をいかに無くすかがポイントになってくる。具体的には、（１）記憶色として補正したい対象以外への影響を無くす、（２）記憶色領域内および記憶色領域内と外の狭間での輝度・彩度・色相方向のグラデーションの連続性（色飛びがないこと）、（３）記憶色領域内の他の被写体への影響を減らす、等である。

特許文献１は、最も画素数の多い肌色領域の色を望ましい肌色に補正するものであり、画像から肌色領域の画素数をカウントし肌色領域の画素数が所定の数を超えるかどうかにより補正するかどうかを切り替えるものである。特許文献２と特許文献３は、補正対象領域を色相と彩度で絞ることにより、補正領域以外に補正が及ばない補正を実現している。
特開昭６２−２８１０６２号公報 特開平０２−９６４７７号公報 特開平０６−７８３２０号公報

特許文献１では、肌色領域に落ちる画素数を用いて補正の有無を切り替えてはいるが、肌色領域の画素が少ない場合は無補正になり、画素数が多くなると肌色領域内の色に対して同じ量だけ補正がかかる。具体的には、肌色領域内と判断された色は経験的に設定される基準色に対してどちらの方向にずれていようが同じ方向に等量の補正がかかることになる。したがって望ましい方向とは逆に補正される色が存在する。またそのような色は領域の境目で不連続になり色飛びが生じる。

特許文献２では、色相と彩度の重み関数の積により補正領域と補正の重みを算出し、その重みに比例した量だけ色相・彩度・輝度を補正する。重み関数を広い範囲でなだらかに設定すれば色の連続性を保つこともできるが、やはり補正領域内の補正方向は同方向であり望ましい補正方向と逆方向へ補正される色が存在する。

特許文献３では、色度平面上の直交するふたつの重み関数の最小値を用いて補正領域と補正の重みを算出し、その重みに比例した量だけ色相・彩度・輝度を望ましいほうに寄せるため記憶色補正としての効果は期待できるが、色度平面上での矩形領域での補正であるため、肌色や空色の領域を必要十分に絞ることが困難であり効果を発揮させると本来変えるべきでない色も補正するという副作用が生じる。また、矩形領域の大きさを小さくすると、対象色以外への影響は回避できるが、対象色の中での色相・彩度変化が生じ記憶色補正としての効果が無くなる。

いずれの発明もほぼ完全に副作用なく記憶色補正をすることを目指したものでなく、ほぼこのような色はこちらにずらすというものである。これは前述したようにデバイス固有の特性を補正する色補正技術が発展途上にあったため上記色補正の補正精度が不十分であることを前提に、それらに起因してうまく出ない色領域はまとめて補正するものだからであり、当時としてはこれ以上の要求は無かったと思われる。

したがって本来記憶色補正すべきでない色も補正されてしまうという副作用が生じる。また、たとえば本来補正すべき記憶色領域に含まれるがたまたま色が近いだけの別の物体を補正すると言うことは避け得ない。さらにグラデーションが不連続になりがちで色飛びが発生し、記憶色補正の効果以上に画質劣化の要因にも成りうる。

本発明は、上記課題を考慮し、本来記憶色補正すべきでない色も補正されてしまうという副作用が生じない画像処理装置を提供することを目的とするものである。

また、本発明は、上記課題を考慮し、本来補正すべき記憶色領域に含まれるがたまたま色が近いだけの別の物体を補正することを避けることが出来る画像処理装置を提供することを目的とするものである。

また、本発明は、上記課題を考慮し、さらにグラデーションが不連続にならず色飛びが発生しない画像処理装置を提供することを目的とするものである。

上述した課題を解決するために、第１の本発明は、入力画像信号に含まれる各画素毎に画素信号の所定の範囲の色を補正する画像処理装置であって、
前記画素信号の色を補正する目標色を設定し、前記目標色の色相値である目標色相値及び前記目標色の彩度値である目標彩度値を出力する目標色設定手段と、
前記画素信号を表現する輝度信号と前記画素信号から変換された色相信号と彩度信号から色相補正用の色相補正強度を出力する第１の強度決定手段と、
前記画素信号を表現する輝度信号と前記画素信号から変換された色相信号と彩度信号から彩度補正用の彩度補正強度を出力する第２の強度決定手段と、
前記色相信号を、前記色相信号と前記目標色相値の色相の差が補正前より補正の後の方が小さくなるように前記色相補正強度に応じて前記色相信号を補正する色相補正手段と、
前記入力画像信号から変換された前記彩度信号を、前記彩度信号と前記目標彩度値の彩度の差が補正前より補正後の方が小さくなるように前記彩度補正強度に応じて前記彩度信号を補正する彩度補正手段とを備えた、画像処理装置である。

本発明は、本来記憶色補正すべきでない色も補正されてしまうという副作用が生じない画像処理装置を提供することが出来る。

また、本発明は、本来補正すべき記憶色領域に含まれるがたまたま色が近いだけの別の物体を補正することを避けることが出来る画像処理装置を提供することが出来る。

また、本発明は、さらにグラデーションが不連続にならず色飛びが発生しない画像処理装置を提供することが出来る。

以下、本発明の実施の形態及び、本発明に関連する発明の実施の形態について、図面を用いて説明する。

（実施の形態１）
図１は本発明に関連する発明の実施の形態１による画像処理装置の概略構成を示すブロック図である。本実施の形態の画像処理装置は、デジタルカメラが撮影したメモリカードを入力としデジタル写真のプリントを行うカラープリンタの中に搭載される肌色の記憶色補正を行うユニットとして構成されている。したがって、本ブロック図以外に図示していないカードリーダ、JPEG展開処理、ページメモリ、プリントエンジン等が存在する。また、本実施の形態は入力および出力画素信号は(R,G,B)信号、輝度色度信号は(L*,a*,b*)とする。

１００Aは記憶色補正手段であり、７００は(R,G,B)からなる画素信号を輝度・色度信号(L*,a*,b*)に変換する輝度色度変換手段であり、７１０は記憶色補正手段１００Aが補正した(L*,a1*,b1)*を(R1,G1,B1)に変換する輝度色度逆変換手段であり、６００は本実施の形態では図示しない手段により記憶色補正をかける補正度合Kを設定する補正度合設定手段である。なお、補正度合設定手段６００については後述する。

また、記憶色補正手段１００Aは、(L*,a*,b*)から補正強度Wを決定する強度決定手段２００Aと、記憶色補正の目標色度(a0*,b0*)を設定する目標色設定手段４００Aと、補正強度Wと補正度合Kを乗ずる乗算手段５００と、輝度色度変換手段７００が出力する色度信号(a*,b*)を乗算手段５００の出力に応じて目標色設定手段４００Aの設定した色度値(a0*,b0*)に近づける補正手段３００Aとから構成されている。

さらに、強度決定手段２００Aは、３つの関数発生手段２１０A、２１０B、２１０Cと、合成手段２２０とから構成され、補正手段３００Aは２つの内分手段３１０A、３１０Bから構成されている。

以上のように構成された実施の形態１による画像処理装置について、以下、その動作を述べる。

本実施の形態の画像処理装置は、入力画像信号の記憶色補正を行う。ここで記憶色とは、例えば肌色や木々の緑色などのように、心理的にこんな色であるはずまたはあって欲しいというような色は記憶色と呼ばれる。人間の肌の肌色や木々の緑色を忠実に色再現した写真を見ても、ユーザは、満足しないことがある。ユーザの記憶している人間の肌の肌色や木々の緑色とは異なった色が色再現されているからである。このような場合に、人間の肌の肌色や木々の緑色を記憶色に近くなるように色再現することによって、ユーザは、これらの色に満足するようになる。本実施の形態の画像処理装置は、入力画像信号の例えば人間の肌の肌色を記憶色に近くなるように補正する。

まず、入力された(R,G,B)信号は輝度色度変換手段７００により輝度信号L*と２つの色度信号(a*,b*)に変換される。L*およびa*，b*信号はルックアップテーブル（以下ＬＵＴ）で構成されている関数発生手段２１０C,２１０A,２１０Bによりそれぞれの軸方向に独立した補正強度WL、Wa、Wbを出力する。さらにこれらの補正強度WL、Wa、Wbは合成手段２２０により合成された補正強度Wに変換される。本実施の形態の合成手段２２０は、WL、Wa、Wbの最小値を出力する動作を行う。これにより、３つの１次元の関数発生手段２１０A、２１０B、２１０Cによりかなり柔軟に肌色領域に対する重みWを決定することができる。

図２（ｄ）、図２（ｂ）、図２（ｃ）がL*および(a*,b*)信号に対するＬＵＴの一例であり、これらの補正強度WL、Wa、Wbの正の値を持つ範囲がそれぞれの軸方向での肌色領域を決定する。図２（ａ）は、合成手段２２０により合成された３次元での補正強度Wが決定する肌色領域を(a*,b*)平面に図示したものである。すなわち、図２（ａ）における肌色領域とは、補正強度Ｗが正の値を取るような（a*,b*)平面の領域である。この図では肌色領域の範囲は示せているが補正強度Wは表されていない。

肌色領域の大きさに関しては、実際に撮影された様々な人の肌の色の統計を基に決定しており、領域内の各軸ごとの重みの大きさは、目標色(a0*,b0*)への引き込み具合を上記多数の画像に対して考慮して作成している。統計の結果では、様々な肌色を考慮すると肌色領域は(a*,b*)平面の第１象限のかなり広い範囲を占めるが、範囲の端の部分は補正強度Wが次第に小さくなるよう設定しているため肌色からはずれた色に対する影響は比較的小さく、(a*,b*)平面上での折り返しが起こらず連続的なグラデーションを得ることが出来る。

また、人物の影の部分の肌色も考慮すると輝度軸には比較的広い範囲を占める。しかし、ハイライトに近い領域と暗い領域には、もともと彩度の高い色が存在しないため図２（ａ）に示した(a*,b*)平面で決定した広い領域は適切でなくなる。画像の美しさの観点からは非常に暗い肌色まで補正する必要はないため、図２（ｄ）の特性の関数発生手段２１０Cは肌色補正の副作用を減らすのに有効である。

ここで一例として、△で図示する色に対してどのように補正強度Wが決定されるのかを図２により説明する。△はかなり鮮やかで黄色よりの肌色であり、かなり暗い色であるため、輝度方向の補正強度WLが最も小さな値を持ちこれが補正強度Wとなり、比較的弱い補正となる。このように色度信号(a*,b*)のみならず、輝度信号Lをも考慮して補正強度Wを決定するので、非常に暗い肌色を補正することにより発生する副作用を減らすことが出来る。

つぎに、補正手段３００Aの動作について説明する。

本実施の形態では、輝度信号L*に対しては補正を行わず色度信号(a*,b*)にのみ補正を行う。輝度信号は視覚的にグラデーションの乱れが目立ちやすいため、色変化がそのままグラデーションの乱れにより偽輪郭や不自然なグラデーションが発生するという副作用につながりやすく、肌色部の明るさを変えたければ、記憶色補正とは別の階調補正・ガンマ補正などの公知の技術により自然に変化させることが可能であるからである。もちろん同様の方法で、輝度に対して副作用の無視できる範囲で穏やかな補正を掛けることも可能である。

本実施の形態の補正手段３００Aは、色度信号(a*,b*)と目標色度値(a0*,b0*)とを補正強度Wにより下記式にしたがい内分動作を行う。

したがって、W=0のとき入力色度信号(a*,b*)がそのまま出力され、W=1のときは目標色度値(a0*,b0*)が出力されることになる。

また補正強度Wの最も大きな値の(a*,b*)値と肌色の目標色(a0*,b0*)は必ずしも一致している必要はない。

また、図２のようにそれぞれの軸の補正強度Wの最大値を１以下に設定することにより、目標色付近の色は引き込まれはするが全く同じ色になることはなく、彩度・色相の自然な変化は残りグラデーションは保たれる。

補正度合設定手段６００が設定する補正度合Kは、図示しないプリンタの制御装置のユーザーインターフェースを通じて利用者の指示にしたがい設定される。例えば、全く人物の含まれない画像や記憶色補正せず忠実な色再現を望む場合には０に近い値が設定され、それ以外の場合には１に近い値が設定される。乗算手段５００は、上記補正度合Kに比例して強度決定手段２００Aが出力する補正強度Wを調節する働きをする。例えば乗算手段５００は上記補正度合kと強度決定手段２００Aが出力する補正強度Wとの積に補正強度Wを調節する。そして、値が調節された補正強度Wを用いて補正手段３００Aで上述した内分動作が行われる。例えば、ユーザが補正度合K=０を設定すれば、記憶色補正は全く働かなくなる。また、ユーザが補正度合K=1を設定すれば十分な記憶色補正が行われることになる。

なお、本実施の形態では、肌色の記憶色補正を例に説明したが他の色の補正に使用できることはもちろんである。

また、実施の形態では、輝度信号と色度信号として(L*,a*,b*)を用いたが、他にも(L*,u*,v*)、(Y,Cb,Cr)、(Y,R-Y,B-Y)、(Y,U,V)など多くの輝度・色度系の色空間が利用できるため、記憶色の種類により絞りやすい色空間を使用することができる。

また、補正手段３００Aは色度信号のみを補正する構成としたが、輝度信号に対しても同様の構成を取ることが可能である。

また、合成手段２２０は３つの信号の最小のものを出力する最小値検出回路で構成しているが、例えば３つの補正強度の算術積などのように、同様の効果を持つ公知のさまざまな非線形回路が利用できる。

また、補正度合設定手段６００は上記ユーザによる手動設定以外に種々の自動設定により設定することも出来る。乗算手段５００は、補正度合Kの大小により補正強度Wの大きさを変化させることができる手段で有れば乗算でなくても良い。たとえば最小値検出回路なども使用できる。

なお、本実施の形態の強度決定手段２００A及び補正手段３００Aは本発明に関連する発明の色変換手段の例であり、本実施の形態の補正度合設定手段６００、強度決定手段２００A、乗算手段５００、及び補正手段３００Aは本発明に関連する発明の色変換手段の例であり、本実施の形態の関数発生手段２１０Aは本発明に関連する発明の第２の関数発生手段の例であり、本実施の形態の関数発生手段２１０Bは本発明に関連する発明の第３の関数発生手段の例であり、本実施の形態の関数発生手段２１０Cは本発明に関連する発明の第１の関数発生手段の例であり、本実施の形態の補正強度Waは本発明に関連する発明の第２の補正強度の候補の例であり、本実施の形態の補正強度Wbは本発明に関連する発明の第３の補正強度の候補の例であり、本実施の形態の補正強度WLは本発明に関連する発明の第１の補正強度の例であり、本実施の形態の補正強度Wは本発明に関連する発明の補正強度の例である。

（実施の形態２）
図３は本発明に関連する発明の実施の形態２による画像処理装置の概略構成を示すブロック図である。本実施の形態も前述の実施の形態１と同様の用途のものであり、カラープリンタの中に搭載される肌色の記憶色補正を行うユニットとして構成されている。したがって、本ブロック図以外に図示していないカードリーダ、JPEG展開処理、ページメモリ、プリントエンジン等が存在する。また、本実施の形態は入力および出力画素信号は(R,G,B)信号、輝度色度信号は(L*,a*,b*)とする。

１００Bは記憶色補正手段であり、７００は輝度色度変換手段であり、７１０は輝度色度逆変換手段であり、６００は補正度合設定手段であり、実施の形態１の構成要件と同じものは同じ参照番号で示し詳細な説明を省略する。

また、記憶色補正手段１００Bは、(L*,a*,b*)から補正強度Wを決定する強度決定手段２００Bと、記憶色補正の目標色度(a0*,b0*)を設定する目標色設定手段４００Aと、補正強度Wと補正度合Kを乗ずる乗算手段５００と、輝度色度変換手段７００が出力する色度信号(a*,b*)を乗算手段５００の出力に応じて目標色設定手段４００Aの設定した色度値(a0*,b0*)に近づける補正手段３００Aとから構成されている。

さらに、強度決定手段２００Bは、２次元関数発生手段２１１と、関数発生手段２１０Cと、合成手段２２１とから構成されている。

以上のように構成された実施の形態２による画像処理装置について、以下、その動作を述べる。

輝度色度変換手段７００により変換された輝度信号L*は、ＬＵＴで構成されている関数発生手段２１０Cにより補正強度WLを出力し、色度信号(a*,b*)は、２次元関数発生手段２１１により補正強度Wcを出力する。合成手段２２１は、WL、Wcの最小値を出力する動作を行う。

補正手段３００Aおよび補正度合設定手段６００については実施の形態１と同様のものであり説明は省略する。

図４は、(a*,b*)平面における補正強度Wcを発生する２次元関数発生手段２１１の一例を示す説明図である。図中の領域２と記された太楕円が肌色領域を示しており、小さな楕円は補正強度Wcを等高線で示している。すなわち、領域２は、補正強度Wcが正の値をとる領域である。左上は楕円の長辺方向に切断した断面を一次元で示している。図中の◆は目標色(a0*,b0*)である。領域１と示した波線の長方形は、実施の形態１で説明した肌色領域を比較のために示したものである。

前述したように、実際に撮影された様々な人の肌の色の統計の結果から、本実施の形態２の２次元関数発生手段２１１は、様々な肌色を必要十分な形に絞るのに適している。さらに、太楕円で示された肌色領域の端に近づくほど補正強度Wcが次第に小さくなるため、たとえこの領域内に補正したい人肌以外の色があったとしてもその影響は比較的小さい。また、(a*,b*)平面上での折り返しが起こらず連続的なグラデーションを得ることが出来る。本実施の形態では、傾斜楕円錐を所定の高さで水平にカットした形状を前もって演算により算出し２次元ＬＵＴに格納している。

ここで、上記の(a*,b*)平面上での折り返しの意味について補足説明しておく。図１８（ａ）に、一つの入力が二つの出力に対応する１次元の場合の折り返しの説明図を示す。また、図１８（ｂ）に(a*,b*)平面上での折り返しの説明図を示す。

１次元の場合には、図１８（ａ）のＲで示す範囲において、ある出力に対応する入力が複数存在している。すなわち、Ｒで示す範囲において、入力が単調増加していても、出力は単調増加した後、一旦減少し、その後また増加していることがわかる。このような場合が折り返しが起こっている場合である。従って、(a*,b*)平面上での折り返しが起こっているとは、図１８（ｂ）に示すように、入力がある色Ａからある色Ｂへ連続的に変化したときに、出力がＡ’からＢ’へと変化する場合、Ａ’からＢ’までの間で最初はＢ’方向に色が変化していたのが、ある色で一旦Ａ’方向に変化の方向が変わり、その後またＢ’方向に色が変化しているような状態を意味する。

本実施の形態では、図１８（ｂ）に示すような(a*,b*)平面上での折り返しが起こらず連続的なグラデーションを得ることが出来る。

輝度方向には、実施の形態１と同じ図２（ｄ）の特性の関数発生手段２１０Cを併用する構成を取っているため、暗部からハイライトまでの広い範囲から実際に補正したい肌色領域を必要十分に絞ることが可能であり、肌色補正の副作用を減らすのに有効である。

なお、本実施の形態では、肌色の記憶色補正を例に説明したが他の色の補正に使用できることはもちろんである。

また、輝度信号と色度信号として(L*,a*,b*)を用いたが、他にも(L*,u*,v*)、(Y,Cb,Cr)、(Y,R-Y,B-Y)、(Y,U,V)など多くの輝度・色度系の色空間が利用できるため、記憶色の種類により絞りやすい色空間を使用することができる。

また、２次元関数発生手段は、楕円形状の関数で説明したが、実際に被対象色の分布に応じて自由な形状が使用でき、関数の発生方法としても２次元ＬＵＴ以外に数式演算による方法も利用できる。

また、補正手段３００Aは色度信号のみを補正する構成としたが、輝度信号に対しても同様の構成を取ることが可能である。

また、合成手段２２１は２つの信号の最小のものを出力する最小値検出回路で構成しているが、例えば２つの補正強度の算術積などのように、同様の効果を持つ公知のさまざまな非線形回路が利用できる。

また、補正度合設定手段６００は上記ユーザによる手動設定以外に種々の自動設定により設定することも出来る。乗算手段５００は、補正度合Kの大小により補正強度Wの大きさを変化させることができる手段で有れば乗算でなくても良い。たとえば最小値検出回路なども使用できる。なお、補正度合設定手段６００の詳細については、後述する。

なお、本実施の形態の強度決定手段２００B、及び補正手段３００Aは本発明に関連する発明の色変換手段の例であり、本実施の形態の補正度合設定手段６００、強度決定手段２００B、及び補正手段３００Aは本発明に関連する発明の色変換手段の例であり、本実施の形態の関数発生手段２１０Cは本発明に関連する発明の第１の関数発生手段の例であり、本実施の形態の補正強度WLは本発明に関連する発明の第１の補正強度の候補の例であり、本実施の形態の補正強度Wcは本発明に関連する発明の第２の補正強度の例であり、本実施の形態の補正強度Wは本発明に関連する発明の補正強度の例である。

（実施の形態３）
図５は本発明に関連する発明の実施の形態３による画像処理装置の概略構成を示すブロック図である。本実施の形態も前述の実施の形態と同様の用途のものであるが、空色の記憶色補正を行うユニットとして構成されている。本ブロック図以外に図示していないカードリーダ、JPEG展開処理、ページメモリ、プリントエンジン等が存在する。また、本実施の形態は入力および出力画素信号は(R,G,B)信号、輝度色度信号は(L*,a*,b*)とする。

１００Cは記憶色補正手段であり、７００は輝度色度変換手段であり、７１０は輝度色度逆変換手段であり、６００は補正度合設定手段であり、前述の実施の形態と同じものは同じ参照番号で示し詳細な説明を省略する。

また、記憶色補正手段１００Cは、(L*,a*,b*)から補正強度Wを決定する強度決定手段２００Cと、空色の目標色度(a0*,b0*)を設定する目標色設定手段４００Aと、補正強度Wに応じて目標色設定手段４００Aの設定した色度値(a0*,b0*)に近づける補正手段３００Aとから構成されている。

次に、本実施の形態で前述の実施の形態と構成が異なる強度決定手段２００Cの構成について説明する。

２３０は、色度信号(a*,b*)を極座標表現である色相hueと彩度satに変換する極座標変換手段であり、２１０Dは色相軸での補正強度Whを出力する関数発生手段であり、２１０Eは彩度軸での補正強度Wsを出力する関数発生手段であり、２１０Cは輝度軸での補正強度WLを出力する関数発生手段であり、２２２は３つの補正強度を合成する合成手段である。

以上のように構成された実施の形態３による画像処理装置について、以下、その動作を述べる。

輝度色度変換手段７００により変換された輝度信号L*は、ＬＵＴで構成されている関数発生手段２１０Cにより補正強度WLを出力し、色度信号(a*,b*)は、極座標変換手段２３０により角度を色相hueとし、長さを彩度satとして変換される。色相hueは関数発生手段２１０Dにより色相方向での補正強度Whに変換され、彩度satは関数発生手段２１０Eにより彩度方向での補正強度Wsに変換される。

図６（ｄ）、図６（ｂ）、図６（ｃ）がそれぞれ輝度L*および色相hue、彩度satに対する関数発生手段を構成するＬＵＴの一例である。これらの補正強度WL、Wh、Wsの正の値を持つ範囲がそれぞれの軸方向での空色領域を決定する。図６（ａ）は、合成手段２２２により合成された３次元での補正強度Wが決定する空色領域を(a*,b*)平面に図示したものであり、太線が空色領域を示し補正強度Wは細線の等高線で示している。また、◆は空色の目標色a0*,b0*)である。

空色領域の大きさに関しては、実際に撮影された様々な風景画像から空の部分を抽出し、抽出色の統計を基に決定している。統計の結果、空画像はシアンよりのものから紫に近いものまで色相で９０度を超える広範囲な色相のものが存在するとともに、薄曇りの無彩色に近いものから、南国の晴天のような鮮やかなものまで広範囲な彩度のものが存在する。これだけ、広範囲になると、色度平面での補正強度の設定を直交座標でするのと極座標でするのとで大きく異なり、直交座標で行うには無理があり、極座標で行うことが好ましいことが分かった。したがって扇型形状で範囲の端の部分は補正強度が次第に小さくなるよう設定することになり、空色の広い領域を適切にカバーでき、また折り返しが無く自然なグラデーションも実現できる。

また、非常に明るい空は白に近づき彩度が低い点と、画像の美しさの観点からは非常に暗い空色まで補正する必要はないため、図６（ｄ）の特性の関数発生手段２１０Cは空色の記憶色補正の副作用を減らすのに有効である。実際、関数発生手段２１０Cの効果により、空でない濃い青の物体に対する影響が非常に軽減される効果が確認されている。

本実施の形態も前述のものと同様に、輝度信号L*に対しては補正を行わず色度信号(a*,b*)にのみ補正を行っている。これは、輝度信号は視覚的にグラデーションの乱れが目立ちやすいため、色変化がそのままグラデーションの乱れにより偽輪郭や不自然なグラデーションが発生するという副作用につながりやすく、空色部の明るさを変えたければ、記憶色補正とは別の階調補正・ガンマ補正などの公知の技術により自然に変化させることが可能であるからである。もちろん、輝度に対して副作用の無視できる範囲で穏やかな補正を掛けることも可能である。

なお、本実施の形態では、空色の記憶色補正を例に説明したが他の色の補正に使用できることはもちろんである。例えば木々や草などの植物の緑色も空色と同様に広範囲な色相のものが存在するとともに、広範囲な彩度のものが存在する。従って、木々や草などの植物の緑色についても本実施の形態と同様に補正強度の設定を極座標で行うことにより、副作用を最小限に抑えて記憶色補正を行うことが出来る。

また、輝度信号と色度信号として(L*,a*,b*)を用いたが、他にも(L*,u*,v*)、(Y,Cb,Cr)、(Y,R-Y,B-Y)、(Y,U,V)など多くの輝度・色度系の色空間が利用できるため、記憶色の種類により絞りやすい色空間を使用することができる。

また、補正手段３００Aは色度信号のみを補正する構成としたが、輝度信号に対しても同様の構成を取ることが可能である。

また、合成手段２２２は２つの信号の最小のものを出力する最小値検出回路で構成しているが、例えば２つの補正強度の算術積などのように、同様の効果を持つ公知のさまざまな非線形回路が利用できる。

また、補正度合設定手段６００は上記ユーザによる手動設定以外に種々の自動設定により設定することも出来る。乗算手段５００は、補正度合Kの大小により補正強度Wの大きさを変化させることができる手段で有れば乗算でなくても良い。たとえば最小値検出回路なども使用できる。なお、補正度合設定手段６００の詳細については、後述する。

なお、本実施の形態の強度決定手段２００C及び補正手段３００Aは本発明に関連する発明の色変換手段の例であり、本実施の形態の補正度合設定手段６００、強度決定手段２００C、及び補正手段３００Aは本発明に関連する発明の色変換手段の例であり、本実施の形態の関数発生手段２１０Cは本発明に関連する発明の第１の関数発生手段の例であり、本実施の形態の関数発生手段２１０Dは本発明に関連する発明の第２の関数発生手段の例であり、本実施の形態の関数発生手段２１０Eは本発明に関連する発明の第３の関数発生手段の例であり、本実施の形態の補正強度WLは本発明に関連する発明の第１の補正強度の候補の例であり、本実施の形態の補正強度Whは本発明に関連する発明の第２の補正強度の候補の例であり、本実施の形態の補正強度Wsは本発明に関連する発明の第３の補正強度の例であり、本実施の形態の補正強度Wは本発明に関連する発明の補正強度の例である。

（実施の形態４）
図７は本発明に関連する発明の実施の形態４による画像処理装置の概略構成を示すブロック図である。本実施の形態も実施の形態３と同様、空色の記憶色補正を行うユニットとして構成されている。

１００Dは記憶色補正手段であり、７００は輝度色度変換手段であり、７１０は輝度色度逆変換手段であり、前述の実施の形態と同じものは同じ参照番号で示し詳細な説明を省略する。

また、記憶色補正手段１００Dは、下記のものから構成されている。

２００Cは強度決定手段であり、３００Bは極座標による補正を行う補正手段であり、４００Bは極座標による目標色即ち目標色相hue0と目標彩度sat0を設定する目標色設定手段である。

さらに、補正手段３００Bは、下記のものから構成されている。

３２０は極座標変換手段であり、３１０A,３１０Bは極座標変換手段３２０が出力する色相hueと彩度satを各々内分する内分手段であり、３３０は極座標から直交座標に逆変換する直交座標変換手段である。

以上のように構成された実施の形態４による画像処理装置について、以下、その動作を述べる。

まず実施の形態３と同様の強度決定手段２００Cは、輝度色度変換手段７００が出力する色度信号(a*,b*)及び輝度信号L*を基に空色領域の補正強度Wを出力する。同時に色度信号(a*,b*)は極座標変換手段３２０により色相hueと彩度satに変換される。内分手段３１０Aは、補正強度Wにより、色相信号hueと目標色の色相信号hue0とを内分しhue1として出力する。同様に、内分手段３１０Bは、補正強度Wにより、彩度信号satと目標色の彩度信号sat0とを内分しsat1として出力する。hue1、sat1共に、Wが0の時には無補正となるhue、satが出力され、Wが1の時には目標の空色を表すhue0、sat0が出力されることになる。記憶色補正されたhue1、sat1は、直交座標変換手段３３０により記憶色補正された色度信号(a1*,b1*)に戻される。

前述の実施の形態３でも説明したように、空色の領域は極めて広範囲に及ぶ。そのため、実施の形態３では色度値を極座標変換した色相と彩度の軸により補正強度を得たわけであるが、同様に補正手段３００Bも広範囲に及ぶ空色に対して自然な補正が要求される。

図８は、本実施の形態の補正手段３００Bの効果の説明図である。○を目標色、△を入力色とする。一例として補正強度W=０.５が入力された場合を考える。もし、前述の実施形態の補正手段３００Aを用いたとすると、直交座標での５０%の内分となるため◇が出力される。これに対し補正手段３００Bでは、正しく色相は角度で５０%になり、彩度は原点からの距離で５０%に内分されるため、◆が出力される。しかし補正手段３００Aの結果は、色相の補正量が不足し、彩度は常に低下気味になる。この傾向は、肌色補正のような狭い色領域内での補正では差が出ないが、空の空色や木々や草などの植物の緑色の領域のような広い色度範囲に対して補正を行う際に顕著になり、本実施の形態が良好な結果を導く。

本実施の形態も輝度信号L*に対しては補正を行っていないが、輝度に対しても同様の方法により、副作用がでない範囲で穏やかな補正を掛けることも可能である。

なお、本実施の形態では、空色の記憶色補正を例に説明したが他の色の補正に使用できることはもちろんである。特に、実施の形態３でも説明したように、木々や草などの植物の緑色の記憶色補正についても空色と同様に良好な結果を得ることが出来る。

また、輝度信号と色度信号として(L*,a*,b*)を用いたが、他にも(L*,u*,v*)、(Y,Cb,Cr)、(Y,R-Y,B-Y)、(Y,U,V)など多くの輝度・色度系の色空間が利用できるため、記憶色の種類により絞りやすい色空間を使用することができる。

また、本実施の形態では、補正度合設定手段による補正度合Kの調整を省略したが、前述の実施の形態と同様の方法で付加することが可能であることは言うまでもない。なお、補正度合設定手段６００の詳細については、後述する。

なお、本実施の形態の強度決定手段２００C及び補正手段３００Bは本発明に関連する発明の色変換手段の例であり、本実施の形態の補正度合設定手段６００、強度決定手段２００C、乗算手段５００、及び補正手段３００Bは本発明に関連する発明の色変換手段の例であり、本実施の形態の極座標変換手段３２０は本発明に関連する発明の第２の極座標変換手段の例である。

（実施の形態５）
図９は本発明の実施の形態５による画像処理装置の概略構成を示すブロック図である。本実施の形態も実施の形態３、４と同様、空色の記憶色補正を行うユニットとして構成されている。

１００Eは記憶色補正手段であり、７００は輝度色度変換手段であり、７１０は輝度色度逆変換手段であり、前述の実施の形態と同じものは同じ参照番号で示し詳細な説明を省略する。

また、記憶色補正手段１００Eは、下記のものから構成されている。

２０１C、２０２Cは強度決定手段であり、３００Bは極座標による補正を行う補正手段であり、４００Bは極座標による目標色即ち目標色相hue0と目標彩度sat0を設定する目標色設定手段である。

さらに、補正手段３００Bは、極座標変換手段３２０と、内分手段３１０A,３１０Bと、直交座標変換手段３３０とから構成されている。

次に、このような本実施の形態の動作を説明する。

実施の形態５による画像処理装置の特徴は、補正手段３００Bで色相の補正を行うための、補正強度W1を決定する強度決定手段２０１Cと、彩度の補正を行うための、補正強度W２を決定する強度決定手段２０２Cとを分離して２つ備えた点にある。強度決定手段２０１Cと強度決定手段２０２Cは、図５の強度決定手段２００Cと同じ構成のものであるが、関数発生手段２１０C、２１０D、２１０EのＬＵＴの内容が異なっている。

空色の記憶色補正は、シアンよりの色相は正方向に回転させ、紫よりの色相は負方向に回転させることによって目標とする青の色相に引き込む動作をする。同様に、彩度の高すぎる空は彩度を下げ、彩度の低すぎる空は彩度を上げることにより目標色の彩度に引き込む。

しかし、薄曇りの空や、雲と雲の間で雲が薄くなりわずかに透けて見えるような空は、極めて彩度が低く無彩色に近い。このような色度まで空色の補正範囲に含めると、シアン・青・紫方向にわずかに着色された白やグレーの彩度が上がり、色づいてしまうという副作用が生じる。この副作用は、色かぶりのように認識され極めて画質を劣化させる。また、本来白色のものでもカメラのホワイトバランスのわずかな誤差が極端に拡大されてしまう。

したがって、上記彩度の低い空は記憶色補正の範囲に含めることは通常困難であるため、上記低彩度領域は補正範囲から外すことになるが、この場合、雲のない空は補正がかかり目標色相に向かって変化するが、雲との境目で雲が透けて見えるところの空は元の色のままになるため、画像としての自然さが損なわれ人工的な合成画のようになり、記憶色補正の画質向上効果が損なわれる。

本実施の形態では、強度決定手段を２つ備え、色相の補正と彩度の補正を独立させることにより、上記課題の両立が可能になる。

色相の補正用の強度決定手段２０１Cは、上記低彩度の領域から高彩度の領域までの広い範囲を補正するような補正強度W１を設定し、彩度の補正用の強度決定手段２０２Cは、低彩度の領域を補正対象から外すような補正強度W２を設定する。鮮やかな空色の彩度を低下させない観点から、同時に高彩度の領域も補正対象から外すことも有効である。

図１０（ａ）は強度決定手段２０１Cを構成する彩度用の関数発生手段２１０Eの一例であり、図１０（ｂ）は強度決定手段２０２Cを構成する彩度用の関数発生手段２１０Eの一例である。色相の補正を行うための強度W1を発生させる強度決定手段２０１Cの彩度用の関数発生手段２１０Eの方が、彩度の補正を行うための強度W2を発生させる強度決定手段２０２Cの彩度用の関数数発生手段２１０Eよりも、強度が正の値を取る彩度satの範囲が広くなっている。

いずれも、色相用の関数発生手段２１０Ｄと彩度用の関数発生手段２１０Eは、図６（ｂ）と図６（ｃ）のものを使用している。当然それぞれ独立した最適化によりさらに効果を上げることが出来る。

本構成により、上記課題であるグレーに近い低彩度の空の色は、色相の補正だけが働くため、空の記憶色補正としての効果はある。また、彩度は補正されないため、色づきが増加することにはならず、ホワイトバランスの誤差等によるグレーのわずかな色づきが強調されることは起こらない。したがって、広い領域を補正範囲の対象にすることが可能になるため、雲と空の境のところの色相が不自然になることもなく、極めて自然な空色の記憶色補正が可能になる。

本実施の形態も輝度信号L*に対しては補正を行っていないが、輝度に対しても同様の方法により、副作用がでない範囲で穏やかな補正を掛けることも可能である。

なお、本実施の形態では、空色の記憶色補正を例に説明したが他の色の補正に使用できることはもちろんである。特に、実施の形態３でも説明したように、木々や草などの植物の緑色の記憶色補正についても空色と同様に良好な結果を得ることが出来る。

また、輝度信号と色度信号として(L*,a*,b*)を用いたが、他にも(L*,u*,v*)、(Y,Cb,Cr)、(Y,R-Y,B-Y)、(Y,U,V)など多くの輝度・色度系の色空間が利用できるため、記憶色の種類により絞りやすい色空間を使用することができる。

また、本実施の形態では、補正度合設定手段による補正度合Kの調整を省略したが、前述の実施の形態と同様の方法で付加することが可能であることは言うまでもない。

なお、本実施の形態の強度決定手段２０２C、強度決定手段２０１C、補正手段３００Bは本発明の色変換手段の例であり、本実施の形態の補正強度W1は本発明の色相補正強度の例であり、本実施の形態の補正強度W2は本発明の彩度補正強度の例であり、本実施の形態の極座標変換手段３２０は本発明の第２の極座標変換手段の例であり、本実施の形態の内分演算手段３１０Aは本発明の色相補正手段の例であり、本実施の形態の内分演算手段３１０Bは本発明の彩度補正手段の例である。

（実施の形態６）
図１１は本発明に関連する発明の実施の形態６における画像処理装置の概略構成を示すブロック図である。本実施の形態も実施の形態３、４、５と同様、空色の記憶色補正を行うユニットとして構成されている。

図１１において、８００は撮影された画像と撮影されたときの撮影情報が記録されたメモリカードであり、９００はメモリカード８００から読み出された画像が格納されるメモリであり、７００は輝度色度変換手段であり、６００Aは補正度合設定手段であり、１００Fは記憶色補正手段であり、７１０は輝度色度逆変換手段であり、前述の実施の形態と同じものは同じ参照番号で示し詳細な説明を省略する。

さらに、補正度合設定手段６００Aは、画像信号から画像に空が含まれている信頼度TSaを求める空画像識別手段６１０Aと、撮影情報から画像に空が含まれている信頼度TSbを求める撮影情報識別手段６２０Aと、空画像識別手段６１０Aの出力する信頼度TSaと撮影情報識別手段６２０Aが出力する信頼度TSbから補正度合Kを決定する補正度合決定手段６３０Aとから構成されている。

さらに、空画像識別手段６１０Aは、画像を縦横に分割した領域毎の特徴量を算出する領域情報算出手段６１１と、領域毎に空領域候補であるかを判断する空領域候補検出手段６１２と、空領域候補の分布から空が含まれている信頼度TSaを求める空領域分布判定手段６１３とから構成されている。

以上のように構成された画像処理装置について、以下、その動作を述べる。

メモリカード８００に記録された撮影画像データは画像信号と撮影情報に分離されて画像信号はメモリ９００に記録され、撮影情報は撮影情報識別手段６２０Aに入力される。

撮影情報とは、画像の撮影時に画像信号とともにメモリカード８００にカメラが記録する撮影時の各種条件やカメラの設定値のことであり、たとえば、ディジタルスチルカメラ用画像ファイルフォーマット規格であるＥｘｉｆで規定されている撮影条件に関する付属情報がこれに当たる。

撮影情報識別手段６２０Aは、撮影情報から被写体に空が含まれている可能性を判断する。このとき撮影情報としては被写体までの距離、撮影時の光源、撮影シーン情報、撮影時刻を用いる。撮影情報として前述の一部しか記録されていない場合はその撮影情報からのみで識別を行う。

具体的には、被写体までの距離をマクロ、近景、遠景、不明のいずれであるかを認識し、マクロ以外では空が含まれている可能性があると判断する。

また、撮影時の光源は屋外光、屋内光のいずれであるかを認識し、屋外光の場合、空が含まれている可能性があると判断する。

撮影シーン情報は、夜景であるかを認識する。夜景以外の場合には空が含まれている可能性があると判断する。

撮影時刻は、昼、夜のいずれであるかを認識する。撮影時刻は空が含まれているか否かの判断に直接は使えないが、記憶色補正においては夜間の空を撮影した画像に対しては副作用を回避するため、夜の場合には空が含まれていないと判断する。

また、撮影時の光源の判断で屋内光と判断できる光源には蛍光灯や白熱灯等があげられるが、蛍光灯には昼光と近い色温度をしたものがあり、この場合光源の推定が難しい。一方、白熱灯は色温度が昼光と比較的大きく異なるので推定が容易である。このように撮影時の光源が昼光と色温度が大きく異なる場合、カメラでの光源の推定が正しく行われる可能性が高くなるので、空が含まれている可能性が著しく低いと判断できる。

それぞれの撮影情報から得られた空が含まれている可能性から、ファジイ推論により最終的な撮影情報からの画像に空が含まれている信頼度TSbを求める。以下に示すのは、このときのファジイ制御測の一例である。

Rule1：IF 被写体までの距離=マクロ THEN TSb=小さい
Rule2：IF 被写体までの距離=マクロ以外 THEN TSb=やや大きい
Rule3：IF 光源=屋内光、光源=白熱灯 THEN TSb=小さい
Rule4：IF 光源=屋外光 THEN TSb=やや大きい
Rule5：IF 撮影シーン情報=夜景 THEN TSb=小さい
Rule6：IF 撮影シーン情報=夜景以外 THEN TSb=やや大きい
Rule7：IF 撮影時刻=夜 THEN TSb=小さい
Rule8：IF 撮影時刻=夜以外 THEN TSb=やや大きい
撮影情報からの画像に空が含まれている信頼度TSbを求めるのにファジイ推論を使ったが、複数の撮影情報を反映して信頼度TSbの大きさを変化させることが出来る手段であればよい。たとえばすべての撮影情報の組み合わせに対する信頼度TSbのテーブルとしてもよい。

以上の説明では撮影情報として被写体までの距離、撮影時の光源、撮影シーン情報、及び撮影日時を用いる例で示したが、そのほかに撮影場所、シャッター速度、及び絞り値を用いることも出来る。

空が含まれている画像の撮影では光量が多くなるため、シャッター速度は速く、絞り値は大きくなる。このことからシャッター速度、絞り値から被写体の明るさを推定し、一定以上明るい場合、被写体に空が含まれている可能性があると判断できる。このとき撮影時刻から判断する明るさを変えることも出来る。ここで、撮影時刻から判断する明るさを変えるとは、明るいか否かを判断する閾値を変えるということである。昼間なら撮影環境は明るい可能性が高く、夜間なら撮影環境は明るくない可能性がある。従って、例えば昼間なら明るいか否かを判断する閾値を高く設定し、夜間ならこの閾値を低めに設定するということが出来る。

また、撮影時刻を朝、昼、夕方、夜に分け、それぞれで記憶色補正の動作を切り替えてもよい。朝、夕方の判断には撮影日から日の出、日没の時刻を求めることで行える。また、ＧＰＳの撮影場所についての情報を用いることで、地域によらず日の出、日没の時刻を求めることも出来る。

また、撮影情報の識別では前述の撮影情報すべてを使って識別をしてもよいし、一部の撮影情報から識別するようにしてもよい。

領域情報算出手段６１１はメモリ９００から出力された画像信号を画像中の座標によって縦横に粗く領域に分割し、領域毎に平均輝度、平均色相、平均彩度からなる領域情報を計算する。このとき、処理の高速化のため領域内で画像信号を間引いて計算を行う。

空領域候補検出手段６１２は領域情報算出手段６１１の出力信号である領域情報から各領域毎に空領域であるかを判定する。具体的にはまず平均輝度Lmean、平均色相、平均彩度から平均R値Rmean、平均G値Gmean、平均B値Bmeanを領域毎に計算する。本実施の形態では、空領域候補検出では記憶色補正手段１００Fで実際に色補正する色の範囲よりも広い範囲で検出が行え、かつ処理が簡単である理由からRmean、Gmean、Bmeanの比較により空領域の候補を判定する。具体的には、ある輝度のしきい値Lthを用いて、各領域毎に次の論理式によって空領域候補Cを判定する。

なお、数３において、&&は論理式のANDを取ることを意味する。すなわち、A&&B（A及びBは論理式）は、A及びBがともに１のとき１になり、A及びBがともに1でない場合やA及びBのいずれか一方だけが1でない場合に０になる。従って、数３は、BmeanがRmeanより大きく、かつBmensがGmeanより大きく、かつLmeanがLthより大きい場合、Ｃは１をとり、それ以外はCは0をとることを表している。ここで、C=1は空領域候補であることを表し、C=0は空領域候補でないことを表す。

また、画像中で面積が小さいにもかかわらず彩度が高い部分が存在する場合、その影響で空領域候補検出で誤検出してしまう場合がある。これを避けるために彩度を一定以下に制限してから平均彩度の計算を行うとこのような誤検出を減らすことが出来る。

本実施形態では空領域候補検出に平均(R,G,B)値の大小関係という簡易な方法をとったが、これ以外に平均(R,G,B)値に重み付を行ってから比較したり、前述の実施形態での対象色領域の絞り込みと同様な関数を用いた方法でもよい。また、(R,G,B)以外に(L*,a*,b*)、(L*,u*,v*)、(Y,Cb,Cr)、(Y,R-Y,B-Y)、(Y,U,V)などの輝度・色度系の色空間を用いることも出来る。

例えば、平均（R,G,B)値に重み付けを行ってから比較する方法として、Rmean及びGmeanにはそれぞれ重み１をかけ算し、Bmeanには１より大きい重みをかけ算し、このように重み付けされたRmean、Gmean、Bmeanに数３を適用すると、空色と判定される色の領域の範囲が広くなる。逆に、Rmean及びGmeanにはそれぞれ重み１をかけ算し、Bmeanには１より小さい重みをかけ算し、このように重み付けされたRmean、Gmean、Bmeanに数３を適用すると、空色と判定される色の領域の範囲が狭くなる。従って、平均(R,G,B)値に重み付けを行って比較する場合、その重みを調整することにより、荒く分割された領域が空かどうかを識別する程度を微調整することが出来るので、適切な重みを設定することにより、荒く分割された領域が空かどうかを識別する精度を向上させることが出来る。

また、前述の実施の形態での対象色領域の絞り込みと同様な関数を用いた方法としては、例えば以下のようにすればよい。すなわち、荒く分割された領域の平均輝度Lmean、平均色相、平均彩度のそれぞれに前述の実施の形態で用いた関数を適用し、平均輝度Lmean、平均色相、平均彩度のそれぞれの強度を求める。そして、これらの強度の最小値を平均輝度Lmean、平均色相、平均彩度の全体の強度とする。そしてこの全体の強度が正の値を取る場合に、荒く分割された領域に空が含まれていると判定し、この全体の強度が０である場合に、荒く分割された領域に空が含まれていないと判定する。このようにしても荒く分割された領域が空かどうかを識別することが出来る。

空領域分布解析手段６１３は空領域候補検出手段６１２から出力された空領域候補情報と、あらかじめ決められた空領域判定マスクの積を各領域毎に計算し、その和から画像情報からの画像に空が含まれている信頼度TSaが求められる。

通常、風景を撮影した画像では空は画像中の上部に位置する。そのため空領域判定するに当たり画像下部を処理対象外とすることで良好な判定が出来る。また撮影時にカメラを縦に持ち縦長の画像として撮影することもあるため、画像左右部分も空領域判定対象とすることでこのような場合でも正しく判定が行える。これらを反映した空領域判定マスクの一例が図１２（ｃ）である。この例では空領域判定マスクは二値の値で構成され、画像の下部中央を空領域判定対象から除外するようになっているが、たとえば各領域毎の重み付とし、画像上部は重みが高く、下部は低いといった構成としてもよい。

このとき、撮影情報として縦画像か横画像かの情報が得られる場合には、それに合わせて空領域判定マスクを変更することも出来る。

また、撮影情報からの判断結果によって空領域候補検出手段６１２の動作を変えることも出来る。たとえば、空は通常メインの被写体とはならないので、撮影情報の被写体の位置や領域についての情報を用いて、被写体領域外を空領域判定対象とするような空領域判定マスクにすることも出来る。

図１２（ａ)は入力されるカラー画像であり、この場合は画像上部に空、画像下部に湖が写っている風景画像の概念図である。図１２（ｂ）は画像を縦３ブロック、横４ブロックの領域に分割し、空領域候補検出を行った結果である。図１２（ｃ）は空領域判定マスクで図１２（ｂ）の結果にこの判定マスクを適用した結果が図１２（ｄ）である。空領域候補検出で補正度合決定手段６３０Aは空画像識別手段６１０Aから出力された画像信号からの画像に空が含まれている信頼度TSaと撮影情報識別手段６２０Aから出力された撮影情報からの画像に空が含まれている信頼度TSbの積として最終的な補正度合Kを決定する。

撮影情報が記録されていなかった場合には、撮影情報識別手段６２０Aは信頼度TSbを出力せず、補正度合決定手段は信頼度TSaのみから補正度合Kを決定する。

輝度色度変換手段７００はメモリの出力する画像信号を輝度色度信号に変換する。記憶色補正手段１００Fは輝度色度変換手段７００の出力する輝度色度信号に対して補正度合決定手段６３０Aから出力される補正度合Kに応じた記憶色補正を行う。

このようにすることで、画像からあるいは撮影情報からのどちらか単独では空が含まれているかどうか判断が難しいような画像でもより信頼性の高い判定が行え、空が含まれていないような画像に対して空の青色の記憶色補正を行ってしまうという副作用を低減できる。

また、本実施形態のように補正度合決定手段６３０Aは補正度合Kを連続した値としてもよいし、しきい値をもうけて二値化することで記憶色補正をON/OFFしてもよい。信頼度TSa、TSbの大小により補正度合Kの大きさを変化させることが出来る手段であれば乗算でなくてもよい。

また、本実施形態では補正度合Kは記憶色補正に対するものであったが、これ以外にもホワイトバランス調整や階調補正に対して用いることも出来る。この場合、行う画像処理の内容に応じて撮影情報や画像から取り出す情報を変えて適切な効果が得られるようにすることが出来る。

本実施の形態では空の青色を補正する場合の構成を示したが、画像識別手段と撮影識別手段を適切に構成することでこれら以外の色の補正についても行える。例えば、木々や草などの植物の緑色を補正する場合に適用することが出来る。また、補正度合設定手段と記憶色補正手段を複数持つ構成とすることで、ひとつの画像に対して複数の色の補正を行うことも出来る。

なお、本実施の形態の補正度合設定手段６００A及び記憶色補正手段１００Fは本発明に関連する発明の色変換手段の例であり、本実施の形態の空画像識別手段６１０Aは本発明に関連する発明の画像識別手段の例である。

（実施の形態７）
図１３は本発明に関連する発明の実施の形態７における画像処理装置の概略構成を示すブロック図である。本実施の形態も前述の実施の形態１、２と同様、肌色の記憶色補正を行うユニットとして構成されている。

図１３において、８００は撮影された画像と撮影されたときの撮影情報が記録されたメモリカードであり、９００はメモリカード８００から読み出された画像が格納されるメモリであり、７００は輝度色度変換手段であり、６００Bは補正度合設定手段であり、１００Gは記憶色補正手段であり、７１０は輝度色度逆変換手段であり、前述の実施の形態と同じものは同じ参照番号で示し詳細な説明を省略する。

さらに、補正度合設定手段６００Bは画像信号から画像に人物が含まれている信頼度TPaを求める人物画像識別手段６１０Bと、撮影情報から画像に人物が含まれている信頼度TPbを求める撮影情報識別手段６２０Bと、人物画像識別手段６１０Bの出力する信頼度TPaと撮影情報識別手段６２０Bが出力する信頼度TPbから補正度合Kを決定する補正度合決定手段６３０Bとから構成されている。

次に、このような本実施の形態の動作を説明する。

メモリカード８００に記録された撮影画像データは画像信号と撮影情報に分離されて画像信号はメモリ９００に記録され、撮影情報は撮影情報識別手段６２０Bに入力される。

撮影情報とは、画像の撮影時に画像信号とともにメモリカード８００にカメラが記録する撮影時の各種条件やカメラの設定値のことであり、たとえば、ディジタルスチルカメラ用画像ファイルフォーマット規格であるＥｘｉｆで規定されている、撮影条件に関する付属情報がこれに当たる。

撮影情報識別手段６２０Bは、撮影情報から被写体に人物が含まれている可能性を判断する。このとき撮影情報としては撮影シーン情報、被写体までの距離を用いる。

具体的には、撮影シーン情報が人物であった場合は、被写体に人物が含まれている可能性が高いと判断する。

また、被写体までの距離がマクロ撮影または遠景と判断された場合は、被写体として被写体に人物が含まれている可能性は低いと判断する。これはマクロ撮影では小さな被写体を撮影するので被写体が人物であることは少なく、また遠景では人物が写っていても画像に占める割合が少なく、メインの被写体ではないと予想されるからである。

それぞれの撮影情報から得られた被写体に人物が含まれている可能性から、前述の実施の形態６と同様にファジイ推論により最終的な撮影情報からの画像に人物が含まれている信頼度TPbを求める。

以上の説明では撮影情報として撮影シーン情報、被写体までの距離を用いる例で示したが、その他にフラッシュ発光についての情報を用いることも出来る。

具体的には、フラッシュが発光した場合で、そのリターンが検出されなかったときや画像の中央部の輝度が相対的に高くなかったとき、被写体はフラッシュが届かない距離であると推定できる。この場合、前述の被写体までの距離が遠景と判断された場合と同様に、被写体が人物が含まれている可能性は低いと判断できる。

また、撮影情報の識別では前述の撮影情報すべてを使って識別をしてもよいし、一部の撮影情報から識別するようにしてもよい。

人物画像識別手段６１０Bでは入力画像信号から被写体に人物が含まれている信頼度TPaを求める。これには、実施の形態６と同様に画像を複数の領域に分け、それぞれの領域で肌色であるかを判断するといった方法もとれるし、画像に含まれている色の分布などから判断するといったさまざまな公知の手段を用いることが出来る。

このとき、撮影情報の被写体の位置や領域を示す情報や被写体までの距離の情報から、人物認識を行う画像の対象領域を設定することが出来る。

補正度合決定手段６３０Bは人物画像識別手段から出力された画像情報からの画像に人物が含まれている信頼度TPaと撮影情報識別手段６２０Bから出力された撮影情報からの画像に人物が含まれている信頼度TPbの積として最終的な補正度合Kを決定する。

撮影情報が記録されていなかった場合には、撮影情報識別手段６２０Ｂは信頼度TPbを出力せず、補正度合決定手段は信頼度TPaのみから補正度合Kを決定する。

補正度合決定手段６３０Bは前述の実施の形態６と同様に、補正度合Kをしきい値により二値化したり、乗算以外の手段を用いてもよい。

輝度色度変換手段７００はメモリの出力する画像信号を輝度色度信号に変換する。記憶色補正手段１００Gは輝度色度変換手段７００の出力する輝度色度信号に対して補正度合決定手段６３０Bから出力される補正度合Kに応じた記憶色補正を行う。

また、本実施形態では補正度合Kは記憶色補正に対するものであったが、これ以外にもホワイトバランス調整や階調補正に対して用いることも出来る。この場合、行う画像処理の内容に応じて撮影情報や画像から取り出す情報を変えて適切な効果が得られるようにすることが出来る。

本実施の形態では人物の肌色の補正する場合の構成示したが、画像識別手段と撮影識別手段を適切に構成することでこれら以外の色の補正についても行える。

また、補正度合設定手段と記憶色補正手段を複数持つ構成とすることで、ひとつの画像に対して複数の色の補正を行うことも出来る。

なお、本実施の形態の補正度合設定手段６００B及び記憶色補正手段１００Gは本発明に関連する発明の色変換手段の例であり、本実施の形態の人物画像識別手段６１０Bは本発明に関連する発明の画像識別手段の例である。

なお、前述の実施の形態で説明した内容はハードウエアでの実装に限るものではなく、ソフトウエア処理で構成することも可能であることは言うまでもない。また、ソフトウエア処理のとしてはリアルタイム処理だけでなく、前述の実施の形態にしたがって前もって処理した結果を、例えばR、G、Bをアドレスとして参照する３次元のルックアップテーブル（３ＤＬＵＴ）に格納しておき、プリント時などのリアルタイム処理としては、その３ＤＬＵＴを参照するという構成も当然可能である。また、プリントのための色補正等の別の目的で用いる３ＤＬＵＴに、本実施の形態で説明した記憶色補正を合わせて実施した結果を格納することにより、ハード規模を増加させずに記憶色補正を含んだ画像処理結果を得ることが出来る。また、リアルタイムに与えられる補正度合に対応するためには、記憶色補正を含んだＬＵＴと記憶色補正を含まないＬＵＴのそれぞれの参照結果を補正度合で内分することにより実現可能である。

（実施の形態８）
図１４〜図１７は、本実施の形態の画像処理装置を用いた機器の構成図である。実施の形態８では、上記各実施の形態で説明した画像処理装置を各種の機器に組み込んだ応用例について説明する。なお、上記各実施の形態で説明した構成要素については同一符号を付し詳細な説明を省略する。

図１４は、プリンタ１００１であり、図１５は、テレビ（またはプロジェクタ）１０１０であり、図１６は、ビデオムービー（またはデジタルカメラ）１０２０であり、図１７は、携帯電話１０３０である。これらの機器には、上記各実施の形態で説明した画像処理装置が組み込まれている。以下、これらの各機器について説明する。

まず、図１４に示すプリンタ１００１について説明する。

プリンタ１００１は、パーソナルコンピュータ（以下ＰＣと呼ぶ）１００２から送られてくる入力画像データを紙媒体などの印刷媒体に印刷する装置である。

プリンタ１００１は、メモリカード８００、メモリ９００、画像処理装置１０００、ＰＣＩ／Ｆ１００３、セレクタ１００４、色変換手段１００６、プリンタヘッドコントローラ１００７から構成されている。

メモリカード８００及びメモリ９００については、上記実施の形態で説明した。

また、画像処理装置１０００は、上記各実施の形態で説明したいずれかの画像処理装置である。

ＰＣＩ／Ｆ１００３は、ＰＣ１００２の図示していないプリンタドライバとプリンタ１００１との間でコマンドや画像信号などのデータをやりとりするインターフェースである。

セレクタ１００４は、メモリカード８００から画像データを入力するか、またはＰＣＩ／Ｆ１００３を介して、ＰＣ１００２から画像データを入力するかを切り換える手段である。

色変換手段１００６は、画像処理装置１０００で記憶色補正されたＲＧＢなどの色信号である出力画像信号をプリントデータであるＣＭＹ信号に変換する手段である。ここで、ＣＭＹとは、シアン、マゼンダ、イエローのことで、プリンタにおける３原色である。

プリンタヘッドコントローラ１００７は、プリンタ１００１の、図示していないプリンタヘッドを制御する手段である。

次に、このようなプリンタ１００１の動作を説明する。

ＰＣ１００２から画像データが送られてくると、ＰＣＩ／Ｆ１００３は、送られてきた画像データを受信し、セレクタ１００４に出力する。

セレクタ１００４は、ＰＣＩ／Ｆ１００３から送られてきた画像データを受け取り、メモリ９００に格納する。また、セレクタ１００４は、画像データのヘッダなどの格納されている各種撮影情報を画像処理装置１０００に出力する。このような各種撮影情報としては、デジタルカメラが作成した画像ファイルのヘッダ部に記載された各種撮影情報が用いられる。また、それに加えて、ＰＣ１００２からプリントする場合には、ＰＣ１００２のプリンタドライバの設定（フォト、ＣＧ、グラフなど）も撮影情報として用いる。このプリンタドライバの設定も、画像処理装置１０００に出力される。このような画素信号以外の情報をも利用して、画像処理装置１０００は、補正度合を求める。

画像処理装置１０００は、メモリ９００から入力画像信号を読み取り、その入力画像信号に対して、セレクタ１００４から出力された撮影情報をも利用して、上記実施の形態で説明した記憶色変換を実施する。なお、画像処理装置１０００が記憶色変換を行う際に、プリンタドライバの設定情報をも用いて、上記実施の形態で説明した補正度合を決定することが出来る。例えばプリンタドライバの設定がフォトである場合には、上記実施の形態で求められた補正度合をそのまま使用し、ＣＧまたはグラフの場合には、補正度合を０にするかまたは小さな値にするなどである。

画像処理装置１０００は、記憶色変換した画像信号を出力画像信号として色変換手段１００６に出力する。

色変換手段１００６は、画像処理装置１０００から出力されてきたＲＧＢなどの色信号である出力画像信号をプリントデータであるＣＭＹ信号に変換し、ＣＭＹ信号に変換された画像信号は、プリンタヘッドコントローラ１００７が制御することにより、プリンタ１００１の図示していないプリンタヘッドで印刷媒体に印刷される。

また、メモリカード８００がプリンタ１００１に装着された場合、セレクタ１００４はメモリカード８００に格納されている画像データを読み取り、メモリ９００に格納するとともに、ディジタルカメラが作成した画像ファイルのヘッダ部に記載された各種撮影情報を画像処理装置１０００に出力する。なお、メモリカード８００がプリンタ１００１に装着された場合には、プリンタドライバの設定情報は用いられない。この点を除いて、これ以降の動作は、ＰＣ１００２から画像データが送られてくる場合と同様であるので詳細な説明を省略する。

このように、画像処理装置１０００をプリンタ１００１に組み込むことにより、記憶色に従って最適自動色調整されたプリント画像を得ることが出来る。

なお、本実施の形態のプリンタ１００１は本発明に関連する発明のプリンタ装置の例であり、本実施の形態のＰＣＩ／Ｆ１００３は本発明に関連する発明の入力手段の例であり、本実施の形態のプリンタヘッドコントローラ１００７は本発明に関連する発明の印刷手段の例である。

次に、図１５に示すテレビ（またはプロジェクタ）１０１０について説明する。テレビの場合、放送波を受信する受信回路で受信された映像データが、映像Ｉ／Ｆ１０１１に入力される。一方、プロジェクタの場合、ＰＣから送られてきた画像データが映像Ｉ／Ｆ１０１１に入力される。なお、プロジェクタの場合、ＰＣから送られてきた画像データが映像Ｉ／Ｆ１０１１に入力されるとして説明したが、これに限らず、ビデオデッキ、ＤＶＤプレイヤーなどＰＣ以外の装置から送られてきた画像データが映像Ｉ／Ｆ１０１１に入力されても構わない。

また、映像表示装置１０１４は、テレビの場合には、ブラウン管、液晶表示装置またはプラズマディスプレイなどから構成され、プロジェクタの場合は、投射型ディスプレイなどから構成される。

それ以外の図１５の構成はテレビとプロジェクタとで共通である。従って、以下の説明では、図１５がテレビ１０１０であるとして説明するが、以下の説明はプロジェクタにも同様に適用することが出来る。

テレビ１０１０は、画像処理装置１０００，メモリカード８００、メモリ９００、映像Ｉ／Ｆ１０１１、セレクタ１０１２、表示モード設定手段１０１３、及び映像表示装置１０１４から構成される。

映像Ｉ／Ｆ１０１１については、上述したような画像データを入力するインターフェースである。

セレクタ１０１２は、メモリカード８００から画像データを読み込むかまたは映像Ｉ／Ｆ１０１１から画像データを読み込むかを切り換える手段である。

表示モード設定手段１０１３は、表示モードを設定する手段である。

映像表示装置１０１４は、映像を表示する手段である。

次に、このようなテレビ１０１０の動作を説明する。

表示モード設定手段１０１３は、図示していない操作パネルを有し、その操作パネルをユーザが操作することにより表示モードを設定する。表示モードとしては、動画の場合には、映画、ナチュラル、ダイナミックなどを設定する。また、静止画の場合には、フォト、プレゼンなどを設定する。表示モード設定手段１０１３は、設定した表示モード情報を画像処理装置１０００に出力する。

一方、放送局から放送波に載せて送られてきた画像データは、テレビ１０１０を構成する、図示していない受信回路で受信され、復調される。復調された画像データは映像Ｉ／Ｆ１０１１に出力される。

セレクタ１０１２は、映像Ｉ／Ｆ１０１１から画像データが送られてきた場合、映像Ｉ／Ｆ１０１１から画像データを受け取り、画像データをメモリ９００に一旦格納する。また、セレクタ１０１２は、画像データのヘッダなどに保持されている撮影情報を画像処理装置１０００に出力する。

画像処理装置１０００は、上記プリンタ１００１の場合と同様に記憶色補正を行う。なお、画像処理装置１０００が記憶色変換を行う際に、画素信号以外の情報として表示モード設定手段１０１３が設定した表示モード情報をも用いて、上記実施の形態で説明した補正度合を決定することが出来る。例えば、動画を扱う場合、画像処理装置１０００は、表示モード情報が、映画である場合には、補正度合を小さな値にし、表示モード情報がダイナミックである場合には、補正度合を大きな値にし、表示モード情報がナチュラルの場合には、補正度合を映画とダイナミックとの中間の値にするなどである。また、静止画を扱う場合、画像処理装置１０００は、表示モード情報がフォトである場合には、補正度合を大きな値にし、表示モード情報がプレゼンの場合には、補正度合を小さな値にする。

画像処理装置１０００は、記憶色補正した画像信号を出力画像信号として映像表示装置１０１４に出力する。映像表示装置１０１４は、出力画像信号を受け取ると、例えば液晶ディスプレイなどに表示する。

また、メモリカード８００がテレビ１０１０に装着された場合、セレクタ１０１２はメモリカード８００に格納されている画像データを読み取り、メモリ９００に格納するとともに、画像データのヘッダなどに格納されている撮影情報を画像処理装置１０００に出力する。これ以降の動作は、映像Ｉ／Ｆ１０１１から画像データが送られてくる場合と同様であるので詳細な説明を省略する。

このように、画像処理装置１０００をテレビ１０１０に組み込むことにより、記憶色に従って最適自動色調整された動画像および静止画を表示することが出来る。

なお、本実施の形態のテレビ１０１０は本発明に関連する発明のテレビ受像装置の例であり、本実施の形態の映像表示装置１０１４は本発明に関連する発明の表示手段の例であり、本実施の形態のプロジェクタ１０１０は本発明に関連する発明のプロジェクタ装置の例であり、本実施の形態の映像Ｉ／Ｆ１０１１は本発明に関連する発明の入力手段の例であり、本実施の形態の映像表示装置１０１４は本発明に関連する発明の投影手段の例である。

次に、図１６に示すビデオムービー（またはデジタルカメラ）１０２０について説明する。ビデオムービーの場合、主にテープ１０２８または光ディスク１０２９などに撮影された動画を記録するが、メモリカード１０２７に撮影された静止画を記録するものもある。一方、デジタルカメラの場合、主にメモリカード１０２７に撮影された静止画を記録する。

それ以外の図１６の構成はビデオムービーとデジタルカメラとで共通である。従って、以下の説明では、図１６がビデオムービー１０２０であるとして説明するが、以下の説明はデジタルカメラにも同様に適用することが出来る。

ビデオムービー１０２０は、画像処理装置１０００、ＣＣＤ１０２１、Ａ／Ｄ１０２２、メモリ１０２３、カメラ制御部１０２４、撮影モード設定部１０２５、符号化手段１０２６、メモリカード１０２７、テープ１０２８、光ディスク１０２９から構成される。

ＣＣＤ１０２１は、画像を撮像し、アナログの画像信号を出力する手段である。

Ａ／Ｄ１０２２は、ＣＣＤ１０２１から出力されてくるアナログの画像信号をディジタルの画像信号に変換する手段である。

メモリ１０２３は、Ａ／Ｄ１０２２から出力された画像データを記憶する手段である。

カメラ制御部１０２４は、ＣＣＤ１０２１や撮影光学系等を含むカメラ部分を制御する手段である。

撮影モード設定部１０２５は、撮影モードを設定する手段である。

符号化手段１０２６は、画像処理装置１０００で記憶色変換された画像データを圧縮符号化する手段である。

メモリカード１０２７は、主に静止画の画像データを記憶する手段である。

テープ１０２８は、主に動画の画像データを記憶するテープ媒体である。

光ディスク１０２９は、主に動画の画像データを記憶する光学的記憶媒体である。

次に、このようなビデオムービー１０２０の動作を説明する。

撮影モード設定手段１０２５は、図示していないユーザインターフェースを有し、そのユーザインターフェースをユーザが操作することにより撮影モードを設定する。撮影モード設定手段１０２５は、設定した撮影モード情報を画像処理装置１０００に出力する。

一方カメラ制御部１０２４は、撮影ボタンが押された場合、ＣＣＤ１０２１や撮影光学系などを含むカメラ部分を制御する。

ＣＣＤ１０２１は、カメラ制御部１０２４の制御に従って、画像を撮像し、撮像した画像を電気信号としてＡ／Ｄ１０２２に出力する。

Ａ／Ｄ１０２２は、ＣＣＤ１０２１から出力されてくるアナログの画像信号をディジタル信号に変換する。

Ａ／Ｄ１０２２から出力された画像データは、一旦メモリ１０２３に格納される。

画像処理装置１０００は、メモリ１０２３に格納されている画像データを読み取り記憶色変換を行う。なお、画像処理装置１０００が記憶色変換を行う際に、撮影モード設定部１０２５で設定した撮影モード情報等をも用いて、上記実施の形態で説明した補正度合を決定することが出来る。すなわち、画像処理装置１０００は、画素信号以外の情報として、ストロボのＯＮ／ＯＦＦなどのカメラ自体のユーザインターフェースに基づく情報及びカメラの制御情報（フォーカス、アイリスなど）をも利用して上記実施の形態で説明したように補正度合を求めることが出来る。

画像処理装置１０００で記憶色変換された画像データは、符号化手段１０２６で圧縮符号化され、メモリカード１０２７、テープ１０２８、または光ディスク１０２９に格納される。

このように、画像処理装置１０００をビデオムービー１０２０に組み込むことにより、記憶色に従って最適自動色調整された画像を撮影し、テープ媒体に記憶することが出来る。また、画像処理装置１０００をデジタルカメラ１０２０に組み込むことにより、記憶色に従って最適自動色調整された画像を撮影し、ファイルとして記憶することが出来る。

なお、本実施の形態のビデオムービー１０２０は本発明に関連する発明の撮影装置の例であり、本実施の形態のデジタルカメラ１０２０は本発明に関連する発明の撮影装置の例であり、ＣＣＤ１０２１は本発明に関連する発明の撮影手段の例である。

次に、図１７に示す携帯電話１０３０について説明する。

携帯電話１０３０は、画像処理装置１０００、無線通信部１０３１、メモリカード１０３２、ＣＣＤ１０２１、Ａ／Ｄ１０２２、セレクタ１０３５、メモリ１０３６、カメラ制御部１０２４、撮影モード設定部１０２５、符号化手段１０２６、メモリカード１０２７、映像表示装置１０４０から構成される。

無線通信部１０３１は、送信波をアンテナに出力する送信回路と、アンテナで電気信号に変換された受信信号を入力して、受信信号に含まれている画像データや音声データを復調する受信回路とを有する回路である。

メモリカード１０３２は、無線通信部１０３１で受信された画像データを格納するメモリである。

セレクタ１０３５は、メモリカード１０３２に格納されている画像データを入力するか、ＣＣＤ１０２１で撮影された画像データをＡ／Ｄ１０２２を介して入力するかを切り換える手段である。

メモリ１０３６は、セレクタ１０３５から出力されてくる画像データを一時的に記憶する手段である。

映像表示装置１０４０は、画像処理装置１０００で記憶色変換された出力画像信号を表示する手段であり、液晶表示装置などから構成されている手段である。

ＣＣＤ１０２１、Ａ／Ｄ１０２２、カメラ制御部１０２４、及び撮影モード設定部１０２５、符号化手段１０２６、メモリカード１０２７については、図１６で説明したビデオムービー１０２０と同様のものである。

なお、図１７では、メモリカードとして、メモリカード１０３２及びメモリカード１０２７の２つのメモリカードが図示されているが、メモリカード１０３２及びメモリカード１０２７は同一のメモリカードであっても構わない。

次に、このような携帯電話１０３０の動作を説明する。

無線通信部１０３１の図示していない受信回路は、電子メールに添付された画像データを受信し、メモリカード１０３２に格納する。

セレクタ１０３５は、メモリカード１０３２から画像データを読み取り、メモリ１０３６に一時的に格納する。

画像処理装置１０００は、メモリカード１０３２に一時的に格納されている画像データを読み取り記憶色変換を行う。

画像処理装置１０００で記憶色変換された出力画像信号は、符号化手段１０２６で圧縮符号化され、メモリカード１０２７に格納される。また、画像処理装置１０００で記憶色変換された出力画像信号は、映像表示装置１０４０で液晶表示装置などに表示される。

なお、ＣＣＤ１０２１で撮影された画像データを記憶色変換する動作については、図１６のビデオムービー１０２０と同様であるので説明を省略する。

携帯電話１０３０の画像処理装置１０００が記憶色変換を行う際、画素信号以外の情報として、メール添付などで送られてきた画像ファイルのヘッダに記載されている各種の撮影情報、または撮影モード設定部１０２５のカメラのユーザインターフェースに基づく情報、及びカメラの制御情報（フォーカス、アイリスなど）を用いて、補正度合を求めることが出来る。

このように、画像処理装置１０００を携帯電話１０３０に組み込むことにより、記憶色に従って最適自動色調整された画像を小型ディスプレイに表示したり、メモリカードに格納したりすることが出来る。

なお、本実施の形態の携帯電話１０３０は本発明に関連する発明の移動体通信端末の例であり、本実施の形態の無線通信部１０３１は本発明に関連する発明の無線通信回路の例であり、本実施の形態の映像表示装置１０４０は本発明に関連する発明の表示手段の例である。

尚、本発明に関連する発明のプログラムは、上述した本発明の画像処理装置の全部又は一部の手段（又は、装置、素子等）の機能をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。

又、本発明に関連する発明の記録媒体は、上述した本発明の画像処理装置の全部又は一部の手段（又は、装置、素子等）の全部又は一部の機能をコンピュータにより実行させるためのプログラムを担持した記録媒体であり、コンピュータにより読み取り可能且つ、読み取られた前記プログラムが前記コンピュータと協動して前記機能を実行する記録媒体である。

尚、本発明に関連する発明の上記「一部の手段（又は、装置、素子等）」とは、それらの複数の手段の内の、一つ又は幾つかの手段を意味する。

又、本発明に関連する発明の上記「手段（又は、装置、素子等）の機能」とは、前記手段の全部又は一部の機能を意味する。

又、本発明に関連する発明のプログラムの一利用形態は、コンピュータにより読み取り可能な記録媒体に記録され、コンピュータと協働して動作する態様であっても良い。

又、本発明に関連する発明のプログラムの一利用形態は、伝送媒体中を伝送し、コンピュータにより読みとられ、コンピュータと協働して動作する態様であっても良い。

又、記録媒体としては、ＲＯＭ等が含まれ、伝送媒体としては、インターネット等の伝送媒体、光・電波・音波等が含まれる。

又、上述した本発明に関連する発明のコンピュータは、ＣＰＵ等の純然たるハードウェアに限らず、ファームウェアや、ＯＳ、更に周辺機器を含むものであっても良い。

尚、以上説明した様に、本発明、及び本発明に関連する発明の構成は、ソフトウェア的に実現しても良いし、ハードウェア的に実現しても良い。

以上のように本実施の形態によれば、記憶色補正の対象とする色以外への影響を無くし、記憶色領域内および記憶色領域内と外の狭間での輝度・彩度・色相方向のグラデーションの連続性を保ちつつ、記憶色領域内の他の被写体への影響を減らすことが可能なる。さらに、記憶色補正を必要とする画像かどうかにより補正度合を変えることにより極めて副作用の少ない記憶色補正が実現できるため、ユーザーが判断して設定することなく全自動で動作する記憶色補正が実現できる。

本発明にかかる画像処理装置は、本来記憶色補正すべきでない色も補正されてしまうという副作用が生じないという効果を有し、色変換を目的とする画像処理装置等として有用である。より詳細には、本発明にかかる画像処理装置は、入力画像信号の特定領域の色をより好ましい色に自動変換する記憶色補正技術が必要であるディスプレイ、プリンタ等の出力機器を始めデジタルカメラ、デジタルビデオカメラ等の入力機器および写真画像のデータベースやレタッチを目的とするＰＣアプリケーションソフトまで広く応用し得るものである。

また、本発明にかかる画像処理装置は、本来補正すべき記憶色領域に含まれるがたまたま色が近いだけの別の物体を補正することを避けることが出来るという効果を有し、色変換を目的とする画像処理装置等として有用である。より詳細には、本発明にかかる画像処理装置は、入力画像信号の特定領域の色をより好ましい色に自動変換する記憶色補正技術が必要であるディスプレイ、プリンタ等の出力機器を始めデジタルカメラ、デジタルビデオカメラ等の入力機器および写真画像のデータベースやレタッチを目的とするＰＣアプリケーションソフトまで広く応用し得るものである。

また、本発明にかかる画像処理装置は、グラデーションが不連続にならず色飛びが発生しないという効果を有し、色変換を目的とする画像処理装置等として有用である。より詳細には、本発明にかかる画像処理装置は、入力画像信号の特定領域の色をより好ましい色に自動変換する記憶色補正技術が必要であるディスプレイ、プリンタ等の出力機器を始めデジタルカメラ、デジタルビデオカメラ等の入力機器および写真画像のデータベースやレタッチを目的とするＰＣアプリケーションソフトまで広く応用し得るものである。

本発明に関連する発明の実施の形態１における画像処理装置の構成を示すブロック図である。 （ａ）は、本発明に関連する発明の実施の形態１における合成手段により合成された肌色領域を示す図である。（ｂ）は、本発明に関連する発明の実施の形態１におけるL*信号に関する関数発生手段の例を示す図である。（ｃ）は、本発明に関連する発明の実施の形態１におけるa*信号に関する関数発生手段の例を示す図である。（ｄ）は、本発明に関連する発明の実施の形態１におけるb*信号に関する関数発生手段の例を示す図である。 本発明に関連する発明の実施の形態２における画像処理装置の構成を示すブロック図である。 本発明に関連する発明の実施の形態２における補正強度Wcを発生する２次元関数発生手段の一例を示す図である。 本発明に関連する発明の実施の形態３における画像処理装置の構成を示すブロック図である。 （ａ）は、本発明に関連する発明の実施の形態３における合成手段により合成された３次元での補正強度Wが決定する空色領域を示す図である。（ｂ）は、本発明に関連する発明の実施の形態３における色相hueに対する関数発生手段を構成するLUTの一例を示す図である。（ｃ）は、本発明に関連する発明の実施の形態３における彩度satに対する関数発生手段を構成するLUTの一例を示す図である。（ｄ）は、本発明に関連する発明の実施の形態３における輝度L*に対する関数発生手段を構成するLUTの一例を示す図である。 本発明に関連する発明の実施の形態４における画像処理装置の構成を示すブロック図である。 本発明に関連する発明の実施の形態４における補正手段の効果の説明図である。 本発明の実施の形態５における画像処理装置の構成を示すブロック図である。 （ａ）は、本発明の実施の形態５における強度決定手段２０１Cを構成する彩度用の関数発生手段２１０Eの一例を示す図である。（ｂ）は、本発明の実施の形態５における強度決定手段２０２Cを構成する彩度用の関数発生手段２１０Eの一例を示す図である。 本発明に関連する発明の実施の形態６における画像処理装置の構成を示すブロック図である。 （ａ）は、本発明に関連する発明の実施の形態６における入力されるカラー画像の一例を示す図である。（ｂ）は、本発明に関連する発明の実施の形態６における空領域候補検出を行った結果の一例を示す図である。（ｃ）は、本発明に関連する発明の実施の形態６における空領域判定マスクの一例を示す図である。（ｄ）は、本発明に関連する発明の実施の形態６における図１２（ｂ）の空領域検出を行った結果に、図１２（ｃ）の空領域判定マスクを適用した結果を示す図である。 本発明に関連する発明の実施の形態７における画像処理装置の構成を示すブロック図である。 本発明に関連する発明の実施の形態８におけるプリンタの構成を示すブロック図である。 本発明に関連する発明の実施の形態８におけるテレビ（プロジェクタ）の構成を示すブロック図である。 本発明に関連する発明の実施の形態８におけるビデオムービー（デジタルカメラ）の構成を示すブロック図である。 本発明に関連する発明の実施の形態８における携帯電話の構成を示すブロック図である。 本発明に関連する発明の実施の形態２における（a*,b*）平面での折り返しの説明図である。

符号の説明

１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ、１００Ｇ 記憶色補正手段
２００Ａ、２００Ｂ、２００Ｃ、２０１Ｃ、２０２Ｃ 強度決定手段
２１０Ａ、２１０Ｂ、２１０Ｃ、２１０Ｄ、２１０Ｅ 関数発生手段
２１１ ２次元関数発生手段
２２０、２２１、２２２ 合成手段
２３０、３２０ 極座標変換手段
３００Ａ、３００Ｂ 補正手段
３１０Ａ、３１０Ｂ 内分演算手段
３３０ 直交座標変換手段
４００Ａ、４００Ｂ 目標色設定手段
５００ 乗算手段
６００、６００Ａ、６００Ｂ 補正度合設定手段
６１０Ａ 空画像識別手段
６１１ 領域情報算出手段
６１２ 空領域候補検出手段
６１３ 空領域分布判定手段
６１０Ｂ 人物画像識別手段
６２０Ａ、６２０Ｂ 撮影情報識別手段
６３０Ａ、６３０Ｂ 補正度合決定手段
７００ 輝度色度変換手段
７１０ 輝度色度逆変換手段
９００ メモリ
８００ メモリカード

Claims (1)

1. 入力画像信号に含まれる各画素毎に画素信号の所定の範囲の色を補正する画像処理装置であって、
   前記画素信号の色を補正する目標色を設定し、前記目標色の色相値である目標色相値及び前記目標色の彩度値である目標彩度値を出力する目標色設定手段と、
   前記画素信号を表現する輝度信号と前記画素信号から変換された色相信号と彩度信号から色相補正用の色相補正強度を出力する第１の強度決定手段と、
   前記画素信号を表現する輝度信号と前記画素信号から変換された色相信号と彩度信号から彩度補正用の彩度補正強度を出力する第２の強度決定手段と、
   前記色相信号を、前記色相信号と前記目標色相値の色相の差が補正前より補正の後の方が小さくなるように前記色相補正強度に応じて前記色相信号を補正する色相補正手段と、
   前記入力画像信号から変換された前記彩度信号を、前記彩度信号と前記目標彩度値の彩度の差が補正前より補正後の方が小さくなるように前記彩度補正強度に応じて前記彩度信号を補正する彩度補正手段とを備えた、画像処理装置。

Images