JP4095765B2 - カラー画像処理装置 - Google Patents
カラー画像処理装置 Download PDFInfo
- Publication number
- JP4095765B2 JP4095765B2 JP2000311486A JP2000311486A JP4095765B2 JP 4095765 B2 JP4095765 B2 JP 4095765B2 JP 2000311486 A JP2000311486 A JP 2000311486A JP 2000311486 A JP2000311486 A JP 2000311486A JP 4095765 B2 JP4095765 B2 JP 4095765B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- brightness
- correction
- optimum
- brightness correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/622—Retouching, i.e. modification of isolated colours only or in isolated picture areas only with simulation on a subsidiary picture reproducer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Processing Or Creating Images (AREA)
- Processing Of Color Television Signals (AREA)
Description
【発明の属する技術分野】
本発明は、カメラやスキャナなどから入力されるカラー画像に対して、明るさや色彩の補正を施す、カラー画像処理装置に関し、特に、下記項目〔a1〕〜〔a3〕のいずれか一つに記述するようなカラー画像処理装置に関する。
【0002】
〔a1〕画像入力時の露光条件が不適正で、入力された画像の明るさや色彩が、本来の画像として期待される画像の明るさや色彩と異なる場合に、期待される画像の明るさや色彩に近づけるように画像の明るさや色彩を補正する、カラー画像処理装置。
〔a2〕入力された画像の明るさや色彩を、好みの画像の明るさや色彩に変換する、カラー画像処理装置。
【0003】
〔a3〕カメラを持った撮影者から見て、太陽や照明などの光源の光が、被写体にとって、逆光となっている状態で撮影されたカラー画像であっても、その画像全体の明るさを大きく変えることなく、その被写体の特徴的な色(特に、被写体が人物である場合には肌色)を元の画像に対して比較的に良好な明るさに補正する、カラー画像処理装置。
【0004】
人間は、よく目にする機会のある肌,空,樹木などの色を、感覚的な「記憶色」として記憶している。そして、個人差はあるが、「記憶色」として、人間が最適と感じる色、すなわち「最適色」を記憶しており、画像中の「色」が「最適色」と異なると、不自然である、あるいは見た目が悪いと感じる。
【0005】
例えば図18に示すように、適正な明るさを持つ照明71の下で、被写体(リンゴ)72をデジタルカメラ73で撮影する場合、照明71から照射された光は、被写体72で反射され、反射光74としてデジタルカメラ73に入射し、RGB(Red,Green,Blue)それぞれに対応してそなえられたCCD(Charge Coupled Device)75によって電気的な出力値に変換される。このように適正な明るさを持つ照明71の下で得られた、各CCD75の出力値の例を、図19に示す。
【0006】
これに対し、例えば図20に示すように、暗い照明76の下で、被写体(リンゴ)72を撮影する場合も、照明76から照射された光は、被写体72で反射され、反射光77としてデジタルカメラ73に入射し、RGBそれぞれに対応してそなえられたCCD75によって電気的な出力値に変換される。このように暗い照明76の下で得られた、各CCD75の出力値の例を、図21に示す。
【0007】
図22は、被写体72を撮影した際のCCD75の出力値を、L*C*表記で表したものであり、この図22に示すように、適正露光の場合におけるCCD75の出力値(図19参照)は、例えば符号78で示す位置に対応する色値となり、被写体の本来の色値に変換されているが、露光不足の場合におけるCCD75の出力値(図21参照)は、例えば符号79で示す位置に対応する色値となり、その色値、つまり明るさ(明度:L*)および彩度(C*)は、いずれも適正露光の場合よりも減少する。
【0008】
また、露光不足が生じていない場合でも、画像中の記憶色の色が、著しく最適色と異なった色として撮影されてしまう場合がある。それは、逆光状態での撮影である。
逆光状態での撮影の例を図23に示す。図23は、屋外で人物撮影を行なう場合の、一般的な逆光状態を示す図である。この図23に示す例では、デジタルカメラ102により、被写体(人物105)と背景103とが同時に撮影されている。
【0009】
ここで問題になるのが、光源(太陽101)の位置である。図23に示す撮影状態では、太陽101が被写体105の背後に位置している。このような場合、太陽101から背景103に向けて照射された光107は、背景103の表面、つまり、デジタルカメラ102によって撮影される面に当たる。しかし、被写体105に向けて照射された光106は、被写体105の裏面、つまり、デジタルカメラ102によって撮影されない面にしか当たらない。
【0010】
このような場合、例えば図24に示すような逆光写真108が撮影されてしまう。このような逆光写真において、背景110は、正常に撮影されているのに対し、画像の一部分、この場合は、肝心の人物109だけが、露光不足となってしまい、その人物109の色が、著しく最適色と異なってしまう。このような画像の明るさは、背景110を重視したとしても、あるいは、被写体(人物109)を重視したとしても、最良とはなりえず、両方の中庸の明るさが、背景110および被写体109の双方について妥協できる、最適の明るさになる。
【0011】
上述したような状況に鑑み、露光不足の画像、露光過剰な画像、逆光の画像、あるいは、光源の色に偏りがある画像を、見た目に自然な画像、あるいは好みの色の画像に補正するカラー画像処理装置が求められている。
【0012】
【従来の技術】
上述のごとく明るさ(明度)が不適正な画像、あるいは、肌,空,樹木などの色が記憶色と異なっているカラー画像が入力された場合の、明るさや色彩の補正方法としては、従来、色を構成するRGBのトーンカーブやカラーバランスなどの各種パラメータに補正を施して色を補正する方法がある。
【0013】
しかし、パラメータの補正量と人間の感じる色の変化量とは比例関係になく、また、色の補正に対する詳細な指針がない。このため、補正作業は試行錯誤となり、色に関する知識が豊富で熟練した専門家でなければ所望の画像を得ることは困難である。
このような問題を解決するための対策として、特許公報2585754号には画像入力システム(以下、従来例1という)が開示されている。この従来例1では、下記手順〔b1〕〜〔b4〕で色の補正が行なわれる。
【0014】
〔b1〕画像をプレスキャンし、プレスキャンされた画像についての、ヒストグラム,濃度平均値,最大濃度などの情報に基づき、ファジー推論を用いて、画像分類情報を作成する。
〔b2〕ユーザの要求がある場合は、その要求に応じて、グレー点,明るめ・暗め,好み,調子,絵柄の種類などの仕上がり情報を取得する。
【0015】
〔b3〕〔b1〕で作成された画像分類情報および〔b2〕で取得された仕上がり情報に基づいて、カラー画像を補正する処理パラメータを導出する。
〔b4〕〔b3〕で導出された処理パラメータを用いてカラー画像を処理し、明るさなどの最適化を行なう。
【0016】
また、他の対策として、特開平8−221546号公報には画像編集方法およびシステム(以下、従来例2という)が開示されている。この従来例2では、例えば入力画像の肌色を最適化する場合、下記手順〔c1〕〜〔c4〕で色の補正が行なわれる。
【0017】
〔c1〕肌色の最適色の色値を用意する。
〔c2〕カラー画像を表示し、ユーザに、色補正したい肌色の領域を指定させる。
〔c3〕〔c2〕で指定された領域の中で、最適色に合わせたい色(点)を、ユーザに指定させる。
〔c4〕〔c3〕で指定された点を中心として、〔c2〕で指定された領域のすべてを、最適色を中心とした色になるように補正する。
【0018】
【発明が解決しようとする課題】
しかしながら、上述した従来例1では、以下のような課題〔d1〕〜〔d3〕がある。
【0019】
〔d1〕本来、濃度平均値が高い夜景画像であっても、あるいは、本来、濃度平均値が低い雪山画像であっても、同じ濃度平均値をもつ画像に変換するように補正を行なってしまう。濃度平均値が高い夜景画像についての、明るさのヒストグラム(明度の頻度分布)は、例えば図25(a)に示すごとく低(暗)側に偏ったものとなる。また、濃度平均値が低い雪山画像についての、明るさのヒストグラムは、例えば図25(b)に示すごとく高(明)側に偏ったものとなる。従来例1を用いた場合、図25(a)に示すようなヒストグラムを有する画像も、図25(b)に示すようなヒストグラムを有する画像も、明るさのヒストグラムが図25(c)に示すごとく中庸の明るさで最大となるような画像に変換・補正されてしまう。このため、従来例1によって補正された画像は、元の画像とはかけ離れた明るさの画像になってしまう。
【0020】
〔d2〕記憶色に対する考慮がされていないため、最適色に応じた色彩の補正を行なうことができない。
〔d3〕逆光画像についての、明るさのヒストグラム(明度の頻度分布)は、一般的に、例えば図26に示すように、低(暗)側と高(明)側との両側にピークを有している。つまり、逆光画像全体の濃度平均値は、ほぼ中庸の値(正常な値)となる。このため、従来例1を用いた場合、逆光画像は、明暗のバランスにあまり偏りが無いものと認識され、正常な明るさの画像のように見られるため、明るさの補正を行なうことができない。
【0021】
また、従来例2では、ユーザに指定させた領域のみ補正するため、補正した領域の色と周囲の境界部分の色との調和が崩れる。例えば、薄暗い部屋で人物を撮影した場合、露光不足の画像が生成される。この画像を補正するため、顔の部分を指定し肌色を最適色に補正した場合、肌色は綺麗になるが、指定領域外の補正されない部分、たとえば髪の毛や洋服などは、元の暗い色のままなので、肌色だけが浮き上がった、不自然な画像となってしまう。
【0022】
本発明は、このような課題に鑑み創案されたもので、露光不足の画像、露光過剰な画像、あるいは、光源の色に偏りがある画像を、見た目に自然な画像、あるいは好みの明るさと色彩の画像に補正できるようにした、カラー画像処理装置を提供することを第1の目的とする。
【0023】
また、本発明は、逆光画像全体の明るさを大きく変えることなく、被写体の特徴的な色を元の画像に対して比較的に良好な明るさに補正することにより、逆光画像を、見た目に自然な画像に補正できるようにした、カラー画像処理装置を提供することを第2の目的とする。
【0024】
【課題を解決するための手段】
上記目的を達成するために、本発明のカラー画像処理装置(請求項1)は、カラー画像中の補正対象色を指定する補正対象色指定手段と、前記補正対象色に対応する最適色を設定する最適色設定手段と、前記補正対象色の色値と前記最適色の明るさとに基づいて、明るさ補正係数を導出する明るさ補正係数導出手段と、前記明るさ補正係数を用いて前記カラー画像の色値を明るさ補正済みカラー画像の色値に変換することにより前記カラー画像の明るさを補正して明るさ補正済みカラー画像を生成するとともに、前記明るさ補正係数を用いて前記補正対象色の色値を明るさ補正済み補正対象色の色値に変換することにより前記補正対象色の明るさを補正して明るさ補正済み補正対象色を生成する明るさ補正手段と、該明るさ補正済み補正対象色と、前記最適色との色差に基づいて、前記明るさ補正済カラー画像の色相・彩度を補正する色相・彩度補正手段とを有することを特徴としている。
【0026】
さらに、該補正対象色指定手段が、複数の補正対象色を指定し、該最適色設定手段が、前記複数の補正対象色のそれぞれに対応する複数の最適色を設定し、該明るさ補正係数導出手段が、前記複数の補正対象色と前記複数の最適色とのそれぞれの対の対応した、複数の個別明るさ補正係数を導出するとともに、各最適色に対応する重み係数を用いて、前記複数の個別明るさ補正係数の加重平均値を、前記明るさ補正係数として導出するように構成してもよい(請求項2)。
【0027】
上述のごとく構成された本発明のカラー画像処理装置(請求項1)では、見た目の悪いカラー画像を補正するにあたって、カラー画像中で補正を行ないたい補正対象色と、それと対になり、補正対象色を再現するのにふさわしい最適色とが、それぞれ、補正対象色指定手段および最適色設定手段で取得される。そして、これら2つの色値を利用して、カラー画像の明るさが、明るさ補正係数導出手段および明るさ補正手段により補正される。
【0028】
このとき、正確に画像の明るさを補正した後に、色相・彩度補正手段により、補正対象色と最適色とをほぼ一致させるように、明るさ補正済カラー画像の色相・彩度が補正される。
【0029】
また、補正対象色指定手段で指定された補正対象色に対して、最適色を設定する場合、同時にその最適色の正確度合いを表す重み係数も設定しておく。そして、明るさ補正を行なう際に、補正対象色および最適色の対が複数存在する場合、個別明るさ補正係数の加重平均値を求めることにより、重み係数の大きい対を重視した明るさ補正係数が導出されることになる(請求項2)。
【0030】
また、本発明のカラー画像処理装置(請求項3)は、前述と同様の補正対象色指定手段および最適色設定手段のほかに、補正対象色と最適色との明るさの差分値に応じた仮明るさ補正量を導出する仮明るさ補正量導出手段と、前記仮明るさ補正量の大きさに応じて、前記仮明るさ補正量の大きさを減少させるように前記仮明るさ補正量を補正し、正明るさ補正量を導出する正明るさ補正量導出手段と、前記正明るさ補正量と前記補正対象色の色値と前記最適色の明るさとに基づいて、明るさ補正係数を導出する明るさ補正係数導出手段と、前記明るさ補正係数を用いて前記カラー画像の色値を明るさ補正済みカラー画像の色値に変換することにより前記カラー画像の明るさを補正し、明るさ補正済みカラー画像を生成する明るさ補正手段とを有することを特徴としている。
【0031】
このとき、該正明るさ補正量導出手段は、前記仮明るさ補正量の大きさが大きくなるに連れて、前記正明るさ補正量を、一定値に漸近させるように導出するように構成してもよい(請求項4)。
【0032】
上述のごとく構成された本発明のカラー画像処理装置(請求項3)では、まず、カラー画像中で補正を行ないたい補正対象色と、それと対になり、補正対象色を再現するのにふさわしい最適色とが、それぞれ、補正対象色指定手段および最適色設定手段により取得される。そして、これらの補正対象色と最適色との、明るさの差分値に応じた仮明るさ補正量が、仮明るさ補正量導出手段により導出される。画像が逆光画像である場合、前記差分値は大きな値になる。
【0033】
そこで、本発明では、正明るさ補正量導出手段により、仮明るさ補正量の大きさに応じて、仮明るさ補正量の大きさを減少させるように仮明るさ補正量が補正される。つまり、仮明るさ補正量の大きさが小さい場合は、その画像は逆光画像ではないと判別して、補正対象色を最適な明るさに合わせるための値が、正明るさ補正量に設定される。一方、仮明るさ補正量の大きさが大きい場合は、その画像は逆光画像であると判別して、仮明るさ補正量の大きさを減少させたものが、正明るさ補正量に設定される。
【0034】
また、正明るさ補正量導出手段により、仮明るさ補正量の大きさが小さい場合は、その仮明るさ補正量の値をほとんど変えずに正明るさ補正量として用い、仮明るさ補正量の大きさが大きくなるに連れて、仮明るさ補正量の減少量を大きくして、正明るさ補正量を導出している。このとき、正明るさ補正量の採り得る値は、一定値に漸近するように決定されている。従って、ひどい逆光画像で、仮明るさ補正量の大きさが著しく大きい場合でも、その最大補正量が前記一定値に制限され、画像全体の明るさのバランスを崩さずに、明るさ補正を行なうことができる(請求項4)。
【0035】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
〔1〕第1実施形態の説明
図1は本発明の第1実施形態としてのカラー画像処理装置1の機能構成を示すブロック図である。この図1に示す第1実施形態のカラー画像処理装置1は、デジタルカメラやイメージスキャナなどから入力されるカラー画像に対して、明るさや色彩の補正を施すもので、画像記憶手段4,表示手段21,補正対象色指定手段6,最適色設定手段8,明るさ補正係数導出手段10および明るさ補正手段12を有している。このカラー画像処理装置1は、具体的にはコンピュータシステム(例えばパーソナルコンピュータ)によって実現される。
【0036】
カラー画像処理装置1を実現するためのコンピュータシステムにおいては、CPU(図示省略)がそなえられるとともに、このCPUに、バスライン(図示省略)を介して、画像記憶手段4として機能するメモリ(ROM,RAM等)や、表示手段21として機能するディスプレイ(CRT,PDP,LCD等)や、マウス22(図2参照)などが接続されている。
【0037】
ここで、画像記憶手段4は、デジタルカメラやイメージスキャナなどの画像入力機器からのカラー画像3を記憶するものである。また、表示手段21は、画像記憶手段4に保持されたカラー画像5を表示したり、補正対象色の指定や最適色の設定に際して必要な各種情報(例えば図2や図3参照)を表示したりするものである。
【0038】
また、前記メモリには、図1に示す補正対象色指定手段6,最適色設定手段8,明るさ補正係数導出手段10および明るさ補正手段12を実現するためのカラー画像処理プログラムがアプリケーションプログラムとして格納されている。
このカラー画像処理プログラムを、前記CPUが前記バスラインを介してメモリから読み出して実行することにより、補正対象色指定手段6,最適色設定手段8,明るさ補正係数導出手段10および明るさ補正手段12としての機能(その詳細については後述)、つまりは、第1実施形態のカラー画像処理装置1としての機能が実現され、本発明のカラー画像処理方法が実行されるようになっている。
【0039】
上述したカラー画像処理プログラムは、例えばフレキシブルディスク,CD−ROM等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータシステムはその記録媒体からカラー画像処理プログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。また、そのカラー画像処理プログラムを、例えば磁気ディスク,光ディスク,光磁気ディスク等の記憶装置(記録媒体)に記録しておき、その記憶装置から通信経路を介してコンピュータシステムに提供するようにしてもよい。
【0040】
補正対象色指定手段6,最適色設定手段8,明るさ補正係数導出手段10および明るさ補正手段12としての機能を実現する際には、内部記憶装置(本実施形態では前記メモリ)に格納されたカラー画像処理プログラムがコンピュータのマイクロプロセッサ(本実施形態では前記CPU)によって実行される。このとき、記録媒体に記録されたカラー画像処理プログラムをコンピュータシステムが直接読み取って実行するようにしてもよい。
【0041】
なお、本実施形態において、コンピュータとは、ハードウェアとオペレーションシステムとを含む概念であり、オペレーションシステムの制御の下で動作するハードウェアを意味している。また、オペレーションシステムが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウェアは、少なくとも、CPU等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とをそなえている。
【0042】
本実施形態のカラー画像処理プログラムは、上述のようなコンピュータに補正対象色指定手段6,最適色設定手段8,明るさ補正係数導出手段10および明るさ補正手段12としての機能を実現させるためのプログラムコードを含んでいる。また、その機能の一部は、カラー画像処理プログラム(アプリケーションプログラム)ではなくオペレーションシステムによって実現されてもよい。
【0043】
さらに、本実施形態における記録媒体としては、上述したフレキシブルディスク,CD−ROM,DVD,磁気ディスク,光ディスク,光磁気ディスクのほか、ICカード,ROMカートリッジ,磁気テープ,パンチカード,コンピュータの内部記憶装置(RAMやROMなどのメモリ),外部記憶装置等や、バーコードなどの符号が印刷された印刷物等の、コンピュータ読取可能な種々の媒体を利用することができる。
【0044】
さて、次に、前記CPUにより実現される各種機能(補正対象色指定手段6,最適色設定手段8,明るさ補正係数導出手段10および明るさ補正手段12としての機能)について、詳細に説明する。
なお、前述したように、本実施形態では、デジタルカメラやイメージスキャナなどの画像入力機器からのカラー画像3は、カラー画像処理装置1内部の画像記憶手段4に送られ記憶されるが、カラー画像処理装置1に接続された外部記憶装置に記憶させてもよい。そして、ユーザがカラー画像の補正を行なう際には、画像記憶手段4に保持されたカラー画像5は、表示手段21に送られ、この表示手段21において、例えば図2に示すごとく表示されるようになっている。
【0045】
補正対象色指定手段6は、表示手段21に表示された画像23(画像記憶手段4に保持されたカラー画像5)中の、補正を行なうべき補正対象色7を指定するものである。その指定は、例えば、ユーザがマウス22を操作することによって行なわれる。このとき、指定する補正対象色7は、1つ以上ならばいくつでもよい。図1に示す例では、補正対象色7として、n個の補正対象色7−1〜7−nが指定されている。
【0046】
最適色設定手段8は、男性の顔色,女性の顔色,空の色,樹木の色等の種々の記憶色の色値を予め保有する最適色データベース8a(図4参照)を有し、補正対象色指定手段6で指定された1つ以上の補正対象色7(7−1〜7−n)に対して、それぞれ対となる最適色9(9−1〜9−n)を、最適色データベース8aから選択して設定するものである。これにより、例えば図5に示すような補正対象色・最適色対応表が作成される。
【0047】
なお、補正対象色指定手段6による補正対象色7の指定を、前述のようにカラー画像5を表示手段21に表示してユーザに指示させるのではなく、カラー画像5中から自動的に検索して実行するように構成してもよい(補正対象色7の自動検索手法については、例えば、寺田佳久・村岡陽一「静止画像中からの人物領域の検出」情報処理学会・第57回全国大会5E−09参照)。
【0048】
また、最適色9の設定も、ユーザに指示させるのではなく、補正対象色7の画像中の位置情報を用いて自動的に判別して実行してもよい(このような自動判別手法については、例えば、Srinivas Gutta and Harry Wechsler,“Gender and Ethnic Classification of Face Images”, International Conference on Automatic Face and Gesture Recognition 3rd, pp194-199参照)。
さらに、最適色の色値を、最適色データベース8aから選択するのではなく、ユーザが、補正対象色7を指定する都度、手動で、その補正対象色7に対応する最適色9の色値を設定し入力するようにしてもよい。
【0049】
明るさ補正係数導出手段10は、指定した補正対象色7と最適色9とに基づいて、後述する式(8)を用い、明るさ補正係数αを導出するものである。
明るさ補正手段12は、明るさ補正係数αを用い、後述する式(5)〜(7)によってカラー画像5を補正し、明るさ補正済みカラー画像13を生成するものである。
【0050】
次に、上述のごとく構成された、第1実施形態のカラー画像処理装置1によるカラー画像補正動作について、図2〜図5を参照しながら説明する。
なお、図2は第1実施形態での補正対象色指定時における表示画面の例を示す図、図3は第1実施形態での最適色設定時に用いられる最適色設定盤31の表示例を示す図、図4は第1実施形態における最適色データベース8aの具体例を示す図、図5は第1実施形態において生成される補正対象色・最適色対応表の例を示す図である。
【0051】
まず、例えば図2に示すように、画像記憶手段4に記憶されたカラー画像5を、表示手段21上に、表示画像23として表示する。カーソル24は、ポインティングデバイス、例えばマウス22の操作に応じて移動しポインティングを行なうものである。ユーザは、表示画像23中の、補正の対象となる画素の位置にカーソル24を移動させ、マウスボタン25を押下する。表示画像23中のマウスボタン25が押下された位置には、補正対象色7を指定したマークとして“+”を表示する。
【0052】
そして、補正対象色指定手段6により、マウスボタン25が押下された位置情報(カーソル24によりポインティングされた位置の情報)が取得され、その位置情報から、当該位置の画像の色値が補正対象色7として指定される。
図2の表示画像23では、補正対象色7として、男性の顔色26,女性の顔色27,空の色28,樹木の色29の4色を指定した例が示されている。
【0053】
ついで、最適色設定手段8には、前述した通り、男性の顔色,女性の顔色,空の色,樹木の色等の種々の記憶色の色値を予め保有する最適色データベース8aがそなえられており、最適色設定手段8により、補正対象色指定手段6で指定された1つ以上の補正対象色7に対応して、それぞれの補正対象色7と対となる最適色9が、最適色データベース8aから選択されて設定される。
【0054】
最適色設定手段8による最適色設定手順について、図3〜図5を参照しながら、より具体的に説明する。
カラー画像処理装置1では、補正対象色7が指定されると、図3に示すような最適色設定盤31が表示手段21上に表示される。この最適色設定盤31は、最適色の名称を表記した複数の種類設定ボタン32と、最適色設定を中止する際に押下される“設定の中止”ボタン90とを有している。
【0055】
ユーザは、マウス22等を用いて、補正対象色7に対応する最適色9の、種類設定ボタン32を押下する。そして、最適色設定手段8では、押下された種類設定ボタン32に従って、図4に示すような最適色データベース8aが検索され最適色9の色値が取得され、図5に示すような補正対象色・最適色対応表が生成される。
【0056】
明るさ補正係数導出手段10では、最適色設定手段8により生成された補正対象色・最適色対応表を参照し、補正対象色7と最適色9との対ごとに、明るさ補正手段12による明るさ補正方法に合わせた明るさ補正係数αが導出される。
ここでは、入力カラー画像3を、sRGB空間の値(0〜255)を正規化した数値(Ri,Gi,Bi)で表し、最適色9を、人間の感覚に合わせたL*a*b*空間の値(L*t,a*t,b*t)で表し、補正対象色7を、sRGB空間の値(0〜255)を正規化した数値(Rs,Gs,Bs)で表した、一般的な例について説明する。L*a*b*空間の色値とsRGB空間の三原色の色値との関係は、XYZ空間を介して下式(1)〜(4)で表される。
【0057】
【数1】
【0058】
【数2】
【0059】
明るさ補正手段12において、入力カラー画像5に対する補正を施す際に用いられる変換式、つまり、入力カラー画像5の色値(Ri,Gi,Bi)を、明るさ補正済みカラー画像13の色値(Rsp,Gsp,Bsp)に変換する変換式を、下式(5)〜(7)とする。
【0060】
【数3】
【0061】
明るさ補正係数αは、最適色9の明るさL*tから計算される値Yt、および、補正対象色7の色値(Rs,Gs,Bs)とともに、下式(8)を満たすものとして導出される。
【0062】
【数4】
【0063】
ここで、係数a,b,cの各値は、入力カラー画像5の色値をsRGB空間とした場合のパラメータの例であり、明るさ補正係数αは、例えば二分法などの数値計算手法を用いて上式(8)を解くことにより算出される。
なお、指定した補正対象色7がn個ある場合は、明るさ補正係数導出手段10において、補正対象色7−1〜7−nのそれぞれに対し、明るさ補正係数α1〜αnが計算されることになるが、これらの明るさ補正係数α1〜αnの一つを明るさ補正係数αとして採用してもよいし、これらの明るさ補正係数α1〜αnの平均値を算出し、その平均値を明るさ補正係数αとして採用してもよい。
【0064】
例えば、図5に示すような補正対象色・最適色対応表が生成されている場合、明るさ補正係数導出手段10では、4種類の明るさ補正係数が算出され、これら4つの明るさ補正係数に基づいて、一つの明るさ補正係数αが導出される。
当然、指定された補正対象色7の数が一つである場合には、その補正対象色7について導出された明るさ補正係数αがそのまま利用される。
【0065】
最後に、明るさ補正手段12において、明るさ補正係数αと上式(5)〜(7)を用いて、入力カラー画像5の色値(Ri,Gi,Bi)が、明るさ補正済みカラー画像13の色値(Rsp,Gsp,Bsp)に変換される。
【0066】
上述した本発明の第1実施形態としてのカラー画像処理装置1によれば、見た目の悪いカラー画像5を補正するに当たり、カラー画像5(表示画像23)中で補正を行ないたい補正対象色7(7−1〜7−n)と、それと対になり、補正対象色7(7−1〜7−n)を再現するのにふさわしい最適色9(9−1〜9−n)とが、それぞれ、補正対象色指定手段6および最適色設定手段8により取得される。そして、これら2つの色値を利用して、カラー画像5の明るさが、明るさ補正係数導出手段10および明るさ補正手段11により補正され、明るさ補正済みカラー画像13が得られる。
【0067】
このように補正対象色7(7−1〜7−n)と最適色9(9−1〜9−n)とを利用して、カラー画像5の明るさが補正されるので、カラー画像5中の補正を行ないたい色に対して、その補正対象色7(7−1〜7−n)で構成された被写体の、本来の色に極めて近い最適色9(9−1〜9−n)を設定することができる。
【0068】
従って、その補正対象色7(7−1〜7−n)と最適色9(9−1〜9−n)とから、カラー画像5の明るさの変化度合いを正確に把握でき、最適色9(9−1〜9−n)の明るさに合わせた明るさの補正が行なわれ、ヒストグラムを用いた明るさ補正よりも正確にカラー画像5の明るさを補正することができる。つまり、露光不足の画像、露光過剰な画像、あるいは、光源の色に偏りがある画像を、見た目に自然な画像、あるいは好みの明るさと色彩の画像に補正することができる。
【0069】
また、種々の最適色の色値を予め最適色データベース8aに保有させておき、最適色設定手段8により、補正対象色7(7−1〜7−n)に対応する最適色9(9−1〜9−n)を、最適色データベース8aから選択して設定することで、最適色9(9−1〜9−n)の設定を極めて容易に行なうことができる。
【0070】
〔2〕第2実施形態の説明
図6は本発明の第2実施形態としてのカラー画像処理装置1Aの機能構成を示すブロック図である。なお、図中、既述の符号と同一の符号は、同一もしくはほぼ同一の部分を示しているので、その説明は省略する。
【0071】
図6に示すように、第2実施形態のカラー画像処理装置1Aも、図1に示した第1実施形態のカラー画像処理装置1とほぼ同様に構成され、第2実施形態においてもカラー画像3の入力から明るさ補正係数αの導出までの処理は、第1実施形態と同様であるが、カラー画像処理装置1Aでは、明るさ補正手段10に代えて明るさ補正手段41がそなえられるとともに、色相・彩度補正手段44が新たに追加されている。
【0072】
なお、第2実施形態における明るさ補正手段41および色相・彩度補正手段44としての機能は、補正対象色指定手段6,最適色設定手段8や明るさ補正係数導出手段10と同様、コンピュータシステムのCPUが、アプリケーションプログラム(カラー画像処理プログラム)を実行することにより実現され、第2実施形態のカラー画像処理装置1Aとしての機能が実現されるようになっている。
【0073】
第2実施形態の明るさ補正手段41は、第1実施形態の明るさ補正手段10と同様、明るさ補正係数αを用いてカラー画像5に対して明るさ補正を施し、明るさ補正済みカラー画像42(Rsp,Gsp,Bsp)を生成するものである。
また、第2実施形態の明るさ補正手段41は、図5に示すような補正対象色・最適色対応表で指定された補正対象色7に対しても、明るさ補正係数αを用いて明るさ補正を施し、明るさ補正済み補正対象色43の色値(Rss,Gss,Bss)を生成するものである。
【0074】
これにより、図5に示すような補正対象色・最適色対応表は、例えば図7に示すように更新される。なお、図7は第2実施形態において生成される明るさ補正済み補正対象色・最適色対応表の例を示す図である。
色相・彩度補正手段44には、明るさ補正手段41から、明るさ補正済みカラー画像42と明るさ補正済み補正対象色43とが送られ、最適色設定手段8から最適色9が送られる。
【0075】
そして、色相・彩度補正手段44は、明るさ補正済みカラー画像42中で、明るさ補正済み補正対象色43と最適色9(9−1〜9−n)との色差に基づき、色相・彩度(a*p,b*p)の補正式を求め、その補正式に従って、明るさ補正済カラー画像42の色相・彩度を補正するものである。ただし、色相・彩度補正手段44による補正を行なう際には、明るさ補正済みカラー画像42中で、明るさ補正済み補正対象色43との色差が一定値以下の色に対して、上記色差に従った色相・彩度の補正が施されるようになっている。
【0076】
例えば、下式(9)に示す補正判別式Dを用い、明るさ補正されたカラー画像42と明るさ補正された補正対象色43との色差が一定値(下記判別式では10)以下の画素を判別し、これに該当する画素の色相・彩度(a*p,b*p)に対して下記の補正式(10)による補正が施される。
【0077】
【数5】
【0078】
なお、明るさ補正済みカラー画像42の色値(Rsp,Gsp,Bsp)と、明るさ補正済み補正対象色43の色値(Rss,Gss,Bss)とは、それぞれ、予め、L*a*b*空間の色値(L*p,a*p,b*p)および(L*s,a*s,b*s)に変換しておく。また、最適色9は、第1実施形態と同様、L*a*b*空間の値(L*t,a*t,b*t)で与えられている。
【0079】
補正対象色7として、例えば図2に示したように、肌の色2種,空の色,樹木の色の合計4色が指定された場合、色値の比較は、各画素と4種類の補正対象色7との間で4回行なわれ、各々、上記の補正判別式(9)や補正式(10)を用いて補正判別および補正を行なう。以上の処理により、色相・彩度補正手段44において明るさ・色相・彩度補正済みカラー画像46が得られる。
【0080】
上述した本発明の第2実施形態としてのカラー画像処理装置1Aによれば、正確にカラー画像5の明るさを補正した後に、色相・彩度補正手段44により、補正対象色7(7−1〜7−n)と最適色9(9−1〜9−n)とをほぼ一致させるように、明るさ補正済カラー画像42の色相・彩度(a*p,b*p)が補正される。従って、補正したい色を綺麗に再現することができるほか、カラー画像の明るさや色彩を、好みの明るさや色彩に変換することができる。
【0081】
なお、第2実施形態のカラー画像処理装置1Aにおいて補正対象色7(7−1〜7−n)を最適色9(9−1〜9−n)に変換するに際し、明るさについての補正・変換は、カラー画像全体に対して実施される一方、色相・彩度についての補正・変換は、補正対象色7(7−1〜7−n)と色差の小さい色値をもつ画素のみを対象にして実施されている。
【0082】
従って、補正対象色7(7−1〜7−n)を最適色9(9−1〜9−n)に変換する影響は、補正対象色7(7−1〜7−n)との色差が小さい色に対してしか発生せず、無彩色領域に色カブリが発生することはない。また、明るさ補正に関しては、画像全体に対して実施しているので、再現色を最適な色に変更した色と、その対象から外れている色とでは、明るさ的に差異がなく、再現色を最適な色に変更した色の部分だけ急に明るくなり、浮き上がるような違和感を発生させることもない。
【0083】
〔3〕第3実施形態の説明
図8は本発明の第3実施形態としてのカラー画像処理装置1Bの機能構成を示すブロック図である。なお、図中、既述の符号と同一の符号は、同一もしくはほぼ同一の部分を示しているので、その説明は省略する。
【0084】
図8に示すように、第3実施形態のカラー画像処理装置1Bも、図6に示した第2実施形態のカラー画像処理装置1Aとほぼ同様に構成されているが、カラー画像処理装置1Bでは、最適色設定手段8に代えて最適色設定手段51がそなえられるとともに、明るさ補正係数導出手段10に代えて明るさ補正係数導出手段53がそなえられている。
【0085】
なお、第3実施形態における最適色設定手段51および明るさ補正係数導出手段53としての機能は、第1実施形態や第2実施形態と同様、コンピュータシステムのCPUが、アプリケーションプログラム(カラー画像処理プログラム)を実行することにより実現され、第3実施形態のカラー画像処理装置1Bとしての機能が実現されるようになっている。
【0086】
最適色設定手段51は、第1実施形態や第2実施形態の最適色データベース8a(図4参照)と同様の最適色データベース(図示省略)を有している。第3実施形態における最適色データベースは、図9に示すように、最適色データベース8aに、さらに、重み係数(G)52を付加したものである。なお、図9は、各最適色に対応する重み係数を含む、第3実施形態の最適色データベースの具体例を示す図である。
【0087】
ここで、重み係数52は、例えば最適色9−1〜9−nの色値の信頼度を表す相対的な係数G1〜Gnで、予め用意された最適色9の色値が、対象色で構成される被写体の色値の本来の色と、どの程度一致するかを表した値である。
一般的に、若葉には多くの種類が存在するために色値のバラツキが大きく、若葉の色としての最適色の色値は信頼度が低く、逆に色白女性の色値はバラツキが小さく、色白女性の色値としての最適色の色値は信頼度が高い。このため、例えば、若葉の最適色の色値に対する重み係数は1とし、色白女性の最適色の色値に対する重み係数は5とする。
【0088】
そして、第3実施形態の最適色設定手段51も、第1実施形態や第2実施形態の最適色設定手段8と同様、補正対象色指定手段6で指定された複数の補正対象色7−1〜7−nに対して、それぞれ対となる複数の最適色9−1〜9−nを、上記最適色データベースから選択して設定するものである。これにより、最適色9−1〜9−nにそれぞれ対応する重み係数52(G1〜Gn)を含む、例えば図10に示すような補正対象色・最適色・重み対応表が作成される。なお、図10は、第3実施形態において生成される補正対象色・最適色・重み係数対応表の具体例を示す図である。
【0089】
また、明るさ補正係数導出手段53は、補正対象色7,最適色9および重み係数52に基づいて明るさ補正係数αを導出するもので、個別明るさ補正係数導出手段54および補正係数加重平均手段55を有して構成されている。
個別明るさ補正係数導出手段54は、補正対象色7−1〜7−nと最適色9−1〜9−nとのそれぞれの対に対応した、複数の個別明るさ係数58(α1〜αn)を導出するものである。
【0090】
補正係数加重平均手段55は、最適色9−1〜9−nにそれぞれ対応する重み係数G1〜Gnを上記最適色データベース(明るさ補正済み補正対象色・最適色・重み係数対応表)から読み出し、これらの重み係数G1〜Gnを用いて、複数の個別明るさ補正係数α1〜αnの加重平均値を、明るさ補正係数αとして導出するものである。
【0091】
このようなカラー画像処理装置1Bにおいて、カラー画像3の入力から補正対象色7−1〜7−nの指定までは、第1実施形態のカラー画像処理装置1の場合と同様にして行なわれる。
そして、最適色設定手段51においては、補正対象色指定手段6で指定された補正対象色7−1〜7−nのそれぞれと対になる最適色9−1〜9−nの最適色9が設定されると同時に、図9に示す、重み係数を含む最適色データベースが検索され、図10に示す補正対象色・最適色・重み係数対応表が生成され、その対応表が明るさ補正係数導出手段53に送られる。
【0092】
補正対象色7−1〜7−nと、各補正対象色7−1〜7−nと対になる最適色9−1〜9−nとは、個別明るさ補正係数導出手段54に送られ、各対に対応する個別明るさ補正導出係数58(α1〜αn)が導出される。導出された個別明るさ補正係数58(α1〜αn)と、重み係数52(G1〜Gn)とは、補正係数加重平均手段55に送られる。
【0093】
補正係数加重平均手段55においては、各重み係数52(G1〜Gn)を用いて、各個別明るさ補正係数58(α1〜αn)の加重平均値が算出され、明るさ補正係数59(α)が導出される。例えば、4つの補正対象色7−1〜7−4が設定された場合、明るさ補正係数α(59)は、下式(11)によって算出される。
【0094】
【数6】
【0095】
この後、第2実施形態と同様にして、明るさ補正手段41および色彩・彩度補正手段44により、それぞれ、明るさ補正および色相・彩度補正が明るさ補正済みカラー画像に対して施され、明るさ・色相・彩度補正済みカラー画像56が生成される。
【0096】
さて、次に、図2,図3,図9,図11〜図14を参照しながら、第3実施形態のカラー画像処理装置1Bの動作について説明する。ここで、図11〜図13はいずれも第3実施形態のカラー画像処理装置1Bの動作を説明するためのフローチャート(ステップS151〜S167)、図14は第3実施形態での色補正実施ボタン91の表示例を示す図である。
【0097】
ステップS151:入力したカラー画像3(Ri,Gi,Bi)を画像記憶手段4に記憶する。
ステップS152:画像記憶手段4に保持されているカラー画像5と、色補正実施ボタン91とを表示手段21に表示する。色補正実施ボタン91は、例えば図14に示すごとく、表示手段21の下側に表示される。
【0098】
ステップS153:カーソル24が、表示されたカラー画像23上にあり、このときユーザによりマウスボタン25(図2参照)が押された場合は、カーソル24の先端の位置にある画素が、色の補正を行なう補正対象色7として指定される。この指定が行なわれた場合(ステップS153のYESルート)、ステップS155に進む。指定が行なわれない場合(ステップS153のNOルート)、ステップS154に進む。
【0099】
ステップS154:ユーザは補正対象色7の指定を完了した後、マウス22を操作して色補正実施ボタン91を押す(クリックする)。色補正実施ボタン91が押された場合(ステップS154のYESルート)、図13に示すフローチャートbのステップS161に進み、それ以外の場合(ステップS154のNOルート)、ステップS153に戻る。
【0100】
ステップS155:表示手段21上に表示されたカラー画像23のカーソル24の先端が指示する、画像の位置を計算し、その位置の画素の色値(Rs,Gs,Bs)を補正対象色7として取得する。
ステップS156:図3に示す最適色設定盤31を表示手段21に表示する。ステップS157:ユーザが種類設定ボタン32を押した場合(ステップS157のYESルート)、図12に示すフローチャートaのステップS159に進み、それ以外の場合(ステップS157のNOルート)、ステップS158に進む。
【0101】
ステップS158:設定の中止ボタン90が押された場合(ステップS158のYESルート)、補正対象色7の指定や最適色9の設定を中止し、ステップS153に進み、それ以外の場合(ステップS158のNOルート)、S157に進む。
ステップS159:押された種類設定ボタン32に従って、図9に示す重み係数を含む最適色データベースを参照し、最適色(L*t,a*t,b*t)と、重み係数Gとを取得する。
【0102】
ステップS160:補正対象色(Rs,Gs,Bs),最適色(L*t,a*t,b*t)および重み係数Gを、図10に示すごとく、補正対象色・最適色・重み係数対応表に追加し、ステップS153に進む。
最適色9の設定を完了すると、ユーザは色補正実施ボタン91を押し(ステップS154のYESルート)、図13に示すフローチャートbのステップS161に進む。
【0103】
例えば図2に示すごとく、補正対象色7が4種指定された場合(図13においてn=4の場合)、
ステップS161:設定した4つの最適色の明るさL*t1〜L*t4を、上式(1)〜(4)を用いて、Yt1〜Yt4に変換する。
ステップS162:設定した4組の補正対象色と最適色とに基づいて、上式(8)を満たす、個別明るさ補正係数α1〜α4を計算する。
【0104】
ステップS163:個別明るさ補正係数α1〜α4と、これと対になる重み係数G1〜G4とを用いて、上式(11)により加重平均値を、明るさ補正係数αとして計算する。
ステップS164:明るさ補正係数αを用いて、カラー画像5の各画素の色値と補正対象色の色値とに対し、上式(5)〜(7)により明るさ補正を施し、明るさ補正を施されたカラー画像42の色値(Rsp,Gsp,Bsp)と、明るさ補正された補正対象色43の色値(Rss,Gss,Bss)とを求める。
【0105】
ステップS165:明るさ補正されたカラー画像(Rsp,Gsp,Bsp)をL*a*b*空間の色値(L*p,a*p,b*p)に変換する。また、明るさ補正された4つの補正対象色の色値(Rss1,Gss1,Bss1)〜(Rss4,Gss4,Bss4)についても、4つのL*a*b*空間の色値(L*s1,a*s1,b*s1)〜(L*s4,a*s4,b*s4)に変換する。
【0106】
ステップS166:明るさ補正された4つの補正対象色の色値(L*s1,a*s1,b*s1)〜(L*s4,a*s4,b*s4)と、最適色の色値(L*t1,a*t1,b*t1)〜(L*t4,a*t4,b*t4)とに基づいて、上式(9)に従った補正判別式D1〜D4と色差adif1〜adif4およびbdif1〜bdif4とを求める。
ステップS167:上記補正式(10)に従って、明るさ補正されたカラー画像(L*p,a*p,b*p)のa*およびb*に対する補正、即ち色相・彩度補正を行なう。
【0107】
上述した本発明の第3実施形態としてのカラー画像処理装置1Bによれば、補正対象色指定手段6で指定された補正対象色7に対して、最適色9を設定する場合、同時にその最適色9の正確度合いを表す重み係数Gも設定しておく。そして、明るさ補正を行なう際に、補正対象色7および最適色9の対が複数存在する場合、個別明るさ補正係数α1〜αnの加重平均値を求めることにより、重み係数の大きい対を重視した明るさ補正係数αが導出される。従って、重み係数の大きい最適色の明るさを重視した明るさ補正が行なわれ、より正確な明るさ補正を行なうことができる。
【0108】
また、最適色データベースに、各最適色に対応する重み係数を予め保有させておくことで、明るさ補正係数導出手段53(補正係数加重平均手段55)は、個別明るさ補正係数α1〜αnの加重平均を明るさ補正係数αとして極めて容易に算出することができる。
【0109】
〔4〕第4実施形態の説明
図15は本発明の第4実施形態としてのカラー画像処理装置151の機能構成を示すブロック図である。この図15に示す第4実施形態のカラー画像処理装置151は、デジタルカメラやイメージスキャナなどから入力されるカラー画像に対して、明るさや色彩の補正を施すもので、画像記憶手段154,大まか明るさ補正手段166,表示手段152,補正対象色指定手段156,最適色設定手段158,仮明るさ補正量導出手段160,正明るさ補正量導出手段167,明るさ補正係数導出手段168および精密明るさ補正手段(明るさ補正手段)162を有している。このカラー画像処理装置151も、第1〜第3実施形態と同様、具体的にはコンピュータシステム(例えばパーソナルコンピュータ)によって実現される。
【0110】
カラー画像処理装置151を実現するためのコンピュータシステムにおいても、CPU(図示省略)がそなえられるとともに、このCPUに、バスライン(図示省略)を介して、画像記憶手段154として機能するメモリ(ROM,RAM等)や、表示手段152として機能するディスプレイ(CRT,PDP,LCD等)や、マウス22(図2参照)などが接続されている。
【0111】
ここで、画像記憶手段154,表示手段152,補正対象色指定手段156,最適色設定手段158は、それぞれ、画像記憶手段4,表示手段21,補正対象色指定手段6,最適色設定手段8と同様に機能するものであり、その詳細な説明は省略する。
【0112】
また、前記メモリには、図15に示す大まか明るさ補正手段166,補正対象色指定手段156,最適色設定手段158,仮明るさ補正量導出手段160,正明るさ補正量導出手段167,明るさ補正係数導出手段168および精密明るさ補正手段162を実現するためのカラー画像処理プログラムがアプリケーションプログラムとして格納されている。
【0113】
このカラー画像処理プログラムを、前記CPUが前記バスラインを介してメモリから読み出して実行することにより、大まか明るさ補正手段166,補正対象色指定手段156,最適色設定手段158,仮明るさ補正量導出手段160,正明るさ補正量導出手段167,明るさ補正係数導出手段168および精密明るさ補正手段162としての機能(その詳細については後述)、つまりは、第4実施形態のカラー画像処理装置151としての機能が実現され、本発明のカラー画像処理方法が実行されるようになっている。
【0114】
大まか明るさ補正手段166,補正対象色指定手段156,最適色設定手段158,仮明るさ補正量導出手段160,正明るさ補正量導出手段167,明るさ補正係数導出手段168および精密明るさ補正手段162としての機能を実現する際には、内部記憶装置(本実施形態では前記メモリ)に格納されたカラー画像処理プログラムがコンピュータのマイクロプロセッサ(本実施形態では前記CPU)によって実行される。このとき、記録媒体に記録されたカラー画像処理プログラムをコンピュータシステムが直接読み取って実行するようにしてもよい。
【0115】
本実施形態のカラー画像処理プログラムは、コンピュータに大まか明るさ補正手段166,補正対象色指定手段156,最適色設定手段158,仮明るさ補正量導出手段160,正明るさ補正量導出手段167,明るさ補正係数導出手段168および精密明るさ補正手段162としての機能を実現させるためのプログラムコードを含んでいる。また、その機能の一部は、カラー画像処理プログラム(アプリケーションプログラム)ではなくオペレーションシステムによって実現されてもよい。
【0116】
さて、次に、前記CPUにより実現される各種機能(大まか明るさ補正手段166,補正対象色指定手段156,最適色設定手段158,仮明るさ補正量導出手段160,正明るさ補正量導出手段167,明るさ補正係数導出手段168および精密明るさ補正手段162としての機能)について、詳細に説明する。
【0117】
なお、第4本実施形態においても、デジタルカメラやイメージスキャナなどの画像入力機器からのカラー画像153は、カラー画像処理装置151内部の画像記憶手段154に送られ記憶されるが、カラー画像処理装置151に接続された外部記憶装置に記憶させてもよい。そして、ユーザがカラー画像の補正を行なう際には、大まか明るさ補正手段166によって明るさ補正を施された、仮明るさ補正済みカラー画像164が、表示手段152に送られ、この表示手段152において、例えば図2に示すごとく表示されるようになっている。
【0118】
大まか明るさ補正手段166は、カラー画像155中の画素情報(輝度,明度,濃度)の頻度分布、もしくは、カラー画像155中の画素情報(輝度,明度,濃度)の最大値/最小値/平均値に基づいて、カラー画像155の明るさを予め補正し、仮明るさ補正済みカラー画像164を生成するものである。
【0119】
この大まか明るさ補正手段166は、ある特定のアルゴリズムをもつ明るさ補正手段ではなく、カラー画像に対して大まかな明るさ補正を施すことのできる明るさ補正手段ならば何でもよい。
例えば、大まか明るさ補正手段166としては、前述した従来例1のほかに、「Juha Katajamaki and Pekka Laihanen,“Image Dependent Gamma Selection Based on Color Palette Equalization and a Simple Lightness Model”, Proc.Of 7th CIC 301〜306(1999)」で開示された、画像全体を良好な明るさに補正する技術を用いることができる。
【0120】
この技術においては、入力カラー画像の明るさの最適化が下記手順〔e1〕〜〔e3〕で行なわれる。
〔e1〕カラー画像中の非常に多くの色を、色の近似度に合わせて、数個から数十個の色に減少させた、パレット画像を作成する。このパレット画像(ガンマ補正前のパレット画像)に含まれる色の明度分布は、例えば図16(a)に示すようになっている。
【0121】
〔e2〕パレット画像中の色の明るさに注目し、この明るさ値が、例えば図16(b)に示すごとく一定間隔で均一に並ぶようにカラー画像を補正することのできる、ガンマ係数値を計算する。
〔e3〕〔e2〕で計算されたガンマ係数値を用いて、元の、補正すべきカラー画像に対して補正を施す。
【0122】
なお、図16(a)および図16(b)は、第4実施形態の大まか明るさ補正手段166で用いられる補正手法の一例(パレット画像中の色の明度の均一化)を説明するための図である。
補正対象指定手段156は、第1実施形態における補正対象色指定手段6と同様の機能を果たすもので、1つ以上の補正対象色157(157−1〜157−n)を導出するものである。
【0123】
最適色設定手段158は、第1実施形態の最適色データベース8aと同様の最適色データベース158aを有し、第1実施形態における最適色設定手段8と同様の機能を果たすもので、補正対象色指定手段156で指定された1つ以上の補正対象色157(157−1〜157−n)に対して、それぞれ対になる最適色159(159−1〜159−n)を、最適色データベース158aから選択して設定するものである。
【0124】
なお、補正対象色157の指定は、カラー画像155中から自動検索してもよい。また、最適色159の設定も、ユーザに指示させるのではなく、自動判別してもよい。
仮明るさ補正量導出手段160は、対となっている補正対象色157(157−1〜157−n)と最適色159(159−1〜159−n)との明るさの差分の絶対値を、補正対象色157と最適色159との対毎に、仮明るさ補正量165(165−1〜165−n)として導出するものである。
【0125】
正明るさ補正量導出手段167は、仮明るさ補正量165(165−1〜165−n)の大きさに応じて、その仮明るさ補正量165の大きさを減少させるように仮明るさ補正量165を補正し、正明るさ補正量161(161−1〜161−n)を導出するもので、このとき、仮明るさ補正量165の大きさが大きくなるに連れて、正明るさ補正量161を、一定値に漸近させるように導出するものである。
【0126】
明るさ補正係数導出手段168は、正明るさ補正量161(161−1〜161−n)と補正対象色157(157−1〜157−n)と最適色159(159−1〜159−n)とに基づいて、明るさ補正係数169を導出するものである。
【0127】
そして、精密明るさ補正手段(明るさ補正手段)169は、明るさ補正係数169を用いて、大まか明るさ補正手段166によって補正を施された仮明るさ補正済みカラー画像164の明るさを補正し、明るさ補正済みカラー画像163を生成するものである。
【0128】
次に、上述のごとく構成された、第4実施形態のカラー画像処理装置151によるカラー画像補正動作について、図17を参照しながら説明する。なお、図17は第4実施形態の正明るさ補正量導出手段167の動作を説明するための図である。
まず、画像記憶手段154に記憶されたカラー画像155(Ri,Gi,Bi)に対して、大まか明るさ補正手段166により、大まかな明るさ補正(従来手法による明るさ補正等)が施される。
【0129】
この大まか明るさ補正手段166では、前述した通り、特定のアルゴリズムをもつ方法による補正が行なわれるわけではなく、画像の色の頻度分布や平均値/最大値などを用いて明るさ補正〔例えば、従来例1や、図16(a)および図16(b)により説明した技術によって代表される一般的な明るさ補正〕が行なわれる。
【0130】
この大まか明るさ補正手段166によって、カラー画像155は、完全ではないが、大まかな明るさ補正を施された、仮明るさ補正済みカラー画像164(Rii,Gii,Bii)に変換される。この仮明るさ補正済みカラー画像164は、表示手段152上において、図2に示すごとく、表示画像23として表示される。
【0131】
ついで、補正対象色指定手段156において、補正対象色157(157−1〜157−n)が指定される。その指定手法は、第1実施形態と同様である。ただし、補正対象色指定手段156において得られる補正対象色157(Rs,Gs,Bs)は、第1実施形態とは異なり、カラー画像155(Ri,Gi,Bi)の中から抽出されたものではなく、仮明るさ補正済みカラー画像164(Rii,Gii,Bii)の中から抽出されたものである。
【0132】
また、最適色設定手段158において、最適色159(159−1〜159−n)が最適色データベース158aから選択されて設定され、第1実施形態と同様、図5に示すような、補正対象色・最適色対応表が生成される。
そして、仮明るさ補正量導出手段160において、補正対象色・最適色対応表を参照しながら、補正対象色157と最適色159との対ごとに、仮明るさ補正量ΔPt(165,165−1〜165−n)が算出される。
【0133】
ここでは、上式(1)〜(4)を用いて、補正対象色157(Rs,Gs,Bs)を、L*a*b*空間の値(L*s,a*s,b*s)に変換し、補正対象色157のL*sと、これに対応する最適色159(L*t,a*t,b*t)のL*tとの差分の絶対値として、仮明るさ補正量ΔPtが算出される。
【0134】
次に、正明るさ補正量導出手段167において、各仮明るさ補正量ΔPtを減少させ、各正明るさ補正量ΔP(161,161−1〜161−n)が、下式(12),(13)により導出される。ただし、下式(12),(13)中の定数LIMは、図17に示すように、各正明るさ補正量ΔPが、計算式(12),(13)によって採り得る最大の値を表するもので、その値としては、実験から、約30が最も良い結果を得られることが確認されている。なお、図17において、仮明るさ補正量ΔPtと、下式(12),(13)によって算出される正明るさ補正量ΔPとの関係が示されている。
【0135】
【数7】
【0136】
このようにして、正明るさ補正量導出手段167においては、仮明るさ補正量ΔPtが小さい場合には、その仮明るさ補正量ΔPtの値がほとんど変更されずに正明るさ補正量ΔPとして導出される。そして、仮明るさ補正量165が大きくなるに連れて、正明るさ補正量ΔPは定数LIM(=30)に漸近するように算出され、仮明るさ補正量ΔPtが一定値2・LIMを超えると、正明るさ補正量ΔPは定数LIM(例えば30)となる。
【0137】
この後、明るさ補正係数導出手段168においては、精密明るさ補正手段162で明るさを補正するために用いられる係数である、明るさ補正係数αが導出される。
その際、補正対象色157のL*a*b*空間での値(L*s,a*s,b*s)と、各最適色159の値(L*t,a*t,b*t)と、それと対になる正明るさ補正量(ΔP)161とを用いて、下式(14),(15)により、各最適色159のL*t値に対する補正が施され、補正後の値L*ttが生成される。
【0138】
【数8】
【0139】
そして、明るさ補正係数導出手段168では、上式(14),(15)によって補正された各最適色159(L*tt,a*t,b*t)と、補正対象色157とを用いて、明るさ補正係数αが導出される。その導出手法は、第1実施形態における明るさ補正係数導出手段10での導出手法と同様であるので、その説明は省略する。
【0140】
このとき、正明るさ補正量ΔPは、補正対象色157と最適色159との差分の絶対値である仮明るさ補正量ΔPtよりも大きくなることはなく、ある値(LIM)を最大値とした、制限された値となる。そのため、上式(14),(15)によって、明るさ補正係数導出手段168では、明るさ補正係数αを用いて補正されるカラー画像の明るさの補正量の絶対値も、ある値を最大として制限される。
【0141】
最後に、精密明るさ補正手段162において、明るさ補正係数導出手段168によって導出された明るさ補正係数αを用い、仮明るさ補正画像164(Rii,Gii,Bii)に対して精密な明るさ補正が施され、明るさ補正済みカラー画像163が生成される。このときの補正手法は、対象が仮明るさ補正画像164(Rii,Gii,Bii)であること以外は、第1実施形態における明るさ補正手段12での補正手法と同様であるので、その説明は省略する。
【0142】
上述した本発明の第4実施形態としてのカラー画像処理装置151によれば、まずはじめに、従来例1や図16(a)および図16(b)により説明した技術で代表されるような、大まか明るさ補正手段166によって、カラー画像155に対して大まかな明るさ補正が施され、仮明るさ補正画像164が生成されている。この仮明るさ補正画像164には、記憶色の明るさを最適値の明るさに合わせる手法による明るさ補正は施されてはいないので、画像164における記憶色は最適な明るさにはなっていないが、ある程度、明るさの改善はなされている。
【0143】
このような仮明るさ補正画像164に対して、補正を行ないたい補正対象色157と、それと対になり、補正対象色157を再現するのにふさわしい最適色159が、補正対象色指定手段158および最適色設定手段159で取得されている。そして、この補正対象色157と最適色159との、明るさの差分の絶対値である、仮明るさ補正量(ΔPt)165が導出される。
【0144】
この仮明るさ補正量165の大きさは、仮明るさ補正画像164に対して、ある程度の明るさ補正が施されているので、通常は、あまり大きくはならない。しかし、画像が逆光画像である場合は、この値は大きな値となる。
【0145】
このような逆光画像では、前述の通り、逆光となっている部分と、逆光となっていない部分との中間の明るさが、最適の明るさであるが、従来の方法を用いても、第1〜第3実施形態の方法を用いても、逆光画像の明るさを、上述のような最適な明るさに補正することができない。
【0146】
しかし、この第4実施形態のカラー画像処理装置151では、正明るさ補正量導出手段167において、仮明るさ補正量(ΔPt)165の大きさが大きければ大きいほど、その仮明るさ補正量(ΔPt)165の値を減少させるような補正を行なって、正明るさ補正量(ΔP)161を導出している。
【0147】
つまり、仮明るさ補正量(ΔPt)165の大きさが小さい場合は、その画像は逆光画像ではないと判別して、補正対象色157を最適な明るさに合わせるための値を正明るさ補正量ΔPとして設定し、仮明るさ補正量(ΔPt)165の大きさが大きい場合は、この仮明るさ補正量(ΔPt)165の値を減じて正明るさ補正量(ΔP)161を導出して、補正対象色157の明るさの最適化と、従来の明るさ補正結果の中庸の、最適な明るさ補正を行なうようにしている。
【0148】
このように、第4実施形態のカラー画像処理装置151によれば、仮明るさ補正量(ΔPt)165の大きさに応じて、仮明るさ補正量(ΔPt)165の大きさを減少させるように仮明るさ補正量(ΔPt)165が補正され、正明るさ補正量(ΔP)161として用いられるので、逆光画像に対して、補正対象色の明るさの最適化と、画像全体の最適な明るさ補正(中庸の明るさ補正)との両方が実現される。従って、逆光画像全体の明るさを大きく変えることなく、被写体の特徴的な色(特に、被写体が人物である場合には肌色)が、元の画像に対して比較的に良好な明るさに補正され、逆光画像を、見た目に自然な画像に補正することができる。
【0149】
特に、第4実施形態の正明るさ補正量導出手段167では、図16に示すごとく、仮明るさ補正量(ΔPt)165の大きさが小さい場合、その仮明るさ補正量(ΔPt)165の値をほとんど変えずに正明るさ補正量(ΔP)161として設定し、仮明るさ補正量(ΔPt)165の大きさが大きくなるに連れて、減少量が大きくなるように仮明るさ補正量(ΔPt)165を補正し、正明るさ補正量(ΔP)1161を導出している。
【0150】
このとき、正明るさ補正量(ΔP)161の値は、一定値LIM(例えば30)に漸近するように決定されている。従って、ひどい逆光画像で、仮明るさ補正量(ΔPt)165の大きさが著しく大きい場合でも、その最大補正量が一定値LIMに制限され、画像全体の明るさのバランスを崩さずに、明るさ補正を行なうことができる。
【0151】
また、精密明るさ補正手段162による正式な明るさ補正を行なう前に、大まか明るさ補正手段166により、カラー画像155に対して、カラー画像155中の画素情報(輝度,明度,濃度)の頻度分布、もしくは、カラー画像155中の画素情報(輝度,明度,濃度)の最大値/最小値/平均値に基づいて、大まかな明るさ補正が施されるので、精密明るさ補正前の画像である仮明るさ補正済みカラー画像164が、画像全体においては、ほぼ明るさが適正であることが保証される。よって、このような仮明るさ補正済みカラー画像164に対して精密明るさ補正手段162による正式な明るさ補正を施し、明るさを、記憶色が改善されるように微調整しても、画像全体の明るさは、ほぼ適正な状態のままであることが保証される。
【0152】
なお、この第4実施形態のカラー画像処理装置151においても、第2実施形態の色相・彩度補正手段44(図6参照)や、第3実施形態の明るさ補正係数導出手段53(図8参照)をそなえてもよく、この場合、第2実施形態や第3実施形態と同様の作用効果を得ることができる。
【0153】
また、第4実施形態のカラー画像処理装置151を、大まか明るさ補正手段166を省略した構成としてもよい。この場合も、上述した第4実施形態と同様、逆光画像が認識され、その逆光画像に対して、補正対象色157の明るさの最適化と、元のカラー画像の全体的な明るさの保存との両方が実現される。従って、逆光画像全体の明るさを大きく変えることなく、被写体の特徴的な色が、元の画像に対して比較的に良好な明るさに補正され、逆光画像を、見た目に自然な画像に補正することができる。
【0154】
〔5〕その他
なお、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
【0155】
〔6〕付記
(付記1) カラー画像中の補正対象色を指定する補正対象色指定手段と、該補正対象色指定手段により指定された前記補正対象色に対応する最適色を設定する最適色設定手段と、
前記補正対象色と前記最適色とに基づいて、明るさ補正係数を導出する明るさ補正係数導出手段と、
前記明るさ補正係数を用いて、前記カラー画像の明るさを補正し、明るさ補正済みカラー画像を生成する明るさ補正手段とを有することを特徴とする、カラー画像処理装置。
【0156】
(付記2) 該明るさ補正手段は、前記明るさ補正済みカラー画像を生成するとともに、前記明るさ補正係数を用いて、前記補正対象色の明るさを補正して、明るさ補正済み補正対象色を生成し、
該明るさ補正済み補正対象色と、前記最適色との色差に基づいて、前記明るさ補正済カラー画像の色相・彩度を補正する色相・彩度補正手段をさらに有することを特徴とする、付記1記載のカラー画像処理装置。
【0157】
(付記3) 該補正対象色指定手段が、複数の補正対象色を指定し、
該最適色設定手段が、前記複数の補正対象色のそれぞれに対応する複数の最適色を設定し、
該明るさ補正係数導出手段が、前記複数の補正対象色と前記複数の最適色とのそれぞれの対の対応した、複数の個別明るさ補正係数を導出するとともに、各最適色に対応する重み係数を用いて、前記複数の個別明るさ補正係数の加重平均値を、前記明るさ補正係数として導出することを特徴とする、付記1または付記2に記載のカラー画像処理装置。
【0158】
(付記4) 種々の最適色の色値を予め保有する最適色データベースをさらに有し、
該最適色設定手段が、前記補正対象色に対応する前記最適色を、該最適色データベースから選択して設定することを特徴とする、付記1または付記2に記載のカラー画像処理装置。
【0159】
(付記5) 種々の最適色の色値を予め保有するとともに、各最適色に対応する重み係数を予め保有する最適色データベースをさらに有し、
該最適色設定手段が、前記複数の補正対象色のそれぞれに対応する前記複数の最適色を該最適色データベースから選択して設定し、
該明るさ補正係数導出手段が、各最適色に対応する前記重み係数を該最適色データベースから読み出すことを特徴とする、付記3記載のカラー画像処理装置。
【0160】
(付記6) カラー画像中の補正対象色を指定する補正対象色指定手段と、
前記補正対象色に対応する最適色を設定する最適色設定手段と、
前記補正対象色と前記最適色とに基づいて、明るさ補正係数を導出する明るさ補正係数導出手段と、
前記明るさ補正係数を用いて、前記カラー画像の明るさを補正し、明るさ補正済みカラー画像を生成する明るさ補正手段として、コンピュータを機能させることを特徴とする、カラー画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【0161】
(付記7) 該明るさ補正手段は、前記明るさ補正済みカラー画像を生成するとともに、前記明るさ補正係数を用いて、前記補正対象色の明るさを補正して、明るさ補正済み補正対象色を生成し、
該明るさ補正済み補正対象色と、前記最適色との色差に基づいて、前記明るさ補正済カラー画像の色相・彩度を補正する色相・彩度補正手段として、該コンピュータをさらに機能させることを特徴とする、付記6記載のカラー画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【0162】
(付記8) 該補正対象色指定手段が、複数の補正対象色を指定し、
該最適色設定手段が、前記複数の補正対象色のそれぞれに対応する複数の最適色を設定し、
該明るさ補正係数導出手段が、前記複数の補正対象色と前記複数の最適色とのそれぞれの対の対応した、複数の個別明るさ補正係数を導出するとともに、各最適色に対応する重み係数を用いて、前記複数の個別明るさ補正係数の加重平均値を、前記明るさ補正係数として導出することを特徴とする、付記6または付記7に記載のカラー画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【0163】
(付記9) カラー画像中の補正対象色を指定する補正対象色指定ステップと、
前記補正対象色に対応する最適色を設定する最適色設定ステップと、
前記補正対象色と前記最適色とに基づいて、明るさ補正係数を導出する明るさ補正係数導出ステップと、
前記明るさ補正係数を用いて、前記カラー画像の明るさを補正し、明るさ補正済みカラー画像を生成する明るさ補正ステップとを有することを特徴とする、カラー画像処理方法。
【0164】
(付記10) 該明るさ補正ステップにおいて、前記明るさ補正済みカラー画像を生成するとともに、前記明るさ補正係数を用いて、前記補正対象色の明るさを補正して、明るさ補正済み補正対象色を生成し、
該明るさ補正済み補正対象色と、前記最適色との色差に基づいて、前記明るさ補正済カラー画像の色相・彩度を補正する色相・彩度補正ステップをさらに有することを特徴とする、付記9記載のカラー画像処理方法。
【0165】
(付記11) 該補正対象色指定ステップにおいて、複数の補正対象色を指定し、
該最適色設定ステップにおいて、前記複数の補正対象色のそれぞれに対応する複数の最適色を設定し、
該明るさ補正係数導出ステップにおいて、前記複数の補正対象色と前記複数の最適色とのそれぞれの対の対応した、複数の個別明るさ補正係数を導出するとともに、各最適色に対応する重み係数を用いて、前記複数の個別明るさ補正係数の加重平均値を、前記明るさ補正係数として導出することを特徴とする、付記9または付記10に記載のカラー画像処理方法。
【0166】
(付記12) カラー画像中の補正対象色を指定する補正対象色指定手段と、
前記補正対象色に対応する最適色を設定する最適色設定手段と、
前記補正対象色と前記最適色との明るさの差分値に応じた仮明るさ補正量を導出する仮明るさ補正量導出手段と、
前記仮明るさ補正量の大きさに応じて、前記仮明るさ補正量の大きさを減少させるように前記仮明るさ補正量を補正し、正明るさ補正量を導出する正明るさ補正量導出手段と、
前記正明るさ補正量と前記補正対象色と前記最適色とに基づいて、明るさ補正係数を導出する明るさ補正係数導出手段と、
前記明るさ補正係数を用いて、前記カラー画像の明るさを補正し、明るさ補正済みカラー画像を生成する明るさ補正手段とを有することを特徴とする、カラー画像処理装置。
【0167】
(付記13) 該正明るさ補正量導出手段は、前記仮明るさ補正量の大きさが大きくなるに連れて、前記正明るさ補正量を、一定値に漸近させるように導出することを特徴とする、付記12記載のカラー画像処理装置。
【0168】
(付記14) 前記カラー画像中の画素情報の頻度分布、もしくは、前記カラー画像中の画素情報の最大値/最小値/平均値に基づいて、前記カラー画像の明るさを予め補正し、前記カラー画像として仮明るさ補正済みカラー画像を生成する仮明るさ補正手段(大まか明るさ補正手段)をさらに有することを特徴とする、付記12または付記13に記載のカラー画像処理装置。
【0169】
(付記15) カラー画像中の補正対象色を指定する補正対象色指定手段と、
前記補正対象色に対応する最適色を設定する最適色設定手段と、
前記補正対象色と前記最適色との明るさの差分値に応じた仮明るさ補正量を導出する仮明るさ補正量導出手段と、
前記仮明るさ補正量の大きさに応じて、前記仮明るさ補正量の大きさを減少させるように前記仮明るさ補正量を補正し、正明るさ補正量を導出する正明るさ補正量導出手段と、
前記正明るさ補正量と前記補正対象色と前記最適色とに基づいて、明るさ補正係数を導出する明るさ補正係数導出手段と、
前記明るさ補正係数を用いて、前記カラー画像の明るさを補正し、明るさ補正済みカラー画像を生成する明るさ補正手段として、コンピュータを機能させることを特徴とする、カラー画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【0170】
(付記16) 該正明るさ補正量導出手段は、前記仮明るさ補正量の大きさが大きくなるに連れて、前記正明るさ補正量を、一定値に漸近させるように導出することを特徴とする、付記15記載のカラー画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【0171】
(付記17) 前記カラー画像中の画素情報の頻度分布、もしくは、前記カラー画像中の画素情報の最大値/最小値/平均値に基づいて、前記カラー画像の明るさを予め補正し、前記カラー画像として仮明るさ補正済みカラー画像を生成する仮明るさ補正手段(大まか明るさ補正手段)として、該コンピュータをさらに機能させることを特徴とする、付記15または付記16に記載のカラー画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【0172】
(付記18) カラー画像中の補正対象色を指定する補正対象色指定ステップと、
前記補正対象色に対応する最適色を設定する最適色設定ステップと、
前記補正対象色と前記最適色との明るさの差分値に応じた仮明るさ補正量を導出する仮明るさ補正量導出ステップと、
前記仮明るさ補正量の大きさに応じて、前記仮明るさ補正量の大きさを減少させるように前記仮明るさ補正量を補正し、正明るさ補正量を導出する正明るさ補正量導出ステップと、
前記正明るさ補正量と前記補正対象色と前記最適色とに基づいて、明るさ補正係数を導出する明るさ補正係数導出ステップと、
前記明るさ補正係数を用いて、前記カラー画像の明るさを補正し、明るさ補正済みカラー画像を生成する明るさ補正ステップとを有することを特徴とする、カラー画像処理方法。
【0173】
(付記19) 該正明るさ補正量導出ステップにおいて、前記仮明るさ補正量の大きさが大きくなるに連れて、前記正明るさ補正量を、一定値に漸近させるように導出することを特徴とする、付記18記載のカラー画像処理方法。
【0174】
(付記20) 前記カラー画像中の画素情報の頻度分布、もしくは、前記カラー画像中の画素情報の最大値/最小値/平均値に基づいて、前記カラー画像の明るさを予め補正し、前記カラー画像として仮明るさ補正済みカラー画像を生成する仮明るさ補正ステップ(大まか明るさ補正ステップ)をさらに有することを特徴とする、付記18または付記19に記載のカラー画像処理方法。
【0175】
【発明の効果】
以上詳述したように、本発明のカラー画像形成装置(請求項1〜請求項4)によれば、以下のような効果ないし利点を得ることができる。
【0176】
〔1〕補正対象色と最適色とを利用してカラー画像の明るさが補正されるので、カラー画像中の補正を行ないたい色に対して、その補正対象色で構成された被写体の、本来の色に極めて近い最適色を設定することができる。従って、補正対象色と最適色とから、カラー画像の明るさの変化度合いを正確に把握でき、最適色の明るさに合わせた明るさの補正が行なわれ、ヒストグラムを用いた明るさ補正よりも、正確にカラー画像の明るさを補正することができる。つまり、露光不足の画像、露光過剰な画像、あるいは、光源の色に偏りがある画像を、見た目に自然な画像、あるいは好みの明るさと色彩の画像に補正することができる(請求項1)。
【0177】
〔2〕正確に画像の明るさを補正した後に、補正対象色と最適色とをほぼ一致させるように、明るさ補正済カラー画像の色相・彩度が補正されるので、補正したい色を綺麗に再現することができるほか、カラー画像の明るさや色彩を、好みの明るさや色彩に変換することができる(請求項1)。
【0178】
〔3〕明るさ補正を行なう際に、補正対象色および最適色の対が複数存在する場合、個別明るさ補正係数の加重平均値を求めることにより、重み係数の大きい対ほど重視した明るさ補正係数が導出される。つまり、重み係数の大きい最適色の明るさを重視した明るさ補正が行なわれ、より正確な明るさ補正を行なうことができる(請求項2)。
【0179】
〔4〕種々の最適色の色値を予め最適色データベースに保有させておき、最適色設定手段により、補正対象色に対応する最適色を、最適色データベースから選択して設定することで、最適色の設定を極めて容易に行なうことができる。
〔5〕最適色データベースに、各最適色に対応する重み係数を予め保有させておくことで、明るさ補正係数導出手段は、個別明るさ補正係数の加重平均を極めて容易に算出することができる。
【0180】
〔6〕仮明るさ補正量の大きさに応じて、仮明るさ補正量の大きさを減少させるように仮明るさ補正量が補正され、正明るさ補正量として用いられるので、逆光画像に対して、補正対象色の明るさの最適化と、画像全体の最適な明るさ補正(中庸の明るさ補正)との両方が実現される。従って、逆光画像全体の明るさを大きく変えることなく、被写体の特徴的な色(特に、被写体が人物である場合には肌色)が、元の画像に対して比較的に良好な明るさに補正され、逆光画像を、見た目に自然な画像に補正することができる(請求項3)。
【0181】
〔7〕正明るさ補正量の採り得る値は、一定値に漸近するように決定されるので、ひどい逆光画像で、仮明るさ補正量の大きさが著しく大きい場合でも、その最大補正量が前記一定値に制限され、画像全体の明るさのバランスを崩さずに、明るさ補正を行なうことができる(請求項4)。
【0182】
〔8〕明るさ補正手段による正式な明るさ補正を行なう前に、カラー画像に対し、カラー画像中の画素情報の頻度分布もしくはカラー画像中の画素情報の最大値/最小値/平均値に基づいて、予め大まかな明るさ補正が施されるので、この大まかな明るさ補正後のカラー画像は、画像全体においては、ほぼ明るさが適正であることが保証される。よって、このようなカラー画像に対して明るさ補正手段による正式な明るさ補正を施し、明るさを、記憶色が改善されるように微調整しても、画像全体の明るさは、ほぼ適正な状態のままであることを保証することができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態としてのカラー画像処理装置の機能構成を示すブロック図である。
【図2】第1実施形態での補正対象色指定時における表示画面の例を示す図である。
【図3】第1実施形態での最適色設定時に用いられる最適色設定盤の表示例を示す図である。
【図4】第1実施形態における最適色データベースの具体例を示す図である。
【図5】第1実施形態において生成される補正対象色・最適色対応表の例を示す図である。
【図6】本発明の第2実施形態としてのカラー画像処理装置の機能構成を示すブロック図である。
【図7】第2実施形態において生成される明るさ補正済み補正対象色・最適色対応表の例を示す図である。
【図8】本発明の第3実施形態としてのカラー画像処理装置の機能構成を示すブロック図である。
【図9】各最適色に対応する重み係数を含む、第3実施形態の最適色データベースの具体例を示す図である。
【図10】第3実施形態において生成される、補正対象色・最適色・重み係数対応表の例を示す図である。
【図11】第3実施形態のカラー画像処理装置の動作を説明するためのフローチャートである。
【図12】第3実施形態のカラー画像処理装置の動作を説明するためのフローチャートである。
【図13】第3実施形態のカラー画像処理装置の動作を説明するためのフローチャートである。
【図14】第3実施形態での色補正実施ボタンの表示例を示す図である。
【図15】本発明の第4実施形態としてのカラー画像処理装置の機能構成を示すブロック図である。
【図16】(a),(b)は第4実施形態の大まか明るさ補正手段で用いられる補正手法の一例(パレット画像中の色の明度の均一化)を説明するための図である。
【図17】第4実施形態の正明るさ補正量導出手段の動作を説明するための図である。
【図18】適正照明下での被写体の撮影状態を説明するための図である。
【図19】適正露光時のCCDの出力値を示すグラフである。
【図20】暗い照明下での被写体の撮影状態を説明するための図である。
【図21】露光不足時のCCDの出力値を示すグラフである。
【図22】適正露光時のCCD出力の色値と露光不足時のCDD出力の色値とをL*C*表記で示す図である。
【図23】逆光状態での撮影について説明するための図である。
【図24】逆光写真の例を示す図である。
【図25】(a)は濃度平均値が高い夜景画像についての明るさのヒストグラム、(b)は濃度平均値が低い雪山画像についての明るさのヒストグラム、(c)は従来例1による補正後の画像についての明るさのヒストグラムである。
【図26】逆光画像の明るさのヒストグラムである。
【符号の説明】
1,1A,1B カラー画像処理装置
3,5 カラー画像
4 画像記憶手段
6 補正対象色指定手段
7,7−1〜7−n 補正対象色
8 最適色設定手段
8a 最適色データベース
9,9−1〜9−n 最適色
10 明るさ補正係数導出手段
11 明るさ補正係数
12 明るさ補正手段
13 明るさ補正済みカラー画像
22 マウス
31 最適色設定盤
44 色相・彩度補正手段
46 明るさ・色相・彩度補正済みカラー画像
51 最適色設定手段
52 重み係数(G1〜Gn)
53 明るさ補正係数導出手段
54 個別明るさ補正係数導出手段
55 補正係数加重平均手段
56 明るさ・色相・彩度補正済みカラー画像
58 個別明るさ補正係数(α1〜αn)
59 明るさ補正係数
151 カラー画像処理装置
153,155 カラー画像
154 画像記憶手段
156 補正対象色指定手段
157,157−1〜157−n 補正対象色
158 最適色設定手段
158a 最適色データベース
159,159−1〜159−n 最適色
160 仮明るさ補正量導出手段
161,161−1〜161−n 正明るさ補正量
162 精密明るさ補正手段(明るさ補正手段)
164 仮明るさ補正カラー画像
165,165−1〜165−n 仮明るさ補正量
166 大まか明るさ補正手段(仮明るさ補正手段)
168 明るさ補正係数導出手段
169 明るさ補正係数
Claims (4)
- カラー画像中の補正対象色を指定する補正対象色指定手段と、
前記補正対象色に対応する最適色を設定する最適色設定手段と、
前記補正対象色の色値と前記最適色の明るさとに基づいて、明るさ補正係数を導出する明るさ補正係数導出手段と、
前記明るさ補正係数を用いて前記カラー画像の色値を明るさ補正済みカラー画像の色値に変換することにより前記カラー画像の明るさを補正して明るさ補正済みカラー画像を生成するとともに、前記明るさ補正係数を用いて前記補正対象色の色値を明るさ補正済み補正対象色の色値に変換することにより前記補正対象色の明るさを補正して明るさ補正済み補正対象色を生成する明るさ補正手段と、
該明るさ補正済み補正対象色と、前記最適色との色差に基づいて、前記明るさ補正済カラー画像の色相・彩度を補正する色相・彩度補正手段とを有することを特徴とする、カラー画像処理装置。 - 該補正対象色指定手段が、複数の補正対象色を指定し、
該最適色設定手段が、前記複数の補正対象色のそれぞれに対応する複数の最適色を設定し、
該明るさ補正係数導出手段が、前記複数の補正対象色と前記複数の最適色とのそれぞれの対の対応した、複数の個別明るさ補正係数を導出するとともに、各最適色に対応する重み係数を用いて、前記複数の個別明るさ補正係数の加重平均値を、前記明るさ補正係数として導出することを特徴とする、請求項1記載のカラー画像処理装置。 - カラー画像中の補正対象色を指定する補正対象色指定手段と、
前記補正対象色に対応する最適色を設定する最適色設定手段と、
前記補正対象色と前記最適色との明るさの差分値に応じた仮明るさ補正量を導出する仮明るさ補正量導出手段と、
前記仮明るさ補正量の大きさに応じて、前記仮明るさ補正量の大きさを減少させるように前記仮明るさ補正量を補正し、正明るさ補正量を導出する正明るさ補正量導出手段と、
前記正明るさ補正量と前記補正対象色の色値と前記最適色の明るさとに基づいて、明るさ補正係数を導出する明るさ補正係数導出手段と、
前記明るさ補正係数を用いて前記カラー画像の色値を明るさ補正済みカラー画像の色値に変換することにより前記カラー画像の明るさを補正し、明るさ補正済みカラー画像を生成する明るさ補正手段とを有することを特徴とする、カラー画像処理装置。 - 該正明るさ補正量導出手段は、前記仮明るさ補正量の大きさが大きくなるに連れて、前記正明るさ補正量を、一定値に漸近させるように導出することを特徴とする、請求項3記載のカラー画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000311486A JP4095765B2 (ja) | 2000-04-14 | 2000-10-12 | カラー画像処理装置 |
| US09/821,013 US7016077B2 (en) | 2000-04-14 | 2001-03-30 | Color image processing apparatus and method, and computer-readable recording medium in which color image processing program is recorded |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000114360 | 2000-04-14 | ||
| JP2000-114360 | 2000-04-14 | ||
| JP2000311486A JP4095765B2 (ja) | 2000-04-14 | 2000-10-12 | カラー画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001358961A JP2001358961A (ja) | 2001-12-26 |
| JP4095765B2 true JP4095765B2 (ja) | 2008-06-04 |
Family
ID=26590181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000311486A Expired - Fee Related JP4095765B2 (ja) | 2000-04-14 | 2000-10-12 | カラー画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7016077B2 (ja) |
| JP (1) | JP4095765B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002016818A (ja) * | 2000-04-28 | 2002-01-18 | Fuji Photo Film Co Ltd | 色補正方法および装置並びに記録媒体 |
| JP2002112025A (ja) * | 2000-10-03 | 2002-04-12 | Fujitsu Ltd | 画像補正装置および補正方法 |
| US20040135790A1 (en) * | 2003-01-15 | 2004-07-15 | Xerox Corporation | Correcting the color cast of an image |
| JP4277534B2 (ja) * | 2003-02-12 | 2009-06-10 | オムロン株式会社 | 画像編集装置および画像編集方法 |
| US7668365B2 (en) | 2004-03-08 | 2010-02-23 | Seiko Epson Corporation | Determination of main object on image and improvement of image quality according to main object |
| JP4608961B2 (ja) * | 2004-03-08 | 2011-01-12 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP2010233236A (ja) * | 2004-03-08 | 2010-10-14 | Seiko Epson Corp | 主要被写体に応じた画質の向上 |
| US7936919B2 (en) * | 2005-01-18 | 2011-05-03 | Fujifilm Corporation | Correction of color balance of face images depending upon whether image is color or monochrome |
| KR100818983B1 (ko) * | 2005-12-09 | 2008-04-03 | 삼성전자주식회사 | 후보 이미지와 자연어를 이용한 최적 선호색 재현 장치 및 방법, 선호색에 대한 특정 정보 생성 장치 및 방법, 및 상기 방법을 이용한 기록매체 |
| US7835043B2 (en) * | 2006-09-06 | 2010-11-16 | Hewlett-Packard Development Company, L.P. | Imaging device and calibration method therefor |
| JP4523945B2 (ja) * | 2007-01-16 | 2010-08-11 | 日本電信電話株式会社 | 画像処理方法、画像処理装置および画像処理プログラム |
| JP5259264B2 (ja) * | 2008-06-16 | 2013-08-07 | オリンパス株式会社 | 画像データ処理装置、該プログラム、及び該方法 |
| JP5067886B2 (ja) * | 2008-10-30 | 2012-11-07 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| CN102055882B (zh) * | 2009-10-30 | 2013-12-25 | 夏普株式会社 | 图像处理装置、图像形成装置及图像处理方法 |
| JP5653651B2 (ja) | 2010-05-11 | 2015-01-14 | シャープ株式会社 | 画像表示装置及びこれを備えた画像形成装置 |
| KR102541829B1 (ko) * | 2016-01-27 | 2023-06-09 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| CN113099191B (zh) * | 2021-03-22 | 2023-04-07 | 浙江大华技术股份有限公司 | 一种图像处理方法及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3709686A (en) * | 1971-05-03 | 1973-01-09 | J Erdell | Process for producing selected color photographs |
| DE68925231T2 (de) * | 1988-05-07 | 1996-05-15 | Nippon Kogaku Kk | Kamerasystem |
| JP2585754B2 (ja) | 1988-10-13 | 1997-02-26 | 富士写真フイルム株式会社 | 画像入出力システム及び信号処理条件の設定方法 |
| JPH04301966A (ja) * | 1991-03-28 | 1992-10-26 | Tokyo Electric Co Ltd | カラー画像読取装置 |
| JP2800672B2 (ja) * | 1994-01-31 | 1998-09-21 | 富士ゼロックス株式会社 | 文書処理装置 |
| JPH08221546A (ja) | 1995-02-15 | 1996-08-30 | Canon Inc | 画像編集方法およびシステム |
| JPH09298657A (ja) * | 1996-04-30 | 1997-11-18 | Fuji Photo Film Co Ltd | 画像処理装置 |
| JP3209402B2 (ja) * | 1996-11-01 | 2001-09-17 | 富士ゼロックス株式会社 | 画像処理装置 |
-
2000
- 2000-10-12 JP JP2000311486A patent/JP4095765B2/ja not_active Expired - Fee Related
-
2001
- 2001-03-30 US US09/821,013 patent/US7016077B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001358961A (ja) | 2001-12-26 |
| US20010035988A1 (en) | 2001-11-01 |
| US7016077B2 (en) | 2006-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4095765B2 (ja) | カラー画像処理装置 | |
| US8441544B2 (en) | Electronic camera and medium storing image processing program for skin color correction | |
| US7098944B1 (en) | Image processing apparatus and method | |
| US7180629B1 (en) | Methods and apparatus for color device characterization | |
| JP3264273B2 (ja) | 自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体 | |
| US7271838B2 (en) | Image pickup apparatus with brightness distribution chart display capability | |
| US7773127B2 (en) | System and method for RAW image processing | |
| US20050025356A1 (en) | Image processing method and apparatus | |
| US20060203298A1 (en) | Image processing apparatus, image processing method, image processing program recording medium, color adjustment method, color adjustment device, and color adjustment control program recording medium | |
| CN118571161B (zh) | Led显示屏的显示控制方法、装置、设备及存储介质 | |
| US9398282B2 (en) | Image processing apparatus, control method, and computer-readable medium | |
| JP2003230160A (ja) | カラー映像の彩度調節装置及び方法 | |
| JP2003069846A (ja) | 画像処理プログラム | |
| US7778478B2 (en) | Image processing device, image processing program, image processing method, and electronic camera for controlling degree of noise reduction in image data | |
| US6850272B1 (en) | Image processing method and system | |
| JP2009055465A (ja) | 画像処理装置および方法 | |
| CN110930341A (zh) | 一种基于图像融合的低光照图像增强方法 | |
| US7755670B2 (en) | Tone-conversion device for image, program, electronic camera, and tone-conversion method | |
| US6996270B1 (en) | Method, apparatus, and recording medium for facial area adjustment of an image | |
| JP2005130484A (ja) | 階調補正装置、および階調補正プログラム | |
| JP2003309859A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP2002271808A (ja) | 画像中の赤目を補正するプログラム、記録媒体および赤目補正方法 | |
| JP4624248B2 (ja) | 画像処理装置、肌色調整方法及びプログラム | |
| JP2003209856A (ja) | ホワイトバランス補正方法 | |
| JP2008294969A (ja) | 映像変換装置、映像変換方法、映像変換プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060627 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080310 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |
