JP3813513B2 - ホワイトバランス補正方法 - Google Patents
ホワイトバランス補正方法 Download PDFInfo
- Publication number
- JP3813513B2 JP3813513B2 JP2002022966A JP2002022966A JP3813513B2 JP 3813513 B2 JP3813513 B2 JP 3813513B2 JP 2002022966 A JP2002022966 A JP 2002022966A JP 2002022966 A JP2002022966 A JP 2002022966A JP 3813513 B2 JP3813513 B2 JP 3813513B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- gray
- color temperature
- image
- candidate pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、入力画像信号に対して、デジタル画像処理を施し、プリントを作成する際のカラー画像のホワイトバランス補正の技術に関する。
【０００２】
【従来の技術】
従来、銀塩写真技術における露光系では、一般にアナログ露光（面露光、直接露光）によってプリントが行われていた。すなわち、現像済みのネガフィルムを所定の焼き付け位置に位置決めして、白色光源（ハロゲンランプ等）からの光を照射し、ネガフィルムからの透過画像を印画紙に結像して露光していた。
【０００３】
これに対して、近年では、デジタル露光を利用する焼き付け装置、すなわち、ネガフィルムやカラーリバーサルフィルム等の写真フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上がり）プリントとするデジタルフォトプリンタが実用化されている。
【０００４】
このようなデジタルフォトプリンタにおいては、画像をデジタル画像データとして取り扱うので、フィルムに撮影された画像のみならず、デジタルスチルカメラ（ＤＳＣ）等で撮影された画像や、ＣＤ−Ｒやフレキシブルディスク、リムーバブルハードディスク（Ｚｉｐ、Ｊａｚ等）等の磁気記録媒体、ＭＯディスク（光磁気記録媒体）等の各種の記録媒体にデジタルデータとして記録された画像データについても、画像処理を施してプリントとして出力することができる。
【０００５】
従来、カラーネガフィルムは、多数の一般ユーザによって広く利用されており、そのネガフィルムへの原稿画像の撮影状態は必ずしも一様ではなく、例えば昼光や蛍光灯等の様々な光源下で使用されている。従って、現像済みネガフィルムからプリントを作成する場合、プリント光源の光質を一定にして、焼き付けを行うと、撮影光源の色味が直接プリントに反映されてしまい、不適切なプリントになってしまうことがあった。
【０００６】
そのため、従来、プリント上でホワイトバランスを調整するために様々な工夫がなされて来た。その中の代表的なものとして、「世の中の色をすべて平均すればグレーである。」というエバンスの原理（仮説）に基づく、ＬＡＴＤ方式がある。ＬＡＴＤ（Large Area Transmission Density 、大面積平均透過濃度) とは、画面全体の平均透過濃度のことをいい、ＬＡＴＤ方式とは、カラーネガフィルムの各コマのＬＡＴＤを測定し、そのＲＧＢ濃度の大小によりプリント光源の光質を変化させることによりプリント上の平均色をグレーに近づけるというものである。
【０００７】
一方、近年、デジタルスチルカメラ（ＤＳＣ）が急激に普及し始めている。ＤＳＣは、シーンを撮像するという意味でカラーネガと同一視できるが、根本的に異なる点がある。それは、カラーネガフィルムに撮影された画像は、それ自体を観察することはないのに対し、ＤＳＣ画像は、直接鑑賞の対象になるということである。そのため、ＤＳＣ画像は、これをプリントとして出力する以前に、ＤＳＣ画像自体がホワイトバランスのとれた美しい画像でなくてはならない。カラーネガフィルムと同様にＤＳＣも様々な光源下で撮影するため、ホワイトバランスを補正する機能がないと、不満足な画像となってしまうため、最近のほとんどのＤＳＣには、ホワイトバランス補正を自動的に行うＡＷＢ（Auto White Balance
)機能が搭載されている。
【０００８】
【発明が解決しようとする課題】
しかしながら、前述したＬＡＴＤ方式は、一定の成果をあげてきたが、一方で不都合なプリントをも生み出しているという問題がある。その一つにプリントの色などが偏ってしまうカラーフェリアの発生がある。例えば、赤い服を着た女性のシーンを撮影した画像に対してＬＡＴＤ方式でホワイトバランス補正を行うと、画面全体をグレーにしようとするために、赤の補色であるシアン色が画面全体に入れられるが、このため赤い服は濁り、女性の顔色は悪くなってしまう。
また、画面全体として赤みのシーンの場合、それが光源によるものか、被写体によるものかの区別ができないため、ＬＡＴＤ方式では、原因が光源の場合にはうまくいくが、原因が被写体の場合には、上のようなカラーフェリアを引き起こすという問題がある。
【０００９】
また、前記ＤＳＣのＡＷＢ機能は基本的にネガフィルム／プリント系と同様に前記エバンスの原理に基づいており、ネガフィルム／プリント系のＬＡＴＤによるホワイトバランス補正と同様の問題を有している。
すなわち、ＡＷＢ後のＤＳＣ画像は、エバンスの原理の平均性能として約６０〜７０％は、カラーバランスのとれた良好な画像となるが、残りの約３０〜４０％は、ＡＷＢの作動不良による、何らかのカラーバランス補正をさらに必要とする画像である。従って、ＤＳＣ画像からプリントを作成する際にホワイトバランス補正をしなければ、これらのプリントの約３０〜４０％は、不満足な、受け入れ難いプリントとなってしまう。
【００１０】
以上述べたように、従来技術のエバンスの原理に基づくＬＡＴＤ方式では、画面全体の平均値がグレーという仮説によってホワイトバランス補正を行っているが、この方式では画像中の真のグレーを見い出すことができないためホワイトバランス補正が充分ではなく、却って逆補正してしまう場合も少なくなかった。
また、このようなＬＡＴＤ方式でプリントの画像全体の濃度補正を行おうとすると、主要被写体の濃度がシーンの構成によって影響を受け、適正濃度に仕上がらないという問題があったため、主要被写体（多くの場合、顔である）を検出して、その濃度に基づいてプリント濃度を決める方法が提案されている。一方、プリント濃度が適正かどうかの判断は、画面全体の濃度よりは、むしろ主要被写体の濃度によりなされるため、主要被写体である顔を検出して、顔の濃度が適正になるように画像全体を濃度補正することが重要である。
【００１１】
しかし、主要被写体である顔の検出は、一般に形状認識を用いて行われているが、顔の検出を精度良く行うことは非常に難しいのが現状である。また、顔の検出を色情報を用いて行う方法も試みられているが、光源が未知な場合にはやはり難しいという問題がある。
本発明は、前記従来の問題に鑑みてなされたものであり、入力された画像データに対してデジタル画像処理を施してプリントを作成する際に、ホワイトバランス補正を適正に、高い得率で実現する技術を提供することを課題とする。
【００１２】
【課題を解決するための手段】
前記課題を解決するための本発明は、入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報を用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定して、この推定された色温度により、前記カラー画像の画像信号を補正するホワイトバランス補正方法であって、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、この肌色候補画素および／またはグレー候補画素の個数が最大となり、かつ、この肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素およびグレー候補画素群について、前記肌色候補画素群を複数の肌色候補画素群に分離して、そのうちの平均色温度の高い肌色候補画素群の平均色温度、および前記グレー候補画素群を複数のグレー候補画素群に分離して、そのうちの平均色温度の高いグレー候補画素群の平均色温度から前記撮影光源の色温度を推定し、前記最適化された係数が乗算された前記カラー信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにしたことを特徴とするホワイトバランス補正方法を提供する。
【００１３】
ここで、前記肌色およびグレーの黒体軌跡曲線を設定する際に、分光感度分布として、前記入力画像を撮影した撮影装置の分光感度、もしくは、ＢＴ７０９の分光感度を用いることが好ましい。
【００１４】
さらに、本発明は、上記ホワイトバランス補正方法をコンピュータに実行させるためのプログラム、またこのプログラムをコンピュータにより読み取り可能に記録した記録媒体として商品化することが可能である。
【００１５】
また、本発明は、入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報を用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定する手段と、前記推定された色温度により前記カラー画像の画像信号を補正する手段とを備えた、入力されたカラー画像に対してデジタル画像処理を施しプリントを作成するためのホワイトバランス補正装置であって、前記撮影光源の色温度を推定する手段は、前記入力されたカラー画像の各画素の画像信号に対して、所定の係数を乗算する係数乗算手段と、前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を検出する肌色候補画素検出手段、およびグレーの黒体軌跡曲線の近傍に入る画素を検出するグレー候補画素検出手段と、前記肌色候補画素の個数および／または前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように前記係数を最適化する手段と、前記肌色候補画素群を複数の肌色候補画素群に分離して、そのうちの平均色温度の高い肌色候補画素群の平均色温度、および前記グレー候補画素群を複数のグレー候補画素群に分離して、そのうちの平均色温度の高い方のグレー候補画素群の平均色温度から前記撮影光源の色温度を推定する色温度推定手段とを有し、前記カラー画像の画像信号を補正する手段は、前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正する手段であることを特徴とするホワイトバランス補正装置として具体化することが可能である。
【００１６】
【発明の実施の形態】
以下、本発明に係るホワイトバランス補正方法について、添付の図面に示される好適実施形態を基に、詳細に説明する。
【００１７】
図１は、本発明の一実施形態に係るホワイトバランス補正装置の概略を示すブロック図である。
図１に示すホワイトバランス補正装置は、入力画像信号に対して、デジタル画像処理を施し、プリントを作成する際の、ホワイトバランス補正を行うためのものであり、例えば、デジタルフォトプリンタ等の画像処理装置内に設置される。
【００１８】
図１において、ホワイトバランス補正装置１０は、主に、入力カラー画像を撮影した際の撮影光源の色温度を推定する光源色温度推定手段１２と、該光源色温度推定手段１２によって推定された撮影光源の色温度を用いて、ホワイトバランス補正を行う画像信号補正手段１４とを有して構成される。
また、光源色温度推定手段１２は、係数乗算手段１６、肌色候補検出手段１８、グレー候補検出手段２０、係数最適化手段２２および光源色温度算出手段２４によって構成される。
【００１９】
これらの各手段の働きについて説明する前に、まず本発明の原理を説明することとする。
従来のホワイトバランス補正は、前述したように、色が偏っていた場合には、エバンスの原理に基づいて、画面全体の色の平均がグレーになるように補正をしていたのであるが、これに対し、本発明は、画面の中からグレーの部分を積極的に探してそのグレーの候補点がプリント上でグレーに仕上がるように露光されるように補正しようというものである。
【００２０】
カラーネガフィルムの場合でも、デジタルスチルカメラ（ＤＳＣ）の場合でも、ホワイトバランス補正の方法は同じであり、以下ＤＳＣにより、一般的な条件でシーンを撮影した場合を例にとり説明することとする。
例えば、ＤＳＣにより、色温度４０００Ｋの自然昼光でグレー部分（グレーおよびその近似色）を含むシーンを撮影した場合を考える。
このとき、撮影したグレー部分の画像信号（Ｒ，Ｇ，Ｂ）を次の式（１）により、色度座標（ｒ，ｂ）に変換して、色度図にプロットする。
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ） ・・・・・・（１）
【００２１】
図２に、色度図を示す。図２において、曲線Ｇy はグレーの黒体軌跡である。黒体軌跡とは、良く知られているように、色温度をＴ、色温度Ｔの黒体放射エネルギ分布をＰ（λ）、被写体の分光反射率分布をρ（λ）、ＣＣＤセンサの分光感度分布をＳi （λ）（ただし、ｉ＝Ｂ、Ｇ、Ｒ）としたとき、次の式（２）で計算されるＥi を上の式（１）により色度座標（ｒ，ｂ）に変換して色度図にプロットしたとき、色温度Ｔを動かしたときの軌跡である。
Ｅi ＝ ∫ Ｐ（λ）ρ（λ）Ｓi （λ）ｄλ ・・・・・・（２）
黒体軌跡は、ＣＣＤセンサの分光分布および被写体の色ごとに存在し、グレーの黒体軌跡は、被写体をグレーとしたときの被写体の分光反射率ρ（λ）を１として得られる。典型的なＣＣＤセンサの分光感度分布を図３に示した。Ｓi(λ)は、このようなＣＣＤセンサ固有のものを使うことが好ましいが、図５に示すようなＢＴ７０９の理想分光感度分布を用いてもよい。
【００２２】
上に述べたグレー部分の画像信号を図２の色度図にプロットすると、グレーの黒体軌跡Ｇy の４０００Ｋの近傍Ｇy0に散布すると考えられる。
しかし、最近のＤＳＣは、ほとんどがＡＷＢ（オートホワイトバランス）機能を有しているため、この機能が上手く作動した場合には、グレー部分は標準白色（例えば、５５００Ｋ）の近傍Ｇy1に散布するが、逆にこの機能が上手く作動しなかった場合には、撮影温度４０００Ｋから離れた位置不明な場所（例えば、図２中に符号Ａで示す場所）に散布してしまう。
【００２３】
そこで、ＤＳＣ画像に含まれる、図２中に符号Ａで示すような、位置不明のグレー部分を基準白色（例えば、５５００Ｋ）の近傍Ｇy1に変換するために、プリンタ側でホワイトバランス補正が行われる。この変換をすべての画素に適用することにより、グレーバランスのとれた美しいプリントが得られるものと期待される。
図２中のＡの部分の位置は不明であるので、Ａを基準白色（例えば、５５００Ｋ）の近傍Ｇy1へ直接変換するのは不可能である。そこで、本発明では、この変換を２段階で行うこととした。
【００２４】
すなわち、図２に２つのベクトルαおよびβによって表される変換である。
ここで、ベクトルαは、ＤＳＣ側のＡＷＢ機能の不完全性により引き起こされた黒体軌跡Ｇy からのずれ量を補正するベクトルである。ベクトルαによる変換で、図２中のＡの部分が黒体軌跡Ｇy 上の部分Ｇy0に変換される。
また、ベクトルβは、黒体軌跡Ｇy 上のＧy0の部分を基準白色（例えば、５５００Ｋ）の近傍Ｇy1に変換するベクトルである。
従って、この２つのベクトルαおよびβの合成により、図２中のＡから基準白色（例えば、５５００Ｋ）の近傍Ｇy1への変換が実現される。
【００２５】
ここで、図１の各手段の説明に戻ることとする。
いま、説明した２つのベクトルαおよびβによる２段階の変換のうち、図２中のＡの部分を黒体軌跡Ｇy 上のＧy0に移す変換を表すベクトルαを求めることは難しい。このＧy0が求められれば、これから撮影光源の色温度Ｔを推定することができる。そして、黒体軌跡Ｇy 上でこのＧy0（色温度Ｔ）をＧy1（色温度５５００Ｋ）へ移す変換を表すベクトルβを求めるのはたやすい。このベクトルαを求め、この変換を行うのが光源色温度推定手段１２であり、ベクトルβを求め、この変換を行うのが画像信号補正手段１４である。
【００２６】
ＤＳＣのＡＷＢ機能は、撮影直後の全画素の画像信号Ｒ、Ｇ、Ｂを一様に定数倍するように作用する。定数倍という作用は、一次変換である。この作用により、画像信号が黒体軌跡からずれたとすれば、これと丁度逆の操作をすれば、黒体軌跡上の撮影光源の色温度（今の場合、４０００Ｋ）近傍（図２中のＧy0）に、多くのグレー部分が散布するようになるはずである。
上記ＤＳＣのＡＷＢ機能（一次変換）の逆変換も一次変換であるので、ＤＳＣ画像信号Ｒ、Ｇ、Ｂに対して、所定の係数を乗算する（図２では、画像信号Ｒ、Ｇ、Ｂを色度座標に変換している。）。この乗算を行うのが係数乗算手段１６である。
【００２７】
係数乗算手段１６では、ＤＳＣ画像信号Ｒ、Ｇ、ＢのうちＲ、Ｇに対し、それぞれ所定の係数α1 、α2 を次の式（３）のように乗算し、Ｒ、ＧをＲ’、Ｇ’に変換する。
Ｒ’＝α1 Ｒ
Ｇ’＝α2 Ｇ ・・・・・・（３）
ここで、この変換は３信号を変化させる必要はなく、２信号で充分である。
本来グレーであるべき点が移動したＡは、未知であるため、どれがグレーかはわからない。そこで次に、グレー候補検出手段２０では、一次変換を施した信号をグレーの黒体軌跡と比較して、黒体軌跡の近傍として検出される画素をグレーの可能性が高いとして、グレー候補画素とする。近傍であるかの判断は、例えば色度座標（ｒ，ｂ）上で距離０．０１の範囲内であるかどうかで行えばよい。
【００２８】
係数最適化手段２２では、グレー候補検出手段２０の検出したグレー候補画素の個数を数えて、グレー候補画素の個数が最大となるように、所定の係数α1 、α2 を変えながら係数乗算手段１６およびグレー候補検出手段２０に上と同じ操作を行わせ、係数α1 、α2 の最適化を行う。最適化の方法は特に限定されるものではなく、例えば、数値計算における標準的手法であるシンプレックス法が好適に例示される。このようにして、最適化で求められた一次変換、式（３）の係数α1 、α2 がＤＳＣのＡＷＢ機能の逆操作に対応し、ベクトルαの成分となる。すなわち、α＝（α1 ，α2 ）である。
【００２９】
また、最適化の精度をより高めるために、グレーの他に色情報を追加することが考えられる。被写体の中で、撮影頻度が高く、種類によって色味の変化が少ない色として肌色が挙げられる。肌色は、人種（白人、黄色人、黒人）によって色味がかなり異なるとも思われるが、測定された分光スペクトルによれば、違うのは主として明るさであり、スペクトルの形はあまり変わらず色味の変化は小さいことがわかる。従って、この肌色の性質は、色の同定に利用できる。
そこで、肌色候補検出手段１８において、グレーの場合と同様に肌色についても黒体軌跡を設定し（図示省略）、係数乗算手段１６で係数の乗算された画像信号に対して、肌色の黒体軌跡の近傍色として肌色候補画素を検出する。なお、ここで、肌色の黒体軌跡の計算に用いた肌色は、マクベスチャートのライトスキンである。
【００３０】
このとき、係数最適化手段２２では、肌色候補検出手段１８で検出された肌色候補画素の個数をも数え、前述したグレー候補画素の個数と合わせて、これらの個数が最大となるように前記係数α1 、α2 を最適化する。これにより、係数α1 、α2 の最適化の精度が向上する。
また、グレー部分と肌色部分とを含むシーンを均一光源で撮影した場合、黒体軌跡の近傍色として検出されるグレー候補画素群および肌色候補画素群の平均色温度は一致すると期待される。そこで、係数最適化手段２２における最適化において、「グレー候補画素群と肌色候補画素群の平均色温度の差を最小」とすることを目的関数として前記係数の最適化を行うこともできる。
【００３１】
さらに、上記２つの手法を併用して「グレー候補画素および肌色候補画素の個数最大」および「グレー候補画素群と肌色候補画素群の平均色温度の差最小」を目的関数として、前記係数の最適化を行うようにしてもよい。
このように２つを併用する方法によれば、より一層最適化の精度を上げることができる。
【００３２】
光源色温度算出手段２４では、上で最適化された係数α1 、α2 を用いて画像信号を変換し、グレーの黒体軌跡上のグレー候補画素群の平均色温度Ｔｇおよび肌色の黒体軌跡上の肌色候補画素群の平均色温度Ｔｆを算出し、これから、撮影光源の色温度Ｔを算出する。これは、例えば、これらの平均をとって、Ｔ＝（Ｔｇ＋Ｔｆ）／２としてもよいし、肌色を重視する場合には、Ｔ＝Ｔｆとしてもよい。このようにして撮影光源の色温度Ｔが推定される。
【００３３】
ここで考慮すべき点の一つは、ストロボ撮影画像、特にタングステン光源などの他の光源の存在下で撮影されたストロボ撮影画像の取り扱いである。この場合には、２つの色温度の全く異なる光源が共存していることから、これに対する配慮が必要になってくる。
本発明では、このような異種光源を含むストロボ撮影画像のホワイトバランス補正を改善するために、光源色温度算出方法に工夫を加えている。
【００３４】
光源色温度算出手段２４では、上で最適化された係数α１、α２を用いて画像信号を変換し、グレーの黒体軌跡上のグレー候補画素群の平均色温度Ｔｇおよび肌色の黒体軌跡上の肌色候補画素群の平均色温度Ｔｆを算出する。この際、本実施形態に係る光源色温度算出手段２４では、上記グレー候補画素群および肌色候補画素群を、それぞれ異なる光源（ここでは、タングステン光源とストロボ光源）に対応する２つの群に分け、例えば各群に属する候補画素の個数をヒストグラム化していって、個数の多い方をメインの光源と判断する。
そして、これから、 撮影光源の色温度Ｔを算出する。この撮影光源の色温度Ｔの算出は、例えば、肌色を重視する場合にはＴ＝Ｔｆ、グレーを重視する場合にはＴ＝Ｔｇとすればよい。このようにして撮影光源の色温度Ｔが推定される。
【００３５】
次に、画像信号補正手段１４では、黒体軌跡上で色温度Ｔから基準白色（例えば、５５００Ｋ）へ変換する変換を求める。この変換は、Ｒ、Ｂ信号の一次変換
Ｒ”＝β1 Ｒ’
Ｂ”＝β2 Ｂ ・・・・・・（４）
で表記でき、この係数β1 、β2 がベクトルβの成分となる。
画像信号補正手段１４では、このベクトルβによる変換を各画素に対して施し、以上により、各画素に対するホワイトバランス補正が完了する。
【００３６】
以上の変換をまとめると、図２の点Ａから基準白色（例えば、５５００Ｋ）Ｇy1への変換は、ベクトルαおよびベクトルβによる変換の合成により実現され、これを式で表すと、次の式（５）となる。
Ｒ”＝α1 β1 Ｒ
Ｇ”＝α2 Ｇ
Ｂ”＝β2 Ｂ ・・・・・・（５）
なお、上記式（５）では、カラーバランスだけでなく、明るさの変化を含むので、Ｇ信号は不変として表現すれば、次の式（６）のようになる。
Ｒ”＝（α1 β1/α2 ）Ｒ
Ｇ”＝Ｇ
Ｂ”＝（β2 ／α2 ）Ｂ ・・・・・・（６）
【００３７】
以下、本実施形態の作用を図４のフローチャートに沿って説明する。
まず、ステップ１００において、デジタルスチルカメラ（ＤＳＣ）により、あるシーンをある光源の下において撮影する。
次に、ステップ１１０において、このＤＳＣによって撮影された画像の画像信号Ｒ、Ｇ、Ｂを入力する。
【００３８】
ステップ１２０では、光源色温度推定手段１２の係数乗算手段１６、肌色候補検出手段１８、グレー候補検出手段２０および係数最適化手段２２により、画像信号最適化処理が行われる。これは、ＤＳＣのＡＷＢ機能によって黒体軌跡からずれた画像信号をずれのない黒体軌跡近傍の信号（ローデータ）に戻すものである。係数乗算手段１６では、すべての画像信号に所定の係数を乗算する。肌色候補検出手段１８では、このデータを肌色の黒体軌跡と比較して黒体軌跡の肌色近傍にあると思われるデータ（肌色候補画素）を検出し、グレー候補検出手段２０では、このデータをグレーの黒体軌跡と比較して黒体軌跡のグレー近傍にあると思われるデータ（グレー候補画素）を検出する。
【００３９】
係数最適化手段２２は、検出された肌色候補画素およびグレー候補画素の個数を数えこの個数が最大となるように、または、肌色候補画素群の平均色温度とグレー候補画素群の平均色温度の差が最小となるように、あるいはこの両方の条件が成立するように前記乗算の係数を設定しなおしてこの操作を繰り返して、係数を最適化する。
【００４０】
ステップ１３０では、光源色温度算出手段２４において、最適化された係数を乗算して得られる肌色候補画素群の平均色温度Ｔf と、グレー候補画素群の平均色温度Ｔg とから、前述のような群分けの結果を考慮して、光源の色温度の推定値Ｔが算出される。
次に、ステップ１４０では、画像信号補正手段において、上で推定された光源色温度Ｔから基準白色（例えば、５５００Ｋ）への補正量が決定される。そして、この補正量によりすべての画素に対しホワイトバランス補正が行われる。
最後に、ステップ１５０において、その他各種の画像処理等が施され、プリンタから仕上がりプリントとして出力される。
【００４１】
本実施形態に係るホワイトバランス補正装置を組み込んだフォトプリンタによれば、従来技術によるプリントの場合に比べて、仕上りプリント上でのホワイトバランス補正能力の向上が認められた。
【００４２】
ここで、前述のステップ１３０（図４参照）について若干補足しておく。
黒体軌跡曲線の近傍色として検出されるグレー候補画素群または肌色候補画素群は、白熱電球（３０００Ｋ）の色温度付近およびストロボ光（５０００〜５５００Ｋ）の色温度付近の２個所に分散（分離）して分布するが、本実施形態では、これを色温度に関して単純平均するのではなく、色温度に対して累積頻度分布を作成する。
【００４３】
そして、肌色に関しては、肌色累積頻度分布の変曲点を境に肌色候補画素群を第１の肌色候補画素群と第２の肌色候補画素群に分離し、平均色温度の高い方を肌色候補画素群の平均色温度とし、グレーに関しても、グレー累積頻度分布の変曲点を境にグレー候補画素群を第１のグレー候補画素群と第２のグレー候補画素群に分離し、平均色温度の高い方をグレー候補画素群の平均色温度とし、肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との平均値をもって撮影光源の色温度を推定する。
なお、累積頻度分布の変曲点が見出せない場合は、１光源照明と見なして従来の方法で色温度を推定すればよい。
【００４４】
以上、詳細に説明したように、本実施形態によれば、ＤＳＣ画像中のグレーおよび／または肌色情報のみを用いたアルゴリズムを構築し、プリント作成時のホワイトバランス補正を行うようにしたため、従来技術に比して格段の補正能力が得られた。
【００４５】
なお、上記実施形態では、ＤＳＣ画像について説明したが、ＤＳＣに限定されず、カラーネガフィルムに撮影された画像についても、本発明のホワイトバランス補正方法を適用することができる。
【００４６】
また、上で説明したホワイトバランス補正方法を、コンピュータで実行可能なプログラムとして、コンピュータで読み取り可能な記録媒体に記録しておけば、この記録媒体からプログラムを入力することにより、任意の画像処理装置等で本発明のホワイトバランス補正方法を実行することができる。
【００４７】
以上、本発明のホワイトバランス補正方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００４８】
例えば、前述の実施形態では、最適化計算において、グレーの候補画素Ｎg および肌色の候補画素Ｎf の個数が最大となり、かつ、グレーの候補画素群の平均色温度Ｔg と肌色の候補画素群の平均色温度Ｔf の差が最小になるように係数を最適化して、ホワイトバランス補正信号を求めているが、これを、別の目的関数に変更することも可能である。
【００４９】
また、前述の通り、本発明は上記ホワイトバランス補正方法をコンピュータに実行させるためのプログラム、およびこのプログラムをコンピュータにより読み取り可能に記録した記録媒体として商品化することが可能である。さらに、上記ホワイトバランス補正方法を具体化したホワイトバランス補正装置として具体化することも可能である。
【００５０】
【発明の効果】
以上、説明した通り、本発明によれば、入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報のみを用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定し、これによりホワイトバランスを補正するアルゴリズムを構築するようにしたため、どのような入力画像に対しても、ホワイトバランス補正を適正に、かつ高い得率で実現することが可能となる。
【図面の簡単な説明】
【図１】 本発明の一実施形態に係るホワイトバランス補正装置の概略を示すブロック図である。
【図２】 本実施形態においてホワイトバランス補正の原理を示すための色度図である。
【図３】 典型的なＣＣＤセンサの分光感度分布を示す線図である。
【図４】 本実施形態の処理の流れを示すフローチャートである。
【図５】 ＢＴ７０９の分光感度分布を示す線図である。
【符号の説明】
１０ ホワイトバランス補正装置
１２ 光源色温度推定手段
１４ 画像信号補正手段
１６ 係数乗算手段
１８ 肌色候補検出手段
２０ グレー候補検出手段
２２ 係数最適化手段
２４ 光源色温度算出手段
３０、３１ メモリ
【発明の属する技術分野】
本発明は、入力画像信号に対して、デジタル画像処理を施し、プリントを作成する際のカラー画像のホワイトバランス補正の技術に関する。
【０００２】
【従来の技術】
従来、銀塩写真技術における露光系では、一般にアナログ露光（面露光、直接露光）によってプリントが行われていた。すなわち、現像済みのネガフィルムを所定の焼き付け位置に位置決めして、白色光源（ハロゲンランプ等）からの光を照射し、ネガフィルムからの透過画像を印画紙に結像して露光していた。
【０００３】
これに対して、近年では、デジタル露光を利用する焼き付け装置、すなわち、ネガフィルムやカラーリバーサルフィルム等の写真フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上がり）プリントとするデジタルフォトプリンタが実用化されている。
【０００４】
このようなデジタルフォトプリンタにおいては、画像をデジタル画像データとして取り扱うので、フィルムに撮影された画像のみならず、デジタルスチルカメラ（ＤＳＣ）等で撮影された画像や、ＣＤ−Ｒやフレキシブルディスク、リムーバブルハードディスク（Ｚｉｐ、Ｊａｚ等）等の磁気記録媒体、ＭＯディスク（光磁気記録媒体）等の各種の記録媒体にデジタルデータとして記録された画像データについても、画像処理を施してプリントとして出力することができる。
【０００５】
従来、カラーネガフィルムは、多数の一般ユーザによって広く利用されており、そのネガフィルムへの原稿画像の撮影状態は必ずしも一様ではなく、例えば昼光や蛍光灯等の様々な光源下で使用されている。従って、現像済みネガフィルムからプリントを作成する場合、プリント光源の光質を一定にして、焼き付けを行うと、撮影光源の色味が直接プリントに反映されてしまい、不適切なプリントになってしまうことがあった。
【０００６】
そのため、従来、プリント上でホワイトバランスを調整するために様々な工夫がなされて来た。その中の代表的なものとして、「世の中の色をすべて平均すればグレーである。」というエバンスの原理（仮説）に基づく、ＬＡＴＤ方式がある。ＬＡＴＤ（Large Area Transmission Density 、大面積平均透過濃度) とは、画面全体の平均透過濃度のことをいい、ＬＡＴＤ方式とは、カラーネガフィルムの各コマのＬＡＴＤを測定し、そのＲＧＢ濃度の大小によりプリント光源の光質を変化させることによりプリント上の平均色をグレーに近づけるというものである。
【０００７】
一方、近年、デジタルスチルカメラ（ＤＳＣ）が急激に普及し始めている。ＤＳＣは、シーンを撮像するという意味でカラーネガと同一視できるが、根本的に異なる点がある。それは、カラーネガフィルムに撮影された画像は、それ自体を観察することはないのに対し、ＤＳＣ画像は、直接鑑賞の対象になるということである。そのため、ＤＳＣ画像は、これをプリントとして出力する以前に、ＤＳＣ画像自体がホワイトバランスのとれた美しい画像でなくてはならない。カラーネガフィルムと同様にＤＳＣも様々な光源下で撮影するため、ホワイトバランスを補正する機能がないと、不満足な画像となってしまうため、最近のほとんどのＤＳＣには、ホワイトバランス補正を自動的に行うＡＷＢ（Auto White Balance
)機能が搭載されている。
【０００８】
【発明が解決しようとする課題】
しかしながら、前述したＬＡＴＤ方式は、一定の成果をあげてきたが、一方で不都合なプリントをも生み出しているという問題がある。その一つにプリントの色などが偏ってしまうカラーフェリアの発生がある。例えば、赤い服を着た女性のシーンを撮影した画像に対してＬＡＴＤ方式でホワイトバランス補正を行うと、画面全体をグレーにしようとするために、赤の補色であるシアン色が画面全体に入れられるが、このため赤い服は濁り、女性の顔色は悪くなってしまう。
また、画面全体として赤みのシーンの場合、それが光源によるものか、被写体によるものかの区別ができないため、ＬＡＴＤ方式では、原因が光源の場合にはうまくいくが、原因が被写体の場合には、上のようなカラーフェリアを引き起こすという問題がある。
【０００９】
また、前記ＤＳＣのＡＷＢ機能は基本的にネガフィルム／プリント系と同様に前記エバンスの原理に基づいており、ネガフィルム／プリント系のＬＡＴＤによるホワイトバランス補正と同様の問題を有している。
すなわち、ＡＷＢ後のＤＳＣ画像は、エバンスの原理の平均性能として約６０〜７０％は、カラーバランスのとれた良好な画像となるが、残りの約３０〜４０％は、ＡＷＢの作動不良による、何らかのカラーバランス補正をさらに必要とする画像である。従って、ＤＳＣ画像からプリントを作成する際にホワイトバランス補正をしなければ、これらのプリントの約３０〜４０％は、不満足な、受け入れ難いプリントとなってしまう。
【００１０】
以上述べたように、従来技術のエバンスの原理に基づくＬＡＴＤ方式では、画面全体の平均値がグレーという仮説によってホワイトバランス補正を行っているが、この方式では画像中の真のグレーを見い出すことができないためホワイトバランス補正が充分ではなく、却って逆補正してしまう場合も少なくなかった。
また、このようなＬＡＴＤ方式でプリントの画像全体の濃度補正を行おうとすると、主要被写体の濃度がシーンの構成によって影響を受け、適正濃度に仕上がらないという問題があったため、主要被写体（多くの場合、顔である）を検出して、その濃度に基づいてプリント濃度を決める方法が提案されている。一方、プリント濃度が適正かどうかの判断は、画面全体の濃度よりは、むしろ主要被写体の濃度によりなされるため、主要被写体である顔を検出して、顔の濃度が適正になるように画像全体を濃度補正することが重要である。
【００１１】
しかし、主要被写体である顔の検出は、一般に形状認識を用いて行われているが、顔の検出を精度良く行うことは非常に難しいのが現状である。また、顔の検出を色情報を用いて行う方法も試みられているが、光源が未知な場合にはやはり難しいという問題がある。
本発明は、前記従来の問題に鑑みてなされたものであり、入力された画像データに対してデジタル画像処理を施してプリントを作成する際に、ホワイトバランス補正を適正に、高い得率で実現する技術を提供することを課題とする。
【００１２】
【課題を解決するための手段】
前記課題を解決するための本発明は、入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報を用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定して、この推定された色温度により、前記カラー画像の画像信号を補正するホワイトバランス補正方法であって、前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、この肌色候補画素および／またはグレー候補画素の個数が最大となり、かつ、この肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素およびグレー候補画素群について、前記肌色候補画素群を複数の肌色候補画素群に分離して、そのうちの平均色温度の高い肌色候補画素群の平均色温度、および前記グレー候補画素群を複数のグレー候補画素群に分離して、そのうちの平均色温度の高いグレー候補画素群の平均色温度から前記撮影光源の色温度を推定し、前記最適化された係数が乗算された前記カラー信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにしたことを特徴とするホワイトバランス補正方法を提供する。
【００１３】
ここで、前記肌色およびグレーの黒体軌跡曲線を設定する際に、分光感度分布として、前記入力画像を撮影した撮影装置の分光感度、もしくは、ＢＴ７０９の分光感度を用いることが好ましい。
【００１４】
さらに、本発明は、上記ホワイトバランス補正方法をコンピュータに実行させるためのプログラム、またこのプログラムをコンピュータにより読み取り可能に記録した記録媒体として商品化することが可能である。
【００１５】
また、本発明は、入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報を用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定する手段と、前記推定された色温度により前記カラー画像の画像信号を補正する手段とを備えた、入力されたカラー画像に対してデジタル画像処理を施しプリントを作成するためのホワイトバランス補正装置であって、前記撮影光源の色温度を推定する手段は、前記入力されたカラー画像の各画素の画像信号に対して、所定の係数を乗算する係数乗算手段と、前記乗算の結果、肌色の黒体軌跡曲線の近傍に入る画素を検出する肌色候補画素検出手段、およびグレーの黒体軌跡曲線の近傍に入る画素を検出するグレー候補画素検出手段と、前記肌色候補画素の個数および／または前記グレー候補画素の個数が最大となり、かつ、前記肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように前記係数を最適化する手段と、前記肌色候補画素群を複数の肌色候補画素群に分離して、そのうちの平均色温度の高い肌色候補画素群の平均色温度、および前記グレー候補画素群を複数のグレー候補画素群に分離して、そのうちの平均色温度の高い方のグレー候補画素群の平均色温度から前記撮影光源の色温度を推定する色温度推定手段とを有し、前記カラー画像の画像信号を補正する手段は、前記最適化された係数が乗算された前記カラー画像信号を、前記推定された色温度と基準白色の色温度との差分だけ補正する手段であることを特徴とするホワイトバランス補正装置として具体化することが可能である。
【００１６】
【発明の実施の形態】
以下、本発明に係るホワイトバランス補正方法について、添付の図面に示される好適実施形態を基に、詳細に説明する。
【００１７】
図１は、本発明の一実施形態に係るホワイトバランス補正装置の概略を示すブロック図である。
図１に示すホワイトバランス補正装置は、入力画像信号に対して、デジタル画像処理を施し、プリントを作成する際の、ホワイトバランス補正を行うためのものであり、例えば、デジタルフォトプリンタ等の画像処理装置内に設置される。
【００１８】
図１において、ホワイトバランス補正装置１０は、主に、入力カラー画像を撮影した際の撮影光源の色温度を推定する光源色温度推定手段１２と、該光源色温度推定手段１２によって推定された撮影光源の色温度を用いて、ホワイトバランス補正を行う画像信号補正手段１４とを有して構成される。
また、光源色温度推定手段１２は、係数乗算手段１６、肌色候補検出手段１８、グレー候補検出手段２０、係数最適化手段２２および光源色温度算出手段２４によって構成される。
【００１９】
これらの各手段の働きについて説明する前に、まず本発明の原理を説明することとする。
従来のホワイトバランス補正は、前述したように、色が偏っていた場合には、エバンスの原理に基づいて、画面全体の色の平均がグレーになるように補正をしていたのであるが、これに対し、本発明は、画面の中からグレーの部分を積極的に探してそのグレーの候補点がプリント上でグレーに仕上がるように露光されるように補正しようというものである。
【００２０】
カラーネガフィルムの場合でも、デジタルスチルカメラ（ＤＳＣ）の場合でも、ホワイトバランス補正の方法は同じであり、以下ＤＳＣにより、一般的な条件でシーンを撮影した場合を例にとり説明することとする。
例えば、ＤＳＣにより、色温度４０００Ｋの自然昼光でグレー部分（グレーおよびその近似色）を含むシーンを撮影した場合を考える。
このとき、撮影したグレー部分の画像信号（Ｒ，Ｇ，Ｂ）を次の式（１）により、色度座標（ｒ，ｂ）に変換して、色度図にプロットする。
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ） ・・・・・・（１）
【００２１】
図２に、色度図を示す。図２において、曲線Ｇy はグレーの黒体軌跡である。黒体軌跡とは、良く知られているように、色温度をＴ、色温度Ｔの黒体放射エネルギ分布をＰ（λ）、被写体の分光反射率分布をρ（λ）、ＣＣＤセンサの分光感度分布をＳi （λ）（ただし、ｉ＝Ｂ、Ｇ、Ｒ）としたとき、次の式（２）で計算されるＥi を上の式（１）により色度座標（ｒ，ｂ）に変換して色度図にプロットしたとき、色温度Ｔを動かしたときの軌跡である。
Ｅi ＝ ∫ Ｐ（λ）ρ（λ）Ｓi （λ）ｄλ ・・・・・・（２）
黒体軌跡は、ＣＣＤセンサの分光分布および被写体の色ごとに存在し、グレーの黒体軌跡は、被写体をグレーとしたときの被写体の分光反射率ρ（λ）を１として得られる。典型的なＣＣＤセンサの分光感度分布を図３に示した。Ｓi(λ)は、このようなＣＣＤセンサ固有のものを使うことが好ましいが、図５に示すようなＢＴ７０９の理想分光感度分布を用いてもよい。
【００２２】
上に述べたグレー部分の画像信号を図２の色度図にプロットすると、グレーの黒体軌跡Ｇy の４０００Ｋの近傍Ｇy0に散布すると考えられる。
しかし、最近のＤＳＣは、ほとんどがＡＷＢ（オートホワイトバランス）機能を有しているため、この機能が上手く作動した場合には、グレー部分は標準白色（例えば、５５００Ｋ）の近傍Ｇy1に散布するが、逆にこの機能が上手く作動しなかった場合には、撮影温度４０００Ｋから離れた位置不明な場所（例えば、図２中に符号Ａで示す場所）に散布してしまう。
【００２３】
そこで、ＤＳＣ画像に含まれる、図２中に符号Ａで示すような、位置不明のグレー部分を基準白色（例えば、５５００Ｋ）の近傍Ｇy1に変換するために、プリンタ側でホワイトバランス補正が行われる。この変換をすべての画素に適用することにより、グレーバランスのとれた美しいプリントが得られるものと期待される。
図２中のＡの部分の位置は不明であるので、Ａを基準白色（例えば、５５００Ｋ）の近傍Ｇy1へ直接変換するのは不可能である。そこで、本発明では、この変換を２段階で行うこととした。
【００２４】
すなわち、図２に２つのベクトルαおよびβによって表される変換である。
ここで、ベクトルαは、ＤＳＣ側のＡＷＢ機能の不完全性により引き起こされた黒体軌跡Ｇy からのずれ量を補正するベクトルである。ベクトルαによる変換で、図２中のＡの部分が黒体軌跡Ｇy 上の部分Ｇy0に変換される。
また、ベクトルβは、黒体軌跡Ｇy 上のＧy0の部分を基準白色（例えば、５５００Ｋ）の近傍Ｇy1に変換するベクトルである。
従って、この２つのベクトルαおよびβの合成により、図２中のＡから基準白色（例えば、５５００Ｋ）の近傍Ｇy1への変換が実現される。
【００２５】
ここで、図１の各手段の説明に戻ることとする。
いま、説明した２つのベクトルαおよびβによる２段階の変換のうち、図２中のＡの部分を黒体軌跡Ｇy 上のＧy0に移す変換を表すベクトルαを求めることは難しい。このＧy0が求められれば、これから撮影光源の色温度Ｔを推定することができる。そして、黒体軌跡Ｇy 上でこのＧy0（色温度Ｔ）をＧy1（色温度５５００Ｋ）へ移す変換を表すベクトルβを求めるのはたやすい。このベクトルαを求め、この変換を行うのが光源色温度推定手段１２であり、ベクトルβを求め、この変換を行うのが画像信号補正手段１４である。
【００２６】
ＤＳＣのＡＷＢ機能は、撮影直後の全画素の画像信号Ｒ、Ｇ、Ｂを一様に定数倍するように作用する。定数倍という作用は、一次変換である。この作用により、画像信号が黒体軌跡からずれたとすれば、これと丁度逆の操作をすれば、黒体軌跡上の撮影光源の色温度（今の場合、４０００Ｋ）近傍（図２中のＧy0）に、多くのグレー部分が散布するようになるはずである。
上記ＤＳＣのＡＷＢ機能（一次変換）の逆変換も一次変換であるので、ＤＳＣ画像信号Ｒ、Ｇ、Ｂに対して、所定の係数を乗算する（図２では、画像信号Ｒ、Ｇ、Ｂを色度座標に変換している。）。この乗算を行うのが係数乗算手段１６である。
【００２７】
係数乗算手段１６では、ＤＳＣ画像信号Ｒ、Ｇ、ＢのうちＲ、Ｇに対し、それぞれ所定の係数α1 、α2 を次の式（３）のように乗算し、Ｒ、ＧをＲ’、Ｇ’に変換する。
Ｒ’＝α1 Ｒ
Ｇ’＝α2 Ｇ ・・・・・・（３）
ここで、この変換は３信号を変化させる必要はなく、２信号で充分である。
本来グレーであるべき点が移動したＡは、未知であるため、どれがグレーかはわからない。そこで次に、グレー候補検出手段２０では、一次変換を施した信号をグレーの黒体軌跡と比較して、黒体軌跡の近傍として検出される画素をグレーの可能性が高いとして、グレー候補画素とする。近傍であるかの判断は、例えば色度座標（ｒ，ｂ）上で距離０．０１の範囲内であるかどうかで行えばよい。
【００２８】
係数最適化手段２２では、グレー候補検出手段２０の検出したグレー候補画素の個数を数えて、グレー候補画素の個数が最大となるように、所定の係数α1 、α2 を変えながら係数乗算手段１６およびグレー候補検出手段２０に上と同じ操作を行わせ、係数α1 、α2 の最適化を行う。最適化の方法は特に限定されるものではなく、例えば、数値計算における標準的手法であるシンプレックス法が好適に例示される。このようにして、最適化で求められた一次変換、式（３）の係数α1 、α2 がＤＳＣのＡＷＢ機能の逆操作に対応し、ベクトルαの成分となる。すなわち、α＝（α1 ，α2 ）である。
【００２９】
また、最適化の精度をより高めるために、グレーの他に色情報を追加することが考えられる。被写体の中で、撮影頻度が高く、種類によって色味の変化が少ない色として肌色が挙げられる。肌色は、人種（白人、黄色人、黒人）によって色味がかなり異なるとも思われるが、測定された分光スペクトルによれば、違うのは主として明るさであり、スペクトルの形はあまり変わらず色味の変化は小さいことがわかる。従って、この肌色の性質は、色の同定に利用できる。
そこで、肌色候補検出手段１８において、グレーの場合と同様に肌色についても黒体軌跡を設定し（図示省略）、係数乗算手段１６で係数の乗算された画像信号に対して、肌色の黒体軌跡の近傍色として肌色候補画素を検出する。なお、ここで、肌色の黒体軌跡の計算に用いた肌色は、マクベスチャートのライトスキンである。
【００３０】
このとき、係数最適化手段２２では、肌色候補検出手段１８で検出された肌色候補画素の個数をも数え、前述したグレー候補画素の個数と合わせて、これらの個数が最大となるように前記係数α1 、α2 を最適化する。これにより、係数α1 、α2 の最適化の精度が向上する。
また、グレー部分と肌色部分とを含むシーンを均一光源で撮影した場合、黒体軌跡の近傍色として検出されるグレー候補画素群および肌色候補画素群の平均色温度は一致すると期待される。そこで、係数最適化手段２２における最適化において、「グレー候補画素群と肌色候補画素群の平均色温度の差を最小」とすることを目的関数として前記係数の最適化を行うこともできる。
【００３１】
さらに、上記２つの手法を併用して「グレー候補画素および肌色候補画素の個数最大」および「グレー候補画素群と肌色候補画素群の平均色温度の差最小」を目的関数として、前記係数の最適化を行うようにしてもよい。
このように２つを併用する方法によれば、より一層最適化の精度を上げることができる。
【００３２】
光源色温度算出手段２４では、上で最適化された係数α1 、α2 を用いて画像信号を変換し、グレーの黒体軌跡上のグレー候補画素群の平均色温度Ｔｇおよび肌色の黒体軌跡上の肌色候補画素群の平均色温度Ｔｆを算出し、これから、撮影光源の色温度Ｔを算出する。これは、例えば、これらの平均をとって、Ｔ＝（Ｔｇ＋Ｔｆ）／２としてもよいし、肌色を重視する場合には、Ｔ＝Ｔｆとしてもよい。このようにして撮影光源の色温度Ｔが推定される。
【００３３】
ここで考慮すべき点の一つは、ストロボ撮影画像、特にタングステン光源などの他の光源の存在下で撮影されたストロボ撮影画像の取り扱いである。この場合には、２つの色温度の全く異なる光源が共存していることから、これに対する配慮が必要になってくる。
本発明では、このような異種光源を含むストロボ撮影画像のホワイトバランス補正を改善するために、光源色温度算出方法に工夫を加えている。
【００３４】
光源色温度算出手段２４では、上で最適化された係数α１、α２を用いて画像信号を変換し、グレーの黒体軌跡上のグレー候補画素群の平均色温度Ｔｇおよび肌色の黒体軌跡上の肌色候補画素群の平均色温度Ｔｆを算出する。この際、本実施形態に係る光源色温度算出手段２４では、上記グレー候補画素群および肌色候補画素群を、それぞれ異なる光源（ここでは、タングステン光源とストロボ光源）に対応する２つの群に分け、例えば各群に属する候補画素の個数をヒストグラム化していって、個数の多い方をメインの光源と判断する。
そして、これから、 撮影光源の色温度Ｔを算出する。この撮影光源の色温度Ｔの算出は、例えば、肌色を重視する場合にはＴ＝Ｔｆ、グレーを重視する場合にはＴ＝Ｔｇとすればよい。このようにして撮影光源の色温度Ｔが推定される。
【００３５】
次に、画像信号補正手段１４では、黒体軌跡上で色温度Ｔから基準白色（例えば、５５００Ｋ）へ変換する変換を求める。この変換は、Ｒ、Ｂ信号の一次変換
Ｒ”＝β1 Ｒ’
Ｂ”＝β2 Ｂ ・・・・・・（４）
で表記でき、この係数β1 、β2 がベクトルβの成分となる。
画像信号補正手段１４では、このベクトルβによる変換を各画素に対して施し、以上により、各画素に対するホワイトバランス補正が完了する。
【００３６】
以上の変換をまとめると、図２の点Ａから基準白色（例えば、５５００Ｋ）Ｇy1への変換は、ベクトルαおよびベクトルβによる変換の合成により実現され、これを式で表すと、次の式（５）となる。
Ｒ”＝α1 β1 Ｒ
Ｇ”＝α2 Ｇ
Ｂ”＝β2 Ｂ ・・・・・・（５）
なお、上記式（５）では、カラーバランスだけでなく、明るさの変化を含むので、Ｇ信号は不変として表現すれば、次の式（６）のようになる。
Ｒ”＝（α1 β1/α2 ）Ｒ
Ｇ”＝Ｇ
Ｂ”＝（β2 ／α2 ）Ｂ ・・・・・・（６）
【００３７】
以下、本実施形態の作用を図４のフローチャートに沿って説明する。
まず、ステップ１００において、デジタルスチルカメラ（ＤＳＣ）により、あるシーンをある光源の下において撮影する。
次に、ステップ１１０において、このＤＳＣによって撮影された画像の画像信号Ｒ、Ｇ、Ｂを入力する。
【００３８】
ステップ１２０では、光源色温度推定手段１２の係数乗算手段１６、肌色候補検出手段１８、グレー候補検出手段２０および係数最適化手段２２により、画像信号最適化処理が行われる。これは、ＤＳＣのＡＷＢ機能によって黒体軌跡からずれた画像信号をずれのない黒体軌跡近傍の信号（ローデータ）に戻すものである。係数乗算手段１６では、すべての画像信号に所定の係数を乗算する。肌色候補検出手段１８では、このデータを肌色の黒体軌跡と比較して黒体軌跡の肌色近傍にあると思われるデータ（肌色候補画素）を検出し、グレー候補検出手段２０では、このデータをグレーの黒体軌跡と比較して黒体軌跡のグレー近傍にあると思われるデータ（グレー候補画素）を検出する。
【００３９】
係数最適化手段２２は、検出された肌色候補画素およびグレー候補画素の個数を数えこの個数が最大となるように、または、肌色候補画素群の平均色温度とグレー候補画素群の平均色温度の差が最小となるように、あるいはこの両方の条件が成立するように前記乗算の係数を設定しなおしてこの操作を繰り返して、係数を最適化する。
【００４０】
ステップ１３０では、光源色温度算出手段２４において、最適化された係数を乗算して得られる肌色候補画素群の平均色温度Ｔf と、グレー候補画素群の平均色温度Ｔg とから、前述のような群分けの結果を考慮して、光源の色温度の推定値Ｔが算出される。
次に、ステップ１４０では、画像信号補正手段において、上で推定された光源色温度Ｔから基準白色（例えば、５５００Ｋ）への補正量が決定される。そして、この補正量によりすべての画素に対しホワイトバランス補正が行われる。
最後に、ステップ１５０において、その他各種の画像処理等が施され、プリンタから仕上がりプリントとして出力される。
【００４１】
本実施形態に係るホワイトバランス補正装置を組み込んだフォトプリンタによれば、従来技術によるプリントの場合に比べて、仕上りプリント上でのホワイトバランス補正能力の向上が認められた。
【００４２】
ここで、前述のステップ１３０（図４参照）について若干補足しておく。
黒体軌跡曲線の近傍色として検出されるグレー候補画素群または肌色候補画素群は、白熱電球（３０００Ｋ）の色温度付近およびストロボ光（５０００〜５５００Ｋ）の色温度付近の２個所に分散（分離）して分布するが、本実施形態では、これを色温度に関して単純平均するのではなく、色温度に対して累積頻度分布を作成する。
【００４３】
そして、肌色に関しては、肌色累積頻度分布の変曲点を境に肌色候補画素群を第１の肌色候補画素群と第２の肌色候補画素群に分離し、平均色温度の高い方を肌色候補画素群の平均色温度とし、グレーに関しても、グレー累積頻度分布の変曲点を境にグレー候補画素群を第１のグレー候補画素群と第２のグレー候補画素群に分離し、平均色温度の高い方をグレー候補画素群の平均色温度とし、肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との平均値をもって撮影光源の色温度を推定する。
なお、累積頻度分布の変曲点が見出せない場合は、１光源照明と見なして従来の方法で色温度を推定すればよい。
【００４４】
以上、詳細に説明したように、本実施形態によれば、ＤＳＣ画像中のグレーおよび／または肌色情報のみを用いたアルゴリズムを構築し、プリント作成時のホワイトバランス補正を行うようにしたため、従来技術に比して格段の補正能力が得られた。
【００４５】
なお、上記実施形態では、ＤＳＣ画像について説明したが、ＤＳＣに限定されず、カラーネガフィルムに撮影された画像についても、本発明のホワイトバランス補正方法を適用することができる。
【００４６】
また、上で説明したホワイトバランス補正方法を、コンピュータで実行可能なプログラムとして、コンピュータで読み取り可能な記録媒体に記録しておけば、この記録媒体からプログラムを入力することにより、任意の画像処理装置等で本発明のホワイトバランス補正方法を実行することができる。
【００４７】
以上、本発明のホワイトバランス補正方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００４８】
例えば、前述の実施形態では、最適化計算において、グレーの候補画素Ｎg および肌色の候補画素Ｎf の個数が最大となり、かつ、グレーの候補画素群の平均色温度Ｔg と肌色の候補画素群の平均色温度Ｔf の差が最小になるように係数を最適化して、ホワイトバランス補正信号を求めているが、これを、別の目的関数に変更することも可能である。
【００４９】
また、前述の通り、本発明は上記ホワイトバランス補正方法をコンピュータに実行させるためのプログラム、およびこのプログラムをコンピュータにより読み取り可能に記録した記録媒体として商品化することが可能である。さらに、上記ホワイトバランス補正方法を具体化したホワイトバランス補正装置として具体化することも可能である。
【００５０】
【発明の効果】
以上、説明した通り、本発明によれば、入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報のみを用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定し、これによりホワイトバランスを補正するアルゴリズムを構築するようにしたため、どのような入力画像に対しても、ホワイトバランス補正を適正に、かつ高い得率で実現することが可能となる。
【図面の簡単な説明】
【図１】 本発明の一実施形態に係るホワイトバランス補正装置の概略を示すブロック図である。
【図２】 本実施形態においてホワイトバランス補正の原理を示すための色度図である。
【図３】 典型的なＣＣＤセンサの分光感度分布を示す線図である。
【図４】 本実施形態の処理の流れを示すフローチャートである。
【図５】 ＢＴ７０９の分光感度分布を示す線図である。
【符号の説明】
１０ ホワイトバランス補正装置
１２ 光源色温度推定手段
１４ 画像信号補正手段
１６ 係数乗算手段
１８ 肌色候補検出手段
２０ グレー候補検出手段
２２ 係数最適化手段
２４ 光源色温度算出手段
３０、３１ メモリ
Claims (1)
- 入力されたカラー画像中に含まれるグレーおよび／または肌色の色情報を用いて、前記カラー画像を撮影した際の撮影光源の色温度を推定して、この推定された色温度により、前記カラー画像の画像信号を補正するホワイトバランス補正方法であって、
前記入力されたカラー画像中の各画素の画像信号に対して、所定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍に入る画素をグレー候補画素として、
この肌色候補画素および／またはグレー候補画素の個数が最大となり、かつ、この肌色候補画素群の平均色温度とグレー候補画素群の平均色温度との差が最小となるように、前記係数を最適化して得られる肌色候補画素およびグレー候補画素群について、
前記肌色候補画素群を複数の肌色候補画素群に分離して、そのうちの平均色温度の高い肌色候補画素群の平均色温度、および前記グレー候補画素群を複数のグレー候補画素群に分離して、そのうちの平均色温度の高いグレー候補画素群の平均色温度から前記撮影光源の色温度を推定し、
前記最適化された係数が乗算された前記カラー信号を、前記推定された色温度と基準白色の色温度との差分だけ補正するようにしたことを特徴とするホワイトバランス補正方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002022966A JP3813513B2 (ja) | 2002-01-31 | 2002-01-31 | ホワイトバランス補正方法 |
| US10/290,335 US7146041B2 (en) | 2001-11-08 | 2002-11-08 | Method and apparatus for correcting white balance, method for correcting density and recording medium on which program for carrying out the methods is recorded |
| EP02025015A EP1311111A3 (en) | 2001-11-08 | 2002-11-08 | Method and apparatus for correcting white balance, method for correcting density and program recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002022966A JP3813513B2 (ja) | 2002-01-31 | 2002-01-31 | ホワイトバランス補正方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003224866A JP2003224866A (ja) | 2003-08-08 |
| JP2003224866A5 JP2003224866A5 (ja) | 2005-04-07 |
| JP3813513B2 true JP3813513B2 (ja) | 2006-08-23 |
Family
ID=27745802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002022966A Expired - Fee Related JP3813513B2 (ja) | 2001-11-08 | 2002-01-31 | ホワイトバランス補正方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3813513B2 (ja) |
-
2002
- 2002-01-31 JP JP2002022966A patent/JP3813513B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003224866A (ja) | 2003-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7146041B2 (en) | Method and apparatus for correcting white balance, method for correcting density and recording medium on which program for carrying out the methods is recorded | |
| JP2002152772A (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法と濃度補正方法並びにこれらの方法を実行するためのプログラムを記録した記録媒体 | |
| US7630006B2 (en) | Detecting red eye filter and apparatus using meta-data | |
| US8089525B2 (en) | White balance control device and white balance control method | |
| US8106961B2 (en) | Image processing method, apparatus and computer program product, and imaging apparatus, method and computer program product | |
| US7133070B2 (en) | System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data | |
| US8160310B2 (en) | Image processing method and apparatus for processing an image by using a face detection result | |
| US20090002518A1 (en) | Image processing apparatus, method, and computer program product | |
| JP2007036462A (ja) | 画像処理装置 | |
| JP2002271638A (ja) | ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体 | |
| JP3853224B2 (ja) | ホワイトバランス補正方法 | |
| JP3819302B2 (ja) | ホワイトバランス補正方法 | |
| JP2005079623A (ja) | ホワイトバランス補正方法および装置並びにプログラム | |
| JP4104904B2 (ja) | 画像処理方法および装置並びにプログラム | |
| JP3813513B2 (ja) | ホワイトバランス補正方法 | |
| JP2000333185A (ja) | 撮影装置並びにホワイトバランス調整方法および装置 | |
| JP2009272709A (ja) | 画像処理装置、方法及びプログラム | |
| JP3958700B2 (ja) | デジタルカメラ | |
| JP2010055192A (ja) | 画像処理装置、方法及びプログラム | |
| WO2006132067A1 (ja) | 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040507 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060516 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060531 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |