JP4287179B2

JP4287179B2 - デジタル画像の自動ホワイトバランスのための方法

Info

Publication number: JP4287179B2
Application number: JP2003100386A
Authority: JP
Inventors: ブルックスジンデールエドワード; エドワードアダムズ，ジュニアジェイムズ; フランクリンハミルトン，ジュニアジョン; ハロルドピルマンブルース
Original assignee: イーストマンコダックカンパニー
Priority date: 2002-04-04
Filing date: 2003-04-03
Publication date: 2009-07-01
Anticipated expiration: 2023-04-03
Also published as: JP2004007545A; EP1351524A3; US20030189650A1; EP1351524A2; US7158174B2; EP1351524B1

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル写真プロセスにおける自動ホワイトバランス補正を提供するためのシーン照明を検出及び使用する方法に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
人間の視覚システムのように機能するためには、画像化システムはシーン照明における色かぶりの変化を自動的に受け入れなければならない。端的に言って、シーン照明が日中の太陽光、タングステン、蛍光または任意の他の光源の如何に拘わらず、シーンの中の白い対象物は白いままに描写されなければならない。この自動的に白色を適合させるプロセスは“ホワイトバランシング”と呼ばれ、この適合機構により決定される補正処置はホワイトバランス補正である。
【０００３】
自動プリンタ、デジタルスキャナ及びデジタルカメラで採用される自動ホワイトバランスアルゴリズムは、画像に各シーンベースで適用されるべきホワイトバランス補正の最適レベルを画像データから推定することを試みるために、デジタル化された画像情報及び関連する数学的技術を用いている。ホワイトバランス補正におけるエラーは、そのアルゴリズムがシーン照明に原因する全体的な色かぶりとシーンの要素に起因する全体的なカラーバイアスとの間の違いを区別することができないときに起こる。したがって、シーン照明による色かぶりをシーン要素に起因するカラーバイアスと区別することを可能とすることが好適である。また、ホワイトバランスのエラーは、シーン照明の等級内の色温度の変化に原因して生じることも知られている。曇った日のシーンがスカイライトにより白くなるのに対して、夕刻の直射日光は黄味がかった色かぶりとなるので、青味がかった色かぶりがシーンに対して適合する。しかしながら、両者の光は明らかに日中の光であるが、実質的に異なるホワイトバランス補正が必要である。したがって、ホワイトバランス補正を決定するとき、シーン照明のカラー温度変化を明らかにできることが望ましい。
【０００４】
デジタル画像のシーン照明を決定するために文献に記述された多くの方法がある。それらの一部は、この決定を行うために、画像を得るときに特殊なハードウェアを必要とする。本発明と同一の出願人による米国特許第4,827,119（特許文献１）及び第5,037,198（特許文献２）において、専用のセンサを用いてシーン照明の一時的な変動を測定する方法が開示されている。日中の太陽光においては変動はないが、一方、タングステン及び蛍光光源は、それらの電源装置のＡＣの性質により、出力パワーに変動が生じる。あらゆる専用センサに伴う問題は、２つの分離したデータ収集及び処理のパスから成り、そのうちの１つは照明検出のためのパスであり、もう１つは実際の画像獲得のためのパスである。このことは、主画像獲得パスに関する同期及び較正をする必要のない専用センサパスの可能性につながる。更に、専用センサにより獲得される比較的限られた情報量は、シーン照明の決定のローバスト性を大きく制限することとなる。本発明と同一の出願人による米国特許第5,644,358（特許文献３）及び第5,659,357（特許文献４）において、画像データ（ビデオ入力）は、照明の分類を実行するために照明入力と組み合わされる（照明入力の性質については説明していない）。シーンに対する全体的な照明を決定するのではなく、画像の低解像度バージョンを作り出し、定期像度画面内の各画像要素（または、画素）は、数ある可能なシーン照明のうちの１つに個別的に分類される。最もよいホワイトバランス補正の折衷を導き出すためにこれらの画素分類に統計的処理を実行する。この方法の問題点は、シーン照明の色かぶりの影響をシーンの構成の影響から分離するために明確な試みがなされていないことである。その代わりに、複雑な一連のテスト及びデータの重み付けスキームが、それに続くアルゴリズムのエラーを試行錯誤しながら減少させるための画素分類の後、適用されている。特許第11211458号（特許文献５）は、本発明と同一の出願人による米国特許第5,644,358（特許文献３）及び第5,659,357（特許文献４）において開示されたものと非常に類似する方法について教示している。
【０００５】
デジタル画像のホワイトバランス補正の色温度感応性を決定するために文献に記述された多くの方法がある。本発明と同一の出願人による米国特許第5,185,658（特許文献６）及び第5,298,980（特許文献７）において、開示される専用センサを用いて、赤（Ｒ）、緑（Ｇ）及び青(Ｂ)パワーのシーン照明相対量を測定する方法が開示されている。ホワイトバランス補正値は、シーン照明の色温度に関連させるために考案された比Ｒ／Ｇ及びＢ／Ｇから導かれる。同様にして、上述の本発明と同一の出願人による米国特許第4,827,119（特許文献１）及び第5,037,198（特許文献２）において、あらゆる専用センサに伴う問題は、２つの分離したデータ収集及び処理のパスから成り、そのうちの１つは照明検出のためのパスであり、もう１つは実際の画像獲得のためのパスであり、これらの２つのパスは互いに“調和しない”ものとなっている。上記の参照特許文献、特許第11211458号（特許文献５）において、照明分類の段階は、各照明等級内の種々の下位区分を表すために、更に改良を加えている。このようにして、日中の太陽光、タングステン及び蛍光体の照明等級についてのより冷たいまたはより暖かい色かぶりが決定される。しかしながら、前述のように、照明の色かぶりをシーン合成から分離するために与えられる明確な方法がなく、その結果、アルゴリズムのエラーを最少にするための試みにおいて、種々の関連する統計的操作が必要とされている。
【０００６】
本発明と同一の出願人による米国特許第6,133,983（特許文献８）において、Wheelerは、色補正の程度を設定するオプティカルプリンティングのための方法を開示している。この場合の色補正の程度とは、カメラのメタデータに基づいた、写真画像に適用されるカラーバランシーングの大きさを決定するために用いられるパラメータである。特に、Wheelerは、日中の太陽光の下または日中の太陽光でない照明の下のどちらかにおいて得られる画像を分類するために、シーンの光レベル、カメラから対象物までの距離、フラッシーング処理の信号及びフラッシーング戻り信号を用いることを開示している。同じホワイトバランス補正手法が照明によらず有効であるため、日中の太陽光で調整されたフィルムを用いて得られた画像に対して、非太陽光の照明と更に区別する必要はない、と記述されている。結果的に、本発明と同一の出願人による米国特許第6,133,983（特許文献８）は、そのような後の照明の区別のための方法を提供するものではない。正確なホワイトバランシングのための非太陽光源の更なる区別を必要とする画像化システムに適用されるとき、または、何れかの画像メタデータ（即ち、シーンの光レベル、カメラから対象物までの距離、フラッシーング処理の信号及びフラッシーング戻り信号）が原型を損なわれたりまたは失われたりした場合に、この方法はうまく機能しない。特に、Wheelerにより開示された方法は、定量的に測定されるシーンの光レベルを必要とする。
【０００７】
国際会議の発表論文、Moser、Schroder“一般自動画像強化システムにおけるＤＳＣメタデータの使用法（Usage of DSC meta tags in a general automatic image enhancement system）”, 予稿集SPIE Vol. #4669、Sensors and Camera System for Scientific, Industrial, and Digital Photography Applications III, ２００２年１月２１日（非特許文献１）、において、人工的な照明光源により影響を受けた写真のシーンの可能性に関するシーン分析についての方法が開示されている。MoserとSchroderにより開示されたこの方法は、次式を用いて、デジタルカメラから導かれるデジタル画像についての“擬”エネルギー（ｐＥ）量を計算するためにカメラのメタデータであるＦ数（ｆ）及び露出時間（ｔ）を用いている。
【０００８】
【数１】

MoserとSchroderは、ここで、シーン照明源及び対応する結果として得られる色かぶりの可能性に関するデジタル画像を分析するためにｐＥ量を用いている。一方、実際的なデジタル強化システムに対して一貫性のある自動ホワイトバランス補正の結果を得ることは十分正確でないと開示されているので、MoserとSchroderにより開示された方法はデジタル画像を分析することに対して有用である。これは、主に、絶対的とは対照的な、“擬”エネルギー量固有の相対的な性質によるものである。許容できる画像を得るために実質的に異なるエネルギーの要求条件を有する２つのデジタルカメラは、同じシーン照明条件に対して実質的に異なる“擬”エネルギー値をもっている。同様に、これらの同様な２つのデジタルカメラは、実質的に異なるシーン照明源によりデジタル画像を生じるとき、同一の“擬”エネルギー値を生じることが可能である。
【０００９】
【特許文献１】
米国特許第4,827,119号明細書
【特許文献２】
米国特許第5,037,198号明細書
【特許文献３】
米国特許第5,644,358号明細書
【特許文献４】
米国特許第5,659,357号明細書
【特許文献５】
特許第11211458公報
【特許文献６】
米国特許第5,185,658号明細書
【特許文献７】
米国特許第5,298,980号明細書
【特許文献８】
米国特許第6,133,983号明細書
【非特許文献１】
Moser、Schroder“一般自動画像強化システムにおけるＤＳＣメタデータの使用法（Usage of DSC meta tags in a general automatic image enhancement system）”, 予稿集SPIE Vol. #4669、Sensors and Camera System for Scientific, Industrial, and Digital Photography Applications III, ２００２年１月２１日
【課題を解決するための手段】
それ故、本発明の目的は、ホワイトバランス補正の演算での使用のために、及び、各シーン照明の等級における色温度変化の原因となるホワイトバランス補正のために、シーン照明を検出し、差異を見分ける簡単な方法を提供することである。
【００１０】
更なる目的は、デジタル画像におけるホワイトバランス補正を提供する改良方法を提供することである。
【００１１】
これらの目的は、デジタル画像の色特性を調整する方法を用いて達成され、この方法は次のような段階により構成される。
（ａ）複数の画素を含むデジタル画像を受け取る段階
（ｂ）絞り値、露出時間値、及び受け取られるデジタル画像に特有の速度値を含むカメラ捕捉パラメータに関連する非画素データを受け取る段階
（ｃ）シーン輝度値を演算するために絞り値、露出時間値、及び速度値を用いる段階
（ｄ）デジタル画像の色を調整するために演算されたシーン輝度値を用いる段階本発明の優位点は、ホワイトバランス補正を効果的に行うシーン照明を検出し、差異を見分ける簡単な方法を提供することである。
【００１２】
本発明のもう１つの優位点は、ホワイトバランス補正のために改良され、単純化された配置を提供することである。
【００１３】
【発明の実施の形態】
電子カメラは周知であるから、以下では、本発明に従って、装置及び方法の部品を構成する要素、または装置及び方法と直接共働する要素に関して、特に説明する。
【００１４】
図１を先ず参照するに、電子スチールカメラは、一般に入力部２と、補間及び記録部４に分割される。他の画像獲得装置に由来するデジタル画像を処理するために本発明を用いることが可能である。入力部２は、対象物からイメージセンサ１２に画像の光を導くために露出部１０を備えている。図示していないが、露出部１０は、露出時間を調節する光学絞り及びシャッタを調節するダイヤフラムを通して画像光を導くための従来の光学系を備えている。イメージセンサ１２は、画像の要素を捕える光景に対応するフォトサイトの２次元アレイを含んだ、従来の電荷結合素子（ＣＣＤ：Charge-Coupled Device）または相補形ＭＯＳ（ＣＭＯＳ：Complementary Metal-Oxide Silicon）センサである。
【００１５】
本発明は、イメージセンサ１２から赤、緑及び青（ＲＧＢ）画像データを得ることから開始する。データは完全なＲＧＢ画像とすることが可能であり、または、それは、ここで参照する、本発明と同一の出願人による米国特許第3,971,065（特許文献９）に開示されているベイヤー（Bayer）配列として知られるカラーフィルタ配列（ＣＦＡ）１３からのデータとすることが可能である。ベイヤー配列において、各色はイメージセンサ１２のフォトサイトまたはピクチャエレメント（画素）を網羅している。電荷に関する情報は、各ピクチャエレメントに対応するアナログ画像信号に電荷情報を変換する出力ダイオード１４に適用される。アナログ画像信号は、各ピクチャエレメントに対するアナログ画像信号からデジタル画像信号を生成するＡ／Ｄコンバータ１６に適用される。そのデジタル信号は、複数の画像に対する記憶容量を備えるＲＡＭ（Random Access Memory）とすることが可能である画像バッファ１８に適用される。
【００１６】
コントロールプロセッサ２０は、一般に、露出を開始及び制御すること（露出部１０のダイヤフラム及びシャッタ（図示せず））により、イメージセンサ１２の画像データにアクセスするために必要な水平及び垂直信号を生成することにより、及び、ピクチャエレメントに関する各信号セグメントに対する画像バッファ１８と関連するＡ／Ｄコンバータの機能を有効にすることにより、カメラの入力部２を制御する。一旦、任意の数のデジタル画像信号が画像バッファ１８に蓄積されると、その蓄えられた信号は、カメラの補間及び記録部４のために処理速度を制御するデジタル信号プロセッサ２２に適用される。更に、コントロールプロセッサ２０は写真情報を、シャッタ速度、絞り及び露出指数等のカメラ設定条件を盛り込まれたデジタル信号プロセッサ２２に送信する。デジタル信号プロセッサ２２は、適切な画像処置アルゴリズム（ホワイトバランス、補間及び色補正）をデジタル画像信号に適用し、その画像信号を従来型の取り外し可能なメモリカード２４にコネクタ２６を介して送る。
【００１７】
画像処理は、通常は、いくつかの段階に亘っているため、処理アルゴリズムの中間性生物がプロセシングバッファ２８に保存される（プロセシングバッファ２８を画像バッファ１８のメモリスペースの一部として構成することも可能である）。デジタル処理が開始することが可能となる前に画像バッファ１８において必要とされる画像信号の数は、処理のタイプに依存する。即ち、ホワイトバランス操作が開始するためには、少なくともビデオフレームから構成される画像信号の一部が含まれる信号ブロックが利用可能でなければならない。したがって、殆どの環境において、ホワイトバランス操作は、ピクチャエレメントの不可欠なブロックが画像バッファ１８に存在するようになるとすぐ、開始される。
【００１８】
操作表示パネル３０は、カメラ操作で有用な情
報を表示するためにコントロールプロセッサ２０に接続されている。そのような情報は、シャッタ速度、絞り、露出バイアス等のような典型的な写真データを含むことが可能である。例えば、取り外し可能なメモリカード２４は、各保存画像の始めと終わりを表すディレクトリを通常含んでいる。これは、保存された画像の数、残っているまたは残っていると推定される画像スペースの数のどちらかまたはそれら両方として、表示パネル３０に表示される。
【００１９】
図２を参照するに、デジタル信号プロセッサブロック２２を非常に詳細に示している。ホワイトバランスブロック３２は、画像バッファブロック１８から未処理の画像データを受け入れ、シーン照明（画像が得られたときに用いる光源）を分類し、適切なホワイトバランスゲイン、即ちホワイトバランス補正を決定する。デジタルカメラシステムにおいて、中間色（即ち、白、黒及び濃淡様々なグレー）を、互いに等しい、赤、緑、青（ＲＧＢ）データ値で表すことが一般の慣行となっている。この条件を維持する場合、画像はホワイトバランスが施されたと言われる。しかしながら、カメラセンサからの(生)未処理画像データはホワイトバランスが施されていないので、中間色の赤、緑、青データ値は互いに等しくない。この場合、ホワイトバランスは、ＲＧＢデータ値に異なる値を乗じることにより達成される。このとき、赤の値には赤のゲインを、緑の値には緑のゲインを、そして青の値には青のゲインを乗じる。それらゲインが正しく選択される場合、得られる結果は、中間色が等しいＲＧＢ値をもち、ホワイトバランスが達成されたものとなる。色補間ブロック３４は、ブロック３２で生成されるホワイトバランスが施された画像データから３原色よりなるフルカラー画像を作り出す。色補間法としては、ベイヤー配列（本発明と同一の出願人による米国特許第3,971,065）等のカラーフィルタアレイのためのもの（例えば、本発明と同一の出願人による米国特許第5,652,621）がよく知られている。色補正ブロック３６は、ホワイトバランスブロック３２で決定されるようなシーン照明分類に従って選択される色補正マトリクスを適用することにより、ＲＧＢデータ値を調節する。
【００２０】
図３を参照するに、ホワイトバランスブロック３２を非常に詳細に示している。ａｖｅＩｌｌを演算するブロック４２は、画像バッファブロック１８から画像データを受け取り、後述のような平均化の手法により、ａｖｅＩｌｌと呼ばれる色座標値を演算する。Ｂｖを演算するブロック４４はコントロールプロセッサ２０から写真情報を受け取り、後述するような、Ｂｖと呼ばれるシーン輝度値を決定する。シーン照明を決定するブロック４６は、ａｖｅＩｌｌを演算するブロック４２からシーン色情報、及びＢｖを演算するブロック４４からシーン輝度情報を受け取る。シーン照明は、複数の所定の照明タイプの内の１つとして分類される。ホワイトバランスを演算するブロック４８は照明分類タイプを受け取り、ホワイトバランスゲインを決定する。最終段階は、線形のＲＧＢ画像データに適切なホワイトバランスゲインを適用することである。
【００２１】
図４を参照するに、ａｖａＩｌｌを演算するブロック４２を非常に詳細に示している。ＲＧＢ画像データをパクセライズするブロック５２は、パクセルと呼ばれる画素ブロックのアレイにおける利用可能な赤、緑および青を平均化することにより画像の低分解能バージョンを作り出す。その結果は、オリジナルの画像の中央部分をカバーする２４ｘ３６アレイよりなるパクセルとなり、各パクセルは赤、緑および青の平均値を有することとなる。パクセライズされたＲＧＢの平均は、変換シーケンスが適用される対数Ｕスペースブロック５４に、変換するために送られる。各パクセルに対して、線形ＲＧＢデータ値（ｌｉｎＲ，ｌｉｎＧ，ｌｉｎＢ）はＲＧＢの対数値に変換される。０から４０９５までの範囲をカバーする１２ビットの線形データの場合、ＲＧＢ値は次のように計算される。
【００２２】
ｌｏｇＲ＝Ｒｏｕｎｄ（１０００＊ＬＯＧ_１０（１＋ｌｉｎＲ））
ｌｏｇＧ＝Ｒｏｕｎｄ（１０００＊ＬＯＧ_１０（１＋ｌｉｎＧ））
ｌｏｇＢ＝Ｒｏｕｎｄ（１０００＊ＬＯＧ_１０（１＋ｌｉｎＢ））
これらの式は他の３つの１２ビットの整数を与える。ＲＧＢの対数値は、次いで、次のような対数Ｕスペースの色成分座標に変換される。
【００２３】
ＮＥＵ＝（ｌｏｇＲ＋ｌｏｇＧ＋ｌｏｇＢ）／３
ＧＭ＝（−ｌｏｇＲ＋２＊ｌｏｇＧ−ｌｏｇＢ）／４
ＩＬＬ＝（−ｌｏｇＲ＋ｌｏｇＢ）／２
その結果は、オリジナルの赤、緑及び青の値の輝度−クロミナンス表示をこのように確立する各画素に対して対数Ｕスペースの３つの値（ＮＥＵ，ＧＭ，ＩＬＬ）を得る。
【００２４】
演算されるべき次の値はｓｂａＮｅｕ１８と呼ばれるものであり、もし画像内に１つ存在するとすれば、１８％のグレーパッチのＮＥＵ値の推定値である。ｓｂａＮｅｕ１８の値は、ここで詳細に述べる２つの中間値から決定される。第１中間値を求めるために、２４ｘ３６のパクセライズされた画像はそれぞれ４つの水平ストリップと６つの列に分割される。各水平ストリップにおいて、ＮＥＵの最大値（ＭＮ）が求められ、書き留められる。ＭＮ値１〜４を最上部から最下部までラベリングし、次式のように、ＨＷＡ（Horizontal Weighted Average：水平重み付け平均）と呼ばれる合算平均を表すことが可能である。
【００２５】
ＨＷＡ＝（１＊ＭＮ_１＋４＊ＭＮ_２＋４＊ＭＮ_３＋３＊ＭＮ_４）／１２
第２中間値を求めるために、オリジナルの２４ｘ３６のパクセルアレイを用いてエッジパクセルを規定する。３ｘ３の隣接パクセルを有する各パクセルに対して、ＮＥＵ値の最大値（ＭＡＸ）とＮＥＵ値の最小値（ＭＩＮ）を求める。（ＭＡＸ−ＭＩＮ）が所定の閾値（例えば、値２４０がうまくいく）を上回る場合は、そのパクセルはエッジパクセルと呼ばれる。各エッジパクセルは、その位置に応じて、重みｗｇｔ(ｉ，ｊ)（ガウス分布から）を受け取る。
【００２６】
【数２】

ここで、ｉとｊはアレイにおけるパクセルの位置を表す添え字であり、
【００２７】
【数３】

及び
【００２８】
【数４】

【００２９】
【数５】

ここで、Ｎｃｏｌは３６であり、Ｎｒｏｗは２４である。
エッジパクセルからのＮＥＵ値の重み付け平均はＧＷＡ（Gaussian Weighted Average）と呼ばれる。ＨＷＡとＧＷＡを用いて、ｓｂａＮｅｕ１８が次式により演算される。
【００３０】
ｓｂａＮｅｕ１８＝０．３５＊ＨＷＡ＋０．６５＊ＧＷＡ−０．３３２４有用なパクセルを選択するブロック５８は、パクセライズされた画像とｓｂａＮｅｕ１８値を受け取り、その両者から、有用なパクセルを選択するブロック５８はシーン照明を分類する上でどのパクセルが有用であるかを決定する。ｓｂａＮｅｕ１８と（ｓｂａＮｅｕ１８＋７００）の間のＮＥＵ値を有するすべてのパクセルは有用と認識される。これらのパクセルは、１８〜９０％の範囲内に収まる平均シーンの推定基準を有する。ブロック６０において、ａｖｅＩｌｌの平均値は、ブロック５８で有用と認められるそれらのパクセルのＩＬＬ座標を平均化することにより求められる。
【００３１】
図３のブロック４４を参照するに、シーン輝度値Ｂνを演算するために写真情報を用いる。具体的には、写真データは、絞り設定（ｆ＃）、シャッタ時間（ｔ）及び露出指数（ＩＳＯ）である。これら３つの値を用いて、次式からＢνを演算することが可能である。
【００３２】
Ｂν＝Ｔν＋Ａν＋Ｓν
ここで、
Ｔν＝ｌｏｇ_２（１／ｔ）
Ｓν＝ｌｏｇ_２（ＩＳＯ／π）
及び
Ａν＝ｌｏｇ_２（ｆ＃^２）
入力値として、ＢνとａｖｅＩｌｌを用いることにより、ブロック４６は複数の照明のタイプのうち１つとしてシーン照明を分類する。好適な実施形態においては、たった３つのタイプの照明、即ち、日中の太陽光、蛍光及びタングステンを用いる。図５を参照するに、シーン照明のディシジョンブロックを非常に詳細に示している。ディシジョンブロック６２は、Ｂνが閾値Ｂｄａｙ（典型的なＢｄａｙは５である）より大きいか否かを判定するためにテストする。ブロック６２の不等式が成立する場合（Ｔ）、シーン照明はブロック７０において日中の太陽光として分類される。この不等式が成立しない場合（Ｆ）、照明スコア（Ｚ）は、次式のように、ＢνとａｖｅＩｌｌの２つを用いて、ブロック６４で演算される。
【００３３】
Ｚ＝ａｖｅＩｌｌ＋２５＊Ｂν
ディシジョンブロック６６は、Ｚが閾値Ｚｄａｙより大きいか否かを判定するためにテストする。ブロック６６の不等式が成立する場合、シーン照明は、ブロック７０において日中の太陽光として分類される。その不等式が成立しない場合、ディシジョンブロック６８は、Ｚが閾値Ｚｆｌｕｏｒ（典型的なＺｆｌｕｏｒは１７０である）より大きいか否かを判定するためにテストする。ブロック６８の不等式が成立する場合、シーン照明は、ブロック７２において、蛍光として分類される。その不等式が成立しない場合、シーン照明は、ブロック７４においてタングステンとして分類される。
【００３４】
図３を参照するに、ホワイトバランスの演算ブロック４８は、シーン照明の分類の関数として、適切なＲＧＢのホワイトバランスゲインを決定し、画像バッファブロック１８から受け取られる処理されていない画像データにそれらゲインを適用する。各照明カテゴリのための補正ホワイトバランスゲインの決定は半経験的なプロセスである。具体的に言って１８％の反射率をもつグレーパッチを備える適切な色テストチャートを含む非常に多くの数の画像の補正から始めることにより、１８％グレーパッチの完全なホワイトバランス補正を達成するために必要とされる色チャンネルゲインを手動で決定する。これらの色チャンネルゲインは、従来の最小二乗関数のあてはめにより、次の２つのホワイトバランス補正曲線の係数を決定するために用いられる。
【００３５】
ＩＬＬ_ｗｂ＝Ｂ_１＊Ｂν＋Ｂ_２＊ａｖｅＩｌｌ＋Ｂ_３
ＧＭ_ｗｂ＝Ｃ_１＊Ｂν＋Ｃ_２＊ａｖｅＩｌｌ＋Ｃ_３
ここで、ＩＬＬｗｂ及びＧＭｗｂは、１８％グレーパッチに対応する演算されたＵスペース色度座標である。それ故、本発明と同一の出願人による米国特許第6,243,133（Spaulding等）において開示されているように、対応するホワイトバランスのゲインを決定するために、ＩＬＬｗｂ及びＧＭｗｂの値を用いることが可能である。特定のカメラシステムによっては、全部の照明カテゴリを表すために、ＩＬＬｗｂ及びＧＭｗｂの単一の値が適切であることを最小自乗法が示す（即ち、Ｂ_１＝０、Ｂ_２＝０、Ｃ_１＝０及びＣ_２＝０）。その他の場合、すべての係数はゼロでないことが要求される。
【００３６】
本発明の重要な特徴は、色成分座標、即ちオリジナルの赤、緑及び青の画素値からの色座標を計算するために用いられる数学的式の選択に関わる。特に、青および赤の画素値の差としての項ＩＬＬの公式化は重要である。自然のシーン照明源はクロミナンス軸に沿って大きさが変化する。例えば、グレーの反射性物体に関するＩＬＬ色成分座標は、曇り（やや青味がかっている）、日中の太陽光（中間色）、夕方及び明け方の太陽光（金色）、及び夕暮れ（濃い赤）等の照明源に対して大きく変化する。これらの同一の照明源は非常に小さい大きさのＧＭ色成分座標の値を有している。このように、色座標値の演算に基礎を置く色成分座標（ＩＬＬ）のための数学的公式化の選択は重要である。ＩＬＬ色成分座標はシーン照明源の自然変化に本質的に関係する。これらの自然のシーン照明源は、黒体放射源に近い色相線に関するクロミナンス軸に沿う。当業者は、色成分座標のための数学的公式化の選択は黒体放射源の色相線に正確には沿わず、ＧＭ及びＩＬＬの公式化は近似的に正しいことを認識しているであろう。黒体放射源の色相線に近似することができると共に、好適な実施形態の選択と同じであると本質的にみなし得る色成分軸の数学的公式化のための他の選択があることは、評価されるべきことであろう。
【００３７】
上述の議論においては本発明をデジタルカメラの構成要素として述べている一方、デジタル的な写真現像システムの構成要素として本発明を実行することもまた可能である。デジタル写真現像システムにおいて、デジタルカメラ及び写真フィルムスキャナを含む種々の源からデジタル画像を受け取ることが可能である。そのシステムは、デジタル画像の色特性を調節するためにデジタル画像を処理し、デジタルカラープリンタを用いて写真の印刷を実行する。このような本発明の実行において、補正されていないカラーデジタル画像の画素値はデジタル写真現像システムにより受け取られ、上述のようなホワイトバランス補正はデジタル写真現像システムにより実行される。このようにして、ときどき色バランスと呼ばれるホワイトバランス補正を実行することは、デジタル画像の色特性を調節する方法である。
【００３８】
本発明の重要な特徴の１つは、カメラのメタデータ、即ち、カメラにより記録され、デジタル画像を伴って転送される非画素データ、から由来するものとしてのホワイトバランス補正の決定である。特に、用いられるカメラのメタデータはデジタル画像に特徴的なカメラ捕捉パラメータに関係する。絞り設定は、上述のように絞り値Ａνの形式でデジタル画像と共にメタデータとして受け取られる。同様にして、シャッタ時間も、時間値Ｔνの形式でメタデータとして受け取られる。露出指数（ＩＳＯ）もまた、速度値Ｓνの形式でメタデータとして受け取られる。上述のように、シーンの輝度値ＢνはＡν、Ｔν及びＳνから演算される。このようにして、デジタル写真現像システムは、カメラに記録された絞り値、時間値、速度値を用いて、受け取られたデジタル画像の色特性を調節する。
【００３９】
実用的なデジタル写真現像システムにおいて、一部の受け取られるデジタル画像はメタデータが添付されていないが、一方、他のデジタル画像は必要なメタデータＡν、Ｔν及びＳνを有し、更に他のデジタル画像は、カメラの中の光電デバイスから由来するシーン輝度の測定値Ｂνに関連するメタデータを有している。Ａν、Ｔν及びＳνを、シーン輝度の演算値、即ちシーン輝度の測定値の代わりを得るために用いられることに注目することは大事なことである。測定値は環境の照明強度に直接関係するため、一般に、シーン輝度の測定値は、シーン輝度の演算値より高い信頼性がある。環境の照明強度は、異なるタイプのシーン照明源は異なる特性の色を有するとの推定を用いている。本発明で用いているように、シーン照明の演算値は、電子フラッシュを用いないときのシーン照明の測定値に略等しい。電子フラッシュがカメラに用いられるとき、シーン輝度の演算値は、対応するシーン輝度の測定値から実質的に異なってしまう。しかしながら、電子フラッシュが用いられた場合、得られるシーン輝度の演算値は、日中の太陽光の照明源を用いて得られる値、即ち、実際の環境照明源の輝度に比較してかなり高い値に、更によく一致する。本発明においては、実際に日中の太陽光と電子フラッシュ照明源は色が似ているという暗黙の了解がある。本発明は、ホワイトバランスの補正を中心に扱っているため、電子フラッシュ照明を用いた写真が結果的にシーン輝度の演算値が大きくなってしまうという事実は、達成可能なホワイトバランス補正の精度に著しく影響を及ぼすものではない。
【００４０】
電子フラッシュ照明条件及びシーン輝度の測定値Ｂνに関するカメラのメタデータが利用可能のであるとき、デジタル写真現像システムは、シーン照明の演算値の代わりにシーン照明の測定値を優先的に用いる。デジタル画像を得るために電子フラッシュを用いない、ことをメタデータが表す場合、本発明は、上述のホワイトバランス補正を適用し、シーン輝度の測定値を用いる。したがって、測定されたＢνが利用可能でないとき、即ち、シーン輝度の測定値が受け取られないとき、デジタル写真現像システムは、メタデータ量、Ａν、Ｔν及びＳνから導き出されるものとしてのシーン照明の計算値Ｂνを用いる。
【００４１】
本発明の目的に対して、絞り値という表現は、カメラの絞り設定が由来するものであれば如何なるメタデータをも表すことは、注目すべき点である。同様にして、時間値という表現は、カメラのシャッタ速度、即ち、機械的または同等の電気的シャッタ速度が由来するものであれば如何なるメタデータも表す。速度値という表現は、カメラの露出指数が由来するメタデータであれば如何なるものであろうと表す。
【００４２】
実用的なデジタル写真現像システムにおいて、種々の異なるメタデータ要素を有する種々の異なるタイプのデジタルカメラから、デジタル画像を受け取ることが可能である。特に、一部のデジタルカメラは、デジタル画像データに関してかなりのホワイトバランス補正を既に実行している。デジタル写真現像システムにより受け取られた一部の画像に対して、デジタル画像が人工的なシーン照明源に関するホワイトバランスを前もって補正したかどうかを表すプレバランス（pre-balance）メタデータタグはデジタル画像の画素データと共にまた受け取られる。プレバランスメタデータタグが受け取られ、対応するデジタル画像が人工的なシーン照明源に関するホワイトバランスを予め補正したことを示すとき、本発明は上述のホワイトバランス補正を適用しない。プレバランスメタデータタグが受け取られ、対応するデジタル画像が人工的なシーン照明源に関するホワイトバランスを予め補正していないことを示すとき、本発明は上述のホワイトバランス補正を適用する。
【００４３】
本発明を使用することにより、デジタルカメラのデジタル写真現像システムのような競業企業の製品の構成要素を検出することが可能である。デジタル写真現像システムにおいて、シーン照明源、即ち日中の太陽光、夕方の太陽光、及び曇り空、に関して変化する自然シーンを扱うデジタルカメラによりテストデジタル画像のセットが必要とされる。ホワイトバランス補正がデジタル画像に適用されないように構成された場合、デジタルカメラは、上述のように、メタデータ量、Ａν、Ｔν及びＳνを記録する。次いで、テストデジタル画像のセットの複写、即ち、画素値に関する適切な複製が作られる。続いて、メタデータ量Ａν、Ｔν及びＳνが、テスト画像の複写のためのデジタル画像ファイルから削除される。テストデジタル画像のオリジナルのセット、及びテストデジタル画像の変更されたメタデータセットは、競合企業のデジタル写真現像システムに送られ、これにより、２つのデジタル画像のセットから写真プリントが得られる。これら２つのデジタル画像のセットの画素データは同一であるから、得られた写真プリントの色特性における如何なる変化もカメラのメタデータによるものであるに違いない。同様にして、上述のように選択されたメタデータ項目を削除することによる何らかのメタデータ量の特異な組み合わせへの依存があるかどうかを決定するために、テストがまた実行される。特に、シーン輝度値Ｂνのメタデータは、結果として得られる写真プリントが色依存性を示すかどうかを決定するために、画像データファイルに挿入される。
【００４４】
競合企業のデジタルカメラの構成要素として本発明を用いる可能性を決定することが可能である。スタジオのテストシーンは、制御されたシーン輝度値を得ることが可能であるタングステン照明源を用いて構成される。２つのデジタル画像が、問題となっているデジタルカメラを用いて得られる。第１のデジタル画像は電子フラッシュを使用しないデジタルカメラによる弱い環境照明を用いて得られるものであり、第２のデジタル画像はカメラレンズを覆うようにして適用されたニュートラルデンシティフィルタと電子フラッシュを自動制御で用いないデジタルカメラのようなデジタルカメラによる強い環境照明レベルを用いて得られるものである。デジタルカメラは、両方のデジタル画像に対して同一のＦナンバーと露出時間を用いる。第２デジタル画像は、ニュートラルデンシティフィルタと強い環境照明レベルの組み合わせによる自動ホワイトバランス補正アルゴリズムの適用に先立って第１デジタル画像と本質的に同じ始動の画素値を有する。したがって、２つのデジタル画像についてのシーン輝度の演算値は本質的に同じであるが、一方、シーン輝度の測定値は異なる筈である。表示装置で見たときに、第１及び第２デジタル画像が色かぶりにおいて違いがない場合、テストを行うデジタルカメラに本発明を用いる可能性は非常に少ないように思われる。しかしながら、第１画像がホワイトバランスについて著しい補正を示し、第２画像がそうでない場合、第１及び第２デジタル画像における差は測定されるシーン輝度値のみであるため、本発明はまたデジタルカメラにおいて実行することができる可能性がある。両者のデジタル画像がホワイトバランスに対して著しく一貫性のある補正を示すか、或いは示さない場合、本発明は、問題となっているデジタルカメラにおいて実行できる可能性はないように思われる。明確な表示結果が得られるかどうかを決定するために、このテストは環境の照明レベルの異なる絶対値を伴って繰り返されなければならない。
【００４５】
コンピュータプログラムプロダクトは１つ以上の記憶媒体を含む。例えば、磁気ディスク（フロッピー（登録商標）ディスク等）または磁気テープ等の磁気記憶媒体、光ディスク、光テープ、または機械可読バーコード等の光記憶媒体、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）または読み出し専用メモリ（ＲＯＭ：Read-Only Memory）等の固体電子媒体、または、本発明に従った方法を実行する１つ以上のコンピュータを制御するための指令を有するコンピュータプログラムを記憶するために用いられる、他の任意の物理装置または媒体、である。
【図面の簡単な説明】
【図１】本発明の実施形態に従った電子カメラのブロック図である。
【図２】図１のブロック２２の詳細ブロック図である。
【図３】図２のブロック３２の詳細ブロック図である。
【図４】図３のブロック４２の詳細ブロック図である。
【図５】図３のブロック４６の詳細ブロック図である。
【符号の説明】
２入力部
４補間及び記録部
１０露出部
１２イメージセンサ
１３カラーフィルタ配列
１４出力ダイオード
１６Ａ／Ｄコンバータ
１８画像バッファ
２０コントロールプロセッサ
２２デジタル信号プロセッサ
２４メモリカード
２６コネクタ
２８プロセシングバッファ
３０操作表示パネル
３２ホワイトバランスブロック
３４色補間ブロック
３６色補正ブロック
４２ＡｖｅＩｌｌを演算するブロック
４４Ｂｖを演算するブロック
４６シーン照明を決定するブロック
４８ホワイトバランスを演算するブロック
５２ＲＧＢ画像データをパクセライズするブロック
５４対数Ｕスペースブロック
５６ｓｂａＮｅｕ１８値を演算するブロック
５８有用パクセルを選択するブロック
６０ＡｖｅＩｌｌを演算するブロック
６２ディシジョンブロック
６４照明スコア（Ｚ）を演算するブロック
６６ディシジョンブロック
６８ディシジョンブロック
７０シーン照明を日中の太陽光として分類するブロック
７２シーン照明を蛍光として分類するブロック
７４シーン照明をタングステンとして分類するブロック

Claims

デジタル画像の色特性を調整する方法であって：
（ａ）複数の画素を有するデジタル画像を受け入れる段階；
（ｂ）受け入れられるデジタル画像に特有の絞り値と、露出時間値と、露出指数値と、を有するカメラ捕捉パラメータに関連する非画素データを受け入れる段階；
（ｃ）何れの測定されたシーン輝度を用いることなく、シーン輝度値を演算するように、前記絞り値、前記露出時間値、及び前記露出指数値を用いる段階；
（ｄ）前記デジタル画像の色を調整するように、前記演算されたシーン輝度値を用いる段階；及び
（ｅ）少なくとも１つのホワイトバランス補正曲線を提供する段階；
を有する、方法であり、
ホワイトバランス補正曲線は、
ｃ＝Ｂ _１ ×Ｂν＋Ｂ _２ ×ａｖｅＩＬＬ＋Ｂ _３
により定義され、ここで、ａｖｅＩＬＬは色座標値、Ｂ _１、Ｂ _２及びＢ _３はシーン照明タイプについての係数、そしてＢνはシーン輝度値である；
ことを特徴とする方法。
請求項１に記載の方法であって、前記段階（ｄ）は：
（ｆ）シーン照明タイプを決定するように、前記演算されたシーン輝度値を用いる段階；及び
（ｇ）前記デジタル画像の前記色を調整するように、前記シーン照明タイプを用いる段階；
を有する、ことを特徴とする方法。
請求項２に記載の方法であって、前記シーン照明タイプを決定するように、少なくとも１つの色座標値を用いる段階を更に有する、ことを特徴とする方法。
請求項３に記載の方法であって：
前記シーン照明タイプ、前記演算されたシーン輝度値、及び前記色座標値に関連するホワイトバランスパラメータ値を決定する段階；
前記決定されたシーン照明タイプについて、ホワイトバランスパラメータ値及び少なくとも１つのホワイトバランス補正曲線から前記ホワイトバランス補正を決定する段階；並びに
前記デジタル画像の前記色を調整するように、前記ホワイトバランス補正を用いる段階；
を更に有する、ことを特徴とする方法。
請求項２に記載の方法であって、前記シーン照明タイプは、日中の太陽光、タングステン、及び蛍光灯を有する、ことを特徴とする方法。
請求項３に記載の方法であって、前記色座標値は、黒体放射源に近似される色相線に関するクロミナンス軸に関連する、ことを特徴とする方法。
請求項３に記載の方法であって、色座標値は、
ＩＬＬ＝（−ｌｏｇＢ＋ｌｏｇＲ）／２
により定義され、ここで、ＩＬＬは前記色座標値、Ｒは赤、及びＢは青である、ことを特徴とする方法。