JP4214154B2 - ホワイトバランスを自動調整する映像装置及びそのホワイトバランス調整方法 - Google Patents

ホワイトバランスを自動調整する映像装置及びそのホワイトバランス調整方法 Download PDF

Info

Publication number
JP4214154B2
JP4214154B2 JP2006042911A JP2006042911A JP4214154B2 JP 4214154 B2 JP4214154 B2 JP 4214154B2 JP 2006042911 A JP2006042911 A JP 2006042911A JP 2006042911 A JP2006042911 A JP 2006042911A JP 4214154 B2 JP4214154 B2 JP 4214154B2
Authority
JP
Japan
Prior art keywords
value
light source
average value
gray
source information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006042911A
Other languages
English (en)
Other versions
JP2006229990A (ja
Inventor
聖 洙 金
皓 榮 李
斗 植 朴
昌 容 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2006229990A publication Critical patent/JP2006229990A/ja
Application granted granted Critical
Publication of JP4214154B2 publication Critical patent/JP4214154B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6077Colour balance, e.g. colour cast correction
    • H04N1/608Colour balance, e.g. colour cast correction within the L, C1, C2 colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、色度色空間(chromatic color space)で抽出した映像装置のグレイ領域に流入される色度成分を最小化して正確な光源を検出した後、検出した光源情報を用いてホワイトバランスを自動で調整できるホワイトバランスを自動調整する映像装置及びそのホワイトバランス調整方法に関する。
ホワイトバランス調整とは、入力された映像データにおいて、光源による物体色の変化が最大のホワイトを検出して、検出したホワイトのRGB構成比で色温度を判断した後、検出したホワイトを基準に色温度によるR(Red:レッド)とB(Blue:ブルー)を補正することによって全体色感をシフト(shift)させて色バランスを取る色補正機能を指す。
一般に、ディジタルスチルカメラ、ディジタルビデオカメラなどのような映像装置を使って同一な被写体を撮像する場合、室内の白色ランプ、蛍光照明灯、あるいは、太陽光下など様々な光源の条件によって、撮像された色の見かけは違ってくる。人間の目はそれぞれの光源に順応してホワイトをホワイトとして感じられるカラー恒常性(color constancy)を有する。一方、映像装置は、色温度(color temperature)が異なる光源に含まれたRGB成分を反映する。例えば、光源の色温度が高い場合は青色が含まれたホワイトを再現し、色温度が低い場合は赤色が含まれたホワイトを再現するようになる。
従って、光源により色温度が変わる場合に、ホワイトが白く見えるようにするために、ホワイトバランス調整が必要である。例えば、青色が含まれたホワイトに対してはRのゲインを増加させ、かつ、Bのゲインを減少させるように調整する必要がり、また、赤色が含まれたホワイトに対してはBのゲインを増加させ、かつ、Rのゲインを減少させるように調整する必要がある。
このようにホワイトバランスを正確に調整するためには、基準になるホワイトを正確に検出すべきである。このために、「撮像した画面に含まれる色成分全体を積分すればゼロ、すなわち無彩色に近い」というグレイワールド仮定(gray world assumption)に基づきホワイトバランスを調整することができる。特に、グレイワールド仮定下におけるホワイトバランス調整は、入力映像が多様な色を含んで色の分布が広い場合に効果的にホワイトを検出できる。グレイワールド仮定下でホワイトバランスを調整する場合、入力映像に支配的な色(カラー)が存在する場合や、抽出されるグレイ領域に色度成分が流入される場合にも正確な光源情報を獲得してホワイトバランスを正確に行なう必要がある。
本発明は、前記した従来の技術の問題点を解決するために案出されたもので、その目的は、色度色空間で抽出したグレイ領域に流入される色度成分を最小化し、入力映像に存在する支配的なカラーを排除して検出した光源情報を用いて正確にホワイトバランスを調整できるホワイトバランスを自動調整する映像装置及びそのホワイトバランス調整方法を提供するところにある。
前記した目的を達成するために、本発明に係るホワイトバランスを自動調整する映像装置は、イメージセンサでセンシングされた入力映像データを、色度成分を有する色空間のデータに変換する色空間変換部、多数の光源及び所定のカラーチェッカを用いて検出されるそれぞれの光源のグレイ領域に基づき前記入力映像データのグレイ領域を抽出するグレイ領域抽出部、前記入力映像の色域内平均値及び中心値を用いて前記色域内平均値が反映された加重平均値を計算した後、前記加重平均値に基づき初期光源情報を抽出する光源情報抽出部、前記グレイ領域での最大値と最小値の平均値及び前記グレイ領域の平均値を用いて決定されたスレショルド輝度値を基準に、前記グレイ領域を、前記第1領域と前記第2領域とに分割した後、前記第1領域の平均値及び前記第2領域の平均値のうち、前記初期光源情報と最短距離を有する平均値を、調整された光源情報として検出する調整部、および前記調整された光源情報に基づき前記入力映像データのスケーリングに適用されるゲインを計算し、計算されたゲインを前記入力映像データに適用してホワイトバランスを調整するゲイン制御部を含む。
ここで、前記ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する信号処理部をさらに備えることが好ましい。
この際、色空間は、輝度(Y)軸、R/(R+G+B)軸、B/(R+G+B)軸よりなる色空間、または、輝度(Y)軸、R/G軸、B/G軸よりなる色空間であることが好ましい。
望ましくは、グレイ領域抽出部は、多数の光源を用いて獲得されるグレイパッチのデータの平均値を用いて各光源のホワイトポイントを検出した後、各光源のホワイトポイントを中心にした所定範囲を各光源のグレイ領域として検出して、各光源のグレイ領域をすべて含む領域を、前記入力映像データのグレイ領域として抽出する。
また、望ましくは、光源情報抽出部が、加重平均値を、各光源のホワイトポイントを連結した中心軸に垂直マッピングした後、各光源別加重平均値を各光源のホワイトポイントにマッピングしたときに、誤差を最小化できる動きに基づき前記マッピングされた中心軸上の加重平均値を補正して初期光源情報として抽出する。
また、加重平均値は次の式(1)により計算されることが好ましい。
ここで、rweightedは加重平均値のR/(R+G+B)値、bweightedは加重平均値のB/(R+G+B)値であり、αとβとはそれぞれ任意の定数であり、raveは色域内平均値のR/(R+G+B)値、baveは色域内平均値のB/(R+G+B)値を示し、rgmは前記色域の中心値のR/(R+G+B)値、bgmは前記色域の中心値のB/(R+G+B)値を示す。
この際、スレショルド輝度値は次の式(2)により計算されることが好ましい。

ここで、Ythresholdはスレショルド輝度値、Yregion前記グレイ領域での最大値と最小値の平均値であり、Yaveはグレイ領域の平均値であり、αとβとはそれぞれ任意の定数を示す。
この際、調整された光源情報は次の式(3)により計算されることが好ましい。
ここで、rwhtとbwhtとはそれぞれ調整された光源情報のR/(R+G+B)値、B/(R+G+B)値であり、rdownとbdownとはそれぞれ第1領域の平均値のR/(R+G+B)値、B/(R+G+B)値であり、rupとbupとはそれぞれ第2領域の色域平均値のR/(R+G+B)値、B/(R+G+B)値を示し、Distdownは初期光源情報と第1領域の平均値との距離を示し、Distupは初期光源情報と第2領域の平均値との距離を示す。
そして、ゲインは次の式(4)により計算されることが好ましい。
ここで、RgainとBgainとはそれぞれレッド(R)に適用されるゲイン値、ブルー(B)に適用されるゲイン値であり、fscalingは入力映像をスケーリングするスケールファクタ(scaling factor)であり、rwhtとbwhtとはそれぞれ調整された光源情報のR/(R+G+B)値、B/(R+G+B)値であり、gwhtは光源情報のG値である。
また、望ましくは、ゲイン制御部が、計算されるスケールファクタの逆数と、計算に用いられるレッド(R)のゲイン値とを入力映像のレッド(R)に乗算すると共に、スケールファクタの逆数と、計算に用いられるブルー(B)のゲイン値とを入力映像のブルー(B)に乗算することにより、入力映像のホワイトバランスを調整する。
また、前記した目的を達成するために、本発明に係る映像装置のホワイトバランスを自動調整する方法は、イメージセンサでセンシングされた入力映像データを、色度成分を有する色空間のデータに変換する段階、多数の光源及び所定のカラーチェッカを用いて検出されるそれぞれの光源のグレイ領域に基づき入力映像データのグレイ領域を抽出する段階、前記入力映像の色域内平均値及び中心値を用いて前記色域内平均値が反映された加重平均値を計算した後、前記加重平均値に基づき初期光源情報を抽出する段階、前記グレイ領域での最大値と最小値の平均値及び前記グレイ領域の平均値を用いて決定されたスレショルド輝度値を基準に、前記グレイ領域を、前記第1領域と前記第2領域とに分割した後、前記第1領域の平均値及び前記第2領域の平均値のうち、前記初期光源情報と最短距離を有する平均値を、調整された光源情報として検出する段階、および前記調整された光源情報に基づき入力映像データのスケーリングに適用されるゲインを計算し、計算されたゲインを入力映像データに適用してホワイトバランスを調整する段階を含む。
ここで、ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する段階をさらに含むことが好ましい。
この際、記色空間は、輝度(Y)軸、R/(R+G+B)軸、B/(R+G+B)軸よりなる色空間、または、輝度(Y)軸、R/G軸、B/G軸よりなる色空間であることが好ましい。
望ましくは、グレイ領域を抽出する段階は、多数の光源を用いて獲得されるグレイパッチのデータの平均値を用いて各光源のホワイトポイントを検出する段階、および各光源のホワイトポイントを中心にした所定範囲を各光源のグレイ領域として検出して各光源のグレイ領域をすべて含む領域を、入力映像データのグレイ領域として抽出する段階を含む。
また、望ましくは、初期光源情報を抽出する段階が、加重平均値を、各光源のホワイトポイントを連結した中心軸に垂直マッピングした後、各光源別加重平均値を各光源のホワイトポイントにマッピングしたときに、誤差を最小化できる動きに基づきマッピングされた中心軸上の加重平均値を補正して初期光源情報として抽出する。
この際、加重平均値は次の式(1)により計算されることが好ましい。
ここで、rweightedは加重平均値のR/(R+G+B)値、bweightedは加重平均値のB/(R+G+B)値であり、αとβとはそれぞれ任意の定数であり、raveは色域内平均値のR/(R+G+B)値、baveは色域内平均値のB/(R+G+B)値を示し、rgmは前記色域の中心値のR/(R+G+B)値、bgmは前記色域の中心値のB/(R+G+B)値を示す。
この際、スレショルド輝度値は次の式(2)により計算されることが好ましい。

ここで、Ythresholdはスレショルド輝度値、Yregion前記グレイ領域での最大値と最小値の平均値であり、Yaveはグレイ領域の平均値であり、αとβとはそれぞれ任意の定数を示す。
この際、調整された光源情報は次の式(3)により計算されることが好ましい。
ここで、rwhtとbwhtとはそれぞれ調整された光源情報のR/(R+G+B)値、B/(R+G+B)値であり、rdownとbdownとはそれぞれ第1領域の平均値のR/(R+G+B)値、B/(R+G+B)値であり、rupとbupとはそれぞれ第2領域の平均値のR/(R+G+B)値、B/(R+G+B)値を示し、Distdownは初期光源情報と第1領域の平均値との距離を示し、Distupは初期光源情報と第2領域の平均値との距離を示す。
この際、ゲインは次の(4)により計算されることが好ましい。
ここで、RgainとBgainとはそれぞれレッド(R)に適用されるゲイン値、ブルー(B)に適用されるゲイン値であり、fscalingは入力映像をスケーリングするスケールファクタ(scaling factor)であり、rwhtとbwhtとはそれぞれ調整された光源情報のR/(R+G+B)値、B/(R+G+B)値であり、gwhtは光源情報のG値である。
また、望ましくは、ホワイトバランスを調整する段階が、スケールファクタの逆数と、計算に用いられるレッド(R)のゲイン値とを入力映像のレッド(R)に乗算すると共に、スケールファクタの逆数と、計算に用いられるブルー(B)のゲイン値とを入力映像のブルー(B)に乗算することにより、入力映像のホワイトバランスを調整する。
以上述べたように、本発明によれば、グレイ領域に流入される色度成分の影響が最小化した光源情報を検出してホワイトバランスを調整することによってホワイトバランシングの正確度を高められる。そして、光源情報を検出するために使用されるグレイ領域検出時の色域中心値に基づき色域平均値を計算することによって、色域内で支配的な色の存在によって光源情報が不正確なものとして検出されることを防止できる。
以下、添付した図面に基づき本発明の好適な実施形態を詳述する。
図1は本発明の映像装置の一実施形態に係るホワイトバランス調整装置のブロック図である。
図1に示すように、本実施形態に係る映像装置のホワイトバランス調整装置は、色空間変換部100、グレイ領域抽出部(gray region detection unit)200、検出部300、ゲイン制御部600を備える。ここで、検出部300は、光源情報抽出部400及び調整部500を含む。
色空間変換部100は、入力映像データを色度色空間のデータに変換する。実際のカラー成分(色成分)のうち光源変化の影響を多く反映するカラー(色)はグレイカラー(灰色)なので、グレイ領域を検出することが容易な色度色空間に入力映像データを変換する。すなわち、イメージセンサの出力値であるCCD出力RGB値(CCDデータ)のホワイトバランスを調整するために、CCD出力RGB値をグレイ検出が容易な色度色空間のデータに変換する。
この際、色度色空間は、例えば、輝度軸、R/(R+G+B)軸、B/(R+G+B)軸よりなる色空間や、輝度軸、R/G軸、B/G軸よりなる色空間などである。これは、光源によりカラーキャスト(color cast)が発生する場合は、グレイカラーのRGB構成の成分間の比(ratio)が変わるので、CCD出力RGB値のRGB構成の成分間の比を座標軸として使用する色度色空間に入力映像データを変換するためである。
グレイ領域抽出部200は、多数の光源を用いて獲得されるグレイパッチのデータに基づきグレイ領域範囲を抽出する。この際、多数の光源は、例えば、標準光源D65、標準光源D50、標準光源CWF、標準光源Aなどである。また、光源の数を増やすことによってグレイ領域抽出に対する正確度を高めることができる。
グレイ領域抽出部200は、多数の光源に対するマクベスカラーチェッカ(Macbeth Color Checker)のグレイパッチのデータ(gray patch data)を獲得し、獲得したグレイパッチのデータの平均値を各光源のホワイトとして決定する。そして、各光源に対する分布特性を用いて各光源のホワイトポイントを中心に所定領域を各光源のグレイ領域と決定し、決定された各光源のグレイ領域をすべて含む領域を、入力映像のグレイ領域として抽出する。
光源情報抽出部400は、入力映像の色域内の中心値と平均値とを用いて初期光源情報を抽出する。色域内の中心値と平均値とを計算し、平均値と中心値との差が大きい場合は、計算された平均値に加重値を付加した加重平均値を計算して、初期光源情報を抽出するために用いる。光源情報抽出部400は、グレイ領域抽出部200で決定された各光源のホワイトポイントを連結した中心軸である光軌跡(light locus)上に、計算された加重平均値を垂直マッピングし、垂直マッピングされた光軌跡上で最終的に初期光源情報を抽出する。
調整部500は、グレイ領域抽出部200で抽出されたグレイ領域に流入された色度成分が排除されるように初期光源情報を調整して最終光源情報を抽出する。この際、最終光源情報の抽出は、グレイ成分と色度成分との間には輝度差が存在することを用いて行う。すなわち、調整部500は、スレショルド輝度値を基準にグレイ領域を分割した後、分割したグレイ領域におけるそれぞれの平均値を用いて最終ホワイトポイント(white point)を決定する。そして、調整部500は、分割されたグレイ領域中で色度成分が含まれていない領域に該当する領域における平均値を調整された光源情報として抽出する。
さらに、調整部500は、正確な光源情報を抽出するためにグレイ領域を細かく分割することができる。また、単一背景色を有する映像が入力された場合は、分割されたグレイ領域である細分グレイ領域を再び分割してハイライト領域を検出した後、ハイライト領域の平均値が光源情報調整時に反映されるようにして正確な光源情報を抽出することができる。
ゲイン制御部600は、調整部500で決定された最終光源情報を用いて、入力映像データを調整するゲインを計算した後、計算されたゲインをそれぞれの入力映像データに適用してホワイトバランスを調整する。なお、本実施形態に係る映像装置は、ホワイトバランス調整装置の後段(ゲイン制御部600の後段)に、さらに、ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する信号処理部を備えることが好ましい。この場合には、この信号処理部は、CRTや液晶表示パネル等の表示部に表示可能な画像表示データを生成するための信号処理を行う。
図2A及び図2Bは、図1に示した色空間変換部100の動作を説明するための図である。図2Aは、輝度が一定なR/G、B/G平面(横軸がR/Gを示すと共に縦軸がB/Gを示す平面)の色度色空間において、カラー成分のR、G、B成分を均一に増加させる場合の映像データの分布を示した図である。そして、図2Bは、輝度が一定なR/(R+G+B)、B/(R+G+B)平面(横軸がR/(R+G+B)を示すと共に縦軸がB/(R+G+B)を示す平面)の色度色空間において、カラー成分のR、G、B成分を均一に増加させる場合の映像データの分布を示した図である。
一般に、映像装置はCCD(Charge Coupled Device)データの全体を使用せず、CCDデータを一定間隔でサンプリングした後、サンプリングされたデータについて定められたウィンドウ内のCCDデータの平均値に基づくパッチングデータ(patching data)を用いる。グレイ領域の平均値はホワイトポイントとして見られるので、映像装置は、このようなパッチングデータを用いて、光源情報すなわちホワイトポイントを抽出するために、まずグレイ領域を抽出する。
そして、光源により色かぶり(カラーキャスト:color cast)が発生する場合は、グレイカラーのRGB構成成分間の比が変わるので、図2Aに示したようなR/G、B/G平面の色度色空間を使用することができる。
一方、各カラー成分に対してR、G、B成分を均一に増加させる場合、図2Bに示した色度色空間における映像データの分布は、図2Aに示した色度色空間における映像データの分布に比べて相対的に均一(uniform)に分布しているので、図2Bに示した色度色空間は、グレイ領域抽出の正確度を高めることができる。従って、以下では、図2Bに示したように、輝度が一定のR/(R+G+B)、B/(R+G+B)平面の色度色空間を用いて光源に対する情報を抽出するものとする。
図3Aないし図3Cは、図1のグレイ領域抽出部200の動作を説明するための図である。図3Aは、一般的な4つの光源の色域を示した図であり、図3Bは4つの光源のグレイ領域を示した図である。そして、図3Cは、検出される映像装置のグレイ領域に色度成分(chromatic component)が流入されることを説明するための図である。ここで、Grは映像装置のグレイ領域を示す。
図3Aを参照すれば、それぞれの光源の色域はそれぞれの光源を使用して獲得されるカラーチェッカ(color checker)に対する映像データに基づき検出されうる。この際、4つの光源(D65,D50,CWF,A)は、「D65」、「D50」、「CWF」、そして「A」で示される。さらに、この4つの光源以外の他の光源を追加して入力映像の色域を抽出することもできる。
図3Bを参照すれば、図3Aに示したように、4つの光源により検出された色域中でカラーチェッカのグレイパッチデータを用いて各光源に対するグレイ領域を検出することができる。各光源によって検出されるカラーチェッカのグレイパッチデータの平均値がホワイトポイントに該当する。従って、各光源のホワイトポイントを検出した後、グレイパッチ分布範囲(variance range)を、各光源のホワイトポイントを中心にして形成する。そして、4つの光源に対するグレイ分布範囲をすべて含むように、4本の直線を介して入力映像のグレイ領域をモデリングすることができる。
図3Cを参照すれば、図3A及び図3Bに示したようなカラーチェッカの色域情報と4つの光源とを用いて設定された入力映像データのグレイ領域には、光源の変化による色度成分が流入されうる。すなわち、図3Bに示したように相異なる光源により入力映像データのグレイ領域が抽出されることによって、実際に入力映像に使われた光源のグレイ領域の分布範囲より広いグレイ領域が抽出され、シアン(cyan)のような色度成分がグレイ領域に流入されうる。図3Cに示すように、イエロー(Y)及びシアン(C)系の色度成分は、ブルー(B)、レッド(R)、マゼンタ(M:magenta)、及びグリーン(G)系の色度成分に比べて相対的に大量にグレイ領域(Gr)に流入された。従って、色度成分が、グレイ領域(Gr)に流入されることを排除するために、抽出される光源情報を調整する必要がある。
図4は、図1の検出部300のブロック図である。
図4を参照すれば、検出部300は、光源情報抽出部400と調整部500とを備え、光源情報抽出部400は、色域中心計算部(gamut center calculation unit)410、色域平均計算部420、及び加重平均値抽出部430を含む。
色域中心計算部410は、グレイ領域抽出部200で計算された各光源のホワイトポイントを連結した中心軸である光軌跡をモデリングした後、モデリングした中心軸の延長線と、R/(R+G+B)軸、B/(R+G+B)軸とのそれぞれの交点を用いて検出された色域の2つの最外郭点に基づき色域中心値を計算する。
色域平均計算部420は、入力映像の色域で色域内平均値を計算する。
加重平均値抽出部430は、色域中心計算部410で計算された色域中心値と、色域平均計算部420で計算された色域内平均値とを用いて加重平均値を計算する。ここで、加重平均値は、計算された色域内平均値と色域中心値との差に基づき、色域内平均値に加重値を付与して計算された平均値である。
調整部500は、光源情報抽出部400で抽出された初期光源情報に相異なる光源を用いてグレイ領域を検出することによって、グレイ領域に流入される色度成分を排除し最終的な光源情報(最終光源情報)を決定する。
図5Aないし図5Cは、図1の光源情報抽出部400の動作を説明するための図である。図5Aは色域中心計算部410の動作を説明するための図であり、図5Bは加重平均値抽出部430の動作を説明するための図である。そして、図5Cは加重平均値抽出部430で計算された加重平均値を用いて決定される初期光源情報を獲得する動作を説明するための図である。
図5Aを参照すれば、色域中心計算部410は、色域中心を求めるために、まず入力映像の色域の2つの最外郭点を抽出する。そして、2つの最外郭点の平均値を計算することにより色域中心を求める。
詳しくは、色域中心計算部410は、色度色空間においてグレイ領域抽出部200で計算された各光源のホワイトポイントを連結した中心軸を検出した後、中心軸の延長線と、R/(R+G+B)軸、B/(R+G+B)軸とのそれぞれの交点であるX0点とY0点とを検出する。X0点から中心軸との最小距離である点と、Y0点から中心軸との最小距離である点が、入力映像の色域の2つの最外郭点になる。すなわち、X0点からの中心軸との最小距離であるX1点と、Y0点から中心軸との最小距離であるY1点とがそれぞれ最外郭点になる。従って、色域中心値は、X1点とY1点の中間値であるgmになる。
図5Bを参照すれば、色域平均計算部420で計算された平均値と、色域中心計算部410で計算された色域の中心値とが相異なる場合は、色域内に支配的な色(カラー)が存在して「平均カラーが灰色になる」とのグレイワールド仮定に違反する場合がある。従って、計算された色域平均値が正確なホワイト情報を示さない可能性があるため、加重平均値抽出部430は、ホワイト情報計算時の色域中心値を反映した加重平均値を決定する。加重平均値は次の式(1)によって求められる。
ここで、rweightedは加重平均値のR/(R+G+B)値、bweightedは加重平均値のB/(R+G+B)値であり、αとβとはそれぞれ任意の定数である。そして、raveは色域内平均値のR/(R+G+B)値、baveは色域内平均値のB/(R+G+B)値であり、rgmは色域中心値のR/(R+G+B)値、bgmは色域中心値のB/(R+G+B)値を示す。
式(1)に示したように、加重平均値抽出部430は、加重平均値のR/(R+G+B)値とB/(R+G+B)値を求めるときに、色域平均計算部420で計算された色域内平均値に、色域中心計算部410で計算された色域中心値を反映する。すなわち、加重平均値抽出部430は、色域内平均値が色域中心と差のある場合に、色域内平均値が色域中心値方向に移動されるように色域内平均値及び色域中心値に加重値を付与して、色域の支配的なカラーにより色域内平均値が一定方向に偏ることを防止することによって、正確な初期光源情報を抽出できるようにする。
例えば、図5Bのように色域内で支配的な色がイエローの場合には、色域平均計算部420で計算された色域内平均値は、グレイではなくイエローに、より近接した値を有するようになるため、計算された色域内平均値に色域中心値(gm)を反映させて色域内平均値を色域中心値の方向に移動させた加重平均値を抽出する。従って、色域内に均一に相異なるカラーが存在するのではなく、色域内に支配的なカラーが存在する場合に、その支配的なカラーのために不正確な初期光源情報が抽出されることを防止することができる。
図5Cを参照すれば、a点は加重平均値抽出部430で抽出された色域の加重平均を示し、b点は色域の加重平均が各光源のホワイトポイントを連結した中心軸である光軌跡上にマッピングされた点を示し、c点はマッピングされたb点を基準に調整(補正)された光源を示す。
初期光源情報の抽出は、以下の通りである。まず、加重平均値(a)を、各光源のホワイトポイントを連結した中心軸である光軌跡上に垂直にマッピングする。すなわち、加重平均値(a)を含む光軌跡に垂直である直線と、光軌跡との交点をマッピングポイントとして決定する。そして、各光源別加重平均値を光軌跡上の原光源(original illuminant)のホワイトポイントでマッピングする場合にエラーを最小化できるように、光軌跡にマッピングされた加重平均値を補正して式(5)に示す初期光源情報を抽出する。
ここで、rinitial及びbinitialは初期光源情報値、rweightedは加重平均値のR/(R+G+B)値、bweightedは加重平均値のB/(R+G+B)値である。そして、l、m、n及びl’、m’、n’はそれぞれ任意の定数である。この際、光軌跡上にマッピングされた加重平均値を補正するために式(5)を適用するためには、光軌跡上にマッピングされた加重平均値近傍に位置する光源のホワイトポイント間の距離が所定値以下のときに適用することができる。
図6A及び図6Bは、調整部500の動作を説明するための図である。
図6Aは、調整部500が輝度によって初期光源情報を調整することを説明するための図である。そして、図6Bは、調整部500が輝度を基準に分割された領域の平均値を用いて最終光源情報を抽出する動作を説明するための図である。
図6Aを参照すれば、横軸(C)は色度(chromaticity)成分を示し、縦軸(Y)は輝度(luminance)成分を示す。調整部500は、グレイ領域内に流入された色度成分を除去した光源情報を抽出するため、輝度成分を基準にグレイ領域を分割した後、分割された領域別の色域平均値を用いて光源情報抽出部400で抽出された初期光源情報を調整する。
この際、初期光源情報を輝度成分を基準に調整すると、図6Aに示したように映像データの色度値が大きくなるほど、より色域境界の近くに位置するようになる。一方、映像データのグレイ値が大きくなるほど輝度軸(Y)に近づくようになる。従って、このようなグレイ成分と色度成分との間では輝度値の差が発生するようになるため、輝度を基準にして、色度成分が含まれた領域と色度成分が含まない領域とにグレイ領域を分割して、色度成分が流入されたグレイ領域を用いて、抽出された初期光源情報を調整する。
例えば、図6Aに示すように、Color2はColor1に比べて色度値が大きく、色域境界に対してより近い位置にある。すなわち、Color1はColor2に比べてグレイ値がより大きく、かつ、相対的に輝度軸の近くに位置する。この際、Color1とColor2との間には輝度差が発生し、発生される輝度差はl2−l1になる。
図6Bを参照すれば、図6Aを参照して前述したようにグレイ成分と色度成分との間には輝度値の差が発生するため、輝度値を基準にしてグレイ領域を、輝度値が小さい第1領域と輝度値が大きい第2領域とに分割する。ここで、横軸はR/(R+G+B)であり、縦軸は輝度Yである。図6BではR/(R+G+B)値に対する輝度を基準にグレイ領域を分割したことを示したが、B/(R+G+B)値に対する輝度を基準にグレイ領域を分割して調整された光源情報のR/(R+G+B)値とB/(R+G+B)値を求めることもできる。
この際、第1領域と第2領域とに分割する基準になるスレショルド輝度値は次の式(2)によって求められる。

ここで、Ythresholdはグレイ領域分割の基準になるスレショルド輝度値、Yregionはグレイ領域での最大値と最小値の平均値であり、Yaveはグレイ領域の平均値である。そして、αとβとはそれぞれ任意の定数である。
式(2)に示したようにグレイ領域分割の基準になる輝度値はグレイ領域における最大輝度値と最小輝度値平均値(Yregion)と、グレイ領域全体の色域平均値(Yave)とにより求められる。

計算されたスレショルド輝度値Ythresholdを基準にして、輝度値が低い第1領域と、輝度値が高い第2領域とに分割することができる。そして、調整された光源情報は、第1領域の色域平均値であるホワイトポイントWP_downと、第2領域の色域平均値であるホワイトポイントWP_upとの平均値を用いて求められる。すなわち、調整部500で調整された光源情報は次の式(3)によって求められる。
ここで、rwhtとbwhtとはそれぞれ調整された光源情報であるホワイトポイント値のR/(R+G+B)値、B/(R+G+B)値である。そして、rdownとbdownとはそれぞれ第1領域の平均値のR/(R+G+B)値、B/(R+G+B)値であり、rupとbupとはそれぞれ第2領域の平均値のR/(R+G+B)値、B/(R+G+B)値である。この際、DistupとDistdownとはそれぞれ初期光源情報として検出された点、すなわち図5Cにおけるc点と、第2領域の平均値との距離、および第1領域の平均値との距離をそれぞれ示す。また、初期光源情報値と第2領域の平均値との距離、および第1領域の平均値との距離は、それぞれ、次の式(6)によって表せる。
ここで、DistupとDistdownとは、初期光源情報値と第2領域の平均値との距離、および第1領域の平均値との距離をそれぞれ示し、rinitialとbinitialは光源情報抽出部400で抽出された初期光源情報値である(前記した式(5)参照)。そして、rdownとbdownとはそれぞれ第1領域の平均値のR/(R+G+B)値、B/(R+G+B)値であり、rupとbupとはそれぞれ第2領域の平均値のR/(R+G+B)値、B/(R+G+B)値である。
調整された光源情報は、式(6)に示した第1領域の平均値と、第2領域の平均値と、のうち初期光源情報値との間の距離が最短となる平均値になる。
調整部500は、計算された輝度スレショルド値を用いて、輝度値が高い第2領域と、輝度値が低い第1領域とに分割して、色度成分が流入された領域と色度成分が流入されない領域とにグレイ領域を分割した後、初期光源が含まれた領域のホワイトポイントを、調整された光源情報として決定する。従って、色度成分が流入されないグレイ領域におけるホワイトポイントを最終光源情報と決定することによって、グレイ領域に流入された色度成分で決定される初期光源情報から色度成分を排除した光源情報を抽出することができる。
一方、入力映像が単一背景色を有する映像の場合は、高輝度領域である第2領域にハイライト領域が含まれるので、調整部500は、ハイライト領域の輝度値が反映して光源情報を調整して正確な光源情報を抽出できるようにする。
また、色度成分が含まれていない「分割されたグレイ領域」、すなわち初期光源情報と、分割された領域のホワイトポイントとが最小値を有する「分割されたグレイ領域」が、高輝度領域の場合は、調整部500は、その「分割されたグレイ領域」が、ハイライト領域を含むことと判断することができる。
従って、調整部500は、スレショルド輝度値により分割されたグレイ領域のうち高輝度領域である第2領域を、再び分割してハイライト領域を含む領域と含まない領域とに分割するようにしてもよい。ここで、ハイライト領域を含む領域は第2領域の輝度の上位20%に該当する領域にすることができる。
この際、調整部500は、ハイライト領域が入力映像自体により発生したか否かを先に判断して、ハイライト領域のホワイトポイントが、調整される光源情報に反映されるようにしてもよい。ハイライト領域が入力映像自体により発生したか否かは、例えば、ハイライト領域の平均輝度値が全体グレイ領域の平均輝度値に3.5をかけた(乗算した)輝度値より小さいか否かで判断する。
調整部500は、ハイライト領域の平均輝度値が全体グレイ領域の平均輝度値に3.5をかけた輝度値より小さい場合は、ハイライト領域の平均値を、調整された光源情報にする。一方、ハイライト領域の平均輝度値が全体グレイ領域の平均輝度値に3.5をかけた輝度値より大きい場合は、第2領域の平均値を、調整された光源情報とする。
図7は、本発明の一実施形態による映像装置のホワイトバランス調整方法を説明するための流れ図である。
図7を参照すれば、まず、入力される映像データを、色度成分を有する色空間のデータに変換する(S901)。ここで、色空間としては、光源情報を抽出してホワイトバランスを調整するために、映像データを色度成分(chromatic component)と非色度成分(achromatic component)とに区分するような色空間を用いることができる。また、変換先の色空間では、光源によりカラーキャストが発生する場合、グレイカラーのRGB成分比が相違することになる性質を用いられるものとする。
このような色空間としては、輝度が一定のR/G軸とB/G軸よりなる平面や、輝度が一定のR/(R+G+B)軸とB/(R+G+B)軸よりなる平面を用いることができる。以下、入力映像データを、輝度が一定のR/(R+G+B)軸とB/(R+G+B)軸よりなる平面上に変換して抽出された光源情報を用いてホワイトバランスを調整する動作を説明する。
ここで、映像データは、イメージセンサでセンシングされたデータを一定間隔でサンプリングして獲得されたもので、サンプリングされたデータに対して定まったウィンドウ内データの平均値に基づくパッチングデータ(patching data)を用いることができる。
S901に続いて、変換された色空間で多数の光源とカラーチェッカ(color checker)を用いて映像装置のグレイ領域を抽出する(S903)。ここで、多数の光源は一般的に撮像装置で光源になるD65、D50、CWF、A光源を用いることができる。カラーチェッカはマクベスカラーチェッカ(Macbeth color checker)を用いることができる。
また、このグレイ領域抽出では、各光源を用いてマクベスカラーチェッカから獲得される映像データに基づき各光源のグレイ領域を抽出した後、抽出されたグレイ領域をすべて含む映像装置のグレイ領域を抽出する。詳しくはマクベスカラーチェッカのグレイパッチデータの平均値に基づき各光源のグレイ領域を抽出した後、抽出された各光源のグレイ領域をすべて含むように4本の直線を形成して映像装置のグレイ領域を抽出することができる。この際、光源の数を増やし、各光源のグレイ領域を含むように設定される4本の直線を用いる代りに、ルックアップテーブル等を用いた非線形的な方法を用いることによって映像装置のグレイ領域抽出の正確度を高めることもできる。
S903に続いて、入力映像の色域中心及び色域平均を用いて初期光源情報を抽出する(S905)。入力映像に支配的な色(カラー)が存在している場合に、「入力映像の平均はグレイ」とのグレイワールド仮定(gray world assumption)に違反されることを防止するために、入力映像の色域中心値が反映されるように計算する。入力映像に支配的なカラーが存在する場合は、入力映像の色域の平均値と入力映像の色域の中心値との差が大きいので、計算された色域内平均値及び色域の中心値に加重値を付与して加重平均値を計算する。
そして、計算された加重平均値を、S903段階で抽出されたグレイ領域において各光源のホワイトポイントを連結した中心軸に垂直マッピングする。すなわち、中心軸と垂直な直線のうち加重平均値を含む直線が中心軸と出会う点に加重平均値をマッピングする。そして、各光源別加重平均値を光軌跡上の原光源(original illuminant)のホワイトポイントにマッピングする場合にエラーを最小化できるように、光軌跡にマッピングされた加重平均値を補正して初期光源情報を抽出する。
次いで、色度成分が流入されたグレイ領域を用いて、抽出される初期光源情報を調整する(S907)。ここで、入力映像のグレイ領域は、多数の光源のグレイ領域を用いて抽出されるため、そのままでは、実際利用された光源のグレイ領域と違って、色度成分が流入された領域をグレイ領域として使って光源情報を抽出するようになる場合がある。従って、色度成分が流入されたグレイ領域を用いて抽出された初期光源情報を調整する必要がある。
初期光源情報を調整するために、グレイ成分と色度成分との間には輝度差があることが用いられる。図6Aを参照して前記したように、色度軸(C)と輝度軸(Y)よりなる平面上でグレイ成分と色度成分の輝度を比較してみると、色度と輝度が比例する領域ではグレイ成分が色度成分より輝度値が低く、色度と輝度が反比例する領域ではグレイ成分が色度成分より輝度値が大きい。
従って、グレイ成分と色度成分間には輝度差が存在するようになるため、スレショルド輝度値を基準にグレイ領域を分割した後、分割された領域の平均値のうち初期光源情報と近接した位置(最短距離)に存する平均値を調整された光源情報と決定する。スレショルド輝度値を基準にして、色度成分が含まれたグレイ領域と、色度成分が含まれていないグレイ領域とに分割した後、初期光源情報と近接した分割領域の平均値を光源情報と決定して、色度成分が含まれていないグレイ領域における平均値を、調整された光源情報として抽出する。従って、グレイ領域に流入される色度成分を排除した光源情報を抽出できるようになる。
一方、単一背景色を有する入力映像が入力される場合は、1つのスレショルド輝度値によりグレイ領域を2つの領域に分割することではなく、高輝度領域を再び分割してハイライト領域に該当する輝度平均値が反映されるように初期光源情報を調整することができる。
次いで、調整された光源情報を用いて、入力映像に適用されるゲインを計算する(S909)。光源による色温度変化を排除するために、抽出された光源情報を用いて光源による色温度変化を排除するために、各入力映像のRGBデータをスケーリングする。入力映像のRGBデータのスケールに用いられるゲインは次の式(4)によって求められる。
ここで、RgainとBgainとはそれぞれレッド(R)に適用されるゲイン値、ブルー(B)に適用されるゲイン値である。そして、fscalingは、入力映像をスケーリングするスケールファクタ(scaling factor)であり、rwhtとbwhtとはそれぞれ調整された光源情報であるホワイトポイント値のR/(R+G+B)値、B/(R+G+B)値であり、gwhtは光源情報のG値である。
次いで、計算されたゲインを適用して映像データを調整する(S911)。式(4)を用いて計算されたRgainとBgainとをそれぞれRとBにかけて(乗算して)ホワイトバランスを調整することができる。すなわち、R’=R×Rgain/fscaling、G’=G、B’=B×Bgain/fscalingで各入力映像のホワイトバランスを調整することができる。なお、本実施形態に係る映像装置は、計算されたゲインを適用して映像データを調整した(S911)後に、さらに、ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する段階をさらに実行することが好ましい。この場合には、この信号処理する段階では、CRTや液晶表示パネル等の表示部に表示可能な画像表示データを生成するための信号処理を行う。
図8A及び図8Bは、パッチに対するヒストグラムを示した図である。図8Aは従来のホワイトバランス調整方法が適用されたパッチに対するヒストグラムを示した図であり、図8Bは本発明に係るホワイトバランス調整方法が適用されたパッチに対するヒストグラムを示した図である。
図8A及び図8Bを参照すれば、従来のホワイトバランス調整方法が適用されたマクベスカラーチェッカに対する結果映像のグレイパッチに対するヒストグラム分布は、ホワイトバランス調整が正確にはなされない。すなわち、図8Aに示したようにRGB成分間ヒストグラムの分布がずれている。一方、図8Bに示したように本発明に係るホワイトバランス調整方法が適用された映像はRGB成分間バランスが取れている。この違いは、例えば、例えば、D50のときに顕著である。
以上では本発明の望ましい実施形態について示しかつ説明したが、本発明は、前記した特定の実施例に限らず、特許請求の範囲で請求する本発明の要旨を逸脱せず当該発明の属する技術の分野における通常の知識を有する者ならば誰でも多様な変形実施が可能なことは勿論、そのような変形は特許請求の範囲の記載の範囲内にある。
本発明の映像装置の一実施形態に係るホワイトバランス調整装置のブロック図である。 図1に示した色空間変換部の動作を説明するための図である。 図1に示した色空間変換部の動作を説明するための図である。 図1に示したグレイ領域抽出部の動作を説明するための図である。 図1に示したグレイ領域抽出部の動作を説明するための図である。 図1に示したグレイ領域抽出部の動作を説明するための図である。 図1に示した検出部のブロック図である。 図1に示した光源情報抽出部の動作を説明するための図である。 図1に示した光源情報抽出部の動作を説明するための図である。 図1に示した光源情報抽出部の動作を説明するための図である。 図1に示した調整部の動作を説明するための図である。 図1に示した調整部の動作を説明するための図である。 本発明の映像装置の一実施形態に係る映像装置のホワイトバランス調整方法を説明するためのフローチャートである。 従来の方法でホワイトバランスを調整した後のグレイパッチに対するヒストグラムを示した図である。 本発明に係る方法でホワイトバランスを調整した後のグレイパッチに対するヒストグラムを示した図である。
符号の説明
100 色空間変換部
200 グレイ領域抽出部
300 検出部
400 光源情報抽出部
410 色域中心計算部
420 色域平均計算部
430 加重平均値抽出部
500 調整部
600 ゲイン制御部

Claims (20)

  1. イメージセンサでセンシングされた入力映像データを、色度成分を有する色空間のデータに変換する色空間変換部と、
    多数の光源及び所定のカラーチェッカを用いて検出されるそれぞれの光源のグレイ領域に基づき前記入力映像データのグレイ領域を抽出するグレイ領域抽出部と、
    前記入力映像の色域内平均値及び中心値を用いて前記色域内平均値が反映された加重平均値を計算した後、前記加重平均値に基づき初期光源情報を抽出する光源情報抽出部と、
    前記グレイ領域での最大値と最小値の平均値及び前記グレイ領域の平均値を用いて決定されたスレショルド輝度値を基準に、前記グレイ領域を、前記第1領域と前記第2領域とに分割した後、前記第1領域の平均値及び前記第2領域の平均値のうち、前記初期光源情報と最短距離を有する平均値を、調整された光源情報として検出する調整部と、
    前記調整された光源情報に基づき前記入力映像データのスケーリングに適用されるゲインを計算し、計算されたゲインを前記入力映像データに適用してホワイトバランスを調整するゲイン制御部と、
    を含むことを特徴とするホワイトバランスを自動調整する映像装置。
  2. 前記ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する信号処理部をさらに備えることを特徴とする請求項1に記載のホワイトバランスを自動調整する映像装置。
  3. 前記色空間は、
    輝度(Y)軸、R/(R+G+B)軸、B/(R+G+B)軸よりなる色空間、または、輝度(Y)軸、R/G軸、B/G軸よりなる色空間であることを特徴とする請求項1または請求項2に記載のホワイトバランスを自動調整する映像装置。
  4. 前記グレイ領域抽出部は、
    前記多数の光源を用いて獲得されるグレイパッチのデータの平均値を用いて各光源のホワイトポイントを検出した後、各光源のホワイトポイントを中心にした所定範囲を各光源のグレイ領域として検出して各光源のグレイ領域をすべて含む領域を、前記入力映像データのグレイ領域として抽出することを特徴とする請求項1ないし請求項3のいずれか一項に記載のホワイトバランスを自動調整する映像装置。
  5. 前記光源情報抽出部は、
    前記加重平均値を、各光源のホワイトポイントを連結した中心軸に垂直マッピングした後、各光源別加重平均値を各光源のホワイトポイントにマッピングしたときに、誤差を最小化できる動きに基づき前記マッピングされた中心軸上の加重平均値を補正して前記初期光源情報として抽出することを特徴とする請求項に記載のホワイトバランスを自動調整する映像装置。
  6. 前記加重平均値は次の式(1)により計算されることを特徴とする請求項に記載のホワイトバランスを自動調整する映像装置。

    ここで、rweightedは前記加重平均値のR/(R+G+B)値、bweightedは前記加重平均値のB/(R+G+B)値であり、αとβとはそれぞれ任意の定数であり、raveは前記色域内平均値のR/(R+G+B)値、baveは前記色域内平均値のB/(R+G+B)値を示し、rgmは前記色域の中心値のR/(R+G+B)値、bgmは前記色域の中心値のB/(R+G+B)値を示す。
  7. 前記スレショルド輝度値は次の式(2)により計算されることを特徴とする請求項に記載のホワイトバランスを自動調整する映像装置。

    ここで、Ythresholdは前記スレショルド輝度値、Yregion前記グレイ領域での最大値と最小値の平均値であり、Yaveは前記グレイ領域の平均値であり、αとβとはそれぞれ任意の定数を示す。
  8. 前記調整された光源情報は次の式(3)により計算されることを特徴とする請求項に記載のホワイトバランスを自動調整する映像装置。

    ここで、rwhtとbwhtとはそれぞれ前記調整された光源情報のR/(R+G+B)値、B/(R+G+B)値であり、rdownとbdownとはそれぞれ前記第1領域の平均値のR/(R+G+B)値、B/(R+G+B)値であり、rupとbupとはそれぞれ前記第2領域の平均値のR/(R+G+B)値、B/(R+G+B)値を示し、Distdownは前記初期光源情報と前記第1領域の平均値との距離を示し、Distupは前記初期光源情報と前記第2領域の平均値との距離を示す。
  9. 前記ゲインは次の式(4)により計算されることを特徴とする請求項1または請求項2に記載のホワイトバランスを自動調整する映像装置。

    ここで、RgainとBgainとはそれぞれレッド(R)に適用されるゲイン値、ブルー(B)に適用されるゲイン値であり、fscalingは前記入力映像をスケーリングするスケールファクタ(scaling factor)であり、rwhtとbwhtとはそれぞれ前記調整された光源情報のR/(R+G+B)値、B/(R+G+B)値であり、gwhtは光源情報のG値である。
  10. 前記ゲイン制御部は、
    前記スケールファクタの逆数と、前記計算に用いられるレッド(R)のゲイン値とを前記入力映像のレッド(R)に乗算すると共に、前記スケールファクタの逆数と、前記計算に用いられるブルー(B)のゲイン値とを前記入力映像のブルー(B)に乗算することにより、前記入力映像のホワイトバランスを調整することを特徴とする請求項に記載のホワイトバランスを自動調整する映像装置。
  11. イメージセンサでセンシングされた入力映像データを、色度成分を有する色空間のデータに変換する段階と、
    多数の光源及び所定のカラーチェッカを用いて検出されるそれぞれの光源のグレイ領域に基づき前記入力映像データのグレイ領域を抽出する段階と、
    前記入力映像の色域内平均値及び中心値を用いて前記色域内平均値が反映された加重平均値を計算した後、前記加重平均値に基づき初期光源情報を抽出する段階と、
    前記グレイ領域での最大値と最小値の平均値及び前記グレイ領域の平均値を用いて決定されたスレショルド輝度値を基準に、前記グレイ領域を、前記第1領域と前記第2領域とに分割した後、前記第1領域の平均値及び前記第2領域の平均値のうち、前記初期光源情報と最短距離を有する平均値を、調整された光源情報として検出する段階と、
    前記調整された光源情報に基づき前記入力映像データのスケーリングに適用されるゲインを計算し、計算されたゲインを前記入力映像データに適用してホワイトバランスを調整する段階と、
    前記ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する段階と、
    を含むことを特徴とする映像装置のホワイトバランスを自動調整する方法。
  12. 前記ホワイトバランスが調整された入力映像がディスプレイされるように信号処理する段階をさらに含むことを特徴とする請求項1に記載の映像装置のホワイトバランスを自動調整する方法。
  13. 前記色空間は、
    輝度(Y)軸、R/(R+G+B)軸、B/(R+G+B)軸よりなる色空間、または、輝度(Y)軸、R/G軸、B/G軸よりなる色空間であることを特徴とする請求項14または請求項1に記載の映像装置のホワイトバランスを自動調整する方法。
  14. 前記グレイ領域を抽出する段階は、
    前記多数の光源を用いて獲得されるグレイパッチのデータの平均値を用いて各光源のホワイトポイントを検出する段階と、
    各光源のホワイトポイントを中心にした所定範囲を各光源のグレイ領域として検出して各光源のグレイ領域をすべて含む領域を、前記入力映像データのグレイ領域として抽出する段階と、
    を含むことを特徴とする請求項1ないし請求項1のいずれか一項に記載の映像装置のホワイトバランスを自動調整する方法。
  15. 前記初期光源情報を抽出する段階は、
    前記加重平均値を、各光源のホワイトポイントを連結した中心軸に垂直マッピングした後、各光源別加重平均値を各光源のホワイトポイントにマッピングしたときに、誤差を最小化できる動きに基づき前記マッピングされた中心軸上の加重平均値を補正して前記初期光源情報として抽出することを特徴とする請求項1に記載の映像装置のホワイトバランスを自動調整する方法。
  16. 前記加重平均値は次の式(1)により計算されることを特徴とする請求項1に記載の映像装置のホワイトバランスを自動調整する方法。

    ここで、rweightedは前記加重平均値のR/(R+G+B)値、bweightedは前記加重平均値のB/(R+G+B)値であり、αとβとはそれぞれ任意の定数であり、raveは前記色域内平均値のR/(R+G+B)値、baveは前記色域内平均値のB/(R+G+B)値を示し、rgmは前記色域の中心値のR/(R+G+B)値、bgmは前記色域の中心値のB/(R+G+B)値を示す。
  17. 前記スレショルド輝度値は次の式(2)により計算されることを特徴とする請求項11に記載の映像装置のホワイトバランスを自動調整する方法。

    ここで、Ythresholdは前記スレショルド輝度値、Yregionは前記グレイ領域での最大値と最小値の平均値であり、Yaveは前記グレイ領域の平均値であり、αとβとはそれぞれ任意の定数を示す。
  18. 前記調整された光源情報は次の式(3)により計算されることを特徴とする請求項17に記載の映像装置のホワイトバランスを自動調整する方法。

    ここで、rwhtとbwhtとはそれぞれ前記調整された光源情報のR/(R+G+B)値、B/(R+G+B)値であり、rdownとbdownとはそれぞれ前記第1領域の平均値のR/(R+G+B)値、B/(R+G+B)値であり、rupとbupとはそれぞれ前記第2領域の平均値のR/(R+G+B)値、B/(R+G+B)値を示し、Distdownは前記初期光源情報と前記第1領域の平均値との距離を示し、Distupは前記初期光源情報と前記第2領域の平均値との距離を示す。
  19. 前記ゲインは次の(4)により計算されることを特徴とする請求項1または請求項1に記載の映像装置のホワイトバランスを自動調整する方法。

    ここで、RgainとBgainとはそれぞれレッド(R)に適用されるゲイン値、ブルー(B)に適用されるゲイン値であり、fscalingは前記入力映像をスケーリングするスケールファクタ(scaling factor)であり、rwhtとbwhtとはそれぞれ前記調整された光源情報のR/(R+G+B)値、B/(R+G+B)値であり、gwhtは光源情報のG値である。
  20. 前記ホワイトバランスを調整する段階は、
    前記スケールファクタの逆数と、前記計算に用いられるレッド(R)のゲイン値とを前記入力映像のレッド(R)に乗算すると共に、前記スケールファクタの逆数と、前記計算に用いられるブルー(B)のゲイン値とを前記入力映像のブルー(B)に乗算することにより、前記入力映像のホワイトバランスを調整することを特徴とする請求項19に記載の映像装置のホワイトバランスを自動調整する方法。
JP2006042911A 2005-02-18 2006-02-20 ホワイトバランスを自動調整する映像装置及びそのホワイトバランス調整方法 Active JP4214154B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050013718A KR101092539B1 (ko) 2005-02-18 2005-02-18 화이트 밸런스를 자동 조정하는 영상장치 및 그의 화이트밸런스 조정 방법

Publications (2)

Publication Number Publication Date
JP2006229990A JP2006229990A (ja) 2006-08-31
JP4214154B2 true JP4214154B2 (ja) 2009-01-28

Family

ID=36990843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006042911A Active JP4214154B2 (ja) 2005-02-18 2006-02-20 ホワイトバランスを自動調整する映像装置及びそのホワイトバランス調整方法

Country Status (4)

Country Link
US (1) US7791649B2 (ja)
JP (1) JP4214154B2 (ja)
KR (1) KR101092539B1 (ja)
CN (1) CN100508624C (ja)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728880B2 (en) * 2004-06-25 2010-06-01 Qualcomm Incorporated Automatic white balance method and apparatus
US7528989B2 (en) * 2004-07-08 2009-05-05 Fuji Xerox Co., Ltd Image processing apparatus and image processing method
TW200632771A (en) * 2005-03-10 2006-09-16 Avisonic Technology Corp Automatic white balance method applicable for color digital image
JP4432818B2 (ja) * 2005-04-01 2010-03-17 セイコーエプソン株式会社 画像表示装置、画像表示方法、および画像表示プログラム
US7724982B2 (en) * 2006-06-22 2010-05-25 Qualcomm Incorporated Estimation of lighting conditions based on near-gray pixel detection using cylindrical boundaries
US20080079749A1 (en) * 2006-09-28 2008-04-03 Faraday Technology Corp. White balance method for image processing
JP2008124928A (ja) * 2006-11-14 2008-05-29 Toshiba Corp オートホワイトバランスシステム
US9536322B1 (en) 2007-05-15 2017-01-03 Peter Harmon Smith Implementation of multi-camera tracking applications using rich color transition curve target sequences
US8526717B2 (en) 2007-05-15 2013-09-03 Vision Interface Technologies, LLC Rich color transition curve tracking method
US8064691B2 (en) * 2007-05-15 2011-11-22 Creative Lifestyle, Inc. Method for identifying color in machine and computer vision applications
US8644632B2 (en) * 2007-06-27 2014-02-04 Thomson Licensing Enhancing image quality
KR101328955B1 (ko) * 2007-07-25 2013-11-14 엘지전자 주식회사 디스플레이 장치 및 색온도 조정 방법
TW200908696A (en) * 2007-08-07 2009-02-16 Mitac Int Corp Auto white balance control system, white balance module and method thereof
TWI343219B (en) * 2007-08-28 2011-06-01 Mstar Semiconductor Inc Device and method for adjusting color value
KR101451982B1 (ko) * 2008-02-12 2014-10-24 삼성전자주식회사 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법
JP4941370B2 (ja) * 2008-03-18 2012-05-30 富士通株式会社 画像補正プログラム、画像補正装置および画像補正方法
WO2010028682A1 (en) * 2008-09-09 2010-03-18 Hewlett-Packard Development Company, L.P. Image sharpening
US8243162B2 (en) * 2008-12-11 2012-08-14 Omnivision Technologies, Inc. Automatic white balancing using meter sensors
KR101516963B1 (ko) 2008-12-11 2015-05-04 삼성전자주식회사 유효 영역을 이용한 자동 화이트 밸런스 조정 장치 및 방법
US8077352B2 (en) * 2009-01-26 2011-12-13 Xerox Corporation GAMUT aim and GAMUT mapping method for spatially varying color lookup tables
KR100977055B1 (ko) 2009-02-20 2010-08-19 주식회사 코아로직 자동 화이트 밸런스(awb) 조정장치와 방법 및 그 조정장치를 포함한 영상처리장치
KR101030393B1 (ko) * 2009-02-20 2011-04-20 인하대학교 산학협력단 디지털 영상의 화이트 밸런스 조정 장치 및 방법
US8310741B2 (en) * 2009-02-27 2012-11-13 Kyocera Document Solutions Inc. Image reading device and image forming apparatus
CN101577831B (zh) * 2009-03-10 2013-08-21 北京中星微电子有限公司 启动白平衡调节的控制方法和控制装置
US8355566B2 (en) * 2009-04-03 2013-01-15 Hong Kong Baptist University Method and device for use in converting a colour image into a grayscale image
US20100259639A1 (en) * 2009-04-13 2010-10-14 Qualcomm Incorporated Automatic backlight detection
CN101873504B (zh) * 2009-04-27 2012-06-27 倚强科技股份有限公司 自动白平衡校正方法
JP5304529B2 (ja) * 2009-08-17 2013-10-02 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
KR101590771B1 (ko) 2009-08-27 2016-02-02 삼성전자주식회사 유효 영역 검출을 통한 자동 화이트 밸런스 조정 장치 및 방법
KR101131109B1 (ko) * 2010-05-31 2012-04-03 인하대학교 산학협력단 센서 특성을 고려한 화이트 검출에 의한 자동 화이트밸런스 설정방법
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
KR101317552B1 (ko) * 2010-11-04 2013-10-16 가시오게산키 가부시키가이샤 화이트 밸런스 조정이 가능한 촬상장치, 방법 및 기록매체
US20120274799A1 (en) * 2011-04-28 2012-11-01 Yu-Wei Wang Calibrating image sensors
US8929682B2 (en) 2011-04-28 2015-01-06 Hewlett-Packard Development Company, L.P. Calibrating image sensors
US9986614B2 (en) * 2011-07-15 2018-05-29 Philips Lighting Holding B.V. Controller for light-emitting devices
US8786730B2 (en) * 2011-08-18 2014-07-22 Microsoft Corporation Image exposure using exclusion regions
CN102982785A (zh) * 2011-09-06 2013-03-20 台达电子工业股份有限公司 用于电视墙的色彩调校系统
US8780225B2 (en) * 2011-10-12 2014-07-15 Apple Inc. Use of noise-optimized selection criteria to calculate scene white points
KR101805005B1 (ko) * 2011-11-07 2018-01-10 삼성전자주식회사 디지털 촬영장치
JP5282833B1 (ja) * 2012-03-27 2013-09-04 富士ゼロックス株式会社 色調整装置、色調整システムおよびプログラム
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
TWI554116B (zh) * 2012-10-16 2016-10-11 鴻海精密工業股份有限公司 白平衡調整方法
CN103108469B (zh) * 2013-01-31 2015-02-18 北京半导体照明科技促进中心 控制照明装置输出光的方法及装置、照明系统
US9424628B2 (en) 2014-06-19 2016-08-23 Microsoft Technology Licensing, Llc Identifying gray regions for auto white balancing
CN104618703B (zh) * 2015-02-09 2016-08-24 傅邓文 一种白平衡调整方法
JP6277984B2 (ja) * 2015-03-23 2018-02-14 株式会社Jvcケンウッド 画像補正装置、画像補正方法及び画像補正プログラム
CN104766310B (zh) * 2015-03-24 2017-08-29 厦门通士达照明有限公司 光源检测系统和检测方法
US9697796B2 (en) * 2015-03-26 2017-07-04 Intel Corporation Adaptive linear luma domain video pipeline architecture
KR102346522B1 (ko) * 2015-09-10 2022-01-03 삼성전자주식회사 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
CN105894458A (zh) * 2015-12-08 2016-08-24 乐视移动智能信息技术(北京)有限公司 一种具有人脸的图像处理方法和装置
CN105611184A (zh) * 2015-12-18 2016-05-25 珠海全志科技股份有限公司 数码影像装置白平衡调试方法及调试系统
US20180176528A1 (en) * 2016-12-20 2018-06-21 Mediatek Inc. Light locus generation for automatic white balance
CN108322637B (zh) * 2017-01-17 2020-02-11 杭州海康威视数字技术股份有限公司 一种强光下的设备保护方法及装置
WO2018167814A1 (ja) * 2017-03-13 2018-09-20 太洋電機産業株式会社 制御装置および検査装置
CN108965685A (zh) * 2017-05-17 2018-12-07 中兴通讯股份有限公司 一种图像处理方法和装置
CN109215612A (zh) * 2017-06-30 2019-01-15 北京小米移动软件有限公司 屏幕显示的调节方法及装置、电子设备、存储介质
US10803341B2 (en) * 2017-12-26 2020-10-13 Augentix Inc. Method and computer system of white point detection
CN109993687B (zh) * 2017-12-29 2023-06-13 阿里巴巴集团控股有限公司 一种图像信息处理方法及装置
CN113691793B (zh) * 2020-05-19 2024-01-05 瑞昱半导体股份有限公司 图像白平衡处理方法
CN112509069B (zh) * 2020-11-18 2023-11-14 江汉大学 一种可远程控制的光源控制方法及装置
CN112584117B (zh) * 2020-12-11 2022-07-15 中国第一汽车股份有限公司 一种白平衡调节方法、装置、设备及存储介质
CN112995632B (zh) * 2021-04-21 2021-08-31 贝壳找房(北京)科技有限公司 图像的白平衡处理方法、装置、电子设备和存储介质
US20230039667A1 (en) * 2021-08-03 2023-02-09 Samsung Electronics Co., Ltd. Content creative intention preservation under various ambient color temperatures
US11509875B1 (en) * 2021-08-06 2022-11-22 Ford Global Technologies, Llc Enhanced color consistency for imaging

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6154217A (en) * 1997-04-15 2000-11-28 Software Architects, Inc. Gamut restriction of color image
JP4499200B2 (ja) 1998-02-26 2010-07-07 ソニー株式会社 色信号処理回路およびその処理方法並びにカメラシステム
US6560356B1 (en) * 1998-04-17 2003-05-06 Mitsubishi Denki Kabushiki Kaisha Color gamut compression method and color gamut compression device
US6377702B1 (en) * 1999-12-08 2002-04-23 Sony Corporation Color cast detection and removal in digital images
US6738510B2 (en) * 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
US7081918B2 (en) * 2000-04-28 2006-07-25 Fuji Photo Film Co., Ltd. Image processing method, image processing apparatus and recording medium storing program therefor
US6989859B2 (en) * 2000-12-22 2006-01-24 Eastman Kodak Company Camera having user interface ambient sensor viewer adaptation compensation and method
US7265781B2 (en) * 2001-08-22 2007-09-04 Fujifilm Corporation Method and apparatus for determining a color correction matrix by minimizing a color difference maximum or average value
JP2003283731A (ja) * 2002-03-20 2003-10-03 Konica Corp 画像入力装置及び画像出力装置並びにこれらから構成される画像記録装置
US6844881B1 (en) * 2002-03-29 2005-01-18 Apple Computer, Inc. Method and apparatus for improved color correction
JP2004173010A (ja) * 2002-11-20 2004-06-17 Konica Minolta Holdings Inc 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体
US20040212546A1 (en) * 2003-04-23 2004-10-28 Dixon Brian S. Perception-based management of color in display systems
JP4158592B2 (ja) * 2003-04-25 2008-10-01 富士フイルム株式会社 オートホワイトバランス調整方法及びこの方法が適用されたカメラ
JP4222130B2 (ja) 2003-07-08 2009-02-12 コニカミノルタオプト株式会社 ホワイトバランス制御装置及び電子機器
JP2005033332A (ja) 2003-07-08 2005-02-03 Konica Minolta Opto Inc ホワイトバランス制御装置及び電子機器
US7382915B2 (en) * 2004-03-16 2008-06-03 Xerox Corporation Color to grayscale conversion method and apparatus

Also Published As

Publication number Publication date
KR20060092658A (ko) 2006-08-23
CN100508624C (zh) 2009-07-01
JP2006229990A (ja) 2006-08-31
US7791649B2 (en) 2010-09-07
KR101092539B1 (ko) 2011-12-14
CN1832583A (zh) 2006-09-13
US20060290957A1 (en) 2006-12-28

Similar Documents

Publication Publication Date Title
JP4214154B2 (ja) ホワイトバランスを自動調整する映像装置及びそのホワイトバランス調整方法
JP5179829B2 (ja) グレーデータ補正装置および方法
KR101451982B1 (ko) 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법
JP5430254B2 (ja) 画像表示装置及びその制御方法
WO2019090914A1 (zh) 一种色域映射方法及色域映射装置
JP2001014456A (ja) 画像加工装置及びプログラム記録媒体
JP4707450B2 (ja) 画像処理装置及びホワイトバランス調整装置
TWI549511B (zh) 影像感測裝置及色彩校正矩陣修正方法與查找表建立方法
CN107680142B (zh) 改善域外色重叠映射的方法
JP2009159580A (ja) 画質評価装置及びその方法
JP5361283B2 (ja) 色処理装置およびその方法
JP2007282175A (ja) カラー修正システム及び方法
JP2012513722A (ja) リッジベースのカラーギャマットのマッピング
KR100723050B1 (ko) 디스플레이 기기의 특정 색보정 방법 및 이의 장치
JP5664261B2 (ja) 画像処理装置、および画像処理プログラム
CN109119046B (zh) 灰阶亮度的调节系统及调节方法、存储器
US10242461B1 (en) Method to improve overlay mapping of out-of-gamut
EP2802139B1 (en) Image color adjusting method and electronic device using the same
JP5886462B1 (ja) 印刷プロセスをダイナミックに較正する方法
JP2002131133A (ja) 画像の色特定方法、画像の色抽出方法、画像処理装置
JP4716406B2 (ja) カラー画像表示方法
JP2605011B2 (ja) カラー画像処理方法
TWI771131B (zh) 參數調整方法及其投影機
CN101345813A (zh) 影像色彩补偿装置及其方法
KR100581866B1 (ko) 화이트 밸런스 조정 방법, 장치, 및 이를 구비한디스플레이 패널

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061026

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081007

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081031

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4214154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111107

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121107

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131107

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250