JPH0898204A - ホワイトバランス調整量演算装置 - Google Patents

ホワイトバランス調整量演算装置

Info

Publication number
JPH0898204A
JPH0898204A JP6233831A JP23383194A JPH0898204A JP H0898204 A JPH0898204 A JP H0898204A JP 6233831 A JP6233831 A JP 6233831A JP 23383194 A JP23383194 A JP 23383194A JP H0898204 A JPH0898204 A JP H0898204A
Authority
JP
Japan
Prior art keywords
white balance
color
white
data
color distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6233831A
Other languages
English (en)
Other versions
JP2735003B2 (ja
Inventor
Koji Taniguchi
幸治 谷口
Katsuhiro Kanamori
克洋 金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP6233831A priority Critical patent/JP2735003B2/ja
Priority to US08/533,731 priority patent/US5619347A/en
Publication of JPH0898204A publication Critical patent/JPH0898204A/ja
Application granted granted Critical
Publication of JP2735003B2 publication Critical patent/JP2735003B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【目的】 カラービデオプリンタ、カラー複写機等のカ
ラー画像出力機器に用いられる画像のハードコピーをと
るのに適したホワイトバランス調整量演算装置に関し、
画像の特徴に適応し、画像中の有彩色被写体の影響を受
けにくい。 【構成】 色分布軸検出手段105により画像中の白色
領域検出結果と、色分布軸検出手段107により色分布
主成分軸検出結果を判断して、ホワイトバランス係数算
出手段109でホワイトバランス調整量を算出する方法
を選択し、ホワイトバランス調整量を算出するので、個
々の画像の特徴に適応したホワイトバランス調整が実行
でき、有彩色被写体の影響が大きい画像に関しては、画
像彩度情報より求めた緩和係数によるホワイトバランス
調整の緩和を行うので、誤動作の少ないオートホワイト
バランス調整が実行できる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、カラービデオプリン
タ、カラー複写機等のカラー画像出力機器に用いられ
る、画像のハードコピーをとるのに適したホワイトバラ
ンス調整量演算装置に関するものである。
【0002】
【従来の技術】ビデオカメラ、ビデオムービーの多くの
機種は、オートホワイトバランス調整機能を備えてお
り、そのホワイトバランス調整は、「適切なホワイトバ
ランスがとれている映像の色差信号の積分値は零にな
る」という仮定が基本となっている。しかしながら、映
像中に広い領域を占める有彩色被写体が含まれている等
の場合には、必ずしもこの仮定は成り立たず、オートホ
ワイトバランス調整を行うと退色等の画質劣化が生じ
る。そのため、特開平3−274884号公報の黒体放
射カーブに沿った矩形領域内の白色に近い画素のみの色
差信号を積分してホワイトバランス調整を行う方法や、
特開平3−250992号公報の撮像画面を8×8の領
域に分割し、各領域毎の色差信号の積分値を評価し、高
彩度被写体が存在する領域の画面全体に対するホワイト
バランス調整への影響度を軽減する方法等に代表され
る、様々な改善を加えた多数のオートホワイトバランス
調整方法が開発されているが、未だ十分な精度を持つに
至っていない。
【0003】ビデオプリンタのプリント画像の画質は、
テレビ、VTR、レーザーディスク、ビデオムービー等
の入力映像信号の質に影響される。その為、ビデオプリ
ンタでは、マニュアル撮影のためホワイトバランス調整
が為されていない、オートであっても十分にホワイトバ
ランス調整が為されていない、もしくは、誤ったホワイ
トバランス調整がなされたビデオムービーの映像信号を
取り扱うことがあるということを考慮する必要があり、
オートホワイトバランス調整機能を持つことが望まれ
る。
【0004】
【発明が解決しようとする課題】従来のビデオプリンタ
にもオートホワイトバランス機能を持つものがあるが、
その多くは特開平2−298194号公報のような方法
である。これは、ビデオカメラのホワイトバランス調整
方法と同様に、色差信号の積分値を基準にしてホワイト
バランス調整量を算出するもので、ビデオカメラのホワ
イトバランスと同様に高彩度被写体等が原因で誤動作が
生じる恐れがある。
【0005】また、特開平4−323994号公報で
は、低彩度色の情報のみからホワイトバランス調整を行
っている。しかし、ホワイトバランスがとれていない画
像では基準となる無彩色を定義できないので、彩度は信
用できる値とはいえず、単に彩度に関するしきい値を設
け、高彩度被写体の影響を排除するしきい値処理を行う
だけでは、必ずしも適切なホワイトバランス調整ができ
るとは限らない。
【0006】色差信号の積分値を基準としたホワイトバ
ランス調整では、いかにして誤動作の原因となる画像中
の高彩度領域を排除してホワイトバランス調整量を算出
するかが問題となるといえる。
【0007】また、画像中にわずかに色づきが生じてい
る白色領域が存在するときには、色差信号の積分値によ
るホワイトバランスではなく、その白色領域を基準とし
たホワイトバランス調整を行った方が良い場合がある。
この点を考慮すると、画像の色分布の特徴に適応して、
色差信号の積分値によるホワイトバランス調整と白色領
域検出によるホワイトバランス調整を使い分ける好まし
い。
【0008】本発明は上記従来の問題点を解決し、上記
課題を達成するもので、ビデオプリンタ等のカラー画像
のハードコピー出力装置に用いられる画像に適応した処
理を行い、かつ、画像中の高彩度領域の影響を受けにく
く、誤動作の少ないホワイトバランス調整装置を提供す
ることを目的とする。
【0009】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明のホワイトバランス調整装置は、ホワイト
バランス情報抽出手段と、ホワイトバランス情報より画
像中の白色領域を検出する白色領域検出手段と、ホワイ
トバランス情報より三次元色空間における色分布軸を検
出する色分布軸検出手段と、ホワイトバランス情報より
ホワイトバランス調整の緩和度合いを示す緩和係数を算
出するホワイトバランス緩和係数算出手段と、白色領域
検出手段の検出結果と色分布軸検出手段の検出結果と緩
和係数に基づいてホワイトバランス係数を算出するホワ
イトバランス係数算出手段を有する。
【0010】
【作用】以上説明したこの構成によれば、画像中の白色
領域検出結果と色分布主成分軸検出結果を判断してホワ
イトバランス調整量を算出する方法を選択し、ホワイト
バランス調整量を算出するので、個々の画像の特徴に適
応したホワイトバランス調整が実行でき、有彩色被写体
の影響が大きい画像に関しては、画像彩度情報より求め
た緩和係数によるホワイトバランス調整の緩和を行うの
で、誤動作の少ないオートホワイトバランス調整が実行
できる。
【0011】
【実施例】以下、本発明の一実施例について図面を参照
しながら説明する。
【0012】図1は本発明の一実施例におけるホワイト
バランス調整装置の概略ブロック図である。なお、図中
には、同ホワイトバランス調整量演算装置と、画像メモ
リ、ホワイトバランス調整部を示してある。
【0013】図1において、101は入力された映像信
号を保持するための画像メモリ、102は画像メモリ1
01に記憶された画像をブロックデータ化し、各ブロッ
クよりホワイトバランス調整に必要な情報を抽出するホ
ワイトバランス情報抽出部、103はホワイトバランス
情報抽出部で抽出された情報を保持するホワイトバラン
ス情報保持メモリである。104はホワイトバランス情
報保持メモリ103に保持されている画像彩度に関する
情報を基に、画像メモリ101に保持されている画像が
ホワイトバランス調整を行うべき画像であるかどうかを
判定する彩度判定手段で、ホワイトバランス調整不要な
画像、またはホワイトバランス調整困難な画像であると
判定された場合には、ホワイトバランス係数算出を中止
する。105はホワイトバランス保持メモリ103に保
持されているホワイトバランス情報よりブロックデータ
中にホワイトバランス調整の基準となり得る白色がある
かどうかを検出する白色領域検出手段、106は白色領
域検出手段105の検出結果に基づきホワイトバランス
調整モードを設定するホワイトバランスモード設定手
段、107はホワイトバランスモード設定手段106の
設定に応じて動作し、ホワイトバランス情報保持メモリ
103に保持されているホワイトバランス情報より三次
元色空間における色分布軸を検出する色分布軸検出手
段、108はホワイトバランスモード設定手段106の
設定に応じて動作し、ホワイトバランス情報保持メモリ
103に保持されているホワイトバランス情報の彩度情
報を基にホワイトバランス調整の緩和程度を算出する緩
和係数算出手段、109は白色領域検出手段106の出
力と、色分布軸検出手段107の出力と、緩和係数算出
手段108の出力、およびホワイトバランスモード設定
手段106の設定に応じてホワイトバランス係数を算出
するホワイトバランス係数算出手段である。
【0014】なお、ホワイトバランスモード設定部10
6において設定されるホワイトバランスモードは、白色
領域検手段105の出力のみを用いるホワイトバランス
調整モード、色分布軸検出手段107の出力および緩和
係数算出手段108の出力を用いるホワイトバランス調
整モード、もしくは白色領域検出手段105の出力と色
分布軸検出手段106の出力と緩和係数算出手段107
の出力を用いたホワイトバランス調整モードの3種類の
いずれかである。110はホワイトバランス係数算出手
段109で算出されたホワイトバランス係数を保持する
ホワイトバランス係数メモリである。
【0015】111はホワイトバランス係数保持メモリ
110に保持されているホワイトバランス係数により、
実際にホワイトバランス調整処理を行うホワイトバラン
ス調整部である。
【0016】以上のように構成されたホワイトバランス
調整量演算装置の動作について、以下説明する。
【0017】図2は、ホワイトバランス調整量演算過程
のフローチャートであり、この流れに従って各ステップ
の概要を説明する。
【0018】図2のステップ101では、ホワイトバラ
ンス情報抽出手段102によりホワイトバランス情報抽
出を行う。画像メモリ101の画像データをm×nの同
一面積の長方形ブロックに分割し、各ブロックごとにブ
ロック内データのうち輝度最大のものをブロック輝度最
大データWP、輝度最小のものをブロック輝度最小デー
タBP、ブロック内データの平均をブロック平均色デー
タAVEとし、各データの輝度Y、色差R−Y,B−Y
をホワイトバランス情報とする。すなわち、各ブロック
毎に、そのブロックの色の特徴を表す三色の色データを
ホワイトバランス情報のブロック色情報として保存す
る。同時に、画像全体の色の特徴を示す画像色情報も保
存する。
【0019】次に、図2のステップ102で画像彩度判
定手段104により画像彩度判定を行う。有彩色被写体
が大きな領域を占める画像はホワイトバランス調整が困
難であるためホワイトバランス調整を中止し、ホワイト
バランスが十分とれている画像は、ホワイトバランス調
整が不必要と判断する。この判定には、ホワイトバラン
ス情報から得られる画像全体の色の傾向を示す彩度情報
を用いる。
【0020】画像彩度判定の結果、ホワイトバランス調
整の必要があると判定された画像は、図2のステップ1
03の白色領域検出が行われる。ホワイトバランス情報
内にホワイトバランス調整の基準となる低彩度の白色領
域と思われるブロックデータが存在する場合、色分布軸
検出を行わず、そのブロックが白色となる様にホワイト
バランス調整を行う。白色領域検出の結果によりホワイ
トバランスモード設定部106においてホワイトバラン
ス調整モードを設定するが、そのモードは、白色領域検
出結果のみよりホワイトバランス係数を算出するモー
ド、色分布軸検出結果および緩和係数によりホワイトバ
ランス係数を算出するモード、もしくは白色領域検出結
果、色分布軸軸検出結果、緩和係数を考慮してホワイト
バランス係数を算出するモードの3種類のいずれかであ
る。このように画像の特徴に応じて三種類のホワイトバ
ランス係数算出方法を選択的に使用する。
【0021】図2のステップ104では、ホワイトバラ
ンスモード設定手段106によりホワイトバランスモー
ドの設定、およびモードに応じた分岐を行う。白色領域
検出結果のみによるホワイトバランス調整モード以外の
場合、図2のステップ105の色分布軸検出および図2
のステップ106の緩和係数算出を行う。
【0022】色分布軸検出手段107による図2のステ
ップ105の色分布軸検出では、三次元色空間における
ブロックデータ分布の重心を算出し、色空間の原点とこ
の重心とを結ぶベクトルを色分布軸ベクトルとする。た
だし、軸検出は二段階の過程からなり、大まかに軸を検
出した後に、三次元色空間において、その軸を中心軸と
する円柱領域を設定し、円柱領域外の高彩度と思われる
データを除外した上でブロックデータの重心を求め、こ
れをホワイトバランス調整の基準点とする。
【0023】次に、図2のステップ106において、画
像中における有彩色被写体の影響が強い場合に起こり易
い色分布軸検出の大きな誤りを予め防ぐために設定する
ホワイトバランス緩和係数を、緩和係数算出手段108
によりホワイトバランス情報の彩度情報より算出する。
この緩和係数の値に応じて、色空間の原点とホワイトバ
ランス基準点を結ぶホワイトバランス軸(色分布軸と同
義)と色空間の無彩色軸とがなす角を小さくしてホワイ
トバランスの度合を緩和する。
【0024】最後に、図2のステップ107でホワイト
バランス係数算出手段109によりホワイトバランス係
数を算出する。その際、ホワイトバランス調整モードに
応じて、白色領域検出結果を考慮し、検出した白色の色
空間内座標点と重心計算で求めたホワイトバランス基準
点の平均を新たなホワイトバランス基準点とする。ホワ
イトバランス係数は、最終ホワイトバランス基準点が無
彩色軸上に乗るような増幅利得として算出される。
【0025】以上が、ホワイトバランス調整の概要であ
る。次に、図2の流れ図の各ステップのより詳細な動作
を説明する。
【0026】図2のステップ101のホワイトバランス
情報抽出では、図3の様に、画像を分割したm×n個の
各ブロックの色の特徴を代表するブロック輝度最大デー
タWP、ブロック輝度最小データBP、ブロック内デー
タのブロック平均色データAVEの輝度Y、色差R−
Y,B−Yを求め、これをホワイトバランス情報のブロ
ック色情報としてホワイトバランス情報保持メモリ10
3に保持する。すなわち、各ブロックの輝度最大の色、
輝度最小の色、平均の色をブロックの色の特徴を表すデ
ータとする。
【0027】
【数1】
【0028】ホワイトバランス調整の基準となる色を算
出するために用いる色空間としては、RGB空間、輝度
・色差空間等があるが、本実施例ではRGB空間とす
る。そこで、上記の各ブロックデータの輝度、色差値を
RGB値に変換したものもブロックデータとして保持す
る。(ただし、以後の処理によっては、輝度、色差ブロ
ックデータはホワイトバランス情報として保持しなくて
もよい。) ブロック輝度最大データ WP : ( R, G, B ) = ( WP_r, WP_g, WP_b ) WP_r(m,n) = WP_ry(m,n) + WP_y(m,n) WP_b(m,n) = WP_by(m,n) + WP_y(m,n) WP_g(m,n) = ( WP_y(m,n) - 0.3WP_r(m,n) - 0.11WP_b(m,n) )/0.59 ブロック輝度最小データ BP : ( R, G, B ) = ( BP_r, BP_g, BP_b ) BP_r(m,n) = BP_ry(m,n) + BP_y(m,n) BP_b(m,n) = BP_by(m,n) + BP_y(m,n) BP_g(m,n) = ( BP_y(m,n) - 0.3BP_r(m,n) - 0.11BP_b(m,n) )/0.59 ブロック平均色データ AVE : ( R, G, B ) = ( AVE_r, AVE_g, AVE_b ) AVE_r(m,n) = AVE_ry(m,n) + AVE_y(m,n) AVE_b(m,n) = AVE_by(m,n) + AVE_y(m,n) AVE_g(m,n) = ( AVE_y(m,n) - 0.3AVE_r(m,n) - 0.11AVE_b(m,n) )/0.59 また、m×n個あるブロック輝度最大データWPの中の
輝度最大のものを画像輝度最大データ WP_max、m
×n個あるブロック輝度最大色データWPの平均をブロ
ック輝度最大平均色データ WP_ave、m×n個ある
ブロック平均色データAVEの輝度最大のものをブロッ
ク平均色輝度最大データ AVE_max、m×n個ある
ブロック平均色データAVEの平均を画像平均色 AV
E_aveとし、各データの輝度、色差、2乗彩度をホ
ワイトバランス情報の画像色情報としてホワイトバラン
ス情報保持メモリ103に保持する。
【0029】
【数2】
【0030】RGB空間における彩度は、立方体色空間
の無彩色軸とデータ間の距離で定義されるが、本実施例
では、簡易的に色差信号の2乗和を用いる。もちろん、
無彩色軸と各データ間の距離を計算してもよい。
【0031】図2のステップ102の画像彩度判定で
は、ホワイトバランス情報の2乗彩度値としきい値との
比較演算を行い、有彩色被写体の影響が強くホワイトバ
ランス調整が困難な画像、ホワイトバランスが十分とれ
ていて調整が不必要な画像を検出する。これらの画像が
検出された場合には、ホワイトバランス調整を中止す
る。
【0032】ブロック輝度最大平均色データ WP_av
e、ブロック平均色輝度最大データAVE_max、画
像平均色AVE_aveの2乗彩度値が所定のしきい値
より大きい場合、その画像の彩度が極端に高く、誤った
ホワイトバランス調整を行う可能性が高いため、ホワイ
トバランス調整を中止する。
【0033】WA_sqc≧WA_TH かつ AX_sqc≧AX_TH かつ AA_sqc≧AA_TH のとき、ホワイトバランス調整を行わない。
【0034】(ホワイトバランス調整困難) ただし、 AX_TH ≧ WA_TH ≧ AA_TH WA_TH : WP_aveの2乗彩度しきい値 AX_TH : AVE_maxの2乗彩度しきい値 AA_TH : AVE_aveの2乗彩度しきい値 しきい値 WA_TH、AX_TH、AA_THの値が小さいほど、ホワ
イトバランス調整誤りが少なくなるが、ホワイトバラン
スの効果も薄くなる。また、一般的な画像の2乗彩度を
比較すると、AX_sqc ≧ WA_sqc ≧ AA_sqc となる傾向にあるため、2乗彩度しきい値の大小関係を
上のように定めた。
【0035】画像輝度最大データWP_max、ブロッ
ク輝度最大平均色データWP_aveの2乗彩度が小さ
いとき、ホワイトバランス調整を行わない。WPデータ
の WP_max、WP_ave の2乗彩度値が共に十分
小さいということは、色分布がほぼ無彩色軸上に乗って
おり、ホワイトバランスが取れていると判断する。
【0036】WX_sqc≦WAX_MAX かつ WA_sqc≦WAX_MAX のとき、ホワイトバランス調整を行わない (ホワイトバランス調整不要) ただし、 WAX_MAX : WP_max、WP_aveの2乗彩度上限し
きい値 ステップ103の白色領域検出では、ホワイトバランス
情報を用いて画像中にホワイトバランス調整の基準とで
きる白色領域があるかどうかを判定する。ホワイトバラ
ンス調整の考え方の一つに、最も白(または無彩色)で
あることが好ましいと思われる画素(または領域)を画
像中から検出し、その画素を無彩色にする方法がある。
人間が画像を見る際、ホワイトバランスが取れているか
取れていないかを判断する基準として、画像中の白色の
被写体、記憶色の被写体が挙げられる。有彩色の被写体
は多少色がずれていても、その変化を知覚しにくいが、
無彩色の被写体に色がついた場合には、非常に目だつも
のとなる。そこで、色分布軸検出に先立ち、ホワイトバ
ランス情報のうちの画像輝度最大データ WP_maxと
ブロック平均色輝度最大データAVE_max について
白色領域判定を行い、ホワイトバランス調整の基準とな
る白色被写体を含んでいると思われるブロックデータが
ある場合には、そのブロックを無彩色にするようなホワ
イトバランス調整を行う。
【0037】まず、画像輝度最大データWP_max の
白色領域判定を行う。大きな領域を占める彩度の高い有
彩色被写体がない画像は、色空間において輝度方向に伸
びるほぼ紡錘形の色分布を形成する。それらの画像のう
ち、ホワイトバランスがとれている画像の色分布の主成
分軸は、無彩色軸とほぼ一致し、被写体を照射している
照明光源の影響のためホワイトバランスがとれていない
画像の色分布の主成分軸は、無彩色軸とある程度の角度
をなす色空間の原点を通る直線となる。いずれにして
も、紡錘形の色分布の高輝度方向の先端は、画像輝度最
大データ WP_max であると考えられる。
【0038】すなわち、色分布が輝度方向に伸びる紡錘
形をしている場合、その色分布の高輝度方向の先端のデ
ータと画像輝度最大データWP_max が一致すると考
えられるので、画像輝度最大データWP_max をホワ
イトバランス調整の基準データにできる。本実施例で
は、簡易的に、ブロック輝度最大データのうち色空間の
原点からの距離が最大のデータが画像輝度最大データW
P_max と一致するとき、画像輝度最大データWP_
max を白色領域と判定し、後に行われる色分布軸検
出の結果と共に、WP_max を考慮してホワイトバラ
ンス係数を算出する。この条件を満たす画像は、WP_
max ブロックデータが画像の白色領域を含んでいる
と判断している。
【0039】
【数3】
【0040】これに加えて WP_maxの輝度が十分に
高いと、そのブロックデータが白色被写体である可能性
がさらに高くなる。そこで、上の条件を満たし、かつ、
WP_max の輝度 WX_y が所定のしきい値WXY_MAX 以
上の時、WP_max のみからホワイトバランス係数を
算出する。
【0041】WX_y > WXY_MAX のとき WP_maxのみによるホワイトバランスを行う WX_y : WP_maxデータの輝度 WXY_MAX : 白色領域検出時の輝度しきい値 なお、色空間の原点とWPデータ間の距離を計算する代
わりに、ブロック輝度最小データ中の輝度最小のデー
タ、すなわち、画像輝度最小データとWPデータ間の距
離を計算してもよい。また、二点間の距離計算により距
離最大データの検出をしているが、平方根計算をせず二
乗距離を用いても良いし、次に示す簡易距離を用いても
よい。
【0042】dis_wp(m,n) = WP_r(m,n) + WP_g(m,n) +
WP_b(m,n) 画像輝度最大データWP_max が、白色領域と判定さ
れなかった画像は、次にブロック平均色輝度最大データ
AVE_maxの白色領域判定を行う。AVE_maxも
WP_maxと同様に、画像の白色領域を拾うことが多
いため、以下に示す条件を満たすとき、AVE_max
のみによるホワイトバランス調整を行うものとした。
【0043】AX_sqc<WA_sqc かつ AX_sqc<AX_WBC のとき、AVE_maxのみによるホワイトバランスを
行う AX_sqc : ブロック平均色輝度最大データ2乗彩度 WA_sqc : ブロック輝度最大平均色データ2乗彩度 AX_WBC : AX_sqcに関する2乗彩度しきい値 上の第一の条件 AX_sqc<WA_sqc は、AVE_max ブ
ロックデータが白色領域である信頼性を高めるために付
加したものである。
【0044】ホワイトバランスの基準となる白色領域が
検出された画像は、ステップ104のホワイトバランス
モード判定で分岐し、検出した白色領域ブロックデータ
のみを用いてホワイトバランス係数を算出する。それ以
外の画像は、ステップ105において色空間における色
分布の色分布軸を検出する。
【0045】本実施例のホワイトバランス調整量演算装
置は、ホワイトバランス調整で用いられる「ホワイトバ
ランスが取れている画像の画面全体の色差信号を積分
(平均化)すれば零になる」という仮定を3次元色空間
に拡張し、「ホワイトバランスが取れている画像の3次
元色分布の主成分軸は、無彩色軸と一致する」ことを前
提条件とした方法である。色分布軸検出は、主成分分析
による方法が好ましいが、本実施例では、色分布の主成
分軸上に色分布の重心が乗ると仮定し、色分布重心点を
算出し、色空間の原点と色分布重心点を結ぶベクトルを
色分布軸ベクトルとする。また、色差信号の積分値と同
様に、高彩度の被写体が大きな領域を占める画像等で
は、必ずしも上に示した前提条件は成り立たないため、
何らかの対処が必要である。
【0046】まず、RGB空間において高彩度被写体の
影響を排除して色分布軸検出を行うため、RGB空間の
無彩色軸を中心軸とする円柱を設定し、その円柱内のデ
ータに関して重心を取ることが考えられる。しかし、ホ
ワイトバランスがずれ、色分布の主軸が無彩色軸と一致
しない画像に対して、このような円柱を設定しても、排
除したい高彩度データを除くことが出来るとは限らな
い。なぜなら、ホワイトバランスがずれているというこ
とは、各画素の彩度の絶対値は信用できないためであ
る。
【0047】そこで、色分布軸検出に関しては、次のよ
うな二段階処理を行う。まず、三次元色空間における色
分布の偏り具合いを大まかに示す色分布軸を算出し、こ
れを一次色分布軸とする。次に、求められた一次色分布
軸を中心軸とした円柱領域を設定し、設定した円柱の外
側にある高彩度と思われるデータ以外の円柱領域内デー
タのみを用いて色分布軸を検出し直す。
【0048】図4は、図1の色分布軸検出手段107の
概略ブロック図である。401は二つの二次元平面内で
検出した色分布軸を合成し、三次元色空間内の大まかな
色分布軸を算出する一次色分布軸算出手段、402は一
次色分布軸検出手段401で検出された大まかなホワイ
トバランス軸を中心に設定した円柱領域内データより色
分布軸を算出する二次色分布軸算出手段、403はブロ
ックデータのRGB値より二次元ヒストグラムのメモリ
番号を算出するヒストグラムメモリ番号算出部、404
はブロック平均色AVEデータとブロック輝度最小BP
データの色を比較して一様な有彩色から構成されている
データを検出する除去ブロック検出部、405は除去ブ
ロック検出部404で除去の対象とならなかったブロッ
クデータに関してGR二次元ヒストグラムを算出するG
Rヒストグラム算出部、406は除去ブロック検出部4
04で除去の対象とならなかったブロックデータに関し
てGB二次元ヒストグラムを算出するGBヒストグラム
算出部、407はGRヒストグラム算出部405で求め
たGRヒストグラムよりGR平面における二次元色分布
軸を算出するGR平面色分布軸算出部、408はGBヒ
ストグラム算出部406で求めたGBヒストグラムより
GB平面における二次元色分布軸を算出するGB平面色
分布軸算出部、409はGR色分布軸算出部407およ
びGB色分布軸算出部408が重み付き平均角度計算時
に参照する重みテーブルROM、410はGR平面色分
布軸算出部407およびGB平面色分布軸算出部408
が重み付き平均角度計算時に参照する角度テーブルRO
M、411はGR平面色分布軸算出部407およびGB
平面色分布軸算出部408の出力を合成して、三次元色
空間における一次色分布軸を算出する三次元色分布軸合
成部、412は三次元色分布軸軸合成部411が算出し
た一次色分布軸を中心に設定した円柱領域内に存在する
WPブロックデータの重心を求めるWPブロックデータ
重心算出部、413は三次元色分布軸合成部411が算
出した一次色分布軸を中心に設定した円柱領域内に存在
するAVEブロックデータの重心を求めるAVEブロッ
クデータ重心算出部、414はWPブロックデータ重心
算出部412の出力とAVEブロックデータ重心算出部
413の出力の平均をとり二次色分布軸を算出する平均
値算出部である。
【0049】この色分布軸検出手段107の動作を一次
色分布軸算出手段401と二次色分布軸軸算出手段40
2に分けて説明する。
【0050】図5は、図4のブロック図の一次色分布軸
検出手段401に対応する流れ図であり、これに従っ
て、一次色分布軸算出手段401の動作を説明する。
【0051】ステップ201で、ブロック輝度最大デー
タWP(WP_r,WP_g,WP_b)、ブロック平均色データAVE
(AVE_r,AVE_g,AVE_b)、ブロック輝度最小データBP(BP
_r,BP_g,BP_b)をホワイトバランス情報保持メモリ10
3から順次読み込む。
【0052】ステップ202でWP、AVE、BPの各
ブロックデータのRGB値よりヒストグラムメモリ番号
をヒストグラムメモリ番号算出部403算出する。ここ
でいうヒストグラムは、RGB色空間内の色分布をGR
平面、GB平面に射影した二次元ヒストグラムをさす。
ただし、本実施例ではメモリ量削減のため、R,G,B
の各輝度0〜255の値の16刻みで16分割し、16
×16の二次元配列をヒストグラムメモリとする。G
R、GB二次元ヒストグラムをGR_hist(hg,hr)、GB_his
t(hg,hb)とすると、各ブロックデータの二次元ヒストグ
ラムの参照メモリ番号hr,hg,hbは、次式で表される。
【0053】 WPデータ: ( hr, hg, hb ) = ( WP_r/16, WP_g/16, WP_b/16 ) AVEデータ: ( hr, hg, hb ) = ( AVE_r/16, AVE_g/16, AVE_b/16 ) BPデータ: ( hr, hg, hb ) = ( BP_r/16, BP_g/16, BP_b/16 ) ステップ203では、WPブロックデータをRG、GB
二次元ヒストグラムにRG、GBヒストグラム算出部4
05、406でカウントする。WPデータのRGB値よ
り求めたヒストグラム参照メモリ番号に従い、ヒストグ
ラムのレンジ GR_hist(hg,hr) および GB_hist(hg,hb)
の度数をカウントアップする。ただし、WPデータに関
しては、AVE、BPデータの様なブロック除去を考え
ず、全てのブロックデータをカウントする。
【0054】ステップ204では、AVE、BPブロッ
クデータに関して除去ブロック検出部404でブロック
除去判定を行う。AVE、BPブロックデータの色を比
較し、類似した色と判定された場合はブロック除去フラ
グを立てる。ブロックデータにはWP、AVE、BPの
3種類があるが、各ブロックの3種類のデータの色情報
を比較すると、そのブロックの特徴をある程度把握でき
る。特に色分布軸軸検出の障害になるブロックデータ
は、一様な有彩色から構成されているブロック、およ
び、高彩度被写体を含むブロックである。ここでは、青
い空やポートレート画像の一様な背景しか含まれていな
いブロック等を想定している。これらのブロックのW
P、AVE、BPデータの色にあまり差が無いはずであ
る。
【0055】そこで、本実施例では、各ブロックデータ
のAVE、BPの色相、彩度を比較して一次色分布軸算
出時に考慮しない方がよい一様な有彩色から構成されて
いるブロックデータを検出し、そのデータを2次元ヒス
トグラムにカウントしないものとする。ここでは、WP
データは色分布軸推定に重要なデータであると考え、W
Pデータの除去は行わないとしたが、WPデータもブロ
ックデータ除去の対象に加えてもよい。
【0056】ブロック除去判定では、同一ブロックのA
VE、BPデータの輝度、彩度、色相の値を比較する。
相対的な比較演算を行うだけなので、彩度値は簡単のた
め色差信号R−Y、B−Yの2乗和、すなわち2乗彩度
を用いる。
【0057】色相値は、ブロックデータのRGB値より
簡易色相領域番号および簡易色相値を計算することにす
る。簡易色相領域は、図6のようにRGBCMYの6色
を頂点とする正六角形色の色差平面の色相環を6等分し
たものである。(この色相面は、RGB空間において無
彩色軸から見て水平面に投影した座標系であり、一般的
にはカラー・モメント・ダイアグラムと呼ばれる。)色
相領域番号は、図6に示したように0〜5の値を割り振
る。この番号は、RGB値の大小関係より決定できる。
また、色相値を定義できない無彩色(Achromatic Colo
r)の色相領域番号は6とする。
【0058】図7が簡易色相領域番号の計算過程の流れ
図である。初期化した6bit フラグを用意し、順次Rと
G、GとB,BとRの大小関係情報を2bit ずつフラグ
に記述し、得られたフラグの値に応じて簡易色相領域番
号を割り当てていくというのが概略である。簡易色相領
域番号と色の関係は次のようになる。
【0059】 RED, RED〜YELLOW : h_num = 0 YELLOW, YELLOW〜GREEN : h_num = 1 GREEN, GREEN〜CYAN : h_num = 2 CYAN, CYAN〜BLUE : h_num = 3 BLUE, BLUE〜MAGENTA : h_num = 4 MAGENTA, MAGENTA〜RED : h_num = 5 Achromatic Color : h_num = 6 ( h_num : 色相領域番号 ) AVE、BPブロックデータの簡易色相値は、簡易色相
領域番号 h_num とRGB値( red, grn ,blu )より次の
ように求める。
【0060】
【数4】
【0061】例えば、色相領域番号 h_num=1 ( yellow
〜green ) 、RGB値の大小関係がblu<red<grnである
とする。このとき、(red,grn,blu)=(mid,max,min)とす
ると、簡易色相値は次式で計算される。
【0062】
【数5】
【0063】次に、AVE、BPブロックデータの除去
条件を次式に示す。これは、ブロック内データの平均で
あるAVEデータとブロック内データの輝度最小のBP
データの色が似ており、とき、そのブロックデータは、
ほぼ同一系統の色から構成されていると判断し、設定し
た条件である。 ・AVE、BPブロックの輝度差が所定のしきい値以下 yy_sub = ave_y - bp_yy yy_sub < AB_Y_DIF ave_y : AVEブロックデータの輝度 bp_yy : BPブロックデータの輝度 AB_Y_DIF: 輝度差しきい値 ・AVE、BP各ブロックデータの2乗彩度が所定のし
きい値以上 ave_sqc≧BRM_SQC bp_sqc≧BRM_SQC ave_sqc := ave_ry2 + ave_by2 AVEデータ2乗彩度 bp_sqc := bp_ry2 + bp_by2 BPデータ2乗彩度 BRM_SQC : 2乗彩度しきい値 ・AVE、BPブロックデータの色相差が所定のしきい
値以下 def_hue = ABS( b_hue - a_hue ) if def_hue>180 then def_hue = 360-def_hue def_hue < HUE_DIF a_hue : AVEブロックデータの簡易色相値 b_hue : BPブロックデータの簡易色相値 HUE_DIF: 色相差しきい値 上に示した3つの条件を満たすブロックデータの場合に
は、ブロック除去フラグをオンにする。また、極端に高
彩度な被写体の含まれているブロックの除去は、各ブロ
ックデータの2乗彩度と定められたしきい値との比較に
より行う。
【0064】なお、ブロック除去条件は、上に示した条
件に限らず、極端に彩度が高いブロックデータ、一様な
有彩色から構成されるブロックデータ等のホワイトバラ
ンス軸推定に悪影響があるブロックデータを検出できる
条件であれば、他の条件を用いても構わない。また、W
Pデータも含めてブロック除去判定を行っても構わな
い。
【0065】ステップ205でブロック除去フラグによ
り分岐する。ブロック除去フラグがオンの時は、AV
E、BPブロックデータはヒストグラムにカウントしな
い。ブロック除去フラグがオフの時は、ステップ206
およびステップ207においてAVE、BPブロックデ
ータをステップ202で求めた参照メモリ番号に対応す
るGR、GB二次元ヒストグラムレンジにカウントす
る。
【0066】そして、ステップ208で全ブロックデー
タの読み込みが終了したかを判定し、読み込みが終了し
ていないときはステップ201に戻り、終了している時
はステップ209に進む。
【0067】ステップ209、210では、GR二次元
平面およびGB二次元平面における色分布軸をGR平面
およびGB平面色分布軸算出部407、408で求め
る。まず、二次元平面において色分布軸を示す直線と横
軸のなす角度を算出する。そのために、図8の様に16
×16に分割したGR二次元平面の各レンジの中心と原
点を結ぶ直線と横軸Rのなす角度を角度テーブルROM
210に保持し、これを用いて平均角度を算出する。
(GB平面についても同様。)平均角度は次式で表され
る。
【0068】
【数6】
【0069】本実施例では、さらに、平均角度算出時に
参照する角度テーブルROM410の角度に応じた重み
を導入し、重み付き平均角度とする。その際の重み付け
は、RG平面の原点を通り、横軸Rとなす角が45度の
直線を中心にして、この直線から遠ざかるほど小さくな
る重みを用いる。これは、次のような理由によるもので
ある。RG平面において検出される直線が無彩色軸を示
す直線から離れるほど、大きなホワイトバランス係数と
なり、ホワイトバランス調整後の画像に大きな色の変化
が現れ易い。すなわち、色分布軸検出結果が誤っていた
場合、色が補色に変化し視覚的に違和感のある画像にな
り易いことを示す。そこで、二次元平面における無彩色
軸に近いデータほど重みを強くし、極端に無彩色軸から
離れたホワイトバランス軸を検出しないようにする。す
なわち、RG、およびGB平面ヒストグラムの重み付き
平均角度から求めた軸を合成した一次色分布軸は、大ま
かに色分布の偏り具合いを示した軸であるといえる。
(一次色分布軸は色分布の重心方向に傾いてはいるが、
一次色分布軸上に色分布重心は乗らない。) 重み付き平均角度は次式で表される。
【0070】
【数7】
【0071】また、上の平均角度演算では、ヒストグラ
ムの度数を考慮したが、所定のしきい値以上の度数を持
つヒストグラムレンジのみに関して、度数を考慮せず平
均角度あるいは重み付き平均角度を算出してもよい。
【0072】次に、二次元平面の平均角度より色分布軸
ベクトルを求める。二次元平面における色分布軸検出
は、軸ベクトルの方向だけが問題である。そこで、GR
平面の色分布軸ベクトルを(gr_jiku_r, gr_jiku_g)、G
B平面の色分布軸ベクトルを(gb_jiku_g, gb_jiku_b)と
し、gr_jiku_g = gb_jiku_g = 128 として、gr_jiku_r,
gb_jiku_b の値を求める。 gr_jiku_g = 128 gr_jiku_r = gr_jiku_b × tan( gr_ave_arg×π/180 ) = 128 × tan( gr_ave_arg×π/180 ) gb_jiku_g = 128 gb_jiku_r = gb_jiku_b × tan( gb_ave_arg×π/180 ) = 128 × tan( gb_ave_arg×π/180 ) なお、上式の三角関数の計算は、tanの値をテーブルと
して保持してもよい。
【0073】最後に、ステップ211において、ステッ
プ209で算出したGRおよびGB二次元ホワイトバラ
ンス軸を合成してRGB三次元空間における一次色分布
軸ベクトル ( jiku_r, jiku_g, jiku_b ) を三次元色分
布軸算出部411で求める。 jiku_r = gr_jiku_r jiku_g = gr_jiku_g = gb_jiku_b = 128 jiku_b = gb_jiku_b 求めた一次色分布軸ベクトルは、二次色分布軸算出部に
受け渡される。
【0074】図9は、図4のブロック図の二次色分布軸
算出手段402に対応する流れ図である。これに従っ
て、二次色分布軸算出手段402の動作を説明する。
【0075】二次色分布軸算出手段402では、一次色
分布軸算出手段401の出力である一次色分布軸ベクト
ル( jiku_r, jiku_g, jiku_b )を中心軸とする円柱領域
内データの重心計算を行う。一次色分布軸を中心軸とす
る理由は、ホワイトバランスがずれた画像の彩度値が信
用できないことにある。すなわち、色分布の偏り具合い
を示す一次色分布軸を仮の無彩色軸として彩度を定義
し、高彩度と思われるデータを排除し、なるべく色分布
軸検出誤りがないようにしている。
【0076】まず、ステップ301で円柱内WP、AV
Eデータ総和 sum_wp( sum_wp_r, sum_wp_g, sum_wp_b
), sum_ave( sum_ave_r, sum_ave_g, sum_ave_b ) 、
円柱内WP、AVEデータ数 wp_count, ave_countを初
期化する。
【0077】ステップ302でWPブロックデータ(WP_
r,WP_g,WP_b)をホワイトバランス情報保持メモリ103
から読み込む。
【0078】ステップ303では、読み込んだWPブロ
ックデータが、一次色分布軸算出手段401で求めた一
次色分布軸を中心軸とする所定の半径を持つ円柱領域内
にあるかどうかを判定する。判定は、ホワイトバランス
軸とWPブロックデータ間の距離を計算することにより
行う。ただし、円柱の内外判定が出来ればよいので、2
乗距離と円柱半径の2乗値との比較演算を行う。円柱の
中心軸からデータ点までの2乗距離は、次式で表され
る。
【0079】 sqr_d = A - B×B/C A = WP_r×WP_r + WP_g×WP_g + WP_b×WP_b B = jiku_r×jiku_r + jiku_g×jiku_g + jiku_b×jiku_b C = WP_r×jiku_r + WP_g×jiku_g + WP_b×jiku_b ただし、 (jiku_r,jiku_g,jiku_b):円柱の中心軸ベクトル (WP_r,WP_g,WP_b):WPデータ点座標 sqr_d:中心軸からWPデータ点までの2乗距離 各WPデータについて中心軸ベクトルとの2乗距離を求
め、所定の円柱半径radiusの2乗との比較を行う。円柱
領域内に存在すると判定されたWPデータは、ステップ
304においてデータ加算し、データ数をカウントして
いく。 radius : RGB空間における円柱の半径 sum_wp_r : 円柱内WPデータのR値 WP_r(m,n) の総和 sum_wp_g : 円柱内WPデータのG値 WP_g(m,n) の総和 sum_wp_b : 円柱内WPデータのB値 WP_b(m,n) の総和 wp_count : 円柱内WPデータ数 次のステップ305、306、307では AVEデー
タに関してステップ302、303、304と同様の処
理を行い、円柱内 AVEデータの総和(sum_ave_r, sum
_ave_g, sum_ave_b )、円柱内AVEデータ数 ave_coun
t を求める。なお、ステップ302、303、304と
ステップ305、306、307は平行して実行されて
もかまわない。
【0080】そして、ステップ308において、全ブロ
ックデータの読み込みが終了していない時はステップ3
01に戻り、読み込みが終了している時にはステップ3
07に進む。ステップ309、310では、円柱領域内
WP、AVEデータの重心をWP、AVEデータ重心算
出部412、413で求め、ステップ311においてW
Pデータの重心とAVEデータの重心の平均値を平均値
算出部414で求め、これを二次色分布軸ベクトルとす
る。
【0081】 wp_cg_r = sum_wp_r/wp_count wp_cg_g = sum_wp_g/wp_count wp_cg_b = sum_wp_b/wp_count ave_cg_r = sum_ave_r/ave_count ave_cg_g = sum_ave_g/ave_count ave_cg_b = sum_ave_b/ave_count WB_r = ( wp_cg_r + ave_cg_r )/2 WB_g = ( wp_cg_g + ave_cg_g )/2 WB_b = ( wp_cg_b + ave_cg_b )/2 ただし、 ( wp_cg_r, wp_cg_g, wp_cg_b ) : 円柱内 WPデ
ータの重心 ( ave_cg_r, ave_cg_g, ave_cg_b ) : 円柱内AVEデ
ータの重心 ( WB_r, WB_g, WB_b ) : 二次色分布軸ベクトル 以上の様にして求められた色分布軸ベクトル( wb_r, wb
_g, wb_b )は、色分布軸検出手段7の出力としてホワイ
トバランス係数算出手段109へ送られる。
【0082】図2の流れ図においてステップ105の色
分布軸検出の次には、ステップ106の緩和係数算出を
行う。色分布軸の検出は、上述のようにRGB空間にお
ける色分布の重心計算により行う。この色分布の重心に
よる色分布軸検出の前提条件は、(光源色ベクトルと同
方向の)輝度方向に伸びる紡錘形の色分布であることで
ある。しかし、この条件に合わない画像は多数ある。例
えば、画面の大半が青い空が占めている画像のように、
広範囲に有彩色の被写体がある場合、色分布の重心は、
その色の方に偏り、色相が大きく異なる二色の有彩色被
写体からなる画像の色分布は、大きな二つのクラスタを
形成する。
【0083】本実施例では、一次色分布軸の算出時に
は、一様な有彩色から構成されるブロックデータの除去
を行い、二次色分布軸の算出時には、一次色分布軸から
離れた高彩度ブロックデータを排除して重心計算を行っ
ているが、高彩度データが多く色分布が複雑な形状をし
ている画像は、どうしてもホワイトバランス軸検出を誤
り易い。従って、色分布状態に応じたホワイトバランス
調整を行うことが重要であるといえる。
【0084】しかし、色分布状態に応じてホワイトバラ
ンス軸検出方法を変えていたのでは、処理が複雑になる
ため、本実施例ではホワイトバランス軸検出とは別に、
画像の彩度情報および色分布状態に応じてホワイトバラ
ンスの度合いを調整する緩和係数を導入する。この緩和
係数の算出には、画像全体の色の傾向を示している、ブ
ロック輝度最大平均色データWP_ave、ブロック平
均色輝度最大データAVE_max、画像平均色データ
AVE_ave を用いる。それらのブロックデータの彩
度値が大きいほど、ホワイトバランス軸検出が困難であ
ると判断し、緩和係数の値を大きく設定する。また、色
差平面で簡易的に分割した色相領域におけるデータ分布
状態から、ホワイトバランス調整が特に困難と思われる
偏った色相分布の画像を判定し、この画像に関しては緩
和度合いを大きくする。
【0085】図10は、図1の緩和係数算出手段108
の概略ブロック図である。301はブロック情報保持メ
モリ103よりAVEブロックデータを読み込み、簡易
色相ヒストグラムを作成する簡易色相ヒストグラム作成
部、302は簡易色相ヒストグラム作成部301で作成
した簡易色相ヒストグラムのデータ分布状態を判別し、
ヒストグラムタイプの分類を行うヒストグラムタイプ分
類部、303はヒストグラムタイプ分類部302の分類
結果とブロック輝度最大平均色データの2乗彩度値 WA_
sqc よりブロック輝度最大平均色データ WP_aveに
対する緩和係数を求める第1の対2乗彩度緩和係数算出
部、304および305は第1の緩和係数算出部303
と同様にしてブロック平均色輝度最大データ AVE_m
axに対する緩和係数を求める第2の対2乗彩度緩和係
数算出部、画像平均色データ WP_aveに対する緩和
係数を求める第3の対2乗彩度緩和係数算出部、306
は各対2乗彩度緩和係数算出部303、304、305
において求められた緩和係数のうちの最大値を選択し、
これを緩和係数算出部108の出力とする最大値選択回
路である。
【0086】この緩和係数算出手段108の動作を図1
1の流れ図に従って説明する。まず、ステップ401
で、簡易色相ヒストグラムを作成するAVEブロックデ
ータをホワイトバランス情報保持メモリ103から順次
読み込む。
【0087】ステップ402で、各AVEブロックの簡
易色相領域番号を簡易色相ヒストグラム作成部301で
算出する。この簡易色相領域番号は、ブロック除去判定
に用いたものと同様に、RGBCMYを頂点に持つ正六
角形の色相環を六分割した各領域に対応する0〜6の番
号である。
【0088】次に、ステップ403では、ステップ40
2で算出したAVEブロックの簡易色相領域番号の度数
をカウントし、簡易色相ヒストグラムを同簡易色相ヒス
トグラム作成部301で作成していく。
【0089】ステップ404において、全AVEブロッ
クの読み込みが終了したかを判定し、終了していないと
きはステップ401へ戻り、終了しているときはステッ
プ405へ進む。この時点で、AVEブロックデータに
関する簡易色相ヒストグラムが算出されている。
【0090】ステップ405では、簡易色相ヒストグラ
ムの度数分布状態の判定をヒストグラムタイプ分類部3
02で行う。色相領域h_num=6 の無彩色を除く色相領域
0〜5の6つの色相領域のヒストグラムより、ある程
度、色分布状態の分類が可能である。本実施例では、特
に色分布軸算出が困難であると思われる一部の色相に集
中した色分布を持つ画像を簡易色相ヒストグラムを用い
て判別し、この様な色分布のヒストグラムタイプをUNEV
EN、それ以外のヒストグラムタイプをNORMALとして分類
する。
【0091】UNEVENタイプは、簡易色相ヒストグラムの
6つの色相領域のうち、1つの領域のみ、または、隣合
う2つの領域のみに、しきい値以上のブロックデータが
存在する分布を持つものとする。例えば、森のシーンの
画像は、主に緑系統の色から構成される。図12が、こ
の様な簡易色相ヒストグラムの色分布の実施例である。
同一系統の色のみで構成されているので、検出される色
分布軸の傾きが大きくなる傾向にあり、ホワイトバラン
ス調整の結果、補色に変化する画素が多くなる可能性が
強い。そこで、この様な分布が検出されたときは、ホワ
イトバランス調整を弱めるため、大きめの緩和係数を設
定する。
【0092】また、簡易色相ヒストグラムにおいて、少
なくとも一組の対角色相領域に共にしきい値以上のデー
タが存在し、かつ、少なくとも一組の対角色相領域に共
にしきい値以下のデータしか存在しない分布もUNEVENタ
イプに分類する。図13がこの色分布の実施例であり、
補色の関係にある一部の色相領域のみにデータが存在す
る場合、ホワイトバランス軸検出が誤り易い傾向にあ
る。
【0093】ヒストグラム判定の結果、UNEVENタイプと
判定されなかったものは、NORMALタイプとする。NORMAL
タイプは、色分布にばらつきがあり、比較的色分布軸を
検出し易い。そこで、ヒストグラムタイプがUNEVENタイ
プのものより小さの緩和係数を設定する。
【0094】ヒストグラムタイプは、簡易色相ヒストグ
ラムの6つの色相領域のうち、どの色相領域にデータが
存在するかにより判定する。その際、データの度数は考
慮しないが、次式に示すデータ数下限しきい値を設定す
る。
【0095】th = BLOCK/( 2*n ) th : データ数下限しきい値 n : データが存在する色相領域数 0≦n≦6 BLOCK : 全ブロック数 このようなしきい値を設定した理由を示す。例えば、下
表に示すようなある画像の簡易色相ヒストグラムを考え
る。
【0096】
【表1】
【0097】色分布は、0番目および5番目の色相領域
に集中し、赤系統の色から構成されていることがわか
る。このような画像はホワイトバランス係数が大きくな
り易いため、補色側のシアンに色が変わる画素が多くな
ることを防がなければならない。そのためにヒストグラ
ムタイプ UNEVEN に分類したいが、簡易色相ヒストグラ
ムの4番目の色相領域に1ブロックデータがあるため、
データ存在の有無のみで判断すると、NORMALタイプに分
類されてしまう。データ数下限しきい値は、色分布の傾
向を大まかに捕らえ、上に示した例のような簡易色相ヒ
ストグラムに対しても適切に分類できるようにするもの
である。また、このしきい値は、データが存在する簡易
色相領域数に依存する可変しきい値であり、分布の広が
り具合いにもある程度適応できる。
【0098】上の簡易色相ヒストグラムにデータ数下限
しきい値を設定した場合、n = 3 ,BLOCK = 70, th = 70
/(2*3) = 11 となり、4番目の色相領域のしきい値以
下のデータは考慮されず、UNEVENタイプに分類される。
【0099】ヒストグラムタイプ判別の次は、ステップ
406の2乗彩度データの読み込みである。ブロック輝
度最大平均色データWP_aveの2乗彩度 WA_sqc、ブ
ロック平均色輝度最大データAVE_maxの2乗彩度
AX_sqc、画像平均色データAVE_aveの2乗彩度AA_
sqcを用いる。
【0100】ステップ407、408、409では、ス
テップ406で読み込んだ各2乗彩度に対する緩和係数
を対2乗彩度緩和係数算出部303、304、305で
算出する。その算出方法は後に示す。
【0101】ステップ408では、WA_sqc、AX_sqc、AA
_sqcの各2乗彩度値に対する緩和係数を算出し、3つの
緩和係数のうち最大の値のものを最大値選択回路306
で最終的な緩和係数とする。画像の彩度情報をホワイト
バランス調整の指標とすることは妥当と思われるが、た
だ一つのパラメータで、ホワイトバランスという点から
みた人間の画像に対する主観を表現できない。そこで、
ブロックデータのうち、画像全体の色の特徴を示してい
るWP_ave、AVE_max、AVE_ave を指標
とし、3つの緩和係数の最大値を、その画像の緩和係数
とした。これは、ファジーのメンバシップ関数的なもの
であり、緩和係数の最大値を採用したのは、なるべく誤
動作が少なくなるように配慮したものである。なお、簡
易的には、一種類の2乗彩度から緩和係数を決定しても
よい。
【0102】次に、緩和係数算出法について説明する。
本実施例では、ホワイトバランス緩和係数 ratioは、0
〜1024 の値を取り、数値が大きくなるほど緩和度合い
が大きくなるものとする。すなわち、ratio=0 のとき
は、緩和を行わず色分布軸検出より求めたホワイトバラ
ンス係数をそのまま採用し、ratio の値が大きくなるほ
ど緩和度合いが大きくなり、ratio=1024のときは、ホワ
イトバランスを行わないことを意味する。
【0103】図14は、2乗彩度とホワイトバランス緩
和係数 ratioの関係を示した曲線である。2乗彩度が大
きくなると、画像中における有彩色被写体の影響が大き
いと判断し、ホワイトバランスの度合いを弱くするため
に緩和係数 ratioは大きい値となるように設定されてい
る。また、分類したヒストグラムタイプUNEVEN、NORMAL
に応じて、ratio 曲線の勾配差を与え、緩和度合いに違
いを持たせている。具体的には、NORMALタイプの緩和係
数よりUNEVENタイプの緩和係数を常に大きな値となるよ
うに設定する。図14のグラフの横軸は、2乗彩度であ
るが、正規化した値で0〜255の値である。これは、2乗
彩度の上限下限しきい値に応じて伸張される。本実施例
では、正規化2乗彩度に対する緩和係数の曲線として次
式を用いた。
【0104】
【数8】
【0105】なお、この緩和係数曲線は、単調増加関数
であり、ヒストグラムタイプがNORMALタイプのものより
UNEVENタイプの緩和係数が大きければ他のものでもよ
く、また、メモリ量の制約がなければテーブルとして保
持していてもよい。
【0106】ヒストグラムタイプにより正規化緩和係数
曲線を選択した後、各2乗彩度の上限および下限しきい
値に合わせて正規化緩和係数曲線を伸張し、それぞれの
2乗彩度に対する緩和係数曲線を求める。本実施例で
は、WA_SQC, AX_SQC, AA_SQCの各2乗彩度に関して上限
しきい値High_TH 一種類、下限しきい値 Low_TH 二種類
の数値を設定する。このしきい値は、各2乗彩度にあわ
せて正規化緩和係数曲線を伸張する際に用いる。
【0107】 WA_sqc に対するしきい値 ( WA_CH, WA_NCL, WA_UCL ) AX_sqc に対するしきい値 ( AX_CH, AX_NCL, AX_UCL ) AA_sqc に対するしきい値 ( AA_CH, AA_NCL, AA_UCL ) ただし、 *_CH は、上限しきい値 High_TH *_NCL は、ヒストグラムタイプが NORMAL の時の下限し
きい値 Low_TH *_UCL は、ヒストグラムタイプが UNEVEN の時の下限し
きい値 Low_TH 上に示したように上限しきい値 High_THは、ヒストグラ
ムタイプによらず共通であり、下限しきい値Low_THに関
しては、NORMALタイプよりUNEVENタイプの値を小さめに
し、緩和度合いが大きくなるようにしている。
【0108】また、(ヒストグラムタイプがNORMALとす
ると、)3つの緩和係数曲線の上限下限2乗彩度しきい
値は、 AX_CL ≧ WA_CL ≧ AA_CL AX_CH ≧ WA_CH ≧ AA_CH となるように設定し、AVE_ave、WP_ave、A
VE_maxの順に彩度情報を重視し、緩和係数への影
響を大きくしている。これは、AVE_ave、WP_a
veデータの方がAVE_maxデータより画面全体の
彩度情報を示しており、最も、AVE_aveデータが
ホワイトバランスに影響のある情報であると判断したも
のである。また、これらの2乗彩度上限下限しきい値の
設定を変えることにより、ホワイトバランス調整の効き
具合をある程度制御できる。
【0109】正規化緩和係数曲線の伸張は、正規化2乗
彩度 =0 に下限しきい値、正規化2乗彩度 =255 に上限
しきい値を対応させる。下限しきい値以下の2乗彩度で
は、緩和係数ratio=0、上限しきい値以上の2乗彩度で
は緩和係数ratio=1024とする。 実際の緩和係数算出
は、上限下限しきい値と各画像の2乗彩度値より、内分
計算によって各画像の正規化2乗彩度値を求め、その値
に対応する緩和係数を、正規化緩和係数曲線式から算出
し、WA_sqc、AX_sqc、AA_sqcの各2乗彩度値に対応する
緩和係数 WA_rto, AX_rto, AA_rto を決定する。
【0110】例えば、ヒストグラムタイプがNORMALのと
き、WA_sqcに対する緩和係数WA_rtoは、次式により計算
される。
【0111】
【数9】
【0112】最後に、WA_rto、AX_rto、AA_rtoのうち、
最大値をその画像のホワイトバランス緩和係数 ratioと
する。
【0113】図2の流れ図のステップ106の緩和係数
算出が終わると、最後にステップ107でホワイトバラ
ンス係数算出を行う。白色領域検出結果のみのホワイト
バランス調整、または色分布軸検出結果のみのホワイト
バランス調整の場合は、検出した白色領域データのRG
B値、または色分布軸ベクトルのRGB値よりホワイト
バランス係数を算出する。
【0114】もう一つのホワイトバランスモード、WP
_max データを考慮したホワイトバランスでは、ホワ
イトバランス係数算出に先立ち、次式のように、RGB
空間において検出された色分布軸ベクトルのRGB値と
WP_max ベクトルのRGB値の平均を最終色分布軸
ベクトルとする。
【0115】WB_r' = ( WB_r + WX_r )/2 WB_g' = ( WB_g + WX_g )/2 WB_b' = ( WB_b + WX_b )/2 ( WB_r, WB_g, WB_b ):円柱内データより求めた色分
布軸 ( WX_r, WX_g, WX_b ):最白点輝度最大データ ( WB_r', WB_g', WB_b'):最終色分布軸 ただし、例えば次のような条件を追加し、これを満たし
ていない場合は、平均をとらず、円柱内データから求め
た色分布軸ベクトルをそのまま最終色分布軸ベクトルと
してもよい。これらの条件は、WP_max データをホ
ワイトバランス調整に考慮すべきかを再判定するための
ものである。(条件)色分布軸とWP_maxデータ間
の距離が所定のしきい値以内である。
【0116】wbwx_sqr<WXJ_TH wbwx_sqr : 色分布軸とWP_maxデータ間の2乗距離 WXJ_TH : 2乗距離しきい値 最後に、図2のステップ107においてホワイトバラン
ス係数(RGB増幅利得)を算出する。これには、白色
領域検出で検出されたホワイトバランス基準点、もしく
は、色分布軸検出で求めた色分布軸ベクトルを用いる。 Y = 0.3×WB_r + 0.59×WB_g + 0.11×WB_b WB_kr = Y/WB_r WB_kg = Y/WB_g WB_kb = Y/WB_b ( WB_r, WB_g, WB_b ) : ホワイトバランス基準点R
GB値 もしくは、色分布軸ベクトル ( WB_kr, WB_kg, WB_kb ) : ホワイトバランス係数 色分布軸検出が行われた場合、必ず緩和係数算出も行わ
れている。ここでは、緩和係数によるホワイトバランス
緩和方法を示す。RGB空間において検出された色分布
軸より求めたホワイトバランス係数( WB_kr, WB_kg, WB
_kb ) は、次式に従って、緩和係数 ratio( =0〜1024)
により緩和される。
【0117】 WB_kr = 1.0 + ( WB_kr-1.0 ) * ( 1024-ratio ) / 1024 WB_kg = 1.0 + ( WB_kg-1.0 ) * ( 1024-rario ) / 1024 WB_kb = 1.0 + ( WB_kb-1.0 ) * ( 1024-ratio ) / 1024 すなわち、本緩和方法は、1.0 を中心として変動するホ
ワイトバランス係数の振幅を、(1024-ratio)/1024 に圧
縮するものである。ホワイトバランス緩和は、RGB空
間における色分布軸検出によりホワイトバランス係数が
決定された場合のみに実行され、白色領域検出ホワイト
バランスモードでホワイトバランス係数が決定された場
合には実行されない。
【0118】また、誤動作(色分布軸検出誤り)による
退色等の画質劣化を防ぐため、緩和係数によるホワイト
バランス緩和を導入しているが、それでも、かなり強め
のホワイトバランス係数が算出される画像がある。そこ
で、誤動作を防ぐ安全対策としてホワイトバランス係数
にリミッタを設定する。本実施例では、ホワイトバラン
ス係数の範囲を0.75〜1.25とし、この範囲外の係数にな
ったときには、1.0 からの偏差が最大の係数が範囲内に
収まるように、ホワイトバランス係数の圧縮を行う。
【0119】まず、ホワイトバランス係数の最大値、最
小値を求め、ホワイトバランス係数上限下限リミッタと
の差を求める。
【0120】 k_hgt = MAX[ WB_kr, WB_kg, WB_kb ] - limit_hgt k_low = limit_low - MIN[ WB_kr, WB_kg, WB_kb ] k_hgt : WB係数最大値とWB係数上限リミッタの差 k_low : WB係数最小値とWB係数下限リミッタの差 limit_hgt : WB係数上限リミッタ ( = 1.25 ) limit_low : WB係数下限リミッタ ( = 0.75 ) MAX[] : 最大値演算 MIN[] : 最小値演算 k_hgt と k_lowのうち大きい方の値が、ゼロより大きい
場合には、ホワイトバランス係数がリミッタ範囲内に収
まっていないことを意味するので、リミッタ範囲から一
番大きくはみ出している係数が、リミッタの上限値また
は下限値と同じ値になるように圧縮を行う。
【0121】 k_over : リミッタオーバー量 (k_hgt と k_low の最
大値) k_bs : リミッタ幅半値 ( = 0.25 ) k_bb : 最大リミッタオーバー量のホワイトバランス
係数 本実施例のホワイトバランス調整量演算装置では、以上
のような過程を経て、RGBホワイトバランス係数( WB
_kr, WB_kg, WB_kb ) を算出する。実際にホワイトバラ
ンス調整を行う際には、画像の各画素のRGB値( r,
g, b ) に乗算することになる。
【0122】r' = r × WB_kr g' = g × WB_kg b' = b × WB_kb ( r, g, b ) : 原画像の各画素のRGB値 ( r', g', b' ) : ホワイトバランス調整後の画像の各
画素のRGB値 ( WB_kr, WB_kg, WB_kb ) : ホワイトバランス係数 なお、本実施例では、RGB空間においてホワイトバラ
ンス軸を検出したが、輝度・色差空間を用いてもよい。
その場合には、一次ホワイトバランス軸検出時の二次元
ヒストグラムは、Y,R−Y平面およびY,B−Y平面
を分割したものを用いる。
【0123】また、本実施例では、白色領域検出、色分
布軸検出、緩和係数算出、簡易色相ヒストグラムによる
色分布分類、除去ブロック検出等を行っているが、簡易
的には、これらのうちのいくつかを組み合わせた構成を
とってもよい。
【0124】このように本実施例によれば、画像中から
ホワイトバランス調整の基準となる白色領域を検出する
白色領域検出手段105の検出結果と、三次元色空間に
おける色分布軸を検出する色分布軸検出手段107の検
出結果とを考慮してホワイトバランス係数を算出するホ
ワイトバランス係数算出手段109を備えているので、
個々の画像の特徴に適応したホワイトバランス調整が実
行できる。色分布軸検出手段107に関しては、検出誤
りの原因となる画像中の高彩度被写体の影響を排除する
ことを考えた二段階の軸検出を三次元色空間で行ってい
るので、ビデオカメラ等の色差信号の積分値より色差信
号増幅利得を算出することを基本としたホワイトバラン
ス調整よりも精度の高いホワイトバランス調整が行え
る。
【0125】また、色分布軸検出によるホワイトバラン
ス調整モードにおいては、ホワイトバランス情報抽出手
段102を用いて画像の彩度情報を取得し、この彩度情
報よりホワイトバランス緩和係数を算出する緩和係数算
出手段108と、緩和係数算出手段108が算出した緩
和係数を考慮してホワイトバランス係数を算出するホワ
イトバランス係数算出手段109を備えているので、有
彩色被写体の影響の強さをに応じてホワイトバランス調
整の度合いを制御し、ホワイトバランス軸検出誤りが生
じた際の退色等の画質劣化を予め防止することができ、
誤動作の少ないホワイトバランス調整が可能である。
【0126】さらに、緩和係数算出手段108では、簡
易色相ヒストグラムの分布判定により、一部の色相のみ
の色から構成されている偏りのある色分布の画像を検出
し、それらの画像に関しては、特にホワイトバランス調
整の度合いを弱める処置を行っているので、画像の大き
な領域の色が補色に変わり、違和感のある画像になるこ
とを予め防止できる。
【0127】
【発明の効果】以上説明したように本発明によれば、画
像中の白色領域検出結果と色分布の色分布軸検出結果を
考慮してホワイトバランス係数を算出するので、個々の
画像の特徴に適応したホワイトバランス調整が実行でき
る。色分布軸検出に関しては、まず大まかに軸検出を行
い、RGB空間において検出した軸を基準にして高彩度
と思われるデータを排除して最終的な色分布軸を算出し
ているので、精度の高い軸検出が行える。
【0128】また、有彩色被写体の影響の強さに応じて
ホワイトバランス調整の度合いを制御する緩和係数を導
入しているので、ホワイトバランス軸検出誤りが生じた
際の退色等の画質劣化を予め防止することができる。さ
らに、簡易色相ヒストグラムの分布判定により、一部の
色相のみの色から構成されている偏りのある色分布の画
像を検出し、それらの画像に関しては、特にホワイトバ
ランス調整の度合いを弱める処置を行っているので、画
像の大きな領域の色が補色に変わり、違和感のある画像
になることを予め防止できる。
【0129】本発明は、このような特徴を有するため、
誤動作の少ない安定したホワイトバランス調整を行うこ
とができる。
【図面の簡単な説明】
【図1】本発明の一実施例におけるホワイトバランス調
整量演算装置の構成を示すブロック結線図
【図2】同実施例におけるホワイトバランス調整量演算
装置の動作を示すフローチャート
【図3】同実施例における画面のブロック分割の概念図
【図4】同実施例のホワイトバランス調整量演算装置の
構成要素である色分布軸算出手段の構成を示すブロック
結線図
【図5】同色分布軸検出手段の一次色分布軸検出手段の
動作を示すフローチャート
【図6】同実施例において使用する簡易色相領域の概念
【図7】同簡易色相領域の簡易色相領域番号決定過程を
示すフローチャート
【図8】同実施例における色分布軸検出手段で用いる角
度テーブルの概念図
【図9】同実施例のホワイトバランス調整量演算装置の
構成要素である色分布軸検出手段の二次色分布軸算出手
段の動作を示すフローチャート
【図10】同実施例のホワイトバランス調整量演算装置
の構成要素である緩和係数算出手段の構成を示すブロッ
ク結線図
【図11】同緩和係数算出部の動作を示すフローチャー
【図12】同実施例の偏った色相の色から構成される画
像の簡易色相領域における色分布の概念図
【図13】同実施例の補色の関係にあるいろのみから構
成される画像の簡易色相領域における色分布の概念図
【図14】同実施例において使用する正規化2乗彩度と
緩和係数の関係を示す概念図
【符号の説明】
102 ホワイトバランス情報抽出手段 104 画像彩度判定手段 105 白色領域検出手段 106 ホワイトバランスモード設定手段 107 色分布軸検出手段 108 緩和係数算出手段 109 ホワイトバランス係数算出手段 401 一次色分布軸算出手段 402 二次色分布軸算出手段 404 除去ブロック検出部 302 ヒストグラムタイプ分類部

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも入力カラー画像を複数の同一
    形状ブロック領域に分割してブロックデータを作成し、
    各ブロックデータの色の特徴を示すホワイトバランス情
    報を抽出するホワイトバランス情報抽出手段と、前記ホ
    ワイトバランス情報より画像中にホワイトバランス調整
    の基準にする低彩度の白色領域が存在する否かを判定す
    る白色領域検出手段と、前記ホワイトバランス情報より
    三次元色空間における色分布軸を検出する色分布軸検出
    手段と、前記白色領域検出手段の検出結果によりホワイ
    トバランスモードを選択するホワイトバランスモード設
    定手段と、前記ホワイトバランス情報を用いてホワイト
    バランス調整の緩和度合いを示す緩和係数を算出するホ
    ワイトバランス緩和係数算出手段と、前記白色領域検出
    手段と前記色分布軸検出手段の検出結果と、前記ホワイ
    トバランスモード設定手段で設定されたホワイトバラン
    スモードと、前記ホワイトバランス緩和係数算出手段が
    算出した緩和係数に基づいてホワイトバランス係数を算
    出するホワイトバランス係数算出手段とを具備するホワ
    イトバランス調整量演算装置。
  2. 【請求項2】 ホワイトバランス情報抽出手段は、入力
    カラー画像を複数の同一形状ブロックに分割し、これを
    ブロックデータとし、各ブロック領域より、ブロック領
    域の色の特徴を示す複数の色データをホワイトバランス
    情報のブロック色情報として抽出し、画像全体の色の特
    徴を示す色データをホワイトバランス情報の画像色情報
    として抽出することを特徴とする請求項1記載のホワイ
    トバランス調整量演算装置。
  3. 【請求項3】 白色領域検出手段は、ホワイトバランス
    情報抽出手段により抽出したホワイトバランス情報を三
    次元色空間にプロットした色分布のうち、色空間の原点
    からの距離が最大のデータを検出し、検出したデータが
    ホワイトバランス情報の輝度最大データと一致し、か
    つ、ホワイトバランス情報の輝度最大データの輝度が予
    め定められたしきい値より大きいとき、ホワイトバラン
    ス情報の輝度最大データをホワイトバランス調整の基準
    となる白色領域と判定することを特徴とする請求項1お
    よび請求項2記載のホワイトバランス調整量演算装置。
  4. 【請求項4】 白色領域検出手段は、ホワイトバランス
    情報抽出手段により抽出したホワイトバランス情報であ
    る各ブロック領域毎のブロック領域内データ平均色のう
    ちの、輝度最大データの彩度があらかじめ定められたし
    きい値より小さいとき、このデータをホワイトバランス
    調整の基準となる白色領域と判定することを特徴とする
    請求項1又は請求項2記載のホワイトバランス調整量演
    算装置。
  5. 【請求項5】 色分布軸検出手段は、少なくとも異なる
    二つの色度平面において二次元色分布の偏りの傾向を示
    す軸を算出し、算出した二色度平面内の軸を合成して得
    られる三次元色空間内の軸を一次色分布軸とする一次色
    分布軸算出手段と、前記一次色分布軸を中心軸とする円
    柱領域を三次元色空間内に設定し、前記円柱領域内に存
    在するホワイトバランス情報のみのデータ重心点を算出
    し、前記データ重心点と色空間の原点を結ぶ軸を簡易的
    に色分布の主成分軸とする二次色分布軸算出手段から構
    成され、ホワイトバランスが崩れていることを考慮した
    上で画像中の高彩度の有彩色被写体と思われるデータを
    排除してホワイトバランス調整量を算出することを特徴
    とする請求項1記載のホワイトバランス調整量演算装
    置。
  6. 【請求項6】 一次色分布軸算出手段は、少なくとも三
    次元色空間の色分布を異なる二つの色差平面に射影して
    得られる二次元ヒストグラムを求める第1および第2の
    二次元ヒストグラム作成部と、前記二次元ヒストグラム
    より二次元平面における色分布の偏りの傾向を示す軸を
    検出する第1および第2の二次元色分布軸算出部と、前
    記第1および第2の色分布軸算出部の出力を合成して三
    次元色空間内の一次色分布軸を求める三次元軸合成部か
    らなることを特徴とした請求項5記載のホワイトバラン
    ス調整量演算装置。
  7. 【請求項7】 一次色分布軸算出手段は、少なくともブ
    ロックデータの色情報より色分布軸検出誤りの原因とな
    る一様な有彩色から構成されるブロックデータを検出す
    る除去ブロック検出部と、前記除去ブロック検出部で除
    去対象と判定されたブロックデータ以外のデータを、三
    次元色空間内の異なる二つの色度平面に射影して得られ
    る二次元ヒストグラムを求める第1および第2の二次元
    ヒストグラム作成部と、前記二次元ヒストグラムより二
    次元平面における色分布の偏りの傾向を示す軸を検出す
    る第1および第2の二次元色分布軸算出部と、前記第1
    および第2の色分布軸算出部の出力を合成して三次元色
    空間内の一次色分布軸を求める三次元軸合成部からなる
    ことを特徴とした請求項5記載のホワイトバランス調整
    量演算装置。
  8. 【請求項8】 除去ブロック検出部は、ホワイトバラン
    ス情報としてブロック領域毎に保持されている複数個の
    ブロック色情報の色を比較し、ブロック内の色が一様な
    有彩色から構成されているブロックおよび高彩度被写体
    を含むブロックを検出することを特徴とする請求項7記
    載のホワイトバランス調整量演算装置。
  9. 【請求項9】 ホワイトバランス緩和係数算出手段は、
    ホワイトバランス情報の画像色情報の彩度値の大きさに
    応じて設定されるホワイトバランス緩和係数を算出する
    複数個の緩和係数算出部と、前記複数個の緩和係数算出
    部で算出された緩和係数のうちの最大値を選択する最大
    値選択回路とを具備することを特徴とする請求項1記載
    のホワイトバランス調整量演算装置。
  10. 【請求項10】 ホワイトバランス緩和係数算出手段
    は、少なくともRGBCMYを頂点に持つ正六角形の簡
    易色相環を六分割した色相領域にブロックデータをカウ
    ントして簡易色相ヒストグラムを作成する簡易色相ヒス
    トグラム作成部と、前記簡易色相ヒストグラム作成部で
    作成された簡易色相ヒストグラムの度数分布状態を解析
    し、色分布に偏りがある画像を判別するヒストグラムタ
    イプ分類部と、ヒストグラムタイプ分類結果を考慮し、
    ホワイトバランス情報の画像色情報に対応したホワイト
    バランス緩和係数を算出する複数個の緩和係数算出部
    と、前記複数個の緩和係数算出部で算出された緩和係数
    のうちの最大値を選択する最大値選択回路とを具備する
    ことを特徴とする請求項1記載のホワイトバランス調整
    量演算装置。
  11. 【請求項11】 ヒストグラムタイプ分類部は、簡易色
    相ヒストグラム作成部で作成した簡易色相ヒストグラム
    を用いて、一方向の色相に偏った色分布、もしくは互い
    に補色の関係にある特定の色相に偏った色分布を構成し
    ている画像を判別することを特徴とする請求項10記載
    のホワイトバランス調整量演算装置。
  12. 【請求項12】 ヒストグラムタイプ分類部は、簡易色
    相ヒストグラム作成部で作成した簡易色相ヒストグラム
    の6つの色相領域のうちデータが存在する色相領域数と
    画像分割数とを用いて可変しきい値を算出し、前記可変
    しきい値以上の度数を持つ色相領域の配置を解析し、一
    方向の色相に偏った色分布、もしくは互いに補色の関係
    にある特定の色相に偏った色分布を構成している画像を
    判別することを特徴とする請求項11記載のホワイトバ
    ランス調整量演算装置。
  13. 【請求項13】 ホワイトバランス係数算出手段は、色
    分布軸算出手段の出力である色分布軸が無彩色軸に変換
    されるように増幅利得を求め、ホワイトバランス緩和係
    数算出手段の出力であるホワイトバランス緩和係数に応
    じて増幅利得の基準値からの変位量を圧縮して、これを
    ホワイトバランス係数とすることを特徴とする請求項1
    記載のホワイトバランス調整量演算装置。
  14. 【請求項14】 ホワイトバランス係数算出手段は、色
    分布軸算出手段の出力である色分布軸が無彩色軸に変換
    されるように増幅利得を求め、ホワイトバランス緩和係
    数算出部の出力であるホワイトバランス緩和係数に応じ
    て増幅利得の基準値からの変位量を圧縮し、圧縮後の増
    幅利得が予め定められた増幅利得範囲外の値を持つ場合
    には、増幅利得が増幅利得範囲内に収まるように圧縮し
    た値を最終的な増幅利得とし、これをホワイトバランス
    係数とすることを特徴とする請求項1記載のホワイトバ
    ランス調整量演算装置。
  15. 【請求項15】 ホワイトバランスモード設定手段は、
    白色領域検出手段でホワイトバランスの白色基準となる
    ブロックデータが検出された場合には、白色領域検出結
    果のみの用いるホワイトバランス調整モードに設定し、
    前記白色領域検出手段でホワイトバランスの白色基準に
    準じる低彩度ブロックデータが検出された場合には、前
    記白色領域検出手段の出力と色分布軸検出手段の出力の
    両方をホワイトバランス係数算出に考慮するホワイトバ
    ランス調整モードに設定し、前記白色領域検出手段でホ
    ワイトバランス調整の基準となるブロックデータが検出
    されなかった場合には、前記色分布軸検出手段の出力の
    みを用いるホワイトバランス調整モードに設定すること
    を特徴とした請求項1記載のホワイトバランス調整量演
    算装置。
  16. 【請求項16】 ホワイトバランス情報の画像色情報を
    用いて、入力画像が、極低彩度の基準白色が存在するホ
    ワイトバランスが十分にとれている画像、または有彩色
    被写体の影響が強く画像全体が高彩度である画像である
    かどうかを判定する画像彩度判定手段を備え、ホワイト
    バランスが不必要な画像、ホワイトバランス調整が困難
    である画像を検出した場合にはホワイトバランス調整を
    中止する画像彩度判定手段を持つことを特徴とする請求
    項1記載のホワイトバランス調整量演算装置。
JP6233831A 1994-09-28 1994-09-28 ホワイトバランス調整量演算装置 Expired - Fee Related JP2735003B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP6233831A JP2735003B2 (ja) 1994-09-28 1994-09-28 ホワイトバランス調整量演算装置
US08/533,731 US5619347A (en) 1994-09-28 1995-09-26 Apparatus for calculating a degree of white balance adjustment for a picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6233831A JP2735003B2 (ja) 1994-09-28 1994-09-28 ホワイトバランス調整量演算装置

Publications (2)

Publication Number Publication Date
JPH0898204A true JPH0898204A (ja) 1996-04-12
JP2735003B2 JP2735003B2 (ja) 1998-04-02

Family

ID=16961252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6233831A Expired - Fee Related JP2735003B2 (ja) 1994-09-28 1994-09-28 ホワイトバランス調整量演算装置

Country Status (2)

Country Link
US (1) US5619347A (ja)
JP (1) JP2735003B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057909A1 (ja) * 2003-12-11 2005-06-23 Fujitsu Limited 画像補正方法及びプログラム、並びに装置
JP2006197082A (ja) * 2005-01-12 2006-07-27 Nikon Corp 信号処理方法、信号処理装置、信号処理手順を格納した記憶媒体
JP2009038827A (ja) * 2006-02-21 2009-02-19 Seiko Epson Corp 露出判別装置およびその方法
JP4649734B2 (ja) * 2000-12-08 2011-03-16 株式会社ニコン 映像信号処理装置および映像信号処理プログラムを記録した記録媒体
US11258953B2 (en) 2017-06-09 2022-02-22 Aisin Seiki Kabushiki Kaisha Image processing device

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495287A (en) 1992-02-26 1996-02-27 Hitachi, Ltd. Multiple-tone display system
US6373531B1 (en) * 1995-10-05 2002-04-16 Canon Kabushiki Kaisha Image processing apparatus, method, and recording medium for performing color correction suitable for matching ambient light for different types of output devices
JP3534368B2 (ja) * 1996-04-03 2004-06-07 株式会社東芝 動画像処理方法及び動画像処理装置
JP3505115B2 (ja) * 1999-04-28 2004-03-08 富士通株式会社 画像加工装置及びプログラム記録媒体
US6151410A (en) * 1996-11-19 2000-11-21 Seiko Epson Corporation Image processing apparatus, image processing method and medium for storing image-processing control program
JPH10327328A (ja) * 1997-05-23 1998-12-08 Asahi Optical Co Ltd 画像読取装置
JP3413589B2 (ja) * 1998-03-09 2003-06-03 富士写真フイルム株式会社 画像処理方法および装置
US6069972A (en) * 1998-06-02 2000-05-30 Intel Corporation Global white point detection and white balance for color images
US7016916B1 (en) * 1999-02-01 2006-03-21 Lg Electronics Inc. Method of searching multimedia data
JP2001128191A (ja) * 1999-08-18 2001-05-11 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
US6483941B1 (en) * 1999-09-10 2002-11-19 Xerox Corporation Crominance channel overshoot control in image enhancement
FR2805629B1 (fr) * 2000-02-24 2002-08-30 Holding Bev Sa Procede et dispositif de perception automatique
US6876384B1 (en) * 2000-04-19 2005-04-05 Biomorphic Vlsi, Inc. Pixel selective white balancing
US7227666B1 (en) * 2000-09-01 2007-06-05 Adobe Systems Incorporated Dynamic selection of rendering intent for color proofing transforms
US7161710B1 (en) 2000-09-01 2007-01-09 Adobe Systems Incorporated Composite rendering intent for color proofing applications
US7196724B2 (en) * 2000-12-08 2007-03-27 Nikon Corporation Image signal processing device, digital camera and computer program product that perform white balance adjustment using pixel outputs from extracted areas
JP2002232906A (ja) * 2001-01-31 2002-08-16 Ricoh Co Ltd ホワイトバランス制御装置
US7054035B2 (en) * 2001-10-29 2006-05-30 Hewlett-Packard Development Company, L.P. Method and system for management of color through conversion between color spaces
JP4314822B2 (ja) * 2002-02-13 2009-08-19 株式会社ニコン 画像処理装置、画像処理方法、及び画像処理プログラム
US7019776B1 (en) * 2002-08-16 2006-03-28 Magnachip Semiconductor, Inc. Method and system for automatic white balancing
JP3950783B2 (ja) * 2002-11-07 2007-08-01 キヤノン株式会社 撮像装置
JP4065517B2 (ja) * 2002-11-27 2008-03-26 キヤノン株式会社 色差判定装置及び方法
US7162078B2 (en) * 2002-12-20 2007-01-09 Fast Link Communication Corp. Automatic white balance correction method for image capturing apparatus
KR100967091B1 (ko) * 2003-06-19 2010-07-01 삼성전자주식회사 디지털 영상장치의 화이트 밸런스 조정방법
US7394930B2 (en) * 2005-01-07 2008-07-01 Nokia Corporation Automatic white balancing of colour gain values
JP2006217406A (ja) * 2005-02-04 2006-08-17 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム、画像処理システムおよび方法
US7663691B2 (en) 2005-10-11 2010-02-16 Apple Inc. Image capture using display device as light source
US20070041064A1 (en) * 2005-08-16 2007-02-22 Micron Technology, Inc. Image sampling method for automatic white balance
US20070046787A1 (en) * 2005-08-30 2007-03-01 Micron Technology, Inc. Chrominance filter for white balance statistics
US20070081103A1 (en) * 2005-10-11 2007-04-12 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
JP4529888B2 (ja) * 2005-12-07 2010-08-25 ブラザー工業株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20070153304A1 (en) * 2005-12-29 2007-07-05 Micron Technologoy, Inc. Method and apparatus for gray value identification for white balance
KR100918701B1 (ko) * 2007-10-11 2009-09-22 한국과학기술원 강인한 자동 화이트 밸런스 방법
KR101451982B1 (ko) * 2008-02-12 2014-10-24 삼성전자주식회사 디지털 영상 장치에서 화이트 밸런스 조정 장치 및 방법
US20090214108A1 (en) * 2008-02-26 2009-08-27 Jonathan Yen System and method for isolating near achromatic pixels of a digital image
KR20090120991A (ko) * 2008-05-21 2009-11-25 엘지이노텍 주식회사 자동 화이트 밸런스 영역 설정 방법
US8913154B2 (en) * 2010-02-04 2014-12-16 Canon Kabushiki Kaisha Image processing apparatus
JP5693271B2 (ja) * 2011-02-03 2015-04-01 キヤノン株式会社 画像処理装置及び方法
US10217438B2 (en) * 2014-05-30 2019-02-26 Apple Inc. User interface and method for directly setting display white point
GB201510652D0 (en) * 2015-06-17 2015-07-29 Beers Uk De Ltd Colour measurement of gemstones
JP6733438B2 (ja) * 2016-09-07 2020-07-29 コニカミノルタ株式会社 制御装置及び画像処理方法並びに画像処理プログラム
US10567721B2 (en) * 2017-08-23 2020-02-18 Motorola Mobility Llc Using a light color sensor to improve a representation of colors in captured image data
CN112218065B (zh) * 2020-09-14 2022-05-10 深圳英飞拓科技股份有限公司 图像白平衡方法、系统、终端设备及存储介质
CN114189666B (zh) * 2021-11-30 2024-04-12 信利光电股份有限公司 一种提高摄像头混淆色画质效果的方法及拍摄装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0787588B2 (ja) * 1987-12-29 1995-09-20 富士写真フイルム株式会社 自動白バランス調整方法及び装置
JPH0228869A (ja) * 1988-07-19 1990-01-30 Matsushita Electric Ind Co Ltd 文書作成装置
JPH02298194A (ja) * 1988-10-03 1990-12-10 Hitachi Ltd カラービデオプリンタ装置
JP2523036B2 (ja) * 1990-02-28 1996-08-07 三洋電機株式会社 カラ―ビデオカメラ
JP3271139B2 (ja) * 1990-03-23 2002-04-02 ソニー株式会社 ホワイトバランス制御回路
US5223921A (en) * 1990-04-27 1993-06-29 Sanyo Electric Co., Ltd. White balance adjusting apparatus for automatically adjusting white balance on the basis of a color information signal obtained from an image-sensing device
JPH04323994A (ja) * 1991-04-23 1992-11-13 Sanyo Electric Co Ltd ホワイトバランス補正装置
JP3120512B2 (ja) * 1991-11-21 2000-12-25 株式会社ニコン ホワイトバランス調整装置
JP3253334B2 (ja) * 1992-01-16 2002-02-04 三洋電機株式会社 ホワイトバランス補正装置
JPH0638221A (ja) * 1992-07-17 1994-02-10 Hitachi Denshi Ltd テレビジョンカメラの自動調整方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4649734B2 (ja) * 2000-12-08 2011-03-16 株式会社ニコン 映像信号処理装置および映像信号処理プログラムを記録した記録媒体
WO2005057909A1 (ja) * 2003-12-11 2005-06-23 Fujitsu Limited 画像補正方法及びプログラム、並びに装置
JP2006197082A (ja) * 2005-01-12 2006-07-27 Nikon Corp 信号処理方法、信号処理装置、信号処理手順を格納した記憶媒体
JP2009038827A (ja) * 2006-02-21 2009-02-19 Seiko Epson Corp 露出判別装置およびその方法
US11258953B2 (en) 2017-06-09 2022-02-22 Aisin Seiki Kabushiki Kaisha Image processing device

Also Published As

Publication number Publication date
JP2735003B2 (ja) 1998-04-02
US5619347A (en) 1997-04-08

Similar Documents

Publication Publication Date Title
JP2735003B2 (ja) ホワイトバランス調整量演算装置
US7945113B2 (en) Enhancement of image data based on plural image parameters
US8723982B2 (en) Image processing device, storage medium, and image processing method that corrects saturation, specific color and spatial frequency of an obtained image
US8135215B2 (en) Correction of color balance of face images
US7418132B2 (en) Signal processing apparatus, signal processing program and electronic camera
EP2798831B1 (en) Spectral image processing
US6842536B2 (en) Image processing apparatus, image processing method and computer program product for correcting image obtained by shooting subject
US5715377A (en) Gray level correction apparatus
CN1856117B (zh) 图像显示装置、图像信号的处理电路和色饱和度控制方法
EP2426928B1 (en) Image processing apparatus, image processing method and program
US8081239B2 (en) Image processing apparatus and image processing method
US8970746B2 (en) Image processing device, storage medium, and image processing method for correcting an image
US7812868B2 (en) Signal processing method and apparatus, and image sensing apparatus
US8270712B2 (en) Image processing device, image processing program, and image processing method
US10070052B2 (en) Image capturing apparatus, image processing apparatus, and control methods thereof
US10796418B2 (en) Image processing apparatus, image processing method, and program
US9129439B2 (en) Three-dimensional image processing apparatus and three-dimensional image processing method
JPH0862741A (ja) 階調補正装置
JP2001148863A (ja) ホワイトバランス調整方法及び調整装置
EP1446943A1 (en) Method and device for detecting a color cast in an image
US8026954B2 (en) System and computer-readable medium for automatic white balancing
JP2008263597A (ja) 画像処理装置、撮像装置、および画像処理プログラム
CN110298812A (zh) 一种图像融合处理的方法及装置
JP2506584B2 (ja) 画像判定装置
Teng Gain-Pixel Visualization Algorithm Designed for Computational Color Constancy Scheme

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080109

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100109

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110109

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110109

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 15

LAPS Cancellation because of no payment of annual fees