JP4430656B2 - デジタル影像キャプチャ装置及びホワイトバランス調整方法 - Google Patents

Description

本発明は、デジタル影像キャプチャ装置及び当該装置に用いるホワイトバランス調整方法に関し、特に、色温度見積り法を利用したデジタル影像キャプチャ装置及びホワイトバランス調整方法に関する。

一般に、物体が反射する光彩色は、光源の色彩によって決まる。人の大脳はこのような色彩変化を検知し、且つ修正することができるため、日光、曇った天気、室内の白熱電球や蛍光灯下で、人の目はこのような色彩変化に適応し、人が見る白色の物体には影響がない。しかしながら、デジタル影像キャプチャ装置について見ると、これらの異なる光源から発生される「白色」は色の上で同じではない。例えば、タングステンフィラメントランプ(電球)照明の環境で撮った写真は黄色っぽくなったり、別の環境で撮った写真は淡い青みまたは赤みがかかったりすることがある。人の視覚に近づけるためには、デジタル影像キャプチャ装置が人の大脳を真似て光線に基づき色彩を調整する必要があり、何が白色であるかを定義し、最終的に写真の中で肉眼に見える白色を表現できるようにしなければならず、このような調整を「ホワイトバランス」(White Balance)の調整と言う。

先行技術においては、数々のホワイトバランス調整方法があり、そのうち１つの方法は、例えば２００４年９月２８日公告の米国第６７９８４４９号特許案を見ると、赤（Ｒ）値、緑（Ｇ）値及び青（Ｂ）値を利用して明度と彩度の平均値を得るというものである。しかし、影像の画面においてそのうち一つの原色が欠けたり、その有する割合が小さすぎたりすると、影像画面のリアルさが失われてしまう。また、先行技術の別の方法には、影像画面中の明度が最も高い箇所を利用してホワイトバランス修正をするものがあるが、影像画面中の最も明るい箇所がホワイトポイントでない場合、優れた影像画面は得られない。

米国特許第６，７９８，４４９号明細書

しかしながら、先行技術におけるさらに別の方法は、Ｇ／Ｂ−Ｇ／Ｒの座標図上でまず複数の色温度ポイントを区分し、さらに処理する影像でグレーポイントを得、Ｇ／Ｂ−Ｇ／Ｒの座標図上に変換し、これによりその影像に適した色温度を判断するというものがある。しかしながら、画面に大量の背景色があったり、正確な色温度が予め区分された色温度ポイント近くにない場合、得られる画面もやはり偏差が出てしまう。

このため、新しいホワイトバランス調整方法で先行技術による問題を解決する必要がある。

本発明の主な目的は、色温度見積り法を利用したホワイトバランス調整方法を提供することにある。

上述した課題を解決し、目的を達成するために、本発明のデジタル影像キャプチャ装置はプロセッサ、メモリ、影像キャプチャモジュールを含み、各部材間は相互に電気的に接続される。デジタル影像キャプチャ装置は影像キャプチャモジュールを利用して影像をキャプチャした後、プロセッサとメモリを利用してホワイトバランスの調整を行う。

本発明のホワイトバランス調整は、まず色温度見積り範囲を定義する必要がある。これは先に一般的な色温度範囲に基づき複数の色温度を選択し、続いて複数の色温度のそれぞれのグレーポイントのＣｂ値とＣｒ値を彩度信号（Ｃｂ−Ｃｒ）座標図上に標示し、そしてそれぞれの色温度について点と点の間を線で結ぶ。続いて少なくとも１つの色温度ゾーンと少なくとも１つの白色ゾーンを区画する。

色温度見積り範囲が得られた後、続いてデジタル影像キャプチャ装置がホワイトバランス調整手順を行う。

デジタル影像キャプチャ装置が影像キャプチャモジュールで外部から影像を取得した後、影像プロセッサがまずこの影像を複数の分析ブロックに区画し、さらにこれら分析ブロックに対して分析を行う。分析ブロックを選択した後、その明度値と彩度信号（Ｃｂ、Ｃｒ）の値を得る。これらＣｂ値とＣｒ値を色温度見積り範囲に代入すると、それら分析ブロックが色温度ゾーン内にあるか白色ゾーン内にあるかが分かる。分析ブロックが色温度ゾーン内にある場合、その分析ブロックがグレーポイントに属するか否かを判断し、さらにその色温度ゾーンの色温度に１点を記録する。分析ブロックが白色ゾーン内にある場合、同様にその分析ブロックがグレーポイントに属するか否かを判断し、さらに白色ゾーンの２つの相隣する色温度各０．５点を記録する。

このように、各色温度が持つ点数を記録すると、最大点数の色温度がどうであるかを知ることができる。最後に最大点数の色温度とその相隣する色温度の関係を判断し、相隣する色温度の点数と最大点数が接近している場合、最大色温度と相隣する色温度に線形内挿を行い、最終色温度を得る。

この発明によれば、影像に対して最適なホワイトバランス調整を行い、最良の影像画面を得ることができる。

本発明の技術内容についてより理解を促すため、以下、いくつかの最良の実施例に基づき具体的に説明する。ただし、本発明は以下の実施の形態に限定されるものではない。

図１に本発明のデジタル影像処理モジュール１０のシステムダイアグラムを示す。

本発明のデジタル影像キャプチャ装置１０はプロセッサ２１、メモリ２２、影像キャプチャモジュール２３を含み、各部材間は相互に電気的に接続される。デジタル影像キャプチャ装置１０は影像キャプチャモジュール２３を利用して影像をキャプチャした後、プロセッサ２１とメモリ２２を利用してホワイトバランス調整を行う。メモリ２２はその内部に色温度見積り範囲３０を有する。この色温度見積り範囲３０の設定方法は後で詳細に述べる。

デジタル影像キャプチャ装置１０において本発明のホワイトバランス調整を利用する前に、色温度見積り範囲３０を予め定義しておく必要がある。この定義手順について、図２の本発明の色温度見積り範囲３０の設定手順フロー図と、図３から図５の本発明の色温度見積り範囲３０設定の関連図表を参照しつつ説明する。

まず、複数の色温度の選択（手順２０１）を行う。

ここでは、まず一般的な光源の色温度範囲に基づき複数の色温度を選択する。一般的な光源の色温度範囲は約２５００Ｋ〜７０００Ｋの間であり、本発明では、この色温度範囲内で適切な色温度を選択する。本実施例においては２８４０Ｋ、３７５０Ｋ、４０８２Ｋ、４７８０Ｋ、６０００Ｋ、７０７０Ｋの６つの色温度環境を選択するが、本発明では、上述の色温度に限られず、必要に応じて色温度を増加または減少することができる。

続いて、複数の色温度を彩度信号（Ｃｂ−Ｃｒ）座標図上に標示する（手順２０２）。

すなわち、図３に示すように、上述のように選択された色温度環境下で、さらにカラーチェッカー（Color Checker）を用い、カラーチェッカー上の各グレーポイントのＣｂ値とＣｒ値を測定し、且つ結果をＣｂ−Ｃｒ座標図上に標示する。本実施例においては、各色温度には５つの点があり、さらにそれぞれの色温度についてこれら５つの点を結び、色温度曲線を得る。

最後に、本発明は異なる色温度ゾーンと白色ゾーンを区画する（手順２０３）。

すなわち、図４に示すように、まず色温度の曲線を線形回帰し、異なる色温度の回帰直線を得る。続いて、相隣する回帰直線の間の範囲を三等分し、各色温度が近い等分範囲を選び取り、選び取られなかった範囲を白色ゾーンと定義する。辺縁にある回帰直線、例えば色温度２８４０Ｋと７０７０Ｋの回帰直線は、これら回帰直線の片側の等分範囲を利用して他方の側の範囲を定めることができる。最後に、得られた色温度見積り範囲３０には図５に示すように、色温度ゾーン３１〜３６と白色ゾーン４１〜４５が区画される。

色温度見積り範囲３０を得た後、その区画結果をメモリ２２内に保存し、デジタル影像キャプチャ装置１０がホワイトバランス調整処理を行うときの資料とする。且つ、上述のデータに基づきグレーポイントのデフォルト範囲を設定する。この設定手順について、図６の本発明のグレーポイントのデフォルト範囲設定手順のフロー図と、図７及び図８の本発明のグレーポイントのデフォルト範囲判断に関する図を参照しつつ、説明する。

まず、複数の色温度及びグレーポイントのデータを得る（手順４０１）。

ここでいう色温度とそのグレーポイントのデータとは図３において使用されたデータと同じである。図７に示すように、まず各異なる色温度環境下でグレーポイントの明度値と彩度値を明度と彩度の絶対値の関係図上に標示する。

続いて、基準明度値を得る（手順４０２）。

すなわち、同じ色温度の曲線に線形回帰を行い、その色温度に対応する直線方程式を得る。図７に示すように、６本の異なる色温度に対応する直線が得られる。これにより、分析する分析ブロックの彩度絶対値をその分析ブロックの色温度に対応する直線方程式に代入すると、その分析ブロックの基準明度値が得られる。

最後に、グレーポイントのデフォルト範囲を設定する（手順４０３）。

すなわち、図８に示す図形のように、図７の回帰直線から最大傾斜率の回帰直線５１と最小傾斜率の回帰直線５２を選択し、デフォルト範囲とする。デフォルト範囲内にあれば、グレーポイントと見なすことができる。上述のグレーポイントのデフォルト範囲の利用方法は、後で詳細に説明する。

続いて、図９及び図１０のホワイトバランス調整手順のフロー図について説明する。

上述の図２及び図６に示すフローを行った後、デジタル影像キャプチャ装置１０はホワイトバランス調整手順を開始する。

まず、影像をキャプチャする（手順６０１）。

すなわち、デジタル影像キャプチャ装置１０が影像キャプチャモジュール２３を利用し、外部から影像をキャプチャすると、プロセッサ２１がこの影像に対し自動的にホワイトバランス調整を行う。

続いて、少なくとも１つの分析ブロックを選択する（手順６０２）。

すなわち、プロセッサ２１はまずその影像に対し少なくとも１つの分析ブロックを区画し、さらにその分析ブロックに対して分析を行う。

次に、分析ブロックのＣｂ値とＣｒ値が色温度ゾーン内にあるか白色ゾーン内にあるかを判断する（手順６０３）。

すなわち、分析ブロックを選択した後、その明度値と彩度信号（Ｃｂ、Ｃｒ）の値を得る。プロセッサ２１が分析ブロックのＣｂ値とＣｒ値を図５の色温度見積り範囲３０に代入すると、その分析ブロックが色温度ゾーン内にあるか、白色ゾーン内にあるかを判断することができる。色温度ゾーン内にある場合は手順６０４を行い、白色ゾーン内にある場合は手順６０６を行う。

続いて、グレーポイントであるか否かを確認する（手順６０４）。

すなわち、分析ブロックが色温度ゾーン内にあるとき、その分析ブロックがグレーポイントに属するか否かを確認する。図７を利用し、その分析ブロックの明度値を比較し、基準明度値のデフォルト範囲内かどうかを判断して、範囲内であればその分析ブロックをグレーポイントして見なし、分析を続ける。本実施例においては、この基準明度値のデフォルト範囲をこの基準明度値の±５の範囲内に設定しているが、本発明はこの数値に限らない。デフォルト範囲内になければ、その分析ブロックはグレーポイントでないことを意味し、分析を続ける必要はなく、直接手順６０８を行う。

続いて、その色温度に一点を記録する（手順６０５）。

すなわち、分析ブロックのＣｂ値とＣｒ値が色温度見積り範囲のいずれかの色温度ゾーン内にあるとき、この色温度に一点を記録する。例えば、色温度ゾーン３１内に位置するときは、２８４０Ｋに一点を記録する。

次に、グレーポイントであるか否かを確認する（手順６０６）。

すなわち、分析ブロックが白色ゾーン内に入るとき、その分析ブロックの明度が明度と彩度の絶対値関係図のデフォルト範囲内にあるか否かを判断する。その分析ブロックの彩度絶対値を図８に代入すると、その分析ブロックの明度値がデフォルト範囲内にあるか否かを知ることができ、デフォルト範囲内にあるときはその分析ブロックをグレーポイントと見なし、分析を続ける。デフォルト範囲内になければ、その分析ブロックはグレーポイントでないことを意味し、分析を続ける必要はなく、直接手順６０８を行う。

続いて、白色ゾーンの相隣する色温度に各０．５点を記録する（手順６０７）。

例えば、その分析ブロックのＣｂ／Ｃｒ比値が白色ゾーン４１内にあるとき、白色ゾーン４１の相隣する色温度は２８４０Ｋと３７５０Ｋであり、２８４０Ｋと３７５０Ｋに各０．５点を記録する。

次に、分析が必要な分析ブロックがあるか否かを確認する（手順６０８）。

上述の手順を完了した後、まだ残った分析ブロックがあるか否かを確認する必要がある。ある場合は、手順６０２に戻って分析を行う。すべての分析ブロックの分析が完了したら、手順６０９を行う。

続いて、最大点数が総数の予め定めた割合を超過するか否かを判断する（手順６０９）。

すなわち、上述の手順により各色温度が持つ点数が記録され、最大点数の色温度が何であるかを知ることができる。次に、最大点数と分析ブロック総数の関係を比較する。最大点数がこの総数の予め定めた割合を超過していない場合、例えば総点数の３０００分の１を超過しない場合は、その影像中にグレーポイントとすることができる分析ブロックが少なすぎることを意味し、ホワイトバランス調整を行わない。予め定めた割合を超過する場合、手順６１０を行う。

続いて、その色温度が境界の色温度ゾーン上にあるか否かを判断する（手順６１０）。

すなわち、最大点数を獲得した色温度が境界の色温度ゾーン、即ち色温度ゾーン３１と色温度ゾーン３６の範囲にあるか否かを判断する。この２つのゾーン範囲内にある場合は手順６１１を行い、その他の色温度ゾーン範囲にある場合は手順６１３を行う。

次に、相隣する色温度の設定倍数が最大点数の色温度より大きいかを判断する（手順６１１）。

すなわち、相隣する色温度の点数に設定倍数を乗じ、最大点数より大きくなる場合は、ホワイトバランス調整を行うときにも相隣する色温度の影響を考慮しなければならないことを意味し、手順６１２を行う。さもなければ最大点数の色温度を最終色温度としてホワイトバランス調整を行う。

続いて、最大点数の色温度と相隣する色温度に対して線形内挿を行う（手順６１２）。

すなわち、最大点数の色温度と相隣する色温度に対し得られた点数の関係に基づき、線形内挿の計算を行い、計算で得られた値を最終色温度とする。

次に、低いほうの相隣する色温度の設定倍数が高いほうの相隣する色温度より大きいか否かを判断する（手順６１３）。

ここでは、最大点数の色温度が２つの相隣する色温度を有する場合、同時に２つの相隣する色温度の関係を考慮しなければならない。低いほうの相隣する色温度の点数の設定倍数が高いほうの相隣する色温度の点数より大きい場合、手順６１４を行う。さもなければ最大点数の色温度を最終色温度としてホワイトバランス調整を行う。

続いて、最大点数の色温度と２つの相隣する色温度に対して線形内挿を行う（手順６１４）。

ここでは、最大点数の色温度と２つの相隣する色温度に対し得られた点数関係に基づき線形内挿の計算を行い、計算で得られた値を最終色温度とする。

最後に、最終色温度を得てホワイトバランス調整を行う（手順６１５）。

ここでは、上述の手順を経て、最後に最終色温度を得、プロセッサ２１がこの最終色温度を利用して影像に対しホワイトバランス調整を行い、これにより最良の影像画面が得られる。

上述のように、本発明はその目的、手段及び効果において、従来技術とは異なる特徴を持っているため、一日も早く特許を認めていただき、社会に貢献できることを希望するものである。上述の実施例は本発明について説明するために例を挙げたのみであり、本発明が主張する権利の範囲は特許請求の範囲により定義され、上述の実施例に制限されない点に注意が必要である。

本発明のデジタル影像処理モジュールのシステムダイアグラムである。 本発明の色温度見積り範囲の設定手順のフロー図である。 本発明の色温度見積り範囲の設定に関するグラフである。 本発明の色温度見積り範囲の設定に関するグラフである。 本発明の色温度見積り範囲の設定に関するグラフである。 本発明のグレーポイントのデフォルト範囲設定手順のフロー図である。 本発明のグレーポイントのデフォルト範囲判断に関するグラフである。 本発明のグレーポイントのデフォルト範囲判断に関するグラフである。 本発明のホワイトバランス実行手順のフロー図である。 本発明のホワイトバランス実行手順のフロー図である。

符号の説明

１０ デジタル影像キャプチャ装置
２１ プロセッサ
２２ メモリ
２３ 影像キャプチャモジュール
３０ 色温度見積り範囲
３１、３２、３３、３４、３５、３６ 色温度ゾーン
４１、４２、４３、４４、４５ 白色ゾーン
５１ 最大傾斜率の回帰直線
５２ 最小傾斜率の回帰直線

Claims (14)

1. デジタル影像キャプチャ装置に用いるホワイトバランスの調整方法であって、
   色温度見積り範囲の設定手順と、ホワイトバランス調整手順を含み、
   前記色温度見積り範囲の設定手順が：
   異なる色温度に基づきＣｂ−Ｃｒ座標図上で区画を行い、複数の色温度ゾーンと少なくとも１つのその他のゾーンを得るという手順を含み、
   前記ホワイトバランス調整手順が：
   影像をキャプチャする；
   前記影像から少なくとも１つの分析ブロックを選び取る；
   前記分析ブロックの明度値、Ｃｂ値及びＣｒ値を取得する；
   前記分析ブロックの前記Ｃｂ値と前記Ｃｒ値が前記色温度見積り範囲の設定手順における前記色温度ゾーン内にあるか、または前記その他のゾーン内にあるかを判断する；
   前記色温度見積り範囲の設定手順における各ゾーン内の色温度の点数を合計する；
   前記色温度点数を計算し、最終色温度を得る、及び、
   前記最終色温度を利用し、前記影像に対しホワイトバランスの調整を行う；
   という手順を含み、
   前記色温度ゾーンは、異なる色温度環境下でカラーチェッカー上の各グレーポイントのＣｂ値、Ｃｒ値を測定し、その測定結果に基づいて、複数の色温度ゾーンをＣｂ−Ｃｒ座標図上に設定するとともに、
   前記色温度見積り範囲の設定手順における各ゾーン内の前記色温度点数の合計手順がさらに、
   前記分析ブロックの前記Ｃｂ値と前記Ｃｒ値が前記色温度ゾーンの範囲内にあるとき、グレーポイントである場合に、前記色温度に１点を記録する；
   前記分析ブロックの前記Ｃｂ値と前記Ｃｒ値が前記その他のゾーンの範囲内にあるとき、グレーポイントである場合に、前記その他のゾーンの相隣する色温度に各０．５点を記録する、及び、
   点数を合計し、最大点数の色温度及び少なくとも１つの相隣する色温度を得る；
   という手順を含む、
   ことを特徴とするホワイトバランスの調整方法。
2. 前記分析ブロックの前記Ｃｂ値と前記Ｃｒ値が前記その他のゾーンの範囲内にあるとき、前記グレーポイントである場合とは、
   前記分析ブロックの前記明度値、前記Ｃｂ値及び前記Ｃｒ値が明度と彩度絶対値の関係図のデフォルト範囲内にある場合である、
   請求項１に記載のホワイトバランス調整方法。
3. 前記点数を合計した後、さらに、前記最大点数の色温度の点数が前記分析ブロックの総数のあらかじめ定めた割合を超過するか否かを判断する手順を含む、
   請求項１に記載のホワイトバランス調整方法。
4. 前記点数を合計し、最大点数の色温度及び少なくとも１つの相隣する色温度を得る；という手順の後、さらに、前記最大点数の色温度の点数が前記相隣する色温度の点数の設定倍数より小さいか否かを判断する手順を含む、
   請求項１に記載のホワイトバランス調整方法。
5. 前記最大点数の色温度の点数が前記相隣する色温度の点数の設定倍数より小さい場合に、前記最大点数の色温度と前記相隣する色温度に対し線形内挿を行い、前記最終色温度を得る手順を含む、
   請求項４に記載のホワイトバランス調整方法。
6. 前記点数を合計し、最大点数の色温度及び少なくとも１つの相隣する色温度を得る；という手順の後、さらに、より高い点数の相隣する色温度の点数がより低い点数の相隣する色温度の点数の設定倍数より小さいか否かを判断する手順を含む、
   請求項１に記載のホワイトバランス調整方法。
7. 前記より高い点数の相隣する色温度の点数がより低い点数の相隣する色温度の点数の設定倍数より小さい場合に、前記最大点数の色温度、前記より高い点数の相隣する色温度、前記より低い点数の相隣する色温度に対し線形内挿を行い、前記最終色温度を得る手順を含む、
   請求項６に記載のホワイトバランス調整方法。
8. デジタル影像キャプチャ装置であって、プロセッサと、前記プロセッサと電気的に接続されたメモリと、前記プロセッサと電気的に接続された影像キャプチャモジュールを含み、前記メモリに色温度見積り範囲が保存され、前記色温度見積り範囲が異なる色温度に基づきＣｂ−Ｃｒ座標図上で区分を行い、複数の色温度ゾーンと少なくとも１つのその他のゾーンを有し、そのうち前記プロセッサが前記メモリと前記影像キャプチャモジュールを利用して：
   影像をキャプチャする；
   前記影像から少なくとも１つの分析ブロックを選び取る；
   前記分析ブロックの明度値、Ｃｂ値及びＣｒ値を得る；
   前記分析ブロックの前記Ｃｂ値と前記Ｃｒ値が前記色温度見積り範囲の前記色温度ゾーン内にあるか、前記その他のゾーン内にあるかを判断する；
   前記色温度見積り範囲内の色温度の点数を合計する；
   前記色温度点数を計算し最終色温度を得る、及び、
   前記最終色温度を利用して前記影像に対しホワイトバランス調整を行い；
   前記色温度ゾーンは、異なる色温度環境下でカラーチェッカー上の各グレーポイントのＣｂ値、Ｃｒ値を測定し、その測定結果に基づいて、複数の色温度ゾーンをＣｂ−Ｃｒ座標図上に設定するとともに、
   前記プロセッサが前記色温度見積り範囲内の前記色温度の点数を合計し関係を判断する際にさらに、
   前記分析ブロックの前記Ｃｂ値と前記Ｃｒ値が前記色温度ゾーンの範囲内にあるとき、グレーポイントである場合に、前記色温度に１点を記録する；
   前記分析ブロックの前記Ｃｂ値と前記Ｃｒ値が前記その他のゾーンの範囲内にあるとき、グレーポイントである場合に、前記その他のゾーンの相隣する色温度に各０．５点を記録する、及び、
   点数を合計し最大点数の色温度及び少なくとも１つの相隣する色温度を得る；
   ことを特徴とする、
   デジタル影像キャプチャ装置。
9. 前記分析ブロックの前記Ｃｂ値と前記Ｃｒ値が前記その他のゾーンの範囲内にあるとき、前記グレーポイントである場合とは、
   前記プロセッサがさらに、前記分析ブロックの前記明度値、前記Ｃｂ値及び前記Ｃｒ値が明度と彩度絶対値の関係図におけるデフォルト範囲内に位置する場合である、
   請求項８に記載のデジタル影像キャプチャ装置。
10. 前記点数を合計した後、前記プロセッサがさらに、前記最大点数の色温度の点数が前記分析ブロックの総数のあらかじめ定めた割合を超過するか否かを判断する、
    請求項８に記載のデジタル影像キャプチャ装置。
11. 前記点数を合計し、最大点数の色温度及び少なくとも１つの相隣する色温度を得た後、前記プロセッサがさらに、前記最大点数の色温度の点数が前記相隣する色温度の点数の設定倍数より小さいか否かを判断する、
    請求項８に記載のデジタル影像キャプチャ装置。
12. 前記最大点数の色温度の点数が前記相隣する色温度の点数の設定倍数より小さい場合に、前記プロセッサがさらに、前記最大点数の色温度と前記相隣する色温度に対し線形内挿を行い、前記最終色温度を得る、
    請求項１１に記載のデジタル影像キャプチャ装置。
13. 前記点数を合計し、最大点数の色温度及び少なくとも１つの相隣する色温度を得た後、前記プロセッサがさらに、より高い点数の相隣する色温度の点数がより低い点数の相隣する色温度の点数の設定倍数より小さいか否かを判断する、
    請求項８に記載のデジタル影像キャプチャ装置。
14. 前記より高い点数の相隣する色温度の点数がより低い点数の相隣する色温度の点数の設定倍数より小さい場合に、前記プロセッサがさらに、前記最大点数の色温度とより高い点数の相隣する色温度と前記より低い点数の相隣する色温度に対し線形内挿を行い、前記最終色温度を得る、
    請求項１３に記載のデジタル影像キャプチャ装置。

Images