JP6896658B2 - ホワイトバランス調整装置及びホワイトバランス調整方法 - Google Patents

Description

本発明は、受け入れた画像信号に対してホワイトバランス調整を行うホワイトバランス調整装置及びホワイトバランス調整方法に関するものである。

撮像装置から出力される画像信号はＲＧＢ色空間における値（ＲＧＢ値）として出力されることが多いが、このＲＧＢ値に対してホワイトバランス調整を行うと、ホワイトバランス調整を行った結果の画面の明るさが、ホワイトバランス調整前の画面の明るさから変わってしまうことがある。これは、ＲＧＢ空間におけるホワイトバランス調整はＲ値、Ｇ値、Ｂ値それぞれに行われることから、ある画素に対するＲＧＢ値の比率がホワイトバランス調整により変化すると、結果的に画素の明るさが変化してしまうことがあるからである。

このため、ＲＧＢ値をＹＵＶ色空間における値（ＹＵＶ値）に変換し、ＹＵＶ色空間において輝度を変化させずに彩度（色差）のみを調整するホワイトバランス調整を行う技術が提案されている（例えば特許文献１、２参照）。かかる技術によれば、ホワイトバランス調整の前後において画面の明るさを変えることなくホワイトバランス調整を行うことができる。

特開平９−１３０８１５号公報 特開２００１−３６９２４号公報

しかしながら、上述した特許文献１、２に開示された技術では、画面を構成する全ての画素に対して一律の彩度補正量を与えることでホワイトバランス調整を行っており、かかる技術では適切なホワイトバランス調整が実現しにくい場合があった。

一例として、車両に搭載されて車両前方を撮像する車載カメラからの画像信号に対してホワイトバランス調整を行う場合を考えてみる。このような車載カメラを搭載した車両が夜間に道路を走行していた際に、車載カメラが車両前方にある信号機や街灯などの自発光光源を撮像すると、この自発光光源は任意の光を発光することから、路面等からの光の彩度と異なる彩度を有する自発光光源が画面に写り込むこととなる。この場合、路面等からの光に合わせてホワイトバランス調整を行うと、自発光光源からの光に対しては適切なホワイトバランス調整が行えない可能性がある。

また、車両が昼間にトンネル内を走行していた際、車載カメラがトンネル内の自発光光源であるトンネル灯と、トンネルの出口から見える景色とを同時に撮像した場合、トンネル灯に合わせてホワイトバランス調整を行うと、やはり景色に対して適切なホワイトバランス調整が行えない可能性がある。

より詳細に検討すると、路面等からの光と自発光光源からの光とを車載カメラが撮像しているとき、低輝度部である路面等からの光の彩度と高輝度部である自発光光源からの光の彩度が異なりうるので、路面等からの光に合わせてホワイトバランス調整を行うと適切なホワイトバランス調整ができない可能性がある。

同様に、トンネル灯からの光と景色からの光とを車載カメラが撮像しているとき、低輝度部であるトンネル灯の光の彩度と高輝度部である景色からの光の彩度とが異なりうるので、トンネル灯からの光に合わせてホワイトバランス調整を行うと適切なホワイトバランス調整ができない可能性がある。

そこで、本発明は、複数の輝度を有する光源からの光を撮像した場合でも適切なホワイトバランス調整を行いうるホワイトバランス調整装置及びホワイトバランス調整方法を提供することを目的としている。

前記目的を達成するために、受け入れた画像信号に対してホワイトバランス調整を行う本発明のホワイトバランス調整装置は、統計取得部と補正部とを有し、統計取得部は、複数の輝度範囲を設定する輝度領域設定部を備える領域設定部と、輝度領域設定部により設定された各々の輝度範囲における画像信号の色差値の平均値を算出する平均値算出部とを有し、補正部は、平均値算出部が算出した色差値の平均値に基づいて、画像信号の色差値の補正関数を決定する補正関数決定部と、補正関数決定部により決定された補正関数に基づいて画像信号の色差値を補正する色差補正部とを有することを特徴とする。

ここで、領域設定部は、輝度領域設定部と、画像信号により表示される画面の範囲を設定する画面領域設定部と、彩度範囲を設定する彩度領域設定部とを有する構成とすることができる。

また、平均値算出部は、画面領域設定部により設定された画面範囲に対応する画像信号の色差値の平均値を算出し、色差補正部は、画面領域設定部により設定された画面範囲に対応する画像信号の色差値を補正する構成とすることができる。

そして、補正関数決定部は、画像信号の輝度値の下限値及び上限値に近付くほど画像信号の補正量が小さくなる補正関数を決定する構成とすることができる。

また、受け入れた画像信号に対してホワイトバランス調整を行うホワイトバランス調整装置により実行される本発明のホワイトバランス調整方法は、複数の輝度範囲を設定し、設定した各々の輝度範囲における画像信号の色差値の平均値を算出し、算出した色差値の平均値に基づいて、画像信号の色差値の補正関数を決定し、決定した補正関数に基づいて画像信号の色差値を補正することを特徴とする。

このように構成された本発明のホワイトバランス調整装置では、補正関数決定部が、輝度領域設定部により設定された各々の輝度範囲における画像信号の色差値の平均値に基づいて画像信号の色差値の補正関数を決定し、補正関数決定部により決定された補正関数に基づいて、色差補正部が画像信号の色差値を補正する。

このようにすることで、画像信号に複数の輝度を有する光源からの光が写り込んでいた場合でも、輝度範囲を適切に設定することで各々の光源からの光に合わせたホワイトバランス調整を行うことができる。これにより、複数の輝度を有する光源からの光を撮像した場合でも適切なホワイトバランス調整を行いうるホワイトバランス調整装置及びホワイトバランス調整方法を提供することができる。

ここで、領域設定部は、輝度領域設定部と、画像信号により表示される画面の範囲を設定する画面領域設定部と、彩度範囲を設定する彩度領域設定部とを有するので、これら画面領域設定部及び彩度領域設定部による範囲を適切に設定することで、画像信号により表示される画面のどの範囲に光源からの光が写り込んでいるかに応じて、また、光源からの光の彩度の偏りに応じて適切なホワイトバランス調整を行うことができる。

また、平均値算出部は、画面領域設定部により設定された画面範囲に対応する画像信号の色差値の平均値を算出し、色差補正部は、画面領域設定部により設定された画面範囲に対応する画像信号の色差値を補正するので、画面範囲を適切に設定することで、より適切なホワイトバランス調整を行うことができる。

そして、補正関数決定部は、画像信号の輝度値の下限値及び上限値に近付くほど画像信号の補正量が小さくなる補正関数を決定するので、高輝度部または低輝度部からの光に対しても適切なホワイトバランス調整を行うことができる。

また、本発明のホワイトバランス調整方法によれば、本発明のホワイトバランス調整装置に適切なホワイトバランス調整方法を実現することができる。

本発明の実施の形態であるホワイトバランス調整装置の概略構成を示すブロック図である。 実施の形態であるホワイトバランス調整装置の統計取得部の動作を説明するためのフローチャートである。 実施の形態であるホワイトバランス調整装置の領域設定部により設定される画面ＲＯＩの一例を示す図である。 ＹＵＶ色空間を示す図である。 実施の形態であるホワイトバランス調整装置の領域設定部により設定される輝度ＲＯＩの一例を示す図である。 実施の形態であるホワイトバランス調整装置の領域設定部により設定される彩度ＲＯＩの一例を示す図である。 実施の形態であるホワイトバランス調整装置の平均値算出部により算出される平均値の一例を示す図である。 実施の形態であるホワイトバランス調整装置の補正部の動作を説明するためのフローチャートである。 第１の実施例であるホワイトバランス調整装置の補正関数決定部により決定される補正関数を示す図である。 第２の実施例であるホワイトバランス調整装置の補正関数決定部により決定される補正関数を示す図である。 第３の実施例であるホワイトバランス調整装置の補正関数決定部により決定される補正関数を示す図である。

以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態であるホワイトバランス調整装置の概略構成を示すブロック図である。

本実施の形態であるホワイトバランス調整装置１には、例えば車載カメラ等の図略の撮像装置からの画像信号が入力される。ホワイトバランス調整装置１に入力される画像信号は、いわゆるＹＵＶ形式の画像信号である。撮像装置がＲＧＢ形式の画像信号を出力する場合は、ホワイトバランス調整装置１の前段に、撮像装置からのＲＧＢ信号をＹＵＶ信号に変換する図略の装置が設けられる。

本実施の形態であるホワイトバランス調整装置１は、ＣＰＵ等の演算制御手段及びＲＯＭ、ＲＡＭ等の記憶手段を有し、起動時に記憶手段内に格納された制御プログラムが読み出されて演算制御手段により実行されることで、ホワイトバランス調整装置１全体の制御が行われるとともに、下記に示す各種機能実現手段としての機能がホワイトバランス調整装置１により実行される。

本実施の形態であるホワイトバランス調整装置１は、入力された画像信号に対して統計処理を行う統計取得部２と、統計取得部２が行った統計処理結果に基づいて、入力された画像信号のホワイトバランス調整（特に彩度の補正）を行う補正部３とを有する。

統計取得部２は、複数の輝度範囲を設定する輝度領域設定部４ａ、画像信号により表示される画面の範囲を設定する画面領域設定部４ｂ、及び、彩度範囲を設定する彩度領域設定部４ｃを備える領域設定部４と、輝度領域設定部４ａにより設定された各々の輝度範囲における画像信号の彩度（色差）値の平均値を算出する平均値算出部５とを有する。

また、補正部３は、平均値算出部５が算出した色差値の平均値に基づいて、画像信号の色差値の補正関数を決定する補正関数決定部６と、補正関数決定部６により決定された補正関数に基づいて画像信号の色差値を補正する色差補正部７とを有する。これら各種機能実現手段の詳細については後述する。

補正部３による補正の結果、ホワイトバランス調整装置１から出力される画像信号は、車内に設けられたディスプレイ等の表示装置に提供され、この画像信号に基づいて表示装置において画面が表示される。なお、画面表示をするに当たって行われる周知の画像処理、例えばガンマ補正などは、ホワイトバランス調整装置１から出力される画像信号について行えばよい。当然、ホワイトバランス調整装置１に入力される画像信号について予め各種画像処理を行ってもよい。

次に、本実施の形態であるホワイトバランス調整装置１の統計取得部２の動作の詳細を図２のフローチャート及び図３〜図７を参照して説明する。

ステップＳ１では、統計取得部２の領域設定部４が、入力された画像信号に対してＲＯＩ（Region Of Interest：対象領域）を設定する。

本実施の形態であるホワイトバランス調整装置１の領域設定部４（含む輝度領域設定部４ａ、画面領域設定部４ｂ及び彩度領域設定部４ｃ）が設定するＲＯＩは、画面ＲＯＩ、輝度ＲＯＩ及び彩度ＲＯＩである。

画面ＲＯＩは、ホワイトバランス調整のためにホワイトバランス調整装置１が色ずれした画像信号を取得する範囲であり、この画面ＲＯＩの範囲内の画像信号について統計取得部２及び補正部３による演算が行われる。画面ＲＯＩ Ｐ＿ＲＯＩは、例えば図３に示すように、画面領域設定部４ｂにより表示装置に表示される画面Ｐの上部に設定される。

画面ＲＯＩ Ｐ＿ＲＯＩは、画面に対して予めかつ任意に設定可能であり、例えば上述した例において路面からの画像信号に基づいてホワイトバランス調整を行いたい場合は、画面下半分に画面ＲＯＩ Ｐ＿ＲＯＩを設定すればよい。

輝度ＲＯＩは、ホワイトバランス調整のためにホワイトバランス調整装置１が取得する画像信号の輝度範囲である。本実施の形態であるホワイトバランス調整装置１は、図４に示すようなＹＵＶ色空間においてホワイトバランス調整を行う。図４に示すように、各々の画素の画像信号は、輝度Ｙ軸、色差Ｕ軸及び色差Ｖ軸により定められる３次元座標系であるＹＵＶ色空間上の座標値として表すことが可能である。

輝度ＲＯＩは輝度領域設定部４ａにより設定される。輝度領域設定部４ａにより設定された輝度ＲＯＩ Ｙ＿ＲＯＩ（１）〜Ｙ＿ＲＯＩ（３）の一例を図５に示す。図５に示す輝度ＲＯＩ Ｙ＿ＲＯＩ（１）〜Ｙ＿ＲＯＩ（３）は、一例として横軸に輝度Ｙ、縦軸に色差Ｕを取ったＹＵ平面上で表現されており、輝度Ｙの全輝度範囲に対して複数（図示例では３つ）設定されている。

輝度ＲＯＩ Ｙ＿ＲＯＩ（１）〜Ｙ＿ＲＯＩ（３）も、全輝度範囲に対して予めかつ任意に設定可能であり、例えば上述した例において高輝度部である自発光光源からの光を含まないホワイトバランス調整を行いたい場合は、この自発光光源からの光に対応する輝度を除いた輝度ＲＯＩを設定すればよい。さらには、輝度ＲＯＩ Ｙ＿ＲＯＩ（１）〜Ｙ＿ＲＯＩ（３）は複数設定可能であるので、低輝度部からの光や高輝度部からの光に着目したホワイトバランス調整を行うことができる。

彩度ＲＯＩは、ホワイトバランス調整のためにホワイトバランス調整装置１が取得する画像信号の彩度（色差）範囲である。

彩度ＲＯＩは彩度領域設定部４ｃにより設定される。彩度領域設定部４ｃにより設定された彩度ＲＯＩ Ｕ＿ＲＯＩ（１）〜Ｕ＿ＲＯＩ（３）の一例を図６に示す。図６に示す彩度ＲＯＩ Ｕ＿ＲＯＩ（１）〜Ｕ＿ＲＯＩ（３）も、輝度ＲＯＩ Ｙ＿ＲＯＩ（１）〜Ｙ＿ＲＯＩ（３）と同様にＹＵ平面上で表現されており、色差Ｕの全輝度範囲に対して複数（図示例では３つ）設定されている。

彩度ＲＯＩ Ｕ＿ＲＯＩ（１）〜Ｕ＿ＲＯＩ（３）は輝度ＲＯＩ Ｙ＿ＲＯＩ（１）〜Ｙ＿ＲＯＩ（３）と同数設定することができ、特に、図６に示すように、輝度ＲＯＩ Ｙ＿ＲＯＩ（１）〜Ｙ＿ＲＯＩ（３）毎に彩度ＲＯＩ Ｕ＿ＲＯＩ（１）〜Ｕ＿ＲＯＩ（３）を設定することも可能である。なお、図６ではＹＵ平面上に設定された彩度ＲＯＩ Ｕ＿ＲＯＩ（１）〜Ｕ＿ＲＯＩ（３）の一例を示したが、同様に、彩度領域設定部４ｃはＹＶ平面上においても彩度ＲＯＩ Ｖ＿ＲＯＩを設定する。

彩度ＲＯＩ Ｕ＿ＲＯＩ（１）〜Ｕ＿ＲＯＩ（３）も、全彩度範囲に対して予めかつ任意に設定可能であり、例えば上述した例において自発光光源や看板といった高彩度部からの光から一部の彩度（例えば高彩度範囲の彩度）を含まないホワイトバランス調整を行いたい場合は、この高彩度部からの光から特定の彩度範囲を除いた彩度ＲＯＩを設定すればよい。さらには、彩度ＲＯＩ Ｕ＿ＲＯＩ（１）〜Ｕ＿ＲＯＩ（３）は複数設定可能であるので、撮像装置が撮像した光の中から複数の彩度を有する光に着目したホワイトバランス調整を行うことができる。

次に、ステップＳ２では、統計取得部２の平均値算出部５が、領域設定部４により設定されたＲＯＩ範囲内の画素の画像信号に対して平均値を算出する。

平均値算出部５が平均値を算出する画像信号は、画面領域設定部４ｂが設定した画面ＲＯＩの範囲内の画素の画像信号であり、さらに、画面ＲＯＩの範囲内の画素の画像信号について輝度領域設定部４ａにより設定された輝度ＲＯＩの範囲内の輝度及び彩度領域設定部４ｃにより設定された彩度ＲＯＩの範囲内の彩度について平均値が算出される。

平均値算出部５は、個々の輝度ＲＯＩ毎に輝度及び彩度（色差）の平均値を算出する。より詳細には、平均値算出部５は、特定の輝度ＲＯＩについて色差Ｕの平均値 Ｕ＿Ａｖｅ及びこれに対応する輝度Ｙの平均値 Ｙｕ＿Ａｖｅを算出し、同様に、色差Ｖの平均値 Ｖ＿Ａｖｅ及びこれに対応する輝度Ｙの平均値 Ｙｖ＿Ａｖｅを算出する。

一例として、図７に示すように３つの輝度ＲＯＩ Ｙ＿ＲＯＩ（１）〜Ｙ＿ＲＯＩ（３）が設定されていたとすると、平均値算出部５は、各々の輝度ＲＯＩ Ｙ＿ＲＯＩ（１）〜Ｙ＿ＲＯＩ（３）における色差Ｕの平均値 Ｕ＿Ａｖｅ（１）〜Ｕ＿Ａｖｅ（３）及びこれに対応する輝度Ｙの平均値 Ｙｕ＿Ａｖｅ（１）〜Ｙｕ＿Ａｖｅ（３）を算出する。なお、図示の簡略化のため、彩度ＲＯＩ Ｕ＿ＲＯＩ（１）〜Ｕ＿ＲＯＩ（３）は全ての輝度ＲＯＩ Ｙ＿ＲＯＩ（１）〜Ｙ＿ＲＯＩ（３）において同一に設定している。

ステップＳ２において平均値算出部５が算出した輝度Ｙ、色差Ｕ及び色差Ｖの平均値は、撮像装置からの画像信号を代表する画面ＲＯＩにおける色ずれ情報として補正部３に送出される。

次に、本実施の形態であるホワイトバランス調整装置１の補正部３の動作の詳細を図８のフローチャート及び図９〜図１１を参照して説明する。

（第１の実施例）
まず、ステップＳ３では、統計取得部２の平均値算出部５により算出された輝度Ｙ、色差Ｕ及び色差Ｖの平均値に基づいて、補正部３の補正関数決定部６が、ホワイトバランス調整に用いる補正関数を定義する。ここで、補正関数とは、撮像装置からの画像信号の色ずれ情報、より詳細には、撮像装置からの画像信号を代表する画面ＲＯＩにおける色ずれ情報を表す関数である。

図９を参照して、第１の実施例における補正関数について説明する。図９に示す例では、図７に示した３つの色差Ｕの平均値 Ｕ＿Ａｖｅ（１）〜Ｕ＿Ａｖｅ（３）及びこれに対応する輝度Ｙの平均値 Ｙｕ＿Ａｖｅ（１）〜Ｙｕ＿Ａｖｅ（３）が平均値算出部５に提供されたものとする。また、以下の説明では、輝度ＲＯＩ Ｙ＿ＲＯＩ（１）〜Ｙ＿ＲＯＩ（３）を輝度領域Ｙ＿Ｒｅｇ（１）〜Ｙ＿Ｒｅｇ（３）として設定する。

第１の実施例における色差Ｕの補正関数ｆ（Ｕ）は、各々の輝度領域Ｙ＿Ｒｅｇ（１）〜Ｙ＿Ｒｅｇ（３）において色差Ｕの平均値を代表値として用いたものである。すなわち、各々の輝度領域Ｙ＿Ｒｅｇ（１）〜Ｙ＿Ｒｅｇ（３）において、色差Ｕの補正関数ｆ（Ｕ）は次式で与えられる。

また、補正関数決定部６は、色差Ｖの補正関数ｆ（Ｖ）についても、色差Ｕの補正関数と同様に定義する。

次に、ステップＳ４では、補正部３の色差補正部７が、ステップＳ３で定義された補正関数に基づいて、撮像装置からの画像信号の全ての画素について補正関数を計算する。つまり、各々の画素に対応する輝度値Ｙ＿ｉｎを参照し、この輝度値Ｙ＿ｉｎが属する輝度領域Ｙ＿Ｒｅｇを特定し、そして、特定した輝度領域Ｙ＿Ｒｅｇに基づいて各々の画素の補正関数を計算する。

次に、ステップＳ５では、補正部３の色差補正部７が、ステップＳ４で計算された補正関数に基づいて、色差Ｕ、Ｖの補正量を算出する。ここで、補正量は、補正関数の計算結果と補正目標値（つまりホワイトバランス調整の目標値）との差分により定義され、具体的には次式により定義される。

ここで、Ｔａｒｇｅｔ＿Ｕは色差Ｕの補正目標値であり、Ｔａｒｇｅｔ＿Ｖは色差Ｖの補正目標値である。本実施の形態であるホワイトバランス調整装置１では、一例としていずれも値０に設定される。図９に、各輝度領域Ｙ＿Ｒｅｇ（１）〜Ｙ＿Ｒｅｇ（３）の補正値を矢印で示す。

そして、ステップＳ６では、補正部３の色差補正部７が、ステップＳ５で算出された色差Ｕ、Ｖの補正量に基づいて補正処理を行う。ここで、補正処理とは、画素に応じた補正量を色差値からオフセットすることで、補正された色差値を得る、すなわちホワイトバランス調整を行った色差値を得ることである。補正された色差値、つまり、ホワイトバランス調整装置１に入力される画像信号の色差値をそれぞれＵ＿ｉｎ、Ｖ＿ｉｎ、ホワイトバランス調整装置１から出力される画像信号の色差値をそれぞれＵ＿ｏｕｔ、Ｖ＿ｏｕｔとすると、これら出力色差値Ｕ＿ｏｕｔ、Ｖ＿ｏｕｔは次式により与えられる。

色差補正部７は、全ての画素について補正処理を行う。なお、上式に示すように、色差補正部７は色差Ｕ、Ｖについてのみ補正処理を行い、輝度Ｙについては撮像装置から入力される画像信号の輝度値のまま補正は行わない。

以上説明した手順により、第１の実施例によるホワイトバランス調整装置１のホワイトバランス調整処理が行われる。ここで、本実施例の補正手法によれば、輝度ＲＯＩを複数設定してこの輝度ＲＯＩ＝輝度領域毎に色差Ｕ、Ｖの平均値を算出し、この平均値に基づいて補正関数を定めて補正処理を行っているので、表示装置の画面内に異なる色ずれが発生している場合でも、すなわち、複数の輝度を有する光源からの光を撮像した場合でも適切なホワイトバランス調整を行うことが可能となる。

特に、本実施例の補正手法によれば、輝度ＲＯＩを多数の区間、さらには微少な輝度範囲で設定することができ、輝度領域毎の色ずれをより詳細に取得することができるので、ホワイトバランス調整の精度向上を図ることができる。

一方で、本実施例の補正手法を採用したホワイトバランス調整装置１を、デジタルカメラやビデオカメラ等に付随する画像信号処理部に実装した場合、輝度ＲＯＩを多数の区間で設定することにより演算規模が増加し、実時間あるいはこれに近い速度でホワイトバランス調整を行うためには、高速演算が可能な画像信号処理部を実装する必要が生じる。これは実装コストの増加につながる可能性がある。

また、本実施例の補正手法では輝度領域毎に定数（平均値）となる補正関数を定義しているので、輝度領域の境界部分において補正結果が不連続になる可能性があり、結果的にホワイトバランス調整装置１から出力される画像信号の色再現性が不自然な結果になる可能性もある。

そこで、以下の第２の実施例において、より少ない輝度領域を設定し、かつ、補正関数に連続性を持たせた補正手法について説明する。

（第２の実施例）
第２の実施例において、統計取得部２による動作は第１の実施例におけるそれと同一であるので、説明を省略する。

図８のステップＳ３において、補正部３の補正関数決定部６が、第１の実施例と異なる補正関数を定義する。

図１０を参照して、第２の実施例における補正関数について説明する。図１０に示す例でも、図７に示した３つの色差Ｕの平均値 Ｕ＿Ａｖｅ（１）〜Ｕ＿Ａｖｅ（３）及びこれに対応する輝度Ｙの平均値 Ｙｕ＿Ａｖｅ（１）〜Ｙｕ＿Ａｖｅ（３）が平均値算出部５に提供されたものとする。

第２の実施例における色差Ｕの補正関数は、ＹＵ平面において平均値Ｕ＿Ａｖｅ（１）と平均値Ｕ＿Ａｖｅ（２）とを結ぶ直線と、平均値Ｕ＿Ａｖｅ（２）と平均値Ｕ＿Ａｖｅ（３）とを結ぶ直線とからなる２領域の区分線形関数として定義される。また、平均値Ｕ＿Ａｖｅ（１）と平均値Ｕ＿Ａｖｅ（２）とを結ぶ直線に対応する輝度領域を輝度領域Ｙ＿Ｒｅｇ（１）とし、平均値Ｕ＿Ａｖｅ（２）と平均値Ｕ＿Ａｖｅ（３）とを結ぶ直線に対応する輝度領域を輝度領域Ｙ＿Ｒｅｇ（２）とする。

図１０に示す区分線形関数である補正関数は、複数の変数（Ｋｎｅｅ，Ｏｆｆｓｅｔ，Ｇａｉｎ）で定義される。ここで、Ｋｎｅｅ＿Ｕは輝度Ｙの平均値Ｙｕ＿Ａｖｅにより与えられ、Ｏｆｆｓｅｔ＿Ｕは色差Ｕの平均値Ｕ＿Ａｖｅにより与えられ、Ｇａｉｎ＿ＵはＹＵ平面で隣り合う色差Ｕの平均値Ｕ＿Ａｖｅを結ぶ直線の傾きにより与えられる。

これら変数についてより詳細に説明する。輝度Ｙの下限値をＫｎｅｅ＿Ｕ（１）、そのときの色差Ｕの値をＯｆｆｓｅｔ＿Ｕ（１）とする。また、輝度Ｙの上限値をＫｎｅｅ＿Ｕ（３）、そのときの色差Ｕの値をＯｆｆｓｅｔ＿Ｕ（３）とする。輝度領域Ｙ＿Ｒｅｇ（１）、Ｙ＿Ｒｅｇ（２）の境界におけるＫｎｅｅ＿Ｕ（２）及びＯｆｆｓｅｔ＿Ｕ（２）は、平均値Ｙｕ＿Ａｖｅ（２）及びＵ＿Ａｖｅ（２）を用いて、次式により与えられる。

また、輝度領域Ｙ＿Ｒｅｇ（１）の区分線形関数の傾きをＧａｉｎ＿Ｕ（１）、輝度領域Ｙ＿Ｒｅｇ（２）の区分線形関数の傾きをＧａｉｎ＿Ｕ（２）とする。

このときの補正関数ｆ（Ｕ）は次式により与えられる。

また、補正関数決定部６は、色差Ｖの補正関数ｆ（Ｖ）についても、色差Ｕの補正関数と同様に定義する。

次のステップＳ４〜Ｓ６の処理は、上述した第１の実施例と同一であるので説明を省略する。但し、補正量及び補正処理に用いる式が第１の実施例におけるそれと異なるので、以下にそれぞれ示す。まず、補正量の式は次式により与えられる。

また、補正処理に用いる式は次式により与えられる。

以上説明した手順により、第２の実施例によるホワイトバランス調整装置１のホワイトバランス調整処理が行われる。ここで、本実施例の補正手法によれば、図１０に示すように、輝度領域Ｙ＿Ｒｅｇ（１）、Ｙ＿Ｒｅｇ（２）を色差Ｕの平均値の間に設定しているので、第１の実施例と比較して輝度領域Ｙ＿Ｒｅｇの数を減少させることができて演算規模の削減が図れ、実装コストを抑制することができる。また、補正関数を輝度領域Ｙ＿Ｒｅｇ（１）、Ｙ＿Ｒｅｇ（２）の境界において連続となるように設定しているので、ホワイトバランス調整装置１から出力される画像信号の色再現性が不自然な結果になることを抑制することができる。

一方で、本実施例の補正手法では、これも図１０に示すように、輝度下限値及び輝度上限値においても補正値が算出される（補正関数の値が０ではない）ので、高輝度部である自発光光源や夜間の低輝度部からの光についても０でない補正値が与えられ、結果としてホワイトバランス調整が行われてこれらの光の彩度が変更されて色ずれが生じる可能性がある。

そこで、以下の第３の実施例において、補正関数に連続性を持たせつつ、輝度下限値及び輝度上限値における補正値を考慮した補正手法について説明する。

（第３の実施例）
第３の実施例においても、統計取得部２による動作は第１の実施例におけるそれと同一であるので、説明を省略する。

図８のステップＳ３において、補正部３の補正関数決定部６が、第１、第２の実施例と異なる補正関数を定義する。

図１１を参照して、第３の実施例における補正関数について説明する。図１１に示す例でも、図７に示した３つの色差Ｕの平均値 Ｕ＿Ａｖｅ（１）〜Ｕ＿Ａｖｅ（３）及びこれに対応する輝度Ｙの平均値 Ｙｕ＿Ａｖｅ（１）〜Ｙｕ＿Ａｖｅ（３）が平均値算出部５に提供されたものとする。

第３の実施例における色差Ｕの補正関数は、第２の実施例における補正関数と同様に、色差Ｕの平均値を結んだ区分線形関数により与えられるが、第３の実施例では、輝度下限値と色差Ｕの平均値との間の輝度領域Ｙ＿Ｒｅｇ（１）と、色差Ｕの平均値と輝度上限値との間の輝度領域Ｙ＿Ｒｅｇ（４）を新たに設け、合計４つの輝度領域Ｙ＿Ｒｅｇ（１）〜Ｙ＿Ｒｅｇ（４）において補正関数を定義している。

補正関数の変数について詳細に説明する。輝度下限値をＫｎｅｅ＿Ｕ（１）とし、輝度下限値に対応する色差Ｕの値をＯｆｆｓｅｔ＿Ｕ（１）、輝度上限値をＫｎｅｅ＿Ｕ（５）とし、輝度上限値に対応する色差Ｕの値をＯｆｆｓｅｔ＿Ｕ（５）とする。また、Ｏｆｆｓｅｔ＿Ｕ（１）＝Ｏｆｆｓｅｔ＿Ｕ（５）とし、いずれも輝度Ｙ軸上（つまり値０）に設定する。

また、色差Ｕの平均値に対応する輝度Ｙの平均値を、低域側から順にＫｎｅｅ＿Ｕ（２）、Ｋｎｅｅ＿Ｕ（３）、Ｋｎｅｅ＿Ｕ（４）とする。これを式に表すと、

となる。

色差Ｕの平均値は、輝度Ｙの低域側から順にＯｆｆｓｅｔ＿Ｕ（２）、Ｏｆｆｓｅｔ＿Ｕ（３）、Ｏｆｆｓｅｔ＿Ｕ（４）とする。これを式に表すと、

となる。

Ｋｎｅｅ、Ｏｆｆｓｅｔからなる領域の変化点をつなぐ補正関数の直線の傾きを、輝度Ｙの低域側から順にＧａｉｎ＿Ｕ（１）、Ｇａｉｎ＿Ｕ（２）、Ｇａｉｎ＿Ｕ（３）、Ｇａｉｎ＿Ｕ（４）、Ｇａｉｎ＿Ｕ（５）とする。また、輝度領域は、輝度Ｙの低域側から順にＹ＿Ｒｅｇ（１）、Ｙ＿Ｒｅｇ（２）、Ｙ＿Ｒｅｇ（３）、Ｙ＿Ｒｅｇ（４）、Ｙ＿Ｒｅｇ（５）とする。

このときの補正関数ｆ（Ｕ）は次式により与えられる。

また、補正関数決定部６は、色差Ｖの補正関数ｆ（Ｖ）についても、色差Ｕの補正関数と同様に定義する。

次のステップＳ４〜Ｓ６の処理は、上述した第２の実施例と同一であるので説明を省略する。

以上説明した手順により、第３の実施例によるホワイトバランス調整装置１のホワイトバランス調整処理が行われる。ここで、本実施例の補正手法によれば、図１１に示すように、輝度下限値及び輝度上限値における補正値を０に設定したので、高輝度部、低輝度部に近付くほど補正値が小さくなり、この結果、高輝度部である自発光光源や夜間の低輝度部からの光についても色ずれを起こさないホワイトバランス調整を行うことができる。

ここで、統計取得部２による動作と補正部３による動作の関係について補足する。これら統計取得部２及び補正部３の動作は順次行ってもよいし、並行して行ってもよい。つまり、統計取得部２及び補正部３の動作は、上述したように画面単位、言い換えれば撮像装置からの画像信号のフレーム単位で行われるので、あるフレームの画像信号についての統計取得部２による動作が終了してから、このフレームの画像信号について補正部３の動作を行ってもよい。あるいは、統計取得部２が、現在撮像装置から送出されているフレームの数フレーム前の画像信号について動作を行い、数フレーム前の画像信号についての統計取得部２の演算結果に基づいて、補正部３が現在のフレームの画像信号について演算を行ってもよい。このように、統計取得部２と補正部３とを並行動作させることで、ホワイトバランス調整を実時間処理することができる。

以上のように構成された本実施の形態であるホワイトバランス調整装置１では、補正関数決定部６が、輝度領域設定部４ａにより設定された各々の輝度範囲における画像信号の色差値の平均値に基づいて画像信号の色差値の補正関数を決定し、この補正関数決定部６により決定された補正関数に基づいて、色差補正部７が画像信号の色差値を補正する。

このようにすることで、画像信号に複数の輝度を有する光源からの光が写り込んでいた場合でも、輝度範囲を適切に設定することで各々の光源からの光に合わせたホワイトバランス調整を行うことができる。これにより、複数の輝度を有する光源からの光を撮像した場合でも適切なホワイトバランス調整を行いうるホワイトバランス調整装置１及びホワイトバランス調整方法を提供することができる。

ここで、領域設定部４は、輝度領域設定部４ａと、画像信号により表示される画面の範囲を設定する画面領域設定部４ｂと、彩度範囲を設定する彩度領域設定部４ｃとを有するので、これら画面領域設定部４ｂ及び彩度領域設定部４ｃによる範囲を適切に設定することで、画像信号により表示される画面のどの範囲に光源からの光が写り込んでいるかに応じて、また、光源からの光の彩度の偏りに応じて適切なホワイトバランス調整を行うことができる。

また、平均値算出部５は、画面領域設定部４ｂにより設定された画面範囲に対応する画像信号の色差値の平均値を算出し、色差補正部７は、画面領域設定部４ｂにより設定された画面範囲に対応する画像信号の色差値を補正するので、画面範囲を適切に設定することで、より適切なホワイトバランス調整を行うことができる。

そして、補正関数決定部６は、画像信号の輝度値の下限値及び上限値に近付くほど画像信号の補正量が小さくなる補正関数を決定するので、高輝度部または低輝度部からの光に対しても適切なホワイトバランス調整を行うことができる。

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

一例として、上述した各実施例における補正関数は、色差Ｕ及び色差Ｖそれぞれについて定義されていたが、３次元のＹＵＶ空間において色差Ｕ、色差Ｖに関する変数を同時に含む、つまり３次元のＹＵＶ空間において定義される補正関数を用いてもよい。

また、上述した実施の形態であるホワイトバランス調整装置１の補正処理結果に対して調整を行ってもよい。一例として、補正部３の色差補正部７が算出する補正量に制限を設けてもよい。これを式に表すと、

となる。ここで、Ｃｏｅｆ＿Ｕ、Ｃｏｅｆ＿Ｖはそれぞれ色差Ｕ、色差Ｖの補正量調整係数であり、０≦Ｃｏｅｆ＿Ｕ≦１、０≦Ｃｏｅｆ＿Ｖ≦１とする。補正量調整係数はホワイトバランス調整装置の実装時及び実装後に任意に設定、変更可能である。

このように補正量に制限を設けることで、例えば画面の大部分を有彩色が占めるような画像信号についても、彩度を過剰に補正することで人間が違和感を感じるようなホワイトバランス調整結果になることを回避できる。

１ ホワイトバランス調整装置
２ 統計取得部
３ 補正部
４ 領域設定部
４ａ 輝度領域設定部
４ｂ 画面領域設定部
４ｃ 彩度領域設定部
５ 平均値算出部
６ 補正関数決定部
７ 色差補正部

Claims (5)

1. 受け入れた画像信号に対してホワイトバランス調整を行うホワイトバランス調整装置であって、
   統計取得部と補正部とを有し、
   前記統計取得部は、
   複数の輝度範囲を設定する輝度領域設定部を備える領域設定部と、
   前記輝度領域設定部により設定された各々の前記輝度範囲における前記画像信号の色差値の平均値を算出する平均値算出部とを有し、
   前記補正部は、
   前記平均値算出部が算出した前記色差値の平均値に基づいて、前記画像信号の色差値の補正関数を決定する補正関数決定部と、
   前記補正関数決定部により決定された前記補正関数に基づいて前記画像信号の前記色差値を補正する色差補正部とを有する
   ことを特徴とするホワイトバランス調整装置。
2. 前記領域設定部は、前記輝度領域設定部と、前記画像信号により表示される画面の範囲を設定する画面領域設定部と、彩度範囲を設定する彩度領域設定部とを有することを特徴とする請求項１に記載のホワイトバランス調整装置。
3. 前記平均値算出部は、前記画面領域設定部により設定された画面範囲に対応する前記画像信号の前記色差値の平均値を算出し、
   前記色差補正部は、前記画面領域設定部により設定された画面範囲に対応する前記画像信号の前記色差値を補正する
   ことを特徴とする請求項２に記載のホワイトバランス調整装置。
4. 前記補正関数決定部は、前記画像信号の輝度値の下限値及び上限値に近付くほど前記画像信号の補正量が小さくなる前記補正関数を決定する
   ことを特徴とする請求項１〜３のいずれかに記載のホワイトバランス調整装置。
5. 受け入れた画像信号に対してホワイトバランス調整を行うホワイトバランス調整装置により実行されるホワイトバランス調整方法であって、
   複数の輝度範囲を設定し、設定した各々の前記輝度範囲における前記画像信号の色差値の平均値を算出し、
   算出した前記色差値の平均値に基づいて、前記画像信号の色差値の補正関数を決定し、
   決定した前記補正関数に基づいて前記画像信号の前記色差値を補正する
   ことを特徴とするホワイトバランス調整方法。
   

Images