JP4023518B2

JP4023518B2 - 色補正方法及び色補正装置

Info

Publication number: JP4023518B2
Application number: JP2006546498A
Authority: JP
Inventors: 隆明坂口; 青木　　透; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-11-25
Filing date: 2004-11-25
Publication date: 2007-12-19
Anticipated expiration: 2024-11-25
Also published as: JPWO2006057037A1; WO2006057037A1; EP1816874A1; US7831092B2; CN1973553B; CN1973553A; US20080007657A1; EP1816874A4

Description

この発明は、画像の色を補正する技術に係るものであり、特に所定の色領域ごとに適切な補正を行う色補正方法及びその装置に関する。

デジタルカメラを初めとする撮像装置では、一般的に単板式ＣＣＤが用いられ、ＣＣＤの全面に色フィルタを配置し、色を補間することでカラー画像を得ている。この色フィルタの分光感度特性は色毎に異なり、また、人間は木の緑や空の青さに対して、実際の色よりも記憶の中にある鮮やかな色彩を好むという特性があるため、好ましい色（記憶色）となるように色の補正が行われている。

一般に、このような色補正方法として、画像データのＲＧＢ信号やＹＣｂＣｒ信号に基づく色を領域ごとに分割し、各領域に予め設定されたゲインで増幅したり、色補正行列を演算し、色の補正が行われている。このような色補正方法の具体例としては、特許文献１に記載があるように、色差信号平面において、まず原点を通る領域境界線により色相を複数の領域に分割し、入力色差信号の位置ベクトルを隣接する２つの領域境界線のベクトル成分に分割する。さらに領域境界線のベクトルを変換行列により一次変換し、色変換を実現することで、色相の全範囲のうち任意の範囲内の色相に対してのみ色補正を行っている。

特開２００２−１７６６５６号「色補正回路」公報特開２０００−１１５５８８号「撮像装置、撮像装置の制御方法及び記憶媒体」公報

しかしながら、このような方法では特許文献２に記載されているように、ホワイトバランスを調整した後にも、レンズのばらつきや撮像素子の分光感度特性のばらつき等により、色ばらつきが生じるという問題が知られている。この結果、色ずれが生じ、本来なら灰色や白等の無彩色の色が、ずれた方向の色を帯びてしまうことになる。このため、従来の色補正方法では、色ずれが強調されてしまうという問題があった。

この発明は、かかる問題を解決することを目的として、補正行列に色ずれを補正するための平行移動成分を設けることにより、色ずれを補正した後、色を領域毎に選択的に、かつ領域の境界から連続的に色が変わる補正が可能となるように色補正を行うものである。

この発明に係る色補正方法は、入力された色信号ベクトルが、色信号平面の原点を通る領域境界線によって分割された色信号平面の領域の何れに属するかを判定し、上記色信号ベクトルが属すると判定された領域に対して予め設定しておいた補正行列を用いて、上記色信号ベクトルを変換することにより上記色信号ベクトルを補正する色補正方法において、
上記補正行列として、平行移動を行う成分と線形変換を行う成分とを有する補正行列を用いるものである。

このように、この発明に係る色補正方法によれば、色補正を行う変換の際に線形変換を行う成分に加えて、平行移動を行う成分を含むように構成したので、色ずれを防止するような変換を行うことが可能である。

この発明の実施の形態１による色補正装置の構成を示すブロック図である。この発明の実施の形態１による色平面領域の例を示す図である。色信号の表現形式と彩度の算出方法の対応関係を示す図である。この発明の実施の形態２による色平面領域の例を示す図である。この発明の実施の形態３による色平面領域の例を示す図である。

符号の説明

１輝度・色差変換部、
２色領域判定部、
３第１の境界の信号補正部、
４第２の境界の信号補正部、
５補正統合部、
６補正修正部。

実施の形態１．
図１はこの発明の実施の形態１による色補正装置を示す構成図である。図１において、色補正装置は、輝度・色差変換部１、色領域判定部２、第１の境界の信号補正部３、第２の境界の信号補正部４、補正統合部５、補正修正部６から構成されている。このうち、色領域判定部２は、色領域判定手段を構成する部位に相当する。第１の境界の信号補正部３、第２の境界の信号補正部４、補正統合部５は信号補正手段を構成する部位に相当する。次に動作について説明する。

輝度・色差変換部１は、撮像素子から得られるＲＧＢ信号をＹＣｂＣｒ、ＹＵＶ、Ｌ＊ａ＊ｂ＊、Ｌ＊ｕ＊ｖ＊、ＨＳＶのいずれかの輝度信号と色信号へ変換する。以下において、輝度・色差変換部１がＲＧＢ信号をＹＣｂＣｒ信号に変換した場合について説明する。

色領域判定部２は、色領域判定手段に相当する部位であって、色信号の存在する領域を判定する。ここで色領域判定部２における色領域判定の方法について、図を用いて説明する。図２において、いまＣｂＣｒ平面の原点を起点とする４つの領域境界線１０１、１０２、１０３、１０４を設ける。そしてこの領域境界線によって、ＣｂＣｒ平面を図に示すように領域２０１、領域２０２、領域２０３、領域２０４に分割する。

さらに、原点から領域境界線１０１の方向に向かうベクトルをｕ_１、原点から領域境界線１０２の方向に向かうベクトルをｕ_２、原点から領域境界線１０３の方向に向かうベクトルをｕ_３、原点から領域境界線１０４の方向に向かうベクトルをｕ_４とする。このようなベクトルｕ_１、ｕ_２、ｕ_３、ｕ_４を、各領域を規定するベクトル、と呼ぶこととする。すなわち、ベクトルｕ_１、ｕ_２は領域２０１を規定するベクトルであり、ｕ_２、ｕ_３は領域２０２を規定するベクトル、さらにｕ_３、ｕ_４は領域２０３を規定するベクトルであり、ｕ_４、ｕ_１は領域２０４を規定するベクトル、ということになる。

ｕ_１を領域境界線１０２の方向に９０°回転させたベクトルをｕ_１２、ｕ２を領域境界線１０１の方向に９０°回転させたベクトルをｕ_２１と表すこととすると、ある色信号ベクトルｘ＝（Ｃｂ，Ｃｒ）^Ｔが領域２０１に存在する場合、ベクトルｘとベクトルｕ_１２、ｕ_２１との内積は式（１）を満たす。

となる。同様に、ベクトルｘが領域２０２に存在する場合、

となる。ベクトルｘが領域２０３に存在する場合は

となる。ベクトルｘが領域２０４に存在する場合は

なお、上記において、Ｔはベクトルの転置を表す。

このように、色領域判定部２は領域２０１、２０２、２０３、２０４を規定する各ベクトルに対する直交ベクトルと色信号ベクトルとの内積を求めておき、このようにして得られた内積が式（１）から式（４）までのいずれかの条件を満たすかを順次判定していき、色信号ベクトルが存在する領域を判定する。最終的に、色領域判定部２は色信号ベクトルｘが存在する領域を識別する情報として、ｕ_１、ｕ_２、ｕ_３、ｕ_４のうちのいずれか２つの領域規定ベクトルを第１の領域規定ベクトルと第２の領域規定ベクトルとして出力する。第１の領域規定ベクトルは第１の境界の信号補正部３に入力され、第２の領域規定ベクトルは第２の境界の信号補正部４に入力される。

続いて、第１の境界の信号補正部３と第２の境界の信号補正部４は、色領域判定部２により求めた２つの領域規定ベクトルに基づいて、入力された輝度信号Ｙと色信号ＣｂＣｒの補正を行う。ここで、第１の領域規定ベクトルをｕ_ｉ、第２の領域規定ベクトルをｕ_ｊとし、ｕ_ｉ、ｕ_ｊに対する補正行列をＡ_ｉ、Ａ_ｊ、さらに色補正行列Ａ_ｉ、Ａ_ｊで補正した結果をそれぞれ（Ｙ_ｉ，Ｃｂ_ｉ，Ｃｒ_ｉ）、（Ｙ_ｊ，Ｃｂ_ｊ，Ｃｒ_ｊ）とする。第１の境界の信号補正部３と第２の境界の信号補正部４は式（５）及び式（６）に示すような演算を行って輝度信号Ｙと色信号ＣｂＣｒとを補正する。

なお、式（５）において、Ａ_ｉは式（７）によって与えられる。また式（７）の添え字ｉをｊに置き換えたものがＡ_ｊである。

式（７）において、色補正行列Ａ_ｉの各成分は、線形変換を行う行列成分Ｕ_ｉと平行移動を行う行列成分Ｖ_ｉから構成されている。このような変換はアフィン変換として知られているものである。線形変換を行うＵ_ｉの各成分は撮像素子の色フィルタの特性と記憶色に再現するための補正量より決定されるものである。平行移動を行うＶ_ｉの各成分は、無彩色のずれに応じて補正量を決定されるものである。

補正統合部５は、第１の境界の補正部３による補正結果と、第２の境界の補正部４による補正結果とを、信号ベクトルと領域境界線との距離関係に基づいて重み付けし統合する。具体的には、第１の境界の補正部３による補正結果をｐ_ｉ'＝(Ｙ_ｉ'，Ｃｂ_ｉ'，Ｃｒ_ｉ')^Ｔ、ｐ_ｊ’＝(Ｙ_ｊ'，Ｃｂ_ｊ'，Ｃｒ_ｊ')^Ｔとし、ベクトルｘが存在する領域を規定する領域境界線とベクトルｘとの距離をｈ_ｉ、ｈ_ｊとして、式（８）に示す合成を行い、合成結果となる信号ベクトルｐ_ｓ=(Ｙ_ｓ，Ｃｂ_ｓ，Ｃｒ_ｓ)^Ｔを得る。

式（８）において、距離ｈ_ｉは式（９）により算出される。

補正修正部６は、輝度信号と彩度とが所定の値域内に含まれる場合に、補正統合部５が式（８）を用いて算出した補正結果ｐ_ｓを最終的な補正結果として採用し出力する。さらに輝度信号と彩度とが所定の値域に含まれない場合には、入力信号ベクトルｐ＝(Ｙ，Ｃｂ，Ｃｒ)^Ｔにおける補正結果ｐ_ｓの寄与の程度を調整し調整後の値を最終的な補正結果として出力する。

これらの処理を具体的に説明するならば、次のようになる。すなわち、補正修正部６は彩度Ｃを式（１０）に基づいて算出する。

補正修正部６は、彩度ＣがＣ１を下限値、Ｃ２を上限値とする所定の値域に含まれるかどうかを判定する。なおＣ１、Ｃ２はＣＣＤなどの撮像素子のＳ／Ｎ比から予め設定された値である。さらに補正修正部６は、判定結果に基づいて式（１１）から式（１３）に示すように係数ｋ_ｓを決定する。

ここで、式（１２）が適用される場合が、所定の値域内に彩度Ｃが含まれる場合に相当する。また式（１１）が適用される場合とは、彩度Ｃが低すぎてこの値域に含まれない場合である。さらに式（１３）が適用される場合とは、彩度Ｃが高すぎてこの値域に含まれない場合である。なお、式（１３）において、ＣＭＡＸは彩度の最大値である。

そして補正修正部６は、このように決定した係数ｋ_ｓを用いて、式（１４）によりｐ_ｓ'を算出する。

続いて補正修正部６は、式（１４）によって算出されたｐ_ｓ'を輝度信号Ｙに基づいて補正する。そのために補正修正部６は、まず輝度信号ＹがＹ１を下限値、Ｙ２を上限値とする所定の値域に含まれるかどうかを判定する。なおＹ１、Ｃ２はＣＣＤなどの撮像素子のＳ／Ｎ比から予め設定された値である。さらに補正修正部６は、判定結果に基づいて式（１５）から式（１７）に示すように係数ｋ_ｙを決定する。

ここで、式（１６）が適用される場合が、所定の値域内に輝度信号Ｙが含まれる場合に相当する。また式（１５）が適用される場合とは、輝度信号Ｙが低すぎてこの値域に含まれない場合である。さらに式（１７）が適用される場合とは、輝度信号Ｙが高すぎてこの値域に含まれない場合である。なお、式（１７）において、ＹＭＡＸは輝度信号の最大値である。

そして補正修正部６は、このように決定した係数ｋ_ｙを用いて、式（１８）によりｐ_ｙ"を算出する。

これまで、輝度・色差変換部１において、ＲＧＢ信号をＹＣｂＣｒの輝度と色信号に変換した場合で説明を行ったが、ＹＵＶ、Ｌ＊ａ＊ｂ＊、Ｌ＊ｕ＊ｖ＊、ＨＳＶなど、他の表現形式を用いてもよい。それぞれの表現形式への変換を行った場合、彩度は、図３に示す表のように表現される。それぞれの表現形式において、同様な補正処理を行い、彩度や輝度に対して、補正抑制処理を行うことで、補正を行うことが可能である。

以上のように、この発明の実施の形態１による色補正方法では、平行移動の成分を持つ補正行列を用いることにより、色ずれを補正し、色補正を行うことができる効果がある。

また、色領域を分割する境界線との距離の重み付けを用いることにより、境界からなめらかに色が変化する色補正を実現できる効果がある。さらに、輝度と彩度の大きさを用いて補正後の信号と補正前信号との比をとることにより、輝度や彩度が低い信号に対する補正を調整し、Ｓ／Ｎ比の増加を抑えることができる効果がある。

なお、この実施の形態１においては、ＣｂＣｒ平面を４つの領域に分割する例を示したが、領域の分割数は４に限定されるものではなく、任意の数であってよい。

実施の形態２．
実施の形態１において補正統合部５は、入力ベクトルｘが存在するＣｂＣｒ平面の領域を規定する領域境界線とベクトルｘとの距離を算出し、算出された距離に基づく重み付けを行うことで、領域境界における補正結果の連続性を実現したが、重み付けに用いる距離を算出するためには、平方根を求める演算を行う必要があり、計算負荷が高い場合が生ずる。そこで実施の形態２においては、平方根演算を行わなくても、実施の形態１と等価な重み付け演算を行うことのできる色補正装置について説明する。

ここで、図４を参照し、実施の形態２の補正統合部５の処理について説明する。なお、その他の部位の構成に関しては実施の形態１の色補正装置と同様であるものとし、それぞれの構成要素に関する説明は省略する。図４において、色信号ベクトルｘは領域２０１にあり、色信号ベクトルの端点をＰ、端点Ｐから領域境界線１０１、１０２におろした垂線の足をＨ１、Ｈ２とし、さらにＰを通過する直線２１０を考え、直線２１０と領域境界線１０１、１０２との交点をＵ、Ｖとする。

ＣｂＣｒ平面の原点Ｏと交点Ｕ、Ｖとの距離（線分ＯＵと線分ＯＶの長さ）が等しくなるような直線２１０を考えると、三角形ＯＵＶは二等辺三角形となるから、∠ＯＵＶ＝∠ＯＶＵとなる。さらにＨ_１はＰから領域境界線１０１におろした垂線の足であり、Ｈ_２はＰから領域境界線１０２におろした垂線の足であるから、∠ＰＨ_１Ｕ＝∠ＰＨ_２Ｖである。したがって三角形ＰＨ_１Ｕと三角形ＰＨ_２Ｖは相似となる。

ここで、各点の水平座標を添え字ｘで表し、垂直座標を添え字ｙで表すこととする。すなわち、Ｐ、Ｕ、Ｖの座標を（Ｐ_ｘ，Ｐ_ｙ）、（Ｕ_ｘ，Ｕ_ｙ）、（Ｖ_ｘ，Ｖ_ｙ）と表わす。この場合、

となる。

ここで、Ｕ_ｘ、Ｕ_ｙ、Ｖ_ｘ、Ｖ_ｙは式（２０）で与えられる。

ただし、ｋ_ｘ、ｋ_ｙ、ｋ_ｕ１、ｋ_ｕ２は式（２１）で与えられる。

したがって、式（８）の距離の重み係数は、式（２２）のように計算される。

式（２０）及び式（２１）によって与えられるＵ_ｘ、Ｕ_ｙ、Ｖ_ｘ、Ｖ_ｙ、ｋ_ｘ、ｋ_ｙ、ｋ_ｕ１、ｋ_ｕ２は、領域の領域境界線が定まれば一意に決定できる値である。したがって、領域の分割方法を設定した際に、合わせてこれらの値についても計算し、その計算結果を記憶しておく。さらに色補正時に記憶されたＵ_ｘ、Ｕ_ｙ、Ｖ_ｘ、Ｖ_ｙを用いて式（２２）で重み係数を計算すればよい。これによって、平方根演算を行わなくても、重み係数を算出できるので、演算量を減らすことが可能となる。

以上のように、この発明の実施の形態２による色補正装置では、色信号平面を領域に分割する領域境界線と色信号の点との距離に応じて補正の程度を調整する上で、平方根演算を要する距離演算に替えて、色信号の点と領域境界線との幾何学的関係に基づく加減算の組み合わせのみで重み係数を算出することとしたので、演算量を削減できる。

実施の形態３．
ここで、図５を参照し、実施の形態3の補正統合部の処理について説明する。色信号ベクトルＰが領域境界線１０１と領域境界線１０２によって分割される領域２０１に存在する場合に、色信号ベクトルＰを領域境界線１０１と領域境界線１０２にそれぞれ平行なベクトルに分解する。これらのベクトルの始点を原点Ｏとした場合の終点をそれぞれＰ_１、Ｐ_２とすれば、Ｐ_１は領域境界線１０１上の点、Ｐ_２は領域境界線１０２上の点となり、四角形ＯＰ_１ＰＰ_２は平行四辺形となる。

したがって、

となる。

点Ｐから領域境界線１０１と領域境界線１０２におろした垂線の足をそれぞれＨ_１、Ｈ_２とすれば三角形ＰＨ_１Ｐ_１と三角形ＰＨ_２Ｐ_２は相似となることから、

したがって、式（８）の距離の重み係数は

となる。

ここで、領域境界線１０１を規定するベクトルをｕ_１＝(ｕ_１x，ｕ_１y)^Ｔ、領域境界線１０２を規定するベクトルをｕ_２＝(ｕ_２x，ｕ_２y)^Ｔとすると、線分ＯＰ１、ＯＰ２の長さは式（２６）、式（２７）で与えられる。

ただし、式（２６）、式（２７）においてＤは、

である。

式（２８）においてＤは、領域を規定する方向ベクトルが決まれば、一意に決まる数であるため、領域分割を設定する際に同時に設定するか、一度計算で求めておけば、演算量を減らすことが可能である。

以上のように、この発明の実施の形態３による色補正方法では、色領域を分割する境界線との距離の重み付けを、色信号の位置ベクトルを、隣接する境界線の２方向に分解し、各方向のベクトルの大きさを重み付け係数として用いることにより、距離の計算において平方根の演算を行う必要がなくなり、演算量の削減を行うことができる効果がある。

実施の形態４
実施の形態１における色領域判定部２において、色相方向の境界を方向ベクトルにより規定し、方向ベクトルの直交ベクトルを求めておき、この直交ベクトルと色信号ベクトルとの内積の結果により、色相における色領域を判定していた。しかしこの他にも、色信号ベクトルと方向ベクトルの内積により、色領域の判定を行うようにしてもよい。

色領域を規定する方向ベクトルｕ_ｉ，ｕ_ｊのなす角をθとし、それぞれのベクトルと色信号ベクトルｘのなす角をα、βとすると、α＜θでかつβ＜θを満たす場合に色信号ベクトルｘがｕ_ｉ，ｕ_ｊにより設定される領域内に存在することになる。ここで、α、β、θは１８０°よりも小さい角となるから、ｃｏｓ α＜ｃｏｓ θかつｃｏｓ β＜ｃｏｓ θが成立する。これより、

したがって、

式（３０）による条件が成立する場合、色信号ベクトルｘがｕ_ｉ、ｕ_ｊにより規定される境界に存在することになる。したがってこの条件が成立するかどうか判定することで、直交ベクトルを求めなくても色領域の判定が可能である。

この発明は、例えば、デジタルカメラを初めとする撮像装置やその撮像結果である画像データの補正を行う上で広く適用することができる。

Claims

入力された色信号ベクトルが、色信号平面の原点を通る領域境界線によって分割された色信号平面の領域の何れに属するかを判定し、上記色信号ベクトルが属すると判定された領域に対して予め設定しておいた補正行列を用いて、上記色信号ベクトルを変換することにより上記色信号ベクトルを補正する色補正方法において、
上記補正行列として、平行移動を行う成分と線形変換を行う成分とを有する補正行列を用いることを特徴とする色補正方法。
入力された色信号ベクトルが、色信号平面の原点を通る領域境界線によって分割された色信号平面の領域の何れに属するかを判定し、上記色信号ベクトルが属すると判定された領域に対して予め設定しておいた補正行列を用いて、上記色信号ベクトルを変換することによりこの色信号ベクトルを補正する色補正装置において、
上記補正行列として、平行移動を行う成分と線形変換を行う成分とを有する補正行列を用いて上記色信号ベクトルをアフィン変換することにより補正結果の色信号ベクトルを得る信号補正手段を備えた、
ことを特徴とする色補正装置。
請求の範囲第２項に記載の色補正装置において、
入力された色信号ベクトルが、色信号平面の原点を通る領域境界線によって分割された色信号平面の領域の何れに属するかを判定し、上記色信号ベクトルが属すると判定された領域を分割する第１の領域境界線と第２の領域境界線とを出力する色領域判定手段を備え、
信号補正手段は、平行移動を行う成分と線形変換を行う成分とを有する補正行列として第１の領域境界線の補正行列と第２の領域境界線の補正行列とを用いて上記色信号ベクトルを変換し、第１の領域境界線の補正行列による一次変換結果と第２の領域境界線の補正行列による変換結果とを統合して補正結果の色信号ベクトルを得ることを特徴とする色補正装置。
請求の範囲第２項に記載の色補正装置において、
信号補正手段は、第１の領域境界線の補正行列による変換結果と第２の領域境界線の補正行列による変換結果とを、入力された色信号ベクトルが属すると判定された色信号平面の領域の境界線と上記色信号ベクトルとの距離関係に基づく重み付けを行って統合し、補正結果の色信号ベクトルを得ることを特徴とする色補正装置。