JP4004849B2

JP4004849B2 - 色補正回路と撮像装置

Info

Publication number: JP4004849B2
Application number: JP2002134145A
Authority: JP
Inventors: 雅也田丸
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2002-05-09
Filing date: 2002-05-09
Publication date: 2007-11-07
Anticipated expiration: 2022-05-09
Also published as: JP2003333617A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置で用いられる色補正回路に係り、特に、Ｒ（赤）Ｇ（緑）Ｂ（青）などの各色信号のホワイトバランス，色相，彩度を補正する色補正回路と撮像装置に関する。
【０００２】
【従来の技術】
撮像装置には、ＣＣＤ等の撮像素子から出力されるＲＧＢの各色信号に対して、各種の色補正を自動的に行う補正回路が搭載されている。図５は、従来の色補正回路の構成図であり、この例では、ゲイン補正回路１と、リニアマトリクス回路２の２つの色補正回路が設けられている。ゲイン補正回路１は、ホワイトバランスを補正する回路であり、撮像素子から出力されてくるＲＧＢの色信号３に対し、光源種類に対応した３行３列のマトリクス係数４を乗算し、光源種類に関わらず白色が白く見えるように補正している。
【０００３】
また、リニアマトリクス回路２は、撮像素子から出力されてくる色信号３に対し、３行３列のマトリクス係数５を乗算し、肉眼に近い自然な色調が得られる様に補正している。
【０００４】
この図５に示す従来の色補正回路は、ゲイン補正回路１とリニアマトリクス回路２とを独立に設け、ゲイン補正回路１でゲイン補正のみを行い、リニアマトリクス回路２でリニア補正のみを行う構成となっている。
【０００５】
【発明が解決しようとする課題】
図５に示すゲイン補正回路１に入力する色信号のうち、例えばＧ（緑）信号の値が“２５００”であったとする。そして、ゲイン補正回路１がＧ信号に対してゲインとして“２”を乗算することになっていた場合、ゲインの掛けられたＧ信号の値は“５０００”となる。
【０００６】
しかし、図５に示すデジタル信号処理系は１２ビットデータ系であるため、その上限値は“４０９５”であり、“５０００”を表現することはできない。このため、図５に示す色補正回路には、実際はＡ点（ゲイン補正回路１の出力段）にクリップ処理回路が設けられ、Ｇ信号の値を“４０９５”にクリップする様になっている。
【０００７】
更に、リニアマトリクス回路２で、例えば、Ｒ’＝０．９Ｒ−０．１Ｇという演算を行うと、本来であればＧ＝５０００であるため、この演算はＲ’＝０．９Ｒ−５００となるべきところ、ゲイン補正回路１におけるクリップ処理の影響を受けてＲ’＝０．９Ｒ−４０９．５となり、色相や彩度が変わってしまうという現象が起きる。また同様に、実際にはリニアマトリクス回路２の出力段にもクリップ処理回路が設けられるため、ゲイン補正回路１とリニアマトリクス回路２とが独立に設けられた従来の色補正回路では、クリップ処理が複数回実行され、色が飽和し易く、色の再現性が劣化してしまうという問題もある。
【０００８】
本発明の目的は、色補正が良好に行われ、クリップ処理の悪影響を低減した色補正回路とこの色補正回路を搭載した撮像装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的は、撮像素子から出力される色信号に対しマトリクス係数を乗算して色補正を行う色補正回路において、複数種類の色補正を行う場合に各種類の色補正に対応した複数のマトリクスの係数同士を乗算するとき各マトリクスの係数値に任意値を掛け整数値にしてから該乗算を行うと共に該乗算結果の分母と分子を共に所定値で除算することで統合マトリクスの各係数値を求め前記色信号に対して該統合マトリクスの該係数値を乗算して前記複数種類の色補正を一括して行う統合マトリクス演算処理手段を設けたことで、達成される。
【００１０】
この構成により、各マトリクス係数を色信号に乗算する度に必要となるクリップ処理が省略され、クリップ処理が多数回実行されることにより色再現の影響を低減可能となる。
【００１１】
好適には、上記において、前記マトリクス係数のうち少なくとも１つはユーザ指定の色空間マトリクス係数であることを特徴とする。この構成により、ユーザは任意の色空間を指定可能となり、ユーザの嗜好に合わせた色補正回路が提供でき、しかも、ユーザが色空間を指定したことによるクリップ処理回数の増加が防止される。
【００１２】
上記目的を達成する撮像装置は、上述した色補正回路を搭載することで、達成される。この撮像装置によれば、複数種類の色補正が実行されることで良好な色再現性が高まり、しかもユーザのニーズに合った撮像画像を得ることが可能となる。
【００１３】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１４】
図１は、本発明の一実施形態に係る色補正回路を搭載したデジタルスチルカメラの構成図である。尚、この例ではデジタルスチルカメラに本実施形態の色補正回路を搭載しているが、デジタルビデオカメラ等の他の種類の撮像装置に本実施形態の色補正回路を同様に搭載可能である。
【００１５】
このデジタルスチルカメラは、撮影レンズ１０と、ＣＣＤ等の固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、赤外線発光部１６及び赤外線受光部１７を制御して得た被写体までの距離情報に基づき、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００１６】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。
【００１７】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力された色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、ＣＰＵ１５によって制御される。
【００１８】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００１９】
図２は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、Ａ／Ｄ変換回路２３から出力されるデジタルのＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４１と、オフセット補正後のＲＧＢ色信号に対して統合リニアマトリクス処理を施して色補正を統合的に行う本実施形態の特徴に係る統合リニアマトリクス回路４２とを備える。
【００２０】
本実施形態のデジタル信号処理部２６は更に、色補正後の色信号に対してガンマ補正を行うガンマ補正回路４３と、ガンマ補正後のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４４と、ＲＧＢ信号から輝度信号Ｙと色差信号Ｃとを求めるＲＧＢ／ＹＣ変換回路４５と、輝度信号Ｙと色差信号Ｃからノイズを低減するノイズ低減回路４６と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４７と、ノイズ低減後の色差信号Ｃに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４８とを備える。
【００２１】
図３は、図２に示す統合リニアマトリクス回路４２の詳細構成図である。この統合リニアマトリクス回路４２は、入力してくるＲＧＢ色信号３に対して３行３列の統合マトリクス〔ｕ_ij〕を乗算するマトリクス演算処理部５１と、統合マトリクス演算処理後のデータが１２ビットデータ系の上限値，下限値を超える場合にクリップ処理を行うクリップ処理回路５２とから成る。
【００２２】
マトリクス演算処理部５１で用いる３行３列の統合マトリクス係数〔ｕ_ij〕は、本実施形態では、次の数１に従って予め演算して求め、統合マトリクス演算処理部５１に設定される。
【００２３】
【数１】

【００２４】
即ち、本実施形態の統合リニアマトリクス回路４２は、図４に示す様に、３つの色補正回路（リニアマトリクス回路５５，ゲイン補正回路５６，リニアマトリクス回路５７）を予め乗算して統合し求めた３行３列の統合マトリクス係数〔ｕ_ij〕を使用して色補正のマトリクス演算処理を行うことを特徴とする。
【００２５】
仮に、図４に示すリニアマトリクス回路５５のマトリクス〔ａ_ij〕をＲＧＢ信号に乗算し、次に、ゲイン補正回路５６のマトリクス〔ｇａｉｎ_ij〕を乗算し、最後にリニアマトリクス回路５７のマトリクス〔ｂ_ij〕を乗算する構成であると、マトリクス〔ａ_ij〕の乗算後にクリップ処理が必要となり、マトリクス〔ｇａｉｎ_ij〕の乗算後にもクリップ処理が必要となり、従来技術で述べた様に色補正後の色相等が歪んでしまうという問題が発生する。
【００２６】
しかし、本実施形態では、複数の色補正回路を統合したマトリクス〔ｕ_ij〕の各係数値ｕ_ijを予め求めておき、入力信号に対して統合マトリクス〔ｕ_ij〕を乗算する構成のため、クリップ処理は最後の出力段で行うだけで済む。即ち、本実施形態では、クリップ処理が１回で済むため色が飽和しにくくなり、更に、色補正に伴う色相などの歪みを最小限に抑えることが可能となる。
【００２７】
本実施形態では、統合マトリクス〔ｕ_ij〕を、２つのリニアマトリクス〔ａ_ij〕，〔ｂ_ij〕とホワイトバランスのマトリクス〔ｇａｉｎ_ij〕から求めている。リニアマトリクス〔ａ_ij〕は、図５で説明したリニアマトリクスと同じであり、色信号が肉眼に近い自然な色調となる様にするものである。これに対し、リニアマトリクス〔ｂ_ij〕は、別の目的で設けたものである。
【００２８】
近年では、ユーザが、パソコンなどを用いて撮像画像を自分の好みに応じて調整したいという要望が高く、そのためのソフトウェアが各種普及している。しかし、デジタルスチルカメラで撮像され記録媒体２９に格納された画像データそのものが既に統合リニアマトリクス回路４２で補正され、クリップ処理されてしまうため、クリップされてしまった部分は復元することができない。
【００２９】
このため、本実施形態では、図４に示すリニアマトリクス回路５７として、ユーザが指定した色空間（例えば、アドビＲＧＢ空間，ＳＲＧＢ空間，ＮＴＳＣなどがあり、夫々、色の再現域が異なる。）のマトリクスを操作部２１で選択でき、このデジタルスチルカメラはユーザが選択した色空間のマトリクス〔ｂ_ij〕を用いて統合マトリクス〔ｕ_ij〕を求め、この統合マトリクス〔ｕ_ij〕を用いて撮像画像の色信号を色補正する様になっている。
【００３０】
この様に、本実施形態によれば、複数種類の色補正を行う複数のマトリクスを予め統合し、統合したマトリクスを色信号に対して乗算し、複数種類の色補正を一括して行う構成としたため、何種類もの色補正を行ってもクリップ処理回数が１回で済み、クリップ処理に起因する色相や彩度の変化が生じ難く、色の再現性が良好になるという効果を奏する。
【００３１】
上述した数１の統合マトリクス係数〔ｕ_ij〕を用いて演算処理を行う場合、各係数値ｕ_ijが小数点の値になると処理が面倒となり演算処理手段の処理負荷が大きくなるため、マトリクス演算は整数演算で実行するのが好ましい。
【００３２】
即ち、図４で、任意の値“lmtx1#denomi”をマトリクス〔ａ_ij〕の各係数値に乗算して各係数値を整数にしておき、同様に、値“gain#denomi”をマトリクス〔ｇａｉｎ_ij〕に乗算しておき、値“lmtx2#denomi”をマトリクス〔ｂ_ij〕に乗算しておき、各係数値が整数値となったマトリクスから統合マトリクス〔ｕ_ij〕を求め、この統合マトリクス〔ｕ_ij〕で色信号を補正処理する。
【００３３】
このとき、統合マトリクスの統合係数値ｕ_ijの値が大きくなりオーバーフローする可能性があるため、統合係数値ｕ_ijの分母と分子を所定の値Ｋで除算した上で、３行３列のリニアマトリクス演算処理を実行する。このとき用いる数式を数２に例示する。
【００３４】
【数２】

【００３５】
この本実施形態によれば、演算負荷が少なくなって色補正を高速処理することができ、被写体の撮像から記録媒体２９への格納までの処理時間が短縮される。
【００３６】
上述した各実施形態に係る色補正回路は、色空間をユーザが任意に選択できる形式の撮像装置に適用するのが好適である。動画を撮影する撮像装置の場合、製品規格によって色空間が例えばＮＴＳＣなどに限定されてしまうため、ユーザが任意に色空間を選択することはできない。
【００３７】
しかし、静止画を撮像するデジタルスチルカメラや静止画を撮像可能なデジタルビデオカメラ等では、撮像した静止画のデータを撮像装置から読み出し、この静止画像をパソコンで調整してプリントアウトすることが多いため、ユーザが好みの色空間を撮像装置で選択できれば、ユーザの自由度が増し、製品価値が高くなるためである。
【００３８】
【発明の効果】
本発明によれば、色補正でクリップ処理が複数回入ることに起因する色相や彩度の変化をなくすことができ、色の再現性が良好になる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る色補正回路を搭載したデジタルスチルカメラの構成図である。
【図２】図１に示すデジタル信号処理部の詳細構成図である。
【図３】図２に示す統合リニアマトリクス回路の詳細構成図である。
【図４】図３に示す統合マトリクス回路の説明図である。
【図５】従来の色補正回路の説明図である。
【符号の説明】
１１固体撮像素子
１５ＣＰＵ
２２アナログ信号処理回路
２３Ａ／Ｄ変換回路
２６デジタル信号処理部
４２統合リニアマトリクス回路
５１統合マトリクス演算処理部
５２クリップ処理部
５５，５７リニアマトリクス回路
５６ゲイン補正回路（ホワイトバランス）

Claims

撮像素子から出力される色信号に対しマトリクス係数を乗算して色補正を行う色補正回路において、複数種類の色補正を行う場合に各種類の色補正に対応した複数のマトリクスの係数同士を乗算するとき各マトリクスの係数値に任意値を掛け整数値にしてから該乗算を行うと共に該乗算結果の分母と分子を共に所定値で除算することで統合マトリクスの各係数値を求め前記色信号に対して該統合マトリクスの該係数値を乗算して前記複数種類の色補正を一括して行う統合マトリクス演算処理手段を設けたことを特徴とする色補正回路。
前記マトリクス係数のうち少なくとも１つはユーザ指定の色空間マトリクス係数であることを特徴とする請求項１に記載の色補正回路。
請求項１または請求項２に記載の色補正回路を搭載したことを特徴とする撮像装置。