JP3992476B2

JP3992476B2 - Image processing device

Info

Publication number: JP3992476B2
Application number: JP2001342364A
Authority: JP
Inventors: 光章黒川
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2001-11-07
Filing date: 2001-11-07
Publication date: 2007-10-17
Anticipated expiration: 2021-11-07
Also published as: JP2003143622A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像処理装置に関し、特にたとえばディジタルカメラに適用され、画像信号に色調整を施す、画像処理装置に関する。
【０００２】
【従来技術】
ディジタルカメラのような画像処理装置では、撮影された画像信号に白バランス調整が施される。具体的には、画像信号を形成するＲ信号，Ｇ信号およびＢ信号のレベルが所定関係となるように、Ｒ信号およびＢ信号にゲインｘおよびｙが付与される。ただし、白バランス調整は画像の一部分のみを対象として実行されるわけではなく、ゲインｘおよびｙは１フレーム期間にわたって付与される。
【０００３】
【発明が解決しようとする課題】
このため、たとえば水色の用紙の上に置かれた青色の主要被写体を撮影すると、用紙の色は白色に変化し、主要被写体の色は水色に変化してしまう。また、ピンク色の用紙の上に置かれた赤色の主要被写体を撮影すると、用紙の色はピンク色から白色に変化し、主要被写体の色はピンク色に変化してしまう。つまり、白バランス調整のみでは、色再現性が低下する場合がある。
【０００４】
それゆえに、この発明の主たる目的は、色再現性を改善することができる、画像処理装置を提供することである。
【０００５】
【課題を解決するための手段】
この発明に従う画像処理装置は、撮像手段から出力された被写界像に白バランス調整処理を施す調整手段、調整手段によって調整された白バランスを有する被写界像に彩度補正係数を参照した彩度補正処理を施す補正手段、および補正手段によって参照される彩度補正係数を調整手段による調整量の変化が相殺されるように変更する変更手段を備え、白バランス調整処理は既定色範囲に属する色を示す画素の彩度値がゼロに向かうように被写界像の色を調整する処理であり、彩度補正処理は被写界像を形成する各画素の彩度値に彩度補正係数を掛け算する処理である。
【０００６】
【作用】
撮像手段から出力された被写界像は、調整手段によって白バランス調整処理を施される。補正手段は、調整手段によって調整された白バランスを有する被写界像に彩度補正係数を参照した彩度補正処理を施す。変更手段は、補正手段によって参照される彩度補正係数を調整手段による調整量の変化が相殺されるように変更する。ここで、白バランス調整処理は、既定色範囲に属する色を示す画素の彩度値がゼロに向かうように被写界像の色を調整する処理である。また、彩度補正処理は、被写界像を形成する各画素の彩度値に彩度補正係数を掛け算する処理である。
【０００７】
好ましくは、複数の色にそれぞれ対応する複数の彩度補正係数が保持手段によって保持される。補正手段は、被写界像を形成する各画素に関連する彩度補正係数を保持手段から検出する検出手段を含む。
【０００８】
好ましくは、調整手段は、白バランス調整係数を参照して白バランス調整処理を実行する。撮像手段は、被写界像を繰り返し出力する。更新手段は、調整手段によって参照される白バランス調整係数を繰り返し更新する。
【０００９】
さらに好ましくは、変更手段は、更新手段によって更新される前後の白バランス調整係数の差分値に注目して変更処理を実行する。
【００１２】
【発明の効果】
この発明によれば、色再現性を改善することができる。
【００１３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１４】
【実施例】
図１を参照して、この実施例のディジタルカメラ１０は、フォーカスレンズ１２を含む。被写体の光学像は、このフォーカスレンズ１２を経てイメージセンサ１４の受光面に入射される。受光面では、入射された光学像に対応するカメラ信号（生画像信号）が光電変換によって生成される。なお、受光面は、原色ベイヤ配列の色フィルタ（図示せず）によって覆われ、カメラ信号を形成する各々の画素信号は、Ｒ，ＧおよびＢのいずれか１つの色情報成分のみを持つ。
【００１５】
電源が投入されると、ＣＰＵ３８からタイミングジェネレータ（ＴＧ）１６，信号処理回路２２およびビデオエンコーダ２８に処理命令が与えられる。これによって、スルー画像処理が開始される。
【００１６】
ＴＧ１６は、イメージセンサ１４の露光およびカメラ信号の読み出しを繰り返し実行する。イメージセンサ１４から読み出された各フレームのカメラ信号は、ＣＤＳ／ＡＧＣ回路１８における周知のノイズ除去およびレベル調整を経て、Ａ／Ｄ変換器２０でディジタル信号に変換される。
【００１７】
信号処理回路２２は、Ａ／Ｄ変換器２０から出力された各フレームのカメラデータに色分離，色調整，ＹＵＶ変換などの信号処理を施し、輝度成分（Ｙデータ）および色差成分（Ｕデータ，Ｖデータ）からなる画像データを生成する。色調整処理では、まず白バランスが調整され、続いて明度，彩度および色相が補正される。このとき、白バランスを調整するための調整係数（後述するゲインｘ１およびｙ１）ならびに明度，彩度および色相を補正するための補正係数（後述する目標Ｌ成分値，目標Ｃ成分値および目標Ｈ成分値）は、ＣＰＵ３８によって決定される。信号処理回路２２によって生成された画像データはメモリ制御回路２４に与えられ、メモリ制御回路２４によってＳＤＲＡＭ２６に書き込まれる。
【００１８】
ビデオエンコーダ２８は、ＳＤＲＡＭ２６に格納された画像データをメモリ制御回路２４に読み出させる。そして、読み出された各フレームの画像データをＮＴＳＣフォーマットのコンポジット画像信号にエンコードし、エンコードされたコンポジット画像信号をモニタ３０に供給する。モニタ３０には、被写体のリアルタイム動画像（スルー画像）が表示される。
【００１９】
シャッタボタン４０が全押しされると、撮影／記録処理が実行される。まず、ＣＰＵ３８からＪＰＥＧコーデック３２に圧縮命令が与えられる。ＪＰＥＧコーデック３２は、ＳＤＲＡＭ２６に格納された１フレーム分の画像データをメモリ制御回路２４に読み出させ、読み出された画像データにＪＰＥＧフォーマットに準じた圧縮処理を施す。圧縮画像データが得られると、ＪＰＥＧコーデック３２は、生成された圧縮画像データをメモリ制御回路２４に与える。圧縮画像データは、メモリ制御回路２４によってＳＤＲＡＭ２６に格納される。
【００２０】
圧縮画像データの格納処理が完了すると、ＣＰＵ３８は、メモリ制御回路２４を通してＳＤＲＡＭ２６から圧縮画像データを読み出し、読み出した圧縮画像データをＩ／Ｆ回路３４を通してメモリカード３６に記録する。これによって、メモリカード３６内に画像ファイルが作成される。なお、メモリカード３６は着脱自在な不揮発性の記録媒体であり、スロット（図示せず）に装着されたときにＣＰＵ３８によってアクセス可能となる。
【００２１】
信号処理回路２２は、図２に示すように構成される。Ａ／Ｄ変換器２０から出力されたカメラデータは、色分離回路２２ａによって色分離を施される。カメラデータを構成する各々の画素データはＲ成分，Ｇ成分およびＢ成分のいずれか１つしか持っていないため、各画素が不足する２つの色成分が色分離回路２２ａによって補完される。色分離回路２２ａからは、各画素のＲ成分，Ｇ成分およびＢ成分が同時に出力される。つまり、各画素がＲ成分，Ｇ成分およびＢ成分を有するＲＧＢデータが、色分離回路２２ａから出力される。Ｒ成分およびＢ成分は、白バランス調整回路２２ｂを形成するアンプ２２１ｂおよび２２２ｂを経て積算回路２２ｃおよびＬＣＨ変換回路２２ｄに与えられる。アンプ２２１ｂではＲ成分にゲインｘ１が付与され、アンプ２２２ｂではＢ成分にゲインｙ１が付与される。一方、Ｇ成分は、そのまま積算回路２２ｃおよびＬＣＨ変換回路２２ｄに与えられる。
【００２２】
画面は、水平方向および垂直方向に１６分割され、２５６個の分割エリアが画面上に形成される。積算回路２２ｃは、Ｒ成分，Ｇ成分およびＢ成分を分割エリア毎にかつ同じ色成分毎に積算する。このため、２５６個の積算値Ｉｒ（ｉ），２５６個の積算値Ｉｇ（ｉ）および２５６個の積算値Ｉｂ（ｉ）が１フレーム期間毎に得られる（ｉ＝１〜２５６）。つまり、２５６個の分割エリアに個別に対応する２５６個の色評価値が、１フレーム期間毎に求められる。ＣＰＵ３８は、こうして得られた色評価値に基づいて、白バランス調整のための最適ゲインｘｓおよびｙｓを算出する。
【００２３】
具体的には、まず積算値Ｉｒ（ｉ）およびＩｂ（ｉ）を積算値Ｉｒｙ（ｉ）およびＩｂｙ（ｉ）に変換する。積算値Ｉｒｙ（ｉ）およびＩｂｙ（ｉ）は、色差成分Ｒ‐ＹおよびＢ‐Ｙを分割エリア毎に積算した値に等しい。このような積算値Ｉｒｙ（ｉ）およびＩｂｙ（ｉ）もまた、各分割エリアの色評価値である。
【００２４】
続いて、図３（Ａ）に示す数値分布を持つ重み付けテーブル３８ａ（ＣＰＵ３８内に形成）と各分割エリアの積算値Ｉｒｙ（ｉ）およびＩｂｙ（ｉ）とに基づいて、各分割エリアの重み付け係数ｋ（ｉ）を検出する。重み付けテーブル３８ａには重み付け係数ｋ（ｉ）として“０”または“１”が格納されており、各々の重み付け係数ｋ（ｉ）は図３（Ｂ）に示すグラフに対応している。つまり、Ｂ−Ｙ軸およびＲ−Ｙ軸がそれぞれ１７分割され、さらにＢ−Ｙ軸およびＲ−Ｙ軸によって区切られた各々の象限が６４分割される。重み付け係数ｋ（ｉ）は、こうして形成された２９０個のエリアに１つずつ割り当てられる。なお、重み付け係数ｋ（ｉ）＝１が割り当てられた範囲が引き込み範囲である。
【００２５】
分割エリア毎に重み付け係数ｋ（ｉ）が検出されると、数１に従って最適ゲインｘｓおよびｙｓが算出される。
【００２６】
【数１】

重み付け係数ｋ（ｉ）は“０”または“１”しか持たないため、ｋ（ｉ）をＩｇ（ｉ）およびＩｂ（ｉ）に掛けることで、色評価値が引き込み範囲内にある分割エリアだけが有効となる。数１によれば、このような有効分割エリアの積算値Ｉｒ（ｉ），積算値Ｉｇ（ｉ）および積算値Ｉｂ（ｉ）の各々の総和に基づいて、最適ゲインｘｓおよびｙｓが求められる。求められた最適ゲインｘｓおよびｙｓは、引き込み範囲に含まれる色評価値の平均がＲ−Ｙ軸およびＢ−Ｙ軸の交点に収束するような値をとる。
【００２７】
図４に示すように用紙４２の上に置かれたスティック４４を真上から撮影した場合、ＬＣＤ３０には図５に示す要領で被写体像が表示される。図５に示す複数の縦線および横線は、画面を２５６個の分割エリアに区分するための線であり、実際には表示されない。用紙４２が薄いオレンジ色で、スティック４４が濃い黄色である場合、用紙４２の色のみを積算した積算値Ｉｒｙ（ｉ）およびＩｂｙ（ｉ）は引き込み範囲に含まれるが、スティック４４の色のみを積算した積算値Ｉｒｙ（ｉ）およびＩｂｙ（ｉ）は引き込み範囲から外れる。この結果、最適ゲインｘｓおよびｙｓは、用紙４２の色に関する積算値Ｉｒ（ｉ），Ｉｇ（ｉ）およびＩｂ（ｉ）に基づいて決定される。
【００２８】
最適ゲインｘｓおよびｙｓが算出される前の用紙４２の色に関する積算値Ｉｒｙ（ｉ）およびＩｂｙ（ｉ）が図６に示すエリア１に分布する場合、最適ゲインｘｓおよびｙｓが算出されかつアンプ２２１ｂおよび２２２ｂに設定された後の用紙４２の色に関する積算値Ｉｒｙ（ｉ）およびＩｂｙ（ｉ）は、図６に示すエリア２に移動する。つまり、用紙４２の色に関する積算値Ｉｒｙ（ｉ）およびＩｂｙ（ｉ）は、移動量Ｗ１だけ移動する。
【００２９】
図２に戻って、ＬＣＨ変換回路２２ｄは、与えられた各画素のＲ成分、Ｇ成分およびＢ成分をＬ成分（明度成分），Ｃ成分（彩度成分）およびＨ成分（色相成分）に変換する。ＬＣＨ変換回路２２ｄからは、各画素がＬ成分，Ｃ成分およびＨ成分を有するＬＣＨデータが出力される。Ｌ成分，Ｃ成分およびＨ成分は、Ｌ補正回路２２ｅ，Ｃ補正回路２２ｆおよびＨ補正回路２２ｇにそれぞれ与えられる。Ｌ補正回路２２ｅ，Ｃ補正回路２２ｆおよびＨ補正回路２２ｇはそれぞれ、入力されたＬ成分，Ｃ成分およびＨ成分に所定の演算を施し、補正Ｌ成分，補正Ｃ成分および補正Ｈ成分を求める。求められた補正Ｈ成分，補正Ｃ成分および補正Ｌ成分はその後、ＹＵＶ変換回路２２ｈによってＹ成分，Ｕ成分およびＶ成分に変換される。ＹＵＶ変換はいわゆる４：２：２変換（または４：１：１変換）であり、ＹＵＶ変換回路２２ｈから出力されるＹ成分，Ｕ成分およびＶ成分は４：２：２（または４：１：１）の比率を持つ。
【００３０】
ＬＣＨ変換回路２２ｄから出力されたＨ成分は、領域判別回路２２ｉにも与えられる。領域判別回路２２ｉは、基準値テーブル２２ｊを参照して、ＬＣＨ変換回路２２ｄから与えられたＨ成分の属する領域を判別する。そして、判別結果に対応する基準値を基準値テーブル２２ｊから読み出すとともに、判別結果に対応する目標値を目標値テーブル２２ｋから読み出す。
【００３１】
図７を参照して、基準値テーブル２２ｊには、６つの基準Ｈ成分値，６つの基準Ｃ成分値および６つの基準Ｌ成分値が書き込まれている。Ｈ，ＣおよびＬはそれぞれ色相，彩度および明度を意味し、いずれも色調補正のためのパラメータである。互いに関連する基準Ｈ成分値，基準Ｃ成分値および基準Ｌ成分値には同じ基準値番号Ｎ（１〜６）が割り当てられ、基準値番号が共通する３つの成分値（基準Ｈ成分値，基準Ｃ成分値，基準Ｌ成分値）によって基準値が規定される。この６つの基準値は、６つの代表色（Ｍｇ，Ｒ，Ｙｅ，Ｇ，Ｃｙ，Ｂ）に個別に対応し、図９および図１０に示すようにＹＵＶ空間に分布する。なお、図１０には基準値番号が“５”の基準値のみを示している。
【００３２】
一方、目標値テーブル２２ｋは、図８に示すように形成される。図７に示す基準値テーブル２２ｈと同様、色相（Ｈ），彩度（Ｃ）および明度（Ｌ）の各々に関する６つの目標Ｈ成分値，６つの目標Ｃ成分値および６つの目標Ｌ成分値が設定され、同じ目標値番号Ｎ（＝１〜６）に割り当てられた目標Ｈ成分値，目標Ｃ成分値および目標Ｌ成分値によって目標値が規定される。この６つの目標値もまた、６つの代表色（Ｍｇ，Ｒ，Ｙｅ，Ｇ，Ｃｙ，Ｂ）に個別に対応する。目標Ｈ成分値，目標Ｃ成分値および目標Ｌ成分値が図８に示す数値を示すとき、６つの目標値は図９および図１０に示すようにＹＵＶ空間に分布する。なお、図１０には目標値番号が“５”の目標値のみを示している。
【００３３】
目標値テーブル２２ｋが基準値テーブル２２ｊと異なるのは、各々の目標値を変更できる点である。つまり、基準値テーブル２２ｊに設定された基準Ｈ成分値，基準Ｃ成分値および基準Ｌ成分値が、製造段階で予め設定され、オペレータによって自由に変更できないのに対して、目標値テーブル２２ｋに設定される目標Ｈ成分値，目標Ｃ成分値および目標Ｌ成分値は、ＣＰＵ３８によって変更される。
【００３４】
領域判別回路２２ｉは、画像データを形成する各画素について領域判別と判別結果に応じた基準値および目標値の選択とを行うべく、図１１に示すフロー図を１画素毎に実行する。まずステップＳ１でカウンタ２２ｎのカウント値Ｎを“１”に設定し、ステップＳ３でカウント値Ｎに対応する基準Ｈ成分値を基準値テーブル２２ｈから読み出す。ステップＳ５では、ＬＣＨ変換回路２２ｄから入力した現画素のＨ成分値（現画素Ｈ成分値）を基準値テーブル２２ｊから読み出された基準Ｈ成分値と比較する。
【００３５】
ステップＳ５で基準Ｈ成分値＞現画素Ｈ成分値と判断されると、ステップＳ１１でカウント値Ｎを“１”と比較する。Ｎ＝１であればステップＳ２１〜Ｓ２７を処理するが、Ｎ＞１であればステップＳ１３〜Ｓ１９を処理する。一方、基準Ｈ成分値≦現画素Ｈ成分値であれば、ステップＳ７でカウンタ２２ｎをインクリメントし、続くステップＳ９で更新後のカウント値Ｎを“６”と比較する。そして、Ｎ≦６であればステップＳ３に戻るが、Ｎ＞６であればステップＳ２１〜Ｓ２７を処理する。
【００３６】
ステップＳ１３では、現時点のカウント値Ｎに対応する基準Ｈ成分値，基準Ｃ成分値および基準Ｌ成分値をＨｒ１，Ｃｒ１およびＬｒ１として基準値テーブル２２ｊから選択し、ステップＳ１５では、現時点のカウント値Ｎに対応する目標Ｈ成分値，目標Ｃ成分値および目標Ｌ成分値をＨｔ１，Ｃｔ１およびＬｔ１として、目標値テーブル２２ｋから選択する。また、ステップＳ１７では、カウント値Ｎ−１に対応する基準Ｈ成分値，基準Ｃ成分値および基準Ｌ成分値をＨｒ２，Ｃｒ２およびＬｒ２として基準値テーブル２２ｊから選択し、ステップＳ１９では、カウント値Ｎ−１に対応する目標Ｈ成分値，目標Ｃ成分値および目標Ｌ成分値をＨｔ２，Ｃｔ２およびＬｔ２として、目標値テーブル２２ｋから選択する。
【００３７】
一方、ステップＳ２１では、カウント値Ｎ＝１に対応する基準Ｈ成分値，基準Ｃ成分値および基準Ｌ成分値をＨｒ１，Ｃｒ１およびＬｒ１として基準値テーブル２２ｊから選択し、ステップＳ２３では、カウント値Ｎ＝１に対応する目標Ｈ成分値，目標Ｃ成分値および目標Ｌ成分値をＨｔ１，Ｃｔ１およびＬｔ１として、目標値テーブル２２ｋから選択する。また、ステップＳ２５では、カウント値Ｎ＝６に対応する基準Ｈ成分値，基準Ｃ成分値および基準Ｌ成分値をＨｒ２，Ｃｒ２およびＬｒ２として基準値テーブル２２ｊから選択し、ステップＳ２７では、カウント値Ｎ＝６に対応する目標Ｈ成分値，目標Ｃ成分値および目標Ｌ成分値をＨｔ２，Ｃｔ２およびＬｔ２として、目標値テーブル２２ｋから選択する。
【００３８】
このようにして、色相に関して現画素値を挟む２つの基準値と、この２つの基準値に対応する２つの目標値とが検出される。
【００３９】
基準Ｈ成分値Ｈｒ１およびＨｒ２ならびに目標Ｈ成分値Ｈｔ１およびＨｔ２はＨ補正回路２２ｇに与えられる。また、基準Ｃ成分値Ｃｒ１およびＣｒ２ならびに目標Ｃ成分値Ｃｔ１およびＣｔ２はＣ補正回路２２ｆに与えられる。さらに、基準Ｌ成分値Ｌｒ１およびＬｒ２ならびに目標Ｌ成分値Ｌｔ１およびＬｔ２はＬ補正回路２２ｅに与えられる。
【００４０】
Ｈ補正回路２２ｇは、ＬＣＨ変換回路２２ｄから現画素Ｈ成分値Ｈｉｎを取り込み、数２に従って補正Ｈ成分値Ｈｏｕｔを算出する。算出された補正Ｈ成分値Ｈｏｕｔは、図１２に破線で示す角度にシフトする。
【００４１】
【数２】

Ｈ補正回路２２ｇはまた、角度データα（＝｜Ｈｒ２−Ｈｉｎ｜）およびβ（＝｜Ｈｒ１−Ｈｉｎ｜）をＣ補正回路２２ｆおよびＬ補正回路２２ｅに出力するとともに、角度データγ（＝｜Ｈｔ２−Ｈｏｕｔ｜）およびδ＝（｜Ｈｔ１−Ｈｏｕｔ｜）をＬ補正回路２２ｅに出力する。
【００４２】
Ｃ補正回路２２ｆは、ＬＣＨ変換回路２２ｄから取り込んだ現画素Ｃ成分値Ｃｉｎに数３に示す演算を施し、図１３に示す補正Ｃ成分値Ｃｏｕｔを算出する。
【００４３】
【数３】

Ｃ補正回路２２ｆはまた、数４を演算して、ＣＨ系の座標（０，０）および（Ｃｉｎ，Ｈｉｎ）を結ぶ直線と座標（Ｃｒ１，Ｈｒ１）および（Ｃｒ２，Ｈｒ２）を結ぶ直線との交点座標におけるＣ成分値Ｃｒ３、ならびにＣＨ系の座標（０，０）および（Ｃｏｕｔ，Ｈｏｕｔ）を結ぶ直線と座標（Ｃｔ１，Ｈｔ１）および（Ｃｔ２，Ｈｔ２）を結ぶ直線との交点座標におけるＣ成分値Ｃｔ３を算出する。そして、算出したＣ成分値Ｃｒ３およびＣｔ３を上述の現画素Ｃ成分値Ｃｉｎおよび補正Ｃ成分値ＣｏｕｔとともにＬ補正回路２２ｅに出力する。
【００４４】
【数４】
Ｃｒ３＝Ｃｒ１＋（Ｃｒ２−Ｃｒ１）・β／（α＋β）
Ｃｔ３＝Ｃｔ１＋（Ｃｔ２−Ｃｔ１）・δ／（γ＋δ）
Ｌ補正回路２２ｅは、ＬＣＨ変換回路２２ｄから現画素Ｌ成分値Ｌｉｎを取り込み、数５に従って図１４に示す補正Ｌ成分値Ｌｏｕｔを求める。図１４に示すＬｍａｘおよびＬｍｉｎはそれぞれ、再現できるＬ（明度）の最大値および最小値である。現画素値（入力画素値）は、ＬＣＨ系の座標（Ｌｍａｘ，０，０）、（Ｌｍｉｎ，０，０）および（Ｌｒ３，Ｃｒ３，Ｈｉｎ）によって形成される面（ＹＵＶ空間を色相Ｈｉｎで切り出した面）上に存在する。一方、補正画素値は、ＬＣＨ系の座標（Ｌｍａｘ，０，０）、（Ｌｍｉｎ，０，０）および（Ｌｔ３，Ｃｔ３，Ｈｏｕｔ）によって形成される面（ＹＵＶ空間を色相Ｈｏｕｔで切り出した面）上に存在する。
【００４５】
【数５】
Ｌｏｕｔ＝（Ｌｉｎ−Ｌａ）・（Ｌｄ−Ｌｃ）／（Ｌｂ−Ｌａ）＋Ｌｃ
Ｌａ＝Ｃｉｎ／Ｃｒ３・（Ｌｒ３−Ｌｍｉｎ）
Ｌｂ＝Ｃｉｎ／Ｃｒ３・（Ｌｒ３−Ｌｍａｘ）＋Ｌｍａｘ
Ｌｃ＝Ｃｏｕｔ／Ｃｔ３・（Ｌｔ３−Ｌｍｉｎ）
Ｌｄ＝Ｃｏｕｔ／Ｃｔ３・（Ｌｔ３−Ｌｍａｘ）＋Ｌｍａｘ
Ｌｒ３＝Ｌｒ１＋（Ｌｒ２−Ｌｒ１）・β／（α＋β）
Ｌｔ３＝Ｌｔ１＋（Ｌｔ２−Ｌｔ１）・δ／（γ＋δ）
このようにして求められた補正Ｈ成分値Ｈｏｕｔ，補正Ｃ成分値Ｃｏｕｔおよび補正Ｌ成分値Ｌｏｕｔによって、補正画素値が規定される。なお、現画素値は、ＬＣＨ変換回路２２ｄから出力された現画素Ｈ成分値Ｈｉｎ，現画素Ｃ成分値Ｃｉｎおよび現画素Ｌ成分値Ｌｉｎによって規定される。
【００４６】
ＣＰＵ３８は、具体的には、図１５および図１６に示すフロー図を処理する。まずステップＳ３１で、基準ゲインｘｒおよびｙｒをゲインｘ１およびｙ１として保持する。アンプ２２１ｂおよび２２２ｂには、基準ゲインｘｒおよびｙｒが設定される。なお、基準ゲインｘｒおよびｙｒとは、５１００Ｋの色温度（基準色温度）を持つ被写体を撮影したときに白バランスが適切に調整されるゲインであり、製造段階で決定される。ステップＳ３３ではスルー画像処理を開始すべくＴＧ１６，信号処理回路２２およびビデオエンコーダ２８に処理命令を与え、続くステップＳ３５では色調補正を行う。ステップＳ３７ではシャッタボタン４０の操作の有無を判別し、ＮＯであればステップＳ３５に戻る。この結果、色調補正が行われたスルー画像がＬＣＤ３０に表示される。シャッタボタン４０が操作されると、ステップＳ３９に進み、撮影／記録処理を行う。これによって、シャッタボタン４０の操作に応答して撮影された被写体像の圧縮画像データが、ファイル形式でメモリカード３６に記録される。
【００４７】
ステップＳ３５の色調補正処理は、図１６に示すサブルーチンに従って実行される。まずステップＳ４１で垂直同期信号の発生の有無を判別し、ＹＥＳと判断されたときに図２に示す積分回路２２ｃから積算値Ｉｒ（ｉ），Ｉｇ（ｉ）およびＩｂ（ｉ）を取り込む（ｉ＝１〜２５６）。ステップＳ４５では取り込まれた積算値Ｉｒ（ｉ），Ｉｇ（ｉ）およびＩｂ（ｉ）に基づいて最適ゲインｘｓおよびｙｓを算出し、続くステップＳ４７では算出された最適ゲインｘｓおよびｙｓをゲインｘ２およびｙ２として保持する。ステップＳ４９では、数６に従って差分ゲインΔｘおよびΔｙを求める。
【００４８】
【数６】
Δｘ＝ｘ２−ｘ１
Δｙ＝ｙ２−ｙ１
算出された差分ゲインΔｘおよびΔｙは、被写体像の白バランスの変化量であり、図６または図１７に示すエリア１からエリア２までの移動量Ｗ１に相当する。ステップＳ５１，Ｓ５３およびＳ５５では、目標値テーブル２２ｋに設定された目標Ｈ成分値，目標Ｃ成分値および目標Ｌ成分値をこのような差分ゲインΔｘおよびΔｙに基づいて変更する。変更された目標Ｈ成分値，目標Ｃ成分値および目標Ｌ成分値によって規定される目標値は、図１７に□で示す位置に移動する。このときの移動量Ｔ１は、白バランス調整による移動量Ｗ１を相殺する量である。ステップＳ５５の処理が完了すると、ステップＳ５７でゲインｘ２およびｙ２をゲインｘ１およびｙ１として保持し、その後上階層のルーチンに復帰する。
【００４９】
以上の説明から分かるように、色分離回路２２ａから出力されたＲＧＢデータの白バランスが白バランス調整回路２２ｂによって調整されると、当該ＲＧＢデータがＬＣＨ変換回路２２ｄによってＬＣＨデータに変換される。変換されたＬ成分，Ｃ成分およびＨ成分はそれぞれ、Ｌ補正回路２２ｅ，Ｃ補正回路２２ｆおよびＨ補正回路２２ｇによる色調補正を施される。このとき、目標値テーブル２２ｋに設定された目標Ｌ成分値，目標Ｃ成分値および目標Ｈ成分値が用いられ、ＬＣＨ系で表現される各々の画素データの色調が個別に補正される。ＣＰＵ３８は、ゲインｘ１およびｙ１が最適ゲインｘｓおよびｙｓに調整される前後の差分ゲインΔｘおよびΔｙを白バランスの変化量として算出し、当該差分ゲインΔｘおよびΔｙに基づいて目標値テーブル２２ｋの目標Ｌ成分値，目標Ｃ成分値および目標Ｈ成分値を変更する。
【００５０】
Ｃ補正回路２２ｇによる彩度補正は、上述の数３に従って行われる。数３によれば、現画素Ｃ成分値Ｃｉｎに目標Ｃ成分値Ｃｔ１およびＣｔ２が掛け算される。ただし、現画素Ｃ成分値Ｃｉｎが白バランス調整によって無彩色に調整された画素のＣ成分値であれば、Ｃｉｎ＝０であり、これに目標Ｃ成分値Ｃｔ１およびＣｔ２を掛け算しても掛け算結果は０のままである。換言すれば、目標Ｃ成分値Ｃｔ１およびＣｔ２を現画素Ｃ成分値Ｃｉｎに掛け算することで、有彩色の画素データの彩度のみが補正される。このような目標Ｃ成分値Ｃｔ１およびＣｔ２をΔｘおよびΔｙに基づいて補正することで、有彩色の色再現性を改善することができる。
【００５１】
なお、この実施例では、原色データに基づいて被写体像の白バランスを調整するようにしているが、イメージセンサから補色データが出力される場合、白バランスは補色データ（たとえばＣｙおよびＹｅ）に基づいて調整するようにしてもよい。
【図面の簡単な説明】
【図１】この発明の一実施例を示すブロック図である。
【図２】図１に示す信号処理回路の構成の一例を示すブロック図である。
【図３】（Ａ）は重み付けテーブルに設定された重み付け係数の一例を示す図解図であり、（Ｂ）は色の分布状態を示す図解図である。
【図４】被写体の一例を示す図解図である。
【図５】図４に示す被写体を撮影したときの表示画面の一例を示す図解図である。
【図６】白バランス調整時の動作の一部を示す図解図である。
【図７】基準値テーブルの一例を示す図解図である。
【図８】目標値テーブルの一例を示す図解図である。
【図９】基準値および目標値の分布状態の一例を示す図解図である。
【図１０】基準値および目標値の分布状態の他の一例を示す図解図である。
【図１１】領域判別回路の動作の一部を示すフロー図である。
【図１２】色相を調整するときの動作の一例を示す図解図である。
【図１３】彩度を調整するときの動作の一例を示す図解図である。
【図１４】明度を調整するときの動作の一例を示す図解図である。
【図１５】ＣＰＵの動作の一部を示すフロー図である。
【図１６】ＣＰＵの動作の他の一部を示すフロー図である。
【図１７】図１実施例の動作の一部を示す図解図である。
【符号の説明】
１０…ディジタルカメラ
１４…イメージセンサ
２２…信号処理回路
２６…ＳＤＲＡＭ
２８…ビデオエンコーダ
３２…ＪＰＥＧコーデック
３６…メモリカード
３８…ＣＰＵ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus that is applied to, for example, a digital camera and performs color adjustment on an image signal.
[0002]
[Prior art]
In an image processing apparatus such as a digital camera, white balance adjustment is performed on a captured image signal. Specifically, gains x and y are given to the R signal and the B signal so that the levels of the R signal, the G signal, and the B signal forming the image signal have a predetermined relationship. However, the white balance adjustment is not executed for only a part of the image, and the gains x and y are given over one frame period.
[0003]
[Problems to be solved by the invention]
For this reason, for example, when a blue main subject placed on light blue paper is photographed, the color of the paper changes to white and the color of the main subject changes to light blue. When a red main subject placed on a pink paper is photographed, the paper color changes from pink to white and the main subject changes to pink. In other words, color reproducibility may be reduced only by white balance adjustment.
[0004]
Therefore, a main object of the present invention is to provide an image processing apparatus capable of improving color reproducibility.
[0005]
[Means for Solving the Problems]
An image processing apparatus according to the present invention refers to an adjustment unit that performs a white balance adjustment process on a scene image output from an imaging unit, and refers to a saturation correction coefficient for a scene image having a white balance adjusted by the adjustment unit. correcting means performs saturation correction processing, and the saturation correction coefficient referred to by the correction means includes a changing means for changing to change the adjustment amount by the adjustment means is canceled, the white balance adjustment process is the default color range This is a process to adjust the color of the object scene image so that the saturation value of the pixel indicating the color belongs to zero, and the saturation correction process corrects the saturation value of each pixel that forms the object scene image. This is a process of multiplying coefficients.
[0006]
[Action]
The object scene image output from the imaging unit is subjected to white balance adjustment processing by the adjustment unit. The correction unit performs a saturation correction process with reference to a saturation correction coefficient on the object scene image having the white balance adjusted by the adjustment unit. Change means changes the adjustment amount by the adjustment means the saturation correction coefficient referred to by the correction means is changed to be canceled. Here, the white balance adjustment process is a process of adjusting the color of the object scene image so that the saturation value of the pixel indicating the color belonging to the predetermined color range is directed to zero. The saturation correction process is a process of multiplying the saturation value of each pixel forming the object scene image by a saturation correction coefficient.
[0007]
Preferably, a plurality of saturation correction coefficients respectively corresponding to a plurality of colors are held by the holding unit. The correcting means includes detecting means for detecting a saturation correction coefficient associated with each pixel forming the scene image from the holding means.
[0008]
Preferably, the adjustment unit performs white balance adjustment processing with reference to a white balance adjustment coefficient. The imaging means repeatedly outputs the object scene image. The update means repeatedly updates the white balance adjustment coefficient referred to by the adjustment means.
[0009]
More preferably, the changing unit performs the changing process while paying attention to a difference value of the white balance adjustment coefficient before and after being updated by the updating unit.
[0012]
【The invention's effect】
According to this invention , color reproducibility can be improved.
[0013]
The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
[0014]
【Example】
Referring to FIG. 1, a digital camera 10 of this embodiment includes a focus lens 12. The optical image of the subject enters the light receiving surface of the image sensor 14 through the focus lens 12. On the light receiving surface, a camera signal (raw image signal) corresponding to the incident optical image is generated by photoelectric conversion. The light receiving surface is covered with a primary color Bayer array color filter (not shown), and each pixel signal forming a camera signal has only one color information component of R, G, and B.
[0015]
When the power is turned on, processing instructions are given from the CPU 38 to the timing generator (TG) 16, the signal processing circuit 22 and the video encoder 28. Thereby, the through image processing is started.
[0016]
The TG 16 repeatedly executes exposure of the image sensor 14 and reading of the camera signal. The camera signal of each frame read from the image sensor 14 is converted into a digital signal by the A / D converter 20 through known noise removal and level adjustment in the CDS / AGC circuit 18.
[0017]
The signal processing circuit 22 performs signal processing such as color separation, color adjustment, and YUV conversion on the camera data of each frame output from the A / D converter 20 to obtain a luminance component (Y data) and a color difference component (U data, V data) is generated. In the color adjustment process, the white balance is first adjusted, and then the lightness, saturation, and hue are corrected. At this time, adjustment coefficients for adjusting white balance (gains x1 and y1 described later) and correction coefficients for correcting lightness, saturation, and hue (target L component value, target C component value, and target H component described later) Value) is determined by the CPU 38. The image data generated by the signal processing circuit 22 is given to the memory control circuit 24 and written into the SDRAM 26 by the memory control circuit 24.
[0018]
The video encoder 28 causes the memory control circuit 24 to read the image data stored in the SDRAM 26. Then, the read image data of each frame is encoded into a composite image signal in NTSC format, and the encoded composite image signal is supplied to the monitor 30. On the monitor 30, a real-time moving image (through image) of the subject is displayed.
[0019]
When the shutter button 40 is fully pressed, shooting / recording processing is executed. First, a compression command is given from the CPU 38 to the JPEG codec 32. The JPEG codec 32 causes the memory control circuit 24 to read the image data for one frame stored in the SDRAM 26, and performs a compression process according to the JPEG format on the read image data. When the compressed image data is obtained, the JPEG codec 32 gives the generated compressed image data to the memory control circuit 24. The compressed image data is stored in the SDRAM 26 by the memory control circuit 24.
[0020]
When the storing process of the compressed image data is completed, the CPU 38 reads the compressed image data from the SDRAM 26 through the memory control circuit 24 and records the read compressed image data in the memory card 36 through the I / F circuit 34. As a result, an image file is created in the memory card 36. Note that the memory card 36 is a detachable nonvolatile recording medium, and can be accessed by the CPU 38 when inserted in a slot (not shown).
[0021]
The signal processing circuit 22 is configured as shown in FIG. The camera data output from the A / D converter 20 is subjected to color separation by the color separation circuit 22a. Since each pixel data constituting the camera data has only one of R component, G component and B component, two color components lacking each pixel are complemented by the color separation circuit 22a. From the color separation circuit 22a, the R component, G component, and B component of each pixel are simultaneously output. That is, RGB data in which each pixel has an R component, a G component, and a B component is output from the color separation circuit 22a. The R component and the B component are given to the integrating circuit 22c and the LCH converting circuit 22d through the amplifiers 221b and 222b forming the white balance adjusting circuit 22b. The amplifier 221b gives a gain x1 to the R component, and the amplifier 222b gives a gain y1 to the B component. On the other hand, the G component is supplied to the integration circuit 22c and the LCH conversion circuit 22d as they are.
[0022]
The screen is divided into 16 in the horizontal direction and the vertical direction, and 256 divided areas are formed on the screen. The integrating circuit 22c integrates the R component, G component, and B component for each divided area and for each same color component. Therefore, 256 integrated values Ir (i), 256 integrated values Ig (i), and 256 integrated values Ib (i) are obtained for each frame period (i = 1 to 256). That is, 256 color evaluation values individually corresponding to 256 divided areas are obtained for each frame period. The CPU 38 calculates optimum gains xs and ys for white balance adjustment based on the color evaluation value thus obtained.
[0023]
Specifically, first, the integrated values Ir (i) and Ib (i) are converted into integrated values Iry (i) and Iby (i). The integrated values Iry (i) and Iby (i) are equal to values obtained by integrating the color difference components RY and BY for each divided area. Such integrated values Iry (i) and Iby (i) are also the color evaluation values of each divided area.
[0024]
Subsequently, based on the weighting table 38a (formed in the CPU 38) having the numerical distribution shown in FIG. 3A and the integrated values Iry (i) and Iby (i) of each divided area, the weighting coefficient of each divided area is obtained. k (i) is detected. The weighting table 38a stores “0” or “1” as the weighting coefficient k (i), and each weighting coefficient k (i) corresponds to the graph shown in FIG. That is, the BY axis and the RY axis are each divided into 17, and each quadrant divided by the BY axis and the RY axis is divided into 64 parts. The weighting coefficient k (i) is assigned to each of the 290 areas thus formed. A range to which the weighting coefficient k (i) = 1 is assigned is a pull-in range.
[0025]
When the weighting coefficient k (i) is detected for each divided area, the optimum gains xs and ys are calculated according to Equation 1.
[0026]
[Expression 1]

Since the weighting coefficient k (i) has only “0” or “1”, by multiplying k (i) by Ig (i) and Ib (i), only the divided area where the color evaluation value is within the pull-in range. Becomes effective. According to Equation 1, the optimum gains xs and ys are obtained based on the total sum of the integrated value Ir (i), integrated value Ig (i), and integrated value Ib (i) of such an effective division area. The obtained optimum gains xs and ys take values such that the average of the color evaluation values included in the pull-in range converges at the intersection of the RY axis and the BY axis.
[0027]
When the stick 44 placed on the paper 42 is photographed from directly above as shown in FIG. 4, the subject image is displayed on the LCD 30 in the manner shown in FIG. A plurality of vertical lines and horizontal lines shown in FIG. 5 are lines for dividing the screen into 256 divided areas, and are not actually displayed. When the paper 42 is light orange and the stick 44 is dark yellow, the integrated values Iry (i) and Iby (i) obtained by integrating only the color of the paper 42 are included in the pull-in range, but only the color of the stick 44 is included. The integrated values Iry (i) and Iby (i) that are integrated are out of the pull-in range. As a result, the optimum gains xs and ys are determined based on the integrated values Ir (i), Ig (i), and Ib (i) relating to the color of the paper 42.
[0028]
When the integrated values Iry (i) and Iby (i) relating to the color of the paper 42 before the optimum gains xs and ys are calculated are distributed in the area 1 shown in FIG. 6, the optimum gains xs and ys are calculated and the amplifier 221b. Then, the integrated values Iry (i) and Iby (i) relating to the color of the sheet 42 after being set to 222b move to the area 2 shown in FIG. That is, the integrated values Iry (i) and Iby (i) relating to the color of the paper 42 move by the movement amount W1.
[0029]
Returning to FIG. 2, the LCH conversion circuit 22d converts the given R, G, and B components of each pixel into an L component (lightness component), a C component (saturation component), and an H component (hue component). To do. From the LCH conversion circuit 22d, LCH data in which each pixel has an L component, a C component, and an H component is output. The L component, the C component, and the H component are applied to the L correction circuit 22e, the C correction circuit 22f, and the H correction circuit 22g, respectively. The L correction circuit 22e, the C correction circuit 22f, and the H correction circuit 22g perform predetermined calculations on the input L component, C component, and H component, respectively, to obtain a correction L component, a correction C component, and a correction H component. The obtained corrected H component, corrected C component, and corrected L component are then converted into a Y component, a U component, and a V component by the YUV conversion circuit 22h. The YUV conversion is so-called 4: 2: 2 conversion (or 4: 1: 1 conversion), and the Y component, U component, and V component output from the YUV conversion circuit 22h are 4: 2: 2 (or 4: 1: It has a ratio of 1).
[0030]
The H component output from the LCH conversion circuit 22d is also provided to the region discrimination circuit 22i. The region discriminating circuit 22i refers to the reference value table 22j and discriminates the region to which the H component given from the LCH conversion circuit 22d belongs. Then, the reference value corresponding to the determination result is read from the reference value table 22j, and the target value corresponding to the determination result is read from the target value table 22k.
[0031]
Referring to FIG. 7, six reference H component values, six reference C component values, and six reference L component values are written in reference value table 22j. H, C, and L mean hue, saturation, and lightness, respectively, and are all parameters for tone correction. The same reference value number N (1 to 6) is assigned to the reference H component value, the reference C component value, and the reference L component value that are related to each other, and three component values having the same reference value number (reference H component value, reference value) The reference value is defined by the C component value and the reference L component value. These six reference values individually correspond to the six representative colors (Mg, R, Ye, G, Cy, B) and are distributed in the YUV space as shown in FIGS. FIG. 10 shows only the reference value whose reference value number is “5”.
[0032]
On the other hand, the target value table 22k is formed as shown in FIG. As with the reference value table 22h shown in FIG. 7, there are six target H component values, six target C component values, and six target L component values for each of hue (H), saturation (C), and lightness (L). The target value is defined by the target H component value, target C component value, and target L component value that are set and assigned to the same target value number N (= 1 to 6). These six target values also individually correspond to the six representative colors (Mg, R, Ye, G, Cy, B). When the target H component value, the target C component value, and the target L component value indicate the numerical values shown in FIG. 8, the six target values are distributed in the YUV space as shown in FIGS. FIG. 10 shows only the target value whose target value number is “5”.
[0033]
The target value table 22k is different from the reference value table 22j in that each target value can be changed. That is, the reference H component value, the reference C component value, and the reference L component value set in the reference value table 22j are set in advance in the manufacturing stage and cannot be freely changed by the operator, but are set in the target value table 22k. The target H component value, the target C component value, and the target L component value are changed by the CPU 38.
[0034]
The area discriminating circuit 22i executes the flowchart shown in FIG. 11 for each pixel in order to perform area discrimination and selection of a reference value and a target value according to the discrimination result for each pixel forming the image data. First, the count value N of the counter 22n is set to “1” in step S1, and the reference H component value corresponding to the count value N is read from the reference value table 22h in step S3. In step S5, the H component value (current pixel H component value) of the current pixel input from the LCH conversion circuit 22d is compared with the reference H component value read from the reference value table 22j.
[0035]
If it is determined in step S5 that the reference H component value> the current pixel H component value, the count value N is compared with “1” in step S11. If N = 1, steps S21 to S27 are processed. If N> 1, steps S13 to S19 are processed. On the other hand, if the reference H component value ≦ the current pixel H component value, the counter 22n is incremented in step S7, and the updated count value N is compared with “6” in subsequent step S9. If N ≦ 6, the process returns to step S3. If N> 6, steps S21 to S27 are processed.
[0036]
In step S13, the reference H component value, the reference C component value, and the reference L component value corresponding to the current count value N are selected from the reference value table 22j as Hr1, Cr1, and Lr1, and in step S15, the current count value N The target H component value, the target C component value, and the target L component value corresponding to are selected from the target value table 22k as Ht1, Ct1, and Lt1. In step S17, the reference H component value, the reference C component value, and the reference L component value corresponding to the count value N-1 are selected from the reference value table 22j as Hr2, Cr2, and Lr2, and in step S19, the count value N The target H component value, the target C component value, and the target L component value corresponding to −1 are selected from the target value table 22k as Ht2, Ct2, and Lt2.
[0037]
On the other hand, in step S21, the reference H component value, the reference C component value, and the reference L component value corresponding to the count value N = 1 are selected from the reference value table 22j as Hr1, Cr1, and Lr1, and in step S23, the count value N The target H component value, target C component value, and target L component value corresponding to = 1 are selected from the target value table 22k as Ht1, Ct1, and Lt1. In step S25, the reference H component value, the reference C component value, and the reference L component value corresponding to the count value N = 6 are selected from the reference value table 22j as Hr2, Cr2, and Lr2, and in step S27, the count value N The target H component value, the target C component value, and the target L component value corresponding to = 6 are selected from the target value table 22k as Ht2, Ct2, and Lt2.
[0038]
In this way, two reference values sandwiching the current pixel value with respect to the hue and two target values corresponding to the two reference values are detected.
[0039]
The reference H component values Hr1 and Hr2 and the target H component values Ht1 and Ht2 are given to the H correction circuit 22g. The reference C component values Cr1 and Cr2 and the target C component values Ct1 and Ct2 are given to the C correction circuit 22f. Further, the reference L component values Lr1 and Lr2 and the target L component values Lt1 and Lt2 are given to the L correction circuit 22e.
[0040]
The H correction circuit 22g takes in the current pixel H component value Hin from the LCH conversion circuit 22d, and calculates a correction H component value Hout according to Equation 2. The calculated corrected H component value Hout is shifted to an angle indicated by a broken line in FIG.
[0041]
[Expression 2]

The H correction circuit 22g also outputs the angle data α (= | Hr2-Hin |) and β (= | Hr1-Hin |) to the C correction circuit 22f and the L correction circuit 22e, and the angle data γ (= | Ht2 -Hout |) and δ = (| Ht1-Hout |) are output to the L correction circuit 22e.
[0042]
The C correction circuit 22f performs the calculation shown in Equation 3 on the current pixel C component value Cin fetched from the LCH conversion circuit 22d to calculate the correction C component value Cout shown in FIG.
[0043]
[Equation 3]

The C correction circuit 22f also calculates Equation 4 to calculate a straight line connecting the CH system coordinates (0, 0) and (Cin, Hin) and a straight line connecting the coordinates (Cr1, Hr1) and (Cr2, Hr2). The C component value Cr3 at the intersection coordinates and the C component at the intersection coordinates of the straight line connecting the coordinates (Ct1, Ht1) and (Ct2, Ht2) and the straight line connecting the coordinates (0, 0) and (Cout, Hout) of the CH system The value Ct3 is calculated. The calculated C component values Cr3 and Ct3 are output to the L correction circuit 22e together with the above-described current pixel C component value Cin and corrected C component value Cout.
[0044]
[Expression 4]
Cr3 = Cr1 + (Cr2-Cr1) · β / (α + β)
Ct3 = Ct1 + (Ct2-Ct1) · δ / (γ + δ)
The L correction circuit 22e takes in the current pixel L component value Lin from the LCH conversion circuit 22d, and obtains a correction L component value Lout shown in FIG. Lmax and Lmin shown in FIG. 14 are a maximum value and a minimum value of L (brightness) that can be reproduced, respectively. The current pixel value (input pixel value) is a surface formed by coordinates (Lmax, 0, 0), (Lmin, 0, 0) and (Lr3, Cr3, Hin) of the LCH system (YUV space cut out by hue Hin) Existing on the surface). On the other hand, the correction pixel value is a surface formed by LCH coordinates (Lmax, 0, 0), (Lmin, 0, 0) and (Lt3, Ct3, Hout) (a surface obtained by cutting out the YUV space with the hue Hout). Exists on.
[0045]
[Equation 5]
Lout = (Lin−La) · (Ld−Lc) / (Lb−La) + Lc
La = Cin / Cr3. (Lr3-Lmin)
Lb = Cin / Cr3 · (Lr3−Lmax) + Lmax
Lc = Cout / Ct3 · (Lt3−Lmin)
Ld = Cout / Ct3 · (Lt3−Lmax) + Lmax
Lr3 = Lr1 + (Lr2-Lr1) · β / (α + β)
Lt3 = Lt1 + (Lt2−Lt1) · δ / (γ + δ)
A corrected pixel value is defined by the corrected H component value Hout, the corrected C component value Cout, and the corrected L component value Lout thus obtained. The current pixel value is defined by the current pixel H component value Hin, the current pixel C component value Cin, and the current pixel L component value Lin output from the LCH conversion circuit 22d.
[0046]
Specifically, the CPU 38 processes the flowcharts shown in FIGS. 15 and 16. First, in step S31, the reference gains xr and yr are held as gains x1 and y1. Reference gains xr and yr are set in the amplifiers 221b and 222b. Note that the reference gains xr and yr are gains with which the white balance is appropriately adjusted when a subject having a color temperature (reference color temperature) of 5100K is photographed, and is determined at the manufacturing stage. In step S33, a processing command is given to the TG 16, the signal processing circuit 22 and the video encoder 28 to start through image processing, and color tone correction is performed in the subsequent step S35. In step S37, it is determined whether or not the shutter button 40 has been operated. If NO, the process returns to step S35. As a result, the through image on which the color tone correction has been performed is displayed on the LCD 30. When the shutter button 40 is operated, the process proceeds to step S39 to perform photographing / recording processing. As a result, the compressed image data of the subject image taken in response to the operation of the shutter button 40 is recorded in the memory card 36 in the file format.
[0047]
The color tone correction process in step S35 is executed according to a subroutine shown in FIG. First, in step S41, it is determined whether or not a vertical synchronizing signal is generated. When YES is determined, integrated values Ir (i), Ig (i), and Ib (i) are fetched from the integrating circuit 22c shown in FIG. = 1 to 256). In step S45, the optimum gains xs and ys are calculated based on the integrated values Ir (i), Ig (i) and Ib (i) taken in, and in the subsequent step S47, the calculated optimum gains xs and ys are calculated as gain x2 and Hold as y2. In step S49, differential gains Δx and Δy are obtained according to Equation 6.
[0048]
[Formula 6]
Δx = x2−x1
Δy = y2−y1
The calculated difference gains Δx and Δy are changes in the white balance of the subject image and correspond to the movement amount W1 from the area 1 to the area 2 shown in FIG. 6 or FIG. In steps S51, S53, and S55, the target H component value, the target C component value, and the target L component value set in the target value table 22k are changed based on such differential gains Δx and Δy. The target value defined by the changed target H component value, target C component value, and target L component value moves to the position indicated by □ in FIG. The movement amount T1 at this time is an amount that cancels out the movement amount W1 by the white balance adjustment. When the process of step S55 is completed, the gains x2 and y2 are held as the gains x1 and y1 in step S57, and then the process returns to the upper hierarchy routine.
[0049]
As can be seen from the above description, when the white balance of the RGB data output from the color separation circuit 22a is adjusted by the white balance adjustment circuit 22b, the RGB data is converted into LCH data by the LCH conversion circuit 22d. The converted L component, C component, and H component are subjected to color tone correction by the L correction circuit 22e, C correction circuit 22f, and H correction circuit 22g, respectively. At this time, the target L component value, the target C component value, and the target H component value set in the target value table 22k are used, and the color tone of each pixel data expressed in the LCH system is individually corrected. The CPU 38 calculates the difference gains Δx and Δy before and after the gains x1 and y1 are adjusted to the optimum gains xs and ys as the amount of change in white balance, and based on the difference gains Δx and Δy, the target L in the target value table 22k. The component value, the target C component value, and the target H component value are changed.
[0050]
The saturation correction by the C correction circuit 22g is performed according to the above-described equation 3. According to Equation 3, the current pixel C component value Cin is multiplied by the target C component values Ct1 and Ct2. However, if the current pixel C component value Cin is a C component value of a pixel that has been adjusted to an achromatic color by white balance adjustment, Cin = 0, and even if this is multiplied by the target C component values Ct1 and Ct2, the multiplication result Remains 0. In other words, by multiplying the target C component values Ct1 and Ct2 by the current pixel C component value Cin, only the saturation of the chromatic color pixel data is corrected. By correcting the target C component values Ct1 and Ct2 based on Δx and Δy, color reproducibility of chromatic colors can be improved.
[0051]
In this embodiment, the white balance of the subject image is adjusted based on the primary color data. However, when complementary color data is output from the image sensor, the white balance is based on complementary color data (for example, Cy and Ye). May be adjusted.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of the present invention.
2 is a block diagram illustrating an example of a configuration of a signal processing circuit illustrated in FIG. 1. FIG.
3A is an illustrative view showing one example of weighting coefficients set in a weighting table, and FIG. 3B is an illustrative view showing a color distribution state;
FIG. 4 is an illustrative view showing one example of a subject.
FIG. 5 is an illustrative view showing one example of a display screen when the subject shown in FIG. 4 is photographed;
FIG. 6 is an illustrative view showing a part of an operation during white balance adjustment;
FIG. 7 is an illustrative view showing one example of a reference value table.
FIG. 8 is an illustrative view showing one example of a target value table;
FIG. 9 is an illustrative view showing one example of a distribution state of a reference value and a target value.
FIG. 10 is an illustrative view showing another example of a distribution state of reference values and target values.
FIG. 11 is a flowchart showing a part of the operation of the region discriminating circuit.
FIG. 12 is an illustrative view showing one example of an operation when adjusting a hue;
FIG. 13 is an illustrative view showing one example of an operation when adjusting saturation.
FIG. 14 is an illustrative view showing one example of an operation when adjusting the brightness.
FIG. 15 is a flowchart showing a part of the operation of the CPU.
FIG. 16 is a flowchart showing another portion of behavior of the CPU.
FIG. 17 is an illustrative view showing one portion of operation of the embodiment in FIG. 1;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Digital camera 14 ... Image sensor 22 ... Signal processing circuit 26 ... SDRAM
28 ... Video encoder 32 ... JPEG codec 36 ... Memory card 38 ... CPU

Claims

Adjusting means for performing white balance adjustment on the object scene image output from the imaging means;
Correction means for performing saturation correction processing with reference to a saturation correction coefficient on the object scene image having white balance adjusted by the adjustment means, and adjustment of the saturation correction coefficient referred to by the correction means by the adjustment means comprising a changing means for changing as change in the amount is canceled out,
The white balance adjustment process is a process of adjusting the color of the object scene image so that the saturation value of a pixel indicating a color belonging to a predetermined color range is directed to zero.
The image processing apparatus, wherein the saturation correction process is a process of multiplying a saturation value of each pixel forming the object scene image by the saturation correction coefficient.

A holding means for holding a plurality of saturation correction coefficients respectively corresponding to the plurality of colors;
The image processing apparatus according to claim 1, wherein the correction unit includes a detection unit that detects a saturation correction coefficient associated with each pixel forming the scene image from the holding unit.

The adjusting means performs the white balance adjustment process with reference to a white balance adjustment coefficient,
The imaging means repeatedly outputs the object scene image,
The image processing apparatus according to claim 1, further comprising an update unit that repeatedly updates a white balance adjustment coefficient referred to by the adjustment unit.

The image processing apparatus according to claim 3, wherein the changing unit pays attention to a difference value of the white balance adjustment coefficient before and after being updated by the updating unit.