JP3995524B2 - ニー補正回路及び撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は高輝度信号を圧縮するニー補正回路とこのニー補正回路を搭載した撮像装置に係り、特に、ニー補正後に白色画像に色が着いてしまうことのないニー補正回路と撮像装置に関する。
【０００２】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置では、ＣＣＤ等の固体撮像素子で被写体画像を撮像し、得られた画像データを画像処理した後、着脱自在の外部メモリ等に格納する。このとき、光源の種類によって画像の色がおかしくならない様に、自動的にホワイトバランス補正を行うと共に、高輝度な画像でも色階調の再現性を良好にするために、例えば特開平８―８８８６３号公報に記載されている様なニー補正を行う様になっている。
【０００３】
ニー補正とは、例えば図６に示す様に、露光量（入力）に対する信号レベル（出力）の比例関係を途中で変更する補正である。固体撮像素子から得られる信号電荷量はアナログ信号であり、これを例えば１２ビットのデジタル信号に変換したとき、１２ビットの信号では値“４０９５”（これがクリップレベルとなる。）を越えるレベルを表現できず、データは飽和してしまう。そこで、クリップレベル手前の、例えば値“３０００”をニーポイントとし、それより大きい値の光量に対する信号レベルの比例関係を示すスロープ（以下、これをニースロープという。）を図示するように寝かし、なるべく高輝度領域までデータが飽和しないようにする。
【０００４】
図６に示す例は、撮像素子から出力される赤（Ｒ），緑（Ｇ），青（Ｂ）の３色夫々の入出力関係であり、撮像画像の信号レベルは、Ｒ＞Ｇ＞Ｂとなっている。この大小関係は光源の種類によって異なり、撮像画像の画像データが光源の種類によらない画像データとするために、ニー補正回路の前段にホワイトバランスをとるゲイン補正回路が設けられるのが普通である。
【０００５】
図７（ａ）は、図６のニーポイントに至る前のＲ，Ｇ，Ｂの各直線をそのままクリップレベルまで延ばしたグラフである。ホワイトバランス（ＷＢ）をとるということは、Ｒ，Ｇ，Ｂの各直線の傾きを同じにすることを意味し、例えばＲの直線の傾斜にＧとＢの各直線の傾斜を合わせるように計算処理すると、Ｇ，Ｂのクリップレベルに対応する信号レベルは、計算上、値“４０９５”を越えることがあり、図７（ｂ）に示す様になる。
【０００６】
この図７（ｂ）に示す入出力関係で露光量を信号レベルに変換すれば、ホワイトバランスのとれた画像データを得ることができる。そして、この図７（ｂ）に示す入出力関係の基でニー補正を行う場合、光量がニーポイントより大きい範囲におけるニースロープを、図７（ｃ）に示す様に寝かすことになる。
【０００７】
【発明が解決しようとする課題】
ニー補正を行う場合、従来は、ニーポイントとして固定値を用いる他に、ニースロープの傾きの値も固定値を用いている。即ち、従来は、図７（ｃ）に示す例の様に、Ｒが飽和する値とは無関係にニースロープの傾斜値を決めているため、クリップレベルに至らないのに、Ｒのデータが飽和してしまい、クリップレベルとＲの飽和値との間に差ｋが生じる。このため、本来は「白」である画像が、Ｒ不足ということで色が着いてしまい、画質を大きく劣化させることになる。
【０００８】
本発明の目的は、ニースロープの傾斜を被写体画像に合わせて適切に設定し画質の劣化を抑制することができるニー補正回路と撮像装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的は、撮像素子から得られる被写体画像の赤色信号，緑色信号，青色信号でなる画素信号のうち高輝度領域にある画素信号をニースロープを用いて圧縮するニー補正回路において、赤色信号の最大値と緑色信号の最大値と青色信号の最大値のうちの最小値に出力クリップレベルが一致するように前記ニースロープの傾斜を設定することで、達成される。
【００１０】
この構成により、ニースロープの傾斜を固定値にしたときの様な画質劣化を回避可能となり、また、飽和した色信号が飽和していない状態として出力されることがなくなり、白が白とならずに色が着いてしまうということが回避される。
【００１１】
上記において、前記最小値を求める前記の各「最大値」は、各色信号毎の累積頻度が最大値から所定割合（例えば３％）だけ下となるレベル値としたことを特徴とする。これにより、不自然な高輝度領域がニースロープの傾斜に影響することがなくなる。
【００１２】
上記目的を達成する撮像装置は、上記のニー補正回路を搭載することで達成される。本発明の撮像装置では、撮像装置内で適切なニー補正が行われ、ニー補正後の画像データがメモリに格納されるため、高輝度階調の再現性の優れた高品質な画像データをユーザに提供でき、製品価値が向上する。
【００１３】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１４】
図１は、本発明の一実施形態に係るニー補正回路を搭載したデジタルスチルカメラの構成図である。尚、この例ではデジタルスチルカメラに本実施形態のニー補正回路を搭載しているが、デジタルビデオカメラ等の他の種類の撮像装置に本実施形態のニー補正回路を同様に搭載可能である。
【００１５】
このデジタルスチルカメラは、撮影レンズ１０と、ＣＣＤ等の固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、赤外線発光部１６及び赤外線受光部１７を制御して得た被写体までの距離情報に基づき、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００１６】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。
【００１７】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力された色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、ＣＰＵ１５によって制御される。
【００１８】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００１９】
図２は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、Ａ／Ｄ変換回路２３から出力されるデジタルのＲＧＢ色信号を取り込んでオフセット処理を行うオフセット補正回路４０と、ホワイトバランスをとるゲイン補正回路４１と、詳細は後述する様にしてニースロープを決定しこのニースロープを用いてニー補正を行うニー補正回路４２と、ニー補正後の色信号に対してガンマ補正を行うガンマ補正回路４３と、ガンマ補正後のＲＧＢ色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４４と、ＲＧＢ信号から輝度信号Ｙと色差信号Ｃとを求めるＲＧＢ／ＹＣ変換回路４５と、輝度信号Ｙと色差信号Ｃからノイズを低減するノイズ低減回路４６と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４７と、ノイズ低減後の色差信号Ｃに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４８とを備える。
【００２０】
図３は、ニー補正回路４２で実行されるニー補正処理の処理手順を示すフローチャートである。先ずステップＳ１で、ゲイン補正回路４１から出力されてくるＲ，Ｇ，Ｂの各色信号から、各色のピーク値を求める処理を行う。即ち、固体撮像素子１１の各画素位置におけるＲ信号の中からピーク値peak_rを求め、同様に、各画素位置におけるＧ信号の中からピーク値peak_gを求め、各画素位置におけるＢ信号の中からピーク値peak_bを求める。
【００２１】
次のステップＳ２では、ステップＳ１で求めた３つのピーク値peak_r，peak_g，peak_bの中で、最小の値（以下、min_peakという。）を求める。そして、ステップＳ３で、ニー補正の判定処理を行う。即ち、ステップＳ２で求めたmin_peakの値がクリップレベル（clip_level）より大きいか否かを判定する。この判定結果が否定、すなわちmin_peak値がクリップレベルより小さい場合には、ニー補正を行う必要がないと判定し、ステップＳ６に進んでクリップ処理を実行し、その後、このニー補正処理を終了する。
【００２２】
ステップＳ３における判定結果が肯定の場合、すなわち「min_peak＞クリップレベル」が成立する場合には、ステップＳ４に進み、ニー補正を行うときに使用するニースロープの傾きの値を如何なる値にするか算出する。例えば、図４に示す様に、min_peak値がＲの飽和値であったとする。そして、固定値であるニーポイントからのニースロープIの傾斜を決定したとき、Ｒの飽和値が、図４の矢印Ｆで示す様に、クリップレベルに一致するように、ニースロープＩの傾斜を決定する。
【００２３】
即ち、図４で、縦軸（信号レベル軸）上におけるニーポイント（例えば、１２ビットデータ系で、値“３０００”の固定レベル）の座標値をＹａ、クリップレベル（例えば、１２ビットデータ系では、値“４０９５”）の座標値をＹｂ、min_peak値の座標値をＹｃとする。
【００２４】
そして、ホワイトバランスをとるために決めた直線IIとニーポイントＹ＝Ｙａとの交点ＡのＸ座標値をＸａ、直線IIとmin_peak値Ｙ＝Ｙｃとの交点ＣにおけるＸ座標値をＸｃとしたとき、ニースロープＩの傾斜値knee_slopeを
knee_slope＝（Ｙｂ−Ｙａ）／（Ｘｃ−Ｘａ）
として算出する。これにより、直線II上におけるＲの飽和レベルがクリップレベルに一致し、図７（ｃ）で説明したような差ｋが生じることがなくなる。
【００２５】
次のステップＳ５では、ニーポイントを超えた直線II上の信号レベルを、ステップＳ４で求めたニースロープＩ上に投影してデータ圧縮するニー補正を行い、その後、ステップＳ６でクリップ処理を行った後、このニー補正処理を終了する。
【００２６】
このように、本実施形態では、ニー補正を行うに際して使用するニースロープＩの傾斜を、そのとき得られた画像信号から算出したmin_peak値に応じて設定するため、白が白として表現され、画質の優れた画像データを得ることができる。
【００２７】
図５は、固体撮像素子の各画素位置毎に得られる色信号の信号レベルの分布を例示するグラフである。有効画素数が１００万画素の固体撮像素子を用いて得られるＲ信号，Ｇ信号，Ｂ信号の夫々の信号数は１００万個づつあり、夫々の色信号の信号レベルの頻度を縦軸にとって分布を求めたとき、例えば、被写体が眼鏡を掛けており、その眼鏡に光源が映って光っていた場合、図５に符号Ｄで示すように、信号レベルが突出する高輝度部分ができてしまう。
【００２８】
上述した実施形態のニー補正では、図３のステップＳ１で各色信号のピーク値を求め、各色信号のピーク値からニースロープＩを決めるmin_peak値を求めているが、図５に示す様な高輝度部分Ｄを反映させてmin_peak値を決めると、画質を劣化させる要因になってしまうことがある。そこで、図５に示す様に、信号レベルの高い方から所定％の信号、例えば３％の信号を除去した信号レベルをステップＳ１で算出するピーク値とすることで、高輝度部分Ｄによる影響を排除することが可能となる。
【００２９】
【発明の効果】
本発明によれば、ニー補正を行うニースロープを、そのとき得られた画像信号に応じて設定するため、画質劣化の少ないニー補正を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルスチルカメラの構成図である。
【図２】図１に示すデジタル信号処理部の詳細構成図である。
【図３】図２に示すニー補正回路が行うニー補正処理の処理手順を示すフローチャートである。
【図４】図２に示すニー補正回路が行うニースロープ算出処理の説明図である。
【図５】固体撮像素子から得られる信号レベルの分布の一例を示す図である。
【図６】ニー補正の説明図である。
【図７】ホワイトバランスをとったときの従来のニー補正の問題点を説明する図である。
【符号の説明】
１１ 固体撮像素子
１５ ＣＰＵ
２６ デジタル信号処理部
４１ ゲイン補正部（ホワイトバランス）
４２ ニー補正回路
Ｉ ニースロープ

Claims (2)

1. 撮像素子から得られる被写体画像の赤色信号，緑色信号，青色信号でなる画素信号のうち高輝度領域にある画素信号をニースロープを用いて圧縮するニー補正回路において、赤色信号の最大値と緑色信号の最大値と青色信号の最大値のうちの最小値に出力クリップレベルが一致するように前記ニースロープの傾斜を設定することを特徴とするニー補正回路。
2. 請求項１に記載のニー補正回路を搭載したことを特徴とする撮像装置。

Images