JP4333478B2 - 撮像装置および画像処理プログラム - Google Patents

Description

本発明は、オンチップマイクロレンズが形成されている固体撮像素子で発生する色相変化を補正する撮像装置、および画像処理プログラムに関する。

撮像素子の画素を構成する受光部ごとに集光レンズを形成し、各画素において光電変換される信号レベルを高める技術が知られている。特許文献１には、このような集光レンズに対して被写体光が斜め方向から入射する場合に生じる光の波長ごとの受光量の変化、すなわち、色相の変化を補正する技術について記載されている。

特開平８−２２３５８７号公報

特許文献１による色補正は、上述したオンチップマイクロレンズの軸上色収差に起因して受光量が光の波長ごとに異なるために生じる色相変化を補正するものであり、固体撮像素子の電荷転送部に光が入り込むことによって生じる色相変化については考慮されていなかった。

本発明は、所定の画素列に対応し、第１の色成分を示す電荷を転送する第１の電荷転送部と、所定の画素列に対応し、第２の色成分を示す電荷を転送する第２の電荷転送部とを有し、受光画素ごとに形成された集光レンズを介して入力される被写体光を光電変換し、各画素に対応する電荷信号を出力する撮像素子を備える撮像装置に適用される。そして、第１の電荷転送部から出力される第１電荷信号を、第２の電荷転送部から出力される第２電荷信号を用いて画素ごとに補正するとともに、第２の電荷転送部から出力される第２電荷信号を、第１の電荷転送部から出力される第１電荷信号を用いて画素ごとに補正する補正手段を備えることを特徴とする。
請求項２に記載の発明は、請求項１に記載の撮像装置において、撮影時のシャッター速度、撮影光学系の射出瞳位置、および絞り値の少なくとも１つに応じて補正量を変化させるように補正手段を構成したものである。
請求項３に記載の発明は、請求項２に記載の撮像装置において、撮像素子上の画素位置に応じて補正量をさらに変化させるように補正手段を構成したものである。
請求項４に記載の発明は、請求項１に記載の撮像装置において、外部から入力されたパラメータを用いて補正量を変化させるように補正手段を構成したものである。
請求項５に記載の発明は、請求項４に記載の撮像装置において、第１電荷信号および第２電荷信号を用いて、パラメータの入力に必要な撮影信号情報を出力する撮影信号情報出力手段をさらに備えるようにしたものである。
請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の撮像装置において、第１電荷信号および第２電荷信号をその記録前に補正するように補正手段を構成したものである。
請求項７に記載の発明は、請求項１〜５のいずれか一項に記載の撮像装置において、記録済みの第１電荷信号および第２電荷信号を用いて補正するように補正手段を構成したものである。
本発明による画像処理プログラムは、所定の画素列に対応し、第１の色成分を示す電荷を転送する第１の電荷転送部と、所定の画素列に対応し、第２の色成分を示す電荷を転送する第２の電荷転送部とを有し、各画素に対応する電荷信号を出力する撮像素子を用いて撮像された画像信号を読み出す処理と、第１の電荷転送部から出力された第１電荷信号を、第２の電荷転送部から出力された第２電荷信号を用いて画素ごとに補正する処理と、第２の電荷転送部から出力された第２電荷信号を、第１の電荷転送部から出力された第１電荷信号を用いて画素ごとに補正する処理とをコンピュータ装置に実行させることを特徴とする。

本発明によれば、撮像素子の電荷転送部に光が入り込むことに起因する色相変化を補正できるので、正確な色相の画像を得ることができる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。図１は、本発明の一実施の形態による電子カメラの要部構成を説明するブロック図である。図１において、撮影レンズ２１の光軸上に絞り２２およびミラー２３が配設され、撮影レンズ２１の結像面には撮像素子２４が配設されている。撮像素子２４の撮像面側にオンチップマイクロレンズ２５が配設されている。

図２は、撮像素子２４の断面の一例を示す図である。撮像素子２４の表面には、画素に対応して光を電荷に変換する受光部（フォトセンサ）２４ａと、受光部２４ａで発生した電荷を転送する電荷転送部２４ｂとが形成されている。撮像素子２４の上部には、受光部２４ａごとに集光レンズを形成したオンチップマイクロレンズ２５が配設されている。

上記構成による撮像素子２４では、オンチップマイクロレンズ２５に入射された被写体光束が受光部２４ａに集光されるので、受光部２４ａの受光量が増加して高いＳ／Ｎ比の画像信号を出力させることが可能になる。

本説明では、受光素子２４の各画素位置に対応してＲ（赤）、Ｇ（緑）およびＢ（青）のフィルタがベイヤー配列されたカラーフィルタを通して撮像する例を説明する。この場合の画像の色はＲＧＢ表色系で示される。このようなカラーフィルタを備える撮像素子２４からの信号出力は、１画素当たりＲＧＢのうちいずれか１つの色成分の情報を有する。すなわち、Ｒ色フィルタに対応する画素からはＲ色の信号が出力され、Ｇ色フィルタに対応する画素からはＧ色の信号が出力され、Ｂ色フィルタに対応する画素からはＢ色の信号が出力される。

図１において、撮像素子２４のＧ出力は信号処理部２８ａにそのまま接続される。撮像素子２４のＲ出力は、ホワイトバランス調節用の可変利得アンプ２７ａを介して信号処理部２８ａに接続される。また、撮像素子２４のＢ出力は、ホワイトバランス調節用の可変利得アンプ２７ｂを介して信号処理部２８ａに接続される。信号処理部２８ａの出力端子には、画像信号の記録を行う記録部２８が接続されている。

ミラー２３による反射光が導かれる位置には、被写体輝度を測光する測光部２９ａが配設されている。測光部２９ａの出力信号は露出演算部２９に入力され、露出演算部２９の出力信号は、絞り２２、撮像素子２４および色補正指示部３０の制御端子へそれぞれ入力される。色補正指示部３０の出力信号は信号処理部２８ａに入力されており、信号処理部２８ａは色補正指示部３０の出力信号に応じて後述する色相補正処理を行う。

可変利得アンプ２７ａ，２７ｂの制御端子にはホワイトバランス制御部３１からの出力信号がそれぞれ入力されており、可変利得アンプ２７ａおよび２７ｂの利得はそれぞれホワイトバランス制御部３１の出力信号に応じて変化する。ホワイトバランス制御部３１は、周辺光の測色を行う測色部３１ａから入力される測色信号に応じて可変利得アンプ２７ａおよび２７ｂの利得を変化させ、ホワイトバランス調節を行う。すなわち、Ｒ色およびＢ色に対応する信号に対して、ホワイトバランス調整用のＲゲインおよびＢゲインをそれぞれかけ合わせることにより、ＲＧＢ各色の信号成分を所定の比率に調節する。ＲゲインおよびＢゲインは、ホワイトバランス制御部３１が決定する。

撮影レンズ２１内部の不図示のズーム機構には制御部３２の制御出力信号が入力され、撮影レンズ２１からの射出瞳位置を示す情報がレンズマウント部を介して色補正指示部３０に伝達されるように構成されている。

撮像素子２４、信号処理部２８ａ、記録部２８、露出演算部２９、色補正指示部３０およびホワイトバランス制御部３１には、それぞれ制御部３２からの制御信号が個別に入力されており、この制御部３２にはレリーズ釦３２ａからの操作信号が入力される。

本発明は、色補正指示部３０の指示によって信号処理部２８ａで行われる色相補正に特徴を有する。

図３は、撮像素子２４の画素配列を説明する図である。図３において、受光部（画素）列２４ａ１には、カラーフィルタＧおよびカラーフィルタＲが設けられたフォトセンサが交互に配設されている。受光部（画素）列２４ａ２には、カラーフィルタＢおよびカラーフィルタＧが設けられたフォトセンサが交互に配設されている。

画素列２４ａ１の左側には電荷転送ライン２４ｂ１が、画素列２４ａ１の右側には電荷転送ライン２４ｂ２が、それぞれ設けられている。画素列２４ａ２の左側には電荷転送ライン２４ｂ３が、画素列２４ａ２の右側には電荷転送ライン２４ｂ４が、それぞれ設けられている。

各画素列において、Ｇ出力は左側の電荷転送ラインによって転送され、Ｒ出力およびＢ出力はそれぞれ右側の電荷転送ラインによって転送されるように構成されている。

ところで、撮像素子２４の転送部２４ｂ（電荷転送ライン２４ｂ１〜２４ｂ４）は遮光膜２６（図２）によって遮光されているが、撮像素子２４内で生じる多重反射などに起因して転送部２４ｂまで光が回り込むことがある（図２の光線ａ）。とくに、受光部に対する入射光量が多い場合には、当該受光部に隣接する部位において転送部２４ｂまで回り込む光が多くなる。この光の回り込みは、電荷転送ラインで電荷が発生する要因となる。

電荷転送ラインのうち、非常に高輝度で入射光量が多い画素に隣接する部位において電荷が発生し、この電荷発生部位を転送される電荷（入射光量が多い画素と同じ転送ラインであって、入射光量が多い画素と異なる画素で蓄積された電荷）に対して当該電荷発生部位で発生した電荷が積算される現象は、スミアと呼ばれ、よく知られている。

電荷転送ラインにおける電荷の発生は、非常に高輝度な被写体を撮影する場合でなくても、一般撮影時において撮像素子２４に対する入射光量が多い場合など、受光部２４ａに対して斜め方向から入射する光線が多くなる状態で生じやすくなる。斜め方向から入射される光線が多くなる状態として、次の場合があげられる。
１．入射光量が多い場合
２．撮影レンズ２１の射出瞳位置がオンチップマイクロレンズ２５に近づいている場合
３．絞り２２が開放もしくは開放口径に近い場合

上記１．の入射光量が多い場合とは絶対光量が多いことを意味し、露出演算部２９で行われる露出演算によってシャッター速度が高速側（たとえば、１／１０００秒以上）に設定される場合に対応する。絶対光量が多いため、受光部２４ａに対して斜め方向から入射する光線が多くなる。

上記２．の射出瞳位置がオンチップマイクロレンズ２５に近い場合とは、撮影レンズ２１のズーム倍率を変更した結果として射出瞳位置がオンチップマイクロレンズ２５に近づいた状態をいう。この場合にも、受光部２４ａに対して斜め方向から入射する光線が多くなる。

上記３．の絞り２２が開放に近い場合（たとえば、Ｆ４未満）とは、撮影レンズ２１の光軸から離れて進む光線が多くなる状態をいう。この場合にも、受光部２４ａに対して斜め方向から入射する光線が多くなる。

上述したように、受光部２４ａに対して斜め方向から光が入射すると電荷転送ラインにおいて電荷が生じてしまう。たとえば、Ｇ色フィルタに対応する受光部に斜め方向に光が入射することによってＲ色用の電荷転送ライン２４ｂ２に電荷が発生してしまう場合は、Ｇ色信号であるにもかかわらずＲ色信号として扱われることになる。このように、本来の電荷転送ラインと異なる電荷転送ラインに電荷が生じると、画像の色相変化を引き起こす。

図４は、受光部２４ａに対する入射光の位置と、スミア量との関係例を示す図である。図４において横軸は、受光部２４ａの大きさ（すなわち水平方向の画素サイズ）を表し、横軸の中央がオンチップマイクロレンズ２５の光軸に対応する。縦軸は、色相変化の要因となる電荷の発生量（ここでは、スミア量と呼ぶ）を表す。

Ｇ成分のスミア量を示す直線４１は、受光部２４ａの左側ほどＧ色用の電荷転送ライン２４ｂ１に近くなるため、Ｇ成分として扱われる転送部発生電荷が増加する（Ｇ成分のスミア量が増加する）ことを表す。反対に、受光部２４ａの右側ほどＧ色用の電荷転送ライン２４ｂ１から遠ざかるため、Ｇ成分として扱われる転送部発生電荷が減少する（Ｇ成分のスミア量が減少する）ことを表す。

Ｒ成分（Ｂ成分）のスミア量を示す直線４２は、受光部２４ａの右側ほどＲ色およびＢ色用の電荷転送ライン２４ｂ２に近くなるため、Ｒ成分（Ｂ成分）として扱われる転送部発生電荷が増加する（Ｒ成分（Ｂ成分）のスミア量が増加する）ことを表す。反対に、受光部２４ａの左側ほどＲ色およびＢ色用の電荷転送ライン２４ｂ２から遠ざかるため、Ｒ成分（Ｂ成分）として扱われる転送部発生電荷が減少する（Ｒ成分（Ｂ成分）のスミア量が減少する）ことを表す。

なお、実際に受光部２４ａに対して斜め方向から入射する光はオンチップマイクロレンズ２５の軸上色収差の影響を受けるため、直線４１および直線４２は図４のように対称な関係になるとは限らない。つまり、受光部２４ａに集光されるスポットの大きさは光の波長ごと（Ｒ成分、Ｇ成分およびＢ成分）にそれぞれ異なる。スポットの大きさの違いは受光部２４ａからはみ出す光量が異なることを意味し、波長ごとにスミア量が異なることを示している。

色補正指示部３０（図１）は、このようなスミア量の差を撮像素子２４の全受光部（全画素）に対応する信号に対してそれぞれ補正するように信号処理部２８ａに指示する。色相補正は次式（１）〜（３）のように行う。
R'＝R−(G・ａ・ｘ/ｎ)−(G・ｂ)−(G・ｃ・ｙ/ｍ) （１）
B'＝B−(G・ａ・ｘ/ｎ)−(G・ｂ)−(G・ｃ・ｙ/ｍ) （２）
G'＝G−｛(R+B)/2・ａ・(n-ｘ)/ｎ｝−((R+B)/2・ｂ)−((R+B)/2・ｃ・ｙ/ｍ) （３）
ただし、補正前の画像信号をR[x,y]、B[x,y]、G[x,y]で表し、補正後の画像信号をR’[x,y]、B’[x,y]、G’[x,y]で表す。x,yは座標である。また、シェーディング補正値として、x座標に依存するスミア量の係数をａ、x座標に依存しないスミア量の係数をｂ、ｙ座標に依存するスミア量の係数をｃとする。ｎは撮像素子２４の横方向の総画素数であり、ｍは縦方向の総画素数である。

信号処理部２８ａは、入力されているＲ出力、Ｂ出力およびＧ出力に対応する各信号値に対して上式（１）〜（３）による補正演算をそれぞれ行う。

図５は、制御部３２で行われる撮影処理の流れを説明するフローチャートである。図５のステップＳ１１において、制御部３２は、レリーズ釦３２ａから操作信号が入力されると所定の撮影処理を行ってステップＳ１２へ進む。ステップＳ１２において、制御部３２は、撮像素子２４から画像信号を読み出す指示を行ってステップＳ１３へ進む。具体的には、制御部３２が撮像素子２４へ駆動信号を送出することにより、撮像素子２４に蓄積されている電荷信号が撮像素子２４から順に出力され、画像信号として信号処理部２８ａに格納される。

ステップＳ１３において、制御部３２は、撮影時のシャッター速度が所定値より速いか否かを判定する。制御部３２は、たとえば、撮影時のシャッター速度が１／１０００秒より高速の場合にステップＳ１３を肯定判定してステップＳ１８へ進み、１／１０００秒以下の場合にはステップＳ１３を否定判定してステップＳ１４へ進む。ステップＳ１８へ進む場合は色相補正を行う場合である。

ステップＳ１４において、制御部３２は、撮影時の射出瞳位置が所定位置より撮像素子２４に近いか否かを判定する。制御部３２は、撮影時の射出瞳位置が所定位置より近い場合にステップＳ１４を肯定判定してステップＳ１８へ進み、所定位置より離れている場合にはステップＳ１４を否定判定してステップＳ１５へ進む。ステップＳ１８へ進む場合は色相補正を行う場合である。

ステップＳ１５において、制御部３２は、撮影時の絞り値が所定の絞り値より開放側の値か否かを判定する。制御部３２は、たとえば、撮影時の絞り値がＦ４より開放絞り値に近い場合にステップＳ１５を肯定判定してステップＳ１８へ進み、Ｆ４より絞り口径が小さい場合にはステップＳ１５を否定判定してステップＳ１６へ進む。ステップＳ１８へ進む場合は色相補正を行う場合である。

ステップＳ１６において、制御部３２は、たとえば、画素補間処理などの所定の信号処理を行うように信号処理部２８ａへ指示を送り、ステップＳ１７へ進む。これにより、信号処理部２８ａが格納されている画像信号に対して信号処理を行う。

ステップＳ１７において、制御部３２は、画像信号の記録を指示して図５による処理を終了する。これにより、記録部２８が信号処理後の画像信号を不図示の記録媒体に記録する。

ステップＳ１８において、制御部３２は、画像の補正量を演算するように色補正指示部３０へ指示を送り、ステップＳ１９へ進む。これにより、色補正指示部３０は、撮影時のシャッター速度、絞り値、および射出瞳位置に応じて上記係数ａ、ｂおよびｃを決定する。シャッター速度、絞り値、および射出瞳位置と係数ａ、ｂおよびｃとの関係は、あらかじめテーブル化されて色補正指示部３０内の不図示のメモリに格納されている。色補正指示部３０は、シャッター速度、絞り値、および射出瞳位置を引数としてテーブルを参照し、係数ａ、ｂ、ｃをそれぞれ読み出す。

ステップＳ１９において、制御部３２は、画像処理（色相補正）を行うように色補正指示部３０へ指示を送り、ステップＳ２０へ進む。これにより、色補正指示部３０は、上式（１）〜（３）および係数ａ、ｂ、ｃを用いて色相補正演算を行うように信号処理部２８ａへさらに指示する。

ステップＳ２０において、制御部３２は、画素補間処理などの所定の信号処理を行うように信号処理部２８ａへ指示を送り、ステップＳ２１へ進む。これにより、信号処理部２８ａが格納されている画像信号に対して信号処理を行う。

ステップＳ２１において、制御部３２は、画像信号の記録を指示して図５による処理を終了する。これにより、記録部２８が信号処理後の画像信号を不図示の記録媒体に記録する。

以上説明した実施の形態についてまとめる。
（１）電子カメラの撮像素子２４の受光部２４ａに対して斜め方向から入射する光線が多くなり、電荷転送ラインで電荷が発生しやすい状態において、発生電荷に起因する色相変化を補正する色相補正処理を、撮影した画像信号に対して行うようにした。したがって、色相が正確で高画質の画像信号を得ることが可能になる。

（２）受光部２４ａに対して光線が斜め方向から入射される場合として以下の３つを定め、撮影条件がこれら３つのうち少なくとも１つに該当する場合（ステップＳ１３〜ステップＳ１５のいずれかを肯定判定）には、自動的に色相補正を行う（ステップＳ１８、ステップＳ１９）ようにした。撮影者が色相補正のための操作を行わなくても自動的に行うことにより、使い勝手のよいカメラが得られる。
１．入射光量が多い場合（シャッター速度が高速に設定される場合）
２．撮影レンズ２１の射出瞳位置がオンチップマイクロレンズ２５に近づいている場合
３．絞り２２が開放もしくは開放口径に近い場合

（３）色相補正は上式（１）〜（３）を用いて行うので、画像を構成する全画素に対応する画像信号のそれぞれについて、撮像素子２４上の画素位置（座標）にかかわらず、適切に補正することができる。

上述した説明では、色相補正量を電子カメラが自動的に決定するようにしたが、撮影者によるマニュアル操作で設定された色相補正量で色相補正を行うようにしてもよい。図６は、この場合に制御部３２で行われる撮影処理の流れを説明するフローチャートである。図６のステップＳ１０において、制御部３２は、撮影者がメニュー操作によって入力した係数ａ、ｂ、およびｃを色補正指示部３０へ送出してステップＳ１１へ進む。これにより、色補正指示部３０内に係数ａ、ｂおよびｃがそれぞれ記憶される。

ステップＳ１１以降の処理は、ステップＳ１８Ｂを除いて図５に示されている同一ステップ番号の処理と同じであるため、説明を省略する。ステップＳ１８Ｂにおいて、制御部３２は、画像の色相補正量を演算するように色補正指示部３０へ指示を送り、ステップＳ１９へ進む。これにより、色補正指示部３０は、記憶している上記係数ａ、ｂおよびｃを読み出す。図６の処理によれば、撮影時のシャッター速度、絞り値、および射出瞳位置にかかわらず、撮影者が所望する色相補正を行うことができる。

図６のステップＳ１０では、撮影者がメニュー操作を行うことによって係数ａ、ｂ、ｃを設定したが、メニュー操作の代わりに、パソコンなどの外部機器を用いて電子カメラに対して係数ａ、ｂ、ｃを設定するようにしてもよい。

図７は、撮影者によるマニュアル操作で設定された色相補正量で色相補正を行う処理の変形例を説明するフローチャートである。ステップＳ１１、ステップＳ１２およびステップＳ１６による処理は、それぞれ図５に示されている同一ステップ番号の処理と同じであるため、説明を省略する。

ステップＳ３０において、制御部３２は、信号処理部２８ａに格納されている画像信号を出力させてステップＳ３１へ進む。これにより、撮影信号情報（画像信号の信号レベルを示すヒストグラムや、各色刺激値）が不図示の表示モニタ画面に表示される。

撮影者が表示モニタに表示されている撮影信号情報を参照して不図示の操作部材から係数ａ、ｂ、ｃの設定操作を行うと、ステップＳ３１において、制御部３２は撮影者によって入力された係数ａ、ｂ、およびｃを色補正指示部３０へ送出してステップＳ１８Ｂへ進む。これにより、色補正指示部３０内に係数ａ、ｂおよびｃがそれぞれ記憶される。

ステップＳ１８Ｂ以降の処理は、図６における同一ステップ番号の処理と同一なので説明を省略する。図７の処理によれば、撮影時のシャッター速度、絞り値、および射出瞳位置にかかわらず、表示モニタ画面に表示された撮影信号情報を撮影者が確認しながら決定した係数ａ、ｂ、ｃを用いた色相補正を行うことができる。

図８は、マニュアル操作で設定された色相補正量で色相補正を行う処理の別の変形例を説明するフローチャートである。図８による処理では、色相補正を行わずに画像信号を一旦記録し、記録した画像信号を読み出して色相補正を行う。図８において、ステップＳ１１、ステップＳ１２、ステップＳ１６およびステップＳ１７による処理は、それぞれ図５に示されている同一ステップ番号の処理と同じであるため、説明を省略する。

ステップＳ３０Ｂにおいて、制御部３２は、記録媒体（不図示）に記録されている画像信号を記録部２８に読み出させてステップＳ３１へ進む。画像信号が圧縮処理されている場合は、伸長処理も合わせて行わせる。これにより、撮影信号情報（画像信号の信号レベルを示すヒストグラムや、各色刺激値）が、不図示の表示モニタ画面に表示される。

ステップＳ３１以降の処理は図６に示されている同一ステップ番号の処理と同じであるため、説明を省略する。図８の処理によれば、撮影した画像信号を記録媒体に記録しておき、記録媒体に記録されている画像信号に対して後からカメラ上で色相補正を行うことができる。

図９は、別の電子カメラなどで撮影され、既に記録媒体に記録されている画像信号に対して色相補正を行う処理を説明するフローチャートである。図９のステップＳ５１において、制御部３２は、記録媒体（不図示）に記録されている画像信号を記録部２８に読み出させてステップＳ３０Ｃへ進む。画像信号が圧縮処理されている場合は、伸長処理も合わせて行わせる。

ステップＳ３０Ｃにおいて、制御部３２は、読み出した画像信号を出力させてステップＳ３１へ進む。これにより、撮影信号情報（画像信号の信号レベルを示すヒストグラムや、各色刺激値）が、不図示の表示モニタ画面に表示される。

ステップＳ３１以降の処理は図６に示されている同一ステップ番号の処理と同じであるため、説明を省略する。図９による処理によれば、記録媒体に記録されている画像信号に対して、後からカメラ上で色相補正を行うことができる。

以上の説明では、電子カメラを例にあげて説明したが、色相補正処理を行う画像処理プログラムを用意し、このプログラムをパーソナルコンピュータなどに取込んで色相補正装置として使用することができる。この場合には、パーソナルコンピュータのデータストレージ装置にプログラムをローディングした上で当該プログラムを実行させることにより、色相補正装置として使用する。プログラムのローディングは、プログラムを格納した記録媒体をパーソナルコンピュータにセットして行ってもよいし、ネットワークを経由する方法でパーソナルコンピュータなどにローディングしてもよい。

図１０は、画像処理プログラムの処理の流れを説明するフローチャートである。図１０のステップＳ１０１において、パーソナルコンピュータのＣＰＵは、電子カメラで撮影され、記録された画像信号を読み出す。記録データが圧縮されている場合には伸長処理を合わせて行う。ＣＰＵはさらに、色相補正量を自動的に決定するように指示されている場合にはステップＳ１０２へ進み(Auto)、オペレータによるマニュアル操作で設定された色相補正量で色相補正を行うように指示されている場合にはステップＳ１０６へ進む(Manual)。

ステップＳ１０２において、ＣＰＵは、画像信号が格納されているファイルのヘッダー部に記録されている撮影情報を読み出してステップＳ１０３へ進む。撮影情報には、少なくとも当該画像の撮影時のシャッター速度、絞り値、および射出瞳位置を示すデータが含まれている。

ステップＳ１０３において、ＣＰＵは、画像の補正量を演算してステップＳ１０４へ進む。具体的には、撮影時のシャッター速度、絞り値、および射出瞳位置に応じて上記係数ａ、ｂおよびｃを決定する。シャッター速度、絞り値、および射出瞳位置と係数ａ、ｂおよびｃとの関係は、あらかじめテーブル化されてプログラムに組み込まれている。

ステップＳ１０４において、ＣＰＵは、画像処理（色相補正）を行ってステップＳ１０５へ進む。ＣＰＵは、上式（１）〜（３）および係数ａ、ｂ、ｃを用いて色相補正演算を行う。

ステップＳ１０５において、ＣＰＵは、補正後の画像信号による再生画像をディスプレイ装置（不図示）に表示したり、補正後の画像信号を記録するために必要な信号処理を行い、図１０による処理を終了する。

ステップＳ１０６において、ＣＰＵは、オペレータが不図示のキーボードなどの操作部材から係数ａ、ｂ、ｃの設定操作を行うと、入力された係数ａ、ｂ、およびｃをレジスタにセットしてステップＳ１０７へ進む。

ステップＳ１０７において、ＣＰＵは、画像の補正量を演算してステップＳ１０４へ進む。具体的には、セットされている係数ａ、ｂおよびｃを読み出す。

以上説明した図１０の処理によれば、パーソナルコンピュータを用いて、撮影済みの画像信号に対して後からスミアなどに起因する色相変化の補正を行うことができる。

特許請求の範囲における各構成要素と、発明を実施するための最良の形態における各構成要素との対応について説明する。第１の色成分は、たとえば、Ｇ色が対応する。第１の電荷転送部は、たとえば、電荷転送ライン２４ｂ１によって構成される。第２の色成分は、たとえば、Ｒ色が対応する。第２の電荷転送部は、たとえば、電荷転送ライン２４ｂ２によって構成される。集光レンズは、たとえば、オンチップマイクロレンズ２５によって構成される。撮像装置は、たとえば、電子カメラによって構成される。第１電荷信号は、たとえば、画像信号Ｇ[x,y]が対応する。第２電荷信号は、たとえば、画像信号Ｒ[x,y]が対応する。補正手段は、たとえば、色補正指示部３０および信号処理部２８ａによって構成される。パラメータは、たとえば、係数ａｂｃが対応する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。

本発明の一実施の形態による電子カメラの要部構成を説明するブロック図である。 撮像素子の断面の一例を示す図である。 撮像素子の画素配列を説明する図である。 受光部に対する入射光の位置とスミア量との関係例を示す図である。 制御部で行われる撮影処理の流れを説明するフローチャートである。 マニュアル操作で設定された色相補正量で色相補正を行う処理の流れを説明するフローチャートである。 マニュアル操作で設定された色相補正量で色相補正を行う処理の変形例を説明するフローチャートである。 マニュアル操作で設定された色相補正量で色相補正を行う処理の別の変形例を説明するフローチャートである。 既に記録媒体に記録されている画像信号に対して色相補正を行う処理を説明するフローチャートである。 画像処理プログラムの処理の流れを説明するフローチャートである。

符号の説明

２１…撮影レンズ
２２…絞り
２４…撮像素子
２５…オンチップマイクロレンズ
２８…記録部
２８ａ…信号処理部
２９…露出演算部
２９ａ…測光部
３０…色補正指示部
３２…制御部
３２ａ…レリーズ釦

Claims (8)

1. 所定の画素列に対応し、第１の色成分を示す電荷を転送する第１の電荷転送部と、前記所定の画素列に対応し、第２の色成分を示す電荷を転送する第２の電荷転送部とを有し、受光画素ごとに形成された集光レンズを介して入力される被写体光を光電変換し、各画素に対応する電荷信号を出力する撮像素子を備える撮像装置において、
   前記第１の電荷転送部から出力される第１電荷信号を、前記第２の電荷転送部から出力される第２電荷信号を用いて画素ごとに補正するとともに、前記第２の電荷転送部から出力される第２電荷信号を、前記第１の電荷転送部から出力される第１電荷信号を用いて画素ごとに補正する補正手段を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記補正手段は、撮影時のシャッター速度、撮影光学系の射出瞳位置、および絞り値の少なくとも１つに応じて補正量を変化させることを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記補正手段は、前記撮像素子上の画素位置に応じて補正量をさらに変化させることを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記補正手段は、外部から入力されたパラメータを用いて補正量を変化させることを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記第１電荷信号および前記第２電荷信号を用いて、前記パラメータの入力に必要な撮影信号情報を出力する撮影信号情報出力手段をさらに備えることを特徴とする撮像装置。
6. 請求項１〜５のいずれか一項に記載の撮像装置において、
   前記補正手段は、前記第１電荷信号および前記第２電荷信号をその記録前に補正することを特徴とする撮像装置。
7. 請求項１〜５のいずれか一項に記載の撮像装置において、
   前記補正手段は、記録済みの前記第１電荷信号および前記第２電荷信号を用いて補正することを特徴とする撮像装置。
8. 所定の画素列に対応し、第１の色成分を示す電荷を転送する第１の電荷転送部と、前記所定の画素列に対応し、第２の色成分を示す電荷を転送する第２の電荷転送部とを有し、各画素に対応する電荷信号を出力する撮像素子を用いて撮像された画像信号を読み出す処理と、
   前記第１の電荷転送部から出力された第１電荷信号を、前記第２の電荷転送部から出力された第２電荷信号を用いて画素ごとに補正する処理と、
   前記第２の電荷転送部から出力された第２電荷信号を、前記第１の電荷転送部から出力された第１電荷信号を用いて画素ごとに補正する処理とをコンピュータ装置に実行させる画像処理プログラム。

Images