JP4952341B2

JP4952341B2 - 撮像装置

Info

Publication number: JP4952341B2
Application number: JP2007097542A
Authority: JP
Inventors: 幸一掃部; 直樹内川
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2007-04-03
Filing date: 2007-04-03
Publication date: 2012-06-13
Anticipated expiration: 2027-04-03
Also published as: JP2008258831A

Description

本発明は、受光した光を電気信号に変換する光電変換処理を行う撮像装置に関する。

下記特許文献１には、所定の露光量（入射光量；以下、閾値という）までは、露光により生成した電荷を積分し、その露光積分量に比例した電圧に変換する線形変換特性と、露光量が前記閾値を超えると、前記積分を行わないで露光量を対数圧縮した電圧に変換する対数変換特性とを備えた撮像素子が提案されている。
特開２００６−５０５４４号公報

この種の撮像素子を搭載する撮像装置においては、図６に示すように、露光期間中に撮像対象の被写体が高輝度のもの（以下、高輝度被写体という）から輝度が略０に近い低輝度のもの（以下、低輝度被写体という）に変化すると、得られる画像に色ずれが発生するという問題があった。図６は、撮像素子の或る画素に注目した場合に（この画素を注目画素という）、該注目画素に対して相対的に被写体が矢印の方向に移動することにより、該注目画素の撮像対象が露光期間中に高輝度被写体から低輝度被写体に変化する状態を示した図である。以下、前記問題点について詳細に説明する。なお、前記問題点を説明するにあたり、以下の点（１）〜（７）を前提とする。

（１）前記撮像素子は、透過させる光の波長帯域（色）が互いに異なる複数のカラーフィルタが配設されたものであり、色ごとに画素の感度が異なること。

（２）前記注目画素が、第１の色のカラーフィルタが配設された画素（以下、第１色画素という）である場合と、第２の色のカラーフィルタが配設された画素（以下、第２色画素という）である場合とを想定すること。

（３）第１色画素は、第２色画素より感度が高いこと。

（４）前記露光期間の露光時間は比較的長い時間であること。

（５）以下に使用する「画素値」とは、画素から出力される画素信号の出力値だけでなく、光電変換動作により画素内部で生成されている電荷に相当する信号値を含むこと。

（６）高輝度被写体及び低輝度被写体の各々は、全域に亘って一様な輝度を有していること。

（７）前記高輝度被写体として、高輝度に分類される被写体の中でも輝度が高い側の被写体（以下、第１高輝度被写体という）と輝度が低い側の被写体（以下、第２高輝度被写体という）とを想定し、第１高輝度被写体と第２高輝度被写体とは同色であること。

図７は、前述のように、露光期間中に注目画素の撮像対象が高輝度被写体から低輝度被写体に変化した場合において、該注目画素が露光を開始（時刻Ｔ＝０）してから経過した時間（タイミング）Ｔに対する入射光量（瞬時値）の変化を示す図であり、タイミングＴ＝Ｔ１で、注目画素の撮像対象が高輝度被写体から低輝度被写体に変化し、経過時間Ｔ＝Ｔ２で露光を終了したことを示している。なお、前記タイミングＴ１を明暗変化タイミングという。

また、図７のグラフＡ１は，前記高輝度被写体のうち第１高輝度被写体の場合における入射光量（瞬時値）の変化を表すグラフであり、このグラフが示すように、前記露光を開始してから明暗変化タイミングＴ１までの期間は、一定の入射光量Ｌ１が注目画素に入射し、前記明暗変化タイミングＴ１で前記入射光量ＬがＬ１から略０に瞬間的に低下し、前記明暗変化タイミングＴ１から露光が完了する露光完了タイミングＴ２までの期間は、前記入射光量Ｌが略０となる状態が継続する。また、グラフＡ２は，前記高輝度被写体のうち第２高輝度被写体の場合における入射光量（瞬時値）の変化を表すグラフであり、露光を開始してから前記明暗変化タイミングＴ１までの期間で受光する光の入射光量ＬがＬ２（＜Ｌ１）となる以外は前記第１高輝度被写体の場合と略同様である。

次に、第１色画素及び第２色画素における、前記経過時間Ｔに対する画素値の変化について説明する。図８のグラフＧ２，Ｂ２は、前記高輝度被写体が前記第２高輝度被写体である場合の、前記経過時間Ｔに対する第１色画素及び第２色画素の画素値の変化を示すグラフであり、図９のグラフＧ３，Ｂ３は、前記高輝度被写体が前記第１高輝度被写体である場合の、前記経過時間Ｔに対する第１色画素及び第２色画素の画素値の変化を示すグラフである。

図８，図９に示すように、前記撮像素子の各画素は、前述したように、入射光量の積算値が或る基準光量より少ないときには、受光開始からの入射光量の積算値に比例した画素値を生成する光電変換動作を行う線形変換特性と、前記基準光量以上であるときには、前記入射光量（瞬時値）を対数圧縮した画素値を生成する光電変換動作を行う対数変換特性とを有する。図８，図９に示す「Ｓ１」は、前記入射光量の積算値が前記基準光量となったときに画素により生成される画素信号の画素値（以下、閾値Ｓ１という）を示し、図８，図９のグラフおいて、この画素値Ｓ１より小さい領域を線形変換領域（Ｌｉｎ領域）といい、前記画素値ＳがＳ１以上の領域を対数変換領域（Ｌｏｇ領域）というものとする。

図８に示すように、前記露光期間のうち前記高輝度被写体を撮像している期間は、第１色画素及び第２色画素とも、露光時間に比例して画素値が略一定の割合で増加する。また、第１色画素は第２色画素より感度が高いので、第１色画素より第２色画素の方が画素値の増加率が大きくなる。したがって、第１色画素の画素値の変化を表すグラフは、図８のグラフＧ２となり、第２色画素の画素値の変化を表すグラフは、図８のグラフＢ２となる。

また、図８に示すように、前記高輝度被写体が前記第２高輝度被写体である場合、第１色画素及び第２色画素の両方とも画素値の増加率が比較的小さく、各画素値が前記閾値Ｓ１を超える前に前記明暗変化タイミングＴ１を迎える。この明暗変化タイミングＴ１の時点における第１色画素の画素値をＳ２、第２色画素の画素値をＳ３とすると、第１色画素及び第２色画素の両方とも前記タイミングＴ１以降の入射光量は略０となるため、露光完了タイミングＴ２まで略一定の画素値Ｓ２，Ｓ３を維持する（図８のグラフＧ２，Ｂ２のうち平坦部分）。すなわち、露光期間中、前記注目画素は線形変換領域でのみ動作し、注目画素が第１色画素である場合には、露光完了後に出力される画素信号の画素値はＳ２となり、前記注目画素が第２色画素である場合には、露光完了後に出力される画素信号の画素値はＳ３となる。

一方、前記高輝度被写体が前記第１高輝度被写体である場合、図９に示すように、前記露光期間のうち高輝度被写体を撮像している期間は、第１色画素及び第２色画素とも、露光時間に比例して画素値が略一定の増加率で増加する。また、第１色画素は第２色画素より感度が高いので、第１色画素より第２色画素の方が画素値の増加率が大きくなる。したがって、第１色画素の画素値の変化を表すグラフは、図９のグラフＧ３となり、第２色画素の画素値の変化を表すグラフは、図９のグラフＢ３となる。

また、図９に示すように、前記高輝度被写体が前記第１高輝度被写体である場合、第１色画素及び第２色画素の両方とも、前記高輝度被写体が前記第２高輝度被写体である場合に比して画素値の上昇率が大きい。ただし、第２色画素については、各画素値が前記閾値Ｓ１を超える前に前記明暗変化タイミングＴ１を迎える。この明暗変化タイミングＴ１の時点における第２色画素の画素値をＳ３’とすると、前記タイミングＴ１以降の入射光量は略０となるため、露光完了タイミングＴ２まで略一定の画素値Ｓ３’を維持する。すなわち、露光期間中、前記注目画素としての第２色画素は線形変換領域でのみ動作する。

一方、第１色画素については、明暗変化タイミングＴ１を迎える手前のタイミングＴｓで画素値が前記閾値Ｓ１に達する。したがって、このタイミングＴｓから明暗変化タイミングＴ１までの期間、注目画素としての第１色画素は対数変換動作を実行する。すなわち、該第１色画素は、入射光量の対数値を画素値として生成する。その結果、図９のグラフＧ３のように、前記タイミングＴｓで画素値が瞬間的に大きくなり（このときの画素値をＳ２’とする）、前記明暗変化タイミングＴ１までの間、入射光量が一定であるから画素値Ｓ２’が維持される。

ここで、次のような問題が生じる。すなわち、前記対数変換領域では、前述したように前記入射光量の対数値を生成する領域であるため、入射光量が略０となる前記明暗変化タイミングＴ１の時点で画素値はＳ２’から低下する。その際、第１色画素には前記閾値Ｓ１分に相当する電荷を蓄積しているため、画素値Ｓ１まで低下することとなり、その変化は瞬間的なものとなる。そして、露光完了後に第１色画素から出力される画素信号の画素値はＳ１となる。このように、第１色画素から出力される画素信号の画素値がＳ２’とはならずにＳ１となることで、生成される画像に色ずれが生じる。

すなわち、第２色画素については、前記高輝度被写体が第１高輝度被写体である場合に得られる画素信号の画素値Ｓ３’と、前記高輝度被写体が第２高輝度被写体である場合に得られる画素信号の画素値Ｓ３との比（Ｓ３’／Ｓ３）が、図７に示す入射光量Ｌ１，Ｌ２の比（Ｌ１／Ｌ２）に一致する。

一方、第１色画素については、露光完了後に出力されるべき画素信号の画素値は本来ならば、前記タイミングＴｓから明暗変化タイミングＴ１までの期間も、前記対数変換動作ではなく線形変換動作を行ったものと仮定した場合に、前記明暗変化タイミングＴ１の時点で得られる画素値Ｓ２”（図９参照）である。画素値Ｓ２”が、前記タイミングＴｓから明暗変化タイミングＴ１までの期間で行われた光電変換動作が反映された画素値であるからである。また、前記高輝度被写体が前記第２高輝度被写体である場合にこの第１色画素から得られる本来の画素値Ｓ２”と、前記高輝度被写体が第２高輝度被写体である場合に第１色画素から得られる画素信号の画素値Ｓ２との比（Ｓ２”／Ｓ２）が、図７に示す入射光量Ｌ１，Ｌ２の比（Ｌ１／Ｌ２）に一致する。

そして、前記各画素値Ｓ２，Ｓ２”，Ｓ３，Ｓ３’に着目すると、Ｓ２”／Ｓ２＝Ｓ３’／Ｓ３＝Ｌ１／Ｌ２が成立し、この式から、Ｓ２／Ｓ３＝Ｓ２”／Ｓ３’が導出される。ここで、第１色画素の出力信号の画素値と第２色画素の出力信号の画素値との比に基づいてホワイトバランスをとる場合、Ｓ２／Ｓ３＝Ｓ２”／Ｓ３’となることから、前記高輝度被写体は、第１高輝度被写体であっても第２高輝度被写体であっても同色で表されることが分かる。

ところが、前記高輝度被写体が第１高輝度被写体である場合に実際に第１色画素から得られる画素信号の画素値は、前記タイミングＴｓから前記明暗変化タイミングＴ１までの光電変換動作が反映されていない画素値Ｓ１（≠Ｓ２’）となる。したがって、この画素値Ｓ１と前記高輝度被写体が第１高輝度被写体である場合に第２色画素から得られる画素信号の画素値Ｓ３’との比Ｓ１／Ｓ３’は、前記高輝度被写体が第２高輝度被写体である場合に第１色画素及び第２色画素からそれぞれ得られる画素信号の画素値Ｓ２，Ｓ３の比Ｓ２／Ｓ３とは不一致となる。すなわち、前記高輝度被写体が第１高輝度被写体であるか第２高輝度被写体であるかによって、該高輝度被写体が異なる色として表されることとなり、ここに前述の色ずれが生じることとなる。

本発明は、上述した問題点を解決するためになされたものであり、前記色ずれを抑制することのできる撮像装置を提供することを目的とする。

請求項１に記載の発明は、露光開始からの撮像素子の露光量の積算値に比例した出力値の出力信号を出力する線形変換特性と受光している前記撮像素子の露光量を対数圧縮した出力値の出力信号を出力する対数変換特性とを有し、前記露光量の積算値に係る閾値を境界として、前記積算値が閾値を超えると、線形変換動作から対数変換動作に切り替わる撮像素子と、予め定められた露光時間の画像を得る場合に、該露光時間を複数の時間に分割し、前記撮像素子に、分割した各分割時間単位で光電変換動作を行わせてそれぞれ得られた各出力信号を出力させる撮像制御部と、前記各出力信号のうち前記対数変換動作により得られた出力信号を、前記線形変換動作により得られる場合の出力信号に変換する出力信号変換部と、前記各分割時間単位の光電変換動作のうち前記線形変換動作で得られた出力信号及び前記出力信号変換部による変換処理後の出力信号を加算して画像信号を生成する画像加算部とを備える撮像装置である。

露光量の積算値が前記閾値より小さいときには前記第１の線形変換動作を行い、前記積算値が前記閾値以上のときには前記対数変換動作を行う場合において、仮に前記予め定められた露光時間の光電変換動作を撮像素子に行わせると、前述したように、前記線形変換動作から対数変換動作に切り替わった後に、例えば露光期間中に被写体が高輝度被写体から低輝度被写体に変化することで、対数変換動作から再び前記線形変換動作に切り替わる場合がある。この場合、前記対数変換動作によって得られる出力値が、撮像素子から出力される出力信号に反映されなくなることがある。

本発明によれば、予め定められた露光時間の画像を得る場合に、該露光時間を複数の時間に分割し、前記撮像素子に、分割した各分割時間単位で光電変換動作を行わせてそれぞれ得られた各出力信号を出力させるようにしたので、対数変換動作から再び前記線形変換動作に切り替わる前に、前記各分割時間単位の光電変換動作を終わらせることが可能となり、これにより、前記対数変換動作によって得られる出力値が、撮像素子から出力される出力信号に反映される。

そして、前記対数変換動作により得られた出力信号を、前記線形変換動作により得られる出力信号に変換し、前記出力信号変換部による変換処理後の出力信号からなる各画像を加算するようにしたので、撮像した被写体の輝度を忠実に表現しつつ、画像の色ずれの発生を抑制することが可能となる。

請求項２に記載の発明は、請求項１に記載の撮像装置において、前記撮像素子は、透過させる光の波長帯域が互いに異なる複数のカラーフィルタが配設されたカラー撮像素子である。

画素に配設されたカラーフィルタの種類に応じて、線形変換動作と対数変換動作との切り替わりタイミングが異なることにより、対数変換動作から前記線形変換動作への切り替わりが発生する画素と発生しない画素とが生じる。これらの画素から得られる出力信号の比が被写体の色を決定するパラメータとなる場合に、前記光電変換動作の切り替わりの発生の有無に応じて各画素の出力信号の比が変化し、これにより色ずれが発生する。

このように透過させる光の波長帯域が互いに異なる複数のカラーフィルタが配設されたカラー撮像素子に対して、請求項１に記載の発明を適用することにより、対数変換動作から前記線形変換動作への切り替わりの発生を抑制することができるため、前記出力信号の比が一定となり、前述のような色ずれを防止又は抑制することができる。

本発明によれば、線形変換特性と対数変換特性とを有し、露光量の積算値に係る閾値を境界として前記線形変換動作と前記対数変換動作とが切り替わる撮像素子を備えた撮像装置において、色ずれの発生を防止又は抑制することができる。

本発明に係る撮像装置の実施形態について説明する。図１は、本発明に係る撮像装置の構成例を示すブロック図である。

図１に示すように、撮像装置１は、撮影光学系２と、撮像素子３と、Ａ／Ｄ変換部４と、画像処理部５と、操作部６と、制御部７とを備えて構成されている。

撮影光学系２は、詳細な図示は行っていないが、撮影倍率（焦点距離）を変更するためのズームレンズと、焦点位置を調節するためのフォーカスレンズと、撮像素子３へ入射される光量を調節するための絞りとが、鏡胴内において光軸方向に保持されてなり、被写体の光像を取り込んで該光像を撮像素子３に結像するものである。

撮像素子３は、複数の画素がマトリックス状に２次元配列され、各画素に分光特性の異なる例えばＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタが１：２：１の比率で配設されてなるカラーエリアセンサである。撮像素子３における１画素の構成例及びその動作例として、例えば特開２００６−５０５４４号公報に開示されている構成及び動作が挙げられる。図２に、撮像素子３における１画素の構成例を示す。

図２に示すように、画素８は、Ｐ型層９とＮ型埋込層１０とを備えて構成される埋込型フォトダイオードＰＤと、埋込型フォトダイオードＰＤが構成される領域に隣接する領域の表面に絶縁膜１１を介して構成されたゲート電極１２を備える転送ゲートＴＧと、転送ゲートＴＧが構成された領域と隣接する領域に形成されたＮ型浮遊拡散層ＦＤと、埋込型フォトダイオードＰＤが構成される領域と転送ゲートＴＧと反対側で隣接する領域の表面に絶縁膜１３を介して構成されたゲート電極１４を備える制御ゲートＣＧと、制御ゲートＣＧが構成された領域に隣接する領域に形成されたＮ型浮遊拡散層ＦＤ１とを備え、埋込型フォトダイオードＰＤを中心として、転送ゲートＴＧと制御ゲートＣＧとが対称な位置に形成されるとともに、Ｎ型浮遊拡散層ＦＤ，ＦＤ１が対称な位置に形成されている。

埋込型フォトダイオードＰＤは、Ｎ型埋込層１０と高濃度のＰ型層９とが積層されてなる。また、Ｎ型埋込層１０とＮ型浮遊拡散層ＦＤと転送ゲートＴＧとによってＮチャネルのＭＯＳトランジスタＴｒ１が構成される。埋込型フォトダイオードＰＤを画素８内に構成することで、埋込型フォトダイオードＰＤを構成するＰ型層９の表面における電位が、埋込型フォトダイオードＰＤ周囲のＰ型層より成るチャンネルストッパ層と同一の電位に固定される。

また、画素８は、ＮチャネルのＭＯＳトランジスタＴｒ２〜Ｔｒ５を有する。ＭＯＳトランジスタＴｒ２は、ソース端子がＮ型浮遊拡散層ＦＤに接続されるとともにドレイン端子に直流電圧ＶＰＤが印加される。ＭＯＳトランジスタＴｒ３は、ゲート端子がＭＯＳトランジスタＴｒ２のソースに接続されるとともにドレイン端子に直流電圧ＶＰＤが印加される。ＭＯＳトランジスタＴｒ４は、ドレイン端子がＭＯＳトランジスタＴｒ３のソース端子に接続されるとともにソース端子に出力信号線１５が接続されている。ＭＯＳトランジスタＴｒ５は、Ｎ型浮遊拡散層ＦＤ１と埋込型フォトダイオードＰＤのＮ型埋込層１０と制御ゲートＣＧとによって構成されている。

そして、ＭＯＳトランジスタＴｒ２，Ｔｒ４のゲート及び転送ゲートＴＧには、信号φＴＸ、φＲＳ、φＶそれぞれが付与される。また、Ｎ型浮遊拡散層ＦＤ１に直流電圧ＶＰＤが印加されるとともに、制御ゲートＣＧに直流電圧ＶＰＤよりも低い直流電圧ＶＭが常に印加される。この直流電圧ＶＭの印加により、画素８による光電変換動作は、入射光量の積算値が所定値となるまで、露光開始からの入射光量の積算値に比例した画素値の画素信号を生成する線形変換動作を行い、入射光量の積算値が所定値（前述の閾値Ｓ１）を超えると、入射光量を対数圧縮した画素値とした画素信号を生成する対数変換動作に切り換わる。

図１に戻り、Ａ／Ｄ変換部４は、撮像素子３から出力されたアナログのＲ，Ｇ，Ｂの画素信号を、複数のビット（例えば１０ビット）からなるデジタルの画素信号（以下、画素データ）にそれぞれ変換するものである。画像処理部５は、Ａ／Ｄ変換部４から出力された画素データに対して後述する画像処理を行うものである。

操作部６は、撮像素子３による露光動作のタイミングを指示するためのシャッターボタン、静止画や動画を撮影する撮影モードや記録済みの画像を再生する再生モード等、撮像装置１に搭載されたモードや機能を択一的に選択するダイヤルやボタン、撮影条件（絞り値、シャッタースピード、フラッシュ発光の有無等）の設定等の指示を入力するためのダイヤルやボタン等を含むものであり、これらの操作情報を制御部７に出力する。

制御部７は、操作部６から出力される操作情報にしたがって、撮像素子３、Ａ／Ｄ変換部４及び画像処理部５の動作を互いに関連付けて制御するものであり、機能的に、撮像制御部７１を備える。

撮像制御部７１は、撮像素子３の撮像動作を制御するものであり、本実施形態では、被写体の画像を得るために算出された撮像素子３の露光時間Ｔ_Ｌが、予め定められた露光時間についての閾値より大きいとき、該露光時間Ｔ_Ｌを所定数ｎで分割し、この分割した各時間を露光時間とする撮像動作を、前記所定数ｎと同じ数の回数だけ撮像素子３に行わせる。すなわち、撮像制御部７１は、露光時間が（１／ｎ）×Ｔ_Ｌの撮像動作を撮像素子３の各画素に連続してｎ回行わせる。

例えばｎ＝３とし、図９に示す撮像動作と同じ露光時間Ｔ２で被写体の画像を得ることを想定するとき、図３に示すように、撮像制御部７１は、まず、前記露光時間Ｔ２を３等分する。そして、撮像制御部７１は、撮像素子３に露光動作を開始させてからＴ２×（１／３)が経過したタイミングＴ３までの期間（以下、この期間を第１露光期間という）露光動作を行った後、各画素から画素信号を読み出す。次に、撮像制御部７１は、再び撮像素子３に露光動作を開始させ、さらにＴ２×（１／３)が経過したタイミングＴ４までの期間（以下、この期間を第２露光期間という）露光動作を行った後、画素から画素信号を読み出し、再び撮像素子３に撮像動作を開始させ、さらにＴ２×（１／３)が経過したタイミングＴ２までの期間（以下、この期間を第３露光期間という）露光動作を行った後、画素から画素信号を読み出す。

図３は、このような動作を行った場合に前記第１色画素の一例としてのＧ（緑）のカラーフィルタが配設されたＧ画素と前記第２色画素の一例としてのＢ（青）のカラーフィルタが配設されたＢ画素の光電変換動作を示すものである。なお、図３は、第２露光期間中に前記明暗変化タイミングＴ１が発生した場合を示している。

図３のグラフＢ４〜Ｂ６に示すように、Ｂ画素は、露光が完了するまで図９に示す閾値と同じ閾値Ｓ１を超えることなく線形変換動作のみを行う。そして、Ｂ画素からは、第１露光期間における露光動作によって画素値Ｓ５の画素信号が得られる。また、Ｂ画素は、第２露光期間においては、その途中で明暗変化タイミングＴ１を迎えるため、タイミングＴ３からタイミングＴ１までは画素値が増加して該タイミングＴ１で画素値がＳ７となり、それ以降は、画素への入射光量が略０となるため画素値の増加率が略０となり前記画素値Ｓ７が維持される。したがって、この場合、第２露光期間における露光動作によって画素値Ｓ７の画素信号が得られる。また、Ｂ画素は、第３露光期間においては、低輝度被写体を撮像した状態であり画素への入射光量が略０となるため、第３露光期間における露光動作によって得られる画素信号の画素値は略０となる。

一方、Ｇ画素は、第１露光期間においてはタイミングＴｓまでは線形変換動作を行い、タイミングＴｓで画素値が前記閾値Ｓ１に達し、該タイミングＴｓから前記タイミングＴ３まで対数変換動作を行う。ここで、明暗変化タイミングＴ１を迎える前に第１露光期間が終了するため、対数変換動作時に得られる画素値Ｓ４の画素信号がそのまま第１露光期間の露光動作で生成された画素信号としてＧ画素から出力される。

また、Ｇ画素は、第２露光期間においては、撮像素子３は再び線形変換動作を行い、画素値が前記閾値Ｓ１に達する前に前記明暗変化タイミングＴ１を迎えるため、画素値はタイミングＴ１まで露光時間に比例して増加して該タイミングＴ１で画素値がＳ６となり、それ以降は、画素への入射光量が略０となるため前記画素値Ｓ６が維持される。したがって、この場合、第２露光期間における露光動作によって画素値Ｓ６の画素信号が得られる。また、Ｇ画素は、第３露光期間においては、低輝度被写体を撮像した状態であり画素への入射光量が略０となるため、第３露光期間における露光動作によって得られる画素信号の画素値は略０となる。

図４は、画像処理部５の電気的な構成を示すブロック図である。図４に示すように、画像処理部５は、光電変換特性変換部５１と、画像加算部５２と、第１メモリ部５３と、画素レート変換部５４と、第２メモリ部５５とを備えて構成されている。

光電変換特性変換部５１は、Ａ／Ｄ変換部４から出力された画素データのうち、対数変換動作が行われた露光期間に得られた画素データを対象として、該画素データが生成された露光期間に前記対数変換動作ではなく線形変換動作が行われたものと仮定した場合に得られる画素データに変換する処理を行うものである。

図５は、露光時間がｔ１，ｔ２（ｔ１＜ｔ２）である場合における被写体の輝度（明るさ）と画素から得られる画素データの画素値との関係を示すグラフである。なお、図５中の画素値Ｓ１は、図３に示す閾値Ｓ１に相当するものである。図５の実線で示すように、線形変換領域では被写体の輝度に比例して画素値が増加する。また、図５の点線で示すように、対数変換領域でも被写体の輝度に比例して画素値が増加するものの、その画素値の増加率は、線形変換領域における画素値の増加率より小さくなる。また、図５から判るように、露光時間が長いほど線形変換領域における画素値の増加率は大きくなり、対数変換領域における画素値の増加率は露光時間に依存しないため同一である。

光電変換特性変換部５１は、点線で示す対数変換領域における被写体輝度と画素値との関係を、矢印で示すように、線形変換領域における被写体輝度と画素値との関係と同一の関係式で表されるような変換処理を行う。具体的には、同一の被写体輝度（明るさ）に対し、対数変換動作で得られる画素データの画素値と、線形変換動作を行ったものと仮定した場合に得られる画素データの画素値との関係（図５のグラフで示す関係）がＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）として光電変換特性変換部５１に格納されており、光電変換特性変換部５１は、対数変換動作により得られた画素データの画素値を、前記ＬＵＴを用いて、線形変換動作を行ったものと仮定した場合に得られる画素データの画素値に変換する。

例えば、図５に示すように、露光時間ｔ１の場合において、対数変換動作により得られた画素データの画素値がＳｂであったとき、光電変換特性変換部５１は、この画素値Ｓｂを、線形変換動作を行ったものと仮定した場合に得られる画素データの画素値Ｓｃに変換する。換言すると、光電変換特性変換部５１は、対数変換領域におけるグラフを、線形変換動作時における被写体輝度と画素値との関係を表すグラフの延長線に変換し、対数変換動作により得られた前記画素値Ｓｂでの被写体輝度に対応する前記延長線上の点が示す画素値を導出する。なお、図５には、被写体の輝度（明るさ）と画素データの画素値との関係を２つの露光時間についてのみ示しているが、多数の露光時間についての関係が予め設定され、それらの関係がテーブル化されていてもよい。

撮像素子３に図３に示す露光動作を行わせた場合、Ｇ画素が第１露光期間に対数変換動作を行っているので、光電変換特性変換部５１は、Ｇ画素が第１露光期間で生成した画素値Ｓ４の画素データを変換対象の画素データとする。この変換により得られる画素値は、図３に示すように、第１露光期間における線形変換動作を示す露光時間と画素値との関係を示すグラフＧ４の延長線（点線部分）上のうち、該第１露光期間の終了タイミングＴ３に対応する画素値Ｓ４’となる。

画像加算部５２は、各画素について、各露光期間で得られた画素データを（光電変換特性変換部５１により変換処理が施された場合には、その変換処理後の画素データを加算対象として）加算するものである。第１メモリ部５３は、画像加算部５２による加算処理の対象の画素データを一時的に保持するものである。

撮像素子３に図３に示す露光動作を行わせた場合、まず、画像加算部５２は、第１露光期間で得られた画素データを第１メモリ部５３に格納し、第２露光期間で得られた画素データが画像加算部５２に入力されると、この画素データと現時点で前記第１メモリ部５３に格納されている画素データとを加算した上で再度第１メモリ部５３に格納し、さらに、第３露光期間で得られた画素データが画像加算部５２に入力されると、この画素データと現時点で前記第１メモリ部５３に格納されている画像データとを加算し、この加算処理により生成される加算画像を後述する画素レート変換部５４に出力する。

このような動作により、Ｂ画素については、第１露光期間の露光動作で得られた画素データの画素値がＳ５、第２露光期間の露光動作で得られた画素データの画素値がＳ７、第３露光期間の露光動作で得られた画素データの画素値が０であるから、画像加算部５２により、最終的に当該Ｂ画素の画素データとして、画素値（Ｓ５＋Ｓ７）を有する画素データが生成される。また、Ｇ画素については、第１露光期間の露光動作で得られた画素データの画素値がＳ４’、第２露光期間の露光動作で得られた画素データの画素値がＳ６、第３露光期間の露光動作で得られた画素データの画素値が０であるから、画像加算部５２により、最終的に当該Ｇ画素の画素データとして、画素値（Ｓ４’＋Ｓ６）を有する画素データが生成される。

画素レート変換部５４は、被写体の画像を得るために算出された撮像素子３の露光時間Ｔ_Ｌを前述のように分割した場合における画素からの画素信号の読み出し速度を、前記露光時間Ｔ_Ｌの分割を行わずに該露光時間Ｔ_Ｌの露光動作を行った場合における画素からの画素信号の読み出し速度に一致させる必要がある場合に、第２メモリ部５５に画像加算部５２から出力された加算画像を一時的に保持させて、前記両読み出し速度が一致するようなタイミングで前記第２メモリ部５５から加算画像を読み出して外部（例えば画像を記録する記録部など）に出力する。

このように、本実施形態によれば、前記第１〜第３露光期間でＧ画素及びＢ画素からそれぞれ得られた画素データの画素値は、各画素が線形変換動作のみを行ったものと仮定した場合の画素値となる。よって、高輝度被写体が第１高輝度被写体である場合に、Ｂ画素から得られる画素データの画素値（Ｓ５＋Ｓ７）と、Ｇ画素から得られる画素データの画素値（Ｓ４’＋Ｓ６）との比（Ｓ４’＋Ｓ６）／（Ｓ５＋Ｓ７）は、図８で示す高輝度被写体が第２高輝度被写体である場合に、Ｂ画素から得られる画素データの画素値Ｓ３と、Ｇ画素から得られる画素データの画素値Ｓ２との比Ｓ２／Ｓ３と略一致することとなる。

したがって、前述したようにＧ画素の出力信号の画素値とＢ画素の出力信号の画素値との比に基づいてホワイトバランスをとる場合、高輝度被写体が第１高輝度被写体である場合も第２高輝度被写体である場合も同一色として表されることとなる。これにより、被写体の輝度を忠実に表現しつつ、従来のような色ずれが生じるのを回避することができる。

本件は、前記各実施形態に代えて、或いは前記各実施形態に加えて次の変形形態も採用可能である。

［１］前記実施形態では、Ｇ（緑）のカラーフィルタが配設された画素と、Ｂ（青）のカラーフィルタが配設された画素とに注目して説明を行ったが、注目する画素は、これらに限られない。Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが配設された撮像素子の場合、Ｒ（赤）のカラーフィルタが配設された画素は、Ｂ（青）のカラーフィルタが配設された画素と略同様の光電変換動作を行う。また、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）の撮像素子が搭載された撮像装置にも本発明は適用可能である。

［２］被写体の画像を得るために算出された撮像素子３の露光時間Ｔ_Ｌが、予め定められた露光時間についての閾値より大きいとき（露光時間が比較的長いとき）に、該露光時間Ｔ_Ｌを分割するようにしたが、この形態に限られるものではない。

［３］前記実施形態では、撮像素子の画素が、線形変換動作及び対数変換動作を行う場合について説明したが、これに限らず、線形変換動作から対数変換動作に除々に切り替わる動作を行う場合にも本発明は適用可能である。

［４］第１露光期間中に前記明暗変化タイミングＴ１が発生した場合には、第１露光期間の光電変換動作で得られた画素信号について、図９で説明したような問題点と同様の問題、すなわち画素値Ｓ４の画素信号が出力されるべきであるのに実際の画素信号の画素値がＳ１となり、画素値の誤差が発生するという問題が生じるものの、本件のように複数の露光期間に分けて光電変換動作を行うことで、各光電変換動作で得られた画素信号の画素値の加算値に対する前記画素値の誤差の割合を小さくすることができるから、色ずれは従来の場合よりも小さくなる。

本発明に係る撮像装置の構成例を示すブロック図である。撮像素子における１画素の構成例を示す図である。Ｂ画素及びＧ画素の光電変換動作を示す図である。画像処理部の電気的な構成を示すブロック図である。異なる２つの露光時間における被写体の輝度（明るさ）と画素から得られる画素データの画素値との関係を示すグラフである。露光期間中に或る画素の撮像対象の被写体が高輝度のものから輝度が略０に近い低輝度のものに変化する状態を示す図である。従来技術の問題点の説明図である。従来技術の問題点の説明図である。従来技術の問題点の説明図である。

１撮像装置
２撮影光学系
３撮像素子
５画像処理部
６操作部
７制御部
８画素
５１光電変換特性変換部
５２画像加算部
５３メモリ部
５４画素レート変換部
５５メモリ部
７１撮像制御部

Claims

露光開始からの撮像素子の露光量の積算値に比例した出力値の出力信号を出力する線形変換特性と受光している前記撮像素子の露光量を対数圧縮した出力値の出力信号を出力する対数変換特性とを有し、前記露光量の積算値に係る閾値を境界として、前記積算値が閾値を超えると、線形変換動作から対数変換動作に切り替わる撮像素子と、
予め定められた露光時間の画像を得る場合に、該露光時間を複数の時間に分割し、前記撮像素子に、分割した各分割時間単位で光電変換動作を行わせてそれぞれ得られた各出力信号を出力させる撮像制御部と、
前記各出力信号のうち前記対数変換動作により得られた出力信号を、前記線形変換動作により得られる場合の出力信号に変換する出力信号変換部と、
前記各分割時間単位の光電変換動作のうち前記線形変換動作で得られた出力信号及び前記出力信号変換部による変換処理後の出力信号を加算して画像信号を生成する画像加算部と
を備える撮像装置。
前記撮像素子は、透過させる光の波長帯域が互いに異なる複数のフィルタが配設されたカラー撮像素子である請求項１に記載の撮像装置。