JP5959828B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置及び撮像装置の制御方法に関し、特に、撮像画像における高輝度領域の左右に発生する暗い帯を抑制するために用いて好適なものである。

撮像素子にＣＭＯＳセンサを用いた、静止画や動画を撮影する撮像装置（例えばデジタルカメラ）で被写体を撮像する際に、被写体に強いスポット光が含まれると、撮影画像の当該スポット光の領域から左右に向けて暗い帯（黒い帯）が発生することがある。
撮像素子の或る行の画素に集中して強い光が照射されると、その行の複数のフォトダイオード（以下「ＰＤ」と称する）が飽和する。ＣＭＯＳセンサは、行毎に信号を読み出す構造になっている。よって、或る行の飽和画素が増えると、信号を読み出す際に電圧の変動が列アンプの基準電圧へ伝播して、列アンプの基準電圧が変動することがある。

図１２は、ＣＭＯＳ構造型固体撮像素子の構成を示す図である。
図１２に示すように、本実施形態のＣＭＯＳ撮像素子は、リセットトランジスタ（以下「リセットＴｒ」と称する）１２１ａ、１２１ｂ、転送トランジスタ（以下「転送Ｔｒ」と称する）１２２ａ、１２２ｂ、ＰＤ１２３ａ、１２３ｂ、フローティングディフュージョン（以下「ＦＤ」と称する）１２４ａ、１２４ｂ、画素アンプ１２５ａ、１２５ｂ、選択トランジスタ（以下「選択Ｔｒ」と称する）１２６ａ、１２６ｂ、垂直出力線１２７ａ、１２７ｂ、容量１２８ａ、１２８ｂ、１２９ａ、１２９ｂ、列アンプ１３０ａ、１３０ｂを備えている。

図１２に示すＣＭＯＳ構造型固体撮像素子の動作について説明する。ここでは、トランジスタ（Ｔｒ）が短絡しているときをＯＮとし、開放しているときをＯＦＦとする。
ＰＤ１２３ａに光が入射されると、ＰＤ１２３ａは、光信号電荷を発生し、蓄積する。次に、転送Ｔｒ１２２ａがＯＮする。そうすると、ＰＤ１２３ａに蓄積された電荷はＦＤ１２４ａへ移動するので、一定時間が経過した後に、転送Ｔｒ１２２ａをＯＦＦにする。ここで、画素アンプ１２５ａのゲートに、ＰＤ１２３ａで生成された電荷が転送され、選択Ｔｒ１２６ａをＯＮにした際に、電荷に応じて垂直出力線１２７ａに電圧が出力される。その電圧と基準電圧Ｖｒｅｆとの差分の電圧が、列アンプ１３０ａにおいて、容量１２８ａと容量１２９ａに応じた増幅率で増幅されて出力される。

次に、暗い帯が発生する動作を説明する。
強いスポット光がＰＤ１２３ａに入射した状態で画素の読み出し動作を行うと、その画素のＰＤ１２３ａは、スポット光を入射していない画素よりも光信号電荷を多く発生する。そのため、強いスポット光を入射した画素の画素アンプ１２５ａの出力と、それまでの画素アンプ１２５ａの出力とに差が生じる。特に、或る行で、複数のＰＤ（例えば、ＰＤ１２３ａ、１２３ｂ等）が飽和するスポット光が照射された場合、その行の画素アンプ（例えば、画素アンプ１２５ａ、１２５ｂ等）の出力が大きく変動する。この画素アンプの出力が、寄生容量（例えば、寄生容量１３１ａ、１３１ｂ）を介して基準電圧Ｖｒｅｆを変動させる。基準電圧Ｖｒｅｆは、その行に位置する全ての列アンプ（例えば、列アンプ１３０ａ、１３０ｂ等）で共通に使用される。このため、その行の列アンプの出力は、基準電圧Ｖｒｅｆの変動により変動する。このように、基準電圧Ｖｒｅｆの変動により、列アンプの容量（例えば、容量１２９ａ、１２９ｂ等）側の端子に入力される電圧と、基準電圧Ｖｒｅｆとの電位差が変動する。このため、列アンプ（例えば１３０ａ、１３０ｂ等）の出力が通常と異なることによって、スポット光による左右方向の暗い帯が撮像画像に発生する。

このようなスポット光の左右の暗い帯の発生を回避する方法として、特許文献１には、信号処理時のＯＢ（オプティカルブラック）クランプの補正係数の値を上げたり、撮像素子自体の構造を変更したりする方法が開示されている。
前者の方法（信号処理時のＯＢクランプの補正係数を上げる方法）は、行全体がオフセット値を持って変動する特性がある点に着目し、後段の信号処理で補正を行う方法である。具体的には、ＯＢクランプ処理にて補正を行う。このＯＢクランプ処理は、アナログ信号をＡＤ変換する際に、ＯＢの電圧値を予め設定した基準値になるようにオフセット値を加算するものである。

ＯＢ部は遮光されているため、外光の影響で出力電圧が変化することは無いが、温度等の環境の変化に伴い変動することがある。そのため、ＯＢの電圧値を或る値に置き換えて基準とするためには、前述のオフセット値も環境の変化に伴いフィードバック制御により変更する必要がある。このフィードバック制御をＯＢクランプという。例えば、ＯＢの電圧値と目標値との差分をαとすると、αに補正係数を掛けたものをオフセット値として加算する。次の画素信号の読み出しで、（ＯＢの電圧値＋オフセット値）と目標値との差分に補正係数をかけたものを更にオフセット値に加算する。これを繰り返すことでオフセット値が適正に近づき、（ＯＢの電圧値＋オフセット値）≒目標値となる。

この補正係数の値が大きいほど、オフセット値が適正に早く近づくが、ＯＢ部にノイズが発生した際に、撮像画像がその影響を受けやすくなる。スポット光の左右の暗い帯が撮像画像に発生すると、撮像素子の開口部と同じ量の電圧の変動がＯＢ部でも発生している。このため、予めＯＢクランプの補正係数の値を上げることで、電圧の変動量をＯＢ部のオフセット値へ加算して、（ＯＢの電圧値＋オフセット値）を目標値へ早く収束させることができる。これにより、撮像素子の開口部の電荷を読み出すときに暗い帯の影響を受けにくくすることができる。ただし、この方法では、読み出し対象の行のＯＢ部の画素数と補正係数の上限とによって補正の可否が決まる。よって、ＯＢ部の画素が少ない場合や、補正係数の値を上げられない場合には、撮像素子の開口部の電荷の読み出し時に目標値に黒レベルを合わせたりすることが出来ず、撮像画像に黒いスジ状の帯が残ることもある。

また、後者の方法（撮像素子自体の構造を変更する方法）は、画素回路の出力部に、画素回路の出力を一定電圧以下に制限するクリップ回路を設けて、行間の出力電圧の変動を小さくする方法である。この方法は、画素ピッチの大きいセンサにおいて垂直出力線の後段の定電流回路で発生する暗い帯を抑制するための対策としては有効である。しかしながら、前述のメカニズムで発生する暗い帯に対しては、効果が小さい。

特開２００１−２３０９７４号公報

以上のように、ＯＢクランプの補正係数の値を上げることは、撮影画像の左右に向けて発生する暗い帯を軽減するのに有効である。しかしながら、ＯＢ部が暗電流の影響を受けた際には、暗電流に対してＯＢクランプをするため、補正係数の値を上げた際には、より暗電流の影響が現れやすくなる。特に、前述した暗い帯が目立つのは、高感度で動作をしているときが多く、常にＯＢクランプの補正係数の値を上げると、ＯＢ部の暗電流の影響で画質が低下するという課題があった。
本発明は、このような問題点に鑑みてなされたものであり、被写体に強いスポット光が含まれることにより撮影画像の左右に向けて暗い帯が発生することと、画質の低下との双方を抑制することを目的とする。

本発明の撮像装置は、開口部となる開口画素と、オプティカルブラック部となるＯＢ画素と、を含む２次元マトリックス状に配置された複数の画素を有するＣＭＯＳ構造の撮像素子と、前記撮像素子により撮像された画像における高輝度領域の左右において前記画素の行方向に帯状の暗部が発生しているか否かを、前記画素の列方向において相互に隣接する２つの行に位置する前記ＯＢ画素のそれぞれの出力に基づいて判定する判定手段と、前記判定手段により、前記帯状の暗部が発生していると判定された場合に、前記帯状の暗部を抑制するように前記撮像された画像を補正する補正手段と、を有することを特徴とする。
また、本発明の撮像装置の他の例では、開口部となる開口画素と、オプティカルブラック部となるＯＢ画素と、を含む２次元マトリックス状に配置された複数の画素を有するＣＭＯＳ構造の撮像素子と、前記撮像素子により撮像された画像における高輝度領域の左右の少なくともいずれかにおいて前記画素の行方向に帯状の暗部が発生しているか否かを、前記画素の列方向において相互に隣接する２つの行における飽和画素数に基づいて判定する判定手段と、前記判定手段により、前記帯状の暗部が発生していると判定された場合に、前記帯状の暗部を抑制するように前記撮像された画像を補正する補正手段と、を有することを特徴とする。

本発明によれば、通常動作時には、帯状の暗部を補正するための処理をしないので、撮影画像の劣化を低減できる。一方、強いスポット光が入射され、帯状の暗部が検出されると、当該帯状の暗部の抑制を行うことで鮮明な画像を得ることができる。よって、被写体に強いスポット光が含まれることにより撮影画像の左右に向けて暗い帯が発生することと、画質の低下との双方を抑制することができる。

撮像装置の構成を示す図である。 撮像素子の構成を示す図である。 画素部〜列アンプの回路構成の一例を示す図である。 ＯＢクランプ回路の構成を示す図である。 暗い帯が発生した撮像画像を示す図である。 暗い帯を検出する際の動作を説明するフローチャートである。 暗い帯の挙動を示す図である。 横スジが発生した撮像画像を示す図である。 横スジの検出と補正を行う際の動作を説明するフローチャートである。 静止画像を撮影する際の動作を説明するフローチャートである。 動画像を撮影する際の動作を説明するフローチャートである。 ＣＭＯＳ構造型固体撮像素子の構成を示す図である。

以下に、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、本実施形態の撮像装置の構成の一例を示すブロック図である。
光学系１０は、被写体の像を撮像素子１１の開口部に結像できるように設計されている。
撮像素子１１は、光学系１０を通して入射した光を光電変換してアナログの電気信号に変換する。

ＡＤ変換器１２は、撮像素子１１から入力されたアナログ信号をデジタル信号へ変換する。ＡＤ変換器１２には、ＯＢクランプ回路も含まれている。ＡＤ変換器１２によりＡＤ変換処理が行われる際に、アナログ信号は予め決めておいた値を基準としたデジタル値に変換される。
信号処理部１３は、ＡＤ変換器１２より入力される画素信号に対して補正処理を行う。

タイミング生成部１４は、全体制御・演算部１５から入力された制御命令信号を元に、撮像素子１１、ＡＤ変換器１２、及び信号処理部１３の処理を同期させるための信号を生成して、これらに出力する。
全体制御・演算部１５は、操作部１９から入力される信号を元に、タイミング生成部１４へ制御命令信号を出力する。
表示部１６は、信号処理部１３から入力される信号を元に画像を表示する。
記録部１７は、信号処理部１３から入力される信号をメモリに保存する。
外部ＩＦ部１８は、信号処理部１３から入力される信号を外部の表示機器に出力するためのＩＦ（インターフェース）である。
操作部１９は、釦やダイヤル等のヒューマンＩＦで構成されていて、撮像装置の動作命令をする。

図２は、撮像素子１１の構成の一例を示す図である。撮像素子１１は、ＣＭＯＳ構造の撮像素子である。
画素部２１は、表面に入射した光を光電変換して出力する。画素部２１は、２次元マトリックス状に配置された複数の画素を有する。画素部２１には、ＯＢ部（オプティカルブラック部）２２と開口部２３との２種類がある。
ＯＢ部２２は、表面が遮光されている複数のＯＢ画素を有する。ＯＢ部２２から出力された信号は、後段の画像処理で、画像の黒の基準を決める際に使用される。
開口部２３は、表面に入射した光を光電変換して出力する複数の開口画素を有する。

垂直シフトレジスタ２４は、撮像素子１１から読み出す行を選択する。垂直シフトレジスタ２４が複数の行を選択した場合、選択された行に位置する画素の信号が加算されて読み出される。
垂直出力線２５は、画素部２１の信号を列アンプ２６へ送信するために設けられている。
列アンプ２６は、垂直シフトレジスタ２４で選択された行に位置する画素の信号を入力して増幅する。
水平シフトレジスタ２７は、選択した列アンプ２６の出力を外部へ出力する。

図３は、画素部２１〜列アンプ２６の回路構成の一例を示す図である。
ＰＤ３０は、入力された光信号を電荷に変換する光電変換素子である。
転送Ｔｒ３１は、ＰＤ３０とＦＤ３２との間に設けられている。転送Ｔｒ３１は、信号が入力されてＯＮしたときに、ＰＤ３０の電荷をＦＤ３２へ送信する。
ＦＤ３２は、ＰＤ２０の電荷を蓄積する容量である。

リセットＴｒ３３は、定電圧ＶｒｅｓとＦＤ３２との間に設けられている。リセットＴｒ３３は、転送Ｔｒ３１と同時にＯＮすることで、ＰＤ３０とＦＤ３２の電荷を定電圧Ｖｒｅｓへ掃き捨てて、ＰＤ３０及びＦＤ３２の電位を定電圧Ｖｒｅｓと同電位にする。
画素アンプ３４は、ＦＤ３２と選択Ｔｒ３５との間に設けられている。画素アンプ３４は、信号が入力されてＯＮしたときに、ＦＤ３２の電荷を増幅し、選択Ｔｒ３５がＯＮになったときに、増幅した電荷を垂直出力線３６へ出力する。

垂直出力線３６は、各列に配置された複数の画素と１つの列アンプ３９とを接続している。垂直シフトレジスタ２４によって選択された画素の出力が垂直出力線３６を介して列アンプ３９へ入力される。
列アンプ３９は、垂直出力線３６から入力された電圧を増幅して出力する。垂直出力線３６から入力された電圧と、基準電圧Ｖｒｅｆとの差分電圧が、容量３７、３８により決められる増幅率に基づいて増幅され、出力される。

次に、通常の画素部２１の画素の読み出し動作の一例について説明する。
初期状態では、転送Ｔｒ３１、リセットＴｒ３３、及び画素アンプ３４はＯＦＦの状態である。また、ＰＤ３０及びＦＤ３２は、定電圧Ｖｒｅｓと同電位である。
動作を開始すると、撮像素子１１からの信号の読み出しは２度行われる。通常は、光電変換処理された信号に暗電流が加わった信号が撮像素子１１から出力される。このため、受光せずに暗電流のみの信号も別途読み出して、暗電流が加わった信号から暗電流のみの信号を減算することで、求めたい光電変換信号のみを抽出する必要がある。このような目的で、２度の読み出しが行われる。

１度目は、リセットＴｒ３３をＯＮにしてＦＤ３２を定電圧Ｖｒｅｓと同電位にした後に、リセットＴｒ３３をＯＦＦにした状態で選択Ｔｒ３５をＯＮにして、信号の読み出しを行う。このとき、暗電流の影響を受けて電圧が変動すると、その変動分が加算された信号が出力される。
２度目は、リセットＴｒ３３をＯＦＦにした状態で、選択Ｔｒ３５をＯＮにして、信号の読み出しを行う。このとき、撮像素子１１の画素部２１に入射した光は、ＰＤ３０によって光電変換される。予め決められた蓄積時間を経過すると転送Ｔｒ３１がＯＮして、ＰＤ３０の電荷はＦＤ３２へ転送され、転送Ｔｒ３１はＯＦＦになる。そして、選択Ｔｒ３５がＯＮすると、ＦＤ３２の電圧に応じて画素アンプ３４の出力が、垂直出力線３６へ電圧が印加される。
また、１度目の読み出しで暗電流による信号の変動があった場合、２度目の読み出しでも同様の信号の変動が発生し、この信号が光電変換信号に加算される。その信号の電圧が容量３８を介して列アンプ３９へ印加され、その電圧と、基準電圧Ｖｒｅｆとの差分が容量３７、３８によって決められた増幅率で増幅されて出力される。

図４は、ＯＢクランプ回路の構成の一例を示す図である。前述したように、ＯＢクランプ回路は、ＡＤ変換機１２に含まれる。
Ｓ／Ｈ部４１は、アナログ信号であるＳ（Signal）信号とＮ（Noise）信号とを、決められたタイミングでサンプルホールドして信号値を読み出す。
Ａ／Ｄ変換部４２は、Ｓ／Ｈ部４１から入力したアナログ信号をデジタル信号に変換して出力する。
ＯＢ補正部４３は、目標値に対するＯＢ信号の差分を出力する。ここで、ＯＢ信号の目標値は予め設定されている。

デコーダ４４は、ＯＢ補正部４３から入力した信号に補正係数を乗算した補正値を出力する。この補正係数の値が１未満でなければ、ＯＢ信号は収束しない。
Ｄ／Ａ変換部４５は、デコーダ４４から入力したデジタル信号をアナログ信号に変換する。
バッファ４６は、Ｄ／Ａ変換部４５から入力したアナログ信号を電流増幅して、Ｓ／Ｈ部４１へフィードバックする。このアナログ信号は、デコーダ４４より求められた補正値が電圧に変換されたものである。このように本実施形態では、補正係数は帰還係数となる。
Ａ／Ｄ変換処理部４７は、ＯＢ補正部４３から入力したアナログ信号をデジタル信号に変換して出力する。

次に、ＯＢクランプ回路の動作の一例について説明する。
撮像素子１１から入力したＯＢ部２２のＳ信号とＮ信号は、Ｓ／Ｈ部４１に入力されて差動増幅され、ＯＢ信号としてＡ／Ｄ変換部４２に出力される。このとき、Ｓ／Ｈ部４１は、バッファ４６から入力したアナログ信号（補正値）を、Ｓ信号に加算した上で、差動増幅処理を行う。その結果は、Ａ／Ｄ変換部４２により、デジタル信号に変換される。次に、ＯＢ補正部４３は、目標値とＯＢ信号との差分を求める。その差分値に対して、デコーダ４４で補正係数を乗算し、補正値を決定する。
補正値は、Ｄ／Ａ変換部４５により、アナログ信号に変換され、バッファ４６で電流増幅される。Ｓ／Ｈ部４１は、バッファ４６から入力したアナログ信号（補正値）を、Ｓ信号に加算する。

ＯＢ部２２の読み出しが終わると、開口部２３の読み出しが行われる。
開口部２３の読み出しを行うときの、Ｓ／Ｈ部４１からＡ／Ｄ変換部４２までの動作は、ＯＢ部２２の読み出しを行うときと同様である。
ＯＢ補正部４３では、信号と目標値との減算処理を行わない。デコーダ４４でも補正量を更新せずに、ＯＢ部２２の最後の画素で求められた補正量が使用される。

次に、暗い帯の検出方法の一例について述べる。
図５は、前述したＯＢクランプが終わったときの、暗い帯が発生した撮像画像の一例を概念的に示す図である。
ＯＢ部５１と開口部５２には、スポット光源５５となっている領域の左右において行方向に、暗い帯５６、ずなわち、帯状の暗部が発生する。ここで、本実施形態では、前回読み出した行５３と、今回読み出した行５４のＯＢ部５１の画素値と開口部５２の画素値とを比較して、暗い帯５６の有無を判定する。
具体的には、図１に示した信号処理部１３において、各行の信号を読み出す毎に、図６に示すフローチャートによる処理を行う。図６は、暗い帯５６の有無を検出する際の信号処理部１３の処理動作の一例を説明するフローチャートである。図６に示す記号の意味は以下の通りである。

ＯＢＡ：前の行のＯＢ部５１の出力の平均値
ＯＢＢ：現在の行のＯＢ部５１の出力の平均値
ＯＢＲ：ＯＢ部５１の出力の平均値の差の基準値
ＳＵＡ：前の行の飽和画素数
ＳＵＢ：現在の行の飽和画素数
ＳＵＲ：飽和画素数の差の基準値

また、図６のフローチャートを実行するに際し、１行分のＯＢ部５１の出力（画素値）の平均値と、飽和画素数とを記録するメモリを撮像装置に用意する必要がある。
まず、信号処理部１３は、現在の読み出し対象の行のＯＢ部５１の出力の平均値と、飽和画素数とを取得する（ステップＳ６１）。
次に、信号処理部１３は、１つ前の読み出し対象の行のＯＢ部５１の出力の平均値ＯＢＡと、現在の読み出し対象の行のＯＢ部５１の出力の平均値ＯＢＢとの差の絶対値が、予め定めた基準値ＯＢＲ未満であるか否かを判定する（ステップＳ６２）。この判定の結果、この絶対値が基準値ＯＢＲ未満であれば、信号処理部１３は、暗い帯５６は発生していないと判定する（ステップＳ６４）。

一方、この絶対値が基準値ＯＢＲ以上であれば、信号処理部１３は、１つ前の読み出し対象の行の開口部５２と、現在の読み出し対象の行の開口部５２の飽和画素数の差の絶対値が、予め定めた基準値ＳＵＲ未満であるか否かを判定する（ステップＳ６３）。この判定の結果、この絶対値が基準値ＳＵＲ未満であれば、信号処理部１３は、暗い帯の影響ではなく、別の現象が原因でステップＳ６２においてＮＯと判定されたと判定し、暗い帯５６は発生していないと判定する（ステップＳ６４）。

一方、この絶対値が基準値ＳＵＲ以上であれば、信号処理部１３は、暗い帯５６が発生していると判定する（ステップＳ６５）。
そして、以上のようにして暗い帯５６の発生の有無の判定が終わると、信号処理部１３は、現在の読み出し対象の行のＯＢ部５１の出力の平均値ＯＢＢを、１つ前の読み出し対象の行のＯＢ部５１の出力の平均値ＯＢＡとして記憶する（ステップＳ６６）。さらに、信号処理部１３は、現在の読み出し対象の行の飽和画素数ＳＵＢを、１つ前の読み出し対象行の飽和画素数ＳＵＡとして記憶する。そして、図６のフローチャートによる処理を終了する。

ここで、図７を参照しながら、ＯＢクランプ回路における補正係数の値を変更する際の、暗い帯の挙動の一例を説明する。図７（ａ）は、ＯＢクランプ回路における補正係数の値を上げる前の、暗い帯の一例を示す図である。図７（ｂ）は、ＯＢクランプ回路における補正係数の値を上げた後に発生する横スジの一例を示す図である。
まず、図７（ａ）に示すように、画像７０に、飽和画素７１の影響で暗い帯７２が発生したとする。このとき、ＯＢ部７３の出力の水平方向の射影７４は、暗い帯７２の部分が沈むような形となる。
ＯＢクランプ回路における補正係数の値を上げると、図７（ｂ）に示す画像７５のようになる。飽和画素７６の影響で画像７５に発生する暗部７７は、ＯＢクランプ回路の処理によって軽減する。ＯＢ部７８の出力の水平方向の射影７９のように、ＯＢ信号は目標値へ収束するため、暗部７７は、帯状にならず、２本の横スジ、すなわち、スジ状の暗部になる。ＯＢクランプ回路における補正係数の値を上げると、この横スジも軽減する。

次に、横スジを補正する方法の一例について説明する。
ＯＢクランプ回路における補正係数の値を上げても、暗い帯の先頭行を充分に補正できないことも考えられる。そこで、本実施形態では、暗い帯の補正が充分でない場合は、横スジ補正処理も導入する。図８は、横スジが発生した撮像画像の一例を概念的に示す図である。
図８において、ＯＢ部８１と開口部８２には、スポット光源８５の上端の左右に、横スジ８６が発生している。ここで、信号処理部１３は、現在の読み出し対象の行の直前の行までのＯＢ部８３の出力の平均値と、現在の読み出し対象の行のＯＢ部８３の出力の平均値とを比較して、横スジ８６の有無を判定する。

図９は、横スジの検出と補正を行う際の信号処理部１３の処理動作の一例を説明するフローチャートである。図９に示す記号の意味は以下の通りである。
ＯＢＣｃ：現在の行のＯＢ部８１の出力の平均値
ＯＢＣｃ−ｍ：ｍ行前のＯＢ部８１の出力の平均値
ＯＢＤ：ＯＢＣｃ−１＋…＋ＯＢＣｃ−ｎ
ＯＢＳ：ＯＢ部８１の平均値の差の基準値

まず、信号処理部１３は、現在の読み出し対象の行のＯＢ部８１の出力の平均値ＯＢＣｃを取得する（ステップＳ９１）。
次に、信号処理部１３は、現在の読み出し対象の行のＯＢ部８１の出力の平均値ＯＢＣｃをｎ倍した値と、直前のｎ行のＯＢ部８１の出力の平均値の和ＯＢＤとの差の絶対値が予め定めた基準値ＯＢＳ未満であるか否かを判定する（ステップＳ９２）。

この判定の結果、この絶対値が基準値ＯＢＳ未満であれば、信号処理部１３は、横スジ８６は発生していないと判定する（ステップＳ９３）。
次に、信号処理部１３は、次の行以降の横スジの有無の判定に使用するために、現在の読み出し対象の行のＯＢ部８１の出力の平均値ＯＢＣｃを記憶する（ステップＳ９５）。さらに、信号処理部１３は、記憶している中で最も古い行のＯＢ部８１の出力の平均値を削除する（ステップＳ９５）。そして、信号処理部１３は、次の行における直前のｎ行のＯＢ部８１の出力の平均値の和ＯＢＤを、次のようにして求める（ステップＳ９５）。まず、信号処理部１３は、現在の読み出し対象の行における直前のｎ行のＯＢ部８１の出力の平均値の和ＯＢＤから、現在の読み出し対象の行よりもｎ行前の行のＯＢ部８１の出力の平均値の和ＯＢＣｃ−ｎを減算する。次に、信号処理部１３は、この減算値に、現在の読み出し対象の行のＯＢ部８１の出力の平均値ＯＢＣｃを加算する。この加算値（ＯＢＤ−ＯＢＣｃ−ｎ＋ＯＢＣｃ）が、次の行における直前のｎ行のＯＢ部８１の出力の平均値の和ＯＢＤとなる。

一方、ステップＳ９２において、前記絶対値が基準値ＯＢＳ以上であれば、信号処理部１３は、横スジ８６が発生していると判定する（ステップＳ９４）。
次に、信号処理部１３は、直前のｎ行のＯＢ部８１の出力の平均値の和ＯＢＤをｎで割った値から、現在の読み出し対象の行のＯＢ部８１の出力の平均値ＯＢＣｃを減算した値を、現在の読み出し対象の行の画素の全てに加算する（ステップＳ９６）。このステップＳ９６の加算処理により、横スジ８６を低減（補正）することができる。そして、図６のフローチャートによる処理を終了する。尚、ステップＳ９４で横スジ８６が発生していると判定された場合、現在の読み出し対象の行のＯＢ部８１の出力は、横スジ８６の影響を受けていたことになるので、次の行の横スジ８６の有無の判定には使用されない。そのため、ステップＳ９２において、次の行のＯＢ部８１の出力と比較される直前のｎ行のＯＢ部８１の出力の平均値の和ＯＢＤは、現在の読み出し対象のＯＢ部８１の出力と比較した値となる。

次に、実際に静止画像の撮影を行う際の撮像装置の動作を説明する。図１０は、静止画像を撮影する際の暗い帯の検出・補正処理を含む撮像装置の処理動作の一例を説明するフローチャートである。
まず、固体撮像装置は、ＥＶＦ（電子ビューファインダ）の動作モードで動作する（ステップＳ１０１）。その後、ユーザにより撮影ボタンが押されること等により、固体撮像装置は、撮影を開始する（ステップＳ１０２）。そうすると、固体撮像装置は、予め決められた露出時間に応じてメカシャッターを駆動し、そのときに蓄積した撮像素子１１の信号を行単位で上の行から出力する（ステップＳ１０３）。そして、固体撮像装置は、図６に示した方法で暗い帯の有無を判定する（ステップＳ１０４）。

そして、固体撮像装置は、暗い帯があると判定すると（ステップＳ１０４でＹＥＳ）、ステップＳ１０５に進む。そして、固体撮像装置は、ＯＢクランプ回路における補正係数の値を上げて暗い帯を補正することと、図９に示した手順で横スジの有無を再判定し、横スジがある場合には横スジを補正することとを行う（ステップＳ１０５）。この処理を一行ごとに行い（ステップＳ１０６でＮＯ〜ステップＳ１０４〜Ｓ１０６）、全ての行を読み出したと判定すると（ステップＳ１０６でＹＥＳ）、固体撮像装置は、表示部１６及び記録部１７へ画像データを送信する（ステップＳ１０７）。一方、暗い帯があると判定すると（ステップＳ１０４でＮＯ）、ステップＳ１０５の処理を省略してステップＳ１０６の処理に進む。

以上のように本実施形態では、相互に隣接する１つ前の行と現在の行のＯＢ部５１の出力の平均値ＯＢＡ、ＯＢＢの差の絶対値と、１つ前の行と現在の行の飽和画素数の差の絶対値との何れもが基準値未満でない場合に、暗い帯が発生していると判定する。そして、暗い帯が発生していると判定した場合に限り、ＯＢクランプ回路における補正係数の値を上げて当該暗い帯を補正する。
このように、通常動作時に暗い帯の補正をするための処理をしないので、撮影画像の劣化を低減できる。一方、強いスポット光が入射された場合に暗い帯が検出された場合には、当該暗い帯の抑制を行うことで鮮明な画像を得ることができる。

さらに、暗い帯を補正した後、現在の行のＯＢ部５１の出力の平均値ＯＢＣｃをｎ倍した値と、当該行に隣接する直前のｎ行のＯＢ部８１の出力の平均値の和ＯＢＤとの差の絶対値が基準値以上である場合に、横スジが発生していると判定する。そして、横スジが発生していると判定した場合に限り、直前のｎ行のＯＢ部８１の出力の平均値の和ＯＢＤをｎで割った値から、現在の読み出し対象の行のＯＢ部８１の出力の平均値ＯＢＣｃを減算した値を、現在の読み出し対象の行の画素の全てに加算する。この加算処理により横スジを補正する。よって、横スジの抑制を行うことができ、より一層鮮明な画像を得ることができる。

本実施形態では、撮影を開始した後に、暗い帯の検出・補正、横スジの検出・補正を行う場合を例に挙げて説明した。しかしながら、暗い帯の検出・補正、横スジの検出・補正を行うタイミングは、これに限定されない。例えば、本撮影の前のＥＶＦによる動作を行っているとき、又は測光処理を行っているときに、これらを行ってもよい。
また、暗い帯の検出・補正を行った後も、暗い帯の検出を継続して行い、暗い帯を検出してから予め設定されている時間、暗い帯を検出しなければ、暗い帯の検出・補正を止めるようにしてもよい。

また、１つ前の行と現在の行のＯＢ部５１の出力の平均値ＯＢＡ、ＯＢＢの差の絶対値と、１つ前の行と現在の行の飽和画素数の差の絶対値との何れもが基準値未満でない場合に、暗い帯が発生していると判定すれば、暗い帯を確実に検出できるので好ましい。しかしながら、これらの何れか一方を判定基準としていれば、列方向（縦方向）におけるＯＢ部５１の出力の変化が大きいか否かを判定できるので、このようにしてもよい。
また、１つ前の読み出し対象の行のＯＢ部５１の出力の平均値ＯＢＡ、現在の読み出し対象の行のＯＢ部５１の出力の平均値ＯＢＢ、現在の読み出し対象の行のＯＢ部８１の出力の平均値、直前のｎ行のＯＢ部８１の出力の平均値を用いた。しかしながら、これらの行のＯＢ部の出力の代表値であれば、必ずしも平均値を用いる必要はない。例えば、平均値の代わりに中央値を用いてもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。動画撮影の場合の動作を以下に示す。本実施形態では、動画像の記録動作を行う場合について説明する。本実施形態と第１の実施形態とは、撮像する対象となる画像が静止画像であるか動画像であるかの違いによる処理が主として異なる。よって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１０に付した符号と同一の符号を付す等して詳細な説明を省略する。

図１１は、動画像を撮影する際の暗い帯の検出・補正処理を含む撮像装置の処理動作の一例を説明するフローチャートである。
まず、撮像装置は、ＥＶＦの動作モードで動作する（ステップＳ１１１）。その後、撮像装置は、動画記録を開始しているか否かを判定する（ステップＳ１１２）。この判定は、ボタンやタッチパネル等による入力の有無に基づいて行われる。

この判定の結果、動画記録を開始していれば、撮像装置は、暗い帯があるか否かを判定する（ステップＳ１１３）。暗い帯の検出方法は、第１の実施形態で説明した通りである（図６を参照）。この判定の結果、暗い帯がなければ、撮像装置は、記録終了の操作がされたか否かを判定する（ステップＳ１１７）。

この判定の結果、記録終了の操作がされていなければ、ステップＳ１１１に戻り、記録動作を続ける。一方、暗い帯があれば、撮像装置は、暗い帯の補正処理を行う（ステップＳ１１４）。このときの補正処理は、ＯＢクランプ回路における補正係数の値を上げることにより行われ、少ない画素で補正が行われる。そして、撮像装置は、横スジ（補正残り）があるか否かを判定する（ステップＳ１１５）。横スジの検出方法は、図９に示した通りである。

この判定の結果、横スジがなければ、前述したステップＳ１１７に進み、記録終了の操作がされたか否かを判定する。
一方、横スジがあれば、横スジの補正（補正残りの再補正）を行う。この補正の方法は、図９に示した通りである。そして、ステップＳ１１７に進み、記録終了の操作がされたか否かを判定する。

以上のように、動画像の撮像に際しても、第１の実施形態で説明した効果を得ることができる。
本実施形態では、動画像の記録を開始した後に、暗い帯の検出・補正、横スジの検出・補正を行う場合を例に挙げて説明した。しかしながら、暗い帯の検出・補正、横スジの検出・補正を行うタイミングは、これに限定されない。例えば、本撮影の前のＥＶＦによる動作を行っているときに、これらを行ってもよい。
また、撮影中に、予め設定されている時間、暗い帯を検出しなければ、暗い帯の検出・補正を止めるようにしてもよい。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１０ 光学系、１１ 撮像素子、１３ 信号処理部

Claims (14)

1. 開口部となる開口画素と、オプティカルブラック部となるＯＢ画素と、を含む２次元マトリックス状に配置された複数の画素を有するＣＭＯＳ構造の撮像素子と、
   前記撮像素子により撮像された画像における高輝度領域の左右において前記画素の行方向に帯状の暗部が発生しているか否かを、前記画素の列方向において相互に隣接する２つの行に位置する前記ＯＢ画素のそれぞれの出力に基づいて判定する判定手段と、
   前記判定手段により、前記帯状の暗部が発生していると判定された場合に、前記帯状の暗部を抑制するように前記撮像された画像を補正する補正手段と、
   を有することを特徴とする撮像装置。
2. 前記判定手段は、さらに、前記画素の列方向において相互に隣接する２つの行における飽和画素数に基づいて、前記帯状の暗部が発生しているか否かを判定することを特徴とする請求項１に記載の撮像装置。
3. 開口部となる開口画素と、オプティカルブラック部となるＯＢ画素と、を含む２次元マトリックス状に配置された複数の画素を有するＣＭＯＳ構造の撮像素子と、
   前記撮像素子により撮像された画像における高輝度領域の左右の少なくともいずれかにおいて前記画素の行方向に帯状の暗部が発生しているか否かを、前記画素の列方向において相互に隣接する２つの行における飽和画素数に基づいて判定する判定手段と、
   前記判定手段により、前記帯状の暗部が発生していると判定された場合に、前記帯状の暗部を抑制するように前記撮像された画像を補正する補正手段と、
   を有することを特徴とする撮像装置。
4. さらに、前記画素の出力に基づく電圧と、基準電圧との差分電圧を増幅する増幅手段を有し、
   前記帯状の暗部は、前記基準電圧の変動により生じることを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 前記補正手段は、前記ＯＢ画素の出力を入力する手段と、
   目標値に対する前記ＯＢ画素の出力の差分を出力する手段と、
   前記目標値に対する前記ＯＢ画素の出力の差分に帰還係数を乗算する手段と、
   前記目標値に対する前記ＯＢ画素の出力の差分に基づく信号を、前記帰還係数を乗算した後にフィードバックして、前記ＯＢ画素の出力に加算する手段と、を有し、
   前記帰還係数の値を変更することにより、前記帯状の暗部を抑制することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
6. 前記補正手段により前記帯状の暗部が抑制された後に、前記画素の１つの行における前記ＯＢ画素の出力と、当該行に隣接する複数の行における前記ＯＢ画素の出力とに基づいて、前記高輝度領域の左右において前記画素の行の方向にスジ状の暗部が発生しているか否かを判定する再判定手段と、
   前記再判定手段により、前記スジ状の暗部が発生していると判定された場合に、前記スジ状の暗部を抑制するように前記画像を再補正する再補正手段と、を更に有することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
7. 前記再補正手段は、前記画素の１つの行に隣接する複数の行における前記ＯＢ画素の出力の代表値から、当該画素の１つの行における前記ＯＢ画素の出力を減算した値を、当該画素の１つの行のそれぞれの前記ＯＢ画素の出力に加算することにより、前記スジ状の暗部を抑制することを特徴とする請求項６に記載の撮像装置。
8. 開口部となる開口画素と、オプティカルブラック部となるＯＢ画素と、を含む２次元マトリックス状に配置された複数の画素を有するＣＭＯＳ構造の撮像素子を有する撮像装置の制御方法であって、
   前記撮像素子により撮像された画像における高輝度領域の左右において前記画素の行方向に帯状の暗部が発生しているか否かを、前記画素の列方向において相互に隣接する２つの行に位置する前記ＯＢ画素のそれぞれの出力に基づいて判定する判定工程と、
   前記判定工程により、前記帯状の暗部が発生していると判定された場合に、前記帯状の暗部を抑制するように前記撮像された画像を補正する補正工程と、を有することを特徴とする撮像装置の制御方法。
9. 前記判定工程は、さらに、前記画素の列方向において相互に隣接する２つの行における飽和画素数に基づいて、前記帯状の暗部が発生しているか否かを判定することを特徴とする請求項８に記載の撮像装置の制御方法。
10. 開口部となる開口画素と、オプティカルブラック部となるＯＢ画素と、を含む２次元マトリックス状に配置された複数の画素を有するＣＭＯＳ構造の撮像素子を有する撮像装置の制御方法であって、
    前記撮像素子により撮像された画像における高輝度領域の左右の少なくともいずれかにおいて前記画素の行方向に帯状の暗部が発生しているか否かを、前記画素の列方向において相互に隣接する２つの行における飽和画素数に基づいて判定する判定工程と、
    前記判定工程により、前記帯状の暗部が発生していると判定された場合に、前記帯状の暗部を抑制するように前記撮像された画像を補正する補正工程と、
    を有することを特徴とする撮像装置の制御方法。
11. さらに、前記画素の出力に基づく電圧と、基準電圧との差分電圧を増幅する増幅工程を有し、
    前記帯状の暗部は、前記基準電圧の変動により生じることを特徴とする請求項８〜１０の何れか１項に記載の撮像装置の制御方法。
12. 前記補正工程は、前記ＯＢ画素の出力を入力する工程と、
    目標値に対する前記ＯＢ画素の出力の差分を出力する工程と、
    前記目標値に対する前記ＯＢ画素の出力の差分に帰還係数を乗算する工程と、
    前記目標値に対する前記ＯＢ画素の出力の差分に基づく信号を、前記帰還係数を乗算した後にフィードバックして、前記ＯＢ画素の出力に加算する工程と、を有し、
    前記帰還係数の値を変更することにより、前記帯状の暗部を抑制することを特徴とする請求項８〜１１の何れか１項に記載の撮像装置の制御方法。
13. 前記補正工程により前記帯状の暗部が抑制された後に、前記画素の１つの行における前記ＯＢ画素の出力と、当該行に隣接する複数の行における前記ＯＢ画素の出力とに基づいて、前記高輝度領域の左右において前記画素の行の方向にスジ状の暗部が発生しているか否かを判定する再判定工程と、
    前記再判定工程により、前記スジ状の暗部が発生していると判定された場合に、前記スジ状の暗部を抑制するように前記画像を再補正する再補正工程と、を更に有することを特徴とする請求項８〜１２の何れか１項に記載の撮像装置の制御方法。
14. 前記再補正工程は、前記画素の１つの行に隣接する複数の行における前記ＯＢ画素の出力の代表値から、当該画素の１つの行における前記ＯＢ画素の出力を減算した値を、当該画素の１つの行のそれぞれの前記ＯＢ画素の出力に加算することにより、前記スジ状の暗部を抑制することを特徴とする請求項１３に記載の撮像装置の制御方法。

Images