JP5116399B2 - 撮像装置、そのスミア補正方法、プログラムおよび記憶媒体 - Google Patents

Description

本発明は、スミア補正を行う撮像装置、そのスミア補正方法、プログラムおよび記憶媒体に関する。

従来、動画を記録またはＥＶＦ（電子ビューファインダ）で表示する際、撮像素子からの出力信号に含まれるスミア量を算出し、さらにスミア補正を行う撮像装置が知られている。

図１０は従来の撮像装置の構成を示すブロック図である。図には、従来の撮像装置として、固体撮像素子を用いたデジタルスチルカメラおよびデジタルカムコーダの、撮像信号処理系および感度・露光制御系の構成が示されている。光学系（レンズ）４０１は被写体像を像面に結像させる。絞り４０２は光学系４０１からの像面光量を制御する。メカニカルシャッタ４０３は光学系４０１から光が入射する時間を制御する。

撮像部４０４は光学系４０１により結像された被写体像を電気信号に変換する。本実施形態では、撮像部４０４としてエリアセンサが用いられる。撮像素子駆動回路（撮像部駆動回路）４０５は撮像部４０４を駆動するために必要な振幅のパルスを撮像部４０４に供給する。ＣＤＳ回路４０６は、撮像部４０４からの出力に対し、相関二重サンプリングを行う。

ＡＧＣ回路４０７はＣＤＳ回路４０６の出力信号を増幅する。使用者が撮像装置の感度設定を変更する場合、低輝度時に撮像装置が自動的にゲインアップを行う場合などに、ＡＧＣ回路４０７のゲイン設定が変更される。クランプ回路（ＣＬＰ回路）４０８は、ＡＧＣ回路４０７からの出力信号のうち、後述するＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）電位を基準の電位にクランプする。ＡＤ変換回路４０９は、クランプ回路４０８から出力されるアナログ撮像信号をデジタル信号に変換する。

映像処理回路４１０は、映像信号処理回路４１１、測光回路４１２およびＯＢ積分回路４１７を備える。また、映像処理回路４１０は、撮像部４０４から入力される信号に基づいて被写体の色温度を測定し、映像信号処理回路４１１でのホワイトバランス処理に必要な情報を得るためのＷＢ回路などの回路（図示せず）を備える。

映像信号処理回路４１１は、デジタル信号に変換された撮像信号を、輝度と色（Ｒ−Ｙ、Ｂ−Ｙの色差信号、またはＲ、Ｇ、Ｂ信号）の映像信号に変換する。測光回路４１２は、撮像部４０４から入力される信号のレベルから測光量を測定する。ＯＢ積分回路４１７は基準の電位となるＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）電位の信号を出力する。

タイミングパルス発生回路（ＴＧ）４１３は、撮像装置の各部の回路に必要なタイミングパルスを発生する。ＣＰＵ４１４は、感度・露光制御部４１５およびＯＢレベルブロック比較回路４１８を有する。ＯＢレベルブロック比較回路４１８は、ＯＢ積分回路４１７で得られた信号レベルと予め設定した黒レベルとを比較し、その結果を感度・露光制御部４１５に出力する。

感度・露光制御部４１５は、測光回路４１２およびＯＢレベルブラック比較回路４１８からの情報に基づいて感度や露光を制御するために、ＡＧＣ回路４０７にゲインを変更するための命令を出力する。また、感度・露光制御部４１５は、露光制御回路４１６に露出制御用の命令を出す機能を有する。スイッチ４１９は、ユーザの操作により動画撮影動作を指示するスイッチである。

撮像部４０４に固体撮像素子が用いられた撮像装置では、固体撮像素子の露光状態を最適に保つように露光制御手段が設けられる。この露光制御手段としては、固体撮像素子に入射する光量を被写体の輝度に応じて制御する機械的な絞り機構や、固体撮像素子の電荷の蓄積時間を被写体の輝度に応じて制御する、いわゆる電子シャッタなどが知られている。

また、現在、デジタルカメラやビデオカムコーダなどに使用されている固体撮像素子の代表的なものとして、ＣＣＤが挙げられる。その１種であるインターライン転送方式のＣＣＤでは、各画素に蓄積された電荷が、各画素から各垂直転送路を通り抜け、水平転送路まで搬送される。図１１はＣＣＤの構造を示す図である。フォトダイオード６０１（光電変換素子）に光が入射すると、光電変換により電荷が蓄積される。蓄積された電荷は、水平転送路６０３まで垂直転送路６０２を通じて転送された後、さらに水平転送路６０３を転送され、アンプ部６０４で電荷電圧変換され、電圧として信号が読み出される。

図１２はＣＣＤの出力画像７０１の一部に明るいスポット光が写っている場合の出力画像を示す図である。スポットライトや太陽光など、高輝度の光がＣＣＤ面に照射された場合、スポット光のあたっている部分７０２の垂直転送路６０２を電荷が通過する。この際、垂直転送路６０２に漏れ込んだ光や各画素からの電荷リークなどによって発生した、多量のスミア電荷が混入し、出力画像７０１の画面の上下を貫くマゼンダ色の帯７０３が発生する。この現象をスミアという。

図１３はＣＣＤの各画素および垂直転送路の構造を示す断面図である。レンズ４０１を通して集光した光は、ＣＣＤの中心付近では、同図（ａ）に示すように各画素に入射する。ここで、光線８０１は、レンズ４０１を通過し、さらにＣＣＤの各画素８０４の上部に設けられたマイクロレンズ８０３で集光され、各画素８０４に入射する光の主光線である。また、光線８０２は、ＣＣＤの各画素８０４の上部に設けられたマイクロレンズ８０３を通過し、各フォトダイオード８０４に入射する光の周辺光線である。

このとき、主光線８０１の入射角度は、ＣＣＤの中心付近では表面に対してほぼ直角である。一方、その周辺部では、主光線８０１は、レンズの特性に応じた角度をつけ、同図（ｂ）に示すように斜めに入射することが多い。こうした条件の下では、先に述べた垂直転送路６０２への光の漏れ込みが起き易くなり、スミア特性は悪化する。

このように、スミアはフォトダイオードへの光の入射角に依存することが知られている。また、同図（ｂ）と同図（ｃ）を比較すれば分かるように、ＣＣＤの構造はフォトダイオード８０４を挟んで左右非対称になっている。片側には、チャネルストップ８０７、もう片側には、通常、チャネルストップ８０７より広い幅で読み出しゲート８０８が形成されている。

このような左右非対称の構造のため、同図（ｂ）と同図（ｃ）のようにフォトダイオードへの光の入射角が逆になる場合、光や電荷の垂直転送路への漏れ込み易さが異なり、スミアの現れ方が異なってくる。このため、画面内でスミアは一様とならない。

また、近年のＣＣＤの狭画素化に伴い、レンズ４０１の光線の角度に対する許容幅が減っている。さらに、カメラそのものの軽薄短小傾向によって、光学系をコンパクトに作ることによりＣＣＤ表面への光線入射角もきつくなっている。このように、スミア特性は悪化し続けている。

このため、画素の信号量が飽和しない青空や雲、白壁など、従来では、スミアが発生しなかった輝度の被写体からでもスミアが発生するようになり、青空や白壁がマゼンダ色になるなど、画質を大きく劣化させている。

このようなスミアを抑制する方法としては、画素を遮光した領域や画素の下にフォトダイオードを設けない領域であるＯＢ（光学的黒）ラインを複数ライン読み出し、スミア分を減算する方法が一般的に知られている。また、ライン読み出しを感光ライン数より多くすることで作られるＯＢライン（ダミーライン）を読み出し、スミア分を減算する方法が一般的に知られている。これらの方法は後述する前者に相当する。

図１４はスミア電荷量の合計を算出する方法を説明する図である。複数の受光ビットが行方向および列方向に配置されたＣＣＤでは、所定の期間に各受光ビットに蓄積される情報電荷を一定の周期で列方向に転送すると共に、１行ずつ行方向に転送して出力する。この際、各受光ビットに蓄積された情報電荷を列方向に転送する過程で混入するスミア電荷の量を、各受光ビットに蓄積された情報電荷量から情報電荷の蓄積時間と、情報電荷の列方向への転送周期との比に基づいて受光ビット毎に推定する。この推定値を情報電荷の転送経路にある受光ビット数分累加算し、スミア電荷量の合計を算出する（特許文献１参照）。この方法は後述する後者に相当する。

この方法により、情報電荷が垂直方向に１行だけ転送される間に、各受光ビットに混入するスミア電荷量が各行毎にそれぞれ算出される。各受光ビットでの情報電荷の蓄積から転送出力までの期間が短く、各受光ビットに照射される光の強度が大きく変化することは少ないので、所定の蓄積期間で各受光ビットに蓄積される情報電荷量からほぼ正確なスミア電荷量を推定することができる。そして、その推定値を情報電荷の転送経路にある受光ビットの数だけ加算することにより、最終的に取り出される出力電荷量に含まれるスミア電荷量を算出することができる。
特開平９−１５４０６４号公報

しかしながら、上記従来の方法を用いるためには、ＣＣＤがフレーム転送型であることの制約があった。また、現在主流のインターライン型のＣＣＤの場合には、スミアの乗っていない画素の読み出しが必要となるので、各画素の電荷を読み出す前に、空転送することにより垂直転送路で発生した電荷を全て除かなければならないなどの制約があった。

特に、後者では、ＳＮを確保するためには、数十ラインを読み出して積算しなければならず、ＣＣＤからの読み出し速度の低下を招き、動画のフレームレートを低下させた。このフレームレートの低下は、前者の、画面下部などでＯＢ（光学的黒）ラインを複数ライン読み出す方法でも発生した。

そこで、本発明は、撮像素子からの読み出し速度の低下によるフレームレートの低下を招くことなくスミア補正を行うことができる撮像装置、そのスミア補正方法、プログラムおよび記憶媒体を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、光を電気信号に変換する光電変換素子を水平および垂直方向に複数配置し、前記各光電変換素子で変換された電気信号を垂直ラインを通じて転送する撮像素子を有する撮像装置において、前記撮像素子の各垂直ラインの信号値を積算する積算手段と、前記撮像素子の各垂直ラインのスミア補正係数を記憶する記憶手段と、前記垂直ライン毎に積算した信号値および前記スミア補正係数を基に、当該垂直ラインに乗るスミア量を算出する算出手段と、前記算出されたスミア量を用いた減算処理によりスミア補正を行うスミア補正手段と、前記スミア補正に用いられる前記スミア量を制限するリミッタ手段と、前記スミア補正によって前記信号値が飽和まで達しなくなる分を、前記信号値のゲインアップを行うことで補うゲインアップ手段と、を備えたことを特徴とする。

本発明の撮像装置のスミア補正方法は、光を電気信号に変換する光電変換素子を水平および垂直方向に複数配置し、前記各光電変換素子で変換された電気信号を垂直ラインを通じて転送する撮像素子を有する撮像装置のスミア補正方法であって、前記撮像装置の積算手段が前記撮像素子の各垂直ラインの信号値を積算する積算ステップと、前記撮像装置の記憶手段が前記撮像素子の各垂直ラインのスミア補正係数を予め記憶しておく記憶ステップと、前記撮像装置の算出手段が前記垂直ライン毎に積算した信号値および前記スミア補正係数を基に、当該垂直ラインに乗るスミア量を算出する算出ステップと、前記撮像装置のスミア補正手段が前記算出されたスミア量を用いた減算処理によりスミア補正を行うスミア補正ステップと、前記スミア補正に用いられる前記スミア量を制限するリミッタステップと、前記スミア補正によって前記信号値が飽和まで達しなくなる分を、前記信号値のゲインアップを行うことで補うゲインアップステップと、を有することを特徴とする。

本発明のプログラムは、光を電気信号に変換する光電変換素子を水平および垂直方向に複数配置し、前記各光電変換素子で変換された電気信号を垂直ラインを通じて転送する撮像素子を有する撮像装置のスミア補正方法をコンピュータに実行させるプログラムであって、前記スミア補正方法は、前記撮像装置の積算手段が前記撮像素子の各垂直ラインの信号値を積算する積算ステップと、前記撮像装置の記憶手段が前記撮像素子の各垂直ラインのスミア補正係数を予め記憶しておく記憶ステップと、前記撮像装置の算出手段が前記垂直ライン毎に積算した信号値および前記スミア補正係数を基に、当該垂直ラインに乗るスミア量を算出する算出ステップと、前記撮像装置のスミア補正手段が前記算出されたスミア量を用いた減算処理によりスミア補正を行うスミア補正ステップと、前記スミア補正に用いられる前記スミア量を制限するリミッタステップと、前記スミア補正によって前記信号値が飽和まで達しなくなる分を、前記信号値のゲインアップを行うことで補うゲインアップステップと、を有することを特徴とする。

本発明では、各垂直ラインの信号値を積算し、この積算した信号値と記憶されたスミア補正係数とから、スミア量を算出する。そして、垂直ライン毎に算出したスミア量を用いた減算処理（例えば、算出したスミア量を各画素の信号値から減算すること）により、スミア補正を行う。このように、スミア量の算出に、各垂直ラインの画素の積算値を用いることにより、スミアの掃き捨てのための駆動や、スミア算出のための、数十ラインに及ぶＯＢラインやダミーラインを読み出さなくて済む。従って、撮像素子からの読み出し速度の低下によるフレームレートの低下を招くことなくスミア補正を行うことができる。この結果、撮像素子の読み出しライン数が増えず、これを要因とするフレームレートの低下を抑えつつ、スミアによる画質の劣化を低減することができる。さらに、信号値のダイナミックレンジの低下、各垂直ラインにおける飽和量のバラツキ、およびスミア補正により画素の信号値が飽和に達しないことによる不自然な画像を生じさせることは、解消される。

本発明の撮像装置、そのスミア補正方法、プログラムおよび記憶媒体の実施の形態について図面を参照しながら説明する。

図１は実施の形態における撮像装置の構成を示すブロック図である。図には、撮像装置として、固体撮像素子を用いたデジタルスチルカメラおよびデジタルカムコーダの、撮像信号処理系および感度・露光制御系の構成が示されている。光学系（レンズ）１０１は被写体像を像面に結像させる。絞り１０２は光学系１０１からの像面光量を制御する。メカニカルシャッタ１０３は光学系１０１から光が入射する時間を制御する。

撮像部１０４は光学系１０１により結像された被写体像を電気信号に変換する。本実施形態では、撮像部１０４としてインターライン転送型ＣＣＤが用いられる。インターライン型ＣＣＤは、垂直および水平方向に光電変換素子であるフォトダイオードを複数配置し、これらのフォトダイオードに蓄積した電荷を、垂直転送ラインおよび水平転送ラインを使って転送する。撮像素子駆動回路（撮像部駆動回路）１０５は撮像部１０４を駆動するために必要な振幅のパルスを撮像部１０４に供給する。ＣＤＳ回路１０６は、撮像部１０４からの出力に対し、相関二重サンプリングを行う。

ＡＧＣ回路１０７はＣＤＳ回路１０６の出力信号を増幅する。使用者が撮像装置の感度設定を変更する場合、低輝度時に撮像装置が自動的にゲインアップを行う場合などにおいて、ＡＧＣ回路１０７のゲイン設定が変更される。クランプ回路（ＣＬＰ回路）１０８は、ＡＧＣ回路１０７からの出力信号のうち、後述するＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）電位を基準の電位にクランプする。ＡＤ変換回路１０９は、クランプ回路１０８から出力されるアナログ撮像信号をデジタル信号に変換する。

映像処理回路１１０は、映像信号処理回路１１１、測光回路１１２、ＯＢ積分回路１１７およびスミア補正回路１２０を備える。また、映像処理回路１１０は、撮像部１０４から入力される信号に基づいて被写体の色温度を測定し、映像信号処理回路１１１でのホワイトバランス処理に必要な情報を得るためのＷＢ回路などの回路（図示せず）を備える。

映像信号処理回路１１１は、デジタル信号に変換された撮像信号を、輝度と色（Ｒ−Ｙ、Ｂ−Ｙの色差信号、またはＲ、Ｇ、Ｂ信号）の映像信号に変換する。測光回路１１２は、撮像部１０４から入力される信号のレベルから測光量を測定する。ＯＢ積分回路１１７は基準の電位となるＯＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）電位の信号を出力する。スミア補正回路１２０は撮像信号に対してスミア補正を行う。このスミア補正回路１２０の構成および動作の詳細については後述する。

タイミングパルス発生回路（ＴＧ）１１３は、撮像装置の各部の回路に必要なタイミングパルスを発生する。ＣＰＵ１１４は、感度・露光制御部１１５およびＯＢレベルブロック比較回路１１８を有する。ＯＢレベルブロック比較回路１１８は、ＯＢ積分回路１１７で得られた信号レベルと予め設定した黒レベルとを比較し、その結果を感度・露光制御部１１５に出力する。

感度・露光制御部１１５は、測光回路１１２およびＯＢレベルブラック比較回路１１８からの情報に基づいて感度や露光を制御するために、ＡＧＣ回路１０７にゲインを変更するための命令を出力する。また、感度・露光制御部１１５は、露光制御回路１１６に露出制御用の命令を出す機能を有する。スイッチ１１９は、ユーザの操作により動画撮影動作を指示するスイッチである。

撮像部１０４に固体撮像素子を用いた撮像装置では、固体撮像素子の露光状態を最適に保つように露光制御手段が設けられる。この露光制御手段としては、固体撮像素子に入射する光量を被写体の輝度に応じて制御する機械的な絞り機構や、固体撮像素子の電荷の蓄積時間を被写体の輝度に応じて制御する、いわゆる電子シャッタなどが知られている。

ここで、スミア補正回路１２０で実行される、本実施形態におけるスミア信号量の算出方法の原理について説明する。図２はスミア信号量の算出方法の原理を説明する図である。同図(ａ)はＣＣＤの各垂直ライン（垂直転送ライン）に発生するスミアの例を示すグラフである。横軸は水平ライン方向を表し、縦軸は各垂直ラインのスミア量を表す。例えば、一面に亘って青空のような被写体を撮影し、ＣＣＤの面内に一様な光量が入射した場合でも、前述したＣＣＤの画素構造（図１３参照）により、スミアの発生量は、垂直ライン毎に異なり、また左右対称とならない。ここでは、一例として、同図（ａ）の画面右側でスミアがより発生しやすい場合を示す。

同図 (ｂ)は画素への入射光量と、その画素に隣接する垂直転送路で発生するスミア量との関係を示すグラフである。横軸は輝度を表し、縦軸は各画素の信号値を表す。垂直転送ライン（垂直転送路）に漏れ込む光量は、その隣に位置する画素の光量とほぼ比例するため、飽和していない範囲内で画素の値に適当な比例係数をかけることにより、そのスミア量を算出することができる。インターライン転送方式の固体撮像素子では、行をｉ、列をｊと置き、各画素の出力値をＶijとして、各垂直ラインの出力値の積算値を用いると、各垂直ラインに乗るスミア量Ｓjは数式（１）で与えられる。

ここで、ｍは水平ライン（水平転送ライン）の数、すなわち垂直方向の画素数である。Ｃjはスミア補正係数であり、垂直ライン毎に異なる値を持つ。これは、レンズ１０１により光が集光され、ＣＣＤ中心部と周辺部で各画素のマイクロレンズへの主光線の入射角が変わるため、遮光部への光の漏れ込み具合が変化し、各垂直ラインの入射光量あたりのスミア発生量が異なることよる。

ただし、垂直方向については、（ア）垂直転送路では常に一定速度で電荷が転送される。また、（イ）垂直転送路への電荷の読み出し前後に関らず、垂直転送路は上から下まで通っており、この垂直転送路に漏れ込んだ光がスミアの発生要因となるため、同一の垂直ラインにおける各画素のスミア量は同等となる。

このようにして求めた各垂直ラインのスミア量Ｓjを、数式（２）に従って、各画素の信号値Ｖijから引くことにより、スミアの影響を除去した信号値Ｖij’を求めることができる。

Ｖij’＝ Ｖij − Ｓj …… （２）
この式を展開すると、スミア分の補正を加えた各画素の値Ｖij’は、数式（３）で求まる。

このように、ＣＣＤのスミア補正を、各画素の信号値Ｖijと各垂直ラインのスミア補正係数Ｃjを用いて、簡単に求めることができる。

同図（ｃ）は画面内に一定の光量が入っている場合の光量を示すグラフである。横軸は水平ライン方向を表し、縦軸は各垂直ラインの積算輝度を表す。前述したように、算出されるスミア量は、同図（ｃ）の光量と、同図（ａ）の比例するスミア補正係数との積で表わされる。同図（ｄ）は算出されたスミア量を示すグラフである。横軸は水平ライン方向を表し、縦軸は各垂直ラインのスミア量を表す。このように、撮像素子の左右非対称の構造のため、光や電荷の垂直転送路への漏れ込み易さが異なることに対応したスミア量を算出し、スミア補正を行うことが可能である。

しかし、数式（３）をそのまま用いて補正を行った場合、後述する図３に示すように、スミア成分を除いた各画素の飽和信号値が補正するスミア量Ｓjの分だけ減少してしまう。これにより、（ｍ）ダイナミックレンジの低下、（ｎ）各垂直ラインにおける飽和量のバラツキ、（ｏ）スミア補正により画素の信号値が飽和に達しないなどの問題が発生してしまい、不自然な画像を生じさせることになる。

図３は無補正時およびスミア補正時における信号値の入出力特性を示すグラフである。同図（ａ）は無補正時の場合を表し、同図（ｂ）はスミア補正時の場合を表す。同図（ｂ）の特性から、有効画素に入射した光による信号成分のみが得られているものの、スミア成分を減じるために、その最大値が小さくなり、白く飛ぶ筈の画素に色が付いてしまう。

そこで、次のような補正処理を追加することにより、これらの問題を解決する。具体的に、（Ａ）スミア補正後にゲインアップを行うこと、（Ｂ）スミア量の補正に制限を設けることの２つの処理を行うこと、即ち、数式（４）に従って、各画素の信号値Ｖij ''を求めることで、上記３つの問題点（ｍ）、（ｎ）、（ｏ）を解決する。

Ｖij'' = Ｖij' × Ｖsat／(Ｖsat - Ｒ) …… （４）
ここで、Ｒはスミアの補正限界である。この信号値のスミアまで、完全に除くことができるが、これ以上のスミアが信号に含まれる場合、そのスミア量に応じてマゼンダよりに色づく。本実施形態の数式（４）では、Ｖij' ＝ Ｖsat − Ｒを代入すれば、Ｖij'' ＝ Ｖsatが得られる。この場合、その部分はスミアの影響または被写体自体の高輝度のため、飽和レベルの白出力になってしまうが、少なくとも従来の無補正画像と同等であるから、色づきのある奇異な画像が生じることはない。

図４は数式（４）に従ったスミア補正時における信号値の入出力特性を示すグラフである。図４の特性と図３（ｂ）の特性とを比較すると、図４の特性では、低輝度になるほど本来の信号成分のみである図３（ｂ）に示した特性の値に近づき（信号成分＝０で一致）、高輝度側では無補正の値に近づいている（Ｖij'' ＝ Ｖsatで一致）ことがわかる。

図５はスミア補正のゲインアップを説明する図である。同図（ｅ）はスミア補正を行った直後の飽和輝度Ｖsatの状態を示すグラフである。横軸は水平ライン方向を表し、縦軸はある画素列の飽和輝度を表す。スミアの発生レベルが比較的小さい場合、特に低輝度被写体において、この状態が視認されやすい。

同図(ｆ)は同図(ｅ)の飽和輝度Ｖsatにゲインアップを行い、飽和に達しない分を補償したグラフである。横軸は水平ライン方向を表し、縦軸はある画素列の飽和輝度を表す。このように、スミア補正後にゲインアップを行い、スミア量の補正に制限を設けることで、スミアの補正効果と上記不具合現象の解消を妥協的ではあるが、効果的に両立させたものになっている。これにより、信号値のダイナミックレンジの低下、各垂直ラインにおける飽和量のバラツキ、およびスミア補正により画素の信号値が飽和に達しないことによる不自然な画像を生じさせることは、解消される。

なお、上記実施の形態の他にも様々な実施の形態が考えられる。例えば、上記説明では、補償条件及び補償処理を比較的単純な形で記述したが、撮像素子がモノクロであればそのまま適用できる。一方、単板カラー撮像素子の場合、色コーディングの影響で、上記説明を文字どおりに読むと適用困難な場合がある。しかし、この場合も、例えばその色コーディングに関する色情報を得るための最小単位（色に関する画素と言い得る）に着目し、これを上記実施の形態の１画素に読み替えればよい。このようにすることで、本発明はこのようなカラー撮像装置にも同様に適用できる。この場合、カラー撮像装置は、光電変換素子に入射する光の色を制限する複数色の色フィルタを備える。また、ＣＣＤの各垂直ラインのスミア補正係数を各色フィルタ毎に予め記憶しておく。カラー撮像装置は、ＣＣＤの各垂直ラインの信号値を各色フィルタの画素毎に積算し、垂直ラインにおける各色フィルタの画素毎に積算した信号値およびスミア補正係数を基に、垂直ラインにおける各色フィルタの画素毎に乗るスミア量を算出する。そして、カラー撮像装置は、算出されたスミア量を用いた減算処理によりスミア補正を行う。

また、飽和している画素が存在する場合、各画素の輝度値が頭打ちしてしまうため、スミア量を正確に検知することができず。補正量が目減りしてしまう。これは、ＣＣＤから得られる信号値が飽和することにより、実際に発生しているスミア量に比して、算出されるスミア量が小さくなるためである。

しかし、近年のＣＣＤの狭画素化に伴い、レンズの光線の角度に対する許容幅が減っており、さらにカメラそのもの軽薄短小傾向によって、光学系をコンパクトに作ることによりＣＣＤ表面への光線入射角もきつくなっており、スミア特性は悪化しつづけている。

このため、画素の信号量が飽和しない青空や雲、白壁などの従来ではスミアが発生しなかった輝度の被写体からでもスミアが発生するようになり、青空や白壁がマゼンダ色になるなど、画質を大きく劣化させている。

このような問題に対応するため、本補正では、画素の飽和していない適正露光時に発生するスミアの補正を行うことを目的としている。飽和している画素が存在する場合、スミアの量を過少に算出することはあるものの、過大に算出することがないため、スミアによる信号値を実際よりも多いと判断し、過補正を起こすことはない。従って、本補正では、過補正による色づきなど不自然な補正が行われない。

図６はスミア補正回路１２０の構成を示すブロック図である。スミア補正回路１２０は、輝度積分回路１３２、スミア補正係数算出回路１３３、リミッタ回路１３４、減算回路１３５、ゲインアップ回路１３６および補正係数表記憶回路１３７を有する。

輝度積分回路１３２は、基信号１３１（各画素の信号値）が入力されると、縦方向の輝度を積分し、各列毎の輝度積分値を算出する。スミア補正係数算出回路１３３は、上記輝度積分値と補正係数表記憶回路１３７の補正係数表（スミア補正係数）を用いて、スミア量を算出する。リミッタ回路１３４は、スミア補正係数算出回路１３３から得られたスミア量に対し、任意の値（規定値）よりもスミア量が大きい場合、リミッタをかける。減算回路１３５は、リミッタ回路１３４の計算結果を元に、各列の信号値に対して一律の減算処理を行う。ゲインアップ回路１３６は、減算処理後の信号に対し、リミッタ回路１３４で決定されたスミア量に基づき、ゲインアップを行う。このようにして、スミア補正を行うことが可能となる。

上記構成を有する撮像装置のスミア補正動作を示す。図７はスミア補正動作手順を示すフローチャートである。まず、スミア補正回路１２０は、輝度積分回路１３２により、入力された基信号１３１に対し、縦方向の輝度を積分し、各列毎の輝度積分値を算出する（ステップＳ１）。スミア補正回路１２０は、輝度積分回路１３２の積分結果と補正係数表記憶回路１３７の補正係数表（スミア補正係数）を基に、スミア補正係数算出回路１３３によりスミア量を算出する（ステップＳ２）。

スミア補正回路１２０は、算出したスミア量が規定値より大きいか否かを判別する（ステップＳ３）。スミア量が規定値より大きかった場合、スミア補正回路１２０は、リミッタ回路１３４によりリミッタをかける（ステップＳ４）。このリミッタ回路１３４の計算結果を元に、スミア補正回路１２０は、減算回路１３５により各列の信号値に対して一律の減算処理を行う（ステップＳ５）。そして、スミア補正回路１２０は、減算処理後の信号に対し、リミッタ回路１３４で決定された補正量に基づき、ゲインアップを行う（ステップＳ６）。この後、スミア補正回路１２０は、本処理を終了する。一方、ステップＳ３で算出したスミア量が規定値以下である場合、スミア補正回路１２０は、そのままステップＳ５の処理に移行する。

本実施形態の撮像装置では、各垂直ラインの信号値を積算し、この積算した信号値と記憶されたスミア補正係数とから、スミア量を算出する。そして、垂直ライン毎に算出したスミア量を用いた減算処理（つまり、算出したスミア量を各画素の信号値から減算すること）により、スミア補正を行う。また、スミア量の算出に、各垂直ラインの画素の積算値を用いることで、スミアの掃き捨てのための駆動や、スミア算出のための、数十ラインに及ぶＯＢラインやダミーラインを読み出さなくて済む。従って、ＣＣＤからの読み出し速度の低下によるフレームレートの低下を招くことなくスミア補正を行うことができる。この結果、ＣＣＤの読み出しライン数が増えず、これを要因とするフレームレートの低下を抑えつつ、スミアによる画質の劣化を低減することができる。

従って、図６のスミア補正回路１２０を撮像装置に組み込むことで、適正露光時でもスミアの発生する撮像装置においても、動画やＥＶＦのフレームレートを落すことなく、スミア補正を行ったクリアな動画を撮影することが可能となる。

なお、実際の補正では、全ての垂直ラインにスミア補正係数を持たせた場合、メモリを大量に使用してしまう。そこで、スミア補正係数を複数ラインに１つずつ持たせ、その間を線形補完することにより、メモリの使用量を抑えることが可能である。

つぎに、補正係数表記憶回路１３７に補正係数表として記憶されるスミア補正係数について詳述する。図８は補正係数表記憶回路１３７に補正係数表として記憶されるスミア補正係数を示すテーブルである。このテーブルに予め記録されるスミア補正係数は、様々な条件によって変化することが知られており、この条件毎に補正係数を設定したり、線形的に変化させることにより、より正確な補正が可能となる。ここでは、ズーム、絞り、フレームレート、色温度、色フィルタ(ベイヤー配列)の条件に応じた、スミア補正係数の大きさの傾向が示されている。図９は図８の各条件に応じたスミア補正係数の大きさを示すグラフである。ここでは、スミア補正係数の傾向が直線的に示されているが、実際には、レンズ等の諸条件により直線にはならない。従って、ここでは、スミア補正係数の定性的な傾向が示されているに過ぎない。

例えば、ＣＣＤの駆動方法としてフレームレートを変更した場合、その読み出し画素数や、加算・間引きの仕方などでスミアの現れ方は大きく異なる。これは、垂直転送ラインの転送速度の違いによる。そこで、全画素を加算や間引き無しで読み出した場合と、垂直２画素加算で読み出した場合について説明する。ＣＣＤの読み出し時間を簡単に短縮する方法として、画素加算や読み出し周波数の変更が挙げられる。

一画面の読み出し時間は、読み出し周波数が同じである場合、ほぼその画素数に比例する。―画面を読み出す際に垂直転送路を上から下まで電荷が転送されるのにかかる時間は、垂直２画素加算で読み出した場合では、画素加算をしなかった場合に比べ、約半分となる。また、スミアの量、即ち垂直転送路の光の漏れ込み量は、垂直転送路を上から下まで電荷が転送されるのにかかる時間に比例する。

実際の駆動では、加算のための時間がかかるため、厳密に半分とはならないが、この値を考慮し、駆動方法毎に複数のスミア補正係数を持たせる (図９(ｃ)参照)。即ち、フレームレートが高いほど、スミア補正係数を小さくする。これにより、駆動方法として異なるフレームレートを持つ撮像装置でも、最適なスミア補正を行うことができる。

つぎに、ズーム倍率が変わった際の、スミア補正係数について説明する。ズーム倍率が変化すると、ＣＣＤへの光の入射角度が変化する。例えば、高倍率ズーム時には、ＣＣＤの周辺部でも、主光線は垂直に近い角度で入射する。一方、低倍率ズーム時には、ＣＣＤ周辺部の主光線は、よりきつい角度で入射する。

図１３で説明したように、スミアは遮光されている垂直転送路に光が漏れ込むことにより発生し、その漏れ込み量は光の入射角に依存する。カメラのズーム倍率が変更されると、ＣＣＤの周辺部では図１３（ａ）から図１３（ｂ）のように、マイクロレンズ８０３への主光線の入射角が変化する。これにより、遮光部への光の漏れ込み易さも変化し、各垂直ラインに現れるスミア量も変化する。この値を考慮して、ズーム倍率毎にスミア補正係数を持たせる（図９(ａ)参照）。即ち、ズーム倍率が高いほど、スミア補正係数を小さくする。これにより、異なるズーム倍率を持つ撮像装置でも最適なスミア補正を行うことができる。

つぎに、絞り径が変わった際の、スミア補正係数について説明する。この場合、ＣＣＤへの各画素への主光線の入射角度は変化しない。しかし、絞りの径を変えることにより、光の入射角度の拡がり方が変化する。具体的に、絞り径を小さくするほど周辺光線８０２（図１３参照）の画素への入射角度が絞られ、遮光部へ漏れ込む光量が減少する。これにより、各垂直ラインに現れるスミア量も変化する。この値を考慮し、絞り径毎に、または複数の絞り径の間を線形補完するように、複数のスミア補正係数を持たせる (図９(ｂ)参照)。即ち、絞り径を小さくするほど、スミア補正係数を小さくする。これにより、異なる絞り径を持つ撮像装置でも最適なスミア補正を行うことができる。

また、色温度については、被写体の色温度が高いほどスミア量が大きくなるので、スミア補正係数を大きくする（図９（ｄ）参照）。また、垂直ラインの色フィルタ(ベイヤー配列)については、青、緑の列ではスミア補正係数を大きくし、赤、緑の列ではスミア補正係数を小さくする。従って、スミア補正係数は、被写体の色温度および垂直ラインの色フィルタの組み合わせに応じて異なる値となる。異なる色温度および色フィルタの組み合わせを持つ撮像装置でも最適なスミア補正を行うことができる。

このように、スミア補正係数Ｃｊをより細かい条件毎に設定し、より正確にスミアを算出することにより、スミアの現れ方に合せて最適なスミア補正を行うことができる。具体的に、各条件毎に表を作成し、この表に基づき、スミア補正係数を決定して適用することになる。

前述したように、補正係数表は、スミア補正回路１２０内の補正係数表記憶回路１３７に組み込まれている。従って、ズーム、絞り径、駆動方法などの変更により、スミアの現れ方が変化した際も、動画やＥＶＦのフレームレートを落すことなく、スミア補正を行ったクリアな動画を撮影することが可能となる。

なお、このように、スミア補正係数の補正係数表を細かく設定した場合、実際の補正では、全ての垂直ラインにスミア補正係数を持たせることで、より一層メモリを大量に使用してしまう。前述したように、スミア補正係数を複数ラインに１つずつ持たせ、その間を線形補完することにより、メモリの使用量を著しく抑えることが可能である。

また、上記実施形態におけるソフトウェアの構成とハードウェアの構成は、適宜置き換えることが可能である。また、本発明は、上記実施の形態、またはそれら技術要素を必要に応じて組み合わせるようにしてもよい。

さらに、本発明は、特許請求の範囲の構成、または、実施形態の構成の全体若しくは一部が、１つの装置を形成するものであってもよい。また、デジタルカメラやビデオカメラなどの撮像装置や撮像装置から得られる信号を処理する信号処理装置など、他の装置と結合するようなものであっても、装置を構成する要素となるようなものであってもよい。

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

また、本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図６のスミア補正回路に対応するプログラムコードが格納されることになる。

実施の形態における撮像装置の構成を示すブロック図である。 スミア信号量の算出方法の原理を説明する図である。 無補正時およびスミア補正時における信号値の入出力特性を示すグラフである。 数式（４）に従ったスミア補正時における信号値の入出力特性を示すグラフである。 スミア補正のゲインアップを説明する図である。 スミア補正回路１２０の構成を示すブロック図である。 スミア補正動作手順を示すフローチャートである。 補正係数表記憶回路１３７に補正係数表として記憶されるスミア補正係数を示すテーブルである。 図８の各条件に応じたスミア補正係数の大きさを示すグラフである。 従来の撮像装置の構成を示すブロック図である。 ＣＣＤの構造を示す図である。 ＣＣＤの出力画像７０１の一部に明るいスポット光が写っている場合の出力画像を示す図である。 ＣＣＤの各画素および垂直転送路の構造を示す断面図である。 スミア電荷量の合計を算出する方法を説明する図である。

符号の説明

１０４ 撮像部
１２０ スミア補正回路
１３２ 輝度積分回路
１３３ スミア補正係数算出回路
１３４ リミッタ回路
１３５ 減算回路
１３６ ゲインアップ回路
１３７ 補正係数表記憶回路

Claims (10)

1. 光を電気信号に変換する光電変換素子を水平および垂直方向に複数配置し、前記各光電変換素子で変換された電気信号を垂直ラインを通じて転送する撮像素子を有する撮像装置において、
   前記撮像素子の各垂直ラインの信号値を積算する積算手段と、
   前記撮像素子の各垂直ラインのスミア補正係数を記憶する記憶手段と、
   前記垂直ライン毎に積算した信号値および前記スミア補正係数を基に、当該垂直ラインに乗るスミア量を算出する算出手段と、
   前記算出されたスミア量を用いた減算処理によりスミア補正を行うスミア補正手段と、
   前記スミア補正に用いられる前記スミア量を制限するリミッタ手段と、
   前記スミア補正によって前記信号値が飽和まで達しなくなる分を、前記信号値のゲインアップを行うことで補うゲインアップ手段と、
   を備えたことを特徴とする撮像装置。
2. 前記光電変換素子に入射する光の色を制限する複数色の色フィルタを備え、
   前記積算手段は、前記撮像素子の各垂直ラインの信号値を前記各色フィルタの画素毎に積算し、前記記憶手段は、前記撮像素子の各垂直ラインのスミア補正係数を各色フィルタ毎に記憶し、前記算出手段は、前記垂直ラインにおける各色フィルタの画素毎に積算した信号値および前記スミア補正係数を基に、当該垂直ラインにおける各色フィルタの画素毎に乗るスミア量を算出し、前記スミア補正手段は、前記算出されたスミア量を用いた減算処理によりスミア補正を行うことを特徴とする請求項１記載の撮像装置。
3. 前記スミア補正係数は、前記撮像素子の垂直ライン毎に異なる値を有することを特徴とする請求項１または２記載の撮像装置。
4. 前記スミア補正係数は、ズーム倍率に応じて異なることを特徴とする請求項１または２記載の撮像装置。
5. 前記スミア補正係数は、絞り径に応じて異なることを特徴とする請求項１または２記載の撮像装置。
6. 前記スミア補正係数は、フレームレートに応じて異なることを特徴とする請求項１または２記載の撮像装置。
7. 前記スミア補正係数は、被写体の色温度および前記垂直ラインの色フィルタの組み合わせに応じて異なることを特徴とする請求項２記載の撮像装置。
8. 光を電気信号に変換する光電変換素子を水平および垂直方向に複数配置し、前記各光電変換素子で変換された電気信号を垂直ラインを通じて転送する撮像素子を有する撮像装置のスミア補正方法であって、
   前記撮像装置の積算手段が前記撮像素子の各垂直ラインの信号値を積算する積算ステップと、
   前記撮像装置の記憶手段が前記撮像素子の各垂直ラインのスミア補正係数を予め記憶しておく記憶ステップと、
   前記撮像装置の算出手段が前記垂直ライン毎に積算した信号値および前記スミア補正係数を基に、当該垂直ラインに乗るスミア量を算出する算出ステップと、
   前記撮像装置のスミア補正手段が前記算出されたスミア量を用いた減算処理によりスミア補正を行うスミア補正ステップと、
   前記スミア補正に用いられる前記スミア量を制限するリミッタステップと、
   前記スミア補正によって前記信号値が飽和まで達しなくなる分を、前記信号値のゲインアップを行うことで補うゲインアップステップと、
   を有することを特徴とするスミア補正方法。
9. 光を電気信号に変換する光電変換素子を水平および垂直方向に複数配置し、前記各光電変換素子で変換された電気信号を垂直ラインを通じて転送する撮像素子を有する撮像装置のスミア補正方法をコンピュータに実行させるプログラムであって、
   前記スミア補正方法は、前記撮像装置の積算手段が前記撮像素子の各垂直ラインの信号値を積算する積算ステップと、
   前記撮像装置の記憶手段が前記撮像素子の各垂直ラインのスミア補正係数を予め記憶しておく記憶ステップと、
   前記撮像装置の算出手段が前記垂直ライン毎に積算した信号値および前記スミア補正係数を基に、当該垂直ラインに乗るスミア量を算出する算出ステップと、
   前記撮像装置のスミア補正手段が前記算出されたスミア量を用いた減算処理によりスミア補正を行うスミア補正ステップと、
   前記スミア補正に用いられる前記スミア量を制限するリミッタステップと、
   前記スミア補正によって前記信号値が飽和まで達しなくなる分を、前記信号値のゲインアップを行うことで補うゲインアップステップと、
   を有することを特徴とするプログラム。
10. 請求項９記載のプログラムを格納することを特徴とするコンピュータで読み取り可能な記憶媒体。

Images