JP5499988B2 - 画像処理装置 - Google Patents

Description

本発明は、ＣＣＤ（Charge Coupled Device）イメージセンサによる撮像画像のスミア補正を行う画像処理装置に関する。

近年、デジタルスチルカメラの撮像手段として、ＣＣＤイメージセンサが広く用いられる。ＣＣＤイメージセンサは、行列状に配列された画素ごとの光電変換部で、受光量に応じた電荷による電気信号（画素値信号）を生成する。画素値信号は、光電変換部の列ごとに設けられた垂直ＣＣＤ部に転送される。垂直ＣＣＤ部は画素値信号を列方向、つまり垂直方向に転送（垂直転送）し、水平ＣＣＤ部に順番に転送する。そして、水平ＣＣＤ部は、転送された画素値信号を行方向、つまり水平方向に転送（水平転送）し、画像処理装置に出力する。そして、画像処理装置は、画素値信号から出力画像データを生成する。

ＣＣＤイメージセンサでは、光電変換部の一部が強い光を受光すると、垂直ＣＣＤ部に漏れるほど余剰な電荷が生成される場合がある。垂直ＣＣＤ部に漏れた電荷が垂直転送される他の画素の画素値信号に重畳すると、これらの画素値信号が本来の輝度より高い輝度を示すようになる。すると、撮像画像において、光点画像から垂直方向に延在する高輝度領域が発生する。かかる高輝度領域はスミアとよばれ、撮像画像の品質を劣化させるノイズとして問題となる。

よって、従来より、スミアに対処するための種々の方法が提案されている。たとえば、特許文献１〜３には、スミア補正に関連した記載がある。スミア補正の一例として、光電変換部に予め遮光領域を設けておき、遮光領域の画素値信号から余剰な電荷に対応するスミア値を求め、これをスミア発生列の画素値から減算する方法が提案されている。

特開２００１−１１１８９９号公報 特開２００７−１８９５４４号公報 特開２００５−１５９５６４号公報

上記のスミア補正方法は、スミア発生列におけるスミア値が常に一定であることを前提とするものである。よって、スミア値が一定でない場合に、精度よく補正がなされないおそれがある。たとえば、補正量として用いるスミア値より小さいスミア値が重畳した画素値信号がある場合、かかる画素値信号に対して一律の補正量で補正を行うと過補正となり、本来の輝度より低い輝度の画素値信号となる。すると、撮像画像が不自然になる。

そこで、本発明の目的は、スミア値が一定でない場合であっても、精度良いスミア補正を行う画像処理装置を提供することにある。

上記の目的を達成するために、本発明の第１の側面における画像処理装置は、受光量に応じて画素値信号を生成する光電変換部と、前記光電変換部から転送される前記画素値信号を垂直転送する複数の垂直ＣＣＤ部と、前記垂直転送される画素値信号を水平転送する水平ＣＣＤ部とを有する撮像部から、前記画素値信号が入力される画像処理装置であって、遮光された前記光電変換部から出力された前記画素値信号に基づいて、第１のスミア値を検出するスミア値検出部と、近傍の画素の画素値信号に基づいて注目画素に対応する補間値を生成する補間値生成部と、前記注目画素の画素値信号と前記補間値との差分を推定スミア値として導出し、前記第１のスミア値に基づいて前記第１のスミア値より小さい第２のスミア値を導出し、前記推定スミア値に基づいて前記第１、第２のスミア値のいずれかを補正量として導出する補正量導出部と、前記注目画素の画素値信号から前記補正量を減算する画素値補正部とを備える。

上記第１の側面によれば、スミア値が一定でない場合であっても、精度良いスミア補正が可能となる。

本実施形態の画像処理装置が適用される、デジタルスチルカメラの構成を説明する図である。 撮像部６の基本的な構成と動作について説明する図である。 画素値信号が転送される様子について説明する図である。 撮像部６の基本的な動作手順を説明するフローチャート図である。 図３で示した動作のタイミングを示すチャート図である。 画像処理部２８による画像処理手順の例を示すフローチャート図である。 スミアが発生した撮像画像を説明する図である。 スミアが発生する場合の画素値信号の転送の様子を説明する図である。 スミアが補正された撮像画像を説明する図である。 光電変換部ＰＤの遮光領域と受光領域とを説明する図である。 パーシャルスキャン・モードでの、撮像部６の動作手順を説明するフローチャート図である。 図１１で示した動作のタイミングを示すチャート図である。 パーシャルスキャン・モードで、画素値信号が転送される様子を示す。 濃いスミアと薄いスミアとが混在する撮像画像を説明する図である。 不適切なスミア補正の例を説明する図である。 画像処理装部２８の要部の構成を説明する図である。 補間値生成部３０２の構成を説明する図である。 補間値計算係数について説明する図である。 補正量導出部３０４の構成を説明する図である。 本実施形態における第１の変形例を説明する図である。 クリップ部３５８の伝達関数を説明する図である。 本実施形態における第２の変形例を説明する図である。 スミア幅検出部４１０の詳細な構成を説明する図である。

以下、図面にしたがって本発明の実施の形態について説明する。但し、本発明の技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。

図１は、本実施形態の画像処理装置が適用される、デジタルスチルカメラの構成を説明する図である。このデジタルスチルカメラは、連続した複数フレームの撮像画像からなる動画の撮像を行う。被写体からの光はレンズ２により集光され、絞り４を介して撮像部６の受光面に結像される。撮像部６は、ＣＣＤイメージセンサで構成され、光電変換部により受光量に応じた画素値信号を生成し、垂直・水平ＣＣＤ部により画素値信号を転送してアナログ処理部８に出力する。アナログ処理部８は、画素値信号を増幅し、ノイズを除去する。ＡＤ変換部１０は、画素値信号をＡＤ変換し、バス２２を介して画像処理部２８に出力する。

画像処理部２８は、画素値信号に対し各種画像処理を行い、撮像画像データを生成する。画像処理部２８は、たとえばＡＳＩＣ（Application Specific Integrated Circuit）により構成される。ＬＣＤ（Liquid Crystal Display）コントーラ３０は、撮像画像データに対応した画像信号をＬＣＤ３４に出力して、ＬＣＤ３４に撮像画像を表示させる。メディアコントローラ３２は、撮像画像データをメモリカードなどの記憶メディア３６に格納したり、記憶メディア３６から画像データを読み出したりする。

システムコントローラ１８は、操作部２０からの操作入力に応答し、デジタルスチルカメラ各部の動作を統合的に制御する。システムコントローラ１８は、ＲＯＭ（Read Only Memory）２６に格納された制御プログラムに従って、ＲＡＭ（Random Access Memory）２４を作業領域として各種制御のための演算処理を実行する。システムコントローラ１８の制御のもと、レンズ制御部１２は、レンズ２の図示されない駆動機構を制御し、レンズ２の合焦を行う。また、露出制御部１４は、絞り４を制御して露出を調節する。さらに、撮像制御部１６は、撮像部６の画素値信号の転送を制御する。

図２は、撮像部６の基本的な構成と動作について説明する図である。図２（Ａ）は、撮像部６の模式的な平面図である。撮像部６は、ＣＣＤイメージセンサで構成され、シリコン基板上に、画素ごとに設けられ行列状に配列された光電変換部ＰＤ１〜９と（ここでは説明の簡略化のため、３行×３列で説明する）、光電変換部ＰＤ１〜９の列ごとに設けられ、列方向（垂直方向）に延在する垂直ＣＣＤ部Ｖ＿ＣＣＤ１〜３と、垂直ＣＣＤ部Ｖ＿ＣＣＤ１〜３の端部側において行方向（水平方向）に延在する水平ＣＣＤ部Ｈ＿ＣＣＤとを有する。以下では、光電変換部ＰＤ１〜９、または垂直ＣＣＤ部Ｖ＿ＣＣＤ１〜３を総称するときには、それぞれ数字を省いて表記する。

光電変換部ＰＤは、被写体からの光を受光し、その光量に応じた画素値信号を生成する。光電変換部ＰＤはそれぞれ１画素に対応する。画素値信号は、白色の矢印で示すように、光電変換部ＰＤから垂直ＣＣＤ部Ｖ＿ＣＣＤに転送される。そして、垂直ＣＣＤ部Ｖ＿ＣＣＤは、光電変換部ＰＤから転送された画素値信号を黒色の矢印で示すように垂直転送し、画素値信号を水平ＣＣＤ部Ｈ＿ＣＣＤに順番に転送する。そして、水平ＣＣＤ部Ｈ＿ＣＣＤは、画素値信号を斜線でハッチングした矢印で示すように水平転送し、撮像部６の外部に出力する。

図２（Ｂ）は、各光電変換部ＰＤの構成例を示す。光電変換部ＰＤは、フォトダイオードと読み出しゲートとを有する。読出しゲートは、制御パルスが印加されないときは閉じられており、制御パルスが印加されると開かれる。読出しゲートが開かれることで、光電変換部ＰＤから垂直ＣＣＤ部Ｖ＿ＣＣＤに画素値信号が転送される。

また、図２（Ａ）、（Ｂ）に示すように、垂直ＣＣＤ部Ｖ＿ＣＣＤは、垂直方向に配列されたゲート電極φＶ１〜４を有する。ゲート電極φＶ１〜４に転送用の制御パルスが印加されると、その位置に対応したシリコン基板表面付近にポテンシャル・ウェルが形成され、そこに画素値信号としての電荷が蓄積される。

図２（Ｃ）は、垂直ＣＣＤ部Ｖ＿ＣＣＤによる画素値信号の転送動作を示す。図２（Ｃ）に示すように、制御パルスを転送方向、つまり垂直方向に順次印加（ＯＮ）すると、ポテンシャル・ウェルが形成される位置が垂直方向に移動する。これにより画素値信号が垂直転送される。ここでは、４相の制御パルスにより、画素値信号が光電変換部ＰＤの１行分転送される例が示される。また、水平ＣＣＤ部Ｈ＿ＣＣＤも同様の構成と方法により、垂直ＣＣＤ部Ｖ＿ＣＣＤが垂直転送した画素値信号を水平転送する。なお、上記の制御パルスの印加方式は一例であり、４相以外にも、２相、３相など種々可能である。

図３は、撮像部６において、画素値信号が転送される様子について説明する図である。図３（Ａ）に示すように、光電変換部ＰＤ１〜９が生成する１フレーム分の画素値信号Ｇ１〜９は、まず垂直ＣＣＤ部Ｖ＿ＣＣＤ１〜３に転送される。そして、画素値信号Ｇ１〜９は、垂直ＣＣＤ部Ｖ＿ＣＣＤ１〜３により１行ずつ垂直転送される（垂直転送１回目〜３回目）。垂直転送１回目で１行目の画素値信号Ｇ１、Ｇ４、Ｇ７が、垂直転送２回目で２行目の画素値信号Ｇ２、Ｇ５、Ｇ８が、垂直転送３回目で３行目の画素値信号Ｇ３、Ｇ６、Ｇ９が、それぞれ水平ＣＣＤ部Ｈ＿ＣＣＤに順次転送され、水平ＣＣＤ部Ｈ＿ＣＣＤにより水平転送される。このようにして転送・出力される画素値信号Ｇ１〜９から、図３（Ｂ）に示すような１フレーム分の撮像画像が得られる。

図４は、撮像部６の基本的な動作手順を説明するフローチャート図である。撮像部６は、１フレーム分の画素値信号を、光電変換部ＰＤから垂直ＣＣＤ部Ｖ＿ＣＣＤに転送し（Ｓ２）、垂直ＣＣＤ部Ｖ＿ＣＣＤにより１行分の垂直転送を行う（Ｓ４）。そして、撮像部６は、水平ＣＣＤ部Ｈ＿ＣＣＤにより、１行分の画素値信号の水平転送を行う（Ｓ６）。水平転送は、水平画素数分、つまり列数分繰り返され、１行分の画素値信号が水平ＣＣＤ部Ｈ＿ＣＣＤから出力される。そして、垂直転送（Ｓ４）と列の数分の水平転送（Ｓ６）が、垂直画素数分、つまり行数分繰り返され、１フレーム分の画素値信号が撮像部６から出力される。さらに、１フレームごとに手順Ｓ２〜Ｓ６が繰り返され、複数フレームの画素値信号が連続して撮像部６から出力される。

図５は、図４で示した動作のタイミングを示すチャート図である。撮像部６では、垂直タイミング信号ＶＤが与えられると、１フレーム分の画素値信号がすべての光電変換部ＰＤから対応する各垂直ＣＣＤ部Ｖ＿ＣＣＤに転送される。そして、１行分の垂直転送が行われる。そして、水平タイミング信号ＨＤが与えられると、１行分の水平転送が行われる。１行分の水平転送とその次の垂直転送とが、等間隔の水平タイミング信号ＨＤごとに繰り返される。そして、次の垂直タイミング信号が与えられると、上記一連の転送動作が、次のフレームの画素値信号に対し行われる。なお、垂直タイミング信号ＶＤ、水平タイミング信号ＨＤは、たとえば撮像制御部１６から撮像部６に与えられる。

撮像部６から出力された画素値信号は、画像処理装置２８に取り込まれ、画像処理が行われる。図６は、画像処理部２８による画像処理手順の例を示す。図６の手順は、たとえば１フレームごとに実行される。画像処理部２８は、画素値信号に対し、スミア補正（Ｓ１０２）、黒補正（Ｓ１０４）、ノイズリダクション（Ｓ１０６）、ホワイトバランス（Ｓ１０８）といった補正処理を実行する。さらに、画像処理部２８は、ＣＣＤイメージセンサが出力した画素値信号のＲＧＢ（Red、Green、Blue）値をＬＣＤ３４出力用のＲＧＢ値に変換するＲＧＢ変換（Ｓ１１０）、色補正（Ｓ１１２）、γ補正（Ｓ１１４）といった、入出力特性を合わせるための補正処理を実行する。そして、画像処理部２８は、画素値信号を輝度信号Ｙと色差信号Ｃｂ、Ｃｒとに分離するＹＣｂＣｒ変換を行い（Ｓ１１６）、輝度信号Ｙに対して輪郭補正（Ｓ１１８）、色差信号Ｃｂ、Ｃｒに対し偽色抑制（Ｓ１２０）を行って、ＬＣＤコントローラ３０やメディアコントローラ３２に出力する。

本実施形態は、図６の手順Ｓ２におけるスミア補正に関する。ここで、スミアについて説明する。

図７は、スミアが発生した撮像画像を模式的に示す。図７に示すように、スミアは、光点画像から垂直方向に形成される高輝度の領域である。

図８は、スミアが発生する場合の画素値信号の転送の様子を説明する図である。図８（Ａ）は、光電変換部ＰＤ１〜９が生成する１フレーム目の画素値信号Ｇ１１〜Ｇ１９が転送される様子を示す。図８（Ａ）に示すように、光電変換部ＰＤ１〜９が生成する１フレーム目の画素値信号Ｇ１１〜１９は、光電変換部ＰＤ１〜９の読み出しゲートが開かれると、まず垂直ＣＣＤ部Ｖ＿ＣＣＤ１〜３に転送される。ここでは、２行２列目の光電変換部ＰＤ５（「○」印で示す）が、ほかの光電変換部ＰＤ１〜９より強い光を受光するものとする。よって、光電変換部ＰＤ５からは、光点画像の輝度に対応した画素値信号Ｇ１５が転送される。

次いで、垂直ＣＣＤ部Ｖ＿ＣＣＤ１〜３により、画素値信号Ｇ１１〜Ｇ１９が１行分ずつ垂直転送される（垂直転送１回目〜３回目）。このとき、光電変換部ＰＤ１〜９の読み出しゲートは閉じられている。しかし、動画を撮像する場合、光電変換部ＰＤ１〜９は垂直・水平転送中も、露光される。すると、光電変換部ＰＤ５からは、読出しゲートが閉じられた状態でも垂直ＣＣＤ部Ｖ＿ＣＣＤ２に漏れるほどの電荷が生成される。

すると、垂直転送１回目で、光電変換部ＰＤ５から電荷αが垂直ＣＣＤ部Ｖ＿ＣＣＤ２の２行目に漏れ、この電荷αがスミア値として、光電変換部ＰＤ６から転送された画素値信号Ｇ１６に重畳する。そして、垂直転送２回目で、光電変換部ＰＤ５から、垂直ＣＣＤ部Ｖ＿ＣＣＤ２の２行目にスミア値αが漏れる。そして、垂直転送３回目で、垂直ＣＣＤ部Ｖ＿ＣＣＤ２の２行目のスミア値αが１行目まで転送され、光電変換部ＰＤ５から垂直ＣＣＤ部Ｖ＿ＣＣＤ２の２行目にスミア値αが漏れる。このようにして転送された１フレーム目の画素値信号Ｇ１１〜１９から、図８（Ｂ）に示すような１フレーム目の撮像画像が得られる。ここで、画素値信号Ｇ１５は、光点画像に対応する。また、画素値信号Ｇ１６にはαが重畳しており、これによりスミアが発生する。

次に、図８（Ｃ）に、光電変換部ＰＤ１〜９が生成する２フレーム目の画素値信号Ｇ２１〜２９が転送される様子を示す。ここでは、光電変換部ＰＤ１〜９から垂直ＣＣＤ部Ｖ＿ＣＣＤ１〜３に画素値信号ＰＤ２１〜２９が転送されたときに、光電変換部ＰＤ４からの画素値信号Ｇ２４と、光電変換部ＰＤ５からの画素値信号Ｇ２５に、それぞれスミア値αが重畳する。これは、１フレーム目の垂直転送３回目で、垂直ＣＣＤ部Ｖ＿ＣＣＤ２の１行目と２行目に、スミア値αが転送されていることによる。次いで、１フレーム目と同様にして、垂直転送１回目〜３回目が行われる。このとき、垂直転送１回目で、光電変換部ＰＤ６から転送された画素値信号Ｇ２６にスミア値αが重畳する。

このようにして転送された２フレーム目の画素値信号Ｇ２１〜Ｇ２９から、図８（Ｄ）に示すような２フレーム目の撮像画像が得られる。ここでは、画素値信号Ｇ２４、Ｇ２５、及びＧ２６にスミア値αが重畳しており、これによりスミアが発生する。そして、同様の転送がフレームごとに繰り返されることで、３フレーム目以降の画素値信号にも、図８（Ｄ）に示されるようにスミア値αが重畳する。このようにして、図７で示したように、撮像画像にスミアが発生する。ここで、スミア値αが一定量であるのは、垂直転送時間、水平転送時間が一定であり、光電変換部ＰＤから漏れる電荷が一定量であることによる。

上記のようにして一定量のスミア値αが重畳することでスミアが発生する場合、スミア発生列の画素値信号からスミア値αを減算することで、スミア補正を行うことができる。これにより、図９に示すように、光点画像を残し、列方向のスミアが補正された撮像画像が得られる。

スミア値αは、光電変換部ＰＤに遮光領域を設けておくことで、遮光領域での画素値信号から求められる。図１０は、遮光領域について説明する図である。図１０に示すように、光電変換部ＰＤには、遮光領域が設けられる。遮光領域は、たとえば各列の端部において、列を横断するように設けられる。遮光領域には、少なくとも１行分の光電変換部ＰＤが含まれる。ここでは、たとえば先頭から１行目と２行目の光電変換部ＰＤと、末尾から１行目と２行目の光電変換部ＰＤとが遮光領域に含まれる。また、遮光領域以外の光電変換部ＰＤは、受光領域に含まれる。

ここで、図２〜図５、図８における動作は、遮光領域と受光領域の両方に適用される。すると、遮光領域では光電変換部ＰＤは光を受光しないので画素値信号は基本的にゼロとなるところ、スミア値αが重畳したときには、画素値信号がスミア値αとなる。よって、これを検出することで、スミア値αが求められる。その具体的な方法については、後述する。一方、受光領域の光電変換部ＰＤでの画素値信号からは、撮像画像データが生成される。

ところで、一定量のスミア値αのほかに、異なるスミア値が重畳することで、不均一なスミアが発生する場合がある。たとえば、パーシャルスキャンが実行される場合である。パーシャルスキャンは、連続した複数フレームからなる動画を撮像する際、フレームレートを向上させるために、画素値信号のうち出力されない画素値信号を転送せずに掃き捨てる動作モードである。

たとえば、図１０に示すように、受光領域における１行目と末尾行の光電変換部ＰＤ（ハッチングで図示）を掃き捨て対象行として設定する。そして、掃き捨て対象行の画素値信号が水平ＣＣＤ部Ｈ＿ＣＣＤに転送されると、水平ＣＣＤ部Ｈ＿ＣＣＤはこれを水平転送せずに掃き捨てる。掃き捨ては、たとえば、水平ＣＣＤ部Ｈ＿ＣＣＤの垂直方向に掃き捨て用の領域とゲートとを設けておき、このゲートを開いて画素値信号を掃き捨て用の領域に出力することで行われる。かかる掃き捨て動作は、１行分の画素値信号の水平転送より短時間で行われる。よって、次の行の垂直転送を、より早いタイミングで開始でき、画素値信号全体としての転送速度が向上する。デジタルスチルカメラでは、たとえば、ユーザにより選択的に、あるいは自動的に、撮像部６において、パーシャルスキャン・モードが実行される。

以下、パーシャルスキャン・モードにおける撮像部６、及び画像処理部２８の動作について説明する。

図１１は、パーシャルスキャン・モードでの、撮像部６の動作手順を説明するフローチャート図である。撮像部６は、光電変換部ＰＤから画素値信号を垂直ＣＣＤ部Ｖ＿ＣＣＤに転送する（Ｓ２）。そして、垂直転送（Ｓ４）を実行する。ここで、掃き捨て対象行の画素値信号が水平ＣＣＤ部Ｈ＿ＣＣＤに転送された場合には、水平ＣＣＤ部Ｈ＿ＣＣＤは、画素値信号の掃き捨てを行う（Ｓ５）。そのほかの行のときには、水平ＣＣＤ部Ｈ＿ＣＣＤは、水平転送を行う（Ｓ６）。水平転送は、水平画素数分、つまり列の数分繰り返される。これにより、１行分の画素値信号が水平ＣＣＤ部Ｈ＿ＣＣＤから出力される。撮像部６は、手順Ｓ４とＳ５もしくはＳ６を、垂直画素数分、つまり行数分繰り返す。これにより、１フレーム分の画素値信号のうち、掃き捨て対象行の画素値信号が掃き捨てられ、残りの画素値信号が撮像部６から出力される。さらに、撮像部６は、１フレームごとに手順Ｓ２〜Ｓ５またはＳ６を繰り返す。これにより、複数フレームの画素値信号が連続して出力される。

図１２は、図１１で示した動作のタイミングを示すチャート図である。ここでは、図１０で示した光電変換部ＰＤの構成を例とする。撮像部６では、垂直タイミング信号ＶＤごとに１フレーム分の画素値信号が光電変換部ＰＤから垂直ＣＣＤ部Ｖ＿ＣＣＤ転送される。そして、１行分の垂直転送が行われる。そして、１行目〜２行目、つまり遮光領域の画素値信号に対し、水平タイミング信号ＨＤごとに、１行目の水平転送と２行目の垂直転送が行われる。そして、３行目、つまり掃き捨て対象行の画素値信号のときには、水平転送の代わりに掃き捨てが行われ、４行目の垂直転送が行われる。そして、４行目以降の画素値信号に対し、水平タイミング信号ＨＤごとに、水平転送と垂直転送が行われる。そして、末尾から３行目（ｎ−２行目）、つまり掃き捨て対象行の画素値信号に対して掃き捨てが行われる。そして、末尾から２行目（ｎ−１行目）と末尾行（ｎ行目）、つまり遮光領域の画素値信号に対して、水平転送と垂直転送が行われる。このように、撮像部６は、垂直タイミング信号ＶＤ間に行数分の水平タイミング信号ＨＤが与えられることにより、１フレーム分の画素値信号の転送または掃き捨てを行う。また、ここで、各行の水平転送は同じ時間で行われる。一方、掃き捨ては、水平転送時間より短い時間で行われる。

次に、パーシャルスキャン・モードにおいて、スミアが発生する場合について説明する。

図１３は、パーシャルスキャン・モードでの、画素値信号が転送される様子を示す。ここでは、受光領域に含まれる１列分の光電変換部ＰＤ１〜７を例とする。１行目と７行目が掃き捨て対象行である。

まず、図１３（Ａ）に示すように、１フレーム目の光電変換部ＰＤからの転送で、光電変換部ＰＤ１〜７から画素値信号Ｇ１１〜１７が垂直ＣＣＤ部Ｖ＿ＣＣＤに転送される。このとき、光電変換部ＰＤ４（「○」印を付す）が強い光を受光する。よって、光電変換部ＰＤ４からは、光点画像に対応する画素値信号Ｇ１４が転送される。そして、垂直転送１回目で、画素値信号が垂直方向に１行分転送される。光電変換部ＰＤ４は、垂直・水平転送時に読出しゲートが閉じられた状態でも垂直ＣＣＤ部Ｖ＿ＣＣＤ部に漏れるほど余剰な電荷を生成する。よって、垂直転送１回目中に、画素値信号Ｇ１５に余剰な電荷が重畳する。またこのとき、水平ＣＣＤ部Ｈ＿ＣＣＤにおいて１行目の画素値信号Ｇ１１が掃き捨てられる。この掃き捨て処理は、水平転送が行われる時間より短時間で行われる。よって、この間に光電変換部ＰＤ４から垂直ＣＣＤ部Ｖ＿ＣＣＤに漏れる電荷は、通常の水平転送が行われる間に漏れる電荷αより少ない。よって、画素値信号Ｇ１５には、通常のスミア値αより小さい電荷β（＜α）がスミア値βとして重畳する。

次いで、垂直転送２回目のあと、水平ＣＣＤ部Ｈ＿ＣＣＤは水平転送を行う。よって、このとき、画素値信号Ｇ１６には、水平転送時間に応じたスミア値αが重畳する。次いで、垂直転送３回目のあと、水平転送のときに、画素値信号Ｇ１７にスミア値αが重畳する。次いで、垂直転送４回目〜６回目が行われる。そして、垂直転送７回目のあと、画素値信号Ｇ１７+αが掃き捨てられる。このとき、光電変換部ＰＤ４から垂直ＣＣＤ部Ｖ＿ＣＣＤにスミア値βが漏れる。そして、２フレーム目の転送開始までに、垂直ＣＣＤ部Ｖ＿ＣＣＤの１行目、２行目にはスミア値αが転送され、３行目にはスミア値βが転送される。このような１フレーム目の転送により、図１３（Ａ）右端に示すような撮像画像が得られる。ここでは、画素値信号Ｇ１５にスミア値βが重畳し、画素値信号Ｇ１６にスミア値αが重畳することで、スミアが発生する。

次に、図１３（Ａ）の次フレームに示されるように、垂直ＣＣＤ部Ｖ＿ＣＣＤの１、２行目にスミア値α、３行目にスミア値βが転送された状態で、２フレーム目の転送が行われる。図１３（Ｂ）に示すように、２フレーム目では、まず光電変換部ＰＤ１〜７から画素値信号Ｇ２１〜Ｂ２７が垂直ＣＣＤ部Ｖ＿ＣＣＤに転送される。このとき、画素値信号Ｇ２１、Ｇ２２にスミア値αが、画素値信号Ｇ２３にスミア値βが重畳する。以降、１フレーム目と同様にして、垂直転送、水平転送、もしくは掃き捨てが行われる。その結果、図１３（Ｂ）の右端に示すような２フレーム目の撮像画像が得られる。ここでは、画素値信号Ｇ２２、Ｇ２６にスミア値αが重畳し、画素値信号Ｇ２３、Ｇ２５にスミア値βが重畳することで、スミアが発生する。

なお、図１３では、受光領域の光電変換部ＰＤ１〜７を例として示したが、遮光領域の光電変換部ＰＤからの画素値信号が光電変換部ＰＤ４の位置まで転送されるタイミングでは、水平ＣＣＤ部Ｈ＿ＣＣＤによる掃き捨ては行われない。よって、遮光領域の光電変換部ＰＤによる画素値信号には、スミア値αが重畳する。

上記のような図１３の例では、画素値信号に対しスミア値αまたはβが重畳する。その結果、図１４に示すような、濃い（輝度が高い）スミア値αに対応する濃いスミアと、薄い（輝度が低い）スミア値βに対応する薄いスミアとが混在するスミアが発生する。このような場合、一律に遮光領域の画素値であるスミア値αを減算する補正を行うと、薄いスミア値βが重畳した画素値信号から濃いスミア値αを減算したときに、本来の輝度より低い輝度になる。つまり、図１５に示すような、光点画像の上下の画素の輝度が低下した、不自然な撮像画像が生成される。かかる事態を回避するために、本実施形態では、一律にスミア値αを減算するのではなく、次のようにして、精度良いスミア補正を行う。

図１６は、スミア補正を行う画像処理装部２８の要部の構成を説明する図である。画像処理部２８では、スミア発生列の注目画素の画素値信号が入力されると、補間値生成部３０２が近傍の列の画素値信号に基づいて補間演算を行い、注目画素の画素値を補間値として導出する。そして、補正量導出部３０４が、濃いスミア値αと薄いスミア値βのいずれかを、注目画素の画素値信号と補間値の差分に基づいて、補正量として導出する。そして、画素値補正部３０５が、注目画素の画素値信号から補正量を減算することで、注目画素の画素値の補正を行う。

上記処理における薄いスミア値βは、濃いスミア値αに基づいて、補正量導出部３０４により導出される。そして、濃いスミア値αは、スミア値検出部３０６が、各列の遮光領域の光電変換部ＰＤから出力された画素値信号に基づいて検出する。具体的には、水平座標・垂直座標カウンタ部３０８が、垂直タイミング信号ＶＤと水平タイミング信号ＨＤとに基づき、光電変換部ＰＤの座標位置を導出し、その座標位置を遮光領域判定部３１０に出力する。遮光領域判定部３１０は、入力された座標位置がレジスタに格納された遮光領域座標と一致しているとき、メモリコントローラ３１２にライトイネイブル信号ＷＥを出力させる。これにより、そのときの画素値信号、つまり遮光領域の画素値信号が、ラインメモリ３１４に格納済みの画素値信号に加算器３１６により積算され、積算結果がラインメモリ３１４に格納される。このような動作が１列のすべての画素値信号に対し実行されることで、ラインメモリ３１４において、遮光領域における複数行の画素値信号の積算値が格納される。

ここで、遮光領域の画素値信号のレベルは受光していないので本来ゼロであるところ、スミア発生列では、遮光領域の画素値信号の示す値はスミア値に対応する。よって、ラインメモリ３１４に格納された値は、遮光領域におけるスミア値の合計である。この合計値を、レジスタに格納された遮光領域の行数で除算器３１８が除算することで、１つの光電変換部ＰＤあたりのスミア値αが求められる。また、さらに、ハードウェア誤差等を補正するための予め設定される係数を乗算してスミア値αを求めてもよい。

コアリング部３２０は、スミア値αにコアリング処理を施す。ここで、コアリング部３２０は、入力されるスミア値αを予め設定されたコアリング閾値と比較し、コアリング閾値より大きければそのままの値を出力し、コアリング閾値より小さければ、「０」を出力する。これにより、入力される画素値信号のＳ／Ｎ比が低いときに小さいスミア値が得られた場合、その値を採用しないようにすることでノイズの影響を低減できる。コアリング部３２０は、このようにして求めたスミア値αを、ＦＩＦＯメモリ３２２と補間値生成部３０２とに出力する。ＦＩＦＯメモリ３２２と補間値生成部３０２のＦＩＦＯメモリそれぞれの幅、つまり、後述の補間値計算に用いる近傍画素の間隔は、図示しないレジスタに格納された幅に設定される。このようにして、補間値生成部３０２には、スミア発生列ごとのスミア値αが入力される。

ここにおいて、補間値生成部３０２、補正量導出部３０４、画素値補正部３０５、及びスミア値検出部３０６を含む構成が、「画像処理装置」に対応する。

図１７は、補間値生成部３０２の構成を説明する図である。ここでは、一例として、注目画素の左右近傍の４列における４つの画素の画素値信号を用いて補間値を求める構成が示される。この補間値は、注目画素にスミアが発生していない場合に推定される、注目画素の画素値であり、左右近傍画素から、補間計算により計算される。

列ごとにコアリング部３２０から与えられたスミア値αは、スミア値判定部３３０に入力される。スミア値判定部３３０は、スミア値αを図示しないレジスタに格納されたスミア判定値と比較し、スミア値αがスミア判定値より大きければスミア発生と判定し、スミア判定値以下であればスミアが発生していないと判定する。そして、列ごとの判定結果が、ＦＩＦＯメモリ３３２＿１〜４に順次格納される。一方、補間値生成部３０２に入力される列ごとの画素値信号は、ＦＩＦＯメモリ３４０＿１〜４に順次格納される。ここにおいて、ＦＩＦＯメモリ３３２＿１〜４とＦＩＦＯメモリ３４０＿１〜４には、列ごとの判定結果と画素値信号とがそれぞれ格納される。

補間式選択部３３４は、スミア値判定部３３０からの最新のスミア判定結果とＦＩＦＯメモリ３３２＿１〜４に格納されたスミア判定結果に基づいて、予め格納された補間値計算係数１〜１６のいずれかを選択する。そして、選択した補間値計算係数を出力するように、切り替え部３３５を切り替える。

ここで、図１８を用いて、補間値計算係数について説明する。図１８では、注目画素Ｐｘ０の左右の近傍４画素Ｐｘ−２、Ｐｘ−１、Ｐｘ１、Ｐｘ２のスミア判定結果が示される。ここでは、スミアが発生している場合「×」と発生していない場合「○」の組合せが示される。そして、各組合せに対応して、１６通りの補間値計算係数ａ１〜ａ５の組合せと、これを用いた補間計算式が示される。ここでは、注目画素Ｐｘ０の近傍４画素Ｐｘ−２、Ｐｘ−１、Ｐｘ１、Ｐｘ２が等間隔である場合を例としている。

ここで、４画素Ｐｘ−２、Ｐｘ−１、Ｐｘ１、Ｐｘ２のいずれかがスミア発生列に対応する場合（スミア判定結果「×」）、その画素値信号の補間値計算係数が「０」となる補間値計算係数ａ１〜ａ５が、図１８に示すように選択される。よって、補間値計算式にスミアを含む画素値信号が含まれていても、その係数を「０」にして、誤った補間値を導出することを回避できる。また、より近い画素の画素値信号により大きい補間値計算係数が割り当てられるので、補間計算の精度を向上させることができる。また、注目画素が受光領域の左右いずれかの端部付近であって、近傍に画素が存在しないときには、その画素に対する補間値計算係数が「０」となるような補間値計係数ａ１〜ａ５が選択される。

図１７に戻り、上記のようにして選択された補間値計算係数は、切り替え部３３５によりそれぞれ乗算器３３６＿１〜５に与えられ、ＦＩＦＯメモリ３４０＿１〜４に格納された画素値信号と、入力された画素値信号とにそれぞれ乗算される。そして、各乗算結果は、加算器３３８で加算され、加算結果が補間値として出力される。ここで、ＦＩＦＯメモリ３４０＿１〜４から左右近傍の画素値信号が読み出されるときの間隔は、レジスタに格納されたＦＩＦＯ幅により設定される。好ましくは、ＦＩＦＯ幅は、注目画素と同じ色の近傍の画素の画素値信号が読み出されるような幅に設定される。たとえば、２行ごとに、１行目ではＧ（green）、Ｒ（red）、Ｇ、Ｒ・・・の画素値信号が交互に生成され、２行目ではＢ（blue）、Ｇ、Ｂ、Ｇ、・・・の画素値信号が生成されるベイヤー方式の場合、ＦＩＦＯ幅を２の倍数に設定することで、注目画素と同じ色の左右近傍の画素の画素値信号を用いて補間値を算出することができる。

図１９は、補正量導出部３０４の詳細な構成を説明する図である。スミア値導出部３５０は、濃いスミア値αから、１行の画素値信号が水平転送される時間と、これを掃き捨てるときの時間との比に応じて、薄いスミア値βを導出する。具体的には、かかる比に応じた定数が図示しないレジスタに格納されており、濃いスミア値αにこの定数を乗算器３５２により乗算することで、薄いスミア値βが導出される。そして、スミア値α、βは、補正量決定部３５４に与えられる。一方、減算器３６４は、スミア列の画素値信号から補間値を減算し、差分を推定スミア値として導出する。そして、推定スミア値は、補正量決定部３５４と、切り替え部３６８に与えられる。

補正量決定部３５４は、推定スミア値が濃いスミア値αと薄いスミア値βのいずれに近似するかを判定し、推定スミア値に近似すると判定されたスミア値αまたはβを、補正量として決定する。具体的には、まず、平均値導出部３５６とクリップ部３５８に、スミア値導出部３５０から与えられた濃いスミア値αと薄いスミア値βが入力される。そして平均値導出部３５６が、濃いスミア値αと薄いスミア値βの平均値を中間スミア値として導出する。そして、比較器３６０が推定スミア値と中間スミア値とを比較し、推定スミア値が中間スミア値より大きい場合は「Ｔｒｕｅ：１」を、推定スミア値が中間スミア値以下の場合は「Ｆａｌｓｅ：０」を、判断結果として出力する。この判断結果は、出力選択部３６２に入力され、出力選択部３６２は、「Ｔｒｕｅ：１」の場合には画素値信号の最大値、たとえば１２ビットの場合には「４０９５」を、「Ｆａｌｓｅ：０」の場合には「０」を切り替え部３６８を介してクリップ部３５８に出力する。

なお、切り替え部３６８は、後述する好適な態様において、飽和判定部３７０の出力と信頼性判定部３７４の出力の論理和に応じた値をクリップ部３５８に出力するが、ここではまず、出力選択部３６２からの出力がそのままクリップ部３５８に出力された場合について説明する。

クリップ部３５８は、出力選択部３６２から最大値が入力された場合、この最大値を濃いスミア値αによりクリッピングし、スミア値αを補正量として出力する。一方、出力選択部３６２から「０」が入力された場合、これを薄いスミア値βによりクリッピングし、スミア値βを補正量として出力する。このようにして、スミア値に応じた補正量を導出でき、これを用いて補正を行うことで、精度よいスミア補正が可能となる。

ここで、本実施形態の好適な態様の一つについて説明する。この態様では、飽和判定部３７０が、注目画素の画素値信号のレベルとレジスタに格納された飽和判定値レベルとを比較器３７２により比較し、画素値信号のレベルが飽和判定値レベルを超えている場合には、「Ｔｒｕｅ：１」を、画素値信号のレベルが飽和判定レベル以下の場合には、「Ｆａｌｓｅ：０」を判断結果として出力する。この判断結果が切り替え部３６８に入力されると、切り替え部３６８は、推定スミア値を選択してクリップ部３５８に出力する。画素値信号が飽和レベルに達している場合に、濃いスミア値αまたは薄いスミア値βを画素値信号のレベルから減算すると、本来なら輝度が最大値であるはずのところ、補正により輝度が最大値より減少してしまい、撮像画像が不自然なものとなる。一方、近傍の画素から補間した補間値は飽和レベルまたはこれに近似した値となるので、推定スミア値は有る程度小さい値になる。よって、切り替え部３６８を介して推定スミア値をクリップ部３５８に入力し、それをクリップした補正量を出力し、画素値信号のレベルからその推定スミア値に対応する補正量を減算することで、本来の飽和レベルに近い輝度の画素値信号を得ることができる。よって、より精度のよいスミア補正が可能となる。

一方、飽和していない場合には、飽和判定部３７０の出力は「０」となる。この出力が切り替え部３６８に入力されると、切り替え部３６８は、前述のとおり、出力選択部３６２からの出力をクリップ部３５８に入力する。その結果、クリップ部３５８は、入力に応じてクリップされたスミア値αまたはスミア値βを補正量として出力する。

また、本実施形態の別の好適な態様について説明する。この態様では、信頼性判定部３７４が、１列前の注目画素について、推定スミア値と平均スミア値との比較結果をフリップフロップ回路３７６に格納しておき、その結果と現在の注目画素の結果との排他論理和を、ＥＸＯＲ回路３７８から出力する。この場合、１列前の結果と異なる場合、つまりノイズ等に起因して比較結果の信頼性が低い場合には、「１」が出力される。この出力が切り替え部３６８に与えられると、上述したように、推定スミア値がクリップ部３５８に入力され、その推定スミア値が補正量として採用される。推定スミア値を補正量とすることで、注目画素は少なくとも補間値となる。よって、ノイズ等に起因して誤判断がなされ、スミア値αまたはβにより補正することで不自然な画像となることを回避できる。

一方、１列前の結果と同じ場合、つまり比較結果の信頼性が高い場合には、ＥＸＯＲ回路３７８から「０」が出力される。そして、この出力が切り替え部３６８に与えられると、上述したように、クリップ部３５８は、入力に応じてスミア値αまたはスミア値βを補正量として出力する。

上述した飽和判定部３７０と信頼性判定部３７４は、それぞれ単独であるいは組合せにより実施可能である。組合せて実施する場合には、飽和判定部３７０と信頼性判定部３７４の出力の論理和が、ＯＲ回路３８０により切り替え部３６８に入力される。

図２０は、本実施形態における第１の変形例を説明する図である。第１の変形例は、補正量導出部３０４の変形例に関する。図２０では、図１９における補正量決定部３５４が、比較器３６０と出力選択部３６２の代わりに、減算器４００、乗算器４０２、及び加算器４０４を有する。

補正量決定部３５４は、中間スミア値と推定スミア値との差を減算器４００により求め、この差と、レジスタに格納されたブレンド係数とを乗算器４０２により乗算する。そしてその乗算結果と、中間スミア値との和を加算器４０４により求め、その結果を切り替え部３６８に出力する。そして、切り替え部３６８に出力された結果は、飽和判定部３７０と信頼性判定部３７４の出力がいずれも「０」のときに、クリップ部３５８に入力される。

また、中間スミア値と推定スミア値との差は、符号ビット抜出部３７５に与えられる。符号ビット抜出部３７５は、中間スミア値と推定スミア値との差から符号ビットを抜き出してフリップフロップ回路３７６に格納する。これにより、１列前の符号との一致不一致により、信頼性判定が行われる。

ここで、クリップ部３５８の伝達関数を、図２１に示す。図２１において、点線で示す伝達関数は、本実施形態において、スミア値αまたはβのいずれかがクリップ部３５８によりクリップされ、出力される場合に対応する。また、図２１において、実線で示す伝達関数は、第１の変形例でブレンド係数を用いた場合に対応する。ブレンド係数を用いることにより、スミア値αとβの中間スミア値を切片として、ブレンド係数に応じてスミア値αまたはβに近似した値を補正量として出力することができる。なお、ブレンド係数が「１」の場合が、推定スミア値をそのまま出力する場合に対応する。図２１では、ブレンド係数が「１」の場合（実線）と「∞」の場合（破線）とを示したが、ブレンド係数は予め任意の値、たとえば「１」と「∞」の間の値に設定することができる。

このような構成により、中間的なスミア値を補正量とすることができ、精度よいスミア補正が可能になる。

図２２は、本実施形態における第２の変形例を説明する図である。図２１は、図１６で示した画像処理装置の構成に、スミア幅検出部４１０が追加された構成を示す。スミア幅検出部４１０は、スミア値αに基づいて、スミア幅、つまりスミア発生列の数を検出し、スミア幅を補間値生成部３０２のＦＩＦＯメモリと、ＦＩＦＯメモリ３２２とに与える。これにより、補間値生成部３０２では、補間値を導出するための近傍画素の画素値信号をＦＩＦＯメモリから読み出すときの位置、つまり近傍画素の間隔を変更する。具体的には、スミア幅が広い場合には、読出す幅を広くし、連続するスミア発生列の画素値信号がＦＩＦＯからできるだけ読み出されないようにして補間値計算を行う。これにより、スミアが重畳した画素値信号を用いて不適切な補間値を導出するおそれを低減できる。一方、スミア幅が狭い場合には、読出す幅を狭くし、より近傍の列の画素値信号を読み出すようにして補間値計算に用いる。これにより、注目画素の画素値信号とより強い相関を有する画素値信号を用いることができ、補間値生成精度が向上する。なお、スミア幅に応じて近傍画素の間隔を変更する際、注目画素と同じ色の画素値信号が読み出されるような間隔、例えば２の倍数に設定することで、注目画素と同じ色の画素値信号を用いて補正値を生成することが可能になる。

図２３は、スミア幅検出部４１０の詳細な構成を説明する図である。スミア幅検出部４１０では、比較器４２０がスミア値αとレジスタに格納されたスミア判定値とを比較する。比較器４２０は、スミア値αがスミア判定値より大きいとき、つまりＳ／Ｎ比が良好な場合、「Ｔｒｕｅ：Ｉｎｃｒｅｍｅｎｔ」をカウンタ４２２に出力し、スミア値αがスミア判定値以下のとき、つまりＳ／Ｎ比が不良な場合、「Ｆａｌｓｅ：Ｒｅｓｅｔ（０）」をカウンタ４２２に出力する。カウンタ４２２は、「Ｔｒｕｅ：Ｉｎｃｒｅｍｅｎｔ」が入力されると、カウント値を「１」ずつインクリメントさせ、一方「Ｆａｌｓｅ：Ｒｅｓｅｔ（０）」が入力されるとカウント値を「０」にリセットする。つまり、連続してスミア判定された回数がカウントされる。

そして、比較器４２４が、カウンタ４２２がインクリメントしたカウント値と、レジスタ４２８に格納されたカウント値とを比較し、インクリメントしたカウント値が上回っていれば、「Ｔｒｕｅ：１」を、上回らなければ「Ｆａｌｓｅ：０」を出力する。そして、ＡＮＤ回路４２６は、比較器４２４の出力とメモリコントローラ３１２から入力される制御信号の論理積をライトイネイブル信号ＷＥとして、レジスタ４２８に出力する。これにより、レジスタ４２８には、スミア値αが検出された列数の最大値が格納される。メモリコントローラ３１２から入力される制御信号は、たとえば遮光領域の画素値信号に基づきスミアが判定されたときに入力される。この制御信号によりレジスタ４２８に格納される値が「０」にリセットされ、上記の動作によるカウント値の更新が開始される。このようにして、受光領域の画素値信号を処理する前、あるいは画素値信号の処理開始直後に、レジスタ４２８において、連続するスミア発生列数の最大値、つまりスミア幅が更新される。

調整部４５０は、スミア幅に所定のマージンを追加して切り替え部４５２に出力する。これにより、スミア発生列の画素値信号を用いて補間値を導出することを、より確実に回避できる。また、スミア幅が実装可能なＦＩＦＯメモリの幅を超える場合は、実装可能な幅に収めるような処理を行ってもよい。また、レジスタ４５４には、シーン認識結果やオートフォーカス判定結果に応じたスミア幅が格納される。たとえば、輝度が低い夜間などのシーン用の狭いスミア幅、輝度が高い昼間などのシーン用の広いスミア幅が格納される。また、ピントが合った（合焦度合いが高い）場合用の狭いスミア幅、ピントがぼけた（合焦度合いが低い）場合用の広いスミア幅が格納される。切り替え部４５２は、モード信号に従って、レジスタ４５４に格納されたスミア幅か、現在のフレームで検出されたスミア幅のいずれかを出力する。モード信号は、画像処理部２８内あるいは別のＭＰＵのシーン認識部やオートフォーカス判定部から与えられる。これにより、シーンごとの輝度や、合焦度合いに応じて最適なスミア補正が可能になる。あるいは、レジスタ４５４には、前フレームにおけるスミア幅や、過去数フレームにおけるスミア幅の平均値を格納しておき、これらを用いることで、フレームごとに補正量が変動することを防止できる。

上述したように、本実施形態によれば、スミア値が一定でない場合であっても、精度良いスミア補正が可能となる。

以上の実施の形態をまとめると、次の付記のとおりである。

（付記１）
受光量に応じて画素値信号を生成する光電変換部と、前記光電変換部から転送される前記画素値信号を垂直転送する複数の垂直ＣＣＤ部と、前記垂直転送される画素値信号を水平転送する水平ＣＣＤ部とを有する撮像部から、前記画素値信号が入力される画像処理装置であって、
遮光された前記光電変換部から出力された前記画素値信号に基づいて、第１のスミア値を検出するスミア値検出部と、
近傍の画素の画素値信号に基づいて注目画素に対応する補間値を生成する補間値生成部と、
前記注目画素の画素値信号と前記補間値との差分を推定スミア値として導出し、前記第１のスミア値に基づいて前記第１のスミア値より小さい第２のスミア値を導出し、前記推定スミア値に基づいて前記第１、第２のスミア値のいずれかを補正量として導出する補正量導出部と、
前記注目画素の画素値信号から前記補正量を減算する画素値補正部とを備えた画像処理装置。

（付記２）
付記１において、
前記補正量導出部は、前記第１、第２のスミア値のうち、前記推定スミア値に近似する方を前記補正量として導出する画像処理装置。

（付記３）
付記１または２において、
前記補正量導出部は、前記注目画素の画素値信号が所定レベル以上の場合には、前記推定スミア値に基づいて、前記第１のスミア値以下、かつ前記第２のスミア値以上の第３のスミア値を前記補正量として導出する画像処理装置。

（付記４）
付記１または２において、
前記補正量導出部は、前記推定スミア値が前記第１、第２のスミア値のいずれに近似するかを判定し、当該判定結果が隣接する画素の画素値信号に関する判定結果と異なる場合には、前記推定スミア値に基づいて、前記第１のスミア値以下、かつ前記第２のスミア値以上の第３のスミア値を前記補正量として導出する画像処理装置。

（付記５）
付記１または２において、
前記補正量導出部は、前記水平ＣＣＤ部にて、前記垂直転送される画素値信号を水平
転送する時間と、前記垂直転送される画素値信号を掃き捨てる時間との比に応じた係数を、前記第１のスミア値に乗算して前記第２のスミア値を導出する画像処理装置。

（付記６）
付記１において、
前記補間値生成部は、連続するスミア発生列の数が第１の数のときには、前記近傍の画素の間隔を第１の間隔、前記連続するスミア発生列の数が前記第１の数より大きい第２の数のときには、前記近傍の画素の間隔を前記第１の間隔より広い第２の間隔に決定する画像処理装置。

（付記７）
付記１において、
前記補間値生成部は、前記近傍の画素のいずれかが存在しないかまたはスミアを有するときには、当該画素の画素値信号を用いずに前記補間値を生成する画像処理装置。

（付記８）
付記１において、
前記補間値生成部は、前記注目画素と同じ色を有する前記近傍の画素の画素値信号に基づいて前記補間値を導出する画像処理装置。

（付記９）
付記６において、
前記補間値生成部は、撮像画像のシーンが第１の輝度、または第１の合焦度合いのときには前記近傍の画素の間隔を前記第１の間隔、前記撮像画像のシーンが前記第１の輝度より高い第２の輝度、または前記第１の合焦度合いより低い第２の合焦度合いのときには前記近傍の画素の間隔を前記第２の間隔に決定する画像処理装置。

（付記１０）
付記７において、
前記注目画素および前記近傍の画素におけるスミアの有無は、遮光領域における画素値信号とスミア判定値との比較に基づいて判定される画像処理装置。

６：撮像部、２８：画像処理装置、３０２：補間値生成部、３０４：補正量導出部、３０６：スミア値検出部

Claims (5)

1. 受光量に応じて画素値信号を生成する光電変換部と、前記光電変換部から転送される前記画素値信号を垂直転送する複数の垂直ＣＣＤ部と、前記垂直転送される画素値信号を水平転送する水平ＣＣＤ部とを有する撮像部から、前記画素値信号が入力される画像処理装置であって、
   遮光された前記光電変換部から出力された前記画素値信号に基づいて、第１のスミア値を検出するスミア値検出部と、
   近傍の画素の画素値信号に基づいて注目画素に対応する補間値を生成する補間値生成部と、
   前記注目画素の画素値信号と前記補間値との差分を推定スミア値として導出し、前記第１のスミア値に基づいて前記第１のスミア値より小さい第２のスミア値を導出し、前記推定スミア値に基づいて前記第１、第２のスミア値のいずれかを補正量として導出する補正量導出部と、
   前記注目画素の画素値信号から前記補正量を減算する画素値補正部とを備えた画像処理装置。
2. 請求項１において、
   前記補正量導出部は、前記第１、第２のスミア値のうち、前記推定スミア値に近似する方を前記補正量として導出する画像処理装置。
3. 請求項１または２において、
   前記補正量導出部は、前記注目画素の画素値信号が所定レベル以上の場合には、前記推定スミア値に基づいて、前記第１のスミア値以下、かつ前記第２のスミア値以上の第３のスミア値を前記補正量として導出する画像処理装置。
4. 請求項１または２において、
   前記補正量導出部は、前記推定スミア値が前記第１、第２のスミア値のいずれに近似するかを判定し、当該判定結果が隣接する画素の画素値信号に関する判定結果と異なる場合には、前記推定スミア値に基づいて、前記第１のスミア値以下、かつ前記第２のスミア値以上の第３のスミア値を前記補正量として導出する画像処理装置。
5. 請求項１または２において、
   前記補正量導出部は、前記水平ＣＣＤ部にて、前記垂直転送される画素値信号を水平
   転送する時間と、前記垂直転送される画素値信号を掃き捨てる時間との比に応じた係数を、前記第１のスミア値に乗算して前記第２のスミア値を導出する画像処理装置。

Images