JP4742359B2 - 動画撮像装置及びそのプログラム - Google Patents

Description

本発明は、撮像装置及びそのプログラム、スミア除去装置に係り、詳しくは、スミアの発生状況に応じてスミア除去の有無およびスミアの除去を行なう場合にはスミア除去強度を変更することができる撮像装置及びそのプログラム、スミア除去装置に関する。

従来、ＣＣＤ等の撮像素子においては、強い光（例えば、太陽光や自動車のヘッドライト）が入射することにより撮像された画像データにはスミアと呼ばれるものが発生してしまい、画質が劣化するという問題があった。
このような問題を解決するため、ＣＣＤによって撮像された画素信号のうち、有効画素領域の画素の画素信号から、垂直オプティカルブラック領域の画素信号を減算することによりスミアを除去する装置があった（特許文献１）。

公開特許公報 特開２００１−８６４１３

しかしながら、従来の撮像装置によれば、有効画素領域の画素の画素信号から垂直オプティカルブラック領域の画素の画素信号を減算することにより、スミアのない画像データを得ることができるが、垂直オプティカルブラック領域の画素の画素信号を一様に減算するため、スミアが強く発生していない場合には、かえってＳ／Ｎ比の悪化を招いたり、画質が劣化してしまうという問題点があった。
また、カメラや被写体の移動により、スミアが斜めに発生してしまった場合にも、一様に垂直オプティカルブラック領域の画素の画素信号を減算すると、画質の劣化が起きてしまうという問題点があった。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、スミアの発生状況に応じてスミア除去の有無およびスミアの除去を行なう場合にはスミア除去強度を変更することができる撮像装置及びそのプログラム、スミア除去装置を提供することを目的とする。

上記目的達成のため、請求項１記載の発明による撮像装置は、
水平オプティカルブラック領域と、垂直オプティカルブラック領域とを有する撮像素子と、
前記撮像素子により出力された画素信号のうち、垂直オプティカルブラック領域の画素信号を記憶手段に記憶させる記憶制御手段と、
前記撮像素子により出力された画素信号のうち、水平オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて水平オプティカルブラック領域の画素信号の値を算出する第１の算出手段と、
前記撮像素子により出力された画素信号のうち、垂直オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて垂直オプティカルブラック領域の画素信号の値を算出する第２の算出手段と、
前記記憶手段に記憶した画素信号を前記撮像素子により出力された画素信号から減算する減算手段と、
前記第１の算出手段により算出された値と、前記第２の算出手段により算出された値との差に基づいて前記減算手段による減算を行なうか否かを制御する減算制御手段と、
前記第１の算出手段により算出された値と、前記第２の算出手段により算出された値との差に応じたゲイン値を出力する出力手段と、
を備え、
前記減算制御手段は、前記減算手段による減算の際に、前記出力手段により出力されたゲイン値を前記記憶手段に記憶した画素信号に乗算し、該乗算した画素信号を前記撮像素子により出力された画素信号から減算させることを特徴とする。
また、請求項１０記載の発明による撮像装置は、
垂直オプティカルブラック領域１と、垂直オプティカルブラック領域２とを有する撮像素子と、
前記撮像素子により出力された画素信号のうち、垂直オプティカルブラック領域の画素信号を記憶手段に記憶させる記憶制御手段と、
前記撮像素子により出力された画素信号のうち、垂直オプティカルブラック領域１の画素の画素信号と、垂直オプティカルブラック領域２の画素の画素信号との差の値を列毎に算出する算出手段と、
前記記憶手段に記憶した画素信号を前記撮像素子により出力された画素信号から減算する減算手段と、
前記算出手段により列毎に算出された値に基づいて前記減算手段による減算を行なうか否かを制御する減算制御手段と、
前記算出手段により列毎に算出された値に基づいてゲイン値を算出し、該算出したゲイン値を出力する出力手段と、
を備え、
前記減算制御手段は、前記減算手段による減算の際に、前記出力手段により出力されたゲイン値を前記記憶手段に記憶した画素信号に乗算し、該乗算した画素信号を前記撮像素子により出力された画素信号から減算させることを特徴とする。
また、請求項２０記載の発明によるプログラムは、
水平オプティカルブラック領域と、垂直オプティカルブラック領域とを有する撮像素子に蓄積された電荷を画素信号として出力する画素信号出力処理と、
前記画素信号出力処理により出力された画素信号のうち、垂直オプティカルブラック領域の画素信号を記憶媒体に記憶させる記憶処理と、
前記画素信号出力処理により出力された画素信号のうち、水平オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて水平オプティカルブラック領域の画素信号の値を算出する第１の算出処理と、
前記画素信号出力処理により出力された画素信号のうち、垂直オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて垂直オプティカルブラック領域の画素信号の値を算出する第２の算出処理と、
前記記憶媒体に記憶した画素信号を前記画素信号出力処理により出力された画素信号から減算する減算処理と、
前記第１の算出処理により算出された値と、前記第２の算出処理により算出された値との差に基づいて前記減算処理による減算を行なうか否かを制御する減算制御処理と、
前記第１の算出処理により算出された値と、前記第２の算出処理により算出された値との差に応じたゲイン値を出力する出力処理と、
をコンピュータで実行させることを特徴とするプログラムであって、
前記減算制御処理は、前記減算処理による減算の際に、前記出力処理により出力されたゲイン値を前記記憶処理により記憶した画素信号に乗算し、該乗算した画素信号を前記撮像素子により出力された画素信号から減算させることを特徴とする。
また、請求項２１記載の発明によるプログラムは、
垂直オプティカルブラック領域１と、垂直オプティカルブラック領域２とを有する撮像素子に蓄積された電荷を画素信号として出力する画素信号出力処理と、
前記画素信号出力処理により出力された画素信号のうち、垂直オプティカルブラック領域の画素信号を記憶媒体に記憶させる記憶処理と、
前記画素信号出力処理により出力された画素信号のうち、垂直オプティカルブラック領域１の画素の画素信号と、垂直オプティカルブラック領域２の画素の画素信号との差の値を列毎に算出する算出処理と、
前記記憶媒体に記憶した画素信号を前記画素信号出力処理により出力された画素信号から減算する減算処理と、
前記算出処理により列毎に算出された値に基づいて前記減算処理による減算を行なうか否かを制御する減算制御処理と、
前記算出処理により列毎に算出された値に基づいてゲイン値を算出し、該算出したゲイン値を出力する出力処理と、
をコンピュータで実行させることを特徴とするプログラムであって、
前記減算制御処理は、前記減算処理による減算の際に、前記出力処理により出力されたゲイン値を前記記憶処理により記憶した画素信号に乗算し、該乗算した画素信号を前記撮像素子により出力された画素信号から減算させることを特徴とする。
また、請求項２２記載の発明によるスミア除去装置は、
水平オプティカルブラック領域と、垂直オプティカルブラック領域とを有する撮像素子から出力された画素データを取得する取得手段と、
前記取得手段により取得された画素信号のうち、垂直オプティカルブラック領域の画素信号を記憶手段に記憶させる記憶制御手段と、
前記取得手段により取得された画素信号のうち、水平オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて水平オプティカルブラック領域の画素信号の値を算出する第１の算出手段と、
前記取得手段により取得された画素信号のうち、垂直オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて垂直オプティカルブラック領域の画素信号の値を算出する第２の算出手段と、
前記記憶手段に記憶した画素信号を前記撮像素子により出力された画素信号から減算する減算手段と、
前記第１の算出手段により算出された値と、前記第２の算出手段により算出された値との差に基づいて前記減算手段による減算を行なうか否かを制御する減算制御手段と、
前記第１の算出手段により算出された値と、前記第２の算出手段により算出された値との差に応じたゲイン値を出力する出力手段と、
を備え、
前記減算制御手段は、前記減算手段による減算の際に、前記出力手段により出力されたゲイン値を前記記憶手段に記憶した画素信号に乗算し、該乗算した画素信号を前記撮像素子により出力された画素信号から減算させることを特徴とする。
また、請求項２３記載の発明によるスミア除去装置は、
垂直オプティカルブラック領域１と、垂直オプティカルブラック領域２とを有する撮像素子から出力された画素データを取得する取得手段と、
前記取得手段により取得された画素信号のうち、垂直オプティカルブラック領域の画素信号を記憶手段に記憶させる記憶制御手段と、
前記取得手段により取得された画素信号のうち、垂直オプティカルブラック領域１の画素の画素信号と、垂直オプティカルブラック領域２の画素の画素信号との差の値を列毎に算出する算出手段と、
前記記憶手段に記憶した画素信号を前記撮像素子により出力された画素信号から減算する減算手段と、
前記算出手段により列毎に算出された値に基づいて前記減算手段による減算を行なうか否かを制御する減算制御手段と、
前記算出手段により列毎に算出された値に基づいてゲイン値を算出し、該算出したゲイン値を出力する出力手段と、
を備え、
前記減算制御手段は、前記減算手段による減算の際に、前記出力手段により出力されたゲイン値を前記記憶手段に記憶した画素信号に乗算し、該乗算した画素信号を前記撮像素子により出力された画素信号から減算させることを特徴とする。

以上説明したように本発明によれば、スミアの発生状況に応じたゲイン値を出力することができ、これにより、スミア除去の有無及びスミアを除去する場合にはスミア除去の強度を変えることができる。

以下、本実施の形態について、図面を参照して詳細に説明する。
[第１の実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の撮像装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り兼用シャッタ４、ＣＣＤ５、ＴＧ（timing generator）６、ユニット回路７、スミア除去処理部８、ＣＰＵ９、ＤＲＡＭ１０、メモリ１１、フラッシュメモリ１２、画像表示部１３、キー入力部１４、ストロボ駆動部１５、ストロボ発光部１６、カードＩ／Ｆ１７を備えており、カードＩ／Ｆ１７には、図示しないデジタルカメラ１本体のカードスロットに着脱自在に装着されたメモリ・カード１８が接続されている。

撮影レンズ２は、図示しないフォーカスレンズ、ズームレンズを含み、レンズ駆動ブロック３が接続されている。このレンズ駆動ブロック３は、図示しないフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、ＣＰＵ９からの制御信号にしたがってフォーカスモータ、ズームモータをそれぞれ光軸方向に駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。

絞り兼用シャッタ４は、図示しない駆動回路を含み、駆動回路はＣＰＵ９から送られてくる制御信号にしたがって絞り兼用シャッタを動作させる。この絞り兼用シャッタは、絞りとシャッタとして機能する。
絞りとは、撮影レンズ２から入ってくる光の量を制御する機構のことをいい、シャッタとは、ＣＣＤ５に光を当てる時間を制御する機構のことをいい、ＣＣＤ５に光を当てる時間は、シャッタの開閉の速度（シャッタ速度）によって変わってくる。露出は、この絞りとシャッタ速度によって定めることができる。

ＣＣＤ５（撮像素子）は、撮影レンズ２、絞り兼用シャッタ４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路７に出力する。また、ＣＣＤ５は、ＴＧ６によって生成された所定周波数のタイミング信号にしたがって駆動する。

ＣＣＤ５は、図２に示すように、被写体情報を得るための有効画素領域と、垂直方向の黒基準を決めるための垂直オプティカルブラック（垂直ＯＢ）領域と、水平方向の黒基準を決めるための水平オプティカルブラック（水平ＯＢ）領域から構成されている。
このオプティカルブラック領域は、ＣＣＤ５の上下左右に遮光膜をつけることによって形成される。つまり、オプティカルブラック領域では真っ黒な画像に対応する画像信号が得られることとなる。
ここでは、ＣＣＤ５の上側のオプティカルブラックを垂直オプティカルブラック２とし、ＣＣＤ５の下側のオプティカルブラックを垂直オプティカルブラック1とし、左側のオプティカルブラックを水平オプティカルブラック１とし、右側のオプティカルブラックを水平オプティカルブラック２とする。
このＣＣＤ５は、インターライン形ＣＣＤなので、ＣＣＤ５の画素の画素信号が１ラインずつＣＣＤ５の下側のラインから上側のラインへと読み出されることになる。つまり、垂直オプティカルブラック領域１の画素信号が最初に読み出され、垂直オプティカルブラック領域２の画素信号が最後に読み出されることとなる。

ユニット回路７は、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５の撮像信号は、ユニット回路７を経てデジタル信号としてスミア除去処理部８に送られる。なお、ユニット回路７にＴＧ６が接続されている。

スミア除去処理部８は、ユニット回路７から送られてきた画像データ（デジタル信号）から、どのくらいの強度でスミアを除去するか否かを評価し、該評価した強度に応じたスミアの除去を行ってＣＰＵ９に出力する。本発明の特徴部分であるスミア除去処理部８については、後で詳細に説明する。なお、スミア除去処理部８にＴＧ６が接続されている。

ＣＰＵ９は、ユニット回路７から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理、及び、スミア除去処理部８に必要な情報（水平ＯＢアドレス情報、垂直ＯＢアドレス情報など）の出力などを行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。

ＤＲＡＭ１０は、ＣＣＤ５によって撮像された後、ＣＰＵ９に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ９のワーキングメモリとして使用される。
フラッシュメモリ１２やメモリ・カード１８は、ＣＣＤ５によって撮像された画像データなどを保存しておく記録媒体である。

画像表示部１３は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、保存用フラッシュメモリ１２やメモリ・カード１８から読み出され、伸張された記録画像を表示させる。
キー入力部１４は、シャッタボタン、モードキー、ＳＥＴキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ９に出力する。

ストロボ駆動部１５は、ＣＰＵ９の制御信号にしたがって、ストロボ発光部１６を閃光駆動させ、ストロボ発光部１６はストロボを閃光させる。ＣＰＵ９は、図示しない測光回路によって撮影シーンが暗いか否かを判断し、撮影シーンが暗いと判断し、且つ、撮影を行うと判断した場合（シャッタボタン押下時）には、ストロボ駆動部１５に制御信号を送る。

メモリ１１には、ＣＰＵ９によるデジタルカメラ1の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、ＣＰＵ９は、このプログラムにしたがって処理を行う。

Ｂ.スミア除去処理部８について
ここで、スミア除去処理部８について説明する前に、第１の実施の形態における発明の概略について説明する。
図３（ａ）に示すように、ＣＣＤ５により高輝度の被写体、例えば、太陽や自動車のヘッドライトが撮像されると、スミアと呼ばれる白い線が発生してしまう。
また、垂直オプティカルブラック領域のある１ラインの画素データは、基本的には黒い被写体を撮像したときの画素データであるが、スミアが発生してしまうと、発生した部分の画素の画素データだけ、図３（ｂ）に示すようにスミア信号が付加された信号となってしまう。

また、スミアは、垂直方向に発生するので、水平オプティカルブラック領域の画素データにはスミアは付加されず、水平オプティカルブラック領域のある列の画素データは、図３（ｃ）に示すように黒い被写体を撮像したときに対応する画素データとなる。
これを利用して、垂直オプティカルブラック領域のラインの画素データの平均値と、水平オプティカルブラック領域の列の画素データの平均値の差に応じて、スミアの除去強度を変えるというものである。
つまり、垂直オプティカルブラック領域のラインの画素データの平均値と、水平オプティカルブラック領域の列の画素データの平均値の差が少ない場合には、スミアは強く発生していないと判断して、スミアの除去強度を弱くし、又は、スミアの除去を行なわないようにする。逆に平均値の差が大きい場合には、スミアは強く発生していると判断してスミアの除去強度を強くするというものである。

次に、スミア除去処理部８について説明する。
図４は、スミア除去処理部８の電気的な概略構成を示すブロック図である。
スミア除去処理部８は、水平カウンタ２１、垂直カウンタ２２、水平評価データ生成部２３、垂直評価データ生成部２４、スミア情報メモリ２５、評価部２６、演算部２７から構成されている。

水平カウンタ２１は、ＴＧ６から送られてきた画素基準クロックをカウントして、水平評価データ生成部２３、垂直評価データ生成部２４に該カウントした数を逐次出力する。これにより、スミア除去処理部８に入力されている画素の数をカウントすることができる。この画素基準クロックとは、画像情報をサンプルするための基準クロック、つまり、ＣＣＤ５から出力される画素データと同期している基準クロックのことをいう。

また、水平カウンタ２１は、ＴＧ６から送られてくる水平基準信号が送られてくると、カウントした数のリセットを行なう。これにより１ラインずつの画素の数をカウントすることできる。この水平基準信号とは、１ライン毎に１回発生される基準信号のことをいい、水平ブランキング信号とも呼ばれるものである。
垂直カウンタ２２は、ＴＧ６から送られてきた水平基準信号をカウントして、水平評価データ生成部２３、垂直評価データ生成部２４に該カウントした数を逐次出力する。これにより、ラインの数をカウントすることができる。

また、垂直カウンタ２２は、ＴＧ６から垂直基準信号が送られてくると、カウントした数のリセットを行なう。これにより１フレームずつのラインの数をカウントすることができる。ここで、垂直基準信号とは、１フレーム毎に１回発生される基準信号のことをいい、垂直ブランキング信号とも呼ばれるものである。
この水平カウンタ２１、垂直カウンタ２２によりスミア除去処理部８に入力されている画素データの画素の位置を認識することができる。

水平評価データ生成部２３には、水平カウンタ２１からカウントされた数と、垂直カウンタ２２からカウントされた数と、ユニット回路７から送られてきた画素データとが順次入力される。また、水平評価データ生成部２３には、ＣＰＵ９から出力される水平ＯＢアドレス情報も入力される。この水平ＯＢアドレスとは、サンプルする任意の画素を示す情報のことをいう。なお、このサンプルする画素は、水平オプティカルブラック領域の画素であり、また、サンプルする画素が複数ある場合には、サンプルする画素は全て列が同じ画素である。

水平評価データ生成部２３は、ユニット回路７から送られてきた画素データがどこの画素データ（何ライン目の何列目の画素の画素データ）であるかを、水平カウンタ２１及び垂直カウンタ２２から入力された数によって識別し、該入力された画素データが、ＣＰＵ９から送られてきた水平ＯＢアドレス情報に対応する画素データであるかを判断する。
水平評価データ生成部２３は、該入力された画素データが、水平ＯＢアドレス情報に対応する画素データであると判断すると、該画素データを積分し、該積分した画素データを水平評価データ生成部２３にある水平ＯＢ積分レジスタに記憶させる。
なお、水平評価データ生成部２３は、垂直カウンタ２２のカウントが垂直基準信号によりリセットされた場合、つまり、垂直カウンタ２２からの出力が０になった場合には、水平ＯＢ積分レジスタの記憶をリセット（消去）する。

また、水平評価データ生成部２３は、ＣＰＵ９から送られてきた水平ＯＢアドレス情報に対応する全ての画素データに対してそれぞれ積分をし、該積分した画素データを水平ＯＢ積分レジスタに記憶させたか否かを判断する。
水平評価データ生成部２３は、ＣＰＵ９から送られてきた水平ＯＢアドレス情報に対応する全ての画素データに対してそれぞれ積分をして、水平ＯＢ積分レジスタに記憶させたと判断すると、該水平ＯＢ積分レジスタに記憶させた積分された全ての画素データでから平均値ＨＯＢavrを算出する。この平均値ＨＯＢavrの算出は、該積分した画素データを全て加算し、該加算した値を、加算した画素の数で除算することにより平均値ＨＯＢavrを求めることができる。
水平評価データ生成部２３は、平均値を算出すると該算出した値を評価部２６に出力する。

垂直評価データ生成部２４には、水平カウンタ２１からカウントされた数と、垂直カウンタ２２からカウントされた数と、ユニット回路７から送られてきた画素データが順次入力される。また、垂直評価データ生成部２４には、ＣＰＵ９から出力される垂直ＯＢアドレス情報も入力される。この垂直ＯＢアドレス情報とは、サンプルする任意の画素を示す情報のことをいう。なお、このサンプルする画素は、垂直オプティカルブラック領域の画素であり、また、サンプルする画素が複数ある場合には、サンプルする画素は全て行（ライン）が同じ画素である。

垂直評価データ生成部２４は、ユニット回路７から送られてきた画素データがどこの画素データ（何ライン目の何列目の画素の画素データ）であるかを、水平カウンタ２１及び垂直カウンタ２２から入力された数によって識別し、該入力された画素データが、ＣＰＵ９から送られてきた垂直ＯＢアドレス情報に対応する画素データであるかを判断する。
垂直評価データ生成部２４は、該入力された画素データが、垂直ＯＢアドレス情報に対応する画素データであると判断すると、該画素データを積分し、該積分した画素データを垂直評価データ生成部２４にある垂直ＯＢ積分レジスタに記憶させる。
なお、垂直評価データ生成部２４は、垂直カウンタ２２のカウントが垂直基準信号によりリセットされた場合、つまり、垂直カウンタ２２からの出力が０になった場合には、垂直ＯＢ積分レジスタの記憶をリセット（消去）する。

また、垂直評価データ生成部２４は、ＣＰＵ９から送られてきた垂直ＯＢアドレス情報に対応する全ての画素データに対してそれぞれ積分をし、該積分した画素データを垂直ＯＢ積分レジスタに記憶させたか否かを判断する。
垂直評価データ生成部２４は、ＣＰＵ９から送られてきた垂直ＯＢアドレス情報に対応する全ての画素データに対してそれぞれ積分をして、垂直ＯＢ積分レジスタに記憶させたと判断すると、該垂直ＯＢ積分レジスタに記憶させた積分された全ての画素データでから平均値ＶＯＢavrを算出する。この平均値ＶＯＢavrの算出は、該積分した画素データを全て加算し、該加算した値を、加算した画素の数で除算することにより平均値ＶＯＢavrを求めることができる。
垂直評価データ生成部２４は、平均値を算出すると該算出した値を評価部２６に出力する。

図５は、ＣＣＤ５の構造の概略を示す図である。
図５をみると、ＣＣＤ５は複数の画素から構成されているのがわかる。また、ＣＣＤ５のうち網がかっている部分はオプティカルブラック領域であることを示している。
また、ＣＣＤ５の下辺の垂直オプティカルブラック領域を垂直オプティカルブラック領域１とし、ＣＣＤ５の上辺の垂直オプティカルブラック領域を垂直オプティカルブラック領域２とする。また、ＣＣＤ５の左辺の水平オプティカルブラック領域を水平オプティカルブラック領域１とし、ＣＣＤ５の右辺の水平オプティカルブラック領域を水平オプティカルブラック領域２とする。つまり、垂直オプティカルブラック領域のうち、最初に画素信号が読み出される画素群を有する垂直オプティカルブラック領域が垂直オプティカルブラック領域１となり、後に画素信号が読み出される画素を有する垂直オプティカルブラック領域が垂直オプティカルブラック領域２ということになる。

ここで、一番左下の画素Ａの画素アドレスを（０，０）とし、横方向をＸ軸、縦方向をＹ軸とすると、画素Ｂのアドレス（ｘ、ｙ）は（０，２）となり、画素Ｃのアドレス（ｘ，ｙ）は（３，１）、画素Ｄのアドレス（ｘ，ｙ）は（２０，１）となる。ｘは列を表し、ｙは行（ライン）を示す。
例えば、ＣＰＵ９から水平評価データ生成部２３に水平ＯＢアドレス情報として、画素アドレス（ｘ、ｙ）＝（０，０〜２）という情報が送られてくると、水平評価データ生成部２３は、ユニット回路７から送られてくる画素データが、水平ＯＢアドレス情報に対応する画素データであるか、つまり、画素アドレス（０，０）、画素アドレス（０，１）、画素アドレス（０，２）の画素の画素データであるか否かを判断し、水平ＯＢアドレス情報に対応する画素の画素データであると判断すると、該画素データを積分して、水平ＯＢ積分レジスタに記憶させるということになる。

また、ＣＰＵ９から垂直評価データ生成部２４に垂直ＯＢアドレス情報として、画素アドレス（ｘ，ｙ）＝（３〜２０，１）という情報が送られてくると、垂直評価データ生成部２４は、ユニット回路７から送られてくる画素データが、垂直ＯＢアドレス情報に対応する画素データであるか、つまり、画素アドレス（３，１）の画素データ、画素アドレス（４，１）の画素データ、・・・、画素アドレス（１９，１）の画素データ、画素アドレス（２０，１）の画素データであるか否かを判断し、垂直ＯＢアドレス情報に対応する画素の画素データであると判断すると、該画素データを積分して、垂直ＯＢ積分レジスタに記憶させるということになる。

ここで、ＣＣＤ５から出力される画素データは、０ライン目の画素データ、１ライン目の画素データ、２ライン目の画素データというように、ラインごとに出力されていくため、垂直ＯＢアドレス情報に対応する画素の画素データは連続して垂直評価データ生成部２４に入力されることとなるが、水平ＯＢアドレス情報に対応する画素の画素データはライン間隔で水平評価データ生成部２３に入力されることとなる。
なお、ＣＰＵ９から送られてくる水平ＯＢアドレス情報、垂直ＯＢアドレス情報は、オプティカルブラック領域に存在する画素のアドレスを示す情報であることはいうまでもない。

評価部２６は、平均値記憶領域Ｈと平均値記憶領域Ｖとを有し、水平評価データ生成部２３から出力された平均値ＨＯＢavrを平均値記憶領域Ｈに、垂直評価データ生成部２４から出力された平均値ＶＯＢavrを平均値記憶領域Ｖに記憶させる。
そして、評価部２６は、平均値記憶領域Ｈと、平均値記憶領域Ｖのそれぞれに平均値を記憶させると、平均値記憶領域Ｈに記憶させたＨＯＢavrと、平均値記憶領域Ｖに記憶させた平均値ＶＯＢavrとの差の絶対値をとり、その差に応じたゲイン値を演算部２７に出力する。

平均値の差に応じたゲイン値とは、図６に示すように、平均値の差の絶対値が第１の閾値より低ければ出力するゲイン値を０倍とし、平均値の差の絶対値が第２の閾値より高ければ出力するゲイン値を１倍とする。そして、平均値の差の絶対値が第１の閾値より大きく、第２の閾値より小さい場合には、出力するゲイン値を、ゲイン値＝（平均値の差の絶対値−第１の閾値）／（第２の閾値−第１の閾値）の関係式によって求めて演算部２７に出力する。
なお、評価部２６は、演算部２７にゲイン値を出力すると、平均値記憶領域Ｈと平均値記憶領域Ｖの記憶を消去し、また、新たに水平評価データ生成部２３、垂直評価データ生成部２４から送られてきた平均値を記憶させる。

スミア情報メモリ２５には、水平カウンタ２１からカウントされた数と、垂直カウンタ２２からカウントされた数と、ユニット回路７から送られてきた画素データが入力される。また、スミア情報メモリ２５には、ＣＰＵ９から出力されるスミアアドレス情報も入力される。このスミアアドレス情報とは、スミア情報として使う画素の範囲を示す情報のことをいう。この画素の範囲は、垂直オプティカルブラック領域のある１ラインを示す情報のことをいう。

スミア情報メモリ２５は、ユニット回路７から送られてきた画素データがどこの画素データ（何ライン目の何列目の画素データ）であるかを、水平カウンタ２１及び垂直カウンタ２２から入力された数によって識別し、該入力された画素データが、ＣＰＵ９から送られてきたスミアアドレス情報に対応する画素データであるか否かを判断する。
スミア情報メモリ２５は、該入力された画素データが、スミアアドレス情報に対応する画素データであると判断すると、該画素データを記憶する。

例えば、ＣＰＵ９からスミアアドレス情報として１ライン目、つまり、画素アドレス（０〜２３，１）という情報が送られてくると（図５参照）、スミア情報メモリ２５は、ユニット回路７から送られてきた画素データがスミアアドレス情報に対応する画素データであるか、つまり、画素アドレス（０，１）、画素アドレス（１，１）、・・・・、画素アドレス（２２，１）、画素アドレス（２３，１）の画素の画素データであるか否かを判断し、スミアアドレス情報に対応する画素の画素データであると判断すると、該画素データを記憶させるということになる。
ここで、ＣＣＤ５から出力される画素データは、ラインごとに出力されていくため、スミアアドレス情報に対応する画素の画素データは連続してスミア情報メモリ２５に入力されることとなる。

演算部２７は、評価部２６から送られてきたゲイン値を演算部２７にある記憶領域に記憶する。なお、演算部２７は、評価部２６から新たなゲイン値が送られてきた場合には、該新たに送られてきたゲイン値を上書きして記憶する。
また、演算部２７には、ユニット回路７から画素データが入力される。

演算部２７は、ユニット回路７から有効画素領域の画素の画素データが入力されると、該入力された画素データの画素と同じ列の画素データをスミア情報メモリ２５から読み出し、該読み出した画素データに記憶領域に記憶されているゲイン値を乗算する。そして、ユニット回路７から送られてきた有効画素領域の画素の画素データから該乗算後の画素データを減算してＣＰＵ９に出力する。つまり、ユニット回路７から送られてきた有効画素領域の画素の画素データをＰｒ、スミア情報メモリ２５に記憶された画素データをＰｓ、ゲイン値をＰｈとすると、演算部２７から出力される画素データＰは、Ｐ＝Ｐｒ−Ｐｓ×Ｐｈという関係式が成り立つ。これにより、ＣＣＤ５によって撮像された画素データからスミア成分のみを除去することができる。

例えば、ユニット回路７から送られてきた画素データが５列目の画素データＰｒが演算部２７に入力された場合には、スミア情報メモリ２５に記憶されている画素データのうち、５列目の画素データＰｓを読み出して、ゲイン値Ｐｈを乗算し、該ユニット回路７から送られてきた５列目の画素データから該乗算後の画素データＰｓ×Ｐｈを減算する。同様に、６列目の画素データＰｒが演算部２７に入力された場合には、スミア情報メモリ２５に記憶されている画素データのうち、６列目の画素データＰｓを読み出して、ゲイン値Ｐｈを乗算し、該ユニット回路７から送られてきた６列目の画素データから該乗算後の画素データＰｓ×Ｐｈを減算する。つまり、同じ列同士で減算する。

これにより、水平オプティカルブラック領域のサンプルした画素データの平均値ＨＯＢavrと、垂直オプティカルブラック領域のサンプルした画素データの平均値ＶＯＢavrとの差に応じてゲイン値を変えることにより、スミア除去の有無、スミア除去の強度が変わることになる。
なお、演算部２７は、有効画素領域の画素の画素データが入力されたときに、まだ、記憶領域にゲイン値が記憶されていない場合には、スミアを除去することなく入力された画素データをそのまま出力する。

Ｃ.スミア除去処理部８の動作
第１の実施の形態におけるスミア除去処理部８の動作を図７乃至図９のフローチャートにしたがって説明する。

まず、ステップＳ１で、ＣＣＤ５によって撮像され出力された画素データをユニット回路７を介してスミア情報処理部８は取得する。ここで、ＣＣＤ５は、ＴＧ６のタイミング信号にしたがって蓄積された電荷（画素データ）を１ラインずつ出力する。このとき、１ライン毎に出力される画素データの画素の列は、０列目から順番に出力される。
次いで、ステップＳ２で、取得した画素データの画素アドレスを認識する。取得した画素データの画素アドレスは、水平カウンタ２１及び垂直カウンタ２２によりカウントされた数に基づいて認識することができる。これにより、取得した画素データが何ライン目の何列目の画素の画素データであることが認識することができる。

次いで、ステップＳ３で、該認識した画素アドレスに基づいて取得した画素データがオプティカルブラック領域の画素データであるか否かの判断を行う。
ステップＳ３で、オプティカルブラック領域の画素データであると判断すると、ステップＳ４に進み、該取得した画素データがＣＰＵ９から送られてきた水平ＯＢアドレス情報に対応する画素データであるか否かの判断を行う。
ステップＳ４で、取得した画素データが水平ＯＢアドレス情報に対応する画素データであると判断すると、ステップＳ５に進み、該取得した画素データを積分し、該積分した画素データを水平ＯＢ積分レジスタに記憶させる。

次いで、ステップＳ６で、水平ＯＢアドレス情報に対応する画素データを全て積分したか否かの判断を行う。
ステップＳ６で、水平ＯＢアドレス情報に対応する画素データを全て積分したと判断した場合には、ステップ７で、水平ＯＢ積分レジスタに記憶されている積分された全ての画素データから平均値ＨＯＢavrを算出して評価部２６に出力し、評価部２６は、該送られてきた平均値ＨＯＢavrを平均値記憶領域Ｈに記憶させて、図８のステップＳ８に進む。
一方、ステップＳ４で、取得した画素データが水平ＯＢアドレス情報に対応する画素データないと判断した場合、ステップＳ６で、水平ＯＢアドレス情報に対応する画素データを全て積分していないと判断した場合は、そのままステップＳ８に進む。

ステップＳ８に進むと、取得した画素データがＣＰＵ９から送られてきた垂直ＯＢアドレス情報に対応する画素データであるか否かの判断を行う。
ステップＳ８で、取得した画素データが垂直ＯＢアドレス情報に対応する画素データであると判断すると、ステップＳ９で、該取得した画素データを積分し、該積分した画素データを垂直ＯＢ積分レジスタに記憶させる。
次いで、ステップＳ１０で、垂直ＯＢレジスタに対応する画素データを全て積分したか否かの判断を行う。

ステップＳ１０で、垂直ＯＢアドレス情報に対応する画素データを全て積分したと判断した場合には、ステップ１１に進み、垂直ＯＢ積分レジスタに記憶されている積分された全ての画素データから平均値ＶＯＢavrを算出して評価部２６に出力し、評価部２６は該送られてきた平均値ＶＯＢavrを平均値記憶領域Ｖに記憶させて、ステップＳ１２に進む。
一方、ステップＳ８で、取得した画素データが垂直ＯＢアドレス情報に対応する画素データないと判断した場合、ステップＳ１０で、垂直ＯＢアドレス情報に対応する画素データを全て積分していないと判断した場合は、そのままステップＳ１２に進む。

ステップＳ１２に進むと、取得した画素データがＣＰＵ９から送られてきたスミアアドレス情報に対応する画素データであるか否かを判断する。
ステップＳ１２で、該取得した画素データがスミアアドレス情報に対応する画素データである場合は、ステップＳ１３に進み、該取得した画素データをスミア情報メモリ２５に記憶させて、ステップＳ１４に進む。
一方、ステップＳ１２で、該取得した画素データをスミア情報メモリ２５に対応する画素データでない場合には、そのままステップＳ１４に進む。

ステップＳ１４に進むと、評価部２６の平均値記憶領域Ｈ及び平均値記憶領域Ｖにそれぞれ平均値ＨＯＢavr、平均値ＶＯＢavrが記憶されているか否かの判断を行う。
ステップＳ１４で、平均値ＨＯＢavrと平均値ＶＯＢavrが記憶されていると判断すると、ステップＳ１５で、評価部２６は、該記憶されている２つの平均値に基づいてゲイン値を算出して演算部２７に出力するとともに、平均値記憶領域Ｈと平均値記憶領域Ｖの記憶を消去し、演算部２７は、評価部２６から送られてきた該ゲイン値を記憶領域に記憶させて、ステップＳ１に戻る。このとき、既に記憶領域にゲイン値が記憶されている場合には、評価部２６から新たに送られてきたゲイン値を上書きして記憶させる。
平均値ＨＯＢavrと平均値ＶＯＢavrとに基づいてゲイン値を算出するので、スミアの発生状況に応じてスミア除去の有無、スミア除去効果の強度を変更することができる。

一方、ステップＳ１４で、平均値ＨＯＢavrと平均値ＶＯＢavrが記憶されていないと判断すると、そのままステップＳ１に戻る。
一方、ステップＳ３で、該取得した画素データがオプティカルブラック領域の画素データでないと判断した場合には、有効画素領域の画素データであると判断して、図９のステップＳ１７に進み、ゲイン値が記憶領域に記憶されているか否かを判断する。

ステップＳ１７で、ゲイン値が記憶されている場合には、ステップＳ１８に進み、取得した画素データからスミア成分を除去してＣＰＵ９に出力し、ステップＳ１に戻る。このスミア成分の除去は、取得した画素データと同じ列の画素データをスミア情報メモリ２５から読み出し、該読み出した画素データに記憶されているゲイン値を乗算し、該乗算後の画素データを取得した画素データから減算することによりスミアを除去する。このとき、記憶されているゲイン値が０の場合には、結果的にスミアの除去が行なわれないことになる。
一方、ステップＳ１７で、ゲイン値が記憶されていない場合には、ステップＳ１９に進み、ステップＳ１で取得した画素データをそのままＣＰＵ９に出力して、ステップＳ１に戻る。

Ｄ．以上のように第１の実施の形態においては、水平オプティカルブラック領域の画素データの平均値ＨＯＢavrと、垂直オプティカルブラック領域の画素データの平均値ＶＯＢavrとを算出し、該算出した平均値ＨＯＢavrと平均値ＶＯＢavrとの差に応じてスミア除去効果の強度を変更するので（ゲイン値が変わるので）、スミア除去に伴うＳ／Ｎ比の悪化、画質の劣化を防ぐことができる。
つまり、スミア除去が余り必要でない場合には（スミアが強く発生していない場合には）、平均値ＨＯＢavrと平均値ＶＯＢavrとの差が小さく、評価部２６から出力されるゲイン値が小さくなり、スミア除去効果の強度が弱くなる。逆に、スミア除去が必要な場合には（スミアが強く発生している場合には）、平均値ＨＯＢavrと平均値ＶＯＢavrとの差が大きく、評価部２６から出力されるゲイン値が大きくなり、スミア除去効果の強度が強くなる。特に、平均値ＨＯＢavrと平均値ＶＯＢavrとの差が所定の閾値よりも小さい場合には、スミア除去効果の強度が０、つまり、スミア除去が行われないことになり、一部分に発生したあまり目立たないスミアを除去するために、逆に画像全体のＳ／Ｎ比を悪化させてしまうといった本末転倒な現象を防ぐことができる。

なお、第１の実施の形態においては、スミア情報メモリ２７に記憶させる画素データのラインと、垂直評価データ生成部２４がサンプルする画素データのラインとを同じにするようにしてもよい。例えば、１ライン目（画素アドレス（０、１）、・・・、画素アドレス（２３、１））をスミアアドレス情報としてスミア情報メモリ２５に送る場合には、垂直評価データ生成部２４に垂直ＯＢアドレス情報として送られるサンプルする画素の範囲（画素アドレス（３、１）、・・・画素アドレス（２０、１））は、全て１ライン目の画素である。つまり、垂直評価データ生成部２４がサンプルする画素は、１ライン目の画素データということになる。
また、上記実施の形態においては、第１の閾値と第２の閾値という２つの閾値を設けたが、設ける閾値を１つにしてもよい。そして、この閾値より低ければ、出力するゲイン値を０とし（つまり、スミア除去を行なわない）、この閾値より高ければ出力するゲイン値を１とする（スミア除去を行なう）ようにしてもよい。

［第２の実施の形態］
次に第２の実施の形態について説明する。
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いるが、スミア除去処理部８の構成が若干異なる。

Ｅ．スミア除去処理部８について
ここで、第２の実施の形態におけるスミア除去処理部８について説明する前に、第２の実施の形態における発明の概略について説明する。
図１０（ａ）に示すように、ＣＣＤ５により高輝度の被写体、例えば、太陽や自動車のヘッドライトを撮像している最中にカメラを横にパーンすると、スミアは斜めに発生してしまう。
このときは、垂直オプティカルブラック領域１と垂直オプティカルブラック領域２とでは、スミアが発生する画素の位置が縦方向で一致せず、横にずれてしまう。

図１０の（ｂ）は、垂直オプティカルブラック領域１のあるラインの画素信号の様子を示すものである。また、図１０（ｃ）は、垂直オプティカルブラック領域２のあるラインの画素信号の様子を示すものである。
図１０（ｂ）、（ｃ）の両方のラインの画素信号にはスミア信号は付加されている部分があるが、スミア信号が付加されている位置が異なっていることがわかる。
これを利用して、第２の実施の形態においては、垂直オプティカルブラック領域１の画素データと、垂直オプティカルブラック領域２の画素データとの差を列毎に求め、その差の平均値の差に応じてスミアの除去強度を変えるというものである。

つまり、垂直オプティカルブラック領域の１の画素データと、垂直オプティカルブラック領域２の画素データとの列毎の差の平均値が小さい場合には、スミアが概ね縦方向に発生しているのでスミアの除去強度を強くし、垂直オプティカルブラック領域１の画素データと、垂直オプティカルブラック領域２の画素データとの列毎の差の平均値が大きい場合には、スミアが斜め方向に発生しているのでスミアの除去強度を弱くし、又は、スミアの除去を行なわないようにする。斜めにスミアが発生している場合にスミア除去を行なうと、かえって画質が劣化してしまうからである。

図１１は、第２の実施の形態におけるスミア除去処理部８の電気的な概略構成を示すブロック図である。
スミア除去処理部８は、水平カウンタ２１、垂直カウンタ２２、スミア情報メモリ２５、演算部２７、評価データ生成部２８、評価部２９から構成されている。なお、第１の実施の形態におけるスミア除去処理部８の構成部と同様の機能を有する構成部については同様の符号を付している。

スミア情報メモリ２５には、水平カウンタ２１からカウントされた数と、垂直カウンタ２２からカウントされた数と、ユニット回路７から送られてきた画像データが入力される。また、スミア情報メモリ２５には、ＣＰＵ９から出力されるスミアアドレス情報も入力される。
そして、スミア情報メモリ２５は、ユニット回路７から送られてきた画素データがどこの画素データ（何ライン目の何列目の画素データ）であるかを、水平カウンタ２１及び垂直カウンタ２２から入力された数によって識別し、該入力された画素データが、ＣＰＵ９から送られてきたスミアアドレス情報に対応する画素データであるか否かを判断する。そして、スミア情報に対応する画素データであると判断すると、該入力された画素データを記憶するというものであるが、第２の実施の形態では、ＣＰＵ９から送られてくるスミアアドレス情報は、垂直オプティカルブラック領域１内のある１ラインを示す情報である。

評価データ生成部２８には、水平カウンタ２１からカウントされた数と、垂直カウンタ２２からカウンタされた数と、ユニット回路７から送られてきた画素データが順次入力される。また、評価データ生成部２８には、ＣＰＵ９から出力される垂直ＯＢアドレス情報も入力される。なお、第２の実施の形態では、ＣＰＵ９から送られてくる垂直ＯＢアドレス情報は、垂直オプティカルブラック領域２内のある１ラインを示す情報である。
評価データ生成部２８は、ユニット回路７から送られてきた画素データがどこの画素データ（何ライン目かの何列目の画素の画素データ）であるかを、水平カウンタ２１及び垂直カウンタ２２から入力された数によって識別し、該入力された画素データが、ＣＰＵ９から送られてきた垂直ＯＢアドレス情報に対応する画素データであるかを判断する。

評価データ生成部２８は、該入力された画素データが、垂直ＯＢアドレス情報に対応する画素データであると判断すると、スミア情報メモリ２５から該入力された画素データの画素と同じ列の画素データを読み出し、該読み出した画素データと該入力された画素データとの差分の絶対値を算出する。そして、該算出した値を積分して評価データ生成部２８内にある積分レジスタに記憶させる。ここで、この画素データの差分の絶対値を積分した値を差分積分値ということにする。
また、評価データ生成部２８は、ＣＰＵ９から送られてきた垂直ＯＢアドレス情報に対応する画素データに対して、差分の絶対値の算出及び積分を行なったか否かの判断を行う。つまり、ＣＰＵ９から送られてきた垂直ＯＢアドレス情報に対応する画素データに基づいて、差分積分値を算出したか否かの判断を行う。

評価データ生成部２８は、差分積分値の算出を垂直ＯＢアドレス情報に対応する全ての画素データに対して行ったと判断すると、積分レジスタに記憶されている差分積分値の平均値を算出して、評価部２９に該算出した平均値を出力する。この平均値の算出は、積分レジスタに記憶された差分積分値を全て加算し、該加算した値を加算した差分積分値の数で割ることによって求めることができる。
なお、評価データ生成部２８は、垂直カウンタ２２のカウントが垂直基準信号によりリセットされた場合、つまり、垂直カウンタ２２からの出力が０になった場合には、積分レジスタの記憶をリセット（消去）する。

評価部２９は、評価データ生成部２８から送られてきた平均値に応じたゲイン値を演算部２７に出力する。平均値に応じたゲイン値とは、平均値が第３の閾値より低ければ出力するゲイン値を１とし、平均値の差が第４の閾値より高ければ出力するゲイン値を０とする。そして、平均値が第３の閾値より大きく、第４の閾値より小さい場合には、出力するゲイン値を、ゲイン値＝（平均値−第４の閾値）／（第３の閾値−第４の閾値）の関係式によって求めて演算部２７に出力する。
これにより、垂直オプティカルブラック領域１の画素データと、垂直オプティカルブラック領域２の画素データとの列毎の差の平均値、つまり、差分積分値の平均値に応じてゲイン値を変えることにより、スミア除去の有無、スミア除去効果の強度が変わることになる。
後の構成部の機能は第１の実施の形態と同様なので説明を省略する。

Ｆ.スミア除去処理部８の動作
第２の実施の形態におけるスミア除去処理部８の動作を図１２及び図１３のフローチャートにしたがって説明する。
ステップＳ５１で、ＣＣＤ５によって撮像され出力された画素データをユニット回路７を介してスミア除去処理部８は取得する。

次いで、ステップＳ５２で、取得した画素データの画素アドレスを認識する。
次いで、ステップＳ５３で、該認識した画素アドレスに基づいて取得した画素データがオプティカルブラック領域の画素データであるか否かの判断を行う。
ステップＳ５３で、オプティカルブラック領域の画素データであると判断すると、ステップＳ５４に進み、該取得した画素データがスミアアドレス情報に対応する画素データであるか否かの判断を行う。

ステップＳ５４で、スミア情報に対応する画素データであると判断すると、ステップＳ５５に進み、スミア情報メモリ２５は、該取得した画素データを記憶してステップＳ５６に進む。このとき、スミアアドレス情報は、垂直オプティカルブラック領域１のある１ラインを示す情報なので、スミア情報メモリ２５に記憶される画素データは、垂直オプティカルブラック領域１のある１ラインの画素データが記憶されることとなる。
一方、ステップＳ５４で、取得した画素データがスミアアドレス情報に対応する画素データでないと判断すると、そのままステップＳ５６に進む。

ステップＳ５６に進むと、取得した画素データが垂直ＯＢアドレス情報に対応する画素データであるか否かの判断を行う。
ステップＳ５６で、垂直ＯＢアドレス情報に対応する画素データであると判断すると、ステップＳ５７で差分積分値を算出し、該算出した差分積分値を積分レジスタに記憶させて、ステップＳ５８に進む。つまり、評価データ生成部２８は、該取得した画素データの画素と同じ列の画素データをスミア情報メモリ２５から読み出し、該読み出した画素データと該取得した画素データとの差分の絶対値を算出し、該算出した値を積分して積分レジスタに記憶させる。このとき、垂直ＯＢアドレス情報は、垂直オプティカルブラック領域２のある１ラインを示す情報であることはいうまでもない。
一方、ステップＳ５６で、取得した画素データが垂直ＯＢアドレス情報に対応する画素データでないと判断すると、そのままステップＳ１に戻る。

ステップＳ５８に進むと、垂直ＯＢアドレス情報に対応する全ての画素データに基づいて、差分積分値を算出したか否かの判断を行う。
ステップＳ５８で、垂直ＯＢアドレス情報に対応する全ての画素データに基づいて差分積分値を算出したと判断すると、ステップＳ５９で、積分レジスタに記憶されている差分積分値の平均値を算出し、該算出した平均値に対応するゲイン値を求め、該求めたゲイン値を演算部２７に出力し、演算部２７は、該送られてきたゲイン値を記憶領域に記憶させて、ステップＳ１に戻る。
差分積分値の平均値に基づいてゲイン値を求めるので、スミアの発生状況に応じてスミア除去の有無、スミア除去効果の強度を変えることができる。

一方、ステップＳ５８で、垂直ＯＢアドレス情報に対応する全ての画素データに基づいて差分積分値を算出していないと判断するとステップＳ１に戻る。
一方、ステップＳ５３で、取得した画素データがオプティカルブラック領域の画素データでないと判断すると、有効画素領域の画素データと判断して、図１３のステップＳ６０に進み、ゲイン値が記憶領域に記憶されているか否かを判断し、ゲイン値が記憶されていると判断すると、ステップＳ６１に進み、取得した画素データからスミア成分を除去してＣＰＵ９に出力する。つまり、該取得した画素データから、スミア情報メモリ２５に記憶されている画素データにゲイン値を乗算し、該乗算した値を減算することによりスミア成分を除去する。このとき、取得した画素データと、減算するスミア情報メモリ２５に記憶された画素データとは同じ列同士である。
一方、ステップＳ６０で、ゲイン値が算出されていないと判断すると、ステップＳ６２で、取得した画素データをそのままＣＰＵ９に出力する。

Ｇ．以上のように第２の実施の形態においては、垂直オプティカルブラック領域１のある１ラインの画素データと、垂直オプティカルブラック領域２のある１ラインの画素データとの差を列毎に算出し、該算出した差の平均値を求め、該求めた平均値に応じてスミア除去効果の強度を変更するので（ゲイン値を変更するので）、スミアの発生状況に応じて（スミアが斜めに発生しているか、斜めに発生している場合にはどのくらい斜めに発生しているかの状況）、スミア除去効果の強度を変えることができ、スミア除去に伴うＳ／Ｎ比の悪化、画質の劣化を防ぐことができる。つまり、スミアの発生している部分のスミア除去のために、スミアの発生していない部分までスミア除去してしまうことによって、画像全体が不自然になってしまうことを防ぐことができる。

例えば、カメラの移動や被写体の移動などによりスミアが斜めに発生した場合は、垂直オプティカルブラック領域１の画素データと垂直オプティカルブラック領域２の画素データとの差の平均値は大きく、評価部２９から出力されるゲイン値は小さくなり、スミア除去効果の強度が弱くなる。スミアが斜めに発生している場合にスミア除去を行なうと、逆に画質が劣化してしまうからである。
逆にスミアが殆ど斜めに発生していない場合（スミアが縦に発生している場合）には、垂直オプティカルブラック領域１の画素データと垂直オプティカルブラック領域の差の平均値は小さくなり、評価部２９から出力されるゲイン値は大きくなり、スミア除去効果の強度が強くなる。スミアが縦方向に発生している場合には、スミア除去を強くすることにより画質が良くなるからである。

なお、上記各実施の形態においては、スミア情報メモリ２５には、垂直オプティカルブラック領域のある１ラインの画素データを記憶させるようにしたが、垂直オプティカルブラック領域のある１ラインの画素データのうち、水平オプティカルブラック領域の画素データでもある画素データは記憶させないようにしてもよい。
例えば、図５を用いて説明すると、スミア情報メモリ２５に記憶させる画素データを０ライン目の画素データとした場合には、記憶される画素データは画素アドレス（３、０）、画素アドレス（４、０）、・・・、画素アドレス（１９、０）、画素アドレス（２０、０）までの画素データを記憶させることとなる。つまり、０ライン目の画素データのうち、画素アドレス（０、０）、画素アドレス（１、０）、画素アドレス（２、０）、画素アドレス（２１、０）、画素アドレス（２２、０）、画素アドレス（２３、０）の画素データは、垂直オプティカルブラック領域の画素データであり、且つ、水平オプティカルブラック領域の画素データであるからである。

この垂直オプティカルブラック領域であり、且つ、水平オプティカルブラック領域の画素データは、演算部２７の処理によって使われない画素データであるからである。つまり、演算部２７で、有効画素領域の画素の画素データと同じ列の画素データをスミア情報メモリ２５から読み出し、該読み出した画素データを該有効画素領域の画素の画素データから減算するが、水平オプティカルブラック領域でもある垂直オプティカルブラックの画素データと同じ列の有効画素領域の画素データはないからである。

また、第２の実施の形態において、垂直オプティカルブラック領域１のある１ラインの画素データのうち、水平オプティカルブラック領域の画素データ以外の画素データをスミア情報メモリ２５に記憶させる場合には、評価データ生成部２６は、垂直オプティカルブラック領域２のある１ラインの画素データのうち、水平オプティカルブラック領域以外の画素データと、スミア情報メモリ２５に記憶されている画素データとに基づいて差分積分値を算出する。

また、上記第２の実施の形態においては、第３の閾値と第４の閾値という２つの閾値を設けたが、設ける閾値を１つにしてもよい。そして、この閾値より低ければ、出力するゲイン値を１とし（スミア除去を行なう）、この閾値より高ければ出力するゲイン値を１とする（つまり、スミア除去を行なわない）ようにしてもよい。
また、スミア情報メモリ２５に記憶させた画素信号を用いて差分積分値を算出するようにしたが、評価データ生成部２８に、差分積分値を算出するための垂直オプティカルブラック領域１のある１ラインの画素信号を記憶させるようにしてもよい。

また、上記各実施の形態におけるデジタルカメラ１は、上記の実施の形態に限定されるものではなく、カメラ付き携帯電話、カメラ付きＰＤＡ、カメラ付きパソコン、カメラ付きＩＣレコーダ、又はデジタルビデオカメラ等でもよく、要は被写体を撮影することができる機器であれば何でもよい。

本発明の実施の形態のデジタルカメラ１のブロック図である。 水平オプティカルブラック領域と垂直オプティカルブラック領域の様子を示す図である。 第１の実施の形態における発明の概略を説明するための図である。 第１の実施の形態におけるスミア除去処理部８の電気的な概略構成を示すブロック図である。 ＣＣＤ５の構造の概略を示す図である。 評価部２６によって出力される平均値の差に応じたゲイン値の様子を示す図である。 第１の実施の形態のデジタルカメラの動作を示すフローチャートである。 第１の実施の形態のデジタルカメラの動作を示すフローチャートである。 第１の実施の形態のデジタルカメラの動作を示すフローチャートである。 第２の実施の形態における発明の概略を説明するための図である。 第２の実施の形態におけるスミア除去処理部８の電気的な概略構成を示すブロック図である。 第２の実施の形態のデジタルカメラの動作を示すフローチャートである。 第２の実施の形態のデジタルカメラの動作を示すフローチャートである。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り兼用シャッタ
５ ＣＣＤ
６ ＴＧ
７ ユニット回路
８ スミア除去処理部
９ ＣＰＵ
１０ ＤＲＡＭ
１１ メモリ
１２ フラッシュメモリ
１３ 画像表示部
１４ キー入力部
１５ ストロボ駆動部
１６ ストロボ発光部
１７ カードＩ／Ｆ
１８ メモリ・カード
２１ 水平カウンタ
２２ 垂直カウンタ
２３ 水平評価データ生成部（第１の算出手段）
２４ 垂直評価データ生成部（第２の算出手段）
２５ スミア情報メモリ（記憶制御手段、記憶手段）
２６ 評価部（出力手段）
２７ 演算部（減算手段）
２８ 評価データ生成部（算出手段、平均値算出手段）
２９ 評価部（出力手段）

Claims (23)

1. 水平オプティカルブラック領域と、垂直オプティカルブラック領域とを有する撮像素子と、
   前記撮像素子により出力された画素信号のうち、垂直オプティカルブラック領域の画素信号を記憶手段に記憶させる記憶制御手段と、
   前記撮像素子により出力された画素信号のうち、水平オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて水平オプティカルブラック領域の画素信号の値を算出する第１の算出手段と、
   前記撮像素子により出力された画素信号のうち、垂直オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて垂直オプティカルブラック領域の画素信号の値を算出する第２の算出手段と、
   前記記憶手段に記憶した画素信号を前記撮像素子により出力された画素信号から減算する減算手段と、
   前記第１の算出手段により算出された値と、前記第２の算出手段により算出された値との差に基づいて前記減算手段による減算を行なうか否かを制御する減算制御手段と、
   前記第１の算出手段により算出された値と、前記第２の算出手段により算出された値との差に応じたゲイン値を出力する出力手段と、
   を備え、
   前記減算制御手段は、前記減算手段による減算の際に、前記出力手段により出力されたゲイン値を前記記憶手段に記憶した画素信号に乗算し、該乗算した画素信号を前記撮像素子により出力された画素信号から減算させることを特徴とする撮像装置。
2. 前記出力手段は、
   前記第１の算出手段により算出された値と、前記第２の算出手段により算出された値との差の絶対値が第１の閾値よりも小さい場合には、出力するゲイン値を０とすることを特徴とする請求項１記載の撮像装置。
3. 前記出力手段は、
   前記第１の算出手段により算出された値と、前記第２の算出手段により算出された値との差の絶対値が第２の閾値よりも大きい場合には、出力するゲイン値を１とすることを特徴とする請求項１又は２記載の撮像装置。
4. 前記出力手段は、
   前記第１の算出手段により算出された値と、前記第２の算出手段により算出された値との差の絶対値が第１の閾値より大きく、且つ、第２の閾値よりも小さい場合には、ゲイン値＝（値の差の絶対値−第１の閾値）／（第２の閾値−第１の閾値）の関係式によって求められたゲイン値を出力することを特徴とする請求項１乃至３の何れかに記載の撮像装置。
5. 前記第１の算出手段は、
   水平オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて、水平オプティカルブラック領域の画素信号の平均値を求め、
   前記第２の算出手段は、
   垂直オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて、垂直オプティカルブラック領域の画素信号の平均値を求めることを特徴とする請求項１乃至４の何れかに記載の撮像装置。
6. 前記記憶制御手段は、
   前記撮像素子により出力された画素信号のうち、垂直オプティカルブラック領域の任意の１ラインの画素信号を記憶手段に記憶させることを特徴とする請求項１乃至５の何れかに記載の撮像装置。
7. 前記記憶制御手段は、
   垂直オプティカルブラック領域の中の任意の１ラインの画素信号のうち、水平オプティカルブラック領域の画素信号でもある画素信号は、前記記憶手段に記憶させないことを特徴とする請求項６記載の撮像装置。
8. 前記第１の算出手段は、
   ２以上の画素の画素信号に基づいて水平オプティカルブラック領域の画素信号の値を算出する場合には、列が同じ画素の画素信号に基づいて値を算出することを特徴とする請求項１乃至７の何れかに記載の撮像装置。
9. 前記第２の算出手段は、
   ２以上の画素の画素信号に基づいて垂直オプティカルブラック領域の画素信号の値を算出する場合には、ラインが同じ画素の画素信号に基づいて値を算出することを特徴とする請求項１乃至８の何れかに記載の撮像装置。
10. 垂直オプティカルブラック領域１と、垂直オプティカルブラック領域２とを有する撮像素子と、
    前記撮像素子により出力された画素信号のうち、垂直オプティカルブラック領域の画素信号を記憶手段に記憶させる記憶制御手段と、
    前記撮像素子により出力された画素信号のうち、垂直オプティカルブラック領域１の画素の画素信号と、垂直オプティカルブラック領域２の画素の画素信号との差の値を列毎に算出する算出手段と、
    前記記憶手段に記憶した画素信号を前記撮像素子により出力された画素信号から減算する減算手段と、
    前記算出手段により列毎に算出された値に基づいて前記減算手段による減算を行なうか否かを制御する減算制御手段と、
    前記算出手段により列毎に算出された値に基づいてゲイン値を算出し、該算出したゲイン値を出力する出力手段と、
    を備え、
    前記減算制御手段は、前記減算手段による減算の際に、前記出力手段により出力されたゲイン値を前記記憶手段に記憶した画素信号に乗算し、該乗算した画素信号を前記撮像素子により出力された画素信号から減算させることを特徴とする撮像装置。
11. 前記出力手段は、
    前記算出手段により列毎に算出された値の絶対値の平均値を算出する平均値算出手段を含み、前記平均値算出手段により算出された平均値に応じたゲイン値を出力することを特徴とする請求項１０記載の撮像装置。
12. 前記出力手段は、
    前記平均値算出手段により算出された平均値が第３の閾値より小さい場合には、出力するゲイン値を１とすることを特徴とする請求項１１記載の撮像装置。
13. 前記出力手段は、
    前記平均値算出手段により算出された平均値が第４の閾値よりも大きい場合には、出力するゲイン値を０とすることを特徴とする請求項１１又は１２記載の撮像装置。
14. 前記出力手段は、
    前記平均値算出手段により算出された平均値が第３の閾値より大きく、且つ、第４の閾値より小さい場合には、ゲイン値＝（平均値−第４の閾値）／（第３の閾値−第４の閾値）の関係式によって求められたゲイン値を出力することを特徴とする請求項１１乃至１３の何れかに記載の撮像装置。
15. 前記算出手段は、
    垂直オプティカルブラック領域１の任意の１ラインの画素信号と、垂直オプティカルブラック領域２の任意の１ラインの画素信号とに基づいて、列毎に差を算出することを特徴とする請求項１０乃至１４の何れかに記載の撮像装置。
16. 前記記憶制御手段は、
    前記撮像素子により出力された画素信号のうち、垂直オプティカルブラック領域の任意の１ラインの画素信号を記憶手段に記憶させることを特徴とする請求項１０乃至１５の何れかに記載の撮像装置。
17. 前記記憶制御手段は、
    垂直オプティカルブラック領域１の画素信号を記憶手段に記憶させ、
    前記算出手段は、
    前記撮像素子により出力された画素信号のうち、垂直オプティカルブラック領域２の画素信号と、前記記憶手段に記憶されている垂直オプティカルブラック領域の画素信号とに基づいて、列毎に差を算出することを特徴とする請求項１６記載の撮像装置。
18. 前記記憶制御手段は、
    垂直オプティカルブラック領域１の任意の１ラインの画素信号のうち、水平オプティカルブラック領域でもある画素以外の画素の画素信号を前記記憶手段に記憶させ、
    前記算出手段は、
    垂直オプティカルブラック領域２の画素信号のうち、前記記憶手段に記憶されている画素信号の画素と同じ列の画素信号とに基づいて、列毎に差を算出することを特徴とする請求項１７記載の撮像装置。
19. 前記減算手段は、
    前記撮像素子により出力された画素信号と同じ列の前記記憶手段に記憶されている画素信号に、前記出力手段により出力されたゲイン値を乗算し、該乗算した画素信号を、前記撮像素子により出力された該画素信号から減算することを特徴とする請求項１又は１０記載の撮像装置。
20. 水平オプティカルブラック領域と、垂直オプティカルブラック領域とを有する撮像素子に蓄積された電荷を画素信号として出力する画素信号出力処理と、
    前記画素信号出力処理により出力された画素信号のうち、垂直オプティカルブラック領域の画素信号を記憶媒体に記憶させる記憶処理と、
    前記画素信号出力処理により出力された画素信号のうち、水平オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて水平オプティカルブラック領域の画素信号の値を算出する第１の算出処理と、
    前記画素信号出力処理により出力された画素信号のうち、垂直オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて垂直オプティカルブラック領域の画素信号の値を算出する第２の算出処理と、
    前記記憶媒体に記憶した画素信号を前記画素信号出力処理により出力された画素信号から減算する減算処理と、
    前記第１の算出処理により算出された値と、前記第２の算出処理により算出された値との差に基づいて前記減算処理による減算を行なうか否かを制御する減算制御処理と、
    前記第１の算出処理により算出された値と、前記第２の算出処理により算出された値との差に応じたゲイン値を出力する出力処理と、
    をコンピュータで実行させることを特徴とするプログラムであって、
    前記減算制御処理は、前記減算処理による減算の際に、前記出力処理により出力されたゲイン値を前記記憶処理により記憶した画素信号に乗算し、該乗算した画素信号を前記撮像素子により出力された画素信号から減算させることを特徴とするプログラム。
21. 垂直オプティカルブラック領域１と、垂直オプティカルブラック領域２とを有する撮像素子に蓄積された電荷を画素信号として出力する画素信号出力処理と、
    前記画素信号出力処理により出力された画素信号のうち、垂直オプティカルブラック領域の画素信号を記憶媒体に記憶させる記憶処理と、
    前記画素信号出力処理により出力された画素信号のうち、垂直オプティカルブラック領域１の画素の画素信号と、垂直オプティカルブラック領域２の画素の画素信号との差の値を列毎に算出する算出処理と、
    前記記憶媒体に記憶した画素信号を前記画素信号出力処理により出力された画素信号から減算する減算処理と、
    前記算出処理により列毎に算出された値に基づいて前記減算処理による減算を行なうか否かを制御する減算制御処理と、
    前記算出処理により列毎に算出された値に基づいてゲイン値を算出し、該算出したゲイン値を出力する出力処理と、
    をコンピュータで実行させることを特徴とするプログラムであって、
    前記減算制御処理は、前記減算処理による減算の際に、前記出力処理により出力されたゲイン値を前記記憶処理により記憶した画素信号に乗算し、該乗算した画素信号を前記撮像素子により出力された画素信号から減算させることを特徴とするプログラム。
22. 水平オプティカルブラック領域と、垂直オプティカルブラック領域とを有する撮像素子から出力された画素データを取得する取得手段と、
    前記取得手段により取得された画素信号のうち、垂直オプティカルブラック領域の画素信号を記憶手段に記憶させる記憶制御手段と、
    前記取得手段により取得された画素信号のうち、水平オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて水平オプティカルブラック領域の画素信号の値を算出する第１の算出手段と、
    前記取得手段により取得された画素信号のうち、垂直オプティカルブラック領域の１又は２以上の画素の画素信号に基づいて垂直オプティカルブラック領域の画素信号の値を算出する第２の算出手段と、
    前記記憶手段に記憶した画素信号を前記撮像素子により出力された画素信号から減算する減算手段と、
    前記第１の算出手段により算出された値と、前記第２の算出手段により算出された値との差に基づいて前記減算手段による減算を行なうか否かを制御する減算制御手段と、
    前記第１の算出手段により算出された値と、前記第２の算出手段により算出された値との差に応じたゲイン値を出力する出力手段と、
    を備え、
    前記減算制御手段は、前記減算手段による減算の際に、前記出力手段により出力されたゲイン値を前記記憶手段に記憶した画素信号に乗算し、該乗算した画素信号を前記撮像素子により出力された画素信号から減算させることを特徴とするスミア除去装置。
23. 垂直オプティカルブラック領域１と、垂直オプティカルブラック領域２とを有する撮像素子から出力された画素データを取得する取得手段と、
    前記取得手段により取得された画素信号のうち、垂直オプティカルブラック領域の画素信号を記憶手段に記憶させる記憶制御手段と、
    前記取得手段により取得された画素信号のうち、垂直オプティカルブラック領域１の画素の画素信号と、垂直オプティカルブラック領域２の画素の画素信号との差の値を列毎に算出する算出手段と、
    前記記憶手段に記憶した画素信号を前記撮像素子により出力された画素信号から減算する減算手段と、
    前記算出手段により列毎に算出された値に基づいて前記減算手段による減算を行なうか否かを制御する減算制御手段と、
    前記算出手段により列毎に算出された値に基づいてゲイン値を算出し、該算出したゲイン値を出力する出力手段と、
    を備え、
    前記減算制御手段は、前記減算手段による減算の際に、前記出力手段により出力されたゲイン値を前記記憶手段に記憶した画素信号に乗算し、該乗算した画素信号を前記撮像素子により出力された画素信号から減算させることを特徴とするスミア除去装置。
    

Images