JP6118133B2 - 信号処理装置及び撮像装置 - Google Patents

Description

本発明は、信号処理装置及び撮像装置に関するものである。

デジタルカメラやビデオカメラ等において、固体撮像素子としてＣＣＤやＣＭＯＳ型撮像素子が一般的に使用されている。これらの撮像素子に結像される光学像内に非常に高輝度な被写体が存在すると、高輝度被写体が存在する領域の列あるいは行方向に縦筋、縦帯、または横筋、横帯状のレベル変動が生じるいわゆるスミア現象が起こる場合がある。

特にＣＭＯＳ型の撮像素子においては、この現象は、一般的に電源やＧＮＤ等の配線レイアウトに起因していると考えられている。例えば画面内の特定部に高輝度被写体が結像し、ここに多くの電荷が生じた場合には、画素部、垂直出力線、あるいは列アンプ部等の出力が大きく変動する。このような変動があると、ＧＮＤあるいは電源ラインの内部配線抵抗により、同一行内のＧＮＤあるいは電源の変動が生じてしまう。

例えば、光信号転送時にこのような変動が生じることに起因し、リセット状態で出力される内部基準信号の微小な電位差が発生する。このような差が、同時に読みだされる同一行に対してオフセット成分として残ってしまうために、同一行にわたってレベル変動が生じる、いわゆる横スミアが発生するものと考えられている。

このような横スミアが発生している様子を図１７に示す。図１７において、撮像素子の全出力１７０１は、遮光された領域である画面上部に位置する垂直ＯＢ（オプティカルブラック）部１７０２、画面左端に位置する水平ＯＢ部１７０３、画像データを出力する有効部１７０４を備える。図１７の有効部１７０４内に高輝度被写体１７０５が入射すると、この左右に周辺画素出力よりも沈んだ出力となる領域１７０６が生じる。これは、有効部１７０４だけでなく、水平ＯＢ部１７０３においても同様のオフセット誤差を生じている。この例では横スミアの現象として信号レベルに「沈み」の横スミアが生じる場合を紹介したが、高輝度被写体の影響によっては高輝度被写体の左右に周辺よりも明るい領域が生じる「浮き」の横スミアが発生する場合もある。いずれの横スミアに対しても対策が必要である。

このような現象を回避する案として、特許文献１では、垂直ＯＢ部の出力を基にスミア成分を検出し、検出量を各行の出力から減算することで補正処理を行っている。また特許文献２では、単にオフセット補正を行ったのでは過補正となることを考慮し、オフセット補正後にゲイン補正も行うことでスミアを補正している。この際、有効画像信号の信号レベルに応じて、スミア補正処理の内容を変更している。具体的には、有効画像信号のレベルが所定の信号飽和レベルに達していたらスミア補正を行わないようにすることで、スミアの過補正を回避している。

特開平７−６７０３８号公報 特開２００１−２４９４３号公報

しかしながら、ＯＢ部にはスミアだけではなく、ランダムなノイズ成分やオフセット成分も重畳されている。そのため、単純に各行の水平ＯＢ部の出力を平均化しただけでは、特に高感度時などランダムノイズが大きい領域においては、平均値もまだランダムなばらつきを有する。そして、これを減算処理した場合、行毎に発生する横縞等のノイズを強調してしまう恐れがある。

本発明は、上述した課題に鑑みてなされたものであり、高輝度被写体像が入射した際に現れる横方向のノイズ成分を確実に除去することが可能な信号処理装置及び撮像装置を提供することを目的とする。

本発明に係わる信号処理装置は、複数画素を有する撮像素子の有効画素部の出力信号を第１の判定値と比較する第１の比較手段と、前記第１の比較手段による比較結果に基づいて、前記第１の判定値よりも大きい信号値を出力する画素数を行ごとに計数する計数手段と、前記計数手段による計数結果を第２の判定値と比較する第２の比較手段と、前記第２の比較手段による比較結果に応じてゲインを選択する選択手段と、各行ごとの前記撮像素子の遮光画素部の出力信号に前記選択手段により選択されたゲインを乗算する乗算手段と、各行ごとに算出される前記乗算手段による乗算結果を各行の前記有効画素部の出力信号から減算する減算手段と、を備えることを特徴とする。

本発明によれば、高輝度被写体像が入射した際に現れる横方向のノイズ成分を確実に除去することが可能となる。

第１の実施形態における撮像装置のブロック構成を示す図。 第１の実施形態におけるカメラのシーケンスを説明するフローチャート。 第１の実施形態におけるカメラのシーケンスを説明するフローチャート。 第１の実施形態におけるカメラのシーケンスを説明するフローチャート。 第１の実施形態における行方向補正回路の構成を示す図。 第１の実施形態における横スミア発生の状況を示す図。 第２の実施形態における行方向補正回路の構成を示す図。 第３の実施形態における横スミア発生の状況を示す図。 第３の実施形態における行方向補正回路の構成を示す図。 第４の実施形態における横スミア発生の状況を示す図。 第４の実施形態における行方向補正回路の構成を示す図。 第５の実施形態における撮像装置のブロック構成を示す図 第５の実施形態における行方向補正回路の構成を示す図。 第５の実施形態における横スミア発生の状況を示す図。 第６の実施形態における行方向補正回路の構成を示す図。 第６の実施形態における演算方法を示す図。 横スミア発生の状況を示す図。

以下に、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の信号処理装置の第１の実施形態である撮像装置の構成を示すブロック図である。本実施形態の撮像装置１００は、複数画素を有するＣＭＯＳ型撮像素子１０１、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０２、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ)１０３、タイミング発生回路１０４、およびＣＰＵ１０５を有している。

ＣＭＯＳ型撮像素子１０１は、ＩＳＯ感度に応じてゲインを切替える不図示のアンプ回路を内蔵している。ＡＦＥ１０２は、撮像素子１０１からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器を内蔵し、また、目標ダークレベルからのオフセットレベルをクランプする機能を有している。

ＤＳＰ１０３は、ＡＦＥ１０２から出力されたデジタル信号に対して各種の補正処理、現像処理、圧縮処理を行う。また、ＤＳＰ１０３は、ＲＯＭ１０６、ＲＡＭ１０７等の各種メモリに対するアクセス処理、記録媒体１０８への画像データの書き込み処理、液晶表示部（ＬＣＤ）１１４に対する各種データの表示処理等を行う。さらに、ＲＡＭ１０７上の画像データに対して各種の補正処理を行うことも可能である。また、ＤＳＰ１０３は、ＣＭＯＳ型撮像素子１０１で発生する横スミアや、横縞ノイズ等をＨＯＢ部の出力等を参照して補正する行方向補正回路１０３３（図５参照）を有している。

タイミング発生回路１０４は、ＣＰＵ１０５の制御の下に、撮像素子１０１、ＡＦＥ１０２及びＤＳＰ１０３にクロック信号や制御信号を供給し、ＤＳＰ１０３と協働して、撮像素子１０１の各種読出しモードに対応したタイミング信号を生成する。

ＣＰＵ１０５は、ＤＳＰ１０３及びタイミング発生回路１０４の制御並びに測光・測距等の不図示の各部を使ったカメラ機能の制御を行う。ＣＰＵ１０５には、例えば電源スイッチ１０９、第１段目のシャッタスイッチ１１０（ＳＷ１）、第２段目のシャッタスイッチ１１１（ＳＷ２）、モードダイアル１１２、及びＩＳＯ感度設定スイッチ１１３が接続されている。ＣＰＵ１０５は、これらのスイッチ及びダイアルの設定状態に応じた処理を実行する。

ＲＯＭ１０６は、撮像装置の制御プログラム、すなわち、ＣＰＵ１０５が実行するプログラム、及び各種の補正用データ等を記憶している。このＲＯＭ１０６は、一般的にはフラッシュメモリにより構成されている。ＲＡＭ１０７は、ＲＯＭ１０６よりも高速にアクセスできるように構成されている。このＲＡＭ１０７は、ワークエリアとして利用され、ＤＳＰ１０３により処理される画像データ等を一時的に記憶する。

記録媒体１０８としては、例えば撮影された画像データを保存するメモリカード等が用いられる。記録媒体１０８は、例えば不図示のコネクタを介してＤＳＰ１０３に接続される。

電源スイッチ１０９は、撮像装置を起動させる際にユーザにより操作される。第１段目のシャッタスイッチＳＷ１がオンされた場合は、測光処理、測距処理等の撮影前処理が実行される。第２段目のシャッタスイッチＳＷ２がオンされた場合は、不図示のミラー及びシャッタを駆動し、撮像素子１０１により撮像した画像データをＡＦＥ１０２及びＤＳＰ１０３を介して記録媒体１０８に書込む一連の撮像動作が開始される。

モードダイアル１１２は、撮像装置の各種の動作モードを設定するために利用される。ＩＳＯ感度設定スイッチ１１３は、撮像装置の撮影ＩＳＯ感度を設定するために利用される。ＬＣＤ１１４は、カメラの情報を表示し、撮影した画像を再生表示し、或いは動画像データを表示するためのものである。

次に、図１に示した撮像装置の撮影動作の概要を図２のフローチャートに基づいて説明する。

ＣＰＵ１０５は、電源スイッチ１０９がオンされると（ステップＳ２０１）、撮影に必要な電気エネルギーがバッテリに残存しているか否かを判別する（ステップＳ２０２）。その結果、撮影に必要な電気エネルギーがバッテリに残存していなければ、ＣＰＵ１０５は、その旨の警告メッセージをＬＣＤ１１４に表示して（ステップＳ２１１）、ステップＳ２０１に戻り、電源スイッチ１０９が再度オンされるのを待つ。

撮影に必要な電気エネルギーがバッテリに残存していれば、ＣＰＵ１０５は、記録媒体１０８をチェックする（ステップＳ２０３）。このチェックは、所定容量以上のデータを記録可能な記録媒体１０８が撮像装置に装着されているか否かを判断することにより行う。所定容量以上のデータを記録可能な記録媒体１０８が撮像装置に装着されていない場合は、ＣＰＵ１０５は、その旨の警告メッセージをＬＣＤ１１４に表示して（ステップＳ２１１）、ステップＳ２０１に戻る。

所定容量以上のデータを記録可能な記録媒体１０８が撮像装置に装着されている場合は、ＣＰＵ１０５は、モードダイアル１１２により設定された撮影モードが静止画撮影モード、動画撮影モードの何れであるかを判別する（ステップＳ２０４）。そして、ＣＰＵ１０５は、静止画撮影モードが設定されていれば、静止画撮影処理を行い（ステップＳ２０５）、動画撮影モードが設定されていれば、動画撮影処理を行う（ステップＳ２０６）。

次に、図２のステップＳ２０５における静止画撮影動作の詳細を、図３のフローチャートに基づいて説明する。

静止画撮影処理では、ＣＰＵ１０５は、まず、シャッタスイッチＳＷ１がオンされるのを待つ（ステップＳ３０１）。そして、ＣＰＵ１０５は、シャッタスイッチＳＷ１がオンされると、不図示の測光制御部及び測距制御部を用いて、絞り値及びシャッタ速度を決定する測光処理、撮影レンズの焦点を被写体に合わせる測距処理を行う（ステップＳ３０２）。

次に、ＣＰＵ１０５は、シャッタスイッチＳＷ２がオンされたか否かを判別する（ステップＳ３０３）。その結果、シャッタスイッチＳＷ２がオンされていなければ、ＣＰＵ１０５は、シャッタスイッチＳＷ１のオン状態が継続しているか否かを判別する（ステップＳ３０４）。ＣＰＵ１０５は、シャッタスイッチＳＷ１のオン状態が継続していれば、ステップＳ３０３に戻って、シャッタスイッチＳＷ２がオンされたか否かを判別する。一方、シャッタスイッチＳＷ１のオン状態が継続していなければ、ＣＰＵ１０５は、ステップＳ３０１に戻って、シャッタスイッチＳＷ１が再度オンされるのを待つ。

ステップＳ３０３にてシャッタスイッチＳＷ２がオンされたと判別された場合は、ＣＰＵ１０５は、撮影処理を実行する（ステップＳ３０５）。この撮影処理の詳細については、後述する。

次に、ＣＰＵ１０５は、ＤＳＰ１０３により、撮影した画像データの現像処理を実行させる（ステップＳ３０６）。そして、ＣＰＵ１０５は、ＤＳＰ１０３により、現像処理が施された画像データに対する圧縮処理を実行させて、その圧縮処理が施された画像データをＲＡＭ１０７の空き領域に格納させる（ステップＳ３０７）。

次に、ＣＰＵ１０５は、ＤＳＰ１０３により、ＲＡＭ１０７に格納されている画像データの読出しと、記録媒体１０８への記録処理を実行させる（ステップＳ３０８）。そして、ＣＰＵ１０５は、電源スイッチ１０９のオン／オフ状態をチェックする（ステップＳ３０９）。

電源スイッチ１０９がオンのままであれば、ＣＰＵ１０５は、ステップＳ３０１へ戻り、次の撮影に備える。一方、電源スイッチ１０９がオフされていれば、図２のステップＳ２０１に戻り、電源スイッチが再度オンされるのを待つ。

次に、図３のステップＳ３０５の撮影処理の詳細を、図４のフローチャートに基づいて説明する。

撮影処理では、ＣＰＵ１０５は、撮像装置の撮影ＩＳＯ感度がＩＳＯ感度設定スイッチ１１３にて設定されたＩＳＯ感度となるように、撮像素子１０１内のアンプゲイン、ＡＦＥ１０２内部のゲイン等を設定する（ステップＳ４００）。

次に、ＣＰＵ１０５は、ミラーをミラーアップ位置に移動させる（ステップＳ４０２）。次に、ＣＰＵ１０５は、図３のステップＳ３０２の測光処理にて取得した測光データに基づいて、所定の絞り値まで絞りを駆動する（ステップＳ４０３）。

次いで、ＣＰＵ１０５は、撮像素子１０１の電荷を消去（クリア）する（ステップＳ４０４）。その後、ＣＰＵ１０５は、撮像素子１０１に対する電荷蓄積を開始する（ステップＳ４０５）。

続いて、ＣＰＵ１０５は、シャッタを開き（ステップＳ４０６）、撮像素子１０１の露光を開始する（ステップＳ４０７）。そして、ＣＰＵ１０５は、測光データにより規定される露光終了時間が経過するまで待機し（ステップＳ４０８）、露光終了時間が経過すると、シャッタを閉じる（ステップＳ４０９）。

次に、ＣＰＵ１０５は、開放の絞り値まで絞りを駆動する（ステップＳ４１０）。次いで、ＣＰＵ１０５は、ミラーダウン位置までミラーを駆動する（ステップＳ４１１）。その後、ＣＰＵ１０５は、設定した電荷蓄積時間が経過するまで待機し（ステップＳ４１２）、電荷蓄積時間が経過すると、撮像素子１０１に対する電荷蓄積を終了する（ステップＳ４１３）。

続いて、ＣＰＵ１０５は、撮像素子１０１の信号を読み出す（ステップＳ４１４）。この場合、ダークオフセットレベルをクランプする機能を具えたＡＦＥ１０２は、撮像素子１０１の不図示の遮光されたオプティカルブラック部（ＯＢ部）からの出力を用いてクランプ動作を行う。ＡＦＥ１０２でのクランプ動作は比較的遅い時定数で行われるように設定し、周波数の低いダークシェーディング等に応答し、横縞や横スミアといった現象により現れる一時的な水平ＯＢ部の変動に応答しないようにする。

次に、ＣＰＵ１０５は、行方向補正処理を行う（ステップＳ４１５）。行方向補正処理は、図５に示す行方向補正回路１０３３を用いて行われる。なお、行方向補正回路１０３３は、図１のＤＳＰ１０３に内蔵される。

以下、行方向補正処理を詳細に説明する。まず、横スミアが発生している画像のイメージを図６を用いて説明する。図６は、先に説明した図１７を詳細に記述した図である。

図６に示すように、高輝度被写体が撮像素子１０１上に入射した場合、どんなに高輝度の被写体であっても、そのデジタルデータの最大値はＡ／Ｄ変換のｂｉｔ数で決まる。例えば１２ｂｉｔであれば４０９５ＬＳＢが最大値となり、１４ｂｉｔでは１６３８３ＬＳＢが最大値となる。既定の光信号が入射したときにどのようなデジタルデータを得るようにシステムゲインを設定するかはシステムの設計次第であるが、このデジタル出力の最大レベルを超えるような光信号入力が有ったとしても、その出力は一律最大値でクリップされることとなる。

一方、ＣＭＯＳ型撮像素子で発生する横スミア現象は、このデジタル出力の最大値に到達したからといって直ちに生じるものではない。条件によってはデジタル最大値となる以前の出力レベルから横スミアを発生する場合もあれば、デジタル最大値をはるかに超える光信号入力が入射することで初めて横スミアが発生する場合もある。これはＣＭＯＳ型撮像素子の種類に依存する部分もあり、同一撮像素子であってもその撮像素子内部のアナログ回路のゲイン設定等により変化する部分もある。

図６では、高輝度被写体入射領域６０２の内部のＡ／Ｄ変換結果が最大値になっている。その内部の領域６０１は、領域６０２の中でさらに高輝度の被写体が入射している領域（入射位置）であり、領域６０１の影響により、横スミア現象がオフセット誤差を持つ領域６０３として現れていることを示している。

一方で撮像素子１０１の出力には、図６に示すような横縞成分６０４も現れる。横縞成分６０４は、外乱ノイズやＣＭＯＳ型撮像素子の電源やＧＮＤ配線に発生するノイズの影響により、一時的に生じるものである。

次に、図５の行補正回路１０３３の動作を説明する。図５において、入力端子５０１には、デジタルデータストリームが入力される。ＨＯＢ部誤差検出部５０２は、入力端子５０１に入力されたデータストリーム中の遮光画素部である水平ＯＢ（ＨＯＢ）部の出力信号である画素データを選択し、該当行におけるＨＯＢ部の出力信号と、目標とするレベルとの間の誤差量を算出する。

ＨＯＢ部誤差検出部５０２による各行ごとの誤差の算出方法としては多くの方法が考えられるが、ここでは各行ごとのＨＯＢ部の出力について単純平均を算出する方法を用いる。この場合、ＨＯＢ部で平均値算出に利用可能な画素数には限りがあるため、特に、高ＩＳＯ感度時などのＨＯＢ部の出力そのものが非常にランダムノイズが大きい場合などには、十分な精度の平均値を算出することが困難な場合が想定される。このような場合には、算出した誤差量にも大きめのランダムノイズ成分が含まれるため、そのまま入力画像から減算処理すると、行毎にランダムなノイズ成分を重畳してしまい、結果として行毎にランダムな横縞成分を増加させてしまうこととなる。

これを低減させるために、算出した誤差量に対して一定のゲイン（＜１．０）を乗じて減算することにより（減算結果）、このようなランダムノイズの影響を低減しつつ、横縞に対しては補正効果が得られる。ＨＯＢ部の画素数や各画素のランダムノイズの大きさにも依存するが、この横縞補正に好適なゲインとしては０．４〜０．７程度が選択される。ここでは、補正係数１（５０３）に横縞補正に好適なゲインを設定し、後述する横スミア検出信号がＨにならない限りにおいては、セレクタ５０７にて補正係数１が選択される。

そして、ＨＯＢ部の誤差量にセレクタ５０７により選択された補正係数１を乗算器５０５で乗算し、行毎に算出されるその乗算結果をＦ／Ｆ５０６でラッチして、該当行の出力から減算器５１５で減算処理する。この補正処理動作により、図６のような横縞成分６０４に対し、ＨＯＢ部出力を用いて、過補正となることなく補正処理を行うことができる。

一方で有効部選択部５０８では、データストリーム中に含まれる撮像素子の有効画素部の出力信号である画素データを検出し、検出対象行の有効画素出力のみを後段の検出部へ転送する。まず比較器５１０において、有効画素出力が判定値１（５０９）として設定された第１の判定値と比較する（第１の比較）。判定値１には、ＡＦＥ１０２の変化ｂｉｔ数に応じたＡ／Ｄ変換の最大値あるいは最大値に近い値が第１の判定値として設定される。比較器５１０は、第１の判定値よりも画素出力が大きい場合に、比較信号（比較結果）がＨになる。さらに、計数部５１１は、比較器５１０から出力される比較信号を受信し、受信した比較信号に基づいて、第１の判定値よりも大きい信号値を出力する画素数を各行ごとに計数する。

デジタルデータでその出力を判別可能なのはＡ／Ｄ変換結果の最大値までであり、その最大値を超える入射光量が入射しているか否かはデジタルデータそのものからは判別できない。しかしながらＡ／Ｄ変換結果が判定値１に設定された第１の判定値よりも大きい信号値を出力する有効画素が有ったとしても、それが非常に少数であれば、横スミアを発生させるほどの光信号は入射してないものと予想できる。それに対し、Ａ／Ｄ変換結果が判定値１に設定された第１の判定値よりも大きい信号値を出力する有効画素が非常に多い場合には、横スミアを発生させるだけの光信号が入射している可能性が高いと判断する。

比較器５１３において、計数部５１１による計数結果を判定値２（５１２）に設定された第２の判定値と比較する（第２の比較）。例えば、判定値２（５１２）に第２の判定値としてＮ画素（ここで、Ｎは自然数）が設定される。比較器５１３は、第２の判定値よりも計数結果が大きい場合に、比較信号がＨになる。図６の横スミア発生領域では、第１の判定値よりも大きい信号値を出力する有効画素数が第２の判定値（すなわち、Ｎ画素）を超えているので横スミアが発生している可能性が高いと判断し、比較器５１３が反転する。Ｆ／Ｆ５１４はその結果をラッチし、これが横スミア検出信号となり、Ｈの場合にはセレクタ５０７にて補正係数２（５０４）が選択される。

横スミア検出信号がＨとなった場合には、ＨＯＢ部で生じている誤差量はほとんどが横スミアによるものであり、補正係数２に設定するゲインは１．０に近い値とする。そして、ＨＯＢ部の誤差量にセレクタ５０７により選択された補正係数２を乗算器５０５で乗算し、行毎に算出される乗算結果をＦ／Ｆ５０６でラッチして、該当行の出力から減算器５１５で減算処理する。

この補正処理により、図６のような横スミア成分６０３に対し、ＨＯＢ部出力を用いて適切に補正処理を行うことができる。補正係数が１．０に近づくと、先に説明したようにランダムノイズの影響が想定される。しかし、ランダムノイズによりばらつく平均値のばらつき量よりも、発生している横スミア量のほうが大きい場合に多少横縞を増やす結果になったとしても、画像全体の画質に関してははるかに改善効果が大きくなる。また、計数部５１１、Ｆ／Ｆ５０６、５１４は各行ごとにリセットし、次行の判定を行う。

例えば、判定値１には、Ａ／Ｄ変換最大値の３１／３２程度（Ａ／Ｄ変換が１４ｂｉｔ時であれば１５８７２ＬＳＢ程度）が第１の判定値として設定され、判定値２には、水平方向画素数の１／８程度の数値が第２の判定値として設定される。これらの数値は、使用するＣＭＯＳ型撮像素子の横スミア発生状況を入射光源の輝度や、入射光の面積等を変化させて事前に確認することで取得することが可能である。少なくとも撮像素子内のゲインが異なる撮影感度への切り替え時には、切り替えが必要である。

また、撮像素子の駆動タイミングが切り替わるような場合、例えば、静止画モード時と動画モード時とでＣＭＯＳ型撮像素子の駆動タイミングが切り替わる場合には、撮像素子内部の電源ＧＮＤ変動の影響量に差が生じる可能性があるため、各判定値の切り替えが必要である。このように、各種撮影条件に応じて切り替え可能とすることが望ましい。

また、本実施形態では、有効部選択部５０８は一つしか用意していない。しかし、撮像素子に入射する高輝度部分が、画面内のどの部分に入射するかによって横スミアの発生量が異なるような場所依存性を有する撮像素子においては、画面内の異なる領域を選択するように、有効部選択部５０８以降の検出部を画面内の場所ごとに配置してもよい。そして、画面内の場所ごとに適切な第１の判定値、第２の判定値を設定し、いずれかの領域において、横スミア検出信号がＨとなった場合に、セレクタ５０７を切り替えるような構成にしてもよい。さらに、補正係数２も判定する領域に応じて切り替えるような構成にしてもよい。

また、本実施形態においては、撮像素子の画素出力に対しすべて同一に取り扱っている。しかし、撮像素子の異なる色毎（色別）の画素出力に応じて判定値１（５０９）、比較器５１０、計数部５１１、判定値２（５１２）、比較器５１３を用意し、いずれかの色出力に対応した比較器５１３が一つでも変化した場合に、セレクタ５０７を切り替えるように構成してもよい。また、すべての比較器５１３のうち一つでも変化したらセレクタ５０６を切り替えるように構成してもよい。その場合、第１の判定値、第２の判定値は、色毎に独立で設定できるようにする。

また、本実施形態では、対象行を明確にしていないが、データストリーム中の有効画素領域の信号を判定した後に該当行に対して補正処理を行うためには、データストリームを一時的に保存するバッファメモリが必要である。バッファメモリを設けることで、該当行のＨＯＢ部での誤差検出、有効画素領域での計数処理まで終えて算出した誤差補正量を、該当行の先頭画素の出力から減算処理することが可能となる。本実施形態のブロック図では、バッファメモリを設けていないため、回路規模としては非常に小さくなるが、計数して算出した誤差量を検出行の次の行に対する補正に適用することになる。

実際には、横スミア現象も特定の行から突然発生するのではなく、複数行にわたって徐々に誤差が大きくなるように発生する場合が多いため、検出行に検出結果をそのまま反映した補正を行わなくても構わない。

以上のように、本実施形態では、比較的回路規模の小さな回路構成で横スミア、さらには横縞等の行方向に生じるノイズに対して、それぞれ適切な補正処理を実現することが可能となる。

（第２の実施形態）
図７は、第２の実施形態における行方向補正回路１０３３のブロック図である。基本的な考え方は第１の実施形態と同じであるが、有効画素部の画素出力のうち判定値１（５０９）に設定された第１の判定値よりも大きい信号値を出力する有効画素を計数する計数部５１１の出力を判定する手段が判定回路５１８となっている。

判定回路５１８は、計数部５１１の計数結果を第１の実施形態と同じ判定値２（５１２）に設定された第２の判定値と、新たに設けられた判定値３（５１７）に設定された第３の判定値との比較を行う（第３の比較）。判定値２（５１２）に設定された第２の判定値は第１の実施形態と同じ数値であるが、判定値３（５１７）には、判定値２（５１２）に設定された値よりも小さな第３の判定値が設定されるものとする。

判定回路５１８は、計数部５１１の出力が
（１）判定値３（５１７）に設定された第３の判定値未満の場合には“０”を出力する。
（２）判定値３（５１７）に設定された第３の判定値以上、判定値２（５１２）に設定された未満の場合には“２”を出力する。
（３）判定値２（５１２）に設定された第２の判定値以上の場合には“１”を出力する。

これによりセレクタ５０７では
（１）判定値３（５１７）に設定された第３の判定値未満の場合には補正係数１を選択する。
（２）判定値３（５１７）に設定された第３の判定値以上、判定値２（５１２）に設定された第２の判定値未満の場合には補正係数３を選択する。
（３）判定値２（５１２）に設定された第２の判定値以上の場合には補正係数２を選択する。

計数結果が判定値３（５１７）に設定された第３の判定値以上、判定値２（５１２）に設定された第２の判定値未満の場合という中間の場合に補正係数としても中間の値を用いる。これにより、横縞に好適な補正係数１（５０３）と横スミアに好適な補正係数２（５０４）が大きく異なった場合においても、中間の補正係数３を設けることにより、補正処理が急激に変化することで画質に影響を与える可能性を低減させる。

補正係数３の値としては補正係数１と補正係数２の間の数値が入る。この場合、単純にこれらの係数の平均値を入れるようにしてもよいし、補正係数３としては補正係数１と補正係数２を設定すれば自動的にこれらの係数の平均値となるような回路構成であっても構わない。

特に第１の実施形態に記載したようにデータストリームをバッファリングするメモリを有しない場合に、該当行の検出結果を次行に対する補正処理で用いるような場合においてもこの影響を吸収する効果がある。そのため、回路規模の大きなメモリを持たなくてもわずかな回路規模の追加で画質に悪影響を与えずに適切な補正が可能となる。

（第３の実施形態）
本実施形態にて想定する画像を図８に示す。図８に示すように高輝度被写体として先に図６で説明したような領域６０１，６０２の他に、縦長のスリット状の被写体８０１が複数入射している場合を想定する。さらに各スリット光の幅は各々およそＮ／８画素で、各行ごとの総和は領域６０２の幅とほぼ同じＮ画素であるものとする。

この場合に各行ごとの高輝度被写体の総和は確かにＮ画素であるが、横スミアは発生しにくい。このような場合の被写体領域８０１と被写体領域６０１の判別を行うことが可能な行方向補正回路について説明する。

図９は、本実施形態における行方向補正回路１０３３の構成を示す図である。図９に示す行方向補正回路は図５の第１の実施形態の行方向補正回路と計数部５１１を除いて同一の構成である。第１の実施形態の計数部５１１に代わって連続計数部５２０が用意される。

以下、連続計数部５２０の動作について説明する。入力される有効部のデータが判定値１に設定された第１の判定値以上であり比較器５１０が反転した場合には、連続計数部５２０は内部のカウンタをインクリメントする。連続して有効部のデータが判定値１に設定された第１の判定値以上であると、その間、連続計数部５２０は内部のカウンタをインクリメントし続けるが、再度有効部のデータが判定値１に設定された第１の判定値未満となって比較器５１０が反転した場合には、それまでの計数結果を保存し、カウンタをリセットする。すでに先に保存された計数結果がある場合には、先の計数結果よりも今回の計数結果のほうが大きい場合に限り保存していく。これにより該当行内で高輝度被写体が最も連続した区間の画素数を検出すること、すなわち高輝度被写体の連続性を考慮することが可能となる。

こうして最終的に得られた最大の連続画素数が判定値２（５１２）と比較され、判定値２に設定された第２の判定値以上である場合には、横スミアが発生している可能性が高いと判断し、比較器５１３が反転する。Ｆ／Ｆ５１４はその結果をラッチし、これが横スミア検出信号となり、Ｈの場合にはセレクタ５０７にて補正係数２（５０４）を選択する。なお、各行ごとに、連続計数部５２０は、内部のカウンタおよび保存している最大カウント値はリセットする。

このような動作を行うことで、図８に示すような高輝度被写体が入射した場合、被写体８０１に対しては、高輝度被写体の水平方向の最大連続画素数は大きな数にはならないため、判定値２を超えることがなく、結果横スミアと判断されない。

しかしながら、被写体６０１，６０２のような高輝度被写体に対しては、水平方向の最大連続画素数が判定値２を超えるため、結果横スミアと判断し、適切な補正を行うことが可能となる。

（第４の実施形態）
これまでＡＦＥ１０２でのクランプ動作については、比較的遅い時定数で動作するように設定し、比較的周波数の低いダークシェーディング等に応答し、一方で横縞や横スミアといった現象により現れる一時的な水平ＯＢ部の変動に応答しないように設定していた。しかしながら、高輝度被写体の面積が広くなり、垂直方向のより多くの行数にわたって横スミアが発生するとＡＦＥでのクランプ動作の時定数を遅く設定しても徐々に横スミアにより生じる誤差を引き込んでしまう。この様子を図１０に示す。

図１０（ａ）に示すように、高輝度被写体の面積、とくに垂直方向の面積が小さい場合にはＡＦＥでの水平ＯＢのクランプ動作は特に影響を受けないため、図左側に示すＨＯＢ部の出力を示す図のように、横スミア発生領域でのみその影響が見えている。

しかしながら図１０（ｂ）に示すように、高輝度被写体の面積、とくに垂直方向の面積が大きくなると、ＡＦＥでの水平ＯＢのクランプ動作により、横スミアが発生している領域はその誤差量をクランプしはじめ、徐々に引き込んでいく。横スミア発生領域を過ぎると、今度はすでに引き込んだ横スミア誤差量から復帰するためにまたゆっくりとした時定数で引き込み動作を行っていく。このため高輝度被写体の面積が大きい場合には、横スミア発生領域の下部でＡＦＥのＯＢクランプの誤動作により従来なかったパターンノイズが生じることとなる。以下、このような現象に対応する行方向補正回路について説明する。

図１１は、本実施形態における行方向補正回路１０３３の構成を示す図である。図１１における行方向補正回路は、図７の第２の実施形態で説明した構成と判定回路５１８の動作が異なること、および判定値３の意味する内容が異なること以外、同一の構成である。

判定回路５２１は、有効領域内で判定値１に設定された第１の判定値以上の値を有する画素数を計数部５１１で計数した結果と、判定値２（５１２）に設定された第２の判定値を比較する。ここで計数結果が判定値２に設定された第２の判定値未満である場合には、その出力を“０”としてセレクタ５０７にて補正係数１を選択する。一方、ここで計数結果が判定値２に設定された第２の判定値以上である場合には、その出力を“１”として、セレクタ５０７にて補正係数２を選択するとともに、内部の行数カウンタをインクリメントする。さらに次行においても計数結果が判定値２に設定された第２の判定値以上である場合には、その出力を“１”として、セレクタ５０７にて補正係数２を選択するとともに、内部の行数カウンタをインクリメントする。このように各行の計数結果が判定値２に設定された第２の判定値以上である場合にはその連続する行数を計数していく。

次に、計数結果が判定値２に設定された第２の判定値未満であると判断したときに、そこまでの連続行数が判定値３に設定された第３の判定値を超えていた場合には、その出力を“２”としてセレクタ５０７にて補正係数３を選択する。また内部では行数カウンタをデクリメントする。

このあと、引き続き計数結果が判定値２に設定された第２の判定値未満である場合には、デクリメントした結果が０になるまでその出力を“２”とする。内部カウンタが０に達して時点でその出力を“０”として補正係数１を選択する。

仮に計数結果が判定値２に設定された第２の判定値以上であっても、次に計数結果が判定値２に設定された第２の判定値未満となったところまでの連続行数の係数結果が、判定値３に設定された第３の判定値を超えていない場合には、判定回路の出力は通常通り“０”となり、補正係数１が選択される。また計数結果が判定値２に設定された第２の判定値未満となり、デクリメントしている途中で再度計数結果が判定値２に設定された第２の判定値以上となった場合も、内部カウンタはリセットする。

このような処理を行うことで、横スミアが発生している領域では横スミアを補正するのに好適な補正係数を選択し、横スミアが発生しなくなりＡＦＥによるクランプエラーが発生している可能性が高い領域では、その誤差を吸収することが可能な補正量を選択可能である。また、それ以外の領域ではランダムに発生する可能性の高い横縞に好適な補正係数を選択することが可能となるため、広い面積で横スミアが発生するような場合であっても画質を低下させることなく補正が可能である。

本実施形態では回路規模低減のために、横スミアが連続して生じている行数と同じ行数だけクランプ誤差を補正する期間を設けている。しかし、この方法に限定されるものではなく、横スミアが連続した行数に比例係数を乗じることでクランプ誤差を補正する行数を設定できるようにしてもかまわない。

（第５の実施形態）
先の実施形態では、ＡＦＥでのクランプ誤差を補正する方法を説明したが、横スミアが発生していると判断した場合には、ＡＦＥでのクランプ動作そのものを一時的に停止することでクランプの誤動作は防ぐことができる。仮にこの期間ＡＦＥでのクランプ動作が行えなかったとして、横スミアが生じている期間のクランプ誤差量よりも、横スミア量のほうが大きい場合には、クランプ動作を停止しても横スミアを補正したほうが望ましい結果となる。

本実施形態における撮像装置のブロック図を図１２に示す。図１２におけるブロック構成は、これまで説明した実施形態と同一であり、唯一ＤＳＰ１０３からＡＦＥ１０２への制御信号が増えている。この制御信号は、図１３に示す行方向補正回路１０３３から出力される。次に、この行方向補正回路１０３３について説明する。

図１３に示す行方向補正回路１０３３は、第１の実施形態における行方向補正回路と同一であるが、Ｆ／Ｆ５１４の出力を端子５２２から外部に出力可能としている。この出力信号をＡＦＥ１０２に供給し、ＡＦＥ１０２ではこの制御信号がＨとなる期間は水平ＯＢクランプ動作を停止するものとする。この様子を図１４で説明する
図１４に示すように、高輝度被写体が入射した領域で横スミアが発生している可能性が高いと判断して比較器５１３が反転すると、Ｆ／Ｆ５１４はその結果をラッチし、これが横スミア検出信号となり、Ｈの場合にはセレクタ５０７にて補正係数５０２を選択する。同時にこの信号はＯＢクランプ停止信号としてＡＦＥ１０２に接続され、ＡＦＥでのＨＯＢクランプ動作を停止させる。

これにより、横スミアが発生している面積が大きくてもＡＦＥでのクランプ動作が停止しているため、横スミアで生じる誤差を引きこむことがなく、その結果、横スミアが発生した領域の下部で再度クランプ動作による変動が生じることもない。よって、ＡＦＥ１０２のクランプ動作そのものを停止することが可能であれば、第４の実施形態に示した回路構成を用いることなく、より簡易に横スミアを高品質に補正することが可能となる。

なお、本実施形態では、ＡＦＥ１０２でのクランプ動作を制御する構成としているが、このような制御性を向上させるために、ＡＦＥではＨＯＢクランプそのもの実施させず、ＤＳＰ内部で全面的にデジタル処理でＨＯＢクランプを行うような構成にしても構わない。この場合には、行方向補正回路１０３３からクランプ回路への制御信号の伝達がＤＳＰ内部で閉じることになるため、撮像装置全体としての回路構成や配線等に影響を与えることなく同等の結果を得ることが可能となる。

（第６の実施形態）
本実施形態では、横スミアが発生しているか否かを予想するためにさらに精度を向上させる方法について説明する。

図１５は、本実施形態における行方向補正回路の構成を示す図である。図１５において、有効部で判定値１に設定された第１の判定値以上の画素出力は、これまでの行方向補正回路での構成と異なり、その出力データそのものを演算部５２３に転送する。演算部５２３では、判定値１に設定された第１の判定値以上の画素出力のみを入力し、その像データからＣＭＯＳ型撮像素子出力のＡ／Ｄ変換結果の最大値以上の挙動を予測することで横スミアの発生領域を精度良く予測するものである。

この演算方法について図１６を用いて説明する。図１６に示すような高輝度被写体が入射した場合を想定する。領域１６０１は、その出力レベルが判定値１と等しい領域を示している。領域１６０２は、Ａ／Ｄ変換結果の最大値をとる領域を示している。領域１６０３は、デジタルデータとしては領域１６０２と区別不可能であるが、ＣＭＯＳ型撮像素子の内部で実際に横スミアを発生させる信号レベルに達している領域を示す。したがって、演算部５２３は、領域１６０２の画素数を正確に算出することを目的とする。

図１６に示す第ｎ行における水平方向の各画素の出力を下部に示す。演算部５２３に入力される各画素の出力は実線で示す値である。演算部５２３では、判定値１とＡ／Ｄ変換の最大値の間の出力の勾配から横スミア発生レベルに到達すると思われる画素数を予測演算する。

たとえば、判定値１の水平方向の座標と、Ａ／Ｄ最大値のエッジ部の水平方向の座標を元に直線近似を行うことで、既知の横スミア発生レベルを横切る水平方向の座標を求めることができる。これを高輝度被写体の左右両方向で行うことで、横スミア発生レベルを超える水平方向の画素数（図１６の両矢印の範囲）を算出することが可能である。

想定している横スミア発生レベルを超える画素数が判定値２を超えた場合に、比較器５１３が反転し横スミア発生信号を生成する。これをＦ／Ｆ５１４でラッチして、セレクタ５０７で補正係数２を選択する。

一方、第ｍ行においては演算回路に入力される画素データの勾配から演算しても、横スミア発生レベルを超える画素は無いと判断できる。この場合には、想定している横スミア発生レベルを超える画素数が判定値２を超えないため、比較器５１３が反転せず横スミア発生信号は生成されない。

この画像データから既知の横スミア発生レベルを超えると思われる画素数を算出する方法は多種考えられ、いずれの方法であっても構わないが、より高精度に横スミアが発生する行を算出することが可能となる。

また、横スミア発生レベルは、使用するＣＭＯＳ型撮像素子の横スミア発生状況を入射光源の輝度や、入射光の面積等を変化させて事前に確認することで取得することが可能である。例えば、一例として横スミア発生レベルとしてはＡ／Ｄ変換最大値の２倍相当の値、判定値２の画素数としては水平方向画素数の１／８程度といった値が選択できる。もちろんこれらの値は撮影時のＩＳＯ感度等によって変化する（切替可能）。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (8)

1. 複数画素を有する撮像素子の有効画素部の出力信号を第１の判定値と比較する第１の比較手段と、
   前記第１の比較手段による比較結果に基づいて、前記第１の判定値よりも大きい信号値を出力する画素数を行ごとに計数する計数手段と、
   前記計数手段による計数結果を第２の判定値と比較する第２の比較手段と、
   前記第２の比較手段による比較結果に応じてゲインを選択する選択手段と、
   各行ごとの前記撮像素子の遮光画素部の出力信号に前記選択手段により選択されたゲインを乗算する乗算手段と、
   各行ごとに算出される前記乗算手段による乗算結果を各行の前記有効画素部の出力信号から減算する減算手段と、
   を備えることを特徴とする信号処理装置。
2. 複数画素を有する撮像素子の有効画素部の出力信号を第１の判定値と比較する第１の比較手段と、
   前記第１の比較手段による比較結果に基づいて、前記第１の判定値よりも大きい信号値を出力する画素数を行ごとに計数する計数手段と、
   前記計数手段による計数結果を第２の判定値および第３の判定値と比較する第２の比較手段と、
   前記第２の比較手段による比較結果に応じてゲインを選択する選択手段と、
   各行ごとの前記撮像素子の遮光画素部の出力信号に前記選択手段により選択されたゲインを乗算する乗算手段と、
   各行ごとに算出される前記乗算手段による乗算結果を各行の前記有効画素部の出力信号から減算する減算手段と、
   を備えることを特徴とする信号処理装置。
3. 前記計数手段は、前記第１の判定値よりも大きい信号値を出力する画素の水平方向の連続性を考慮することを特徴とする請求項１または２に記載の信号処理装置。
4. 前記計数手段は、前記第１の判定値よりも大きい信号値を出力する画素の垂直方向の連続性を考慮することを特徴とする請求項１または２に記載の信号処理装置。
5. 前記第１の判定値、前記第２の判定値、および前記ゲインは、撮影時のＩＳＯ感度に応じて切替可能であることを特徴とする請求項１または２に記載の信号処理装置。
6. 前記第１の判定値、前記第２の判定値、および前記ゲインは、被写体の色別の出力に応じて切替可能であることを特徴とする請求項１または２に記載の信号処理装置。
7. 前記第１の判定値、前記第２の判定値、および前記ゲインは、高輝度被写体の入射位置に応じて切替可能であることを特徴とする請求項１または２に記載の信号処理装置。
8. 複数画素を有する撮像素子と、
   請求項１乃至７のいずれか１項に記載の信号処理装置と、
   を備えることを特徴とする撮像装置。

Images