JP4273835B2 - 信号処理装置、および電子カメラ - Google Patents
信号処理装置、および電子カメラ Download PDFInfo
- Publication number
- JP4273835B2 JP4273835B2 JP2003146045A JP2003146045A JP4273835B2 JP 4273835 B2 JP4273835 B2 JP 4273835B2 JP 2003146045 A JP2003146045 A JP 2003146045A JP 2003146045 A JP2003146045 A JP 2003146045A JP 4273835 B2 JP4273835 B2 JP 4273835B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- defect
- optical black
- signal processing
- correction unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像部のオプチカルブラック領域で生成されるＯＢ信号に対して欠陥補正を行う信号処理技術に関する。
【０００２】
【従来の技術】
従来、オプチカルブラック領域の欠陥画素による画像処理の異常を改善する技術として、下記の特許文献１が知られている。
この特許文献１では、予め記憶されているオプチカルブラック領域のキズアドレスに基づいて、ＯＢ信号の読み出しを禁止したり、隣接するＯＢ信号に置換することによって、ＯＢ信号の欠陥補正を行う。
このようなＯＢ信号の欠陥補正により、撮像素子の良品率を高めることが可能になり、電子カメラに使用する撮像素子のコストを低減できる。
【特許文献１】
特開２００１−１４５０２６号公報（請求項１，請求項２，段落００６１）
【０００３】
【発明が解決しようとする課題】
近年、オプチカルブラック領域で生成されるＯＢ信号は、ＯＢクランプの他にも、画像処理の基準として他用途に使用される傾向にある。そのため、ＯＢ信号の欠陥補正については、これらの画像処理に支障を生じないよう、高精度かつ確実な欠陥補正が好ましい。
そこで、本発明では、ＯＢ信号のキズ欠陥の補正精度や確実性を一段と高めることによって、オプチカルブラック領域のキズ欠陥に起因する画像処理の異常をさらに改善することを目的する。
【０００４】
【課題を解決するための手段】
以下、本発明について説明する。
【０００５】
《請求項１》
請求項１に記載の信号処理装置は、被写体像を光電変換する有効画素領域と、遮光状態のオプチカルブラック領域とを備えた撮像部の出力信号に対して、信号処理を施す信号処理装置であって、オプチカルブラック領域の出力信号（以下『ＯＢ信号』という）に対して欠陥補正の空間フィルタ処理を行い、欠陥補正済みのＯＢ信号を得るＯＢ欠陥補正部と、欠陥補正済みのＯＢ信号を基準レベルとして、有効画素領域の出力信号を補正する信号補正部とを備える。
なお、このオプチカルブラック領域および有効画素領域には、１画素ラインおきに同じ配列パターンとなるカラーフィルタアレイが配置される。上述のＯＢ欠陥補正部は、オプチカルブラック領域の１画素ラインおきのＯＢ信号を区分し、これらの同じ配列パターンとなる区分別に空間フィルタ処理を行うことにより、ＯＢ信号の欠陥補正を行う。
【０００６】
《請求項２》
請求項２に記載の信号処理装置は、『被写体像を光電変換する有効画素領域』および『遮光状態のオプチカルブラック領域』を有する信号生成領域と、信号生成領域で生成された信号を分配して出力する複数の出力アンプとを備えた撮像部の出力信号に対して、信号処理を施す信号処理装置であって、オプチカルブラック領域の出力信号（以下『ＯＢ信号』という）に対して欠陥補正の空間フィルタ処理を行い、欠陥補正済みのＯＢ信号を得るＯＢ欠陥補正部と、欠陥補正済みのＯＢ信号を基準レベルとして有効画素領域の出力信号を補正する信号補正部とを備える。特に、上述のＯＢ欠陥補正部は、複数の出力アンプの出力別にＯＢ信号の欠陥補正を実施する。
【０００７】
《請求項３》
請求項３に記載の発明は、請求項２に記載の信号処理装置において、オプチカルブラック領域は、有効画素領域の水平方向に沿って配置された上部オプチカルブラック領域を含み、信号補正部は、信号補正として、欠陥補正済みのＯＢ信号に基づいて、出力アンプ別に水平シェーディングをそれぞれ求め、求めた水平シェーディングを有効画素領域の出力信号から減算することを特徴とする。
【０００８】
《請求項４》
請求項４に記載の信号処理装置は、被写体像を光電変換する有効画素領域と、遮光状態のオプチカルブラック領域とを備えた撮像部の出力信号に対して、信号処理を施す信号処理装置であって、オプチカルブラック領域の出力信号（以下『ＯＢ信号』という）に対して欠陥補正の空間フィルタ処理を行い、欠陥補正済みのＯＢ信号を得るＯＢ欠陥補正部と、欠陥補正済みのＯＢ信号を基準レベルとして、有効画素領域の出力信号を補正する信号補正部とを備える。なお、この有効画素領域およびオプチカルブラック領域には、カラーフィルタアレイが配置される。特に、上述のＯＢ欠陥補正部は、このカラーフィルタアレイの色別にＯＢ信号を区分し、その区分別に欠陥補正を実施する。
【０００９】
《請求項５》
請求項５に記載の発明は、請求項４に記載の信号処理装置において、オプチカルブラック領域は、有効画素領域の垂直方向に沿って配置された側部オプチカルブラック領域を含み、信号補正部は、ＯＢ欠陥補正部により、色ごとに欠陥補正されたＯＢ信号に基づいて、有効画素領域の水平ラインの色単位に光学的黒レベルを求め、水平ラインの色毎の光学的黒レベルを一定に揃えるように、有効画素領域の出力信号をクランプすることを特徴とする。
【００１０】
《請求項６》
請求項６に記載の発明は、請求項１ないし請求項５のいずれか一項に記載の信号処理装置において、ＯＢ欠陥補正部が実施する空間フィルタ処理は、メディアンフィルタであることを特徴とする。
【００１１】
《請求項７》
請求項７に記載の発明は、請求項１ないし請求項６のいずれか一項に記載の信号処理装置において、ＯＢ欠陥補正部は、空間フィルタ処理で参照する局所範囲の空白箇所にデフォルト値を補填することを特徴とする。
【００１２】
《請求項８》
請求項８に記載の発明は、請求項１ないし請求項７のいずれか一項に記載の信号処理装置において、ＯＢ欠陥補正部は、空間フィルタ処理で参照する局所範囲に、既に欠陥補正済みのＯＢ信号を逐次含めることを特徴とする。
【００１３】
《請求項９》
請求項９に記載の電子カメラは、被写体像を光電変換する有効画素領域と、遮光状態のオプチカルブラック領域とを備えた撮像部と、請求項１ないし請求項８のいずれか一項に記載の信号処理装置とを備えたことを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
図１は、本実施形態における電子カメラ１１を示す図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の撮像面が配置される。
【００１５】
この撮像素子１３の撮像面には、図２に示すように、有効画素領域１３Ａ，上部オプチカルブラック領域１３Ｂ，および側部オプチカルブラック領域１３Ｃがそれぞれ設けられる。これら領域の上には、ベイヤー配列のカラーフィルタアレイが配置される。
この有効画素領域１３Ａは、被写体像を光電変換して画像信号を生成する領域である。一方、上部オプチカルブラック領域１３Ｂは、有効画素領域１３Ａの水平方向に沿って上部に配置された領域であり、アルミ遮光膜によって遮光状態に置かれる。また、側部オプチカルブラック領域１３Ｃは、有効画素領域１３Ａの垂直方向に沿って左右にそれぞれ配置された領域であり、アルミ遮光膜によって遮光状態に置かれる。
【００１６】
タイミングジェネレータ１４は、撮像素子１３を駆動して、上記の各領域１３Ａ〜１３Ｃからの出力信号を、図２に示す主走査方向Ｈおよび副走査方向Ｖに走査して順次に読み出す。撮像素子１３の内部では、これらの出力信号の経路は、Ｒ色およびＢ色の信号経路（ＲＢｃｈ）と、Ｇ色の信号経路（Ｇｃｈ）とに分けられる。このＲＢｃｈの出力信号は、出力アンプ１３Ｄを介して外部に出力される。一方、Ｇｃｈの出力信号は、出力アンプ１３Ｅを介して外部に出力される。
【００１７】
これらの出力信号は、Ａ／Ｄ変換部１５を介してデジタル化された後、信号処理装置１６に入力される。また、タイミングジェネレータ１４からは、出力信号と同期した水平同期信号ＨＤ，垂直同期信号ＶＤおよび画素クロックＰが出力される。これら信号も、信号処理装置１６に入力される。
この信号処理装置１６の内部には、下記の構成要件が設けられる。
【００１８】
［１］側部ＯＢキズ補正部１８
［２］上部ＯＢキズ補正部１９
［３］シェーディングバッファ２０
［４］水平シェーディング補正部２１
［５］暗電流検出部２２
［６］暗電流オフセット部２３
［７］クランプバッファ２４
［８］ＯＢクランプ部２５
［９］ゲイン補正部２６
これらの構成要件は、図１に示す信号経路に沿って出力信号をパイプライン式に、ほぼリアルタイムに処理する。
【００１９】
信号処理装置１６から出力された有効画素領域１３Ａの出力信号（すなわち画像信号）は、バッファメモリ２７に一時記憶される。
このバッファメモリ２７のデータバスには、画像信号に色補間や輪郭強調などを施す画像処理部２８と、画像信号を画像圧縮する画像圧縮部２９とが接続される。この画像圧縮部２９で生成された画像圧縮ファイルは、記録部３０によって着脱自在な記録媒体に記録される。
さらに、電子カメラ１１には、システムコントロール用のマイクロプロセッサ３１が搭載される。例えば、このマイクロプロセッサ３１は、信号処理装置１６の各構成要件に対してレジスタ値を設定することによって、信号処理装置１６に対して種々の動作設定を行う。
【００２０】
［発明との対応関係］
以下、発明と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載のＯＢ欠陥補正部は、側部ＯＢキズ補正部１８または上部ＯＢキズ補正部１９に対応する。
請求項記載の信号補正部は、水平シェーディング補正部２１，暗電流オフセット部２３，またはＯＢクランプ部２５に対応する。
請求項記載の撮像部は、撮像素子１３およびタイミングジェネレータ１４に対応する。
【００２１】
［信号処理装置１６の動作説明］
以下、本発明の特徴である信号処理装置１６の信号処理について説明する。
まず、図２に示した走査順で撮像素子１３から順次出力される出力信号は、Ａ／Ｄ変換部１５を介してデジタル化された後、側部ＯＢキズ補正部１８に入力される。
【００２２】
この側部ＯＢキズ補正部１８は、側部オプチカルブラック領域１３Ｃの出力信号（側部ＯＢ信号）を、図３に示すように、カラーフィルタアレイの色ごとに区分する。側部ＯＢキズ補正部１８は、これら側部ＯＢ信号の色区分別にメディアンフィルタをかけて、側部ＯＢ信号のキズ欠陥を補正する。
ちなみに、図３では、ＲＧ行のＧ（いわゆるＧｒ）と、ＧＢ行のＧ（いわゆるＧｂ）とを区別することにより、４色に区分している。この場合、Ｇｒ，Ｇｂ，Ｒ，およびＢに対して同一態様のメディアンフィルタを使用することが可能になり、演算処理のタイミングや演算回路の構成が単純化できるという利点がある。
【００２３】
なお、Ｇｒ，ＧｂをまとめてＧ色として扱って、メディアンフィルタをかけてもよい。この場合は、より近い位置のＧ色を使って、欠陥箇所のＧ色をより正確に補正できる。
このような側部ＯＢキズ補正部１８の処理後、出力信号は上部ＯＢキズ補正部１９に順次入力される。上部ＯＢキズ補正部１９は、図４に示すように、上部オプチカルブラック領域１３Ｂの出力信号（上部ＯＢ信号）を、出力アンプ１３Ｄを通過したＲＢ信号と、出力アンプ１３Ｅを通過したＧ信号とに区分する。上部ＯＢキズ補正部１９は、上部ＯＢ信号のこの区分別にメディアンフィルタをかけて、上部ＯＢ信号のキズ欠陥を補正する。
【００２４】
なお、上部ＯＢキズ補正部１９は、図５に示すように、上部ＯＢ信号を１画素ラインおきに区分してもよい。この場合、カラーフィルタアレイのＲＧ行とＢＧ行とに上部ＯＢ信号が区分される。このような区分別にメディアンフィルタをかけることによって、上部ＯＢ信号のキズ欠陥を補正してもよい。
【００２５】
シェーディングバッファ２０は、上部ＯＢキズ補正部１９を通過した出力信号の内、欠陥補正済みの上部ＯＢ信号を選択的に取り込む。シェーディングバッファ２０は、この上部ＯＢ信号をＲＢｃｈとＧｃｈとに分けて、それぞれ垂直方向に加算して平均化する。さらに、シェーディングバッファ２０は、このように垂直方向に平均化された上部ＯＢ信号から、出力アンプ（ＲＢｃｈ，Ｇｃｈ）ごとに水平方向のレベル変動を抽出し、ＲＢｃｈの水平シェーディング分、およびＧｃｈの水平シェーディング分として別々に保持する。
【００２６】
水平シェーディング補正部２１は、上部ＯＢキズ補正部１９を通過した出力信号をＲＢｃｈとＧｃｈとに区分して取り込む。水平シェーディング補正部２１は、ＲＢｃｈの出力信号からＲＢｃｈの水平シェーディングを減算する。水平シェーディング補正部２１は、同様にＧｃｈのＧｃｈの水平シェーディングを減算する。
このようにして、撮像素子１３の出力アンプごとに、水平シェーディングの補正処理が実行される。
【００２７】
暗電流検出部２２は、水平シェーディング補正部２１を通過した出力信号の内、欠陥補正済みの上部ＯＢ信号を取り込む。暗電流検出部２２は、この欠陥補正済みの上部ＯＢ信号を平均化して直流分を抽出し、暗電流分として保持する。
暗電流オフセット部２３は、水平シェーディング補正部２１を通過した出力信号を取り込む。暗電流オフセット部２３は、この出力信号から、暗電流検出部２２に保持される暗電流分を一様に減算して、暗電流オフセット補正済みの出力信号を出力する。なお、この暗電流オフセット補正は、電子カメラ１１の長時間露光時のみ実施してもよい。
【００２８】
クランプバッファ２４は、暗電流オフセット部２３を通過した出力信号の内、欠陥補正済みの側部ＯＢ信号を選択的に取り込む。クランプバッファ２４は、この側部ＯＢ信号を水平ラインの色単位に平均化し、平均化された側部ＯＢ信号を、後続する当該ラインの色毎の光学的黒ラベルとして保持する。
【００２９】
ＯＢクランプ部２５は、暗電流オフセット部２３を通過した出力信号の内、有効画素領域１３Ａの出力信号を色ごとに取り込む。ＯＢクランプ部２５は、色ごとの光学的黒レベルを一定値に揃えるように、有効画素領域１３Ａの出力信号を色ごとにクランプする。
ＯＢクランプ部２５を通過した出力信号は、ゲイン補正部２６においてゲイン補正された後、信号処理装置１６から出力される。
【００３０】
［メディアンフィルタの詳細説明］
次に、側部ＯＢキズ補正部１８および上部ＯＢキズ補正部１９が実施するメディアンフィルタの具体的な処理内容について説明する。
図６［Ａ］は、図３〜５に示す区分後のＯＢ信号のデータ配列である（なお、Ｇ色やＲＢ色を選択的に抽出した場合には、市松模様状のデータ配列となる）。ここでは、説明を簡明にするため、ＯＢ信号の正常値を２００とし、異常値を４０００として示している。
【００３１】
まず、メディアンフィルタは、この区分後のデータ配列上において、処理対象であるＯＢ信号の位置を中心に、距離の近い順に所定数の周辺ＯＢ信号を抽出する。メディアンフィルタは、このように抽出した複数のＯＢ信号を局所範囲（例えば、３×３の範囲）とする。メディアンフィルタは、この局所範囲の各値からメディアン値（ソート後の中央値）を求める。メディアンフィルタは、処理対象のＯＢ信号をこのメディアン値に置き換える。
【００３２】
図６［Ｂ］は、上記のメディアンフィルタを実施した処理結果である。ここでは、図６［Ａ］に示される縦キズ（異常値４０００の縦並び）が正常値２００に欠陥補正されている。一方、四隅の値ゼロは、抽出した局所範囲の大半がデータ配列の外側にはみ出したために、メディアンフィルタを正常に施すことができなかった箇所である。
【００３３】
このような四隅の異常値発生を避けるためには、局所範囲の空白箇所にデフォルト値（ここでは１８０）を補填して、メディアンフィルタを実施することが好ましい。図６［Ｃ］は、このようなデフォルト値を補填した場合の処理結果である。この場合、四隅において異常値の発生を回避することができる。
図７［Ａ］は、ＯＢ信号に縦キズと横キズが交差状態に発生したケースである。図７［Ｂ］は、上述したメディアンフィルタをこのケースに施した処理結果である。この処理結果では、縦キズと横キズの交差箇所から異常値４０００が周囲に波及する。これは、縦キズと横キズの交差箇所において、局所範囲内の異常値の個数が正常値の個数を上回るために生じる現象である。
【００３４】
このようなキズの集結箇所において異常値の波及や残存を防止するためには、既に欠陥補正済みのＯＢ信号を局所範囲に逐次含めることが好ましい。図７［Ｃ］は、このように欠陥補正済みのＯＢ信号を局所範囲に逐次含めて欠陥補正を行った結果である。この場合、キズ欠陥の集結箇所において、異常値の個数が正常値の個数を上回ることがないため、異常値の波及や残存を防止することが可能になる。さらに、このような処理では、欠陥補正の進行に合わせてＯＢ信号を逐次更新すればよく、欠陥補正の前後のＯＢ信号を別個に記憶しておく必要がない。そのため、処理に必要なメモリ容量を低減することも可能になる。
【００３５】
［本実施形態の補足事項］
本実施形態では、図２に示す主走査方向Ｈおよび副走査方向Ｖに対応付けて、撮像面の水平方向および垂直方向を特定している。しかしながら、本発明の水平方向および垂直方向は、これに限定されるものではない。例えば、主走査方向を垂直方向とし、副走査方向を水平方向として本発明を実施してもかまわない。
【００３６】
また、本実施形態では、メディアンフィルタを用いてＯＢ信号の欠陥補正を行っている。しかしながら、本発明はこれに限定されるものではない。例えば、バイリニアやバイキュービックなどの公知の補間法を用いて、ＯＢ信号のキズ欠陥を補正してもよい。
【００３７】
なお、本実施形態では、上部オプチカルブラック領域を有効画素領域の上辺側に配置している。しかしながら、本発明はこれに限定されるものではない。上部オプチカルブラック領域は、有効画素領域の水平方向に沿って配置されていればよい。例えば、上部オプチカルブラック領域を有効画素領域の下辺側に配置してもよい。
【００３８】
【発明の効果】
《請求項１》
請求項１の発明では、オプチカルブラック領域に、例えば、ベイヤー配列におけるＲＧライン／ＢＧラインの交互配置のように、１画素ラインおきに同じ配列パターンのカラーフィルタが並ぶ。本発明では、オプチカルブラック領域をこの１画素ラインおきに区分し、配列パターンの等しい区分別にＯＢ信号の欠陥補正を実施する。
通常、同じ配列パターンのラインは、信号の生成・読み出しの条件が略等しい。そのため、これら同じ配列パターンのＯＢ信号は類似性が高くなる。
そこで、類似性の高い１画素ラインおき（同じ配列パターン）のＯＢ信号を参照することで、欠陥部分のＯＢ信号を一段と高い精度で推測（欠陥補正）することが可能になる。
また、この区分別の欠陥補正では、異なる配列パターンのＯＢ信号の値が混入しないため、同じ配列パターンのＯＢ信号が持つ特徴をよく保存することができる点で優れている。
その結果、配列パターンを区別しないＯＢ信号の欠陥補正よりも、高い精度でＯＢ信号の欠陥補正を行うことが可能になる。その結果、オプチカルブラック領域の欠陥による画像処理の異常を従来以上に改善することが可能になる。
【００３９】
《請求項２，３》
請求項２，３の発明では、撮像部の出力アンプの出力別に、ＯＢ信号の欠陥補正を実施する。
通常、共通の出力アンプを通過したＯＢ信号は、ゲイン特性や位相特性が共通する。さらに、同じ出力アンプを通過したＯＢ信号は、撮像部の内部経路もかなりの部分が共通する。
これらの理由から、共通の出力アンプを通過したＯＢ信号は、異なる出力アンプを通過したＯＢ信号に比べて、類似性が極めて高い。そこで、出力アンプごとにＯＢ信号の欠陥補正を行うことで、類似性の高い近傍のＯＢ信号を選択的に参照することが可能になり、ＯＢ信号の欠陥部分を一段と高い精度で推測することが可能になる。
また、この区分別の欠陥補正では、異なる出力アンプを通過したＯＢ信号の値が混入しないため、同じ出力アンプを通過したＯＢ信号が持つ特徴をよく保存できる点で優れている。
その結果、出力アンプを区別しないＯＢ信号の欠陥補正よりも、高い精度でＯＢ信号の欠陥補正を行うことが可能になる。その結果、オプチカルブラック領域の欠陥による画像処理の異常を従来以上に改善することが可能になる。
なお、請求項３の発明では、上記のように出力アンプの出力別にＯＢ信号の欠陥補正を行った後、ＯＢ信号を基準にしたシェーディング補正を出力アンプの出力別に実施する。
この場合、出力アンプ別にＯＢ信号を欠陥補正しているため、欠陥補正後のＯＢ信号には、出力アンプの出力別に現れるシェーディング変化の特徴が厳密に保存されている。このＯＢ信号を基準に、出力アンプ別にシェーディング補正を実施することにより、有効画素領域のシェーディングをより高精度に除去することが可能になる。
【００４０】
《請求項４，５》
請求項４の発明では、オプチカルブラック領域におけるカラーフィルタアレイの色別に、ＯＢ信号の欠陥補正を実施する。
通常、カラーフィルタアレイの色が共通するＯＢ信号は、信号の生成・読み出しの条件が略等しい。そのためカラーフィルタの色ごとに区別したＯＢ信号は極めて類似性が高くなる。
そこで、カラーフィルタの色ごとに区別してＯＢ信号の欠陥補正を行うことで、類似性の高い近傍のＯＢ信号を選択的に参照することが可能になり、ＯＢ信号の欠陥部分を一段と高い精度で補正することが可能になる。
その結果、色ごとの区別をしないＯＢ信号の欠陥補正よりも、高い精度でＯＢ信号の欠陥補正を行うことが可能になる。その結果、オプチカルブラック領域の欠陥による画像処理の異常を従来以上に改善することが可能になる。
また、この区分別の欠陥補正では、異なる色のＯＢ信号の値が混入しないため、色別のＯＢ信号が持つ特徴をよく保存できる点で優れている。
なお、請求項５の発明では、上記のようにカラーフィルタの色別にＯＢ信号の欠陥補正を行った後、ＯＢクランプ（光学的黒レベルを基準にしたクランプ補正）をカラーフィルタの色別に実施する。
この場合、色別にＯＢ信号を欠陥補正しているため、カラーフィルタの色が異なるＯＢ信号が欠陥補正によって混入するおそれが一切なく、色毎の光学的黒レベルを厳密に保つことができる。そのため、カラーフィルタの色別のＯＢクランプを厳密に実施することが可能になり、有効画素領域の黒レベルを高精度に補正できる。
【００４１】
《請求項６》
請求項６の発明では、ＯＢ信号の欠陥補正にメディアンフィルタを使用する。上述した特許文献１では、欠陥箇所を１画素前のＯＢ信号で置換する。そのため、欠陥箇所に限定して置換処理を実施しなければならない（仮に、全域にわたって置換処理を実施すると、欠陥箇所の次の画素には欠陥値が置換されてしまうため、欠陥箇所が移動するだけで消滅することはない）。
そのため、特許文献１では、オプチカルブラック領域の欠陥箇所のアドレスを事前に記憶しておく必要がある。この場合、経年変化によって欠陥箇所が変化（増加）した場合に柔軟に対応できない。
しかしながら、請求項６の発明では、メディアンフィルタによって欠陥補正を行う。そのため、オプチカルブラック領域のほぼ全域にメディアンフィルタをかけることで、ＯＢ信号の殆どの欠陥箇所を補正できる。この場合は、特許文献１とは異なり、欠陥箇所のアドレスを事前に記憶しておく必要がない。さらに、製品の経年変化により欠陥箇所が変化（例えば増加）しても柔軟に対応することができる。
【００４２】
《請求項７》
請求項７の発明では、ＯＢ信号の欠陥補正に際して、空間フィルタ処理において参照する局所範囲に空白箇所がある場合、その空白箇所にデフォルト値を補填する。
その結果、空白箇所を含む局所範囲についても、ＯＢ信号の欠陥補正が可能となる。そのため、もともと少ないＯＢ信号のデータ数が欠陥補正を経て極端に減ってしまうことがなく、ＯＢ信号を用いた画像処理に支障は生じにくい。
【００４３】
《請求項８》
請求項８の発明では、ＯＢ信号の欠陥補正に際して、空間フィルタ処理で参照する局所範囲に、既に欠陥補正済みのＯＢ信号を逐次含める。
通常、オプチカルブラック領域において複数の欠陥箇所が連続して集結した場合、その集結範囲の中央まで欠陥補正を及ぼすことは困難になる。しかしながら、欠陥補正済みのＯＢ信号を局所範囲に逐次含めることにより、欠陥箇所の集結範囲の端から中央へ欠陥補正を強力に推し進めることができる。その結果、従来困難であったキズ欠陥が連続した集結箇所をより確実に欠陥補正することが可能になる。
その結果、オプチカルブラック領域の複数の欠陥箇所が連続している撮像部を良品として使用することが可能になり、撮像部の要求仕様を下げて低コスト化を実現することが可能になる。
【図面の簡単な説明】
【図１】本実施形態における電子カメラ１１を示す図である。
【図２】撮像素子１３の撮像面を説明する図である。
【図３】側部ＯＢ信号を色単位に区分する様子を説明する図である。
【図４】上部ＯＢ信号を出力アンプごとに区分する様子を説明する図である。
【図５】上部ＯＢ信号を１画素ラインおきに区分する様子を説明する図である。
【図６】メディアンフィルタによるＯＢ信号の欠陥補正を説明する図である。
【図７】メディアンフィルタによるＯＢ信号の欠陥補正を説明する図である。
【符号の説明】
１３ 撮像素子
１３Ａ 有効画素領域
１３Ｂ 上部オプチカルブラック領域
１３Ｃ 側部オプチカルブラック領域
１４ タイミングジェネレータ
１５ Ａ／Ｄ変換部
１６ 信号処理装置
１８ 側部ＯＢキズ補正部
１９ 上部ＯＢキズ補正部
２０ シェーディングバッファ
２１ 水平シェーディング補正部
２２ 暗電流検出部
２３ 暗電流オフセット部
２４ クランプバッファ
２５ ＯＢクランプ部
２６ ゲイン補正部
２７ バッファメモリ
２８ 画像処理部
２９ 画像圧縮部
３０ 記録部
３１ マイクロプロセッサ
【発明の属する技術分野】
本発明は、撮像部のオプチカルブラック領域で生成されるＯＢ信号に対して欠陥補正を行う信号処理技術に関する。
【０００２】
【従来の技術】
従来、オプチカルブラック領域の欠陥画素による画像処理の異常を改善する技術として、下記の特許文献１が知られている。
この特許文献１では、予め記憶されているオプチカルブラック領域のキズアドレスに基づいて、ＯＢ信号の読み出しを禁止したり、隣接するＯＢ信号に置換することによって、ＯＢ信号の欠陥補正を行う。
このようなＯＢ信号の欠陥補正により、撮像素子の良品率を高めることが可能になり、電子カメラに使用する撮像素子のコストを低減できる。
【特許文献１】
特開２００１−１４５０２６号公報（請求項１，請求項２，段落００６１）
【０００３】
【発明が解決しようとする課題】
近年、オプチカルブラック領域で生成されるＯＢ信号は、ＯＢクランプの他にも、画像処理の基準として他用途に使用される傾向にある。そのため、ＯＢ信号の欠陥補正については、これらの画像処理に支障を生じないよう、高精度かつ確実な欠陥補正が好ましい。
そこで、本発明では、ＯＢ信号のキズ欠陥の補正精度や確実性を一段と高めることによって、オプチカルブラック領域のキズ欠陥に起因する画像処理の異常をさらに改善することを目的する。
【０００４】
【課題を解決するための手段】
以下、本発明について説明する。
【０００５】
《請求項１》
請求項１に記載の信号処理装置は、被写体像を光電変換する有効画素領域と、遮光状態のオプチカルブラック領域とを備えた撮像部の出力信号に対して、信号処理を施す信号処理装置であって、オプチカルブラック領域の出力信号（以下『ＯＢ信号』という）に対して欠陥補正の空間フィルタ処理を行い、欠陥補正済みのＯＢ信号を得るＯＢ欠陥補正部と、欠陥補正済みのＯＢ信号を基準レベルとして、有効画素領域の出力信号を補正する信号補正部とを備える。
なお、このオプチカルブラック領域および有効画素領域には、１画素ラインおきに同じ配列パターンとなるカラーフィルタアレイが配置される。上述のＯＢ欠陥補正部は、オプチカルブラック領域の１画素ラインおきのＯＢ信号を区分し、これらの同じ配列パターンとなる区分別に空間フィルタ処理を行うことにより、ＯＢ信号の欠陥補正を行う。
【０００６】
《請求項２》
請求項２に記載の信号処理装置は、『被写体像を光電変換する有効画素領域』および『遮光状態のオプチカルブラック領域』を有する信号生成領域と、信号生成領域で生成された信号を分配して出力する複数の出力アンプとを備えた撮像部の出力信号に対して、信号処理を施す信号処理装置であって、オプチカルブラック領域の出力信号（以下『ＯＢ信号』という）に対して欠陥補正の空間フィルタ処理を行い、欠陥補正済みのＯＢ信号を得るＯＢ欠陥補正部と、欠陥補正済みのＯＢ信号を基準レベルとして有効画素領域の出力信号を補正する信号補正部とを備える。特に、上述のＯＢ欠陥補正部は、複数の出力アンプの出力別にＯＢ信号の欠陥補正を実施する。
【０００７】
《請求項３》
請求項３に記載の発明は、請求項２に記載の信号処理装置において、オプチカルブラック領域は、有効画素領域の水平方向に沿って配置された上部オプチカルブラック領域を含み、信号補正部は、信号補正として、欠陥補正済みのＯＢ信号に基づいて、出力アンプ別に水平シェーディングをそれぞれ求め、求めた水平シェーディングを有効画素領域の出力信号から減算することを特徴とする。
【０００８】
《請求項４》
請求項４に記載の信号処理装置は、被写体像を光電変換する有効画素領域と、遮光状態のオプチカルブラック領域とを備えた撮像部の出力信号に対して、信号処理を施す信号処理装置であって、オプチカルブラック領域の出力信号（以下『ＯＢ信号』という）に対して欠陥補正の空間フィルタ処理を行い、欠陥補正済みのＯＢ信号を得るＯＢ欠陥補正部と、欠陥補正済みのＯＢ信号を基準レベルとして、有効画素領域の出力信号を補正する信号補正部とを備える。なお、この有効画素領域およびオプチカルブラック領域には、カラーフィルタアレイが配置される。特に、上述のＯＢ欠陥補正部は、このカラーフィルタアレイの色別にＯＢ信号を区分し、その区分別に欠陥補正を実施する。
【０００９】
《請求項５》
請求項５に記載の発明は、請求項４に記載の信号処理装置において、オプチカルブラック領域は、有効画素領域の垂直方向に沿って配置された側部オプチカルブラック領域を含み、信号補正部は、ＯＢ欠陥補正部により、色ごとに欠陥補正されたＯＢ信号に基づいて、有効画素領域の水平ラインの色単位に光学的黒レベルを求め、水平ラインの色毎の光学的黒レベルを一定に揃えるように、有効画素領域の出力信号をクランプすることを特徴とする。
【００１０】
《請求項６》
請求項６に記載の発明は、請求項１ないし請求項５のいずれか一項に記載の信号処理装置において、ＯＢ欠陥補正部が実施する空間フィルタ処理は、メディアンフィルタであることを特徴とする。
【００１１】
《請求項７》
請求項７に記載の発明は、請求項１ないし請求項６のいずれか一項に記載の信号処理装置において、ＯＢ欠陥補正部は、空間フィルタ処理で参照する局所範囲の空白箇所にデフォルト値を補填することを特徴とする。
【００１２】
《請求項８》
請求項８に記載の発明は、請求項１ないし請求項７のいずれか一項に記載の信号処理装置において、ＯＢ欠陥補正部は、空間フィルタ処理で参照する局所範囲に、既に欠陥補正済みのＯＢ信号を逐次含めることを特徴とする。
【００１３】
《請求項９》
請求項９に記載の電子カメラは、被写体像を光電変換する有効画素領域と、遮光状態のオプチカルブラック領域とを備えた撮像部と、請求項１ないし請求項８のいずれか一項に記載の信号処理装置とを備えたことを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
図１は、本実施形態における電子カメラ１１を示す図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の撮像面が配置される。
【００１５】
この撮像素子１３の撮像面には、図２に示すように、有効画素領域１３Ａ，上部オプチカルブラック領域１３Ｂ，および側部オプチカルブラック領域１３Ｃがそれぞれ設けられる。これら領域の上には、ベイヤー配列のカラーフィルタアレイが配置される。
この有効画素領域１３Ａは、被写体像を光電変換して画像信号を生成する領域である。一方、上部オプチカルブラック領域１３Ｂは、有効画素領域１３Ａの水平方向に沿って上部に配置された領域であり、アルミ遮光膜によって遮光状態に置かれる。また、側部オプチカルブラック領域１３Ｃは、有効画素領域１３Ａの垂直方向に沿って左右にそれぞれ配置された領域であり、アルミ遮光膜によって遮光状態に置かれる。
【００１６】
タイミングジェネレータ１４は、撮像素子１３を駆動して、上記の各領域１３Ａ〜１３Ｃからの出力信号を、図２に示す主走査方向Ｈおよび副走査方向Ｖに走査して順次に読み出す。撮像素子１３の内部では、これらの出力信号の経路は、Ｒ色およびＢ色の信号経路（ＲＢｃｈ）と、Ｇ色の信号経路（Ｇｃｈ）とに分けられる。このＲＢｃｈの出力信号は、出力アンプ１３Ｄを介して外部に出力される。一方、Ｇｃｈの出力信号は、出力アンプ１３Ｅを介して外部に出力される。
【００１７】
これらの出力信号は、Ａ／Ｄ変換部１５を介してデジタル化された後、信号処理装置１６に入力される。また、タイミングジェネレータ１４からは、出力信号と同期した水平同期信号ＨＤ，垂直同期信号ＶＤおよび画素クロックＰが出力される。これら信号も、信号処理装置１６に入力される。
この信号処理装置１６の内部には、下記の構成要件が設けられる。
【００１８】
［１］側部ＯＢキズ補正部１８
［２］上部ＯＢキズ補正部１９
［３］シェーディングバッファ２０
［４］水平シェーディング補正部２１
［５］暗電流検出部２２
［６］暗電流オフセット部２３
［７］クランプバッファ２４
［８］ＯＢクランプ部２５
［９］ゲイン補正部２６
これらの構成要件は、図１に示す信号経路に沿って出力信号をパイプライン式に、ほぼリアルタイムに処理する。
【００１９】
信号処理装置１６から出力された有効画素領域１３Ａの出力信号（すなわち画像信号）は、バッファメモリ２７に一時記憶される。
このバッファメモリ２７のデータバスには、画像信号に色補間や輪郭強調などを施す画像処理部２８と、画像信号を画像圧縮する画像圧縮部２９とが接続される。この画像圧縮部２９で生成された画像圧縮ファイルは、記録部３０によって着脱自在な記録媒体に記録される。
さらに、電子カメラ１１には、システムコントロール用のマイクロプロセッサ３１が搭載される。例えば、このマイクロプロセッサ３１は、信号処理装置１６の各構成要件に対してレジスタ値を設定することによって、信号処理装置１６に対して種々の動作設定を行う。
【００２０】
［発明との対応関係］
以下、発明と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載のＯＢ欠陥補正部は、側部ＯＢキズ補正部１８または上部ＯＢキズ補正部１９に対応する。
請求項記載の信号補正部は、水平シェーディング補正部２１，暗電流オフセット部２３，またはＯＢクランプ部２５に対応する。
請求項記載の撮像部は、撮像素子１３およびタイミングジェネレータ１４に対応する。
【００２１】
［信号処理装置１６の動作説明］
以下、本発明の特徴である信号処理装置１６の信号処理について説明する。
まず、図２に示した走査順で撮像素子１３から順次出力される出力信号は、Ａ／Ｄ変換部１５を介してデジタル化された後、側部ＯＢキズ補正部１８に入力される。
【００２２】
この側部ＯＢキズ補正部１８は、側部オプチカルブラック領域１３Ｃの出力信号（側部ＯＢ信号）を、図３に示すように、カラーフィルタアレイの色ごとに区分する。側部ＯＢキズ補正部１８は、これら側部ＯＢ信号の色区分別にメディアンフィルタをかけて、側部ＯＢ信号のキズ欠陥を補正する。
ちなみに、図３では、ＲＧ行のＧ（いわゆるＧｒ）と、ＧＢ行のＧ（いわゆるＧｂ）とを区別することにより、４色に区分している。この場合、Ｇｒ，Ｇｂ，Ｒ，およびＢに対して同一態様のメディアンフィルタを使用することが可能になり、演算処理のタイミングや演算回路の構成が単純化できるという利点がある。
【００２３】
なお、Ｇｒ，ＧｂをまとめてＧ色として扱って、メディアンフィルタをかけてもよい。この場合は、より近い位置のＧ色を使って、欠陥箇所のＧ色をより正確に補正できる。
このような側部ＯＢキズ補正部１８の処理後、出力信号は上部ＯＢキズ補正部１９に順次入力される。上部ＯＢキズ補正部１９は、図４に示すように、上部オプチカルブラック領域１３Ｂの出力信号（上部ＯＢ信号）を、出力アンプ１３Ｄを通過したＲＢ信号と、出力アンプ１３Ｅを通過したＧ信号とに区分する。上部ＯＢキズ補正部１９は、上部ＯＢ信号のこの区分別にメディアンフィルタをかけて、上部ＯＢ信号のキズ欠陥を補正する。
【００２４】
なお、上部ＯＢキズ補正部１９は、図５に示すように、上部ＯＢ信号を１画素ラインおきに区分してもよい。この場合、カラーフィルタアレイのＲＧ行とＢＧ行とに上部ＯＢ信号が区分される。このような区分別にメディアンフィルタをかけることによって、上部ＯＢ信号のキズ欠陥を補正してもよい。
【００２５】
シェーディングバッファ２０は、上部ＯＢキズ補正部１９を通過した出力信号の内、欠陥補正済みの上部ＯＢ信号を選択的に取り込む。シェーディングバッファ２０は、この上部ＯＢ信号をＲＢｃｈとＧｃｈとに分けて、それぞれ垂直方向に加算して平均化する。さらに、シェーディングバッファ２０は、このように垂直方向に平均化された上部ＯＢ信号から、出力アンプ（ＲＢｃｈ，Ｇｃｈ）ごとに水平方向のレベル変動を抽出し、ＲＢｃｈの水平シェーディング分、およびＧｃｈの水平シェーディング分として別々に保持する。
【００２６】
水平シェーディング補正部２１は、上部ＯＢキズ補正部１９を通過した出力信号をＲＢｃｈとＧｃｈとに区分して取り込む。水平シェーディング補正部２１は、ＲＢｃｈの出力信号からＲＢｃｈの水平シェーディングを減算する。水平シェーディング補正部２１は、同様にＧｃｈのＧｃｈの水平シェーディングを減算する。
このようにして、撮像素子１３の出力アンプごとに、水平シェーディングの補正処理が実行される。
【００２７】
暗電流検出部２２は、水平シェーディング補正部２１を通過した出力信号の内、欠陥補正済みの上部ＯＢ信号を取り込む。暗電流検出部２２は、この欠陥補正済みの上部ＯＢ信号を平均化して直流分を抽出し、暗電流分として保持する。
暗電流オフセット部２３は、水平シェーディング補正部２１を通過した出力信号を取り込む。暗電流オフセット部２３は、この出力信号から、暗電流検出部２２に保持される暗電流分を一様に減算して、暗電流オフセット補正済みの出力信号を出力する。なお、この暗電流オフセット補正は、電子カメラ１１の長時間露光時のみ実施してもよい。
【００２８】
クランプバッファ２４は、暗電流オフセット部２３を通過した出力信号の内、欠陥補正済みの側部ＯＢ信号を選択的に取り込む。クランプバッファ２４は、この側部ＯＢ信号を水平ラインの色単位に平均化し、平均化された側部ＯＢ信号を、後続する当該ラインの色毎の光学的黒ラベルとして保持する。
【００２９】
ＯＢクランプ部２５は、暗電流オフセット部２３を通過した出力信号の内、有効画素領域１３Ａの出力信号を色ごとに取り込む。ＯＢクランプ部２５は、色ごとの光学的黒レベルを一定値に揃えるように、有効画素領域１３Ａの出力信号を色ごとにクランプする。
ＯＢクランプ部２５を通過した出力信号は、ゲイン補正部２６においてゲイン補正された後、信号処理装置１６から出力される。
【００３０】
［メディアンフィルタの詳細説明］
次に、側部ＯＢキズ補正部１８および上部ＯＢキズ補正部１９が実施するメディアンフィルタの具体的な処理内容について説明する。
図６［Ａ］は、図３〜５に示す区分後のＯＢ信号のデータ配列である（なお、Ｇ色やＲＢ色を選択的に抽出した場合には、市松模様状のデータ配列となる）。ここでは、説明を簡明にするため、ＯＢ信号の正常値を２００とし、異常値を４０００として示している。
【００３１】
まず、メディアンフィルタは、この区分後のデータ配列上において、処理対象であるＯＢ信号の位置を中心に、距離の近い順に所定数の周辺ＯＢ信号を抽出する。メディアンフィルタは、このように抽出した複数のＯＢ信号を局所範囲（例えば、３×３の範囲）とする。メディアンフィルタは、この局所範囲の各値からメディアン値（ソート後の中央値）を求める。メディアンフィルタは、処理対象のＯＢ信号をこのメディアン値に置き換える。
【００３２】
図６［Ｂ］は、上記のメディアンフィルタを実施した処理結果である。ここでは、図６［Ａ］に示される縦キズ（異常値４０００の縦並び）が正常値２００に欠陥補正されている。一方、四隅の値ゼロは、抽出した局所範囲の大半がデータ配列の外側にはみ出したために、メディアンフィルタを正常に施すことができなかった箇所である。
【００３３】
このような四隅の異常値発生を避けるためには、局所範囲の空白箇所にデフォルト値（ここでは１８０）を補填して、メディアンフィルタを実施することが好ましい。図６［Ｃ］は、このようなデフォルト値を補填した場合の処理結果である。この場合、四隅において異常値の発生を回避することができる。
図７［Ａ］は、ＯＢ信号に縦キズと横キズが交差状態に発生したケースである。図７［Ｂ］は、上述したメディアンフィルタをこのケースに施した処理結果である。この処理結果では、縦キズと横キズの交差箇所から異常値４０００が周囲に波及する。これは、縦キズと横キズの交差箇所において、局所範囲内の異常値の個数が正常値の個数を上回るために生じる現象である。
【００３４】
このようなキズの集結箇所において異常値の波及や残存を防止するためには、既に欠陥補正済みのＯＢ信号を局所範囲に逐次含めることが好ましい。図７［Ｃ］は、このように欠陥補正済みのＯＢ信号を局所範囲に逐次含めて欠陥補正を行った結果である。この場合、キズ欠陥の集結箇所において、異常値の個数が正常値の個数を上回ることがないため、異常値の波及や残存を防止することが可能になる。さらに、このような処理では、欠陥補正の進行に合わせてＯＢ信号を逐次更新すればよく、欠陥補正の前後のＯＢ信号を別個に記憶しておく必要がない。そのため、処理に必要なメモリ容量を低減することも可能になる。
【００３５】
［本実施形態の補足事項］
本実施形態では、図２に示す主走査方向Ｈおよび副走査方向Ｖに対応付けて、撮像面の水平方向および垂直方向を特定している。しかしながら、本発明の水平方向および垂直方向は、これに限定されるものではない。例えば、主走査方向を垂直方向とし、副走査方向を水平方向として本発明を実施してもかまわない。
【００３６】
また、本実施形態では、メディアンフィルタを用いてＯＢ信号の欠陥補正を行っている。しかしながら、本発明はこれに限定されるものではない。例えば、バイリニアやバイキュービックなどの公知の補間法を用いて、ＯＢ信号のキズ欠陥を補正してもよい。
【００３７】
なお、本実施形態では、上部オプチカルブラック領域を有効画素領域の上辺側に配置している。しかしながら、本発明はこれに限定されるものではない。上部オプチカルブラック領域は、有効画素領域の水平方向に沿って配置されていればよい。例えば、上部オプチカルブラック領域を有効画素領域の下辺側に配置してもよい。
【００３８】
【発明の効果】
《請求項１》
請求項１の発明では、オプチカルブラック領域に、例えば、ベイヤー配列におけるＲＧライン／ＢＧラインの交互配置のように、１画素ラインおきに同じ配列パターンのカラーフィルタが並ぶ。本発明では、オプチカルブラック領域をこの１画素ラインおきに区分し、配列パターンの等しい区分別にＯＢ信号の欠陥補正を実施する。
通常、同じ配列パターンのラインは、信号の生成・読み出しの条件が略等しい。そのため、これら同じ配列パターンのＯＢ信号は類似性が高くなる。
そこで、類似性の高い１画素ラインおき（同じ配列パターン）のＯＢ信号を参照することで、欠陥部分のＯＢ信号を一段と高い精度で推測（欠陥補正）することが可能になる。
また、この区分別の欠陥補正では、異なる配列パターンのＯＢ信号の値が混入しないため、同じ配列パターンのＯＢ信号が持つ特徴をよく保存することができる点で優れている。
その結果、配列パターンを区別しないＯＢ信号の欠陥補正よりも、高い精度でＯＢ信号の欠陥補正を行うことが可能になる。その結果、オプチカルブラック領域の欠陥による画像処理の異常を従来以上に改善することが可能になる。
【００３９】
《請求項２，３》
請求項２，３の発明では、撮像部の出力アンプの出力別に、ＯＢ信号の欠陥補正を実施する。
通常、共通の出力アンプを通過したＯＢ信号は、ゲイン特性や位相特性が共通する。さらに、同じ出力アンプを通過したＯＢ信号は、撮像部の内部経路もかなりの部分が共通する。
これらの理由から、共通の出力アンプを通過したＯＢ信号は、異なる出力アンプを通過したＯＢ信号に比べて、類似性が極めて高い。そこで、出力アンプごとにＯＢ信号の欠陥補正を行うことで、類似性の高い近傍のＯＢ信号を選択的に参照することが可能になり、ＯＢ信号の欠陥部分を一段と高い精度で推測することが可能になる。
また、この区分別の欠陥補正では、異なる出力アンプを通過したＯＢ信号の値が混入しないため、同じ出力アンプを通過したＯＢ信号が持つ特徴をよく保存できる点で優れている。
その結果、出力アンプを区別しないＯＢ信号の欠陥補正よりも、高い精度でＯＢ信号の欠陥補正を行うことが可能になる。その結果、オプチカルブラック領域の欠陥による画像処理の異常を従来以上に改善することが可能になる。
なお、請求項３の発明では、上記のように出力アンプの出力別にＯＢ信号の欠陥補正を行った後、ＯＢ信号を基準にしたシェーディング補正を出力アンプの出力別に実施する。
この場合、出力アンプ別にＯＢ信号を欠陥補正しているため、欠陥補正後のＯＢ信号には、出力アンプの出力別に現れるシェーディング変化の特徴が厳密に保存されている。このＯＢ信号を基準に、出力アンプ別にシェーディング補正を実施することにより、有効画素領域のシェーディングをより高精度に除去することが可能になる。
【００４０】
《請求項４，５》
請求項４の発明では、オプチカルブラック領域におけるカラーフィルタアレイの色別に、ＯＢ信号の欠陥補正を実施する。
通常、カラーフィルタアレイの色が共通するＯＢ信号は、信号の生成・読み出しの条件が略等しい。そのためカラーフィルタの色ごとに区別したＯＢ信号は極めて類似性が高くなる。
そこで、カラーフィルタの色ごとに区別してＯＢ信号の欠陥補正を行うことで、類似性の高い近傍のＯＢ信号を選択的に参照することが可能になり、ＯＢ信号の欠陥部分を一段と高い精度で補正することが可能になる。
その結果、色ごとの区別をしないＯＢ信号の欠陥補正よりも、高い精度でＯＢ信号の欠陥補正を行うことが可能になる。その結果、オプチカルブラック領域の欠陥による画像処理の異常を従来以上に改善することが可能になる。
また、この区分別の欠陥補正では、異なる色のＯＢ信号の値が混入しないため、色別のＯＢ信号が持つ特徴をよく保存できる点で優れている。
なお、請求項５の発明では、上記のようにカラーフィルタの色別にＯＢ信号の欠陥補正を行った後、ＯＢクランプ（光学的黒レベルを基準にしたクランプ補正）をカラーフィルタの色別に実施する。
この場合、色別にＯＢ信号を欠陥補正しているため、カラーフィルタの色が異なるＯＢ信号が欠陥補正によって混入するおそれが一切なく、色毎の光学的黒レベルを厳密に保つことができる。そのため、カラーフィルタの色別のＯＢクランプを厳密に実施することが可能になり、有効画素領域の黒レベルを高精度に補正できる。
【００４１】
《請求項６》
請求項６の発明では、ＯＢ信号の欠陥補正にメディアンフィルタを使用する。上述した特許文献１では、欠陥箇所を１画素前のＯＢ信号で置換する。そのため、欠陥箇所に限定して置換処理を実施しなければならない（仮に、全域にわたって置換処理を実施すると、欠陥箇所の次の画素には欠陥値が置換されてしまうため、欠陥箇所が移動するだけで消滅することはない）。
そのため、特許文献１では、オプチカルブラック領域の欠陥箇所のアドレスを事前に記憶しておく必要がある。この場合、経年変化によって欠陥箇所が変化（増加）した場合に柔軟に対応できない。
しかしながら、請求項６の発明では、メディアンフィルタによって欠陥補正を行う。そのため、オプチカルブラック領域のほぼ全域にメディアンフィルタをかけることで、ＯＢ信号の殆どの欠陥箇所を補正できる。この場合は、特許文献１とは異なり、欠陥箇所のアドレスを事前に記憶しておく必要がない。さらに、製品の経年変化により欠陥箇所が変化（例えば増加）しても柔軟に対応することができる。
【００４２】
《請求項７》
請求項７の発明では、ＯＢ信号の欠陥補正に際して、空間フィルタ処理において参照する局所範囲に空白箇所がある場合、その空白箇所にデフォルト値を補填する。
その結果、空白箇所を含む局所範囲についても、ＯＢ信号の欠陥補正が可能となる。そのため、もともと少ないＯＢ信号のデータ数が欠陥補正を経て極端に減ってしまうことがなく、ＯＢ信号を用いた画像処理に支障は生じにくい。
【００４３】
《請求項８》
請求項８の発明では、ＯＢ信号の欠陥補正に際して、空間フィルタ処理で参照する局所範囲に、既に欠陥補正済みのＯＢ信号を逐次含める。
通常、オプチカルブラック領域において複数の欠陥箇所が連続して集結した場合、その集結範囲の中央まで欠陥補正を及ぼすことは困難になる。しかしながら、欠陥補正済みのＯＢ信号を局所範囲に逐次含めることにより、欠陥箇所の集結範囲の端から中央へ欠陥補正を強力に推し進めることができる。その結果、従来困難であったキズ欠陥が連続した集結箇所をより確実に欠陥補正することが可能になる。
その結果、オプチカルブラック領域の複数の欠陥箇所が連続している撮像部を良品として使用することが可能になり、撮像部の要求仕様を下げて低コスト化を実現することが可能になる。
【図面の簡単な説明】
【図１】本実施形態における電子カメラ１１を示す図である。
【図２】撮像素子１３の撮像面を説明する図である。
【図３】側部ＯＢ信号を色単位に区分する様子を説明する図である。
【図４】上部ＯＢ信号を出力アンプごとに区分する様子を説明する図である。
【図５】上部ＯＢ信号を１画素ラインおきに区分する様子を説明する図である。
【図６】メディアンフィルタによるＯＢ信号の欠陥補正を説明する図である。
【図７】メディアンフィルタによるＯＢ信号の欠陥補正を説明する図である。
【符号の説明】
１３ 撮像素子
１３Ａ 有効画素領域
１３Ｂ 上部オプチカルブラック領域
１３Ｃ 側部オプチカルブラック領域
１４ タイミングジェネレータ
１５ Ａ／Ｄ変換部
１６ 信号処理装置
１８ 側部ＯＢキズ補正部
１９ 上部ＯＢキズ補正部
２０ シェーディングバッファ
２１ 水平シェーディング補正部
２２ 暗電流検出部
２３ 暗電流オフセット部
２４ クランプバッファ
２５ ＯＢクランプ部
２６ ゲイン補正部
２７ バッファメモリ
２８ 画像処理部
２９ 画像圧縮部
３０ 記録部
３１ マイクロプロセッサ
Claims (9)
- 被写体像を光電変換する有効画素領域と、遮光状態のオプチカルブラック領域とを備えた撮像部の出力信号に対して、信号処理を施す信号処理装置であって、
前記オプチカルブラック領域の出力信号（以下『ＯＢ信号』という）に対して欠陥補正の空間フィルタ処理を行い、欠陥補正済みのＯＢ信号を得るＯＢ欠陥補正部と、
前記欠陥補正済みのＯＢ信号を基準レベルとして、前記有効画素領域の出力信号を補正する信号補正部とを備え、
前記オプチカルブラック領域および前記有効画素領域には、１画素ラインおきに同じ配列パターンとなるカラーフィルタアレイが配置され、
前記ＯＢ欠陥補正部は、前記オプチカルブラック領域を前記１画素ラインおきに区分し、前記区分別に前記空間フィルタ処理を行うことにより、前記ＯＢ信号の欠陥補正を行う
ことを特徴とする信号処理装置。 - 被写体像を光電変換する有効画素領域、および遮光状態のオプチカルブラック領域を有する信号生成領域と、前記信号生成領域で生成された信号を分配して出力する複数の出力アンプとを備えた撮像部の出力信号に対して、信号処理を施す信号処理装置であって、
前記オプチカルブラック領域の出力信号（以下『ＯＢ信号』という）に対して欠陥補正の空間フィルタ処理を行い、欠陥補正済みのＯＢ信号を得るＯＢ欠陥補正部と、
前記欠陥補正済みのＯＢ信号を基準レベルとして、前記有効画素領域の出力信号を補正する信号補正部とを備え、
前記ＯＢ欠陥補正部は、
前記複数の出力アンプの出力別に、前記ＯＢ信号の前記欠陥補正を実施する
ことを特徴とする信号処理装置。 - 請求項２に記載の信号処理装置において、
前記オプチカルブラック領域は、前記有効画素領域の水平方向に沿って配置された上部オプチカルブラック領域を含み、
前記信号補正部は、欠陥補正済みの前記ＯＢ信号に基づいて、前記出力アンプ別に水平シェーディングを求め、求めた前記水平シェーディングを前記有効画素領域の出力信号から減算する
ことを特徴とする信号処理装置。 - 被写体像を光電変換する有効画素領域と、遮光状態のオプチカルブラック領域とを備えた撮像部の出力信号に対して、信号処理を施す信号処理装置であって、
前記オプチカルブラック領域の出力信号（以下『ＯＢ信号』という）に対して欠陥補正の空間フィルタ処理を行い、欠陥補正済みのＯＢ信号を得るＯＢ欠陥補正部と、
前記欠陥補正済みのＯＢ信号を基準レベルとして、前記有効画素領域の出力信号を補正する信号補正部とを備え、
前記オプチカルブラック領域および前記有効画素領域には、複数色からなるカラーフィルタアレイが配置され、
前記ＯＢ欠陥補正部は、前記カラーフィルタアレイの色別に前記欠陥補正を実施する
ことを特徴とする信号処理装置。 - 請求項４に記載の信号処理装置において、
前記オプチカルブラック領域は、前記有効画素領域の垂直方向に沿って配置された側部オプチカルブラック領域を含み、
前記信号補正部は、色ごとに欠陥補正された前記ＯＢ信号に基づいて、前記有効画素領域の水平ラインの色単位に光学的黒レベルを求め、前記水平ラインの色毎の前記光学的黒レベルを一定に揃えるように、前記有効画素領域の出力信号をクランプする
ことを特徴とする信号処理装置。 - 請求項１ないし請求項５のいずれか一項に記載の信号処理装置において、
前記ＯＢ欠陥補正部が実施する前記空間フィルタ処理は、メディアンフィルタである
ことを特徴とする信号処理装置。 - 請求項１ないし請求項６のいずれか一項に記載の信号処理装置において、
前記ＯＢ欠陥補正部は、前記空間フィルタ処理で参照する局所範囲の空白箇所にデフォルト値を補填する
ことを特徴とする信号処理装置。 - 請求項１ないし請求項７のいずれか一項に記載の信号処理装置において、
前記ＯＢ欠陥補正部は、前記空間フィルタ処理で参照する局所範囲に、既に欠陥補正済みのＯＢ信号を逐次含める
ことを特徴とする信号処理装置。 - 被写体像を光電変換する有効画素領域と、遮光状態のオプチカルブラック領域とを備えた撮像部と、
請求項１ないし請求項８のいずれか一項に記載の信号処理装置と
を備えたことを特徴とする電子カメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003146045A JP4273835B2 (ja) | 2003-05-23 | 2003-05-23 | 信号処理装置、および電子カメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003146045A JP4273835B2 (ja) | 2003-05-23 | 2003-05-23 | 信号処理装置、および電子カメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004350104A JP2004350104A (ja) | 2004-12-09 |
| JP4273835B2 true JP4273835B2 (ja) | 2009-06-03 |
Family
ID=33533022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003146045A Expired - Fee Related JP4273835B2 (ja) | 2003-05-23 | 2003-05-23 | 信号処理装置、および電子カメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4273835B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7750955B2 (en) | 2004-08-31 | 2010-07-06 | Canon Kabushiki Kaisha | Image signal processing apparatus, image signal processing method and camera using the image signal processing apparatus |
| JP2007295260A (ja) * | 2006-04-25 | 2007-11-08 | Fujifilm Corp | 画像処理方法およびデジタルカメラ |
| US8072513B2 (en) * | 2007-05-02 | 2011-12-06 | Canon Kabushiki Kaisha | Image capturing system, signal processing circuit, and signal processing method |
| JP5260979B2 (ja) * | 2007-05-02 | 2013-08-14 | キヤノン株式会社 | 撮像システム、信号処理回路、及び信号処理方法 |
| JP5028371B2 (ja) | 2008-09-26 | 2012-09-19 | 富士フイルム株式会社 | 撮影装置 |
-
2003
- 2003-05-23 JP JP2003146045A patent/JP4273835B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004350104A (ja) | 2004-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1746846B1 (en) | Image processing device having color shift-correcting function, image processing program, and electronic camera | |
| JP4815807B2 (ja) | Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ | |
| JP4054184B2 (ja) | 欠陥画素補正装置 | |
| US6724945B1 (en) | Correcting defect pixels in a digital image | |
| US6985180B2 (en) | Intelligent blemish control algorithm and apparatus | |
| KR100709854B1 (ko) | 이미지 센서 어레이의 화소 결함을 실시간 인식 및보정하기 위한 방법 및 장치 | |
| JP4341297B2 (ja) | 信号処理装置、および電子カメラ | |
| JP4604078B2 (ja) | 欠陥画素補正方法、欠陥画素補正プログラム及び欠陥画素補正装置 | |
| JP5262953B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4273835B2 (ja) | 信号処理装置、および電子カメラ | |
| KR100869134B1 (ko) | 이미지 처리장치 및 방법 | |
| JPH04235472A (ja) | 撮像装置 | |
| JP3257131B2 (ja) | 固体撮像装置の自動欠陥検出装置及び固体撮像装置 | |
| JP4166974B2 (ja) | 画素キズ検出・補正装置 | |
| US11412164B1 (en) | Method, apparatus, and system for residual row noise removal | |
| JP6705054B2 (ja) | 撮像装置 | |
| JP2004297267A (ja) | 画素欠陥処理装置 | |
| JP4130275B2 (ja) | 映像信号処理装置 | |
| JP2010056817A (ja) | 撮像装置 | |
| JP2006148748A (ja) | 画素欠陥補正装置および画素欠陥補正方法 | |
| JP7379217B2 (ja) | 撮像システム | |
| KR20130069347A (ko) | 촬상 장치 및 촬상 방법 | |
| JP4394470B2 (ja) | 撮像装置 | |
| JP4481764B2 (ja) | 撮像素子から出力される信号の補正方法およびそれを用いた画像処理装置 | |
| JP2004134941A (ja) | 信号処理装置、信号処理方法、映像信号処理装置および映像信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090210 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090223 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4273835 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150313 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150313 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150313 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |