JP4472509B2 - 撮像装置 - Google Patents

Description

この発明は、ＣＣＤ等の固体撮像素子を使用した撮像装置、特に伝送路でのノイズ付加や欠陥画素等の要因により発生した垂直方向のキズ（以下、Ｖキズ）を補正する撮像装置に関するものである。

従来のデジタルカメラ等の撮像装置では、固体撮像素子に含まれる欠陥画素のアドレスをＲＯＭ等の不揮発性メモリに予め記憶しておき、撮影時にその欠陥位置情報に基づき信号を補正する方法が用いられている。

例えば、特許文献１に開示された画素欠陥補正装置では、固体撮像素子の欠陥画素のアドレスを欠陥画素アドレス用メモリに保持しておき、欠陥画素の部分のみを近傍の画素信号に基づいて、本来得られるべき画素値に近い画素値に補正を行っている。

また、例えば、特許文献２に開示された固体撮像装置の欠陥補正装置では、直線状の欠陥画素列について先頭座標のみをＲＯＭに記録しておき、画像上目立つキズであるか否かを判定し、欠陥画素の信号値を周辺の画素の信号値を用いて補正を行う一方、目立たないと判定した場合には、前記補正処理を省略するような処理を行っている。

特開７−３３６６０５号公報（段落０００６） 特開２００４−２３６８３号公報（段落０００９）

従来の撮像装置は以上のように構成されており、特許文献１の技術では、予め欠陥画素（キズ）の座標をＲＯＭ等の不揮発性メモリに登録して補正を行っているので、欠陥画素が多くなると不揮発性メモリの容量が増大するという課題があった。

また、特許文献２の技術では、直線状の欠陥画素列について先頭座標のみをＲＯＭに記録することで、座標登録に使用するメモリ容量の軽減を行っているが、欠陥画素の信号値を周辺の画素の信号値を用いて補正を行うため、予めフレームメモリを保持する必要があり、画素数が多くなるとフレームメモリの容量が増大するという課題があった。

この発明は上記のような課題を解決するためになされたもので、欠陥画素の座標情報を格納するＲＯＭ等の不揮発性メモリの容量を軽減できると共に、フレームメモリを保持することなくＶキズを補正することができる撮像装置を得ることを目的とする。

この発明に係る撮像装置は、撮像画像のフレームに発生する垂直方向のキズの開始座標から終了座標までの画素値の積算値を算出するライン積算処理部と、撮像画像のフレームに対して、全画面又は補正対象の垂直方向のキズを含む複数個に分割したウィンドウにおける画素値の平均値を算出する平均値算出処理部と、上記ライン積算処理部により算出された画素値の積算値と、上記平均値算出処理部により算出された画素値の平均値に基づき、垂直方向のキズの発生ライン上の補正領域における垂直方向のキズの補正演算処理を行うための補正係数を算出する係数算出処理部と、上記係数算出処理部により算出された補正係数と入出力関数を使用して、上記補正領域の対象画素に対して垂直方向のキズの補正演算処理を行う補正演算処理部とを備えたものである。

この発明により、ＲＯＭ等の不揮発性メモリの容量を軽減できると共に、フレームメモリを保持することなくＶキズを補正することができるという効果が得られる。

実施の形態１．
図１はこの発明の実施の形態１による撮像装置の構成を示すブロック図である。この撮像装置は撮像レンズ１１、光電変換素子であるＣＣＤ（Charge-Coupled Device）１２、アナログ信号処理部（ＣＤＳ／ＡＧＣ；Correlated Double Sampling／Automatic Gain Control）１３、ＡＤコンバータ１４、ライン積算処理部１５、平均値算出処理部１６、係数算出処理部１７及び補正演算処理部１８を備えている。

次に動作について説明する。
撮像レンズ１１は撮影対象からの光をＣＣＤ１２の受光面に結像させる。ＣＣＤ１２は赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光にそれぞれ感応する３種の画素を交互にマトリクス状に数十万配列して成り、画素毎に受けた光を電荷に変換して蓄積し、蓄積電荷をアナログ信号として出力する。アナログ信号処理部１３はＣＣＤ１２の出力信号を２重相関サンプリングし自動ゲイン処理を行う。ＡＤコンバータ１４はアナログ信号処理部１３から入力されるアナログ信号をデジタル信号に変換する。

ライン積算処理部１５はＡＤコンバータ１４からの出力信号である撮像画像のフレームに発生するＶキズの開始座標から終了座標までの画素値の積算値を算出する。平均値算出処理部１６はＡＤコンバータ１４からの出力信号である撮像画像のフレームに対して、全画面又は補正対象の垂直方向のＶキズを含む複数個に分割したウィンドウにおける画素値の平均値を算出する。係数算出処理部１７は、ライン積算処理部１５により算出された画素値の積算値と、平均値算出処理部１６により算出された画素値の平均値に基づき、Ｖキズの発生ライン上の補正領域におけるＶキズの補正演算処理を行うための補正係数を算出する。補正演算処理部１８はＡＤコンバータ１４からの出力信号を入力し、係数算出処理部１７により算出された補正係数と入出力関数を使用して、補正領域の対象画素に対してＶキズの補正演算処理を行う。

ここで、ライン積算処理部１５、平均値算出処理部１６、係数算出処理部１７及び補正演算処理部１８の詳細処理について説明する。ここでは、撮像画像のフレームに発生するＶキズについて、事前に後述のＶキズ指定座標、Ｖキズの開始座標及び終了座標が指定され、この撮像装置内のＲＯＭ等の不揮発性メモリ（図示せず）に格納されているものとする。なお、伝送路でのノイズ付加等によるＶキズについては、照度を変更してホワイトチャートを撮影することにより事前に測定が可能である。

まずライン積算処理部１５による画素値の積算方法を以下に示す。
図２はライン積算処理部１５による画素値の積算方法を説明する図である。ライン積算処理部１５は、不揮発性メモリに格納されているＶキズの開始座標及び終了座標に基づき、Ｖキズの発生ライン上に対して複数の積算範囲ｎ（ｎ＝００，０１，０２，０３）を確保し、各積算範囲（座標）内の開始座標ＶＫ＿ＶｎＳから終了座標ＶＫ＿ＶｎＥまでの画素値の積算を行って積算値ＳｎＶを算出する。このように、各積算範囲ｎはＶキズの開始座標ＶＫ＿ＶｎＳから終了座標ＶＫ＿ＶｎＥまでを設定する。

次に平均値算出処理部１６による画素値の積算方法を以下に示す。
１フレームを等間隔に垂直方向にＮ_V 個に分割し、水平方向にＮ_H 個に分割すると、合計Ｎ_V ×Ｎ_H 個のウィンドウに分割することができる。したがって、平均値算出処理部１６は、ＡＤコンバータ１４からの出力信号のフレームについて、不揮発性メモリに格納されているＶキズ指定座標に基づき、Ｖキズが発生している分割された縦ｉ番目、横ｊ番目の分割ウィンドウにおける画素値の平均値ＷｉｎＡｖｅ（ｉ，ｊ）を算出する。この画素値の平均値ＷｉｎＡｖｅの算出については、複数のウィンドウに分割せずに、１フレームの全画面について行っても良い。

次に係数算出処理部１７による係数算出方法を以下に示す。
係数算出処理部１７は、ライン積算処理部１５により算出された積算値ＳｎＶ、及び平均値算出処理部１６により算出された全画面又は補正対象のＶキズを含む分割ウィンドウの平均値ＷｉｎＡｖｅに基づき、補正演算処理部１８で使用するＶキズの補正演算処理を行うための補正係数（係数ｋ、閾値Ｔｈ１及びＶキズ補正オフセット量ＬＶ）を、各補正領域毎に以下の式（１）及び式（２）により算出する。
ｋ×ＳｎＶ−ＬＶ≒ＷｉｎＡｖｅ （１）
Ｔｈ１＝ＳｎＶ （２）

上記式（１）及び式（２）において、係数ｋは後述の補正演算処理部１８が使用する入出力関数の傾きを示し、閾値Ｔｈ１は入出力関数の傾きが変化する境界点を示し、Ｖキズ補正オフセット量ＬＶは入出力関数の切片を示している。そして、閾値Ｔｈ１については、式（２）に示すように、ライン積算処理部１５により算出された積算値ＳｎＶが設定される。また、係数ｋ及びＶキズ補正オフセット量ＬＶについては、式（１）を満足するように、Ｖキズの特性により比重を変化させ、平均値算出処理部１６により算出された分割ウィンドウの平均値ＷｉｎＡｖｅとほぼ等しくなるように設定する。

例えば、あるＶキズが欠陥画素により発生したＶキズであれば、ＣＣＤ１２からのＲＡＷデータに重畳されるノイズのカメラＤＳＰ処理内のゲイン処理（かけ算処理）による増幅分を抑圧するために係数ｋの比重を大きくする。ここで、係数ｋはｋ＝１がＶキズが発生していない場合の基準であり、ｋ＝１からの差分を大きくすることにより係数ｋの比重を大きくする。一方、伝送路内でノイズが付加されることにより発生したＶキズであれば、ＣＣＤ１２からのＲＡＷデータに付加（足し算）されるノイズを抑圧するためにオフセット量ＬＶの比重を大きくする。ここで、オフセット量ＬＶはＬＶ＝０がＶキズが発生していない場合の基準であり、ＬＶ＝０からの差分を大きくすることにより、オフセット量ＬＶの比重を大きくする。このように、上記式（１）を満たす範囲内で、係数ｋ及びオフセット量ＬＶの比重を適切に変化させる。また、Ｖキズの特性については、事前測定後にＲＯＭ等の不揮発性メモリに格納されているものとする。

また、Ｖキズが複数ウィンドウにまたがって発生する場合がある。ここで、Ｎ_W 個のウィンドウにまたがってＶキズが発生している場合、平均値算出処理部１６は、以下の式（３）に従い、対象となる複数のウィンドウにおける画素値の平均値の平均値をＷｉｎＡｖｅとして算出する。
ＷｉｎＡｖｅ
＝｛ＷｉｎＡｖｅ（ｉ，ｊ）＋ＷｉｎＡｖｅ（ｉ’，ｊ’）＋・・・｝／Ｎ_W （３）

次に補正演算処理部１８による補正演算処理方法について以下に示す。
図３は補正演算処理部１８による補正演算処理方法を説明する図である。Ｖキズ発生ラインは、Ｖキズ発生ライン上の座標（Ｖキズ指定座標）を境界として、複数の補正領域に分割することができる。具体的に例示すると、１つのＶキズ発生ラインに対して、図３の「×」点で示すように、Ｖキズ指定座標が予め１個指定されてＲＯＭ等の不揮発性メモリに格納されているものとすると、Ｖキズ発生ラインは、Ｖキズが途中で終了している場合には、Ｖキズ指定座標を境界として、例えば上部補正領域と下部補正領域の２つの補正領域に分割することができる。

このＶキズ指定座標は、Ｖキズ発生ライン上のＶキズの開始座標及びＶキズの終了座標、Ｖキズ内部の著しく状態が変化した部分等、Ｖキズの特性に従って、適宜、最良の座標が指定される。このように、Ｖキズ指定座標が指定されることにより、Ｖキズ発生ラインとその補正領域が指定される。また、図３において、Ｖキズ指定座標（水平成分）ＶＫ＿ＨｎはＶキズ発生ラインを示し、Ｖキズ指定座標（垂直成分）ＶＫ＿Ｖｎは、例えば上部補正領域と下部補正領域の２つの補正領域に分割する境界点を示している。

補正演算処理部１８は、分割された各補正領域における各画素対して、以下の式（４）及び式（５）に示す入出力関数と、係数算出処理部１７により各補正領域に対して算出された補正係数である係数ｋ、閾値Ｔｈ１及びＶキズ補正オフセット量ＬＶを用いて補正演算処理を行う。ここで、Ｄは入力画素値、Ｑは出力画素値、ＩｎｐｕｔＭａｘは入力画素値の最大値を示す。
Ｄ≦Ｔｈ１又はｋ≧１のとき、
Ｑ＝Ｄ×ｋ−ＬＶ （４）
Ｔｈ１＜Ｄ及びｋ＜１のとき、
Ｑ＝Ｄ×｛（１−ｋ）×（Ｄ−Ｔｈ１）／（ＩｎｐｕｔＭａｘ−Ｔｈ１）＋ｋ｝−ＬＶ
（５）
上記式（４）及び式（５）において、ｋ＝１、ＬＶ＝０のときには、Ｑ＝Ｄとなり補正をしないことになる。

図４は式（４）及び式（５）の入出力関数により表される補正演算処理部１８の入力画素値Ｄに対する出力画素値Ｑの関係の例を示す図である。ここでは、Ｖキズ補正オフセット量ＬＶを０としており、Ｖキズ補正オフセット量ＬＶにより図４に示すグラフは上下に平行移動する。

ここで、図４を参照して、前述の補正係数（係数ｋ、閾値Ｔｈ１及びＶキズ補正オフセット量ＬＶ）について説明する。係数ｋは、ｋ≧１の場合、０≦Ｑ≦出力ＭＡＸの範囲内の入出力関数の傾きを示し、ｋ＜１の場合、０≦Ｄ≦閾値Ｔｈ１の範囲内の入出力関数の傾きを示している。閾値Ｔｈ１は、ｋ＜１の場合の入出力関数の傾きが変化する境界点を示している。また、Ｖキズ補正オフセット量ＬＶ（図示せず）は入出力関数の切片を示すが、Ｑ＜０の場合はＱ＝０にクリップされ、Ｑ＞出力ＭＡＸの場合はＱ＝出力ＭＡＸにクリップされる。

この実施の形態１のように、ライン積算処理部１５により算出された画素値の積算値及び平均値算出処理部１６により算出された画素値の平均値に基づき、係数算出処理部１７がＶキズの補正演算処理を行うための最適な補正係数を算出することにより、補正演算処理部１８はさまざまな特徴を持つＶキズに対して補正演算処理をすることが可能となる。

以上のように、この実施の形態１によれば、ライン積算処理部１５がＶキズの開始座標から終了座標までの画素値の積算値ＳｎＶを算出し、平均値算出処理部１６が１フレームの全画面又は補正対象のＶキズを含む分割ウィンドウにおける画素値の平均値ＷｉｎＡｖｅを算出し、係数算出処理部１７がライン積算処理部１５により算出された画素値の積算値ＳｎＶと、平均値算出処理部１６により算出された画素値の平均値ＷｉｎＡｖｅに基づき、補正領域における対象画素に対してＶキズの補正演算処理を行うための補正係数を算出し、補正演算処理部１８が、係数算出処理部１７により算出された補正係数と入出力関数を用いて、補正領域の対象画素に対して、Ｖキズの補正演算処理を行うことにより、Ｖキズについて、ＲＯＭ等の不揮発性メモリにＶキズの指定座標、開始座標及び終了座標並びにＶキズの特性のみを格納するだけで良く、ＲＯＭ等の不揮発性メモリの容量を軽減できると共に、フレームメモリを保持することなくＶキズを補正することができるという効果が得られる。

また、この実施の形態１によれば、補正演算処理が簡単な係数算出処理を行うだけで実現できるため、Ｖキズの補正処理の高速化を図ることができるという効果が得られる。

さらに、この実施の形態１によれば、ＣＣＤ１２によるＶキズを補正することにより、ＣＣＤ１２の歩留まりを向上することができ、コストを削減することができるという効果が得られる。

実施の形態２．
この発明の実施の形態２による撮像装置の構成を示すブロック図は上記実施の形態１の図１と同じであり、撮像レンズ１１、ＣＣＤ１２、アナログ信号処理部１３、ＡＤコンバータ１４、ライン積算処理部１５、平均値算出処理部１６、係数算出処理部１７及び補正演算処理部１８を備えている。この実施の形態２では、補正演算処理部１８の処理内容が上記実施の形態１とは異なる。

上記実施の形態１では、Ｖキズを補正するために、各補正領域に対して入出力関数を用いてＶキズの補正を行っているが、Ｖキズの事前の検出段階での検出ミス等の要因により、補正領域に正常な画素を包含してしまった場合、正常な画素に対して過補正を行ってしまうという危険性が生じる可能性がある。特に、係数ｋがｋ＝１から遠ざかるほど、Ｖキズ補正オフセット値ＬＶがＬＶ＝０と遠ざかるほど、過補正の影響は増大する。この実施の形態２は、このような過補正を防止し、適切なＶキズ補正を実現するものである。

次に動作について説明する。
ここでは、補正演算処理部１８の動作について詳しく説明する。
補正演算処理部１８は、上記実施の形態１と同様に、係数算出処理部１７により算出された補正係数である係数ｋ、閾値Ｔｈ１及びＶキズ補正オフセット量ＬＶを用いて補正演算処理を行う。このとき、補正演算処理部１８は，対象画素が正常な画素であるかＶキズであるかを判断し、対象画素がＶキズである場合には上記実施の形態１と同じ補正演算処理を行い、正常な画素である場合には係数ｋ及びＶキズ補正オフセット値ＬＶに対して、以下の式（６）及び式（７）に示す入出力関数を使用して、抑圧係数ｍ１，ｍ２をかける処理を行う。
Ｄ≦Ｔｈ１又はｋ≧１のとき、
Ｑ＝Ｄ×（１＋（ｋ−１）×ｍ１）−（ＬＶ×ｍ２） （６）
Ｔｈ１＜Ｄ及びｋ＜１のとき、
Ｑ＝Ｄ×｛１−（１−（１−ｋ）×ｍ１））×（Ｄ−Ｔｈ１）
／（ＩｎｐｕｔＭａｘ−Ｔｈ１）＋（１−（１−ｋ）×ｍ１）｝−（ＬＶ×ｍ２）（７）
ここで、上記式（６）及び式（７）は、抑圧係数ｍ１，ｍ２の設定値が１．０の場合には上記式（４）及び式（５）と同じとなり、抑圧係数の効果がない状態となる。

対象画素が正常な画素かＶキズかの判定方法について説明する。
図５は対象画素が正常な画素かＶキズかの判定方法を説明する図である。補正演算処理部１８は、補正領域内の処理対象画素に対して、ライン積算処理部１５により算出された積算値ＳｎＶと対象画素の画素値との差分の絶対値が、所定の闘値より大きい場合には正常な画素と判定し、所定の闘値未満の場合にはＶキズと判定する。

ここで、上記差分の絶対値の大きさに従い、抑圧係数ｍ１，ｍ２を複数段階に設定しても良い。例えば、差分の絶対値が１００以上の場合にはｍ１，ｍ２を０．８とし、差分の絶対値が２００以上の場合にはｍ１，ｍ２を０．６とする等、抑圧係数ｍ１，ｍ２複数段階に設定することで、過補正を抑えた補正演算処理を実現することが可能である。

図６は式（６）及び式（７）の入出力関数により表される補正演算処理部１８の入力画素値Ｄに対する出力画素値Ｑの関係の例を示す図である。図６ではＶキズ補正オフセット値ＬＶが０の場合を記載している。上記差分の絶対値の大きさによってエリア分けされた範囲Ａ、範囲Ｂ、範囲Ｃによって抑圧係数ｍ１，ｍ２を変化させている。ここでは、範囲Ａ→範囲Ｂ→範囲Ｃと移行するにしたがって、差分の絶対値は小→中→大となり、抑圧係数ｍ１，ｍ２は１から０に近づくように設定されている。図６では、３つの範囲にエリア分けしているが、これに限定されない複数範囲にエリア分けした場合にも本発明を適用することができる。

以上のように、この実施の形態２によれば、ライン積算処理部１５がＶキズの開始座標から終了座標までの画素値の積算値ＳｎＶを算出し、平均値算出処理部１６が１フレームの全画面又は補正対象のＶキズを含む分割ウィンドウにおける画素値の平均値ＷｉｎＡｖｅを算出し、係数算出処理部１７がライン積算処理部１５により算出された画素値の積算値ＳｎＶと、平均値算出処理部１６により算出された画素値の平均値ＷｉｎＡｖｅに基づき、補正領域における対象画素に対してＶキズの補正演算処理を行うための補正領域における補正係数である係数ｋ、閾値Ｔｈ１及びＶキズ補正オフセット量ＬＶを算出し、補正演算処理部１８が、ライン積算処理部１５により算出された積算値ＳｎＶと補正領域内の対象画素の画素値との差分の絶対値に基づき、係数ｋ及びＶキズ補正オフセット量ＬＶを抑圧する抑圧係数ｍ１，ｍ２を設定し、補正領域に対して、係数算出処理部１７により算出された補正係数と入出力関数と抑圧係数ｍ１，ｍ２を用いて、補正演算処理を行うことにより、上記実施の形態１と同様の効果が得られると共に、過補正を防止して適切なＶキズ補正を実現することができるという効果が得られる。

また、この実施の形態２によれば、補正演算処理部１８が、ライン積算処理部１５により算出された積算値ＳｎＶと補正領域内の対象画素の画素値との差分の絶対値に基づき、係数ｋ及びＶキズ補正オフセット量ＬＶを抑圧する抑圧係数ｍ１、ｍ２を複数段階に設定することにより、きめ細かに過補正を防止して、より適切なＶキズ補正を実現することができるという効果が得られる。

なお、上記実施の形態１及び上記実施の形態２では、補正演算処理部１８によるＶキズ補正処理は、ＲＧＢ等の色成分を無視した処理となっているが、色成分毎に独立したＶキズ補正処理を行うことも可能である。

この発明の実施の形態１による撮像装置の構成を示すブロック図である。 この発明の実施の形態１による撮像装置におけるライン積算処理部の処理を説明する図である。 この発明の実施の形態１による撮像装置における補正演算処理部の処理を説明する図である。 この発明の実施の形態１による撮像装置における補正演算処理部の入出力特性の例を示す図である。 この発明の実施の形態２による撮像装置における補正演算処理部の処理を説明する図である。 この発明の実施の形態２による撮像装置における補正演算処理部の入出力特性の例を示す図である。

符号の説明

１１ 撮像レンズ、１２ ＣＣＤ、１３ アナログ信号処理部、１４ ＡＤコンバータ、１５ ライン積算処理部、１６ 平均値算出処理部、１７ 係数算出処理部、１８ 補正演算処理部。

Claims (5)

1. 撮像画像のフレームに発生する垂直方向のキズの開始座標から終了座標までの画素値の積算値を算出するライン積算処理部と、
   撮像画像のフレームに対して、全画面又は補正対象の垂直方向のキズを含む複数個に分割したウィンドウにおける画素値の平均値を算出する平均値算出処理部と、
   上記ライン積算処理部により算出された画素値の積算値と、上記平均値算出処理部により算出された画素値の平均値に基づき、垂直方向のキズの発生ライン上の補正領域における垂直方向のキズの補正演算処理を行うための補正係数を算出する係数算出処理部と、
   上記係数算出処理部により算出された補正係数と入出力関数を使用して、上記補正領域の対象画素に対して垂直方向のキズの補正演算処理を行う補正演算処理部とを備えた撮像装置。
2. 上記平均値算出処理部は、補正対象の垂直方向のキズが複数のウィンドウにまたがっている場合には、各ウィンドウにおける画素値の平均値の平均値を算出することを特徴とする請求項１記載の撮像装置。
3. 上記係数算出処理部は、垂直方向のキズの補正演算処理を行うための補正係数として、上記補正演算処理部が使用する上記入出力関数の傾きを示す係数と、上記入出力関数の傾きが変化する境界点を示す閾値と、上記入出力関数の切片を示すＶキズ補正オフセット量を算出することを特徴とする請求項１記載の撮像装置。
4. 上記補正演算処理部は、上記ライン積算処理部により算出された画素値の積算値と補正領域における対象画素の画素値との差分の絶対値に基づき、対象画素が正常な画素であるか垂直方向のキズであるかを判定し、対象画素が正常な画素である場合には、上記入出力関数の傾きを示す係数と上記入出力関数の切片を示すＶキズ補正オフセット量を抑圧する抑圧係数を使用して、補正演算処理を行うことを特徴とする請求項３記載の撮像装置。
5. 上記補正演算処理部は、上記ライン積算処理部により算出された画素値の積算値と補正領域における対象画素の画素値との差分の絶対値の大きさに基づき複数段階に設定された抑圧係数を使用して、補正演算処理を行うことを特徴とする請求項４記載の撮像装置。

Images