JP5900194B2 - 信号処理装置、信号処理方法、プログラム、固体撮像素子、および電子機器 - Google Patents

Description

本開示は、信号処理装置、信号処理方法、プログラム、固体撮像素子、および電子機器に関し、特に、画質の劣化を抑制した画像を取得することができるようにした信号処理装置、信号処理方法、プログラム、固体撮像素子、および電子機器に関する。

従来、CCD（Charge Coupled Device）センサやCMOS(Complementary Metal Oxide Semiconductor)センサなどの固体撮像素子では、いわゆるベイヤ（Bayer）配列のように、各色が等間隔に並ぶような画素配列となるカラーフィルタが採用されている。

また、固体撮像素子が有する画素の中に、入射する光量とは無関係の画素信号を発生する欠陥画素が含まれていることがあり、一般的に、その欠陥画素の画素信号を補正する欠陥補正処理が行われる。従来の欠陥補正処理では、各色が等間隔に並ぶような画素配列に適した処理が行われている。

例えば、特許文献１には、欠陥画素と、その欠陥画素および欠陥補正に用いる同色画素とが近隣に配置されていることを利用して、欠陥を補正する技術が開示されている。

特開２００３−１５８７４４号公報

ところで、近年、高感度化を目的として、輝度信号の主成分となる白色を用いたカラーフィルタが提案されており、このようなカラーフィルタでは、赤色および青色の画素が４画素ピッチ以上となる画素配列のものがある。このような画素配列のカラーフィルタを採用した固体撮像素子で撮像された画像に、従来の欠陥補正処理を適用しても、その効果を十分に発揮することができず、欠陥画素による画質の劣化を抑制することは困難であった。

本開示は、このような状況に鑑みてなされたものであり、画質の劣化を抑制した画像を取得することができるようにするものである。

本開示の一側面の信号処理装置は、色成分を取得する画素である色画素の空間周波数が、輝度成分を取得する画素である輝度画素の空間周波数よりも低くなる配列で前記画素が配置されたセンサから出力された画素信号を取得し、前記センサが有する前記画素のうちの欠陥画素から出力された前記画素信号を補正する処理を行う補正処理部を備え、前記補正処理部は、前記色画素の画素信号に対する補正の際に、前記色画素よりも空間周波数の高い前記輝度画素の画素信号を参照して補正を行い、処理対象の前記色画素を中心として所定の範囲内にある画素の画素信号のうち、処理対象の前記色画素から１画素ピッチの位置にある前記輝度画素の画素信号と、処理対象の前記色画素に最も近い位置にある同色の色画素である一対の最寄同色画素の画素信号とのうちの最大値を、処理対象の前記色画素の画素信号を補正する際の基準となる補正基準値として決定する補正基準値決定部を有する。

本開示の一側面の信号処理方法またはプログラムは、色情報成分を取得する画素である色画素の空間周波数が、輝度信号の主成分を取得する画素である輝度画素の空間周波数よりも低くなるように前記画素が配置されたセンサから出力された画素信号を取得し、前記センサが有する前記画素のうちの欠陥画素から出力された前記画素信号を補正する処理を行うステップを含み、前記色画素の画素信号に対する補正の際に、前記色画素よりも空間周波数の高い前記輝度画素の画素信号を参照して補正が行われ、処理対象の前記色画素を中心として所定の範囲内にある画素の画素信号のうち、処理対象の前記色画素から１画素ピッチの位置にある前記輝度画素の画素信号と、処理対象の前記色画素に最も近い位置にある同色の色画素である一対の最寄同色画素の画素信号とのうちの最大値が、処理対象の前記色画素の画素信号を補正する際の基準となる補正基準値として決定される。

本開示の一側面の固体撮像素子は、色成分を取得する画素である色画素の空間周波数が、輝度成分を取得する画素である輝度画素の空間周波数よりも低くなる配列で前記画素が配置されたセンサと、前記センサから出力された画素信号を取得し、前記センサが有する前記画素のうちの欠陥画素から出力された前記画素信号を補正する処理を行う補正処理部とを備え、前記補正処理部は、前記色画素の画素信号に対する補正の際に、前記色画素よりも空間周波数の高い前記輝度画素の画素信号を参照して補正を行い、処理対象の前記色画素を中心として所定の範囲内にある画素の画素信号のうち、処理対象の前記色画素から１画素ピッチの位置にある前記輝度画素の画素信号と、処理対象の前記色画素に最も近い位置にある同色の色画素である一対の最寄同色画素の画素信号とのうちの最大値を、処理対象の前記色画素の画素信号を補正する際の基準となる補正基準値として決定する補正基準値決定部を有する。

本開示の一側面の電子機器は、色成分を取得する画素である色画素の空間周波数が、輝度成分を取得する画素である輝度画素の空間周波数よりも低くなる配列で前記画素が配置されたセンサと、前記センサから出力された画素信号を取得し、前記センサが有する前記画素のうちの欠陥画素から出力された前記画素信号を補正する処理を行う補正処理部とを有し、前記補正処理部は、前記色画素の画素信号に対する補正の際に、前記色画素よりも空間周波数の高い前記輝度画素の画素信号を参照して補正を行い、処理対象の前記色画素を中心として所定の範囲内にある画素の画素信号のうち、処理対象の前記色画素から１画素ピッチの位置にある前記輝度画素の画素信号と、処理対象の前記色画素に最も近い位置にある同色の色画素である一対の最寄同色画素の画素信号とのうちの最大値を、処理対象の前記色画素の画素信号を補正する際の基準となる補正基準値として決定する補正基準値決定部を有する固体撮像素子を備える。

本開示の一側面においては、色情報成分を取得する画素である色画素の空間周波数が、輝度信号の主成分を取得する画素である輝度画素の空間周波数よりも低くなるように画素が配置されたセンサから出力された画素信号が取得され、センサが有する画素のうちの欠陥画素から出力された画素信号を補正する処理が行われる。そして、色画素の画素信号に対する補正の際に、色画素よりも空間周波数の高い輝度画素の画素信号が参照される。さらに、処理対象の色画素を中心として所定の範囲内にある画素の画素信号のうち、処理対象の色画素から１画素ピッチの位置にある輝度画素の画素信号と、処理対象の色画素に最も近い位置にある同色の色画素である一対の最寄同色画素の画素信号とのうちの最大値が、処理対象の色画素の画素信号を補正する際の基準となる補正基準値として決定される。

本開示の一側面によれば、画質の劣化を抑制した画像を取得することができる。

本技術を適用した固体撮像素子の一実施の形態の構成例を示す図である。 固体撮像素子の構成例を示すブロック図である。 画像信号処理部の構成例を示すブロック図である。 補正基準値について説明する図である。 分光特性を示す図である。 補正基準値について説明する図である。 輝度ブレ幅について説明する図である。 欠陥補正値について説明する図である。 欠陥補正処理を説明するフローチャートである。 欠陥補正処理の効果を示す図である。 電子機器に搭載される撮像装置の構成例を示すブロック図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本技術を適用した固体撮像素子の一実施の形態の構成例を示す図である。

図１Ａには、固体撮像素子の斜視図が示されており、図１Ｂには、固体撮像素子を構成するカラーフィルタの配色の一例が示されている。

図１Ａに示すように、固体撮像素子１１は、デジタル系の回路が搭載されるロジック基板１２と、アナログ系の回路が搭載されるセンサ基板１３とが貼り合されて積層され、センサ基板１３の受光面側にカラーフィルタ１４が配置されて構成されている。ロジック基板１２およびセンサ基板１３は、それぞれ独立したチップとして形成された後に積層され、このような構成の固体撮像素子１１については、例えば、本願出願人が出願済みの特開２０１１−１５９９５８号公報に詳細に開示されている。

図１Ｂに示すように、カラーフィルタ１４は、いわゆるベイヤ配列とは異なり、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）の三原色のフィルタに加えて、輝度成分を得るための白色（Ｗ）のフィルタを有して構成されている。

固体撮像素子１１では、例えば、輝度成分を取得する白色の画素（輝度画素）が市松状に配置され、残りの部分に色成分を取得する赤色、緑色、および青色の画素（色画素）が配置されたカラーフィルタ１４が採用されている。カラーフィルタ１４では、白色の画素は、水平方向および垂直方向に２画素ピッチで配置される一方、赤色、緑色、および青色の画素は、水平方向および垂直方向に４画素ピッチで配置されている。つまり、カラーフィルタ１４により、白色の画素の空間周波数が高く、赤色、緑色、および青色の画素の空間周波数が低くなるような画素配列で画素が配置される。

なお、カラーフィルタ１４の配色については、図１Ｂの配色に限定されるものではなく、本願出願人が出願済みの特開２０１１−０９１８４９号公報に開示されている様々な種類の配色を採用することができる。例えば、白色の画素により輝度成分を取得するのに替えて、緑色の画素により輝度成分を取得するようにしてもよく、この場合、図１Ｂにおいて白色の画素が配置されている箇所に、緑色の画素が配置される。

また、後述するように、固体撮像素子１１では、欠陥補正処理を行う際に、処理対象の画素を中心として、水平方向に所定範囲内に一列に配置されている画素の画素信号を参照して処理が行われる。例えば、図１Ｂに示すように、欠陥補正処理では、赤色の画素Ｐ（０）を処理対象としたとき、画素Ｐ（０）を中心として水平方向へ４画素ピッチの範囲内に配置されている画素Ｐ（−４）から画素Ｐ（４）までの９つの画素信号が参照される。ここで、以下適宜、赤色、緑色、および青色の画素よりも狭い画素ピッチで配置されている白色の画素（例えば、図１Ｂの例では、画素Ｐ（−３）、画素Ｐ（−１）、画素Ｐ（１）、および画素Ｐ（３））を高周波検出画素と称する。また、以下適宜、処理対象の画素に対して４画素ピッチの位置にある処理対象の画素と同色の画素（例えば、図１Ｂの例では、画素Ｐ（−４）および画素Ｐ（４））を最寄同色画素と称する。

次に、図２は、固体撮像素子１１の構成例を示すブロック図である。

図２に示すように、固体撮像素子１１は、画素アレイ２１、垂直デコーダ２２、垂直駆動回路２３、参照信号供給部２４、カラム処理部２５、水平走査回路２６、画像信号処理部２７、出力部２８、およびタイミング制御回路２９を備えて構成されている。

また、画素アレイ２１、垂直デコーダ２２、垂直駆動回路２３、参照信号供給部２４は、センサ基板１３に形成され、水平走査回路２６、画像信号処理部２７、出力部２８、およびタイミグ制御回路２９は、ロジック基板１２に形成されている。さらに、カラム処理部２５は、コンパレータ３０およびカウンタ回路３１から構成されており、コンパレータ３０はセンサ基板１３に形成され、カウンタ回路３１はロジック基板１２に形成されている。

画素アレイ２１には、複数の画素がアレイ状に配置されており、それぞれの画素は、水平信号線を介して垂直駆動回路２３に接続されるとともに、垂直信号線を介してカラム処理部２５のコンパレータ３０に接続されている。画素アレイ２１に配置されている画素は、垂直駆動回路２３からのタイミング信号に従って行ごとに駆動し、各画素における受光量に応じたレベルの画素信号がカラム処理部２５のコンパレータ３０に読み出される。

垂直デコーダ２２は、タイミング制御回路２９から供給されるタイミング信号に従って、画素信号を読み出す画素の垂直方向の行を規定する信号を垂直駆動回路２３に供給する。垂直駆動回路２３は、垂直デコーダ２２により規定された行の画素に対してパルスを供給して画素を駆動する。

参照信号供給部２４は、タイミング制御回路２９から供給されるタイミング信号に従い、カラム処理部２５のコンパレータ３０が参照する参照信号を生成してコンパレータ３０に供給する。例えば、参照信号供給部２４は、参照信号として、所定の初期電圧から一定の傾きで電圧が降下する波形（いわゆるRAMP波形）の信号を生成する。

カラム処理部２５は、垂直信号線を介して画素アレイ２１の各画素から出力される画素信号を、列ごとに並列的にA/D（Analog/Digital）変換処理およびCDS(Correlated Double Sampling：相関２重サンプリング)処理を行うカラム処理を行う。上述したように、カラム処理部２５は、コンパレータ３０およびカウンタ回路３１から構成されている。

コンパレータ３０は、画素アレイ２１の画素から供給される画素信号と、参照信号供給部２４から供給される参照信号とを比較し、例えば、一定の傾きで電圧が降下する波形の参照信号が画素信号以下となったタイミングで、カウンタ回路３１のカウントアップ／カウントダウンを切り替える信号をカウンタ回路３１に出力する。そして、カウンタ回路３１は、タイミング制御回路２９から供給されるクロック信号をカウントし、コンパレータ３０からの信号に基づいてカウントアップ／カウントダウンを切り替えることで、例えば、リセットノイズなどが除去された画素信号を出力する。

水平走査回路２６は、タイミング制御回路２９から供給されるタイミング信号に従って、カラム処理部２５から画素信号を順次出力させる制御を行う。

画像信号処理部２７は、信号処理回路、マイクロプロセッサ、およびメモリを有して構成されており、カラム処理部２５のカウンタ回路３１から供給される画素信号に対して所定の信号処理を行う。例えば、画像信号処理部２７は、センサ基板１３の画素アレイ２１が有する画素のうちの欠陥画素から出力された画素信号を補正する欠陥補正処理を行う。また、画像信号処理部２７は、図１Ｂに示したように、赤色の画素Ｐ（０）を処理対象としたとき、画素Ｐ（０）を中心として水平方向へ４画素ピッチの範囲内に配置されている画素Ｐ（−４）から画素Ｐ（４）までの９つの画素信号を参照して、画素Ｐ（０）の画素信号を補正する。なお、画像信号処理部２７による欠陥補正処理については、図３乃至９を参照して後述する。

出力部２８は、画像信号処理部２７から出力される画素信号を、所定の増幅率で増幅して、図示しない後段の回路（例えば、図１１の信号処理回路１０４）に供給する。

タイミング制御回路２９は、外部から供給されるマスタークロックに基づいて、固体撮像素子１１を構成する各ブロックの動作の基準となるタイミング信号を生成して、それぞれのブロックに供給する。

このように構成されている固体撮像素子１１では、画像信号処理部２７において欠陥補正処理が施された画素信号が出力されるので、画素アレイ２１が欠陥画素を有していても、その欠陥画素による画質の劣化が抑制された画像を撮像することができる。

図３は、画像信号処理部２７の構成例を示すブロック図である。

図３に示すように、画像信号処理部２７は、画素信号保持部４１、補正基準値決定部４２、輝度ブレ幅決定部４３、欠陥補正値算出部４４、および欠陥補正部４５を備えて構成される。

画素信号保持部４１は、カラム処理部２５から順次出力される画素信号を取得し、欠陥補正処理を行うのに必要な所定数の画素信号を保持する。例えば、画素信号保持部４１は、欠陥補正処理において処理対象となる画素を中心として水平方向へ所定範囲内に配置されている複数の画素の画素信号を保持する。つまり、画素信号保持部４１は、上述した図１Ｂにおいて、処理対象の画素Ｐ（０）を中心として画素Ｐ（−４）から画素Ｐ（４）までの９つの画素信号を保持する。

補正基準値決定部４２は、画素信号保持部４１に保持されている画素信号のうちの、所定の画素の画素信号に基づいて、処理対象の画素の画素信号を補正する際に基準となる補正基準値を決定する。なお、補正基準値を決定する処理については、図４乃至図６を参照して後述する。

輝度ブレ幅決定部４３は、例えば、処理対象の画素が欠陥画素ではないのにもかかわらず画素信号が補正されてしまうことを回避するための輝度ブレ幅を決定する。なお、輝度ブレ幅を決定する処理については、図７を参照して後述する。

欠陥補正値算出部４４は、補正基準値決定部４２により求められた補正基準値に、輝度ブレ幅決定部４３により決定された輝度ブレ幅を加算することにより、欠陥補正値を算出する。

欠陥補正部４５は、処理対象の画素の画素信号が、欠陥補正値算出部４４により求められた欠陥補正値を超えている場合、処理対象の画素は欠陥画素であるとして、処理対象の画素の画素信号を欠陥補正値で置き換えて、その画素の画素信号を補正する。

次に、図４乃至図６を参照して、補正基準値決定部４２が補正基準値を決定する処理について説明する。

図４には、処理対象の画素Ｐ（０）に対して欠陥補正を行う際に参照される画素Ｐ（−４）から画素Ｐ（４）までの画素信号が、画素の配置に従って示されている。即ち、処理対象の画素Ｐ（０）の画素信号を中心として、処理対象の画素Ｐ（０）よりも前に出力される画素Ｐ（−４）から画素Ｐ（−１）までの画素信号が画素Ｐ（０）より左側に順番に配置され、画素Ｐ（０）よりも後に出力される画素Ｐ（１）から画素Ｐ（４）までの画素信号が画素Ｐ（０）より右側に順番に配置されている。

まず、補正基準値決定部４２は、高周波検出画素のうちの画素Ｐ（０）から１画素ピッチの位置にある画素Ｐ（１）および画素Ｐ（−１）の画素信号、並びに、最寄同色画素である画素Ｐ（４）および画素Ｐ（−４）の画素信号を比較する。そして、補正基準値決定部４２は、それらの比較対象とした画素信号のうちの最大値を、処理対象の画素Ｐ（０）の画素信号を補正する際の基準となる補正基準値として決定する。

例えば、図４Ａに示すように、比較対象とした画素信号のうちの高周波検出画素である画素Ｐ（１）の画素信号が最大値（最大輝度値）である場合、補正基準値決定部４２は、画素Ｐ（１）の画素信号を補正基準値とする。また、例えば、図４Ｂに示すように、比較対象とした画素信号のうちの最寄同色画素である画素Ｐ（４）の画素信号が最大値である場合、補正基準値決定部４２は、画素Ｐ（４）の画素信号を補正基準値とする。

ところで、異なる色の画素の画素信号は、それぞれの色で同じテクスチャに対しても画素値が異なることより、異なる色の画素の画素信号を、完全に同意義に補正基準値として用いた場合には、彩度が低下することがある。例えば、赤色の画素の画素信号を、白色の画素の画素信号を基準として欠陥補正処理を行った場合には、赤色の彩度が低下することになる。

即ち、図５の分光特性に示すように、赤色の波長域では、白色の画素の画素信号が赤色の画素の画素信号以下に落ち込んでいる。従って、例えば、処理対象の赤色の画素Ｐ（０）の画素信号が、最大輝度値として補正基準値とされた白色の画素Ｐ（１）の画素信号を超えているという判断だけで、画素Ｐ（０）が欠陥画素であるとして、画素Ｐ（０）の画素信号を補正したとする。その場合、赤色の画素Ｐ（０）の画素信号が白色の画素Ｐ（１）の画素信号のレベルまで低下することになるため、欠陥補正処理を行った結果、赤色の彩度が低下すると想定される。

そこで、補正基準値決定部４２は、欠陥補正処理において参照する全ての高周波検出画素の画素信号が、最寄同色画素の画素信号を上回っている場合には、最寄同色画素のうちの最大値を補正基準値として決定する。

例えば、図６には、高周波検出画素である画素Ｐ（−３）、画素Ｐ（−１）、画素Ｐ（１）、および画素Ｐ（３）の全ての画素信号が、最寄同色画素である画素Ｐ（４）および画素Ｐ（−４）の画素信号を上回っている例が示されている。この場合、補正基準値決定部４２は、画素Ｐ（４）および画素Ｐ（−４）の画素信号のうちの最大値である画素Ｐ（−４）の画素信号を補正基準値として決定する。このように補正基準値を決定することで、彩度が高い領域で誤検出によって、処理対象の画素の画素信号が、別色の画素の画素信号のレベルまで落ち込んで彩度が低下することを回避することができる。

以上のように、補正基準値決定部４２は、処理対象の画素から１画素ピッチの位置にある高周波検出画素の画素信号、および、最寄同色画素の画素信号のうちの最大値を、補正基準値として決定する。または、補正基準値決定部４２は、欠陥補正処理において参照する全ての高周波検出画素の画素信号が最寄同色画素の画素信号を上回っている場合には、最寄同色画素のうちの最大値を補正基準値として決定する。

次に、図７を参照して、輝度ブレ幅決定部４３が輝度ブレ幅を決定する処理について説明する。

まず、輝度ブレ幅決定部４３は、最寄同色画素である画素Ｐ（４）および画素Ｐ（−４）の画素信号差分の絶対値を、同色差分として求める。さらに、輝度ブレ幅決定部４３は、処理対象の画素Ｐ（０）から３画素ピッチ離れた画素Ｐ（３）の画素信号に対する、処理対象の画素Ｐ（０）から１画素ピッチ離れた画素Ｐ（１）の画素信号の増加分を、第１の増加量として求める。同様に、輝度ブレ幅決定部４３は、処理対象の画素Ｐ（０）から３画素ピッチ離れた画素Ｐ（−３）の画素信号に対する、処理対象の画素Ｐ（０）から１画素ピッチ離れた画素Ｐ（−１）の画素信号の増加分を、第２の増加量として求める。

そして、輝度ブレ幅決定部４３は、同色差分、第１の増加量、および第２の増加量のうちの最大値を、輝度ブレ幅として決定する。

例えば、処理対象の画素の画素信号が、上述したように決定された補正基準値を超えているときに補正を行うとした場合に、画像に高周波成分が含まれていると、処理対象の画素が欠陥画素でなくても画素信号が補正されることがあると想定される。つまり、補正対象の画素が欠陥画素でなくても、画像に高周波成分が含まれている場合には、その画素信号が補正基準値を超えることがある。そこで、輝度ブレ幅決定部４３により決定される輝度ブレ幅を用いることで、処理対象の画素が欠陥画素ではないのにもかかわらず、その画素信号が補正されてしまうことを回避することができる。

なお、輝度ブレ幅として、高周波検出画素の増加量（第１の増加量および第２の増加量）を用いることで、例えば、上述の特許文献１に開示されている「最大値＋白傷判定余裕＞注目画素のデータ＞最小値−黒傷判定余裕」の式における判定余裕などのパラメータを外部から設定することなく、周囲の画素信号の直流成分レベルおよびノイズ量に応じて適切に欠陥画素であるか否かの判定を行うことができる。また、同色差分、第１の増加量、および第２の増加量のうちの最大値を輝度ブレ幅とすることにより、空間的に離れた同色画素を持つ画素配列に対して、自然法則（例えば、光量の平方根で増加する光ショットノイズ）を利用して効果的に輝度ブレ幅を決定することができる。

図８を参照して、欠陥補正値算出部４４が算出する欠陥補正値について説明する。

例えば、図８Ａに示す例では、画素Ｐ（−４）の画素信号が補正基準値とされ、画素Ｐ（４）および画素Ｐ（−４）から求められる同色差分が輝度ブレ幅とされる。従って、欠陥補正値算出部４４は、補正基準値である画素Ｐ（−４）の画素信号に輝度ブレ幅を加算して、処理対象の画素Ｐ（０）が欠陥画素である場合に画素Ｐ（０）の画素信号を補正する欠陥補正値を求める。

また、図８Ｂに示す例では、画素Ｐ（１）の画素信号が補正基準値とされ、画素Ｐ（３）に対する画素Ｐ（１）の第１の増加量が輝度ブレ幅とされる。従って、欠陥補正値算出部４４は、補正基準値である画素Ｐ（１）の画素信号に輝度ブレ幅を加算して、処理対象の画素Ｐ（０）が欠陥画素である場合に画素Ｐ（０）の画素信号を補正する欠陥補正値を求める。

また、図８Ｃに示す例では、画素Ｐ（４）の画素信号が補正基準値とされ、画素Ｐ（４）および画素Ｐ（−４）から求められる同色差分が輝度ブレ幅とされる。従って、欠陥補正値算出部４４は、補正基準値である画素Ｐ（４）の画素信号に輝度ブレ幅を加算して、処理対象の画素Ｐ（０）が欠陥画素である場合に画素Ｐ（０）の画素信号を補正する欠陥補正値を求める。

このように、欠陥補正値算出部４４は、補正基準値決定部４２により決定された補正基準値に、輝度ブレ幅決定部４３により決定された輝度ブレ幅を加算することにより、処理対象の画素が欠陥画素である場合に、その画素の画素信号を補正する欠陥補正値を求める。そして、欠陥補正部４５は、このようにして求められた欠陥補正値を用いて、処理対象の画素の画素信号が欠陥補正値を超えている場合には画素信号を補正し、処理対象の画素の画素信号が欠陥補正値を超えていない場合には画素信号の補正を行わない。

次に、図９は、画像信号処理部２７において行われる欠陥補正処理を説明するフローチャートである。

例えば、カラム処理部２５から画素信号が順次出力され、欠陥補正処理を行うのに必要な画素信号、例えば、処理対象の画素Ｐ（０）を中心として画素Ｐ（−４）から画素Ｐ（４）までの画素信号が、画素信号保持部４１に保持されると処理が開始される。ステップＳ１１において、補正基準値決定部４２は、高周波検出画素の全ての画素信号が最寄同色画素の画素信号を上回っているか否かを判定する。即ち、補正基準値決定部４２は、画素Ｐ（−３）、画素Ｐ（−１）、画素Ｐ（１）、および画素Ｐ（３）の全ての画素信号が、画素Ｐ（４）および画素Ｐ（−４）の画素信号を上回っているか否かを判定する。

ステップＳ１１において、補正基準値決定部４２が、高周波検出画素の全ての画素信号が最寄同色画素の画素信号を上回っていないと判定した場合、即ち、高周波検出画素の画素信号のいずれか１つが最寄同色画素の画素信号以下である場合、処理はステップＳ１２に進む。

ステップＳ１２において、補正基準値決定部４２は、画素Ｐ（０）から１画素ピッチの位置にある高周波検出画素である画素Ｐ（−１）および画素Ｐ（１）、並びに、最寄同色画素である画素Ｐ（４）および画素Ｐ（−４）のうちの最大値を示す画素信号を、補正基準値として決定する。

一方、ステップＳ１１において、補正基準値決定部４２が、高周波検出画素の全ての画素信号が最寄同色画素の画素信号を上回っていると判定した場合、処理はステップＳ１３に進む。ステップＳ１３において、補正基準値決定部４２は、最寄同色画素である画素Ｐ（４）および画素Ｐ（−４）のうちの最大値を示す画素信号を、補正基準値として決定する。

ステップＳ１２またはＳ１３の処理後、処理はステップＳ１４に進み、輝度ブレ幅決定部４３は、最寄同色画素である画素Ｐ（４）および画素Ｐ（−４）の画素信号差分の絶対値を、同色差分として求める。

ステップＳ１５において、輝度ブレ幅決定部４３は、画素Ｐ（３）の画素信号に対する画素Ｐ（１）の画素信号の増加分である第１の増加量と、画素Ｐ（−３）の画素信号に対する画素Ｐ（−１）の画素信号の増加分である第２の増加量とを求める。

ステップＳ１６において、輝度ブレ幅決定部４３は、ステップＳ１４で求めた同色差分と、ステップＳ１５で求めた第１の増加量および第２の増加量とのうちの最大値を、輝度ブレ幅として決定する。

ステップＳ１７において、欠陥補正値算出部４４は、ステップＳ１２またはＳ１３で決定された補正基準値に、ステップＳ１６で決定された輝度ブレ幅を加算して、欠陥補正値を算出する。

ステップＳ１８において、欠陥補正部４５は、画素信号保持部４１に保持されている処理対象の画素Ｐ（０）の画素信号と、ステップＳ１７で欠陥補正値算出部４４により算出された欠陥補正値とを比較する。そして、欠陥補正部４５は、処理対象の画素Ｐ（０）の画素信号が欠陥補正値より大きな値であるか否かを判定する。

ステップＳ１８において、欠陥補正部４５が処理対象の画素Ｐ（０）の画素信号が欠陥補正値より大きな値であると判定した場合、処理対象の画素Ｐ（０）は欠陥画素であるとされて、処理はステップＳ１９に進む。

ステップＳ１９において、欠陥補正部４５は、処理対象の画素Ｐ（０）の画素信号を、ステップＳ１７で欠陥補正値算出部４４により算出された欠陥補正値で置き換えて、欠陥画素の画素信号を補正する。ステップＳ１９の処理後、欠陥補正処理は終了される。

一方、ステップＳ１８において、欠陥補正部４５が、処理対象の画素Ｐ（０）の画素信号が欠陥補正値より大きな値でない（即ち、画素Ｐ（０）の画素信号は欠陥補正値未満である）と判定した場合、処理対象の画素Ｐ（０）は欠陥画素でないとされ、ステップＳ１９をスキップして欠陥補正処理は終了される。

以上のように、固体撮像素子１１では、赤色、緑色、および青色の画素の空間周波数が低くなるような画素配列により得られた画素信号に対しても、高周波検出画素を参照して欠陥補正処理を行うことにより、誤補正が少なく、より高精度な欠陥補正を行うことができる。これにより、固体撮像素子１１では、欠陥画素による画質の劣化を抑制した、より良好な画像を取得することができる。

また、固体撮像素子１１では、高周波検出画素を参照することにより、例えば、点状の反射などのように小面積で高輝度な部分に対して正常値であると判定することができ、そのような部分に対して誤補正が行われることを回避することができる。また、固体撮像素子１１では、上述したように、彩度が低下することを回避することができる。

また、固体撮像素子１１では、処理対象の画素を中心として一列に配置されている所定数の画素を参照して欠陥補正処理を行うので、ラインバッファを使用することなく、より精度の高い欠陥補正を行うことができる。つまり、ラインバッファを必要とする処理方法では、多数の画素情報を保有するためのメモリを搭載することによって製造コストが高くなるのに対し、固体撮像素子１１は、ラインバッファが必要なく製造コストを低減することができる。

また、欠陥補正処理において輝度ブレ幅を用いて補正を行うか否かの判定を行うので、処理対象の画素に対して周囲の画素信号の直流成分レベルおよびノイズ量に応じた適切な判定を行うことができる。

例えば、図１０を参照して、画像信号処理部２７による欠陥補正処理の効果について説明する。

図１０Ａには、図１に示したカラーフィルタ１４を用いて得られる画像のような、赤色、緑色、および青色の画素の空間周波数が低い原画像に対して疑似欠陥を挿入した画像が示されている。図１０Ｂには、図１０Ａの原画像に対して、従来の欠陥補正処理を適用した画像が示されており、図１０Ｃには、図１０Ａの原画像に対して、画像信号処理部２７による上述の欠陥補正処理を適用した画像が示されている。

図１０Ｂの画像と、図１０Ｃの画像とを比較して分かるように、画像信号処理部２７による上述の欠陥補正処理を適用することにより、原画像に挿入された疑似欠陥を適切に補正し、補正残りの少ない画像を得ることができる。

なお、本実施の形態においては、補正基準値決定部４２が、高周波検出画素のうちの画素Ｐ（０）から１画素ピッチの位置にある画素Ｐ（１）および画素Ｐ（−１）の画素信号から補正基準値を決定する例について説明した。これに対して、補正基準値決定部４２は、画素Ｐ（１）および画素Ｐ（−１）以外にも、例えば、画素Ｐ（０）から最寄同色画素である画素Ｐ（４）および画素Ｐ（−４）までの間に配置されている高周波検出画素から補正基準値を決定してもよい。例えば、補正基準値の決定に用いる高周波検出画素は、画素の配列に応じたＭＴＦ（Modulation Transfer Function）に従って変更することができる。なお、できるだけ画素Ｐ（０）の近傍に配置された高周波検出画素を用いることにより、より良好な結果を得ることができる。

また、固体撮像素子１１では、画素アレイ２１に配置されている全ての画素に対して順に欠陥補正処理を施す他、欠陥が発生している画素だけに対して欠陥補正処理を施すようにすることができる。即ち、例えば、固体撮像素子１１の製造時における試験にて欠陥が発生している画素を特定した場合、画像信号処理部２７に対して欠陥画素のアドレスを設定することで、そのアドレスから出力された画素信号に対してのみ欠陥補正処理を施すことができる。これにより、欠陥画素以外の画素に対して欠陥補正処理が間違って施されることを回避することができるとともに、処理速度の向上や低消費電力化などを図ることができる。

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

また、上述したような固体撮像素子１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。

図１１は、電子機器に搭載される撮像装置の構成例を示すブロック図である。

図１１に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。

光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（センサ部）に結像させる。

撮像素子１０３としては、上述した構成例の固体撮像素子１１が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。

信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。

このように構成されている撮像装置１０１では、撮像素子１０３として、上述したような構成例の固体撮像素子１１を適用することにより、欠陥画素による画質の劣化を抑制した画像を取得することができる。

なお、固体撮像素子１１において欠陥補正処理を施した画素信号を出力する他、例えば、固体撮像素子１１において欠陥補正処理を行わずに出力された画素信号に対して、信号処理回路１０４が上述の欠陥補正処理を施してもよい。また、センサ基板１３の画素アレイ２１から出力されるそのままの画素信号（ＲＡＷデータ）を外部に出力して、例えば、その画素信号に対してパーソナルコンピュータなどにおいてプログラムを実行することにより、上述の欠陥補正処理を施してもよい。このような場合でも、固体撮像素子１１において欠陥補正処理を施したのと同様の効果を得ることができる。

なお、本技術は以下のような構成も取ることができる。
（１）
色成分を取得する画素である色画素の空間周波数が、輝度成分を取得する画素である輝度画素の空間周波数よりも低くなる配列で前記画素が配置されたセンサから出力された画素信号を取得し、前記センサが有する前記画素のうちの欠陥画素から出力された前記画素信号を補正する処理を行う補正処理部
を備え、
前記補正処理部は、前記色画素の画素信号に対する補正の際に、前記色画素よりも空間周波数の高い前記輝度画素の画素信号を参照して補正を行う
を備える信号処理装置。
（２）
前記補正処理部は、
処理対象の前記色画素を中心として所定の範囲内にある画素の画素信号のうち、処理対象の前記色画素から１画素ピッチの位置にある前記輝度画素の画素信号と、処理対象の前記色画素に最も近い位置にある同色の色画素である一対の最寄同色画素の画素信号とのうちの最大値を、処理対象の前記色画素の画素信号を補正する際の基準となる補正基準値として決定する補正基準値決定部
を有する上記（１）に記載の信号処理装置。
（３）
前記補正基準値決定部は、処理対象の前記色画素を中心として所定の範囲内にある前記輝度画素の全ての画素信号が前記最寄同色画素の画素信号を超えている場合、一対の前記最寄同色画素のうちの最大値を、前記補正基準値として決定する
上記（１）または（２）に記載の信号処理装置。
（４）
前記補正処理部は、
一対の前記同色画素の画素信号の差分の絶対値、処理対象の前記色画素に対して一方側に配置されている複数の前記輝度画素の増加量、および、処理対象の前記色画素に対して他方側に配置されている複数の前記輝度画素の増加量のうちの最大値を、輝度ブレ幅として決定する輝度ブレ幅決定部と、
前記補正基準値決定部により決定された前記補正基準値に、前記輝度ブレ幅決定部により決定された前記輝度ブレ幅を加算して、前記欠陥画素の画素信号を補正する欠陥補正値を算出する欠陥補正値算出部と
をさらに有する上記（１）から（３）までのいずれかに記載の信号処理装置。
（５）
前記補正処理部は、
処理対象の前記画素の画素信号が、前記欠陥補正値算出部により算出された欠陥補正値を超えている場合に、処理対象の前記画素の画素信号を前記欠陥補正値で置き換えることにより補正を行う欠陥補正部
をさらに有する上記（１）から（４）までのいずれかに記載の信号処理装置。
（６）
前記補正処理部は、処理対象の前記色画素を中心として、前記センサにおいて一列に配置されている所定数の画素を参照して欠陥補正処理を行う
上記（１）から（５）までのいずれかに記載の信号処理装置。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 固体撮像素子， １２ ロジック基板， １３ センサ基板， １４ カラーフィルタ， ２１ 画素アレイ， ２２ 垂直デコーダ， ２３ 垂直駆動回路， ２４ 参照信号供給部， ２５ カラム処理部， ２６ 水平走査回路， ２７ 画像信号処理部， ２８ 出力部， ２９ タイミング制御回路， ３０ コンパレータ， ３１ カウンタ回路， ４１ 画素信号保持部， ４２ 補正基準値決定部， ４３ 輝度ブレ幅決定部， ４４ 欠陥補正値算出部， ４５ 欠陥補正部

Claims (9)

1. 色成分を取得する画素である色画素の空間周波数が、輝度成分を取得する画素である輝度画素の空間周波数よりも低くなる配列で前記画素が配置されたセンサから出力された画素信号を取得し、前記センサが有する前記画素のうちの欠陥画素から出力された前記画素信号を補正する処理を行う補正処理部
   を備え、
   前記補正処理部は、
   前記色画素の画素信号に対する補正の際に、前記色画素よりも空間周波数の高い前記輝度画素の画素信号を参照して補正を行い、
   処理対象の前記色画素を中心として所定の範囲内にある画素の画素信号のうち、処理対象の前記色画素から１画素ピッチの位置にある前記輝度画素の画素信号と、処理対象の前記色画素に最も近い位置にある同色の色画素である一対の最寄同色画素の画素信号とのうちの最大値を、処理対象の前記色画素の画素信号を補正する際の基準となる補正基準値として決定する補正基準値決定部を有する
   信号処理装置。
2. 前記補正基準値決定部は、処理対象の前記色画素を中心として所定の範囲内にある前記輝度画素の全ての画素信号が前記最寄同色画素の画素信号を超えている場合、一対の前記最寄同色画素のうちの最大値を、前記補正基準値として決定する
   請求項１に記載の信号処理装置。
3. 前記補正処理部は、
   一対の前記最寄同色画素の画素信号の差分の絶対値、処理対象の前記色画素に対して一方側に配置されている複数の前記輝度画素の増加量、および、処理対象の前記色画素に対して他方側に配置されている複数の前記輝度画素の増加量のうちの最大値を、輝度ブレ幅として決定する輝度ブレ幅決定部と、
   前記補正基準値決定部により決定された前記補正基準値に、前記輝度ブレ幅決定部により決定された前記輝度ブレ幅を加算して、前記欠陥画素の画素信号を補正する欠陥補正値を算出する欠陥補正値算出部と
   をさらに有する請求項１に記載の信号処理装置。
4. 前記補正処理部は、
   処理対象の前記画素の画素信号が、前記欠陥補正値算出部により算出された欠陥補正値を超えている場合に、処理対象の前記画素の画素信号を前記欠陥補正値で置き換えることにより補正を行う欠陥補正部
   をさらに有する請求項３に記載の信号処理装置。
5. 前記補正処理部は、処理対象の前記色画素を中心として、前記センサにおいて一列に配置されている所定数の画素を参照して欠陥補正処理を行う
   請求項１に記載の信号処理装置。
6. 色情報成分を取得する画素である色画素の空間周波数が、輝度信号の主成分を取得する画素である輝度画素の空間周波数よりも低くなるように前記画素が配置されたセンサから出力された画素信号を取得し、前記センサが有する前記画素のうちの欠陥画素から出力された前記画素信号を補正する処理を行う
   ステップを含み、
   前記色画素の画素信号に対する補正の際に、前記色画素よりも空間周波数の高い前記輝度画素の画素信号を参照して補正が行われ、
   処理対象の前記色画素を中心として所定の範囲内にある画素の画素信号のうち、処理対象の前記色画素から１画素ピッチの位置にある前記輝度画素の画素信号と、処理対象の前記色画素に最も近い位置にある同色の色画素である一対の最寄同色画素の画素信号とのうちの最大値が、処理対象の前記色画素の画素信号を補正する際の基準となる補正基準値として決定される
   信号処理方法。
7. 色成分を取得する画素である色画素の空間周波数が、輝度成分を取得する画素である輝度画素の空間周波数よりも低くなる配列で前記画素が配置されたセンサから出力された画素信号を取得し、前記センサが有する前記画素のうちの欠陥画素から出力された前記画素信号を補正する処理を行う
   ステップを含み、
   前記色画素の画素信号に対する補正の際に、前記色画素よりも空間周波数の高い前記輝度画素の画素信号を参照して補正が行われ、
   処理対象の前記色画素を中心として所定の範囲内にある画素の画素信号のうち、処理対象の前記色画素から１画素ピッチの位置にある前記輝度画素の画素信号と、処理対象の前記色画素に最も近い位置にある同色の色画素である一対の最寄同色画素の画素信号とのうちの最大値が、処理対象の前記色画素の画素信号を補正する際の基準となる補正基準値として決定される
   処理をコンピュータに実行させるプログラム。
8. 色成分を取得する画素である色画素の空間周波数が、輝度成分を取得する画素である輝度画素の空間周波数よりも低くなる配列で前記画素が配置されたセンサと、
   前記センサから出力された画素信号を取得し、前記センサが有する前記画素のうちの欠陥画素から出力された前記画素信号を補正する処理を行う補正処理部と
   を備え、
   前記補正処理部は、
   前記色画素の画素信号に対する補正の際に、前記色画素よりも空間周波数の高い前記輝度画素の画素信号を参照して補正を行い、
   処理対象の前記色画素を中心として所定の範囲内にある画素の画素信号のうち、処理対象の前記色画素から１画素ピッチの位置にある前記輝度画素の画素信号と、処理対象の前記色画素に最も近い位置にある同色の色画素である一対の最寄同色画素の画素信号とのうちの最大値を、処理対象の前記色画素の画素信号を補正する際の基準となる補正基準値として決定する補正基準値決定部を有する
   固体撮像素子。
9. 色成分を取得する画素である色画素の空間周波数が、輝度成分を取得する画素である輝度画素の空間周波数よりも低くなる配列で前記画素が配置されたセンサと、
   前記センサから出力された画素信号を取得し、前記センサが有する前記画素のうちの欠陥画素から出力された前記画素信号を補正する処理を行う補正処理部と
   を有し、
   前記補正処理部は、
   前記色画素の画素信号に対する補正の際に、前記色画素よりも空間周波数の高い前記輝度画素の画素信号を参照して補正を行い、
   処理対象の前記色画素を中心として所定の範囲内にある画素の画素信号のうち、処理対象の前記色画素から１画素ピッチの位置にある前記輝度画素の画素信号と、処理対象の前記色画素に最も近い位置にある同色の色画素である一対の最寄同色画素の画素信号とのうちの最大値を、処理対象の前記色画素の画素信号を補正する際の基準となる補正基準値として決定する補正基準値決定部を有する
   固体撮像素子を備える電子機器。

Images