JP6052057B2 - 信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器 - Google Patents

Description

本技術は、信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器に関し、特に、位相差を検出するための遮光画素の配置の自由度を向上させることができるようにする信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器に関する。

近年、複数の画素が行列状に配置されている画素領域内に、映像出力用の通常画素に加えて、焦点検出用の位相差画素を配置した固体撮像装置が提案されている（例えば、特許文献１，２参照）。

位相差画素としては、従来、画素内の受光領域の一部（例えば、右側）が遮光された片側遮光画素と、遮光領域を片側遮光画素とは反対の位置（例えば、左側）にした反対側遮光画素の画素対を規則的に配列させたものが一般的である。

特開２０１１−３３９７５号公報 特開２０１２−２３５６２号公報

しかしながら、遮光画素を設けると画質の劣化を招くおそれがあるため、画質劣化の低減と高精度な位相差検出を両立する上で、遮光画素の配置には大きな制約があり、遮光画素を自由に配置することができなかった。

本技術は、このような状況に鑑みてなされたものであり、位相差を検出するための遮光画素の配置の自由度を向上させることができるようにするものである。

本技術の第１の側面の信号処理装置は、受光領域の一部が遮光されている遮光画素１画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部と、取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部とを備え、前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する。

本技術の第１の側面の信号処理方法は、遮光画素を有する撮像部からの信号を処理する信号処理装置が、受光領域の一部が遮光されている遮光画素１画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する。

本技術の第１の側面においては、受光領域の一部が遮光されている遮光画素１画素と、その遮光画素の遮光方向の周辺画素列の画素値が取得され、取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかが判定され、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値が、前記周辺画素列の画素値と比較されることにより、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差が検出される。

本技術の第２の側面の固体撮像装置は、受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを有し、複数の前記遮光画素それぞれの前記遮光領域の位置が同一である画素アレイ部と、前記遮光画素１画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部と、取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部とを備え、前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する。

本技術の第３の側面の電子機器は、受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを有し、複数の前記遮光画素それぞれの前記遮光領域の位置が同一である画素アレイ部と、前記遮光画素１画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部と、取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部とを備え、前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する固体撮像装置を備える。

本技術の第２および第３の側面においては、受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを備える画素アレイ部が設けられ、前記画素アレイ部内に配置されている複数の前記遮光画素それぞれの前記遮光領域の位置が同一とされる。前記遮光画素１画素と、その遮光画素の遮光方向の周辺画素列の画素値が取得され、取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかが判定され、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値が、前記周辺画素列の画素値と比較されることにより、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差が検出される。

信号処理装置および固体撮像装置は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。

本技術の第１の側面によれば、位相差を検出するための遮光画素の配置の自由度を向上させることができる。

本技術の第２及び第３の側面によれば、位相差を検出するための遮光画素の配置の自由度を向上させた装置を提供することができる。

本技術が適用された固体撮像装置の概略構成を示すブロック図である。 遮光画素を説明する図である。 従来の位相差検出方法について説明する図である。 本実施の形態の遮光画素の配置例を示す図である。 信号処理回路の機能構成ブロック図である。 周辺画素列の画素値の例を示す図である。 周辺画素列の画素値の例を示す図である。 位相差検出処理について説明する図である。 領域分割部の処理を説明する図である。 ヒストグラム作成部の処理を説明する図である。 位相差検出処理を説明するフローチャートである。 その他の遮光画素の配置例を示す図である。 その他の遮光画素の配置例を示す図である。 その他の遮光画素の配置例を示す図である。 その他の遮光画素の配置例を示す図である。 その他の遮光画素の配置例を示す図である。 その他の遮光画素の配置例を示す図である。 その他の遮光画素の配置例を示す図である。 その他の遮光画素の配置例を示す図である。 その他の遮光画素の配置例を示す図である。 その他の遮光画素の配置例を示す図である。 固体撮像装置の基板構成について説明する図である。 信号処理回路が独立した形態を示すブロック図である。 本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．信号処理回路を含む固体撮像装置の概略構成例
２．信号処理回路の詳細構成例
３．信号処理回路の位相差検出処理フロー
４．遮光画素のその他の配置例
５．固体撮像装置の基板構成例
６．電子機器への適用例

＜１．固体撮像装置の概略構成例＞
図１は、本技術が適用された固体撮像装置の概略構成を示すブロック図である。

図１の固体撮像装置１は、画素アレイ部１１、AD変換部１２、水平転送部１３、信号処理回路１４、タイミング制御部１５、および画素駆動部１６を含んで構成される。画素アレイ部１１、AD変換部１２、水平転送部１３、タイミング制御部１５、および画素駆動部１６は、撮像部１７を構成する。

画素アレイ部１１は、光電変換部となるフォトダイオードと、複数の画素トランジスタ（いわゆるMOSトランジスタ）を有する画素を、２次元アレイ状に（行方向および列方向に）複数配置して構成されている。複数の画素トランジスタは、例えば転送トランジスタ、リセットトランジスタ及び増幅トランジスタの３つのトランジスタで構成することができる。画素は、その他、選択トランジスタを追加した４つのトランジスタで構成することもできる。

画素アレイ部１１には、映像出力用の画素（以下、通常画素ともいう。）に加えて、焦点検出用の画素である遮光画素が、所定の配列で配置されている。遮光画素の配置例については後述する。

AD変換部１２は、画素アレイ部１１の画素列ごとに配置された複数のADC(Analog-Digital Converter)を有し、１行分の画素から出力されるアナログの画素信号に対して、画素列ごとに、CDS(Correlated Double Sampling；相関２重サンプリング)処理し、さらにAD変換処理する。AD変換処理後のデジタルの画素信号は、水平転送部１３に出力される。

水平転送部１３は、水平走査回路などで構成され、AD変換部１２内の各ADCに記憶されているデジタルの画素信号を、順次、所定のタイミングで信号処理回路１４に出力する。

信号処理回路１４は、水平転送部１３から供給される画素信号に対して、所定のデジタル信号処理を行う。

具体的には、信号処理回路１４は、水平転送部１３から供給される遮光画素の画素信号に基づいて、画素アレイ部１１の画素領域を複数の領域に分割し、分割された領域ごとに位相差を検出する位相差検出処理を実行する。また、信号処理回路１４は、遮光画素の映像出力用の画素値を、遮光画素の近傍の通常画素の画素値から生成する画素補間処理なども実行する。

なお、信号処理回路１４には、上述した位相差検出処理および画素補間処理以外のデジタル信号処理、例えば、黒レベル調整処理や列ばらつき補正処理なども実行させるようにこともできる。

タイミング制御部１５は、垂直同期信号、水平同期信号などの各種のタイミング信号を生成するタイミングジェネレータなどによって構成される。タイミング制御部１５は、タイミングジェネレータで生成された各種のタイミング信号を、AD変換部１２、水平転送部１３、信号処理回路１４、及び画素駆動部１６に供給し、各部の動作タイミングを制御する。

画素駆動部１６は、例えばシフトレジスタによって構成され、画素アレイ部１１の各画素を行単位で、順次、垂直方向に選択走査し、各画素の光電変換部において受光量に応じて生成された信号電荷に基づく画素信号を、AD変換部１２に出力させる。

以上のように構成される固体撮像装置１は、例えば、CDS処理とAD変換処理を行うADCが画素列ごとに配置されたカラムAD方式のCMOSイメージセンサとして構成される。

＜遮光画素の例＞
次に、図２を参照して、焦点検出用の画素である遮光画素について説明する。

従来、焦点検出用の画素を画素アレイ部内に配置する場合には、画素内の受光領域の一部が遮光された片側遮光画素と、遮光領域の位置を片側遮光画素とは反対にした反対側遮光画素を対にして画素アレイ部内に配置していた。

図２A乃至図２Cは、片側遮光画素と反対側遮光画素の例を示している。

図２Aは、右側に遮光領域を有する片側遮光画素と、左側に遮光領域を有する反対側遮光画素の例を示している。このような遮光画素の遮光方向を、左右方向（水平方向）であるという。

図２Bは、下側に遮光領域を有する片側遮光画素と、上側に遮光領域を有する反対側遮光画素の例を示している。このような遮光画素の遮光方向を、上下方向（垂直方向）であるという。

図２Cは、左斜め下側に遮光領域を有する片側遮光画素と、右斜め上側に遮光領域を有する反対側遮光画素の例を示している。このような遮光画素の遮光方向を、斜め方向（右上斜め方向）であるという。

なお、遮光領域の異なるどちらの遮光画素を、片側遮光画素または反対側遮光画素とするかは便宜的なものである。したがって、画素対のどちらを片側遮光画素または反対側遮光画素と呼んでもよい。

＜従来の位相差検出方法＞
図３を参照して、遮光画素を用いた従来の位相差検出方法について説明する。

図３は、図２Aに示した右側に遮光領域を有する片側遮光画素と、左側に遮光領域を有する反対側遮光画素の対が遮光方向に規則的に配列されている場合の、各画素の画素位置と画素値の関係を示している。なお、図３では、通常画素の画素値のプロットは省略されている。

図３に示されるように、片側遮光画素と反対側遮光画素の画素信号には、遮光位置の相違により、位相差（像のずれ）が発生する。この片側遮光画素と反対側遮光画素の画素対の画素信号の位相差phase_difを相関演算により求めることで、デフォーカス量を算出することができるため、撮影レンズを調整（移動）することで、オートフォーカスを達成することができる。

したがって、従来の方法で位相差を検出する場合には、画素アレイ部に、片側遮光画素と反対側遮光画素の画素対が配列されている必要があった。

＜本実施の形態の遮光画素の配置例＞
図４は、固体撮像装置１の画素アレイ部１１の遮光画素の配置を示している。

画素アレイ部１１では、片側遮光画素と反対側遮光画素のうちの一方、図４の例では、右側に遮光領域を有する片側遮光画素のみが、所定の規則で配置されている。より具体的には、遮光方向には疎になり、遮光方向ではない方向の近傍には他の片側遮光画素が配置されるように、片側遮光画素が配置されている。

後述するように、信号処理回路１４が行う位相差検出方法（以下、本手法ともいう。）では、１個の片側遮光画素のみで位相差を検出することができる。したがって、画素アレイ部１１では、従来のように、遮光画素を、片側遮光画素と反対側遮光画素の対で配置する必要がなく、図４に示されるように、全ての遮光画素の遮光領域の位置を同一とすることができる。

なお、詳細は後述するが、本手法が適用可能な遮光画素の配置は、図４に示した配置に限定されず、これ以外の配置例を採用することも勿論可能である。

＜２．信号処理回路の詳細構成例＞
次に、信号処理回路１４が行う位相差検出方法の詳細について説明する。

＜信号処理回路のブロック図＞
図５は、信号処理回路１４の位相差検出処理部分の機能構成例を示すブロック図である。

信号処理回路１４は、メモリ部３１、信頼度判定部３２、位相差検出部３３、および領域単位位相差決定部３４により構成される。

メモリ部３１は、水平転送部１３（図１）から供給される各画素の画素信号（画素値）を記憶する。メモリ部３１は、画素アレイ部１１の全画素数分の記憶容量を有するものでもよいし、位相差検出処理に必要な画素アレイ部１１の複数行分の記憶容量を有するものでもよい。

また、メモリ部３１は、信頼度判定部３２及び位相差検出部３３で判定、検出された遮光画素の位相差も記憶する。

メモリ部３１に記憶された各画素の画素値および位相差は、必要に応じて、信頼度判定部３２、領域単位位相差決定部３４によって読み出される。

信頼度判定部３２及び位相差検出部３３では、メモリ部３１に記憶されている画素値に対応する画素アレイ部１１の各画素が、順次、注目画素に設定される。そして、遮光画素が注目画素に設定された場合に、信頼度判定部３２は、位相差検出のための信頼度の判定を行う。換言すれば、信頼度判定部３２は、注目画素に設定された遮光画素が位相差の検出を行うのに適した画素であるか否かの判定を行う。

信頼度判定部３２は、ダイナミックレンジ判定部４１、単調増減判定部４２、および正負絶対値判定部４３により構成される。

ダイナミックレンジ判定部４１は、注目画素に設定された遮光画素の遮光方向に沿った注目画素周辺の複数の通常画素を周辺画素列に設定し、周辺画素列を構成する各画素の画素値をメモリ部３１から取得する。

そして、ダイナミックレンジ判定部４１は、周辺画素列の画素値の最大値と最小値を探索して、最大値と最小値の差分で計算されるダイナミックレンジDRを算出し、算出したダイナミックレンジDRが、予め設定した閾値DR_THよりも大であるか否かを判定する。

単調増減判定部４２は、周辺画素列における隣接画素どうしの画素値の差分値（微分値）PIX_DIFを算出し、その算出結果に基づいて、周辺画素列の画素値が単調増加または単調減少の傾向を有しているか否かを判定する。具体的には、単調増減判定部４２は、周辺画素列に対して算出した全ての画素差分値PIX_DIFが、単調増加の閾値UP_THより大（PIX_DIF＞UP_TH）、または、単調減少の閾値LO_THより小（PIX_DIF＜LO_TH）であるかを判定する。

以上のようにして、ダイナミックレンジ判定部４１および単調増減判定部４２は、注目画素が、明りょうな位相差が発現しており、ノイズやテクスチャによる誤った位相差の検出の可能性が小さい遮光画素であるか否かを判定している。

図６は、算出されたダイナミックレンジDRが閾値DR_THよりも大であり、かつ、周辺画素列の画素値が単調増加または単調減少の傾向を有している場合の例を示している。図６および図７において、斜線を付した三角は、周辺画素列の各画素を示しており、黒色の四角は、注目画素（遮光画素）を示している。

図６に示されるように、算出されたダイナミックレンジDRが閾値DR_THよりも大であり、かつ、周辺画素列の画素値が単調増加または単調減少の傾向を有している場合、注目画素は、位相差の検出に適した画素であると判定される。

一方、図７は、算出されたダイナミックレンジDRが閾値DR_TH以下であり、かつ、周辺画素列の画素値が単調増加および単調減少のいずれの傾向でもない場合の例を示している。

図７に示されるように、算出されたダイナミックレンジDRが閾値DR_TH以下であり、かつ、周辺画素列の画素値が単調増加および単調減少のいずれの傾向でもない場合、注目画素は、位相差の検出に適した画素ではないと判定される。

ダイナミックレンジ判定部４１および単調増減判定部４２により、注目画素が、位相差の検出に適した画素であると判定された場合、信頼度判定部３２から位相差検出部３３に位相差検出の指令が供給される。

位相差検出部３３は、単調増減判定部４２から、注目画素の位相差の検出が指令された場合、注目画素の位相差を検出（算出）する。

まず、位相差検出部３３は、注目画素とされた遮光画素の遮光率に応じて、注目画素の画素値をゲイン倍するゲイン倍補正を行うことにより、遮光画素の遮光率に応じた注目画素の感度低下を補正する。

例えば、無地の被写体を撮影したときの遮光画素とその近傍の通常画素の画素値とを用いて、遮光率＝（遮光画素の画素値）／（近傍の通常画素の画素値）を計算することにより、画素アレイ部１１内の各遮光画素の遮光率が予め計算され、補正テーブルとして、位相差検出部３３内に記憶されている。位相差検出部３３は、補正テーブルを参照して注目画素の遮光率を決定し、ゲイン倍補正後の遮光画素の画素値＝（遮光画素の画素値）／（遮光率）を計算することにより、ゲイン倍補正後の注目画素の画素値を算出する。

あるいはまた、次のようにして、補正テーブルを用いずに、遮光画素の遮光率に応じたゲイン倍補正を行ってもよい。すなわち、位相差検出部３３は、メモリ部３１に記憶されている画像のなかから、注目画素の周辺の平坦部（輝度変化の少ない領域）にある遮光画素を探索し、探索された遮光画素について、補正テーブル作成時と同様に遮光率を計算する。そして、位相差検出部３３は、計算された周辺平坦部の遮光率を、注目画素の遮光率とみなして、ゲイン倍補正後の遮光画素の画素値＝（遮光画素の画素値）／（遮光率）を計算することにより、ゲイン倍補正後の注目画素の画素値を算出する。

なお、位相差検出部３３は、ゲイン倍補正の計算を、補正テーブルの遮光率を用いて行う場合と、補正テーブルを用いずに周辺平坦部の遮光画素の遮光率を用いて行う場合とを、モード等により切り替えて選択的に実行することもできる。

次に、位相差検出部３３は、ゲイン倍補正された注目画素の画素値であるゲイン倍補正値と、それとの差分が小さい遮光方向周辺の複数の通常画素の画素値とを用いて、注目画素の位相差を算出する。

図８を参照して、位相差検出部３３による位相差検出処理について説明する。

図８は、右側に遮光領域を有する片側遮光画素である注目画素と、注目画素に対して遮光方向周辺の複数の通常画素の、画素位置と画素値をプロットした図である。

図８の例では、注目画素の遮光方向（水平方向）の画素位置がx_shieldであり、撮像部１７から出力されてきた注目画素の画素値がP1である。そして、注目画素の画素値P1がゲイン倍補正された後の値が、ゲイン倍補正値v_shieldとなっている。

位相差検出部３３は、注目画素のゲイン倍補正値v_shieldと、それとの差分が小さい遮光方向周辺の複数の通常画素を探索する。

例えば、ゲイン倍補正値v_shieldとの差分が小さい遮光方向周辺の２個の通常画素を探索することとして、ゲイン倍補正値v_shieldと最も差分が小さい画素値v_norm_fを有する画素位置x_norm_fの画素と、次に差分が小さい画素値v_norm_sを有する画素位置x_norm_sの画素が探索される。

そして、位相差検出部３３は、探索された複数の通常画素の画素値を用いて、通常画素の画素値波形上の注目画素の画素位置xを推定する。探索した個数が２個である場合には、注目画素の画素位置xから画素位置x_norm_fまでの距離と、画素位置xから画素位置x_norm_sまでの距離の比が、ゲイン倍補正値v_shieldと画素値v_norm_fの画素差分と、ゲイン倍補正値v_shieldと画素値v_norm_sの画素差分の比に等しいという以下の関係から、注目画素の通常画素値波形上の画素位置xを求めることができる。
(v_shield - v_norm_f) : (v_norm_s - v_shield) ＝ (x - x_norm_f) : (x_norm_s - x)

注目画素の通常画素値波形上の位置xが得られると、その通常画素値波形上の位置xと、注目画素の画素位置x_shieldとの距離（x-x_shield）を求めることができる。この距離（x-x_shield）は、図８に示されるように、いま求めたい位相差phase_difの半分phase_dif_halfに相当する。

仮に、注目画素が、左側に遮光領域を有する反対側遮光画素であった場合には、反対側遮光画素の画素値をゲイン倍補正した値は、図８の通常画素の画素信号に対して、距離phase_dif_halfだけ右側に移動した破線上の位置となる。したがって、通常画素値波形上の位置xと、注目画素の画素位置x_shieldとの距離（x-x_shield）を２倍した値が、いま求めたい位相差phase_difとなり、phase_dif＝（x-x_shield）×２の関係が成り立つので、phase_dif＝（x-x_shield）×２を計算することで、注目画素の位相差phase_difを求めることができる。なお、遮光画素の画素信号はゲイン倍しているものの位相は変化しないため、図３のphase_difと図８のphase_difは等しい。

以上のように、位相差検出部３３は、注目画素のゲイン倍補正値v_shieldと、それとの差分が小さい遮光方向の２画素の画素位置x_norm_f及びx_norm_sと、画素値v_norm_f及びv_norm_sとを用いて、注目画素の位相差phase_difを算出することができる。

なお、上述した例では、簡便な計算例として、ゲイン倍補正値v_shieldに対応する通常画素値波形上の位置xを、ゲイン倍補正値v_shieldとの差分が小さい２個の通常画素の画素値を用いて、２点間距離の比で算出する例について説明した。

このような方法以外に、例えば、ゲイン倍補正値v_shieldとの差分が小さい３画素以上の通常画素の画素値を用いて、最小二乗法により、通常画素値波形を近似直線として算出し、算出された近似直線を用いて、通常画素値波形上の位置xを求めてもよい。

また例えば、ゲイン倍補正値v_shieldとの差分が小さい３画素以上の通常画素の画素値を用いて、通常画素値波形を、近似曲線（関数フィッティング）により算出し、算出された近似曲線を用いて、通常画素値波形上の位置xを求めてもよい。

近似直線や近似曲線を用いることにより、よりロバストに、通常画素値波形上の位置xを求めることができる。

位相差検出部３３は、以上のように、注目画素である遮光画素の画素値をゲイン倍補正した画素値を、周辺画素列の画素値と比較することにより、注目画素の位相差を検出する。そして、位相差検出部３３は、検出した注目画素の位相差を、信頼度判定部３２の正負絶対値判定部４３に供給する。

図５の説明に戻り、正負絶対値判定部４３は、位相差検出部３３において注目画素の位相差が検出された場合にのみ動作する。

正負絶対値判定部４３は、位相差検出部３３で検出された注目画素の位相差を、注目画素の近傍にある他の遮光画素（以下、近傍遮光画素という。）の位相差と比較することにより、検出された注目画素の位相差が信頼できる値であるか否かを判定する。

検出された注目画素の位相差が信頼できる値である場合には、注目画素の位相差と、近傍遮光画素の位相差の絶対値は近い値となる。換言すれば、注目画素の位相差と近傍遮光画素の位相差の差分絶対値は所定の閾値NEAR_THより小さい値となる。また、本実施の形態では、注目画素と近傍遮光画素は、いずれも片側遮光画素であり、画素内の遮光領域の位置が同じであるので、注目画素の位相差と近傍遮光画素の位相差の符号は一致する。換言すれば、注目画素の位相差と近傍遮光画素の位相差の乗算結果は正の値（＞０）となる。

そこで、正負絶対値判定部４３は、注目画素の位相差と近傍遮光画素の位相差の乗算結果が正の値（＞０）となり、かつ、注目画素の位相差と近傍遮光画素の位相差の差分絶対値が所定の閾値NEAR_THより小さい値であるかを判定することにより、検出された注目画素の位相差が信頼できる値であるか否かを判定する。

なお、仮に、注目画素が片側遮光画素で、近傍遮光画素が反対側遮光画素である場合のように、注目画素と近傍遮光画素の画素内の遮光領域の位置が反対である場合には、注目画素と近傍遮光画素の位相差の絶対値は近い値となるが、位相差の符号は一致しない。したがって、この場合には、正負絶対値判定部４３は、注目画素の位相差と近傍遮光画素の位相差の乗算結果が負の値（＜０）となり、かつ、注目画素の位相差と近傍遮光画素の位相差の差分絶対値が所定の閾値NEAR_THより小さい値であるかを判定することにより、検出された注目画素の位相差が信頼できる値であるか否かを判定することになる。

画素アレイ部１１では、図４を参照して説明したように、遮光方向には疎になり、遮光方向ではない方向に、他の片側遮光画素が近接して配置されている。したがって、正負絶対値判定部４３による正負絶対値判定処理では、遮光方向ではない方向の近傍に配置されている他の片側遮光画素が、近傍遮光画素として選択される。

なお、位相差検出部３３で位相差の検出処理が行われる前に、ダイナミックレンジ判定部４１および単調増減判定部４２により、注目画素が位相差の検出に適した画素であるか否かが判定されている。したがって、位相差検出後の正負絶対値判定部４３による正負絶対値判定処理は、省略してもよい。

正負絶対値判定部４３は、検出された注目画素の位相差が信頼できる値であると判定された場合に、検出された注目画素の位相差を、メモリ部３１に記憶させる。

領域単位位相差決定部３４は、画素アレイ部１１の画素領域を複数の領域に分割し、メモリ部３１に記憶されている各遮光画素の位相差に基づいて、位相差を領域ごとに決定する。

領域単位位相差決定部３４は、領域分割部５１、ヒストグラム作成部５２、および、領域位相差決定部５３により構成される。

領域分割部５１は、画素アレイ部１１の画素領域を複数の領域に分割する。

例えば、領域分割部５１は、最も単純な方法として、画素アレイ部１１の画素領域を、ｎ×ｍ（ｎ，ｍ＞１）の分割数で矩形の領域に分割する。多くの場合、このような分割方法で問題はないが、分割数が少ない場合には、一つの領域内に複数の奥行きが存在する可能性がある。

そこで、領域分割部５１は、撮像された画像のテクスチャ情報を用いて、同一の奥行きの可能性が高い領域を抽出して、同一の奥行きと認識される領域については一つの領域として扱うようにすることができる。

同一の奥行き領域を抽出することは、画像中の被写体を認識して区別することとほぼ同義であるため、正確に行うことは難しいが、補助的な情報として利用することはできる。同一の奥行きの領域は色が似ており、異なる奥行きの領域の境界はエッジになっているという前提の下で、領域分割部５１が、画像のテクスチャ情報として、画像の色情報やエッジ情報を用いて、同一の奥行き領域を抽出する例について説明する。

まず、領域分割部５１は、撮像された画像に対して、画素値の微分値が大きい箇所を検出することにより、エッジの抽出を行う。そして、領域分割部５１は、抽出されたエッジで囲まれた領域内の色が似ているか、すなわち、RGB値の割合が近いか否かを判定する。色が似ていると判定された領域は、同一の奥行きの領域であると判定される。

また、顔認識技術などを用いて個別に認識された領域も、同一の奥行きの領域として扱うことができる。

図９Aは、撮像された画像をｎ×ｍの分割数で矩形の領域に分割した例を示している。

図９Bは、所定の分割数で矩形の領域に分割した後、同一の奥行きの領域についてさらに分割した例を示している。

なお、ｎ×ｍによる分割数が所定数以上である場合には、同一の奥行き領域抽出による領域分割は省略してもよい。また、矩形領域によるｎ×ｍの分割を行わずに、同一の奥行き領域抽出による領域分割のみを行ってもよい。

しかし、矩形領域による領域分割と、同一奥行き領域抽出による領域分割とを組み合わせることにより、矩形領域による分割数を少なめにして、効率的かつ効果的に、領域を分割することができる。

位相差検出の従来の手法では、片側遮光画素と反対側遮光画素の対で位相差画素が配置されている必要があるため、分割可能な領域の大きさや形状には制約があった。しかし、信号処理回路１４による位相差検出方法は、一つの片側遮光画素のみで位相差を検出することができるため、分割可能な領域の大きさや形状には制約がない。そのため、図９Bに示されるように、画像のテクスチャ情報を用いて、様々な大きさや形状に分割された領域であっても、領域ごとの位相差を検出することができる。

図５の説明に戻り、ヒストグラム作成部５２は、メモリ部３１に記憶されている遮光画素の位相差を取得し、領域分割部５１によって分割された領域ごとに、検出された位相差のヒストグラムを作成する。

領域位相差決定部５３は、ヒストグラム作成部５２によって作成された領域ごとの位相差のヒストグラムを用いて、領域ごとに位相差を決定する。例えば、領域位相差決定部５３は、９５％信頼区間（平均値±２×標準偏差）に含まれる位相差のみを採用することとして、それ以外の位相差を外れ値として除外する。そして、領域位相差決定部５３は、除外後の領域内の位相差を用いて平均値を算出し、その算出結果を、その領域の位相差として決定する。

図１０は、ヒストグラム作成部５２によって作成された位相差のヒストグラムのうち、矩形で囲まれた位相差のみが平均値の計算対象として採用され、領域内の位相差の平均値が計算される例を示している。

領域位相差決定部５３は、領域を識別する領域情報と、その領域の位相差を、後段の処理ブロックに出力する。

後段の処理ブロックには、例えば、検出された位相差に基づいてデフォーカス量を算出し、撮像光学系を駆動制御する制御部が設けられる。制御部は、例えば、領域位相差決定部５３から供給された領域ごとの位相差のうち、顔認識処理により識別された顔検出領域に対応する領域の位相差を選択して、デフォーカス量を算出し、撮像光学系を駆動制御する。あるいは、制御部は、領域位相差決定部５３から供給された領域ごとの位相差のうち、ユーザによって操作指示された領域の位相差を選択して、デフォーカス量を算出し、撮像光学系を駆動制御する。

＜３．位相差検出処理の処理フロー＞
次に、図１１のフローチャートを参照して、信号処理回路１４による位相差検出処理について説明する。この処理は、例えば、メモリ部３１内に、撮像部１７で撮像された画像の画素値が一定量以上蓄積されたときに開始される。

初めに、ステップＳ１において、信頼度判定部３２は、メモリ部３１に記憶されている画素値に対応する所定の画素を注目画素に設定する。例えば、信頼度判定部３２は、メモリ部３１に記憶されている一フレーム分の画素値のうち、ラスタスキャン順で読み出す場合の先頭の画素値に対応する画素を注目画素に設定する。

ステップＳ２において、信頼度判定部３２は、設定した注目画素が位相差画素であるか否かを判定する。なお、信号処理回路１４には、画素アレイ部１１の画素領域のどの画素が遮光画素であるかが予め登録されている。

ステップＳ２で、注目画素が位相差画素ではないと判定された場合、処理は後述するステップＳ１３に進む。

一方、ステップＳ２で、注目画素が位相差画素であると判定された場合、処理はステップＳ３に進む。ステップＳ３において、信頼度判定部３２のダイナミックレンジ判定部４１は、注目画素に設定された遮光画素の遮光方向に沿った注目画素周辺の複数の通常画素を周辺画素列に設定する。そして、ダイナミックレンジ判定部４１は、周辺画素列を構成する各画素の画素値をメモリ部３１から取得する。

ステップＳ４において、ダイナミックレンジ判定部４１は、周辺画素列の画素値の最大値と最小値を探索し、最大値と最小値の差分で計算されるダイナミックレンジDRを算出する。

そして、ステップＳ５において、ダイナミックレンジ判定部４１は、算出したダイナミックレンジDRが閾値DR_THよりも大であるかを判定する。

ステップＳ５で、算出したダイナミックレンジDRが閾値DR_THよりも大ではないと判定された場合、処理はステップＳ１３に進む。

一方、ステップＳ５で、算出したダイナミックレンジDRが閾値DR_THよりも大であると判定された場合、処理はステップＳ６に進み、単調増減判定部４２は、周辺画素列における隣接画素どうしの画素値の差分値PIX_DIFを算出する。差分値PIX_DIFは、複数得られる。

ステップＳ７において、単調増減判定部４２は、周辺画素列に対して算出された複数の差分値PIX_DIFに基づいて、周辺画素列の画素値が単調増加または単調減少の傾向を有しているかを判定する。

ステップＳ７で、周辺画素列の画素値が単調増加または単調減少の傾向を有していないと判定された場合、処理はステップＳ１３に進む。

一方、ステップＳ７で、周辺画素列の画素値が単調増加または単調減少の傾向を有していると判定された場合、注目画素は位相差の検出に適した画素であると判定され、処理はステップＳ８に進み、単調増減判定部４２から位相差検出部３３に、位相差検出の指令が供給される。

位相差検出の指令が供給された位相差検出部３３は、ステップＳ８において、注目画素に設定されている遮光画素の遮光率に基づいて、注目画素の画素値をゲイン倍補正する。注目画素に設定されている遮光画素の遮光率は、上述したように、補正テーブルから取得したり、注目画素周辺の平坦部の遮光画素とその周辺画素の画素値から求めることができる。

ステップＳ９において、位相差検出部３３は、ゲイン倍補正された注目画素の画素値であるゲイン倍補正値v_shieldと、それとの差分が小さい遮光方向周辺の複数の通常画素の画素値から、注目画素の位相差phase_difを検出する。

具体的には、図８を参照して説明したように、注目画素周辺の複数の通常画素から、注目画素の通常画素値波形上の位置xが求められる。そして、注目画素の画素位置x_shieldと、通常画素値波形上の位置xとを用いて、phase_dif＝（x-x_shield）×２により、注目画素の位相差phase_difが算出される。位相差検出部３３により算出された注目画素の位相差phase_difは、信頼度判定部３２の正負絶対値判定部４３に供給される。

ステップＳ１０において、正負絶対値判定部４３は、注目画素の近傍にある他の遮光画素である近傍遮光画素の位相差を、メモリ部３１から取得する。

ステップＳ１１において、正負絶対値判定部４３は、算出された注目画素の位相差phase_difが信頼できる値であるかを判定する。具体的には、正負絶対値判定部４３は、注目画素の位相差phase_difと近傍遮光画素の位相差の乗算結果が正の値となるか、および、注目画素の位相差phase_difと近傍遮光画素の位相差の差分絶対値が所定の閾値NEAR_THより小さい値となるかを判定する。

ステップＳ１１で、算出された注目画素の位相差phase_difが信頼できる値ではないと判定された場合、処理はステップＳ１３に進む。

一方、ステップＳ１１で、算出された注目画素の位相差phase_difが信頼できる値であると判定された場合、処理はステップＳ１２に進み、正負絶対値判定部４３は、算出された注目画素の位相差phase_difを、メモリ部３１に記憶させる。

ステップＳ１３において、信頼度判定部３２は、メモリ部３１に記憶されている全ての画素を注目画素としたかを判定する。

ステップＳ１３で、全ての画素を注目画素としていないと判定された場合、処理はステップＳ１４に進み、信号処理回路１４は、まだ注目画素とされていない次の画素を注目画素に設定して、処理をステップＳ２に戻す。これにより、新たに設定された注目画素に対して、上述したステップＳ２からステップＳ１３までの処理が実行される。

一方、ステップＳ１３で、全ての画素を注目画素としたと判定された場合、処理はステップＳ１５に進む。

ステップＳ１５において、領域分割部５１は、画素アレイ部１１の画素領域を複数の領域に分割する。例えば、領域分割部５１は、画素アレイ部１１の画素領域を、ｎ×ｍの分割数で矩形の領域に分割する。

ステップＳ１６において、ヒストグラム作成部５２は、分割された複数の領域のうちの一つの領域を、注目領域に設定する。

ステップＳ１７において、ヒストグラム作成部５２は、注目領域内の位相差をメモリ部３１から取得し、注目領域の位相差のヒストグラムを作成する。

ステップＳ１８において、領域位相差決定部５３は、統計処理により、注目領域の位相差を決定する。すなわち、領域位相差決定部５３は、注目領域内の位相差の外れ値を除去し、除去後の位相差のみを用いて位相差の平均値を算出することにより、注目領域の位相差を決定する。決定された位相差は、その領域を識別する領域情報とともに、後段に出力される。

ステップＳ１９において、領域位相差決定部５３は、分割された複数の領域のうちの全ての領域を注目領域としたかを判定する。

ステップＳ１９で、全ての領域をまだ注目領域としていないと判定された場合、処理はステップＳ２０に進み、ヒストグラム作成部５２は、まだ注目領域とされていない所定の領域を、注目領域に設定する。その後、処理はステップＳ１６に戻され、上述したステップＳ１６からステップＳ１９までの処理が繰り返される。

一方、ステップＳ１９で、全ての領域を注目領域としたと判定された場合、信号処理回路１４による位相差検出処理は終了する。

なお、上述した例では、位相差検出部３３が位相差を算出した次の処理で、算出された位相差を近傍遮光画素の位相差と比較して、算出された位相差の信頼度を判定するようにした。しかし、注目画素の近傍の遮光画素の位相差がまだ検出されていない場合もあり得る。したがって、上述したステップＳ３乃至Ｓ９の処理を全ての遮光画素について実行した後で、ステップＳ１０乃至Ｓ１２の処理を、全ての遮光画素について実行するようにしてもよい。

以上のように、信号処理回路１４による位相差検出処理によれば、従来、片側遮光画素と反対側遮光画素の対で検出していた位相差を、１つの遮光画素のみで検出することができる。

１つの遮光画素のみで位相差を検出するため、信号処理回路１４の信頼度判定部３２によって、予め、遮光画素が位相差検出に適した画素であるか否かの信頼度判定が行われる。また、領域単位位相差決定部３４は、画素アレイ部１１の画素領域を複数の領域に分割し、検出された複数の位相差を領域単位で統計処理することにより、位相差を、領域単位で決定する。

このように、信号処理回路１４による位相差検出処理によれば、１つの遮光画素のみで位相差を検出することができるので、遮光画素の配置の自由度を上げることができ、微小領域や複雑な形状の領域における位相差検出も可能となる。

また、信号処理回路１４は、遮光画素の周辺に密に配置された高ＳＮ比の通常画素の画素値を利用して遮光画素の位相差を算出するので、位相差の検出精度を向上させることができる。

＜４．遮光画素のその他の配置例＞
上述した実施の形態では、画素アレイ部１１における遮光画素の配置が、図４を参照して説明したように、遮光方向には疎になり、遮光方向ではない方向には、他の遮光画素が近接配置されている例について説明した。

図４に示した配置の場合、周辺画素列は全ての通常画素となり、算出された位相差の正負絶対値判定を行うときに必要な近傍遮光画素も、すぐ近くに配置されているので、よりロバストに位相差を検出することができる。

しかし、信号処理回路１４による本手法は、図４に示した以外の遮光画素の配置であっても、適用することができる。

図１２乃至図２１を参照して、信号処理回路１４による本手法が適用可能であり、画素アレイ部１１が採用可能なその他の遮光画素の配置例について説明する。

図４では片側遮光画素が規則的に配置されているのに対して、図１２は、片側遮光画素をランダムに配置した例を示している。

また、図１３は、片側遮光画素と反対側遮光画素のそれぞれをランダムに配置した例を示している。

従来の位相差検出では、片側遮光画素と反対側遮光画素を対で規則的に配置して、対称に出現される遮光画素の画素信号を用いて、位相差が検出される。したがって、図１３のように、片側遮光画素と反対側遮光画素がランダムに配置された場合には、片側遮光画素の画素信号と反対側遮光画素の画素信号の波形を復元できないため、従来の手法では、位相差を検出することができなかった。

しかし、本手法によれば、一つの遮光画素と、遮光方向の複数の通常画素があれば良いので、図１３に示したような配置でも、問題なく位相差を検出することができる。

図１４は、片側遮光画素と反対側遮光画素の対を、ランダムに配置した例を示している。

このように配置した場合、遮光方向に設定される周辺画素列は全ての通常画素となり、正負絶対値判定の近傍遮光画素としては、対とされた他方の遮光画素を利用することができるので、よりロバストに位相差を検出することができる。

図１４の配置では、注目画素の近傍遮光画素は、注目画素とは反対の遮光領域を有する遮光画素となる。したがって、正負絶対値判定処理では、注目画素の位相差と近傍遮光画素の位相差の乗算結果が負の値（＜０）となり、かつ、注目画素の位相差と近傍遮光画素の位相差の差分絶対値が所定の閾値NEAR_THより小である場合に、検出された注目画素の位相差が信頼できる値であると判定される。

図１５は、遮光画素の従来の配置例を示している。

図１５Aは、右側が遮光された片側遮光画素と、左側が遮光された反対側遮光画素の対を、遮光方向である水平方向に並べて配置した例を示している。

図１５Bは、下側が遮光された片側遮光画素と、上側が遮光された反対側遮光画素の対を、遮光方向である垂直方向に並べて配置した例を示している。

図１５Cは、左斜め下側が遮光された片側遮光画素と、右斜め上側が遮光された反対側遮光画素の対を、遮光方向である右斜め方向に並べて配置した例を示している。

このような従来の配置例においても、本手法を採用することができる。

ただし、本手法では、注目画素に対して遮光方向の周辺画素列の画素値を用いて、注目画素が位相差検出に適した画素であるかどうかが判定される。そのため、図１５Aの配置に対しては、図１６Aに示されるように、周辺画素列とされる、遮光方向の複数の遮光画素の画素値として、その周辺、例えば、上下の通常画素の画素値を用いて補間した値を用いることで、本手法を適用することができる。

図１５Bの配置に対しては、図１６Bに示されるように、周辺画素列とされる、遮光方向の複数の遮光画素の画素値として、その周辺、例えば、左右の通常画素の画素値を用いて補間した値を用いることで、本手法を適用することができる。

図１５Cの配置に対しては、図１６Cに示されるように、周辺画素列とされる、遮光方向の複数の遮光画素の画素値として、その周辺、例えば、左斜め上と左斜め下の通常画素の画素値を用いて補間した値を用いることで、本手法を適用することができる。

図１５に示した従来の配置例は、遮光画素が遮光方向に一列に並んでいるため、位相差検出のためには都合がいいが、撮像画像の画質は劣化する可能性がある。そこで、図１７Aに示されるように、片側遮光画素と反対側遮光画素の対が、遮蔽方向とは異なる方向に配列された配置も、従来から採用されている。

本手法は、図１７Aに示されるような配置においても採用することができる。この場合も、周辺画素列に設定される複数の画素のなかには遮光画素が含まれるので、図１７Bに示されるように、その画素値として、例えば、上下の通常画素の画素値を用いて補間した値を用いることで、本手法を適用することができる。

図１５および図１７は、片側遮光画素と反対側遮光画素の対を、水平方向、垂直方向、斜め方向に配置した従来の配置例であるが、本手法は、上述したように、片側遮光画素のみでも位相差を検出することができるので、図１８乃至図２１に示すような配置でも、位相差を検出することができる。

図１８は、右側に遮光領域を有する片側遮光画素のみを、遮光方向である水平方向に並べて配置した例を示している。

図１９は、下側に遮光領域を有する片側遮光画素のみを、遮光方向である垂直方向に並べて配置した例を示している。

図２０は、左斜め下側に遮光領域を有する片側遮光画素を、遮光方向である斜め方向に並べて配置した例を示している。

さらには、図２１に示されるような、片側遮光画素の対を、遮蔽方向とは異なる方向に配列したような配置でも、本手法によれば位相差を検出することができる。

このように、本手法によれば、一つの遮光画素のみでも位相差を検出することができるので、位相差を検出するための遮光画素の配置の自由度を向上させることができる。

＜５．固体撮像装置の基板構成例＞
次に、図２２を参照して、図１の固体撮像装置１の基板構成について説明する。

固体撮像装置１は、シリコン（Si）等の半導体基板を用いて、図２２A乃至図２２Cに示される第１乃至第３の基板構成のいずれかを採用して、作成することができる。

図２２Aは、固体撮像装置１の第１の基板構成を示している。

図２２Aの固体撮像装置１は、１つの半導体基板８１内に、画素領域８２と、制御回路８３と、信号処理するためのロジック回路８４とを搭載して構成される。図２２Aにおける画素領域８２には、例えば、図１の画素アレイ部１１が含まれ、図２２Aにおける制御回路８３には、図１のAD変換部１２、水平転送部１３、タイミング制御部１５、画素駆動部１６などが含まれる。また、図２２Aにおけるロジック回路８４には、図１の信号処理回路１４が含まれる。

図２２Bは、固体撮像装置１の第２の基板構成を示している。

第２の基板構成では、固体撮像装置１が、第１の半導体基板８５と、第２の半導体基板８６が積層された構造となっており、第１の半導体基板８５には、画素領域８２と制御回路８３が形成され、第２の半導体基板８６には、ロジック回路８４が形成されている。

図２２Cは、固体撮像装置１の第３の基板構成を示している。

第３の基板構成においても、第２の基板構成と同様に、第１の半導体基板８５と第２の半導体基板８６が積層された構造となっている。しかし、第１の半導体基板８５には、画素領域８２のみが形成されており、第２の半導体基板８６に、制御回路８３とロジック回路８４が形成されている。

固体撮像装置１は、以上のような基板構成で製造することができる。

＜その他の実施の形態＞
次に、上述した位相差検出処理を行う信号処理回路のその他の実施の形態について説明する。
＜信号処理回路が独立した形態＞
図２３は、上述した位相差検出処理を行う信号処理回路が信号処理装置として独立した形態となった構成例を示している。

すなわち、上述した例では、図１を参照して説明したように、位相差検出処理を行う信号処理回路１４が、固体撮像装置１の一部として組み込まれていた。

しかし、図２３の例では、図１の撮像部１７に対応する固体撮像装置９１と、それとは別に設けられた、図１の信号処理回路１４に対応する信号処理装置９２とで構成されている。

固体撮像装置９１は、遮光画素の配置として、上述した図４、図１２乃至図１５、図１７Ａ、図１８乃至図２１等の各構成を採用することができ、位相差を検出するための遮光画素の配置の自由度を向上させた装置とすることができる。

信号処理装置９２は、固体撮像装置９１から出力される画素信号に基づいて、上述した位相差検出処理を行い、検出した位相差を出力する。また、信号処理装置９２は、遮光画素の画素値を補間により算出し、通常画素の画素値とともに、映像出力用の画素信号として出力する。

＜６．電子機器への適用例＞
本技術を適用した固体撮像装置および信号処理装置は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えたオーディオプレーヤといった各種の電子機器に適用することができる。また、固体撮像装置および信号処理装置は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理回路とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。

図２４は、本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。

図２４の撮像装置１００は、レンズ群などからなる光学部１０１、上述した固体撮像装置９１の構成を有する固体撮像装置（撮像デバイス）１０２、および、上述した信号処理回路１４の機能を有するDSP(Digital Signal Processor)回路１０３を備える。また、撮像装置１００は、フレームメモリ１０４、表示部１０５、記録部１０６、操作部１０７、および電源部１０８も備える。DSP回路１０３、フレームメモリ１０４、表示部１０５、記録部１０６、操作部１０７および電源部１０８は、バスライン１０９を介して相互に接続されている。

光学部１０１は、被写体からの入射光（像光）を取り込んで固体撮像装置１０２の撮像面上に結像する。固体撮像装置１０２は、光学部１０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。

表示部１０５は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像装置１０２で撮像された動画または静止画を表示する。記録部１０６は、固体撮像装置１０２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。

操作部１０７は、ユーザによる操作の下に、撮像装置１００が持つ様々な機能について操作指令を発する。電源部１０８は、DSP回路１０３、フレームメモリ１０４、表示部１０５、記録部１０６および操作部１０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。

また、本技術は、可視光の入射光量の分布を検知して画像として撮像する固体撮像装置への適用に限らず、赤外線やＸ線、あるいは粒子等の入射量の分布を画像として撮像する固体撮像装置や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の固体撮像装置（物理量分布検知装置）全般に対して適用可能である。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
（１）
受光領域の一部が遮光されている遮光画素１画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部を備える
信号処理装置。
（２）
前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部をさらに備え、
前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素に対して位相差を検出する
前記（１）に記載の信号処理装置。
（３）
前記信頼度判定部は、
取得された前記周辺画素列の画素値のダイナミックレンジを算出し、算出されたダイナミックレンジを判定するダイナミックレンジ判定部と、
取得された前記周辺画素列の画素値の単調増加および単調減少を判定する単調増減判定部と
を有し、
前記信頼度判定部は、前記ダイナミックレンジ判定部および前記単調増減判定部により、算出されたダイナミックレンジが所定の閾値よりも大であり、かつ、前記周辺画素列の画素値が単調増加または単調減少の傾向を有していると判定された場合に、前記遮光画素が位相差の検出を行うのに適した画素であると判定する
前記（２）に記載の信号処理装置。
（４）
前記信頼度判定部は、
算出された前記遮光画素の位相差を、近傍の他の遮光画素の位相差と比較することにより、前記位相差検出部により検出された位相差が信頼できる値であるかを判定する検出位相差判定部を有する
前記（２）または（３）に記載の信号処理装置。
（５）
前記検出位相差判定部は、画素内の遮光領域の配置が、位相差を算出した前記遮光画素と前記他の遮光画素で同じ場合、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の符号が同じで、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の差分絶対値が所定の閾値より小である場合に、前記位相差検出部により検出された位相差が信頼できる値であると判定する
前記（４）に記載の信号処理装置。
（６）
前記検出位相差判定部は、画素内の遮光領域の配置が、位相差を算出した前記遮光画素と前記他の遮光画素で異なる場合、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の符号が異なり、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の差分絶対値が所定の閾値より小である場合に、前記位相差検出部により検出された位相差が信頼できる値であると判定する
前記（４）に記載の信号処理装置。
（７）
前記位相差検出部は、取得した前記遮光画素の画素値を、遮光率に応じてゲイン倍補正することにより、前記感度低下の補正を行う
前記（１）乃至（６）のいずれかに記載の信号処理装置。
（８）
前記位相差検出部は、取得した前記遮光画素の画素値を、前記補正テーブルに基づいて決定された遮光率に応じてゲイン倍補正することにより、前記感度低下の補正を行う
前記（７）に記載の信号処理装置。
（９）
前記位相差検出部は、取得した前記遮光画素の画素値を、周辺の他の遮光画素から算出した遮光率に応じてゲイン倍補正することにより、前記感度低下の補正を行う
前記（７）に記載の信号処理装置。
（１０）
前記位相差検出部は、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値に対応する前記周辺画素列の画素値波形上の位置を求めることで、前記遮光画素の位相差を算出する
前記（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）
前記位相差検出部は、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値との差分が小さい前記周辺画素列の２つの画素値を用いて、前記遮光画素の位相差を算出する
前記（１０）に記載の信号処理装置。
（１２）
前記位相差検出部は、前記補正後の画素値と、前記周辺画素列の２つの画素値それぞれとの画素差分の比に基づいて、前記遮光画素の位相差を算出する
前記（１１）に記載の信号処理装置。
（１３）
前記位相差検出部は、前記周辺画素列の画素が遮光画素である場合には、その遮光画素の画素値として、その周辺の通常画素の画素値で補間した値を用いる
前記（１０）乃至（１２）のいずれかに記載の信号処理装置。
（１４）
複数の前記遮光画素が配置されている撮像領域を、所定数の領域に分割する領域分割部と、
検出された前記位相差に基づいて、分割された前記領域ごとの位相差を決定する領域位相差決定部と
をさらに備える
前記（１）乃至（１３）のいずれかに記載の信号処理装置。
（１５）
前記領域分割部は、画像のテクスチャ情報を用いて、前記撮像領域を、所定数の領域に分割する
前記（１４）に記載の信号処理装置。
（１６）
前記領域分割部は、同一の奥行きと認識される領域単位に、前記撮像領域を、所定数の領域に分割する
前記（１４）または（１５）に記載の信号処理装置。
（１７）
前記領域位相差決定部は、検出された前記位相差に対して統計処理を用いて、分割された前記領域ごとの位相差を決定する
前記（１４）乃至（１６）のいずれかに記載の信号処理装置。
（１８）
遮光画素を有する撮像部からの信号を処理する信号処理装置が、
受光領域の一部が遮光されている遮光画素１画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、
前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する
信号処理方法。
（１９）
受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを備える画素アレイ部を備え、
前記画素アレイ部内に配置されている複数の前記遮光画素それぞれの前記遮光領域の位置は同一である
固体撮像装置。
（２０）
受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを備える画素アレイ部を備え、
前記画素アレイ部内に配置されている複数の前記遮光画素それぞれの前記遮光領域の位置は同一である
固体撮像装置
を備える電子機器。

１ 固体撮像装置， １４ 信号処理回路， １７ 撮像部， ３２ 信頼度判定部， ３３ 位相差検出部， ３４ 領域単位位相差決定部， ４１ ダイナミックレンジ判定部， ４２ 単調増減判定部， ４３ 正負絶対値判定部， ５１ 領域分割部， ５２ ヒストグラム作成部， ５３ 領域位相差決定部， ９１ 固体撮像装置， ９２ 信号処理装置， １００ 撮像装置， １０２ 固体撮像装置， １０３ DSP回路

Claims (19)

1. 受光領域の一部が遮光されている遮光画素１画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部と、
   取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部と
   を備え、
   前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する
   信号処理装置。
2. 前記信頼度判定部は、前記ダイナミックレンジが所定の閾値よりも大であり、かつ、前記周辺画素列の画素値が単調増加または単調減少の傾向を有していると判定された場合に、前記遮光画素が位相差の検出を行うのに適した画素であると判定する
   請求項１に記載の信号処理装置。
3. 前記信頼度判定部は、
   算出された前記遮光画素の位相差を、近傍の他の遮光画素の位相差と比較することにより、前記位相差検出部により検出された位相差が信頼できる値であるかを判定する検出位相差判定部を有する
   請求項１または２に記載の信号処理装置。
4. 前記検出位相差判定部は、画素内の遮光領域の配置が、位相差を算出した前記遮光画素と前記他の遮光画素で同じ場合、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の符号が同じで、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の差分絶対値が所定の閾値より小である場合に、前記位相差検出部により検出された位相差が信頼できる値であると判定する
   請求項３に記載の信号処理装置。
5. 前記検出位相差判定部は、画素内の遮光領域の配置が、位相差を算出した前記遮光画素と前記他の遮光画素で異なる場合、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の符号が異なり、算出された前記遮光画素の位相差と、前記他の遮光画素の位相差の差分絶対値が所定の閾値より小である場合に、前記位相差検出部により検出された位相差が信頼できる値であると判定する
   請求項３に記載の信号処理装置。
6. 前記位相差検出部は、取得した前記遮光画素の画素値を、遮光率に応じてゲイン倍補正することにより、前記感度低下の補正を行う
   請求項１乃至５のいずれかに記載の信号処理装置。
7. 前記位相差検出部は、取得した前記遮光画素の画素値を、補正テーブルを参照して決定された遮光率に応じてゲイン倍補正することにより、前記感度低下の補正を行う
   請求項６に記載の信号処理装置。
8. 前記位相差検出部は、取得した前記遮光画素の画素値を、周辺の他の遮光画素から算出した遮光率に応じてゲイン倍補正することにより、前記感度低下の補正を行う
   請求項６に記載の信号処理装置。
9. 前記位相差検出部は、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値に対応する前記周辺画素列の画素値波形上の位置を求めることで、前記遮光画素の位相差を算出する
   請求項１乃至８のいずれかに記載の信号処理装置。
10. 前記位相差検出部は、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値との差分が小さい前記周辺画素列の２つの画素値を用いて、前記遮光画素の位相差を算出する
    請求項９に記載の信号処理装置。
11. 前記位相差検出部は、前記補正後の画素値と、前記周辺画素列の２つの画素値それぞれとの画素差分の比に基づいて、前記遮光画素の位相差を算出する
    請求項１０に記載の信号処理装置。
12. 前記位相差検出部は、前記周辺画素列の画素が遮光画素である場合には、その遮光画素の画素値として、その周辺の通常画素の画素値で補間した値を用いる
    請求項９乃至１１のいずれかに記載の信号処理装置。
13. 複数の前記遮光画素が配置されている撮像領域を、所定数の領域に分割する領域分割部と、
    検出された前記位相差に基づいて、分割された前記領域ごとの位相差を決定する領域位相差決定部と
    をさらに備える
    請求項１乃至１２のいずれかに記載の信号処理装置。
14. 前記領域分割部は、画像のテクスチャ情報を用いて、前記撮像領域を、所定数の領域に分割する
    請求項１３に記載の信号処理装置。
15. 前記領域分割部は、同一の奥行きと認識される領域単位に、前記撮像領域を、所定数の領域に分割する
    請求項１３または１４に記載の信号処理装置。
16. 前記領域位相差決定部は、検出された前記位相差に対して統計処理を用いて、分割された前記領域ごとの位相差を決定する
    請求項１３乃至１５のいずれかに記載の信号処理装置。
17. 遮光画素を有する撮像部からの信号を処理する信号処理装置が、
    受光領域の一部が遮光されている遮光画素１画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、
    取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定し、
    前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する
    信号処理方法。
18. 受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを有し、複数の前記遮光画素それぞれの前記遮光領域の位置が同一である画素アレイ部と、
    前記遮光画素１画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部と、
    取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部と
    を備え、
    前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する
    固体撮像装置。
19. 受光領域の一部を遮光した遮光領域がある遮光画素と、前記遮光領域がない通常画素とを有し、複数の前記遮光画素それぞれの前記遮光領域の位置が同一である画素アレイ部と、
    前記遮光画素１画素と、その遮光画素の遮光方向の周辺画素列の画素値を取得し、前記遮光画素の画素値に対して感度低下の補正を行った補正後の画素値を、前記周辺画素列の画素値と比較することにより、前記遮光画素の位相差を検出する位相差検出部と、
    取得された前記周辺画素列の画素値のダイナミックレンジと、取得された前記周辺画素列の画素値の増減傾向とに基づいて、前記遮光画素が位相差の検出を行うのに適した画素であるかを判定する信頼度判定部と
    を備え、
    前記位相差検出部は、前記信頼度判定部により、位相差の検出を行うのに適した画素であると判定された前記遮光画素の位相差を検出する
    固体撮像装置
    を備える電子機器。

Images