以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
(1)画素の配置(図1~図4)
(2)第1の構成例(1/4画素、B画素とR画素に横方向と縦方向の位相差検波用画素を配置)(図5~図7)
(3)位相差検波の原理(図8~図10)
(4)電子機器の構成例(図11、図12)
(5)位相差オートフォーカス処理(図13、図14)
(6)撮像処理(図15)
2.第2の構成例(1/4画素、B画素とR画素に縦方向と横方向の位相差検波用画素を配置)(図16)
3.第3の構成例(1/4画素、B画素とR画素に縦方向と横方向の位相差検波用画素を混在して配置)(図17)
4.第4の構成例(1/4画素、B画素とR画素に左斜め上と右斜め上位相差検波用画素を配置)(図18)
5.第5の構成例(1/4画素、B画素とR画素に右斜め上と左斜め上位相差検波用画素を配置)(図19)
6.第6の構成例(1/4画素、B画素とR画素に左斜め上と右斜め上位相差検波用画素を混在して配置)(図20)
7.第7の構成例(1/4画素、B画素の行のG画素とR画素の行のG画素に横方向と縦方向の位相差検波用画素を配置)(図21)
8.第8の構成例(1/4画素、B画素の行のG画素とR画素の行のG画素に縦方向と横方向の位相差検波用画素を配置)(図22)
9.第9の構成例(1/4画素、B画素の行のG画素とR画素の行のG画素に横方向と縦方向の位相差検波用画素を混在して配置)(図23)
10.第10の構成例(1/4画素、B画素の行のG画素とR画素の行のG画素に左斜め上と右斜め上位相差検波用画素を配置)(図24)
11.第11の構成例(1/4画素、B画素の行のG画素とR画素の行のG画素に右斜め上と左斜め上位相差検波用画素を配置)(図25)
12.第12の構成例(1/4画素、B画素の行のG画素とR画素の行のG画素に左斜め上と右斜め上位相差検波用画素を混在して配置)(図26)
13.第13の構成例(2/4画素、B画素に同じ横方向の位相差検波用画素を配置)(図27)
14.第14の構成例(2/4画素、B画素に対の横方向の位相差検波用画素を配置)(図28)
15.第15の構成例(2/4画素、B画素に横方向と縦方向の位相差検波用画素を混在して配置)(図29)
16.第16の構成例(2/4画素、B画素に左斜め上と右斜め上の位相差検波用画素を混在して配置)(図30)
17.第17の構成例(2/4画素、B画素とR画素に同じ横方向と同じ縦方向の位相差検波用画素を配置)(図31)
18.第18の構成例(2/4画素、B画素とR画素に同じ縦方向と同じ横方向の位相差検波用画素を配置)(図32)
19.第19の構成例(2/4画素、B画素とR画素に対の横方向と対の縦方向の位相差検波用画素を配置)(図33)
20.第20の構成例(2/4画素、B画素とR画素に対の左斜め上と対の右斜め上の位相差検波用画素を配置)(図34)
21.第21の構成例(1/4画素、B画素、G画素、R画素に横方向の位相差検波用画素を配置)(図35,図36)
22.第22の構成例(1/4画素、B画素、2つのG画素、R画素に横方向の位相差検波用画素を配置)(図37)
23.位相差検波用画素の配置(図38)
24.変形例(図39)
25.応用例(図40,図41)
26.その他
<1.第1の実施の形態>
(1)画素の配置
図1は、本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。
図1の撮像素子41は、図示せぬ半導体基板上に、タイミング制御部42、垂直走査回路43、画素アレイ部44、定電流源回路部45、参照信号生成部46、およびカラムAD(Analog to Digital)変換部47が設けられることにより構成される。さらに、水平走査回路48、水平出力線49、および出力回路50が設けられている。
タイミング制御部42は、所定の周波数のマスタクロックに基づいて、所定の動作に必要なクロック信号やタイミング信号を垂直走査回路43および水平走査回路48に供給する。例えば、タイミング制御部42は、画素51のシャッタ動作や読み出し動作のタイミング信号を垂直走査回路43および水平走査回路48に供給する。また、図示は省略されているが、タイミング制御部42は、所定の動作に必要なクロック信号やタイミング信号を、参照信号生成部46、カラムAD変換部47などにも供給する。
垂直走査回路43は、画素アレイ部44の垂直方向に並ぶ各画素51に、順次、所定のタイミングで、画素信号の出力を制御する信号を供給する。
画素アレイ部44には、複数の画素51が2次元アレイ状(行列状)に配置されている。すなわち、M×N個の画素51が平面的に配置されている。MとNの値は任意の整数である。
2次元アレイ状に配置されている複数の画素51は、水平信号線52により、行単位で垂直走査回路43と接続されている。換言すれば、画素アレイ部44内の同一行に配置されている複数の画素51は、同じ1本の水平信号線52で、垂直走査回路43と接続されている。なお、図1では、水平信号線52について1本の配線として示しているが、1本に限られるものではない。
また、2次元アレイ状に配置されている複数の画素51は、垂直信号線53により、列単位で水平走査回路48と接続されている。換言すれば、画素アレイ部44内の同一列に配置されている複数の画素51は、同じ1本の垂直信号線53で、水平走査回路48と接続されている。
画素アレイ部44内の各画素51は、水平信号線52を介して垂直走査回路43から供給される信号に従って、内部に蓄積された電荷に応じた画素信号を、垂直信号線53に出力する。画素51は、被写体の画像の画素信号を出力する撮像用の画素(以下、撮像用画素という)または位相差検波用の画素(以下、位相差検波用画素という)として機能する。画素51の詳細な構成については、図2等を参照して後述する。
定電流源回路部45は複数の負荷MOS(Metal-Oxide Semiconductor)54を有し、1本の垂直信号線53に1つの負荷MOS54が接続されている。負荷MOS54は、ゲートにバイアス電圧が印加され、ソースが接地されており、垂直信号線53を介して接続される画素51内のトランジスタとソースフォロワ回路を構成する。
参照信号生成部46は、DAC(Digital to Analog Converter)46aを有して構成されており、タイミング制御部42からのクロック信号に応じて、ランプ(RAMP)波形の基準信号を生成して、カラムAD変換部47に供給する。
カラムAD変換部47には、画素アレイ部44の列ごとに1つとなる複数のADC(Analog to Digital Converter)55を有している。したがって、1本の垂直信号線53には、複数の画素51と、1個の負荷MOS54及びADC55が接続されている。
ADC55は、同列の画素51から垂直信号線53を介して供給される画素信号を、CDS(Correlated Double Sampling;相関2重サンプリング)処理し、さらにAD変換処理する。
各ADC55は、AD変換後の画素データを一時的に記憶し、水平走査回路48の制御に従って、水平出力線49に出力する。
水平走査回路48は、複数のADC55に記憶されている画素データを、順次、所定のタイミングで水平出力線49に出力させる。
水平出力線49は出力回路(増幅回路)50と接続されており、各ADC55から出力されたAD変換後の画素データは、水平出力線49を介して出力回路50から、撮像素子41の外部へ出力される。出力回路50(信号処理部)は、例えば、バファリングだけする場合もあるし、黒レベル調整、列ばらつき補正などの各種のデジタル信号処理を行う場合もある。
以上のように構成される撮像素子41は、CDS処理とAD変換処理を行うADC55が垂直列ごとに配置されたカラムAD方式と呼ばれるCMOSイメージセンサである。
図2は、画素51の等価回路を示している。画素51は、光電変換素子としてのフォトダイオード61、転送トランジスタ62、FD(Floating Diffusion:フローティング拡散領域)63、リセットトランジスタ64、増幅トランジスタ65、及び選択トランジスタ66を有する。
フォトダイオード61は、受光量に応じた電荷(信号電荷)を生成し、蓄積する光電変換部である。フォトダイオード61は、アノード端子が接地されているとともに、カソード端子が転送トランジスタ62を介して、FD63に接続されている。
転送トランジスタ62は、転送信号TXによりオンされたとき、フォトダイオード61で生成された電荷を読み出し、FD63に転送する。
FD63は、フォトダイオード61から読み出された電荷を保持する。リセットトランジスタ64は、リセット信号RSTによりオンされたとき、FD63に蓄積されている電荷が定電圧源VDDに排出されることで、FD63の電位をリセットする。
増幅トランジスタ65は、FD63の電位に応じた画素信号を出力する。すなわち、増幅トランジスタ65は定電流源としての負荷MOS54とソースフォロワ回路を構成し、FD63に蓄積されている電荷に応じたレベルを示す画素信号が、増幅トランジスタ65から選択トランジスタ66を介してADC55に出力される。
選択トランジスタ66は、選択信号SELにより画素51が選択されたときオンされ、画素51の画素信号を、垂直信号線53を介してADC55に出力する。転送信号TX、リセット信号RST、および選択信号SELは、水平信号線52(図1)を介して垂直走査回路43から供給される。
図3は本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。具体的には、図3は画素51の配列を示している。すなわち、本実施の形態においては、画素アレイ部44は、撮像領域101により被写体の画像を撮像する。撮像領域101は、M/4×N/4個の行列状に配置された複数のブロック102により構成されている。このブロック102は撮像される画像の単位を構成する。すなわち被写体は、ブロック102毎に所定の色(赤(R)、緑(G)、および青(B)の色により合成される色)の単位の集合として撮像され、表示(つまり人の目に認識)される。
この実施の形態の場合、ブロック102は、サブブロック103をベイヤ(Bayer)配列することで構成されている。すなわち、ブロック102は、1個の赤(R)のサブブロック103、2個の緑(G)のサブブロック103、および1個の青(B)のサブブロック103からなる4つのサブブロック103が、2×2の行列状に配置されて構成されている。
この例では、ブロック102の左上と右下に緑(G)のサブブロック103が、左下に赤(R)のサブブロック103が、そして右上に青(B)のサブブロック103が、それぞれ配置されている。全てのブロック102において、サブブロック103の配置パターンは同一である。なお、以下においては、必要に応じて、赤(R)、緑(G)、および青(B)のサブブロック103を、それぞれRサブブロック103、Gサブブロック103、またはBサブブロック103と記載する。
左下の1個のRサブブロック103、左上と右下の2個のGサブブロック103、および右上の1個のBサブブロック103の合計4個のサブブロック103により合成される色により、対応する位置の被写体の画像の色が撮像され、画像として表現される。すなわち、図3に示されるように、M/4×N/4個に行列状に配置された複数のブロック102に対応する各領域をRNij(i,jはブロック102の行と列の位置を表す)とする。そして被写体の色は領域RNij毎の色Cijとして撮像され、表現される。つまり、そのブロック102を構成する左下の1個のRサブブロック103、左上と右下の2個のGサブブロック103、および右上の1個のBサブブロック103の合計4個のサブブロック103により合成される色Cijが、被写体のその領域RNijの色として撮像される。
さらにこの実施の形態においては、サブブロック103は、互いに隣り合う2×2個の行列状の同じ色の画素111により構成されている。画素111は、図1および図2の画素51に対応する。以下においては、必要に応じて、赤(R)、緑(G)、および青(B)の画素111を、それぞれR画素111、G画素111、またはB画素111と記載する。つまり、Rサブブロック103は、2×2個の行列状のR画素111により構成されている。Gサブブロック103は、2×2個の行列状のG画素111により構成されている。Bサブブロック103は、2×2個の行列状のB画素111により構成されている。1つのサブブロック103を構成する2×2個の同じ色の画素111は、それぞれ独立しても読み出すことができるが、1つのサブブロック103としてまとめて読み出すこともできる。
図4は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。すなわち、図3の撮像領域101を画素111により表現すると、図4に示されるようになる。2×2個の同じ色の画素111により1個のサブブロック103が構成される。具体的には、2×2個のR画素111により1個のRサブブロック103が構成される。同様に、2×2個のG画素111により1個のGサブブロック103が構成され、2×2個のB画素111により1個のBサブブロック103が構成される。
そして、2×2個のサブブロック103(1個のRサブブロック103、2個のGサブブロック103、および1個のBサブブロック103)により1個のブロック102が構成されている。
すなわち、撮像領域101においては、同じ色の複数の画素111によりサブブロック103が構成され、異なる色を含む複数のサブブロック103によりブロック102が構成されている。そして、複数のサブブロック103の異なる色が合成されたブロック102の合成色として、ブロック102に対応する位置の被写体の撮像点の色として人に認識される。
(2)第1の構成例(1/4画素、B画素とR画素に横方向と縦方向の位相差検波用画素を配置)
図5は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。この第1の構成例においては、撮像素子41の撮像領域101にm×n個の画素111が規則的に配列されている。この例では、m=n=16とされているが、mの値は1以上M以下の任意の整数であり、nの値は1以上N以下の任意の整数である。
図5の構成例においては、G画素が配置されているのは、第1行と第2行、第5行と第6行、第9行と第10行、第13行と第14行の各行と、第1列と第2列、第5列と第6列、第9列と第10列、第13列と第14列の各列の交点の画素111である。これらがブロック102内の左上のGサブブロック103を構成する。またG画素は、第3行と第4行、第7行と第8行、第11行と第12行、第15行と第16行の各行と、第3列と第4列、第7列と第8列、第11列と第12列、第15列と第16列の各列の交点にも配置されている。これらがブロック102内の右下のGサブブロック103を構成する。
B画素が配置されているのは、第1行と第2行、第5行と第6行、第9行と第10行、第13行と第14行の各行と、第3列と第4列、第7列と第8列、第11列と第12列、第15列と第16列の各列の交点の画素111である。これらがブロック102内の右上のBサブブロック103を構成する。
R画素が配置されているのは、第3行と第4行、第7行と第8行、第11行と第12行、第15行と第16行の各行と、第1列と第2列、第5列と第6列、第9列と第10列、第13列と第14列の各列の交点の画素111である。これらがブロック102内の左下のRサブブロック103を構成する。
R,G,Bの各画素111の配置は、図16以降の他の構成例においても同様であり、その説明は省略する。
m×n個の画素111は基本的にR,G,Bの撮像用画素であるが、位相差検波用画素131が配置されるサブブロック103内においては、そのうちの一部が位相差検波用画素131に置き換えられる。これにより、位相差検波用画素131は特定のパターンで全体に規則的に配置される。図5の構成例では、行列状に2次元配置される複数の画素111の中に、画素の半分が黒色の矩形で示され、残りの半分が白色の矩形で示される複数の位相差検波用画素131が散在して配置されている。
図5の構成例では、Bサブブロック103とRサブブロック103のいずれにおいても、2×2個の画素111のうち、相対的に同じ位置(対応する位置)である左上の画素111が位相差検波用画素131とされている。具体的には、Bサブブロック103においては、左上の画素111に、横方向(水平方向)の位相差を検波する位相差検波用画素131が配置されている。
そして第3列および第11列の画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。第7列および第15列の画素111には、横方向の位相差を検波する対の他方を構成する位相差検波用画素131Bが配置されている。
図6は、本技術を適用した撮像素子の一実施の形態の開口の構成を示す図である。図6の左側には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうちの位相差検波用画素131Aが示されている。位相差検波用画素131Aにおいては、その右側に遮光部133Aが、その左側に透光部132Aが形成されている。この例では被写体からフォトダイオード61に向かう光を遮光する遮光部133Aは、例えば銅などの金属膜により形成される。そして、被写体からの光をフォトダイオード61に向けて透光する透光部132Aは、遮光部133Aを形成する金属膜の一部を開口することで形成される。もちろん、遮光部133Aを形成しないことで開口を形成することもできる。
他方、位相差検波用画素131Aと対をなす、図6の右側に示される位相差検波用画素131Bにおいては、その左側に遮光部133Bが、その右側に透光部132Bが形成されている。この例でも被写体からフォトダイオード61に向かう光を遮光する遮光部133Bは、例えば銅などの金属膜により形成され、被写体からの光をフォトダイオード61に向けて透光する透光部132Bは、遮光部133Bを形成する金属膜の一部を開口することで形成される。もちろん、遮光部133Bを形成しないことで開口を形成することもできる。
図5に示されるように、Rサブブロック103においては、2×2個の画素111のうち左上の画素111に、縦方向(垂直方向)の位相差を検波する位相差検波用画素131が配置されている。すなわち第3行および第11行の画素111には、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の一方を構成する位相差検波用画素131Cが配置されている。第7行および第15行の画素111には、縦方向の位相差を検波する対の他方を構成する位相差検波用画素131Dが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては2個とされている。
図7は、本技術を適用した撮像素子の一実施の形態の開口の構成を示す図である。図7の上側には、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうちの位相差検波用画素131Cが示されている。位相差検波用画素131Cにおいては、その下側に遮光部133Cが、その上側に透光部132Cが形成されている。この例では被写体からフォトダイオード61に向かう光を遮光する遮光部133Cは、例えば銅などの金属膜により形成され、被写体からの光をフォトダイオード61に向けて透光する透光部132Cは、遮光部133Dを形成する金属膜の一部を開口することで形成される。もちろん、遮光部133Cを形成しないことで開口を形成することもできる。
他方、位相差検波用画素131Cと対をなす、図7の下側に示される位相差検波用画素131Dにおいては、その上側に遮光部133Dが、その下側に透光部132Dが形成されている。この例でも被写体からフォトダイオード61に向かう光を遮光する遮光部133Dは、例えば銅などの金属膜により形成され、被写体からの光をフォトダイオード61に向けて透光する透光部132Dは遮光部133Dを形成する金属膜の一部を開口することで形成される。もちろん、遮光部133Dを形成しないことで開口を形成することもできる。
なお、図5の第1の構成例においては、横方向の位相差の検波は、B画素111の位相差検波用画素131の出力だけで可能であり、縦方向の位相差の検波はR画素111の位相差検波用画素131の出力だけで可能である。従って、信号処理が容易となる。横方向の位相差の検波は最低限1行だけの位相差検波用画素131の読み出しで可能となるが、縦方向の位相差の検波は最低限2行の位相差検波用画素131の読み出しで可能となる。R画素111とB画素111の位相差検波用画素131の一方を省略し、横方向の位相差と縦方向の位相差の一方だけを検波するようにすることもできる。
(3)位相差検波の原理
図8は、本技術を適用した撮像素子の一実施の形態の撮像用画素の構成例を示す断面図である。図8は、画素111のうちの、2個の撮像用画素114の断面構成を表している。図8に示されるように、撮像用画素114は、例えばSi(シリコン)の半導体基板221に光電変換部としてのフォトダイオード222(図2のフォトダイオード61に対応する)が形成されている。半導体基板221の上層には、R,GまたはBのカラーフィルタ224が形成されており、それらの上層には、オンチップレンズ225が形成されている。
被写体からの光は、オンチップレンズ225により集光され、R,GまたはBのカラーフィルタ224を透過し、カラーフィルタ224に対応する色の光がフォトダイオード222に入射される。これによりフォトダイオード222から、カラーフィルタ224に対応する色の光の成分の色信号(画素信号)が出力される。
図9は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成例を示す断面図である。図9は便宜上、2個の位相差検波用画素131A,131Bの断面構成を並べて示している。図9に示されるように、位相差検波用画素131の構成は、基本的に図8に示した撮像用画素114と同様であるが、図8のカラーフィルタ224に代えて、遮光部133A,133Bと、透光部132A,132Bが配置されている。遮光部133A,133Bと、透光部132A,132Bの構成は、図6と図7を参照して説明した通りである。
これにより、例えば位相差検波用画素131Aにおいては、オンチップレンズ225により集光された光の一部が透光部132Aを透過して、フォトダイオード222に入射する。しかしオンチップレンズ225により集光された光の一部は、図9において透光部132Aの右側に配置されている遮光部133Aにより遮光され、フォトダイオード222に入射しない。
また、位相差検波用画素131Bにおいては、オンチップレンズ225により集光された光の一部が透光部132Bを透過して、フォトダイオード222に入射する。しかしオンチップレンズ225により集光された光の一部は、図9において透光部132Bの左側に配置されている遮光部133Bにより遮光され、フォトダイオード222に入射しない。
図10は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の位相差特性について説明する図である。以下、図9と図10を参照して、位相差検波の原理について説明する。
図9に示されるように、位相差検波用画素131A,131Bには、5つの方向からの入射光L1乃至L5が入射されるものとする。図10のグラフには、そのときの位相差検波用画素131A,131Bの画素信号出力が示されている。
図10のグラフにおいて、横軸は、入射光の入射角を示しており、縦軸は、位相差検波用画素131A,131Bの画素信号出力を示している。なお、実線141Bは、位相差検波用画素131Bの画素信号出力を示し、破線141Aは、位相差検波用画素131Aの画素出力を示している。
このグラフに示されるように、左側遮光の位相差検波用画素131Bは、左側(マイナス側)に入射光の角度をつけると、その出力が大きくなり、右側遮光の位相差検波用画素131Aは、右側(プラス側)に入射光の角度をつけると、その出力が大きくなる。つまり、入射光L1のように、入射光においてマイナス方向の角度成分が大きい場合、位相差検波用画素131Bの出力は、位相差検波用画素131Aの出力より大きくなる。そして入射光L5のように、入射光においてプラス方向の角度成分が大きい場合、位相差検波用画素131Aの画素信号出力は、位相差検波用画素131Bの画素信号出力より大きくなる。
このような、1対の位相差検波用画素131における、入射光の入射角に対する位相差検波用画素131それぞれの画素信号出力の位相差特性を利用して、デフォーカス量が検出される。
(4)電子機器の構成例
図11は、本技術を適用した電子機器の構成例を示す図である。図11に示される電子機器300は、位相差検波方式のAF(位相差AF)を行うことで、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。電子機器300は、例えば、コンパクトデジタルカメラ、デジタル一眼レフカメラ、ビデオカメラ、撮像機能を備えたスマートフォン(多機能携帯電話機)等の携帯端末、内視鏡等として構成される。
図11に示される電子機器300は、レンズ311、光学フィルタ312、撮像制御部301、表示部313、および記録部314を有する。撮像制御部301は、撮像素子41、AD変換部321、クランプ部322、補正パラメータ算出部323、メモリ324、位相差補正部325、位相差検波部326、レンズ制御部327、欠陥補正部328、デモザイク部329を有する。さらに撮像制御部301は、リニアマトリクス(LM)/ホワイトバランス(WB)/ガンマ補正部330、輝度クロマ信号生成部331、およびインタフェース(I/F)部332を有する。この例では、表示部313および記録部314は、撮像制御部301の外部に設けられているが、内部に設けることもできる。
レンズ311は、撮像素子41に入射する被写体光の焦点距離の調整を行う。レンズ311の後段には、撮像素子41に入射する被写体光の光量調整を行う絞り(図示せず)が設けられている。レンズ311の具体的な構成は任意であり、例えば、レンズ311は複数のレンズにより構成されていてもよい。
レンズ311を透過した被写体光は、例えば、赤外光をカットし、赤外光以外の光を透過するIRカットフィルタ等として構成される光学フィルタ312を介して撮像素子41に入射する。
撮像素子41は、被写体光を光電変換するフォトダイオード等の光電変換素子を有する複数の画素111(撮像用画素114と位相差検波用画素131)を備える。各画素111は、被写体光を電気信号に変換し、その電気信号を、AD変換部321に供給する。
なお、撮像素子41は、AD変換部321、クランプ部322、位相差補正部325、および位相差検波部326を実現する信号処理回路とともに、本技術の個体撮像装置を構成する。この個体撮像装置は、1チップ化されたモジュールとして構成されてもよいし、撮像素子41と信号処理回路とが別チップとして構成されてもよい。また、この信号処理回路に補正パラメータ算出部323、メモリ324、もしくはレンズ制御部327が含まれるようにしてもよい。
本技術の撮像素子41は、例えば、光電変換素子が被写体光に基づき発生した電荷を読み出すために電荷結合素子(CCD(Charge Coupled Device))と呼ばれる回路素子を用いて転送を行うCCDイメージセンサであってもよいし、CMOS(Complementary Metal Oxide Semiconductor)を用いた、単位セルごとに増幅器を持つCMOSイメージセンサ等であってもよい。
AD変換部321は、撮像素子41から供給されるRGBの電気信号(アナログ信号)をデジタルデータ(画像データ)に変換する。AD変換部321は、そのデジタルデータの画像データ(RAWデータ)をクランプ部322に供給する。
クランプ部322は、画像データから、黒色と判定されるレベルである黒レベルを減算する。クラクランプ部322は、黒レベルを減算した画像データ(画素値)のうち、モニタ画素から出力されたデータを補正パラメータ算出部323に供給する。モニタ画素とは、非画像出力領域の位相差検波用画素131である。
ここで画像出力領域と非画像出力領域について図12を参照して説明する。図12は、本技術を適用した画像出力領域と非画像出力領域を示す図である。図12に示されるように、画素アレイ部44には、そのほぼ中央に、画像出力領域351が設けられており、その周囲に、非画像出力領域352が設けられている。画像出力領域351の画素111の出力は画像データとして利用されるが、非画像出力領域352の画素111の出力は画像データとして利用されない。画像出力領域351と非画像出力領域352に配置されている位相差検波用画素131のうち、非画像出力領域352の位相差検波用画素131がモニタ画素である。
またクランプ部322は、黒レベルを減算した画像データ(画素値)のうち、位相差検波用画素131から出力された画像データ(画素値)を位相差検波部326に供給し、黒レベルを減算した画像データの全画素分を欠陥補正部328に供給する。
すなわち、位相差検波そのものには、位相差検波用画素131の出力が用いられるが、画像の生成には、撮像用画素114の出力はもちろん、位相差検波用画素131の出力も用いられる。ここで、位相差検波用画素131が、図5乃至図7や図9に示されるように、光電変換部の半分が遮光部133(133A乃至133D)により遮光されている場合、位相差検波用画素131の出力は、撮像用画素114の出力より小さくなるため、後述するように欠陥補正が行われる。
補正パラメータ算出部323は、撮像素子41の製造後のテスト工程や、撮像素子41にレンズ311を装着した後のテスト工程等において得られた位相差特性のデータを用いて補正パラメータを算出する。この補正パラメータは、位相差検波部326によって検出される位相差を補正するのに用いられる。
メモリ324には、補正パラメータ算出部323によって算出された補正パラメータが記憶される。
位相差検波部326は、クランプ部322からの画像データ(画素値)に基づいて位相差検波処理行うことで、フォーカスを合わせる対象の物体(合焦対象物)に対してフォーカスが合っているか否か判定する。位相差検波部326は、フォーカスエリアにおける物体にフォーカスが合っている場合、合焦していることを示す情報を合焦判定結果として、レンズ制御部327に供給する。また、位相差検波部326は、合焦対象物にフォーカスが合っていない場合、フォーカスのずれの量(デフォーカス量)を算出し、その算出したデフォーカス量を示す情報を合焦判定結果として、レンズ制御部327に供給する。
位相差補正部325は、メモリ324に記憶されている補正パラメータを用いて、位相差検波部326によって検波された位相差を補正する。位相差検波部326は、補正された位相差に対応する合焦判定結果を、レンズ制御部327に供給する。
レンズ制御部327は、レンズ311の駆動を制御する。具体的には、レンズ制御部327は、位相差検波部326から供給された合焦判定結果に基づいて、レンズ311の駆動量を算出し、その算出した駆動量に応じてレンズ311を移動させる。
例えば、レンズ制御部327は、フォーカスが合っている場合には、レンズ311の現在の位置を維持させる。また、レンズ制御部327は、フォーカスが合っていない場合には、デフォーカス量を示す合焦判定結果とレンズ311の位置とに基づいて駆動量を算出し、その駆動量に応じてレンズ311を移動させる。
欠陥補正部328は、クランプ部322からの画像データに基づいて、正しい画素値が得られない欠陥画素(例えば位相差検波用画素131)について、その画素値の補正、すなわち欠陥補正を行う。欠陥補正部328は、欠陥画素の補正を行った画像データをデモザイク部329に供給する。
デモザイク部329は、欠陥補正部328からのRAWデータに対してデモザイク処理を行い、色情報の補完等を行ってRGBデータに変換する。デモザイク部329は、デモザイク処理後の画像データ(RGBデータ)をLM/WB/ガンマ補正部330に供給する。
LM/WB/ガンマ補正部330は、デモザイク部329からのRGBデータに対して、色特性の補正を行う。具体的には、LM/WB/ガンマ補正部330は、規格で定められた原色(RGB)の色度点と実際のカメラの色度点の差を埋めるために、マトリクス係数を用いて画像データの各色信号を補正し、色再現性を変化させる処理を行う。また、LM/WB/ガンマ補正部330は、RGBデータの各チャンネルの値について白に対するゲインを設定することで、ホワイトバランスを調整する。さらに、LM/WB/ガンマ補正部330は、画像データの色と出力デバイス特性との相対関係を調節して、よりオリジナルに近い表示を得るためのガンマ補正を行う。LM/WB/ガンマ補正部330は、補正後の画像データ(RGBデータ)を輝度クロマ信号生成部331に供給する。
輝度クロマ信号生成部331は、LM/WB/ガンマ補正部330から供給されたRGBデータから輝度信号(Y)と色差信号(Cr,Cb)とを生成する。輝度クロマ信号生成部331は、輝度クロマ信号(Y,Cr,Cb)を生成すると、その輝度信号と色差信号をI/F部332に供給する。
I/F部332は、供給された画像データ(輝度クロマ信号)を、画像データを記録する記録デバイス等の記録部314に供給し、記録させたり、画像データの画像を表示する表示デバイス等の表示部313に出力し、表示させる。
(5)位相差オートフォーカス処理
図13は、本技術を適用した電子機器の位相差オートフォーカス処理について説明するフローチャートである。以下、図13を参照して、電子機器300による位相差オートフォーカス処理について説明する。位相差オートフォーカス処理は、被写体を撮像する際に電子機器300によって撮像処理の前または並行して実行される。
まず、ステップS11において、撮像素子41は、各画素111の入射光を光電変換し、各画素信号を読み出し、AD変換部321に供給する。なお、位相差検波用画素131は、撮像用画素114とは異なるタイミングで読み出すようにすることもできる。
ステップS12において、AD変換部321は、撮像素子41からの各画素信号をAD変換し、クランプ部322に供給する。
ステップS13において、クランプ部322は、AD変換部321からの各画素信号(画素値)から、有効画素領域の外部に設けられているOPB(Optical Black)領域において検出された黒レベルを減算する。クランプ部322は、黒レベルを減算した画像データのうち、位相差検波用画素131から出力された画像データ(画素値)を位相差検波部326に供給する。
ステップS14において位相差補正部325は、予め算出され、メモリ324に記憶されている補正パラメータを読み出す。
ステップS15において位相差検波部326は、クランプ部322からの画像データ(画素値)に基づいて位相差検波を行う。すなわち、縦方向(垂直方向)と横方向(水平方向)の位相差を検波する位相差検波用画素131の出力がそれぞれ読み出される。
ステップS16において位相差補正部325は、ステップS14の処理で読み出された補正パラメータを用いて、位相差検波部326により検波された位相差を補正する。つまり、補正パラメータが位相差検波部326に供給され、検波された位相差が補正される。
ステップS17で位相差検波部326は、フォーカスエリア内の位相差検波用画素131の出力を連結する。すなわちフォーカスエリア内の位相差検波用画素131の出力が画素位置に応じて連結され、AF画素信号が生成される。ステップS18で位相差検波部326は、ステップS17で生成されたAF画素信号に、シェーディング補正(周辺画面の光量落ち補正)や、ビネッティングによる2像の歪みの復元補正等を施し、相関演算用の1対の像信号を生成する。
図14は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成を示す図である。図14のAに示されているように、本実施の形態の撮像素子41は、横方向の位相差を検波するための位相差検波用画素131Aと、それと対になる横方向の位相差を検波するための位相差検波用画素131Bとを有する。また、図14のBに示されているように、撮像素子41は、縦方向の位相差を検波するための位相差検波用画素131Cと、それと対になる縦方向の位相差を検波するための位相差検波用画素131Dを有する。そして、位相差検波用画素131A,131Bと位相差検波用画素131C,131Dは、図5に示されるように、均等な密度で全体に分散して配置されている。
位相差検波用画素131の信号はグループ化処理される。図5に示されるように、横方向の位相差を検波するための位相差検波用画素131A,131Bは、図中矢印A1で示される方向の直線に沿って(つまり横方向に)、例えば第1行、第5行、第9行および第13行毎にグループ化される。同様に、縦方向の位相差を検波するための位相差検波用画素131C,131Dは、図中の矢印A2で示される方向の直線に沿って(つまり縦方向に)、例えば第1列、第5列、第9列および第13列毎にグループ化される。
具体的には、横方向の位相差検波のためのフォーカスエリアRhに含まれる位相差検波用画素131Aで得られた画素信号を横方向に連結した位相差検波用の像信号SIGh(A)が生成される。また、同様に、フォーカスエリアRhに含まれる位相差検波用画素131Bで得られた画素信号を横方向に連結した位相差検波用の像信号SIGh(B)が生成される。
さらに、縦方向の位相差検波のためのフォーカスエリアRvに含まれる位相差検波用画素131Cで得られた画素信号を縦方向に連結した位相差検波用の像信号SIGv(C)が生成される。同様に、フォーカスエリアRvに含まれる位相差検波用画素131Dで得られた画素信号を縦方向に連結した位相差検波用の像信号SIGv(D)が生成される。
ステップS19において位相差検波部326は位相差検波用の像信号対の相関を演算する。すなわち、像信号SIGh(A)と像信号SIGh(B)の位相差の相関が演算される。また、像信号SIGv(C)と像信号SIGv(D)の位相差の相関が演算される。
ステップS20において位相差検波部326は、相関の信頼性を判定する。すなわち、ステップS19で演算された相関の演算結果の信頼性が判定される。ここで信頼性とは、像信号対の一致度(波形の類似度)を指し、一致度が良い場合は一般的に焦点検出結果の信頼性が高い。
例えば、フォーカスエリアRhにおける像信号SIGh(A)と像信号SIGh(B)の位相差を公知の相関演算によって計算することで、横方向における焦点ずれ量(デフォーカス量)を求めることができる。同様に、フォーカスエリアRvにおける像信号SIGv(C)と像信号SIGv(D)の位相差を相関演算によって計算することで、縦方向における焦点ずれ量(デフォーカス量)を求めることができる。
ステップS21において位相差検波部326は、焦点ずれ量を算出する。すなわち、ステップS20において信頼性が高いと判定された像信号対から求められた位相差に基づいて、最終的な焦点ずれ量が算出される。
ステップS22において、レンズ制御部327は、位相差検波部326からの合焦判定結果に基づいて、レンズ311の駆動を制御する。
以上のようにしてフォーカス制御が行われる。この処理は必要に応じて繰り返し実行される。
なお、レンズ制御部327は、上述したような位相差オートフォーカスに加え、コントラストオートフォーカスを行うことで、レンズ311の駆動を制御するようにしてもよい。例えば、レンズ制御部327は、位相差検波部326から、合焦判定結果としてフォーカスのずれの量(デフォーカス量)を示す情報が供給された場合、フォーカスのずれの方向(前ピンか後ピンか)を判別し、その方向に対してコントラストAFを行うようにしてもよい。
(6)撮像処理
次に、図15のフローチャートを参照して、電子機器300による撮像処理について説明する。図15は、本技術を適用した電子機器の撮像処理について説明するフローチャートである。
まず、ステップS41において、撮像素子41は、各画素111の入射光を光電変換し、その画素信号を読み出し、AD変換部321に供給する。
ステップS42において、AD変換部321は、撮像素子41からの各画素信号をAD変換し、クランプ部322に供給する。
ステップS43において、クランプ部322は、AD変換部321からの各画素信号(画素値)から、有効画素領域の外部に設けられているOPB(Optical Black)領域において検出された黒レベルを減算する。クランプ部322は、黒レベルが減算された全画素分の画像データ(画素値)を欠陥補正部328に供給する。
以上のステップS41乃至S43の処理は、図13のフローチャートのステップS11乃至S13の処理と基本的に同様の処理である。
ステップS44において、欠陥補正部328は、クランプ部322からの画像データに基づいて、正しい画素値が得られない欠陥画素、例えば位相差検波用画素131について、その画素値の補正(欠陥補正)を行う。本技術においては、位相差検波用画素131が存在するサブブロック103内に(すなわちその近傍に)撮像用画素114が存在するので、この補正処理が容易となる。欠陥画素の補正が行われた画像データはデモザイク部329に供給される。
ステップS45において、デモザイク部329は、デモザイク処理を行い、RAWデータをRGBデータに変換し、LM/WB/ガンマ補正部330に供給する。
ステップS46において、LM/WB/ガンマ補正部330は、デモザイク部329からのRGBデータに対して、色補正、ホワイトバランスの調整、およびガンマ補正を行い、輝度クロマ信号生成部331に供給する。
ステップS47において、輝度クロマ信号生成部331は、RGBデータから輝度信号および色差信号(すなわちYCrCbデータ)を生成する。
そして、ステップS48において、I/F部332は、輝度クロマ信号生成部331によって生成された輝度信号および色差信号を記録部314や表示部313に出力する。
ステップS49において、表示部313はI/F部332から供給された信号に基づいて被写体の画像を表示する。また、記録部314は、ユーザからの指示に基づいて、I/F部332から供給された信号を記録する。
以上のようにして、図5に示されるように、位相差検波用画素131をブロック102内の所定のサブブロック103の所定の位置に配置した場合でも、図3に示されるように、各領域RNijの色Cijを高精細に撮像し、表現することができる。
以上の処理によれば、AFの精度を向上させて、画質の劣化を抑制することが可能となる。
<2.第2の構成例(1/4画素、B画素とR画素に縦方向と横方向の位相差検波用画素を配置)>
次に、撮像素子41の撮像領域101の他の構成例について説明する。
図16は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。この図16に示される第2の構成例においては、Bサブブロック103とRサブブロック103のいずれにおいても、2×2個の画素111のうち、左上の画素111が位相差検波用画素131とされている。
具体的には、Bサブブロック103においては、左上の画素111に、縦方向の位相差を検波する位相差検波用画素131が配置されている。そして第1行および第9行の画素111には、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の一方を構成する位相差検波用画素131Cが配置されている。第5行および第13行の画素111には、縦方向の位相差を検波する対の他方を構成する位相差検波用画素131Dが配置されている。
図16に示されるように、Rサブブロック103においては、2×2個の画素111のうち左上の画素111に、横方向の位相差を検波する位相差検波用画素131が配置されている。そして第1列および第9列の画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。第5列および第13列の画素111には、横方向の位相差を検波する対の他方を構成する位相差検波用画素131Bが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては2個とされている。
なお、図16の第2の構成例においては、横方向の位相差の検波は、R画素111の位相差検波用画素131の出力だけで可能であり、縦方向の位相差の検波はB画素111の位相差検波用画素131の出力だけで可能である。従って、信号処理が容易となる。横方向の位相差の検波は最低限1行だけの位相差検波用画素131の読み出しで可能となるが、縦方向の位相差の検波は最低限2行の位相差検波用画素131の読み出しで可能となる。R画素111とB画素111の位相差検波用画素131の一方を省略し、横方向の位相差と縦方向の位相差の一方だけを検波するようにすることもできる。
<3.第3の構成例(1/4画素、B画素とR画素に縦方向と横方向の位相差検波用画素を混在して配置)>
次に、図17を参照して、撮像素子41の撮像領域101の第3の構成例について説明する。
図17は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図17の第3の構成例においては、Bサブブロック103とRサブブロック103のいずれにおいても、2×2個の画素111のうち、左上の画素111が位相差検波用画素131とされている。
Bサブブロック103においては、左上の画素111に、横方向または縦方向の位相差を検波する位相差検波用画素131が配置されている。具体的には、第1行および第5行のうちの第3列と第11列には、横方向の位相差を検波する対の一方の位相差検波用画素131Aが配置され、第7列と第15列には、横方向の位相差を検波する対の他方の位相差検波用画素131Bが配置されている。
第9行には、縦方向の位相差を検波する対の一方の位相差検波用画素131Cが配置され、第13行には、縦方向の位相差を検波する対の他方の位相差検波用画素131Dが配置されている。
次に、Rサブブロック103においては、左上の画素111に、縦方向または横方向の位相差を検波する位相差検波用画素131が配置されている。具体的には、第3行の画素111には、縦方向の位相差を検波する対の一方の位相差検波用画素131Cが配置され、第7行の画素111には、縦方向の位相差を検波する対の他方の位相差検波用画素131Dが配置されている。
第11行と第15行には、横方向の位相差を検波する対の位相差検波用画素131A,131Bが配置されている。第11行と第15行のうちの第1列と第9列には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうちの一方の位相差検波用画素131Aが配置され、第5列と第13列には、対の他方の横方向の位相差を検波する位相差検波用画素131Bが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては2個とされている。
第3の構成例においては、Bサブブロック103とRサブブロック103のいずれにおいても、行単位で横方向の位相差を検波する位相差検波用画素131A,131Bと、縦方向の位相差を検波する位相差検波用画素131C,131Dが、混在している。列単位でも、横方向の位相差を検波する位相差検波用画素131A,131Bと、縦方向の位相差を検波する位相差検波用画素131C,131Dが、混在している。行単位では横方向の位相差を検波する位相差検波用画素131A,131Bが配置された行と、縦方向の位相差を検波する位相差検波用画素131Cまたは位相差検波用画素131Dが配置された行が存在する。
なお、この構成例においては、Bサブブロック103の全体を見てみると、横方向の位相差検波用画素131A,131Bと、縦方向の位相差検波用画素131C,131Dの両方が配置されている。同様に、Rサブブロック103の全体を見てみると、横方向の位相差検波用画素131A,131Bと、縦方向の位相差検波用画素131C,131Dの両方が配置されている。そこで、Bサブブロック103とRサブブロック103の一方にのみ位相差検波用画素131を設けるようにしても位相差検波が可能である。
また、図17の第3の構成例においては、B画素111およびR画素111のいずれにおいても、行に着目すると、2ブロック102毎に横方向と縦方向の位相差検波に規則的に切り替えが行われる。従って、処理も規則的な繰り返しが可能となる。
<4.第4の構成例(1/4画素、B画素とR画素に左斜め上と右斜め上位相差検波用画素を配置)>
次に、図18を参照して、撮像素子41の撮像領域101の第4の構成例について説明する。
図18は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図18の第4の構成例においては、右上がり(左下がり)の45度の対角線または左上がり(右下がり)の45度の対角線に沿って画素111が区分され、位相差検波用画素131とされている。すなわち位相差検波用画素131においては、1/2の3角形の領域の一方に遮光部133が形成され、残りの1/2の3角形の領域に透光部132が形成されている。図18において、遮光部133は黒の3角形で示され、透光部132は白の3角形で示されている。
左上の3角形が透光部132Eとされ、右下の3角形が遮光部133Eとされた位相差検波用画素131Eと、左上の3角形が遮光部133Fとされ、右下の3角形が透光部132Fとされた位相差検波用画素131Fが対となっている。この位相差検波用画素131E,131Fは、図18において左上がり(右下がり)斜めの矢印A3で示す方向(左上がり45度の直線の方向)の位相差(左上がり斜め位相差)を検出する。
右上の3角形が透光部132Gとされ、左下の3角形が遮光部133Gとされた位相差検波用画素131Gと、右上の3角形が遮光部133Hとされ、左下の3角形が透光部132Hとされた位相差検波用画素131Hが対となっている。この位相差検波用画素131G,131Hは、図18において右上がり(左下がり)斜めの矢印A4で示す方向(右上がり45度の直線の方向)の位相差(右上がり斜め位相差)を検出する。
図18の例では、Bサブブロック103とRサブブロック103のいずれにおいても、2×2個の画素111のうち、左上の画素111が位相差検波用画素131とされている。
具体的には、Bサブブロック103においては、左上の画素111に、左上がり斜め位相差を検波する位相差検波用画素131が配置されている。そのうちの第3列および第11列の画素111には、左上がり斜め位相差を検波する対の位相差検波用画素131E,131Fのうち、対の一方を構成する位相差検波用画素131Eが配置されている。第7列および第15列の画素111には、左上がり斜め位相差を検波する対の他方を構成する位相差検波用画素131Fが配置されている。
次に、Rサブブロック103においては、2×2個の画素111のうち左上の画素111に、右上がり斜め位相差を検波する位相差検波用画素131が配置されている。すなわち第1列および第9列の画素111には、右上がり斜め位相差を検波する対の一方の位相差検波用画素131Gが配置されている。第5列および第13列の画素111には、右上がり斜め位相差を検波する対の他方を構成する位相差検波用画素131Hが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては2個とされている。
図18の第4の構成例は、図38を参照して後述するように、撮像領域101の左上、左下、右上または右下に配置することで、位相差検波に対する非点収差の影響を軽減することができる。また、左上がり斜め位相差の検波は、B画素111の位相差検波用画素131の出力だけで可能であり、右上がり斜め位相差の検波はR画素111の位相差検波用画素131の出力だけで可能である。従って、信号処理が容易となる。左上がり斜め位相差の検波と右上がり斜め位相差の検波は、それぞれ最低限1行の位相差検波用画素131の読み出しで可能となる。R画素111またはB画素111の位相差検波用画素131を省略し、左上がり斜め位相差と右上がり斜め位相差の一方だけを検波するようにすることもできる。
<5.第5の構成例(1/4画素、B画素とR画素に右斜め上と左斜め上位相差検波用画素を配置)>
次に、図19を参照して、撮像素子41の撮像領域101の第5の構成例について説明する。
図19は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図19の第5の構成例においては、Bサブブロック103とRサブブロック103のいずれにおいても、2×2個の画素111のうち、左上の画素111が位相差検波用画素131とされている。
具体的には、Bサブブロック103においては、左上の画素111に、右上がり斜め位相差を検波する位相差検波用画素131が配置されている。すなわち第3列および第11列の画素111には、右上がり斜め位相差を検波する対の位相差検波用画素131G,131Hのうち、対の一方を構成する位相差検波用画素131Gが配置されている。第7列および第15列の画素111には、右上がり斜め位相差を検波する対の他方を構成する位相差検波用画素131Hが配置されている。
次に、Rサブブロック103においては、2×2個の画素111のうち左上の画素111に、左上がり斜め位相差を検波する位相差検波用画素131が配置されている。すなわち第1列および第9列の画素111には、左上がり斜め位相差を検波する対の一方の位相差検波用画素131Eが配置されている。第5列および第13列の画素111には、左上がり斜め位相差を検波する対の他方を構成する位相差検波用画素131Fが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては2個とされている。
図19の第5の構成例は、図38を参照して後述するように、撮像領域101の左上、左下、右上または右下に配置することで、位相差検波に対する非点収差の影響を軽減することができる。また、左上がり斜め位相差の検波は、R画素111の位相差検波用画素131の出力だけで可能であり、右上がり斜め位相差の検波はB画素111の位相差検波用画素131の出力だけで可能である。従って、信号処理が容易となる。左上がり斜め位相差の検波と右上がり斜め位相差の検波は、それぞれ最低限1行の位相差検波用画素131の読み出しで可能となる。R画素111またはB画素111の位相差検波用画素131を省略し、左上がり斜め位相差と右上がり斜め位相差の一方だけを検波するようにすることもできる。
<6.第6の構成例(1/4画素、B画素とR画素に左斜め上と右斜め上位相差検波用画素を混在して配置)>
以下、図20を参照して、撮像素子41の撮像領域101の第6の構成例について説明する。
図20は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図20の第6の構成例においては、Bサブブロック103とRサブブロック103のいずれにおいても、2×2個の画素111のうち、左上の画素111が位相差検波用画素131とされている。
具体的には、Bサブブロック103においては、左上の画素111に、左上がり斜め位相差または右上がり斜め位相差を検波する位相差検波用画素131が配置されている。すなわち第1行および第5行の画素111には、左上がり斜め位相差を検波する対の位相差検波用画素131E,131Fのうちの一方が配置されている。そのうちの第3列と第11列には、左上がり斜め位相差を検波する対の一方の位相差検波用画素131Eが配置され、第7列と第15列には、左上がり斜め位相差を検波する対の他方の位相差検波用画素131Fが配置されている。
第9行および第13行の画素111には、右上がり斜め位相差を検波する対の位相差検波用画素131G,131Hのうちの一方が配置されている。すなわち第3列と第11列には、右上がり斜め位相差を検波する対の一方の位相差検波用画素131Gが配置され、第7列と第15列には、右上がり斜め位相差を検波する対の他方の位相差検波用画素131Hが配置されている。
次に、Rサブブロック103においては、左上の画素111に、左上がり斜め位相差または右上がり斜め位相差を検波する位相差検波用画素131が配置されている。すなわち第3行および第7行の画素111には、右上がり斜め位相差を検波する対の位相差検波用画素131G,131Hのうちの一方が配置されている。そのうちの第1列と第9列には、右上がり斜め位相差を検波する対の一方の位相差検波用画素131Gが配置され、第5列と第13列には、右上がり斜め位相差を検波する対の他方の位相差検波用画素131Hが配置されている。
第11行および第15行の画素111には、左上がり斜め位相差を検波する対の位相差検波用画素131E,131Fのうちの一方が配置されている。すなわち第1列と第9列には、左上がり斜め位相差を検波する対の一方の位相差検波用画素131Eが配置され、第5列と第13列には、左上がり斜め位相差を検波する対の他方の位相差検波用画素131Fが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては2個とされている。
第6の構成例においては、Bサブブロック103とRサブブロック103のいずれにおいても、左上がり斜め位相差を検波する位相差検波用画素131E,131Fと、右上がり斜め位相差を検波する位相差検波用画素131G,131Hが、混在している。列単位でも、左上がり斜め位相差を検波する位相差検波用画素131E,131Fと、右上がり斜め位相差を検波する位相差検波用画素131G,131Hが、混在している。行単位では、左上がり斜め位相差を検波する位相差検波用画素131E,131Fが配置されている行と、右上がり斜め位相差を検波する位相差検波用画素131G,131Hが配置されている行がある。
図20の第6の構成例は、図38を参照して後述するように、撮像領域101の左上、左下、右上または右下に配置することで、位相差検波に対する非点収差の影響を軽減することができる。また、B画素111およびR画素111のいずれにおいても、2ブロック102毎に左上がり斜め位相差検波または右上がり斜め位相差検波に規則的に切り替えが行われる。従って、処理も規則的な繰り返しが可能となる。
以上の第1の構成例乃至第6の構成例においては、R画素111とB画素111に位相差検波用画素131が配置され、G画素111には位相差検波用画素131が配置されていない。その結果、良質な画像を撮像するのにB画素111およびR画素111に比べてより多くの光量を必要とするG画素111を減らすことがないので、視認性が高い高品質の撮像画像を得ることが可能になる。
また、構造上、R画素111はB画素111に較べて感度が高くなる傾向があるが、G画素111との関係を考慮する必要が無いので、R画素111はB画素111とのバランスの調整が容易となる。
<7.第7の構成例(1/4画素、B画素の行のG画素とR画素の行のG画素に横方向と縦方向の位相差検波用画素を配置)>
次に、図21を参照して、撮像素子41の撮像領域101の第7の構成例について説明する。
図21は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図21の第7の構成例において、ブロック102内の左上と右下のGサブブロック103のいずれにおいても、2×2個の画素111のうち、左上の画素111が位相差検波用画素131とされている。
具体的には、左上の(Bサブブロック103と同じ行の)Gサブブロック103においては、2×2個の画素111のうち左上の画素111に、横方向の位相差を検波する位相差検波用画素131が配置されている。すなわち第1列および第9列の画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。第5列および第13列の画素111には、横方向の位相差を検波する対の他方を構成する位相差検波用画素131Bが配置されている。
右下の(Rサブブロック103と同じ行の)Gサブブロック103においては、左上の画素111に、縦方向の位相差を検波する位相差検波用画素131が配置されている。すなわち第3行および第11行の画素111には、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の一方を構成する位相差検波用画素131Cが配置されている。第7行および第15行の画素111には、縦方向の位相差を検波する対の他方を構成する位相差検波用画素131Dが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては2個とされている。
なお、図21の第7の構成例においては、横方向の位相差の検波は、左上のG画素111の位相差検波用画素131の出力だけで可能であり、縦方向の位相差の検波は、右下のG画素111の位相差検波用画素131の出力だけで可能である。従って、信号処理が容易となる。横方向の位相差の検波は、1行分の左上のG画素111の位相差検波用画素131の出力だけで可能であり、縦方向の位相差の検波は、2行分の右下のG画素111の位相差検波用画素131の出力で可能である。
横方向の位相差検波用画素131と縦方向の位相差検波用画素131の位置は、逆にしてもよい。つまり、横方向の位相差検波用画素131を右下のG画素111に配置し、縦方向の位相差検波用画素131を左上のG画素111に配置してもよい。また左上のG画素111と右下のG画素111の位相差検波用画素131の一方を省略し、横方向の位相差と縦方向の位相差の一方だけを検波するようにすることもできる。
<8.第8の構成例(1/4画素、B画素の行のG画素とR画素の行のG画素に縦方向と横方向の位相差検波用画素を配置)>
次に、図22を参照して、撮像素子41の撮像領域101の第8の構成例について説明する。
図22は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図22の第8の構成例においては、ブロック102内の左上と右下のGサブブロック103のいずれにおいても、2×2個の画素111のうち、左上の画素111が位相差検波用画素131とされている。
具体的には、左上の(Bサブブロック103と同じ行の)Gサブブロック103においては、2×2個の画素111のうち左上の画素111に、縦方向の位相差を検波する位相差検波用画素131が配置されている。すなわち第1行および第9行の画素111には、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の一方を構成する位相差検波用画素131Cが配置されている。第5行および第13行の画素111には、縦方向の位相差を検波する対の他方を構成する位相差検波用画素131Dが配置されている。
右下の(Rサブブロック103と同じ行の)Gサブブロック103においては、左上の画素111に、横方向の位相差を検波する位相差検波用画素131が配置されている。すなわち第3列および第11列の画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。第7列および第15列の画素111には、横方向の位相差を検波する対の他方を構成する位相差検波用画素131Bが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては2個とされている。
なお、図22の第8の構成例においては、縦方向の位相差の検波は、左上のG画素111の位相差検波用画素131の出力だけで可能であり、横方向の位相差の検波は右下のG画素111の位相差検波用画素131の出力だけで可能である。従って、信号処理が容易となる。横方向の位相差の検波は最低限1行だけの位相差検波用画素131の読み出しで可能となるが、縦方向の位相差の検波は最低限2行の位相差検波用画素131の読み出しで可能となる。左上のG画素111と右下のG画素111の位相差検波用画素131の一方を省略し、横方向の位相差と縦方向の位相差の一方だけを検波するようにすることもできる。
<9.第9の構成例(1/4画素、B画素の行のG画素とR画素の行のG画素に横方向と縦方向の位相差検波用画素を混在して配置)>
次に、図23を参照して、撮像素子41の撮像領域101の第9の構成例について説明する。
図23は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図23の第9の構成例においては、ブロック102内の左上と右下のGサブブロック103のいずれにおいても、2×2個の画素111のうち、左上の画素111が位相差検波用画素131とされている。
具体的には、左上の(Bサブブロック103と同じ行の)Gサブブロック103においては、2×2個の画素111のうち左上の画素111に、横方向と縦方向の位相差を検波する位相差検波用画素131が配置されている。すなわち第1行および第5行においては、第1列および第9列の画素111に、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。第5列および第13列の画素111には、横方向の位相差を検波する対の他方を構成する位相差検波用画素131Bが配置されている。
第9行には、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の一方を構成する位相差検波用画素131Cが配置されている。第13行には、対の他方を構成する位相差検波用画素131Dが配置されている。
次に、右下の(Rサブブロック103と同じ行の)Gサブブロック103においては、左上の画素111に、縦方向と横方向の位相差を検波する位相差検波用画素131が配置されている。すなわち、第3行の画素111には、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の一方を構成する位相差検波用画素131Cが配置されている。第7行の画素111には、縦方向の位相差を検波する対の他方を構成する位相差検波用画素131Dが配置されている。
さらに、第11行と第15行においては、そのうちの第3列と第11列の画素111に、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Cが配置されている。第7列と第15列の画素111には、横方向の位相差を検波する対の他方を構成する位相差検波用画素131Bが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては2個とされている。
なお、この構成例においては、左上のGサブブロック103に横方向の位相差検波用画素131A,131Bと、縦方向の位相差検波用画素131C,131Dの両方が配置されている。同様に、右下のGサブブロック103にも横方向の位相差検波用画素131A,131Bと、縦方向の位相差検波用画素131C,131Dの両方が配置されている。そこで、左上のGサブブロック103と右下のGサブブロック103の一方にのみ位相差検波用画素131を設けるようにしても両方向の位相差検波が可能である。
また、図23の第9の構成例においては、左上のG画素111および右下のG画素111のいずれにおいても、2ブロック102の行毎に横位相差検波または縦位相差検波に規則的に切り替えが行われる。従って、処理も規則的な繰り返しが可能となる。
<10.第10の構成例(1/4画素、B画素の行のG画素とR画素の行のG画素に左斜め上と右斜め上位相差検波用画素を配置)>
次に、図24を参照して、撮像素子41の撮像領域101の第10の構成例について説明する。
図24は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図24の第10の構成例において、ブロック102内の左上と右下のGサブブロック103のいずれにおいても、2×2個の画素111のうち、左上の画素111が位相差検波用画素131とされている。
具体的には、左上の(Bサブブロック103と同じ行の)Gサブブロック103においては、2×2個の画素111のうち左上の画素111に、左上がり斜め方向の位相差を検波する位相差検波用画素131が配置されている。すなわち第1列および第9列の画素111には、左上がり斜め方向の位相差を検波する対の位相差検波用画素131E,131Fのうち、対の一方を構成する位相差検波用画素131Eが配置されている。第5列および第13列の画素111には、左上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素131Fが配置されている。
次に、右下の(Rサブブロック103と同じ行の)Gサブブロック103においては、左上の画素111に、右上がり斜め方向の位相差を検波する位相差検波用画素131が配置されている。すなわち第3列および第11列の画素111には、右上がり斜め方向の位相差を検波する対の位相差検波用画素131G,131Hのうち、対の一方を構成する位相差検波用画素131Gが配置されている。第7列および第15列の画素111には、右上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素131Hが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては2個とされている。
図24の第10の構成例は、図38を参照して後述するように、撮像領域101の左上、左下、右上または右下に配置することで、位相差検波に対する非点収差の影響を軽減することができる。また、左上がり斜め位相差の検波は、左上のG画素111の位相差検波用画素131の出力だけで可能であり、右上がり斜め位相差の検波は右下のG画素111の位相差検波用画素131の出力だけで可能である。従って、信号処理が容易となる。左上がり斜め位相差の検波と右上がり斜め位相差の検波は、それぞれ最低限1行の位相差検波用画素131の読み出しで可能となる。左上のG画素111または右下のG画素111の位相差検波用画素131を省略し、左上がり斜め位相差と右上がり斜め位相差の一方だけを検波するようにすることもできる。
<11.第11の構成例(1/4画素、B画素の行のG画素とR画素の行のG画素に右斜め上と左斜め上位相差検波用画素を配置)>
次に、図25を参照して、撮像素子41の撮像領域101の第11の構成例について説明する。
図25は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図25の第11の構成例において、ブロック102内の左上と右下のGサブブロック103のいずれにおいても、2×2個の画素111のうち、左上の画素111が位相差検波用画素131とされている。
具体的には、左上の(Bサブブロック103と同じ行の)Gサブブロック103においては、2×2個の画素111のうち左上の画素111に、右上がり斜め方向の位相差を検波する位相差検波用画素131が配置されている。すなわち第1列および第9列の画素111には、右上がり斜め方向の位相差を検波する対の位相差検波用画素131G,131Hのうち、対の一方を構成する位相差検波用画素131Gが配置されている。第5列および第13列の画素111には、右上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素131Hが配置されている。
次に、右下の(Rサブブロック103と同じ行の)Gサブブロック103においては、左上の画素111に、左上がり斜め方向の位相差を検波する位相差検波用画素131が配置されている。すなわち第3列および第11列の画素111には、左上がり斜め方向の位相差を検波する対の位相差検波用画素131E,131Fのうち、対の一方を構成する位相差検波用画素131Eが配置されている。第7列および第15列の画素111には、左上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素131Fが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては2個とされている。
図25の第11の構成例は、図38を参照して後述するように、撮像領域101の左上、左下、右上または右下に配置することで、位相差検波に対する非点収差の影響を軽減することができる。また、左上がり斜め位相差の検波は、右下のG画素111の位相差検波用画素131の出力だけで可能であり、右上がり斜め位相差の検波は、左上のG画素111の位相差検波用画素131の出力だけで可能である。従って、信号処理が容易となる。左上がり斜め位相差の検波と右上がり斜め位相差の検波は、それぞれ最低限1行の位相差検波用画素131の読み出しで可能となる。左上のG画素111または右下のG画素111の位相差検波用画素131を省略し、左上がり斜め位相差と右上がり斜め位相差の一方だけを検波するようにすることもできる。
<12.第12の構成例(1/4画素、B画素の行のG画素とR画素の行のG画素に左斜め上と右斜め上位相差検波用画素を混在して配置)>
次に、図26を参照して、撮像素子41の撮像領域101の第12の構成例について説明する。
図26は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図26の第12の構成例において、ブロック102内の左上と右下のGサブブロック103のいずれにおいても、2×2個の画素111のうち、左上の画素111が位相差検波用画素131とされている。
具体的には、左上の(Bサブブロック103と同じ行の)Gサブブロック103においては、2×2個の画素111のうち左上の画素111に、左上がり斜め方向または右上がり斜め方向の位相差を検波する位相差検波用画素131が配置されている。すなわち第1行および第5行においては、第1列および第9列の画素111に、左上がり斜め方向の位相差を検波する対の位相差検波用画素131E,131Fのうち、対の一方を構成する位相差検波用画素131Eが配置されている。第5列および第13列の画素111には、左上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素131Fが配置されている。
第9行および第13行においては、第1列および第9列の画素111に、右上がり斜め方向の位相差を検波する対の位相差検波用画素131G,131Hのうち、対の一方を構成する位相差検波用画素131Gが配置されている。第5列および第13列の画素111には、右上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素131Hが配置されている。
次に、右下の(Rサブブロック103と同じ行の)Gサブブロック103においては、2×2個の画素111のうち左上の画素111に、右上がり斜め方向または左上がり斜め方向の位相差を検波する位相差検波用画素131が配置されている。すなわち第3行および第7行においては、第3列および第11列の画素111に、右上がり斜め方向の位相差を検波する対の位相差検波用画素131G,131Hのうち、対の一方を構成する位相差検波用画素131Gが配置されている。第7列および第15列の画素111には、右上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素131Hが配置されている。
第11行および第15行においては、第3列および第11列の画素111に、左上がり斜め方向の位相差を検波する対の位相差検波用画素131E,131Fのうち、対の一方を構成する位相差検波用画素131Eが配置されている。第7列および第15列の画素111には、左上がり斜め方向の位相差を検波する対の他方を構成する位相差検波用画素131Fが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては2個とされている。
図26の第12の構成例は、図38を参照して後述するように、撮像領域101の左上、左下、右上または右下に配置することで、位相差検波に対する非点収差の影響を軽減することができる。また、左上のG画素111および右下のG画素111のいずれにおいても、2ブロック102毎に左上がり斜め位相差検波または右上がり斜め位相差検波に規則的に切り替えが行われる。従って、処理も規則的な繰り返しが可能となる。
以上の図21の構成例乃至図26の構成例においては、G画素111に位相差検波用画素131が配置されている。その結果、1つのブロック102内に1つのサブブロック103しかないBサブブロック103やRサブブロック103における光量の減少を防止することができる。なお、B画素111およびR画素111に比べてより多くの光量を必要とするG画素111への影響は補正により軽減することができる。
<13.第13の構成例(2/4画素、B画素に同じ横方向の位相差検波用画素を配置)>
次に、図27を参照して、撮像素子41の撮像領域101の第13の構成例について説明する。
図27は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図27の第13の構成例において、Bサブブロック103のいずれにおいても、2×2個の画素111のうち、左上と右下の2個の画素111が位相差検波用画素131とされている。
2×2個の画素111のうち、第3列の左上のB画素111と第4列の右下のB画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。同様に、第11列の左上のB画素111と第12列の右下のB画素111には、横方向の位相差を検波する対の一方を構成する位相差検波用画素131Aが配置されている。
第7列の左上のB画素111と第8列の右下のB画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の他方を構成する位相差検波用画素131Bが配置されている。同様に、第15列の左上のB画素111と第16列の右下のB画素111には、横方向の位相差を検波する対の他方を構成する位相差検波用画素131Bが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては2個、1つのブロック102内においては2個とされている。
Bサブブロック103に関し、横方向の位相差を検波する位相差検波用画素131Aと、同じ行の、対になる横方向の位相差を検波する対の位相差検波用画素131Bは、サブブロック103で数えると2個分だけ離れている。そして、横方向の位相差を検波する位相差検波用画素131Aと、同じ行の同じ相の次の横方向の位相差を検波する位相差検波用画素131Aは、サブブロック103で数えて4個分だけ離れている(2-4B)。
この構成例においては、4個のB画素111のうちの左上と右下の2個の画素が同じ位相差検波用画素131Aであるか、または同じ位相差検波用画素131Bである。左上の位相差検波用画素131とその右下(1行下)の位相差検波用画素131は対角線上に隣接し、近接している。そこで両者の特性が近似するので、上下の位相差列でブロックマッチング(ラインマッチング)することにより位相差を検波することができる。画素値または位相差検波後の値を加算処理することで、平均化処理が行われ、ノイズに対する耐性を向上させ、検波の精度を向上させることができる。
なお、この構成例において、横方向の位相差を検波する位相差検波用画素131A,131Bを、Rサブブロック103内の左上と右下の画素111に配置するようにしてもよい。また、横方向の位相差を検波する位相差検波用画素131A,131Bに代えて、縦方向の位相差を検波する位相差検波用画素131C,131Dを配置するようにしてもよい。
<14.第14の構成例(2/4画素、B画素に対の横方向の位相差検波用画素を配置)>
次に、図28を参照して、撮像素子41の撮像領域101の第14の構成例について説明する。
図28は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図28の第14の構成例において、Bサブブロック103のいずれにおいても、2×2個の画素111のうち、左上と右下の2個の画素111が位相差検波用画素131とされている。
図27の構成例においては、同じBサブブロック103内に、同じ横方向の位相差を検波する位相差検波用画素131が配置されている。すなわち、位相差検波用画素131Aが2個、または位相差検波用画素131Bが2個配置されている。それに対して図28の構成例においては、同じBサブブロック103内の左上と右下に、対となる横方向の位相差を検波する位相差検波用画素131が配置されている。すなわち、位相差検波用画素131Aと位相差検波用画素131Bが配置されている。
2×2個の画素111のうち、第3列の左上のB画素111と第4列の右下のB画素111には、横方向の位相差を検波する対の一方の位相差検波用画素131Aと、他方の位相差検波用画素131Bが配置されている。第7列の左上のB画素111と第8列の右下のB画素111にも、横方向の位相差を検波する対の一方の位相差検波用画素131Aと、他方の位相差検波用画素131Bが配置されている。第11列の左上のB画素111と第12列の右下のB画素111にも、横方向の位相差を検波する対の一方の位相差検波用画素131Aと、他方の位相差検波用画素131Bが配置されている。第15列の左上のB画素111と第16列の右下のB画素111にも、横方向の位相差を検波する対の一方の位相差検波用画素131Aと、他方の位相差検波用画素131Bが配置されている。
すなわち、第1行、第5行、第9行並びに第13行の左上のB画素111には、横方向の位相差を検波する対の一方の位相差検波用画素131Aが配置されている。第2行、第6行、第10行並びに第14行の右下のB画素111には、横方向の位相差を検波する対の他方の位相差検波用画素131Bが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては2個、1つのブロック102内においては2個とされている。
Bサブブロック103に関し、横方向の位相差を検波する位相差検波用画素131Aと、1行ずれてはいるが、対になる横方向の位相差を検波する対の位相差検波用画素131Bは、サブブロック103で数えると離れていない(0個分だけ離れている)。そして、横方向の位相差を検波する位相差検波用画素131Aと、同じ行の同じ相の次の横方向の位相差を検波する位相差検波用画素131Aは、サブブロック103で数えて2個分だけ離れている(0-2B)。
なお、この構成例において、横方向の位相差を検波する位相差検波用画素131A,131Bは、Rサブブロック103の左上と右下の画素111に配置するようにしてもよい。また、横方向の位相差を検波する位相差検波用画素131A,131Bに代えて、縦方向の位相差を検波する位相差検波用画素131C,131Dを配置するようにしてもよい。
<15.第15の構成例(2/4画素、B画素に横方向と縦方向の位相差検波用画素を混在して配置)>
次に、図29を参照して、撮像素子41の撮像領域101の第15の構成例について説明する。
図29は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図29の第15の構成例において、Bサブブロック103のいずれにおいても、2×2個の画素111のうち、左上と右下の2個の画素111が位相差検波用画素131とされている。
2×2個の画素111のうち、第3列の左上のB画素111と第11列の左上のB画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。第7列の左上のB画素111と第15列の左上のB画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の他方を構成する位相差検波用画素131Bが配置されている。
第2行の右下のB画素111と第10行の右下のB画素111には、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の一方を構成する位相差検波用画素131Cが配置されている。第6行の右下のB画素111と第14行の右下のB画素111には、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の他方を構成する位相差検波用画素131Dが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては2個、1つのブロック102内においては2個とされている。
第15の構成例においては、1つのBサブブロック103内に、横方向の位相差を検波する対の位相差検波用画素131Aまたは131Bと、縦方向の位相差を検波する対の位相差検波用画素131Cまたは131Dが、混在して配置されている。
また、Bサブブロック103に関し、横方向の位相差を検波する位相差検波用画素131Aと、同じ行の、対になる横方向の位相差を検波する対の位相差検波用画素131Bは、サブブロック103で数えると2個分だけ離れている。そして、横方向の位相差を検波する位相差検波用画素131Aと、同じ行の同じ相の次の横方向の位相差を検波する位相差検波用画素131Aは、サブブロック103で数えて4個分だけ離れている(2-4B)。
さらに、Bサブブロック103に関し、縦方向の位相差を検波する位相差検波用画素131Cと、同じ列の、対になる縦方向の位相差を検波する対の位相差検波用画素131Dは、サブブロック103で数えると2個分だけ離れている。そして、縦方向の位相差を検波する位相差検波用画素131Cと、同じ列の同じ相の次の縦方向の位相差を検波する位相差検波用画素131Cは、サブブロック103で数えて4個分だけ離れている(2-4B)。
なお、この構成例において、横方向の位相差を検波する位相差検波用画素131A,131Bは、縦方向の位相差を検波する位相差検波用画素131C,131Dと入れ替えて配置してもよい。また、横方向と縦方向の位相差を検波する位相差検波用画素131A乃至131Dは、Rサブブロック103の左上と右下の画素111に配置するようにしてもよい。
<16.第16の構成例(2/4画素、B画素に左斜め上と右斜め上の位相差検波用画素を混在して配置)>
次に、図30を参照して、撮像素子41の撮像領域101の第16の構成例について説明する。
図30は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図30の第16の構成例において、Bサブブロック103のいずれにおいても、2×2個の画素111のうち、左上と右下の2個の画素111が位相差検波用画素131とされている。
2×2個の画素111のうち、第3列の左上のB画素111と第11列の左上のB画素111には、左上がり斜め位相差を検波する対の位相差検波用画素131E,131Fのうち、対の一方を構成する位相差検波用画素131Eが配置されている。第7列の左上のB画素111と第15列の左上のB画素111には、左上がり斜め位相差を検波する対の位相差検波用画素131E,131Fのうち、対の他方を構成する位相差検波用画素131Fが配置されている。
第4列の右下のB画素111と第12列の右下のB画素111には、右上がり斜め位相差を検波する対の位相差検波用画素131G,131Hのうち、対の一方を構成する位相差検波用画素131Gが配置されている。第8列の右下のB画素111と第16列の右下のB画素111には、右上がり斜め位相差を検波する対の位相差検波用画素131G,131Hのうち、対の他方を構成する位相差検波用画素131Hが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては2個、1つのブロック102内においては2個とされている。
すなわち第16の構成例においては、1つのBサブブロック103内に、左上がり斜め位相差を検波する対の位相差検波用画素131Eと右上がり斜め位相差を検波する対の位相差検波用画素131Gが、混在して配置されている。また左上がり斜め位相差を検波する対の位相差検波用画素131Fと右上がり斜め位相差を検波する対の位相差検波用画素131Hが、混在して配置されている。Bサブブロック103の全体を見てみると、位相差検波用画素131E,131Fと位相差検波用画素131G,131Hが、混在して配置されている。
さらに、Bサブブロック103に関し、左上がり斜め位相差を検波する位相差検波用画素131Eと、同じ行の、対になる左上がり斜め位相差を検波する対の位相差検波用画素131Fは、サブブロック103で数えると2個分だけ離れている。そして、左上がり斜め位相差を検波する位相差検波用画素131Eと、同じ行の同じ相の次の左上がり斜め位相差を検波する位相差検波用画素131Eは、サブブロック103で数えて4個分だけ離れている(2-4B)。
また、Bサブブロック103に関し、右上がり斜め位相差を検波する位相差検波用画素131Gと、同じ行の、対になる右上がり斜め位相差を検波する対の位相差検波用画素131Hは、サブブロック103で数えると2個分だけ離れている。そして、右上がり斜め位相差を検波する位相差検波用画素131Gと、同じ行の同じ相の次の右上がり斜め位相差を検波する位相差検波用画素131Gは、サブブロック103で数えて4個分だけ離れている(2-4B)。
なお、左上がり斜め位相差を検波する位相差検波用画素131E,131Fと右上がり斜め位相差を検波する位相差検波用画素131G,131Hは、Rサブブロック103の左上と右下の画素111に配置するようにしてもよい。
なお、以上の図27の第13の構成例乃至図30の第16の構成例では、2つの位相差検波用画素131がBサブブロック103に配置されている。B画素111は、R画素111またはG画素111に較べて視認性が低い。従って、位相差検波用画素131をR画素111またはG画素111に配置する場合に較べて、画像が劣化することが抑制される。
また、以上の図27の第13の構成例乃至図30の第16の構成例では、図21の第7の構成例乃至図26の第12の構成例における場合のように、2種類の位相差検波用画素131を、2つのGサブブロック103にそれぞれ配置することもできる。
<17.第17の構成例(2/4画素、B画素とR画素に同じ横方向と同じ縦方向の位相差検波用画素を配置)>
次に、図31を参照して、撮像素子41の撮像領域101の第17の構成例について説明する。
図31は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図31の第17の構成例において、Bサブブロック103とRサブブロック103のいずれにおいても、2×2個の画素111のうち、左上と右下の2個の画素111が位相差検波用画素131とされている。
Bサブブロック103においては、第3列の左上と第4列の右下および第11列の左上と第12列の右下の画素111に、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。第7列の左上と第8列の右下および第15列の左上と第16列の右下の画素111には、横方向の位相差を検波する対の他方を構成する位相差検波用画素131Bが配置されている。
Rサブブロック103においては、第3行の左上と第4行の右下および第11行の左上と第12行の右下の画素111に、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の一方を構成する位相差検波用画素131Cが配置されている。第7行の左上と第8行の右下および第15行の左上と第16行の右下の画素111には、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の他方を構成する位相差検波用画素131Dが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては2個、1つのブロック102内においては4個とされている。
この図31の第17の構成例は、図27の第13の構成例のR画素111に、縦方向の位相差を検波する位相差検波用画素131C,131Dを付加した構成例である。
この構成例においては、1つのBサブブロック103の4個のB画素111のうちの左上と右下の2個の画素111が同じ位相差検波用画素131Aであるか、または同じ位相差検波用画素131Bである。左上の位相差検波用画素131とその右下(1行下)の位相差検波用画素131は対角線上に隣接し、近接している。そこで上下の位相差列でブロックマッチング(ラインマッチング)することにより位相差を検波することができる。画素値または位相差検波後の値を加算処理することで、平均化処理が行われ、ノイズに対する耐性を向上させ、精度を向上させることができる。
また、この構成例においては、1つのRサブブロック103の4個のR画素111のうちの左上と右下の2個の画素111が同じ位相差検波用画素131Cであるか、または同じ位相差検波用画素131Dである。左上の位相差検波用画素131とその右下(1行下)の位相差検波用画素131は対角線上に隣接し、近接している。そこで左右の位相差列でブロックマッチング(ラインマッチング)することによっても位相差を検波することができる。
この構成例においては、Bサブブロック103に関し、横方向の位相差を検波する位相差検波用画素131Aと、同じ行の、対になる横方向の位相差を検波する対の位相差検波用画素131Bは、サブブロック103で数えると2個分だけ離れている。そして、横方向の位相差を検波する位相差検波用画素131Aと、同じ行の同じ相の次の横方向の位相差を検波する位相差検波用画素131Aは、サブブロック103で数えて4個分だけ離れている(2-4B)。
さらに、Rサブブロック103に関し、縦方向の位相差を検波する位相差検波用画素131Cと、同じ列の、対になる縦方向の位相差を検波する対の位相差検波用画素131Dは、サブブロック103で数えると2個分だけ離れている。そして、縦方向の位相差を検波する位相差検波用画素131Cと、同じ列の同じ相の次の縦方向の位相差を検波する位相差検波用画素131Cは、サブブロック103で数えて4個分だけ離れている(2-4R)。
なおこの構成例では、B画素111に横方向の位相差を検波する対の位相差検波用画素131A,131Bが配置され、R画素111に縦方向の位相差を検波する対の位相差検波用画素131C,131Dが配置されている。逆に、B画素111に縦方向の位相差を検波する対の位相差検波用画素131C,131Dを配置し、R画素111に横方向の位相差を検波する対の位相差検波用画素131A,131Bを配置してもよい。
<18.第18の構成例(2/4画素、B画素とR画素に同じ縦方向と同じ横方向の位相差検波用画素を配置)>
次に、図32を参照して、撮像素子41の撮像領域101の第18の構成例について説明する。
図32は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図32の第18の構成例において、Bサブブロック103とRサブブロック103のいずれにおいても、2×2個の画素111のうち、左上と右下の2個の画素111が位相差検波用画素131とされている。
Rサブブロック103においては、第1列の左上と第2列の右下および第9列の左上と第10列の右下の画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。第5列の左上と第6列の右下および第13列の左上と第14列の右下の画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の他方を構成する位相差検波用画素131Bが配置されている。
Bサブブロック103においては、第1行の左上と第2行の右下および第9行の左上と第10行の右下の画素111に、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の一方を構成する位相差検波用画素131Cが配置されている。第5行の左上と第6行の右下および第13行の左上と第14行の右下の画素111には、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の他方を構成する位相差検波用画素131Dが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては2個、1つのブロック102内においては4個とされている。
この構成例においては、1つのRサブブロック103の4個のR画素111のうちの左上と右下の2個の画素が同じ位相差検波用画素131Aであるか、または同じ位相差検波用画素131Bである。左上の位相差検波用画素131とその右下(1行下)の位相差検波用画素131は対角線上に隣接し、近接している。そこで上下の位相差列でブロックマッチング(ラインマッチング)することによっても位相差を検波することができる。画素値または位相差検波後の値を加算処理することで、平均化処理が行われ、ノイズに対する耐性を向上させ、精度を向上させることができる。
またこの構成例においては、1つのBサブブロック103の4個のB画素111のうちの左上と右下の2個の画素が同じ位相差検波用画素131Cであるか、または同じ位相差検波用画素131Dである。左上の位相差検波用画素131とその右下(1行下)の位相差検波用画素131は対角線上に隣接し、近接している。そこで左右の位相差列でブロックマッチング(ラインマッチング)することにより位相差を検波することができる。
この構成例においては、Rサブブロック103に関し、横方向の位相差を検波する位相差検波用画素131Aと、同じ行の、対になる横方向の位相差を検波する対の位相差検波用画素131Bは、サブブロック103で数えると2個分だけ離れている。そして、横方向の位相差を検波する位相差検波用画素131Aと、同じ行の同じ相の次の横方向の位相差を検波する位相差検波用画素131Aは、サブブロック103で数えて4個分だけ離れている(2-4R)。
さらに、Bサブブロック103に関し、縦方向の位相差を検波する位相差検波用画素131Cと、同じ列の、対になる縦方向の位相差を検波する対の位相差検波用画素131Dは、サブブロック103で数えると2個分だけ離れている。そして、縦方向の位相差を検波する位相差検波用画素131Cと、同じ列の同じ相の次の縦方向の位相差を検波する位相差検波用画素131Cは、サブブロック103で数えて4個分だけ離れている(2-4B)。
またこの構成例では、R画素111に横方向の位相差を検波する対の位相差検波用画素131A,131Bが配置され、B画素111に縦方向の位相差を検波する対の位相差検波用画素131C,131Dが配置されている。逆に、R画素111に縦方向の位相差を検波する対の位相差検波用画素131C,131Dを配置し、B画素111に横方向の位相差を検波する対の位相差検波用画素131A,131Bを配置してもよい。
<19.第19の構成例(2/4画素、B画素とR画素に対の横方向と対の縦方向の位相差検波用画素を配置)>
次に、図33を参照して、撮像素子41の撮像領域101の第19の構成例について説明する。
図33は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図33の第19の構成例において、Bサブブロック103とRサブブロック103のいずれにおいても、2×2個の画素111のうち、左上と右下の2個の画素111が位相差検波用画素131とされている。
図31と図32の構成例においては、同じサブブロック103内に、同じ横方向の位相差または縦方向の位相差を検波する位相差検波用画素131が配置されている。すなわち、Bサブブロック103内に、位相差検波用画素131Aが2個、もしくは位相差検波用画素131Bが2個配置されているか、または、位相差検波用画素131Cが2個、もしくは位相差検波用画素131Dが2個配置されている。
それに対して図33の構成例においては、同じサブブロック103内に、対となる横方向または縦方向の位相差を検波する位相差検波用画素131が配置されている。すなわち、位相差検波用画素131Aと位相差検波用画素131Bが配置されるか、または位相差検波用画素131Cと位相差検波用画素131Dが配置されている。
Bサブブロック103においては、第1行、第5行、第9行および第13行の左上の画素111に、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。第2行、第6行、第10行および第14行の右下の画素111に、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の他方を構成する位相差検波用画素131Bが配置されている。
Rサブブロック103においては、第3行、第7行、第11行および第15行の左上の画素111に、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の一方を構成する位相差検波用画素131Cが配置されている。第4行、第8行、第12行および第16行の右下の画素111に、縦方向の位相差を検波する対の位相差検波用画素131C,131Dのうち、対の他方を構成する位相差検波用画素131Dが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては2個、1つのブロック102内においては4個とされている。
Bサブブロック103に関し、横方向の位相差を検波する位相差検波用画素131Aと、1行下の、対になる横方向の位相差を検波する対の位相差検波用画素131Bは、サブブロック103で数えると離れていない(0個分だけ離れている)。そして、横方向の位相差を検波する位相差検波用画素131Aと、同じ行の同じ相の次の横方向の位相差を検波する位相差検波用画素131Aは、サブブロック103で数えて2個分だけ離れている(0-2B)。
さらに、Rサブブロック103に関し、縦方向の位相差を検波する位相差検波用画素131Cと、1列右の、対になる縦方向の位相差を検波する対の位相差検波用画素131Dは、サブブロック103で数えると離れていない(0個分だけ離れている)。そして、縦方向の位相差を検波する位相差検波用画素131Cと、同じ列の同じ相の次の縦方向の位相差を検波する位相差検波用画素131Cは、サブブロック103で数えて2個分だけ離れている(0-2R)。
なおこの構成例では、B画素111に横方向の位相差を検波する対の位相差検波用画素131A,131Bが配置され、R画素111に縦方向の位相差を検波する対の位相差検波用画素131C,131Dが配置されている。逆に、B画素111に縦方向の位相差を検波する対の位相差検波用画素131C,131Dを配置し、R画素111に横方向の位相差を検波する対の位相差検波用画素131A,131Bを配置してもよい。
<20.第20の構成例(2/4画素、B画素とR画素に対の左斜め上と対の右斜め上の位相差検波用画素を配置)>
次に、図34を参照して、撮像素子41の撮像領域101の第20の構成例について説明する。
図34は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。これまでの構成例においては、全ての色のサブブロック103において位相差検波用画素131を対応する位置に配置した。しかし、同じ色のサブブロック103内においては対応する位置であるが、異なる色のサブブロック103の間では異なる位置に位相差検波用画素131を配置するようにしてもよい。図34は、この場合の構成例を示している。
図34の第20の構成例においては、Bサブブロック103とRサブブロック103に位相差検波用画素131が配置されている。すなわち、Bサブブロック103においては、2×2個の画素111のうち、左上と右下の画素111が位相差検波用画素131とされている。一方、Rサブブロック103においては、2×2個の画素111のうち、左下と右上の画素111が位相差検波用画素131とされている。
Bサブブロック103においては、第1行、第5行、第9行および第13行の左上の画素111に、左上がり斜め位相差を検波する対の位相差検波用画素131E,131Fのうち、対の一方を構成する位相差検波用画素131Eが配置されている。第2行、第6行、第10行および第14行の右下の画素111に、左上がり斜め位相差を検波する対の位相差検波用画素131E,131Fのうち、対の他方を構成する位相差検波用画素131Fが配置されている。
Rサブブロック103においては、第3行、第7行、第11行および第15行の右上の画素111に、右上がり斜め位相差を検波する対の位相差検波用画素131G,131Hのうち、対の一方を構成する位相差検波用画素131Gが配置されている。第4行、第8行、第12行および第16行の左下の画素111に、右上がり斜め位相差を検波する対の位相差検波用画素131G,131Hのうち、対の他方を構成する位相差検波用画素131Hが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては2個、1つのブロック102内においては4個とされている。
全てのBサブブロック103においては、2×2個の画素111のうち、左上と右下の画素111が位相差検波用画素131とされている。これに対して、Rサブブロック103においては、右上と左下の画素111が位相差検波用画素131とされている。
また、Bサブブロック103に関し、左上がり斜め位相差を検波する位相差検波用画素131Eと、1行下の、対になる左上がり斜め位相差を検波する対の位相差検波用画素131Fは、サブブロック103で数えると離れていない(0個分だけ離れている)。そして、左上がり斜め位相差を検波する位相差検波用画素131Eと、同じ行の同じ相の次の左上がり斜め位相差を検波する位相差検波用画素131Eは、サブブロック103で数えて2個分だけ離れている(0-2B)。
さらに、Rサブブロック103に関し、右上がり斜め位相差を検波する位相差検波用画素131Gと、1列左の、対になる右上がり斜め位相差を検波する対の位相差検波用画素131Hは、サブブロック103で数えると離れていない(0個分だけ離れている)。そして、右上がり斜め位相差を検波する位相差検波用画素131Gと、同じ列の同じ相の次の右上がり斜め位相差を検波する位相差検波用画素131Gは、サブブロック103で数えて2個分だけ離れている(0-2R)。
なおこの構成例では、B画素111に左上がり斜め位相差を検波する対の位相差検波用画素131E,131Fが配置され、R画素111に右上がり斜め位相差を検波する対の位相差検波用画素131G,131Hが配置されている。逆に、B画素111に右上がり斜め位相差を検波する対の位相差検波用画素131G,131Hを配置し、R画素111に左上がり斜め位相差を検波する対の位相差検波用画素131E,131Fを配置してもよい。
なお、以上の図31の第17の構成例乃至図34の第20の構成例では、図21の第7の構成例乃至図26の第12の構成例における場合のように、2種類の位相差検波用画素131を、2つのGサブブロック103にそれぞれ配置することもできる。
<21.第21の構成例(1/4画素、B画素、G画素、R画素に横方向の位相差検波用画素を配置)>
次に、図35を参照して、撮像素子41の撮像領域101の第21の構成例について説明する。
図35は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図35の第21の構成例において、1つのブロック102内のBサブブロック103、Rサブブロック103および右下のGサブブロック103のいずれにおいても、2×2個の画素111のうち、左上の画素111が位相差検波用画素131とされている。
Rサブブロック103においては、第1列の左上および第9列の左上の画素111に、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。第5列の左上および第13列の左上の画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の他方を構成する位相差検波用画素131Bが配置されている。
Bサブブロック103においては、第3列の左上および第11列の左上の画素111に、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。第7列の左上および第15列の左上の画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の他方を構成する位相差検波用画素131Bが配置されている。
右下のGサブブロック103においては、第3列の左上および第11列の左上の画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。第7列の左上および第15列の左上の画素111には、横方向の位相差を検波する対の位相差検波用画素131A,131Bのうち、対の他方を構成する位相差検波用画素131Bが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては3個とされている。
図35の構成例においては、透光部132A,132Bと遮光部133A,133Bが、図36に示されるように構成される。図36は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の構成例を示す断面図である。図36は便宜上、2個の位相差検波用画素131A,131Bの断面構成を並べて示している。図36の位相差検波用画素131の構成は、基本的に図9に示した位相差検波用画素131と同様であるが、図9の開口により形成されている透光部132A,132Bが、開口に代えてカラーフィルタ224により形成されている。
カラーフィルタ224の色は、サブブロック103の色に対応する。すなわち、Rサブブロック103の位相差検波用画素131では、カラーフィルタ224の色は赤(R)とされる。同様に、Gサブブロック103の位相差検波用画素131では、カラーフィルタ224の色は緑(G)とされ、Bサブブロック103の位相差検波用画素131では、カラーフィルタ224の色は青(B)とされる。その他の構成は、図9に示す場合と同様であるので、その説明は省略する。
また、撮像用画素114の構成は図8に示した場合と同様である。
この例では、例えば位相差検波用画素131Aにおいては、オンチップレンズ225により集光された光の一部が透光部132Aを透過して、フォトダイオード222に入射する。透光部132Aには、カラーフィルタ224が配置されているので、対応する色の成分の光だけがフォトダイオード222に入射する。しかしオンチップレンズ225により集光された光の一部は、図36において透光部132Aの右側に配置されている遮光部133Aにより遮光され、フォトダイオード222に入射しない。
同様に、位相差検波用画素131Bにおいても、オンチップレンズ225により集光された光の一部が透光部132Bを透過して、フォトダイオード222に入射する。このときもカラーフィルタ224により対応する色の成分のみが抽出され、フォトダイオード222に入射する。しかしオンチップレンズ225により集光された光の一部は、図36において透光部132Bの左側に配置されている遮光部133Bにより遮光され、フォトダイオード222に入射しない。
図35の構成例では、R,G,Bの各色毎に別々に位相差の検出処理が行われ、デフォーカス量が算出される。これにより、被写体の光源依存性を補正することができる。つまり、色を主たる要素としてフォーカス制御が可能になる。
なお、図36の例では、遮光部133の開口にカラーフィルタ224を設けた。すなわち、遮光部133と同じ層にカラーフィルタ224が配置されている。しかし、カラーフィルタ224は、遮光部133より上層(遮光部133よりオンチップレンズ225に近い位置)に設けたり、下層(遮光部133よりフォトダイオード222に近い位置)に設けることもできる。この場合、撮像用画素114においてもカラーフィルタ224の位置は位相差検波用画素131と同様とすることができる。
図35の第21の構成例においては、カラーフィルタ224を有する位相差検波用画素131が使用される。従って、位相差検波用画素131からも撮像画素信号が得られる。しかし、その他の構成例(上述した第1の構成例乃至第20の構成例、さらに後述する第22の構成例)においては、カラーフィルタ224を有する位相差検波用画素131とカラーフィルタ224を有しない位相差検波用画素131のいずれもが使用可能である。
図35の第21の構成例にいては、横方向の位相差を検波する位相差検波用画素131を配置したが、縦方向の位相差、または左上がり斜め位相差もしくは右上がり斜め位相差を検波する位相差検波用画素131を配置することもできる。
<22.第22の構成例(1/4画素、B画素、2つのG画素、R画素に横方向の位相差検波用画素を配置)>
次に、図37を参照して、撮像素子41の撮像領域101の第22の構成例について説明する。
図37は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図37の第22の構成例においては、Bサブブロック103、Rサブブロック103および2つのGサブブロック103の全てにおいて、2×2個の画素111のうち、左上の画素111が位相差検波用画素131とされている。
第1列、第5列、第9列および第13列では、Gサブブロック103とRサブブロック103のいずれでも、同様に構成されている。すなわち、左上の画素111に横方向の位相差を検波する位相差検波用画素131A,131Bのうち、対の一方を構成する位相差検波用画素131Aが配置されている。第3列、第7列、第11列および第15列では、Bサブブロック103とGサブブロック103のいずれでも、同様に構成されている。すなわち、左上の画素111に横方向の位相差を検波する位相差検波用画素131A,131Bのうち、対の他方を構成する位相差検波用画素131Bが配置されている。位相差検波用画素131を配置する場合のその数は、1つのサブブロック103内においては1個、1つのブロック102内においては4個とされている。
この図37の第22の構成例においては、1行により多くの横方向の位相差を検波する位相差検波が素131A,131Bが配置されている。その結果、位相差検波精度が向上する。
図37の第22の構成例にいては、横方向の位相差を検波する位相差検波用画素131を配置したが、縦方向の位相差、または左上がり斜め位相差もしくは右上がり斜め位相差を検波する位相差検波用画素131を配置することもできる。
<23.位相差検波用画素の配置>
次に、位相差検波用画素131の配置について説明する。
図38は、本技術を適用した撮像素子の一実施の形態の位相差検波用画素の配置例を示す図である。この例においては、画素アレイ部44の撮像領域101が、ほぼ中央の領域441、その左上の領域442、左上の領域442と対角線上の右下の領域443、右上の領域444、および右上の領域444と対角線上の左下の領域445とに区分されている。なお、フォーカスエリアとしてのこれらの領域441乃至445は、楕円形とされているが、円、矩形、その他の形状とすることもできる。
中央の領域441と右下の領域443の境界は、次のように設定することができる。すなわち、撮像領域101(領域441)の中心から撮像領域101の右下の角までの距離LN1を1とするとき、撮像領域101(領域441)の中心から境界までの距離LN2を0.4乃至0.6とすることができる。その他の領域442,444,445と中央の領域441との境界についても同様である。
中央の領域441には、図38の右側中央に示された構成例の位相差検波用画素131が配置される。この構成例は、図5の構成例と同じである。
すなわち、中央の領域441においては、矢印A1で示される直線の方向、すなわち横方向(水平線方向)の位相差を検波する位相差検波用画素131が、第1行、第5行、第9行、および第13行に配置されている。また、矢印A2で示される直線の方向、すなわち縦方向(垂直方向)の位相差を検波する位相差検波用画素131が、第1列、第5列、第9列、および第13列に配置されている。
左上の領域442には、図38の左上に示された構成例の位相差検波用画素131が配置される。右下の領域443においては、図38の右下に示された構成例の位相差検波用画素131が配置される。この2つの構成例は同じである。この構成例においては、矢印A4で示される直線の方向、すなわち右上がり斜め位相差を検波する位相差検波用画素131が配置されている。
具体的には、左上の領域442と右下の領域443の構成例は次のようである。Rサブブロック103において、第1列と第9列に、右上がり斜め位相差を検波する位相差検波用画素131G,131Hのうちの、対の一方の位相差検波用画素131Gが配置されている。第5列と第13列には、右上がり斜め位相差を検波する位相差検波用画素131G,131Hのうちの、対の他方の位相差検波用画素131Hが配置されている。
Bサブブロック103においては、第3列と第11列に、右上がり斜め位相差を検波する位相差検波用画素131G,131Hのうちの、対の一方の位相差検波用画素131Gが配置されている。第7列と第15列には、右上がり斜め位相差を検波する位相差検波用画素131G,131Hのうちの、対の他方の位相差検波用画素131Hが配置されている。
右上の領域444においては、図38の右上に示された構成例の位相差検波用画素131が配置される。左下の領域445においては、図38の左下に示された構成例の位相差検波用画素131が配置される。この2つの構成例は同じである。この構成例においては、矢印A3で示される直線の方向、すなわち左上がり斜めの位相差を検波する位相差検波用画素131が配置されている。
つまりこの右上の領域444と左下の領域445の構成例においては、Rサブブロック103において、第1列と第9列に、左上がり斜め位相差を検波する位相差検波用画素131E,131Fのうちの、対の一方の位相差検波用画素131Eが配置されている。第5列と第13列には、左上がり斜め位相差を検波する位相差検波用画素131E,131Fのうちの、対の他方の位相差検波用画素131Fが配置されている。
Bサブブロック103において、第3列と第11列に、左上がり斜め位相差を検波する位相差検波用画素131E,131Fのうちの、対の一方の位相差検波用画素131Eが配置されている。第7列と第15列には、左上がり斜め位相差を検波する位相差検波用画素131E,131Fのうちの、対の他方の位相差検波用画素131Fが配置されている。
位相差検波用画素131をこのように配置することで、中央の領域441においては画像の横方向と縦方向の位相差を検波することができる。そして、左上の領域442と右下の領域443により、右上がり斜め位相差を検波することができ、右上の領域444と左下の領域445により左上がり斜め位相差を検波することができる。画像は同心円状の非点収差の影響を受けることがあるが、位相差の検出に対するその影響を軽減することができる。
以上の構成例においては、1つのサブブロック103内に配置する位相差検波用画素131の数は、1個または2個とした。また1つのブロック102内に配置する位相差検波用画素131の数は、2個、3個または4個とした。その数をより多くすることは可能であるが、撮像画像に対する補正が複雑になる。また、その数を小さくすることも可能であるが、位相差検波の精度が低下する。
以上のように、本技術によれば、サブブロック103内の対応する位置の画素111、さらにはブロック102内の対応する位置のサブブロック103内の対応する位置の画素111に位相差検波用画素131が配置されている。すなわち、位相差検波用画素131を配置する場合には、ブロック102の対応する位置のサブブロック103に、そしてサブブロック103の対応する位置の画素111に位相差検波用画素131が配置される。従って、フォーカス制御時における撮像画像に対する補正処理も規則的に行うことが可能となり、位相差検波用画素131による撮像画像の品質の劣化を抑制することができる。なお、ここで位置とは相対的位置を意味する。
サブブロック103を4個の画素111で構成し、そのうちの1個または2個を位相差検波用画素131としたので、位相差検波用画素131を高密度に配置することができ、位相差検波の精度を向上することができる。さらにサブブロック103内の残りの画素111を、そのまま撮像用画素114として利用することができ、そのサブブロック103における撮像信号も取得できるので、撮像画像の品質が劣化することを抑制することができる。
<24.変形例>
次に、サブブロック103の変形例について説明する。図39は、本技術を適用した撮像素子の一実施の形態の平面的構成例を示す図である。図3の例においては、ブロック102が、1個のRサブブロック103、2個のGサブブロック103、および1個のBサブブロック103により構成されている。これに対して図39の例においては、ブロック102が、1個のRサブブロック103、1個のGサブブロック103、1個のBサブブロック103、および1個のW(白)のサブブロック103により構成されている。すなわち、図3の例における2個のGサブブロック103のうちの左上の1個が、Wサブブロック103に置き換えられた構成となっている。
この場合においても、Wサブブロック103は、2×2個のW画素111により構成される。このことは、Rサブブロック103、Gサブブロック103、およびBサブブロック103と同様である。そして2×2個のW画素111のうちの、Rサブブロック103、Gサブブロック103、またはBサブブロック103と同様の所定の画素111が、必要に応じて位相差検波用画素131に置き換えられる。
また、Wサブブロック103は、赤外線を感知するサブブロック103にすることもできる。この場合、図11の光学フィルタ312は、IRカットフィルタとしては機能しない(赤外線を透過する)構成とされる。
Wサブブロック103や赤外線を感知するサブブロック103は特殊なので、白色の色や赤外線を感知する必要が無いことも多い。従って、これらのサブブロック103に位相差検波用画素131を配置しても、撮像画像の質が低下するおそれは少なくて済む。もちろん逆に、これらのサブブロック103以外のRサブブロック103、Gサブブロック103、またはBサブブロック103に位相差検波用画素131を配置すれば、白色や赤外線を感知する機能を実現することができる。
また、カラーフィルタ224の色は、R,G,Bに限られず、その他の色でもよい。例えば、イエロー、グリーン、シアン、およびマゼンダによりブロックが構成される場合にも、本技術は適用することができる。
さらに位相差検波用画素131に代えて、横方向、縦方向または斜め方向の偏光を感知する偏光フィルタを配置することができる。
以上においては、サブブロック103を2×2個の画素111で構成したが、3×3個、または4×4個の画素111で構成した場合にも、本技術は適用することができる。
また、以上においては、位相差検波用画素131に関して、全てのブロック102を同じように構成した。すなわち、全てのブロック102内の同じ画素111の位置に位相差検波用画素131を配置した。しかし、適当な間隔で位相差検波用画素131を配置しないブロック102を設けることもできる。
例えば、図5の第1の構成例において、第3列に位相差検波用画素131A、第7列に位相差検波用画素131B、第11列に位相差検波用画素131A、第15列に位相差検波用画素131Bを配置した。しかし、第7列と第15列(以下、同様)には位相差検波用画素131を配置せず、第3列と第11列(以下、同様)にだけ位相差検波用画素131を配置するようにしてもよい。この場合、第11列に位相差検波用画素131Bが配置される。すなわち位相差検波用画素131を配置する間隔が、1サブブロック103置き(2サブブロック103毎)になる。列方向においても同様である。さらに他の構成例においても同様である。
ただし、位相差検波用画素131を配置する位置の共通性は、色毎に設定するようにしてもよい。例えば位相差検波用画素131は、Rサブブロック103においては左上の画素111に配置するが、Bサブブロック103においては右下の画素111に配置し、Gサブブロック103においては右上の画素111に配置することができる。
また、1個のサブブロック103内に位相差検波用画素131を配置する数も、色毎に設定するようにしてもよい。例えば、位相差検波用画素131を、Bサブブロック103には2個配置し、Rサブブロック103には1個配置し、Gサブブロック103には2個配置するようにしてもよい。このとき、位相差検波用画素131の数を数える限りにおいて、左上のGサブブロック103と右下のGサブブロック103は、異なるサブブロック103として判断することができる。
位相差検波用画素131の数は多い程、より正確に、またより多くの種類の位相差を検波することが可能になる。数を多くすると、例えば車両の走行を制御する場合等に好適となる。また、位相差検波用画素131の数が多いと、不連続点が少なくなるので、撮像用画素114に与える影響が規則化され、補正処理も容易になる。そして、サブブロック103を複数個の画素111で構成することで、そこに位相差検波用画素131を配置したとしても、そのサブブロック103から撮像用画素信号を得ることができ、撮像画像の質の劣化が抑制される。
<25.応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。
図40は、本開示に係る技術が適用され得る車両制御システム2000の概略的な構成の一例を示すブロック図である。車両制御システム2000は、通信ネットワーク2010を介して接続された複数の電子制御ユニットを備える。図40に示した例では、車両制御システム2000は、駆動系制御ユニット2100、ボディ系制御ユニット2200、バッテリ制御ユニット2300、車外情報検出装置2400、車内情報検出装置2500、及び統合制御ユニット2600を備える。これらの複数の制御ユニットを接続する通信ネットワーク2010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク2010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図40では、統合制御ユニット2600の機能構成として、マイクロコンピュータ2610、汎用通信I/F2620、専用通信I/F2630、測位部2640、ビーコン受信部2650、車内機器I/F2660、音声画像出力部2670、車載ネットワークI/F2680及び記憶部2690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット2100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット2100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット2100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット2100には、車両状態検出部2110が接続される。車両状態検出部2110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも1つが含まれる。駆動系制御ユニット2100は、車両状態検出部2110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット2200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット2200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット2200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット2200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット2300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池2310を制御する。例えば、バッテリ制御ユニット2300には、二次電池2310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット2300は、これらの信号を用いて演算処理を行い、二次電池2310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出装置2400は、車両制御システム2000を搭載した車両の外部の情報を検出する。例えば、車外情報検出装置2400には、撮像部2410及び車外情報検出部2420のうちの少なくとも一方が接続される。撮像部2410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも1つが含まれる。車外情報検出部2420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム2000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも1つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも1つであってよい。これらの撮像部2410及び車外情報検出部2420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図41は、撮像部2410及び車外情報検出部2420の設置位置の例を示す。撮像部2910,2912,2914,2916,2918は、例えば、車両2900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも1つの位置に設けられる。フロントノーズに備えられる撮像部2910及び車室内のフロントガラスの上部に備えられる撮像部2918は、主として車両2900の前方の画像を取得する。サイドミラーに備えられる撮像部2912,2914は、主として車両2900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部2916は、主として車両2900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部2918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図41には、それぞれの撮像部2910,2912,2914,2916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部2910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部2912,2914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部2916の撮像範囲を示す。例えば、撮像部2910,2912,2914,2916で撮像された画像データが重ね合わせられることにより、車両2900を上方から見た俯瞰画像が得られる。
車両2900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部2920,2922,2924,2926,2928,2930は、例えば超音波センサ又はレーダ装置であってよい。車両2900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部2920,2926,2930は、例えばLIDAR装置であってよい。これらの車外情報検出部2920~2930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図40に戻って説明を続ける。車外情報検出装置2400は、撮像部2410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出装置2400は、接続されている車外情報検出部2420から検出情報を受信する。車外情報検出部2420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出装置2400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出装置2400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出装置2400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出装置2400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出装置2400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出装置2400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部2410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出装置2400は、異なる撮像部2410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出装置2500は、車内の情報を検出する。車内情報検出装置2500には、例えば、運転者の状態を検出する運転者状態検出部2510が接続される。運転者状態検出部2510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出装置2500は、運転者状態検出部2510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出装置2500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット2600は、各種プログラムにしたがって車両制御システム2000内の動作全般を制御する。統合制御ユニット2600には、入力部2800が接続されている。入力部2800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部2800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム2000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部2800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部2800は、例えば、上記の入力部2800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット2600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部2800を操作することにより、車両制御システム2000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部2690は、マイクロコンピュータにより実行される各種プログラムを記憶するRAM(Random Access Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するROM(Read Only Memory)を含んでいてもよい。また、記憶部2690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F2620は、外部環境2750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F2620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F2620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F2620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F2630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F2630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、又はDSRC(Dedicated Short Range Communications)といった標準プロトコルを実装してよい。専用通信I/F2630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部2640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部2640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部2650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部2650の機能は、上述した専用通信I/F2630に含まれてもよい。
車内機器I/F2660は、マイクロコンピュータ2610と車内に存在する様々な機器との間の接続を仲介する通信インタフェースである。車内機器I/F2660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F2660は、図示しない接続端子(及び、必要であればケーブル)を介して有線接続を確立してもよい。車内機器I/F2660は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F2680は、マイクロコンピュータ2610と通信ネットワーク2010との間の通信を仲介するインタフェースである。車載ネットワークI/F2680は、通信ネットワーク2010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット2600のマイクロコンピュータ2610は、汎用通信I/F2620、専用通信I/F2630、測位部2640、ビーコン受信部2650、車内機器I/F2660及び車載ネットワークI/F2680のうちの少なくとも1つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム2000を制御する。例えば、マイクロコンピュータ2610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット2100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ2610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ2610は、汎用通信I/F2620、専用通信I/F2630、測位部2640、ビーコン受信部2650、車内機器I/F2660及び車載ネットワークI/F2680のうちの少なくとも1つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ2610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部2670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図40の例では、出力装置として、オーディオスピーカ2710、表示部2720及びインストルメントパネル2730が例示されている。表示部2720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも1つを含んでいてもよい。表示部2720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ2610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図40に示した例において、通信ネットワーク2010を介して接続された少なくとも二つの制御ユニットが1つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム2000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク2010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク2010を介して相互に検出情報を送受信してもよい。
以上説明した車両制御システム2000において、図11を用いて説明した本実施形態に係る電子機器300は、図40に示した応用例の統合制御ユニット2600に適用することができる。例えば、電子機器300の位相差検波部326は、統合制御ユニット2600のマイクロコンピュータ2610、記憶部2690、車載ネットワークI/F2680に相当する。
また、図11を用いて説明した電子機器300の少なくとも一部の構成要素は、図40に示した統合制御ユニット2600のためのモジュール(例えば、1つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図11を用いて説明した電子機器300が、図40に示した車両制御システム2000の複数の制御ユニットによって実現されてもよい。
なお、図11を用いて説明した電子機器300の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
<26.その他>
本技術は、以下のような構成もとることができる。
(1)
同じ色の複数の画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、
前記ブロックを構成する前記複数のサブブロックのうち、2以上の前記サブブロックに位相差検波用画素が配置される場合、前記2以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置される
固体撮像装置。
(2)
前記サブブロックは、互いに隣り合う2×2個の前記画素で構成される
前記(1)に記載の固体撮像装置。
(3)
前記ブロックは、ベイヤ配列された4つの前記サブブロックにより構成される
前記(1)または(2)に記載の固体撮像装置。
(4)
前記ブロックに配置される前記位相差検波用画素の数は、2個以上4個以下である
前記(1)、(2)または(3)に記載の固体撮像装置。
(5)
前記サブブロックに配置される前記位相差検波用画素の数は、1個または2個である
前記(1)乃至(4)のいずれかに記載の固体撮像装置。
(6)
前記位相差検波用画素が配置される前記サブブロックは、赤または青の前記サブブロックである
前記(1)乃至(5)のいずれかに記載の固体撮像装置。
(7)
前記位相差検波用画素は、横方向もしくは縦方向の位相差、または左斜め上方向もしくは右斜め上方向の位相差を検波する
前記(1)乃至(6)のいずれかに記載の固体撮像装置。
(8)
第1の前記サブブロックの2つの前記画素に、対となる前記位相差検波用画素の一方が配置されており、前記第1のサブブロックと同じ色の第2の前記サブブロックの2つの前記画素に、対となる前記位相差検波用画素の他方が配置されている
前記(1)乃至(7)のいずれかに記載の固体撮像装置。
(9)
前記第1のサブブロックとは異なる色の第3の前記サブブロックの2つの前記画素に、前記第1のサブブロックの前記位相差検波用画素が検波する第1の方向とは異なる第2の方向の位相差を検波する対となる他の方向の前記位相差検波用画素の一方が配置されており、前記第3のサブブロックと同じ色の第4の前記サブブロックの2つの前記画素に、対となる前記他の方向の前記位相差検波用画素の他方が配置されている
前記(1)乃至(8)のいずれかに記載の固体撮像装置。
(10)
第1の前記ブロックを構成する第1の色の前記サブブロック、第2の色の前記サブブロックおよび第3の色の前記サブブロックには、それぞれ対応する位置に、位相差を検波する対となる前記位相差検波用画素の一方が配置されており、
第2の前記ブロックを構成する前記第1の色のサブブロック、前記第2の色のサブブロックおよび前記第3の色のサブブロックには、それぞれ対応する位置に、位相差を検波する対となる前記位相差検波用画素の他方が配置されている
前記(1)乃至(9)のいずれかに記載の固体撮像装置。
(11)
前記位相差検波用画素にはカラーフィルタを介して光が入射する
前記(1)乃至(10)のいずれかに記載の固体撮像装置。
(12)
前記位相差検波用画素は前記カラーフィルタの色毎に別々に検波される
前記(1)乃至(11)のいずれかに記載の固体撮像装置。
(13)
撮像領域のほぼ中央には、横方向または縦方向の位相差を検波する前記位相差検波用画素が配置され、前記撮像領域の対角線方向には、左斜め上方向または右斜め上方向の位相差を検波する前記位相差検波用画素が配置されている
前記(1)乃至(12)のいずれかに記載の固体撮像装置。
(14)
前記位相差検波用画素が配置される前記サブブロック内における位置は、第1の色の前記サブブロック内において対応しており、かつ前記第1の色と異なる第2の色の前記サブブロック内において対応しているが、前記第1の色のサブブロック内と前記第2の色のサブブロック内において異なっている
前記(1)乃至(13)のいずれかに記載の固体撮像装置。
(15)
前記位相差検波用画素の出力に基づいて、位相差を検波する検波部をさらに備える
前記(1)乃至(14)のいずれかに記載の固体撮像装置。
(16)
被写体からの光を光電変換する画素が平面的に配置された撮像素子と、
前記撮像素子に光を入射するレンズの駆動を位相差検波用画素により検波された位相差に基づき制御する制御部と
を備える電子機器であって、
前記撮像素子においては、
同じ色の複数の前記画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、
前記ブロックを構成する前記複数のサブブロックのうち、2以上の前記サブブロックに位相差検波用画素が配置される場合、前記2以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置される
電子機器。
(17)
撮像素子を備える電子機器のレンズ制御方法であって、
前記撮像素子においては、
被写体からの光を光電変換する画素が平面的に配置され、
同じ色の複数の前記画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、
前記ブロックを構成する前記複数のサブブロックのうち、2以上の前記サブブロックに位相差検波用画素が配置される場合、前記2以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置され、
前記撮像素子に光を入射するレンズの駆動を前記位相差検波用画素により検波された位相差に基づき制御する
レンズ制御方法。
(18)
被写体からの光を光電変換する画素が平面的に配置された撮像素子と、
前記撮像素子に光を入射するレンズの駆動を位相差検波用画素により検波された位相差に基づき制御する制御部と
を備える車両であって、
前記撮像素子においては、
同じ色の複数の画素によりサブブロックが構成され、異なる色を含む複数の前記サブブロックによりブロックが構成され、
前記ブロックを構成する前記複数のサブブロックのうち、2以上の前記サブブロックに位相差検波用画素が配置される場合、前記2以上のサブブロック内において互いに対応する位置に、前記位相差検波用画素が配置される
車両。