JP5589146B2 - 撮像素子及び撮像装置 - Google Patents

Description

本発明は、位相差検出画素を持つ撮像素子と、この撮像素子を搭載した撮像装置に関する。

ＣＣＤ型やＣＭＯＳ型等の撮像素子は、光電変換素子である画素を二次元アレイ状に配列形成して構成される。図１４（ａ）は、１画素分の平面図を例示するものであり、矩形の光電変換素子（フォトダイオード：以下、画素という。）１の上に遮光膜１ａを積層し、その遮光膜１ａに開口１ｂを設けている。この開口１ｂは、受光量を多くとれるように、なるべく画素１の受光面を覆わないように広く形成される。

この様な多数の画素１を、二次元アレイ状に半導体基板表面部に配列形成するのであるが、近年では、位相差検出画素を、被写体画像を撮像する画素１の配列中に混在させた撮像素子が提案され、実機に適用される様になっている。

図１４（ｂ）は、位相差検出画素の一例の平面図である。位相差検出画素２では、図１４（ａ）の開口１ｂより狭い遮光膜開口２ｂが、画素中心に対して右側に偏心する様に設けられている。位相差検出画素３では、遮光膜開口２ｂと同じ大きさの狭い遮光膜開口３ｂが、画素中心に対して左側に偏心する様に設けられている。

遮光膜開口２ｂ，３ｂが左右方向にずれた位相差検出画素２，３のペアを用いることで、左右方向つまり水平方向の入射光位相差情報を取得することができる。そして、この位相差検出画素ペアを、撮像素子内で水平方向に並べれば、位相差情報の水平方向の分布を求めることができ、この分布情報から、例えば被写体までの焦点距離を検出することが可能となる。このため、下記の特許文献１，２では、位相差検出画素２，３を、焦点検出用の画素として用いている。

図１５は、特許文献１，２に記載された位相差検出画素の配置例を説明する図である。位相差検出画素以外の画素（通常画素ということにする。）の遮光膜開口の図示は省略している。従来の撮像素子５では、通常画素１が正方格子状に配列形成されており、その中の所定範囲内の１行分の全画素が、位相差検出画素２，３のペアとなっている。

この様に、一行分の全画素を位相差検出画素ペアにすることで、検出する位相差情報の水平方向解像度が高くなるという利点がある。

なお、上記では狭い遮光膜開口２ｂ，３ｂを画素中心に対して偏心させることで位相差検出画素ペアを構成する例について述べたが、通常画素１の隣接２画素に対して楕円形状の１個のマイクロレンズを搭載して瞳分割を行い、位相差検出画素ペアとするものもある。

日本国特開２０１１―２５２９５５号公報 日本国特開２０１１―２４２５１４号公報

図１５に示す従来技術の様に、１行分の画素の全てを位相差検出画素とすることで、水平方向に解像度の高い位相差情報の分布データを取得することが可能となる。しかし、一方で、不具合も生じる。位相差検出画素は、通常画素１より受光量が少なくかつ位相差を持った構造のため、普通は、位相差検出画素の画素位置の被写体撮像画像信号は、周囲の通常画素の撮像画像信号を補間演算して求める様にしている。つまり、位相差検出画素は、被写体の撮像に関しては、欠陥画素と同じ扱いになっている。

図１５に示す撮像素子５では、位相差検出画素２，３が水平方向に隙間無く（位相差検出画素ペア間に１画素分の隙間もとらない。）敷き詰められた一行の画素行になっている。このため、位相差検出画素２，３の画素位置における撮像画像信号は、この画素行の上下の通常画素の撮像画像信号を用いて補間演算することになる。

図１５の場合、位相差検出画素２，３が設けられた画素行位置（垂直位置）には通常画素１は１個も存在しないため、この垂直位置の撮像画像信号を用いないで補間演算することになる。この結果、補間演算の精度が犠牲となり、この一行分の画像の画質が劣化してしまうという課題がある。

本発明の目的は、位相差情報を検出する方向の解像度を高く保ちながら、かつ、撮像画像信号の補間精度を向上させることができる撮像素子と撮像装置を提供することにある。

本発明の撮像素子は、複数の水平方向のラインと複数の垂直方向のラインとが交差する正方格子位置の夫々に光電変換素子である画素を配置する撮像素子であって、上記撮像素子の上記画素が配置される所定の領域内において、上記画素のうち位相差を検出する位相差検出画素であって隣接配置された第１及び第２の位相差検出画素からなるペア画素を、上記ラインのうちのいずれかのラインを第１ライン、この第1ラインに平行なラインを第２ラインとしたとき、上記第１ライン内及び上記第２ライン内に、上記ペア画素を単位として複数ペア配置するに当たり、
上記第１ライン内に少なくとも２画素分離間させて上記ペア画素を複数ペア配置すると共に、上記第２ライン内に上記ペア画素を、上記第１ライン上で上記ペア画素を離間させた位置と対応する位置に配置したことを特徴とする。

本発明の撮像装置は、上記の撮像素子と、位相差検出画素の位置の撮像画像信号をその位相差検出画素の周囲の位相差検出画素以外の画素の撮像画像信号を画素補間して求める画素補間部を備えることを特徴とする。

本発明によれば、位相差検出画素が１水平ラインの全画素、１垂直ラインの全画素となることがないため、位相差検出画素の画素位置における撮像画像信号の画素補間を高精度に行い、高品質な被写体画像を得ることが可能となる。

本発明の一実施形態に係る撮像装置の機能ブロック構成図である。 本発明の第１実施形態（ａ）と第２実施形態（ｂ）に係る位相差検出画素配置例を示す図である。 本発明の第３実施形態に係る位相差検出画素配置例を示す図である。 位相差検出画素ペアの配置例を説明する図である。 従来例（ａ）と本発明の第４実施形態（ｂ）に係る位相差検出画素配置例を示す図である。 位相差検出画素ペアの配置方向による画像のエッジ方向判別を行う説明図である。 位相差情報の水平方向の分布データの説明図である。 ベイヤ配列に第１実施形態，第２実施形態を適用した説明図である。 図８とは別のカラーフィルタ配列に位相差検出画素を設けた例を説明する図である。 図９とは別のカラーフィルタ配列に位相差検出画素を設けた例を説明する図である。 更に別のカラーフィルタ配列に位相差検出画素を設けた例を説明する図である。 更に別のカラーフィルタ配列に位相差検出画素を設けた例を説明する図である。 更に別のカラーフィルタ配列に位相差検出画素を設けた例を説明する図である。 位相差検出画素の説明図である。 従来の位相差検出画素（焦点検出画素）の配置例を説明する図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る撮像装置の機能ブロック構成図である。撮像装置３０には、例えば、ＣＭＯＳ型の撮像素子３１が配置され、その前段に撮影レンズ２９が配置される。また、撮像素子３１の出力画像信号を取り込んでバス３２に出力する画像入力コントローラ３３が設けられる。なお、撮像素子３１は、ＣＣＤ型等の他の形式の撮像素子でも良い。

バス３２には、撮像素子３１の出力画像信号に対して周知の画像処理を施す画像信号処理回路３４と、画像処理後の画像信号をＪＰＥＧ画像データ等に圧縮する圧縮処理回路３５と、撮像装置３０背面等に設けられた画像表示装置３６に撮像画像やライブビュー画像を表示するビデオエンコーダ３７と、この撮像装置３０を統括制御するＣＰＵ４０と、撮像素子３１からスルー画像（ライブビュー画像）として出力される信号を処理して自動露出（ＡＥ），自動焦点（ＡＦ）及び自動ホワイトバランス（ＡＷＢ）を検出する回路４１と、メインメモリ４２と、詳細は後述する様に被写体画像のエッジ方向を判別すると共に位相差検出画素位置の撮像画像信号を画素補間又はゲイン補正で求める処理回路４３と、記録メディア４４にＪＰＥＧ画像データを保存するメディアコントローラ４５とが接続されている。

撮像素子３１は、タイミングジェネレータ４７からのタイミング信号によって駆動され、タイミングジェネレータ４７は、ＣＰＵ４０からの指示によって動作する。撮影レンズ２９のフォーカスレンズ位置もＣＰＵ４０からの指示によって駆動される。ＣＰＵ４０には、記録指示部４８が接続されている。

図２は、撮像素子３１の表面部の説明図である。以下、図を見やすくするために、図１４（ｂ）で説明した位相差検出画素ペアの一方の画素を「Ｘ」で標記し、他方を「Ｙ」で標記し、通常画素は矩形枠だけで示すことにする。

図２（ａ）に示す実施形態では、この正方格子配列において、或る水平行５１と、この水平行５１に対し垂直方向に１行分ずれた水平行５２とに、位相差検出画素ペアＸＹを１ペア毎に交互に、水平方向に隙間無く密に配置する。隙間無くとは、水平行５１の或るペア画素ＸＹ（特に画素Ｙ）と、これに続く水平行５２のペア画素ＸＹ（特に画素Ｘ）との間に隙間が無い（位相差検出画素が存在しない垂直方向画素列が存在しない）ということである。

この様にすると、例えば、或る位相差検出画素Ｙ６１の位置の撮像画像信号を、同一水平行に在る通常画素６２，６３，６４等を用いて補間演算することができ、補間精度を向上させることができる。なお、この補間演算は、この水平行を挟む上下の通常画素６５，６６等も用いて行うのは勿論である。

一方、位相差検出画素ペアＸＹで検出する位相差情報は、水平行５１，５２の違いを無視すれば、水平方向に隙間無く位相差検出画素ＸＹが存在するため、その解像度を高精度に保ったまま検出することが可能となる。

図２（ｂ）は、水平行５１と、この水平行５１に対して垂直方向に２行分ずれた水平行５３とに、位相差検出画素ペアＸＹを１ペア毎に交互に隙間無く密に配置した実施形態である。近年の撮像素子３１は、搭載画素数が１０００万画素程度又はそれ以上のものが主流であるが、例えば、近年の１０００万画素以上を搭載した撮像素子では、水平行５１，５３の間に数画素程度のズレが存在してもあまり影響はない。このため、高解像度の位相差情報の分布データ（図７で後述する。）を得ることができる。

なお、「撮像素子の所定の領域内の画素群において、全ての水平方向成分上に位相差検出画素が配置されている」とは、撮像素子を垂直方向から見た場合に、位相差画素が所定の領域において水平方向の全ての成分位置（画素配置位置）に配列されている状態を示す。つまり、各垂直ライン上にある位相差検出画素を垂直方向に移動させ、１つの水平行（例えば３行目）に配置し直した結果、水平方向に１画素分の隙間もなく、全て位相差検出画素Ｘ又はＹが配置される状態をいう。例えば、図２（ａ），図２（ｂ）のいずれかにおいて、垂直方向の配置位置が異なることを無視すれば、水平方向の全位置にＸ画素又はＹ画素が設けられている。ここで所定の領域内の画素群とは、撮像素子に配置された全画素群のうち一部の領域内の画素群を含むものであるが、全領域の画素群であっても良い。

同様に、「撮像素子の所定の領域内の画素群において、全ての垂直方向成分上に位相差画素が配置されている」とは、水平方向に見た場合に、位相差検出画素が所定の領域において垂直方向の全ての成分位置（画素配置位置）に配列されている状態を示す。例えばこれは、図２（ａ）又は図２（ｂ）を９０°回転させた状態をいう。同様に、所定の領域内の画素群とは、撮像素子に配置された全画素群のうち一部の領域内の画素群を含むものであるが、全領域の画素群であっても良い。

図３の実施形態は、図１の撮像装置（カメラ）３０を横置きにしても、縦置きにしても水平方向の位相差情報の分布データを取得できる撮像素子を示している。図２に示す撮像素子３１では、図４（ａ）に示す様に、位相差検出画素ペアＸＹの遮光膜開口２ｂ，３ｂの位置を、水平方向に偏心させ、かつ、位相差検出画素ペアＸＹを水平方向に並べている。

このため、カメラを縦置きにして撮像すると、遮光膜開口２ａ，３ｂのズレ方向が垂直方向になり、かつ、位相差検出画素ペアの配列方向は垂直方向になってしまう。これでは、垂直方向の位相差情報の分布データを取得することができるだけで、左右方向の位相差情報の分布データは得られない。

焦点検出のためにだけに位相差情報を取得するのであれば、垂直方向の位相差情報の分布データでも良い。しかし、カメラを縦置きにしても、水平方向の位相差情報の分布データを取得したい場合もある。

図３の実施形態では、１２×１２画素の画素群を、６×６画素の画素群７１，７２，７３，７４に分け、対角方向に隣接する２つの画素群７１，７３に、水平方向に隙間無く位相差検出画素ペアＸＹを１ペア毎に異なる水平行に交互かつ密に配置している。残りの画素群７２，７４には、垂直方向に隙間無く位相差検出画素ペアＸ_ａＹ_ａを１ペア毎に異なる垂直列に交互かつ密に配置している。ここで、位相差検出画素Ｘ_ａ，Ｙ_ａは、図４（ｂ）に示す様に、カメラを横置きにしたとき、上下方向に遮光膜開口２ｂ_ａ，３ｂ_ａが偏心する様になっている。このため、カメラ３０を縦置きにすると、その遮光膜開口２ｂ_ａ，３ｂ_ａは、左右方向に偏心することになる。

図２に示す撮像素子３１では、位相差検出画素ＸＹペアを水平方向に並べている。このため、或るペアＸＹの中央位置と、これに水平方向に隣接するペアＸＹの中央位置との間は、水平方向に２画素分離れてしまう。例えば、図５（ａ）に示す様に、位相差検出画素ペアＸＹを垂直方向に並べ、これを水平方向に隙間無く並べれば、ペア画素とペア画素との水平方向の間隔は１画素分となり、位相差情報の左右の分布データの解像度は、図２の場合に比べて２倍となる。

しかし、図１５を例に説明したように、位相差検出画素Ｘを配置した水平行と位相差検出画素Ｙを配置した水平行の２行分に通常画素が配置されないことになり、位相差検出画素位置の撮像画像信号の画素補間精度が低下してしまう。

そこで、図５（ｂ）に示す実施形態では、４本の垂直方向に連続する水平行５１，５２，５３，５４に渡って位相差検出画素ペアＸＹを設けるのであるが、或る垂直列では、水平行５１に位相差検出画素Ｘを、水平行５２に位相差検出画素Ｙを設ける。そして、この垂直列に隣接する垂直列では、水平行５３に位相差検出画素Ｘを、水平行５４に位相差検出画素Ｙを設け、次の隣接垂直列では、再び水平行５１に位相差検出画素Ｘを、水平行５２に位相差検出画素Ｙを設ける。

即ち、ペアを組む位相差検出画素Ｘ，Ｙを垂直方向に並べて配置し、これを水平方向に連続的に並べる場合には、垂直位置を２画素分ずらしながら交互にペア画素を水平方向に並べる。これにより、水平方向に隣り合うペア画素間に１画素分の通常画素を設けるスペースが確保され、位相差検出画素位置の撮像画像信号を精度良く画素補間することが可能となる。

なお、図５（ｂ）の例では、水平行５１，５２にペア画素ＸＹを配置し、水平行５３，５４にペア画素を配置し、水平行５２，５３間に隙間が無いようにした。しかし、水平行５２のペア画素と水平行５３のペア画素との間に、図２（ｂ）の実施形態の様に、数画素程度の間隔を開けても、位相差情報の水平方向の解像度は低下しない。

図６は、図１に示すエッジ方向判別及び画素補間を行う処理回路４３の動作機能を説明する図である。ペアを組む位相差検出画素Ｘ，Ｙが水平方向に並べて配置されている。

図６（ａ）にハッチングした部分が被写体画像Ａであり、そのエッジ７６が、位相差検出画素ペアＸＹの両方を横断するように延びている。この場合、位相差検出画素Ｘの検出信号と、位相差検出画素Ｙの検出信号との間には、あまり差は生じていない。これにより、位相差検出画素ペアＸＹの位置にＸＹの配列方向に延びるエッジ７６が存在すると判断できる。

これに対し、図６（ｂ）に示す様に、水平方向に並べて配置された位相差検出画素ペアＸＹのうち被写体画像Ａが画素Ｘだけを覆っていたとする。この場合には、位相差検出画素Ｘの検出信号と、位相差検出画素Ｙの検出信号との間には大きな差が生じることになる。これにより、位相差検出画素ペアＸＹの位置に、ＸＹの配列方向と交差するエッジ７７が存在すると判断できる。

図１のエッジ方向判別及び画素補間等を行う処理回路４３は、上記したようにして、位相差検出画素Ｘ，Ｙの検出信号量の差分が所定値以上あるか否かにより、エッジ方向を判別する。そして、判別結果に応じ、この位相差検出画素Ｘ，Ｙの位置における撮像画像信号をどの様にして補正するかを、以下の様に判断する。なお、差分ではなく比率で判断しても良いことはいうまでもない。

図６（ａ）の様に、エッジ方向が位相差検出画素ペアＸＹの配列方向と同じと判断した場合、画素Ｘの検出信号と画素Ｙの検出信号との差分は小さく相関性は高い。この場合、画素Ｘの検出信号と画素Ｙの検出信号との間に不均一性が生じていても、被写体画像への影響は小さい。このため、処理回路４３は、画素Ｘ位置の撮像画像信号をゲイン補正で求める。同様に、画素Ｙ位置の撮像画像信号をゲイン補正で求める。勿論、画素補間で求めても良いが、ゲイン補正で求めるのが、簡便で処理速度が速くなる。

ゲイン補正とは、位相差検出画素Ｘ，Ｙの検出信号に補正ゲインをかけることで行う。図１４（ａ），図１４（ｂ）を比較してみれば分かる通り、位相差検出画素Ｘ，Ｙの遮光膜開口２ｂ，３ｂの面積は、通常画素の遮光膜開口１ｂの１／２程度である。つまり、位相差検出画素Ｘ，Ｙへの入射光量は通常画素の半分である。このため、位相差検出画素Ｘ，Ｙの夫々の検出信号量を略２倍にすることで、夫々の画素位置の撮像画像信号とする。

図６（ｂ）の様に、画像Ａに位相差検出画素Ｘが覆われ、位相差検出画素Ｙには画像Ａが重なっていない場合には、画素補間で夫々の画素位置の撮像画像信号を求める。この場合、位相差検出画素Ｘの撮像画像信号を補間演算で算出するときに用いる通常画素は、画像Ａ側つまりエッジ７７より位相差検出画素Ｘ側の通常画素を用いる。同様に、位相差検出画素Ｙの撮像画像信号を補間演算で算出するときに用いる通常画素は、画像Ａとは反対側つまりエッジ７７より位相差検出画素Ｙ側の通常画素を用いる。これにより、画質が破綻しない画素補間が可能となる。

図７は、図１のＡＦ検出回路４１が検出した位相差情報の分布データを例示する図である。図２（ａ）の水平行５１，５２に配列された位相差検出画素ペアＸＹは、２つの水平行に渡っている。図２（ｂ）でも同様であるが、これらの位相差検出画素ペアＸＹの横並びのラインには、被写体のうち同一水平線上の位置からの出射した光が入射していると考えることができる。

位相差検出画素Ｘは、図４（ａ）から分かる通り、画素中心から右側に遮光膜開口２ｂが偏心している。これは、画素側から見ると、遮光膜開口２ｂは、左目側の開口となっている。位相差検出画素Ｙの遮光膜開口３ｂは、逆に、右目側の開口となっている。

つまり、横並びの夫々の位相差検出画素Ｘが検出した検出信号値を結ぶＸ検出信号線と、横並びの夫々の位相差検出画素Ｙが検出した検出信号値を結ぶＹ検出信号線とは、左右の目で同一被写体を見たときの左右の視差量つまり位相差量だけずれる。このズレ量（位相差量）を求めれば、被写体までの距離を算出することができる。

図１のＣＰＵ４０は、ＡＦ検出回路４１から図７のデータを受け取ると、撮影レンズ２９のフォーカスレンズ位置を被写体に合焦させる位置に移動させる。この移動により、図７の２つのＸ検出信号線とＹ検出信号線との間のズレは小さくなり、合焦した位置で、両方の信号線は重なることになる。このようにしてＡＦ処理が実行される。

以上述べた実施形態では、本発明の骨子が分かるように、モノクロ画像撮像用の撮像素子３１を用いて説明した。しかし、これらの実施形態を、そのまま、単板式のカラー画像撮像用の撮像素子３１にも適用可能である。

図８（ａ）は、カラーフィルタ配列が一般的なベイヤ配列を示し、図８（ｂ）は、ベイヤ配列のカラー撮像素子に図２（ａ）の実施形態を適用した説明図である。図中において、Ｒ＝赤色フィルタ，Ｇ＝緑色フィルタ，Ｂ＝青色フィルタを示している。そして、位相差検出画素を示す「Ｘ」「Ｙ」も記載しているが、分かり易い様に、位相差検出画素Ｘ，Ｙには、ハッチングを施してある。なお、Ｒフイルタを搭載した画素を、Ｒ画素という場合もある。Ｇフィルタ，Ｂフィルタにおいても同様である。

位相差検出画素ペアＸＹは、同色のフィルタを搭載する必要があり、位相差検出画素ＸＹにはＲＧＢとは別色（例えばエメラルド色）のカラーフィルタを搭載することでも良い。或いは、位相差検出画素ＸＹに色フィルタではなく透明フィルタを搭載したり、両画素ＸＹ共にＧ色のカラーフィルタを搭載しても良い。

図８（ｂ）の例では、垂直方向に隣接する２つの水平行に、図２（ａ）で説明した様に、位相差検出画素ＸＹのペアを水平方向に隙間無く密に交互配置している。図８（ｂ）では、ＢＧと連続する箇所を位相差検出画素ペアＸＹに置き換えた後、ＧＲと連続する箇所を位相差検出画素ペアＸＹに置き換え、という配列を交互に水平方向に繰り返している。

図８（ｃ）は、図２（ｂ）の実施形態をベイヤ配列のカラー撮像素子に適用した例である。この場合、ＢＧと連続する箇所を位相差検出画素ペアＸＹに置き換えた後、２行下のＢＧと連続する箇所を位相差検出画素ペアＸＹに置き換え、という配列を交互に水平方向に繰り返している。

この配置例だと、Ｂフィルタを搭載した画素数がＲフィルタを搭載した画素数より減少してしまう。そこで、位相差検出画素ペアＸＹを設ける２本の水平行に近接する水平行のカラーフィルタ配列において、Ｒ画素をＢ画素に置換し、位相差検出画素ＸＹを設けた領域でし、おおよそ「Ｂ画素数＝Ｒ画素数」となるようにする。勿論、ＧＲの配列部分だけを位相差検出画素ペアＸＹに置き換えた場合には、逆に、周囲のＢ画素の一部をＲ画素にすることになる。

図８（ｄ）は、ベイヤ配列において、位相差検出画素ペアＸＹを設ける水平行を垂直方向に３行ずらした例を示す図である。この程度の距離離しても問題はない。

図９（ａ）は、別のカラーフィルタ配列のカラー撮像素子の一部画素を位相差検出画素ＸＹに置き換えた図である。空白の矩形枠は、Ｇ画素であるが、「Ｇ」の標記を省略し、図面を見易くしている。

このカラーフィルタ配列は、図９（ｂ）の第１配列と図９（ｃ）の第２配列とを、水平方向，垂直方向共に交互に配列することで形成される。

第１配列では、３×３画素の画素群の中央及び４隅の合計５画素をＧフィルタとし、この５画素以外の４画素のうちの同一画素列の２画素をＲフィルタ、残り２画素をＢフィルタとすることで構成される。また、上記４画素のうち同一画素行の２画素をＲフィルタ、残り２画素をＢフィルタとした配列パターンが第２配列となる。

図９（ｂ）（ｃ）に示す第１配列，第２配列を水平方向，垂直方向に交互に並べると、Ｇ画素が４画素ずつ塊になった箇所が離散的，周期的位置に形成される。この４画素のうち水平２画素を位相差検出画素ペアＸＹに置き換えることで、図９（ａ）のカラー撮像素子が形成される。この撮像素子は、位相差検出画素ＸＹを持つ６×６画素の画素群を基本パターンとして、この基本パターンを水平方向，垂直方向に並べた形になっている。

図９（ａ）の例では、垂直方向の画素列８０，８１等には位相差検出画素ＸＹが配置されない構造になっている。しかし、近年の多画素化が進展した撮像素子では、位相差検出画素が存在しない垂直方向画素列が存在して、それが小数であればあまり問題とはならず、高解像度の水平方向の位相差情報を取得できる。

図９（ａ）のカラー撮像素子は、図９（ｂ）の第１配列と図９（ｃ）の第２配列とを水平方向，垂直方向共に交互に繰り返して形成されたが、第１配列だけを水平方向，垂直方向に繰り返すカラーフィルタ配列でも良い。第２配列だけを水平方向，垂直方向に繰り返すカラーフィルタ配列でも良い。これらの場合、Ｇフィルタが存在する箇所は変わらないため、位相差検出画素ＸＹに置換する箇所は図９（ａ）と同じになる。

図１０（ａ）は、図９（ａ）のカラーフィルタ配列の変形例を示す図である。図９（ａ）と同様に、Ｇ画素が４画素ずつ塊になる箇所に、位相差検出画素ペアＸＹを配置したものである。図１０（ａ）のカラーフィルタ配列は、図１０（ｂ）の第１配列と、図１０（ｃ）の第２配列を水平方向，垂直方向に交互に配置することで形成される。

第１配列は、３×３画素の画素群の中央及び４隅の合計５画素をＧフィルタとし、この５画素以外の４画素を斜めに隣接する２画素ずつに分け、一方の２画素をＲフィルタにすると共に他方の２画素をＢフィルタとすることで構成される。上記一方の２画素をＢフィルタにすると共に他方の２画素をＲフィルタとすることで、第２配列が構成される。

なお、図１０（ａ）のカラーフィルタ配列に替えて、上記と同様に、第１配列だけを、又は、第２配列だけを、水平方向，垂直方向に配列したカラーフィルタ配列としても良い。

図１１（ａ）は、更に別のカラーフィルタ配列の説明図である。図９（ａ），図１０（ａ）のカラーフィルタ配列で位相差検出画素ＸＹを設けた場合、図９（ａ）の画素列８０，８１等に位相差検出画素を設けることができない構造になっている。つまり、Ｇ画素が水平方向に２画素連続しない画素列が存在する構造になっている。しかし、図１１（ａ）のカラーフィルタ配列にすると、全ての垂直方向画素列に位相差検出画素を設けることが可能となる。

図１１（ａ）のカラーフィルタ配列は、図９（ａ）のカラーフィルタ配列を基本としている。図１０（ｂ）や、第１配列だけ、第２配列だけを用いたカラーフィルタ配列でも同じであるため、図９（ａ）を用いて説明する。

図１１（ａ）のカラーフィルタ配列は、図９（ａ）の垂直方向画素列８０のフィルタ構成を２列分水平方向に連続させ、垂直方向画素列８１のフィルタ構成を２列分水平方向に連続させ、…、させることで形成できる。これにより、図１１（ｂ）に示す様に、全てのＧ画素が水平方向に２画素連続することになり、図２（ａ）又は図２（ｂ）の実施形態が適用可能となる。図１１（ｂ）は図２（ｂ）の実施形態を適用した図である。

本発明は、図９〜図１１に示すカラーフィルタ配列に適用すると好適であるが、これらカラーフィルタ配列に限るものではなく、次の条件を満たすカラーフィルタであれば良い。即ち、
（１）単板式カラー撮像素子の水平方向及び垂直方向に正方格子配列された画素上に配列される所定のカラーフィルタ配列である点。
（２）輝度信号を得るために最も寄与する第１の色（例えば緑色）に対応する第１のフィルタと、この第１の色以外の２色以上の第２の色（例えば青色と赤色）に対応する第２のフィルタとが配列された所定の基本配列パターンを含む点。
（３）この基本配列パターンが水平方向及び垂直方向に繰り返して配置される点。
（４）第１のフィルタは、カラーフィルタ配列の水平，垂直，斜め（対角方向）方向の各ライン内に配置される点。
（５）第２のフィルタは、基本配列パターン内にカラーフィルタ配列の水平及び垂直方向の各ライン内に１つ以上配置される点。
（６）第１のフィルタに対応する第１の色の画素数の比率は、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい点。
以上の条件を満たせば良い。

これら条件を満たすカラー撮像素子によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置するようにしたため、高周波領域での同時化（補間）処理（デモザイク処理ともいう）の再現精度を向上させることができ、また、第１の色以外の２色以上の第２の色に対応する第２のフィルタについてもカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。

また、上記のカラーフィルタ配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段での同時化（補間）処理（デモザイク処理ともいう）を行う際に、繰り返しパターンにしたがって処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。

更に、第１のフィルタに対応する第１の色の画素数と第２のフィルタに対応する第２の色の各色の画素数との比率を異ならせ、特に輝度信号を得るために最も寄与する第１の色の画素数の比率を、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性もよくなる。

好適には、上記のカラーフィルタ配列は、第１のフィルタが水平，垂直及び斜め方向の各ライン内で２画素以上連続する部分を含むのが良い。これにより、最小画素間隔で、水平、垂直、及び斜め方向における輝度の変化の小さい方向（相関の高い方向）の判別が可能となる。

更に好適には、上記のカラーフィルタ配列は、第１のフィルタからなる２×２画素に対応する正方配列を含むのが良い。この２×２画素の画素値を使用して、水平、垂直、及び斜め方向のうちの相関の高い方向を判別することが可能となる。

更に好適には、所定の基本配列パターン内のカラーフィルタ配列は、その基本配列パターンの中心に対して点対称であるのが良い。これにより、後段に処理回路の回路規模を小さくすることが可能になる。

更に好適には、上記のカラーフィルタ配列は、第１のフィルタが３×３画素の画素群において中心と４隅に配置され、その３×３画素の画素群が水平方向及び垂直方向に繰り返し配置されているのが良い。上記画素群は、４隅に第１のフィルタが配置されているため、この画素群が水平方向及び垂直方向に繰り返し配置されると、カラーフィルタ配列は、第１のフィルタからなる２×２画素に対応する正方配列を含むようになる。この２×２画素の画素値を使用して、水平、垂直、及び斜め方向のうちの相関の高い方向を判別することができ、また、第１のフィルタがカラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されるようになる。

更に好適には、第２のフィルタが、上記カラーフィルタ配列の水平，垂直及び斜め方向の各ライン内に配置されるのが良い。これにより、斜め方向の色再現性をより向上させることができる。

図１２は、更に別のカラーフィルタ配列に位相差検出画素ＸＹを設けた例を示す図である。図１２のカラーフィルタ配列では、４画素のＧ画素塊が撮像素子表面部に市松状に配列され、残りの市松位置にくる４画素塊の夫々を対角２画素ずつに分け、一方をＲ画素，他方をＢ画素としている。このカラーフィルタ配列に、図２（ｂ）の実施形態を適用したのが、図１２の例である。勿論、図２（ａ）の実施形態も適用可能である。

図１３は、更に別のカラーフィルタ配列に位相差検出画素を設けた例を示す図である。この図１３で、白抜き矩形枠はＢ画素又はＲ画素であり、Ｇ画素部分だけ「Ｇ」と標記している。「Ｇ」にハッチングを付したのは、この位置のＧ画素を位相差検出画素ＸＹにしたことを示している。

このカラーフィルタ配列では、Ｇ画素の４画素の塊と、Ｇ画素が水平方向に２画素連続する塊とが撮像素子表面部に離散的，周期的に配列されている。図中のＸＹ１ラインの水平行とＸＹ２ラインの水平行の、Ｇ画素が２画素づつ塊になる２画素づつを、位相差検出画素ＸＹのペアとすることで、水平方向に隙間無く密に位相差検出画素ＸＹを配列することが可能となる。

また、図中のＸＹ３ラインの水平行とＸＹ４ラインの水平行の、Ｇ画素が４画素づつ塊になるうちの水平２画素づつを、位相差検出画素ＸＹのペアとすることでも、水平方向に隙間無く密に位相差検出画素ＸＹを配列することが可能となる。

図８〜図１３の実施形態は、各種のカラーフィルタ配列に図２の実施形態を適用した例であるが、図３，図５の実施形態も、カラー撮像素子に適用可能であることはいうまでもない。

以上述べた実施形態によれば、位相差情報を検出したい方向に位相差検出画素ペアを並べるに当たり、その方向に密度が高くなるように、好適には隙間無く位相差検出画素ペアを連続的に配置したので、高解像度の位相差情報を得ることが可能となる。

以上述べた実施形態の撮像素子は、複数の水平方向のラインと複数の垂直方向のラインとが交差する正方格子位置の夫々に光電変換素子である画素を配置する撮像素子であって、上記撮像素子の上記画素が配置される所定の領域内において、上記画素のうち位相差を検出する隣接配置された第１及び第２の位相差検出画素であるペア画素を、上記ラインのうちのいずれかのラインを第１ライン、この第1ラインに平行なラインを第２ラインとしたとき、上記第１ライン内及び上記第２ライン内に、上記ペア画素を単位として複数ペア配置するに当たり、
上記第１ライン内に少なくとも２画素分離間させて上記ペア画素を複数ペア配置すると共に、上記第２ライン内に上記ペア画素を、上記第１ライン上で上記ペア画素を離間させた位置と対応する位置に配置したことを特徴とする。

また、実施形態の撮像素子は、上記のペア画素には同一色のカラーフィルタが搭載されることを特徴とする。

また、実施形態の撮像素子は、上記同一色は緑色であることを特徴とする。

また、実施形態の撮像素子は、緑色のカラーフィルタを搭載した２×２画素の画素群が離散的かつ周期的位置に設けられ、上記ペア画素がその２×２画素の画素群の中に設けられることを特徴とする。

また、実施形態の撮像素子は、３×３画素の画素群の中央及び４隅の合計５画素を緑色のカラーフィルタとし、その５画素以外の４画素のうちの２画素を赤色のカラーフィルタ、残り２画素を青色のカラーフィルタとした配列パターンを、水平方向及び垂直方向共に繰り返し配置したことを特徴とする。

また、実施形態の撮像素子は、３×３画素の画素群の中央及び４隅の合計５画素を緑色のカラーフィルタとし、その５画素以外の４画素のうちの同一垂直方向のライン上の２画素を赤色のカラーフィルタ、残り２画素を青色のカラーフィルタとした配列パターンを第１配列、上記４画素のうち同一水平方向のライン上の２画素を赤色のカラーフィルタ、残り２画素を青色のカラーフィルタとした配列パターンを第２配列とし、第１配列と第２配列を水平方向及び垂直方向共に交互に配置したことを特徴とする。

また、実施形態の撮像素子は、３×３画素の画素群の中央及び４隅の合計５画素を緑色のカラーフィルタとし、その５画素以外の４画素を斜めに隣接する２画素ずつに分け、一方の２画素を赤色のカラーフィルタにすると共に他方の２画素を青色のカラーフィルタとした配列パターンを第１配列、上記一方の２画素を青色のカラーフィルタにすると共に上記他方の２画素を赤色のカラーフィルタとした配列パターンを第２配列とし、第１配列と第２配列を水平方向及び垂直方向共に交互に配置したことを特徴とする。

また、実施形態の撮像素子は、上記撮像素子の所定の領域内の画素群において、全ての水平方向成分上に、又は、全ての垂直方向成分上に上記位相差検出画素が配置されていることを特徴とする。

また、実施形態の撮像装置は、上記位相差検出画素の位置の撮像画像信号をその位相差検出画素の周囲の位相差検出画素以外の画素の撮像画像信号を画素補間して求める画素補間部を備えることを特徴とする。

また、実施形態の撮像装置は、上記ペア画素を構成する上記第１の位相差検出画素が検出した第１信号値と上記第２の位相差検出画素が検出した第２信号値とを用いて被写体撮像画像中のエッジの方向を判別する方向判別部を備えることを特徴とする。

また、実施形態の撮像装置の上記方向判別部は、上記第１信号値と上記第２信号値の差分又は比率から上記エッジの方向を判別することを特徴とする。

また、実施形態の撮像装置は、上記方向判別部が上記エッジの方向を判別したとき、そのエッジを超えない位置の位相差検出画素以外の画素の撮像画像信号を用いた上記画素補間を上記画素補間部に行わせる制御部を備えることを特徴とする。

また、実施形態の撮像装置は、上記エッジを検出した上記ペア画素の配置方向と上記エッジの方向とが同じ方向であると上記方向判別部が判別したとき、そのペア画素を構成する上記位相差検出画素の検出信号をゲイン補正してその位相差検出画素の位置の撮像画像信号とするゲイン補正部を備えることを特徴とする。

また、実施形態の撮像装置は、上記位相差検出画素の検出信号を用いてＡＦ処理を行うＡＦ処理部を備えることを特徴とする。

以上述べた実施形態によれば、位相差検出画素ペアが複数連続して同一ライン上に配列されることがないため、位相差検出画素位置の撮像画像信号を、位相差検出画素に隣接する通常画素の撮像画像信号を用いて画素補完することができる。これにより、高品質な被写体画像を撮像することが可能となる。

本発明に係る撮像素子は、位相差検出画素の検出信号を用いて、例えば被写体までの撮影レンズの合焦制御ができるほか、位相差検出画素位置の撮像画像信号の画素補間が高精度に行えるため、デジタルスチルカメラ，デジタルビデオカメラ，カメラ付携帯電話機の撮像装置等に適用すると有用である。 本出願は、２０１１年１２月２８日出願の日本特許出願番号２０１１−２８８０３３に基づくものであり、その内容はここに参照として取り込まれる。

３０ 撮像装置
３１ 撮像素子
３４ 画像信号処理回路
４０ ＣＰＵ
４１ ＡＥ，ＡＦ＆ＡＷＢ検出回路
４３ エッジ方向判別及び画素補間の処理回路
５１，５２，５３，５４ 水平行（画素行）
７６，７７ 画像のエッジ
８０，８１ 垂直列（画素列）
Ｘ，Ｙ 位相差検出画素
ＸＹ 位相差検出画素ペア

Claims (14)

1. 複数の水平方向のラインと複数の垂直方向のラインとが交差する正方格子位置の夫々に光電変換素子である画素を配置する撮像素子であって、
   前記撮像素子の前記画素が配置される所定の領域内において、前記画素のうち位相差を検出する位相差検出画素であって隣接配置された第１及び第２の位相差検出画素からなるペア画素を、前記ラインのうちのいずれかのラインを第１ライン、該第1ラインに平行なラインを第２ラインとしたとき、前記第１ライン内及び前記第２ライン内に、前記ペア画素を単位として複数ペア配置するに当たり、
   前記第１ライン内に少なくとも２画素分離間させて前記ペア画素を複数ペア配置すると共に、前記第２ライン内に前記ペア画素を、前記第１ライン上で前記ペア画素を離間させた位置と対応する位置に配置した撮像素子。
2. 請求項１に記載の撮像素子であって、
   前記のペア画素には同一色のカラーフィルタが搭載される撮像素子。
3. 請求項２に記載の撮像素子であって、
   前記同一色は緑色である撮像素子。
4. 請求項３に記載の撮像素子であって、
   緑色のカラーフィルタを搭載した２×２画素の画素群が離散的かつ周期的位置に設けられ、前記ペア画素が該２×２画素の画素群の中に設けられる撮像素子。
5. 請求項４に記載の撮像素子であって、
   ３×３画素の画素群の中央及び４隅の合計５画素を緑色のカラーフィルタとし、該５画素以外の４画素のうちの２画素を赤色のカラーフィルタ、残り２画素を青色のカラーフィルタとした配列パターンを、水平方向及び垂直方向共に繰り返し配置した撮像素子。
6. 請求項５に記載の撮像素子であって、
   ３×３画素の画素群の中央及び４隅の合計５画素を緑色のカラーフィルタとし、該５画素以外の４画素のうちの同一垂直方向のライン上の２画素を赤色のカラーフィルタ、残り２画素を青色のカラーフィルタとした配列パターンを第１配列、
   前記４画素のうち同一水平方向のライン上の２画素を赤色のカラーフィルタ、残り２画素を青色のカラーフィルタとした配列パターンを第２配列とし、
   前記第１配列と前記第２配列を水平方向及び垂直方向共に交互に配置した撮像素子。
7. 請求項５に記載の撮像素子であって、
   ３×３画素の画素群の中央及び４隅の合計５画素を緑色のカラーフィルタとし、該５画素以外の４画素を斜めに隣接する２画素ずつに分け、一方の２画素を赤色のカラーフィルタにすると共に他方の２画素を青色のカラーフィルタとした配列パターンを第１配列、
   前記一方の２画素を青色のカラーフィルタにすると共に前記他方の２画素を赤色のカラーフィルタとした配列パターンを第２配列とし、
   前記第１配列と前記第２配列を水平方向及び垂直方向共に交互に配置した撮像素子。
8. 請求項１に記載の撮像素子であって、
   前記撮像素子の所定の領域内の画素群において、全ての水平方向成分上に、又は、全ての垂直方向成分上に前記位相差検出画素が配置されている撮像素子。
9. 請求項１に記載の撮像素子を搭載した撮像装置であって、
   前記位相差検出画素の位置の撮像画像信号を、該位相差検出画素の周囲の位相差検出画素以外の画素の撮像画像信号を画素補間して求める画素補間部を備える撮像装置。
10. 請求項９に記載の撮像装置であって、
    前記ペア画素を構成する前記第１の位相差検出画素が検出した第１信号値と、前記第２の位相差検出画素が検出した第２信号値とを用いて被写体撮像画像中のエッジの方向を判別する方向判別部を備える撮像装置。
11. 請求項１０に記載の撮像装置であって、
    前記方向判別部は、前記第１信号値と前記第２信号値の差分又は比率から前記エッジの方向を判別する撮像装置。
12. 請求項１０に記載の撮像装置であって、
    前記方向判別部が前記エッジの方向を判別したとき、該エッジを超えない位置の位相差検出画素以外の画素の撮像画像信号を用いた前記画素補間を前記画素補間部に行わせる制御部を備える撮像装置。
13. 請求項１０に記載の撮像装置であって、
    前記エッジを検出した前記ペア画素の配置方向と前記エッジの方向とが同じ方向であると前記方向判別部が判別したとき、該ペア画素を構成する前記位相差検出画素の検出信号をゲイン補正して該位相差検出画素の位置の撮像画像信号とするゲイン補正部を備える撮像装置。
14. 請求項９に記載の撮像装置であって、
    前記位相差検出画素の検出信号を用いてＡＦ処理を行うＡＦ処理部を備える撮像装置。

Images