JP5978570B2 - 撮像装置 - Google Patents

Description

本発明は瞳分割型位相差検出用の画素信号を生成する画素を有する撮像素子を含む撮像装置に関する。

従来２次元的に撮像画素が配置された撮像素子を含む撮像装置において、撮像素子の直前に光学ローパスフィルタを配置し、撮像画素による像の離散的サンプリングによって生じるエイリアジングを防止する技術が知られている。さらに近年では撮像画素の画素ピッチを光学系によって形成される最小の点像の大きさより小さくすることにより、上記光学ローパスフィルタを廃止した撮像装置も知られている（例えば、特許文献１参照）。

また従来２次元的に撮像画素が配置された撮像素子を含む撮像装置において、撮像画素の一部に置き換えて位相差検出用の焦点検出画素が配置された撮像素子を含む撮像装置が知られている。そのような撮像装置においては、焦点検出画素の出力信号に基づき撮像素子上に形成される像の焦点調節状態を検出する。それとともに、焦点検出画素位置に配置されるべき撮像画素の出力信号を該焦点検出画素の周囲に配置された撮像画素の出力信号に基づいて補間し、撮像画素の出力信号と補間により得られた信号とに基づき画像データを生成する技術も知られている（例えば、特許文献２参照）。

特開２００４−２１９５６９号公報 特開２００７−２７９５９７号公報

しかしながら上述した画素ピッチの縮小により光学ローパスフィルタを廃止した撮像装置において、撮像画素の一部に置き換えて位相差検出用の焦点検出画素を撮像素子に配置した場合には、以下のような問題がある。すなわち、上記補間の際に焦点検出画素のすぐ隣に隣接していない撮像画素の出力信号も補間処理に利用するため、高い空間周波成分を含む像に対しては補間精度が悪く、画像品質が低下してしまうという問題がある。

請求項１に記載の発明による撮像装置は、光学系を通過した光束を受光する複数の撮像画素と、前記光束を受光し、一方向に配置された複数の焦点検出画素とを含む撮像素子と、前記光束を、前記一方向には分離せずに前記一方向に垂直な方向に第１及び第２の光束に分離して、前記第１の光束を前記焦点検出画素に入射させ、前記第２の光束を前記焦点検出画素から前記垂直な方向に一つの画素を挟んで配置された前記撮像画素に入射させる光学フィルタと、前記複数の焦点検出画素のうちの一部の焦点検出画素の画素位置における画像信号を、前記第２の光束が入射する前記撮像画素の画素信号に基づき補間する補間部と、を備える。
請求項２に記載の発明による撮像装置は、光学系を通過した光束を受光する複数の撮像画素と、前記光束を受光し、一方向に配置された複数の焦点検出画素とを含む撮像素子と、前記複数の焦点検出画素のうちの一部の焦点検出画素の画素位置における画像信号を、前記焦点検出画素から前記一方向に垂直な方向に一つの画素を挟んで配置された前記撮像画素の画素信号に基づき補間する補間部と、前記光束を、前記一方向には分離せずに前記垂直な方向に第１及び第２の光束に分離して、前記第１の光束を前記焦点検出画素に入射させ、前記第２の光束を前記焦点検出画素から前記垂直な方向に一つの画素を挟んで配置された前記撮像画素に入射させる光学フィルタと、を備える。
請求項４に記載の発明による撮像装置は、第1分光感度特性の第1撮像画素及び第２分光感度特性の第２撮像画素が交互に一方向に配置された複数の第１撮像画素列と、前記第２撮像画素及び第３分光感度特性の第３撮像画素が交互に前記一方向に配置された複数の第２撮像画素列とが前記一方向に垂直な方向に交互に配置され、前記第１撮像画素列の一部を置換して複数の焦点検出画素が配置された撮像素子と、前記複数の焦点検出画素のうち前記第１撮像画素列の前記第１撮像画素を置換した焦点検出画素の位置における画像信号を、前記第１撮像画素を置換した焦点検出画素から、前記垂直な方向に一つの画素を挟んで配置された前記第１撮像画素の画素信号に基づき補間する補間部と、光学系を通過した光束を、前記一方向には分離せずに前記垂直な方向に第１及び第２の光束に分離して、前記第１の光束を前記第１撮像画素を置換した焦点検出画素に入射させ、前記第２の光束を前記垂直な方向に一つの画素を挟んで配置された前記第１撮像画素に入射させる光学フィルタと、を備える。

本発明の撮像装置によれば、撮像画素の一部に置き換えて位相差検出用の焦点検出画素を撮像素子に配置した場合に、従来よりも画像品質の劣化を防止することができる。

一実施の形態のデジタルスチルカメラの構成を示す横断面図である。 撮影画面上における焦点検出位置を示す図である。 撮像素子の詳細な構成を示す正面図である。 光学ローパスフィルタの断面図である。 撮像画素の断面図である。 焦点検出画素の断面図である。 デジタルスチルカメラの動作を示すフローチャートである。 撮像画素に置き換えて焦点検出画素が配置された一例を示す図である。 撮像素子の詳細な構成を示す正面図である。 撮像素子の詳細な構成を示す正面図である。 撮像素子の詳細な構成を示す正面図である。 正方格子の４つの対称軸の方向を示す図である。 三方格子の６つの対称軸格子方向を示す図である。 デジタルスチルカメラの動作を示すフローチャートである。

本発明の一実施の形態の撮像装置として、レンズ交換式のデジタルスチルカメラを例に挙げて説明する。図１は一実施の形態のデジタルスチルカメラ２０１の構成を示す横断面図である。本実施の形態のデジタルスチルカメラ２０１は、交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。

交換レンズ２０２は、レンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、および絞り２１１を含む光学系、ならびにレンズ駆動制御装置２０６などを有する。レンズ駆動制御装置２０６は、不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成される。レンズ駆動制御装置２０６は、フォーカシング用レンズ２１０および絞り２１１の駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う。また、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信およびカメラ情報（デフォーカス量や絞り値等）の受信を行う。

カメラボディ２０３は、撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを有している。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が配置されている。また、撮像素子２１２の交換レンズ２０２側の極近傍、すなわち撮像素子２１２の撮像画素および焦点検出画素が配置された面の直前には後述する光学ローパスフィルタ２１８が配置されている。

ボディ駆動制御装置２１４は、マイクロコンピューター、メモリ、駆動制御回路などから構成される。ボディ駆動制御装置２１４は、撮像素子２１２の駆動制御と、撮像信号および焦点検出信号の読み出しと、画像信号の処理および記録と、焦点検出信号に基づく焦点検出演算および交換レンズ２０２の焦点調節と、デジタルスチルカメラ２０１の動作制御とを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６との通信を行い、レンズ情報の受信およびカメラ情報の送信を行う。

液晶表示素子２１６は液晶ビューファインダー（ＥＶＦ：電気的ビューファインダー）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２から読み出された画像信号に基づきスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像信号に基づいて生成される画像データを記憶する画像ストレージである。

交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、撮像信号および焦点検出信号がボディ駆動制御装置２１４へ送られる。

ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２から入力される撮像信号および焦点検出信号を処理する。その際、ボディ駆動制御装置２１４は、焦点検出画素の位置における撮像用の画素データ、すなわち、この焦点検出画素の位置に本来あるべき撮像画素を配置した場合にその撮像画素から撮像信号として出力されるはずの画素データを、この焦点検出画素の周囲の撮像画素の画素データを用いて補間する。ボディ駆動制御装置２１４は、撮像信号を出力する撮像画素の画素データと焦点検出画素位置における補間により得られる画素データとにより構成される画像データをメモリカード２１９に格納する。さらに、ボディ駆動制御装置２１４は、撮像素子２１２から入力されたスルー画像の画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらにまた、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送ってレンズ駆動制御装置２０６に絞り２１１の開口制御を行わせる。

レンズ駆動制御装置２０６は、レンズ情報を、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じて変更する。具体的には、ズーミング用レンズ２０８およびフォーカシング用レンズ２１０の位置と絞り２１１の絞り値とを検出し、これらのレンズ位置と絞り値とに応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値とに応じたレンズ情報を選択する。

レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦点へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。

カメラボディ２０３にはマウント部２０４を介して種々の結像光学系を有する交換レンズ２０２が装着可能であり、カメラボディ２０３は撮像素子２１２に部分的に配置された焦点検出画素の出力に基づいて交換レンズ２０２の焦点調節状態を検出する。

図２は、撮影画面上の焦点検出位置、すなわち後述する焦点検出画素列により焦点検出を行う際に画面上で像をサンプリングする焦点検出エリアを示す。矩形の撮影画面１００の中央および上下の３箇所に焦点検出エリア１０１〜１０３が配置される。長方形で示した各焦点検出エリア１０１〜１０３の長手方向に焦点検出画素が直線的に配列される。

図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。焦点検出エリア１０２および１０３のいずれの近傍を拡大しても、焦点検出エリア１０１と同様に図３のように示される。撮像素子２１２は、撮像画素３１０と焦点検出画素３１３および３１４とから構成される。撮像画素３１０は、水平方向および垂直方向に、すなわち２次元状に正方格子配列されており、焦点検出画素３１３および３１４は水平方向に配列されている。

図３に示すように、撮像画素３１０はマイクロレンズ１０、光電変換部１１、およびマイクロレンズ１０と光電変換部１１との間に配置される色フィルタ（不図示）から構成される。色フィルタは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの色に対応する分光感度を有している。各色フィルタを備えた撮像画素３１０がベイヤー配列されている。

図３に示すように、焦点検出画素３１３はマイクロレンズ１０と光電変換部１６とから構成される。光電変換部１６の形状はマイクロレンズ１０の垂直２等分線に接する左半円状である。また、図３に示すように、焦点検出画素３１４はマイクロレンズ１０と光電変換部１７とから構成される。光電変換部１７の形状はマイクロレンズ１０の垂直２等分線に接する右半円である。光電変換部１６および１７は、マイクロレンズ１０を重ね合わせて表示した場合に左右水平方向に並んでおり、マイクロレンズ１０の垂直２等分線に関して対称な形状をしている。焦点検出画素３１３および焦点検出画素３１４が水平方向、すなわち光電変換部１６および１７の並び方向に交互に配置される。

焦点検出画素３１３および３１４には光量をかせぐために色フィルタが設置されていないそのため、焦点検出画素３１３および３１４は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルタ（不図示）の分光感度特性とを総合した分光感度特性を示す。つまり、焦点検出画素３１３および３１４は、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性を示す。高い感度を示す光波長領域は、緑画素、赤画素および青画素の各々において各色フィルタが高い感度を示す光波長領域を包括している。焦点検出画素３１３および３１４は、撮像画素３１０のＢおよびＧが配置されるべき行に配置される。

図４は図１に示した光学ローパスフィルタ２１８の断面図である。光学ローパスフィルタ２１８は水晶複屈折板により構成される。光学系を通過して到来する光学ローパスフィルタ２１８への入射光線２２０は、水晶の複屈折性により、水晶中において常光線２２１（紙面に垂直に振動する光線）と異常光線２２２（紙面に平行に振動する光線）とに分離して進み、水晶を出射する際には分離幅Ｌの２本の光線２２３および２２４となる。このようなボケ作用（ローパスフィルタリング作用）により像の空間周波数成分のうち高周波成分が低減される。なお分離幅Ｌは水晶の厚さを変更することにより調整できる。また２本の光線２２３および２２４の分離方向は、図３において焦点検出画素３１３および３１４の配列方向（複数の焦点検出画素の延在方向）に対して垂直な方向Ｄに設定される。また、分離幅Ｌは画素ピッチの１〜３倍程度に設定される。これにより、焦点検出画素３１３および３１４の画素位置における撮像画素相当の撮像出力信号を補間で求める際に、焦点検出画素３１３および３１４から離れた撮像画素の画素出力信号（撮像信号）を用いても、以下に述べるように画像品質の劣化を防ぐことが可能になる。

例えば、図３において、焦点検出画素３１３および３１４が水平方向に配列された行（複数の焦点検出画素が直線状に延在する行）に画素サイズと略同じ太さの細線像が重畳して形成されていた場合を考える。青の撮像画素が配置されるべき位置に配置された焦点検出画素３１３の画素位置における青の撮像画素相当の撮像出力信号として、該焦点検出画素３１３の二つ上の青の撮像画素３１０Ａの画素出力信号と二つ下の青の撮像画素３１０Ｂの画素出力信号との平均が補間される。光学ローパスフィルタ２１８が無い場合、焦点検出画素３１３および３１４が水平方向に配列された行の上下に一行挟んで水平方向に撮像画素が配列された二つの行（青の撮像画素３１０Ａおよび緑の撮像画素が配列された行、ならびに青の撮像画素３１０Ｂおよび緑の撮像画素が配列された行）には上記細線像は形成されていない。そのため、焦点検出画素３１３の画素位置に補間された撮像出力には細線像を反映した成分が含まれない。光学ローパスフィルタ２１８がある場合は、焦点検出画素３１３が図４における光線２２３を受光するとともに、撮像画素３１０Ａが図４における光線２２４を受光する。このように、焦点検出画素３１３および３１４が水平方向に配列された行の上下に一行挟んで水平方向に撮像画素が配列された二つの行のうちの一方にも上記細線像が形成される。そのため、焦点検出画素３１３の画素位置に補間された撮像出力には細線像を反映した成分が含まれる。

なお図３において撮像画素３１０、ならびに焦点検出画素３１３および３１４の水平および垂直方向の画素の配置ピッチＰは略２〜６μｍに設定されている。

画素の配置ピッチＰで画像をサンプリングした場合に生じるモアレや偽色を低減するために、すなわち、画素の配置ピッチＰに応じて定まるナイキスト周波数（１／２Ｐ）以上の高い空間周波数成分を低減するために、専用の光学ローパスフィルタが使用されるのが一般的である。

光学系の光学収差および絞り開口による回折により、最もピントが合った合焦状態でも点像のボケ（広がり）が発生する。このような点像のボケもローパスフィルタリング作用を持つ。絞り開口径が大きい（Ｆ値が小さい）場合は光学収差の影響による点像の広がりが顕著になり、絞り開口径が小さい（Ｆ値が大きい）場合は回折の影響による点像の広がりが顕著になり、絞り開口のＦ値が略Ｆ５．６のとき、両者の影響が等しくなり、最も点像の広がりが小さくなると言われている。絞り開口のＦ値が略Ｆ５．６では点像の直径は６μｍを越えることとなり、このとき画素の配置ピッチＰが上記のように略２〜６μｍであれば、該画素の配置ピッチで決まるナイキスト周波数以上の高周波成分を抑制するローパスフィルタリング作用が顕著になる。その場合、上記点像のボケをローパスフィルタリング作用として利用することにより、上記のような専用の光学ローパスフィルタの使用を廃止することができる。

本発明においては、光学系を通過した通過光から画素の配置ピッチＰに応じたナイキスト周波数以上の高周波成分を低減する目的で、焦点検出画素３１３および３１４の配列方向（延在方向）にローパスフィルタリング作用を持つ専用の光学ローパスフィルタを設定する必要はない。焦点検出画素３１３および３１４の画素位置における撮像画素相当の撮像出力信号を補間で求める際には、焦点検出画素３１３および３１４の配列方向（延在方向）に垂直な方向に隣接する行（図３に示す例では赤の撮像画素および緑の撮像画素が配置される行）のさらに隣りの行（図３に示す例では、青の撮像画素３１０Ａおよび緑の撮像画素が配列された行、ならびに青の撮像画素３１０Ｂおよび緑の撮像画素が配列された行）の撮像画素の画素出力信号を用いる必要がある。そのため、焦点検出画素３１３および３１４の配列方向に垂直な方向においては上記光学系の光学収差および回折によるローパスフィルタリング効果のみでは不十分であり、焦点検出画素３１３および３１４の配列方向に垂直な方向に十分なローパスフィルタリング作用を持つ専用の光学ローパスフィルタ２１８を設定する必要が生じる。ただし、画素の配置ピッチＰが上記２μｍより小さい場合には、点像のボケが３画素以上に広がるので、点像ボケのみにより上記焦点検出画素位置における補間処理に十分なローパスフィルタリング効果が得られることとなり、この場合においては光学ローパスフィルタ２１８を設定する必要が無い。

そこで、画素の配置ピッチＰに対応するナイキスト周波数１／２Ｐにおける光学ローパスフィルタ２０８の伝達関数の値が、合焦時における最小の点像ボケによるローパスフィルタリング効果の伝達関数のナイキスト周波数での値より小さくなるように、光学ローパスフィルタ２１８の光線分離幅Ｌは画素の配置ピッチＰの略１〜３倍に設定される。光学ローパスフィルタ２１８の光線分離幅Ｌが小さすぎると、所望のローパスフィルタリング効果が得られない。逆に光学ローパスフィルタ２１８の光線分離幅Ｌが大きすぎると、得られる画像において垂直方向のローパスフィルタリング効果が大きくなり過ぎて、画像品質が低下してしまう。この場合、ローパスフィルタリング効果を有しない水平方向とローパスフィルタリング効果の大き過ぎる垂直方向とで高周波成分の差が大きくなってバランスが良くないという点においても、画像品質が低下していると言える。上記焦点検出画素位置における撮像出力の補間処理の詳細については後述する。

図３において、焦点検出画素３１３および３１４が、撮像画素３１０のＢおよびＧ（青の撮像画素および緑の撮像画素）が配置されるべき行に配置されている。これは、後述する焦点検出画素３１３および３１４の画素位置における撮像出力の補間処理において補間誤差が生じた場合に、人間の視覚特性上、赤の撮像画素相当の撮像出力における補間誤差に比較して青の撮像画素相当の撮像出力における補間誤差の方がが目立たないためである。

図５は撮像画素３１０の断面図である。撮像画素３１０において、撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。不図示の色フィルタはマイクロレンズ１０と光電変換部１１との間に配置される。

図 ６（ａ）は焦点検出画素３１３の断面図である。焦点検出画素３１３において、光電変換部１６の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１６が前方に一対の測距瞳の一方（不図示）として投影される。光電変換部１６は半導体回路基板２９上に形成されており、その上にマイクロレンズ１０が半導体イメージセンサの製造工程により一体的かつ固定的に形成される。光電変換部１６は、マイクロレンズ１０の光軸の片側、すなわち図６（ａ）では上側に配置される。

図６（ｂ）は焦点検出画素３１４の断面図である。焦点検出画素３１４において、光電変換部１７の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１７が前方に一対の測距瞳の他方（不図示）として投影される。光電変換部１７は半導体回路基板２９上に形成されており、その上にマイクロレンズ１０が半導体イメージセンサの製造工程により一体的かつ固定的に形成される。光電変換部１７は、マイクロレンズ１０の光軸の片側でかつ光電変換部１６の反対側、すなわち図６（ｂ）では下側に配置される。

光電変換部１６および１７は、それぞれに対応した測距瞳を通過してマイクロレンズに到来する光束を受光する。焦点検出画素の配列方向（延在方向）は、一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。

光電変換部１６は、一対の測距瞳の一方を通過してマイクロレンズ１０に向かう光束７３によりマイクロレンズ１０上に形成される像の強度に対応した信号を、マイクロレンズ１０を通過した光束７３を受光することにより出力する。光電変換部１７は、一対の測距瞳の他方を通過してマイクロレンズ１０に向かう光束７４によりマイクロレンズ１０上に形成される像の強度に対応した信号を、マイクロレンズ１０を通過した光束７４を受光することにより出力する。

上記のような２種類の焦点検出画素を直線方向に多数配置し、各焦点検出画素の光電変換部による画素出力を一対の測距瞳に対応した一対の出力グループにまとめることによって、一対の測距瞳のそれぞれを通過する焦点検出用光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことにより、いわゆる瞳分割型位相差検出方式による一対の像の像ズレ量が検出される。さらに、像ズレ量に対して一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面、すなわち予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面の偏差（デフォーカス量）が算出される。

図７は、本実施の形態のデジタルスチルカメラ２０１の動作を示すフローチャートである。図７に示す各処理ステップは、ボディ駆動制御装置２１４によって実行される。ボディ駆動制御装置２１４により、ステップＳ１００でデジタルスチルカメラ２０１の電源がＯＮされるとステップＳ１１０以降の動作が開始される。ステップＳ１１０において、ボディ駆動制御装置２１４は撮像素子２１２から撮像画素のデータ（画素出力）を間引き読み出しする。ボディ駆動制御装置２１４は、読み出した画素出力に応じた画像データを生成し、その画像データに基づく表示画像を液晶表示素子２１６に表示させる。続くステップＳ１２０では、ボディ駆動制御装置２１４は焦点検出画素列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは撮影者が焦点検出エリア選択スイッチ（不図示）を操作することにより選択されているものとする。

ステップＳ１３０では、ボディ駆動制御装置２１４は、読み出した焦点検出画素の画素出力に基づく一対の像データに基づいて像ズレ検出演算処理（相関演算処理）を行って像ズレ量を演算し、その像ズレ量をデフォーカス量に変換する。ステップＳ１４０において、ボディ駆動制御装置２１４は、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを判別する。合焦近傍でないと判別された場合、処理はステップＳ１５０へ進む。ステップＳ１５０において、ボディ駆動制御装置２１４は、デフォーカス量をレンズ駆動制御装置２０６へ送信し、レンズ駆動制御装置２０６に図１に示す交換レンズ２０２のフォーカシング用レンズ２１０を合焦位置に駆動させる。その後、処理はステップＳ１１０へ戻って上述した動作が繰り返される。

なお、焦点検出不能な場合も処理はこのステップＳ１５０へ分岐し、ボディ駆動制御装置２１４はレンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシング用レンズ２１０を無限遠位置から至近位置までスキャン駆動させる。その後、処理はステップＳ１１０へ戻って上述した動作が繰り返される。

ステップＳ１４０で合焦近傍であると判別された場合、処理はステップＳ１６０へ進み、ボディ駆動制御装置２１４は、撮影者によるシャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判別された場合、処理はステップＳ１１０へ戻って上述した動作が繰り返される。シャッターレリーズがなされたと判別された場合、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り調整命令を送信し、レンズ駆動制御装置２０６に交換レンズ２０２の絞り値を制御Ｆ値（ユーザーにより設定されたＦ値または自動設定されたＦ値）に設定させる。絞り制御が終了した時点で、ボディ駆動制御装置２１４は、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素および焦点検出画素から画素データ（画素出力）を読み出す。

ステップＳ１８０において、ボディ駆動制御装置２１４は、焦点検出画素列の各焦点検出画素の画素位置における画像データ用の画素データ（撮像出力）を、焦点検出画素の周囲の撮像画素のうちの一部の撮像画素の画素データ（画素出力）に基づいて画素補間することによって求める。この画素補間については詳細を後述する。続くステップＳ１９０で、ボディ駆動制御装置２１４は、撮像画素の画素データ（画素出力）および補間された画素データ（撮像出力）からなる画像データをメモリカード２１９に保存する。その後、処理はステップＳ１１０へ戻って上述した動作が繰り返される。

図７のステップＳ１３０における像ズレ検出演算処理（相関演算処理）の詳細は、例えば特開２０１０−１２９７８３号公報に開示されており、その像ズレ検出演算処理により算出された像ズレ量に変換係数を乗じてデフォーカス量が算出される。

図７のステップＳ１８０における画素補間処理の詳細について説明する。図８は、２次元状にベイヤー配列された撮像画素の中の水平方向に延びる１行（図中の斜線を付して示す行８１０）に、撮像画素に置き換えて焦点検出画素が配置された一例を示している。図８は、左上隅０列０行の画素位置に配置された赤の撮像画素の画素データＲ００を基準とした場合の各画素位置における画像データ用の画素データを、ｉ列ｊ行の画素位置における緑の撮像画素の画素データＧｉｊ、ｉ列ｊ行の画素位置における青の撮像画素の画素データＢｉｊ、およびｉ列ｊ行の画素位置における赤の撮像画素の画素データＲｉｊで示す。図７のステップＳ１８０における画素補間処理では、斜線を付して示す行８１０における画像データ用の画素データＧ０３、Ｂ１３、Ｇ２３、Ｂ３３、Ｇ４３、およびＢ５３が、周囲の撮像画素のうちの一部の撮像画素の画素データ（画素出力）に基づきく補間により求められる。

緑の撮像画素が配置されるべき位置に配置された焦点検出画素の画素位置における画像データ用の画素データ（撮像出力）は、該焦点検出画素に隣接して該焦点検出画素の対角方向の４カ所に配置された緑の撮像画素の画素データを平均するという補間処理を行うことにより補間画素データ（撮像出力）が算出される。例えば、図８に示す焦点検出画素の画素位置における補間画素データ（撮像出力）Ｇ２３は、次式（１）により求められる。
Ｇ２３＝（Ｇ１２＋Ｇ３２＋Ｇ１４＋Ｇ３４）／４ ・・・（１）

青の撮像画素が配置されるべき位置に配置された焦点検出画素の画素位置における画像データ用の画素データ（撮像出力）は、該焦点検出画素から垂直方向に１画素挟んで２カ所に配置された青の撮像画素の画素データを平均するという補間処理を行うことにより補間画素データ（撮像出力）が算出される。例えば、図８に示す焦点検出画素の画素位置における補間画素データ（撮像出力）Ｂ３３は、次式（２）により求められる。
Ｂ３３＝（Ｂ３１＋Ｂ３５）／２ ・・・（２）

上記（２）式においては、焦点検出画素から垂直方向に１画素挟んで２カ所に配置された２つの青の撮像画素の画素データを用いている。光学ローパスフィルタ２１８により、その焦点検出画素上に形成される像の情報が２つの青の撮像画素の一方にも反映されているため、その像の情報が反映された青の撮像画素を補間処理に用いることにより、補間処理の精度を向上させることができる。

−−−変形例−−−
（１）撮像素子における焦点検出エリアの配置は図２に示す配置に限定されない。例えば図２の焦点検出エリア１０２、１０３を焦点検出エリア１０１の左右に配置してもよい。また焦点検出エリアにおける焦点検出画素の配列方向（延在方向）は図３に示す焦点検出エリア１０１〜１０３のような水平方向に限定されない。

図９は焦点検出画素を垂直方向に配列した場合の撮像素子２１２の詳細な構成を示す正面図である。撮像素子２１２は、撮像画素３１０と焦点検出画素３１５および３１６とから構成される。焦点検出画素３１５および３１６は図３における焦点検出画素３１３および３１４を９０度回転した構造となっており、撮像面において垂直方向に配列されている。焦点検出画素３１５および３１６は、撮像画素３１０のうちの青の撮像画素Ｂと緑の撮像画素Ｇとが配置されるべき列に配置されている。このように配列した焦点検出画素に対応する焦点検出エリアが撮影画面上に複数配置される。この場合において、光学ローパスフィルタ２１８による光線分離方向は、焦点検出画素３１５および３１６の配列方向（延在方向）に垂直な方向Ｅ（すなわち図９における水平方向）に設定される。

また同様に焦点検出画素を対角方向に配列してもよい。例えば右上がり斜め４５度方向に焦点検出画素が配列された場合、光学ローパスフィルタ２１８による光線分離方向は焦点検出画素の配列方向（延在方向）に垂直な左上がり斜め４５度方向に設定される。

焦点検出エリアの数に制限はないが、全ての焦点検出エリアにおける焦点検出画素の配列方向は同一方向である必要がある。

（２）図３および図９に示す撮像素子２１２では、焦点検出画素３１３および３１４、または焦点検出画素３１５および３１６が互いに隣接して隙間なく交互に配列されることにより直線方向に延在した例を示したが、焦点検出画素の配列はそれらに限定されない。

例えば、図１０に示すように、焦点検出画素３１３および３１４が、水平方向において１画素おきに、青の撮像画素が配置されるはずの位置に交互に配列されるようにしてもよい。このようにすれば焦点検出画素３１３および３１４の間に緑の撮像画素が配置されるので、それらの緑の撮像画素の画素出力が上述した画素補間処理に用いられることにより、さらに画質の向上が期待できる。

（３）図３、９および１０に示す撮像素子２１２では、焦点検出画素３１３および３１４、または焦点検出画素３１５および３１６が、それぞれひとつの画素内にひとつの光電変換部を含む例を示したが、焦点検出画素の構成はそれらに限定されない。図１１に示す撮像素子２１２のように、ひとつの画素内に一対の光電変換部を含む焦点検出画素を用いてもよい。図１１において、焦点検出画素３１１は一対の光電変換部１２および１３を含む。この焦点検出画素３１１が、図３に示す撮像素子２１２の焦点検出画素３１３および焦点検出画素３１４のペアに相当した機能を果たす。

図１１に示すように、焦点検出画素３１１は、マイクロレンズ１０と、一対の光電変換部１２および１３とを含む。光量をかせぐため、焦点検出画素３１１には色フィルタは配置されていない。したがって、焦点検出画素３１１の分光感度特性は、光電変換を行うフォトダイオードの分光感度特性と、赤外カットフィルタ（不図示）の分光感度特性とを総合した分光感度特性となる。すなわち、焦点検出画素３１１は、緑画素、赤画素および青画素の分光感度特性を加算したような分光感度特性を示す。高い感度を示す光波長領域は、緑画素、赤画素および青画素の各々において各色フィルタが高い感度を示す光波長領域を包括している。

（４）光学ローパスフィルタ２１８は、例えば図１に示すように、図３、９、１０および１１に示す撮像素子２１２の複数の撮像画素および焦点検出画素が配置された面の全面を覆うように設定される。あるいは、図３、９、１０および１１において矩形２０００に示す位置に光学ローパスフィルタ２１８を配置することにより、光学ローパスフィルタ２１８が焦点検出画素列のみを覆うように設定されてもよい。

（５）図３、９、１０および１１に示す撮像素子２１２として、撮像画素はベイヤー配列の色フィルタを有する例を示した。しかし、色フィルタの構成や配列はこれに限定されることは無い。例えば、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列を採用してもよい。さらに色フィルタを有しないモノクロの撮像素子にも本発明を適用することができる。

（６）図３、９、１０および１１に示す撮像素子２１２において、焦点検出画素は色フィルタを有しなかったが、撮像画素と同色の色フィルタのうち、ひとつの色フィルタ（例えば緑フィルタ）を有するようにした場合でも、本発明を適用することができる。

（７）図３、９、１０および１１において、焦点検出画素の光電変換部の形状を半円形とした例を示したが、光電変換部の形状は半円形に限定されず、他の形状としてもよい。例えば、焦点検出画素の光電変換部の形状を楕円や矩形や多角形にすることも可能である。

（８）図３、９、１０および１１に示す撮像素子２１２においては、撮像画素と焦点検出画素とが、稠密正方格子配列にしたがって、正方格子の格子点上に配置された例を示した。この場合、焦点検出画素は、図１２に示すように、正方格子の４つの対称軸の方向、すなわち水平方向１２１０、垂直方向１２２０、右上がり対角方向１２３０、および左上がり対角方向１２４０のうちのいずれか１つの直線方向に配列されることにより延在する。

さらに、撮像画素および焦点検出画素の配置規則が正方格子配列に限定されることなく、撮像画素と焦点検出画素とが、稠密六方格子配列にしたがって、正三角形で平面を充填した三方格子の格子点上に配置されることとしてもよい。その場合、焦点検出画素は、図１３に示すように、三方格子の６つの対称軸格子方向１３１０、１３２０、１３３０、１３４０、１３５０および１３６０のうちのいずれか１つの直線方向に配列されることにより延在する。焦点検出画素がいずれの直線方向に配列された場合においても、光学ローパスフィルタ２１８による光線分離方向は、焦点検出画素の配列方向（延在方向）に垂直な方向に設定する。

（９）上述した実施の形態および変形例による撮像装置は、焦点検出画素が延在する方向に平行な方向にはローパスフィルタリング効果を有さず、かつ焦点検出画素が延在する方向に垂直な方向にはローパスフィルタリング効果を有するため、両方向における高周波成分の差がある。そこで、ボディ駆動制御装置２１４は、図７におけるステップＳ１８０で生成された画像データを、コンピュータプログラムを実行して補正することにより、両方向における高周波成分の差が小さくなるようにソフトウェア処理することとしてもよい。その場合、図１４に示すように、ステップＳ１８５において、ステップＳ１８０で生成された画像データを補正し、ステップＳ１９０において、補正後の画像データをメモリカード２１９に格納する。

（１０）上述した実施の形態および変形例は、互いに組合せてもよい。

（１１）撮像装置としては、上述したような、カメラボディ２０３に交換レンズ２０２が装着される構成のデジタルスチルカメラ２０１に限定されない。例えば、レンズ一体型のデジタルスチルカメラあるいはデジタルビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、車載カメラや監視カメラやロボット用視覚認識装置などにも適用できる。カメラ以外の焦点検出装置や測距装置、さらにはステレオ測距装置にも適用できる。

１０ マイクロレンズ、１１、１２、１３、１６、１７ 光電変換部、
２９ 半導体回路基板、７３、７４ 光束、
１００ 撮影画面、１０１、１０２、１０３ 焦点検出エリア、
２０１ デジタルスチルカメラ、２０２ 交換レンズ、２０３ カメラボディ、
２０４ マウント部、２０６ レンズ駆動制御装置、
２０８ ズーミング用レンズ、２０９ レンズ、２１０ フォーカシング用レンズ、
２１１ 絞り、２１２ 撮像素子、２１３ 電気接点、
２１４ ボディ駆動制御装置、２１５ 液晶表示素子駆動回路、２１６ 液晶表示素子、
２１７ 接眼レンズ、２１８ 光学ローパスフィルタ、２１９ メモリカード、
２２０ 入射光線、２２１ 常光線、２２２ 異常光線、２２３、２２４ 光線、
３１０ 撮像画素、３１１、３１３、３１４、３１５、３１６ 焦点検出画素、
８１０ 斜線を付して示す行、
１２１０ 水平方向、１２２０ 垂直方向、
１２３０ 右上がり対角方向、１２４０ 左上がり対角方向、
１３１０、１３２０、１３３０、１３４０、１３５０、１３６０ 対称軸格子方向、
２０００ 矩形

Claims (8)

1. 光学系を通過した光束を受光する複数の撮像画素と、前記光束を受光し、一方向に配置された複数の焦点検出画素とを含む撮像素子と、
   前記光束を、前記一方向には分離せずに前記一方向に垂直な方向に第１及び第２の光束に分離して、前記第１の光束を前記焦点検出画素に入射させ、前記第２の光束を前記焦点検出画素から前記垂直な方向に一つの画素を挟んで配置された前記撮像画素に入射させる光学フィルタと、
   前記複数の焦点検出画素のうちの一部の焦点検出画素の画素位置における画像信号を、前記第２の光束が入射する前記撮像画素の画素信号に基づき補間する補間部と、を備える撮像装置。
2. 光学系を通過した光束を受光する複数の撮像画素と、前記光束を受光し、一方向に配置された複数の焦点検出画素とを含む撮像素子と、
   前記複数の焦点検出画素のうちの一部の焦点検出画素の画素位置における画像信号を、前記焦点検出画素から前記一方向に垂直な方向に一つの画素を挟んで配置された前記撮像画素の画素信号に基づき補間する補間部と、
   前記光束を、前記一方向には分離せずに前記垂直な方向に第１及び第２の光束に分離して、前記第１の光束を前記焦点検出画素に入射させ、前記第２の光束を前記焦点検出画素から前記垂直な方向に一つの画素を挟んで配置された前記撮像画素に入射させる光学フィルタと、を備える撮像装置。
3. 請求項２に記載の撮像装置において、
   前記補間部は、前記複数の焦点検出画素のうちの一部の焦点検出画素の画素位置における画像信号を、前記焦点検出画素から前記一方向に垂直な第１及び第２の方向にそれぞれ一つの画素を挟んで配置された前記撮像画素の画素信号に基づき補間し、
   前記光学フィルタは、前記光束を前記一方向に垂直な第１の方向に前記第１及び第２の光束に分離する撮像装置。
4. 第1分光感度特性の第1撮像画素及び第２分光感度特性の第２撮像画素が交互に一方向に配置された複数の第１撮像画素列と、前記第２撮像画素及び第３分光感度特性の第３撮像画素が交互に前記一方向に配置された複数の第２撮像画素列とが前記一方向に垂直な方向に交互に配置され、前記第１撮像画素列の一部を置換して複数の焦点検出画素が配置された撮像素子と、
   前記複数の焦点検出画素のうち前記第１撮像画素列の前記第１撮像画素を置換した焦点検出画素の位置における画像信号を、前記第１撮像画素を置換した焦点検出画素から、前記垂直な方向に一つの画素を挟んで配置された前記第１撮像画素の画素信号に基づき補間する補間部と、
   光学系を通過した光束を、前記一方向には分離せずに前記垂直な方向に第１及び第２の光束に分離して、前記第１の光束を前記第１撮像画素を置換した焦点検出画素に入射させ、前記第２の光束を前記垂直な方向に一つの画素を挟んで配置された前記第１撮像画素に入射させる光学フィルタと、を備える撮像装置。
5. 請求項４に記載の撮像装置において、
   前記補間部は、前記複数の焦点検出画素のうち前記第１撮像画素列の前記第２撮像画素を置換した焦点検出画素の位置における画像信号を、前記置換された第１撮像画素列と前記垂直な方向に隣り合う前記第２撮像画素列の前記第２撮像画素の画素信号に基づき補間する撮像装置。
6. 請求項４または５に記載の撮像装置において、
   前記補間部は、前記複数の焦点検出画素のうち前記第１撮像画素列の前記第１撮像画素を置換した焦点検出画素の位置における画像信号を、前記第１撮像画素を置換した焦点検出画素から前記一方向に垂直な第１及び第２の方向にそれぞれ一つの画素を挟んで配置された前記第１撮像画素の画素信号に基づき補間し、
   前記光学フィルタは、前記光束を前記一方向に垂直な第１の方向に第１及び第２の光束に分離する撮像装置。
7. 請求項４〜６のいずれか１項に記載の撮像装置において、
   前記第１、第２及び第３撮像画素の画素信号と前記補間部により補間された前記画像信号とに基づいて画像データを生成する画像データ生成部と
   前記画像データについて前記一方向における高周波成分と前記垂直な方向における高周波成分との差を小さくするようにソフトウエア処理を施す補正部と、を備える撮像装置。
8. 請求項１〜７のいずれか１項に記載の撮像装置において、
   前記撮像画素及び前記焦点検出画素の画素ピッチは、前記光学系により形成される最小の点像の大きさより小さい撮像装置。
   

Images