JP6536126B2 - 撮像素子および撮像装置 - Google Patents

Description

本発明は、撮像素子および撮像装置に関する。

マイクロレンズと第１および第２の光電変換部とを有する画素が２次元配列された撮像素子を備えたデジタルカメラが知られている（特許文献１）。このデジタルカメラは、第１および第２の光電変換部からの第１および第２の光電変換信号により位相差式の焦点検出を行うと共に、各画素の第１および第２の光電変換信号を加算して画像を生成する。位相差焦点検出は、異なった２方向に瞳分割された一対の像、例えば水平方向と垂直方向とに瞳分割された一対の像に基づく位相差焦点検出を可能にするために、撮像素子は、第１および第２の光電変換部が水平方向に並んだ第１の画素と、第１および第２の光電変換部が垂直方向に並んだ第２の画素とを有する。このような第１および第２の画素によって、縦縞パターンまたは横縞パターンをそれぞれ多く含む被写体パターンに対して、良好な位相差焦点検出を可能にしている。

特開２００７−６５３３０号公報

上述のデジタルカメラは、同一の被写体像を異なった方向に瞳分割することができないという問題がある。

（１）第１の態様によれば、撮像素子は、第１の方向に配置され、入射した光を光電変換して電荷を生成する第１の光電変換部および第２の光電変換部を有する第１画素と、前記第１の方向とは異なる第２の方向に配置され、前記第１画素を透過した光を受光して電荷を生成する第３の光電変換部および第４の光電変換部を有する第２画素と、を備える。
（２）第２の態様によれば、撮像装置は、光学系による像を撮像する第１の態様の撮像素子と、前記第１の光電変換部で生成された電荷に基づく第１信号と前記第２の光電変換部で生成された電荷に基づく第２信号、および前記第３の光電変換部で生成された電荷に基づく第３信号と前記第４の光電変換部で生成された電荷に基づく第４信号の少なくとも一方に基づいて、前記光学系の合焦位置を制御する制御部と、を備える。

第１の実施の形態によるデジタルカメラの構成を例示する図である。 第１および第２の撮像素子の概要を示す図である。 （ａ）は第１の撮像素子の一部である１０行×６列の画素の配置を示す図であり、（ｂ）は第２の撮像素子の一部である１０行×６列の画素の配置を示す図である。 第１および第２の撮像素子の一画素の構成を示す断面図である。 第１の撮像素子の各画素の第１および第２の光電変換部の光電変換信号の読み出し回路を単純化して示した図である。 第２の撮像素子の各画素の第１および第２の光電変換部の光電変換信号の読み出し回路を単純化して示した図である。 図１に示した焦点検出部の果たす機能を詳細に示したブロック図である。 第１の焦点検出動作を表すフローチャートである。 第１の実施の形態の変形例を示すブロック図である。 第１および第２の撮像素子の構成の変形例を示す断面図である。 第１および第２の撮像素子の構成の変形例を示す断面図である。 第１および第２の撮像素子の構成の変形例を示す断面図である。 第１および第２の撮像素子の構成の変形例を示す断面図である。 第１の実施の形態の変形例を示すブロック図である。 （ａ）は第１の撮像素子の画素の変形例を示す図であり、（ｂ）は第２の撮像素子の画素の変形例を示す図である。 （ａ）は第１および第２の撮像素子の画素の変形例を示す図であり、（ｂ）は第１および第２の撮像素子の画素の別の変形例を示す図である。 第２の実施の形態の基本的な考え方を説明する図であり、（ａ）は第１の撮像素子の画素を示す図であり、（ｂ）は第２の撮像素子の画素を示す図であり、（ｃ）は第１および第２の撮像素子の対応関係にある画素を重ね合わせた図である。 第２の実施の形態による第１および第２の撮像素子に関する対応関係の画素の第１および第２の光電変換信号の合成方法を示す図であり、（ａ）は第１の撮像素子の一部の画素を示す図であり、（ｂ）はＲＧＢ画像信号と第１の撮像素子の画素との関係を示す図であり、（ｃ）は第２の撮像素子の一部の画素を示す図であり、（ｄ）は第１および第２の撮像素子の対応関係にある画素を重ねて表示し、重ねられた画素と加算信号との関係を模式的に示した図である。 第３の実施の形態の原理を説明するための図であり、（ａ）は静止している被写体を撮像して得られた画像であり、（ｂ）は矢印方向に移動する被写体を第１の撮像素子によって撮像して得られた画像であり、（ｃ）は矢印方向に移動する被写体を第１の撮像素子によって撮像して得られた画像であり、（ｄ）は矢印方向に移動する被写体を第２の撮像素子によって撮像して得られた画像であり、（ｅ）は矢印方向に移動する被写体を第２の撮像素子によって撮像して得られた画像である。 第３の実施の形態のブロック図である。

（第１の実施の形態）
図１は、第１の実施の形態によるデジタルカメラ１の構成を例示する図である。デジタルカメラ１は、撮影光学系１０、撮像部１１、制御部１２、操作部１３、画像処理部１４、液晶やＥＬなどのディスプレー、すなわちモニタ１５、バッファメモリ１６を有する。また、デジタルカメラ１には、メモリカード１７が装着されている。メモリカード１７は、不揮発性のフラッシュメモリなどから構成され、デジタルカメラ１に対して着脱可能である。

撮影光学系１０は、複数のレンズにより構成され、撮像部１１の撮像面に被写体像を結像させる。撮影光学系１０を構成する複数のレンズには、焦点調節のために光軸方向に駆動されるフォーカスレンズが含まれる。フォーカスレンズは、不図示のレンズ駆動部により光軸方向に駆動される。

撮像部１１は、互いに積層された第１および第２の撮像素子２１，２２と、増幅回路２３と、ＡＤ変換回路２４とを有する。第１および第２の撮像素子２１，２２の各々は、２次元状に配列された複数の画素から構成され、入射光、すなわち、撮影光学系１０を介して被写体からの可視光の光束を受光し、光電変換を行って光電変換信号を出力する。第１および第２の撮像素子２１，２２の各画素は、後に詳述するように、撮影光学系１０の瞳の一対の領域を通過した一対の光束をそれぞれ受光する第１および第２の光電変換部を有し、各画素の第１および第２の光電変換部は、それぞれアナログの第１および第２の光電変換信号を出力する。これらの第１および第２の光電変換信号は、後述するように位相差式焦点検出用の信号として使用されると共に、画像用信号として使用される。
増幅回路２３は、第１および第２の光電変換信号を所定の増幅率（ゲイン）で増幅してＡＤ変換回路２４に出力する。ＡＤ変換回路２４は、第１および第２の光電変換信号をＡＤ変換する。

制御部１２は、マイクロプロセッサおよびその周辺回路から構成され、不図示のＲＯＭに格納された制御プログラムを実行することにより、デジタルカメラ１の各種の制御を行う。また、制御部１２は、焦点検出部１２ａと画像生成部１２ｂと焦点検出エリア設定部１２ｃを機能的に有する。これらの各機能部１２ａ、１２ｂ、１２ｃは、上記の制御プログラムによりソフトウェア的に実装される。なお、これらの各機能部を電子回路により構成することも可能である。

制御部１２は、ＡＤ変換回路２４によってＡＤ変換された第１および第２の光電変換信号をバッファメモリ１６に格納する。焦点検出部１２ａは、バッファメモリ１６に格納された第１の撮像素子２１の第１および第２の光電変換信号に基づき、およびバッファメモリ１６に格納された第２の撮像素子２２の第１および第２の光電変換信号に基づき、それぞれ撮影光学系１０の焦点調節状態を検出する。
画像生成部１２ｂは、バッファメモリ１６に格納された第１および第２の撮像素子２１，２２の各々の第１および第２の光電変換信号に基づき画像信号を生成する。すなわち、画像生成部１２ｂは、第１の撮像素子２１の各画素の第１および第２の光電変換信号を加算して第１の画像信号を生成すると共に、第２の撮像素子２２の各画素の第１および第２の光電変換信号を加算して第２の画像信号を生成する。

画像処理部１４は、ＡＳＩＣ等により構成されている。画像処理部１４は、画像生成部１２ｂからの第１および第２の画像信号に対して、補間処理、圧縮処理、ホワイトバランス処理などの各種の画像処理を行って第１および第２の画像データを生成する。これらの第１および第２の画像データは、モニタ１５に表示されたり、メモリカード１７に格納されたりする。

操作部１３は、レリーズ操作部材やモード切り替え操作部材や焦点検出エリア設定用の操作部材や電源操作部材などの各種の操作部材から構成され、撮影者により操作される。操作部１３は、撮影者による上記の各操作部材の操作に応じた操作信号を制御部１２へ出力する。
焦点検出エリア設定部１２ｃは、焦点検出エリア設定用の操作部材の操作に応じて、撮影画面内に所定の領域の焦点検出エリアを設定する。焦点検出エリア設定部１２ｃと焦点検出エリア設定用の操作部材とによる焦点検出エリアの設定方法は、以下に詳述するように種々の方法がある。例えば、撮影者が焦点検出エリア設定用の操作部材を操作すると、焦点検出エリア設定部１２ｃが焦点検出エリア設定用の操作部材の操作に応じた撮影画面の任意の位置に所定の領域の焦点検出エリアを設定する。または、撮影画面の複数個所に予め焦点検出エリアを用意しておき、撮影者が焦点検出エリア設定用の操作部材を操作してその複数の焦点検出エリアから一つの焦点検出エリアを選択すると、焦点検出エリア設定部１２ｃがその選択に応じて焦点検出エリアを設定する。更には、デジタルカメラ１が被写体人物の顔などを撮像画像から認識する被写体認識部を備える場合には、被写体認識部によって被写体人物の顔を認識すると、焦点検出エリア設定部１２ｃがその顔部分に焦点検出エリアを設定することもできる。この場合には、焦点検出エリア設定用の操作部材は、被写体認識部による被写体人物の顔の認識結果によって自動的に焦点検出エリアを設定するモードを選択するための操作部材となる。なお、焦点検出エリア設定部１２ｃが上述のように焦点検出対象領域として設定した焦点検出エリアを設定焦点検出エリアと称する。

（第１および第２の撮像素子２１，２２の説明）
図２は、本実施形態に係る第１および第２の撮像素子２１，２２の概要を示す図である。第１の撮像素子２１は、有機光電膜を光電変換部とする撮像素子であり、第２の撮像素子２２は、半導体基板に形成されたフォトダイオードを光電変換部とする撮像素子である。第１の撮像素子２１は、第２の撮像素子２２に積層され、第１および第２の撮像素子２１，２２は、図１に示した撮影光学系１０の光軸が第１および第２の撮像素子２１，２２の各々の撮像面の中心を通るように、撮影光学系１０の光路中に配置されている。なお、第１および第２の撮像素子２１，２２は、図２では、図の複雑化を避けるために４行×３列の画素２１０，２２０のみが示されているが、本第１の実施の形態では、共に、ｍ行×ｎ列の画素が配列され、第１の撮像素子２１の各画素と第２の撮像素子２２の各画素とは、共に同一サイズである。

第１の撮像素子２１の各画素２１０は、所定の色成分の光を吸収（光電変換）する有機光電膜を有する。第１の撮像素子２１で吸収（光電変換）されなかった色成分の光は、第１の撮像素子２１を透過して第２の撮像素子２２に入射し、第２の撮像素子２２で光電変換される。なお、第１の撮像素子２１で光電変換される色成分と、第２の撮像素子２２で光電変換される色成分とは、補色関係である。すなわち、後述するように、第１の撮像素子２１の画素２１０のうち、マゼンタの色成分を吸収し光電変換する画素の真後ろに位置する第２の撮像素子２２の画素２２０には、マゼンタと補色関係にある緑の色成分の光が入射する。第１の撮像素子２１の画素２１０のうち、イエローの色成分を吸収し光電変換する画素の真後ろに位置する第２の撮像素子２２の画素２２０には、イエローと補色関係にある青の色成分の光が入射する。第１の撮像素子２１の画素２１０のうち、シアンの色成分を吸収し光電変換する画素の真後ろに位置する第２の撮像素子２２の画素２２０には、シアンと補色関係にある赤の色成分の光が入射する。
このように、第１の撮像素子２１の各画素２１０は、当該画素２１０の真後ろに位置する第２の撮像素子２２の画素２２０と対応関係にあり、すなわち、第１の撮像素子２１の各画素２１０は、自身を通過した光束を受光する第２の撮像素子２２の画素２２０と対応関係にあり、このような対応関係にある第１および第２の撮像素子２１，２２の画素２１０，２２０は、互いに補色関係の色成分を吸収して光電変換する。このような互いに対応関係にある第１および第２の撮像素子２１，２２の画素２１０，２２０を対応関係の画素と称する。

図３は、第１の撮像素子２１の一部である１０行×６列の画素２１０の配置と、第２の撮像素子２２の一部である１０行×６列の画素２２０の配置と、をそれぞれ示す図である。図３（ａ）において、第１の撮像素子２１について、画素２１０に付された「Ｍｇ」は、その画素がマゼンタの色成分を吸収し光電変換する画素、すなわち、マゼンタの分光感度を有する画素を示し、同様に、画素２１０に付された「Ｙｅ」は、その画素がイエローの色成分を吸収し光電変換する画素、すなわち、イエローの分光感度を有する画素を示し、画素２１０に付された「Ｃｙ」は、その画素がシアンの色成分を吸収し光電変換する画素、すなわち、シアンの分光感度を有する画素を示す。第１の撮像素子２１は、奇数行の画素列では、「Ｍｇ」画素２１０と「Ｙｅ」画素２１０が交互に配列され、偶数行の画素列では、「Ｃｙ」画素２１０と「Ｍｇ」画素２１０とが交互に配列されている。
なお、「Ｍｇ」画素２１０は、一般には、マゼンタの色成分をそれぞれ１００％吸収することはできず、「Ｙｅ」画素２１０は、一般には、イエローの色成分をそれぞれ１００％吸収することはできず、「Ｃｙ」画素２１０は、一般には、シアンの色成分をそれぞれ１００％吸収することはできず、それらの色成分の一部が画素を通過してしまうものである。

図３（ｂ）において、第２の撮像素子２２について、画素２２０に付された「Ｇ」は、その画素が緑の色成分を吸収し光電変換する画素、すなわち、緑の分光感度を有する画素を示し、同様に、画素２２０に付された「Ｂ」は、その画素が青の色成分を吸収し光電変換する画素、すなわち、青の分光感度を有する画素を示し、画素２２０に付された「Ｒ」は、その画素が赤の色成分を吸収し光電変換する画素、すなわち、赤の分光感度を有する画素を示す。第２の撮像素子２２は、奇数行の画素列では、「Ｇ」画素２２０と「Ｂ」画素２２０が交互に配列され、偶数行の画素列では、「Ｒ」画素２２０と「Ｇ」画素２２０とが交互に配列されている。すなわち、第２の撮像素子２２は、画素がベイヤ配列されている。
図３（ａ）および（ｂ）において、第１の撮像素子２１の「Ｍｇ」画素２１０と第２の撮像素子２２の「Ｇ」画素２２０とは、対応関係にあり、第１の撮像素子２１の「Ｙｅ」画素２１０と第２の撮像素子２２の「Ｂ」画素２２０とは、対応関係にあり、第１の撮像素子２１の「Ｃｙ」画素２１０と第２の撮像素子２２の「Ｒ」画素２２０とは、対応関係にある。

このように、有機光電膜で構成される第１の撮像素子２１が第２の撮像素子２２に対してカラーフィルターの役割を果たし、第２の撮像素子２２から第１の撮像素子２１の補色画像（図３の例ではベイヤー配列の画像）が得られる。したがって、第１の撮像素子２１からはＣｙ，Ｍｇ，Ｙｅの３色からなるＣＭＹ画像を取得することができ、第２の撮像素子２２からはＲ，Ｇ，Ｂの３色からなるＲＧＢ画像を取得することができる。このように、第１の撮像素子２１が従来の撮像素子で必要であったカラーフィルターの代わりとなるため、カラーフィルターで吸収されてしまっていた入射光を第１の撮像素子２１により有効に利用することができる。なお、第１の撮像素子２１のＣＭＹ画像は、後に詳述するように公知の表色系変換処理によってＲＧＢ画像に変換されて、第１の画像信号になる。

次に、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部と、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部との位置関係を説明する。図３（ａ）において、第１の撮像素子２１の各画素２１０は、第１および第２の光電変換部２１０ａおよび２１０ｂを有する。これらの第１および第２の光電変換部２１０ａと２１０ｂは、列方向、すなわち図３（ａ）で上下方向に配列されている。また、図３（ｂ）において、第２の撮像素子２２の各画素２２０は、第１および第２の光電変換部２２０ａおよび２２０ｂを有する。これらの第１および第２の光電変換部２２０ａと２２０ｂは、行方向、すなわち図３（ｂ）で左右方向に配列されている。以上のように、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂと、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂとは、互いに直交するように配列されている。

また、第１の撮像素子２１は、後述するように、画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂからの第１および第２の光電変換信号が列単位で読み出される。すなわち、第１の撮像素子２１は例えば、左端の列に位置する１０個の画素２１０の第１および第２の光電変換信号が同時に読み出され、次いで、左端の右隣の列に位置する１０個の画素２１０の第１および第２の光電変換信号が同時に読み出され、以下同様に、順次右隣に位置する列の１０個の画素２１０の第１および第２の光電変換信号が読み出される。

他方、第２の撮像素子２２は、画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂからの第１および第２の光電変換信号が行単位で読み出される。すなわち、第２の撮像素子２２は例えば、上端の行に位置する６個の画素２２０の第１および第２の光電変換信号が同時に読み出され、次いで、その下の行に位置する６個の画素２２０の第１および第２の光電変換信号が同時に読み出され、以下同様に、順次各行の６個の画素２２０の第１および第２の光電変換信号が読み出される。
なお、第１の撮像素子２１の各画素２１０の回路例は、たとえば、国際公開第２０１３／１０５４８１号公報に開示されている。

図４は、第１および第２の撮像素子２１，２２の一画素２１０，２２０の構成を示す断面図である。図４に示すように、第２の撮像素子２２は、半導体基板５０に形成され、各画素２２０は、紙面に垂直方向に配列された第１および第２の光電変換部２２０ａ，２２０ｂを有する。第２の撮像素子２２の表面、すなわち、上面には平坦化層５５を介して第１の撮像素子２１が積層されている。この平坦化層５５内には、配線層５１が形成されている。なお、図４では、配線層５１は３層構造になっているが２層構造であってもよい。

第１の撮像素子２１の各画素２１０は、有機光電膜２３０と、有機光電膜２３０の上面に形成された透明な共通電極２３１と、有機光電膜２３０の下面に形成された透明な第１および第２の部分電極２３２ａ，２３２ｂとを有する。第１および第２の部分電極２３２ａ，２３２ｂは、上述のように、紙面で左右方向、すなわち、第２の撮像素子２２の第１および第２の光電変換部２２０ａ，２２０ｂの配列方向と直交する方向に配列されている。第１の撮像素子２１の各画素２１０は、有機光電膜２３０と共通電極２３１と第１の部分電極２３２ａとが第１の光電変換部２１０ａを構成し、有機光電膜２３０と共通電極２３１と第２の部分電極２３２ｂとが第２の光電変換部２１０ｂを構成する。
また、第１の撮像素子２１の各画素２１０の上方には、それぞれマイクロレンズ２３３が配置され、各マイクロレンズ２３３と第１の撮像素子２１の各画素２１０と第２の撮像素子２２の各画素２２０とはマイクロレンズ２３３の光軸方向に、整列配置されている。

また、マイクロレンズ２３３の焦点２３３Ｆは、第１の撮像素子２１と第２の撮像素子２２との中間に位置する。すなわち、マイクロレンズ２３３の焦点面（すなわち、焦点２３３Ｆを含むマイクロレンズ２３３の光軸に垂直な面）と第１の撮像素子２１の第１および第２の光電変換部との距離は、マイクロレンズ２３３の焦点面と第２の撮像素子２２の第１および第２の光電変換部との距離に等しく定められている。第１および第２の撮像素子２１，２２の間隔は比較的小さく、かつマイクロレンズ２３３の焦点２３３Ｆが上述のように第１の撮像素子２１と第２の撮像素子２２との中間に位置しているので、マイクロレンズ２３３に関して第１の撮像素子２１の第１および第２の光電変換部と共役な面（以下にこの共役な面を第１の測距瞳面と称する）は、マイクロレンズ２３３に関して第２の撮像素子２２の第１および第２の光電変換部と共役な面（以下にこの共役な面を第２の測距瞳面と称する）に対して、図１に示した撮影光学系１０の光軸方向に近傍に位置する。すなわち、第１および第２の測距瞳面は、互いに撮影光学系１０の光軸方向に近傍に位置する。

以上のようにマイクロレンズ２３３と第１および第２の撮像素子２１，２２とが配置されているので、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂは、第１の測距瞳面の第１および第２の瞳領域をそれぞれ通過した一対の光束をそれぞれ受光し、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂは、第２の測距瞳面の第３および第４の瞳領域をそれぞれ通過した一対の光束をそれぞれ受光する。なお、第１の測距瞳面の第１および第２の瞳領域の並び方向と第２の測距瞳面の第３および第４の瞳領域の並び方向とは、互いに直交している。

図１に示した焦点検出部１２ａは、後述のように第１の撮像素子２１の列方向に配列された複数の画素２１０の第１および第２の光電変換信号に基づき、第１および第２の瞳領域を通過した一対の光束によって形成される一対の像のズレ量、すなわち位相差を検出して、この像ズレ量に基づきデフォーカス量を算出する。また、焦点検出部１２ａは、第２の撮像素子２２の行方向に配列された複数の画素２２０の第１および第２の光電変換信号に基づき、第３および第４の瞳領域を通過した一対の光束によって形成される一対の像のズレ量、すなわち位相差を検出して、この像ズレ量に基づきデフォーカス量を算出する。

（撮像素子２１の回路構成）
図５は、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａおよび２１０ｂの光電変換信号の読み出し回路を単純化して示した図である。図５において、第１の撮像素子２１は、列走査回路１５１と第１および第２の水平出力回路１５２，１５３と有する。列走査回路１５１は、列方向、すなわち、図５では上下方向に配列された複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対する信号読み出し用のタイミング信号Ｒ（ｎ）を出力する。詳述すると、列走査回路１５１は、第１列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対するタイミング信号Ｒ（１）を出力する。

タイミング信号Ｒ（１）に応じて、第１列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号がそれぞれ第１および第２の水平出力回路１５２，１５３に同時に読み出される。本第１の実施の形態では、第１の光電変換部２１０ａの第１の光電変換信号が第１の水平出力回路１５２に読み出され、第２の光電変換部２１０ｂの第２の光電変換信号が第２の水平出力回路１５３に読み出される。第１の水平出力回路１５２は、読み出した第１列目画素の第１の光電変換部２１０ａの第１の光電変換信号を順次、出力部１５２Ａから出力し、同様に、第２の水平出力回路１５３は、読み出した第１列目画素の第２の光電変換部２１０ｂの第２の光電変換信号を順次、出力部１５３Ａから出力する。

次いで、列走査回路１５１は、第２列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対するタイミング信号Ｒ（２）を出力する。タイミング信号Ｒ（２）に応じて、第２列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号がそれぞれ第１および第２の水平出力回路１５２，１５３に同時に読み出される。第１および第２の水平出力回路１５２，１５３は、それぞれ読み出した第２列目画素の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号を順次、出力部１５２Ａ，１５３Ａから出力する。
以下同様に、列走査回路１５１は、第（ｎ）列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対するタイミング信号Ｒ（ｎ）を出力する。タイミング信号Ｒ（ｎ）に応じて第（ｎ）列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号がそれぞれ第１および第２の水平出力回路１５２，１５３に同時に読み出され、第１および第２の水平出力回路１５２，１５３の出力部１５２Ａ，１５３Ａから順次、出力される。

第１の水平出力回路１５２から出力された第１の光電変換信号と第２の水平出力回路１５３から出力された第２の光電変換信号は、図１に示されたバッファメモリ１６を介して焦点検出部１２ａおよび画像生成部１２ｂに送られ、焦点検出部１２ａは、同時に読み出された第ｎ列目の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号に基づき、位相差焦点検出演算を行う。また、画像生成部１２ｂは、各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの光電変換信号を加算して、画像信号を生成する。

図６は、第２の撮像素子２２の各画素の第１および第２の光電変換部２２０ａおよび２２０ｂの光電変換信号の読み出し回路を単純化して示した図である。図６において、第２の撮像素子２２は、行走査回路１６１と第１および第２の水平出力回路１６２，１６３とを有する。第２の撮像素子２２の第１および第２の光電変換部２２０ａ，２２０ｂの光電変換信号に関する信号読み出し回路１６１，１６２，１６３は、図５に示した第１の撮像素子２２の信号読み出し回路１５１，１５２，１５３に類似しているので、以下の説明では、相違している点を説明する。

行走査回路１６１は、行方向、図６では、左右方向に配列された複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂに対して信号読み出し用のタイミング信号Ｒ（ｍ）を出力する。すなわち、行走査回路１６１は、第１行目の複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂに対して信号読み出し用のタイミング信号Ｒ（１）を出力し、次いで、第２行目の複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂに対して信号読み出し用のタイミング信号Ｒ（２）を出力し、その後、順次、第（ｍ）行目の複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂに対して信号読み出し用のタイミング信号Ｒ（ｍ）を出力する。

タイミング信号Ｒ（ｍ）に応じて、第１の水平出力回路１６２は、第（ｍ）行目の複数の画素２２０の第１の光電変換部２２０ａの第１の光電変換信号を同時に読み出し、同様に、第２の水平出力回路１６３は、第（ｍ）行目の複数の画素２２０の第２の光電変換部２２０ｂの第２の光電変換信号を同時に読み出す。
第１の水平出力回路１６２は、読み出した第１の光電変換部２２０ａの第１の光電変換信号を出力部１６２Ａから出力し、第２の水平出力回路１６３は、読み出した第２の光電変換部２２０ｂの第２の光電変換信号を出力部１６３Ａから出力する。

第１の水平出力回路１６２から出力された第１の光電変換信号と第２の水平出力回路１６３から出力された第２の光電変換信号は、図１に示されたバッファメモリ１６を介して焦点検出部１２ａおよび画像生成部１２ｂに送られ、焦点検出部１２ａは、同時に読み出された第（ｍ）行目の第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号に基づき、位相差焦点検出演算を行う。また、画像生成部１２ｂは、各画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号を加算して、画像信号を生成する。

なお、図５に示した第１の撮像素子２１の信号読み出し回路例と、図６に示した第２の撮像素子２２の信号読み出し回路例とは共に、図４に示した第２の撮像素子２２の半導体基板５０上に形成され、配線層５１によって、それぞれ第１および第２の撮像素子２１，２２の各画素２１０、２２０に接続されている。

図７は、図１に示した焦点検出部１２ａの果たす機能を詳細に示したブロック図である。焦点検出部１２ａは、第１および第２の焦点検出信号取得部１２０，１２１と、第１および第２のコントラスト検出部１２２，１２３と、判定部１２４と、選択部１２５と、相関演算部１２６と、デフォーカス量算出部１２７とを有する。
焦点検出エリア設定部１２ｃは、焦点検出対象領域として設定した設定焦点検出エリアに関する位置情報を出力する。第１の焦点検出信号取得部１２０は、第１の撮像素子２１について、図５の第１および第２の水平出力回路１５２，１５３から出力される第１および第２の光電変換信号のうち、焦点検出エリア設定部１２ｃによって設定された設定焦点検出エリアに対応する位置に列方向に配列された複数の画素２１０からの第１および第２の光電変換信号を取得する。

同様に、第２の焦点検出信号取得部１２１は、第２の撮像素子２２について、図６に示された第１および第２の水平出力回路１６２，１６３から出力される第１および第２の光電変換信号のうち、焦点検出エリア設定部１２ｃによって設定された設定焦点検出エリアに対応する位置に行方向に配列された複数の画素２２０からの第１および第２の光電変換信号を取得する。

このようにして、第１の焦点検出信号取得部１２０は、第１の撮像素子２１について、設定焦点検出エリアに対応した列方向配列の複数の画素２１０から同時に読み出された第１および第２の光電変換信号を取得する。第１の焦点検出信号取得部１２０が取得した第１の撮像素子２１に関する第１および第２の光電変換信号を第１の焦点検出信号を称する。また、第２の焦点検出信号取得部１２１は、第２の撮像素子２２について、設定焦点検出エリアに対応した行方向配列の複数の画素２２０から同時に読み出された第１および第２の光電変換信号を取得する。第２の焦点検出信号取得部１２１が取得した第２の撮像素子２２に関する第１および第２の光電変換信号を第２の焦点検出信号を称する。

なお、第１および第２の焦点検出信号は、それぞれ、同一の分光感度の画素の第１および第２の光電変換信号から構成される。具体的には、第１の撮像素子２１に関する第１の焦点検出信号は、図３（ａ）において、列方向に一つ置き配列されたＭｇ画素２１０の第１および第２の光電変換信号が選択される。同様に、第２の撮像素子２２に関する第２の焦点検出信号は、図３（ｂ）において、行方向に一つ置き配列されたＧ画素２２０の第１および第２の光電変換信号が選択される。勿論、第１の焦点検出信号は、Ｍｇ画素の第１および第２の光電変換信号に限らず、Ｃｙ画素またはＹｅ画素の第１および第２の光電変換信号を使用することもできるし、第２の焦点検出信号は、Ｇ画素の第１および第２の光電変換信号に限らず、Ｒ画素またはＢ画素の第１および第２の光電変換信号を使用することもできる。

第１のコントラスト検出部１２２は、第１の焦点検出信号取得部１２０が取得した第１の焦点検出信号に基づいて、設定焦点検出エリアにおける被写体像の第１のコントラスト量を算出する。なお、このコントラスト量は、第１の焦点検出信号取得部１２０が取得した隣接画素に関する第１の光電変換信号または第２の光電変換信号（または第１および第２の光電変換信号の加算信号）の差分を積算して算出する。なお、この第１のコントラスト量は、設定焦点検出エリア内において第１の撮像素子２１の列方向配列の複数の画素２１０上に形成される被写体像のコントラスト量である。

第２のコントラスト検出部１２３は、第１のコントラスト検出部１２２と同様に、第２の焦点検出信号取得部１２１が取得した第２の焦点検出信号に基づいて、第１のコントラスト検出部１２２と同様に、設定焦点検出エリアにおける被写体像の第２のコントラスト量を算出する。この第２のコントラスト量は、設定エリア内において第２の撮像素子２２の行方向配列の複数の画素２２０上に形成される被写体像のコントラスト量である。

判定部１２４は、第１および第２のコントラスト量の少なくとも一方が第１の閾値以上であるか否かを判定する。この第１の閾値は、第１の閾値以上のコントラスト量の焦点検出信号が位相差焦点検出に有効に使用することができるように、定められる。従って、判定部１２４は、第１および第２のコントラスト量の両方が第１の閾値未満である場合には、設定焦点検出エリアにおける被写体像が非常にボケている、すなわち非常に大デフォーカス状態であると、判断して、撮影レンズ１０のフォーカスレンズをスキャン駆動させる。

判定部１２４は、第１および第２のコントラスト量の少なくとも一方が第１の閾値以上である場合に第１のコントラスト量と第２のコントラスト量との差が第２の閾値以上であるか否かを判定する。判定部１２４は、第１および第２のコントラスト量の差が第２の閾値以上である場合は、第１および第２のコントラスト量のうち、コントラスト量の大きい方の焦点検出信号は位相差焦点検出に適するが、コントラスト量の小さい方の焦点検出信号は位相差焦点検出に適さないと、判断する。判定部１２４は、第１および第２のコントラスト量の差が第２の閾値未満である場合は、この第１および第２の焦点検出信号が共に位相差焦点検出に適すると判断する。

選択部１２５は、判定部１２４の出力信号に基づき、第１および第２の焦点検出信号取得部１２０，１２１の第１および第２の焦点検出信号の一方、またはその両方を選択して、相関演算部１２６に送出する。詳述すると、選択部１２５は、第１および第２のコントラスト量の差が第２の閾値以上である場合には、第１のコントラスト量が第２のコントラスト量よりも大きいときに、第１の焦点検出信号取得部１２０の第１の焦点検出信号を選択して相関演算部１２６に出力し、第２のコントラスト量が第１のコントラスト量よりも大きいときに、第２の焦点検出信号取得部１２１の第２の焦点検出信号を選択して相関演算部１２６に出力する。また、選択部１２５は、第１および第２のコントラスト量の差が第２の閾値未満である場合は第１および第２の焦点検出信号取得部１２０，１２１の第１および第２の焦点検出信号の両方を選択して相関演算部１２６に出力する。

相関演算部１２６は、選択部１２５から第１の焦点検出信号が入力された場合には、第１の焦点検出信号に基づき相関演算を行って第１の像ズレ量を算出し、選択部１２５から第２の焦点検出信号が入力された場合には、第２の焦点検出信号に基づき相関演算を行って第２の像ズレ量を算出し、選択部１２５から第１および第２の焦点検出信号が入力された場合には、第１の焦点検出信号に基づき相関演算を行って第１の像ズレ量を算出すると共に第２の焦点検出信号に基づき相関演算を行って第２の像ズレ量を算出する。

デフォーカス量算出部１２７は、相関演算部１２６の相関演算結果、すなわち像ズレ量に基づき、デフォーカス量を算出する。このデフォーカス量に基づき、撮影光学系の焦点調節が行われる。なお、上述のように、選択部１２５が第１および第２の焦点検出信号の両方を選択した場合には、デフォーカス量算出部１２７は、第１の焦点検出信号に基づく第１のデフォーカス量と第２の焦点検出信号に基づく第２のデフォーカス量との平均値を算出してそれを最終デフォーカス量とする。この最終デフォーカス量に基づき撮影光学系の焦点調節が行われる。

このように、第１の撮像素子２１の列方向に配列された複数の画素２１０から第１および第２の光電変換信号が同時に読み出されるように読み出し回路を構成し、同時に読み出された第１および第２の光電変換信号、すなわち第１の焦点検出信号に基づいて位相差焦点検出演算を行うように構成した。同様に、第２の撮像素子２２の行方向に配列された複数の画素２２０から第１および第２の光電変換信号が同時に読み出されるように読み出し回路を構成し、同時に読み出された第１および第２の光電変換信号、すなわち第２の焦点検出信号に基づいて位相差焦点検出演算を行うように構成した。これにより、同時に読み出された第１の焦点検出信号により、または、同時に読み出された第２の焦点検出信号により位相差焦点検出演算を行えば、デフォーカス量の算出精度が高くなるので、撮影光学系１０の焦点調節精度が向上し、撮像して得られる画像の画質を向上できる。

図８は、本第１の焦点検出動作を表すフローチャートである。図８に示す焦点検出処理は、制御部１２が実行する制御プログラムに含まれる。撮影者により所定の焦点検出操作、例えばレリーズ操作部材の半押し操作などが行われると、制御部１２は、図８に示す焦点検出処理を開始する。
図７および図８において、ステップＳ１で第１の撮像素子２１および第２の撮像素子２２は、撮影光学系１０によって結像された被写体像をそれぞれ撮像する。第１の撮像素子２１は、列方向に配列された複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号が同時に読み出される。第２の撮像素子２２は、行方向に配列された複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号が同時に読み出される。第１または第２の撮像素子２１，２２からの第１および第２の光電変換信号は、図１の画像生成部１２ｂで加算されて第１または第２の画像信号となり、図１の画像処理部１４で画像処理されて、図１のモニタ１５にスルー画像として表示される。なお、スルー画像は、第１の撮像素子２１からの第１の画像信号に基づいて表示されても、第２の撮像素子２２の第２の画像信号に基づいて表示されてもよい。

ステップＳ２において、図１の焦点検出エリア設定部１２ｃによって撮影画面内に設定焦点検出エリアが設定される。ステップＳ３において、第１の焦点検出信号取得部１２０は、第１の撮像素子２１から出力された第１および第２の光電変換信号のうち、設定焦点検出エリアに対応する列方向配列の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号を、第１の焦点検出信号として、取得する。同様に、第２の焦点検出信号取得部１２１は、第２の撮像素子２２から出力された第１および第２の光電変換信号のうち、設定焦点検出エリアに対応する行方向配列の複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号を、第２の焦点検出信号として、取得する。

ステップＳ４において、第１のコントラスト検出部１２２は、第１の焦点検出信号取得部１２０によって取得された第１の焦点検出信号に基づき、設定焦点検出エリアにおける被写体像の第１のコントラスト量を算出する。この第１のコントラスト量は、上述のように、第１の撮像素子２１の画素２１０の列方向のコントラスト量である。同様に第２のコントラスト検出部１２３は、第２の焦点検出信号取得部１２１によって取得された第２の焦点検出信号に基づき、設定焦点検出エリアにおける被写体像の第２のコントラスト量を算出する。この第２のコントラスト量は、上述のように、第２の撮像素子２２の画素２２０の列方向のコントラスト量である。

ステップＳ５において、判定部１２４が第１および第２のコントラスト量の少なくとも一方が第１の閾値以上であるか否かを判定し、否定判定の場合には、ステップＳ６に進み、肯定判定の場合にステップＳ７に進む。ステップＳ６では、設定焦点検出エリアにおける被写体像が非常にボケている、すなわち非常に大デフォーカス状態であると判断して、撮影レンズ１０のフォーカスレンズをスキャン駆動させる。ステップＳ７では、判定部１２４が第１のコントラスト量と第２のコントラスト量との差が第２の閾値以上であるか否かを判定し、肯定判定の場合にステップＳ８に進み、否定判定の場合に、ステップＳ９に進む。ステップＳ８では、第１のコントラスト量が第２のコントラスト量よりも大きいか否かを判定し、肯定判定の場合に、ステップＳ１０に進み、否定判定の場合にステップＳ１１に進む。

ステップＳ１０では、第１のコントラスト量が第２のコントラスト量よりも大きい、すなわち、設定焦点検出エリアにおいて、第１の撮像素子２１の列方向のコントラスト量が第２の撮像素子２２の行方向のコントラスト量よりも大きいので、選択部１２４が第１の焦点検出信号取得部１２０の第１の焦点検出信号を選択して相関演算部１２６が第１の焦点検出信号に基づき相関演算を行い、デフォーカス量算出部１２７がこの相関演算結果に基づきデフォーカス量を算出する。ステップＳ１１では、第２のコントラスト量が第１のコントラスト量よりも大きい、すなわち、設定焦点検出エリアにおいて、第２の撮像素子２２の行方向のコントラスト量が第１の撮像素子２１の列方向のコントラスト量よりも大きいので、選択部１２４が第２の焦点検出信号取得部１２１の第２の焦点検出信号を選択して相関演算部１２６が第２の焦点検出信号に基づき相関演算を行い、デフォーカス量算出部１２７がこの相関演算結果に基づきデフォーカス量を算出する。

また、ステップＳ９では、第１および第２のコントラスト量の差が第２の閾値未満である、すなわち、第１および第２のコントラスト量がほぼ同等であるので、選択部１２５が第１および第２の焦点検出信号取得部１２０，１２１の第１および第２の焦点検出信号の両方を選択し、相関演算部１２６が第１の焦点検出信号に基づき相関演算を行うと共に第２の焦点検出信号に基づき相関演算を行い、デフォーカス量算出部１２７が、第１の焦点検出信号による相関演算結果に基づき第１のデフォーカス量を算出すると共に、第２の焦点検出信号による相関演算結果に基づき第２のデフォーカス量を算出し、第１および第２のデフォーカス量から最終デフォーカス量を算出する。

ステップＳ１２では、ステップＳ１０，Ｓ１１，Ｓ９で算出されたデフォーカス量に基づき、撮影光学系１０のフォーカスレンズを駆動して焦点調節を行う。ステップＳ１３は、レリーズ操作部材の半押し操作が終了したか否かを判定し、肯定判定の場合には焦点検出動作を終了し、否定判定の場合にはステップＳ１に戻る。

以上のように、本第１の実施の形態では、第１の撮像素子２１の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの配列方向と第２の撮像素子２２の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの配列方向とが異なっているので、設定焦点検出エリアにおける第１の撮像素子２１の列方向に配列された複数の画素２１０に形成された被写体像のコントラストと設定焦点検出エリアにおける第２の撮像素子２２の行方向に配列された複数の画素２２０に形成された被写体像のコントラストとを比べて、コントラストが高い方の撮像素子の焦点検出信号に基づき高精度な焦点検出を行うことができる。

本第１の実施の形態では、第１および第２のコントラスト量に応じて、第１および第２の焦点検出信号のいずれか、またはその両方を選択して選択された焦点検出信号に基づき相関演算部１２６が相関演算を行うものであった。これの代わりに、選択部１２５は、常に第１および第２の焦点検出信号を選択し、相関演算部１２６は、第１および第２の焦点検出信号について相関演算を行い、第１および第２のコントラスト量の大きさに基づき第１の焦点検出信号による相関演算結果と第２の焦点検出信号による相関演算結果との一方または両方を選択し、選択された相関演算結果に基づきデフォーカス量を算出するようにしてもよい。
更には、デフォーカス量算出部１２７は、相関演算部１２６が相関演算した全ての相関演算結果に基づき、それぞれデフォーカス量を算出し、こうして算出された複数のデフォーカス量から第１および第２のコントラスト量の大きさに基づき所望のデフォーカス量を選択してもよい。

撮像面に第１および第２の光電変換部の分割方向が異なる画素が設けられている撮像素子では、第１および第２の光電変換部の分割方向が異なる２つの画素に、同じ光量の光がそれぞれ入射したとしても、第１および第２の光電変換部の分割方向の相違によって、各画素の第１および第２の光電変換部からの出力が異なってしまうおそれがある。そのため、撮像して得られた画像の画質が低下するおそれがある。
これに対して、本第１の実施の形態では、第１の撮像素子２１の各画素２１０の、列方向に分割された第１および第２の光電変換部２１０ａ，２１０ｂの光電変換信号を加算して画像信号を生成するように構成した。そして、第２の撮像素子２２の各画素２２０の、行方向に分割された第１および第２の光電変換部２２０ａ，２２０ｂの光電変換信号を加算して画像信号を生成するように構成した。これにより、第１および第２の撮像素子２１，２２によって、高画質の画像を得ることができる。

＜第１の変形例＞
本第１の実施の形態では、コントラストが低い被写体像については、位相差焦点検出が精度良く行うことができない恐れがあるので、設定焦点検出エリアにおける第１の撮像素子２１の列方向に配列された複数の画素２１０に形成された被写体像のコントラストと設定焦点検出エリアにおける第２の撮像素子２２の行方向に配列された複数の画素２２０に形成された被写体像のコントラストとを比べて、コントラストが高い方の撮像素子の焦点検出信号に基づき焦点調節を行うものであった。位相差焦点検出が精度良く行うことができない被写体像は、上述の低コントラスト像以外に、一定周期の明暗パターンの像も存在する。そこで、そのような一定の周期パターン像が第１および第２の撮像素子２１，２２の画素の列方向と行方向のどちらに存在するかを検出して、周期パターンが存在しない方の撮像素子の焦点検出信号を使用して焦点検出を行う本実施の形態の変形例を以下に説明する。

図９は、本第１の実施の形態の変形例を示すブロック図であり、図７に示された本第１の実施の形態のブロック図との相違点は、図７の第１および第２のコントラスト検出部１２２，１２３の代わりに、第１および第２の周期パターン検出部１２８，１２９が設けられている点である。第１の周期パターン検出部１２８は、第１の焦点検出信号取得部１２０からの第１の焦点検出信号の周期パターン信号波形を検出することによって、第１の焦点検出信号に周期パターンが存在するか否かを検出する。同様に、第２の周期パターン検出部１２９は、第２の焦点検出信号取得部１２１からの第２の焦点検出信号の周期パターン信号波形を検出することによって、第２の焦点検出信号に周期パターンが存在するか否かを検出する。判定部１２４は、第１および第２の周期パターン検出部１２８，１２９のどちらが周期パターンを検出したかを判定する。選択部１２５は、判定部１２４が、第１および第２の周期パターン検出部１２８，１２９のどちらも周期パターンを検出していないと、判定した場合には、第１および第２の焦点検出信号の両方を選択し、判定部１２４が、第１の周期パターン検出部１２８が周期パターンを検出したと、判定した場合には、第２の焦点検出信号を選択し、判定部１２４が、第２の周期パターン検出部１２９が周期パターンを検出したと、判定した場合には、第１の焦点検出信号を選択する。相関演算部１２６およびデフォーカス量算出部１２７の動作は、図７の場合と同様である。

以上のように、本変形例では、第１の撮像素子２１の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの配列方向と第２の撮像素子２２の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの配列方向とが異なっているので、設定焦点検出エリアにおける第１の撮像素子２１の列方向に配列された複数の画素２１０に形成された被写体像の周期パターンの有無と設定焦点検出エリアにおける第２の撮像素子２２の行方向に配列された複数の画素２２０に形成された被写体像の周期パターンの有無とに基づき、周期パターンの存在しない方の撮像素子の焦点検出信号に基づき高精度な焦点検出を行うことができる。

なお、図９に示した変形例にあっても、選択部１２５が周期パターンの有無に応じて、第１および第２の焦点検出信号のいずれか、または両方を選択する代わりに、相関演算部１２６が常に第１および第２の焦点検出信号に基づく相関演算を行い、それらの相関演算結果から周期パターンの有無に応じて所定の相関演算結果を選択してもよく、または、デフォーカス量算出部１２７が常に第１および第２の焦点検出信号に基づくデフォーカス量を算出して、それらのデフォーカス量から周期パターンの有無に応じて所定のデフォーカス量を選択してもよい。

上述の第１の実施の形態または第１の変形例では、コントラスト量の多寡や周期パターンの有無に基づき、第１の撮像素子２１からの第１の焦点検出信号または第２の撮像素子２２からの第２の焦点検出信号を選択したが、これの代わりに、デジタルカメラ１の姿勢を姿勢センサーなどで検出し、デジタルカメラ１が通常位置、横位置にあるとき、すなわち、図３の第２の撮像素子２２の画素配列の行方向が水平方向に一致するときには、第２の撮像素子２２からの第２の焦点検出信号を選択する、すなわち第２の焦点検出信号を用いて焦点調節を行い、他方、デジタルカメラ１が縦位置にあるとき、すなわち、図３の第１の撮像素子２１の画素配列の列方向が水平方向に一致するときには、第１の撮像素子２１からの第１の焦点検出信号を選択し、すなわち第１の焦点検出信号を用いて焦点調節を行うように、することもできる。

＜第２の変形例＞
図１０は、本第１の実施の形態の第２の変形例を示したものである。第２の変形例は、図１０において、実線で示すようにマイクロレンズ２３３の焦点２３３Ｆが第２の撮像素子２２の第１および第２の光電変換部２２０ａ，２２０ｂに位置するか、または、破線で示すようにマイクロレンズ２３３の焦点２３３Ｆが第１の撮像素子２１の第１および第２の光電変換部２１０ａ，２１０ｂに位置する。

＜第３の変形例＞
図１１は、本第１の実施の形態の第３の変形例を示したものである。図１１において、マイクロレンズ２３３の焦点２３３Ｆ、すなわち焦点面は、第１の撮像素子２１の第１および第２の光電変換部２１０ａ，２１０ｂの位置に位置する。第１の撮像素子２１と第２の撮像素子２２との間にインナーレンズ２３４が配置される。このインナーレンズ２３４の屈折力および配置位置は、インナーレンズ２３４に関して第１の撮像素子２１の第１および第２の光電変換部２１０ａ，２１０ｂの位置と第２の撮像素子２２の第１および第２の光電変換部２２０ａ，２２０ｂの位置とが光学的に共役となるように、定められている。

このインナーレンズ２３４を配置することによって、マイクロレンズ２３３およびインナーレンズ２３４に関して第２の撮像素子２２の第１および第２の光電変換部２２０ａ，２２０ｂの位置と共役な位置は、マイクロレンズ２３３に関して第１の撮像素子２１の第１および第２の光電変換部２１０ａ，２１０ｂの位置と共役な位置と一致する。換言すると、インナーレンズ２３４の配置によって、第１の撮像素子２１に関する第１の測距瞳面の位置と第２の撮像素子２２に関する第２の測距瞳面の位置とを一致させることができる。

＜第４の変形例＞
図１２は、本第１の実施の形態に関する第４の変形例を示す断面図である。本第１の実施の形態は図４に示したように第１の撮像素子２１は光電変換部として有機光電膜を使用し、第２の撮像素子２２は光電変換部としてフォトダイオードを使用するものであった。第４の変形例は第１および第２の撮像素子２１，２２の両方とも、光電変換部として有機光電膜を使用するものである。

図１２において、第１の撮像素子２１の構成は、図４に示した第１の撮像素子２１と同一である。第２の撮像素子２３は、半導体基板５０の上面に平坦化層５５を介して形成され、各画素２４０は、紙面に垂直方向に配列された第１および第２の光電変換部２４０ａ，２４０ｂを有する。
第２の撮像素子２３の各画素２４０は、有機光電膜２５０と、有機光電膜２５０の下面に形成された透明な共通電極２５１と、有機光電膜２５０の上面に形成された透明な第１および第２の部分電極２５２ａ，２５２ｂとを有する。第１および第２の部分電極２５２ａ，２５２ｂは、上述のように、紙面に垂直な方向、すなわち、第１の撮像素子２１の第１および第２の第１および第２の部分電極２３２ａ，２３２ｂの配列方向と直交する方向に配列されている。第２の撮像素子２３の各画素２４０は、有機光電膜２５０と共通電極２５１と第１の部分電極２５２ａとが第１の光電変換部２４０ａを構成し、有機光電膜２５０と共通電極２５１と第２の部分電極２５２ｂとが第２の光電変換部２４０ｂを構成する。
第１の撮像素子２１と第２の撮像素子２３との間には、絶縁層５６が設けられている。第１の撮像素子２２の信号読み出し回路、および、第２の撮像素子２３の信号読み出し回路は、半導体基板５０に形成されている。半導体基板５０と第２の撮像素子２３との間には例えば３層構造の配線層５１が設けられている。

以上のように、第４の変形例によると、第２の撮像素子２３と半導体基板５０との間の間隔には配線層５１が設けられるので、比較的大きな間隔を必要とするが、第１および第２の撮像素子２１，２３との間隔は配線層５１を必要としないので、比較的小さくすることができる。したがって、第１の撮像素子２１に関する測距瞳面の位置と第２の撮像素子２３に関する測距瞳面の位置とを接近させることができる。

また、図１３に示すように、第２の撮像素子２２を裏面照射型の撮像素子としてもよい。これにより、上述の場合と同様に、第１および第２の撮像素子２１，２２との間隔は配線層５１を必要としないので、比較的小さくすることができる。したがって、第１の撮像素子２１に関する測距瞳面の位置と第２の撮像素子２２に関する測距瞳面の位置とを接近させることができる。

＜第５の変形例＞
図１４は、本第１の実施の形態に関する第５の変形例を示すブロック図である。図５および図６に示した第１および第２の撮像素子２１，２２の信号読み出し回路にあっては、第１の光電変換信号が第１の水平出力回路１５２，１６２から出力され、第２の光電変換信号が第２の水平出力回路１５３，１６３から出力され、また、第１および第２の撮像素子２１，２２について、ＡＤ変換回路２４が第１および第２の光電変換信号をＡＤ変換し、制御部１２の画像生成部１２ｂが第１および第２の光電変換信号の加算を行うものであった。第５の変形例は、第２の撮像素子２２の各画素２２０の第１および第２の光電変換信号をＡＤ変換するＡＤ変換部と、第１および第２の光電変換信号の両方を出力する第１および第２の光電変換信号用の水平出力回路と、第１および第２の光電変換信号を加算する加算回路と、加算信号を出力する加算信号用の水平出力回路とを有するものである。

図１４において、第２の撮像素子２２は、行走査回路１６１と、ＡＤ変換部１６４と、第１および第２の光電変換信号用の水平出力回路１６５と、加算部１６６と、加算信号用の水平出力回路１６７とを有する。以下の説明では、図６に示した、第２の撮像素子２２の光電変換信号の読み出し回路との相違点を主に説明する。
ＡＤ変換部１６４は、行方向にｎ列配置された各画素２２０の第１の光電変換部２２０ａのそれぞれに対応する、ｎ個のＡＤＣ（アナログ−デジタル変換回路）１６４ａと、各画素２２０の第２の光電変換部２２０ｂのそれぞれに対応する、ｎ個のＡＤＣ１６４ｂとを備えている。
第１および第２の光電変換信号用の水平出力回路１６５は、ＡＤ変換部１６４のｎ個のＡＤＣ１６４ａにそれぞれ対応するｎ個のメモリ１６５ａと、ＡＤ変換部１６４のｎ個のＡＤＣ１６４ｂにそれぞれ対応するｎ個のメモリ１６５ｂとを備えている。
加算部１６６は、行方向にｎ列配置された各画素２２０のそれぞれに対応する、ｎ個のデジタル加算回路１６５ａを備えている。
加算信号用の水平出力回路１６７は、加算部１６６のｎ個のデジタル加算回路１６６ａにそれぞれ対応するｎ個のメモリ１６７ａを備えている。

タイミング信号Ｒ（１）に応じて、第１行目のｎ個の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの光電変換信号が、それぞれ対応するＡＤ変換部１６４のＡＤＣ１６４ａ，１６４ｂに同時に出力される。ＡＤＣ１６４ａ，１６４ｂは、入力された第１および第２の光電変換部２２０ａ，２２０ｂの光電変換信号をそれぞれデジタル信号に変換して、それぞれ対応する第１および第２の光電変換信号用の水平出力回路１６５のメモリ１６５ａ，１６５ｂに出力する。第１および第２の光電変換信号用の水平出力回路１６５の各メモリ１６５ａ，１６５ｂは、ＡＤＣ１６４ａ，１６４ｂから出力されたデジタル信号をそれぞれ記憶する。第１および第２の光電変換信号用の水平出力回路１６５は各メモリ１６５ａ，１６５ｂに記憶した第１および第２の光電変換信号を順次、出力部１６５Ａから出力する。
また、加算部１６６のデジタル加算回路１６６ａは、各画素２２０毎にＡＤＣ１６４ａ，１６４ｂによってＡＤ変換された第１および第２の光電変換信号を加算する。加算信号用の水平出力回路１６７の各メモリ１６７ａは、デジタル加算回路１６６ａから出力されたデジタル加算信号をそれぞれ記憶する。加算信号用の水平出力回路１６７は各メモリ１６７ａに記憶されたデジタル加算信号を順次、出力部１６７Ａから出力する。

次いで、タイミング信号Ｒ（２）に応じて、第２行目の複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号がそれぞれＡＤ変換部１６４でデジタル信号に変換されて、第１および第２の光電変換信号用の水平出力回路１６５の出力部１６５Ａから順次出力される。また、ＡＤ変換部１６４でＡＤ変換された第１および第２の光電変換信号はデジタル加算回路１６６ａで加算され、加算信号が、加算信号用の水平出力回路１６７の出力部１６７Ａから順次出力される。
その後、順次、タイミング信号Ｒ（ｍ）に応じて、第（ｍ）行目の複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号がＡＤ変換部１６４でデジタル信号に変換されて、第１および第２の光電変換信号用の水平出力回路１６５の出力部１６５Ａから順次出力され、加算信号が加算信号用の水平出力回路１６７の出力部１６７Ａから順次出力される。
このように、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの光電変換信号、および、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの光電変換信号は、各撮像素子２１，２２の外部で、すなわち図１の画像生成部１２ｂで加算してもよく、図１４に示すように各撮像素子２１，２２の内部で加算してもよい。

＜第６の変形例＞
本第１の実施の形態では、図３に示したように第１の撮像素子２１の各画素２１０における第１および第２の光電変換部２１０ａおよび２１０ｂが、列方向、すなわち図３（ａ）で上下方向に配列され、第２の撮像素子２２の各画素２２０における第１および第２の光電変換部２２０ａおよび２２０ｂが、行方向、すなわち図３（ｂ）で左右方向に配列されるように構成した。しかしながら、第１の撮像素子２１の各画素２１０における第１および第２の光電変換部２１０ａおよび２１０ｂが、行方向に配列され、第２の撮像素子２２の各画素２２０における第１および第２の光電変換部２２０ａおよび２２０ｂが、列方向に配列されるように構成してもよい。

＜第７の変形例＞
本第１の実施の形態では、第１および第２の撮像素子２１，２２からの第１および第２の光電変換信号が、焦点検出信号として用いられると共に、画像信号として用いられるものであった。しかしながら、たとえば、第１および第２の撮像素子２１，２２の一方からの第１および第２の光電変換信号を画像信号に使用し、第１および第２の撮像素子２１，２２の他方からの第１および第２の光電変換信号を焦点検出信号に使用するようにしてもよい。

＜第８の変形例＞
図１５は、第８の変形例を示すものである。本第１の実施の形態にあっては、図３に示したように、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの形状は、大きな矩形を水平方向に２等分したような形状であり、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの形状は、大きな矩形を上下方向に２等分したような形状であった。第８の変形例は、第１および第２の撮像素子２１，２２の第１および第２の光電変換部の形状は、大きな矩形をその対角線方向に２等分したような形状である。図１５（ａ）は、第１の撮像素子２１の２行２列の画素２１０を示したもので、第１および第２の光電変換部２１０ａ，２１０ｂは、大きな正方形をその対角線で分断したような直角三角形状である。図１５（ｂ）は、第２の撮像素子２２の２行２列の画素２２０を示したもので、第１および第２の光電変換部２２０ａ，２２０ｂは、第１の撮像素子２１と同様に大きな正方形をその対角線で分断したような直角三角形状である、この分断方向は、第１の撮像素子２１の分断方向と直交する。
したがって、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの並び方向、すなわち配列方向と、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの並び方向、すなわち配列方向とは、異なる。

＜第９の変形例＞
図１６は、第９の変形例を示すものである。本第１の実施の形態では、図３に示したように、第１の撮像素子２１の各画素２１０、および、第２の撮像素子２２の各画素２２０は、第１および第２の光電変換部を有するものであった。第９の変形例は、第１および第２の撮像素子２１，２２の各画素は、第１〜第４の光電変換部を有する。すなわち、第９の変形例は、各画素の光電変換部は、４分割されている。図１６（ａ）において、第１および第２の撮像素子２１，２２の各画素２１０，２２０は、行方向および列方向に分割された第１〜第４の光電変換部２１０ｃ〜２１０ｆ，２２０ｃ〜２２０ｆを有する。

したがって、第１の撮像素子２１の画素２１０について、例えば、第１の光電変換部２１０ｃの光電変換信号と第２の光電変換部２１０ｄの光電変換信号とから第１の焦点検出信号を作成すると共に、第２の撮像素子２２の画素２２０について、例えば、第１の光電変換部２２０ｃの光電変換信号と第３の光電変換部２２０ｅの光電変換信号とから第２の焦点検出信号を作成すると、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ｃ，２１０ｄの並び方向、すなわち配列方向と、第２の撮像素子２２の各画素２２０の第１および第３の光電変換部２２０ｃ，２２０ｅの並び方向、すなわち配列方向とは、異なることになる。

また、図１６（ｂ）において、第１および第２の撮像素子２１，２２の各画素２１０，２２０は、斜め方向に分割された第１〜第４の光電変換部２１０ｃ〜２１０ｆ，２２０ｃ〜２２０ｆを有する。したがって、第１の撮像素子２１の画素２１０について、例えば、第１の光電変換部２１０ｃの光電変換信号と第４の光電変換部２１０ｆの光電変換信号とから第１の焦点検出信号を作成すると共に、第２の撮像素子２２の画素２２０について、例えば、第２の光電変換部２２０ｄの光電変換信号と第３の光電変換部２２０ｅの光電変換信号とから第２の焦点検出信号を作成すると、第１の撮像素子２１の各画素２１０の第１および第４の光電変換部２１０ｃ，２１０ｆの並び方向、すなわち配列方向と、第２の撮像素子２２の各画素２２０の第２および第３の光電変換部２２０ｄ，２２０ｅの並び方向、すなわち配列方向とは、異なることになる。

＜第１０の変形例＞
第１０の変形例では、有機光電膜を用いた撮像素子を２層構造としたものである。
第１の撮像素子は、「Ｍｇ」画素と「Ｃｙ」画素と「Ｙｅ」画素とによって、マゼンタの色成分の例えば５０％とシアンの色成分の例えば５０％とイエローの色成分の例えば５０％とを吸収し、マゼンタの色成分の残部とシアンの色成分の残部とイエローの色成分の残部とを透過させる共に、緑色成分と赤色成分と青色成分とを透過させる。
第３の撮像素子は、第１の撮像素子２１と同様に、有機光電膜を光電変換部とする撮像素子である。第３の撮像素子は、第１の撮像素子の背後に積層配置され、第１の撮像素子と同様に、「Ｍｇ」画素と「Ｃｙ」画素と「Ｙｅ」画素とを有し、これらの「Ｍｇ」画素と「Ｃｙ」画素と「Ｙｅ」画素は、第１の撮像素子を透過したマゼンタの色成分の残部とシアンの色成分の残部とイエローの色成分の残部とをそれぞれ吸収すると共に、第１の撮像素子を透過した緑色成分と赤色成分と青色成分とを透過させる。
第２の撮像素子は、図３および図４に示した第２の撮像素子と全く同一のものであり、第３の撮像素子を透過した緑色成分と赤色成分と青色成分とを吸収して光電変換する。
したがって、第３の撮像素子の各画素の第１および第２の光電変換部として、例えば、図１５（ａ）または（ｂ）に示した光電変換部を使用すると、第１〜第３の撮像素子は、それぞれの第１および第２の光電変換部の並び方向がそれぞれ異なることになる。

更に、第３の撮像素子と第２の撮像素子との間に、「Ｒ」画素と「Ｇ」画素と「Ｂ」画素とを有する有機光電膜を用いた第４の撮像素子を設けてもよい。この第４の撮像素子の「Ｒ」画素と「Ｇ」画素と「Ｂ」画素は、第３の撮像素子を透過した赤色成分の例えば５０％と緑色成分の例えば５０％と青色成分の例えば５０％とを吸収し、残りを透過させる。これによって、「Ｍｇ」画素と「Ｃｙ」画素と「Ｙｅ」画素とを有する第１および第３の撮像素子と、「Ｒ」画素と「Ｇ」画素と「Ｂ」画素とを有する第２および第４の撮像素子とが互いに積層される。これらの第１〜第４の撮像素子の各画素の光電変換部の構成として、図３、図１５、図１６などの構成を使用することによって、撮像素子毎に、光電変換部の並び方向を異ならせることができる。

＜第１１の変形例＞
本第１の実施の形態では、第１の撮像素子２１の第（ｎ）列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号がそれぞれ第１および第２の水平出力回路１５２，１５３に同時に読み出され、第１および第２の水平出力回路１５２，１５３の出力部１５２Ａ，１５３Ａから順次、出力されるものであった。第１１の変形例は、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａおよび２１０ｂの光電変換信号の読み出し回路が、図６に示すもの、すなわち、第２の撮像素子２２の読み出し回路と同一構成のものである。

行走査回路１６１は、複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対して信号読み出し用のタイミング信号Ｒ（ｍ）を出力する。すなわち、行走査回路１６１は、第１行目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対して信号読み出し用のタイミング信号Ｒ（１）を出力し、次いで、第２行目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対して信号読み出し用のタイミング信号Ｒ（２）を出力し、その後、順次、第（ｍ）行目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対して信号読み出し用のタイミング信号Ｒ（ｍ）を出力する。

タイミング信号Ｒ（ｍ）に応じて、第１の水平出力回路１６２は、第（ｍ）行目の複数の画素２１０の第１の光電変換部２１０ａの第１の光電変換信号を同時に読み出し、同様に、第２の水平出力回路１６３は、第（ｍ）行目の複数の画素２１０の第２の光電変換部２１０ｂの第２の光電変換信号を同時に読み出す。
第１の水平出力回路１６２は、読み出した第１の光電変換部２１０ａの第１の光電変換信号を出力部１６２Ａから出力し、第２の水平出力回路１６３は、読み出した第２の光電変換部２１０ｂの第２の光電変換信号を出力部１６３Ａから出力する。

第１の水平出力回路１６２から出力された第１の光電変換信号と第２の水平出力回路１６３から出力された第２の光電変換信号は、図１に示されたバッファメモリ１６を介して焦点検出部１２ａおよび画像生成部１２ｂに送られ、焦点検出部１２ａは、同時に読み出された第（ｍ）行目の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号に基づき、位相差焦点検出演算を行う。また、画像生成部１２ｂは、各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号を加算して、画像信号を生成する。

第１１の変形例では、第２の撮像素子２２と同様に、同一行に配列された複数の画素２１０の第１の光電変換部２１０ａの第１の光電変換信号が同時に読み出され、第２の光電変換部２１０ｂの第２の光電変換信号を同時に読み出される。これにより、後述するように、第１および第２の撮像素子２１，２２に関する対応関係の画素２１０，２２０の第１および第２の光電変換信号を合成して画像を得る場合に、対応関係の画素２１０，２２０同士の読み出しタイミングを一致させることができるので、得られる画像の画質を向上できる。

＜第１２の変形例＞
本第１の実施の形態では、画像生成部１２ｂが、第１の撮像素子２１の各画素の第１および第２の光電変換信号を加算して第１の画像信号を生成すると共に、第２の撮像素子２２の各画素の第１および第２の光電変換信号を加算して第２の画像信号を生成するものであった。第１２の変形例は、更に、画像生成部１２ｂが、第１の水平出力回路１５２から出力された第１の撮像素子２１の各画素の第１の光電変換信号に基づき、例えば左眼用の画像信号を、第２の水平出力回路１５３から出力された各画素の第２の光電変換信号に基づき、例えば右眼用の画像信号を、それぞれ生成して、第１の立体画像信号を生成する。同様に、画像生成部１２ｂが、第１の水平出力回路１６２から出力された第２の撮像素子２２の各画素の第１の光電変換信号に基づき、例えば左眼用の画像信号を、第２の水平出力回路１６３から出力された各画素の第２の光電変換信号に基づき、例えば右眼用の画像信号を、それぞれ生成して、第２の立体画像信号を生成する。

画像処理部１４は、画像生成部１２ｂからの第１および第２の立体画像信号に対して、補間処理、圧縮処理、ホワイトバランス処理などの各種の画像処理を行って第１および第２の立体画像データを生成する。第１および第２の立体画像データは、モニタ１５に表示されたり、メモリカード１７に格納されたりする。

次に、第１および第２の立体画像データの再生について説明する。第１の撮像素子２１からの第１および第２の光電変換信号による第１の立体画像信号は、撮像素子の画素の列方向、すなわち撮影光学系１０の瞳の第１および第２の瞳領域の並び方向に視差を有する。同様に、第２の撮像素子２２からの第１および第２の光電変換信号による第２の立体画像信号は、撮像素子の画素の行方向、すなわち撮影光学系１０の瞳の第３および第４の瞳領域の並び方向に視差を有する。
そこで、図１に示したモニタ１５は、観察者の顔が正立または直立している場合には、行方向に視差を有する第２の立体画像信号に基づき立体画像を表示し、逆に、観察者が寝転がっているなどして観察者の顔が横に傾いている場合には、列方向に視差を有する第１の立体画像信号に基づき立体画像を表示する。

なお、このように、観察者の顔の傾きに応じて表示する立体画像を切り替えるためには、例えばモニタ１５の外側に撮像装置を設置し、この撮像装置によって、観察者の顔を撮像し、図１に示した制御部１２に設けられた公知の顔認識部によって、観察者の顔を認識し、認識した顔における左右の目の並びの方向を検出し、この目の並び方向に基づき、顔の正立または横向きを判定する。上述した観察者の顔の傾きに応じて立体画像の表示を切り替えることは、モニタ１５以外のモニタにおいても実施することができる。例えば、第１および第２の立体画像信号をパソコンなどに転送して、そのパソコンのモニタにおいて観察者の顔の傾き角度に応じて、第１の立体画像信号に基づく立体画像と第２の立体画像信号に基づく立体画像とを切り替えることができる。

以上のように、本変形例によると、互いに異なった方向に視差を有する第１および第２の立体画像信号が生成されるので、観察者の顔の傾き角度に応じて、立体画像表示を切り替えることができ、これによって例えば、顔が正立していても横を向いていても効果的に立体視が可能になる。

＜第２の実施の形態＞
図１７は、第２の実施の形態の基本的な考え方を示したものである。上述の第１の実施の形態では、第１の撮像素子２１の画素２１０は、第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号を加算して画像信号を生成するが、図１７（ａ）に示すように第１および第２の光電変換部２１０ａ，２１０ｂは、間隙２１０ｃを隔てて配置されているので、この間隙２１０ｃに入射した光束は、光電変換されない。すなわち、画素２１０は、入射光束に関して不感帯領域２１０ｃが生じている。同様に第２の撮像素子２２の画素２２０も第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号を加算して画像信号を生成するが、図１７（ｂ）に示すように第１および第２の光電変換部２２０ａ，２２０ｂが間隙２２０ｃを隔てて配置されているので、その間隙２２０ｃが画素２２０への入射光束に関して不感帯領域となっている。第２の実施の形態は、このような画像信号に関する不感帯領域を減少させるものである。

図１７（ｃ）に示したように、撮像素子２１と撮像素子２２との対応関係にある画素２１０と２２０とを重ねて表示すると、第１の撮像素子２１の画素２１０の不感帯領域２１０ｃの大部分には、第２の撮像素子２２の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂが存在し、第２の撮像素子２２の画素２２０の不感帯領域２２０ｃの大部分には、第１の撮像素子２１の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂが存在する。したがって、対応関係にある画素２１０および２２０の全体における不感帯領域は、図１７（ｃ）に示したように不感帯領域２１０ｃと不感帯領域２２０ｃとの重なり部分２９１、すなわち、ハッチングを付した非常に小さな領域になる。

図１８は、第２の実施の形態による第１および第２の撮像素子２１，２２に関する対応関係の画素２１０，２２０の第１および第２の光電変換信号の合成方法を示す図である。図１８（ａ）は、第１の撮像素子２１の一部の画素である２行×２列の「Ｍｇ」画素２１０と「Ｙｅ」画素２１０と「Ｃｙ」画素２１０と「Ｍｇ」画素２１０とを示し、図１８（ｃ）は、図１８（ａ）の第１の撮像素子２１の２行×２列の画素２１０にそれぞれ対応関係にある第２の撮像素子２２の一部の画素である２行×２列の「Ｇ」画素２２０と「Ｂ」画素２２０と「Ｒ」画素２２０と「Ｇ」画素２２０を示す。

図１８（ａ）に示したように、第１の撮像素子２１の「Ｃｙ」画素２１０と二つの「Ｍｇ」画素２１０と「Ｙｅ」画素２１０は、ＣＭＹ画像信号を出力し、このＣＭＹ画像信号は、図１に示した画像処理部１４で公知の表色系変換処理によってＲＧＢ画像信号に変換される。この表色系変換処理によって生成したＲＧＢ画像信号は、ＲＧＢ画像信号と画素２１０との関係で見ると、図１８（ａ）に示した「Ｍｇ」画素２１０があたかもＧ信号を出力し、「Ｙｅ」画素２１０があたかもＢ信号を出力し、「Ｃｙ」画素２１０があたかもＲ信号を出力したものとなる。図１８（ｂ）は、ＲＧＢ画像信号と画素２１０との関係を示したものである。

図１に示した画像処理部１４は、図１８（ｂ）に示された第１の撮像素子２１の各画素２１０の画像信号と、これに対応関係の、図１８（ｃ）に示された第２の撮像素子２２の各画素２２０の画像信号とを加算する。すなわち画像処理部１４は、図１８（ｂ）および（ｃ）において、左上の画素２１０、２２０のＧ信号同士を加算してＧ加算信号を生成し、右上の画素２１０、２２０のＢ信号同士を加算してＢ加算信号を生成し、左下の画素２１０、２２０のＲ信号同士を加算してＲ加算信号を生成し、右下の画素２１０、２２０のＧ信号同士を加算してＧ加算信号を生成する。勿論、これらは、加算の代わりに、加算平均してもよい。

図１８（ｄ）は、撮像素子２１の画素２１０と、これと対応関係の撮像素子２２の画素２２０とを重ねて表示し、重ねられた画素２１０，２２０と加算信号との関係を模式的に示したものである。Ｒ，ＧおよびＢの加算信号に関する不感帯は、図１８（ｄ）のハッチング領域２９１となり、非常に小さくすることができる。

＜第３の実施の形態＞
第３の実施の形態では、ローリングシャッタ歪みの補正について説明する。
図１９は、第３の実施の形態の原理を説明するためのものである。上述したように、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａおよび２１０ｂの光電変換信号は、列毎に順次読み出され、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部２２０ａおよび２２０ｂの光電変換信号は、行毎に順次読み出される。そのため、被写体が動いていると、撮像画像の移動被写体像にはいわゆるローリングシャッタ歪みが生じてしまう。

例えば、第１および第２の撮像素子２１，２２の行方向が水平となるようにデジタルカメラ１の姿勢を保ちつつ、正方形の被写体を撮像すると、被写体が静止していれば、図１９（ａ）に示すように、第１および第２の撮像素子２１，２２によってそれぞれ撮像して得られた画像１８０における被写体像１８１は共に歪まない。しかし、被写体が水平方向に移動している場合、第１の撮像素子２１の読み出し回路が図５に示す読み出し回路であれば、第１の撮像素子２１によって撮像された被写体像１８１は、移動方向に応じて図１９（ｂ）または（ｃ）に示すように、左右方向の長さが変化する。すなわち、図１９（ｂ）に示すように、被写体の移動方向が矢印方向（右方向へ移動）であると、被写体像１８１は、伸張され、図１９（ｃ）に示すように、被写体の移動が矢印方向（左方向へ移動）であると、被写体像１８１は短縮される。また、第２の撮像素子２２の読み出し回路が図６に示す読み出し回路であれば、第２の撮像素子２２によって撮像された被写体像１８１は、図１９（ｄ）または（ｅ）に示すように、傾いてしまう。

図２０は、第３の実施の形態を示したブロック図である。第１の画像信号取得部２００は、第１の撮像素子２１から繰り返し出力される画像信号を順次取得し、第２の画像信号取得部２０１は、第２の撮像素子２２から繰り返し出力される画像信号を取得する。移動方向検出部２０２は、第１の画像信号取得部２００からの画像信号と第２の画像信号取得部２０１からの画像信号とに基づき、移動被写体の移動方向を検出する。この移動方向の検出は、繰り返し出力された画像信号を比較することによって求めることができる。移動方向検出部２０２は、第１の画像信号取得部２００と第２の画像信号取得部２０１との一方からの画像信号に基づいて移動方向を検出することもできる。

選択部２０３は、移動方向検出部２０２が検出した被写体の移動方向に基づき、第１の画像信号取得部２００または第２の画像信号取得部２０１からの画像信号を選択する。具体的には、選択部２０３は、被写体の移動方向が左右方向である場合には第１の画像信号取得部２００からの画像信号、すなわち第１の撮像素子２１の画像信号を選択し、被写体の移動方向が上下方向である場合には第２の画像信号取得部２０１からの画像信号、すなわち第２の撮像素子２２の画像信号を選択する。選択部２０３によって選択された画像信号は、モニタ１５に表示されるか、またはメモリカード１７に記憶される。このようにして、選択部が選択する画像信号は、図１９（ｄ）または（ｅ）のような傾斜歪みを持つ画像ではなく、図１９（ｂ）または（ｃ）のような傾斜歪みのない画像信号となる。

また、たとえば、図１９（ｂ）または（ｃ）に示した被写体像１８１と、図１９（ｄ）または（ｅ）に示した被写体像１８１と被写体移動方向情報とを用いて、このローリングシャッタ歪みを補正した画像を生成するように構成してもよい。すなわち、例えば、図１９（ｂ）または（ｃ）に示した傾斜歪みの存在しない被写体像１８１の特定部分の角度αを検出すると共に、図１９（ｄ）または（ｅ）に示した傾斜歪みが生じた被写体像１８１の前記特定部分の角度θを検出する。これらの角度αと角度θとを比較することによって、傾斜歪みに起因する角度を算出し、この傾斜歪みに起因する角度を補正することによって、傾斜歪みの存在しない被写体画像を生成する。
なお、上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１；デジタルカメラ、１０；撮影光学系、１１；撮像部、１２；制御部、２１；第１の撮像素子、２２，２３；第２の撮像素子、２１０，２２０；画素、２１０ａ；第１の光電変換部、２１０ｂ；第２の光電変換部、２２０ａ；第１の光電変換部、２２０ｂ；第２の光電変換部、１５１；列走査回路、１５２；第１の水平出力回路、１５３；第２の水平出力回路、１６１；行走査回路、１６２；第１の水平出力回路、１６３；第２の水平出力回路
２３３；マイクロレンズ、２３３Ｆ；焦点、２３４；インナーレンズ

Claims (43)

1. 第１の方向に配置され、入射した光を光電変換して電荷を生成する第１の光電変換部および第２の光電変換部を有する第１画素と、
   前記第１の方向とは異なる第２の方向に配置され、前記第１画素を透過した光を受光して電荷を生成する第３の光電変換部および第４の光電変換部を有する第２画素と、を備える撮像素子。
2. 請求項１に記載の撮像素子において、
   前記第１画素は、入射した光のうち第１色を光電変換し、
   前記第２画素は、前記第１色の補色の光を光電変換する撮像素子。
3. 請求項１または請求項２に記載の撮像素子において、
   前記第２方向に配置される複数の前記第１画素と、
   前記第１の方向に配置される複数の前記第２画素とを有し、
   複数の前記第１画素からの信号を読み出す第１の読み出し部と、
   複数の前記第２画素からの信号を読み出す第２の読み出し部とを備える撮像素子。
4. 請求項１から３のいずれか一項に記載の撮像素子において、
   前記第１の光電変換部で生成された電荷に基づく第１信号を出力する第１信号線と、前記第２の光電変換部で生成された電荷に基づく第２信号を出力する第２信号線と、前記第３の光電変換部で生成された電荷に基づく第３信号を出力する第３信号線と、前記第４の光電変換部で生成された電荷に基づく第４信号を出力する第４信号線と、を備える撮像素子。
5. 請求項４に記載の撮像素子において、
   前記第１信号または前記第２信号を出力する第１出力線を備える撮像素子。
6. 請求項４または５に記載の撮像素子において、
   前記第１信号を記憶する第１記憶部と、
   前記第２信号を記憶する第２記憶部と、を備える撮像素子。
7. 請求項４から６のいずれか一項に記載の撮像素子において、
   前記第１信号と前記第２信号とを加算する第１加算部と、
   前記第１加算部で加算された信号を出力する第２出力線と、を備える撮像素子。
8. 請求項７に記載の撮像素子において、
   前記第１加算部で加算された信号を記憶する記憶部を備える撮像素子。
9. 請求項４から８のいずれか一項に記載の撮像素子において、
   前記第３信号または前記第４信号を出力する第３出力線を備える撮像素子。
10. 請求項４から９のいずれか一項に記載の撮像素子において、
    前記第３信号を記憶する第３記憶部と、
    前記第４信号を記憶する第４記憶部と、を備える撮像素子。
11. 請求項４から１０のいずれか一項に記載の撮像素子において、
    前記第３信号と前記第４信号とを加算する第２加算部と、
    前記第２加算部で加算された信号を出力する第４出力線と、を備える撮像素子。
12. 請求項１１に記載の撮像素子において、
    前記第２加算部で加算された信号を記憶する記憶部を備える撮像素子。
13. 請求項１から１２のいずれか一項に記載の撮像素子において、
    前記第１画素はマイクロレンズを有し、前記第１および第２の光電変換部は前記マイクロレンズを透過した光を光電変換し、
    前記第３および第４の光電変換部は前記マイクロレンズと前記第１画素とを透過した光を光電変換する撮像素子。
14. 請求項１から１２のいずれか一項に記載の撮像素子において、
    前記第１画素と前記第２画素との間に焦点位置を有し、前記第１画素よりも光の入射側に設けられるマイクロレンズを備える撮像素子。
15. 請求項１から１２のいずれか一項に記載の撮像素子において、
    前記第１画素または前記第２画素の焦点位置を有し、前記第１画素よりも光の入射側に設けられるマイクロレンズを備える撮像素子。
16. 請求項１から１２のいずれか一項に記載の撮像素子において、
    前記第１画素よりも光の入射側に設けられるマイクロレンズと、
    前記第１画素と前記第２画素との間に設けられるレンズとを備える撮像素子。
17. 請求項１から１６のいずれか一項に記載の撮像素子において、
    前記第１乃至第４の光電変換部は、有機光電膜である撮像素子。
18. 請求項１から１７のいずれか一項に記載の撮像素子において、
    複数の前記第１画素が配置される第１の撮像素子と、複数の前記第２画素が配置される第２の撮像素子とが積層される撮像素子。
19. 請求項１８に記載の撮像素子において、
    前記第２の撮像素子は、前記第１画素と前記第２画素との間に配線層を有する撮像素子。
20. 請求項１８に記載の撮像素子において、
    前記第２の撮像素子は配線層を有し、
    前記第２画素は、前記第１画素と前記配線層との間にある撮像素子。
21. 請求項１８に記載の撮像素子において、
    前記第２の撮像素子は、裏面照射型撮像素子である撮像素子。
22. 光学系による像を撮像する請求項１から２１のいずれか一項に記載の撮像素子と、
    前記第１の光電変換部で生成された電荷に基づく第１信号と前記第２の光電変換部で生成された電荷に基づく第２信号、および前記第３の光電変換部で生成された電荷に基づく第３信号と前記第４の光電変換部で生成された電荷に基づく第４信号の少なくとも一方に基づいて、前記光学系の合焦位置を制御する制御部と、を備える撮像装置。
23. 請求項２２に記載の撮像装置において、
    前記制御部は、前記第１信号と前記第２信号と前記第３信号と前記第４信号との少なくとも１つに基づいて、前記第１信号と前記第２信号、および前記第３信号と前記第４信号の少なくとも一方を選択して、前記光学系の合焦位置を制御する撮像装置。
24. 請求項２２または２３に記載の撮像装置において、
    前記制御部は、前記第１信号と前記第２信号とに基づく第１画像、および前記第３信号と前記第４信号とに基づく第２画像に基づいて、前記第１信号と前記第２信号、および前記第３信号と前記第４信号の少なくとも一方を選択して前記光学系の合焦位置を制御する撮像装置。
25. 請求項２４に記載の撮像装置において、
    前記制御部は、前記第１画像のコントラストと前記第２画像のコントラストに基づいて、前記第１信号と前記第２信号、および前記第３信号と前記第４信号の少なくとも一方を選択して前記光学系の合焦位置を制御する撮像装置。
26. 請求項２５に記載の撮像装置において、
    前記制御部は、前記第１画像のコントラストと前記第２画像のコントラストとが第１閾値未満であると、前記光学系を移動させる撮像装置。
27. 請求項２５または２６に記載の撮像装置において、
    前記制御部は、前記第１画像のコントラストと前記第２画像のコントラストとが第１閾値以上であると、前記第１信号と前記第２信号、および前記第３信号と前記第４信号の少なくとも一方に基づいて前記光学系の合焦位置を制御する撮像装置。
28. 請求項２５から２７のいずれか一項に記載の撮像装置において、
    前記第１画像のコントラストと前記第２画像のコントラストとの差が第２閾値未満であると、前記第１信号と前記第２信号、および前記第３信号と前記第４信号に基づいて前記光学系の合焦位置を制御する撮像装置。
29. 請求項２５から２８のいずれか一項に記載の撮像装置において、
    前記制御部は、前記第１画像のコントラストと前記第２画像のコントラストとの差が第２閾値以上であると、前記第１信号と前記第２信号、または前記第３信号と前記第４信号に基づいて前記光学系の合焦位置を制御する撮像装置。
30. 請求項２９に記載の撮像装置において、
    前記制御部は、前記第１画像のコントラストよりも前記第２画像のコントラストが大きいと、前記第３信号と前記第４信号とに基づいて前記光学系の合焦位置を制御し、
    前記第２画像のコントラストよりも前記第１画像のコントラストが大きいと、前記第１信号と前記第２信号とに基づいて前記光学系の合焦位置を制御する撮像装置。
31. 請求項２４から３０のいずれか一項に記載の撮像装置において、
    前記制御部は、前記第１画像に周期パターン像があると、前記第３信号と前記第４信号とに基づいて前記光学系の合焦位置を制御し、前記第２画像に周期パターン像があると、前記第１信号と前記第２信号とに基づいて前記光学系の合焦位置を制御する撮像装置。
32. 請求項２４から３１のいずれか一項に記載の撮像装置において、
    前記制御部は、前記第１画像において前記第１方向に周期パターン像があると、前記第３信号と前記第４信号とに基づいて前記光学系の合焦位置を制御し、前記第２画像において前記第２方向に周期パターン像があると、前記第１信号と前記第２信号とに基づいて前記光学系の合焦位置を制御する撮像装置。
33. 請求項２２から３２のいずれか一項に記載の撮像装置において、
    前記第１信号および前記第２信号に周期パターンがあると、前記第３信号と前記第４信号とに基づいて前記光学系の合焦位置を制御し、前記第３信号および前記第４信号に周期パターンがあると、前記第１信号と前記第２信号とに基づいて前記光学系の合焦位置を制御する撮像装置。
34. 請求項２２から３３のいずれか一項に記載の撮像装置において、
    前記第１信号および前記第２信号において前記第１方向に周期パターンがあると、前記第３信号と前記第４信号とに基づいて前記光学系の合焦位置を制御し、前記第３信号および前記第４信号に前記第２方向に周期パターンがあると、前記第１信号および前記第２信号とに基づいて前記光学系の合焦位置を制御する撮像装置。
35. 請求項２２から３４のいずれか一項に記載の撮像装置において、
    姿勢を検出する姿勢検出部を備え、
    前記姿勢検出部の検出結果に基づいて、前記第１信号と前記第２信号、および前記第３信号と前記第４信号の少なくとも一方を選択して前記光学系の合焦位置を制御する撮像装置。
36. 請求項３５に記載の撮像装置において、
    前記姿勢検出部の検出結果により、前記第１の方向が水平方向であると、前記第１信号と前記第２信号とに基づいて前記光学系の合焦位置を制御し、前記第２の方向が水平方向であると、前記第３信号と前記第４信号とに基づいて前記光学系の合焦位置を制御する撮像装置。
37. 請求項２２から３６のいずれか一項に記載の撮像装置において、
    前記制御部は、前記光学系による像が前記撮像素子に合焦するようにフォーカスレンズの位置を制御する撮像装置。
38. 請求項２２から３７のいずれか一項に記載の撮像装置において、
    前記第１信号と前記第２信号とに基づく画像信号を生成し、前記第３信号と前記第４信号とに基づく画像信号を生成する生成部を備える撮像装置。
39. 請求項３８に記載の撮像装置において、
    前記生成部は、前記第１信号と前記第２信号とを加算して生成された画像信号と、前記第３信号と前記第４信号とを加算して生成された画像信号とに基づいて、画像信号を生成する撮像装置。
40. 請求項３８または３９に記載の撮像装置において、
    前記生成部は、前記第１信号と前記第２信号とを加算して生成された画像信号と、前記第３信号と前記第４信号とを加算して生成された画像信号とを合成する撮像装置。
41. 請求項３８から４０のいずれか一項に記載の撮像装置において、
    前記第１信号と前記第２信号、および、前記第３信号と前記第４信号の少なくとも一方により被写体の移動方向を検出する検出部を備え、
    前記生成部は、前記検出部が検出した前記被写体の移動方向に基づいて、前記第１信号と前記第２信号とに基づく画像信号を生成、または前記第３信号と前記第４信号とに基づく画像信号を生成する撮像装置。
42. 請求項４１に記載の撮像装置において、
    前記生成部は、前記検出部が検出した前記被写体の移動方向が前記第１の方向であると、前記第３信号と前記第４信号とに基づく画像信号を生成し、前記検出部が検出した前記被写体の移動方向が前記第２の方向であると、前記第１信号と前記第２信号とに基づく画像信号を生成する撮像装置。
43. 請求項４１または４２に記載の撮像装置において、
    前記生成部は、前記検出部が検出した前記被写体の移動方向に基づいて、前記第１信号と前記第２信号とに基づく画像信号、または前記第３信号と前記第４信号とに基づく画像信号を補正する補正部を備える撮像装置。

Images