JP6809562B2 - Image sensor and image sensor - Google Patents
Image sensor and image sensor Download PDFInfo
- Publication number
- JP6809562B2 JP6809562B2 JP2019106430A JP2019106430A JP6809562B2 JP 6809562 B2 JP6809562 B2 JP 6809562B2 JP 2019106430 A JP2019106430 A JP 2019106430A JP 2019106430 A JP2019106430 A JP 2019106430A JP 6809562 B2 JP6809562 B2 JP 6809562B2
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- signal
- unit
- image
- conversion unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 claims description 385
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 28
- 238000001514 detection method Methods 0.000 description 210
- 230000004048 modification Effects 0.000 description 35
- 238000012986 modification Methods 0.000 description 35
- 230000000875 corresponding effect Effects 0.000 description 29
- 210000001747 pupil Anatomy 0.000 description 27
- 230000000737 periodic effect Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 21
- 230000015654 memory Effects 0.000 description 17
- 238000000034 method Methods 0.000 description 11
- 230000004907 flux Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 7
- 239000000758 substrate Substances 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Description
本発明は、撮像素子および撮像装置に関する。 The present invention relates to an image pickup device and an image pickup apparatus.
マイクロレンズと第１および第２の光電変換部とを有する画素が２次元配列された撮像素子を備えたデジタルカメラが知られている（特許文献１）。このデジタルカメラは、第１および第２の光電変換部からの第１および第２の光電変換信号により位相差式の焦点検出を行うと共に、各画素の第１および第２の光電変換信号を加算して画像を生成する。位相差焦点検出は、異なった２方向に瞳分割された一対の像、例えば水平方向と垂直方向とに瞳分割された一対の像に基づく位相差焦点検出を可能にするために、撮像素子は、第１および第２の光電変換部が水平方向に並んだ第１の画素と、第１および第２の光電変換部が垂直方向に並んだ第２の画素とを有する。このような第１および第２の画素によって、縦縞パターンまたは横縞パターンをそれぞれ多く含む被写体パターンに対して、良好な位相差焦点検出を可能にしている。 A digital camera including an image sensor in which pixels having a microlens and first and second photoelectric conversion units are two-dimensionally arranged is known (Patent Document 1). This digital camera performs phase difference type focus detection by the first and second photoelectric conversion signals from the first and second photoelectric conversion units, and adds the first and second photoelectric conversion signals of each pixel. To generate an image. In order to enable phase difference focus detection based on a pair of images whose pupils are divided in two different directions, for example, a pair of images whose pupils are divided in the horizontal direction and the vertical direction, the image sensor is used. , The first pixel in which the first and second photoelectric conversion units are arranged in the horizontal direction and the second pixel in which the first and second photoelectric conversion units are arranged in the vertical direction are provided. Such first and second pixels enable good phase difference focus detection for a subject pattern containing a large number of vertical stripe patterns or horizontal stripe patterns.
上述のデジタルカメラは、同一の被写体像を異なった方向に瞳分割することができないという問題がある。 The above-mentioned digital camera has a problem that the same subject image cannot be divided into pupils in different directions.
第１の態様によると、撮像素子は、第１の方向に配置され、光を光電変換して電荷を生成する第１の光電変換部および第２の光電変換部と、前記第１の方向とは異なる第２の方向に配置され、前記第１の光電変換部と前記第２の光電変換部とを透過した光を光電変換して電荷を生成する第３の光電変換部および第４の光電変換部と、前記第１の光電変換部で生成された電荷に基づく信号および前記第２の光電変換部で生成された電荷に基づく信号の少なくとも一方を出力する信号線と、前記第３の光電変換部で生成された電荷に基づく信号および前記第４の光電変換部で生成された電荷に基づく信号の少なくとも一方を出力する信号線と、を備える。 According to the first aspect, the image pickup element is arranged in the first direction, and has a first photoelectric conversion unit and a second photoelectric conversion unit that photoelectrically convert light to generate electric charges, and the first direction. Are arranged in different second directions, and the third photoelectric conversion unit and the fourth photoelectric conversion unit and the fourth photoelectric conversion unit generate electric charges by photoelectrically converting the light transmitted through the first photoelectric conversion unit and the second photoelectric conversion unit. A conversion unit, a signal line that outputs at least one of a charge-based signal generated by the first photoelectric conversion unit and a charge-based signal generated by the second photoelectric conversion unit, and the third photoelectric conversion unit. It includes a signal line that outputs at least one of a charge-based signal generated by the conversion unit and a charge-based signal generated by the fourth photoelectric conversion unit .
（第１の実施の形態）
図１は、第１の実施の形態によるデジタルカメラ１の構成を例示する図である。デジタルカメラ１は、撮影光学系１０、撮像部１１、制御部１２、操作部１３、画像処理部１４、液晶やＥＬなどのディスプレー、すなわちモニタ１５、バッファメモリ１６を有する。また、デジタルカメラ１には、メモリカード１７が装着されている。メモリカード１７は、不揮発性のフラッシュメモリなどから構成され、デジタルカメラ１に対して着脱可能である。
(First Embodiment)
FIG. 1 is a diagram illustrating the configuration of the
撮影光学系１０は、複数のレンズにより構成され、撮像部１１の撮像面に被写体像を結像させる。撮影光学系１０を構成する複数のレンズには、焦点調節のために光軸方向に駆動されるフォーカスレンズが含まれる。フォーカスレンズは、不図示のレンズ駆動部により光軸方向に駆動される。
The photographing
撮像部１１は、互いに積層された第１および第２の撮像素子２１，２２と、増幅回路２３と、ＡＤ変換回路２４とを有する。第１および第２の撮像素子２１，２２の各々は、２次元状に配列された複数の画素から構成され、入射光、すなわち、撮影光学系１０を介して被写体からの可視光の光束を受光し、光電変換を行って光電変換信号を出力する。第１および第２の撮像素子２１，２２の各画素は、後に詳述するように、撮影光学系１０の瞳の一対の領域を通過した一対の光束をそれぞれ受光する第１および第２の光電変換部を有し、各画素の第１および第２の光電変換部は、それぞれアナログの第１および第２の光電変換信号を出力する。これらの第１および第２の光電変換信号は、後述するように位相差式焦点検出用の信号として使用されると共に、画像用信号として使用される。
増幅回路２３は、第１および第２の光電変換信号を所定の増幅率（ゲイン）で増幅してＡＤ変換回路２４に出力する。ＡＤ変換回路２４は、第１および第２の光電変換信号をＡＤ変換する。
The image pickup unit 11 has first and second
The
制御部１２は、マイクロプロセッサおよびその周辺回路から構成され、不図示のＲＯＭに格納された制御プログラムを実行することにより、デジタルカメラ１の各種の制御を行う。また、制御部１２は、焦点検出部１２ａと画像生成部１２ｂと焦点検出エリア設定部１２ｃを機能的に有する。これらの各機能部１２ａ、１２ｂ、１２ｃは、上記の制御プログラムによりソフトウェア的に実装される。なお、これらの各機能部を電子回路により構成することも可能である。
The
制御部１２は、ＡＤ変換回路２４によってＡＤ変換された第１および第２の光電変換信号をバッファメモリ１６に格納する。焦点検出部１２ａは、バッファメモリ１６に格納された第１の撮像素子２１の第１および第２の光電変換信号に基づき、およびバッファメモリ１６に格納された第２の撮像素子２２の第１および第２の光電変換信号に基づき、それぞれ撮影光学系１０の焦点調節状態を検出する。
画像生成部１２ｂは、バッファメモリ１６に格納された第１および第２の撮像素子２１，２２の各々の第１および第２の光電変換信号に基づき画像信号を生成する。すなわち、画像生成部１２ｂは、第１の撮像素子２１の各画素の第１および第２の光電変換信号を加算して第１の画像信号を生成すると共に、第２の撮像素子２２の各画素の第１および第２の光電変換信号を加算して第２の画像信号を生成する。
The
The
画像処理部１４は、ＡＳＩＣ等により構成されている。画像処理部１４は、画像生成部１２ｂからの第１および第２の画像信号に対して、補間処理、圧縮処理、ホワイトバランス処理などの各種の画像処理を行って第１および第２の画像データを生成する。これらの第１および第２の画像データは、モニタ１５に表示されたり、メモリカード１７に格納されたりする。
The image processing unit 14 is composed of an ASIC or the like. The image processing unit 14 performs various image processing such as interpolation processing, compression processing, and white balance processing on the first and second image signals from the
操作部１３は、レリーズ操作部材やモード切り替え操作部材や焦点検出エリア設定用の操作部材や電源操作部材などの各種の操作部材から構成され、撮影者により操作される。操作部１３は、撮影者による上記の各操作部材の操作に応じた操作信号を制御部１２へ出力する。
焦点検出エリア設定部１２ｃは、焦点検出エリア設定用の操作部材の操作に応じて、撮影画面内に所定の領域の焦点検出エリアを設定する。焦点検出エリア設定部１２ｃと焦点検出エリア設定用の操作部材とによる焦点検出エリアの設定方法は、以下に詳述するように種々の方法がある。例えば、撮影者が焦点検出エリア設定用の操作部材を操作すると、焦点検出エリア設定部１２ｃが焦点検出エリア設定用の操作部材の操作に応じた撮影画面の任意の位置に所定の領域の焦点検出エリアを設定する。または、撮影画面の複数個所に予め焦点検出エリアを用意しておき、撮影者が焦点検出エリア設定用の操作部材を操作してその複数の焦点検出エリアから一つの焦点検出エリアを選択すると、焦点検出エリア設定部１２ｃがその選択に応じて焦点検出エリアを設定する。更には、デジタルカメラ１が被写体人物の顔などを撮像画像から認識する被写体認識部を備える場合には、被写体認識部によって被写体人物の顔を認識すると、焦点検出エリア設定部１２ｃがその顔部分に焦点検出エリアを設定することもできる。この場合には、焦点検出エリア設定用の操作部材は、被写体認識部による被写体人物の顔の認識結果によって自動的に焦点検出エリアを設定するモードを選択するための操作部材となる。なお、焦点検出エリア設定部１２ｃが上述のように焦点検出対象領域として設定した焦点検出エリアを設定焦点検出エリアと称する。
The operation unit 13 is composed of various operation members such as a release operation member, a mode switching operation member, a focus detection area setting operation member, and a power supply operation member, and is operated by the photographer. The operation unit 13 outputs an operation signal corresponding to the operation of each of the above operation members by the photographer to the
The focus detection
（第１および第２の撮像素子２１，２２の説明）
図２は、本実施形態に係る第１および第２の撮像素子２１，２２の概要を示す図である。第１の撮像素子２１は、有機光電膜を光電変換部とする撮像素子であり、第２の撮像素子２２は、半導体基板に形成されたフォトダイオードを光電変換部とする撮像素子である。第１の撮像素子２１は、第２の撮像素子２２に積層され、第１および第２の撮像素子２１，２２は、図１に示した撮影光学系１０の光軸が第１および第２の撮像素子２１，２２の各々の撮像面の中心を通るように、撮影光学系１０の光路中に配置されている。なお、第１および第２の撮像素子２１，２２は、図２では、図の複雑化を避けるために４行×３列の画素２１０，２２０のみが示されているが、本第１の実施の形態では、共に、ｍ行×ｎ列の画素が配列され、第１の撮像素子２１の各画素と第２の撮像素子２２の各画素とは、共に同一サイズである。
(Explanation of First and
FIG. 2 is a diagram showing an outline of the first and second
第１の撮像素子２１の各画素２１０は、所定の色成分の光を吸収（光電変換）する有機光電膜を有する。第１の撮像素子２１で吸収（光電変換）されなかった色成分の光は、第１の撮像素子２１を透過して第２の撮像素子２２に入射し、第２の撮像素子２２で光電変換される。なお、第１の撮像素子２１で光電変換される色成分と、第２の撮像素子２２で光電変換される色成分とは、補色関係である。すなわち、後述するように、第１の撮像素子２１の画素２１０のうち、マゼンタの色成分を吸収し光電変換する画素の真後ろに位置する第２の撮像素子２２の画素２２０には、マゼンタと補色関係にある緑の色成分の光が入射する。第１の撮像素子２１の画素２１０のうち、イエローの色成分を吸収し光電変換する画素の真後ろに位置する第２の撮像素子２２の画素２２０には、イエローと補色関係にある青の色成分の光が入射する。第１の撮像素子２１の画素２１０のうち、シアンの色成分を吸収し光電変換する画素の真後ろに位置する第２の撮像素子２２の画素２２０には、シアンと補色関係にある赤の色成分の光が入射する。
このように、第１の撮像素子２１の各画素２１０は、当該画素２１０の真後ろに位置する第２の撮像素子２２の画素２２０と対応関係にあり、すなわち、第１の撮像素子２１の各画素２１０は、自身を通過した光束を受光する第２の撮像素子２２の画素２２０と対応関係にあり、このような対応関係にある第１および第２の撮像素子２１，２２の画素２１０，２２０は、互いに補色関係の色成分を吸収して光電変換する。このような互いに対応関係にある第１および第２の撮像素子２１，２２の画素２１０，２２０を対応関係の画素と称する。
Each
As described above, each
図３は、第１の撮像素子２１の一部である１０行×６列の画素２１０の配置と、第２の撮像素子２２の一部である１０行×６列の画素２２０の配置と、をそれぞれ示す図である。図３（ａ）において、第１の撮像素子２１について、画素２１０に付された「Ｍｇ」は、その画素がマゼンタの色成分を吸収し光電変換する画素、すなわち、マゼンタの分光感度を有する画素を示し、同様に、画素２１０に付された「Ｙｅ」は、その画素がイエローの色成分を吸収し光電変換する画素、すなわち、イエローの分光感度を有する画素を示し、画素２１０に付された「Ｃｙ」は、その画素がシアンの色成分を吸収し光電変換する画素、すなわち、シアンの分光感度を有する画素を示す。第１の撮像素子２１は、奇数行の画素列では、「Ｍｇ」画素２１０と「Ｙｅ」画素２１０が交互に配列され、偶数行の画素列では、「Ｃｙ」画素２１０と「Ｍｇ」画素２１０とが交互に配列されている。
なお、「Ｍｇ」画素２１０は、一般には、マゼンタの色成分をそれぞれ１００％吸収することはできず、「Ｙｅ」画素２１０は、一般には、イエローの色成分をそれぞれ１００％吸収することはできず、「Ｃｙ」画素２１０は、一般には、シアンの色成分をそれぞれ１００％吸収することはできず、それらの色成分の一部が画素を通過してしまうものである。
FIG. 3 shows an arrangement of 10 rows × 6 columns of
In general, the "Mg"
図３（ｂ）において、第２の撮像素子２２について、画素２２０に付された「Ｇ」は、その画素が緑の色成分を吸収し光電変換する画素、すなわち、緑の分光感度を有する画素を示し、同様に、画素２２０に付された「Ｂ」は、その画素が青の色成分を吸収し光電変換する画素、すなわち、青の分光感度を有する画素を示し、画素２２０に付された「Ｒ」は、その画素が赤の色成分を吸収し光電変換する画素、すなわち、赤の分光感度を有する画素を示す。第２の撮像素子２２は、奇数行の画素列では、「Ｇ」画素２２０と「Ｂ」画素２２０が交互に配列され、偶数行の画素列では、「Ｒ」画素２２０と「Ｇ」画素２２０とが交互に配列されている。すなわち、第２の撮像素子２２は、画素がベイヤ配列されている。
図３（ａ）および（ｂ）において、第１の撮像素子２１の「Ｍｇ」画素２１０と第２の撮像素子２２の「Ｇ」画素２２０とは、対応関係にあり、第１の撮像素子２１の「Ｙｅ」画素２１０と第２の撮像素子２２の「Ｂ」画素２２０とは、対応関係にあり、第１の撮像素子２１の「Ｃｙ」画素２１０と第２の撮像素子２２の「Ｒ」画素２２０とは、対応関係にある。
In FIG. 3B, with respect to the second
In FIGS. 3A and 3B, the “Mg”
このように、有機光電膜で構成される第１の撮像素子２１が第２の撮像素子２２に対してカラーフィルターの役割を果たし、第２の撮像素子２２から第１の撮像素子２１の補色画像（図３の例ではベイヤー配列の画像）が得られる。したがって、第１の撮像素子２１からはＣｙ，Ｍｇ，Ｙｅの３色からなるＣＭＹ画像を取得することができ、第２の撮像素子２２からはＲ，Ｇ，Ｂの３色からなるＲＧＢ画像を取得することができる。このように、第１の撮像素子２１が従来の撮像素子で必要であったカラーフィルターの代わりとなるため、カラーフィルターで吸収されてしまっていた入射光を第１の撮像素子２１により有効に利用することができる。なお、第１の撮像素子２１のＣＭＹ画像は、後に詳述するように公知の表色系変換処理によってＲＧＢ画像に変換されて、第１の画像信号になる。
As described above, the
次に、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部と、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部との位置関係を説明する。図３（ａ）において、第１の撮像素子２１の各画素２１０は、第１および第２の光電変換部２１０ａおよび２１０ｂを有する。これらの第１および第２の光電変換部２１０ａと２１０ｂは、列方向、すなわち図３（ａ）で上下方向に配列されている。また、図３（ｂ）において、第２の撮像素子２２の各画素２２０は、第１および第２の光電変換部２２０ａおよび２２０ｂを有する。これらの第１および第２の光電変換部２２０ａと２２０ｂは、行方向、すなわち図３（ｂ）で左右方向に配列されている。以上のように、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂと、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂとは、互いに直交するように配列されている。
Next, the positional relationship between the first and second photoelectric conversion units of each
また、第１の撮像素子２１は、後述するように、画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂからの第１および第２の光電変換信号が列単位で読み出される。すなわち、第１の撮像素子２１は例えば、左端の列に位置する１０個の画素２１０の第１および第２の光電変換信号が同時に読み出され、次いで、左端の右隣の列に位置する１０個の画素２１０の第１および第２の光電変換信号が同時に読み出され、以下同様に、順次右隣に位置する列の１０個の画素２１０の第１および第２の光電変換信号が読み出される。
Further, in the
他方、第２の撮像素子２２は、画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂからの第１および第２の光電変換信号が行単位で読み出される。すなわち、第２の撮像素子２２は例えば、上端の行に位置する６個の画素２２０の第１および第２の光電変換信号が同時に読み出され、次いで、その下の行に位置する６個の画素２２０の第１および第２の光電変換信号が同時に読み出され、以下同様に、順次各行の６個の画素２２０の第１および第２の光電変換信号が読み出される。
なお、第１の撮像素子２１の各画素２１０の回路例は、たとえば、国際公開第２０１３／１０５４８１号公報に開示されている。
On the other hand, in the
A circuit example of each
図４は、第１および第２の撮像素子２１，２２の一画素２１０，２２０の構成を示す断面図である。図４に示すように、第２の撮像素子２２は、半導体基板５０に形成され、各画素２２０は、紙面に垂直方向に配列された第１および第２の光電変換部２２０ａ，２２０ｂを有する。第２の撮像素子２２の表面、すなわち、上面には平坦化層５５を介して第１の撮像素子２１が積層されている。この平坦化層５５内には、配線層５１が形成されている。なお、図４では、配線層５１は３層構造になっているが２層構造であってもよい。
FIG. 4 is a cross-sectional view showing the configuration of one
第１の撮像素子２１の各画素２１０は、有機光電膜２３０と、有機光電膜２３０の上面に形成された透明な共通電極２３１と、有機光電膜２３０の下面に形成された透明な第１および第２の部分電極２３２ａ，２３２ｂとを有する。第１および第２の部分電極２３２ａ，２３２ｂは、上述のように、紙面で左右方向、すなわち、第２の撮像素子２２の第１および第２の光電変換部２２０ａ，２２０ｂの配列方向と直交する方向に配列されている。第１の撮像素子２１の各画素２１０は、有機光電膜２３０と共通電極２３１と第１の部分電極２３２ａとが第１の光電変換部２１０ａを構成し、有機光電膜２３０と共通電極２３１と第２の部分電極２３２ｂとが第２の光電変換部２１０ｂを構成する。
また、第１の撮像素子２１の各画素２１０の上方には、それぞれマイクロレンズ２３３が配置され、各マイクロレンズ２３３と第１の撮像素子２１の各画素２１０と第２の撮像素子２２の各画素２２０とはマイクロレンズ２３３の光軸方向に、整列配置されている。
Each
Further,
また、マイクロレンズ２３３の焦点２３３Ｆは、第１の撮像素子２１と第２の撮像素子２２との中間に位置する。すなわち、マイクロレンズ２３３の焦点面（すなわち、焦点２３３Ｆを含むマイクロレンズ２３３の光軸に垂直な面）と第１の撮像素子２１の第１および第２の光電変換部との距離は、マイクロレンズ２３３の焦点面と第２の撮像素子２２の第１および第２の光電変換部との距離に等しく定められている。第１および第２の撮像素子２１，２２の間隔は比較的小さく、かつマイクロレンズ２３３の焦点２３３Ｆが上述のように第１の撮像素子２１と第２の撮像素子２２との中間に位置しているので、マイクロレンズ２３３に関して第１の撮像素子２１の第１および第２の光電変換部と共役な面（以下にこの共役な面を第１の測距瞳面と称する）は、マイクロレンズ２３３に関して第２の撮像素子２２の第１および第２の光電変換部と共役な面（以下にこの共役な面を第２の測距瞳面と称する）に対して、図１に示した撮影光学系１０の光軸方向に近傍に位置する。すなわち、第１および第２の測距瞳面は、互いに撮影光学系１０の光軸方向に近傍に位置する。
Further, the
以上のようにマイクロレンズ２３３と第１および第２の撮像素子２１，２２とが配置されているので、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂは、第１の測距瞳面の第１および第２の瞳領域をそれぞれ通過した一対の光束をそれぞれ受光し、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂは、第２の測距瞳面の第３および第４の瞳領域をそれぞれ通過した一対の光束をそれぞれ受光する。なお、第１の測距瞳面の第１および第２の瞳領域の並び方向と第２の測距瞳面の第３および第４の瞳領域の並び方向とは、互いに直交している。
Since the
図１に示した焦点検出部１２ａは、後述のように第１の撮像素子２１の列方向に配列された複数の画素２１０の第１および第２の光電変換信号に基づき、第１および第２の瞳領域を通過した一対の光束によって形成される一対の像のズレ量、すなわち位相差を検出して、この像ズレ量に基づきデフォーカス量を算出する。また、焦点検出部１２ａは、第２の撮像素子２２の行方向に配列された複数の画素２２０の第１および第２の光電変換信号に基づき、第３および第４の瞳領域を通過した一対の光束によって形成される一対の像のズレ量、すなわち位相差を検出して、この像ズレ量に基づきデフォーカス量を算出する。
The
（撮像素子２１の回路構成）
図５は、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａおよび２１０ｂの光電変換信号の読み出し回路を単純化して示した図である。図５において、第１の撮像素子２１は、列走査回路１５１と第１および第２の水平出力回路１５２，１５３と有する。列走査回路１５１は、列方向、すなわち、図５では上下方向に配列された複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対する信号読み出し用のタイミング信号Ｒ（ｎ）を出力する。詳述すると、列走査回路１５１は、第１列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対するタイミング信号Ｒ（１）を出力する。
(Circuit configuration of image sensor 21)
FIG. 5 is a simplified diagram showing the photoelectric conversion signal reading circuits of the first and second
タイミング信号Ｒ（１）に応じて、第１列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号がそれぞれ第１および第２の水平出力回路１５２，１５３に同時に読み出される。本第１の実施の形態では、第１の光電変換部２１０ａの第１の光電変換信号が第１の水平出力回路１５２に読み出され、第２の光電変換部２１０ｂの第２の光電変換信号が第２の水平出力回路１５３に読み出される。第１の水平出力回路１５２は、読み出した第１列目画素の第１の光電変換部２１０ａの第１の光電変換信号を順次、出力部１５２Ａから出力し、同様に、第２の水平出力回路１５３は、読み出した第１列目画素の第２の光電変換部２１０ｂの第２の光電変換信号を順次、出力部１５３Ａから出力する。
According to the timing signal R (1), the first and second photoelectric conversion signals of the first and second
次いで、列走査回路１５１は、第２列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対するタイミング信号Ｒ（２）を出力する。タイミング信号Ｒ（２）に応じて、第２列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号がそれぞれ第１および第２の水平出力回路１５２，１５３に同時に読み出される。第１および第２の水平出力回路１５２，１５３は、それぞれ読み出した第２列目画素の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号を順次、出力部１５２Ａ，１５３Ａから出力する。
以下同様に、列走査回路１５１は、第（ｎ）列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対するタイミング信号Ｒ（ｎ）を出力する。タイミング信号Ｒ（ｎ）に応じて第（ｎ）列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号がそれぞれ第１および第２の水平出力回路１５２，１５３に同時に読み出され、第１および第２の水平出力回路１５２，１５３の出力部１５２Ａ，１５３Ａから順次、出力される。
Next, the
Similarly, the
第１の水平出力回路１５２から出力された第１の光電変換信号と第２の水平出力回路１５３から出力された第２の光電変換信号は、図１に示されたバッファメモリ１６を介して焦点検出部１２ａおよび画像生成部１２ｂに送られ、焦点検出部１２ａは、同時に読み出された第ｎ列目の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号に基づき、位相差焦点検出演算を行う。また、画像生成部１２ｂは、各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの光電変換信号を加算して、画像信号を生成する。
The first photoelectric conversion signal output from the first
図６は、第２の撮像素子２２の各画素の第１および第２の光電変換部２２０ａおよび２２０ｂの光電変換信号の読み出し回路を単純化して示した図である。図６において、第２の撮像素子２２は、行走査回路１６１と第１および第２の水平出力回路１６２，１６３とを有する。第２の撮像素子２２の第１および第２の光電変換部２２０ａ，２２０ｂの光電変換信号に関する信号読み出し回路１６１，１６２，１６３は、図５に示した第１の撮像素子２２の信号読み出し回路１５１，１５２，１５３に類似しているので、以下の説明では、相違している点を説明する。
FIG. 6 is a simplified diagram showing the photoelectric conversion signal reading circuits of the first and second
行走査回路１６１は、行方向、図６では、左右方向に配列された複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂに対して信号読み出し用のタイミング信号Ｒ（ｍ）を出力する。すなわち、行走査回路１６１は、第１行目の複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂに対して信号読み出し用のタイミング信号Ｒ（１）を出力し、次いで、第２行目の複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂに対して信号読み出し用のタイミング信号Ｒ（２）を出力し、その後、順次、第（ｍ）行目の複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂに対して信号読み出し用のタイミング信号Ｒ（ｍ）を出力する。
The
タイミング信号Ｒ（ｍ）に応じて、第１の水平出力回路１６２は、第（ｍ）行目の複数の画素２２０の第１の光電変換部２２０ａの第１の光電変換信号を同時に読み出し、同様に、第２の水平出力回路１６３は、第（ｍ）行目の複数の画素２２０の第２の光電変換部２２０ｂの第２の光電変換信号を同時に読み出す。
第１の水平出力回路１６２は、読み出した第１の光電変換部２２０ａの第１の光電変換信号を出力部１６２Ａから出力し、第２の水平出力回路１６３は、読み出した第２の光電変換部２２０ｂの第２の光電変換信号を出力部１６３Ａから出力する。
In response to the timing signal R (m), the first
The first
第１の水平出力回路１６２から出力された第１の光電変換信号と第２の水平出力回路１６３から出力された第２の光電変換信号は、図１に示されたバッファメモリ１６を介して焦点検出部１２ａおよび画像生成部１２ｂに送られ、焦点検出部１２ａは、同時に読み出された第（ｍ）行目の第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号に基づき、位相差焦点検出演算を行う。また、画像生成部１２ｂは、各画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号を加算して、画像信号を生成する。
The first photoelectric conversion signal output from the first
なお、図５に示した第１の撮像素子２１の信号読み出し回路例と、図６に示した第２の撮像素子２２の信号読み出し回路例とは共に、図４に示した第２の撮像素子２２の半導体基板５０上に形成され、配線層５１によって、それぞれ第１および第２の撮像素子２１，２２の各画素２１０、２２０に接続されている。
Both the signal readout circuit example of the first
図７は、図１に示した焦点検出部１２ａの果たす機能を詳細に示したブロック図である。焦点検出部１２ａは、第１および第２の焦点検出信号取得部１２０，１２１と、第１および第２のコントラスト検出部１２２，１２３と、判定部１２４と、選択部１２５と、相関演算部１２６と、デフォーカス量算出部１２７とを有する。
焦点検出エリア設定部１２ｃは、焦点検出対象領域として設定した設定焦点検出エリアに関する位置情報を出力する。第１の焦点検出信号取得部１２０は、第１の撮像素子２１について、図５の第１および第２の水平出力回路１５２，１５３から出力される第１および第２の光電変換信号のうち、焦点検出エリア設定部１２ｃによって設定された設定焦点検出エリアに対応する位置に列方向に配列された複数の画素２１０からの第１および第２の光電変換信号を取得する。
FIG. 7 is a block diagram showing in detail the function performed by the
The focus detection
同様に、第２の焦点検出信号取得部１２１は、第２の撮像素子２２について、図６に示された第１および第２の水平出力回路１６２，１６３から出力される第１および第２の光電変換信号のうち、焦点検出エリア設定部１２ｃによって設定された設定焦点検出エリアに対応する位置に行方向に配列された複数の画素２２０からの第１および第２の光電変換信号を取得する。
Similarly, the second focus detection
このようにして、第１の焦点検出信号取得部１２０は、第１の撮像素子２１について、設定焦点検出エリアに対応した列方向配列の複数の画素２１０から同時に読み出された第１および第２の光電変換信号を取得する。第１の焦点検出信号取得部１２０が取得した第１の撮像素子２１に関する第１および第２の光電変換信号を第１の焦点検出信号を称する。また、第２の焦点検出信号取得部１２１は、第２の撮像素子２２について、設定焦点検出エリアに対応した行方向配列の複数の画素２２０から同時に読み出された第１および第２の光電変換信号を取得する。第２の焦点検出信号取得部１２１が取得した第２の撮像素子２２に関する第１および第２の光電変換信号を第２の焦点検出信号を称する。
In this way, the first focus detection
なお、第１および第２の焦点検出信号は、それぞれ、同一の分光感度の画素の第１および第２の光電変換信号から構成される。具体的には、第１の撮像素子２１に関する第１の焦点検出信号は、図３（ａ）において、列方向に一つ置き配列されたＭｇ画素２１０の第１および第２の光電変換信号が選択される。同様に、第２の撮像素子２２に関する第２の焦点検出信号は、図３（ｂ）において、行方向に一つ置き配列されたＧ画素２２０の第１および第２の光電変換信号が選択される。勿論、第１の焦点検出信号は、Ｍｇ画素の第１および第２の光電変換信号に限らず、Ｃｙ画素またはＹｅ画素の第１および第２の光電変換信号を使用することもできるし、第２の焦点検出信号は、Ｇ画素の第１および第２の光電変換信号に限らず、Ｒ画素またはＢ画素の第１および第２の光電変換信号を使用することもできる。
The first and second focus detection signals are composed of first and second photoelectric conversion signals of pixels having the same spectral sensitivity, respectively. Specifically, the first focus detection signal relating to the
第１のコントラスト検出部１２２は、第１の焦点検出信号取得部１２０が取得した第１の焦点検出信号に基づいて、設定焦点検出エリアにおける被写体像の第１のコントラスト量を算出する。なお、このコントラスト量は、第１の焦点検出信号取得部１２０が取得した隣接画素に関する第１の光電変換信号または第２の光電変換信号（または第１および第２の光電変換信号の加算信号）の差分を積算して算出する。なお、この第１のコントラスト量は、設定焦点検出エリア内において第１の撮像素子２１の列方向配列の複数の画素２１０上に形成される被写体像のコントラスト量である。
The first
第２のコントラスト検出部１２３は、第１のコントラスト検出部１２２と同様に、第２の焦点検出信号取得部１２１が取得した第２の焦点検出信号に基づいて、第１のコントラスト検出部１２２と同様に、設定焦点検出エリアにおける被写体像の第２のコントラスト量を算出する。この第２のコントラスト量は、設定エリア内において第２の撮像素子２２の行方向配列の複数の画素２２０上に形成される被写体像のコントラスト量である。
Similar to the first
判定部１２４は、第１および第２のコントラスト量の少なくとも一方が第１の閾値以上であるか否かを判定する。この第１の閾値は、第１の閾値以上のコントラスト量の焦点検出信号が位相差焦点検出に有効に使用することができるように、定められる。従って、判定部１２４は、第１および第２のコントラスト量の両方が第１の閾値未満である場合には、設定焦点検出エリアにおける被写体像が非常にボケている、すなわち非常に大デフォーカス状態であると、判断して、撮影レンズ１０のフォーカスレンズをスキャン駆動させる。
The
判定部１２４は、第１および第２のコントラスト量の少なくとも一方が第１の閾値以上である場合に第１のコントラスト量と第２のコントラスト量との差が第２の閾値以上であるか否かを判定する。判定部１２４は、第１および第２のコントラスト量の差が第２の閾値以上である場合は、第１および第２のコントラスト量のうち、コントラスト量の大きい方の焦点検出信号は位相差焦点検出に適するが、コントラスト量の小さい方の焦点検出信号は位相差焦点検出に適さないと、判断する。判定部１２４は、第１および第２のコントラスト量の差が第２の閾値未満である場合は、この第１および第２の焦点検出信号が共に位相差焦点検出に適すると判断する。
When at least one of the first and second contrast amounts is equal to or greater than the first threshold value, the
選択部１２５は、判定部１２４の出力信号に基づき、第１および第２の焦点検出信号取得部１２０，１２１の第１および第２の焦点検出信号の一方、またはその両方を選択して、相関演算部１２６に送出する。詳述すると、選択部１２５は、第１および第２のコントラスト量の差が第２の閾値以上である場合には、第１のコントラスト量が第２のコントラスト量よりも大きいときに、第１の焦点検出信号取得部１２０の第１の焦点検出信号を選択して相関演算部１２６に出力し、第２のコントラスト量が第１のコントラスト量よりも大きいときに、第２の焦点検出信号取得部１２１の第２の焦点検出信号を選択して相関演算部１２６に出力する。また、選択部１２５は、第１および第２のコントラスト量の差が第２の閾値未満である場合は第１および第２の焦点検出信号取得部１２０，１２１の第１および第２の焦点検出信号の両方を選択して相関演算部１２６に出力する。
The
相関演算部１２６は、選択部１２５から第１の焦点検出信号が入力された場合には、第１の焦点検出信号に基づき相関演算を行って第１の像ズレ量を算出し、選択部１２５から第２の焦点検出信号が入力された場合には、第２の焦点検出信号に基づき相関演算を行って第２の像ズレ量を算出し、選択部１２５から第１および第２の焦点検出信号が入力された場合には、第１の焦点検出信号に基づき相関演算を行って第１の像ズレ量を算出すると共に第２の焦点検出信号に基づき相関演算を行って第２の像ズレ量を算出する。
When the first focus detection signal is input from the
デフォーカス量算出部１２７は、相関演算部１２６の相関演算結果、すなわち像ズレ量に基づき、デフォーカス量を算出する。このデフォーカス量に基づき、撮影光学系の焦点調節が行われる。なお、上述のように、選択部１２５が第１および第２の焦点検出信号の両方を選択した場合には、デフォーカス量算出部１２７は、第１の焦点検出信号に基づく第１のデフォーカス量と第２の焦点検出信号に基づく第２のデフォーカス量との平均値を算出してそれを最終デフォーカス量とする。この最終デフォーカス量に基づき撮影光学系の焦点調節が行われる。
The defocus
このように、第１の撮像素子２１の列方向に配列された複数の画素２１０から第１および第２の光電変換信号が同時に読み出されるように読み出し回路を構成し、同時に読み出された第１および第２の光電変換信号、すなわち第１の焦点検出信号に基づいて位相差焦点検出演算を行うように構成した。同様に、第２の撮像素子２２の行方向に配列された複数の画素２２０から第１および第２の光電変換信号が同時に読み出されるように読み出し回路を構成し、同時に読み出された第１および第２の光電変換信号、すなわち第２の焦点検出信号に基づいて位相差焦点検出演算を行うように構成した。これにより、同時に読み出された第１の焦点検出信号により、または、同時に読み出された第２の焦点検出信号により位相差焦点検出演算を行えば、デフォーカス量の算出精度が高くなるので、撮影光学系１０の焦点調節精度が向上し、撮像して得られる画像の画質を向上できる。
In this way, the reading circuit is configured so that the first and second photoelectric conversion signals are simultaneously read from the plurality of
図８は、本第１の焦点検出動作を表すフローチャートである。図８に示す焦点検出処理は、制御部１２が実行する制御プログラムに含まれる。撮影者により所定の焦点検出操作、例えばレリーズ操作部材の半押し操作などが行われると、制御部１２は、図８に示す焦点検出処理を開始する。
図７および図８において、ステップＳ１で第１の撮像素子２１および第２の撮像素子２２は、撮影光学系１０によって結像された被写体像をそれぞれ撮像する。第１の撮像素子２１は、列方向に配列された複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号が同時に読み出される。第２の撮像素子２２は、行方向に配列された複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号が同時に読み出される。第１または第２の撮像素子２１，２２からの第１および第２の光電変換信号は、図１の画像生成部１２ｂで加算されて第１または第２の画像信号となり、図１の画像処理部１４で画像処理されて、図１のモニタ１５にスルー画像として表示される。なお、スルー画像は、第１の撮像素子２１からの第１の画像信号に基づいて表示されても、第２の撮像素子２２の第２の画像信号に基づいて表示されてもよい。
FIG. 8 is a flowchart showing the first focus detection operation. The focus detection process shown in FIG. 8 is included in the control program executed by the
In FIGS. 7 and 8, in step S1, the
ステップＳ２において、図１の焦点検出エリア設定部１２ｃによって撮影画面内に設定焦点検出エリアが設定される。ステップＳ３において、第１の焦点検出信号取得部１２０は、第１の撮像素子２１から出力された第１および第２の光電変換信号のうち、設定焦点検出エリアに対応する列方向配列の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号を、第１の焦点検出信号として、取得する。同様に、第２の焦点検出信号取得部１２１は、第２の撮像素子２２から出力された第１および第２の光電変換信号のうち、設定焦点検出エリアに対応する行方向配列の複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号を、第２の焦点検出信号として、取得する。
In step S2, the set focus detection area is set in the shooting screen by the focus detection
ステップＳ４において、第１のコントラスト検出部１２２は、第１の焦点検出信号取得部１２０によって取得された第１の焦点検出信号に基づき、設定焦点検出エリアにおける被写体像の第１のコントラスト量を算出する。この第１のコントラスト量は、上述のように、第１の撮像素子２１の画素２１０の列方向のコントラスト量である。同様に第２のコントラスト検出部１２３は、第２の焦点検出信号取得部１２１によって取得された第２の焦点検出信号に基づき、設定焦点検出エリアにおける被写体像の第２のコントラスト量を算出する。この第２のコントラスト量は、上述のように、第２の撮像素子２２の画素２２０の列方向のコントラスト量である。
In step S4, the first
ステップＳ５において、判定部１２４が第１および第２のコントラスト量の少なくとも一方が第１の閾値以上であるか否かを判定し、否定判定の場合には、ステップＳ６に進み、肯定判定の場合にステップＳ７に進む。ステップＳ６では、設定焦点検出エリアにおける被写体像が非常にボケている、すなわち非常に大デフォーカス状態であると判断して、撮影レンズ１０のフォーカスレンズをスキャン駆動させる。ステップＳ７では、判定部１２４が第１のコントラスト量と第２のコントラスト量との差が第２の閾値以上であるか否かを判定し、肯定判定の場合にステップＳ８に進み、否定判定の場合に、ステップＳ９に進む。ステップＳ８では、第１のコントラスト量が第２のコントラスト量よりも大きいか否かを判定し、肯定判定の場合に、ステップＳ１０に進み、否定判定の場合にステップＳ１１に進む。
In step S5, the
ステップＳ１０では、第１のコントラスト量が第２のコントラスト量よりも大きい、すなわち、設定焦点検出エリアにおいて、第１の撮像素子２１の列方向のコントラスト量が第２の撮像素子２２の行方向のコントラスト量よりも大きいので、選択部１２４が第１の焦点検出信号取得部１２０の第１の焦点検出信号を選択して相関演算部１２６が第１の焦点検出信号に基づき相関演算を行い、デフォーカス量算出部１２７がこの相関演算結果に基づきデフォーカス量を算出する。ステップＳ１１では、第２のコントラスト量が第１のコントラスト量よりも大きい、すなわち、設定焦点検出エリアにおいて、第２の撮像素子２２の行方向のコントラスト量が第１の撮像素子２１の列方向のコントラスト量よりも大きいので、選択部１２４が第２の焦点検出信号取得部１２１の第２の焦点検出信号を選択して相関演算部１２６が第２の焦点検出信号に基づき相関演算を行い、デフォーカス量算出部１２７がこの相関演算結果に基づきデフォーカス量を算出する。
In step S10, the first contrast amount is larger than the second contrast amount, that is, in the set focus detection area, the contrast amount in the column direction of the first
また、ステップＳ９では、第１および第２のコントラスト量の差が第２の閾値未満である、すなわち、第１および第２のコントラスト量がほぼ同等であるので、選択部１２５が第１および第２の焦点検出信号取得部１２０，１２１の第１および第２の焦点検出信号の両方を選択し、相関演算部１２６が第１の焦点検出信号に基づき相関演算を行うと共に第２の焦点検出信号に基づき相関演算を行い、デフォーカス量算出部１２７が、第１の焦点検出信号による相関演算結果に基づき第１のデフォーカス量を算出すると共に、第２の焦点検出信号による相関演算結果に基づき第２のデフォーカス量を算出し、第１および第２のデフォーカス量から最終デフォーカス量を算出する。
Further, in step S9, the difference between the first and second contrast amounts is less than the second threshold value, that is, the first and second contrast amounts are substantially the same, so that the
ステップＳ１２では、ステップＳ１０，Ｓ１１，Ｓ９で算出されたデフォーカス量に基づき、撮影光学系１０のフォーカスレンズを駆動して焦点調節を行う。ステップＳ１３は、レリーズ操作部材の半押し操作が終了したか否かを判定し、肯定判定の場合には焦点検出動作を終了し、否定判定の場合にはステップＳ１に戻る。
In step S12, the focus lens of the photographing
以上のように、本第１の実施の形態では、第１の撮像素子２１の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの配列方向と第２の撮像素子２２の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの配列方向とが異なっているので、設定焦点検出エリアにおける第１の撮像素子２１の列方向に配列された複数の画素２１０に形成された被写体像のコントラストと設定焦点検出エリアにおける第２の撮像素子２２の行方向に配列された複数の画素２２０に形成された被写体像のコントラストとを比べて、コントラストが高い方の撮像素子の焦点検出信号に基づき高精度な焦点検出を行うことができる。
As described above, in the first embodiment, the arrangement direction of the first and second
本第１の実施の形態では、第１および第２のコントラスト量に応じて、第１および第２の焦点検出信号のいずれか、またはその両方を選択して選択された焦点検出信号に基づき相関演算部１２６が相関演算を行うものであった。これの代わりに、選択部１２５は、常に第１および第２の焦点検出信号を選択し、相関演算部１２６は、第１および第２の焦点検出信号について相関演算を行い、第１および第２のコントラスト量の大きさに基づき第１の焦点検出信号による相関演算結果と第２の焦点検出信号による相関演算結果との一方または両方を選択し、選択された相関演算結果に基づきデフォーカス量を算出するようにしてもよい。
更には、デフォーカス量算出部１２７は、相関演算部１２６が相関演算した全ての相関演算結果に基づき、それぞれデフォーカス量を算出し、こうして算出された複数のデフォーカス量から第１および第２のコントラスト量の大きさに基づき所望のデフォーカス量を選択してもよい。
In the first embodiment, depending on the amount of contrast of the first and second, one or both of the first and second focus detection signals are selected and correlated based on the selected focus detection signal. The
Further, the defocus
撮像面に第１および第２の光電変換部の分割方向が異なる画素が設けられている撮像素子では、第１および第２の光電変換部の分割方向が異なる２つの画素に、同じ光量の光がそれぞれ入射したとしても、第１および第２の光電変換部の分割方向の相違によって、各画素の第１および第２の光電変換部からの出力が異なってしまうおそれがある。そのため、撮像して得られた画像の画質が低下するおそれがある。
これに対して、本第１の実施の形態では、第１の撮像素子２１の各画素２１０の、列方向に分割された第１および第２の光電変換部２１０ａ，２１０ｂの光電変換信号を加算して画像信号を生成するように構成した。そして、第２の撮像素子２２の各画素２２０の、行方向に分割された第１および第２の光電変換部２２０ａ，２２０ｂの光電変換信号を加算して画像信号を生成するように構成した。これにより、第１および第２の撮像素子２１，２２によって、高画質の画像を得ることができる。
In an imaging device in which pixels having different division directions of the first and second photoelectric conversion units are provided on the imaging surface, the same amount of light is emitted to two pixels having different division directions of the first and second photoelectric conversion units. Even if they are incident on each other, the output from the first and second photoelectric conversion units of each pixel may be different due to the difference in the division direction of the first and second photoelectric conversion units. Therefore, the image quality of the image obtained by imaging may deteriorate.
On the other hand, in the first embodiment, the photoelectric conversion signals of the first and second
＜第１の変形例＞
本第１の実施の形態では、コントラストが低い被写体像については、位相差焦点検出が精度良く行うことができない恐れがあるので、設定焦点検出エリアにおける第１の撮像素子２１の列方向に配列された複数の画素２１０に形成された被写体像のコントラストと設定焦点検出エリアにおける第２の撮像素子２２の行方向に配列された複数の画素２２０に形成された被写体像のコントラストとを比べて、コントラストが高い方の撮像素子の焦点検出信号に基づき焦点調節を行うものであった。位相差焦点検出が精度良く行うことができない被写体像は、上述の低コントラスト像以外に、一定周期の明暗パターンの像も存在する。そこで、そのような一定の周期パターン像が第１および第２の撮像素子２１，２２の画素の列方向と行方向のどちらに存在するかを検出して、周期パターンが存在しない方の撮像素子の焦点検出信号を使用して焦点検出を行う本実施の形態の変形例を以下に説明する。
<First modification>
In the first embodiment, since there is a possibility that the phase difference focus detection cannot be performed accurately for a subject image having low contrast, the subject images are arranged in the column direction of the first
図９は、本第１の実施の形態の変形例を示すブロック図であり、図７に示された本第１の実施の形態のブロック図との相違点は、図７の第１および第２のコントラスト検出部１２２，１２３の代わりに、第１および第２の周期パターン検出部１２８，１２９が設けられている点である。第１の周期パターン検出部１２８は、第１の焦点検出信号取得部１２０からの第１の焦点検出信号の周期パターン信号波形を検出することによって、第１の焦点検出信号に周期パターンが存在するか否かを検出する。同様に、第２の周期パターン検出部１２９は、第２の焦点検出信号取得部１２１からの第２の焦点検出信号の周期パターン信号波形を検出することによって、第２の焦点検出信号に周期パターンが存在するか否かを検出する。判定部１２４は、第１および第２の周期パターン検出部１２８，１２９のどちらが周期パターンを検出したかを判定する。選択部１２５は、判定部１２４が、第１および第２の周期パターン検出部１２８，１２９のどちらも周期パターンを検出していないと、判定した場合には、第１および第２の焦点検出信号の両方を選択し、判定部１２４が、第１の周期パターン検出部１２８が周期パターンを検出したと、判定した場合には、第２の焦点検出信号を選択し、判定部１２４が、第２の周期パターン検出部１２９が周期パターンを検出したと、判定した場合には、第１の焦点検出信号を選択する。相関演算部１２６およびデフォーカス量算出部１２７の動作は、図７の場合と同様である。
FIG. 9 is a block diagram showing a modified example of the first embodiment, and the differences from the block diagram of the first embodiment shown in FIG. 7 are the first and the first in FIG. The point is that the first and second periodic
以上のように、本変形例では、第１の撮像素子２１の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの配列方向と第２の撮像素子２２の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの配列方向とが異なっているので、設定焦点検出エリアにおける第１の撮像素子２１の列方向に配列された複数の画素２１０に形成された被写体像の周期パターンの有無と設定焦点検出エリアにおける第２の撮像素子２２の行方向に配列された複数の画素２２０に形成された被写体像の周期パターンの有無とに基づき、周期パターンの存在しない方の撮像素子の焦点検出信号に基づき高精度な焦点検出を行うことができる。
As described above, in this modification, the arrangement directions of the first and second
なお、図９に示した変形例にあっても、選択部１２５が周期パターンの有無に応じて、第１および第２の焦点検出信号のいずれか、または両方を選択する代わりに、相関演算部１２６が常に第１および第２の焦点検出信号に基づく相関演算を行い、それらの相関演算結果から周期パターンの有無に応じて所定の相関演算結果を選択してもよく、または、デフォーカス量算出部１２７が常に第１および第２の焦点検出信号に基づくデフォーカス量を算出して、それらのデフォーカス量から周期パターンの有無に応じて所定のデフォーカス量を選択してもよい。
Even in the modified example shown in FIG. 9, instead of the
上述の第１の実施の形態または第１の変形例では、コントラスト量の多寡や周期パターンの有無に基づき、第１の撮像素子２１からの第１の焦点検出信号または第２の撮像素子２２からの第２の焦点検出信号を選択したが、これの代わりに、デジタルカメラ１の姿勢を姿勢センサーなどで検出し、デジタルカメラ１が通常位置、横位置にあるとき、すなわち、図３の第２の撮像素子２２の画素配列の行方向が水平方向に一致するときには、第２の撮像素子２２からの第２の焦点検出信号を選択する、すなわち第２の焦点検出信号を用いて焦点調節を行い、他方、デジタルカメラ１が縦位置にあるとき、すなわち、図３の第１の撮像素子２１の画素配列の列方向が水平方向に一致するときには、第１の撮像素子２１からの第１の焦点検出信号を選択し、すなわち第１の焦点検出信号を用いて焦点調節を行うように、することもできる。
In the first embodiment or the first modification described above, from the first focus detection signal from the
＜第２の変形例＞
図１０は、本第１の実施の形態の第２の変形例を示したものである。第２の変形例は、図１０において、実線で示すようにマイクロレンズ２３３の焦点２３３Ｆが第２の撮像素子２２の第１および第２の光電変換部２２０ａ，２２０ｂに位置するか、または、破線で示すようにマイクロレンズ２３３の焦点２３３Ｆが第１の撮像素子２１の第１および第２の光電変換部２１０ａ，２１０ｂに位置する。
<Second modification>
FIG. 10 shows a second modification of the first embodiment. In the second modification, as shown by the solid line in FIG. 10, the
＜第３の変形例＞
図１１は、本第１の実施の形態の第３の変形例を示したものである。図１１において、マイクロレンズ２３３の焦点２３３Ｆ、すなわち焦点面は、第１の撮像素子２１の第１および第２の光電変換部２１０ａ，２１０ｂの位置に位置する。第１の撮像素子２１と第２の撮像素子２２との間にインナーレンズ２３４が配置される。このインナーレンズ２３４の屈折力および配置位置は、インナーレンズ２３４に関して第１の撮像素子２１の第１および第２の光電変換部２１０ａ，２１０ｂの位置と第２の撮像素子２２の第１および第２の光電変換部２２０ａ，２２０ｂの位置とが光学的に共役となるように、定められている。
<Third variant>
FIG. 11 shows a third modification of the first embodiment. In FIG. 11, the
このインナーレンズ２３４を配置することによって、マイクロレンズ２３３およびインナーレンズ２３４に関して第２の撮像素子２２の第１および第２の光電変換部２２０ａ，２２０ｂの位置と共役な位置は、マイクロレンズ２３３に関して第１の撮像素子２１の第１および第２の光電変換部２１０ａ，２１０ｂの位置と共役な位置と一致する。換言すると、インナーレンズ２３４の配置によって、第１の撮像素子２１に関する第１の測距瞳面の位置と第２の撮像素子２２に関する第２の測距瞳面の位置とを一致させることができる。
By arranging the
＜第４の変形例＞
図１２は、本第１の実施の形態に関する第４の変形例を示す断面図である。本第１の実施の形態は図４に示したように第１の撮像素子２１は光電変換部として有機光電膜を使用し、第２の撮像素子２２は光電変換部としてフォトダイオードを使用するものであった。第４の変形例は第１および第２の撮像素子２１，２２の両方とも、光電変換部として有機光電膜を使用するものである。
<Fourth modification>
FIG. 12 is a cross-sectional view showing a fourth modification of the first embodiment. In the first embodiment, as shown in FIG. 4, the
図１２において、第１の撮像素子２１の構成は、図４に示した第１の撮像素子２１と同一である。第２の撮像素子２３は、半導体基板５０の上面に平坦化層５５を介して形成され、各画素２４０は、紙面に垂直方向に配列された第１および第２の光電変換部２４０ａ，２４０ｂを有する。
第２の撮像素子２３の各画素２４０は、有機光電膜２５０と、有機光電膜２５０の下面に形成された透明な共通電極２５１と、有機光電膜２５０の上面に形成された透明な第１および第２の部分電極２５２ａ，２５２ｂとを有する。第１および第２の部分電極２５２ａ，２５２ｂは、上述のように、紙面に垂直な方向、すなわち、第１の撮像素子２１の第１および第２の第１および第２の部分電極２３２ａ，２３２ｂの配列方向と直交する方向に配列されている。第２の撮像素子２３の各画素２４０は、有機光電膜２５０と共通電極２５１と第１の部分電極２５２ａとが第１の光電変換部２４０ａを構成し、有機光電膜２５０と共通電極２５１と第２の部分電極２５２ｂとが第２の光電変換部２４０ｂを構成する。
第１の撮像素子２１と第２の撮像素子２３との間には、絶縁層５６が設けられている。第１の撮像素子２２の信号読み出し回路、および、第２の撮像素子２３の信号読み出し回路は、半導体基板５０に形成されている。半導体基板５０と第２の撮像素子２３との間には例えば３層構造の配線層５１が設けられている。
In FIG. 12, the configuration of the
Each
An insulating
以上のように、第４の変形例によると、第２の撮像素子２３と半導体基板５０との間の間隔には配線層５１が設けられるので、比較的大きな間隔を必要とするが、第１および第２の撮像素子２１，２３との間隔は配線層５１を必要としないので、比較的小さくすることができる。したがって、第１の撮像素子２１に関する測距瞳面の位置と第２の撮像素子２３に関する測距瞳面の位置とを接近させることができる。
As described above, according to the fourth modification, since the
また、図１３に示すように、第２の撮像素子２２を裏面照射型の撮像素子としてもよい。これにより、上述の場合と同様に、第１および第２の撮像素子２１，２２との間隔は配線層５１を必要としないので、比較的小さくすることができる。したがって、第１の撮像素子２１に関する測距瞳面の位置と第２の撮像素子２２に関する測距瞳面の位置とを接近させることができる。
Further, as shown in FIG. 13, the
＜第５の変形例＞
図１４は、本第１の実施の形態に関する第５の変形例を示すブロック図である。図５および図６に示した第１および第２の撮像素子２１，２２の信号読み出し回路にあっては、第１の光電変換信号が第１の水平出力回路１５２，１６２から出力され、第２の光電変換信号が第２の水平出力回路１５３，１６３から出力され、また、第１および第２の撮像素子２１，２２について、ＡＤ変換回路２４が第１および第２の光電変換信号をＡＤ変換し、制御部１２の画像生成部１２ｂが第１および第２の光電変換信号の加算を行うものであった。第５の変形例は、第２の撮像素子２２の各画素２２０の第１および第２の光電変換信号をＡＤ変換するＡＤ変換部と、第１および第２の光電変換信号の両方を出力する第１および第２の光電変換信号用の水平出力回路と、第１および第２の光電変換信号を加算する加算回路と、加算信号を出力する加算信号用の水平出力回路とを有するものである。
<Fifth variant>
FIG. 14 is a block diagram showing a fifth modification of the first embodiment. In the signal readout circuits of the first and second
図１４において、第２の撮像素子２２は、行走査回路１６１と、ＡＤ変換部１６４と、第１および第２の光電変換信号用の水平出力回路１６５と、加算部１６６と、加算信号用の水平出力回路１６７とを有する。以下の説明では、図６に示した、第２の撮像素子２２の光電変換信号の読み出し回路との相違点を主に説明する。
ＡＤ変換部１６４は、行方向にｎ列配置された各画素２２０の第１の光電変換部２２０ａのそれぞれに対応する、ｎ個のＡＤＣ（アナログ−デジタル変換回路）１６４ａと、各画素２２０の第２の光電変換部２２０ｂのそれぞれに対応する、ｎ個のＡＤＣ１６４ｂとを備えている。
第１および第２の光電変換信号用の水平出力回路１６５は、ＡＤ変換部１６４のｎ個のＡＤＣ１６４ａにそれぞれ対応するｎ個のメモリ１６５ａと、ＡＤ変換部１６４のｎ個のＡＤＣ１６４ｂにそれぞれ対応するｎ個のメモリ１６５ｂとを備えている。
加算部１６６は、行方向にｎ列配置された各画素２２０のそれぞれに対応する、ｎ個のデジタル加算回路１６５ａを備えている。
加算信号用の水平出力回路１６７は、加算部１６６のｎ個のデジタル加算回路１６６ａにそれぞれ対応するｎ個のメモリ１６７ａを備えている。
In FIG. 14, the
The
The
The
The
タイミング信号Ｒ（１）に応じて、第１行目のｎ個の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの光電変換信号が、それぞれ対応するＡＤ変換部１６４のＡＤＣ１６４ａ，１６４ｂに同時に出力される。ＡＤＣ１６４ａ，１６４ｂは、入力された第１および第２の光電変換部２２０ａ，２２０ｂの光電変換信号をそれぞれデジタル信号に変換して、それぞれ対応する第１および第２の光電変換信号用の水平出力回路１６５のメモリ１６５ａ，１６５ｂに出力する。第１および第２の光電変換信号用の水平出力回路１６５の各メモリ１６５ａ，１６５ｂは、ＡＤＣ１６４ａ，１６４ｂから出力されたデジタル信号をそれぞれ記憶する。第１および第２の光電変換信号用の水平出力回路１６５は各メモリ１６５ａ，１６５ｂに記憶した第１および第２の光電変換信号を順次、出力部１６５Ａから出力する。
また、加算部１６６のデジタル加算回路１６６ａは、各画素２２０毎にＡＤＣ１６４ａ，１６４ｂによってＡＤ変換された第１および第２の光電変換信号を加算する。加算信号用の水平出力回路１６７の各メモリ１６７ａは、デジタル加算回路１６６ａから出力されたデジタル加算信号をそれぞれ記憶する。加算信号用の水平出力回路１６７は各メモリ１６７ａに記憶されたデジタル加算信号を順次、出力部１６７Ａから出力する。
According to the timing signal R (1), the photoelectric conversion signals of the first and second
Further, the
次いで、タイミング信号Ｒ（２）に応じて、第２行目の複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号がそれぞれＡＤ変換部１６４でデジタル信号に変換されて、第１および第２の光電変換信号用の水平出力回路１６５の出力部１６５Ａから順次出力される。また、ＡＤ変換部１６４でＡＤ変換された第１および第２の光電変換信号はデジタル加算回路１６６ａで加算され、加算信号が、加算信号用の水平出力回路１６７の出力部１６７Ａから順次出力される。
その後、順次、タイミング信号Ｒ（ｍ）に応じて、第（ｍ）行目の複数の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号がＡＤ変換部１６４でデジタル信号に変換されて、第１および第２の光電変換信号用の水平出力回路１６５の出力部１６５Ａから順次出力され、加算信号が加算信号用の水平出力回路１６７の出力部１６７Ａから順次出力される。
このように、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの光電変換信号、および、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの光電変換信号は、各撮像素子２１，２２の外部で、すなわち図１の画像生成部１２ｂで加算してもよく、図１４に示すように各撮像素子２１，２２の内部で加算してもよい。
Next, according to the timing signal R (2), the first and second photoelectric conversion signals of the first and second
After that, the first and second photoelectric conversion signals of the first and second
As described above, the photoelectric conversion signals of the first and second
＜第６の変形例＞
本第１の実施の形態では、図３に示したように第１の撮像素子２１の各画素２１０における第１および第２の光電変換部２１０ａおよび２１０ｂが、列方向、すなわち図３（ａ）で上下方向に配列され、第２の撮像素子２２の各画素２２０における第１および第２の光電変換部２２０ａおよび２２０ｂが、行方向、すなわち図３（ｂ）で左右方向に配列されるように構成した。しかしながら、第１の撮像素子２１の各画素２１０における第１および第２の光電変換部２１０ａおよび２１０ｂが、行方向に配列され、第２の撮像素子２２の各画素２２０における第１および第２の光電変換部２２０ａおよび２２０ｂが、列方向に配列されるように構成してもよい。
<Sixth modification>
In the first embodiment, as shown in FIG. 3, the first and second
＜第７の変形例＞
本第１の実施の形態では、第１および第２の撮像素子２１，２２からの第１および第２の光電変換信号が、焦点検出信号として用いられると共に、画像信号として用いられるものであった。しかしながら、たとえば、第１および第２の撮像素子２１，２２の一方からの第１および第２の光電変換信号を画像信号に使用し、第１および第２の撮像素子２１，２２の他方からの第１および第２の光電変換信号を焦点検出信号に使用するようにしてもよい。
<7th variant>
In the first embodiment, the first and second photoelectric conversion signals from the first and
＜第８の変形例＞
図１５は、第８の変形例を示すものである。本第１の実施の形態にあっては、図３に示したように、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの形状は、大きな矩形を水平方向に２等分したような形状であり、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの形状は、大きな矩形を上下方向に２等分したような形状であった。第８の変形例は、第１および第２の撮像素子２１，２２の第１および第２の光電変換部の形状は、大きな矩形をその対角線方向に２等分したような形状である。図１５（ａ）は、第１の撮像素子２１の２行２列の画素２１０を示したもので、第１および第２の光電変換部２１０ａ，２１０ｂは、大きな正方形をその対角線で分断したような直角三角形状である。図１５（ｂ）は、第２の撮像素子２２の２行２列の画素２２０を示したもので、第１および第２の光電変換部２２０ａ，２２０ｂは、第１の撮像素子２１と同様に大きな正方形をその対角線で分断したような直角三角形状である、この分断方向は、第１の撮像素子２１の分断方向と直交する。
したがって、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの並び方向、すなわち配列方向と、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂの並び方向、すなわち配列方向とは、異なる。
<8th variant>
FIG. 15 shows an eighth modification. In the first embodiment, as shown in FIG. 3, the shapes of the first and second
Therefore, the arrangement direction of the first and second
＜第９の変形例＞
図１６は、第９の変形例を示すものである。本第１の実施の形態では、図３に示したように、第１の撮像素子２１の各画素２１０、および、第２の撮像素子２２の各画素２２０は、第１および第２の光電変換部を有するものであった。第９の変形例は、第１および第２の撮像素子２１，２２の各画素は、第１〜第４の光電変換部を有する。すなわち、第９の変形例は、各画素の光電変換部は、４分割されている。図１６（ａ）において、第１および第２の撮像素子２１，２２の各画素２１０，２２０は、行方向および列方向に分割された第１〜第４の光電変換部２１０ｃ〜２１０ｆ，２２０ｃ〜２２０ｆを有する。
<9th variant>
FIG. 16 shows a ninth modification. In the first embodiment, as shown in FIG. 3, each
したがって、第１の撮像素子２１の画素２１０について、例えば、第１の光電変換部２１０ｃの光電変換信号と第２の光電変換部２１０ｄの光電変換信号とから第１の焦点検出信号を作成すると共に、第２の撮像素子２２の画素２２０について、例えば、第１の光電変換部２２０ｃの光電変換信号と第３の光電変換部２２０ｅの光電変換信号とから第２の焦点検出信号を作成すると、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ｃ，２１０ｄの並び方向、すなわち配列方向と、第２の撮像素子２２の各画素２２０の第１および第３の光電変換部２２０ｃ，２２０ｅの並び方向、すなわち配列方向とは、異なることになる。
Therefore, for the
また、図１６（ｂ）において、第１および第２の撮像素子２１，２２の各画素２１０，２２０は、斜め方向に分割された第１〜第４の光電変換部２１０ｃ〜２１０ｆ，２２０ｃ〜２２０ｆを有する。したがって、第１の撮像素子２１の画素２１０について、例えば、第１の光電変換部２１０ｃの光電変換信号と第４の光電変換部２１０ｆの光電変換信号とから第１の焦点検出信号を作成すると共に、第２の撮像素子２２の画素２２０について、例えば、第２の光電変換部２２０ｄの光電変換信号と第３の光電変換部２２０ｅの光電変換信号とから第２の焦点検出信号を作成すると、第１の撮像素子２１の各画素２１０の第１および第４の光電変換部２１０ｃ，２１０ｆの並び方向、すなわち配列方向と、第２の撮像素子２２の各画素２２０の第２および第３の光電変換部２２０ｄ，２２０ｅの並び方向、すなわち配列方向とは、異なることになる。
Further, in FIG. 16B, the
＜第１０の変形例＞
第１０の変形例では、有機光電膜を用いた撮像素子を２層構造としたものである。
第１の撮像素子は、「Ｍｇ」画素と「Ｃｙ」画素と「Ｙｅ」画素とによって、マゼンタの色成分の例えば５０％とシアンの色成分の例えば５０％とイエローの色成分の例えば５０％とを吸収し、マゼンタの色成分の残部とシアンの色成分の残部とイエローの色成分の残部とを透過させる共に、緑色成分と赤色成分と青色成分とを透過させる。
第３の撮像素子は、第１の撮像素子２１と同様に、有機光電膜を光電変換部とする撮像素子である。第３の撮像素子は、第１の撮像素子の背後に積層配置され、第１の撮像素子と同様に、「Ｍｇ」画素と「Ｃｙ」画素と「Ｙｅ」画素とを有し、これらの「Ｍｇ」画素と「Ｃｙ」画素と「Ｙｅ」画素は、第１の撮像素子を透過したマゼンタの色成分の残部とシアンの色成分の残部とイエローの色成分の残部とをそれぞれ吸収すると共に、第１の撮像素子を透過した緑色成分と赤色成分と青色成分とを透過させる。
第２の撮像素子は、図３および図４に示した第２の撮像素子と全く同一のものであり、第３の撮像素子を透過した緑色成分と赤色成分と青色成分とを吸収して光電変換する。
したがって、第３の撮像素子の各画素の第１および第２の光電変換部として、例えば、図１５（ａ）または（ｂ）に示した光電変換部を使用すると、第１〜第３の撮像素子は、それぞれの第１および第２の光電変換部の並び方向がそれぞれ異なることになる。
<10th variant>
In the tenth modification, the image sensor using an organic photoelectric film has a two-layer structure.
The first imaging element is composed of "Mg" pixels, "Cy" pixels and "Ye" pixels, for example, 50% of the magenta color component, 50% of the cyan color component, and 50% of the yellow color component. And the rest of the magenta color component, the rest of the cyan color component, and the rest of the yellow color component are transmitted, and the green component, the red component, and the blue component are transmitted.
The third image sensor, like the
The second image sensor is exactly the same as the second image sensor shown in FIGS. 3 and 4, and absorbs the green component, the red component, and the blue component transmitted through the third image sensor and is photoelectric. Convert.
Therefore, if, for example, the photoelectric conversion unit shown in FIGS. 15A or 15B is used as the first and second photoelectric conversion units of each pixel of the third image sensor, the first to third imaging can be performed. The elements are arranged in different directions of the first and second photoelectric conversion units.
更に、第３の撮像素子と第２の撮像素子との間に、「Ｒ」画素と「Ｇ」画素と「Ｂ」画素とを有する有機光電膜を用いた第４の撮像素子を設けてもよい。この第４の撮像素子の「Ｒ」画素と「Ｇ」画素と「Ｂ」画素は、第３の撮像素子を透過した赤色成分の例えば５０％と緑色成分の例えば５０％と青色成分の例えば５０％とを吸収し、残りを透過させる。これによって、「Ｍｇ」画素と「Ｃｙ」画素と「Ｙｅ」画素とを有する第１および第３の撮像素子と、「Ｒ」画素と「Ｇ」画素と「Ｂ」画素とを有する第２および第４の撮像素子とが互いに積層される。これらの第１〜第４の撮像素子の各画素の光電変換部の構成として、図３、図１５、図１６などの構成を使用することによって、撮像素子毎に、光電変換部の並び方向を異ならせることができる。 Further, even if a fourth image sensor using an organic photoelectric film having "R" pixels, "G" pixels and "B" pixels is provided between the third image sensor and the second image sensor. Good. The "R" pixel, "G" pixel, and "B" pixel of the fourth image sensor have, for example, 50% of the red component, for example 50% of the green component, and for example 50 of the blue component that have passed through the third image sensor. % And permeate the rest. As a result, the first and third image sensors having "Mg" pixels, "Cy" pixels and "Ye" pixels, and the second and third image sensors having "R" pixels, "G" pixels and "B" pixels are provided. The fourth image pickup element and the fourth image pickup element are laminated with each other. By using the configurations shown in FIGS. 3, 15, 15 and 16 as the configurations of the photoelectric conversion units of each pixel of the first to fourth image pickup elements, the arrangement direction of the photoelectric conversion units can be set for each image pickup element. Can be different.
＜第１１の変形例＞
本第１の実施の形態では、第１の撮像素子２１の第（ｎ）列目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号がそれぞれ第１および第２の水平出力回路１５２，１５３に同時に読み出され、第１および第２の水平出力回路１５２，１５３の出力部１５２Ａ，１５３Ａから順次、出力されるものであった。第１１の変形例は、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａおよび２１０ｂの光電変換信号の読み出し回路が、図６に示すもの、すなわち、第２の撮像素子２２の読み出し回路と同一構成のものである。
<11th modification>
In the first embodiment, the first and second photoelectric conversion signals of the first and second
行走査回路１６１は、複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対して信号読み出し用のタイミング信号Ｒ（ｍ）を出力する。すなわち、行走査回路１６１は、第１行目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対して信号読み出し用のタイミング信号Ｒ（１）を出力し、次いで、第２行目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対して信号読み出し用のタイミング信号Ｒ（２）を出力し、その後、順次、第（ｍ）行目の複数の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂに対して信号読み出し用のタイミング信号Ｒ（ｍ）を出力する。
The
タイミング信号Ｒ（ｍ）に応じて、第１の水平出力回路１６２は、第（ｍ）行目の複数の画素２１０の第１の光電変換部２１０ａの第１の光電変換信号を同時に読み出し、同様に、第２の水平出力回路１６３は、第（ｍ）行目の複数の画素２１０の第２の光電変換部２１０ｂの第２の光電変換信号を同時に読み出す。
第１の水平出力回路１６２は、読み出した第１の光電変換部２１０ａの第１の光電変換信号を出力部１６２Ａから出力し、第２の水平出力回路１６３は、読み出した第２の光電変換部２１０ｂの第２の光電変換信号を出力部１６３Ａから出力する。
In response to the timing signal R (m), the first
The first
第１の水平出力回路１６２から出力された第１の光電変換信号と第２の水平出力回路１６３から出力された第２の光電変換信号は、図１に示されたバッファメモリ１６を介して焦点検出部１２ａおよび画像生成部１２ｂに送られ、焦点検出部１２ａは、同時に読み出された第（ｍ）行目の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号に基づき、位相差焦点検出演算を行う。また、画像生成部１２ｂは、各画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号を加算して、画像信号を生成する。
The first photoelectric conversion signal output from the first
第１１の変形例では、第２の撮像素子２２と同様に、同一行に配列された複数の画素２１０の第１の光電変換部２１０ａの第１の光電変換信号が同時に読み出され、第２の光電変換部２１０ｂの第２の光電変換信号を同時に読み出される。これにより、後述するように、第１および第２の撮像素子２１，２２に関する対応関係の画素２１０，２２０の第１および第２の光電変換信号を合成して画像を得る場合に、対応関係の画素２１０，２２０同士の読み出しタイミングを一致させることができるので、得られる画像の画質を向上できる。
In the eleventh modification, similarly to the
＜第１２の変形例＞
本第１の実施の形態では、画像生成部１２ｂが、第１の撮像素子２１の各画素の第１および第２の光電変換信号を加算して第１の画像信号を生成すると共に、第２の撮像素子２２の各画素の第１および第２の光電変換信号を加算して第２の画像信号を生成するものであった。第１２の変形例は、更に、画像生成部１２ｂが、第１の水平出力回路１５２から出力された第１の撮像素子２１の各画素の第１の光電変換信号に基づき、例えば左眼用の画像信号を、第２の水平出力回路１５３から出力された各画素の第２の光電変換信号に基づき、例えば右眼用の画像信号を、それぞれ生成して、第１の立体画像信号を生成する。同様に、画像生成部１２ｂが、第１の水平出力回路１６２から出力された第２の撮像素子２２の各画素の第１の光電変換信号に基づき、例えば左眼用の画像信号を、第２の水平出力回路１６３から出力された各画素の第２の光電変換信号に基づき、例えば右眼用の画像信号を、それぞれ生成して、第２の立体画像信号を生成する。
<12th variant>
In the first embodiment, the
画像処理部１４は、画像生成部１２ｂからの第１および第２の立体画像信号に対して、補間処理、圧縮処理、ホワイトバランス処理などの各種の画像処理を行って第１および第２の立体画像データを生成する。第１および第２の立体画像データは、モニタ１５に表示されたり、メモリカード１７に格納されたりする。
The image processing unit 14 performs various image processing such as interpolation processing, compression processing, and white balance processing on the first and second stereoscopic image signals from the
次に、第１および第２の立体画像データの再生について説明する。第１の撮像素子２１からの第１および第２の光電変換信号による第１の立体画像信号は、撮像素子の画素の列方向、すなわち撮影光学系１０の瞳の第１および第２の瞳領域の並び方向に視差を有する。同様に、第２の撮像素子２２からの第１および第２の光電変換信号による第２の立体画像信号は、撮像素子の画素の行方向、すなわち撮影光学系１０の瞳の第３および第４の瞳領域の並び方向に視差を有する。
そこで、図１に示したモニタ１５は、観察者の顔が正立または直立している場合には、行方向に視差を有する第２の立体画像信号に基づき立体画像を表示し、逆に、観察者が寝転がっているなどして観察者の顔が横に傾いている場合には、列方向に視差を有する第１の立体画像信号に基づき立体画像を表示する。
Next, reproduction of the first and second stereoscopic image data will be described. The first stereoscopic image signal by the first and second photoelectric conversion signals from the
Therefore, when the observer's face is upright or upright, the
なお、このように、観察者の顔の傾きに応じて表示する立体画像を切り替えるためには、例えばモニタ１５の外側に撮像装置を設置し、この撮像装置によって、観察者の顔を撮像し、図１に示した制御部１２に設けられた公知の顔認識部によって、観察者の顔を認識し、認識した顔における左右の目の並びの方向を検出し、この目の並び方向に基づき、顔の正立または横向きを判定する。上述した観察者の顔の傾きに応じて立体画像の表示を切り替えることは、モニタ１５以外のモニタにおいても実施することができる。例えば、第１および第２の立体画像信号をパソコンなどに転送して、そのパソコンのモニタにおいて観察者の顔の傾き角度に応じて、第１の立体画像信号に基づく立体画像と第２の立体画像信号に基づく立体画像とを切り替えることができる。
In this way, in order to switch the stereoscopic image to be displayed according to the inclination of the observer's face, for example, an image pickup device is installed outside the
以上のように、本変形例によると、互いに異なった方向に視差を有する第１および第２の立体画像信号が生成されるので、観察者の顔の傾き角度に応じて、立体画像表示を切り替えることができ、これによって例えば、顔が正立していても横を向いていても効果的に立体視が可能になる。 As described above, according to this modification, since the first and second stereoscopic image signals having parallax in different directions are generated, the stereoscopic image display is switched according to the tilt angle of the observer's face. This allows, for example, to effectively enable stereoscopic viewing whether the face is upright or sideways.
＜第２の実施の形態＞
図１７は、第２の実施の形態の基本的な考え方を示したものである。上述の第１の実施の形態では、第１の撮像素子２１の画素２１０は、第１および第２の光電変換部２１０ａ，２１０ｂの第１および第２の光電変換信号を加算して画像信号を生成するが、図１７（ａ）に示すように第１および第２の光電変換部２１０ａ，２１０ｂは、間隙２１０ｃを隔てて配置されているので、この間隙２１０ｃに入射した光束は、光電変換されない。すなわち、画素２１０は、入射光束に関して不感帯領域２１０ｃが生じている。同様に第２の撮像素子２２の画素２２０も第１および第２の光電変換部２２０ａ，２２０ｂの第１および第２の光電変換信号を加算して画像信号を生成するが、図１７（ｂ）に示すように第１および第２の光電変換部２２０ａ，２２０ｂが間隙２２０ｃを隔てて配置されているので、その間隙２２０ｃが画素２２０への入射光束に関して不感帯領域となっている。第２の実施の形態は、このような画像信号に関する不感帯領域を減少させるものである。
<Second Embodiment>
FIG. 17 shows the basic idea of the second embodiment. In the first embodiment described above, the
図１７（ｃ）に示したように、撮像素子２１と撮像素子２２との対応関係にある画素２１０と２２０とを重ねて表示すると、第１の撮像素子２１の画素２１０の不感帯領域２１０ｃの大部分には、第２の撮像素子２２の画素２２０の第１および第２の光電変換部２２０ａ，２２０ｂが存在し、第２の撮像素子２２の画素２２０の不感帯領域２２０ｃの大部分には、第１の撮像素子２１の画素２１０の第１および第２の光電変換部２１０ａ，２１０ｂが存在する。したがって、対応関係にある画素２１０および２２０の全体における不感帯領域は、図１７（ｃ）に示したように不感帯領域２１０ｃと不感帯領域２２０ｃとの重なり部分２９１、すなわち、ハッチングを付した非常に小さな領域になる。
As shown in FIG. 17C, when the
図１８は、第２の実施の形態による第１および第２の撮像素子２１，２２に関する対応関係の画素２１０，２２０の第１および第２の光電変換信号の合成方法を示す図である。図１８（ａ）は、第１の撮像素子２１の一部の画素である２行×２列の「Ｍｇ」画素２１０と「Ｙｅ」画素２１０と「Ｃｙ」画素２１０と「Ｍｇ」画素２１０とを示し、図１８（ｃ）は、図１８（ａ）の第１の撮像素子２１の２行×２列の画素２１０にそれぞれ対応関係にある第２の撮像素子２２の一部の画素である２行×２列の「Ｇ」画素２２０と「Ｂ」画素２２０と「Ｒ」画素２２０と「Ｇ」画素２２０を示す。
FIG. 18 is a diagram showing a method of synthesizing the first and second photoelectric conversion signals of the corresponding
図１８（ａ）に示したように、第１の撮像素子２１の「Ｃｙ」画素２１０と二つの「Ｍｇ」画素２１０と「Ｙｅ」画素２１０は、ＣＭＹ画像信号を出力し、このＣＭＹ画像信号は、図１に示した画像処理部１４で公知の表色系変換処理によってＲＧＢ画像信号に変換される。この表色系変換処理によって生成したＲＧＢ画像信号は、ＲＧＢ画像信号と画素２１０との関係で見ると、図１８（ａ）に示した「Ｍｇ」画素２１０があたかもＧ信号を出力し、「Ｙｅ」画素２１０があたかもＢ信号を出力し、「Ｃｙ」画素２１０があたかもＲ信号を出力したものとなる。図１８（ｂ）は、ＲＧＢ画像信号と画素２１０との関係を示したものである。
As shown in FIG. 18A, the “Cy”
図１に示した画像処理部１４は、図１８（ｂ）に示された第１の撮像素子２１の各画素２１０の画像信号と、これに対応関係の、図１８（ｃ）に示された第２の撮像素子２２の各画素２２０の画像信号とを加算する。すなわち画像処理部１４は、図１８（ｂ）および（ｃ）において、左上の画素２１０、２２０のＧ信号同士を加算してＧ加算信号を生成し、右上の画素２１０、２２０のＢ信号同士を加算してＢ加算信号を生成し、左下の画素２１０、２２０のＲ信号同士を加算してＲ加算信号を生成し、右下の画素２１０、２２０のＧ信号同士を加算してＧ加算信号を生成する。勿論、これらは、加算の代わりに、加算平均してもよい。
The image processing unit 14 shown in FIG. 1 has an image signal of each
図１８（ｄ）は、撮像素子２１の画素２１０と、これと対応関係の撮像素子２２の画素２２０とを重ねて表示し、重ねられた画素２１０，２２０と加算信号との関係を模式的に示したものである。Ｒ，ＧおよびＢの加算信号に関する不感帯は、図１８（ｄ）のハッチング領域２９１となり、非常に小さくすることができる。
FIG. 18D schematically shows the relationship between the
＜第３の実施の形態＞
第３の実施の形態では、ローリングシャッタ歪みの補正について説明する。
図１９は、第３の実施の形態の原理を説明するためのものである。上述したように、第１の撮像素子２１の各画素２１０の第１および第２の光電変換部２１０ａおよび２１０ｂの光電変換信号は、列毎に順次読み出され、第２の撮像素子２２の各画素２２０の第１および第２の光電変換部２２０ａおよび２２０ｂの光電変換信号は、行毎に順次読み出される。そのため、被写体が動いていると、撮像画像の移動被写体像にはいわゆるローリングシャッタ歪みが生じてしまう。
<Third embodiment>
In the third embodiment, correction of rolling shutter distortion will be described.
FIG. 19 is for explaining the principle of the third embodiment. As described above, the photoelectric conversion signals of the first and second
例えば、第１および第２の撮像素子２１，２２の行方向が水平となるようにデジタルカメラ１の姿勢を保ちつつ、正方形の被写体を撮像すると、被写体が静止していれば、図１９（ａ）に示すように、第１および第２の撮像素子２１，２２によってそれぞれ撮像して得られた画像１８０における被写体像１８１は共に歪まない。しかし、被写体が水平方向に移動している場合、第１の撮像素子２１の読み出し回路が図５に示す読み出し回路であれば、第１の撮像素子２１によって撮像された被写体像１８１は、移動方向に応じて図１９（ｂ）または（ｃ）に示すように、左右方向の長さが変化する。すなわち、図１９（ｂ）に示すように、被写体の移動方向が矢印方向（右方向へ移動）であると、被写体像１８１は、伸張され、図１９（ｃ）に示すように、被写体の移動が矢印方向（左方向へ移動）であると、被写体像１８１は短縮される。また、第２の撮像素子２２の読み出し回路が図６に示す読み出し回路であれば、第２の撮像素子２２によって撮像された被写体像１８１は、図１９（ｄ）または（ｅ）に示すように、傾いてしまう。
For example, when a square subject is imaged while maintaining the posture of the
図２０は、第３の実施の形態を示したブロック図である。第１の画像信号取得部２００は、第１の撮像素子２１から繰り返し出力される画像信号を順次取得し、第２の画像信号取得部２０１は、第２の撮像素子２２から繰り返し出力される画像信号を取得する。移動方向検出部２０２は、第１の画像信号取得部２００からの画像信号と第２の画像信号取得部２０１からの画像信号とに基づき、移動被写体の移動方向を検出する。この移動方向の検出は、繰り返し出力された画像信号を比較することによって求めることができる。移動方向検出部２０２は、第１の画像信号取得部２００と第２の画像信号取得部２０１との一方からの画像信号に基づいて移動方向を検出することもできる。
FIG. 20 is a block diagram showing a third embodiment. The first image
選択部２０３は、移動方向検出部２０２が検出した被写体の移動方向に基づき、第１の画像信号取得部２００または第２の画像信号取得部２０１からの画像信号を選択する。具体的には、選択部２０３は、被写体の移動方向が左右方向である場合には第１の画像信号取得部２００からの画像信号、すなわち第１の撮像素子２１の画像信号を選択し、被写体の移動方向が上下方向である場合には第２の画像信号取得部２０１からの画像信号、すなわち第２の撮像素子２２の画像信号を選択する。選択部２０３によって選択された画像信号は、モニタ１５に表示されるか、またはメモリカード１７に記憶される。このようにして、選択部が選択する画像信号は、図１９（ｄ）または（ｅ）のような傾斜歪みを持つ画像ではなく、図１９（ｂ）または（ｃ）のような傾斜歪みのない画像信号となる。
The
また、たとえば、図１９（ｂ）または（ｃ）に示した被写体像１８１と、図１９（ｄ）または（ｅ）に示した被写体像１８１と被写体移動方向情報とを用いて、このローリングシャッタ歪みを補正した画像を生成するように構成してもよい。すなわち、例えば、図１９（ｂ）または（ｃ）に示した傾斜歪みの存在しない被写体像１８１の特定部分の角度αを検出すると共に、図１９（ｄ）または（ｅ）に示した傾斜歪みが生じた被写体像１８１の前記特定部分の角度θを検出する。これらの角度αと角度θとを比較することによって、傾斜歪みに起因する角度を算出し、この傾斜歪みに起因する角度を補正することによって、傾斜歪みの存在しない被写体画像を生成する。
なお、上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
Further, for example, using the
In addition, each of the above-described embodiments and modifications may be combined.
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other aspects conceivable within the scope of the technical idea of the present invention are also included within the scope of the present invention.
１；デジタルカメラ、１０；撮影光学系、１１；撮像部、１２；制御部、２１；第１の撮像素子、２２，２３；第２の撮像素子、２１０，２２０；画素、２１０ａ；第１の光電変換部、２１０ｂ；第２の光電変換部、２２０ａ；第１の光電変換部、２２０ｂ；第２の光電変換部、１５１；列走査回路、１５２；第１の水平出力回路、１５３；第２の水平出力回路、１６１；行走査回路、１６２；第１の水平出力回路、１６３；第２の水平出力回路
２３３；マイクロレンズ、２３３Ｆ；焦点、２３４；インナーレンズ
1; Digital camera, 10; Imaging optical system, 11; Imaging unit, 12; Control unit, 21; First imaging element, 22, 23; Second imaging element, 210, 220; Pixel, 210a; First Photoelectric conversion unit, 210b; 2nd photoelectric conversion unit, 220a; 1st photoelectric conversion unit, 220b; 2nd photoelectric conversion unit, 151; row scanning circuit, 152; 1st horizontal output circuit, 153; second Horizontal output circuit, 161; row scanning circuit, 162; first horizontal output circuit, 163; second
Claims (14)
前記第１の方向とは異なる第２の方向に配置され、前記第１の光電変換部と前記第２の光電変換部とを透過した光を光電変換して電荷を生成する第３の光電変換部および第４の光電変換部と、
前記第１の光電変換部で生成された電荷に基づく信号および前記第２の光電変換部で生成された電荷に基づく信号の少なくとも一方を出力する信号線と、前記第３の光電変換部で生成された電荷に基づく信号および前記第４の光電変換部で生成された電荷に基づく信号の少なくとも一方を出力する信号線と、を備える撮像素子。 A first photoelectric conversion unit and a second photoelectric conversion unit, which are arranged in the first direction and generate electric charges by photoelectric conversion of light,
A third photoelectric conversion that is arranged in a second direction different from the first direction and that photoelectrically converts the light transmitted through the first photoelectric conversion unit and the second photoelectric conversion unit to generate an electric charge. And the fourth photoelectric conversion part,
A signal line that outputs at least one of a charge-based signal generated by the first photoelectric conversion unit and a charge-based signal generated by the second photoelectric conversion unit, and a signal line generated by the third photoelectric conversion unit. An image pickup device including a signal line that outputs at least one of a signal based on the electric charge generated and a signal based on the electric charge generated by the fourth photoelectric conversion unit .
前記第１の光電変換部で生成された電荷に基づく信号および前記第２の光電変換部で生成された電荷に基づく信号の少なくとも一方を読み出す第１の読み出し部と、
前記第３の光電変換部で生成された電荷に基づく信号および前記第４の光電変換部で生成された電荷に基づく信号の少なくとも一方を読み出す第２の読み出し部と、を備える撮像素子。 In the image pickup device according to claim 1 ,
A first readout unit that reads at least one of a charge-based signal generated by the first photoelectric conversion unit and a charge-based signal generated by the second photoelectric conversion unit.
An image pickup device including a second reading unit that reads at least one of a charge-based signal generated by the third photoelectric conversion unit and a charge-based signal generated by the fourth photoelectric conversion unit.
前記第１の光電変換部で生成された電荷に基づく信号および前記第２の光電変換部で生成された電荷に基づく信号の少なくとも一方を前記第１の読み出し部から出力する第１の出力線と、
前記第３の光電変換部で生成された電荷に基づく信号および前記第４の光電変換部で生成された電荷に基づく信号の少なくとも一方を前記第２の読み出し部から出力する第２の出力線と、を備える撮像素子。 In the image pickup device according to claim 2 ,
With the first output line that outputs at least one of the charge-based signal generated by the first photoelectric conversion unit and the charge-based signal generated by the second photoelectric conversion unit from the first readout unit. ,
A second output line that outputs at least one of a charge-based signal generated by the third photoelectric conversion unit and a charge-based signal generated by the fourth photoelectric conversion unit from the second reading unit. An image sensor comprising.
前記第１の光電変換部で生成された電荷に基づく第１信号を出力する信号線と、前記第２の光電変換部で生成された電荷に基づく第２信号を出力する信号線と、前記第３の光電変換部で生成された電荷に基づく第３信号を出力する信号線と、前記第４の光電変換部で生成された電荷に基づく第４信号を出力する信号線と、を備える撮像素子。 In the image pickup device according to claim 1,
A signal line that outputs a first signal based on the charge generated by the first photoelectric conversion unit, a signal line that outputs a second signal based on the charge generated by the second photoelectric conversion unit, and the first signal line. An image sensor including a signal line for outputting a third signal based on the charge generated by the photoelectric conversion unit 3 and a signal line for outputting a fourth signal based on the charge generated by the fourth photoelectric conversion unit. ..
前記第１の光電変換部で生成された電荷に基づく信号を読み出す第１の読み出し部と、
前記第２の光電変換部で生成された電荷に基づく信号を読み出す第２の読み出し部と、
前記第３の光電変換部で生成された電荷に基づく信号を読み出す第３の読み出し部と、
前記第４の光電変換部で生成された電荷に基づく信号を読み出す第４の読み出し部と、を備える撮像素子。 In the image pickup device according to claim 1 or 4 ,
A first reading unit that reads a signal based on the electric charge generated by the first photoelectric conversion unit, and
A second reading unit that reads a signal based on the electric charge generated by the second photoelectric conversion unit, and
A third reading unit that reads a signal based on the electric charge generated by the third photoelectric conversion unit, and
An image sensor including a fourth reading unit that reads a signal based on the electric charge generated by the fourth photoelectric conversion unit.
前記第１の光電変換部で生成された電荷に基づく信号または前記第２の光電変換部で生成された電荷に基づく信号を前記第１の読み出し部または前記第２の読み出し部から出力する第１の出力線と、
前記第３の光電変換部で生成された電荷に基づく信号または前記第４の光電変換部で生成された電荷に基づく信号を前記第３の読み出し部または前記第４の読み出し部から出力する第２の出力線と、を備える撮像素子。 In the image pickup device according to claim 5 ,
A first to output a signal based on the charge generated by the first photoelectric conversion unit or a signal based on the charge generated by the second photoelectric conversion unit from the first reading unit or the second reading unit. Output line and
A second that outputs a signal based on the charge generated by the third photoelectric conversion unit or a signal based on the charge generated by the fourth photoelectric conversion unit from the third reading unit or the fourth reading unit. An image sensor with an output line of.
前記第１の光電変換部で生成された電荷に基づく信号を記憶する第１記憶部と、
前記第２の光電変換部で生成された電荷に基づく信号を記憶する第２記憶部と、を備える撮像素子。 In the image pickup device according to any one of claims 1 to 6 .
A first storage unit that stores a signal based on the electric charge generated by the first photoelectric conversion unit, and
An image pickup device including a second storage unit that stores a signal based on the electric charge generated by the second photoelectric conversion unit.
前記第１の光電変換部で生成された電荷に基づく信号と前記第２の光電変換部で生成された電荷に基づく信号とを加算する第１加算部と、
前記第１加算部で加算された信号を出力する第３出力線と、を備える撮像素子。 In the image pickup device according to any one of claims 1 to 7 .
A first addition unit that adds a signal based on the charge generated by the first photoelectric conversion unit and a signal based on the charge generated by the second photoelectric conversion unit.
An image pickup device including a third output line that outputs a signal added by the first addition unit.
前記第１加算部で加算された信号を記憶する記憶部を備える撮像素子。 In the image pickup device according to claim 8 ,
An image pickup device including a storage unit that stores a signal added by the first addition unit.
前記第３の光電変換部で生成された電荷に基づく信号を記憶する第３記憶部と、
前記第４の光電変換部で生成された電荷に基づく信号を記憶する第４記憶部と、を備える撮像素子。 In the image pickup device according to any one of claims 1 to 9 .
A third storage unit that stores a signal based on the electric charge generated by the third photoelectric conversion unit, and
An image sensor including a fourth storage unit that stores a signal based on the electric charge generated by the fourth photoelectric conversion unit.
前記第３の光電変換部で生成された電荷に基づく信号と前記第４の光電変換部で生成された電荷に基づく信号とを加算する第２加算部と、
前記第２加算部で加算された信号を出力する第４出力線と、を備える撮像素子。 In the image pickup device according to any one of claims 1 to 10 .
A second addition unit that adds a signal based on the charge generated by the third photoelectric conversion unit and a signal based on the charge generated by the fourth photoelectric conversion unit, and
An image sensor including a fourth output line that outputs a signal added by the second addition unit.
前記第２加算部で加算された信号を記憶する記憶部を備える撮像素子。 In the image pickup device according to claim 11 ,
An image pickup device including a storage unit that stores a signal added by the second addition unit.
前記第１の光電変換部および前記第２の光電変換部は、マイクロレンズを透過した光を光電変換し、
前記第３の光電変換部および前記第４の光電変換部は、前記マイクロレンズと前記第１の光電変換部および前記第２の光電変換部とを透過した光を光電変換する撮像素子。 In the image pickup device according to any one of claims 1 to 12 ,
The first photoelectric conversion unit and the second photoelectric conversion unit photoelectrically convert the light transmitted through the microlens.
The third photoelectric conversion unit and the fourth photoelectric conversion unit are imaging elements that photoelectrically convert light transmitted through the microlens, the first photoelectric conversion unit, and the second photoelectric conversion unit.
前記第１の光電変換部で生成された電荷に基づく信号と前記第２の光電変換部で生成された電荷に基づく信号、および前記第３の光電変換部で生成された電荷に基づく信号と前記第４の光電変換部で生成された電荷に基づく信号の少なくとも一方に基づいて、前記光学系の合焦位置を制御する制御部と、を備える撮像装置。 The image pickup device according to any one of claims 1 to 13, which captures an image by an optical system.
A signal based on the charge generated by the first photoelectric conversion unit, a signal based on the charge generated by the second photoelectric conversion unit, and a signal based on the charge generated by the third photoelectric conversion unit and the above. An imaging device including a control unit that controls a focusing position of the optical system based on at least one of charges-based signals generated by the fourth photoelectric conversion unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019106430A JP6809562B2 (en) | 2019-06-06 | 2019-06-06 | Image sensor and image sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019106430A JP6809562B2 (en) | 2019-06-06 | 2019-06-06 | Image sensor and image sensor |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015071017A Division JP6536126B2 (en) | 2015-03-31 | 2015-03-31 | Imaging device and imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019195185A JP2019195185A (en) | 2019-11-07 |
| JP6809562B2 true JP6809562B2 (en) | 2021-01-06 |
Family
ID=68469420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019106430A Active JP6809562B2 (en) | 2019-06-06 | 2019-06-06 | Image sensor and image sensor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6809562B2 (en) |
-
2019
- 2019-06-06 JP JP2019106430A patent/JP6809562B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019195185A (en) | 2019-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6536126B2 (en) | Imaging device and imaging device | |
| JP6536642B2 (en) | Image sensor | |
| JP5045350B2 (en) | Imaging device and imaging apparatus | |
| JP5256711B2 (en) | Imaging device and imaging apparatus | |
| US8063978B2 (en) | Image pickup device, focus detection device, image pickup apparatus, method for manufacturing image pickup device, method for manufacturing focus detection device, and method for manufacturing image pickup apparatus | |
| JP5092685B2 (en) | Imaging device and imaging apparatus | |
| KR101310105B1 (en) | Focus detection apparatus | |
| JP5513326B2 (en) | Imaging device and imaging apparatus | |
| US20120249846A1 (en) | Solid-state image sensor and image capturing apparatus | |
| JP4992481B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP4826507B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP2008085738A (en) | Imaging apparatus | |
| JP5167783B2 (en) | Focus detection apparatus and imaging apparatus | |
| US10685995B2 (en) | Image sensor and image-capturing device | |
| JP2008017116A (en) | Imaging element and imaging device | |
| JP4983271B2 (en) | Imaging device | |
| JP2017098513A (en) | Imaging device, imaging apparatus, and focusing apparatus | |
| JP4858179B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP2017152658A (en) | Imaging device and imaging apparatus | |
| US20210181461A1 (en) | Image sensor and image-capturing device | |
| JP6671130B2 (en) | Imaging device, imaging device, focus detection device, image processing device, and control method therefor | |
| JP6809562B2 (en) | Image sensor and image sensor | |
| JP2010039106A (en) | Imaging element, focus detection device and imaging apparatus | |
| JP5403117B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP2019219594A (en) | Processing apparatus, imaging apparatus, interchangeable lens, processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190610 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200326 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20200428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201123 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6809562 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |