JP6399146B2

JP6399146B2 - Imaging device

Info

Publication number: JP6399146B2
Application number: JP2017088618A
Authority: JP
Inventors: 悠葵有賀
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2017-04-27
Filing date: 2017-04-27
Publication date: 2018-10-03
Anticipated expiration: 2033-07-08
Also published as: JP2017135753A

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.

従来、カラーフィルターが配置された撮像素子が知られている（特許文献１参照）。 Conventionally, an image sensor in which a color filter is arranged is known (see Patent Document 1).

特開２００７−２８２１０９号公報JP 2007-282109 A

従来技術では、各画素へ入射される光がカラーフィルターを透過した光となる。そのため、たとえばＧ（グリーン）の光を受光するＧ画素では、Ｇ以外の光はカラーフィルターで吸収され、使用されない。また、Ｇ画素において、Ｇの光自体も全て使用される訳ではなく、その一部はカラーフィルターに吸収されたり反射されたりしてしまう。このように、従来技術では、入射光の利用効率が悪かった。 In the prior art, light incident on each pixel is light transmitted through the color filter. Therefore, for example, in a G pixel that receives G (green) light, light other than G is absorbed by the color filter and is not used. Further, in the G pixel, not all the G light itself is used, but a part of it is absorbed or reflected by the color filter. Thus, in the prior art, the utilization efficiency of incident light was poor.

本発明の第１の態様による撮像装置は、第１色の色成分を有する光を光電変換して電荷を生成する第１の光電変換部と、第１の光電変換部を透過した光を光電変換する第２の光電変換部と、第２色の色成分を有する光を光電変換して電荷を生成する第３の光電変換部とを有する撮像素子と、第１の光電変換部で生成された電荷に基づく第１信号と第２の光電変換部で生成された電荷に基づく第２信号とを加算した第１加算信号、および第３の光電変換部で生成された電荷に基づく第３信号に基づいて第１信号を補間した信号に基づいて画像データを生成する生成部と、を備える。
An imaging apparatus according to a first aspect of the present invention includes a first photoelectric conversion unit that photoelectrically converts light having a color component of a first color to generate charges, and photoelectrically transmits light that has passed through the first photoelectric conversion unit. An image sensor having a second photoelectric conversion unit for conversion and a third photoelectric conversion unit for photoelectrically converting light having a color component of the second color to generate a charge, and generated by the first photoelectric conversion unit. the first signal and the second first addition signal by adding the second signal based on charges generated by the photoelectric conversion unit, and a third third signal based on charges generated by the photoelectric conversion unit based on the electric charge was A generating unit that generates image data based on a signal obtained by interpolating the first signal based on the first signal .

本発明によれば、入射光の利用効率を高くできる。 According to the present invention, the utilization efficiency of incident light can be increased.

デジタルカメラの構成例を説明するブロック図である。It is a block diagram explaining the structural example of a digital camera. 撮像素子の概要を説明する図である。It is a figure explaining the outline of an image sensor. 画素の配置例を説明する図である。It is a figure explaining the example of arrangement | positioning of a pixel. Ｙ信号を生成する方法を説明する図である。It is a figure explaining the method to produce | generate Y signal. ＣｂＣｒ信号を生成する方法を説明する図である。It is a figure explaining the method of producing | generating a CbCr signal. 撮像素子においてカラーフィルターが配置されていない場合とカラーフィルターが配置されている場合における相対分光例を示す図である。It is a figure which shows the relative spectral example in the case where the color filter is not arrange | positioned in an image pick-up element, and the case where a color filter is arrange | positioned.

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態によるデジタルカメラ１の構成を例示する図である。デジタルカメラ１は、撮像光学系１０、撮像素子１１、制御部１２、操作部１３、画像処理部１４、液晶モニタ１５、およびバッファメモリ１６を有する。また、デジタルカメラ１には、メモリカード１７が装着されている。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a diagram illustrating a configuration of a digital camera 1 according to an embodiment of the present invention. The digital camera 1 includes an imaging optical system 10, an imaging element 11, a control unit 12, an operation unit 13, an image processing unit 14, a liquid crystal monitor 15, and a buffer memory 16. In addition, a memory card 17 is attached to the digital camera 1.

制御部１２は、マイクロプロセッサおよびその周辺回路から構成され、不図示のＲＯＭに格納された制御プログラムを実行することにより、デジタルカメラ１の各種の制御を行う。 The control unit 12 includes a microprocessor and its peripheral circuits, and performs various controls of the digital camera 1 by executing a control program stored in a ROM (not shown).

撮像素子１１は、複数の画素から構成され、撮像光学系１０を介して被写体からの光束を受光し、光電変換を行ってアナログ画像信号、またはデジタル画像信号を出力する。撮像素子１１からアナログ画像信号が出力される場合は、不図示のＡＤ変換回路によりＡＤ変換されてデジタル画像信号となる。このデジタル画像信号はバッファメモリ１６に格納される。 The imaging element 11 is composed of a plurality of pixels, receives a light beam from a subject via the imaging optical system 10, performs photoelectric conversion, and outputs an analog image signal or a digital image signal. When an analog image signal is output from the image sensor 11, it is AD converted by an AD conversion circuit (not shown) to become a digital image signal. This digital image signal is stored in the buffer memory 16.

バッファメモリ１６に格納されたデジタル画像信号は、画像処理部１４において各種の画像処理が行われ、液晶モニタ１５に表示されたり、メモリカード１７に格納されたりする。メモリカード１７は、不揮発性のフラッシュメモリなどから構成され、デジタルカメラ１に対して着脱可能である。 The digital image signal stored in the buffer memory 16 is subjected to various image processing in the image processing unit 14 and displayed on the liquid crystal monitor 15 or stored in the memory card 17. The memory card 17 is composed of a non-volatile flash memory or the like and is detachable from the digital camera 1.

操作部１３は、レリーズボタンやモード切り替えボタン、電源ボタンなど各種の操作ボタンから構成され、撮影者により操作される。操作部１３は、撮影者による上記の各操作ボタンの操作に応じた操作信号を制御部１２へ出力する。画像処理部１４は、ＡＳＩＣ等により構成されている。画像処理部１４は、撮像素子１１によって撮像された画像データに対して、補間、圧縮、ホワイトバランスなどの各種の画像処理や、後述する画像生成処理を行う。 The operation unit 13 includes various operation buttons such as a release button, a mode switching button, and a power button, and is operated by a photographer. The operation unit 13 outputs an operation signal corresponding to the operation of each operation button by the photographer to the control unit 12. The image processing unit 14 is configured by an ASIC or the like. The image processing unit 14 performs various types of image processing such as interpolation, compression, and white balance on the image data picked up by the image pickup device 11 and image generation processing described later.

＜撮像素子の説明＞
図２は、本実施形態に係る撮像素子１１の概要を示す図である。なお、図２では、撮像素子１１の光入射側を上側とした状態を示している。このため、以下の説明では、撮像素子１１の光入射側の方向を「上方」または「上」とし、光入射側に対して反対側の方向を「下方」または「下」とする。撮像素子１１は、上部光電変換層３１と下部光電変換層３２とを有する。上部光電変換層３１と下部光電変換層３２とは、同一光路上に積層配置されている。上部光電変換層３１は、所定の色成分（詳しくは後述する）の光を吸収（光電変換）する有機光電膜で構成される。上部光電変換層３１で吸収（光電変換）されなかった色成分の光は、上部光電変換層３１を透過して下部光電変換層３２に入射し、下部光電変換層３２で光電変換される。下部光電変換層３２は、可視光全ての波長の光を吸収（光電変換）する有機光電膜で構成される。上部光電変換層３１と下部光電変換層３２とは同一の半導体基板上に形成され、各画素位置は一対一に対応する。たとえば上部光電変換層３１の１行１列目の画素は、下部光電変換層３２の１行１列目の画素に対応する。 <Description of image sensor>
FIG. 2 is a diagram showing an outline of the image sensor 11 according to the present embodiment. FIG. 2 shows a state where the light incident side of the image sensor 11 is the upper side. For this reason, in the following description, the direction on the light incident side of the image sensor 11 is “upper” or “upper”, and the direction opposite to the light incident side is “lower” or “lower”. The image sensor 11 includes an upper photoelectric conversion layer 31 and a lower photoelectric conversion layer 32. The upper photoelectric conversion layer 31 and the lower photoelectric conversion layer 32 are stacked on the same optical path. The upper photoelectric conversion layer 31 is composed of an organic photoelectric film that absorbs (photoelectric converts) light of a predetermined color component (details will be described later). The light of the color component that has not been absorbed (photoelectric conversion) by the upper photoelectric conversion layer 31 passes through the upper photoelectric conversion layer 31 and enters the lower photoelectric conversion layer 32, and is photoelectrically converted by the lower photoelectric conversion layer 32. The lower photoelectric conversion layer 32 is composed of an organic photoelectric film that absorbs (photoelectrically converts) light having all wavelengths of visible light. The upper photoelectric conversion layer 31 and the lower photoelectric conversion layer 32 are formed on the same semiconductor substrate, and each pixel position corresponds to one to one. For example, the pixel in the first row and the first column of the upper photoelectric conversion layer 31 corresponds to the pixel in the first row and the first column of the lower photoelectric conversion layer 32.

図３（ａ）は、上部光電変換層３１の画素配置を示す図である。図３（ａ）において、横方向をｘ軸、縦方向をｙ軸とし、画素Ｐの座標をＰ（ｘ，ｙ）と表記する。上部光電変換層３１では、各画素がたとえばベイヤー配列で配置される。すなわち、図３（ａ）に示すように、奇数行には、Ｒ（レッド）の光を光電変換するＲ画素とＧ（グリーン）の光を光電変換するＧ画素とが交互に配置され、偶数行には、Ｇ（グリーン）の光を光電変換するＧ画素とＢ（ブルー）の光を光電変換するＢ画素とが交互に配置される。上部光電変換層３１の各画素で光電変換（吸収）されない色成分の光は、透過する。たとえば、上部光電変換層３１の画素Ｐ（１，１）では、Ｒ成分の光が吸収されて光電変換されるので、Ｒ成分以外の色成分の光が透過する。 FIG. 3A is a diagram illustrating a pixel arrangement of the upper photoelectric conversion layer 31. In FIG. 3A, the horizontal direction is the x axis, the vertical direction is the y axis, and the coordinates of the pixel P are expressed as P (x, y). In the upper photoelectric conversion layer 31, each pixel is arranged in a Bayer array, for example. That is, as shown in FIG. 3A, in odd rows, R pixels that photoelectrically convert R (red) light and G pixels that photoelectrically convert G (green) light are alternately arranged. In the row, G pixels that photoelectrically convert G (green) light and B pixels that photoelectrically convert B (blue) light are alternately arranged. Light of a color component that is not photoelectrically converted (absorbed) by each pixel of the upper photoelectric conversion layer 31 is transmitted. For example, in the pixel P (1, 1) of the upper photoelectric conversion layer 31, R component light is absorbed and subjected to photoelectric conversion, so that light of color components other than the R component is transmitted.

図３（ｂ）は、下部光電変換層３２の画素配置を示す図である。なお、図３（ｂ）に示す各画素位置は、図３（ａ）と同じである。たとえば下部光電変換層３２の画素Ｐ（１，１）は、上部光電変換層３１の画素Ｐ（１，１）に対応する。下部光電変換層３２には、可視光全ての波長を吸収可能な画素が２次元状に配置される。そのため、下部光電変換層３２の各画素では、上部光電変換層３１で吸収されなかった（すなわち上部光電変換層３１を透過した）可視光全てを吸収して光電変換する。したがって、たとえば、下部光電変換層３２の画素Ｐ（１，１）では、上部光電変換層３１の画素Ｐ（１，１）で吸収されなかった可視光、すなわちＲ成分以外の色成分を含む可視光が吸収されて光電変換される。 FIG. 3B is a diagram illustrating a pixel arrangement of the lower photoelectric conversion layer 32. Each pixel position shown in FIG. 3B is the same as that in FIG. For example, the pixel P (1, 1) of the lower photoelectric conversion layer 32 corresponds to the pixel P (1, 1) of the upper photoelectric conversion layer 31. In the lower photoelectric conversion layer 32, pixels capable of absorbing all wavelengths of visible light are two-dimensionally arranged. Therefore, in each pixel of the lower photoelectric conversion layer 32, all visible light that has not been absorbed by the upper photoelectric conversion layer 31 (that is, transmitted through the upper photoelectric conversion layer 31) is absorbed and subjected to photoelectric conversion. Therefore, for example, in the pixel P (1, 1) of the lower photoelectric conversion layer 32, visible light that has not been absorbed by the pixel P (1, 1) of the upper photoelectric conversion layer 31, that is, visible light including color components other than the R component. Light is absorbed and photoelectrically converted.

＜画像生成処理＞
次に、上述した撮像素子１１から出力された信号を用いて、ＹＣｂＣｒ形式のカラー画像信号を生成する画像生成処理について説明する。まず、図４を用いて、カラー画像信号におけるＹ信号（輝度信号）を生成する方法を説明する。 <Image generation processing>
Next, image generation processing for generating a color image signal in the YCbCr format using the signal output from the above-described image sensor 11 will be described. First, a method for generating a Y signal (luminance signal) in a color image signal will be described with reference to FIG.

上述したように、撮像素子１１では、上部光電変換層３１の各画素においてＲＧＢいずれかの光を吸収し、下部光電変換層３２の各画素において上部光電変換層３１を透過した（すなわち吸収されなかった）色成分の光を受光して光電変換する。そのため、上部光電変換層３１からの出力信号と下部光電変換層３２からの出力信号を加算すれば、撮像素子１１への可視光がそのまま光電変換された信号、すなわち従来の撮像素子でカラーフィルターが配置されていないものの出力信号と同等の白黒信号を得ることができる。 As described above, in the image sensor 11, any of the RGB light is absorbed in each pixel of the upper photoelectric conversion layer 31, and the upper photoelectric conversion layer 31 is transmitted (that is, not absorbed) in each pixel of the lower photoelectric conversion layer 32. E) Receives light of the color component and photoelectrically converts it. Therefore, if the output signal from the upper photoelectric conversion layer 31 and the output signal from the lower photoelectric conversion layer 32 are added, a signal obtained by photoelectrically converting the visible light to the image sensor 11 as it is, that is, a color filter in the conventional image sensor. A black-and-white signal equivalent to an output signal that is not arranged can be obtained.

そこで、画像処理部１４は、図４に示すように、各画素位置において、上部光電変換層３１からの出力信号と下部光電変換層３２からの出力信号とを加算することにより、カラー画像信号におけるＹ信号（輝度信号）を生成する。なお、図４において、ｒは上部光電変換層３１のＲ画素からの出力信号を示し、ｇは上部光電変換層３１のＧ画素からの出力信号を示し、ｂは上部光電変換層３１のＢ画素からの出力信号を示す。また、ｗは下部光電変換層３２に配置された可視光全ての波長を吸収する画素からの出力信号を示す。画像処理部１４は、上部光電変換層３１がＲ画素の位置では以下の式（１）により、Ｇ画素の位置では以下の式（２）により、Ｂ画素の位置では以下の式（３）により、Ｙ信号を求める。なお、画像処理部１４は、Ｙ信号を０〜１の範囲で正規化する。
Ｙ＝ｒ＋ｗ・・・（１）
Ｙ＝ｇ＋ｗ・・・（２）
Ｙ＝ｂ＋ｗ・・・（３） Therefore, the image processing unit 14 adds the output signal from the upper photoelectric conversion layer 31 and the output signal from the lower photoelectric conversion layer 32 at each pixel position, as shown in FIG. A Y signal (luminance signal) is generated. In FIG. 4, r indicates an output signal from the R pixel of the upper photoelectric conversion layer 31, g indicates an output signal from the G pixel of the upper photoelectric conversion layer 31, and b indicates a B pixel of the upper photoelectric conversion layer 31. The output signal from is shown. Further, w represents an output signal from a pixel that absorbs all wavelengths of visible light arranged in the lower photoelectric conversion layer 32. The image processing unit 14 uses the following equation (1) when the upper photoelectric conversion layer 31 is at the R pixel, the following equation (2) at the G pixel, and the following equation (3) at the B pixel. , Y signal is obtained. Note that the image processing unit 14 normalizes the Y signal in the range of 0 to 1.
Y = r + w (1)
Y = g + w (2)
Y = b + w (3)

次に、図５を用いて、カラー画像信号におけるＣｂＣｒ信号（色差信号）を生成する方法を説明する。まず、画像処理部１４は、上部光電変換層３１から出力されるベイヤー配列の画像信号に対して、ホワイトバランスや分光調整用のマトリクス変換を行いながらデモザイク処理（色補間処理）を行い、各画素においてＲ成分、Ｇ成分およびＢ成分の信号値を求める。以下、デモザイク処理により得られたＲ成分の信号をｒ´信号と表記し、デモザイク処理により得られたＧ成分の信号をｇ´信号と表記し、デモザイク処理により得られたＢ成分の信号をｂ´信号と表記する。画像処理部１４は、ｒ´信号、ｇ´信号、およびｂ´信号を０〜１の範囲で正規化する。 Next, a method for generating a CbCr signal (color difference signal) in a color image signal will be described with reference to FIG. First, the image processing unit 14 performs demosaic processing (color interpolation processing) on a Bayer array image signal output from the upper photoelectric conversion layer 31 while performing matrix conversion for white balance and spectral adjustment. The signal values of the R component, G component and B component are obtained at Hereinafter, an R component signal obtained by demosaic processing is denoted as r ′ signal, a G component signal obtained by demosaic processing is denoted as g ′ signal, and a B component signal obtained by demosaic processing is denoted by b. Indicated as' signal. The image processing unit 14 normalizes the r ′ signal, the g ′ signal, and the b ′ signal in the range of 0-1.

次に画像処理部１４は、Ｙ信号と上記デモザイク処理により得られたｒ´ｇ´ｂ´信号とを用いて、カラー画像信号におけるＲＧＢ信号を求める。まず、カラー画像信号におけるＲ信号を求める場合について説明する。本実施形態では、一例として、式（４）に示すＩＴＵ−ＲＢＴ．６０１規格で定められたＳＤＴＶ用の関係式を用いる。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ・・・（４） Next, the image processing unit 14 obtains an RGB signal in the color image signal using the Y signal and the r′g′b ′ signal obtained by the demosaic process. First, the case of obtaining the R signal in the color image signal will be described. In this embodiment, as an example, ITU-R BT. The relational expression for SDTV defined in the 601 standard is used.
Y = 0.299R + 0.587G + 0.114B (4)

カラー画像信号におけるＲ信号、Ｇ信号およびＢ信号の比と、上記デモザイク処理により得られるｒ信号、ｇ信号およびｂ信号の比とが同一である（すなわち、Ｒ：Ｇ：Ｂ＝ｒ´：ｇ´：ｂ´）と仮定すると、式（５）および式（６）が得られる。
Ｇ＝（ｇ´÷ｒ´）Ｒ・・・（５）
Ｂ＝（ｂ´÷ｒ´）Ｒ・・・（６） The ratio of the R signal, G signal and B signal in the color image signal is the same as the ratio of the r signal, g signal and b signal obtained by the demosaicing process (that is, R: G: B = r ′: g). Assuming that ': b'), equations (5) and (6) are obtained.
G = (g ′ ÷ r ′) R (5)
B = (b ′ ÷ r ′) R (6)

式（４）に、式（５）および（６）を代入すると、以下の式（７）が得られる。
Ｙ＝０．２９９Ｒ＋０．５８７Ｒ（ｇ´÷ｒ´）＋０．１１４Ｒ（ｂ´÷ｒ´）・・・（７） By substituting the equations (5) and (6) into the equation (4), the following equation (7) is obtained.
Y = 0.299R + 0.587R (g ′ ÷ r ′) + 0.114R (b ′ ÷ r ′) (7)

式（７）を変形すると、以下の式（８）が得られる。
Ｒ＝{ｒ´÷（０．２９９ｒ´＋０．５８７ｇ´＋０．１１４ｂ´）}Ｙ・・・（８） When the equation (7) is transformed, the following equation (8) is obtained.
R = {r ′ ÷ (0.299r ′ + 0.587 g ′ + 0.114b ′)} Y (8)

画像処理部１４は、式（８）に、上記デモザイク処理により得られたｒ´ｇ´ｂ´信号とＹ信号とを代入することにより、カラー画像信号におけるＲ信号を求める。 The image processing unit 14 obtains the R signal in the color image signal by substituting the r′g′b ′ signal and the Y signal obtained by the demosaicing process into Expression (8).

同様に、画像処理部１４は、式（９）および（１０）に、上記デモザイク処理により得られたｒ´ｇ´ｂ´信号と、Ｙ信号とを代入することにより、カラー画像信号におけるＧ信号およびＢ信号を求める。なお、式（９）および（１０）は、上述したＲ信号の場合と同様にして作成した式である。
Ｇ＝{ｇ´÷（０．２９９ｒ´＋０．５８７ｇ´＋０．１１４ｂ´）}Ｙ・・・（９）
Ｂ＝{ｂ´÷（０．２９９ｒ´＋０．５８７ｇ´＋０．１１４ｂ´）}Ｙ・・・（１０） Similarly, the image processing unit 14 substitutes the r′g′b ′ signal obtained by the demosaicing process and the Y signal into the equations (9) and (10), thereby obtaining the G signal in the color image signal. And the B signal. Equations (9) and (10) are equations created in the same manner as in the case of the R signal described above.
G = {g ′ ÷ (0.299r ′ + 0.587 g ′ + 0.114b ′)} Y (9)
B = {b ′ ÷ (0.299r ′ + 0.587 g ′ + 0.114b ′)} Y (10)

このように、画像処理部１４は、ｒ´信号、ｇ´信号およびｂ´信号の比とＹ信号を用いて、カラー画像信号におけるＲＧＢ信号を求める。 As described above, the image processing unit 14 obtains an RGB signal in the color image signal using the ratio of the r ′ signal, the g ′ signal, and the b ′ signal and the Y signal.

そして、画像処理部１４は、以下の式（１１）および（１２）に、上記式（８）〜（１０）により求めたＲＧＢ信号を代入して、Ｃｒ信号およびＣｂ信号を求める。なお、式（１１）および（１２）は、ＩＴＵ−ＲＢＴ．６０１規格で定められたＳＤＴＶ用の関係式である。
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ・・・（１１）
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ・・・（１２） Then, the image processing unit 14 substitutes the RGB signals obtained by the above equations (8) to (10) into the following equations (11) and (12) to obtain the Cr signal and the Cb signal. In addition, Formula (11) and (12) is ITU-R BT. This is a relational expression for SDTV defined in the 601 standard.
Cr = 0.500R−0.419G−0.081B (11)
Cb = −0.169R−0.331G + 0.500B (12)

なお、画像処理部１４は、以下の式（１３）および（１４）に、Ｙ信号とＲ信号およびＢ信号とを代入することにより、Ｃｒ信号およびＣｂ信号を求めるようにしてもよい。なお、式（１３）および（１４）も、ＩＴＵ−ＲＢＴ．６０１規格で定められたＳＤＴＶ用の関係式である。
Ｃｒ＝０．７１３（Ｒ−Ｙ）・・・（１３）
Ｃｂ＝０．５６４（Ｂ−Ｙ）・・・（１４） Note that the image processing unit 14 may obtain the Cr signal and the Cb signal by substituting the Y signal, the R signal, and the B signal into the following equations (13) and (14). In addition, Formula (13) and (14) is also ITU-R BT. This is a relational expression for SDTV defined in the 601 standard.
Cr = 0.713 (R−Y) (13)
Cb = 0.564 (BY) (14)

以上のようにして、画像処理部１４は、上部光電変換層３１と下部光電変換層３２から出力された信号を用いて、ＹＣｂＣｒ形式のカラー画像信号を生成する。 As described above, the image processing unit 14 uses the signals output from the upper photoelectric conversion layer 31 and the lower photoelectric conversion layer 32 to generate a YCbCr format color image signal.

以上説明した実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、入射光のうち所定の色成分の光を光電変換し残りの色成分の光を透過する画素が２次元状に配列された上部光電変換層３１と、上部光電変換層３１と同一光路上に積層されて配置され、上部光電変換層３１を透過した光を光電変換する画素が２次元状に配列された下部光電変換層３２と、を有する撮像素子１１と、上部光電変換層３１からの出力信号と下部光電変換層３２からの出力信号とを用いてＹＣｂＣｒ形式のカラー画像信号を生成する画像処理部１４と、を備える。画像処理部１４は、上部光電変換層３１からの出力信号と下部光電変換層３２からの出力信号とを加算することにより、カラー画像信号における輝度信号（Ｙ信号）を生成する。これにより、本実施形態のデジタルカメラ１では、従来よりも、入射光の利用効率を高くでき、且つ高い信号出力を得ることができ、Ｙ信号のＳ／Ｎ比を上げることができる。 According to the embodiment described above, the following operational effects can be obtained.
(1) The digital camera 1 includes an upper photoelectric conversion layer 31 in which pixels of a predetermined color component of incident light are photoelectrically converted and pixels that transmit the remaining color component light are two-dimensionally arranged, and the upper photoelectric conversion An image pickup device 11 having a lower photoelectric conversion layer 32 arranged in a two-dimensional manner, and arranged in a two-dimensional manner, and arranged in a layered manner on the same optical path as the layer 31 and photoelectrically converting light transmitted through the upper photoelectric conversion layer 31; And an image processing unit 14 that generates a color image signal in YCbCr format using an output signal from the photoelectric conversion layer 31 and an output signal from the lower photoelectric conversion layer 32. The image processing unit 14 adds the output signal from the upper photoelectric conversion layer 31 and the output signal from the lower photoelectric conversion layer 32 to generate a luminance signal (Y signal) in the color image signal. Thereby, in the digital camera 1 of this embodiment, the utilization efficiency of incident light can be made higher than before, a high signal output can be obtained, and the S / N ratio of the Y signal can be increased.

ここで参考として、図６に、従来の撮像素子において、カラーフィルターが配置されていない場合とカラーフィルターがベイヤー配列で配置されている場合とにおける相対分光例を示す。なお、図６では、横軸が波長を示し、縦軸が出力を示しており、各分光ともにピーク出力を１に正規化している。たとえば、波長５５０ｎｍ付近の分光に着目すると、カラーフィルターが配置されていない場合に比べて、カラーフィルターがベイヤー配列で配置されている場合のＧ出力はあきらかに出力が低くなっている。つまり、カラーフィルターがベイヤー配列で配置されている場合では、Ｇのピークに近い波長でも、カラーフィルターが配置されていない場合に比べて、全ての光を利用できていない。また、Ｇから異なる波長の光は使用される割合が非常に低くなっている。このように、従来のカラーフィルターが配置された撮像素子では、入射光の利用効率が低くなっている。これに対して、本実施形態のデジタルカメラ１では、従来の撮像素子においてはカラーフィルターで吸収されてしまう光を利用することができ、従来よりも入射光の利用効率を高くすることができる。 For reference, FIG. 6 shows a relative spectroscopic example in the case where the color filter is not arranged and the case where the color filter is arranged in the Bayer arrangement in the conventional imaging device. In FIG. 6, the horizontal axis indicates the wavelength and the vertical axis indicates the output, and the peak output is normalized to 1 for each spectrum. For example, paying attention to the spectrum near the wavelength of 550 nm, the G output when the color filters are arranged in a Bayer array is clearly lower than when no color filter is arranged. That is, when the color filters are arranged in a Bayer arrangement, not all light can be used even at wavelengths close to the peak of G, compared to when no color filter is arranged. In addition, the ratio of the use of light having different wavelengths from G is very low. As described above, in the imaging device in which the conventional color filter is arranged, the utilization efficiency of incident light is low. On the other hand, in the digital camera 1 of the present embodiment, the light that is absorbed by the color filter can be used in the conventional imaging device, and the utilization efficiency of the incident light can be increased as compared with the conventional one.

（２）デジタルカメラ１において、画像処理部１４は、上部光電変換層３１の各画素においてデモザイク処理（色補間処理）を行ってｒ´ｇ´ｂ´信号を生成し、ｒ´ｇ´ｂ´信号の比とＹ信号とを用いてカラー画像信号におけるＲＧＢ信号を生成し、所定の変換式（式（１１）、式（１２））によりＣｂＣｒ信号を生成するようにした。このように、本実施形態では、従来の撮像素子のように、デモザイク処理により得られたｒ´ｇ´ｂ´信号をそのままカラー画像信号におけるＲＧＢ信号として用いるのではなく、Ｙ信号を用いてカラー画像信号におけるＲＧＢ信号を求めるようにした。この理由は、以下の通りである。 (2) In the digital camera 1, the image processing unit 14 performs demosaic processing (color interpolation processing) on each pixel of the upper photoelectric conversion layer 31 to generate an r′g′b ′ signal, and r′g′b ′. An RGB signal in the color image signal is generated using the signal ratio and the Y signal, and a CbCr signal is generated by a predetermined conversion equation (Equation (11), Equation (12)). As described above, in this embodiment, the r′g′b ′ signal obtained by demosaic processing is not used as it is as the RGB signal in the color image signal as in the conventional image sensor, but the color using the Y signal. The RGB signal in the image signal is obtained. The reason for this is as follows.

たとえば、上部光電変換層３１がＲ画素である画素位置では、Ｇ成分とＢ成分の情報が得られないため、デモザイク処理の結果得られるＧ成分とＢ成分の信号値については、当該Ｒ画素の近傍のＧ画素およびＢ画素の信号値から補間された値である。一方、上部光電変換層３１がＲ画素である画素位置では、下部光電変換層３２からの出力信号にＧ成分とＢ成分に関する情報が含まれる。したがって、下部光電変換層３２からの出力信号を利用すれば、デモザイク処理で得られる画像信号よりも色再現性の高い画像信号が得られることが予測される。そこで、本実施形態のデジタルカメラ１では、上部光電変換層３１と下部光電変換層３２とを加算したＹ信号を利用して、カラー画像信号におけるＲＧＢ信号を求めるようにした。これにより、従来よりも色再現性の高い画像信号を得ることができる。 For example, at the pixel position where the upper photoelectric conversion layer 31 is an R pixel, information on the G component and the B component cannot be obtained. Therefore, the signal values of the G component and the B component obtained as a result of the demosaic process are It is a value interpolated from the signal values of neighboring G and B pixels. On the other hand, at the pixel position where the upper photoelectric conversion layer 31 is an R pixel, the output signal from the lower photoelectric conversion layer 32 includes information on the G component and the B component. Therefore, if an output signal from the lower photoelectric conversion layer 32 is used, it is predicted that an image signal having higher color reproducibility than an image signal obtained by demosaic processing can be obtained. Therefore, in the digital camera 1 of the present embodiment, the RGB signal in the color image signal is obtained using the Y signal obtained by adding the upper photoelectric conversion layer 31 and the lower photoelectric conversion layer 32. Thereby, it is possible to obtain an image signal having higher color reproducibility than conventional.

（変形例１）
上述した実施の形態では、上部光電変換層３１からの出力信号に対してデモザイク処理を行った結果得られたｒ´ｇ´ｂ´信号の比とＹ信号とを用いてカラー画像信号におけるＲＧＢ信号を求め、ＣｂＣｒ信号を求める例について説明した。しかしながら、上部光電変換層３１からの出力信号に対してデモザイク処理を行った結果得られたｒ´ｇ´ｂ´信号をそのままカラー画像信号におけるＲＧＢ信号として用いて、上記式（１１）および（１２）または式（１３）および（１４）により、ＣｂＣｒ信号を生成するようにしてもよい。 (Modification 1)
In the above-described embodiment, the RGB signal in the color image signal using the ratio of the r′g′b ′ signal obtained as a result of performing the demosaic process on the output signal from the upper photoelectric conversion layer 31 and the Y signal. The example of obtaining the CbCr signal has been described. However, the r′g′b ′ signal obtained as a result of performing the demosaic process on the output signal from the upper photoelectric conversion layer 31 is directly used as the RGB signal in the color image signal, and the above equations (11) and (12 ) Or equations (13) and (14), the CbCr signal may be generated.

（変形例２）
上述した実施の形態では、上部光電変換層３１にベイヤー配列で画素が配置されている例について説明したが、画素の配置はこれに限らなくてもよい。また、上述した実施の形態では、上部光電変換層３１に、Ｒ画素、Ｇ画素、およびＢ画素が配置されている例について説明したが、これに限らなくてよく、たとえば、Ｃｙ（シアン）の光を受光するＣｙ画素、Ｍｇ（マジェンタ）の光を受光するＭｇ画素、およびＹｅ（イエロー）の光を受光するＹｅ画素が配置されていてもよい。 (Modification 2)
In the above-described embodiment, the example in which the pixels are arranged in the Bayer arrangement in the upper photoelectric conversion layer 31 has been described. However, the arrangement of the pixels is not limited thereto. In the above-described embodiment, the example in which the R pixel, the G pixel, and the B pixel are arranged in the upper photoelectric conversion layer 31 has been described. However, the present invention is not limited to this. For example, Cy (cyan) A Cy pixel that receives light, an Mg pixel that receives Mg (magenta) light, and a Ye pixel that receives Ye (yellow) light may be arranged.

（変形例３）
上述した実施の形態では、下部光電変換層３２が有機光電膜で構成されている例について説明したが、フォトダイオードで構成されていてもよい。 (Modification 3)
In the above-described embodiment, the example in which the lower photoelectric conversion layer 32 is formed of an organic photoelectric film has been described. However, the lower photoelectric conversion layer 32 may be formed of a photodiode.

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.

１…デジタルカメラ、１０…撮像光学系、１１…撮像素子、１２…制御部、１４…画像処理部、３１…上部光電変換層、３２…下部光電変換層 DESCRIPTION OF SYMBOLS 1 ... Digital camera, 10 ... Imaging optical system, 11 ... Imaging element, 12 ... Control part, 14 ... Image processing part, 31 ... Upper photoelectric conversion layer, 32 ... Lower photoelectric conversion layer

Claims

A first photoelectric conversion unit, the second photoelectric conversion section the first light transmitted through the photoelectric conversion unit for photoelectrically converting that generates charge by photoelectric conversion of light having a first color components, the An imaging device having a third photoelectric conversion unit that photoelectrically converts light having two color components to generate charges ;
The first of the first signal and the previous SL second first addition signal by adding the second signal based on charges generated by the photoelectric conversion unit based on the electric charges generated by the photoelectric conversion unit, and the third A generating unit that generates image data based on a signal obtained by interpolating the first signal based on a third signal based on the charge generated by the photoelectric conversion unit ;
An imaging apparatus comprising:

The imaging device according to claim 1,
The imaging unit generates image data based on a signal based on the first signal and the first addition signal.

The imaging device according to claim 1 or 2,
The second photoelectric conversion unit is an imaging device that photoelectrically converts light having a complementary color component of the first color that has passed through the first photoelectric conversion unit.

The imaging device according to any one of claims 1 to 3,
Before Symbol generator, before Symbol imaging device for generating image data based on the third signal and said first signal and said first addition signal.

In the imaging device according to any one of claims 1 to 4 ,
The image pickup device includes a fourth photoelectric conversion unit that photoelectrically converts light transmitted through the third photoelectric conversion unit to generate charges,
The generating unit generates image data based on the third signal and a second addition signal obtained by adding the fourth signal based on the electric charge generated by the fourth photoelectric conversion unit and the third signal. .

The imaging apparatus according to claim 5 ,
The imaging unit generates image data based on the first signal, the third signal, and the second addition signal.

In the imaging device according to claim 5 or 6 ,
The imaging unit is configured to generate image data based on a signal obtained by interpolating the third signal based on the first signal and the second addition signal.

The imaging apparatus according to any one of claims 5 to 7 ,
The fourth photoelectric conversion unit is an imaging device that photoelectrically converts light having a complementary color component of the second color.