JP5263373B2 - Semiconductor device and imaging device - Google Patents
Semiconductor device and imaging device Download PDFInfo
- Publication number
- JP5263373B2 JP5263373B2 JP2011243836A JP2011243836A JP5263373B2 JP 5263373 B2 JP5263373 B2 JP 5263373B2 JP 2011243836 A JP2011243836 A JP 2011243836A JP 2011243836 A JP2011243836 A JP 2011243836A JP 5263373 B2 JP5263373 B2 JP 5263373B2
- Authority
- JP
- Japan
- Prior art keywords
- visible light
- opening
- light
- color
- color separation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、半導体装置および撮像装置に関する。
より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な物理量分布検知の半導体装置を利用した固体撮像装置などへの適用に好適な信号取得技術に関する。たとえば、可視光以外の波長成分(たとえば赤外光)による撮像をも可能とした撮像装置への適用に関する。
The present invention relates to a semi-conductor device and an imaging device.
More specifically, for example, a plurality of unit components that are sensitive to electromagnetic waves input from the outside such as light and radiation are arranged, and the physical quantity distribution converted into an electric signal by the unit components is converted into an electric signal. The present invention relates to a signal acquisition technique suitable for application to a solid-state imaging device or the like using a semiconductor device capable of detecting a physical quantity distribution that can be read as. For example, the present invention relates to application to an imaging apparatus that can also perform imaging using wavelength components other than visible light (for example, infrared light).
光や放射線などの外部から入力される電磁波などの物理量変化に対して感応性をする単位構成要素(たとえば画素)をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。 There are various physical quantity distribution detection semiconductor devices in which a plurality of unit components (for example, pixels) that are sensitive to changes in physical quantity such as light and radiation input from the outside such as electromagnetic waves are arranged in a line or matrix form. Used in the field.
たとえば、映像機器の分野では、物理量の一例である光(電磁波の一例)の変化を検知するCCD(Charge Coupled Device )型あるいはMOS(Metal Oxide Semiconductor )やCMOS(Complementary Metal-oxide Semiconductor )型の固体撮像装置が使われている。これらは、単位構成要素(固体撮像装置にあっては画素)によって電気信号に変換された物理量分布を電気信号として読み出す。 For example, in the field of video equipment, a CCD (Charge Coupled Device) type, a MOS (Metal Oxide Semiconductor) type, or a CMOS (Complementary Metal-oxide Semiconductor) type solid that detects changes in light (an example of an electromagnetic wave) that is an example of a physical quantity. An imaging device is used. These read out, as an electrical signal, a physical quantity distribution converted into an electrical signal by a unit component (a pixel in a solid-state imaging device).
たとえば、固体撮像装置は、デバイス部の撮像部(画素部)に設けられている光電変換素子(受光素子;フォトセンサ)であるフォトダイオードにて、光や放射線などの外部から入力される電磁波を検知して信号電荷を生成・蓄積し、この蓄積された信号電荷(光電子)を、画像情報として読み出す。 For example, in a solid-state imaging device, a photodiode that is a photoelectric conversion element (light receiving element; photosensor) provided in an imaging unit (pixel unit) of a device unit receives electromagnetic waves input from outside such as light and radiation. The signal charges are detected and generated and accumulated, and the accumulated signal charges (photoelectrons) are read out as image information.
ここで、カラー画像を取得する構成とする場合には、特定の波長成分のみを透過するような色フィルタを画素ごとに配置して、複数個の画素の組によって必要な色成分を復元することで色を識別するイメージセンサとするのが現在の主流となっている。 Here, in the case of a configuration for acquiring a color image, a color filter that transmits only a specific wavelength component is arranged for each pixel, and a necessary color component is restored by a set of a plurality of pixels. It is the current mainstream to use an image sensor for identifying colors.
具体的には、色フィルタの組として、たとえば、図34(A)に示すように、色の3原色である赤(R)、緑(G)、青(B)の減色フィルタを用いた色配列によって色を識別し、それぞれの色フィルタの下に光を検出する半導体層を設けることで、フィルタを透過した3原色光をそれぞれ別に検出する。また、図34(B)に示すように、輝度信号取得用としての白(Y)と、赤(R)、緑(G)、青(B)を組み合わせた配列を用いることも考えられる。これらは、いずれもベイヤ(Bayer)配列と呼ばれる。 Specifically, as a set of color filters, for example, as shown in FIG. 34 (A), a color using subtractive color filters of the three primary colors red (R), green (G), and blue (B). By distinguishing colors by arrangement and providing a semiconductor layer for detecting light under each color filter, the three primary color lights transmitted through the filter are separately detected. Further, as shown in FIG. 34B, it is conceivable to use an array in which white (Y) for obtaining a luminance signal and red (R), green (G), and blue (B) are combined. These are all called a Bayer array.
単板カラー方式の固体撮像素子では、このように各画素は単一の色成分の情報しか持たないため、たとえば、周囲の画素の色情報を用いて補間処理を行なうことで、各画素において必要な色成分を復元するデモザイク処理が行なわれる(たとえば特許文献1,2を参照)。
In a single-plate color type solid-state imaging device, each pixel has information on only a single color component as described above. For example, interpolation is performed using the color information of surrounding pixels, so that it is necessary for each pixel. A demosaic process is performed to restore a color component (see, for example,
一方、近年、ディジタルスチルカメラやムービーカメラにおいて、低照度の照明下において撮影した画像品質の向上が重要な課題となっている。低照度の照明下において画像を
撮影しようとする場合、シャッタースピードを遅くしたり、絞り値の明るいレンズを使用したり、またフラッシュなどの可視光の外部光源を利用するのが一般的である。
On the other hand, in recent years, in digital still cameras and movie cameras, improvement of the quality of images taken under low illumination is an important issue. When shooting an image under low illumination, it is common to slow down the shutter speed, use a lens with a bright aperture value, or use a visible light source such as a flash.
この場合、シャッタースピードを遅くすると手ぶれや被写体ぶれを招く。またレンズの絞り値にも通常は限界があってある程度以上は明るくすることができない。さらに、可視光の外部光源を使用すると、その場の照明による雰囲気を損なってしまう問題がある。 In this case, if the shutter speed is decreased, camera shake and subject blur will be caused. Also, the aperture value of the lens usually has a limit, and it cannot be brightened beyond a certain level. Furthermore, when an external light source of visible light is used, there is a problem that the atmosphere due to the illumination on the spot is impaired.
低照度条件下では色温度が低くて、赤外光の放射量の多い光源が使われている場合が多い。また、補助光として赤外光などの不可視光を使えば雰囲気を損なうことが少ない。以上のことから、赤外光などの不可視光を多く含む光源下において、実効的な撮影感度を上げる技術が望まれている。 Light sources with a low color temperature and a large amount of infrared light are often used under low illumination conditions. In addition, if invisible light such as infrared light is used as auxiliary light, the atmosphere is hardly impaired. In view of the above, there is a demand for a technique for increasing effective photographing sensitivity under a light source containing a lot of invisible light such as infrared light.
たとえば、特許文献2には、図34(B)を参照して説明した色配列、すなわち輝度信号としての白(Y)と赤(R)、緑(G)、青(B)を組み合わせたベイヤ配列を適用した撮像素子を用いて、高解像度の画像を得る信号処理について開示している。
For example,
特許文献2に記載の仕組みでは、図34(B)に示す白画素を市松配置したカラーフィルタアレイを適用し、全ての画素が可視光成分以外(たとえば赤外光)を感じないことを前提に、市松配置画素の白画素を利用して高い解像度を得る信号処理について説明している。
In the mechanism described in
すなわち、図34(B)に示す配置によれば、市松配列のY画素はほぼ可視光全体に感度を持つため、図34(A)に示すように緑(G)画素を市松配置にする構成より大きな信号が得られる。このため、緑画素市松配置の場合に比べて解像度を左右する市松配置の信号のS/N比を良くすることができるというものである。 That is, according to the arrangement shown in FIG. 34 (B), the Y pixels in the checkered arrangement have sensitivity to almost the entire visible light, so that the green (G) pixels are arranged in the checkered arrangement as shown in FIG. 34 (A) . A larger signal is obtained. For this reason, it is possible to improve the S / N ratio of the checkered arrangement signal that affects the resolution as compared with the case of the green pixel checkerboard arrangement.
しかしながら、図34(B)に示すような配列は、十分な照度がある場合には有効となるが、十分な照度が得られない暗闇のような場合や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件においては、感度はまだ不十分となり、ノイズを削減した高品質な画像を生成することはできないという問題がある。 However, the arrangement shown in FIG. 34B is effective when there is sufficient illuminance, but in the case of darkness where sufficient illuminance cannot be obtained, or the light source includes a large amount of infrared light. Under low illuminance conditions or shooting conditions that use infrared auxiliary light with low illuminance, the sensitivity is still insufficient, and there is a problem that a high-quality image with reduced noise cannot be generated.
本発明は、上記事情に鑑みてなされたものであり、品質の良好な情報を取得することのできる仕組みを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a mechanism capable of acquiring information with good quality.
本発明に係る仕組みにおいては、可視光および非可視光に透過性をもつ開口部と、可視光に透過性をもち非可視光に非透過性をもつ非開口部とを設けることで、可視光に波長分離されることで通過波長領域成分のみとなった光が通過する非開口部を通しての信号検知と、開口部を通しての、波長分離をせずに可視光と非可視光が混在した状態での広波長領域成分についての信号検知とによって、通過波長領域成分のみの入射光成分と広波長領域成分を個別の検出部で、独立にあるいは同時に検知し独立に情報を取得するようにしたことに特徴を持つ。 In the mechanism according to the present invention, by providing an opening having transparency to visible light and invisible light and a non-opening having transparency to visible light and non-transmission to invisible light , visible light is provided. In the state where the signal detection through the non-opening through which the light that has passed through only the wavelength component by passing through the wavelength separation passes, and the visible light and non-visible light are mixed without wavelength separation through the opening. By detecting the signal for the wide wavelength region component, the incident light component of only the passing wavelength region component and the wide wavelength region component are detected independently or simultaneously by the individual detection unit, and information is acquired independently. Has characteristics.
すなわち、可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層とを、複数の検知部が形成されている基板上に一体的となるように形成する。 That is, it has an opening that is transmissive to visible light and invisible light, and the non-opening other than the opening is transmissive to the visible light and non-visible to the invisible light. and the non-visible light filter layer having permeability, part of the position corresponding to the opening portion has a transparency to visible light and invisible light, said plurality of color separation portion at a position corresponding to the non-opening A color separation filter layer having transparency to visible color components determined for each color separation unit and non-transparency to visible light color components other than the color components; It is formed such that the integral over the substrate a plurality of sensing portions are formed.
また、前記開口部に対応する位置の第1の検知部により、前記可視光および前記非可視光の入射光を検知し、前記非開口部および前記複数の色分離部に対応する位置の第2の検知部により、前記可視光の入射光成分を検知し、これによって第1,第2の検知部から得られる第1及び第2の検知信号に基づき、所定目的用の情報を取得することとした。 Further, by the first detecting portion of the position corresponding to the front KiHiraki opening, the visible light and detecting the incident light in the non-visible light, corresponding to the front Kihi opening and said plurality of color separation portion position the second detection portion detects the incident light component of the visible light, whereby the first, based on the first and second detection signals obtained from the second detecting section, the information for a given purpose I decided to get it.
前記第1の検知部から出力される前記第1の検知信号は、可視光および非可視光を含む広波長領域の入射光に関する情報を含む。 It said first detection signal output from said first detection unit includes information about the incident light of a wide wavelength range including visible light and invisible light.
また、前記第2の検知部から出力される第2の検知信号は、前記可視光の入射光成分に関する情報を含む。 The second detection signal output from the second detection unit includes information about the incident light component of the visible light.
開口部と非開口部とを持つ非可視光フィルタ層としては、非開口部が、所定の厚みを持つ層を複数積層した構造を有する積層部材を具備するものとするのがよい。
特に、積層部材は、隣接する層間で屈折率が異なるものであるのがよい。屈折率が異なる層を複数積層した構造を持つ積層膜を利用して可視光と非可視光とを波長分離することで、両者の成分信号を個別の検出部で、独立にあるいは同時に取得するようにするのである。
As a non-visible light filter layer having an opening and a non -opening, it is preferable that the non-opening includes a laminated member having a structure in which a plurality of layers having a predetermined thickness are laminated.
In particular, the laminated member may have different refractive indexes between adjacent layers. By using a laminated film with a structure in which multiple layers with different refractive indexes are laminated, visible light and non-visible light are wavelength-separated so that the component signals of both can be acquired independently or simultaneously by separate detectors. To do.
ここで、「積層部材」は、好ましくは、電磁波の内の所定の波長領域成分を反射させる特性を持ったものとする。さらに好ましくは、残りを通過させる特性を持ったものとする。なお、“残り”とは、反射される反射波長領域成分を除く全ての波長成分を意味するものではなく、少なくとも、反射波長領域成分を事実上含まないものであればよい。“反射波長領域成分を事実上含まない”とは、反射波長領域成分の影響をほぼ全く受けないことを意味し、影響を若干受けることがあってもよい。通過波長側については反射波長領域の影響を無視可能な信号を取得できればよいからである。なお、反射波長領域についても、通過波長領域成分の影響を無視可能な信号を取得できればよい。 Here, the “laminate member” preferably has a characteristic of reflecting a predetermined wavelength region component of the electromagnetic wave. More preferably, it has a characteristic of allowing the rest to pass. The “remaining” does not mean all the wavelength components except the reflected wavelength region component to be reflected, and may be at least one that does not substantially include the reflected wavelength region component. “The reflection wavelength region component is substantially not included” means that the reflection wavelength region component is hardly affected at all, and may be slightly affected. This is because it is only necessary to obtain a signal that can ignore the influence of the reflection wavelength region on the passing wavelength side. As for the reflection wavelength region, it is only necessary to obtain a signal that can ignore the influence of the passing wavelength region component.
たとえば、色分離フィルタ層として、3つの検知部に対して、可視領域の透過光が3原色の波長成分である原色系の色フィルタを用いる、あるいは、可視領域の透過光が3原色に対する各々の補色である補色系の色フィルタを用いることで、カラー画像を撮像するようにする。 For example, as a color separation filter layer , primary color filters in which transmitted light in the visible region is a wavelength component of the three primary colors are used for the three detection units, or transmitted light in the visible region for each of the three primary colors. A color image is captured by using a complementary color filter which is a complementary color.
各波長対応の検知部に位置整合させて波長別の光学部材を形成するという点では、色分離フィルタ層は、非可視光フィルタ層や検知部と別体よりは、一体的に構成されている方が好ましい。 The color separation filter layer is formed integrally with the non-visible light filter layer and the detection unit in that the wavelength-specific optical member is formed by aligning with the detection unit corresponding to each wavelength. Is preferred.
また、開口部を通過した広波長領域成分に基づく画像の解像度を高めるには、開口部を通過する広波長領域成分を検知する第1の検知部の配置密度が、非開口部を通過する第1の波長領域成分を検知する第2の検知部の配置密度よりも高くなるように2次元格子状に配置するのがよい。 Further, in order to increase the resolution of the image based on the wide wavelength region component that has passed through the opening, the arrangement density of the first detectors that detect the wide wavelength region component that passes through the opening has a first density that passes through the non-opening. It is preferable to arrange in a two-dimensional lattice so as to be higher than the arrangement density of the second detectors that detect one wavelength region component.
カラー撮像用途などとする場合には、第2の検知部は、第1の波長領域の成分をさらに波長分離して検知する複数の検知要素の組合せとなるので、この場合、第1の検知部の配置密度が、第2の検知部の波長別の各検知要素の配置密度よりも高くなるように2次元格
子状に配置するのがよい。特に、第1の検知部を、第2の検知部の内のそれぞれの波長成分を検知するものよりも密に、かつ市松模様となるように配置するのがよい。
In the case of color imaging use, the second detection unit is a combination of a plurality of detection elements that detect the components of the first wavelength region by further wavelength separation. In this case, the first detection unit Is preferably arranged in a two-dimensional lattice shape so as to be higher than the arrangement density of each detection element for each wavelength of the second detection unit. In particular, it is preferable to arrange the first detection unit so that the first detection unit is denser and has a checkered pattern than that of the second detection unit that detects each wavelength component.
つまり、可視光と非可視光とを混在させた広波長領域成分の信号を取得してその画像を生成する構成とする場合、可視光の色成分を検知する検知部の従来の配置態様に対して、その一部を、広波長領域成分を検知する検知部に置き換えた画素配列構造にしなければならず、各検知部をどのように配置するかで解像度に影響を与え得る。 In other words, when acquiring a signal of a wide wavelength region component in which visible light and invisible light are mixed and generating an image thereof, compared to the conventional arrangement of the detection unit that detects the color component of visible light Te, a part, must be to the pixel arrangement structure obtained by replacing the detection unit for detecting a wide wavelength range component, may affect the resolution and how to arrange the detection unit.
この点おいては、たとえば可視光の色成分に基づく通常カラー画像の方の解像度を重視する場合には、通常カラー画像生成に資する色別の複数の検知要素の内のある色成分を検知するもの(典型例はG色用の画素)が市松模様となるように配するのがよい。
一方、広波長領域成分に基づく画像(典型例は赤外光成分を含む輝度信号成分)の方の解像度を重視する場合には、その画像生成に資する検知部が市松模様となるように配するのがよい。
In this regard, for example, when importance is attached to the resolution of the normal color image based on the color component of visible light , a certain color component is detected among a plurality of detection elements for each color that contribute to normal color image generation. It is preferable to arrange the objects (typically G pixels) in a checkered pattern.
On the other hand, when importance is attached to the resolution of an image based on a wide wavelength region component (typically, a luminance signal component including an infrared light component), the detection unit contributing to the image generation is arranged in a checkered pattern. It is good.
また、これらの画素を2次元格子状に配する場合には、垂直方向および水平方向の各読取方向に対して平行および直交するようにする正方格子状に配するよりも、所定角度(典型例は略45度)だけ回転させた状態の斜め格子状に配列すると、垂直方向と水平方向の各画素密度が増すことになり、その方向での解像度をさらに高くすることができる。加えて、周囲の実在する画素の信号を使って仮想の画素位置の信号を求めるようにすれば、さらに解像度を高くすることもできる。 In addition, when these pixels are arranged in a two-dimensional lattice shape, a predetermined angle (typical example) is provided rather than a square lattice shape that is parallel and orthogonal to the reading directions in the vertical direction and the horizontal direction. Are arranged in an oblique lattice shape rotated by approximately 45 degrees), the density of each pixel in the vertical direction and the horizontal direction is increased, and the resolution in that direction can be further increased. In addition, if the signal of the virtual pixel position is obtained using the signal of the surrounding actual pixels, the resolution can be further increased.
本発明によれば、非可視光フィルタ層の非開口部を通過した可視光のみに基づく情報を第2の検知信号で取得しながら、開口部を通過した広波長の入射光に基づく情報を第1の検知信号で取得することができる。
この広波長の入射光に基づく情報は、可視光に加えて非可視光も含むので、開口部側では、可視光のみに基づくよりも品質の良好な情報を取得できるようになる。
According to the present invention, based the based rather information only visible light that has passed through the non-opening portion of the invisible light filter layer while acquired in the second detection signal, the incident light of a wide wavelength which has passed through the opening The information can be acquired with the first detection signal .
Based rather information to the incident light of the wide wavelength, since in addition to visible light also includes non-visible light, the opening side, it becomes possible to obtain a good information of quality than based on only the visible light .
以下、図面を参照して本発明の実施形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<<基本概念>>
図1は、本実施形態で採用する色分離フィルタの色配置例の基本構造を示す図である。ここでは、可視光カラー画像用に色フィルタC1,C2,C3(何れも選択的な特定波長領域である第1の波長領域成分を透過)の3つの波長領域(色成分)用のものと、色フィルタC1,C2,C3とは異なる色フィルタC4といった別個のフィルタ特性を有する4種類の色フィルタを規則的(本例では正方格子状)に配設している。なお、本例の場合、第1の波長領域成分は可視光領域成分となる。
<< basic concept >>
FIG. 1 is a diagram showing a basic structure of a color arrangement example of a color separation filter adopted in the present embodiment. Here, for the visible light color image, for the three wavelength regions (color components) of the color filters C1, C2, C3 (all transmitting the first wavelength region component which is a selective specific wavelength region), Four types of color filters having different filter characteristics such as a color filter C4 different from the color filters C1, C2, and C3 are regularly arranged (in this example, a square lattice shape). In the case of this example, the first wavelength region component is a visible light region component.
色フィルタC1,C2,C3,C4を通して対応する検知部で検知することで、それぞれの成分を独立して検知することができる。色フィルタC1,C2,C3が配される検知部が第1の検知部であり、色フィルタC4が配される検知部が第2の検知部である。また、色フィルタC1,C2,C3が配される検知部(検知要素)は、カラー画像取得のために第1の波長領域(可視光領域)を、さらに色分離に対応するように、波長分離して検知するためのものである。 Each component can be detected independently by detecting the corresponding detection unit through the color filters C1, C2, C3, and C4. A detection unit in which the color filters C1, C2, and C3 are arranged is a first detection unit, and a detection unit in which the color filter C4 is arranged is a second detection unit. In addition, the detection unit (detection element) in which the color filters C1, C2, and C3 are arranged has wavelength separation so that the first wavelength region (visible light region) is further adapted to color separation for color image acquisition. It is for detecting.
本実施形態において、色フィルタC4を通して得られる第2の波長領域の成分は、第2の検知部を、カラー画像取得用の色フィルタC1,C2,C3の検知部よりも光の利用効率が高い画素とし、この第2の波長領域の成分を検知した第2の検知部から出力される高
光利用効率の検知信号を用いて、光の利用効率が高い画像信号を取得することができるようにするものである。
In the present embodiment, the component of the second wavelength region obtained through the color filter C4 has a higher light use efficiency in the second detection unit than the detection units of the color filters C1, C2, and C3 for color image acquisition. It is possible to obtain an image signal with high light use efficiency by using a detection signal with high light use efficiency output from the second detection unit that detects a component in the second wavelength region as a pixel. Is.
ここで、光の利用効率が高い画素とするに当たっては、本実施形態では、先ず第1の手法として、第2の波長領域の成分は、第1の波長領域の成分(可視光領域成分)のほぼ全体を含むとともに、この可視光領域成分以外の成分である不可視光領域成分(たとえば短波長側の紫外光成分や長波長側の赤外光成分)を含むものとする。第1の波長領域の成分以外の成分をも利用することで、光(電磁波)の利用効率を高める思想である。 Here, in order to obtain a pixel with high light use efficiency, in the present embodiment, as a first method, first, the component of the second wavelength region is the component of the first wavelength region (visible light region component). The invisible light region component (for example, the ultraviolet light component on the short wavelength side or the infrared light component on the long wavelength side) other than the visible light region component is included. The idea is to increase the utilization efficiency of light (electromagnetic waves) by using components other than the components in the first wavelength region.
こうすることで、第2の検知部から出力される高光利用効率の検知信号は、可視光部分のいわゆる輝度信号成分と不可視光信号成分の双方を含む広波長領域信号となり、その結果として、解像度の高い広波長領域画像を得ることができる。 By doing so, the detection signal of high light utilization efficiency output from the second detection unit becomes a wide wavelength region signal including both the so-called luminance signal component and invisible light signal component of the visible light portion, and as a result, the resolution A wide wavelength region image having a high image quality can be obtained.
また、第2の検知部で検知した広波長領域信号(検知信号の一例)と、色フィルタC1,C2,C3を通して第1の波長領域の成分を検知した各第1の検知部から出力される各検知信号との間で所定の補正演算処理(ここでは色補正演算処理を意味する)を実行すれば、可視光カラー画像を色再現性の高い画像を取得することができるようになる(詳細は後述する)。 Further, a wide wavelength region signal (an example of a detection signal) detected by the second detection unit and each first detection unit that detects a component of the first wavelength region through the color filters C1, C2, and C3 are output. If a predetermined correction calculation process (here, meaning color correction calculation process) is executed between each detection signal, a visible light color image can be obtained with high color reproducibility (details). Will be described later).
また、不可視光成分として赤外光成分を適用したときには、眼で見ることのできない赤外光の像情報を同時に取得することができるので、たとえば、低照度環境下での撮像にも耐え得るようになる。可視光のない、たとえば夜間においても、赤外光を照射して撮像することで、鮮明な像を得ることができるので、防犯用のイメージセンサとしての応用も可能である。このように、眼で見ることができる可視光のイメージ像と対応して、眼で見ることのできない赤外光の像情報を可視光成分と同時に受けることができる。これによって新しい情報システムへのキーデバイスとして応用が広がる。 In addition, when an infrared light component is applied as an invisible light component, image information of infrared light that cannot be seen by the eyes can be acquired at the same time, so that it can withstand imaging in a low-light environment, for example. become. Even when there is no visible light, for example, at night, a clear image can be obtained by imaging by irradiating infrared light, so that it can be applied as an image sensor for crime prevention. In this way, in correspondence with a visible light image image that can be seen by the eye, infrared light image information that cannot be seen by the eye can be received simultaneously with the visible light component. This expands the application as a key device for new information systems.
また、不可視光成分として紫外光成分を適用したときには、眼で見ることのできない紫外光の像情報を同時に取得することができるので、たとえば、植物観察用の撮像にも使えるようになる。 In addition, when an ultraviolet light component is applied as the invisible light component, image information of ultraviolet light that cannot be seen by the eyes can be acquired at the same time, so that it can be used for imaging for plant observation, for example.
なお、第1の手法を適用するに当たっては、第2の検知部では、不可視光領域成分を検知する必要があるので、第2の検知部に赤外光などの不可視光が入射するようにする必要があるので、従来よく使われている赤外光カットフィルタを取り除いて撮像する。 In applying the first method, since the second detection unit needs to detect the invisible light region component, invisible light such as infrared light enters the second detection unit. Since it is necessary, the infrared light cut filter, which has been often used in the past, is removed for imaging.
なお、詳細については説明を割愛するが、光の利用効率が高い画素とするに当たっては、さらに好ましくは、第2の手法として、第2の波長領域の成分は、前述の第1の手法を適用しつつ、第1の波長領域の成分(可視光領域成分)に関しては、色フィルタC1,C2,C3を通して第1の波長領域の成分を検知する各第1の検知部よりも、さらに感度の高い画素となるような成分とすることができる。第1の波長領域の成分に関して、第2の検知部で、第1の検知部よりも高感度で検知することで、光(電磁波)の利用効率を高める思想である。 In addition, although the description is omitted for details, in order to obtain a pixel with high light use efficiency, it is more preferable that the first method is applied to the second wavelength region component as the second method. However, the first wavelength region component (visible light region component) is more sensitive than each first detection unit that detects the first wavelength region component through the color filters C1, C2, and C3. The component can be a pixel. This is a concept that increases the utilization efficiency of light (electromagnetic wave) by detecting the component in the first wavelength region with higher sensitivity than the first detection unit by the second detection unit.
なお、この場合、第2の検知部で検知した高感度信号(検知信号の一例)と、色フィルタC1,C2,C3を通して第1の波長領域の成分を検知した各第1の検知部から出力される各検知信号との間で所定の補正演算処理(ここでは高感度化補正演算処理を意味する)を実行することで、可視光カラー画像を高感度に取得することができるようにする。 In this case, the high sensitivity signal (an example of the detection signal) detected by the second detection unit and the output from each first detection unit that detects the component in the first wavelength region through the color filters C1, C2, and C3. By executing a predetermined correction calculation process (in this case, a high-sensitivity correction calculation process) with each detected signal, a visible light color image can be acquired with high sensitivity.
ここで、色フィルタC1,C2,C3は、理想的には、たとえば、可視光帯内のある色成分で透過率が略1、その他で略ゼロとする原色フィルタとする。たとえば、可視光VL(
波長λ=380〜780nm)の3原色である青色成分B(たとえば波長λ=400〜500nmで透過率が略1、その他で略ゼロ)、緑色成分G(たとえば波長λ=500〜600nmで透過率が略1、その他で略ゼロ)、赤色成分R(たとえば波長λ=600〜700nmで透過率が略1、その他で略ゼロ)を中心とする原色フィルタであってもよい。
Here, the color filters C1, C2, and C3 are ideally primary color filters that have a transmittance of about 1 for a certain color component in the visible light band and about zero for the other. For example, visible light VL (
Blue component B (wavelength λ = 380 to 780 nm) as the three primary colors (for example, the wavelength λ = 400 to 500 nm, the transmittance is about 1, and the other is about zero), the green component G (for example, the wavelength λ = 500 to 600 nm for the transmittance) May be a primary color filter centered on a red component R (for example, the wavelength λ = 600 to 700 nm, the transmittance is approximately 1, and the other is approximately zero).
もしくは、色フィルタC1,C2,C3は、可視光帯内のある色成分で透過率が略ゼロ、その他で略1の透過率を持つ補色系の色フィルタとする。たとえば、黄Ye(たとえば波長λ=400〜500nmで透過率が略ゼロ、その他で略1)、マゼンダMg(たとえば波長λ=500〜600nmで透過率が略ゼロ、その他で略1)、シアンCy(たとえば波長λ=600〜700nmで透過率が略ゼロ、その他で略1)など、可視光の3原色成分に対して略ゼロの透過率を持つ補色系の色フィルタであってもよい。 Alternatively, the color filters C1, C2, and C3 are complementary color filters having a certain color component in the visible light band and a transmittance of substantially zero and the other of approximately one. For example, yellow Ye (for example, wavelength λ = 400 to 500 nm, the transmittance is substantially zero, and other values are approximately 1), magenta Mg (for example, wavelength λ = 500 to 600 nm, the transmittance is approximately zero, and other values are approximately 1), cyan Cy It may be a complementary color filter having substantially zero transmittance for the three primary color components of visible light, such as (for example, the wavelength λ = 600 to 700 nm and the transmittance is substantially zero, otherwise approximately 1).
補色系の色フィルタは原色系の色フィルタよりも感度が高いので、可視領域の透過光が3原色の各々の補色である補色系の色フィルタを使用することで撮像装置の感度を高めることができる。逆に、原色系の色フィルタを用いることで、差分処理を行なわなくても原色の色信号を取得でき、可視光カラー画像の信号処理が簡易になる利点がある。 Since the complementary color filter is more sensitive than the primary color filter, the sensitivity of the imaging apparatus can be increased by using a complementary color filter in which the transmitted light in the visible region is the complementary color of each of the three primary colors. it can. On the other hand, the use of a primary color filter has an advantage that the color signal of the primary color can be acquired without performing the difference processing, and the signal processing of the visible light color image is simplified.
なお、透過率が“略1”であるとは、理想的な状態をいったものであり、実際には、光の透過率が減衰する減色フィルタとならざるを得ず、相対的に透過率は低減することになる。この場合でも、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“1”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。 Note that the transmittance of “substantially 1” means an ideal state. In actuality, the filter has to be a subtractive color filter that attenuates the transmittance of light, and the transmittance is relatively high. Will be reduced. Even in this case, it is sufficient if the transmittance in the wavelength region is much larger than the transmittance in other wavelength regions. Some of them may have “transmittance other than“ 1. ”Also, the transmittance is“ nearly zero ”, which is also an ideal state, and the transmittance in that wavelength region. May be much smaller than the transmittance in other wavelength regions, and some may have “non-zero” transmittance.
また、原色系および補色系の何れも、可視光領域の内の所定色(原色もしくは補色)の波長領域成分を通過させるものであればよく、紫外光領域や赤外光領域を通過させるか否かすなわち赤外光や紫外光に対する透過率は不問である。もちろん、好ましくは、赤外光や紫外光に対する透過率は略ゼロであることが、色再現性の点では有利である。 In addition, both the primary color system and the complementary color system need only pass a wavelength region component of a predetermined color (primary color or complementary color) in the visible light region, and whether or not to pass the ultraviolet light region or the infrared light region. That is, the transmittance for infrared light and ultraviolet light is not questioned. Of course, it is preferable in terms of color reproducibility that the transmittance with respect to infrared light and ultraviolet light is preferably substantially zero.
たとえば、現状一般的に用いられる各色フィルタは、可視光帯内では、たとえばR,G,Bの各々に対して透過率が高くその他の色(たとえばRであればGやB)の透過率が低いが、可視光帯外の透過率に関しては規定外であり、通常、その他の色(たとえばRであればGやB)の透過率よりも高く、たとえば各フィルタともに赤外領域に感度を持ち、赤外領域において光の透過がある。しかしながら、本実施形態では、このような可視光帯外で透過率が高い特性であっても、色再現性の問題はあるが、基本思想としては、影響を受けない。 For example, each color filter generally used at present has a high transmittance with respect to each of R, G, B, for example, in the visible light band, and the transmittance of other colors (for example, G or B for R). Although it is low, the transmittance outside the visible light band is not specified, and is usually higher than the transmittance of other colors (for example, G or B for R). For example, each filter has sensitivity in the infrared region. There is light transmission in the infrared region. However, in this embodiment, there is a problem of color reproducibility even with such a characteristic having high transmittance outside the visible light band, but it is not affected as a basic idea.
一方、色フィルタC4は、少なくとも、第2の検知部を色フィルタC1,C2,C3の検知部よりも光の利用効率の高い画素とするような所定波長領域用のものであればよく、典型的には、第1の波長領域(本例では可視光)から赤外光領域までの全域の成分、あるいは、紫外光領域から第1の波長領域(本例では可視光)までの全域の成分、あるいは紫外光領域〜第1の波長領域(本例では可視光)〜赤外光領域の全域の成分を通過させるものであるのがよい。本実施形態では、このような、色フィルタC4を全域通過フィルタと称する。 On the other hand, the color filter C4 only needs to be for a predetermined wavelength region in which at least the second detection unit is a pixel having higher light use efficiency than the detection units of the color filters C1, C2, and C3. Specifically, the entire component from the first wavelength region (visible light in this example) to the infrared light region, or the entire component from the ultraviolet light region to the first wavelength region (visible light in this example). Alternatively, it is preferable that components in the entire region from the ultraviolet light region to the first wavelength region (visible light in this example) to the infrared light region are allowed to pass. In the present embodiment, such a color filter C4 is referred to as an all-pass filter.
たとえば、第2の検知部が、青色から赤色までの光(波長450〜660nm)に対して感度を持つようにする白色フィルタを用いるのがよい。可視光から赤外光(特に近赤外光)までの全波長の成分を通過させるという点においては、色フィルタC4としては、事実上、カラーフィルタを設けない構成を採ることができる。本実施形態では、このように、事実上、カラーフィルタを設けない構成をも含めて、「フィルタC4を通して」第2の検知部で検知すると称する。 For example, it is preferable to use a white filter that allows the second detector to be sensitive to light from blue to red (wavelength 450 to 660 nm). In terms of allowing all wavelength components from visible light to infrared light (particularly near-infrared light) to pass through, the color filter C4 can be configured so as not to be provided with a color filter. In the present embodiment, it is referred to as being detected by the second detection unit “through the filter C4”, including a configuration in which a color filter is not actually provided.
なお、色フィルタC1,C2,C3が配される画素の検知部(たとえばフォトダイオードなどの撮像素子)は、可視光に感度を有していればよく、近赤外光に感度を有する必要はない。一方、色フィルタC4が配される画素のフォトダイオードなどで構成される検知部は、色フィルタC4が全域通過フィルタでかつ赤外光対応とする場合には、可視光と赤外光に感度を有することが必要である。 It should be noted that the pixel detection unit (for example, an imaging device such as a photodiode) in which the color filters C1, C2, and C3 are arranged only needs to be sensitive to visible light, and needs to be sensitive to near infrared light. Absent. On the other hand, the detection unit configured by a photodiode of a pixel in which the color filter C4 is arranged has sensitivity to visible light and infrared light when the color filter C4 is an all-pass filter and supports infrared light. It is necessary to have.
また、色フィルタC4が配される色画素は、この色フィルタC4が配される色画素に基づいて得られる第2の波長領域の成分に関わる物理情報(本例では広波長領域画像)再現用として使用されるだけでなく、色フィルタC1,C2,C3が配される色画素に基づいて得られる可視光カラー画像再現用の色信号に対して色補正画素や感度補正画素としても使用することができる。色フィルタC4は、色フィルタC1,C2,C3に対しての補正フィルタとして機能することになるのである。 Further, the color pixel in which the color filter C4 is arranged is used for reproducing physical information (in this example, a wide wavelength area image) related to the component of the second wavelength area obtained based on the color pixel in which the color filter C4 is arranged. As well as being used as a color correction pixel and a sensitivity correction pixel for a color signal for reproducing a visible light color image obtained based on a color pixel provided with color filters C1, C2, and C3. Can do. The color filter C4 functions as a correction filter for the color filters C1, C2, and C3.
たとえば、可視光カラー画像の再現に当たっては、先ず、色フィルタC1,C2,C3が配される色画素から第1の波長領域の信号成分SC1,SC2,SC3を、この第1の波長領域の成分とは異なる第2の波長領域(赤外)の成分から事実上分離して、それぞれ独立の検知領域で検知する。 For example, in reproducing a visible light color image, first, signal components SC1, SC2, and SC3 in the first wavelength region are obtained from the color pixels in which the color filters C1, C2, and C3 are arranged. Are substantially separated from the components in the second wavelength region (infrared) different from those of the first detection region and detected in independent detection regions.
また、色フィルタC4が配される高光利用効率対応の検知部で得られる信号成分SC4を使うことで、可視光成分の少ない低照度環境下での撮影時に、可視光領域以外の成分も使うことが可能となるので、可視光成分のみの場合よりも検知される信号レベルが大きくなり、効果的なノイズ低減を実現することができるようになる。 In addition, by using the signal component SC4 obtained by the detection unit corresponding to the high light utilization efficiency in which the color filter C4 is arranged, components other than the visible light region can be used at the time of photographing in a low illumination environment with few visible light components. Therefore, the detected signal level becomes larger than that in the case of only the visible light component, and effective noise reduction can be realized.
そして、さらに好ましくは、各信号成分SC1,SC2,SC3を、信号成分SC4を使ってより色再現の良好な補正演算(特に色再現補正演算と称する)を実行する、あるいはより高感度な信号となるように補正演算(特に高感度化補正演算と称する)を実行する。 More preferably, each signal component SC1, SC2, SC3 is subjected to a correction operation with better color reproduction (particularly referred to as a color reproduction correction operation) using the signal component SC4, or a signal with higher sensitivity. Thus, a correction calculation (particularly referred to as a high-sensitivity correction calculation) is executed.
なお、色フィルタC4を通して得られる広波長領域画像に関しては、可視光と不可視光との混在による像を取得するようにしてもよいが、たとえば、色フィルタC4が第1の波長領域(本例では可視光)から赤外光までの全域の成分を通過させる全域通過フィルタである場合には、信号成分SC4から信号成分SC1,SC2,SC3により得られる可視光像の成分を減算することで、赤外光像のみを抽出するようにしてもよい。 In addition, regarding the wide wavelength region image obtained through the color filter C4, an image obtained by mixing visible light and invisible light may be acquired. For example, the color filter C4 has a first wavelength region (in this example, In the case of an all-pass filter that passes all components from visible light to infrared light, the red light image component obtained from the signal components SC1, SC2, and SC3 is subtracted from the signal component SC4. Only the external light image may be extracted.
このようにして、フォトダイオードなどの撮像素子の各画素に、別個のフィルタ特性を有する4種類の色フィルタを配設し、4種類の色フィルタを配設した4種類の波長領域(ここでは4種類の色フィルタを配設した各画素)で得られる信号出力をマトリクス演算すると、主に色フィルタC1,C2,C3を通した可視光カラー画像および色フィルタC4を通した広波長領域画像をそれぞれ独立かつ同時に取得することができるし、広波長領域画像に関しては、可視光カラー画像に対しての補正にも使えるようになる。 In this manner, four types of color filters having different filter characteristics are arranged in each pixel of the image sensor such as a photodiode, and four types of wavelength regions (here, four types of wavelength filters) are arranged. When a matrix operation is performed on the signal output obtained from each pixel provided with various types of color filters, a visible light color image mainly passing through the color filters C1, C2, and C3 and a wide wavelength region image passing through the color filter C4 are respectively obtained. It can be acquired independently and simultaneously, and for a wide wavelength region image, it can be used for correction of a visible light color image.
ここで、考え方としては、従前の撮像信号処理と同様にして、色フィルタC1,C2,C3を通した画素から得られる各画素信号に基づいて輝度信号(本実施形態では合成輝度信号と称する)を取得して出力用の輝度信号とすることができるが、本実施形態では、このようなことを行なわずに、色フィルタC4を通して得られる広波長領域信号SAから出力用の輝度信号を取得する。なお、合成輝度信号に関しては、出力用の色信号の一例である色差信号の生成には使用する。 Here, as a concept, a luminance signal (referred to as a combined luminance signal in the present embodiment) is based on each pixel signal obtained from pixels that have passed through the color filters C1, C2, and C3 in the same manner as in the conventional imaging signal processing. In this embodiment, the luminance signal for output is acquired from the wide wavelength region signal SA obtained through the color filter C4 without doing this. . The synthesized luminance signal is used to generate a color difference signal that is an example of an output color signal.
また、減色フィルタの一例として厚みや重さのある高価なガラス製の光学部材(いわゆる赤外光カットフィルタ)を結像光学系の光路上のセンサの前に入れる必要がなくなる。高価な赤外光カットフィルタ(IRカットフィルタ)を不要にすることで、光学系を軽量かつコンパクトにできるし、コストを大幅に低減できる。もちろん、赤外光カットフィルタの挿入/抜出機構が不要であり、装置が大がかりになることもない。 Further, as an example of the color reduction filter, there is no need to place an expensive glass optical member (so-called infrared light cut filter) having a thickness or weight in front of a sensor on the optical path of the imaging optical system. By eliminating the need for an expensive infrared light cut filter (IR cut filter), the optical system can be made lightweight and compact, and the cost can be greatly reduced. Of course, an infrared light cut filter insertion / extraction mechanism is unnecessary, and the apparatus does not become large.
また赤外光カットフィルタが不用になることによって、赤外光カットフィルタによる光透過率低減を排除できるので、その分だけ高感度化も達成される。また、赤外光カットフィルタなしでカラー撮像を行なうことで、現行の信号処理回路と組み合わせつつ、近赤外線領域の光を有効に利用し高感度化を図ることもでき、低照度時であっても、色再現性が良好になるし、さらにその際に、色補正を加えることで、一層の色再現性の改善を図ることもできる。 In addition, since the infrared light cut filter is not required, a reduction in light transmittance due to the infrared light cut filter can be eliminated, so that high sensitivity can be achieved accordingly. In addition, by performing color imaging without an infrared light cut filter, it is possible to achieve high sensitivity by effectively using light in the near infrared region while combining with the current signal processing circuit, even at low illuminance. However, the color reproducibility is improved, and further color reproducibility can be improved by applying color correction at that time.
<<色分離フィルタ配列>>
図2〜図6は、色分離フィルタ配列の具体例を示す図である。
<< Color separation filter array >>
2 to 6 are diagrams illustrating specific examples of the color separation filter array.
<第1例>
図2に示す色フィルタ群(色フィルタアレイ)314の第1例の配列態様では、たとえば図2(A)に示す第1例の配列態様(その1)のように、いわゆるベイヤ(Bayer)配列の基本形のカラーフィルタを利用しており、先ず、正方格子状に配された単位画素が赤(R),緑(G),青(B)の3色カラーフィルタに対応するように、色分離フィルタの繰返単位が2画素×2画素で配されて画素部を構成するように色フィルタ14を配置する。
<First example>
In the arrangement example of the first example of the color filter group (color filter array) 314 shown in FIG. 2, a so-called Bayer arrangement like the arrangement example (part 1) of the first example shown in FIG. First, color separation is performed so that unit pixels arranged in a square lattice shape correspond to three color filters of red (R), green (G), and blue (B). The
また、赤外光とともに可視光の全波長成分を受光・検知する検知部(検知領域)を設けるべく、2つの緑(G)のうちの一方を白色フィルタWに置き換える。つまり、可視光カラー画像用に原色フィルタ14R(Red ),14G(Green ),14B(Blue)の3つの波長領域(色成分)用のものと、原色フィルタ14R,14G,14Bの成分とは異なる赤外光用の白色フィルタ14W(White )といった別個のフィルタ特性を有する4種類の色フィルタ14を規則的に配設している。白色フィルタ14Wは、可視光帯の全成分(R,G,B成分)を透過する特性のものであるとともに、特に本実施形態では、赤外光成分をも透過する特性のものとする。
Further, one of the two green (G) is replaced with a white filter W in order to provide a detection unit (detection region) that receives and detects all wavelength components of visible light together with infrared light. That is, the components for the three wavelength regions (color components) of the
なお、白色フィルタ14Wが配される白色画素は、可視光から赤外光(特に近赤外光)までの全波長の成分を通過させるものであり、この点においては、事実上、色フィルタ14を設けない広波長領域画素12A(All )とする構成を採ることができる。
Note that the white pixel on which the
ただし、実際に撮像素子を形成する際には、色フィルタ層の上層にさらにマイクロレンズをオンチップで形成することがある。この場合、C4の部分のみに色フィルタが設けられていないと、その部分を埋めるなどの対処が必要になるが、C4に白色フィルタ14Wを設けるとそれが不要になる。また、C4に白色フィルタ14Wを設けると、可視光領域の検知感度を、C1,C2,C3についての検知感度に応じて調整できる利点もある。
However, when actually forming an image sensor, a microlens may be further formed on-chip above the color filter layer. In this case, if the color filter is not provided only in the portion C4, it is necessary to take measures such as filling the portion, but if the
たとえば、偶数行奇数列には第1のカラー(赤;R)を感知するための第1のカラー画素を配し、奇数行奇数列には第2のカラー(緑;G)を感知するための第2のカラー画素を配し、奇数行偶数列には第3のカラー(青;B)を感知するための第3のカラー画素を配し、偶数行偶数列には赤外光IRを感知するための第4のカラー画素(ここでは白画素もしくは広波長領域画素)を配しており、行ごとに異なったG/B、またはR/W(R/A)の画素が市松模様状に配置されている。このようなベイヤ配列の基本形のカラーフィルタの色配列は、行方向および列方向の何れについても、G/BまたはR/W(R/A)の
2色が2つごとに繰り返される。
For example, a first color pixel for sensing a first color (red; R) is arranged in even rows and odd columns, and a second color (green; G) is sensed in odd rows and odd columns. The second color pixels are arranged, the third color pixels for sensing the third color (blue; B) are arranged in the odd rows and even columns, and the infrared light IR is arranged in the even rows and even columns. A fourth color pixel (in this case, a white pixel or a wide wavelength region pixel) for sensing is arranged, and a different G / B or R / W (R / A) pixel for each row is in a checkered pattern. Is arranged. In the color arrangement of the basic color filter of such a Bayer arrangement, two colors of G / B or R / W (R / A) are repeated every two in both the row direction and the column direction.
原色フィルタ14R,14G,14Bを通して対応する検知部(画素12R,12G,12B)で検知することで可視光カラー画像を撮像できるとともに、白色フィルタ14Wを通して(もしくはフィルタなしで)対応する検知部(広波長領域画素12A)で検知することで赤外光画像、もしくは赤外光と可視光の混在画像を可視光カラー画像とは独立かつ同時に撮像することができる。
A visible light color image can be picked up by detecting with a corresponding detection unit (
たとえば、赤外光IRと可視光VLの混合成分を受光する広波長領域画素12Aからの画素データをそのまま用いることで、赤外光IRと可視光VLの混合成分の像を得ることができ、広波長領域の画素信号を取得することができる。
For example, by using the pixel data from the wide
また、広波長領域画素12Aで得られる赤外光IRと可視光VLの混合成分の像とともに画素12R,12G,12Bで可視光VLの色画像が得られるが、両者の差分を取ることで、赤外光IRのみの像が得られる。また、この広波長領域画素12Aから得られる混在画像信号(広波長領域画像信号)は、原色フィルタ14R,14G,14Bを配した画素12R,12G,12Bから得られる可視光カラー画像に対しての補正信号としても利用することができる。
In addition, a color image of visible light VL can be obtained by the
なお、上記例では、可視光カラー画像撮像用の色フィルタ群314として、原色フィルタ14R,14G,14Bを用いていたが、補色フィルタ14Cy,14Mg,14Yeを用いることもできる。
In the above example, the
この場合、たとえば、図2(B)に示す第1例の配列態様(その2)のように、原色フィルタ14Rをイエローフィルタ14Yeに、原色フィルタ14Gをマゼンタフィルタ14Mgに、原色フィルタ14Bをシアンフィルタ14Cyに、それぞれ置き換えた配置とするとよい。そして、対角に2つ存在することになるマゼンタフィルタ14Mgの一方に、白色フィルタ14Wを配するか、もしくは色フィルタ14を配しない。
In this case, for example, the
また、Cy,Mg,Yeの補色フィルタのみの組合せに限らず、原色フィルタの1つである緑色フィルタ14Gを補色フィルタと組み合せたものに対しても、広波長領域画素12Aを設けることもできる。たとえば、図2(C)に示す第1例の配列態様(その3)のように、Cy,Mgの2つの補色フィルタとGの原色フィルタとを組み合わせたフィールド蓄積周波数インターリーブ方式用のものにおいて、4画素内に2つ存在する原色フィルタ14Gの内の一方を白色フィルタ14Wに置き換えるか、もしくは色フィルタ14を配しないとよい。
The wide
<第2例〜第5例>
図3〜図6に示す色フィルタ群314の第2例〜第5例の配列態様は、解像度低下を考慮した画素配列である。
<Second Example to Fifth Example>
The arrangement modes of the second to fifth examples of the
画素配列に関して言えば、図2のような配列構造を適用した場合、単純に従来のRGB原色フィルタやCy,Mg,Ye補色フィルタ(あるいは原色フィルタG)の可視光の画素に広波長領域対応用の画素(広波長領域画素12A)を追加することになる。
Regarding the pixel arrangement, when the arrangement structure as shown in FIG. 2 is applied, the conventional RGB primary color filter and the visible light pixels of the Cy, Mg, Ye complementary color filter (or the primary color filter G) are simply compatible with a wide wavelength region. Pixels (wide
たとえば、本来、可視光カラー画像撮像用の緑色画素Gやマゼンタ色画素Mgが、広波長領域画素12Aに置き換わることになり、可視光カラー画像および赤外光画像の何れについても、解像度低下を招く可能性がある。たとえば、従来のRGBベイヤ配列のGの1つの画素を広波長領域画素12Aに置き換えると、解像度が低下する。しかしながら、広波長領域画素12Aと解像度に大きく寄与する波長成分の画素(たとえば緑色画素12G)の配置態様を工夫することで、この解像度低下の問題を解消することができる。
For example, the green pixel G and the magenta color pixel Mg for capturing a visible light color image are originally replaced with the wide
この際に重要なことは、従来と同様に、各色の色フィルタ14をモザイク状に配した色分離フィルタ構造を採用する場合、赤外光と可視光の混在の広波長領域画素12Aがある一定の格子間隔を持ってモザイク模様になるようにするとともに、可視光の原色系RGBまたは補色系Cy,Mg,Ye画素の内の1つの画素がある一定の格子間隔を持ってモザイク模様になるように配置することである。
In this case, what is important is that when a color separation filter structure in which the
ここで、「モザイク模様になるようにする」とは、ある色画素に着目したとき、それらがある一定の格子間隔を持って格子状に配列されるようにすることを意味する。必ずしも、その色画素が隣接することを必須とはしない。なお、色画素が隣接する配置態様を採った場合の典型例としては、広波長領域画素12Aとその他の色画素の正方形を互い違い並べた碁盤目模様(市松模様)となるようにする配置態様がある。あるいは、可視光の原色系RGBまたは補色系Cy,Mg,Ye画素の内の1つの画素とその他の色画素の正方形を互い違い並べた碁盤目模様(市松模様)となるようにする配置態様がある。
Here, “to make a mosaic pattern” means that when attention is paid to a certain color pixel, they are arranged in a grid pattern with a certain grid interval. The color pixels are not necessarily required to be adjacent to each other. As a typical example of the arrangement mode in which the color pixels are adjacent to each other, an arrangement mode in which the wide
<第2例:原色フィルタへの適用例>
たとえば、RGB原色フィルタを用いつつ可視光カラー画像の解像度低下を抑えるには、可視光領域のGの画素の配置密度を維持し、可視光領域の残りのRもしくはBの画素を、広波長領域画素12Aに置き換えるとよい。たとえば図3(A)に示す第2例の配列態様(その1)のように、2行2列の単位画素マトリクス12内において先ず、奇数行奇数列および偶数行偶数列に可視光領域の緑色成分を感知するための色フィルタ14Gを設けた緑色画素12Gを配し、偶数行奇数列には白色フィルタ14Wを設けたもしくは色フィルタ14を設けない広波長領域画素12Aを配する。広波長領域画素12Aは、可視光および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子の一例である。
<Second Example: Application Example to Primary Color Filter>
For example, in order to suppress the reduction in the resolution of the visible light color image while using the RGB primary color filter, the arrangement density of the G pixels in the visible light region is maintained, and the remaining R or B pixels in the visible light region are It may be replaced with the
また、単位画素マトリクス12の列方向の奇数番目においては、行方向の奇数番目の単位画素マトリクス12における奇数行偶数列に可視光領域の青色成分を感知するための色フィルタ14Bを設けた青色画素12Bを配し、行方向の偶数番目の単位画素マトリクス12における奇数行偶数列に可視光領域の赤色成分を感知するための色フィルタ14Rを設けた赤色画素12Rを配する。単位画素マトリクス12の列方向の偶数番目においては、青色画素12Bと赤色画素12Rの配置を逆にする。全体としては、色フィルタ群314の繰返しサイクルは、2×2の単位画素マトリクス12で完結することになる。
In the odd-numbered
なお、赤色画素12R、緑色画素12G、および青色画素12Bを纏めて可視光検知画素12VLと称する。可視光検知画素12VLは、RGB信号などの可視光信号を波長分離して取得する特定波長領域信号取得素子の一例である。
The
この図3(A)に示すような配置形態の場合、可視光の原色系RGB画素の内の1つの緑色画素12Gとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、可視光カラー画像における解像度に大きく寄与する緑色画素12Gの配置密度をベイヤ配列と同じにできるので、合成輝度信号を用いて得られる可視光カラー画像の解像度の低下はなくなる。
In the case of the arrangement as shown in FIG. 3A, a checkered pattern arrangement is adopted in which one
ただし、赤色画素12Rと青色画素12Bの配置密度はベイヤ配列に対して1/2になるのでカラー分解能が低下する。しかしながら、色に関する人間の視感度は、緑Gに比べて赤Bや青Bは劣るので、大きな問題にはならないと考えてよい。
However, since the arrangement density of the
一方、輝度信号に寄与する広波長領域画素12Aで得られる広波長領域画像(つまり輝度画像)に関しては、広波長領域画素12Aの配置密度が、可視光領域の緑色成分を感知するための緑色画素12Gに対して1/2になるので、輝度画像の分解能は、原色画素12R,12G,12Bで得られる各画素信号に基づいて合成される合成輝度信号を利用した場合の可視光カラー画像よりも劣る。
On the other hand, for the wide wavelength region image (that is, the luminance image) obtained by the wide
また、広波長領域画素12Aで得られる広波長領域画像(つまり輝度画像)の解像度低下を抑えるには、たとえば図3(B)に示す第2例の配列態様(その2)のように、図3(A)に示す可視光領域の緑色成分を感知するための緑色画素12Gと、広波長領域画素12Aの配置を入れ替えるとよい。この場合、広波長領域画素12Aとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、広波長領域画素12Aの配置密度をベイヤ配列の場合と同じにできるので、出力される輝度画像の解像度の低下はなくなる。ただし、可視光カラー画像における解像度に大きく寄与する緑色画素12Gの配置密度は、広波長領域画素12Aに対して1/2になるので、可視光カラー画像は、広波長領域画素12Aから得られる輝度画像の分解能よりも劣る。カラー分解能に関しては、図3の場合と同様である。
Further, in order to suppress the resolution reduction of the wide wavelength region image (that is, the luminance image) obtained by the wide
<第3例:補色フィルタへの適用例>
また、Cy,Mg,Ye補色フィルタを用いつつ可視光カラー画像の解像度低下を抑えるには、可視光領域のMgの画素の配置密度を維持し、可視光領域の残りのRもしくはBの画素を、広波長領域画素12Aに置き換えるとよい。たとえば図4(A)に示す第3例の配列態様(その1)のように、2行2列の単位画素マトリクス12内において、先ず、奇数行奇数列および偶数行偶数列に可視光領域のマゼンタ色成分を感知するための色フィルタ14Mgを設けたマゼンタ画素12Mgを配し、偶数行奇数列には白色フィルタ14Wを設けたもしくは色フィルタ14を設けない広波長領域画素12Aを配する。なお、マゼンタ色Mgの内の一方を緑色Gに置き換えることもできる。
<Third example: application example to complementary color filter>
Further, in order to suppress the resolution reduction of the visible light color image while using the Cy, Mg, Ye complementary color filter, the arrangement density of the Mg pixels in the visible light region is maintained, and the remaining R or B pixels in the visible light region are replaced. It may be replaced with the wide
この場合、可視光の補色系Cy,Mg,Ye画素の内の1つのマゼンタ画素12Mgとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、可視光カラー画像における解像度に大きく寄与するマゼンタ画素12Mgの配置密度をベイヤ配列と同じにできるので、合成輝度信号を用いて得られる可視光カラー画像の解像度の低下はなくなる。 In this case, a checkered pattern arrangement is used in which one magenta pixel 12Mg of complementary colors Cy, Mg, Ye pixels of visible light and the squares of the other color pixels are alternately arranged, and the resolution in the visible light color image is adopted. Since the arrangement density of the magenta pixels 12Mg that greatly contributes to can be made the same as that of the Bayer array, the resolution of the visible light color image obtained by using the synthesized luminance signal is eliminated.
なお、カラー画素Cyとカラー画素Yeの配置密度はマゼンタ画素12Mgの配列に対して1/2になるのでカラー分解能が低下するが、色に関する人間の視感度は低く大きな問題にはならないと考えてよい。 In addition, since the arrangement density of the color pixels Cy and the color pixels Ye is halved with respect to the arrangement of the magenta pixels 12Mg, the color resolution is lowered. Good.
また、輝度信号に寄与する広波長領域画素12Aで得られる広波長領域画像(つまり輝度画像)に関しては、広波長領域画素12Aの配置密度が、可視光領域のマゼンタ色成分を感知するためのマゼンタ画素12Mgに対して1/2になるので、輝度画像の分解能は、原色画素12R,12G,12Bで得られる各画素信号に基づいて合成される合成輝度信号を利用した場合の可視光カラー画像よりも劣る。
For a wide wavelength region image (that is, a luminance image) obtained by the wide
また、赤外光画像の解像度低下を抑えるには、たとえば図4(B)に示す第3例の配列態様(その2)のように、図4(A)に示す可視光領域のマゼンタ色成分を感知するためのマゼンタ画素12Mgと、広波長領域画素12Aの配置を入れ替えるとよい。この場合、広波長領域画素12Aとその他の色画素の正方形を互い違い並べた市松模様の配置態様を採用しており、広波長領域画素12Aの配置密度をベイヤ配列の場合と同じにできるので、広波長領域画素12Aで得られる広波長領域画像(つまり輝度画像)の解像度の低下はなくなる。ただし、可視光カラー画像における解像度に大きく寄与するマゼンタ画素12Mgの配置密度は、広波長領域画素12Aに対して1/2になるので、可視光カラー画像は、輝度画像の分解能よりも劣る。カラー分解能に関しては、図4(A)の場合と同様である。
Further, in order to suppress a reduction in the resolution of the infrared light image, for example, as in the arrangement example (part 2) of the third example shown in FIG. 4B, the magenta color component in the visible light region shown in FIG. The arrangement of the magenta pixel 12Mg and the wide
なお、解像度低下を抑えるための上記の配置態様例では、緑色Gまたはマゼンタ色Mgの画素をできるだけ高密度でモザイク模様(定型例としての市松模様)となるように配置していたが、その他の色(R,BまたはCy,Ye)の画素を市松模様となるように配置しても、ほぼ同様の効果を得ることができる。もちろん、解像度や色分解能を高める上では、視感度の高い色成分のフィルタをできるだけ高密度でモザイク模様となるように配置するのが好ましい。 In the above arrangement example for suppressing the reduction in resolution, the pixels of green G or magenta color Mg are arranged in a mosaic pattern (checkered pattern as a standard example) at as high a density as possible. Even if the pixels of the colors (R, B or Cy, Ye) are arranged in a checkered pattern, substantially the same effect can be obtained. Of course, in order to increase the resolution and the color resolution, it is preferable to arrange the color component filters having high visibility so as to form a mosaic pattern with as high a density as possible.
特に、本実施形態では、色フィルタC4を通して得られる広波長領域信号SAから出力用の輝度信号を取得することにするので、この点を考慮すれば、図3(B)に示したような、広波長領域画素12Aの配置密度ができるだけ高くなるような色フィルタ14の配列態様、つまり白画素に相当する広波長領域画素12Aが最も高密度となるようにしつつ市松状に配置したカラーフィルタアレイとすることが、全体として、高解像度化に大きく寄与することになる。
In particular, in the present embodiment, the luminance signal for output is obtained from the wide wavelength region signal SA obtained through the color filter C4. Therefore, in consideration of this point, as shown in FIG. An arrangement mode of the
こうすることで、可視光成分の少ない低照度環境下での撮影画像について、可視光領域以外の成分も使うことで効果的なノイズ低減を実現することに加えて、解像度の高い高品質な画像を取得することが可能となる。 By doing this, in addition to realizing effective noise reduction by using components other than the visible light region for shot images in a low-light environment with few visible light components, high-resolution images with high resolution Can be obtained.
<第4例&第5例:斜め配置への適用例>
なお、上記例では、正方格子状に色フィルタを配置する事例を説明したが、斜め格子状に配列することもできる。たとえば、図5(A)に示す第4例の配列態様(その1)は、図3(A)に示す配置態様を、右回りに略45度だけ回転させた状態の画素配列になっている。また図5(B)に示す第4例の配列態様(その2)は、図3(B)に示す配置態様を、右回りに略45度だけ回転させた状態の画素配列になっている。このように、斜め格子状に配列すると、垂直方向と水平方向の各画素密度が増すことになり、その方向での解像度をさらに高くすることができるのである。
<Example 4 & Example 5: Application example to oblique arrangement>
In the above example, the case where the color filters are arranged in a square lattice shape has been described. However, the color filters may be arranged in an oblique lattice shape. For example, the arrangement mode (No. 1) of the fourth example shown in FIG. 5A is a pixel arrangement in a state where the arrangement mode shown in FIG. 3A is rotated approximately 45 degrees clockwise. . Further, the arrangement example (No. 2) of the fourth example shown in FIG. 5B is a pixel arrangement obtained by rotating the arrangement example shown in FIG. 3B clockwise by approximately 45 degrees. As described above, when arranged in an oblique lattice shape, the pixel density in the vertical direction and the horizontal direction increases, and the resolution in that direction can be further increased.
また、図6に示す第5例の配列態様は、図3(B)に示す第4例の配列態様(その2)に対して、演算処理により仮想の広波長領域画素12AAを算出可能にしたもので、さらに高解像度化を図ることができる。なお、仮想の広波長領域画素12AAは、上下または左右の実在する広波長領域画素12Aの信号を元に演算することができる。
In addition, the arrangement example of the fifth example shown in FIG. 6 enables calculation of the virtual wide wavelength region pixel 12AA by the arithmetic processing, compared to the arrangement example (part 2) of the fourth example shown in FIG. Therefore, higher resolution can be achieved. Note that the virtual wide wavelength region pixel 12AA can be calculated based on the signals of the actual wide
以上説明したように、色フィルタ群314をなす色フィルタ14の配列(色配列)としては様々なものを適用し得るが、何れにおいても、広波長領域画素12Aは、所定の間隔を持って市松状に配置されている。このような色配列を持つ半導体装置としての固体撮像素子を適用して撮影した画素信号に基づいて信号処理(特に輝度成分に関わる信号処理)を実行すれば、広波長領域画素12Aからは、可視光成分に基づく信号だけでなく、不可視光成分に基づく信号が重畳されて出力されるようになり、特に、低照度の下で撮影した画像であっても効果的なノイズ低減を実現して高品質な画像を得ることが可能となる。
As described above, various arrangements (color arrangements) of the
<撮像装置>
図7は、物理情報取得装置の一例である撮像装置の概略構成を示す図である。撮像装置300は、可視光カラー画像および近赤外光成分を含む輝度画像を独立に得る撮像装置や、近赤外光成分を使った補正をした可視光カラー画像を得る撮像装置になっている。
<Imaging device>
FIG. 7 is a diagram illustrating a schematic configuration of an imaging apparatus which is an example of a physical information acquisition apparatus. The
具体的には、撮像装置300は、被写体Zの像を担持する光Lを撮像部側に導光して結像させる撮影レンズ302と、光学ローパスフィルタ304と、半導体装置の一例である固体撮像素子(イメージセンサ)312、不可視光カットフィルタ層の一例である赤外光カットフィルタ層313、および色フィルタ群314を有する全体として半導体装置をなす撮像部310と、固体撮像素子312を駆動する駆動部320と、固体撮像素子312から出力された不可視光成分信号の一例である赤外光信号SIR(赤外光成分)および可視光信号SVL(可視光成分)を処理する撮像信号処理部330とを備えている。
Specifically, the
赤外光カットフィルタ層313は、第1の波長領域の成分としての可視光領域および第2の波長領域の成分としての赤外光成分に対して透過性を有する開口部313aと第1の波長領域の成分としての可視光領域に対して透過性を有するとともに第2の波長領域の成分としての赤外光成分に対して非透過性を有する非開口部313bとを具備する第1の波長分離フィルタ部の一例である。
The infrared light cut
また、色フィルタ群314は、第1の波長領域としての可視光領域をそれぞれ異なる波長領域成分に分離する第2の波長分離フィルタ部の一例である。
The
光学ローパスフィルタ304は、折返し歪みを防ぐために、ナイキスト周波数以上の高周波成分を遮断するためのものである。
The optical low-
なお、図中に点線で示したように、一般的な撮像装置では、光学ローパスフィルタ304と合わせて、赤外光成分を低減させる赤外光カットフィルタ305を設けるが、本実施形態では、赤外光カットフィルタ305を備えない構成を基本とする。
Note that, as indicated by the dotted line in the figure, in a general imaging apparatus, an infrared light cut
また、可視光カラー画像および近赤外光画像を独立に得る構成とする場合、撮影レンズ302を通して入射された光L1を不可視光の一例である赤外光IRと可視光VLとに分離する波長分離用の光学部材(波長分離光学系という)を備える仕組みが採られることもあるが、本構成では、そのような入射系において波長分離を行なう波長分離光学系を備えていない。
When the visible light color image and the near-infrared light image are obtained independently, the wavelength that separates the light L1 incident through the photographing
固体撮像素子312は、2次元マトリックス状に形成された光電変換画素群からなる撮像素子である。なお、本実施形態で用いる赤外光カットフィルタ層313および固体撮像素子312の具体的な構成については後述する。
The solid-
固体撮像素子312の撮像面では、被写体Zの像を担持する赤外光IRに応じた電荷や可視光VLに応じた電荷が発生する。電荷の蓄積動作や電荷の読出動作などの動作は、図示しないシステムコントロール回路から駆動部320へ出力されるセンサ駆動用のパルス信号によって制御される。
On the imaging surface of the solid-
固体撮像素子312から読み出された電荷信号は撮像信号処理部330に送られ、所定の信号処理が加えられる。
The charge signal read from the solid-
ここで、本実施形態の構成においては、色フィルタC4としては、色フィルタC1,C2,C3を通して得られる信号よりも光の利用効率が高い広波長領域信号が得られるようにしており、色フィルタC4を通して得られる広波長領域信号SAに含まれる赤外光撮像信号SIRは、可視光帯域の全成分で示される、一般的に輝度信号SY と称されるものを補完する信号成分として機能するようになっている。 Here, in the configuration of the present embodiment, as the color filter C4, a wide wavelength region signal having higher light utilization efficiency than the signals obtained through the color filters C1, C2, and C3 is obtained. The infrared imaging signal SIR included in the wide wavelength region signal SA obtained through C4 functions as a signal component that complements what is generally referred to as the luminance signal SY, which is indicated by all components in the visible light band. It has become.
たとえば、撮像信号処理部330は、固体撮像素子312から出力されたセンサ出力信号(色フィルタC4を通して得られる輝度信号SY および赤外光撮像信号SIRでなる広波長領域信号SA並びに色フィルタC1,C2,C3を通して得られる色信号SR,SG,SB)に対して黒レベル調整やゲイン調整やクリッピング処理やガンマ補正などの前処理を行なう前処理部332と、前処理部332から出力されたアナログ信号をデジタイル信号に変換するAD変換部334と、ホワイトバランス補正や撮影レンズ302で生じるシェーディングや固体撮像素子312の画素欠陥などを補正する補正処理部336と、本発明に係る信号処理装置の一例である画像信号処理部340とを備えている。
For example, the imaging
画像信号処理部340は、被写体Zを色フィルタC1〜C4の配列パターン(モザイクパターン)に従って画素ごとに異なる色と感度で撮像し、色と感度がモザイク状になった色・感度モザイク画像から、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換するデモザイク信号処理部341を備えている。
The image
なお、一般に、波長成分(色成分)や感度が異なるモザイク状の撮像情報としてのモザイク画像から、全ての画素位置について色や感度が均一な情報としての輝度画像や単色画像を生成する処理をデモザイク処理と称する。 In general, a demosaic process that generates a luminance image or a monochrome image as information with uniform color and sensitivity for all pixel positions from a mosaic image as mosaic-shaped imaging information with different wavelength components (color components) and sensitivities. This is called processing.
詳細は後述するが、デモザイク信号処理部341は、色フィルタC4を通して得られる色・感度モザイク画像から測光量を示す信号として輝度画像を生成する輝度信号生成部、および、色フィルタC1,C2,C3を通して得られる色・感度モザイク画像を用いて単色画像R,G,Bを生成する単色画像信号生成部とを有する。
Although details will be described later, the demosaic
また、詳細は後述するが、信号処理形態によっても異なるものの、単色画像信号生成部の後段には、単色画像信号生成部で得られる単色画像R,G,Bに基づいて色差信号(たとえばR−Y,B−Y)を生成する色差信号処理部が設けられることもあるし、また、輝度信号生成部で得られる輝度信号に基づき取得される所定の信号成分と単色画像信号生成部で得られる単色画像R,G,Bに基づく単色画像信号Ra,Ga,Baとを加算して最終的な色出力信号としての単色画像信号Rz,Gz,Bzを生成する合成処理部が設けられることもある。後者の場合、さらに、その後段に色差信号(たとえばR−Y,B−Y)を生成する色差信号処理部が設けられることもある。 Although details will be described later, although different depending on the signal processing mode, a color difference signal (for example, R−) is provided at the subsequent stage of the monochrome image signal generation unit based on the monochrome images R, G, and B obtained by the monochrome image signal generation unit. Y, B−Y) may be provided, or a predetermined signal component obtained based on the luminance signal obtained by the luminance signal generation unit and the monochrome image signal generation unit may be obtained. There may be provided a synthesis processing unit that adds the monochrome image signals Ra, Ga, Ba based on the monochrome images R, G, B to generate the monochrome image signals Rz, Gz, Bz as final color output signals. . In the latter case, a color difference signal processing unit that generates a color difference signal (for example, RY, BY) may be provided in the subsequent stage.
また、画像信号処理部340は、デモザイク信号処理部341の輝度信号生成部から出力された広波長領域信号SAに対して所望の輝度信号処理を加えて最終的な輝度出力信号としての輝度信号Yzを生成する輝度信号処理部を備えていてもよい。輝度信号処理部を設けない場合には、デモザイク処理で得られたものを、そのまま輝度信号Yzとして出力することになる。
In addition, the image
また、画像信号処理部340は、デモザイク信号処理部341の輝度信号生成部から出力された広波長領域信号SAから赤外光撮像信号SIRを抽出することで赤外光画像を表わす赤外光信号SIRzを生成する赤外信号処理部を備えていてもよい。
In addition, the image
本実施形態では、輝度信号処理部、色差信号処理部、合成処理部、赤外信号処理部を纏めて、出力画像信号処理部343と称する。
In the present embodiment, the luminance signal processing unit, the color difference signal processing unit, the synthesis processing unit, and the infrared signal processing unit are collectively referred to as an output image
出力画像信号処理部343の後段には、図示を割愛するが、さらにモニタ出力用のビデオ信号とするためのエンコーダが設けられることもある。エンコーダでは、2系統の色差信号(たとえばR−Y,B−Y)に基づいて、各種の放送方式に準拠したサブキャリアで変調することでクロマ信号を生成し、さらに輝度信号Yと合成することで、ビデオ信号を生成する。
Although not shown, an encoder for generating a video signal for monitor output may be provided at the subsequent stage of the output image
単色画像信号生成部は、注目する色成分について、色フィルタR,G,Bを通して得られる各色・感度モザイク画像、色フィルタR,G,Bの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号SR
,SG,SBを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が各色成分の画素値を有する単色画像を生成する。
The single color image signal generation unit, for the color component of interest, each color / sensitivity mosaic image obtained through the color filters R, G, B, color mosaic pattern information indicating the arrangement pattern of the color filters R, G, B, and the sensitivity mosaic pattern Based on the information, neighboring pixel signals SR of the same color
, SG, and SB, the color / sensitivity mosaic image is interpolated to generate a single color image in which all the obtained pixels have pixel values of the respective color components.
輝度画像生成部も、同様に、色フィルタC4を通して得られる色・感度モザイク画像、色フィルタC4の配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、近傍の同一色の画素信号SAを用いて色・感度モザイク画像に補間処理を施すことで、得られる全ての画素が高波長領域信号成分の画素値を有する広波長領域画像を生成し、これを、事実上、輝度画像として使用するようにする。 Similarly, the luminance image generation unit also uses the color / sensitivity mosaic image obtained through the color filter C4, the color mosaic pattern information indicating the arrangement pattern of the color filter C4, and the sensitivity mosaic pattern information to detect pixel signals of the same color in the vicinity. By applying interpolation processing to the color / sensitivity mosaic image using SA, a wide wavelength region image in which all the obtained pixels have pixel values of the high wavelength region signal component is generated, which is effectively used as a luminance image. Try to use it.
色フィルタC4を設けない、R,G,Bの3原色フィルタを配したベイヤ配列の場合、色フィルタR,G,Bを通して得られる各色・感度モザイク画像、色フィルタR,G,Bの配列パターンを示す色モザイクパターン情報、および感度モザイクパターン情報に基づいて、3原色成分R,G,Bの各推定値を求め、求めた推定値に色バランス係数を乗算し、各色についての乗算値を加算し、その和を画素値とする輝度画像を生成する必要があるが、本実施形態では、このような演算が不要になる。 In the case of a Bayer array in which three primary color filters of R, G, and B are arranged without the color filter C4, each color / sensitivity mosaic image obtained through the color filters R, G, and B, and an array pattern of the color filters R, G, and B The estimated values of the three primary color components R, G, and B are obtained based on the color mosaic pattern information indicating the sensitivity mosaic information and the sensitivity mosaic pattern information, and the obtained estimated values are multiplied by a color balance coefficient, and the multiplied values for the respective colors are added. However, although it is necessary to generate a luminance image having the sum as a pixel value, in this embodiment, such a calculation is not necessary.
このような構成によって、撮像装置300は、撮影レンズ302により赤外光IRを含む被写体Zを表わす光学画像を取り込み、赤外光画像(近赤外光光学画像)と可視光像(可視光光学画像)とを分離することなく撮像部310に取り込み、撮像信号処理部330によってこれら赤外光画像と可視光像とをそれぞれ映像信号に変換した後に所定の信号処理(たとえばR,G,B成分への色信号分離など)を行なって、カラー画像信号や赤外光画像信号、あるいは両者を合成した混在画像信号として出力する。
With such a configuration, the
たとえば、撮影レンズ302は、波長380nm程度から2200nm程度までの光を透過することができる石英またはサファイアなどの光学材料によって構成されるレンズであり、赤外光IRを含む光学画像を取り込んで、これを集光しながら固体撮像素子312上に結像させる。
For example, the photographing
また、本実施形態の撮像装置300においては、撮像部310に、本来の検知目的の波長成分の検知に最適化された検知部(イメージセンサ)を設けるようにする点に特徴を有している。特に、本実施形態においては、可視光VLと赤外光IRの内の短波長側を検知するべく、可視光VLの検知に最適化された固体撮像素子312が設けられている。
In addition, the
ここで“最適化されたイメージセンサ”とは、本来の検知目的の波長成分の撮像信号に、本来の検知目的の波長成分以外が可能な限り含まれないようにするような波長分離対応の領域を備えた構造を持つことを意味する。 Here, the “optimized image sensor” is an area corresponding to wavelength separation that prevents an image signal having a wavelength component originally intended for detection to include a wavelength component other than the wavelength component intended for detection as much as possible. It means having a structure with.
波長分離光学系による光路上での波長分離を備えなくても、イメージセンサ側で波長分離対応の構造を持つようにすることで、光学系をコンパクトにすることを可能にする点に特徴を有している。 Even if the wavelength separation optical system does not provide wavelength separation on the optical path, the optical sensor can be made compact by having a structure that supports wavelength separation on the image sensor side. doing.
このような撮像装置の構造は、特開平10−210486号公報や特開平06−121325号公報のように、波長分離光学系で分離した各波長成分を、同様の構造を持つそれぞれ個別のセンサに入射させることで、可視光像と赤外光画像とを個別に取得する構成とは異なる。 The structure of such an imaging apparatus is as follows. Each wavelength component separated by the wavelength separation optical system is converted into an individual sensor having the same structure as disclosed in JP-A-10-210486 and JP-A-06-121325. By making it enter, it differs from the structure which acquires a visible light image and an infrared-light image separately.
また、特開平10−210486号公報のように、コールドミラーを透過した可視光成分をさらに3枚のダイクロイックミラーで、赤色成分、緑色成分、および青色成分に分離し、それぞれを個別のセンサに入射させることで、可視光VLに関して、R,G,Bの個別の画像を取得する仕組みとも異なる。特開平10−210486号公報の方式では、可視光VLについて3つのセンサが必要になり、感度向上はあるものの、コストが増大するという問題点がある。本実施形態の構成ではこの問題がない。 Further, as disclosed in Japanese Patent Application Laid-Open No. 10-210486, the visible light component transmitted through the cold mirror is further separated into three components, a red component, a green component, and a blue component, and each is incident on an individual sensor. By doing so, it is different from the mechanism for acquiring R, G, B individual images with respect to the visible light VL. The method disclosed in Japanese Patent Application Laid-Open No. 10-210486 requires three sensors for the visible light VL, and has the problem that the cost increases although the sensitivity is improved. This configuration does not have this problem.
また、特開2002−369049号公報のように、光路上にて2段構えで波長分離を行ない、同様の構造を持つそれぞれ個別のセンサに入射させることで、可視光像と赤外光画像とを個別に取得する構成とも異なる。同公報の方式では、光路上にて2段構えで波長分離を行なうので、光学系が大掛かりになる難点がある。加えて、感度やボケなどの問題も有する。本実施形態の構成ではこの問題がない。 Further, as disclosed in Japanese Patent Application Laid-Open No. 2002-369049, wavelength separation is performed in two stages on the optical path and incident on each individual sensor having the same structure. It is also different from the configuration of acquiring each individually. In the method of this publication, wavelength separation is performed in two stages on the optical path, so that there is a problem that the optical system becomes large. In addition, there are problems such as sensitivity and blur. This configuration does not have this problem.
たとえば、本実施形態の構成では、撮像部310による可視光VLの撮像において、減色フィルタの一例として赤外光カットフィルタを固体撮像素子312の前に入れる必要がなくなる。高価な赤外光カットフィルタを不要にすることで、コストを大幅に低減できる。また、厚みや重さのある赤外光カットフィルタを不要にすることで、光学系を軽量かつコンパクトにできる。もちろん、赤外光カットフィルタの挿入/抜出機構が不要であり、装置が大がかりになることもない。既存のガラス製の赤外光カットフィルタを用いる場合に比べて、コスト的に有利になるし、コンパクトになって携帯性などに優れたデジタルカメラなどの撮像装置を提供することができる。
For example, in the configuration of the present embodiment, it is not necessary to insert an infrared light cut filter as an example of a subtractive color filter in front of the solid-
また、赤外光カットフィルタを固体撮像素子312の前に入れる構成では、ガラス基板をCCDやCMOSなどの撮像素子の前に入れることで光路の途中に空気とガラス界面が生じてしまう。したがって、透過して欲しい可視光VLの光までがその界面で反射されてしまい、感度低下を招く問題が生じる。さらにこのような界面が多くなることで、斜め入射における(ガラス内で)屈折する角度が波長によって異なり、光路の変化による焦点ぼけを引き起こす。これに対して固体撮像素子312の前側の光路上にガラス製の赤外光カットフィルタを用いないことで、このような焦点ぼけがなくなる利点が得られる。
Further, in the configuration in which the infrared light cut filter is placed in front of the solid-
なお、さらに波長分離性能を向上させるために、光学系が大きくなってしまなどの問題が生じてしまうが、全体に弱い赤外光カットフィルタを入れてもよい。たとえば50%以下の赤外光カットフィルタを入れることで可視光VLに対して殆ど問題のないレベルまでカットするとよい。 In addition, in order to further improve the wavelength separation performance, problems such as an optical system becoming large may occur. However, a weak infrared light cut filter may be inserted as a whole. For example, an infrared light cut filter of 50% or less may be inserted to cut the visible light VL to a level with almost no problem.
何れにしても、信号処理をどのようにするか次第ではあるが、可視光VLと可視光以外(本例では赤外光IR)とを混在させた画像の撮像を行なうことができるし、場合によっては、可視光VLのみの画像と赤外光IRのみの画像とを分離して出力することもできる。 In any case, depending on how the signal processing is performed, it is possible to capture an image in which visible light VL and non-visible light (in this example, infrared light IR) are mixed. Depending on the situation, an image of only visible light VL and an image of only infrared light IR can be separated and output.
さらに、固体撮像素子312上に、可視光VL内を所定の波長領域成分に分離する光学部材の一例として、可視光領域において所定の波長透過特性を持つ色フィルタを画素(単位画素マトリクス)に対応させて設けることで、赤外光IRの影響をほぼ全く受けない可視光領域中の特定波長領域のみの像が得られる。
Furthermore, as an example of an optical member that separates the visible light VL into a predetermined wavelength region component on the solid-
また、単位画素マトリクスを構成する複数のフォトダイオード上に一体的に、可視光領域においてそれぞれ異なる波長透過特性を持つ色フィルタを、各波長対応(色別)のフォトダイオードに位置整合させ、規則的に配列することで、可視光領域を波長別(色別)に分離することができ、これらの色別の画素から得られる各画素信号に基づいて、赤外光IRの影響をほぼ全く受けない可視光VLのみのカラー画像(可視光カラー画像)が得られる。 In addition, the color filters having different wavelength transmission characteristics in the visible light region are integrated on the plurality of photodiodes constituting the unit pixel matrix so as to be aligned with the photodiodes corresponding to the respective wavelengths (by color), and regularly. By arranging them in the visible light region, it is possible to separate the visible light region by wavelength (by color), and based on each pixel signal obtained from these pixels by color, there is almost no influence of infrared light IR. A color image of only visible light VL (visible light color image) is obtained.
もちろん、波長別(色別)の信号を合成することで可視光のみのモノクロ画像を得ることもできる。広波長領域画素12A側で得られる赤外光成分を含むモノクロ画像と可視光のみのモノクロ画像とを使ったアプリケーションも可能となるし、両者の差分から、赤外光成分のみの画像を抽出することもできる。
Of course, it is also possible to obtain a monochrome image with only visible light by synthesizing signals by wavelength (by color). An application using a monochrome image including an infrared light component obtained on the wide
このように、可視光VLのモノクロ画像あるいはカラー画像と、“赤外光IRに関わる像”をそれぞれ独立に求めることが常時可能となる。“赤外光IRに関わる像”とは、可視光VLの影響をほぼ全く受けない赤外光IRのみの像や赤外光IRと可視光VLとを混在させた像を意味する。 In this way, it is always possible to independently obtain a monochrome image or color image of visible light VL and an “image related to infrared light IR” independently. The “image related to the infrared light IR” means an image of only the infrared light IR that is hardly affected by the visible light VL, or an image in which the infrared light IR and the visible light VL are mixed.
赤外光IRの影響をほぼ全く受けない可視光VLのみの撮像(モノクロ撮像もしくはカラー撮像)と、赤外光IRと可視光VLとを混在させた撮像を、同時に行なうようにすることもできるのである。また、可視光VLのみの成分(モノクロ像成分もしくはカラー像成分)と、赤外光IRと可視光VLとを混在させた成分との合成処理(詳しくは差分処理)により、可視光VLの影響をほぼ全く受けない赤外光IRのみの撮像を行なうようにすることもできる。 Imaging with only visible light VL (monochrome imaging or color imaging) that is almost unaffected by infrared light IR and mixed imaging with infrared light IR and visible light VL can be performed simultaneously. It is. In addition, the effect of visible light VL is achieved by combining (specifically, differential processing) a component that includes only visible light VL (monochrome image component or color image component) and a component that mixes infrared light IR and visible light VL. It is also possible to perform imaging using only infrared light IR that does not receive substantially any of the above.
なお、上記において、“影響をほぼ全く受けない”とは、最終的に人間の視覚によることを考慮し、一般的に人間の視覚によって明確な差が関知できない程度であれば、“影響を若干受ける”ことがあってもよい。すなわち、赤外光IR側については通過波長領域(可視光VL)の影響を無視可能な赤外画像(物理情報の一例)を取得できればよく、可視光VL側については反射波長領域成分(赤外光IR)の影響を無視可能な通常画像(物理情報の一例)を取得できればよい。 In the above, “substantially unaffected” means that the human visual sense is ultimately taken into account. Generally, if a clear difference cannot be recognized by human visual sense, It may be “received”. In other words, it is only necessary to obtain an infrared image (an example of physical information) that can ignore the influence of the pass wavelength region (visible light VL) on the infrared light IR side, and a reflected wavelength region component (infrared) on the visible light VL side. It is only necessary to obtain a normal image (an example of physical information) that can ignore the influence of (light IR).
なお、色フィルタC4として、白色フィルタを使用する場合には、色フィルタC4が配される補正画素は、可視光から赤外光まで広い波長域において感度を持つことになるので、色フィルタC1,C2,C3が配される可視光撮像用の他の画素に比べて、画素信号が飽和し易い。 When a white filter is used as the color filter C4, the correction pixel in which the color filter C4 is arranged has sensitivity in a wide wavelength range from visible light to infrared light. Compared to other pixels for visible light imaging where C2 and C3 are arranged, the pixel signal is likely to be saturated.
この問題を避けるには、色フィルタC4が配される第2の検知部の検知時間を駆動部320により制御するとよい。たとえば、明るい所での撮像においては、電子シャッタ機能を利用するなどして、通常よりも短い周期で補正画素の検知部から画素信号を読み出して、それを前処理部332に送るようにするのがよい。この場合、60フレーム/秒より高いレートで信号を送ることで飽和に対して効果が得られる。
In order to avoid this problem, the
あるいは単に0.01667秒より短い時間(蓄積時間)で補正画素の検知部から電荷を読み出せればよい。この場合、オーバーフローを用いて基板側に電荷信号を排出することで実効的に短い時間での電荷の蓄積を読み出してもよい。さらに望ましくは、240フレーム/秒より高いレートで信号を送ることで飽和に対して効果がよりある。あるいは、単に4.16ミリ秒より短い時間(蓄積時間)で検知部から電荷を読み出せればよい。何れにしても、補正画素の検知部から出力される画素信号が飽和し難いようにできればよい。なお、このように飽和しないように短い時間(蓄積時間)で電荷を読み出すのは補正画素だけ行なってもよいし、全画素をそのようにしてもよい。 Alternatively, the charge may be read from the correction pixel detection unit in a time shorter than 0.01667 seconds (accumulation time). In this case, the accumulation of charges in an effective short time may be read out by discharging the charge signal to the substrate side using overflow. More desirably, sending a signal at a rate higher than 240 frames / second is more effective against saturation. Alternatively, the charge may be read from the detection unit in a time shorter than 4.16 milliseconds (accumulation time). In any case, it suffices if the pixel signal output from the detection unit for the correction pixel is hardly saturated. It should be noted that it is possible to read out the charges in a short time (accumulation time) so as not to saturate in this way only for the correction pixels, or for all the pixels.
さらに短い時間で読み取った信号を2回以上積算することで、弱い信号を強い信号に変換し、S/N比を高めてもよい。たとえば、このようにすることで暗いところで撮像しても、また明るいところで撮像しても適切な感度と高いS/N比が得られ、ダイナミックレンジが広がることになる。 Furthermore, by integrating the signals read in a short time twice or more, weak signals may be converted into strong signals and the S / N ratio may be increased. For example, in this way, appropriate sensitivity and a high S / N ratio can be obtained and the dynamic range can be widened even if an image is taken in a dark place or an image is taken in a bright place.
<撮像素子;色フィルタ群と赤外光カットフィルタ層の配置順>
図8および図9は、固体撮像素子312を構成する色フィルタ群314と赤外光カットフィルタ層313の配置順を説明する図である。図10は、比較例としての、固体撮像素子が一般的なベイヤ配列の色フィルタ配列を持つ場合の撮像装置の概略構成を示す図である。
<Image sensor: arrangement order of color filter group and infrared light cut filter layer>
FIG. 8 and FIG. 9 are diagrams for explaining the arrangement order of the
図10に示した比較例は、一般的な単板カラー方式の固体撮像素子312を具備する撮像装置の構成を示している。単板カラー方式の固体撮像素子は、光路上に備えられたガラス製の赤外線カットフィルタおよび光学レンズを通して入射される光のうち、カラーフィルタを透過する光を受光する。固体撮像素子で光電変換されて電気信号として出力される画像信号は、固体撮像素子に内蔵されるA/D変換器によりデジタル信号に変換された後、撮像信号処理部(カメラ信号処理部)において、クリッピング処理、ガンマ補正、ホワイトバランス補正、デモザイク処理などが施される。
The comparative example shown in FIG. 10 shows a configuration of an imaging apparatus including a general single-plate color solid-
ここで、図8および図9に示した本実施形態の構成と図10に示した比較例との比較から分かるように、本実施形態の構成では、先ず、ガラス製の赤外光カットフィルタ305を光路上に備えておらず、この赤外光カットフィルタ305に代えて、撮像部310に、赤外光カットフィルタ層313を設けるようにしている点に特徴を有する。
Here, as can be seen from a comparison between the configuration of the present embodiment shown in FIGS. 8 and 9 and the comparative example shown in FIG. 10, in the configuration of the present embodiment, first, an infrared light cut
先ず、撮像部310は、固体撮像素子312の表面に、固体撮像素子312の各単位画素マトリクス(画素)12をなす画素12R,12G,12B,12Aに対応するように、赤外光カットフィルタ層313と色フィルタ群314とを所定の順で配置して、これらを一体的に構成して、全体として、撮像素子となるようにしている。
First, the
ここで、本実施形態において、赤外光カットフィルタ層313としては、詳細は後述するが、誘電体積層膜1を利用した構造のものを使用する。そして、固体撮像素子312の広波長領域画素12Aの部分に開口部313aを割り当て、かつ他の赤色画素12R、緑色画素12G,青色画素12Bの部分に非開口部313bを割り当て、非開口部313bに誘電体積層膜1を利用した赤外光カットフィルタ膜を形成する。
Here, in the present embodiment, as the infrared light cut
また、色フィルタ群314については、赤色画素12Rの部分に色フィルタ14Rを割り当て、緑色画素12Gの部分に色フィルタ14Gを割り当て、青色画素12Bの部分に色フィルタ14Bを割り当て、広波長領域画素12Aの部分に白色フィルタ14Wを割り当てるか、色フィルタ14を無しとする。
In the
つまり、撮像部310は、不可視光の一例である赤外光をカットする赤外光カットフィルタ層313が固体撮像素子312の上に一体的に形成され、固体撮像素子312は、赤外光カットフィルタ層313の開口部313aに対応する部分に可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子の一例である広波長領域画素12Aを備え、また、赤外光カットフィルタ層313の非開口部313bに対応する部分に波長領域別に可視光信号を取得する特定波長領域信号取得素子の一例である赤色画素12R,緑色画素12G、青色画素12Bを備えた構造をなしている。
That is, in the
ここで、図8に示す第1例の配置順では、色フィルタ群314が光入射側に配置され、色フィルタ群314と固体撮像素子312との間に赤外光カットフィルタ層313が配置された態様である。
Here, in the arrangement order of the first example shown in FIG. 8, the
非開口部313bの誘電体積層膜1によって赤外光がカットされるので、赤色画素12R、緑色画素12G、青色画素12Bの部分には、可視光領域〜赤外光波長領域の成分のうち、対応する色フィルタ14を通して赤外光カットフィルタ層313に所定の色成分が入射し、さらに赤外光カットフィルタ層313によって赤外光領域を含まない可視光領域の所定の色成分のみが入射することになる。一方、開口部313aは赤外光がカットされることがなく、広波長領域画素12Aの部分には、可視光領域〜赤外光波長領域の全波長成分が入射することになる。
Since the infrared light is cut by the dielectric
このような第1例の配置順の構造では、半導体である固体撮像素子312の上層に先ず誘電体積層膜1でなる赤外光カットフィルタ層313を一体的に形成してから、さらにその上層に色フィルタ群314や図示を割愛したマイクロレンズを形成することができるので、赤外光カットフィルタ層313の製造時の温度条件が後述の第2例と比べて余裕があり、比較的、製造が容易である。ただし、色フィルタ群314が光入射側となるので、一般的に有機物で生成される色フィルタ群314の耐候性(劣化性能)の点では第2例よりも劣る。
In such a structure in the arrangement order of the first example, an infrared light cut
一方、図9に示す第2例の配置順では、赤外光カットフィルタ層313が光入射側に配置され、赤外光カットフィルタ層313と固体撮像素子312との間に色フィルタ群314が配置された態様である。
On the other hand, in the arrangement order of the second example shown in FIG. 9, the infrared light cut
非開口部313bの誘電体積層膜1によって赤外光がカットされるのは、第1例の場合と同様であるので、赤色画素12R、緑色画素12G、青色画素12Bの部分には、可視光領域〜赤外光波長領域の成分のうち、赤外光カットフィルタ層313によって赤外光領域を含まない可視光領域の成分のみが色フィルタ群314に入射し、さらに、色フィルタ群314によって対応する色フィルタ14を通して所定の色成分のみが入射することになる。一方、開口部313aは赤外光がカットされることがなく、広波長領域画素12Aの部分には、可視光領域〜赤外光波長領域の全波長成分が入射することになる。
Infrared light is cut by the dielectric
このような第2例の配置順の構造では、赤外光カットフィルタ層313が光入射側となるので、一般的に有機物で生成される色フィルタ群314の耐候性(劣化性能)の点では第1例よりも優る。
In the arrangement structure of the second example as described above, since the infrared light cut
ただし、半導体である固体撮像素子312の上層に先ず色フィルタ群314を形成してから、さらにその上層に誘電体積層膜1でなる赤外光カットフィルタ層313や図示を割愛したマイクロレンズを形成することになるので、赤外光カットフィルタ層313の製造時の温度条件が前述の第1例と比べて余裕がなく、製造手法に工夫を要する。
However, the
たとえば、誘電体積層膜1を構成する誘電体層としては、酸化シリコンSiO2 やシリコンナイトライドSiN、あるいはアルミナAl2O3やジルコニアZrO2や酸化チタンTiO2 や酸化マグネシウムMgOや酸化亜鉛ZnOなどの酸化物あるいはポリカーボネートPCやアクリル樹脂PMMAなどの高分子材料、炭化珪素SiCやゲルマニウムGeなどを利用するが、その膜の一般的な製造時の温度条件は、固体撮像素子312上に形成された色フィルタ群314をなす各色フィルタ14の耐え得る温度(たとえば200°C程度)に対して比較的高くなり(たとえばSiN層では600〜800°C程度)、色フィルタ群314の膜劣化の問題が生じ得る。
For example, the dielectric layer constituting the dielectric
この問題を解消するには、たとえば、プラズマ処理で誘電体層を製膜することが考えられるが、この場合でも、製膜時の温度条件は、たとえば380°C程度となり、依然として、色フィルタ14の耐え得る温度(たとえば200°C程度)に対して高く、色フィルタ群314の膜劣化の問題が残る。
In order to solve this problem, for example, it is conceivable to form a dielectric layer by plasma treatment. Even in this case, the temperature condition during film formation is, for example, about 380 ° C., and the
さらに、製膜時の温度条件を低減するべく、スパッタ処理で誘電体層を製膜することが考えられる。この手法では、色フィルタ14の耐え得る温度(たとえば200°C程度)に対して問題のないようにすることができる。ただし、この手法では、膜厚の均一性に難点がありキチンとした膜ができ難く、赤外光カット性能の点では第1例よりも劣ることになる。
Furthermore, in order to reduce the temperature conditions during film formation, it is conceivable to form a dielectric layer by sputtering. In this method, there can be no problem with respect to the temperature that the
また、製膜時の温度条件を考慮する必要がないように、赤外光カットフィルタ層313を別途作成しておき、色フィルタ群314上に貼り付けることも考えられる。しかしながら、この場合、赤外光カットフィルタ層313の開口部313aに対応する部分に広波長領域画素12Aが配置され、赤外光カットフィルタ層313の非開口部313bに対応する部分の色フィルタ群314の赤色フィルタ14R、緑色フィルタ14G、青色フィルタ14Bのそれぞれに対応する部分に赤色画素12R,緑色画素12G、青色画素12Bを配置するという、位置合せの管理が必要となる難点がある。
It is also conceivable that an infrared light cut
<撮像部;誘電体積層膜を利用>
図11は、撮像部310の一実施形態を説明する図である。撮像部310は、一般的な単板カラー方式の固体撮像素子と同様に、撮像素子の表面に、各検知部(一般的に画素と呼ばれる)において、特定の波長成分のみを透過するような色フィルタ14を対応する画素位置に位置決めして貼り付け(一体的に形成して)、複数個の画素の組によって必要な色成分を復元する構造を採用する。
<Imaging unit; using dielectric laminated film>
FIG. 11 is a diagram illustrating an embodiment of the
加えて、本実施形態の撮像部310は、誘電体積層膜を利用して電磁波を所定波長ごとに分光する波長分離の概念を採り入れた点に特徴を有する。ここでは、電磁波の一例である光を所定波長ごとに分光することを例に説明する。
In addition, the
具体的には、本出願人が特願2004−358139号にて提案している構成を利用したもので、固体撮像素子312の電磁波が入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、入射される光(電磁波)の内の本来の検知目的外である波長成分(本例では赤外光IR成分)を反射させ残り(本例では可視光VL成分)を通過させる特性を持った積層部材としての誘電体積層膜を利用した波長分離対応の構造を持つ分光イメージセンサ(分光検知部)としている。固体撮像素子312(センサ)の基本構造そのものは、CCD型やCMOS型やその他の何れであってもよい。
Specifically, the present applicant uses the configuration proposed in Japanese Patent Application No. 2004-358139, and the refractive index is different between adjacent layers on the incident surface side where the electromagnetic wave of the solid-
積層部材が持つ前述の特性は、逆に言えば、入射される光(電磁波)の内の本来の検知目的の波長成分(本例では可視光VL成分)を通過させ残り(本例では赤外光IR成分)を反射させる特性ということができる。 In other words, the above-mentioned characteristics of the laminated member pass the wavelength component (visible light VL component in this example) of the incident light (electromagnetic wave) that is originally intended for detection (in this example, infrared light). It can be said that the light IR component) is reflected.
可視光VLの検知部(可視光検知画素12VL)側に、可視光VLの検知に最適化された誘電体積層膜を利用した分光イメージセンサ構造を持つイメージセンサとしている。赤外光IRを誘電体積層膜を利用して光学的に排除し、可視光VLの検知部に入射した可視光VL成分だけの光電子だけを可視光検知画素12VLで電気信号に変換するようにする。 The image sensor has a spectral image sensor structure using a dielectric laminated film optimized for detection of visible light VL on the visible light VL detection unit (visible light detection pixel 12VL) side. Infrared light IR is optically eliminated using a dielectric laminated film, and only the photoelectrons of only the visible light VL component incident on the visible light VL detection unit are converted into electrical signals by the visible light detection pixel 12VL. To do.
光路上で波長分離を行なうことなく、1つのイメージセンサ上の可視光検知画素12VL(たとえばR,G,Bの各色画素12A,12G,12B)に誘電体多層膜を利用した分光フィルタを一体的に形成し、広波長領域画素12Aには誘電体多層膜を利用した分光フィルタを形成しない開口部313aを設けることで、可視光検知画素12VL(12A,12G,12B)から得られる画素信号に基づく可視光像(特に可視光カラー画像)と、広波長領域画素12Aから得られる画素信号に基づく赤外光成分を含む画像(本例では輝度画像に相当するもの)とを、独立かつ同時に取得できるようにしている。これにより、赤外光IRの影響を殆ど受けることなく、可視光像を、赤外光成分を含む画像とは独立に得ることができるようになる。
A spectral filter using a dielectric multilayer film is integrated with a visible light detection pixel 12VL (for example, each
<誘電体積層膜を利用した波長分離の概念>
誘電体積層膜1は、図11(A)に示すように、隣接する層間で屈折率nj(jは2以上の正の整数;以下同様)が異なり(屈折率差Δn)、所定の厚みdjを持つ層を複数積層した構造を有する積層部材である。これによって、後述するように、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持つようになる。
<Concept of wavelength separation using dielectric laminated film>
As shown in FIG. 11A, the dielectric
誘電体積層膜1をなす各誘電体層1_jの層数の数え方は、その両側の厚い層(第n0層1_0および第k層1_k)を層数として数えずに、たとえば、第1層目から第k層側に向けて順に数える。実質的には、両側の厚い層(第0層1_0および第k層1_k)を除いた基本層1_1〜1_n(図ではn=5)により、誘電体積層膜1が構成される。
The number of layers of each dielectric layer 1_j forming the dielectric
このような構造を持つ誘電体積層膜1に光を入射させると、誘電体積層膜1での干渉により、反射率(あるいは透過率)が波長λに対してある依存性を持つようになる。光の屈折率差Δnが大きいほどその効果が強くなる。
When light is incident on the
特に、この誘電体積層膜1が、周期的な構造や、ある条件(たとえば各層の厚みdの条件d〜λ/4n)を持つことで、白色光などの入射光L1が入射すると、ある特定波長域の光(特定波長領域光)の反射率だけを効果的に高めて殆どを反射光成分L2にさせ、すなわち透過率を小さくさせて、かつ、それ以外の波長域の光の反射率を低くすることで殆どを透過光成分L3にさせる、すなわち、透過率を大きくさせることができる。
In particular, when this dielectric
ここで波長λは、ある波長域の中心波長であり、nはその層の屈折率である。本実施形態では、この誘電体積層膜1による反射率(あるいは透過率)の波長依存性を利用することで、分光フィルタ10を実現する。
Here, the wavelength λ is the center wavelength in a certain wavelength range, and n is the refractive index of the layer. In the present embodiment, the
図11(B)は、赤外光IR(InfraRed)と可視光VL(Visible Light )とを分光する事例で示している。可視光VLよりも長波長側である赤外領域の波長λ(主に780nmより長波長側)の赤外光IRに対して、高い反射率を持たせるような誘電体積層膜1を形成することで、赤外光IRをカットすることができる。
FIG. 11B shows an example in which infrared light IR (InfraRed) and visible light VL (Visible Light) are split. The dielectric
なお、誘電体積層膜1をなす各誘電体層1_jの部材(層材)は、複数の層で誘電体積層膜1を構成することから少なくとも2種となり、3層以上の場合には各誘電体層1_jの何れもが異なる層材でなるものであってもよいし、2種(あるいはそれ以上)を交互にあるいは任意の順に積層したものであってもよい。また、誘電体積層膜1を、基本的な第1および第2の層材で構成しつつ、一部を第3(あるいはそれ以上)の層材に代えるようにしてもよい。以下、具体的に説明する。
The members (layer materials) of each dielectric layer 1_j constituting the dielectric
<<誘電体積層膜の設計手法;赤外光カットの例>>
<厚みdjの設計手法>
図12〜図14は、誘電体積層膜1を設計する手法の基本概念を説明する図である。ここでは、誘電体積層膜1を、基本的な第1および第2の層材で構成しつつ、赤外光IRを選択的に反射させるような設計例を述べる。
<< Design method of dielectric laminated film; Infrared light cut example >>
<Design method of thickness dj>
12-14 is a figure explaining the basic concept of the method of designing the dielectric
図12にその構造図を示すように、本実施形態で用いる誘電体積層膜1は、両側(以下、光入射側を第0層、反対側を第k層と称する)の厚い酸化シリコンSiO2 (以下SiO2と記す)に挟まれて、第1および第2の層材でなる複数の誘電体層1_jが積層されて構成されている。図示した例では、誘電体層1_jをなす第1および第2の層材として何れも一般的な材料を用いることとし、シリコンナイトライドSi3N4(以下SiNと記す)を第1の層材、酸化シリコンSiO2を第2の層材とする2種を用いて、これらを交互に積層している。また、誘電体積層膜1の構造は、上下に十分に厚い酸化シリコンSiO2層がある場合(d0=dk=∞)を仮定している。
As shown in the structural diagram of FIG. 12, the dielectric
このような誘電体積層膜1は、下記式(1)の条件を満たすことで、反射率を有効に高くすることができる。
Such a dielectric
ここでdj(jは層番号;以下同様)は、誘電体積層膜1を構成する各誘電体層1_jの厚みであり、njは、その各誘電体層1_jの屈折率であり、λ0は反射波長領域の中心波長(以下反射中心波長という)である。
Here, dj (j is the layer number; hereinafter the same) is the thickness of each dielectric layer 1_j constituting the
誘電体積層膜1をなす各誘電体層1_jの層数の数え方は、その両側の厚い酸化シリコンSiO2を層数として数えずに、たとえば、第1層目から第k層側に向けて順に、SiN層/SiO2層/SiN層で3層、SiN層/SiO2層/SiN層/SiO2層/SiN層で5層というように数える。図@4では、7層構造を示している。
The number of layers of each dielectric layer 1_j constituting the dielectric
また、反射波長領域である赤外光IRの反射中心波長λ0=900nmとして、奇数番目の層をなすシリコンナイトライドSiNの屈折率nα=2.03、0番目、偶数番目、およびk番目の層をなす酸化シリコンSiO2の屈折率nβ=1.46としており、屈折率差Δnは、0.57である。 Further, the refractive index nα = 2.03 of the silicon nitride SiN forming the odd-numbered layer, the zeroth-numbered, even-numbered and k-th layers, with the reflection center wavelength λ0 = 900 nm of the infrared light IR being the reflection wavelength region. The refractive index nβ = 1.46 of the silicon oxide SiO2 forming the refractive index difference Δn is 0.57.
また、上記式(1)に従い、シリコンナイトライドSiNの厚みdα(=d1,d3,…;j=奇数)は111nm、酸化シリコンSiO2層の厚みdβ(=d2,d4,…;j=偶数)は154nmとしている。 Further, according to the above formula (1), the silicon nitride SiN thickness dα (= d1, d3,..., J = odd) is 111 nm, and the silicon oxide SiO2 layer thickness dβ (= d2, d4,..., J = even). Is 154 nm.
図13は、一般的な材料を用いた図12の構造について、層数を変えて、有効フレネル係数法で計算した反射率Rの結果(反射スペクトル図)を示し、これにより、反射スペクトルの層数依存特性が分かる。 FIG. 13 shows the result (reflection spectrum diagram) of the reflectance R calculated by the effective Fresnel coefficient method for the structure of FIG. 12 using a general material and changing the number of layers. You can see the number-dependent characteristics.
図13の結果から、層数が増えるに従い、赤外光IRの反射中心波長λ0=900nmを中心に反射率Rが高くなっているのが分かる。さらに、このように波長900nmを反射中心波長λ0に選ぶことで、ほぼ赤外光IRと可視光VLを分けていることが分かる。ここでは、5層以上にすることで、反射率Rが0.5以上、特に、7層以上にすることで、反射率が0.7を超えて望ましいことが分かる。
From the results of FIG. 13, it can be seen that as the number of layers increases, the reflectance R increases with the reflection center wavelength λ0 = 900 nm of the infrared light IR as the center. Furthermore, it can be seen that the infrared light IR and the visible light VL are substantially separated by selecting the
図14は、誘電体層1_jの厚みの変動依存性(ばらつきとの関係)を説明する反射スペクトル図である。ここでは、7層の場合を例に、各誘電体層1_jの厚みdjを±10%変えて計算した結果(反射スペクトル図)を示している。 FIG. 14 is a reflection spectrum diagram for explaining the dependence of the thickness of the dielectric layer 1_j on variation (relationship with variation). Here, the result (reflection spectrum diagram) calculated by changing the thickness dj of each dielectric layer 1_j by ± 10% is shown by taking the case of seven layers as an example.
条件式(1)は、フレネル係数法による理想的な計算値であるが、実際には式(1)の条件はゆるやかで幅がある。たとえば、±10%の厚みdjの誤差があっても有効に反射率を高くできることがフレネル係数法による計算で分かった。 Conditional expression (1) is an ideal calculated value by the Fresnel coefficient method, but in reality, the condition of expression (1) is gentle and wide. For example, it has been found by calculation using the Fresnel coefficient method that the reflectivity can be effectively increased even if there is an error in the thickness dj of ± 10%.
たとえば、図13に示すように、厚みdjにばらつきの差があっても、有効に反射率Rを高くできることが分かった。たとえば、赤外光IRの反射中心波長λ0=900nmにおいて反射率Rが0.5以上という十分な反射率Rが得られているし、赤外光IR全体(主に780nmより長波長側)においても、反射が強いことが分かる。したがって、実際には、ばらつきも加味すれば、誘電体層1_jの厚みdjは、下記式(2)の範囲であれば、反射率を有効に高くする上で、十分な効果が得られることになる。 For example, as shown in FIG. 13, it has been found that the reflectivity R can be effectively increased even if the thickness dj varies. For example, a sufficient reflectance R of 0.5 or more is obtained at the reflection center wavelength λ0 = 900 nm of the infrared light IR, and the entire infrared light IR (mainly longer wavelength side than 780 nm) is obtained. However, it turns out that reflection is strong. Therefore, in practice, if the thickness dj of the dielectric layer 1_j is in the range of the following formula (2), taking into account variations, a sufficient effect can be obtained in effectively increasing the reflectance. Become.
<反射中心波長λ0の設計手法>
図15〜図17は、反射中心波長λ0の条件を説明する図である。厚みdjの数値条件は、スペクトルの赤外反射領域のバンド幅ΔλIRに依存する。反射スペクトルの概念を示した図15(A)のように、赤外反射領域のバンド幅ΔλIRが広い場合には長波長側に中心波長λ0を持っていかないと可視光VLでの反射が顕著になる。また反射スペクトルの概念を示した図15(B)のように、逆に赤外反射領域のバンド幅ΔλIRが狭い場合には、短波長側に中心波長λ0を持っていかないと可視光VLに近い赤外領域での反射が起こらなくなる。可視光VLと赤外光IRの波長分離性能が非常によい。
<Design method of reflection center wavelength λ0>
15 to 17 are diagrams for explaining the condition of the reflection center wavelength λ0. The numerical condition of the thickness dj depends on the bandwidth ΔλIR of the infrared reflection region of the spectrum. As shown in FIG. 15A showing the concept of the reflection spectrum, when the bandwidth ΔλIR of the infrared reflection region is wide, the reflection with the visible light VL is remarkable unless the center wavelength λ0 is provided on the long wavelength side. Become. On the contrary, as shown in FIG. 15B showing the concept of the reflection spectrum, when the bandwidth ΔλIR of the infrared reflection region is narrow, it is close to the visible light VL unless it has the center wavelength λ0 on the short wavelength side. Reflection in the infrared region does not occur. The wavelength separation performance of visible light VL and infrared light IR is very good.
ところで、シリコンSiの吸収スペクトルは、たとえば、赤外領域の内、780nm≦λ≦950nmの範囲の赤外光IRを反射させれば、赤外カット効果として十分であると考えることができる。これは、波長950nmより長波長側の光は殆どシリコンSi内部で吸収されず、光電変換されないからである。したがって780nm≦λ≦950nmの範囲の波長の赤外光IRを反射できるように反射中心波長λ0を選べばよいことになる。 By the way, the absorption spectrum of silicon Si can be considered to be sufficient as an infrared cut effect if, for example, infrared light IR in the range of 780 nm ≦ λ ≦ 950 nm is reflected in the infrared region. This is because light having a wavelength longer than 950 nm is hardly absorbed inside the silicon Si and is not photoelectrically converted. Therefore, the reflection center wavelength λ0 may be selected so that infrared light IR having a wavelength in the range of 780 nm ≦ λ ≦ 950 nm can be reflected.
また、可視光VLでも、赤(R)領域の内、640〜780nmの範囲の光は視感度が低いために反射されてもされなくても特に撮像素子の性能に影響はないと考えてよい。したがって640〜780nmの波長領域に反射が生じていても不都合がない。 Further, even in the visible light VL, it may be considered that the light in the range of 640 to 780 nm in the red (R) region does not particularly affect the performance of the image sensor even if it is reflected or not because of low visibility. . Therefore, there is no problem even if reflection occurs in the wavelength region of 640 to 780 nm.
さらに、赤外反射領域のバンド幅ΔλIRは、誘電体積層膜1の屈折率差Δnが大きいときには広くなり、逆に屈折率差Δnが小さいときには狭くなる。したがって、赤外反射領域のバンド幅λIRは、SiN/SiO2多層膜の場合には狭く、Si/SiO2多層膜の場合には広くなる。
Further, the bandwidth ΔλIR of the infrared reflection region becomes wider when the refractive index difference Δn of the dielectric
これらのことから、SiN/SiO2多層膜(屈折率差Δn=0.57)の場合には、図16の反射スペクトル図に示す780nmと950nmの反射中心波長λ0の計算から、780nm≦λ0≦950nmの範囲であれば、ほぼ上述の条件を満たすことが分かる。ところで、図16は後述する図21のような積層構造で、λ0=780nmとλ0=950nmになるように、誘電体層1_jの膜厚djだけを変えて計算されたものである。
Therefore, in the case of a SiN /
また同様に、Si/SiO2多層膜(屈折率差Δn=2.64)の場合、図17の反射スペクトル図に示すように900nm≦λ0≦1100nmの範囲であれば、ほぼ上述の条件を満たす。
Similarly, in the case of a Si /
以上のことから、シリコンナイトライドSiNやシリコンSiと酸化シリコンSiO2の組合せにおいては、反射中心波長λ0としては、下記式(3−1)を満たせばよいことになる。好ましくは、下記式(3−2)を満たすのがよい。これらは、900nm近傍を反射中心波長λ0とするのが理想的であることを意味する。 From the above, in the combination of silicon nitride SiN or silicon Si and silicon oxide SiO2, the following formula (3-1) should be satisfied as the reflection center wavelength λ0. Preferably, the following formula (3-2) is satisfied. These mean that it is ideal that the vicinity of 900 nm be the reflection center wavelength λ0.
もちろん、上記で示した材料は一例に過ぎず、上述のような効果は必ずしも酸化シリコンSiO2 とシリコンナイトライドSiN層の組み合わせに限ったことでなく、屈折率差が0.3以上、さらに望ましくは0.5以上あるような材料を選べば同様な効果があることが計算によって見積もられた。 Of course, the materials shown above are only examples, and the above-described effects are not necessarily limited to the combination of silicon oxide SiO 2 and silicon nitride SiN layer, and the refractive index difference is 0.3 or more, and more desirable. It was estimated by calculation that a similar effect can be obtained by selecting a material having a value of 0.5 or more.
たとえばSiN膜は、作製条件によって多少の組成のばらつきがあってもよい。また、誘電体積層膜1を構成する誘電体層1_jとしては、酸化シリコンSiO2やシリコンナイトライドSiNの他に、アルミナAl2O3やジルコニアZrO2 ( 屈折率2.05)や酸化チタンTiO2(屈折率2.3〜2.55)や酸化マグネシウムMgOや酸化亜鉛ZnO(屈折率2.1)などの酸化物あるいはポリカーボネートPC(屈折率1.58)やアクリル樹脂PMMA(屈折率1.49)などの高分子材料、炭化珪素SiC(屈折率2.65)やゲルマニウムGe(屈折率4〜5.5)などの半導体材料も使用可能である。
For example, the composition of the SiN film may vary slightly depending on the manufacturing conditions. In addition to silicon oxide SiO2 and silicon nitride SiN, dielectric layer 1_j constituting dielectric
高分子材料を用いることで、従来のガラス製にはない特徴を持った光学フィルタを構成することができる。すなわち、プラスチック製にすることができ、軽量で耐久性(高温、高湿、衝撃)に優れる。 By using a polymer material, an optical filter having characteristics not found in conventional glass can be configured. That is, it can be made of plastic and is lightweight and excellent in durability (high temperature, high humidity, impact).
<<誘電体積層膜を利用した分波イメージセンサ>>
図18〜図22は、誘電体積層膜1を利用した固体撮像素子312への適用に好適な分光イメージセンサ11の一実施形態を説明する図である。この分光イメージセンサ11は、誘電体積層膜1を利用した分光フィルタ10の基本的な設計手法を用いて構成されるものである。ここでは、赤外光IRを選択的に反射させるような誘電体積層膜1を半導体素子層上に形成することで、赤外光IRをカットして可視光VL成分を受光するようにした分光イメージセンサ11の設計例を述べる。
<< Demultiplexing Image Sensor Using Dielectric Multilayer Film >>
18 to 22 are views for explaining an embodiment of the spectral image sensor 11 suitable for application to the solid-
なお、分光イメージセンサ11の基本構造は、分光フィルタ10を半導体素子層の受光部上に形成したもので、これだけでは、単波長分波対応(つまりモノクロ画像撮像用)の分光イメージセンサ11になるが、分光イメージセンサ11の各受光部に対させて色フィルタ(色分離フィルタ)14の所定色(たとえばR,G,Bの何れか)を設けることで、カラー画像撮像対応となる。
Note that the basic structure of the spectral image sensor 11 is that the
ここで、図12〜図14を用いて説明した誘電体積層膜1をシリコン(Si)フォトディテクタなどの検知素子が形成された屈折率が誘電体積層膜1をなす各誘電体層1_jよりも大きい半導体素子層上に作製するに当たっては、半導体素子層から誘電体積層膜1までの距離、すなわち第k層の誘電体層1_kをなす酸化シリコンSiO2層の厚みdkが重要である。
Here, the refractive index of the
これは図18の構造図に示すように、たとえばシリコンSi(屈折率4.1)でなる半導体素子層(フォトディテクタなど)の表面であるシリコン基板1_ωの表面からの反射光L4との干渉効果によって、トータルな反射光LRtotal のスペクトルが変化することを意味する。 As shown in the structural diagram of FIG. 18, this is due to the interference effect with the reflected light L4 from the surface of the silicon substrate 1_ω, which is the surface of a semiconductor element layer (photodetector, etc.) made of silicon Si (refractive index 4.1), for example. This means that the spectrum of the total reflected light LRtotal changes.
図19は、トータルな反射光LRtotal の、誘電体層1_kをなす酸化シリコンSiO2層の厚みdkの変動依存性を説明する反射スペクトル図である。ここでは、図12に示した7層構造の誘電体積層膜1について、誘電体層1_kの厚みdkを変えて計算した結果を示している。図19内の各図において、横軸は波長λ(μm)で、縦軸は反射率Rである。
FIG. 19 is a reflection spectrum diagram illustrating the dependence of the total reflected light LRtotal on the variation of the thickness dk of the silicon oxide SiO2 layer forming the dielectric layer 1_k. Here, the calculation result of the dielectric
図19内の各図から分かるように、厚みdk=0.154μmのとき、すなわち赤外光IRの反射中心波長λ0に対して、条件式(1)を満たす値のときに、反射スペクトルは殆ど影響を受けず、赤外光IR(波長λ≧780nm)を強く反射していることが分かる。それに対して厚みdk=0.3〜50μmまでのスペクトルには、厚みdk=∞の反射スペクトルに比べて別の振動が生じていることが分かる。それによって赤外での反射がディップ状に低下している波長域が存在するのが分かる。 As can be seen from each figure in FIG. 19, when the thickness is dk = 0.154 μm, that is, when the reflection center wavelength λ0 of the infrared light IR is a value satisfying the conditional expression (1), the reflection spectrum is almost the same. It can be seen that infrared light IR (wavelength λ ≧ 780 nm) is strongly reflected without being affected. On the other hand, it can be seen that another vibration occurs in the spectrum of thickness dk = 0.3 to 50 μm, compared to the reflection spectrum of thickness dk = ∞. As a result, it can be seen that there is a wavelength region in which the reflection in the infrared is dip-shaped.
ただし、厚みdk=2.5μm以上になると、赤外でのディップの半値幅が30nm以下になり、とりわけ厚みdk=5.0μm以上になるとその半値幅が20nm以下となり、一般的なブロードな自然光に対して十分に半値幅が狭くなるので平均化された反射率となる。さらに、厚みdk=0.3〜1.0μmのスペクトルに関しては、可視光VLでの反射率が高いことも分かる。これらのことから、望ましくは、厚みdk=0.154μm付近、すなわち条件式(1)を満たす値のときが最適であると言える。 However, when the thickness dk = 2.5 μm or more, the half width of the infrared dip becomes 30 nm or less, and particularly when the thickness dk = 5.0 μm or more, the half width becomes 20 nm or less. On the other hand, the half-value width is sufficiently narrowed, so that the averaged reflectance is obtained. Further, it can be seen that the reflectance with visible light VL is high with respect to the spectrum having a thickness dk = 0.3 to 1.0 μm. From these facts, it can be said that the thickness dk = 0.154 μm, that is, the value satisfying the conditional expression (1) is optimal.
図20は、誘電体層1_kをなす酸化シリコンSiO2層の厚みdkの変動依存性を説明する反射スペクトル図であって、特に、厚みdk=0.154μm付近で、厚みdkの値を変えて計算した結果を示すものである。図20内の各図において、横軸は波長λ(μm)で、縦軸は反射率Rである。 FIG. 20 is a reflection spectrum diagram illustrating the variation dependency of the thickness dk of the silicon oxide SiO2 layer forming the dielectric layer 1_k, and is calculated by changing the value of the thickness dk, particularly in the vicinity of the thickness dk = 0.154 μm. The results are shown. In each figure in FIG. 20, the horizontal axis is the wavelength λ (μm), and the vertical axis is the reflectance R.
この結果から分かるように、条件式(1)を満たす厚みdk=0.154μmを中心として、厚みdk=0.14〜0.16μmの範囲であれば、可視光VLでの反射が抑えられることが分かる。 As can be seen from this result, reflection with visible light VL can be suppressed if the thickness dk = 0.154 to 0.16 μm with the thickness dk = 0.154 μm satisfying the conditional expression (1) as the center. I understand.
以上のことから、分光イメージセンサ11の最適構造は、図21の構造図に示すように、実質的には、第k層の誘電体層1_kを含めて8層構造の誘電体積層膜1Aを有するものとなり、その反射スペクトルの計算結果は図22に示す反射スペクトル図のようになる。言い換えると、誘電体積層膜1Aは、シリコン基板1_ω上に、第2の層材である酸化シリコンSiO2でなる層を4周期分設けた構造をなしている。
From the above, the optimum structure of the spectroscopic image sensor 11 is, as shown in the structural diagram of FIG. 21, substantially the dielectric layered
<<製造プロセスの具体例>>
図17は、上記実施形態で説明した積層膜を利用したセンサ構造の分光イメージセンサを製造する具体的なプロセス例を示す図である。この図17は、赤外光IR用の受光部と可視光VL用の受光部とを備えた分光イメージセンサの製造プロセス例である。
<< Specific Example of Manufacturing Process >>
FIG. 17 is a diagram illustrating a specific process example for manufacturing a spectral image sensor having a sensor structure using the laminated film described in the above embodiment. FIG. 17 shows a manufacturing process example of a spectral image sensor including a light receiving unit for infrared light IR and a light receiving unit for visible light VL.
この構造の作製に当たっては、一般的なCCDやCMOS構造の回路をまず形成する(図17(A))。この後に、Siフォトダイオードの上にたとえばCVD(Chemical Vapor Deposition ;化学気相成長法)などを用いてSiO2膜とSiNを順次積層する(図17(B))。
In manufacturing this structure, a general CCD or CMOS structure circuit is first formed (FIG. 17A). Thereafter, an
この後、たとえば4つの画素の内1つだけをリソグラフィ技術やRIE(Reactive IonEtching)法などを用いてエッチングすることで、赤外光IR用の受光部に最下層のSiO2膜に達する開口部(図8,図9の開口部313aに対応する)を設ける(図17(E))。この赤外光IR用の受光部は、他の可視光カラー画像撮像用の色画素に対して補正画素
としても使用される。
Thereafter, for example, only one of the four pixels is etched using lithography technology, RIE (Reactive Ion Etching) method, or the like, so that an opening reaching the lowermost SiO2 film in the light receiving portion for infrared light IR ( (Corresponding to the
この後、誘電体積層膜1などの保護のために、一部に開口部が設けられた誘電体積層膜1上にたとえば再度CVDなどを用いてSiO2膜を積層して平坦化する(図17(F))。もちろん、このプロセスは必須ではない。
Thereafter, in order to protect the dielectric
なお、この際、可視光VL用の3つの画素(R,G,B成分用)をエッチングしないように、赤外光IR用の受光部に開口部が設けられたフォトレジストを用いてもよい(図17(C),(D))。この場合、誘電体積層膜1上にSiO2膜を積層する前に、フォトレジストを除去する必要がある(図17(D)→(E))。
At this time, a photoresist in which an opening is provided in a light receiving portion for infrared light IR may be used so that the three pixels (for R, G, and B components) for visible light VL are not etched. (FIGS. 17C and 17D). In this case, it is necessary to remove the photoresist before laminating the
また、図示を割愛するが、さらにその上に色フィルタやマイクロレンズを画素に対応するように形成する。この際、可視光用の検知部には赤、緑、青色の原色フィルタを配することで、3色の画素が可視光の赤、緑、青色の3原色を受光するようにする。また、開口部の画素については、白色フィルタを配することで、または色フィルタを配さずにおくことで、可視光と赤外光とを纏めて受光するようにする。 Although omitted from the drawing, a color filter and a microlens are further formed thereon so as to correspond to the pixels. At this time, red, green, and blue primary color filters are arranged in the detection unit for visible light so that the three color pixels receive the three primary colors of visible light, red, green, and blue. In addition, with respect to the pixels in the opening, visible light and infrared light are collectively received by providing a white filter or not providing a color filter.
こうすることで、3原色可視光の画素の検知部上にはSiN層とSiO2層の誘電体多層膜が形成されるが、開口部の検知部上にはこの誘電体多層膜が形成されないこととなる。このような構造で作製された撮像素子を用いることで、3原色の組合せでなる可視光像
(可視光カラー画像)を撮像できるだけでなく、赤外光と可視光の混在画像を、可視光カラー画像とは独立かつ同時に撮像することができる。
By doing so, the dielectric multilayer film of the SiN layer and the SiO2 layer is formed on the detection part of the pixel of the three primary colors visible light, but the dielectric multilayer film is not formed on the detection part of the opening. It becomes. By using an image sensor manufactured with such a structure, not only a visible light image (visible light color image) composed of a combination of the three primary colors can be imaged, but also a mixed image of infrared light and visible light can be displayed in a visible light color. Images can be taken independently and simultaneously with the image.
さらに若干の赤外光IRが漏れて可視光VL用の光電変換素子(フォトダイオードなど)に入射する場合、全体に弱い赤外光カットフィルタを入れてもよい。たとえば50%以下の赤外光カットフィルタを入れることで、可視光VLに対して殆ど問題のないレベルまでカットしても赤外光IR用の光電変換素子(フォトダイオードなど)では、赤外光IRが集光するので十分な感度となる。 Furthermore, when some infrared light IR leaks and enters a photoelectric conversion element (photodiode or the like) for visible light VL, a weak infrared light cut filter may be inserted as a whole. For example, by inserting an infrared light cut filter of 50% or less, infrared light is converted into infrared light IR photoelectric conversion elements (such as photodiodes) even if the visible light VL is cut to a level where there is almost no problem. Since IR is condensed, the sensitivity is sufficient.
なお、このような製造プロセスでは、Si基板表面近くまでエッチングする、すなわち赤外光IR用の受光部に最下層のSiO2膜に達する開口部を設けるため(図17(E))、エッチングによるダメージが問題になることがある。この場合は、Si基板直上のSiO2層の厚みdを大きくしてダメージを低減することも可能である。
In such a manufacturing process, etching is performed up to the surface of the Si substrate, that is, an opening reaching the
ここでdk=2.5μm以上になると、図19のように反射スペクトルの赤外光領域でのディップの半値幅が狭くなるので、一般的なブロードな自然光に対して平均化された反射率となるので、赤外光の反射が可能となる。したがって望ましくは第k番目の誘電体層1_kの厚みdkを2.5μm以上にするのがよい。さらに望ましくは、5μm以上の厚みにするとなおよい。 Here, when dk = 2.5 μm or more, since the half width of the dip in the infrared region of the reflection spectrum becomes narrow as shown in FIG. 19, the reflectance averaged with respect to general broad natural light Therefore, infrared light can be reflected. Therefore, the thickness dk of the kth dielectric layer 1_k is preferably 2.5 μm or more. More desirably, the thickness is 5 μm or more.
また、シリコン基板1_ω上に形成されるフォトダイオードや画素内アンプなどためのメタル配線、すなわち、検知部としての画素内アンプなどから検知信号としての画素信号を撮像部(検出領域)から読み出すための信号線をなす配線層をシリコン基板1_ω直上に形成する場合、シリコン基板1_ω直上に誘電体積層膜1を設けた構造よりは、シリコン基板1_ω上である程度離したところに誘電体積層膜1を形成する、すなわちメタル配線より上側に誘電体積層膜1を形成することで、製造プロセスが容易になり、コストが低く抑えられるメリットが得られる。ここでは、詳細な説明は割愛するが、メタル配線を考慮した分光イメージセンサとするには、誘電体積層膜1をなす層数を増やすことで、ある程度よい結果が得られる。
Further, a metal wiring for a photodiode or an amplifier in the pixel formed on the silicon substrate 1_ω, that is, a pixel signal as a detection signal from an in-pixel amplifier as a detection unit or the like is read out from the imaging unit (detection region). When the wiring layer forming the signal line is formed directly on the silicon substrate 1_ω, the dielectric stacked
なお、上記の分光フィルタ10の構造は、誘電体積層膜1を利用した基本構造を示したもののであり、その他の様々な変形が可能である。同様に、上記の分光イメージセンサ11の構造は、誘電体積層膜1を利用した分光フィルタ10をCMOSやCCDなどの受光部上に形成する基本構造を示したもののであり、その他の様々な変形が可能である。たとえば、詳細な説明は割愛するが、分光フィルタ10や分光イメージセンサ11の変形例としては、本願出願人が特願2004−358139号にて提案しているように様々な構成を採用することができる。
The structure of the
また、前述では、固体撮像素子312として、本願出願人が特願2004−358139号にて提案した誘電体積層膜1を利用したものについて説明したが、本実施形態で使用し得る固体撮像素子は、このようなものに限らない。たとえば、本出願人が特願2004−250049号にて提案したような回折格子を利用して波長分離を実現する構成のものや、その他の仕組みを利用して波長分離を実現する構成のものなど、様々なものを使用することができる。
In the above description, the solid-
たとえば、回折格子を利用して波長分離を行なう構造のものでは、広波長領域信号取得素子の部分については大きな開口部を設け、特定波長領域信号取得素子の部分には回折格子用の微小開口部を設けることになるが、特定波長領域信号取得素子の部分については、波長順に分離するので、特定波長領域信号取得素子の配置態様の自由度が少ない。 For example, in a structure that performs wavelength separation using a diffraction grating, a large opening is provided for the wide wavelength region signal acquisition element portion, and a small opening for the diffraction grating is provided for the specific wavelength region signal acquisition element portion. However, since the portion of the specific wavelength region signal acquisition element is separated in order of wavelength, the degree of freedom of the arrangement mode of the specific wavelength region signal acquisition element is small.
また、不可視光領域成分(たとえば赤外光成分)をも検知する形態の広波長領域画素12Aと可視光成分をさらに波長分離して検知する特定波長領域信号取得素子(赤色画素12R、緑色画素12G、青色画素12Bの組合せなど)とを2次元マトリクス状に配置した構造とする場合、特定波長領域信号取得素子側については、不可視光領域成分(たとえば赤外光成分)と可視光成分の分離性能が、色再現上、問題となり得る。
Further, a wide
この点においては、本願出願人が特願2004−358139号にて提案しているように、第1の検知部の電磁波が入射する入射面側に、隣接する層間で屈折率が異なり所定の厚みを持つ層を複数積層した構造を有し、電磁波の内の所定の波長領域成分を反射させ残りを通過させる特性を持った積層部材が配されている構造の本来的に赤外光成分の抑制能力の高い素子とするのが好ましい。 In this regard, as proposed by the present applicant in Japanese Patent Application No. 2004-358139, the refractive index differs between adjacent layers on the incident surface side where the electromagnetic wave of the first detection unit is incident, and has a predetermined thickness. Inherently suppresses infrared light components in a structure in which a laminated member with a characteristic of reflecting a predetermined wavelength region component of electromagnetic waves and passing the remaining component is arranged. It is preferable to use an element with high capability.
<<フィルタの分光特性>>
図24および図25は、赤外光カットフィルタ層313および色フィルタ群314赤を用いた波長分離の具体例を説明する図である。ここで、図24は、色フィルタ群314をなす各色フィルタ14の光透過特性(分光特性)の基本を示した図である。また、図25は、色フィルタ群314をなす各色フィルタ14の特性例を示す図である。
<< Filter spectral characteristics >>
24 and 25 are diagrams for explaining a specific example of wavelength separation using the infrared light cut
まず、本例では、赤色近傍の波長を透過する赤(R)、緑色近傍の波長を透過する緑(G)、青色近傍の波長を透過する青(B)、これらに加え、赤外線(IR)とRGBの全てを透過する白(もしくは色フィルタを使用しない)の各種類の分光特性を持つ色フィルタ14によって色フィルタ群314を構成する。
First, in this example, red (R) that transmits wavelengths near red, green (G) that transmits wavelengths near green, blue (B) that transmits wavelengths near blue, and in addition to infrared (IR) The
これら色フィルタ14の分光は、Rチャネル、Gチャネル、Bチャネル,そして赤外線
(IR)とRGBを全て透過するA(=Y+IR)チャネルからなり、対応する赤色画素12R、緑色画素12G、青色画素12B、赤外線(IR)とRGBを全て検知する広波長領域画素12Aによって、4種類の分光からなるモザイク画像を得ることができる。
The spectrum of these
広波長領域画素12Aを設けることで、撮像素子に入射してくる赤外光IRと可視光の合成成分を示す、つまり可視光部分の輝度信号(Y)と赤外光信号(IR)の双方を含む広波長領域信号SAとして広波長領域画素12Aにより測定できる。
By providing the wide
なお、図24では、白色フィルタ14Wの透過特性を可視光帯と赤外光帯とで等しいものとして示しているが、このことは必須ではなく、可視光帯の透過強度よりも赤外光帯の透過強度が低下していてもよい。可視光帯の全波長成分を十分な強度で透過させることができるとともに、赤外光帯では、R,G,Bの原色フィルタの透過強度に比べて十分な強さで透過させる特性を持っていればよいのである。
In FIG. 24, the transmission characteristics of the
ただし、広波長領域画素12Aから得られる広波長領域信号SAには、赤外光成分IRだけでなく可視光成分VLも含まれるので、これをそのまま使うことで、可視光成分VLのみで輝度信号を生成するよりも、赤外光成分IRを輝度成分に利用することができ、感度アップを図ることができる。特に、低照度の下で撮影時に、ノイズの少ない輝度信号を得ることができる利点がある。
However, the wide wavelength region signal SA obtained from the wide
具体的には、先ず、可視光カラー画像撮像用の色フィルタ群314として、可視光VL(波長λ=380〜780nm)の3原色である青色成分B(たとえば波長λ=400〜500nmで透過率が略1、その他で略ゼロ)、緑色成分G(たとえば波長λ=500〜600nmで透過率が略1、その他で略ゼロ)、赤色成分R(たとえば波長λ=600〜700nmで透過率が略1、その他で略ゼロ)を中心とする原色フィルタ群314R,14G,14Bを用いる。
Specifically, first, as the
なお、透過率が“略1”であるとは、理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに大きいものであればよい。一部に“1”でない透過率”があってもよい。また、透過率が“略ゼロ”であるについても、同様に理想的な状態をいったものであり、その波長領域での透過率がその他の波長領域での透過率よりも遙かに小さいものであればよい。一部に“ゼロ”でない透過率”があってもよい。 Note that the transmittance of “approximately 1” means an ideal state, and the transmittance in the wavelength region is much larger than the transmittance in other wavelength regions. That's fine. Some of them may have “transmittance other than“ 1. ”Also, the transmittance is“ nearly zero ”, which is also an ideal state, and the transmittance in that wavelength region. May be much smaller than the transmittance in other wavelength regions, and some may have “non-zero” transmittance.
また、通過波長領域成分である可視光VL領域の内の所定色(原色もしくは補色)の波長領域成分を通過させるものであればよく、反射波長領域成分である赤外光IR領域を通過させるか否かすなわち赤外光IRに対する透過率は不問である。誘電体積層膜1によって赤外光IR成分をカットするからである。
Also, it is only necessary to pass a wavelength region component of a predetermined color (primary color or complementary color) in the visible light VL region which is a transmission wavelength region component, and whether to pass the infrared light IR region which is a reflection wavelength region component. The transmittance for infrared light IR is not questioned. This is because the infrared light IR component is cut by the dielectric
一例として、図25(A)に示すような分光感度特性のものを用いることができる。たとえば、Bチャネルに対応する青色フィルタ14Bは、青色に相当する380nm〜480nm程度の波長の光信号の透過率が高いフィルタであり、Gチャネルに対応する緑色フィルタ14Gは、緑色に相当する約450〜550nmの波長の光信号の透過率が高いフィルタであり、Rチャネルに対応する赤色フィルタ14Rは、赤色に相当する約550〜650nmの波長の光信号の透過率が高いフィルタである。なお、これらのRGB対応の色フィルタ14R,14G,14Bは、約700nm以上の波長を持つ赤外光成分は殆ど透過しない性質を持っている。
As an example, one having a spectral sensitivity characteristic as shown in FIG. For example, the
一方、Aチャネル対応の白色フィルタ14Wは、ピークは約530nm付近であるが、RGB成分の全ての信号を透過するとともに、700nm以上の赤外光成分も透過する性質を持っている。対応する広波長領域画素12Aにて、可視光成分だけでなく、赤外光成分も検知可能にすることで、広波長領域画素12Aが、可視光領域内を複数に波長分離して各成分を検知する他の色画素(本例では赤色画素12R、緑色画素12G、青色画素12B)よりも高感度に検知できるようにしている。
On the other hand, the
なお、本例では、白色フィルタ14Wの可視光領域の透過率は、青色フィルタ14B、緑色フィルタ14G、赤色フィルタ14Rの各可視光領域の透過率の比と概ね同じにしつつ、全体としてそれらの透過率よりも高く、広波長領域画素12Aでの可視光領域の感度自体も、青色画素12B、赤色画素12R、青色画素12Bの感度よりも高くなるようにしてある。不可視光成分の一例である赤外光成分も検知可能にすることで高感度化を図るだけでなく、可視光領域自体でも、可視光領域内を複数に波長分離して各成分を検知する他の色画素(本例では赤色画素12R、緑色画素12G、青色画素12B)よりも高感度に検知できるようにし、一層の高感度化を図るようにしているのである。
In this example, the transmittance of the visible light region of the
詳細な説明は割愛するが、このような高感度で得られる広波長領域画素12Aからの可視光領域のR,G,Bの成分を使って、青色画素12B、赤色画素12R、青色画素12Bのそれぞれから得られる色信号に対して補正を加えると、より高感度の色信号が得られるようになる。
Although a detailed description is omitted, using the R, G, and B components of the visible light region from the wide
<<撮像信号処理部の詳細;第1例>>
図26は、撮像信号処理部330(特に画像信号処理部340)の第1例の詳細構成を示した機能ブロック図である。ここでは、色フィルタ群314が、図3(B)に示した色配列の場合に対応するものとして説明する。
<< Details of Imaging Signal Processing Unit; First Example >>
FIG. 26 is a functional block diagram illustrating a detailed configuration of the first example of the imaging signal processing unit 330 (particularly, the image signal processing unit 340). Here, description will be made assuming that the
本実施形態の撮像信号処理部330では、RGBの原色系やCy,Mg,Yeの補色系などの特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子(画素12R,12G,12Rの組や画素12Cy,12Mg,12Ye(,12G)の組)と、可視光成分および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子(広波長領域画素12A)によって構成される色配列を持つ固体撮像素子312から出力される画素信号を処理する。
In the imaging
これまでの説明から分かるように、撮像信号処理部330での処理例は、たとえば低照度の下で色フィルタ群314を具備する撮像部3102を適用して撮影したノイズを多く含む1枚の画像データに基づいて、そのノイズを多く含む画像についてのノイズ低減処理に好適なものである。
As can be understood from the above description, the processing example in the imaging
ここで、第1例の撮像信号処理部330は、色フィルタ群314として、RGBWの色配列を持つ撮像部310(たとえばCCD固体撮像素子やCMOS固体撮像素子)において撮影された画像の信号処理によって、輝度信号(Y)と、2つの色差信号(R−Y)、(B−Y)を取得するための信号処理構成に対応したものである。
Here, the imaging
なお、撮像部310によって取得された画像データ(画素信号)に対しては、たとえばホワイトバランス調整などの処理が実行されることになるが、これらの処理は、従来と同様の処理であり、図26には示しておらず(図7の前処理部332や補正処理部336を参照)、図26では、特に画像信号処理部340に着目して示している。
Note that, for example, processing such as white balance adjustment is performed on the image data (pixel signal) acquired by the
図示のように、第1例の画像信号処理部340はRGBWの配列を持つ撮像部310によって取得される信号から、広波長領域画素12Aの取得信号(広波長領域信号SA)で示されるモザイク画像Aを取得し、広波長領域信号で示されるデモザイク画像A2を輝度信号として生成する輝度信号生成部410と、RGB素子(12R,12G,12B)の取得信号SR,SG,SBで示されるモザイク画像R,G,Bを取得し、可視光領域信号に対応するデモザイク画像R2,G2,B2(単色画像R,G,B)を示す色に関する信号を生成する単色画像信号生成部420と、単色画像信号生成部420で取得されたデモザイク画像R2,G2,B2(単色信号SR2,SG2,SB2)に基づいて色差信号R−Y,B−Yを生成する色差信号生成部430とから構成されている。
As illustrated, the image
輝度信号生成部410は第1の物理情報取得部の一例であり、単色画像信号生成部420は第2の物理情報取得部の一例であり、色差信号生成部430は第3の物理情報取得部の一例である。輝度信号生成部410および単色画像信号生成部420によって、デモザイク信号処理部341が構成され、単色画像信号生成部420と色差信号生成部430とで色成分抽出部が構成され、輝度信号生成部410と色差信号生成部430が出力画像信号処理部343を構成するようになっている。
The luminance signal generation unit 410 is an example of a first physical information acquisition unit, the monochrome image
輝度信号生成部410は、モザイク画像Aに対して最適化されたフィルタ定数を持つローパスフィルタ(LPF;補間フィルタ)412Aを具備している。また、単色画像信号生成部420は、モザイク画像R,G,Bに対して最適化されたフィルタ定数を持つローパスフィルタ(LPF;補間フィルタ)を色別に具備している。
The luminance signal generation unit 410 includes a low-pass filter (LPF; interpolation filter) 412A having a filter constant optimized for the mosaic image A. Further, the monochromatic image
ここで、単色画像信号生成部420は、緑色系統に関しては、ローパスフィルタ422Gを具備するが、赤色系統と青色系統に関しては、先ずローパスフィルタ422R,422Bを具備し、ローパスフィルタ422R,422Bの後段に、さらに、ローパスフィルタ422R,422Bから出力されるモザイク画像R1,B1に対して最適化されたフィルタ定数を持つローパスフィルタ424を色別に具備している(それぞれ424R,424Bで示す)。
Here, the monochromatic image
輝度信号生成部410のローパスフィルタ412Aおよび単色画像信号生成部420のローパスフィルタ422R,422G,422Bへは、撮像部310側から、各画素位置の画素信号が選択スイッチ402を介して対応するものへ切替入力される。
The pixel signal at each pixel position corresponds to the low-
また、色差信号生成部430は、単色画像信号生成部420から出力されたデモザイク画像R2,G2,B2を示す単色信号SR2,SG2,SB2に基づいて輝度成分を示す合成輝度信号SY2を生成し、単色信号SR2,SB2との差を取ることで色差信号R−Y,B−Yを生成するマトリクス演算部432を具備している。
The color difference
<デモザイク処理の一例>
図27〜図31は、デモザイク信号処理部341(輝度信号生成部410と単色画像信号生成部420)におけるデモザイク処理によって、各信号成分のデモザイク画像を取得する手法の一例を説明する図である。なお、各図において、デモザイク画像中のRGBAはモザイク画像によって得られる画素値であり、rgbaはデモザイク処理によって得られる補間画素値を示している。
<Example of demosaic processing>
FIGS. 27 to 31 are diagrams illustrating an example of a technique for acquiring a demosaic image of each signal component by demosaic processing in the demosaic signal processing unit 341 (the luminance signal generation unit 410 and the monochrome image signal generation unit 420). In each figure, RGBA in the demosaic image is a pixel value obtained by the mosaic image, and rgba indicates an interpolated pixel value obtained by the demosaic process.
白色フィルタ14Wを具備したRGBWもしくは白色フィルタ14Wを具備しないRGBAの配列を持つ撮像部310において撮影された信号は、図示を割愛したAD変換部(図7のAD変換部334を参照)においてデジタルデータに変換される。ここで、生成される信号は、RGBW(RGBA)各々に対応する4つのモザイク画像を示すものとなる。
A signal photographed by the
たとえば、図3(B)に示した色配列の色フィルタ群314を具備した撮像部310を適用した場合、図27(B)〜図30(B)に示すような4つのモザイク画像R,G,B,W(もしくはR,G,B,A;以下R,G,B,Aで説明する)が取得される。なお、図27(A)〜図30(A)に示した色フィルタ群314の色配列は、図3(B)に示した色配列に対して、1行下(2行目)、1列右(2列目)から切出した状態で示している。
For example, when the
これらの4つのモザイク画像R,G,B,Aは、画素値の存在しない画素部分を周囲の画素値によって補間する処理によって、全ての画素の画素値を設定する補間処理を実行するローパスフィルタ412A,422R,422G,422B,424R,424Bにそれぞれ入力され、デモザイク処理が実行される。
These four mosaic images R, G, B, and A are low-
デモザイク処理は、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、全ての画素の画素値を設定する処理によって行なわれる。たとえば、公知のVargraのアルゴリズムと同様な方法を適用することができる。Vargraのアルゴリズムは、画素値の8方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行なうアルゴリズムである。 The demosaic process is performed by a process of setting the pixel values of all the pixels by executing interpolation based on surrounding pixel values for pixels having no pixel value. For example, a method similar to the known Vargra algorithm can be applied. The Vargra algorithm is an algorithm for performing demosaicing by obtaining eight-direction gradients of pixel values and averaging pixel values having similar gradients.
このデモザイク処理は、画素値の存在しない画素部分の画素値を周囲画素の画素値によって決定する処理である。この処理には、いわゆる2次元FIRフィルタによって行なわれる。すなわち、画素位置に対応する係数を持つフィルタが適用される。なお、R,Bについては、2段階のローパスフィルタが適用され、オフセットサブサンプリングに対応する補間フィルタとしてのローパスフィルタ422R,422Bでの処理の後、さらにローパスフィルタ422Gと同様のローパスフィルタ424R,424Bによって、全ての画素の画素値の設定が行なわれる。
This demosaic process is a process of determining the pixel value of a pixel portion where no pixel value exists based on the pixel values of surrounding pixels. This processing is performed by a so-called two-dimensional FIR filter. That is, a filter having a coefficient corresponding to the pixel position is applied. For R and B, a two-stage low-pass filter is applied, and after processing by the low-
周囲画素の画素値を使うに当たっては様々な手法を採り得るが、本実施形態でのデモザイク信号処理部341では、ある色に着目したときに、その着目色の色フィルタが配されていない画素の画素値を、その着目色の色フィルタが配されている近傍の有効画素の画素値を使って色補間処理を行なう。
Various methods can be used to use the pixel values of the surrounding pixels. However, in the demosaic
たとえば、輝度信号成分のデモザイク画像を取得するに当たっては、図27(C)に示すように、デモザイク画像A2を取得するローパスフィルタ412Aでは、広波長領域画素12Aを具備しない画素部分(たとえばa34)の画素値a34を、その周囲の4つの広波長領域画素12A(画素位置A24,A33,A44,A35)から得られるA信号(画素値A24,A33,A44,A35)に基づく下記式(4)で示される補間処理を実行する。これにより、デモザイク画像A2が得られる。
For example, when acquiring the demosaic image of the luminance signal component, as shown in FIG. 27C, the low-
また、緑色信号成分のデモザイク画像を取得するに当たっては、デモザイク画像Gを取得するローパスフィルタ422Gでは、先ず、図28(B)に示すように、デモザイク画像Gを処理対象として、同ライン(行)にも同カラム(列)にも緑色画素12Gを具備しない画素部分(たとえばg23)の画素値g23を、その周囲の4つの緑色画素12G(画素位置G12,G32,G34,G14)から得られるG信号(画素値G12,G32,G34,G14)に基づく下記式(5)で示される補間処理を実行する。これにより、デモザイク画像G1が得られる。
Further, when acquiring the demosaic image of the green signal component, the low-
次に、図28(C)に示すように、デモザイク画像G1を処理対象として、同ラインまたは同カラムに緑色画素12Gを具備しない画素部分(たとえばg33)の画素値g33を、その周囲の2つの緑色画素12G(画素位置G32,G34)から得られるG信号(画素値G32,G34)と、式(5)に準じて得られるその周囲の2つの仮想緑色画素12g(画素位置g23,g43)から得られるg信号(画素値g23,g43)とに基づく下記式(6)で示される補間処理を実行する。これにより、デモザイク画像G2が得られる。
Next, as shown in FIG. 28C, the pixel value g33 of the pixel portion (for example, g33) that does not include the
なお、式(5)に準じて得られる仮想緑色画素12gから得られるg信号を使わずに、同ラインもしくは同カラムに存在する隣接の2つの緑色画素12Gから得られるG信号(たとえば画素値G21,G23)に基づく下記式(7)で示される補間処理を実行してもよい。
Note that a G signal (for example, a pixel value G21) obtained from two adjacent
また、赤色信号成分のデモザイク画像を取得するに当たっては、デモザイク画像Rを取得するローパスフィルタ422Rでは、図29(B)に示すように、デモザイク画像Rを処理対象として、同ライン(行)に赤色画素12Rを具備し、かつ同カラム(列)に赤色画素12Rを具備する、赤色画素12Rを具備しない画素部分(たとえばr45)の画素値r45を、その周囲の4つの赤色画素12R(画素位置R25,R43,R65,R47)から得られるR信号(画素値R25,R43,R65,R47)に基づく下記式(8)で示される補間処理を実行する。
Further, when acquiring the demosaic image of the red signal component, the low-
これにより、ローパスフィルタ422Rから出力されるデモザイク画像R1では、R成分についての画素値が得られている画素の配置態様が、G成分について示した図28(B)の状態(デモザイク画像G2)と事実上同じになる。よって、後は、ローパスフィルタ422Gと同様のローパスフィルタ424Rは、G成分についての処理と同様にして、補間処理を実行すればよいことになる。
Thereby, in the demosaic image R1 output from the low-
たとえば、デモザイク画像R2を取得するローパスフィルタ424Rでは、前述のようにしてローパスフィルタ422Rで生成されたデモザイク画像R1を処理対象として、図29(C)に示すように、同ライン(行)にも同カラム(列)にも赤色画素12Rや式(8)で得られる仮想赤色画素12rを具備しない画素部分(たとえばr54)の画素値r54を、その周囲の2つ(対角)の赤色画素12Rおよび2つ(対角)の仮想赤色画素12r(画素位置R43,R65,r63,r45)から得られるR信号およびr信号(画素値R43,R65,r63,r45)に基づく下記式(9)で示される補間処理を実行する。これにより、デモザイク画像R11が得られる。
For example, in the low-
次に、図29(D)に示すように、デモザイク画像R11を処理対象として、同ラインまたは同カラムに赤色画素12Rや仮想赤色画素12Rを具備しない画素部分(たとえばr64)の画素値r64を、その周囲の1つの赤色画素12R(画素位置R65)から得られるR信号(画素値R65)と、式(8)に準じて得られるその周囲の1つの仮想赤色画素12rの画素部分(画素位置r63)から得られるr信号(画素値r63)と、式(9)に準じて得られるその周囲の2つの仮想赤色画素12rの画素部分(画素位置r54,r74)から得られるr信号(画素値r54,r74)とに基づく下記式(10)で示される補間処理を実行する。これにより、デモザイク画像R2が得られる。
Next, as shown in FIG. 29D, with the demosaic image R11 as a processing target, the pixel value r64 of the pixel portion (for example, r64) that does not include the
なお、式(9)に準じて得られる仮想赤色画素12rのr信号を使わずに、その周囲の1つの赤色画素12R(画素位置R65)から得られるR信号(画素値R65)と、式(8)に準じて得られるその周囲の1つの仮想赤色画素12rの画素部分(画素位置r63)から得られるr信号(画素値r63)に基づく下記式(11)で示される補間処理を実行してもよい。
Note that the R signal (pixel value R65) obtained from one surrounding
同様にして、青色信号成分のデモザイク画像を取得するに当たっては、デモザイク画像Bを取得するローパスフィルタ422Bでは、図30(B)に示すように、デモザイク画像Bを処理対象として、同ライン(行)に青色画素12Bを具備し、かつ同カラム(列)に青色画素12Bを具備する、青色画素12Bを具備しない画素部分(たとえばb43)の画素値b43を、その周囲の4つの青色画素12B(画素位置B23,B41,B63,B45)から得られるB信号(画素値B23,B41,B63,B45)に基づく下記式(12)で示される補間処理を実行する。
Similarly, when acquiring the demosaic image of the blue signal component, the low-
これにより、ローパスフィルタ422Bから出力されるデモザイク画像B1では、B成分についての画素値が得られている画素の配置態様が、G成分について示した図28(B)の状態(デモザイク画像G2)と事実上同じになる。よって、後は、ローパスフィルタ422Gと同様のローパスフィルタ424Bは、G成分についての処理と同様にして、補間処理を実行すればよいことになる。
Thereby, in the demosaic image B1 output from the low-
たとえば、デモザイク画像B2を取得するローパスフィルタ424Bでは、前述のようにしてローパスフィルタ422Bで生成されたデモザイク画像B1を処理対象として、図30(C)に示すように、同ライン(行)にも同カラム(列)にも青色画素12Bや式(B1)で得られる仮想青色画素12bを具備しない画素部分(たとえばb54)の画素値b54を、その周囲の2つ(対角)の青色画素12Bおよび2つ(対角)の仮想青色画素12b(画素位置B45,B63,b43,b65)から得られるB信号およびb信号(画素値B45,B63,b43,b65)に基づく下記式(13)で示される補間処理を実行する。これにより、デモザイク画像B11が得られる。
For example, in the low-pass filter 424B that acquires the demosaic image B2, the demosaic image B1 generated by the low-
次に、図30(D)に示すように、デモザイク画像B11を処理対象として、同ラインまたは同カラムに青色画素12Bや仮想青色画素12bを具備しない画素部分(たとえばb64)の画素値b64を、その周囲の1つの青色画素12B(画素位置B63)から得られるB信号(画素値B63)と、式(12)に準じて得られるその周囲の1つの仮想青色画素12bの画素部分(画素位置b65)から得られるb信号(画素値b65)と、式(13)に準じて得られるその周囲の2つの仮想青色画素12bの画素部分(画素位置b54,b74)から得られるb信号(画素値b54,b74)とに基づく下記式(14)で示される補間処理を実行する。
Next, as shown in FIG. 30D, the pixel value b64 of the pixel portion (for example, b64) that does not include the
なお、式(13)に準じて得られる仮想青色画素12bのb信号を使わずに、その周囲の1つの青色画素12B(画素位置B63)から得られるB信号(画素値B63)と、式(12)に準じて得られるその周囲の1つの仮想青色画素12bの画素部分(画素位置b65)から得られるb信号(画素値b65)に基づく下記式(15)で示される補間処理を実行してもよい。
Note that the B signal (pixel value B63) obtained from one surrounding
なお、ここで示した補間処理演算は一例であり、他の色信号との相関を利用したような色補間処理を行なってもよい。 Note that the interpolation processing calculation shown here is an example, and color interpolation processing using correlation with other color signals may be performed.
このような補間処理によって、図31に示すように、図31(A1)に示すモザイク画像Aから図31(B1)に示すデモザイク画像A2が得られ、また、図31(A2)に示すモザイク画像Gから図31(B2)に示すデモザイク画像G2が得られ、また、図31(A3)に示すモザイク画像Rから図31(B3)に示すデモザイク画像R2が得られ、また、図31(A4)に示すモザイク画像Bから図31(B4)に示すデモザイク画像B2が得られる。 By such an interpolation process, as shown in FIG. 31, the demosaic image A2 shown in FIG. 31 (B1) is obtained from the mosaic image A shown in FIG. 31 (A1), and the mosaic image shown in FIG. 31 (A2). The demosaic image G2 shown in FIG. 31 (B2) is obtained from G, the demosaic image R2 shown in FIG. 31 (B3) is obtained from the mosaic image R shown in FIG. 31 (A3), and FIG. 31 (A4) The demosaic image B2 shown in FIG. 31 (B4) is obtained from the mosaic image B shown in FIG.
デモザイク画像R2が、図26に示すローパスフルタ422R,424Rにおける補間処理によって生成されるRチャネルのデモザイク画像であり、デモザイク画像G2が、図26に示すローパスフルタ422Gにおける補間処理によって生成されるGチャネルのデモザイク画像であり、デモザイク画像B2が、図26に示すローパスフルタ422B,424Bにおける補間処理によって生成されるBチャネルのデモザイク画像であり、デモザイク画像A2が、図26に示すローパスフルタ412Aにおける補間処理によって生成されるAチャネルのデモザイク画像である。
The demosaic image R2 is an R channel demosaic image generated by the interpolation processing in the low pass filters 422R and 424R shown in FIG. 26, and the demosaic image G2 is generated by the interpolation processing in the
図26に示す輝度信号生成部410に設けられるローパスフルタ412Aにおける補間処理によって生成される図31(B1)に示すデモザイク画像A2は、Aチャネル、すなわち、GBRなどの可視光領域の波長と赤外光(IR)の波長領域を含む光の強度に対応する画素値が、各画素に設定されることになる。
The demosaic image A2 shown in FIG. 31 (B1) generated by the interpolation processing in the low-
このデモザイク画像A2は、図26に示すように、ローパスフィルタ412Aからの出力として得られ、その信号は、“A=Y+IR”を示すものとなり、信号Aは、可視光領域から赤外光領域までを含み、より広範囲の波長の光成分を含むデモザイク画像A2が出力されることになる。
As shown in FIG. 26, the demosaic image A2 is obtained as an output from the low-
一方、単色画像信号生成部420に設けられるローバスフィルタ422R,422G,422B,424R,424Bにおいて生成されたRGB対応のデモザイク画像G2,R2,B2、すなわち、図31(B2)〜(B4)に示すデモザイク画像G2,R2,B2は、図26に示す色差信号生成部430のマトリクス演算部432に入力され、デモザイク画像G2,R2,B2を示す各信号に基づくマトリックス演算によって色差信号R−Y,B−Yが生成されて出力される。
On the other hand, the RGB-compatible demosaic images G2, R2, and B2 generated by the low-
なお、色差信号R−Y,B−Y中の輝度信号成分Yは、輝度信号生成部410から得られるもの(広波長領域信号SAに基づくデモザイク画像A2)とは異なり、デモザイク画像G2,R2,B2を用いた合成処理によって得られる合成輝度信号SY2であり、たとえば“SY2=0.6*G2+0.3*R2+0.1*B2”とする。 The luminance signal component Y in the color difference signals RY and BY is different from that obtained from the luminance signal generation unit 410 (the demosaic image A2 based on the wide wavelength region signal SA), and the demosaic images G2, R2, and so on. This is the combined luminance signal SY2 obtained by the combining process using B2, for example, “SY2 = 0.6 * G2 + 0.3 * R2 + 0.1 * B2”.
なお、色差信号生成部430は、輝度信号生成部410で得られたデモザイク画像A2を利用して色差信号を生成する構成とすることもできる。この場合、詳細な説明は割愛するが、可視光領域内を複数に波長分離して各成分を検知して得られる単色画像信号生成部420の各デモザイク画像R2,G2,B2と 輝度信号生成部410で得られた高感度のデモザイク画像A2における可視光成分(特に色別の成分)とを使って、各デモザイク画像R2,G2,B2に対して高感度化補正演算を実行し、その後に色差信号を生成するようにしてもよい。
The color difference
一方、たとえば、図34(B)に示したRGBYの色配列を持つベイヤ配列の構成を持つ撮像部を使用し、図26に示す信号処理回路を適用して、輝度信号と色差信号を生成した場合、詳細な補間演算式については記載を割愛するが、前述の本実施形態に従った補間演算式における“A”を“Y”に置き換えたものと考えればよく、輝度信号は、可視光領域の波長成分のみしか含まない輝度信号(Y)となる。 On the other hand, for example, an image pickup unit having a Bayer array configuration having the RGBY color array shown in FIG. 34B is used, and the signal processing circuit shown in FIG. 26 is applied to generate a luminance signal and a color difference signal. In this case, the description of the detailed interpolation calculation formula is omitted, but it can be considered that “A” in the interpolation calculation formula according to the above-described embodiment is replaced with “Y”, and the luminance signal is in the visible light region. The luminance signal (Y) includes only the wavelength component.
これに対して、前述のように、本実施形態に従ったRGBAの色配列を持つ色フィルタ群314を具備した撮像部310を適用することで、可視光および赤外光を含む広範囲の波長の光成分を含むAチャネルのデモザイク画像A2を得ることができ、これを輝度信号“A=Y+IR”として使用することができる。
On the other hand, as described above, by applying the
このように、輝度成分に赤外光成分を含めることで、照度の低い環境で撮影された画像データにおいても、赤外光成分のレベル差が検出される環境下では、Aチヤネル対応のデモザイク画像の各画素の画素値は、赤外光成分のレベル差を反映したデータとなり、照度の低い環境で撮影された画像データのS/N比を改善することが可能となる。本構成は、たとえば、高い色再現性を要求されないが感度やS/N比を高める必要がある監視カメラなどの用途に適している。 In this way, by including an infrared light component in the luminance component, even in image data captured in an environment with low illuminance, a demosaic image corresponding to A channel is used in an environment where a level difference of the infrared light component is detected. The pixel value of each pixel becomes data reflecting the level difference of the infrared light component, and it is possible to improve the S / N ratio of image data taken in an environment with low illuminance. This configuration is suitable for applications such as surveillance cameras that do not require high color reproducibility but need to increase sensitivity and S / N ratio.
<<撮像信号処理部の詳細;第2例>>
図32および図33は、撮像信号処理部330(特に画像信号処理部340)の第2例を説明する図である。ここで、図32は、撮像信号処理部330の第2例の詳細構成を示した機能ブロック図である。また、図33は、第2例の画像信号処理部340で使用するハイパスフィルタのフィルタ定数の一例を示す図である。ここでも、色フィルタ群314が、図3(B)に示した色配列の場合に対応するものとして説明する。
<< Details of Imaging Signal Processing Unit; Second Example >>
32 and 33 are diagrams illustrating a second example of the imaging signal processing unit 330 (particularly the image signal processing unit 340). Here, FIG. 32 is a functional block diagram showing a detailed configuration of the second example of the imaging
この第2例は、色再現性を改善する色補正演算処理機能を画像信号処理部340が備える点に特徴を有する。すなわち、第1例の画像信号処理部340では、輝度信号生成部410から得られる輝度成分(広波長領域信号SA)に赤外光成分を含むため、可視光データのみに基づく色解析処理を行なう構成に比較して色再現性が劣るという問題がある。これは、色差信号レベルが同じであっても、Yチャネルの輝度信号レベルが異なると、目に感じる色合いが異なって認識されることに起因するものである。第2例の画像信号処理部340は、この点を改善し、色再現性を高めた構成である。
This second example is characterized in that the image
先ず、第2例の画像信号処理部340は、出力としてRGBの色信号を出力する。なお、撮像部310によって取得された画像データ(画素信号)に対しては、たとえばホワイトバランス調整などの処理が実行されることになるが、これらの処理は、従来と同様の処理であり、図32には示しておらず(図7の前処理部332や補正処理部336を参照)、図32では、特に画像信号処理部340に着目して示している。
First, the image
図示のように、第2例の画像信号処理部340は、概略的には、第1例の画像信号処理部340に加えて、輝度信号生成部410に対応する輝度信号生成部610で生成されたデモザイク画像A2から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部642と、広波長領域信号高周波成分画像生成部642で生成された広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部644とを備えている。
As illustrated, the image
また、第2例の画像信号処理部340は、単色画像信号生成部420に対応する単色画像信号生成部620を具備している。出力画像信号処理部343は、色差信号生成部430に代えて色信号生成部630を具備するとともに、色信号生成部630の後段に、可視光色成分信号抽出部644が抽出した色成分信号と、色信号生成部630から出力された色成分信号との合成処理を実行する合成処理部650を具備している。
The image
合成処理部650は、加算部652をR,G,Bの色別に有している(それぞれ652R,652G,652Bで示す)。
The
輝度信号生成部610は第1の物理情報取得部の一例であり、単色画像信号生成部620は第2の物理情報取得部の一例であり、色信号生成部630は第3の物理情報取得部の一例である。また、広波長領域信号高周波成分画像生成部642と可視光色成分信号抽出部644とで、輝度信号生成部610から出力される輝度信号に基づいて、色に関する信号を生成する第4の物理情報取得部が構成される。また、合成処理部650は、第5の物理情報取得部の一例である。
The luminance
輝度信号生成部610と単色画像信号生成部620によってデモザイク信号処理部341(図示を省略する)が構成される。また、輝度信号生成部610と、広波長領域信号高周波成分画像生成部642と、可視光色成分信号抽出部644とで、広波長領域信号に対応するデモザイク画像A2から可視光の色成分信号を抽出する第1色成分信号抽出部640が構成される。
The luminance
また、単色画像信号生成部620と色信号生成部630とで、RGB素子の取得信号であるモザイク画像R,G,Bを入力し可視光領域信号に対応するデモザイク画像R2,G2,B2を生成し、デモザイク画像R2,G2,B2に基づいて色成分信号を抽出する第2色成分信号抽出部641が構成される。合成処理部650は、第1色成分信号抽出部640が抽出した色成分信号と、第2色成分信号抽出部641が抽出した色成分信号との合成処理を実行する。
Further, the monochrome image signal generation unit 620 and the color
輝度信号生成部610は、ローパスフィルタ412Aに対応するローパスフィルタ612Aを具備する。広波長領域信号高周波成分画像生成部642は、モザイク画像Aの高周波成分に対して最適化されたフィルタ定数を持つハイパスフィルタ(HPF)643Aを具備し、デモザイク画像A2から高周波成分を抽出し広波長領域信号高周波成分画像を生成する。ハイパスフィルタ643Aは、たとえば高域成分を抽出するFITフィルタである。
The luminance
可視光色成分信号抽出部644は、ハイパスフィルタ643Aから出力された広波長領域信号高周波成分画像から、可視光の色成分信号を抽出するマトリクス演算部645を具備する。
The visible light color component
単色画像信号生成部620は、ローパスフィルタ422R,422G,422Bに対応するローパスフィルタ622R,622G,622Bおよびローパスフィルタ424R,424Bに対応するローパスフィルタ624R,624Bを具備する。
The monochrome image signal generation unit 620 includes low-
輝度信号生成部610のローパスフィルタ612Aおよび単色画像信号生成部620のローパスフィルタ622R,622G,622Bへは、撮像部310側から、各画素位置の画素信号が選択スイッチ602を介して対応するものへ切替入力される。
The pixel signal at each pixel position corresponds to the low-
色信号生成部630は、単色画像信号生成部620から出力されたデモザイク画像R2,G2,B2を示す単色信号SR2,SG2,SB2に基づいて単色信号SR3,SG3,SB3を抽出するマトリクス演算部632を具備している。
The color
輝度信号生成部610は、第1例の輝度信号生成部410と同様に、補間処理(上記式(4)を参照)によってデモザイク画像A2を生成する。また、単色画像信号生成部620は、第1例の単色画像信号生成部420と同様に、補間処理(前記式式(5)〜(7)を参照)によってデモザイク画像G2を生成し、補間処理(前記式(8)〜(11)を参照)によってデモザイク画像R2を生成し、補間処理(前記式(12)〜(15)を参照)によってデモザイク画像B2を生成する。
Similar to the luminance signal generation unit 410 of the first example, the luminance
このような補間処理によって、第1例と同様に、図31(A1)に示すモザイク画像Aから図31(B1)に示すデモザイク画像A2が得られ、また、図31(A2)に示すモザイク画像Gから図31(B2)に示すデモザイク画像G2が得られ、また、図31(A3)に示すモザイク画像Rから図31(B2)に示すデモザイク画像R2が得られ、また、図31(A4)に示すモザイク画像Bから図31(B4)に示すデモザイク画像B2が得られる。 As in the first example, the demosaic image A2 shown in FIG. 31 (B1) is obtained from the mosaic image A shown in FIG. 31 (A1), and the mosaic image shown in FIG. 31 (A2) is obtained. The demosaic image G2 shown in FIG. 31 (B2) is obtained from G, the demosaic image R2 shown in FIG. 31 (B2) is obtained from the mosaic image R shown in FIG. 31 (A3), and FIG. 31 (A4) The demosaic image B2 shown in FIG. 31 (B4) is obtained from the mosaic image B shown in FIG.
デモザイク画像R2が、図32に示すローパスフルタ622R,624Rにおける補間処理によって生成されるRチャネルのデモザイク画像であり、デモザイク画像G2が、図32に示すローパスフルタ622Gにおける補間処理によって生成されるGチャネルのデモザイク画像であり、デモザイク画像B2が、図32に示すローパスフルタ622B,624Bにおける補間処理によって生成されるBチャネルのデモザイク画像であり、デモザイク画像A2が、図32に示すローパスフルタ612Aにおける補間処理によって生成されるAチャネルのデモザイク画像である。
The demosaic image R2 is an R channel demosaic image generated by the interpolation processing in the low-
図32に示す輝度信号生成部610に設けられるローパスフルタ612Aにおける補間処理によって生成される図31(B1)に示すデモザイク画像A2は、Aチャネル、すなわち、GBRなどの可視光領域の波長と赤外光(IR)の波長領域を含む光の強度に対応する画素値が、各画素に設定されデモザイク画像である。
The demosaic image A2 shown in FIG. 31 (B1) generated by the interpolation processing in the low-
このデモザイク画像A2は、図32に示すように、ローパスフィルタ612Aからの出力として得られ、その信号は、“A=Y+IR”を示すものとなり、信号Aは、可視光領域から赤外光領域を含み、より広範囲の波長の光成分を含むデモザイク画像が出力されることになる。
As shown in FIG. 32, the demosaic image A2 is obtained as an output from the low-
第1例では、このデモザイク画像A2を、そのまま出力用の輝度信号成分として使用することにしていたが、第2例では、さらに、以下のような信号処理を実行する。 In the first example, the demosaic image A2 is used as it is as a luminance signal component for output, but in the second example, the following signal processing is further executed.
すなわち、第2例の画像信号処理部340では、このAチャネルのデモザイク画像A2を、広波長領域信号高周波成分画像生成部642のハイパスフィルタ643Aに入力し、Aチャネルのデモザイク画像A2から高周波成分Ahpf を抽出する。
That is, in the image
ハイパスフィルタ643Aは、たとえば、下記式(16)に示す係数、あるいは、図33に示す係数を持つフィルタである。 The high-pass filter 643A is, for example, a filter having a coefficient represented by the following formula (16) or a coefficient illustrated in FIG.
ハイパスフィルタ643Aは、ローパスフィルタ612Aより出力されたAチャネルのデモザイク画像A2から高周波成分Ahpf を抽出し、Aチャネル高周波成分抽出結果画像を生成する。ハイパスフィルタ643Aは、生成したAチャネル高周波成分抽出結果画像を、可視光色成分信号抽出部644のマトリクス演算部645に入力する。
The high-pass filter 643A extracts the high-frequency component Ahpf from the A-channel demosaic image A2 output from the low-
マトリクス演算部645は、Aチャネルに含まれるRGB各々の波長成分データを抽出する。前述したようにAチャネルは可視光成分と赤外光成分の両方の波長領域情報を含んでおり、RGBに相当する波長成分信号も含まれる。マトリクス演算部645は、Aチャネル高周波成分抽出結果画像からRGB要素を抽出する。
The
マトリクス演算部645は、白色フィルタ14WのR,G,Bの各波長成分の透過率特性を考慮した割合で、RGB要素の高周波成分[Rhpf ,Ghpf ,Bhpf ]を抽出する。たとえば、下記式(17)に示す係数に従って、Aチャネル高周波成分抽出結果画像を構成する各画素の画素値[Ahpf]に基づいて、RGB要素の高周波成分[Rhpf ,Ghpf ,Bhpf ]を抽出する。
The
一方、マトリクス演算部632は、単色画像信号生成部620の各ローパスフィルタ622R、622G,622B,624R,624Bにおける補間処理によって生成されたデモザイク画像R2,G2,B2に基づいて、デモザイク画像R2,G2,B2に含まれるR信号、G信号、B信号を選択抽出するためのマトリクス演算を実行して、選択抽出したRGB信号(デモザイク画像R3,G3,B3)を出力する。
On the other hand, the
合成処理部650は、マトリクス演算部645で生成されたRGB要素の高周波成分Rhpf ,Ghpf ,Bhpf と、マトリクス演算部632で生成されたデモザイク画像R3,G3,B3を示すRGB信号とを、それぞれ色別の加算部652R,652G,652Bで加算することで、最終的な出力信号としてのRGB信号を生成して出力する。
The synthesizing
このような第2例の処理例では、可視光成分と赤外光成分を含む広い波長領域からなる信号成分画像としてのAチャネル画像に基づいて高周波成分抽出画像を生成し、この高周波成分抽出画像からRGB信号を抽出して、デモザイク画像R2,G2,B2から抽出したRGB信号に加算する処理構成とした。 In such a processing example of the second example, a high frequency component extraction image is generated based on an A channel image as a signal component image including a wide wavelength region including a visible light component and an infrared light component, and the high frequency component extraction image The RGB signal is extracted from the image data and added to the RGB signal extracted from the demosaic images R2, G2, and B2.
より広い波長領域の信号成分を含むAチャネル画像に基づく高周波成分抽出画像を適用することで、解像度の高い画像を得ることが可能となる。また、Aチャネル画像からRGB信号を取得して、デモザイク画像R2,G2,B2から抽出したRGB信号に加算することで、より正確なRGB信号を生成して出力することが可能となり、色再現性を高めることが可能となる。 By applying a high frequency component extraction image based on an A channel image including a signal component in a wider wavelength region, an image with high resolution can be obtained. Further, by acquiring RGB signals from the A channel image and adding them to the RGB signals extracted from the demosaic images R2, G2, and B2, it becomes possible to generate and output a more accurate RGB signal, and color reproducibility. Can be increased.
以上、説明したように、本実施形態の構成によれば、不可視光の一例である赤外光をカットする赤外光カットフィルタ層313および可視光領域を色対応の波長別に分離する色フィルタ群314を固体撮像素子312の上に所定の順で一体的に形成した。また、固体撮像素子312としては、赤外光カットフィルタ層313の開口部313aに対応する部分に可視光および不可視光成分を含む光波長領域の光信号を取得する広波長領域画素12Aと、赤外光カットフィルタ層313の非開口部313bに対応する部分に波長領域別に可視光信号を取得する赤色画素12R,緑色画素12G、青色画素12Bを備えた構造とした。
As described above, according to the configuration of the present embodiment, the infrared light cut
そして、このような構造を持つ単板式の撮像部310(固体撮像素子312)によって取得される各々のモザイク画像データに基づいて、赤外成分を含む輝度信号と、色差信号あるいはRGBの色信号を生成する構成とした。 Then, based on each mosaic image data acquired by the single-plate imaging unit 310 (solid-state imaging device 312) having such a structure, a luminance signal including an infrared component and a color difference signal or RGB color signal are obtained. Generated configuration.
これにより、広波長領域画素12Aからは、可視光成分に基づく信号だけでなく、不可視光成分に基づく信号が重畳されて出力されるようになり、その出力信号を輝度信号成分として使うことで、特に、可視光成分の少ない低照度環境下での撮影画像について、可視光成分に重畳されて出力される不可視光成分を利用することができるようになり、ノイズの少ない高品質な輝度画像が得られる。
Thereby, from the wide
カラー固体撮像素子を具備する撮像装置において、十分な照度が得られない暗闇のような場合や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件で撮影された画像でも、ノイズを低減した高品質な画像データを生成することを可能となる。また、RGBおよび赤外成分を持つAチャネル画像に基づく色補正を行なうことで、色再現性の高い画像を生成することが可能となる。 In an imaging device equipped with a color solid-state imaging device, in the case of darkness where sufficient illuminance cannot be obtained, low illuminance conditions where the light source contains a lot of infrared light, or auxiliary light of infrared light at low illuminance Even for an image shot under the shooting conditions to be used, high-quality image data with reduced noise can be generated. Further, by performing color correction based on an A channel image having RGB and infrared components, an image with high color reproducibility can be generated.
また、広波長領域画素12Aの配置密度を、可視光用の赤色画素12R,緑色画素12G、青色画素12Bの配置密度よりも高くすることで、解像度の高い高品質な輝度画像を取得することができる。加えて、RGBおよび赤外成分を持つAチャネル画像に基づく色補正を行なうようにすれば、色再現性の高いカラー画像を生成することもできる。
In addition, by setting the arrangement density of the wide
一方、広波長領域画素12Aは、可視光成分に基づく信号だけでなく、不可視光成分に基づく信号が重畳されて出力されるようになるので、可視光成分の多い高照度環境下での撮影時には、飽和現象が懸念されるが、前述のように、広波長領域画素12Aの検知時間を駆動制御部146により制御するなどの対処を実行することで、この問題を解消することができる。
On the other hand, since the wide
以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various changes or improvements can be added to the above-described embodiment without departing from the gist of the invention, and embodiments to which such changes or improvements are added are also included in the technical scope of the present invention.
また、上記の実施形態は、クレーム(請求項)にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。 Further, the above embodiments do not limit the invention according to the claims (claims), and all combinations of features described in the embodiments are not necessarily essential to the solution means of the invention. Absent. The embodiments described above include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. Even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, as long as an effect is obtained, a configuration from which these some constituent requirements are deleted can be extracted as an invention.
たとえば、上記実施形態で説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 For example, the series of processes described in the above embodiments can be executed by hardware, software, or a combined configuration of both. When executing processing by software, the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
たとえば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。 For example, the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium. Alternatively, the program may be temporarily or permanently stored on a removable recording medium such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), a MO (Magneto optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, or a semiconductor memory. It can be stored (recorded). Such a removable recording medium can be provided as so-called package software.
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送し、またはLAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスクなどの記録媒体にインストールすることができる。 The program is installed on the computer from the above-described removable recording medium, transferred wirelessly from the download site to the computer, or transferred to the computer via a network such as a LAN (Local Area Network) or the Internet. The computer can receive the program transferred in this manner and install it on a recording medium such as a built-in hard disk.
また、上記実施形態で説明した各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、システムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。 In addition, the various processes described in the above embodiment are not only executed in time series according to the description, but may be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes. Further, the system is a logical set configuration of a plurality of devices, and is not limited to a device in which each device is in the same casing.
1…誘電体積層膜、10…分光フィルタ、11…分光イメージセンサ、14…色フィルタ、300…撮像装置、310…撮像部、312…固体撮像素子、313…赤外光カットフィルタ層、313a…開口部、313b…非開口部、314…色フィルタ群、320…駆動部、330…撮像信号処理部、332…前処理部、334…AD変換部、336…補正処理部、340…画像信号処理部、341…デモザイク信号処理部、343…出力画像信号処理部、344…輝度信号処理部、402…選択スイッチ、410…輝度信号生成部、412A,422R,422G,422B,424R,424B…ローパスフィルタ、420…単色画像信号生成部、430…色差信号生成部、432…マトリクス演算部、602…選択スイッチ、610…輝度信号生成部、612A,622R,622G,622B,624R,624B…ローパスフィルタ、620…単色画像信号生成部、630…色信号生成部、632…マトリクス演算部、640…第1色成分信号抽出部、641…第2色成分信号抽出部、642…広波長領域信号高周波成分画像生成部、643A…ハイパスフィルタ、644…可視光色成分信号抽出部、645…マトリクス演算部、650…合成処理部、652…加算部
DESCRIPTION OF
Claims (17)
前記基板に一体的に形成された複数の層からなるフィルタと、
を備え、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
水平方向および垂直方向の読取方向に対して格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記基板と前記非可視光フィルタ層との間に介在し、前記開口部に対応する位置の部分が、前記検知部の格子状の画素配列に対し、2画素ピッチで格子状に配置され、
前記開口部に対応して位置する第1の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第2の検知部により、前記可視光の入射光成分を検知し、
前記第1の検知部から出力される第1の検知信号と、前記第2の検知部から出力される第2の検知信号とに基づいて、前記入射光の情報を取得する
半導体装置。 A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
With
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The plurality of detectors are arranged corresponding to the grid-like pixel arrangement with respect to the horizontal and vertical reading directions,
The color separation filter layer is interposed between the substrate and the invisible light filter layer, and a portion at a position corresponding to the opening is at a two-pixel pitch with respect to the grid-like pixel arrangement of the detection unit. Arranged in a grid,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
A semiconductor device that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
前記基板に一体的に形成された複数の層からなるフィルタと、
を備え、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
水平方向および垂直方向の読取方向に対して格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記開口部に対応する位置の部分が、前記格子状の画素配列に対し市松状に配置され、
前記開口部に対応して位置する第1の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第2の検知部により、前記可視光の入射光成分を検知し、
前記第1の検知部から出力される第1の検知信号と、前記第2の検知部から出力される第2の検知信号とに基づいて、前記入射光の情報を取得する
半導体装置。 A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
With
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The plurality of detectors are arranged corresponding to the grid-like pixel arrangement with respect to the horizontal and vertical reading directions,
In the color separation filter layer, a portion corresponding to the opening is arranged in a checkered pattern with respect to the grid-like pixel arrangement,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
A semiconductor device that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
前記基板に一体的に形成された複数の層からなるフィルタと、
を備え、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
水平方向および垂直方向の読取方向に対して縦横の画素配置方向が所定角度で斜めとなっている斜め格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記基板と前記非可視光フィルタ層との間に介在し、前記開口部に対応する位置の部分が、前記斜め格子状の画素配列に対し、2画素ピッチで格子状に配置され、
前記開口部に対応して位置する第1の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第2の検知部により、前記可視光の入射光成分を検知し、
前記第1の検知部から出力される第1の検知信号と、前記第2の検知部から出力される第2の検知信号とに基づいて、前記入射光の情報を取得する
半導体装置。 A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
With
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The plurality of detectors are arranged corresponding to the diagonal grid pixel arrangement in which the vertical and horizontal pixel arrangement directions are inclined at a predetermined angle with respect to the horizontal and vertical reading directions,
The color separation filter layer is interposed between the substrate and the invisible light filter layer, and a portion corresponding to the opening is in a grid pattern with a pitch of 2 pixels with respect to the diagonal grid pixel array. Placed in
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
A semiconductor device that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
前記基板に一体的に形成された複数の層からなるフィルタと、
を備え、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
水平方向および垂直方向の読取方向に対して縦横の画素配置方向が所定角度で斜めとなっている斜め格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記開口部に対応する位置の部分が、前記斜め格子状の画素配列に対し市松状に配置され、
前記開口部に対応して位置する第1の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第2の検知部により、前記可視光の入射光成分を検知し、
前記第1の検知部から出力される第1の検知信号と、前記第2の検知部から出力される第2の検知信号とに基づいて、前記入射光の情報を取得する
半導体装置。 A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
With
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The plurality of detectors are arranged corresponding to the diagonal grid pixel arrangement in which the vertical and horizontal pixel arrangement directions are inclined at a predetermined angle with respect to the horizontal and vertical reading directions,
In the color separation filter layer, a portion corresponding to the opening is arranged in a checkered pattern with respect to the diagonal lattice pixel arrangement,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
A semiconductor device that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
前記基板に一体的に形成された複数の層からなるフィルタと、
を備え、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
水平方向および垂直方向の読取方向に対して縦横の画素配置方向が所定角度で斜めとなっている斜め格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記開口部に対応する位置の部分が、前記斜め格子状の画素配列に対し市松状に配置されるとともに、前記斜め格子状の画素配列の各格子点にも配置され、
前記開口部に対応して位置する第1の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第2の検知部により、前記可視光の入射光成分を検知し、
前記第1の検知部から出力される第1の検知信号と、前記第2の検知部から出力される第2の検知信号とに基づいて、前記入射光の情報を取得する
半導体装置。 A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
With
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The plurality of detectors are arranged corresponding to the diagonal grid pixel arrangement in which the vertical and horizontal pixel arrangement directions are inclined at a predetermined angle with respect to the horizontal and vertical reading directions,
The color separation filter layer is arranged at a position corresponding to the opening in a checkered pattern with respect to the diagonal grid pixel arrangement and also at each grid point of the diagonal grid pixel arrangement. ,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
A semiconductor device that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
請求項1から5の何れか一項に記載の半導体装置。 The semiconductor device according to claim 1, wherein the non-opening portion of the non-visible light filter layer includes a laminated member having a structure in which a plurality of layers having a predetermined thickness are laminated.
請求項6に記載の半導体装置。 The semiconductor device according to claim 6, wherein the laminated member has a refractive index different between adjacent layers.
請求項6または7に記載の半導体装置。 The semiconductor device according to claim 6, wherein a silicon dioxide film is formed in at least an opening of the laminated member of the invisible light filter layer.
請求項1から8のいずれか一項に記載の半導体装置。 Wherein the first detection portion, wherein the second detection unit, the semiconductor device according to any one of claims 1 to 8 which are periodically arranged with a certain number ratio.
請求項1から9の何れか一項に記載の半導体装置。 Wherein corresponding to the opening of the non-visible light filter layer, a portion of the color separation filter layer, white according to any one of claims 1 filter portion is formed which transmits visible light component 9 Semiconductor device.
請求項1から9の何れか一項に記載の半導体装置。 Wherein corresponding to the opening of the non-visible light filter layer, a portion of the color separation filter layer, any one of claims 1 to 9, the filter unit is formed passing through the entire wavelength components of the visible light A semiconductor device according to 1.
請求項請求項1から9の何れか一項に記載の半導体装置。 The non wherein corresponding to the opening of the visible light filter layer, a semiconductor device according to any one of the color separation claims the portion of the filter layer does not filter portion is formed claims 1 to 9.
被写体からの光を前記撮像素子に集光する撮影レンズと、
前記撮像素子から出力される信号に基づいて前記被写体の情報を取得する信号処理部と、
を備え、
前記撮像素子は、
基板に所定の順に配置されて入射光を検知する複数の検知部と、
前記基板に一体的に形成された複数の層からなるフィルタと、
を有し、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
前記撮像素子は、
水平方向および垂直方向の読取方向に対して格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記基板と前記非可視光フィルタ層との間に介在し、前記開口部に対応する位置の部分が、前記検知部の格子状の画素配列に対し、2画素ピッチで格子状に配置され、
前記開口部に対応して位置する第1の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第2の検知部により、前記可視光の入射光成分を検知し、
前記信号処理部は、
前記第1の検知部から出力される第1の検知信号と、前記第2の検知部から出力される第2の検知信号とに基づいて、前記入射光の情報を取得する
撮像装置。 An image sensor;
A photographic lens that collects light from the subject onto the image sensor;
A signal processing unit for acquiring information on the subject based on a signal output from the image sensor;
With
The image sensor is
A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
Have
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The image sensor is
The plurality of detectors are arranged corresponding to the grid-like pixel arrangement with respect to the horizontal and vertical reading directions,
The color separation filter layer is interposed between the substrate and the invisible light filter layer, and a portion at a position corresponding to the opening is at a two-pixel pitch with respect to the grid-like pixel arrangement of the detection unit. Arranged in a grid,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
The signal processing unit
An imaging apparatus that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
被写体からの光を前記撮像素子に集光する撮影レンズと、
前記撮像素子から出力される信号に基づいて前記被写体の情報を取得する信号処理部と、
を備え、
前記撮像素子は、
基板に所定の順に配置されて入射光を検知する複数の検知部と、
前記基板に一体的に形成された複数の層からなるフィルタと、
を有し、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
前記撮像素子は、
水平方向および垂直方向の読取方向に対して格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記開口部に対応する位置の部分が、前記格子状の画素配列に対し市松状に配置され、
前記開口部に対応して位置する第1の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第2の検知部により、前記可視光の入射光成分を検知し、
前記信号処理部は、
前記第1の検知部から出力される第1の検知信号と、前記第2の検知部から出力される第2の検知信号とに基づいて、前記入射光の情報を取得する
撮像装置。 An image sensor;
A photographic lens that collects light from the subject onto the image sensor;
A signal processing unit for acquiring information on the subject based on a signal output from the image sensor;
With
The image sensor is
A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
Have
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The image sensor is
The plurality of detectors are arranged corresponding to the grid-like pixel arrangement with respect to the horizontal and vertical reading directions,
In the color separation filter layer, a portion corresponding to the opening is arranged in a checkered pattern with respect to the grid-like pixel arrangement,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
The signal processing unit
An imaging apparatus that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
被写体からの光を前記撮像素子に集光する撮影レンズと、
前記撮像素子から出力される信号に基づいて前記被写体の情報を取得する信号処理部と、
を備え、
前記撮像素子は、
基板に所定の順に配置されて入射光を検知する複数の検知部と、
前記基板に一体的に形成された複数の層からなるフィルタと、
を有し、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
前記撮像素子は、
水平方向および垂直方向の読取方向に対して縦横の画素配置方向が所定角度で斜めとなっている斜め格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記基板と前記非可視光フィルタ層との間に介在し、前記開口部に対応する位置の部分が、前記斜め格子状の画素配列に対し、2画素ピッチで格子状に配置され、
前記開口部に対応して位置する第1の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第2の検知部により、前記可視光の入射光成分を検知し、
前記信号処理部は、
前記第1の検知部から出力される第1の検知信号と、前記第2の検知部から出力される第2の検知信号とに基づいて、前記入射光の情報を取得する
撮像装置。 An image sensor;
A photographic lens that collects light from the subject onto the image sensor;
A signal processing unit for acquiring information on the subject based on a signal output from the image sensor;
With
The image sensor is
A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
Have
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The image sensor is
The plurality of detectors are arranged corresponding to the diagonal grid pixel arrangement in which the vertical and horizontal pixel arrangement directions are inclined at a predetermined angle with respect to the horizontal and vertical reading directions,
The color separation filter layer is interposed between the substrate and the invisible light filter layer, and a portion corresponding to the opening is in a grid pattern with a pitch of 2 pixels with respect to the diagonal grid pixel array. Placed in
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
The signal processing unit
An imaging apparatus that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
被写体からの光を前記撮像素子に集光する撮影レンズと、
前記撮像素子から出力される信号に基づいて前記被写体の情報を取得する信号処理部と、
を備え、
前記撮像素子は、
基板に所定の順に配置されて入射光を検知する複数の検知部と、
前記基板に一体的に形成された複数の層からなるフィルタと、
を有し、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
前記撮像素子は、
水平方向および垂直方向の読取方向に対して縦横の画素配置方向が所定角度で斜めとなっている斜め格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記開口部に対応する位置の部分が、前記斜め格子状の画素配列に対し市松状に配置され、
前記開口部に対応して位置する第1の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第2の検知部により、前記可視光の入射光成分を検知し、
前記信号処理部は、
前記第1の検知部から出力される第1の検知信号と、前記第2の検知部から出力される第2の検知信号とに基づいて、前記入射光の情報を取得する
撮像装置。 An image sensor;
A photographic lens that collects light from the subject onto the image sensor;
A signal processing unit for acquiring information on the subject based on a signal output from the image sensor;
With
The image sensor is
A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
Have
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The image sensor is
The plurality of detectors are arranged corresponding to the diagonal grid pixel arrangement in which the vertical and horizontal pixel arrangement directions are inclined at a predetermined angle with respect to the horizontal and vertical reading directions,
In the color separation filter layer, a portion corresponding to the opening is arranged in a checkered pattern with respect to the diagonal lattice pixel arrangement,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
The signal processing unit
An imaging apparatus that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
被写体からの光を前記撮像素子に集光する撮影レンズと、
前記撮像素子から出力される信号に基づいて前記被写体の情報を取得する信号処理部と、
を備え、
前記撮像素子は、
基板に所定の順に配置されて入射光を検知する複数の検知部と、
前記基板に一体的に形成された複数の層からなるフィルタと、
を有し、
前記フィルタは、
可視光および非可視光に対して透過性を有する開口部を有し、当該開口部以外の非開口部が前記可視光に対して透過性を有し前記非可視光に対しては非透過性を有する非可視光フィルタ層と、
前記開口部に対応する位置の部分が可視光および非可視光に対し透過性を有し、前記非開口部に対応する位置の複数の色分離部の各々が、当該色分離部ごとに決められた可視光の色成分に対して透過性を有し、当該色成分以外の可視光の色成分に対し非透過性を有する色分離フィルタ層と、
を有し、
前記撮像素子は、
水平方向および垂直方向の読取方向に対して縦横の画素配置方向が所定角度で斜めとなっている斜め格子状の画素配列に対応して、前記複数の検知部が配置され、
前記色分離フィルタ層は、前記開口部に対応する位置の部分が、前記斜め格子状の画素配列に対し市松状に配置されるとともに、前記斜め格子状の画素配列の各格子点にも配置され、
前記開口部に対応して位置する第1の検知部により、前記可視光および前記非可視光の入射光を検知し、
前記非開口部および前記複数の色分離部に対応して位置する第2の検知部により、前記可視光の入射光成分を検知し、
前記信号処理部は、
前記第1の検知部から出力される第1の検知信号と、前記第2の検知部から出力される第2の検知信号とに基づいて、前記入射光の情報を取得する
撮像装置。 An image sensor;
A photographic lens that collects light from the subject onto the image sensor;
A signal processing unit for acquiring information on the subject based on a signal output from the image sensor;
With
The image sensor is
A plurality of detectors arranged in a predetermined order on the substrate to detect incident light;
A filter comprising a plurality of layers integrally formed on the substrate;
Have
The filter is
It has an opening that is transparent to visible light and invisible light, and the non-opening other than the opening is transparent to the visible light and not transparent to the invisible light. A non-visible light filter layer having
A portion at a position corresponding to the opening has transparency to visible light and invisible light, and each of the plurality of color separation portions at a position corresponding to the non-opening is determined for each color separation portion. A color separation filter layer that is transparent to visible light color components and non-transmissive to visible light color components other than the color components;
Have
The image sensor is
The plurality of detectors are arranged corresponding to the diagonal grid pixel arrangement in which the vertical and horizontal pixel arrangement directions are inclined at a predetermined angle with respect to the horizontal and vertical reading directions,
The color separation filter layer is arranged at a position corresponding to the opening in a checkered pattern with respect to the diagonal grid pixel arrangement and also at each grid point of the diagonal grid pixel arrangement. ,
The first detection unit located corresponding to the opening detects the incident light of the visible light and the invisible light,
By detecting the incident light component of the visible light by a second detection unit positioned corresponding to the non-opening and the plurality of color separation units,
The signal processing unit
An imaging apparatus that acquires information on the incident light based on a first detection signal output from the first detection unit and a second detection signal output from the second detection unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011243836A JP5263373B2 (en) | 2011-11-07 | 2011-11-07 | Semiconductor device and imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011243836A JP5263373B2 (en) | 2011-11-07 | 2011-11-07 | Semiconductor device and imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006160718A Division JP5070742B2 (en) | 2006-06-09 | 2006-06-09 | Information acquisition method, information acquisition device, semiconductor device, signal processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012080553A JP2012080553A (en) | 2012-04-19 |
JP5263373B2 true JP5263373B2 (en) | 2013-08-14 |
Family
ID=46240200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011243836A Expired - Fee Related JP5263373B2 (en) | 2011-11-07 | 2011-11-07 | Semiconductor device and imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5263373B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106165398A (en) * | 2014-04-04 | 2016-11-23 | 株式会社尼康 | Imaging apparatus, camera head and image processing apparatus |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015133130A1 (en) * | 2014-03-06 | 2015-09-11 | 日本電気株式会社 | Video capturing device, signal separation device, and video capturing method |
US9369681B1 (en) * | 2014-11-25 | 2016-06-14 | Omnivision Technologies, Inc. | RGBC color filter array patterns to minimize color aliasing |
WO2017047080A1 (en) * | 2015-09-18 | 2017-03-23 | 日本電気株式会社 | Image processing device, imaging device, image processing method, and program recording medium |
KR102355553B1 (en) * | 2016-09-02 | 2022-01-26 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | imaging device |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4311988B2 (en) * | 2003-06-12 | 2009-08-12 | アキュートロジック株式会社 | Color filter for solid-state image sensor and color image pickup apparatus using the same |
US7746396B2 (en) * | 2003-12-17 | 2010-06-29 | Nokia Corporation | Imaging device and method of creating image file |
JP2007189376A (en) * | 2006-01-12 | 2007-07-26 | Matsushita Electric Ind Co Ltd | Solid-state imaging device and camera module |
-
2011
- 2011-11-07 JP JP2011243836A patent/JP5263373B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106165398A (en) * | 2014-04-04 | 2016-11-23 | 株式会社尼康 | Imaging apparatus, camera head and image processing apparatus |
CN106165398B (en) * | 2014-04-04 | 2019-07-02 | 株式会社尼康 | Photographing element, photographic device and image processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2012080553A (en) | 2012-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5070742B2 (en) | Information acquisition method, information acquisition device, semiconductor device, signal processing device | |
JP4882297B2 (en) | Physical information acquisition apparatus and semiconductor device manufacturing method | |
KR101244147B1 (en) | Physical information acquiring method, physical information acquiring device and semiconductor device | |
JP4839632B2 (en) | Imaging device | |
JP4867448B2 (en) | Physical information acquisition method and physical information acquisition device | |
JP4930109B2 (en) | Solid-state imaging device, imaging device | |
JP5187433B2 (en) | Physical information acquisition method and physical information acquisition device | |
KR101234315B1 (en) | Method and apparatus for acquiring physical information, method for manufacturing semiconductor device including array of a plurality of unit components for detecting physical quantity distribution, light-receiving device and manufacturing method therefor, and solid-state imaging device and manufacturing method therefor | |
US8384818B2 (en) | Solid-state imaging device including arrays of optical elements and photosensitive cells | |
TWI460520B (en) | Solid-state imaging device and camera module | |
JP4887915B2 (en) | Solid-state imaging device | |
KR100553056B1 (en) | Image pickup apparatus | |
US8408821B2 (en) | Visible and infrared dual mode imaging system | |
WO2007086155A1 (en) | Solid-state imaging device, signal processing method, and camera | |
JP2008005488A (en) | Camera module | |
JP5263373B2 (en) | Semiconductor device and imaging device | |
US7138663B2 (en) | Color separation device of solid-state image sensor | |
WO2013099151A1 (en) | Solid-state imaging element, imaging device, and signal processing method | |
JP2003258220A (en) | Imaging element and imaging device | |
JP2005167356A (en) | Imaging device | |
JP4027116B2 (en) | Imaging device and imaging apparatus | |
JP2004193284A (en) | Imaging device | |
JP2004128201A (en) | Solid-state imaging device and imaging system | |
JP2016197794A (en) | Imaging device | |
JP2003243638A (en) | Image pickup element and image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130415 |
|
LAPS | Cancellation because of no payment of annual fees |