WO2005045936A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
WO2005045936A1
WO2005045936A1 PCT/JP2004/005799 JP2004005799W WO2005045936A1 WO 2005045936 A1 WO2005045936 A1 WO 2005045936A1 JP 2004005799 W JP2004005799 W JP 2004005799W WO 2005045936 A1 WO2005045936 A1 WO 2005045936A1
Authority
WO
WIPO (PCT)
Prior art keywords
visible light
infrared light
light
different
image
Prior art date
Application number
PCT/JP2004/005799
Other languages
English (en)
French (fr)
Inventor
Tsuyoshi Okada
Hirofumi Ishii
Kazufumi Mizusawa
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP04728931A priority Critical patent/EP1630871B1/en
Priority to US10/533,853 priority patent/US7247851B2/en
Priority to AT04728931T priority patent/ATE460748T1/de
Priority to DE602004025922T priority patent/DE602004025922D1/de
Publication of WO2005045936A1 publication Critical patent/WO2005045936A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/17—Colour separation based on photon absorption depth, e.g. full colour resolution obtained simultaneously at each pixel location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Definitions

  • the present invention relates to an imaging apparatus and an imaging method for detecting and receiving visible light and near-infrared light of three components having different wavelength ranges, and imaging both visible light and near-infrared light. . Background art
  • Conventional visible light / near-infrared light imaging devices have a configuration in which pixels that can detect three colors with different visible light wavelengths and near-infrared light are mixed in the same image sensor, for example, a CCD or CMOS image sensor.
  • a CCD or CMOS image sensor See, for example, JP-A-2002-142228, FIG. 2.
  • an Mg (Magenta) color detector 81, a Ye (Yellow) color detector 82, a Cy (Cyan) color detector 83, and a near infrared light detector 84 are provided on the image sensor. They are arranged in a mosaic, and their combination is arranged vertically and horizontally.
  • one detector corresponds to one pixel.
  • naked pixels have the property of detecting visible light from 400 nm to 1000 nm to near-infrared light.
  • an Mg color detector 81 is configured by covering a pixel with a band-pass filter plate near the Mg color.
  • Each of the Ye color detector 82 and the Cy color detector 83 also has a configuration in which a band-pass filter plate that extracts the vicinity of each wavelength is covered by a pixel.
  • naked pixels are arranged as the near-infrared light detector 84. To be precise, the visible light range needs to be cut, but it is only necessary to obtain the luminance information, so that the visible light range need not be cut. With the above configuration, images of both visible light and near-infrared light can be captured.
  • three photodiodes having different depths from the surface are formed on a silicon substrate.
  • This conventional device detects three types of light having different wavelengths in the visible light region, for example, using the difference in absorbance in blue, green, and red silicon (for example, , Japanese Translation of PCT International Publication No. 2002-513145, Figures 5 and 6).
  • this visible light imaging device It is possible to arrange three photodiodes with different depths while being a single pixel. Therefore, this conventional technique can increase the color resolution and prevent image degradation due to false colors, as compared with the technique of detecting one color with one pixel.
  • FIG. 11 shows a configuration of one pixel formed in the image sensor.
  • an N-type doped region 92 made of an N-type semiconductor is formed on a P-type semiconductor substrate 91.
  • a P-type doped region 93 is formed thereon.
  • an N-type doped region 94 is formed thereon.
  • a semiconductor three-layer structure (triple well structure) is formed on the substrate. Since the vicinity of each PN interface can function as a photosensor, a total of three photosensors can be configured.
  • each pixel has one color (a limited wavelength range). ) Can only be detected. Other color and luminance information must be supplemented from information about neighboring pixels. As a result, the resolution of color and brightness is reduced, and a false color that is not the original color is generated.
  • An optical system usually including an optical lens forms an image of an object on the image sensor surface.
  • the focal point differs depending on the wavelength, so chromatic aberration occurs in imaging (when one color is in focus, another color is blurred).
  • achromatic lens is provided so that the image sensor can be accommodated within the depth of focus (color blur is negligible within that range). Thereby, focus is achieved.
  • the conventional visible light imaging device as described in Japanese Patent Application Laid-Open No. 2002-5151315 is limited to a three-layer semiconductor doping structure and detects visible light. It is configured as follows. Therefore, when detecting the three primary colors of visible light, near-infrared light cannot be detected. Also, suppose that the depth of the photodiode is readjusted so that a total of three types of light, visible light and near-infrared light, can be detected. However, as described above, it is not possible to create a complete achromatic system for a very wide wavelength range from the visible light region to the near-infrared light castle (400 nm to 100 nm). .
  • the present invention has been made to solve the above conventional problems. It is an object of the present invention to be able to obtain a clear color image with good color reproducibility by a visible light detecting means and at the same time to obtain clear luminance information or a black and white image by a near-infrared detecting means. Another object of the present invention is to provide a visible light / near infrared light imaging device and method.
  • the imaging device according to the present invention is configured such that visible light and near-infrared light of three components having different wavelength ranges are emitted. T / JP2004 / 005799
  • An optical system means for forming an image at a position different depending on the wavelength, and an image pickup device having a plurality of pixels, wherein the plurality of pixels form an image at different positions within the same pixel at different depths according to the wavelength.
  • the visible light detecting means is provided at a position having a different depth according to the wavelength dependence of the light absorption depth, and detects visible light in three different wavelength ranges of blue, green, and red. It has three detectors for detecting, and the near-infrared light detecting means is provided at a position different in depth from the three detectors, and has a detector for detecting near-infrared light.
  • a clear color image with good color reproducibility can be obtained by the visible light detecting means, and at the same time, clear luminance information or a black and white image can be obtained by the near-infrared detecting means.
  • color images with good color reproducibility and high color resolution can be provided in the daytime, for example, and clear black and white images can be obtained by illuminating some lights even in dark places such as at night.
  • the dynamic range can be equivalently increased by the composite image, and thus, an excellent imaging device can be provided.
  • the image sensor has a configuration in which pixels having the visible light detecting means and pixels having the near-infrared light detecting means are alternately arranged vertically and horizontally.
  • a filter capable of blocking the effect of near-infrared light can be separately added to the visible light detecting means, so that a color image with very good color reproducibility can be obtained.
  • the imaging element has a configuration in which the number of pixels having the visible light detecting means and the number of pixels having the near-infrared light detecting means are arranged at a ratio of 1: 3. ing.
  • the imaging device has a configuration in which the area of the pixel having the visible light detecting means and the area of the pixel having the near-infrared light detecting means are arranged at a ratio of 1: 3. ing.
  • an imaging apparatus includes: an optical system unit configured to form an image of visible light and near-infrared light of three components having different wavelength ranges at different positions according to wavelengths;
  • the plurality of pixels have detection means for detecting the three components of visible light and the near-infrared light, each of which forms an image at a different depth within the same pixel depending on a wavelength.
  • the plurality of pixels are provided with visible light and near-infrared light of three components of blue, green, and red at different positions according to the wavelength dependence of the light absorption depth. It has detection means to detect with four detectors.
  • Such a configuration is inferior to a configuration in which visible light and near-infrared light are detected by different pixels in terms of color reproducibility and detection loss.
  • the effect is obtained that the resolution of both the color image and the near-infrared image can be similarly improved.
  • the optical system means increases the focal length monotonically from light having a short wavelength of visible light to near-infrared light, so that the optical system means is close to visible light in three different wavelength ranges of blue, green, and red. It has a configuration in which infrared light and an image are formed at different positions.
  • the three components of visible light and near-infrared light having different wavelength ranges are imaged at different positions depending on the wavelength, and the three-component visible light and the near-infrared light are formed. Detection is performed using the fact that the wavelength dependence of the light absorption depth is different, and images of both the visible light and the near-infrared light of the three components are taken.
  • FIG. 1 is a view for explaining a visible and near-infrared imaging apparatus and method according to the present invention, and is a view showing a point of an optical system invention.
  • FIG. 2 is a diagram showing the relationship between the focal length and the wavelength of the optical system according to the present invention.
  • FIG. 3 is a diagram showing a configuration of an image sensor according to the first embodiment of the present invention.
  • FIG. 4 is a diagram showing a configuration of the imaging device according to the first embodiment of the present invention.
  • FIG. 5 is an equivalent circuit diagram of the imaging device according to the first embodiment of the present invention.
  • FIG. 6 is a diagram showing an example of a mixed arrangement of a visible light detection unit and a near-infrared light detection unit in the imaging device according to the first embodiment of the present invention.
  • FIG. 7 is a diagram showing an example of a mixed arrangement of a visible light detection unit and a near-infrared light detection unit in the imaging device according to the first embodiment of the present invention.
  • FIG. 8 is a diagram showing a configuration of an imaging device according to a second embodiment of the present invention.
  • FIG. 9 is an equivalent circuit diagram of an imaging device according to the second embodiment of the present invention.
  • FIG. 10 is a diagram showing an example of an image sensor of a conventional visible light / near infrared light imaging device.
  • FIG. 11 is a diagram illustrating an example of an imaging element of a conventional visible light imaging device.
  • FIG. 12 is a diagram for explaining an achromatic optical system used in a conventional visible light imaging device.
  • a visible light / near infrared light imaging device has an optical lens 1.
  • the optical lens 1 is an optical system whose focus is variable depending on the wavelength, and forms an image of visible light and near-infrared light of three components having different wavelength ranges at different positions depending on the wavelength.
  • Light from an external subject is condensed by the optical lens 1 and is imaged on the image sensor 2.
  • the luminous flux from the optical lens 1 is shown divided into wavelengths.
  • the optical lens 1 forms an image at different positions depending on the wavelength as described above. In detail, as shown in Fig.
  • the optical system lens 1 has an increased focal length from short-wavelength visible light to near-infrared light. An image is formed at the position.
  • FIG. 3 shows a schematic configuration of the image sensor 2.
  • a visible light detecting section 6 and a near-infrared light detecting section 8 are arranged in the image sensor 2.
  • the visible light detecting section 6 includes three detectors having different depths.
  • the visible light detection unit 6 utilizes the fact that the wavelength dependence of the light absorption depth is different, and uses the optical lens 1 to condense the visible light of three components in different wavelength ranges that are condensed and imaged, Detect with these three detectors.
  • the near-infrared light detector 8 has a detector that detects near-infrared light.
  • the visible light detector 6 includes a Blue (blue) detector 3, a Green (green) detector 4, and a Red (red) detector 5. These detectors 3 to 5 are photodiodes arranged at different depths from the surface. By independently obtaining the three primary colors, any color can be reproduced. Unlike the conventional example of Japanese Patent Application Laid-Open No. 2002-142422, one pixel can output three colors of visible light. As described in the explanation of the conventional example, in fact, it cannot be completely separated into three colors. However, the degree of contamination of each color can be known (or measurable) in advance, and correction is possible.
  • the near-infrared light detection unit 8 is configured by one photodiode that is the near-infrared light detector 7.
  • a near-infrared light detector 7 is placed near the depth where the detection sensitivity is highest.
  • the near-infrared light detector 7 is arranged at a position of 10 m.
  • the luminance information is also obtained from the visible light detection unit 6 by synthesizing the three colors. If the output from the near-infrared light detector 7 is also proportional to the overall light intensity, the output from the near-infrared light detector 7 may be used as luminance information.
  • FIG. 4 shows a configuration of the image sensor 2 according to the first embodiment. Shown in Figure 4 As described above, the configuration of the visible light detector 6 on the left side in the figure is almost the same as that of the conventional example. On a P-type semiconductor substrate 9, an N-type doped region 10 of an N-type semiconductor is formed. Similarly, a P-type doped region 11 is formed thereon. Further, an N-type doped region 12 is formed thereon. As a result, a semiconductor three-layer structure (triple well structure) is formed on the substrate. Then, the three current detectors 14, 15, and 16 detect the outputs of the visible lights B, G, and R.
  • the three current detectors 14, 15, and 16 detect the outputs of the visible lights B, G, and R.
  • a near-infrared light cut filter plate 13 is arranged before the light enters the current detector. As a result, the influence of light in the near infrared region is cut off.
  • the near infrared light detecting section 8 on the right side of FIG. 4 an N-type doped region 17 of an N-type semiconductor is newly formed on the P-type semiconductor substrate 9.
  • the current detector 18 detects the current when near-infrared light enters when the PN bond is reverse-biased (the N-side potential is higher than the P-side).
  • a PN junction surface that is, the near-infrared light detector 7 in FIG. 3, is provided at a depth of 10 m.
  • the near-infrared light detector 7 is arranged at a location where the near-infrared light detection sensitivity is highest.
  • the optical lens 1 described with reference to FIGS. 1 and 2 allows light in a desired wavelength range to be detected at each of the four current detectors 14, 15, 16, and 18. Focus. In other words, light of a desired color is focused at the detection target of each detector. In order to realize this, the optical lens 1 is intentionally given an aberration as shown in FIG.
  • FIG. 4 when visible light is incident on the near-infrared light detection unit 8 on the right side, the focus shifts. Most visible light is absorbed up to the photodiode detection area, that is, near the PN interface, but visible light that leaks without being absorbed may cause defocus. Therefore, as shown in FIG. 4, a visible light cut-fill evening plate 27 may be added to a place before light enters.
  • FIG. 5 shows an equivalent circuit diagram. As shown in Fig. 5, a reverse bias is applied to each photodiode, and a current corresponding to the incident light is detected. Easy Therefore, the power supply and the ground are common in the equivalent circuit diagram of FIG. However, the present invention is not limited to this.
  • FIG. 6 and 7 show examples of the actual arrangement of the visible light detecting unit 6 and the near-infrared light detecting unit 8.
  • FIG. 6 and 7, the visible light detecting section 6 and the near-infrared light detecting section 8 are mixedly arranged.
  • the visible light detector 30 constitutes the visible light detector 6
  • the near infrared light detector 31 constitutes the near infrared light detector 8.
  • the visible light detector 30 and the near-infrared light detector 31 are arranged alternately vertically and horizontally, and the ratio of the number of pixels or the area of the pixels is 1: 1.
  • the visible light information of the portion of the near-infrared light detecting section 8 an average value of the adjacent visible light detecting sections 6 may be obtained.
  • the resolution of color information may be lower than the resolution of luminance.
  • this configuration is, for example, disclosed in Japanese Patent Application Laid-Open No. 2002-142228. In comparison, it has higher resolution in both luminance and color.
  • the output of the near-infrared light detecting section 8 serves as luminance information for detecting near-infrared light in a relatively wide wavelength range.
  • near-infrared light components are included in the sun's rays.
  • SN is better than calculating luminance information from three RGB colors. Therefore, the luminance information is obtained from the adjacent near-infrared light detection unit 8.
  • information of the near-infrared light detection unit 8 is used for correcting the output of the visible light detection unit 6.
  • the luminance is usually obtained by the following equation (1) if RGB is known.
  • the luminance is a linear sum of RGB.
  • the luminance may be obtained by the following equation (2).
  • FIG. 7 shows a configuration in which luminance information of near-infrared light is actively used.
  • the SZN and resolution of the luminance information are increased.
  • the visible light detector 30 constitutes the visible light detection unit 6
  • the near-infrared light detector 31 constitutes the near-infrared light detection unit 8. 2004/005799
  • the visible light detector 30 and the near-infrared light detector 31 are arranged alternately vertically and horizontally.
  • the ratio of the number of pixels or the area of the pixels of the visible light detecting unit 6 and the near infrared light detecting unit 8 is 1: 3.
  • a set of a one-pixel visible light detector 6 (visible light detector 30) and a three-pixel near-infrared light detector (near-infrared light detector 31) is arranged in a square. .
  • This set is arranged vertically and horizontally. As a result, an even distribution of a ratio of 1: 3 is realized.
  • the luminance resolution can be improved over the color resolution. As a result, clear luminance information in the range up to near infrared light can be obtained.
  • FIG. 8 shows a configuration of an image sensor according to the second embodiment
  • FIG. 9 is an equivalent circuit diagram of the image sensor according to the second embodiment.
  • a visible light detecting unit and a near infrared light detecting unit are arranged in one pixel.
  • the figure shows one pixel, and one pixel is equipped with a detection unit that detects four components of visible light and near-infrared light of three different wavelength ranges while separating them. That is, the visible light B, G, R and near-infrared light are detected by the four current detectors 23, 24, 25, 26 arranged in one pixel.
  • an N-type doped region 19 made of an N-type semiconductor is formed on a P-type semiconductor substrate 9.
  • a P-type doped region 20 is formed thereon.
  • an N-type doped region 21 is formed thereon.
  • a P-type doped region 22 is formed thereon.
  • a semiconductor four-layer structure (quadruple well structure) is formed on the substrate. The vicinity of the interface between each PN has the function of a photo sensor. Thus, a total of four photosensors can be configured. Then, the depth of each interface, that is, the detection area, is set and managed as described above. As a result, light in four wavelength bands of blue, green, red, and near-infrared light can be detected.
  • FIG. 9 is an equivalent circuit diagram of FIG. A reverse bias is applied to the four photodiodes, and a current corresponding to the incoming light is detected. Power supply and ground are common for simplicity. However, the present invention is not limited to this.
  • the present invention can acquire a good color image and near-infrared image, and is useful as an imaging device and a method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Input (AREA)
  • Facsimile Heads (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Paper (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Electrotherapy Devices (AREA)

Abstract

光学レンズ１は、波長域の異なる３成分の可視光と近赤外光とをそれぞれ波長によって異なる位置に結像させる。撮像素子２は複数の画素を有し、それら複数の画素は可視光検出部６と近赤外光検出部８のいずれかを有する。可視光検出部６は、波長によって同一画素内の深さの異なる位置に結像する３成分の可視光を検出する３つの検出器３、４、５を有する。近赤外光検出部８は、３成分の可視光が結像する深さとは異なる位置に結像する近赤外光を検出する近赤外光検出器７を有する。可視光検出部６により、色再現性が良くかつ明瞭なカラー画像が取得され、また同時に、近赤外検出部８により、明瞭な輝度情報あるいは白黒画像が取得される。

Description

明細書
撮像装置及び撮像方法 技術分野
本発明は、 波長域の異なる 3つの成分の可視光と近赤外光とを検出および受光 し、 可視光と近赤外光の両者の画像を撮像するための撮像装置及び撮像方法に関 する。 背景技術
従来の可視光'近赤外光撮像装置は、 同一撮像素子、 例えば CCDや CMOS 撮像素子の中に、 可視光の波長の異なる 3色と近赤外光とをそれぞれ検出できる 画素が混在する構成を有している（例えば、特開 2002-142228号公報、 図 2参照） 。 例えば、 図 10に示すように、 撮像素子上に、 Mg (マゼン夕） 色 検出器 81、 Ye (イェロー） 色検出器 82、 Cy (シアン) 色検出器 83、 近 赤外光検出器 84がモザイク状に配置され、 それらの組み合わせが縦横に繰り返 すように配置される。 ここでは、 検出器 1つがちようど 1画素に相当する。
ちなみに、 裸の画素は、 400 nmから 1000 nmまでの可視光から近赤外 光まで検出できる特性を持つ。 そして、 Mg色付近のバンドパスフィルタ板を画 素にかぶせることで、 Mg色検出器 81が構成される。 Ye色検出器 82、 Cy 色検出器 83も、 それぞれの波長付近を抜き出すバンドパスフィルタ板を画素に かぶせた構成を有する。 また、 裸の画素が、 近赤外光検出器 84として配置され る。 正確には、 可視光域がカツ卜される必要があるが、 輝度情報が得られればよ いので、あえて可視光域がカツトされなくてもよい。以上の構成により、可視光、 近赤外光の両方の画像を撮像できる。
また、 従来提案されている可視光撮像装置の一つでは、 表面からの深さが異な る 3つのフォトダイォードがシリコン基板上に形成されている。この従来装置は、 可視光領域の波長の異なる 3種類の光、 例えば青、 緑、 赤のシリコン中での吸収 度の違いを利用して、 それら波長の異なる 3種類の光を検出する （例えば、 特表 2002-513145号公報、 図 5、 図 6参照） 。 この可視光撮像装置では、 1個の画素でありながら深さの異なる 3つのフォトダイオードを配置することが できる。 したがって、 この従来技術は、 1画素で 1色を検出する技術に比べて、 色分解能を高め、 また、 偽色による画像劣化を防ぐことができる。
図 1 1は、 撮像素子に形成される 1個の画素の構成を示している。 P型半導体 基板 9 1の上に、 N型半導体による N型ドープ領域 9 2が形成されている。 同様 にその上に P型ド一プ領域 9 3が形成されている。 さらにその上に N型ドープ領 域 9 4が形成されている。 これにより、 基板の上に半導体 3層構造 （3重井戸構 造） が作られている。 各々の P Nの界面付近がフォトセンサとしての機能を持つ ことができるので、 全部で 3つのフォ卜センサを構成することができる。
ここで、 特表 2 0 0 2— 5 1 3 1 4 5号公報の図 5に参考データとして記載さ れているように、 シリコン層において、 青色光は 0 . 2 mの深さで吸収される。 綠は 0 . 6 mで吸収され、赤は 2 mの深さに到達して初めて吸収される。そこ で、個々のフォトセンサとなる界面の深さが、それぞれ、 0 . 2 m、 0 . 6 m、 2 mに設定される。 これにより、 3色 （3つの波長帯域） の光をほぼ分光して 取り出すことができる。 そして、 青色光により発生した電流が電流検出器 9 5で 検出される。 同様に、 緑色光が電流検出器 9 6で検出され、 赤色光が電流検出器 9 7で検出される。 これにより、 数値的に色を抽出することができる。 無論、 実 際は完全な分光はできない。 しかし、 あらかじめ個々の色の混入度合いはわかる (あるいは計測できる） ので、 補正が可能である。 上記の 3層の半導体ド一ピン グ構造により、 1つの画素でありながら可視光の 3色を取り出すことができ、 色 分解能を格段に向上させた可視光撮像装置を実現できる。
しかしながら、 上述した特開 2 0 0 2 - 1 4 2 2 2 8号公報に記載されている ような従来の可視光 ·近赤外光撮像装置では、 個々の画素は 1色 （限定した波長 域） しか検出できない。 他の色や輝度情報は、 隣り合う画素の情報から補完され なければならない。 そのために、 色や輝度の分解能が落ちたり、 本来の色ではな い偽色が生じたりしてしまう。
また、 撮像素子面上には、 通常は光学レンズを備える光学系が被写体を結像さ せる。 本来は波長によって焦点が異なるので、 撮像に色収差が生じる （ある色に ピントが合うと他の色がぼける） 。 そこで、 通常は、 図 1 2に示すように、 例え ば、 可視光域のマゼンタ、 イェロー、 シアンに関しては、 焦点深度内 （その範囲 内ならば色ボケが無視できる） に撮像素子が収まるように、 色消しレンズの特性 をもつ光学系が備えられ、 これによりピントが合わされている。
ところが、 色消しには限界がある。 可視光域から近赤外光域 （ 4 0 0 n mから 1 0 0 0 nm) までの非常に広い範囲の波長域に関しての完全な色消し光学系を 作ることは困難である。 たとえ実現できたとしても、 そのような光学系は非常に 高価であり、 現状の一般産業分野では利用が困難である （可視光、 近赤外光すベ てにおいて合焦点の位置を一致させることは不可能） 。 このために、 同じ感光面 上で可視光検出と近赤外光検出を行う場合、 仮に可視光域でピントがあった画像 が得られたとしても、 近赤外光領域ではピンぼけした画像しか得られない。 つま り、 上述のような構成の撮像素子を机上で考えたとしても、 光学系が実現困難で あり、 実用化できない可能性が高い。
また、 特表 2 0 0 2 - 5 1 3 1 4 5号公報に記載されているような従来の可視 光撮像装置は、 3層の半導体ドーピング構造に限定されており、 可視光を検出す るように構成されている。 そのために、 可視光の 3原色を検出する場合には、 近 赤外光を検出することはできない。 また、 仮に、 可視光の 2種類の波長域の光と 近赤外光の合計 3種類の光を検出できるように、 フォトダイオードの深さを再調 節したとする。 しかし、 上述したように、 可視光域から近赤外光城 （4 0 0 nm から 1 0 0 0 nm) までの非常に広い範囲の波長域に関しての完全な色消し光学 系を作ることはできない。 そのため、 可視光の画像を鮮明にしょうとすると、 近 赤外光の画像がピンぼけしてしまう。 すなわち、 可視光から近赤外光まで明瞭な 画像を撮像するためには、 撮像素子の工夫だけでは不十分であった。 発明の開示
本発明は、 上記従来の問題を解決するためになされたものである。 本発明の目 的は、 可視光検出手段により色再現性が良くかつ明瞭なカラ一画像を取得でき、 また同時に近赤外検出手段により明瞭な輝度情報あるいは白黒画像を取得するこ とができる優れた可視光 ·近赤外光撮像装置及び方法を提供することにある。 本発明に係る撮像装置は、 波長域の異なる 3成分の可視光と近赤外光とがそれ T/JP2004/005799
4 ぞれ波長によって異なる位置に結像する光学系手段と、 複数の画素を有する撮像 素子とを備え、 前記複数の画素は、 波長によって同一画素内の深さの異なる位置 に結像する前記 3成分の可視光を検出する可視光検出手段、 又は画素内の前記 3 成分の可視光が結像する深さとは異なる位置に結像する近赤外光を検出する近赤 外光検出手段のいずれかを有している。
また、 本発明において、 前記可視光検出手段は、 光吸収深さの波長依存性に応 じて深さの異なる位置に設けられ、 青色、 緑色、 赤色の 3つの異なる波長域の可 視光を検出する 3つの検出器を有し、 前記近赤外光検出手段は、 前記 3つの検出 器とは深さの異なる位置に設けられ、 近赤外光を検出する検出器を有している。
このような構成により、 可視光検出手段によって色再現性が良くかつ明瞭な力 ラー画像を取得でき、 また同時に近赤外検出手段によって明瞭な輝度情報あるい は白黒画像を取得することができる。 その結果、 例えば昼間は色再現性が良く、 色分解能の高いカラー画像を提供することができ、 また、 夜などの暗い場所であ つても若干のライトを照らすことで鮮明な白黒画像を得ることができ、 さらに、 その複合画像によりダイナミックレンジを等価的に上げることができ、 このよう にして、 優れた撮像装置を提供することができる。
また、 本発明において、 前記撮像素子は、 前記可視光検出手段を有する画素と 前記近赤外光検出手段を有する画素とを縦横交互に配置した構成を有する。
この構成により、 可視光検出手段には近赤外光の影響を遮断できるようなフィ ルタを別途付加できるので、 色再現性が非常に良い力ラー画像を得ることができ る。
また、 本発明において、 前記撮像素子は、 前記可視光検出手段を有する画素の 個数と前記近赤外光検出手段を有する画素の個数とを 1 ： 3の割合で均等に配置 した構成を有している。
また、 本発明において、 前記撮像素子は、 前記可視光検出手段を有する画素の 面積と前記近赤外光検出手段を有する画素の面積とを 1 ： 3の割合で均等に配置 した構成を有している。
このようにして、 個数比または面積比が 1 ： 3になるように 2種類の画素が配 置され、 これにより、 色分解能よりも輝度分解能を向上させることができ、 近赤 外光までの範囲の明瞭な輝度情報を得ることができる。
また、 本発明の別態様の撮像装置は、 波長域の異なる 3成分の可視光と近赤外 光とがそれぞれ波長によって異なる位置に結像する光学系手段と、 複数の画素を 有する撮像素子とを備え、 前記複数の画素は、 波長によって各々同一画素内の深 さの異なる位置に結像する前記 3成分の可視光と前記近赤外光とを検出する検出 手段を有している。
また、 本発明において、 前記複数の画素は、 青色、 緑色、 赤色の 3成分の可視 光と近赤外光とを、 光吸収深さの波長依存性に応じた深さの異なる位置に設けた 4つの検出器で検出する検出手段を備えている。
このような構成は、 色再現性及び検出ロスの点で、 可視光と近赤外光とを別の 画素で検出する構成に比べて劣っている。 しかし、 カラー画像および近赤外画像 の両方の分解能を同様に向上できるという効果が得られる。
また、 本発明において、 前記光学系手段は、 可視光の波長の短い光から近赤外 光まで焦点距離を単調増加させることで、 青色、 緑色、 赤色の 3つの異なる波長 域の可視光と近赤外光とが異なる位置に結像する構成を有している。
この構成により、 可視光及び近赤外光の両者に対してピンぼけすることなく明 瞭な画像を撮像することができる。
さらに、 本発明に係る撮像方法は、 波長域の異なる 3成分の可視光と近赤外光 とをそれぞれ波長によって異なる位置に結像させ、 前記 3成分の可視光と前記近 赤外光とを光吸収深さの波長依存性が異なることを利用して検出し、 前記 3成分 の可視光と前記近赤外光の両者の画像を撮像する。
この構成により、 色再現性が良くかつ明瞭なカラー画像を取得でき、 また同時 に明瞭な輝度情報あるいは白黒画像を取得することができる。 その結果、 例えば 昼間は色再現、 色分解能の高いカラ一画像を提供することができ、 また、 夜など の暗い場所であっても若干のライトを照らすことで鮮明な白黒画像を得ることが でき、 さらに、 その複合画像によりダイナミックレンジを等価的に上げることが できる。 このようにして、 優れた撮像方法を提供することができる。
以上のように、 本発明によれば、 色再現が良くかつ明瞭なカラー画像を取得で きるとともに、 明瞭な輝度情報あるいは白黒画像を取得することができる。 図面の簡単な説明
第 1図は、本発明に係る可視'近赤外撮像装置及び方法を説明する図であって、 光学系の発明のボイントを示す図である。
第 2図は、 本発明に係る光学系の焦点距離と波長との関係を示す図である。 第 3図は、 本発明の第 1の実施の形態に係る撮像素子の構成を示す図である。 第 4図は、 本発明の第 1の実施の形態に係る撮像素子の構成を示す図である。 第 5図は、 本発明の第 1の実施の形態に係る撮像素子の等価回路図である。 第 6図は、 本発明の第 1の実施の形態に係る撮像素子における可視光検出部と 近赤外光検出部の混在配置の例を示す図である。
第 7図は、 本発明の第 1の実施の形態に係る撮像素子における可視光検出部と 近赤外光検出部の混在配置の例を示す図である。
第 8図は、 本発明の第 2の実施の形態に係る撮像素子の構成を示す図である。 第 9図は、 本発明の第 2の実施の形態に係る撮像素子の等価回路図である。 第 1 0図は、従来の可視光'近赤外光撮像装置の撮像素子の例を示す図である。 第 1 1図は、 従来の可視光撮像装置の撮像素子の例を示す図である。
第 1 2図は、 従来の可視光撮像装置に使用される色消し光学系を説明するため の図である。 発明を実施するための最良の形態
以下、 本発明の各実施の形態について図面を用いて説明する。
<第 1の実施の形態 >
図 1に示すように、 本発明に係る可視光 ·近赤外光撮像装置は、 光学レンズ 1 を有している。 光学レンズ 1は、 波長によって焦点が可変な光学系であり、 波長 域の異なる 3つの成分の可視光と近赤外光とを波長によって異なる位置に結像さ せる。 外界の被写体からの光は、 光学レンズ 1により集光され、 撮像素子 2上に 結像される。 図 1の下部には、 光学レンズ 1からの光束が波長に分けて示されて いる。 光学レンズ 1は、 上記のように波長によって異なる位置にて結像を行う。 詳細には、 図 2に示すように、 例えば、 青 4 7 O n mが合焦点の基準 Aであると して、緑 5 2 0 nmの焦点距離は基準 Aより 0 . 4 m長く、 同様に、赤 7 0 0 n mの焦点距離は基準 Aより 2 長く、 近赤外 1 0 0 0 nmの焦点距離は基準 A より 1 0 m長い。 図 2に示すように、 光学系レンズ 1では、 可視光の波長の短 い光から近赤外光まで焦点距離が増大しており、 これにより、 3つの可視光と近 赤外光とが異なる位置で結像される。
一方、 撮像素子 2は、 光学系としての光学レンズ 1と共に受光部を形成してい る。 図 3は、 撮像素子 2の構成概略を示している。 図 3に示すように、 撮像素子 2には、 可視光検出部 6と近赤外光検出部 8とが配置されている。 可視光検出部 6は、 深さの異なる 3つの検出器を備える。 そして、 可視光検出部 6は、 光吸収 深さの波長依存性が異なることを利用して、 光学レンズ 1を介して集光され結像 される波長域の異なる 3つの成分の可視光を、 これら 3つの検出器で検出する。 近赤外光検出部 8は、 近赤外光を検出する検出器を持つ。
可視光検出部 6は、 B l u e (青） 検出器 3、 G r e e n (緑） 検出器 4、 R e d (赤） 検出器 5から構成されている。 これらの検出器 3〜 5は、 表面からの 深さが異なるところに配置されるフォトダイオードである。 3原色を独立して得 ることによって、 任意のカラーを再現できる。 従来例の特開 2 0 0 2— 1 4 2 2 2 8号公報とは異なり、 1画素で可視光の 3色分の出力を得ることができる。 従 来例の説明でも記したように、 実際は完全には 3色に分光できない。 しかし、 あ らかじめ個々の色の混入度合いはわかる （あるいは計測できる） ので、 補正が可 能である。
また、 近赤外光検出部 8は、 近赤外光検出器 7である 1つのフォトダイオード から構成されている。 近赤外光を主に検出するために、 検出感度が一番高い深さ の付近に近赤外光検出器 7が置かれている。 特表 2 0 0 2— 5 1 3 1 4 5号公報 にも参考データとして記載されているように、シリコン層において、近赤外光は、 赤色より深い所で吸収される。 そこで、 例えば 1 0 mの場所に近赤外光検出器 7が配置されている。 輝度情報は、 可視光検出部 6からも 3色の合成によって得 られる。 近赤外光検出器 7からの出力も全体の光強度に比例するとするならば、 近赤外光検出器 7の出力が輝度情報として活用されてもよい。
図 4は、 第 1の実施の形態に係る撮像素子 2の構成を示している。 図 4に示す ように、 図中左側の可視光検出部 6の構成は、 従来例とほぼ同様である。 P型半 導体基板 9の上に、 N型半導体による N型ドープ領域 1 0が形成されている。 同 様にその上に P型ドープ領域 1 1が形成されている。 さらにその上に N型ド一プ 領域 1 2が形成されている。 これにより、 基板の上に半導体 3層構造 （3重井戸 構造） が作られている。 そして、 3つの電流検出器 1 4、 1 5、 1 6が、 可視光 B、 G、 Rの出力を検出する。ただし、 3色に近赤外光の影響が若干でも入ると、 後段のカラ一再生のときの色再現性が現実と異なり得る。 これを避けるために、 電流検出器への入光前に近赤外光カットフィルタ板 1 3が配置されている。 これ により、 近赤外領域の光の影響が遮断される。
一方、 図 4の右側の近赤外光検出部 8では、 P型半導体基板 9の上に、 新たに N型半導体による N型ド一プ領域 1 7が形成されている。 P N結合に逆バイアス をかけた状態 （P側より N側電位大） で、 近赤外光が入光したときの電流が電流 検出器 1 8で検出される。 図 4中では、 1 0 mの深さに、 P Nの接合面、 つま り図 3中の近赤外光検出器 7が設けられている。 これにより、 近赤外光の検出感 度が最も高い場所に、 近赤外光検出器 7が配置される。 ただし、 近赤外光といつ ても、 7 7 0 nmから 1 0 0 0 nmと非常に波長の範囲が広い。 したがって、 ど の波長域を最も検出したいかという検出の方針によって、上記の値は変わり得る。 ここで、 図 1、 図 2を使って説明した光学レンズ 1によって、 4つの電流検出 器 1 4、 1 5、 1 6、 1 8のそれぞれの検出対象箇所にて、所望の波長域の光が、 焦点を結ぶ。 すなわち、 各検出器の検出対象僮所で、 所望の色の光のピントが合 う。 これを実現するために、 図 1に示されるように、 光学レンズ 1に故意に収差 が与えられている。
また、 図 4において、 右側の近赤外光検出部 8に可視光が入射すると、 焦点が ずれてしまう。 ほとんどの可視光はフォトダイオード検出領域、 つまり P N界面 付近までに吸収されてしまうが、 吸収されずに漏れ込んでくる可視光が、 ピンぼ けの要因となる可能性がある。 そこで、 図 4に示すように、 可視光カットフィル 夕板 2 7が、 入光する前の場所に付加されてもよい。
また、 図 5は、 等価回路図を示している。 図 5に示すように、 個々のフォトダ ィオードに逆バイアスがかけられ、 入光に対応した電流が検出される。 簡単のた め、 図 5の等価回路図では、 電源、 グランドが共通である。 しかし、 本発明はこ れに限定されない。
図 6および図 7は、 実際の可視光検出部 6と近赤外光検出部 8の配置の例を示 している。 図 6および図 7では、 可視光検出部 6と近赤外光検出部 8が混在配置 されている。 図 6において、 可視光検出器 30が可視光検出部 6を構成し、 近赤 外光検出器 31が近赤外光検出部 8を構成している。 図 6では、 可視光検出器 3 0と近赤外光検出器 31とが縦横交互に混在配置されており、 両者の画素数また は画素面積の比は 1 ： 1である。 近赤外光検出部 8の部分の可視光情報に関して は、 隣接する可視光検出部 6の平均値が求められればよい。 一般に、 人間が画像 を見る用途を想定すると、 色情報の分解能は、 輝度の分解能に比べて低くてもよ レ^ ただし、 この構成は、 例えば、 従来例としての特開 2002— 142228 号公報と比べると、 輝度および色の両方において高い分解能を有している。 また、 近赤外光検出部 8の出力は、 比較的広い波長領域の近赤外光を検出する ための輝度情報として役立つ。 特に、 太陽光線中にも、 近赤外光成分は多大に含 まれている。 そして、 RGB 3色から輝度情報を割り出すよりも、 かえって S Nが良い場合がある。 そこで、 輝度情報は、 隣接する近赤外光検出部 8から取得 される。 あるいは、 可視光検出部 6の出力の補正に、 近赤外光検出部 8の情報が 用いられる。
例えば、輝度は、通常、 RGBが分かれば、下記の式（1) により求められる。
Y= 0.299 XR+ 0.587 XG+ 0.114 XB
(1)
式 （1) では、 輝度が、 RGBの線形和である。
これに対して、 隣接する複数の近赤外光検出部 8から平均輝度情報 Iが得られ る場合、 輝度が、 下記の式 （2) により求められてもよい。
Y=c l XR+c 2XG+c 3XB + c 4X l (2)
(ただし、 c 1 + C 2 + C 3 + C 4=1) 図 7は、 近赤外光の輝度情報を積極的に用いる構成を示している。 図 7では、 輝度情報の SZN、 分解能が高められる。 図 7でも、 可視光検出器 30が可視光 検出部 6を構成しており、 近赤外光検出器 31が近赤外光検出部 8を構成してい 2004/005799
10 る。 そして、 可視光検出器 3 0と近赤外光検出器 3 1が縦横交互に混在配置され ている。 ただし、 図 7では、 可視光検出部 6と近赤外光検出部 8との画素の個数 又は面積の割合が 1 ： 3である。 より詳細には、 1画素の可視光検出部 6 (可視 光検出器 3 0 ) と 3画素の近赤外光検出部 （近赤外光検出器 3 1 ) のセットが四 角形に配置される。 このセットが縦横方向に配列されている。 これにより、 1 : 3の割合の均等配置が実現されている。 ここで、 輝度を可視光 3つの線形和で求 めると、 R G Bの局所変動で輝度がゆらぐ可能性があり、 このゆらぎがノイズと なる。 しかし、 図 7の構成によれば、 色分解能よりも輝度分解能を向上させるこ とができる。 これにより、 近赤外光までの範囲の明瞭な輝度情報を得ることがで きる。
<第 2の実施の形態 >
次に、図 8は、第 2の実施の形態に係る撮像素子の構成を示しており、図 9は、 第 2の実施の形態に係る撮像素子の等価回路図である。図 8に示す撮像素子では、 1つの画素内に、 可視光検出部及び近赤外光検出部が配置されている。 図は 1つ の画素を示しており、 1つの画素が、 波長域の異なる 3つの成分の可視光と近赤 外光との 4つの成分を分離しながら検出する検出部を備えている。 すなわち、 1 つの画素に配置した 4つの電流検出器 2 3、 2 4、 2 5、 2 6で、可視光 B、 G、 Rと近赤外光が検出される。
図 8に示すように、 P型半導体基板 9の上には、 N型半導体による N型ドープ 領域 1 9が形成されている。 同様にその上に P型ド一プ領域 2 0が形成されてい る。 さらにその上に N型ド一プ領域 2 1が形成されている。 その上にさらに P型 ドープ領域 2 2が形成されている。 これにより、 基板の上に半導体 4層構造 （4 重井戸構造） が作られている。 各々の P Nの界面付近が、 フォトセンサの機能を 持っている。 これにより、 全部で 4つのフォトセンサを構成することができる。 そして、 個々の界面、 つまり検出領域の深さが、 既に述べたように設定され、 管 理されている。 これにより、 青、 緑、 赤、 近赤外光の 4つの波長帯域の光を検出 することができる。 実際は完全な 4色の分光は困難であり、 混入が生じる。 しか し、 あらかじめ個々の色の混入度合いはわかる （あるいは計測できる） ので、 補 正が可能である。 また、 図 9は、 図 8の等価回路図である。 4個のフォトダイオードに逆バイァ スがかけられ、 入光に対応した電流が検出される。 簡単のため、 電源、 グランド が共通である。 しかし、 本発明はこれに限定されない。
上述の第 2の実施の形態は、 可視光への近赤外光の混入は避けられない。 その ため、 第 1の実施の形態と比べると、 第 2の実施の形態では、 補正を行ったとし ても、 色再現性が若干悪くなる可能性がある。 しかし、 1画素で 4色が同時に処 理されるので、 色および輝度の分解能が共に良くなるという利点がある。 なお、 本実施の形態では、 可視光が 3つの波長域に分けられているが、 可視光は 4以上 の波長域に分けられてもよい。 この場合は、 色再現及び分解能がより高い良好な カラ一画像を得ることができる。
以上に現時点で考えられる本発明の好適な実施の形態を説明したが、 本実施の 形態に対して多様な変形が可能なことが理解され、 そして、 本発明の真実の精神 と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図さ れている。 産業上の利用可能性
以上のように、 本発明は、 良好なカラー画像及び近赤外画像を取得することが 可能であり、 撮像装置および方法等として有用である。

Claims

請求の範囲
1 . 波長域の異なる 3成分の可視光と近赤外光とがそれぞれ波長によって異な る位置に結像する光学系手段と、
複数の画素を有する撮像素子と、
を備え、 前記複数の画素は、 波長によって同一画素内の深さの異なる位置に結 像する前記 3成分の可視光を検出する可視光検出手段、 又は画素内の前記 3成分 の可視光が結像する深さとは異なる位置に結像する近赤外光を検出する近赤外光 検出手段のいずれかを有する撮像装置。
2 . 前記可視光検出手段は、 光吸収深さの波長依存性に応じて深さの異なる位 置に設けられ、 青色、 緑色、 赤色の 3つの異なる波長域の可視光を検出する 3つ の検出器を有し、 前記近赤外光検出手段は、 前記 3つの検出器とは深さの異なる 位置に設けられ、近赤外光を検出する検出器を有する請求項 1に記載の撮像装置。
3 . 前記撮像素子は、 前記可視光検出手段を有する画素と前記近赤外光検出手 段を有する画素とを縦横交互に配置した構成を有する請求項 1に記載の撮像装置。
4. 前記撮像素子は、 前記可視光検出手段を有する画素と前記近赤外光検出手 段を有する画素とを、 画素の個数比が 1 ： 3になるように均等に配置した構成を 有する請求項 1に記載の撮像装置。
5 . 前記撮像素子は、 前記可視光検出手段を有する画素と前記近赤外光検出手 段を有する画素とを、 画素の面積比が 1 ： 3になるように均等に配置した構成を 有する請求項 1に記載の撮像装置。
6 . 波長域の異なる 3成分の可視光と近赤外光とがそれぞれ波長によって異な る位置に結像する光学系手段と、
複数の画素を有する撮像素子と、 を備え、 前記複数の画素は、 波長によって各々同一画素内の深さの異なる位置 に結像する前記 3成分の可視光と前記近赤外光とを検出する撮像装置。
7 . 前記複数の画素は、 青色、 緑色、 赤色の 3成分の可視光と近赤外光とを、 光吸収深さの波長依存性に応じて深さの異なる位置に設けられた 4つの検出器で 検出する請求項 6に記載の撮像装置。
8 . 前記光学系手段は、 可視光の波長の短い光から近赤外光まで焦点距離を単 調増加させることで、 青色、 緑色、 赤色の 3つの異なる波長域の可視光と近赤外 光とが異なる位置に結像する請求項 1に記載の撮像装置。
9 . 前記光学系手段は、 可視光の波長の短い光から近赤外光まで焦点巨離を単 調増加させることで、 青色、 緑色、 赤色の 3つの異なる波長域の可視光と近赤外 光とが異なる位置に結像する請求項 7に記載の撮像装置。
1 0 . 波長域の異なる 3成分の可視光と近赤外光とをそれぞれ波長によって異 なる位置に結像させ、 前記 3成分の可視光と前記近赤外光とを光吸収深さの波長 依存性が異なることを利用して検出し、 前記 3成分の可視光と前記近赤外光の両 者の画像を撮像する撮像方法。
PCT/JP2004/005799 2003-11-10 2004-04-22 撮像装置及び撮像方法 WO2005045936A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP04728931A EP1630871B1 (en) 2003-11-10 2004-04-22 Imaging device and imaging method
US10/533,853 US7247851B2 (en) 2003-11-10 2004-04-22 Imaging device and an imaging method
AT04728931T ATE460748T1 (de) 2003-11-10 2004-04-22 Abbildungsvorrichtung und abbildungsverfahren
DE602004025922T DE602004025922D1 (de) 2003-11-10 2004-04-22 Abbildungsvorrichtung und abbildungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003380208A JP4578797B2 (ja) 2003-11-10 2003-11-10 撮像装置
JP2003-380208 2003-11-10

Publications (1)

Publication Number Publication Date
WO2005045936A1 true WO2005045936A1 (ja) 2005-05-19

Family

ID=34567228

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/005799 WO2005045936A1 (ja) 2003-11-10 2004-04-22 撮像装置及び撮像方法

Country Status (7)

Country Link
US (1) US7247851B2 (ja)
EP (1) EP1630871B1 (ja)
JP (1) JP4578797B2 (ja)
CN (1) CN100416843C (ja)
AT (1) ATE460748T1 (ja)
DE (1) DE602004025922D1 (ja)
WO (1) WO2005045936A1 (ja)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7442629B2 (en) 2004-09-24 2008-10-28 President & Fellows Of Harvard College Femtosecond laser-induced formation of submicrometer spikes on a semiconductor substrate
US7057256B2 (en) 2001-05-25 2006-06-06 President & Fellows Of Harvard College Silicon-based visible and near-infrared optoelectric devices
JP4839632B2 (ja) * 2005-02-25 2011-12-21 ソニー株式会社 撮像装置
JP2006352466A (ja) * 2005-06-15 2006-12-28 Fujitsu Ltd 撮像装置
JP4573769B2 (ja) 2005-12-20 2010-11-04 富士通セミコンダクター株式会社 画像処理回路および画像処理方法
KR100800310B1 (ko) * 2006-02-16 2008-02-01 마루엘에스아이 주식회사 가시광선 및 적외선을 감지할 수 있는 광 감지 소자 및 그제조 방법
US7435961B2 (en) * 2006-03-17 2008-10-14 Lucent Technologies Inc. Imaging sensor
KR101276757B1 (ko) 2006-05-26 2013-06-20 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
KR20070115243A (ko) 2006-06-01 2007-12-05 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
JP4901320B2 (ja) * 2006-06-13 2012-03-21 三菱電機株式会社 ２波長イメージセンサ
JP5045012B2 (ja) * 2006-07-20 2012-10-10 株式会社ニコン 固体撮像素子及びこれを用いた撮像装置
KR100818987B1 (ko) * 2006-09-19 2008-04-04 삼성전자주식회사 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법
US7755117B2 (en) 2006-12-12 2010-07-13 Intersil Americas Inc. Light sensors with infrared suppression
US8456410B2 (en) 2006-12-12 2013-06-04 Intersil Americas Inc. Backlight control using light sensors with infrared suppression
WO2008073783A2 (en) * 2006-12-12 2008-06-19 Intersil Americas Inc. Light sensors with infrared suppression and use of the sensors for backlight control
JP5012135B2 (ja) * 2007-03-28 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 超深度画像生成装置
KR100877069B1 (ko) 2007-04-23 2009-01-09 삼성전자주식회사 이미지 촬상 장치 및 방법
KR100863497B1 (ko) * 2007-06-19 2008-10-14 마루엘에스아이 주식회사 이미지 감지 장치, 이미지 신호 처리 방법, 광 감지 소자, 제어 방법 및 화소 어레이
KR101316135B1 (ko) 2007-08-09 2013-10-08 엘지이노텍 주식회사 영상신호처리방법 및 영상신호처리장치
KR100858034B1 (ko) * 2007-10-18 2008-09-10 (주)실리콘화일 단일 칩 활력 이미지 센서
DE102007054314A1 (de) 2007-11-05 2009-05-07 Institut Für Mikroelektronik Stuttgart Schaltungsanordnung zum Erzeugen von licht- und temperaturabhängigen Signalen, insbesondere für ein bildgebendes Pyrometer
US20090159799A1 (en) * 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images
CN101231193B (zh) * 2008-02-01 2010-06-09 中国电子科技集团公司第四十四研究所 单片式可见光/红外光双光谱焦平面探测器
JP5058040B2 (ja) * 2008-03-19 2012-10-24 株式会社東芝 固体撮像装置
TWI356333B (en) * 2008-03-21 2012-01-11 Chimei Innolux Corp Liquid crystal display and remote controlling syst
KR101475464B1 (ko) * 2008-05-09 2014-12-22 삼성전자 주식회사 적층형 이미지 센서
KR101503037B1 (ko) * 2008-10-23 2015-03-19 삼성전자주식회사 이미지 센서 및 그 동작 방법
US7915652B2 (en) * 2008-10-24 2011-03-29 Sharp Laboratories Of America, Inc. Integrated infrared and color CMOS imager sensor
EP2180513A1 (en) * 2008-10-27 2010-04-28 Stmicroelectronics SA Near infrared/color image sensor
JP5075795B2 (ja) 2008-11-14 2012-11-21 株式会社東芝 固体撮像装置
JP5353200B2 (ja) * 2008-11-20 2013-11-27 ソニー株式会社 固体撮像装置および撮像装置
JP5299002B2 (ja) * 2009-03-23 2013-09-25 ソニー株式会社 撮像装置
US9673243B2 (en) 2009-09-17 2017-06-06 Sionyx, Llc Photosensitive imaging devices and associated methods
US9911781B2 (en) 2009-09-17 2018-03-06 Sionyx, Llc Photosensitive imaging devices and associated methods
US20110068426A1 (en) * 2009-09-22 2011-03-24 Intersil Americas Inc. Photodiodes and methods for fabricating photodiodes
US8692198B2 (en) 2010-04-21 2014-04-08 Sionyx, Inc. Photosensitive imaging devices and associated methods
JP2011229603A (ja) * 2010-04-26 2011-11-17 Fujifilm Corp 内視鏡装置
JP2011229625A (ja) * 2010-04-26 2011-11-17 Fujifilm Corp 内視鏡装置
JP2011239259A (ja) * 2010-05-12 2011-11-24 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2011160130A2 (en) 2010-06-18 2011-12-22 Sionyx, Inc High speed photosensitive devices and associated methods
KR102586396B1 (ko) * 2011-03-10 2023-10-10 사이오닉스, 엘엘씨 3차원 센서, 시스템, 및 관련 방법
KR101241701B1 (ko) * 2011-04-11 2013-03-11 엘지이노텍 주식회사 픽셀, 픽셀 어레이 및 픽셀 어레이를 포함하는 이미지센서
US9013620B2 (en) 2011-04-20 2015-04-21 Trw Automotive U.S. Llc Multiple band imager and method
US9496308B2 (en) 2011-06-09 2016-11-15 Sionyx, Llc Process module for increasing the response of backside illuminated photosensitive imagers and associated methods
KR101305885B1 (ko) * 2011-06-24 2013-09-06 엘지이노텍 주식회사 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
EP2725616B1 (en) * 2011-06-24 2017-07-26 Boly Media Communications (Shenzhen) Co., Ltd Multi scene depth photo sensitive device, system thereof, scene depth expanding method, and optical imaging system
KR101220143B1 (ko) 2011-06-27 2013-01-11 어보브반도체 주식회사 수광 대역이 상이한 수광 소자들이 단일칩화된 반도체 장치, 집적회로 및 반도체 집적회로 제조 방법
US20130016203A1 (en) 2011-07-13 2013-01-17 Saylor Stephen D Biometric imaging devices and associated methods
US8569700B2 (en) * 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
US9064764B2 (en) 2012-03-22 2015-06-23 Sionyx, Inc. Pixel isolation elements, devices, and associated methods
US8791403B2 (en) * 2012-06-01 2014-07-29 Omnivision Technologies, Inc. Lens array for partitioned image sensor to focus a single image onto N image sensor regions
US8988566B2 (en) 2012-08-09 2015-03-24 Omnivision Technologies, Inc. Lens array for partitioned image sensor having color filters
US9389315B2 (en) 2012-12-19 2016-07-12 Basf Se Detector comprising a transversal optical sensor for detecting a transversal position of a light beam from an object and a longitudinal optical sensor sensing a beam cross-section of the light beam in a sensor region
EP2763397A1 (de) * 2013-02-05 2014-08-06 Burg-Wächter Kg Fotosensor
US9762830B2 (en) 2013-02-15 2017-09-12 Sionyx, Llc High dynamic range CMOS image sensor having anti-blooming properties and associated methods
WO2014151093A1 (en) 2013-03-15 2014-09-25 Sionyx, Inc. Three dimensional imaging utilizing stacked imager devices and associated methods
KR102246139B1 (ko) 2013-06-13 2021-04-30 바스프 에스이 적어도 하나의 물체를 광학적으로 검출하기 위한 검출기
EP3008421A1 (en) 2013-06-13 2016-04-20 Basf Se Detector for optically detecting an orientation of at least one object
US9209345B2 (en) 2013-06-29 2015-12-08 Sionyx, Inc. Shallow trench textured regions and associated methods
AU2014310703B2 (en) 2013-08-19 2018-09-27 Basf Se Optical detector
US9665182B2 (en) 2013-08-19 2017-05-30 Basf Se Detector for determining a position of at least one object
EP2871843B1 (en) * 2013-11-12 2019-05-29 LG Electronics Inc. -1- Digital device and method for processing three dimensional image thereof
US10051211B2 (en) * 2013-12-05 2018-08-14 Omnivision Technologies, Inc. Image sensors for capturing both visible light images and infrared light images, and associated systems and methods
WO2015097776A1 (ja) * 2013-12-25 2015-07-02 日立マクセル株式会社 撮像素子および撮像装置
WO2015115797A1 (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
US9270953B2 (en) 2014-05-16 2016-02-23 Omnivision Technologies, Inc. Wafer level camera having movable color filter grouping
WO2016005893A1 (en) 2014-07-08 2016-01-14 Basf Se Detector for determining a position of at least one object
CN105371963B (zh) * 2014-09-01 2018-08-24 宇龙计算机通信科技(深圳)有限公司 一种感光装置、感光方法及移动设备
US10113903B1 (en) * 2014-09-02 2018-10-30 Amazon Technologies, Inc. Ambient light sensor calibration
CN106716059B (zh) 2014-09-29 2020-03-13 巴斯夫欧洲公司 用于光学确定至少一个对象的位置的检测器
WO2016092450A1 (en) * 2014-12-09 2016-06-16 Basf Se Detector for an optical detection of at least one object
WO2016092451A1 (en) 2014-12-09 2016-06-16 Basf Se Optical detector
FR3030885B1 (fr) * 2014-12-22 2017-12-22 E2V Semiconductors Capteur d'image en couleurs avec pixels blancs et pixels colores
JP6841769B2 (ja) 2015-01-30 2021-03-10 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１個の物体を光学的に検出する検出器
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
JP6877418B2 (ja) 2015-07-17 2021-05-26 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１個の対象物を光学的に検出するための検出器
CN105244357B (zh) * 2015-08-31 2018-06-26 上海集成电路研发中心有限公司 可见光红外混合成像探测器像元结构及其制备方法
WO2017046121A1 (en) 2015-09-14 2017-03-23 Trinamix Gmbh 3d camera
KR20170082883A (ko) * 2016-01-07 2017-07-17 삼성전자주식회사 열화상 이미지를 제공하는 전자 장치 및 그의 동작 방법
US9992430B2 (en) * 2016-06-16 2018-06-05 Intel Corporation Per-pixel performance improvement for combined visible and infrared image sensor arrays
US11211513B2 (en) 2016-07-29 2021-12-28 Trinamix Gmbh Optical sensor and detector for an optical detection
EP3532864B1 (en) 2016-10-25 2024-08-28 trinamiX GmbH Detector for an optical detection of at least one object
EP3532796A1 (en) 2016-10-25 2019-09-04 trinamiX GmbH Nfrared optical detector with integrated filter
CN109964148B (zh) 2016-11-17 2023-08-01 特里纳米克斯股份有限公司 用于光学检测至少一个对象的检测器
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
CN110770555A (zh) 2017-04-20 2020-02-07 特里纳米克斯股份有限公司 光学检测器
CN107146797B (zh) 2017-04-28 2020-03-27 Oppo广东移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置
EP3645965B1 (en) 2017-06-26 2022-04-27 trinamiX GmbH Detector for determining a position of at least one object
CN108511542B (zh) * 2018-01-31 2020-05-19 中国科学院长春光学精密机械与物理研究所 一种图像传感器的光电二极管和图像传感器
US11624906B2 (en) 2019-03-04 2023-04-11 Microsoft Technology Licensing, Llc IR illumination module for MEMS-based eye tracking
US10832052B2 (en) 2019-03-04 2020-11-10 Microsoft Technology Licensing, Llc IR illumination module for MEMS-based eye tracking
US10838489B2 (en) * 2019-03-04 2020-11-17 Microsoft Technology Licensing, Llc IR illumination module for MEMS-based eye tracking
CN112770020A (zh) * 2019-11-05 2021-05-07 北京小米移动软件有限公司 图像传感模组、方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5552277A (en) * 1978-10-06 1980-04-16 Recognition Equipment Inc Multiple spectrum photodiode device* photosensitive semiconductor device and method of manufacturing same
JPH06205162A (ja) * 1993-01-01 1994-07-22 Canon Inc 画像読取装置
JPH0774340A (ja) * 1993-09-01 1995-03-17 Toshiba Corp 固体撮像装置
JP2003304548A (ja) * 2002-04-10 2003-10-24 Canon Inc 撮像装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3858046A (en) * 1973-06-25 1974-12-31 Hughes Aircraft Co Catadioptric beamsplitter system
US4581625A (en) * 1983-12-19 1986-04-08 Atlantic Richfield Company Vertically integrated solid state color imager
US4677289A (en) * 1984-11-12 1987-06-30 Kabushiki Kaisha Toshiba Color sensor
JPS61187282A (ja) * 1985-02-14 1986-08-20 Mitsubishi Electric Corp 光検出素子
JPH01134966A (ja) 1987-11-20 1989-05-26 Fuji Photo Film Co Ltd 固体撮像装置
JPH06342146A (ja) * 1992-12-11 1994-12-13 Canon Inc 画像表示装置、半導体装置及び光学機器
DE69333213T2 (de) * 1993-01-01 2004-06-24 Canon K.K. Bildlesevorrichtung
JPH07176708A (ja) * 1993-12-21 1995-07-14 Matsushita Electron Corp 固体撮像装置
WO1997035223A1 (en) * 1996-03-15 1997-09-25 Retinal Display Cayman Limited Method of and apparatus for viewing an image
US6380539B1 (en) * 1997-01-30 2002-04-30 Applied Science Fiction, Inc. Four color trilinear CCD scanning
US6211521B1 (en) * 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
US6168081B1 (en) * 1998-03-23 2001-01-02 Kabushiki Kaisha Toshiba Method and apparatus for reading invisible symbol
US5965875A (en) * 1998-04-24 1999-10-12 Foveon, Inc. Color separation in an active pixel cell imaging array using a triple-well structure
US6198147B1 (en) * 1998-07-06 2001-03-06 Intel Corporation Detecting infrared and visible light
US6759646B1 (en) * 1998-11-24 2004-07-06 Intel Corporation Color interpolation for a four color mosaic pattern
US6731397B1 (en) * 1999-05-21 2004-05-04 Foveon, Inc. Method for storing and retrieving digital image data from an imaging array
US6727521B2 (en) 2000-09-25 2004-04-27 Foveon, Inc. Vertical color filter detector group and array
JP2002151670A (ja) * 2000-08-30 2002-05-24 Sony Corp 固体撮像装置および製造方法
JP4453189B2 (ja) * 2000-10-31 2010-04-21 株式会社豊田中央研究所 撮像装置
JP4532765B2 (ja) * 2001-03-13 2010-08-25 キヤノン株式会社 画像処理装置及び画像処理プログラム
US6864557B2 (en) * 2001-06-18 2005-03-08 Foveon, Inc. Vertical color filter detector group and array
US7075079B2 (en) * 2001-06-27 2006-07-11 Wood Roland A Sensor for dual wavelength bands
US6770882B2 (en) * 2002-01-14 2004-08-03 Multispectral Imaging, Inc. Micromachined pyro-optical structure
US6998660B2 (en) * 2002-03-20 2006-02-14 Foveon, Inc. Vertical color filter sensor group array that emulates a pattern of single-layer sensors with efficient use of each sensor group's sensors
US7129466B2 (en) * 2002-05-08 2006-10-31 Canon Kabushiki Kaisha Color image pickup device and color light-receiving device
US7154157B2 (en) * 2002-12-30 2006-12-26 Intel Corporation Stacked semiconductor radiation sensors having color component and infrared sensing capability
US20040256561A1 (en) * 2003-06-17 2004-12-23 Allyson Beuhler Wide band light sensing pixel array
DE10335190A1 (de) * 2003-07-30 2005-03-03 Daimlerchrysler Ag Sensoranordnung mit einer Mehrzahl von Typen optischer Sensoren
JP2006100766A (ja) * 2004-08-31 2006-04-13 Fuji Photo Film Co Ltd 光電変換素子、及び撮像素子、並びに、これらに電場を印加する方法。

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5552277A (en) * 1978-10-06 1980-04-16 Recognition Equipment Inc Multiple spectrum photodiode device* photosensitive semiconductor device and method of manufacturing same
JPH06205162A (ja) * 1993-01-01 1994-07-22 Canon Inc 画像読取装置
JPH0774340A (ja) * 1993-09-01 1995-03-17 Toshiba Corp 固体撮像装置
JP2003304548A (ja) * 2002-04-10 2003-10-24 Canon Inc 撮像装置

Also Published As

Publication number Publication date
JP4578797B2 (ja) 2010-11-10
ATE460748T1 (de) 2010-03-15
CN100416843C (zh) 2008-09-03
DE602004025922D1 (de) 2010-04-22
CN1723564A (zh) 2006-01-18
JP2005143038A (ja) 2005-06-02
US7247851B2 (en) 2007-07-24
EP1630871B1 (en) 2010-03-10
EP1630871A4 (en) 2007-03-14
EP1630871A1 (en) 2006-03-01
US20060114551A1 (en) 2006-06-01

Similar Documents

Publication Publication Date Title
WO2005045936A1 (ja) 撮像装置及び撮像方法
US20230132892A1 (en) Digital cameras with direct luminance and chrominance detection
KR100818987B1 (ko) 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법
US7508431B2 (en) Solid state imaging device
US9252176B2 (en) Ambient infrared detection in solid state sensors
KR101639382B1 (ko) 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법
KR101244147B1 (ko) 물리 정보 취득 방법, 물리 정보 취득 장치 및 반도체 장치
KR101475464B1 (ko) 적층형 이미지 센서
KR101641382B1 (ko) 고체 촬상 장치 및 촬상 장치
US20150311242A1 (en) Image sensor with dual layer photodiode structure
JPWO2017203936A1 (ja) 固体撮像素子
KR100929349B1 (ko) 유기물 컬러 필터를 포함하지 않는 컬러 픽셀, 이미지 센서, 및 컬러 보간방법
JP2006237737A (ja) カラーフィルタアレイ及び固体撮像素子
KR20070111379A (ko) 광전 변환 장치
JP2005184690A (ja) カラー撮像素子およびカラー信号処理回路
JP2010531540A (ja) 広いダイナミックレンジと良好な色再現性および解像度を有する画素アレイならびに画素アレイを用いたイメージセンサ
TW201300926A (zh) 固態影像感測裝置及照相機模組
US6127670A (en) Solid-state color image sensor having an arrangement to compensate for dependence of light sensing characteristics upon color
JP2016197794A (ja) 撮像装置
KR100784391B1 (ko) 칼라 필터 어레이 그리고 그것을 포함하는 씨모스 이미지 센서
JP2021040260A (ja) 撮像モジュール
JP2005353716A (ja) 固体撮像素子及び撮像装置
KR20140032744A (ko) 이미징 카메라 모듈

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2004728931

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 20048007772

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2006114551

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10533853

Country of ref document: US

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2004728931

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10533853

Country of ref document: US