WO2019188123A1 - 撮像装置、及び、画像処理システム - Google Patents

撮像装置、及び、画像処理システム Download PDF

Info

Publication number
WO2019188123A1
WO2019188123A1 PCT/JP2019/009346 JP2019009346W WO2019188123A1 WO 2019188123 A1 WO2019188123 A1 WO 2019188123A1 JP 2019009346 W JP2019009346 W JP 2019009346W WO 2019188123 A1 WO2019188123 A1 WO 2019188123A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
infrared light
pixel group
light
Prior art date
Application number
PCT/JP2019/009346
Other languages
English (en)
French (fr)
Inventor
泰史 佐藤
順一 坂本
充 見潮
裕一郎 馬場
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US16/982,554 priority Critical patent/US11743604B2/en
Priority to CN201980020237.7A priority patent/CN111869199A/zh
Publication of WO2019188123A1 publication Critical patent/WO2019188123A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Definitions

  • the present disclosure relates to an imaging apparatus and an image processing system.
  • the present invention relates to an imaging apparatus and an image processing system that are suitable for imaging a visible light image and an infrared light image.
  • An imaging apparatus having a configuration in which one pixel in a Bayer array is divided into a plurality of pixels has been proposed (see, for example, FIG. 14 of Patent Document 1).
  • An image pickup apparatus having this configuration can obtain an image with an excellent S / N ratio by adding and reading out pixels of the same color, and can obtain a high-resolution image by performing full-resolution demosaic processing. Furthermore, by changing the exposure conditions for each of the plurality of pixels corresponding to one pixel in the Bayer array, it is possible to obtain an image with a high dynamic range (HDR) without requiring multiple imaging. It has the advantage of being able to.
  • HDR high dynamic range
  • a sensing process for performing a measurement process or the like is performed on image information, and information such as the size of the object, the position of the center of gravity, the distance to the object, or the amount of movement of the object is used as the sensing information.
  • the image information used for the sensing process and the image information used for image display (viewing) can be acquired without any parallax between them. For this reason, it is preferable that the infrared light image used for sensing processing and the like and the visible light image used for viewing processing and the like are obtained from one imaging device. However, in the configuration in which one pixel in the Bayer array is divided into a plurality of pixels, an infrared light image and a visible light image cannot be obtained from one imaging device.
  • An object of the present disclosure is to provide an imaging device capable of acquiring an infrared light image while having an advantage of a configuration in which one pixel of a Bayer array is divided into a plurality of pixels, and an image using the imaging device To provide a processing system.
  • an imaging apparatus includes: A pixel array unit in which a plurality of pixel groups each including four pixels arranged in a 2 ⁇ 2 matrix are arranged; As a pixel group consisting of four pixels, A first pixel group composed of three pixels that receive red light and one pixel that receives infrared light; A second pixel group composed of three pixels that receive blue light and one pixel that receives infrared light; A third pixel group composed of three pixels that receive green light and one pixel that receives infrared light; and A fourth pixel group including three pixels that receive green light and one pixel that receives infrared light; Is formed, The four pixel groups including the first pixel group, the second pixel group, the third pixel group, and the fourth pixel group are configured such that the first pixel group and the second pixel group are located diagonally, The fourth pixel group is arranged to form a set of 2 ⁇ 2 units located diagonally.
  • An imaging device As a pixel group consisting of four pixels, A first pixel group composed
  • an image processing system includes: An imaging device for imaging a subject, and a signal processing unit for processing a signal from the imaging device,
  • the imaging device A pixel array unit in which a plurality of pixel groups each including four pixels arranged in a 2 ⁇ 2 matrix are arranged;
  • a first pixel group composed of three pixels that receive red light and one pixel that receives infrared light;
  • a second pixel group composed of three pixels that receive blue light and one pixel that receives infrared light;
  • a third pixel group composed of three pixels that receive green light and one pixel that receives infrared light;
  • the four pixel groups including the first pixel group, the second pixel group, the third pixel group, and the fourth pixel group are configured such that the first pixel group and the second pixel group are located diagonally,
  • the fourth pixel group including the first pixel group, the second pixel group
  • FIG. 1 is a basic configuration diagram of an image processing system using an imaging apparatus according to the first embodiment.
  • FIG. 2 is a schematic plan view for explaining the configuration of the imaging apparatus.
  • FIG. 3 is a schematic plan view for explaining the pixel arrangement in the imaging apparatus of the reference example.
  • FIG. 4 is a schematic plan view for explaining a pixel arrangement in the imaging apparatus according to the first embodiment.
  • FIG. 5 is a schematic plan view for explaining the relationship between the pixel array and the on-chip lens array.
  • FIG. 6 is a schematic partial end view of the imaging apparatus.
  • FIG. 7 is a schematic graph of the spectral transmittance of the filter.
  • FIG. 8 is a schematic process diagram showing an image processing process involving a full resolution demosaic process.
  • FIG. 9A and 9B are schematic diagrams for explaining the relationship of pixels used for interpolation in the full resolution demosaic process.
  • FIG. 10 is a schematic process diagram showing an image processing process involving pixel addition processing.
  • FIG. 11 is a schematic process diagram showing an image processing process involving HDR processing.
  • FIG. 12A is a schematic plan view for explaining the arrangement of pixels with different exposure times.
  • FIG. 12B is a schematic plan view for explaining the relationship between the scanning line connected to the pixel and the control target pixel.
  • FIG. 13 is a schematic graph for explaining the spectral transmittance of the dual band-pass filter.
  • FIG. 14 is a schematic graph for explaining the spectral transmittance when the dual bandpass filter and the color filter are overlapped.
  • FIG. 10 is a schematic process diagram showing an image processing process involving pixel addition processing.
  • FIG. 11 is a schematic process diagram showing an image processing process involving HDR processing.
  • FIG. 12A is a schematic plan view for explaining the arrangement of
  • FIG. 15 is a schematic plan view for explaining a pixel arrangement in the imaging apparatus according to the second embodiment.
  • FIG. 16 is a schematic plan view for explaining the relationship between the pixel array and the on-chip lens array.
  • FIG. 17 is a schematic plan view for explaining the relationship between the pixel array and the on-chip lens array, following FIG. 18 is a schematic partial end view of an imaging apparatus including the on-chip lens shown in FIG.
  • FIG. 19 is a schematic process diagram showing an image processing process involving a full resolution demosaic process.
  • FIG. 20 is a schematic process diagram showing an image processing process involving pixel addition processing.
  • FIG. 21 is a schematic operation diagram for explaining the influence of environmental infrared light when an infrared light image is captured during a rolling shutter operation.
  • FIG. 21 is a schematic operation diagram for explaining the influence of environmental infrared light when an infrared light image is captured during a rolling shutter operation.
  • FIG. 22 is a schematic operation diagram for explaining the influence of environmental infrared light when an infrared light image is captured in the rolling shutter operation, following FIG. 21.
  • FIG. 23 is a schematic process diagram illustrating an image processing process involving HDR processing.
  • FIG. 24A is a schematic plan view for explaining the arrangement of pixels with different exposure times.
  • FIG. 24B is a schematic plan view for explaining the relationship between the scanning line connected to the pixel and the control target pixel.
  • FIG. 25 is a basic configuration diagram of an image processing system that performs authentication processing and viewing processing according to the third embodiment.
  • FIG. 26 is a schematic process diagram showing an image processing process involving an authentication process and a viewing process.
  • FIG. 27 is a schematic process diagram illustrating an image processing process including an authentication process and a viewing process when the imaging apparatus according to the first embodiment is used.
  • FIG. 28 is a schematic partial end view of an imaging apparatus for describing a filter configuration that can reduce the influence of infrared light in pixels that receive visible light.
  • FIG. 29 is a schematic plan view for explaining a first modification of the pixel array.
  • FIG. 30 is a schematic plan view for explaining a second modification of the pixel array.
  • FIG. 31 is a schematic plan view for explaining a third modification of the pixel array.
  • FIG. 32 is a schematic plan view for explaining a fourth modification of the pixel array.
  • FIG. 33 is a schematic plan view for explaining a fifth modification of the pixel array.
  • FIG. 28 is a schematic partial end view of an imaging apparatus for describing a filter configuration that can reduce the influence of infrared light in pixels that receive visible light.
  • FIG. 29 is a schematic plan view for explaining a first modification of the pixel
  • FIG. 34 is a schematic plan view for explaining a sixth modification of the pixel array.
  • FIG. 35 is a block diagram illustrating an example of a schematic configuration of a vehicle control system.
  • FIG. 36 is an explanatory diagram illustrating an example of the installation positions of the outside-vehicle information detection unit and the imaging unit.
  • imaging device of the present disclosure As described above, in the imaging device of the present disclosure and the imaging device used in the image processing system of the present disclosure (hereinafter, these may be collectively referred to as “imaging device of the present disclosure”).
  • a pixel array unit in which a plurality of pixel groups each including four pixels arranged in a 2 ⁇ 2 matrix are arranged;
  • a first pixel group composed of three pixels that receive red light and one pixel that receives infrared light;
  • a second pixel group composed of three pixels that receive blue light and one pixel that receives infrared light;
  • a third pixel group composed of three pixels that receive green light and one pixel that receives infrared light;
  • the four pixel groups including the first pixel group, the second pixel group, the third pixel group, and the fourth pixel group are configured such that the first pixel group and the second pixel group are located diagonally,
  • the fourth pixel group is arranged so as to form a set of 2 ⁇ 2 units located diagonally.
  • each pixel group the pixels that receive infrared light may be provided at the same position.
  • an on-chip lens can be arranged for each pixel.
  • any one of a red filter, a green filter, and a blue filter corresponding to a pixel that receives red light, green light, or blue light is provided. It can be set as the structure by which the infrared-light transmissive filter is arrange
  • the infrared light transmission filter can be formed by stacking at least two of a red filter, a green filter, and a blue filter. More preferably, the infrared light transmission filter is formed by laminating two of a red filter and a blue filter.
  • the pixels that receive infrared light are provided adjacent to the pixels that receive infrared light in the adjacent pixel group, so that each of the four adjacent pixels It can be set as the structure arrange
  • an on-chip lens can be arranged for each pixel.
  • an on-chip lens is arranged for each pixel that receives red light, green light, or blue light, and pixels that receive infrared light arranged in a 2 ⁇ 2 matrix.
  • the image plane phase difference is detected by pixels receiving infrared light arranged in a 2 ⁇ 2 matrix, and distance information together with the infrared light image is detected. Can also be obtained.
  • any of a red filter, a green filter, and a blue filter is arranged corresponding to the pixel that receives red light, green light, or blue light, and arranged in a 2 ⁇ 2 matrix.
  • a pixel that receives infrared light may have a common infrared light transmission filter.
  • the common infrared light transmission filter may be configured by stacking at least two of a red filter, a green filter, and a blue filter.
  • image data having red, green, and blue components can be generated for each pixel.
  • the resolution of the image can be increased.
  • image data can be generated by adding pixel data of the same color in each pixel group.
  • the S / N ratio can be improved by adding pixels of the same color.
  • data of four pixels can be added to generate image data.
  • the pixel array unit is configured to read out the accumulated charges of a plurality of pixels, the reading speed can be increased.
  • the three pixels other than the pixel that receives infrared light in each pixel group may be exposed under different exposure conditions depending on the pixel. With this configuration, it is possible to acquire a high dynamic range image by using image information with different exposure conditions.
  • each pixel group the pixels that receive infrared light are provided at the same position, A pair of scanning lines are arranged for each pixel row, The pixels of each image row are connected to one scanning line and the other scanning line alternately for each pixel. It can be configured.
  • the pixels that receive the infrared light are arranged adjacent to the pixels that receive the infrared light in the adjacent pixel groups, so that each of the four adjacent pixel groups is arranged in a 2 ⁇ 2 matrix.
  • a pair of scanning lines are arranged for each pixel row, The pixels of each image row are connected to one scanning line and the other scanning line alternately in units of two pixels. It can be configured.
  • a light source unit that irradiates the subject with infrared light may be further provided.
  • the image processing system of the present disclosure having a preferable configuration described above may further include an authentication processing unit that performs an authentication process based on an infrared light image.
  • the pixels that receive the infrared light are provided adjacent to the pixels that receive the infrared light in the adjacent pixel groups, so that 2 ⁇ 2 pixels are provided for each of the four adjacent pixel groups.
  • a common on-chip lens is arranged for pixels that receive infrared light arranged in a 2 ⁇ 2 matrix,
  • the authentication processing unit may be configured to perform authentication processing using at least one of an infrared light image and a depth map generated based on an image plane phase difference of a pixel that receives infrared light.
  • Examples of the imaging device of the present disclosure including the preferable modes and configurations described above include a CMOS image sensor.
  • the imaging device may be a front side illumination type or a back side illumination type.
  • a smart phone, a user interface camera for games, a biometric authentication camera, and the like can be exemplified.
  • These various apparatuses including the imaging apparatus of the present disclosure can acquire a normal visible light image and an infrared light image without parallax, and can perform image processing appropriately.
  • Examples of the substrate on which the pixel array portion is formed include a semiconductor substrate, particularly a silicon semiconductor substrate.
  • the silicon semiconductor substrate absorbs light having a wavelength of about 1 ⁇ m in addition to visible light. Therefore, a photoelectric conversion element such as a photodiode or a phototransistor formed on a silicon substrate can perform photoelectric conversion on infrared light in addition to visible light.
  • color filters and infrared light transmission filters include filter layers that transmit specific wavelengths such as red, green, and blue.
  • Various filters can be composed of organic material layers using organic compounds such as pigments and dyes, for example.
  • interlayer insulating layers and planarization layers that constitute imaging devices can be formed by various chemical vapor deposition methods (CVD methods), coating methods, and various physical vapor deposition methods (PVD). It can be formed based on a known method such as (Method). Examples of the patterning method include a combination of a lithography technique and an etching technique, and a known method such as a lift-off method.
  • CVD methods chemical vapor deposition methods
  • PVD physical vapor deposition methods
  • the patterning method include a combination of a lithography technique and an etching technique, and a known method such as a lift-off method.
  • an on-chip lens may be disposed above the pixel in order to improve the light collection efficiency.
  • the on-chip lens is preferably made of a transparent material having a high refractive index.
  • the interlayer insulating layer and the planarizing layer used in the imaging device are made of a transparent material, for example, an insulating material that does not have light absorption characteristics, specifically, an SiO x- based material (a silicon-based oxide film is formed) Materials), low dielectric constant insulating materials such as SiN, SiON, SiOC, SiOF, SiCN, and organic SOG, polyimide resins, fluorine resins, and the like can be used as materials. The same applies to the on-chip lens.
  • an optical unit including a lens that forms an image of light from the subject, a light source unit that irradiates the subject with infrared light, and the like are appropriately provided as necessary.
  • the configuration of the light source unit is not particularly limited, and a known light emitting element such as an infrared light emitting diode can be used.
  • the signal processing unit that processes a signal from the imaging device may be configured to operate based on physical connection by hardware, or may be configured to operate based on a program. The same applies to an authentication processing unit, a viewing processing unit, and a control unit that controls the entire image processing system.
  • the image processing system may be integrated as a unit or may be configured as a separate body.
  • FIG. 6 to be described later shows an end face structure of the imaging apparatus, but does not show the ratios of width, height, thickness, and the like.
  • the first embodiment relates to an imaging device according to the present disclosure and an image processing system using the imaging device.
  • FIG. 1 is a basic configuration diagram of an image processing system using an imaging apparatus according to the first embodiment.
  • FIG. 2 is a schematic plan view for explaining the configuration of the imaging apparatus.
  • the image processing system 1 shown in FIG. An imaging apparatus 100 that images a subject and a signal processing unit 200 that processes a signal from the imaging apparatus 100 are provided. Furthermore, An optical unit (imaging lens) 300 that forms an image of light from a subject, A light source unit 400 for irradiating a subject with infrared light; Is provided. The overall operation of the image processing system 1 is controlled by a control unit (not shown).
  • An imaging apparatus 100 illustrated in FIG. 2 includes a pixel array unit 102 in which pixels 101 are arranged in a two-dimensional array on a semiconductor substrate using, for example, silicon (Si) as a semiconductor material, and driving for driving the pixel array unit 102.
  • a portion 110 is formed and configured.
  • the driving unit 110 includes a column processing unit 111, a horizontal driving unit 112, a vertical driving unit 113, and the like.
  • the imaging device 100 is a so-called CMOS image sensor.
  • the pixel 101 includes a photoelectric conversion unit such as a photodiode (PD) and a pixel transistor, for example.
  • a photoelectric conversion unit such as a photodiode (PD) and a pixel transistor, for example.
  • the pixel transistor includes various transistors such as a transfer transistor, a selection transistor, a reset transistor, and an amplification transistor.
  • the vertical drive unit 113 is configured by, for example, a shift register, selects a predetermined scanning line 104, and drives the pixels 101 connected to the selected scanning line 104 in units of rows.
  • the vertical drive unit 113 selectively scans the pixel array unit 102 in the vertical direction, and supplies a pixel signal based on the signal charge generated by each pixel 101 according to the amount of received light to the column processing unit 111 through the signal line 103.
  • the column processing unit 111 is arranged for each pixel column.
  • the column processing unit 111 performs processing on signals output from the pixels 101 for one row, and performs processing such as correlated double sampling (CDS) and A / D conversion.
  • CDS correlated double sampling
  • the horizontal drive unit 112 is also configured by a shift register, for example.
  • the horizontal driving unit 112 sequentially selects each of the column processing units 111 arranged for each pixel column, and outputs a pixel signal.
  • the pixel 101 may be configured to perform a binning operation in which a plurality of adjacent pixels are handled according to the operation mode of the imaging apparatus 100.
  • a binning operation a plurality of pixels operate so that some of the pixel transistors are shared.
  • FIG. 2 shows that one scanning line 104 and one signal line 103 are arranged in each pixel row and each pixel column, this is merely an example.
  • an HDR image is acquired by one imaging, it is necessary to control the exposure time according to the pixel. In such a case, it is necessary to arrange a plurality of scanning lines in at least some of the pixel rows.
  • the pixel arrangement of the pixel array unit will be described.
  • the pixel arrangement of the imaging device of the reference example will be described, and then the first embodiment will be described.
  • FIG. 3 is a schematic plan view for explaining the pixel arrangement in the imaging device of the reference example.
  • pixels are arranged in such a manner that one pixel in a normal Bayer array is replaced with four pixels arranged in a 2 ⁇ 2 matrix.
  • symbol R indicates a pixel that receives red light
  • symbol G indicates a pixel that receives green light
  • symbol B indicates a pixel that receives blue light. The same applies to other drawings.
  • This pixel array can obtain an image having an excellent S / N ratio by adding and reading out pixels of the same color, and can obtain a high-resolution image by performing full-resolution demosaic processing.
  • an infrared light image and a visible light image cannot be obtained from one imaging device.
  • FIG. 4 is a schematic plan view for explaining a pixel arrangement in the imaging apparatus according to the first embodiment.
  • the imaging apparatus 100 includes a pixel array unit 102 in which a plurality of pixel groups each including four pixels arranged in a 2 ⁇ 2 matrix are arranged.
  • a first pixel group GP1 which includes three pixels that receive red light and one pixel that receives infrared light;
  • a second pixel group GP2 including three pixels that receive blue light and one pixel that receives infrared light;
  • a third pixel group GP3 composed of three pixels that receive green light and one pixel that receives infrared light;
  • a fourth pixel group GP4 composed of three pixels that receive green light and one pixel that receives infrared light; Is formed.
  • the first pixel group GP1 and the second pixel group GP2 are diagonally positioned.
  • the third pixel group GP3 and the fourth pixel group GP4 are arranged so as to form a set of 2 ⁇ 2 units located diagonally.
  • the pixel which receives infrared light was represented using the code
  • each pixel group the pixels that receive infrared light are provided at the same position.
  • FIG. 4 shows an example in which pixels that receive infrared light are provided on the lower right side of 2 ⁇ 2 rows in each pixel group.
  • FIG. 5 is a schematic plan view for explaining the relationship between the pixel array and the on-chip lens array.
  • FIG. 6 is a schematic partial end view of the imaging apparatus.
  • an on-chip lens 41 is arranged for each pixel. Further, as shown in FIG. 6, any one of the red filter 30 R , the green filter 30 G , and the blue filter 30 B is arranged corresponding to the pixel that receives red light, green light, or blue light. Yes.
  • An infrared light transmission filter 30 IR is arranged corresponding to the pixel that receives infrared light.
  • the above-described filters may be collectively referred to as a filter 30.
  • FIG. 6 for convenience of illustration, the components for red light, green light, blue light, and infrared light are shown as being arranged in a line for convenience.
  • a filter 30 and an on-chip lens 41 are stacked and arranged on the light incident surface side of the photoelectric conversion unit 11 included in each pixel.
  • the photoelectric conversion unit 11 is formed on a semiconductor substrate 10 made of, for example, silicon.
  • a semiconductor substrate 10 made of, for example, silicon.
  • Reference numeral 21 denotes a light shielding layer disposed so as to be positioned between adjacent photoelectric conversion units 11, and reference numeral 20 denotes a planarization layer that covers the light shielding layer 21 and the like.
  • a filter 30 is formed thereon.
  • a transparent material layer 40 is formed so as to cover the entire surface of the filter 30. The surface of the transparent material layer 40 is formed in a lens shape corresponding to each photoelectric conversion unit 11 and constitutes an on-chip lens 41.
  • the filter 30 can be formed by forming a material layer for constituting them using a material having lithography characteristics and performing patterning by exposure or the like. Alternatively, it can be formed by patterning by forming a photoresist on the upper layer of the material layer, selectively leaving it by a lithography technique, and processing it by dry etching or the like.
  • FIG. 7 is a schematic graph of the spectral transmittance of the filter.
  • a color filter distributed in the market for an imaging device generally has a transmittance close to 100% on a longer wavelength side than 800 nm.
  • the infrared light transmission filter may be formed by stacking at least two of a red filter, a green filter, and a blue filter.
  • each pixel group includes three of any one of a red light pixel, a green light pixel, and a blue light pixel, and one infrared light pixel. Of pixels. Accordingly, an infrared light image can be acquired while providing the advantages of the configuration in which one pixel in the Bayer array is divided into a plurality of pixels.
  • a high-resolution image can be obtained by generating image data having red, green, and blue components for each pixel.
  • FIG. 8 is a schematic process diagram showing an image processing process accompanied by a full resolution demosaic process. For convenience of illustration, a process for a total of 16 pixels in 4 ⁇ 4 rows including the first pixel group GP1, the second pixel group GP2, the third pixel group GP3, and the fourth pixel group GP4 is schematically shown. The same applies to other drawings to be described later.
  • the pixel signal from the imaging device 100 includes a pixel signal of a pixel for red light, a pixel for green light, and a pixel for blue light (hereinafter, these may be referred to as visible light pixels); It is separated into pixel signals of pixels for infrared light (step S11: IR / visible separation).
  • the separated information is referred to as RGB information and IR information.
  • a pixel code may be described as representing pixel information. The same applies to other drawings to be described later.
  • the RGB information is appropriately interpolated to generate high resolution information (step S12: RGB information interpolation).
  • Bayer processing is performed (step S14: Bayer).
  • the color filter exhibits transparency to wavelengths in the infrared region in addition to the target light.
  • Bayerized information is schematically represented as (R + IR, G + IR, B + IR).
  • the description “+ IR” indicates that an infrared light component is included in addition to the visible light component. The same applies to other drawings to be described later.
  • the IR information is appropriately interpolated so as to be information corresponding to the normal Bayer array (step S13: IR information interpolation).
  • step S12 and step S13 are not particularly limited, and can be performed using a known method.
  • an example of the interpolation processing in step S13 will be described with reference to the drawings.
  • 9A and 9B are schematic diagrams for explaining the relationship of pixels used for interpolation in the full resolution demosaic process.
  • IR information corresponding to the pixel indicated by symbol R 24 is, for example, the infrared light pixels (reference symbols IR 4 and IR 23 ) located above and below the pixel R 14 .
  • IR 24 (IR 4 + IR 23 ) / 2 It is possible to interpolate by such a calculation.
  • step S14 the interpolation process has been described.
  • step S13 the process following step S14 and step S13 will be described.
  • the IR light component included in the RGB information after interpolation is removed by dividing the IR information after interpolation from the RGB information after interpolation (step S15: IR component removal). More specifically, processing is performed in a state in which the interpolated IR information is multiplied by a predetermined coefficient in accordance with the specification of the imaging apparatus 100 or the like.
  • the information from which the infrared light component has been removed is schematically represented as (R, G, B).
  • the RGB information after step S15 is information of a normal Bayer array, and is information in which the influence of infrared light is reduced. Based on this, high-resolution image information can be obtained by performing a normal Bayer process (step S16: Bayer process).
  • an image excellent in S / N can be obtained by generating image data by adding pixel data of the same color in each pixel group.
  • FIG. 10 is a schematic process diagram showing an image processing process involving pixel addition processing.
  • the pixel signal from the imaging device 100 is separated into a pixel signal for a visible light pixel and a pixel signal for an infrared light pixel (step S21: IR / visible separation). This is the same as the process described with reference to FIG.
  • step S22 RGB information addition
  • step S23 IR information addition
  • the IR light component contained in the RGB information after the addition is removed by dividing the IR information after the addition from the RGB information after the addition (step S24: IR component removal). More specifically, processing is performed in a state where IR information after addition is multiplied by a predetermined coefficient in accordance with the specification of the imaging apparatus 100 and the like.
  • the RGB information after step S24 is information of a normal Bayer array, although the resolution is reduced, and is also information in which the influence of infrared light is reduced. Based on this, image information can be obtained by performing a normal Bayer process (step S25: Bayer process).
  • the three pixels other than the pixels that receive infrared light in each pixel group are exposed under different exposure conditions according to the pixels, thereby obtaining a dynamic range. An excellent image can be obtained.
  • a description will be given with reference to FIG.
  • FIG. 11 is a schematic process diagram showing an image processing process with HDR processing.
  • symbol L indicates a pixel exposed for a long time
  • symbol M indicates a pixel exposed for a medium time
  • symbol S indicates a pixel exposed for a short time.
  • Long exposure is exposure in a longer time than medium time exposure.
  • Medium time exposure is exposure in a longer time than short time exposure.
  • FIG. 12A is a schematic plan view for explaining the arrangement of pixels with different exposure times.
  • FIG. 12B is a schematic plan view for explaining the relationship between the scanning line connected to the pixel and the control target pixel.
  • each pixel group pixels that receive infrared light are provided at the same position.
  • a pair of scanning line is arrange
  • the pixels in each image row are alternately connected to one scanning line and the other scanning line for each pixel.
  • the first scan line is connected to a pixel exposed for a short time via a contact
  • the second scan line is connected to a pixel exposed for a medium time via a contact
  • the third scan line Is connected to a pixel exposed for a long time via a contact
  • the fourth scanning line is connected to an IR pixel via a contact.
  • an exposure time suitable for the IR pixel is set.
  • each scanning line and each contact is not limited to the configuration of FIG. 12B, and any relationship can be used as long as the same scanning line is connected to a pixel having the same exposure time via the contact. It may be a configuration.
  • the pixel signal from the imaging apparatus 100 is separated into a pixel signal for a visible light pixel and a pixel signal for an infrared light pixel (step S31: IR / visible separation). This is the same as the process described with reference to FIG.
  • RGB information with an expanded dynamic range is synthesized for each pixel group based on pixel information with different exposure times (step S32: HDR information synthesis).
  • step S33 IR information addition
  • the infrared light component contained in the RGB information after synthesis is removed by dividing the IR information after addition from the RGB information after synthesis (step S34: IR component removal). More specifically, processing is performed in a state where IR information after addition is multiplied by a predetermined coefficient in accordance with the specification of the imaging apparatus 100 and the like.
  • the RGB information after step S34 is information of a normal Bayer array, although the resolution is reduced, and is RGB information with an expanded dynamic range. Based on this, normal Bayer processing can be performed to obtain image information with an expanded dynamic range (Step S35: Bayer processing).
  • the first embodiment has been described above.
  • by controlling the exposure time of the IR pixel and the other pixels individually it is possible to prevent the S / N deterioration due to the IR color mixture.
  • image quality improvement processing such as performing NR processing on a visible light image using an IR pixel signal as a guide.
  • the visible light pixel has been described as capturing an image including an infrared light component.
  • a dual band pass filter having a transmission band for visible light and infrared light in a predetermined range may be used to reduce the influence of infrared light components in the visible light pixel.
  • FIG. 13 is a schematic graph for explaining the spectral transmittance of the dual band-pass filter.
  • FIG. 14 is a schematic graph for explaining the spectral transmittance when the dual bandpass filter and the color filter are overlapped.
  • the second embodiment also relates to an imaging apparatus according to the present disclosure and an image processing system using the imaging apparatus.
  • the second embodiment is the same as the configuration described in the first embodiment except that the pixel array in the pixel array unit and the on-chip lens array are different.
  • the schematic configuration diagram of the image processing system 2 in the second embodiment may be obtained by replacing the image sensor 100 with the image sensor 100A and the image processing system 1 with the image processing system 2 in FIG.
  • FIG. 15 is a schematic plan view for explaining a pixel arrangement in the imaging apparatus according to the second embodiment.
  • the imaging apparatus 100A includes a pixel array unit 102A in which a plurality of pixel groups each including four pixels arranged in a 2 ⁇ 2 matrix are arranged.
  • each pixel group the pixels that receive infrared light are provided at the same position.
  • the pixels that receive infrared light are provided so as to be adjacent to the pixels that receive infrared light in the adjacent pixel group.
  • Each pixel group is arranged in a 2 ⁇ 2 matrix.
  • an on-chip lens 41 may be arranged for each pixel.
  • FIG. 16 shows an example of this.
  • pixels that receive red light, green light, or blue light are provided with on-chip lenses for each pixel, and are arranged in a 2 ⁇ 2 matrix.
  • a common on-chip lens may be disposed in the pixels that receive the infrared light.
  • FIG. 17 shows this example, and shows an arrangement relationship between a normal on-chip lens 41 and a common on-chip lens 41A.
  • 18 is a schematic partial end view of an imaging apparatus including the on-chip lens shown in FIG.
  • An imaging device in which a common on-chip lens is arranged has an advantage that distance measurement is possible using an image plane phase difference in an IR pixel in addition to imaging an infrared light image.
  • a common on-chip lens is arranged for pixels that receive infrared light arranged in a 2 ⁇ 2 matrix.
  • color filters may overlap between adjacent pixels of different colors, and that portion blocks light transmission and becomes an invalid area. End up.
  • the boundary between different color filters is reduced, so that overlap of color filters between adjacent pixels is reduced and sensitivity is improved. it can.
  • pixels that receive infrared light arranged in a 2 ⁇ 2 matrix are formed of a single color filter, thereby further improving sensitivity. Can do.
  • a high-resolution image can be obtained by generating image data having red, green, and blue components for each pixel.
  • FIG. 19 is a schematic process diagram showing an image processing process with a full resolution demosaic process.
  • the image processing process involving the full-resolution demosaic process has been described with reference to FIG.
  • the calculation process of the interpolation of RGB information and the interpolation of IR information is different according to the difference in pixel arrangement, and is basically the same process. Therefore, the description is omitted.
  • an image with excellent S / N can be obtained by generating image data by adding pixel data of the same color in each pixel group.
  • FIG. 20 is a schematic process diagram showing an image processing process involving pixel addition processing.
  • the image processing process involving pixel addition processing has been described with reference to FIG.
  • the steps in FIG. 20 are basically the same except that the binning operation at the pixel array level is possible for both the visible light pixel and the infrared light pixel.
  • the IR pixels are arranged discretely. For this reason, it is difficult to perform a binning operation at the pixel array level that handles a plurality of adjacent pixels collectively for IR pixels. Accordingly, it is necessary to take out IR pixel information individually and then add them externally, and processing takes time.
  • a binning operation can be performed at the pixel array level for the visible light pixel and the infrared light pixel. Therefore, the operation can be speeded up. The advantages obtained by speeding up the operation will be described.
  • FIG. 21 is a schematic operation diagram for explaining the influence of environmental infrared light when an infrared light image is captured during the rolling shutter operation.
  • the start and end of the exposure period change for each pixel row. Therefore, even in the case where imaging is performed by actively irradiating infrared light between the start of the shutter of the last row in the previous frame and the start of readout in the current frame, only ambient light is used during the period related to readout.
  • the exposure is performed in a state of being irradiated.
  • FIG. 22 is a schematic operation diagram for explaining the influence of environmental infrared light when an infrared light image is captured in the rolling shutter operation, following FIG. 21.
  • FIG. 22 shows a case where the reading is speeded up with respect to FIG.
  • the shutter setting period is the same between FIG. 21 and FIG.
  • the length of the period in which only ambient light is irradiated and exposed is shorter than that in FIG. Therefore, by increasing the operation speed, it is possible to reduce the influence of environmental infrared light when capturing an infrared light image.
  • infrared light is actively irradiated from the start of the last row shutter in the previous frame to the start of readout in the current frame.
  • the infrared light is actively irradiated even in the portion indicated only as the environmental light, the influence of the environmental infrared light can be reduced.
  • the period for irradiating infrared light can be shortened by increasing the operation speed, power consumption associated with irradiation with infrared light can be reduced.
  • the three pixels excluding the pixels that receive infrared light in each pixel group are exposed under different exposure conditions according to the pixels, so that an image having an excellent dynamic range is obtained. Can be obtained.
  • a description will be given with reference to FIG.
  • FIG. 23 is a schematic process diagram showing an image processing process with HDR processing.
  • symbol L indicates a pixel exposed for a long time
  • symbol M indicates a pixel exposed for a medium time
  • symbol S indicates a pixel exposed for a short time.
  • the image processing process involving HDR processing has been described with reference to FIG.
  • the pixel arrangement is different and basically the same process. Therefore, the description is omitted.
  • FIG. 24A is a schematic plan view for explaining the arrangement of pixels with different exposure times.
  • FIG. 24B is a schematic plan view for explaining the relationship between the scanning line connected to the pixel and the control target pixel.
  • the pixels that receive infrared light are provided adjacent to the pixels that receive infrared light in the adjacent pixel groups, so that each of the four adjacent pixel groups has 2 ⁇ They are arranged in two rows.
  • a pair of scanning line is arrange
  • the first scan line is connected to a pixel that is exposed for medium time via a contact
  • the second scan line is connected to a pixel that is exposed for a long time via a contact
  • the third scan line Is connected to the IR pixel through a contact
  • the fourth scanning line is connected to a pixel exposed for a long time through the contact.
  • the exposure time for the IR pixel an exposure time suitable for the IR pixel is set. For example, an exposure time longer than the exposure time for medium time exposure and shorter than the exposure time for long time exposure is set.
  • the relationship between each scanning line and each contact is not limited to the configuration of FIG. 24B, and any type can be used as long as the same scanning line is connected to a pixel having the same exposure time through the contact. It may be a configuration.
  • the second embodiment has been described above.
  • the image processing system of the second embodiment has an effect that a binning operation at the pixel array level is easy in addition to the effect of the image processing system of the first embodiment.
  • the third embodiment relates to an image processing system using an imaging apparatus according to the present disclosure.
  • the third embodiment is an image processing system that performs authentication processing and viewing processing using the imaging apparatus according to the second embodiment.
  • FIG. 25 is a basic configuration diagram of an image processing system that performs authentication processing and viewing processing according to the third embodiment.
  • the image processing system 3 shown in FIG. An imaging device 100A that images a subject, a signal processing unit 200 that processes a signal from the imaging device 100A, and an authentication processing unit 210 that performs authentication processing based on an infrared light image are provided.
  • the image processing system 3 further includes A viewing processing unit 220 for performing viewing processing;
  • the overall operation of the image processing system 2 is controlled by a control unit (not shown).
  • FIG. 26 is a schematic process diagram showing an image processing process involving an authentication process and a viewing process.
  • the pixel signal from the imaging device 100A is separated into a pixel signal for a visible light pixel and a pixel signal for an infrared light pixel (step S51: IR / visible separation). Then, a viewing process is performed based on the separated RGB information (step S52: viewing process).
  • the separated IR information is used as an infrared light image. Further, a phase difference is detected based on the separated IR information, and information of a distance image is generated (step S53: phase difference detection). And the authentication process part 210 performs an authentication process using at least one among an infrared light image and the depth map produced
  • the image processing with full resolution demosaic processing, image processing with pixel addition, and image processing with HDR processing described with reference to FIGS. 19, 20, and 23 may be performed as appropriate. .
  • the image processing system 3 it is not necessary to irradiate infrared light with a specific pattern in order to obtain distance image information.
  • the light source unit since it is sufficient for the light source unit to irradiate the subject with flat infrared light, the imaging of the iris can be performed satisfactorily, and the iris information can be used for authentication.
  • the third embodiment has been described above.
  • the image processing system according to the third embodiment can measure a distance under irradiation with flat infrared light, has a monocular configuration, and obtains a viewing image and at the same time uses an infrared light image for infrared authentication and infrared. Sensing processing such as 3D face authentication or gesture recognition using distance information based on an optical image can be performed.
  • FIG. 27 is a schematic process diagram illustrating an image processing process including an authentication process and a viewing process when the imaging apparatus according to the first embodiment is used.
  • the visible light pixels are affected by infrared light. In some cases, it may be possible to reduce the degree to which visible light pixels are affected by infrared light.
  • FIG. 28 is a schematic partial end view of the imaging apparatus for explaining a filter configuration capable of reducing the influence of infrared light in a pixel that receives visible light.
  • the color filter configuration of the visible light pixel has a two-layer structure. More specifically, it has a laminated structure of an infrared light absorption filter 30 IRA and a color filter. With this configuration, the degree to which visible light pixels are affected by infrared light can be reduced.
  • the filter of the pixel for infrared light is configured by stacking two types of filters for visible light. Therefore, it is not necessary to form an infrared light transmission filter separately from the color filter.
  • the two types of visible light filters used for infrared light pixels any two types of R, G, and B transmission filters can be used.
  • the most suitable combination is the combination of the R transmission filter and the B transmission filter shown in the example of FIG. This is because, as shown by the spectral characteristics in FIG. 7, the overlap between the transmission region of the R transmission filter and the transmission region of the B transmission filter is the smallest in the visible light region.
  • the combination of the R transmission filter and the B transmission filter can transmit infrared light while more effectively blocking visible light.
  • the visible light filter used for the infrared light pixel is not limited to the two-layered stack, and three or more types of visible light filters may be stacked.
  • FIG. 29 is a schematic plan view for explaining a first modification of the pixel array.
  • FIG. 29 is a modification of the pixel arrangement of the first embodiment, and a common on-chip lens is provided for each pixel group.
  • 8 ⁇ 8 pixels are shown, but the upper 8 ⁇ 4 pixels are shown only with the pixel arrangement, and the lower 8 ⁇ 4 pixels are shown with the on-chip lens arrangement superimposed on the pixel arrangement.
  • an image plane phase difference can be detected in visible light imaging. Therefore, for example, 3D face authentication using visible light distance information and infrared face images is possible. Similarly, iris authentication is possible.
  • FIG. 30 is a schematic plan view for explaining a second modification of the pixel arrangement.
  • FIG. 30 shows a modification of the pixel arrangement of the first embodiment, in which one pixel includes two photoelectric conversion units. An on-chip lens is provided for each pixel.
  • one pixel includes two photoelectric conversion units and can detect an image plane phase difference.
  • FIG. 31 is a schematic plan view for explaining a third modification of the pixel array.
  • FIG. 31 shows a configuration in which 2 ⁇ 2 pixel groups having the same color are arranged and a part of the pixel groups is used for infrared light.
  • An on-chip lens is arranged for each pixel.
  • FIG. 32 is a schematic plan view for explaining a fourth modification of the pixel array.
  • FIG. 32 also shows a configuration in which 2 ⁇ 2 pixel groups of the same color are arranged and a part of the pixel groups is used for infrared light.
  • an on-chip lens is arranged for each pixel, and for infrared light pixels, an on-chip lens common to 2 ⁇ 2 pixels is arranged.
  • FIG. 33 is a schematic plan view for explaining a fifth modification of the pixel array.
  • FIG. 33 also shows a configuration in which 2 ⁇ 2 pixel groups of the same color are arranged and a part of the pixel groups is used for infrared light.
  • an on-chip lens common to 2 ⁇ 2 pixels is arranged.
  • FIG. 34 is a schematic plan view for explaining a sixth modification of the pixel array.
  • FIG. 34 also shows a configuration in which 2 ⁇ 2 pixel groups having the same color are arranged and a part of the pixel groups is used for infrared light.
  • an on-chip lens common to 2 ⁇ 2 pixels is arranged.
  • the various imaging devices according to the present disclosure described above have the advantage of a configuration in which one pixel in the Bayer array is divided into a plurality of pixels, for example, improvement in S / N ratio by adding and reading out pixels of the same color, full
  • the infrared light image information and the visible light image information can be obtained from a single imaging device while providing the advantage of high resolution by performing resolution demosaic processing.
  • sensing processing can be performed simultaneously with the acquisition of the viewing image in the monocular configuration.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be any type of movement such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor).
  • FIG. 35 is a block diagram illustrating a schematic configuration example of a vehicle control system 7000 that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via a communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, a vehicle exterior information detection unit 7400, a vehicle interior information detection unit 7500, and an integrated control unit 7600. .
  • the communication network 7010 for connecting the plurality of control units conforms to an arbitrary standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores programs executed by the microcomputer or parameters used for various calculations, and a drive circuit that drives various devices to be controlled. Is provided.
  • Each control unit includes a network I / F for communicating with other control units via a communication network 7010, and is connected to devices or sensors inside and outside the vehicle by wired communication or wireless communication. A communication I / F for performing communication is provided. In FIG.
  • control unit 7600 As a functional configuration of the integrated control unit 7600, a microcomputer 7610, a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, an audio image output unit 7670, An in-vehicle network I / F 7680 and a storage unit 7690 are illustrated.
  • other control units include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • a vehicle state detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 includes, for example, a gyro sensor that detects the angular velocity of the rotational movement of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an operation amount of an accelerator pedal, an operation amount of a brake pedal, and steering of a steering wheel. At least one of sensors for detecting an angle, an engine speed, a rotational speed of a wheel, or the like is included.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110, and controls an internal combustion engine, a drive motor, an electric power steering device, a brake device, or the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 7200 can be input with radio waves or various switch signals transmitted from a portable device that substitutes for a key.
  • the body system control unit 7200 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the battery control unit 7300 controls the secondary battery 7310 that is a power supply source of the drive motor according to various programs. For example, information such as battery temperature, battery output voltage, or remaining battery capacity is input to the battery control unit 7300 from a battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature adjustment of the secondary battery 7310 or the cooling device provided in the battery device.
  • the outside information detection unit 7400 detects information outside the vehicle on which the vehicle control system 7000 is mounted.
  • the outside information detection unit 7400 is connected to at least one of the imaging unit 7410 and the outside information detection unit 7420.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the outside information detection unit 7420 detects, for example, current weather or an environmental sensor for detecting weather, or other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects sunlight intensity, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the outside information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 36 shows an example of installation positions of the imaging unit 7410 and the vehicle outside information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of the front nose, the side mirror, the rear bumper, the back door, and the upper part of the windshield in the vehicle interior of the vehicle 7900.
  • An imaging unit 7910 provided in the front nose and an imaging unit 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • Imaging units 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging unit 7916 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 7900.
  • the imaging unit 7918 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or
  • FIG. 36 shows an example of shooting ranges of the respective imaging units 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided in the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided in the side mirrors, respectively
  • the imaging range d The imaging range of the imaging part 7916 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, and 7916, an overhead image when the vehicle 7900 is viewed from above is obtained.
  • the vehicle outside information detection units 7920, 7922, 7924, 7926, 7928, and 7930 provided on the front, rear, sides, corners of the vehicle 7900 and the upper part of the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle outside information detection units 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the vehicle interior of the vehicle 7900 may be, for example, LIDAR devices.
  • These outside information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, and the like.
  • the vehicle exterior information detection unit 7400 causes the imaging unit 7410 to capture an image outside the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives detection information from the vehicle exterior information detection unit 7420 connected thereto. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives received reflected wave information.
  • the outside information detection unit 7400 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform environment recognition processing for recognizing rainfall, fog, road surface conditions, or the like based on the received information.
  • the vehicle outside information detection unit 7400 may calculate a distance to an object outside the vehicle based on the received information.
  • the outside information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a car, an obstacle, a sign, a character on a road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and combines the image data captured by the different imaging units 7410 to generate an overhead image or a panoramic image. Also good.
  • the vehicle exterior information detection unit 7400 may perform viewpoint conversion processing using image data captured by different imaging units 7410.
  • the vehicle interior information detection unit 7500 detects vehicle interior information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • Driver state detection unit 7510 may include a camera that captures an image of the driver, a biosensor that detects biometric information of the driver, a microphone that collects sound in the passenger compartment, and the like.
  • the biometric sensor is provided, for example, on a seat surface or a steering wheel, and detects biometric information of an occupant sitting on the seat or a driver holding the steering wheel.
  • the vehicle interior information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and determines whether the driver is asleep. May be.
  • the vehicle interior information detection unit 7500 may perform a process such as a noise canceling process on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device that can be input by a passenger, such as a touch panel, a button, a microphone, a switch, or a lever.
  • the integrated control unit 7600 may be input with data obtained by recognizing voice input through a microphone.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. May be.
  • the input unit 7800 may be, for example, a camera.
  • the passenger can input information using a gesture.
  • data obtained by detecting the movement of the wearable device worn by the passenger may be input.
  • the input unit 7800 may include, for example, an input control circuit that generates an input signal based on information input by a passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600.
  • a passenger or the like operates the input unit 7800 to input various data or instruct a processing operation to the vehicle control system 7000.
  • the storage unit 7690 may include a ROM (Read Only Memory) that stores various programs executed by the microcomputer, and a RAM (Random Access Memory) that stores various parameters, calculation results, sensor values, and the like.
  • the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • General-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX, LTE (Long Term Evolution) or LTE-A (LTE-Advanced), or a wireless LAN (Wi-Fi). (Also referred to as (registered trademark)) and other wireless communication protocols such as Bluetooth (registered trademark) may be implemented.
  • GSM Global System of Mobile communications
  • WiMAX Wireless LAN
  • LTE Long Term Evolution
  • LTE-A Long Term Evolution-A
  • Wi-Fi wireless LAN
  • Bluetooth registered trademark
  • the general-purpose communication I / F 7620 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or an operator-specific network) via, for example, a base station or an access point. May be.
  • the general-purpose communication I / F 7620 is a terminal (for example, a driver, a pedestrian or a store terminal, or an MTC (Machine Type Communication) terminal) that exists in the vicinity of the vehicle using, for example, P2P (Peer To Peer) technology. You may connect with.
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in vehicles.
  • the dedicated communication I / F 7630 is a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or cellular communication protocol, which is a combination of the lower layer IEEE 802.11p and the upper layer IEEE 1609. May be implemented.
  • the dedicated communication I / F 7630 typically includes vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication. ) Perform V2X communication, which is a concept that includes one or more of the communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), performs positioning, and performs latitude, longitude, and altitude of the vehicle.
  • the position information including is generated.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives, for example, radio waves or electromagnetic waves transmitted from a radio station installed on the road, and acquires information such as the current position, traffic jam, closed road, or required time. Note that the function of the beacon receiving unit 7650 may be included in the dedicated communication I / F 7630 described above.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 present in the vehicle.
  • the in-vehicle device I / F 7660 may establish a wireless connection using a wireless communication protocol such as a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB).
  • the in-vehicle device I / F 7660 is connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Mobile) via a connection terminal (and a cable if necessary). Wired connection such as High-definition Link) may be established.
  • the in-vehicle device 7760 may include, for example, at least one of a mobile device or a wearable device that a passenger has, or an information device that is carried into or attached to the vehicle.
  • In-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • In-vehicle device I / F 7660 exchanges control signals or data signals with these in-vehicle devices 7760.
  • the in-vehicle network I / F 7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the in-vehicle network I / F 7680 transmits and receives signals and the like in accordance with a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is connected via at least one of a general-purpose communication I / F 7620, a dedicated communication I / F 7630, a positioning unit 7640, a beacon receiving unit 7650, an in-vehicle device I / F 7660, and an in-vehicle network I / F 7680.
  • the vehicle control system 7000 is controlled according to various programs based on the acquired information. For example, the microcomputer 7610 calculates a control target value of the driving force generation device, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. Also good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintaining traveling, vehicle collision warning, or vehicle lane departure warning. You may perform the cooperative control for the purpose. Further, the microcomputer 7610 controls the driving force generator, the steering mechanism, the braking device, or the like based on the acquired information on the surroundings of the vehicle, so that the microcomputer 7610 automatically travels independently of the driver's operation. You may perform the cooperative control for the purpose of driving.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 is information acquired via at least one of the general-purpose communication I / F 7620, the dedicated communication I / F 7630, the positioning unit 7640, the beacon receiving unit 7650, the in-vehicle device I / F 7660, and the in-vehicle network I / F 7680.
  • the three-dimensional distance information between the vehicle and the surrounding structure or an object such as a person may be generated based on the above and local map information including the peripheral information of the current position of the vehicle may be created.
  • the microcomputer 7610 may generate a warning signal by predicting a danger such as a collision of a vehicle, approach of a pedestrian or the like or an approach to a closed road based on the acquired information.
  • the warning signal may be, for example, a signal for generating a warning sound or lighting a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are illustrated as output devices.
  • Display unit 7720 may include at least one of an on-board display and a head-up display, for example.
  • the display portion 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices such as headphones, wearable devices such as glasses-type displays worn by passengers, projectors, and lamps.
  • the display device can display the results obtained by various processes performed by the microcomputer 7610 or information received from other control units in various formats such as text, images, tables, and graphs. Display visually. Further, when the output device is an audio output device, the audio output device converts an audio signal made up of reproduced audio data or acoustic data into an analog signal and outputs it aurally.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be configured by a plurality of control units.
  • the vehicle control system 7000 may include another control unit not shown.
  • some or all of the functions of any of the control units may be given to other control units. That is, as long as information is transmitted and received via the communication network 7010, the predetermined arithmetic processing may be performed by any one of the control units.
  • a sensor or device connected to one of the control units may be connected to another control unit, and a plurality of control units may transmit / receive detection information to / from each other via the communication network 7010. .
  • the technology according to the present disclosure can be applied to, for example, the imaging unit of the outside information detection unit among the configurations described above.
  • a pixel array unit in which a plurality of pixel groups each including four pixels arranged in a 2 ⁇ 2 matrix are arranged; As a pixel group consisting of four pixels, A first pixel group composed of three pixels that receive red light and one pixel that receives infrared light; A second pixel group composed of three pixels that receive blue light and one pixel that receives infrared light; A third pixel group composed of three pixels that receive green light and one pixel that receives infrared light; and A fourth pixel group including three pixels that receive green light and one pixel that receives infrared light; Is formed, The four pixel groups including the first pixel group, the second pixel group, the third pixel group, and the fourth pixel group are configured such that the first pixel group and the second pixel group are located diagonally, The fourth pixel group is arranged to form a set of 2 ⁇ 2 units located diagonally.
  • Imaging device In each pixel group, pixels that receive infrared light are provided at the same position.
  • [A3] An on-chip lens is arranged for each pixel.
  • Either a red filter, a green filter, or a blue filter is arranged corresponding to a pixel that receives red light, green light, or blue light
  • An infrared light transmission filter is disposed corresponding to the pixel that receives infrared light.
  • [A5] The infrared light transmission filter is formed by laminating at least two of a red filter, a green filter, and a blue filter.
  • the imaging device according to [A4] above.
  • [A6] The infrared light transmission filter is formed by laminating two of a red filter and a blue filter.
  • the imaging device according to [A5] above.
  • [A7] The pixels that receive the infrared light are arranged adjacent to the pixels that receive the infrared light in the adjacent pixel groups, so that each of the four adjacent pixel groups is arranged in a 2 ⁇ 2 matrix. Being The imaging device according to [A1].
  • An on-chip lens is arranged for each pixel.
  • the imaging device according to [A7] above.
  • [A9] An on-chip lens is arranged for each pixel that receives red light, green light, or blue light.
  • a common on-chip lens is arranged in the pixels that receive infrared light arranged in a 2 ⁇ 2 matrix.
  • [A10] Either a red filter, a green filter, or a blue filter is arranged corresponding to a pixel that receives red light, green light, or blue light,
  • a common infrared light transmission filter is arranged in the pixels that receive infrared light arranged in a 2 ⁇ 2 matrix.
  • the common infrared light transmission filter is configured by stacking at least two of a red filter, a green filter, and a blue filter.
  • [A12] Generating image data having red, green, and blue components for each pixel; The imaging device according to any one of [A1] to [A11].
  • [A13] Adding pixel data of the same color in each pixel group to generate image data; The imaging device according to any one of [A1] to [A11].
  • [A14] Image data is generated by adding data of four pixels that receive infrared light arranged in a 2 ⁇ 2 matrix, The imaging device according to any one of [A7] to [A11].
  • [A15] Three pixels excluding pixels that receive infrared light in each pixel group are exposed under different exposure conditions depending on the pixels. The imaging device according to [A1].
  • each pixel group the pixels that receive infrared light are provided at the same position, A pair of scanning lines are arranged for each pixel row, The pixels of each image row are connected to one scanning line and the other scanning line alternately for each pixel.
  • the pixels that receive the infrared light are arranged adjacent to the pixels that receive the infrared light in the adjacent pixel groups, so that each of the four adjacent pixel groups is arranged in a 2 ⁇ 2 matrix.
  • a pair of scanning lines are arranged for each pixel row, The pixels of each image row are connected to one scanning line and the other scanning line alternately in units of two pixels.
  • the imaging device A pixel array unit in which a plurality of pixel groups each including four pixels arranged in a 2 ⁇ 2 matrix are arranged; As a pixel group consisting of four pixels, A first pixel group composed of three pixels that receive red light and one pixel that receives infrared light; A second pixel group composed of three pixels that receive blue light and one pixel that receives infrared light; A third pixel group composed of three pixels that receive green light and one pixel that receives infrared light; and A fourth pixel group including three pixels that receive green light and one pixel that receives infrared light; Is formed, The four pixel groups including the first pixel group, the second pixel group, the third pixel group, and the fourth pixel group are configured such that the first pixel group and the second pixel group are located diagonally, The fourth pixel group is arranged to form a set of 2 ⁇ 2 units located
  • Image processing system [B2] A light source unit for irradiating the subject with infrared light; The image processing system according to [B1] above. [B3] An authentication processing unit that performs an authentication process based on the infrared light image; The image processing system according to [B1] or [B2]. [B4] The pixels that receive the infrared light are arranged adjacent to the pixels that receive the infrared light in the adjacent pixel groups, so that each of the four adjacent pixel groups is arranged in a 2 ⁇ 2 matrix.
  • Has been A common on-chip lens is arranged for pixels that receive infrared light arranged in a 2 ⁇ 2 matrix,
  • the authentication processing unit performs authentication processing using at least one of an infrared light image and a depth map generated based on an image plane phase difference of a pixel that receives infrared light.
  • the image processing system according to any one of [B1] to [B3].

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Blocking Light For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、４つの画素から成る画素群として、赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、が形成されており、第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている。

Description

撮像装置、及び、画像処理システム
　本開示は、撮像装置、及び、画像処理システムに関する。特に、可視光画像と赤外光画像とを撮像する場合に用いて好適な撮像装置、及び、画像処理システムに関する。
　半導体加工プロセスの進歩に伴い、Ｂａｙｅｒ配列の１画素を複数画素に分割した構成の撮像装置が提案されている（例えば、特許文献１の図１４参照）。この構成の撮像装置は、同色の画素を加算して読み出すことによってＳ／Ｎ比に優れた画像を得ることができ、また、フル解像度デモザイク処理を施すことによって高解像度の画像を得ることができ、更には、Ｂａｙｅｒ配列の１画素に対応する複数画素のそれぞれにおいて露光条件を異にすることによって、複数回の撮像を必要とせず高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）の画像を得ることができる、といった利点を備えている。
特開２０１１－２９３７９号公報
　近年、画像情報に対して計測処理等を施すセンシング処理を行い、物体の大きさや重心位置、物体までの距離、物体の移動量などといった情報をセンシング情報として用いるといったことが提案されている。
　センシング処理に用いられる画像情報と画像表示（ビューイング）に用いられる画像情報とは、両者の間に視差がない状態で取得できることが好ましい。このため、センシング処理などに用いられる赤外光画像とビューイング処理などに用いられる可視光画像とは１つの撮像装置から得られることが好ましい。しかしながら、Ｂａｙｅｒ配列の１画素を複数画素に分割した構成では、赤外光画像と可視光画像とを１つの撮像装置から得ることができない。
　本開示の目的は、Ｂａｙｅｒ配列の１画素を複数の画素に分割した構成が備える利点を備えつつ、かつ、赤外光画像も取得することができる撮像装置、及び、係る撮像装置を用いた画像処理システムを提供することにある。
　上記の目的を達成するための本開示に係る撮像装置は、
　２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
　４つの画素から成る画素群として、
　赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
　青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
が形成されており、
　第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている、
撮像装置である。
　上記の目的を達成するための本開示に係る画像処理システムは、
　被写体を撮像する撮像装置と、撮像装置からの信号を処理する信号処理部とを備えており、
　撮像装置は、
　２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
　４つの画素から成る画素群として、
　赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
　青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
が形成されており、
　第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている、
画像処理システムである。
図１は、第１の実施形態に係る撮像装置を用いた画像処理システムの基本的な構成図である。 図２は、撮像装置の構成を説明するための模式的な平面図である。 図３は、参考例の撮像装置における画素配列を説明するための模式的な平面図である。 図４は、第１の実施形態に係る撮像装置における画素配列を説明するための模式的な平面図である。 図５は、画素配列とオンチップレンズ配列との関係を説明するための模式的な平面図である。 図６は、撮像装置の模式的な一部端面図である。 図７は、フィルタの分光透過率の模式的なグラフである。 図８は、フル解像度デモザイク処理を伴う画像処理の工程を示す模式的な工程図である。 図９Ａ、図９Ｂは、フル解像度デモザイク処理において補間に用いられる画素の関係を説明するための模式図である。 図１０は、画素加算処理を伴う画像処理の工程を示す模式的な工程図である。 図１１は、ＨＤＲ処理を伴う画像処理の工程を示す模式的な工程図である。 図１２Ａは、露光時間を異にする画素の配列を説明するための模式的な平面図である。図１２Ｂは、画素に接続される走査線と制御対象画素との関係を説明するための模式的な平面図である。 図１３は、デュアルバンドパスフィルタの分光透過率を説明するため模式的なグラフである。 図１４は、デュアルバンドパスフィルタとカラーフィルタを重ねたときの分光透過率を説明するため模式的なグラフである。 図１５は、第２の実施形態に係る撮像装置における画素配列を説明するための模式的な平面図である。 図１６は、画素配列とオンチップレンズ配列との関係を説明するための模式的な平面図である。 図１７は、図１６に引き続き、画素配列とオンチップレンズ配列との関係を説明するための模式的な平面図である。 図１８は、図１７に示すオンチップレンズを備える撮像装置の模式的な一部端面図である。 図１９は、フル解像度デモザイク処理を伴う画像処理の工程を示す模式的な工程図である。 図２０は、画素加算処理を伴う画像処理の工程を示す模式的な工程図である。 図２１は、ローリングシャッター動作時において、赤外光画像を撮像する際の環境赤外光の影響を説明するための模式的な動作図である。 図２２は、図２１に引き続き、ローリングシャッター動作において、赤外光画像を撮像する際の環境赤外光の影響を説明するための模式的な動作図である。 図２３は、ＨＤＲ処理を伴う画像処理の工程を示す模式的な工程図である。 図２４Ａは、露光時間を異にする画素の配列を説明するための模式的な平面図である。図２４Ｂは、画素に接続される走査線と制御対象画素との関係を説明するための模式的な平面図である。 図２５は、第３の実施形態に係る、認証処理やビューイング処理を行う画像処理システムの基本的な構成図である。 図２６は、認証処理工程やビューイング処理工程を伴う画像処理の工程を示す模式的な工程図である。 図２７は、第１の実施形態に係る撮像装置を使用したときの認証処理工程やビューイング処理工程を伴う画像処理の工程を示す模式的な工程図である。 図２８は、可視光を受光する画素における赤外光の影響を低減することができるフィルタ構成を説明するための、撮像装置の模式的な一部端面図である。 図２９は、画素配列の第１変形例を説明するための模式的な平面図である。 図３０は、画素配列の第２変形例を説明するための模式的な平面図である。 図３１は、画素配列の第３変形例を説明するための模式的な平面図である。 図３２は、画素配列の第４変形例を説明するための模式的な平面図である。 図３３は、画素配列の第５変形例を説明するための模式的な平面図である。 図３４は、画素配列の第６変形例を説明するための模式的な平面図である。 図３５は、車両制御システムの概略的な構成の一例を示すブロック図である。 図３６は、車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、図面を参照して、実施形態に基づいて本開示を説明する。本開示は実施形態に限定されるものではなく、実施形態における種々の数値や材料は例示である。以下の説明において、同一要素または同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は、以下の順序で行う。
　１．本開示の撮像装置、及び、画像処理システム、全般に関する説明
　２．第１の実施形態
　３．第２の実施形態
　４．第３の実施形態
　５．各種変形例
　６．応用例
　７．本開示の構成
［本開示の撮像装置、及び、画像処理システム、全般に関する説明］
　上述したように、本開示の撮像装置、及び、本開示の画像処理システムに用いられる撮像装置（以下、これらを総称して、『本開示の撮像装置』と呼ぶ場合がある）にあっては、
　２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
　４つの画素から成る画素群として、
　赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
　青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
が形成されており、
　第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている。
　本開示の撮像装置にあっては、各画素群において、赤外光を受光する画素は、同一の位置に設けられている構成とすることができる。この場合において、画素毎にオンチップレンズが配置されている構成とすることができる。
　上述した各種の好ましい構成を含む本開示の撮像装置にあっては、赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ、緑色フィルタ、及び、青色フィルタのいずれかが配置されており、赤外光を受光する画素に対応して、赤外光透過フィルタが配置されている構成とすることができる。赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて形成されている構成とすることができる。より好ましくは、赤外光透過フィルタは、赤色フィルタ、青色フィルタの２つが積層されて形成されていることが望ましい。
　あるいは又、本開示の撮像装置にあっては、赤外光を受光する画素が、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されている構成とすることができる。
　この場合においても、画素毎にオンチップレンズが配置されている構成とすることができる。あるいは又、赤色光、緑色光、若しくは青色光を受光する画素には、画素毎に、オンチップレンズが配置されており、２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されている構成とすることができる。
　共通のオンチップレンズが配置されている構成にあっては、２×２個の行列状に配置された赤外光を受光する画素によって像面位相差を検出し、赤外光画像と共に距離情報をも得ることができる。
　また、赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ、緑色フィルタ、及び、青色フィルタのいずれかが配置されており、２×２個の行列状に配置された赤外光を受光する画素には、共通の赤外光透過フィルタが配置されている構成とすることができる。この場合において、共通の赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて構成されている構成とすることができる。
　上述した各種の好ましい構成を含む本開示の撮像装置にあっては、赤色、緑色、及び、青色の成分を持つ画像データを画素毎に生成する構成とすることができる。この構成にあっては、画像の高解像度化を図ることができる。
　あるいは又、各画素群において同色の画素のデータを加算して画像データを生成する構成とすることができる。この構成にあっては、同色の画素を加算することによるＳ／Ｎ比の向上を図ることができる。赤外光を受光する画素が２×２個の行列状に配置されている場合には、４つの画素のデータを加算して画像データを生成する構成とすることができる。特に、画素アレイ部において複数の画素の蓄積電荷を加算して読み出す構成とすれば、読み出し速度の高速化も図ることができる。
　あるいは又、各画素群において赤外光を受光する画素を除く３つの画素は、画素に応じて、異なる露光条件で露光される構成とすることができる。この構成にあっては、露光条件を異にする画像情報を用いることによって、高ダイナミックレンジ画像の取得を図ることができる。
　この場合において、
　各画素群において、赤外光を受光する画素は、同一の位置に設けられており、
　一対の走査線が、画素行ごとに配置され、
　各画像行の画素は、画素ごとに交互に、一方の走査線と他方の走査線に接続されている、
構成とすることができる。
　あるいは又、この場合において、
　赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されており、
　一対の走査線が、画素行ごとに配置され、
　各画像行の画素は、２つの画素単位で交互に、一方の走査線と他方の走査線に接続されている、
構成とすることができる。
　上述した各種の好ましい構成の本開示の撮像装置を用いた画像処理システムにあっては、被写体に赤外光を照射する光源部を更に備えている構成とすることができる。
　また、上述した好ましい構成の本開示の画像処理システムにあっては、赤外光画像に基づいて認証処理を行なう認証処理部を更に備えている構成とすることができる。
　この場合において、赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されており、
　２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されており、
　認証処理部は、赤外光画像と、赤外光を受光する画素の像面位相差に基づいて生成されたデプスマップとのうち少なくとも一方を用いて認証処理を行なう構成とすることができる。
　以上に説明した好ましい形態、構成を含む本開示の撮像装置として、ＣＭＯＳイメージセンサなどを挙げることができる。撮像装置は、表面照射型であってもよいし裏面照射型であってもよい。そして、本開示の撮像装置や画像処理システムを用いた装置として、スマートホン、ゲーム用のユーザーインターフェースカメラ、生体認証用カメラ等を例示することができる。本開示の撮像装置を備えるこれら各種の装置は、通常の可視光画像と赤外光画像とを視差のない状態で取得することができ、好適に画像処理を行なうことができる。
　画素アレイ部が形成される基板として、半導体基板、特に、シリコン半導体基板を挙げることができる。シリコン半導体基板は、可視光に加えて波長が１μｍ程度の光も吸収する。従って、シリコン基板に形成されたフォトダイオードやフォトトランジスタなどといった光電変換素子は、可視光に加え、赤外光についても光電変換を行うことができる。
　カラーフィルタや赤外光透過フィルタとして、赤色、緑色、青色等の特定波長を透過させるフィルタ層を挙げることができる。各種フィルタは、例えば、顔料や染料等の有機化合物を用いた有機材料系の材料層から構成することができる。
　カラーフィルタや赤外光透過フィルタの他、撮像装置を構成する層間絶縁層や平坦化層などは、各種化学的気相成長法（ＣＶＤ法）、塗布法、各種物理的気相成長法（ＰＶＤ法）等の公知の方法に基づき形成することができる。また、パターニング法として、リソグラフィ技術とエッチング技術との組合せや、リフトオフ法などの公知の方法を挙げることができる。
　本開示の撮像装置にあっては、集光効率を向上させるために、画素の上方にオンチップレンズ（ＯＣＬ）が配置されている形態とすることができる。オンチップレンズは、透明材料であって屈折率が大きい材料から成ることが好ましい。
　撮像装置に用いられる層間絶縁層や平坦化層を透明な材料で構成する場合、例えば、光吸収特性を有していない絶縁材料、具体的には、ＳｉＯX系材料（シリコン系酸化膜を構成する材料）、ＳｉＮ、ＳｉＯＮ、ＳｉＯＣ、ＳｉＯＦ、ＳｉＣＮ、有機ＳＯＧなどの低誘電率絶縁材料、ポリイミド系樹脂、フッ素系樹脂などを材料として用いることができる。オンチップレンズについても、基本的には同様である。
　本開示の画像処理システムにあっては、被写体からの光を結像するレンズ等から成る光学部や、被写体に赤外光を照射する光源部などを、必要に応じて適宜備える構成とすることができる。光源部の構成は特に限定するものではなく、赤外光発光ダイオードなどといった、周知の発光素子を用いることができる。
　撮像装置からの信号を処理する信号処理部は、ハードウェアによる物理的な結線に基づいて動作するといった構成であってもよいし、プログラムに基づいて動作するといった構成であってもよい。認証処理部やビューイング処理部、更には、画像処理システム全体を制御する制御部などにおいても同様である。また、画像処理システムはユニットとして一体化されていてもよいし、別体として構成されていてもよい。
　本明細書に示す種々の要件において、設計上あるいは製造上生ずる種々のばらつきなどの存在は許容される。また、以下の説明で用いる図は模式的なものである。例えば、後述する図６は撮像装置の端面構造を示すが、幅、高さ、厚さなどの割合を示すものではない。
［第１の実施形態］
　第１の実施形態は、本開示に係る撮像装置、及び、係る撮像装置を用いた画像処理システムに関する。
　図１は、第１の実施形態に係る撮像装置を用いた画像処理システムの基本的な構成図である。図２は、撮像装置の構成を説明するための模式的な平面図である。
　図１に示す画像処理システム１は、
　被写体を撮像する撮像装置１００と、撮像装置１００からの信号を処理する信号処理部２００とを備えている。更に、
　被写体からの光を結像する光学部（撮像レンズ）３００、
　被写体に赤外光を照射する光源部４００、
が設けられている。画像処理システム１全体の動作は、図示せぬ制御部などによって制御される。
　図２に示す撮像装置１００は、半導体材料として例えばシリコン（Ｓｉ）を用いた半導体基板に、画素１０１が２次元アレイ状に配列された画素アレイ部１０２、画素アレイ部１０２を駆動するための駆動部１１０とが形成されて構成されている。駆動部１１０は、カラム処理部１１１、水平駆動部１１２、垂直駆動部１１３などから構成されている。撮像装置１００は、所謂ＣＭＯＳイメージセンサである。
　画素１０１は、例えばフォトダイオード（ＰＤ）などによる光電変換部と画素トランジスタなどから構成される。画素の構成にもよるが、画素トランジスタは、例えば、転送トランジスタ、選択トランジスタ、リセットトランジスタ、及び、増幅トランジスタといった各種トランジスタから構成される。
　次いで、駆動部１１０の基本的な動作について説明する。
　垂直駆動部１１３は、例えばシフトレジスタによって構成され、所定の走査線１０４を選択し、選択された走査線１０４に接続された画素１０１を行単位で駆動する。垂直駆動部１１３は、画素アレイ部１０２を垂直方向に選択走査し、受光量に応じて各画素１０１が生成した信号電荷に基づく画素信号を、信号線１０３を通してカラム処理部１１１に供給させる。
　カラム処理部１１１は、画素列ごとに配置されている。カラム処理部１１１は、１行分の画素１０１から出力される信号について処理を行い、相関二重サンプリング（ＣＤＳ）やＡ／Ｄ変換といった処理を行なう。
　水平駆動部１１２も、垂直駆動部１１３と同様に、例えばシフトレジスタによって構成されている。水平駆動部１１２は、画素列ごとに配置されているカラム処理部１１１の各々を順次選択し、画素信号を出力させる。
　以上、駆動部１１０の基本的な動作について説明した。
　尚、画素１０１は、撮像装置１００の動作モードに応じて、隣り合う画素を複数纏めて扱うビニング動作が可能なように構成されていてもよい。ビニング動作の場合、複数の画素において、画素トランジスタのいくつかが共有されるように動作する。
　また、図２においては、各画素行と各画素列とに走査線１０４と信号線１０３とが一本ずつ配されるとして示したが、これは例示に過ぎない。例えば、一回の撮像でＨＤＲの画像を取得する場合、画素に応じて露光時間を制御する必要がある。このような場合、少なくとも一部の画素行には複数の走査線を配する必要が生ずる。
　引き続き、画素アレイ部の画素配置について説明する。本開示の理解を助けるため、先ず、参考例の撮像装置の画素配置を説明し、次いで、第１の実施形態について説明する。
　図３は、参考例の撮像装置における画素配列を説明するための模式的な平面図である。
　参考例の画素アレイ部９０２には、通常のＢａｙｅｒ配列の１画素を、２×２個の行列状に配置された４つの画素に置き換えたといった形で、画素が配列されている。図において、符号Ｒは赤色光を受光する画素、符号Ｇは緑色光を受光する画素、符号Ｂは青色光を受光する画素を示す。他の図面においても同様である。
　この画素配列は、同色の画素を加算して読み出すことによってＳ／Ｎ比に優れた画像を得ることができ、また、フル解像度デモザイク処理を施すことによって高解像度の画像を得ることができ、更には、Ｂａｙｅｒ配列の１画素に対応する複数画素のそれぞれにおいて露光条件を異にすることによって、複数回の撮像を必要とせず高ダイナミックレンジの画像を得ることができる、といった利点を備えている。しかしながら、赤外光画像と可視光画像とを１つの撮像装置から得ることができない。
　図４は、第１の実施形態に係る撮像装置における画素配列を説明するための模式的な平面図である。
　撮像装置１００にあっては、２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部１０２を備えている。
　具体的には、４つの画素から成る画素群として、
　赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群ＧＰ１、
　青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群ＧＰ２、
　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群ＧＰ３、及び、
　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群ＧＰ４、
が形成されている。
　第１画素群ＧＰ１、第２画素群ＧＰ２、第３画素群ＧＰ３、及び、第４画素群ＧＰ４から成る４つの画素群は、第１画素群ＧＰ１と第２画素群ＧＰ２とが対角に位置し第３画素群ＧＰ３と第４画素群ＧＰ４とが対角に位置する２×２個単位の組を成すように配置されている。後述する第２の実施形態においても同様である。尚、赤外光を受光する画素を符号ＩＲを用いて表した。他の図面においても同様である。
　各画素群において、赤外光を受光する画素は、同一の位置に設けられている。図４は、各画素群において、２×２行の右下側に赤外光を受光する画素が設けられている場合の例を示した。
　以上、画素配列について説明した。引き続き、画素配列とオンチップレンズの配列関係や各種構成要素の配置関係について説明する。
　図５は、画素配列とオンチップレンズ配列との関係を説明するための模式的な平面図である。図６は、撮像装置の模式的な一部端面図である。
　図５や図６に示すように、撮像装置１００にあっては、画素毎にオンチップレンズ４１が配置されている。また、図６に示すように、赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ３０R、緑色フィルタ３０G、及び、青色フィルタ３０Bのいずれかが配置されている。そして、赤外光を受光する画素に対応して、赤外光透過フィルタ３０IRが配置されている。尚、上述のフィルタを纏めてフィルタ３０と表記する場合がある。
　図６にあっては、図示の都合上、便宜的に、赤色光用、緑色光用、青色光用、赤外光用の構成要素は一列に配列されているとして示した。各画素が備える光電変換部１１の光入射面側には、フィルタ３０と、オンチップレンズ４１とが、積層されて配されている。
　光電変換部１１は、例えばシリコンから成る半導体基板１０に形成されている。尚、光電変換部１１を構成するフォトダイオード等やこれに接続される配線等の図示は省略した。符号２１は、隣接する光電変換部１１と光電変換部１１との間に位置するように配された遮光層を示し、符号２０は、遮光層２１などを覆う平坦化層を示す。更に、その上に、フィルタ３０が形成されている。フィルタ３０の全面を覆うように透明材料層４０が形成されている。透明材料層４０の表面は、各光電変換部１１に対応したレンズ状に形成され、オンチップレンズ４１を構成する。
　フィルタ３０は、これらを構成するための材料層をリソグラフィ特性を有する材料を用いて構成し、露光などによってパターニングを行うことで形成することができる。あるいは又、材料層の上層にフォトレジストを成膜すると共にリソグラフィ技術によって選択的に残し、ドライエッチングなどで加工するといったことでパターニングを行うことによって形成することもできる。
　図７は、フィルタの分光透過率の模式的なグラフである。図に示すように、撮像装置向けとして市場に流通しているカラーフィルタは、概ね、８００ｎｍより長波長側において１００パーセントに近い透過率を示す。尚、後述する図２８に示すように、赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて形成されている構成とすることもできる。
　上述したように、撮像装置１００において、各画素群は、赤色光用の画素、緑色光用の画素、及び、青色光用の画素のいずれかを３つ備え、かつ、１つの赤外光用の画素を備えている。これによって、Ｂａｙｅｒ配列の１画素を複数の画素に分割した構成が備える利点を備えつつ、かつ、赤外光画像も取得することができる。
　図１に示す画像処理システム１にあっては、赤色、緑色、及び、青色の成分を持つ画像データを画素毎に生成することによって、高解像度の画像を得ることができる。以下、図８を参照して説明する。
　図８は、フル解像度デモザイク処理を伴う画像処理の工程を示す模式的な工程図である。図示の都合上、第１画素群ＧＰ１、第２画素群ＧＰ２、第３画素群ＧＰ３、第４画素群ＧＰ４から成る４×４行、計１６個の画素についての処理を模式的に示す。後述する他の図面においても同様である。
　撮像装置１００からの画素信号は、赤色光用の画素、緑色光用の画素、及び、青色光用の画素（以下、これらを、可視光用の画素と呼ぶ場合がある）の画素信号と、赤外光用の画素の画素信号とに分離される（ステップＳ１１：ＩＲ／可視分離）。ここでは、分離されたものを、ＲＧＢ情報並びにＩＲ情報と称する。また、記載の都合上、画素の符号が画素の情報を表すものとして表記する場合がある。後述する他の図面においても同様である。
　ＲＧＢ情報については、適宜補間処理を行なって、高解像度の情報を生成する（ステップＳ１２：ＲＧＢ情報補間）。次いで、ベイヤ化の処理を行なう（ステップＳ１４：Ｂａｙｅｒ化）。
　図７を参照して説明したが、カラーフィルタは、対象光に加えて、赤外領域の波長に対しても透過性を示す。図８では、ベイヤ化された情報を（Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ）と模式的に表した。ここで、「＋ＩＲ」といった記載は、可視光成分に加えて赤外光成分が含まれていることを示す。後述する他の図面においても同様である。
　ＩＲ情報については、通常のＢａｙｅｒ配列に対応した情報となるように、適宜補間処理を行なう（ステップＳ１３：ＩＲ情報補間）。
　ステップＳ１２やステップＳ１３における補間処理は、特に限定するものではなく、周知の方法を用いて行なうことができる。ここでは、ステップＳ１３における補間処理の例について、図を参照して説明する。
　図９Ａ、図９Ｂは、フル解像度デモザイク処理において補間に用いられる画素の関係を説明するための模式図である。
　図９Ａにおいて符号Ｒ14で示す画素に対応したＩＲ情報（符号ＩＲ14と表す）は、例えば、画素Ｒ14の周囲に位置する赤外光用の画素（符号ＩＲ2，ＩＲ3，ＩＲ4，ＩＲ23）の情報を用いて、
　　ＩＲ14＝（ＩＲ2＋ＩＲ3＋ＩＲ4＋ＩＲ23）／４
といった計算によって補間することができる。
　また、図９Ｂにおいて符号Ｒ24で示す画素に対応したＩＲ情報（符号ＩＲ24と表す）は、例えば、画素Ｒ14の上と下に位置する赤外光用の画素（符号ＩＲ4，ＩＲ23）の情報を用いて、
　　ＩＲ24＝（ＩＲ4＋ＩＲ23）／２
といった計算によって補間することができる。
　以上、補間処理について説明した。引き続き、図８を参照して、ステップＳ１４やステップＳ１３に続く工程を説明する。
　補間後のＲＧＢ情報から補間後のＩＲ情報を除算することによって、補間後のＲＧＢ情報に含まれる赤外光成分を除去する（ステップＳ１５：ＩＲ成分除去）。より詳しくは、撮像装置１００の仕様等に応じて、所定の係数を補間後のＩＲ情報に乗算した状態で処理を行なう。図８では、赤外光成分が除去された情報を（Ｒ、Ｇ、Ｂ）と模式的に表した。
　ステップＳ１５の後のＲＧＢ情報は、通常のＢａｙｅｒ配列の情報であって、かつ、赤外光による影響も軽減された情報である。これに基づいて、通常のＢａｙｅｒ処理を施すことによって、高解像度の画像情報を得ることができる（ステップＳ１６：Ｂａｙｅｒ処理）。
　以上、高解像度の画像を得ることができる工程について説明した。
　図１に示す画像処理システム１にあっては、また、各画素群において同色の画素のデータを加算して画像データを生成することによって、Ｓ／Ｎに優れた画像を得ることができる。以下、図１０を参照して説明する。
　図１０は、画素加算処理を伴う画像処理の工程を示す模式的な工程図である。
　撮像装置１００からの画素信号は、可視光用の画素の画素信号と、赤外光用の画素の画素信号とに分離される（ステップＳ２１：ＩＲ／可視分離）。これは、図８において説明した工程と同様であるので、説明を省略する。
　ＲＧＢ情報については、画素群ごとに、同色の画素情報を加算する処理を行なう（ステップＳ２２：ＲＧＢ情報加算）。複数の画素の情報を加算することによって、結果として、Ｓ／Ｎが向上する。
　ＩＲ情報については、４つの画素群に含まれる情報を加算する処理を行なう（ステップＳ２３：ＩＲ情報加算）。
　加算後のＲＧＢ情報から加算後のＩＲ情報を除算することによって、加算後のＲＧＢ情報に含まれる赤外光成分を除去する（ステップＳ２４：ＩＲ成分除去）。より詳しくは、撮像装置１００の仕様等に応じて、所定の係数を加算後のＩＲ情報に乗算した状態で処理を行なう。
　ステップＳ２４の後のＲＧＢ情報は、解像度は低下したものの、通常のＢａｙｅｒ配列の情報であって、かつ、赤外光による影響も軽減された情報である。これに基づいて、通常のＢａｙｅｒ処理を施すことによって、画像情報を得ることができる（ステップＳ２５：Ｂａｙｅｒ処理）。
　以上、Ｓ／Ｎに優れた画像を得ることができる工程について説明した。
　図１に示す画像処理システム１にあっては、また、各画素群において赤外光を受光する画素を除く３つの画素は、画素に応じて、異なる露光条件で露光されることによって、ダイナミックレンジに優れた画像を得ることができる。以下、図１１を参照して説明する。
　図１１は、ＨＤＲ処理を伴う画像処理の工程を示す模式的な工程図である。
　撮像装置１００において、２×２個の画素群のうち、可視光用の画素３つは、それぞれ異なる露光条件で露光される。図において、符号Ｌは長時間露光される画素、符号Ｍは中時間露光される画素、符号Ｓは短時間露光される画素を示す。長時間露光とは、中時間露光よりも長い時間での露光である。中時間露光とは、短時間露光よりも長い時間での露光である。
　図１２Ａは、露光時間を異にする画素の配列を説明するための模式的な平面図である。図１２Ｂは、画素に接続される走査線と制御対象画素との関係を説明するための模式的な平面図である。
　図１２Ａに示すように、各画素群において、赤外光を受光する画素は、同一の位置に設けられている。そして、図１２Ｂに示すように、一対の走査線が、画素行ごとに配置されている。各画像行の画素は、画素ごとに交互に、一方の走査線と他方の走査線に接続されている。具体的には、第１の走査線は短時間露光される画素にコンタクトを介して接続され、第２の走査線は中時間露光される画素にコンタクトを介して接続され、第３の走査線は長時間露光される画素にコンタクトを介して接続され、第４の走査線はIR画素にコンタクトを介して接続される。ＩＲ画素での露光時間は、ＩＲ画素に適した露光時間が設定され、一例としては中時間露光の露光時間よりも長く、長時間露光の露光時間よりも短い露光時間が設定される。尚、各走査線と各コンタクトとの関係は、図１２Ｂの構成に限定されず、同一の露光時間を有する画素に対して同一の走査線がコンタクトを介して接続されていれば、どのような構成であっても良い。
　撮像装置１００からの画素信号は、可視光用の画素の画素信号と、赤外光用の画素の画素信号とに分離される（ステップＳ３１：ＩＲ／可視分離）。これは、図８において説明した工程と同様であるので、説明を省略する。
　ＲＧＢ情報については、画素群ごとに、露光時間の異なる画素情報に基づいてダイナミックレンジが拡大されたＲＧＢ情報を合成する（ステップＳ３２：ＨＤＲ情報合成）。
　ＩＲ情報については、４つの画素群に含まれる情報を加算する処理を行なう（ステップＳ３３：ＩＲ情報加算）。
　合成後のＲＧＢ情報から加算後のＩＲ情報を除算することによって、合成後のＲＧＢ情報に含まれる赤外光成分を除去する（ステップＳ３４：ＩＲ成分除去）。より詳しくは、撮像装置１００の仕様等に応じて、所定の係数を加算後のＩＲ情報に乗算した状態で処理を行なう。
　ステップＳ３４の後のＲＧＢ情報は、解像度は低下したものの、通常のＢａｙｅｒ配列の情報であって、かつ、ダイナミックレンジが拡大されたＲＧＢ情報である。これに基づいて、通常のＢａｙｅｒ処理を施すことによって、ダイナミックレンジが拡大された画像情報を得ることができる（ステップＳ３５：Ｂａｙｅｒ処理）。
　以上、第１の実施形態について説明した。第１の実施形態の画像処理システムにあっては、例えば、低照度時は複数画素加算、高照度時はリモザイクによるフル解像度信号を作りだすといったことができる。あるいは又、ＩＲ画素と他の画素の露光時間を個別に制御することで、ＩＲ混色に起因するＳ／Ｎ低下の防止を図ることができる。更には、例えば低照度時の撮像において、ＩＲ画素の信号をガイドとして可視光画像にＮＲ処理を施すといった高画質化処理を施すこともできる。
　尚、上述の説明においては、可視光画素は赤外光成分を含んだ画像を撮像するとして説明した。場合によっては、可視光と、所定の範囲の赤外光とに透過帯を有するデュアルバンドパスフィルタを用いて、可視光画素における赤外光成分の影響を低減するといった構成とすることもできる。図１３は、デュアルバンドパスフィルタの分光透過率を説明するため模式的なグラフである。図１４は、デュアルバンドパスフィルタとカラーフィルタを重ねたときの分光透過率を説明するため模式的なグラフである。
［第２の実施形態］
　第２の実施形態も、本開示に係る撮像装置、及び、係る撮像装置を用いた画像処理システムに関する。
　第２の実施形態は、画素アレイ部における画素配列やオンチップレンズの配列が相違する他は、第１の実施形態において説明した構成と同様である。第２の実施形態における画像処理システム２の模式的な構成図は、図１において、撮像素子１００を撮像素子１００Ａと読み替え、画像処理システム１を画像処理システム２と読み替えればよい。
　図１５は、第２の実施形態に係る撮像装置における画素配列を説明するための模式的な平面図である。
　撮像装置１００Ａにあっては、２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部１０２Ａを備えている。
　第１の実施形態においては、各画素群において、赤外光を受光する画素は、同一の位置に設けられていた。これに対し、第２の実施形態にあっては、赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されている。
　以上、画素配列について説明した。引き続き、画素配列とオンチップレンズの配列関係や各種構成要素の配置関係について説明する。
　第２の実施形態においては、第１の実施形態と同様に、画素毎にオンチップレンズ４１が配置されている構成とすることができる。図１６はこの例を示す。
　あるいは又、第２の実施形態とは異なり、赤色光、緑色光、若しくは青色光を受光する画素には、画素毎に、オンチップレンズが配置されており、２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されている構成とすることもできる。図１７はこの例を示し、通常のオンチップレンズ４１と共通のオンチップレンズ４１Ａとの配置関係を示している。図１８は、図１７に示すオンチップレンズを備える撮像装置の模式的な一部端面図である。
　共通のオンチップレンズが配置されている撮像装置は、赤外光画像の撮像に加えて、ＩＲ画素における像面位相差を用いて測距も可能となるといった利点を備えている。以下、２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されているとして説明する。一般に、カラーフィルタ形成は、隣接画素で色配列が異なると、異なる色の隣接画素間でのカラーフィルタの重なりが生じてしまうおそれがあり、その部分が光の透過を遮断し、無効領域となってしまう。第２の実施形態では、４つのＩＲ画素が隣接して配置されることで、異なるカラーフィルタ間の境界が少なくなるため、隣接画素間でのカラーフィルタの重なりが減り、感度を向上させることができる。より望ましくは、図１８で示されるように、２×２個の行列状に配置された赤外光を受光する画素は、単一のカラーフィルタで形成されることで、より感度を向上させることができる。
　第２の実施形態に係る画像処理システム２においても、赤色、緑色、及び、青色の成分を持つ画像データを画素毎に生成することによって、高解像度の画像を得ることができる。
　図１９は、フル解像度デモザイク処理を伴う画像処理の工程を示す模式的な工程図である。
　第１の実施形態において、図８を参照してフル解像度デモザイク処理を伴う画像処理の工程を説明した。図１９においては、画素配列の差に伴ってＲＧＢ情報の補間やＩＲ情報の補間の計算式などが相違する他、基本的には同様な工程である。従って、説明は省略する。
　また、第２の実施形態に係る画像処理システム２においても、各画素群において同色の画素のデータを加算して画像データを生成することによって、Ｓ／Ｎに優れた画像を得ることができる。以下、図２０を参照して説明する。
　図２０は、画素加算処理を伴う画像処理の工程を示す模式的な工程図である。
　第１の実施形態において、図１０を参照して画素加算処理を伴う画像処理の工程を説明した。図２０における工程も基本的には同様であるが、可視光用の画素と共に赤外光用の画素についても画素アレイレベルでのビニング動作が可能といった点が相違する。
　即ち、第１の実施形態にあっては、ＩＲ画素が離散して配置されていた。このため、ＩＲ画素に対しては、隣り合う画素を複数纏めて扱う画素アレイレベルでのビニング動作を行い難い。従って、ＩＲ画素情報を個別に取り出したのち外部で加算するといった動作が必要となり、処理に時間を要する。
　これに対し、第２の実施形態にあっては、可視光用の画素および赤外光用の画素について画素アレイレベルでのビニング動作が可能である。従って、動作の高速化を図ることができる。動作の高速化によって得られる利点について説明する。
　図２１は、ローリングシャッター動作時において、赤外光画像を撮像する際の環境赤外光の影響を説明するための模式的な動作図である。
　ローリングシャッター動作にあっては、画素行毎に露光期間の始期と終期が変化する。このため、前フレームにおける最終行のシャッター開始から現フレームにおける読み出し開始までの間に能動的に赤外光を照射して撮像するといった場合にあっても、読み出しに係る期間の間、環境光のみが照射された状態で露光が行なわれる。
　図２２は、図２１に引き続き、ローリングシャッター動作において、赤外光画像を撮像する際の環境赤外光の影響を説明するための模式的な動作図である。
　図２２では、図２１に対して読み出しが高速化されている場合を示す。シャッター設定期間は、図２１と図２２とで同一である。しかしながら、環境光のみが照射されて露光される期間の長さは図２１に対して短くなっている。従って、動作の高速化によって、赤外光画像を撮像する際の環境赤外光の影響を軽減することができる。
　図２１や図２２の例では、前フレームにおける最終行のシャッター開始から現フレームにおける読み出し開始までの間に能動的に赤外光を照射するとして説明した。図２１や図２２において、環境光のみと示す部分においても能動的に赤外光を照射するとすれば、環境赤外光の影響を軽減することができる。この場合には、動作の高速化によって赤外光を照射する期間を短くすることができるので、赤外光の照射に伴う消費電力を軽減することができる。
　以上、画素アレイレベルでのビニング動作による利点について説明した。
　画像処理システム２にあっては、また、各画素群において赤外光を受光する画素を除く３つの画素は、画素に応じて、異なる露光条件で露光されることによって、ダイナミックレンジに優れた画像を得ることができる。以下、図２３を参照して説明する。
　図２３は、ＨＤＲ処理を伴う画像処理の工程を示す模式的な工程図である。
　撮像装置１００Ａにおいて、２×２個の画素群のうち、可視光用の画素３つは、それぞれ異なる露光条件で露光される。図において、符号Ｌは長時間露光される画素、符号Ｍは中時間露光される画素、符号Ｓは短時間露光される画素を示す。
　第１の実施形態において、図１１を参照してＨＤＲ処理を伴う画像処理の工程をを説明した。図２３においては、画素配列などが相違する他、基本的には同様な工程である。従って、説明は省略する。
　図２４Ａは、露光時間を異にする画素の配列を説明するための模式的な平面図である。図２４Ｂは、画素に接続される走査線と制御対象画素との関係を説明するための模式的な平面図である。
　図２４Ａに示すように、赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されている。そして、図２４Ｂに示すように、一対の走査線が、画素行ごとに配置されている。各画像行の画素は、２つの画素単位で交互に、一方の走査線と他方の走査線に接続されている。具体的には、第１の走査線は中時間露光される画素にコンタクトを介して接続され、第２の走査線は長時間露光される画素にコンタクトを介して接続され、第３の走査線はIR画素にコンタクトを介して接続され、第４の走査線は長時間露光される画素にコンタクトを介して接続される。ＩＲ画素での露光時間は、ＩＲ画素に適した露光時間が設定され、一例としては中時間露光の露光時間よりも長く、長時間露光の露光時間よりも短い露光時間が設定される。尚、各走査線と各コンタクトとの関係は、図２４Ｂの構成に限定されず、同一の露光時間を有する画素に対して同一の走査線がコンタクトを介して接続されていれば、どのような構成であっても良い。
　　以上、第２の実施形態について説明した。第２の実施形態の画像処理システムは、第１の実施形態の画像処理システムにおける効果に加えて、画素アレイレベルでのビニング動作が容易であるといった効果を備えている。
［第３の実施形態］
　第３の実施形態は、本開示に係る撮像装置を用いた画像処理システムに関する。
　第２の実施形態において、ＩＲ画素に共通のオンチップレンズが配置されている構成にあっては、赤外光画像の撮像に加えて、ＩＲ画素における像面位相差を用いて測距も可能となるといったことを説明した。第３の実施形態は、第２の実施形態に係る撮像装置を用いた、認証処理やビューイング処理を行う画像処理システムである。
　図２５は、第３の実施形態に係る、認証処理やビューイング処理を行う画像処理システムの基本的な構成図である。
　図２５に示す画像処理システム３は、
　被写体を撮像する撮像装置１００Ａと、撮像装置１００Ａからの信号を処理する信号処理部２００と、赤外光画像に基づいて認証処理を行なう認証処理部２１０とを備えている。画像処理システム３は、更に、
　ビューイング処理を行なうビューイング処理部２２０、
　被写体からの光を結像する光学部（撮像レンズ）３００、
　被写体に赤外光を照射する光源部４００、
が設けられている。画像処理システム２全体の動作は、図示せぬ制御部などによって制御される。
　図２６は、認証処理工程やビューイング処理工程を伴う画像処理の工程を示す模式的な工程図である。
　撮像装置１００Ａからの画素信号は、可視光用の画素の画素信号と、赤外光用の画素の画素信号とに分離される（ステップＳ５１：ＩＲ／可視分離）。そして、分離されたＲＧＢ情報に基づいて、ビューイング処理が施される（ステップＳ５２：ビューイング処理）。
　分離されたＩＲ情報は、赤外光画像として用いられる。また、離されたＩＲ情報に基づいて位相差が検出され、距離画像の情報が生成される（ステップＳ５３：位相差検出）。そして、認証処理部２１０は、赤外光画像と、赤外光を受光する画素の像面位相差に基づいて生成されたデプスマップとのうち少なくとも一方を用いて認証処理を行なう。例えば、赤外光画像と距離画像の情報に基づいて、３Ｄ顔認証、虹彩認証などといった統合的な認証を行うことができる（ステップＳ５４）。
　尚、上述したステップに併せて、図１９、図２０、図２３を参照して説明した、フル解像度デモザイク処理を伴う画像処理、画素加算による画像処理、ＨＤＲ処理を伴う画像処理を適宜行なえばよい。
　距離画像の情報を得るためにストラクチャーライトのように特定のパターンで赤外光を照射するといったシステムでは、虹彩の撮像を良好に行なうことが難しい。すなわち、このようなシステムでは、虹彩の情報を認証に用いるといった構成は取り難い。
　これに対して、画像処理システム３にあっては、距離画像の情報を得るために、特定のパターンで赤外光を照射するといったことを必要としない。即ち、光源部はフラットな赤外光を被写体に照射すれば足りるので、虹彩の撮像も良好に行なうことができ、虹彩の情報を認証に用いるといった態様とすることができる。
　以上、第３の実施形態について説明した。第３の実施形態の画像処理システムは、フラットな赤外光の照射下で測距が可能であり、単眼構成で、ビューイング画像の取得と同時に赤外光画像を用いた虹彩認証、赤外光画像による距離情報を用いた３Ｄ顔認証やジェスチャ認識などといったセンシング処理を行なうことができる。
　可視光の撮像による顔検出や顔認証においては、写真などによるなりすましを判定することが難しい。本願では、単眼構成において画像とデプスマップを共に取得することができるので、ＩＲセンサを別途付加することなく、写真などによるなりすましを判定することができる。
　尚、第２の実施形態に係る撮像装置を用いた画像処理システムの場合には、デプスマップの生成はできないものの、虹彩の情報を認証に用いるといったことは可能である。図２７は、第１の実施形態に係る撮像装置を使用したときの認証処理工程やビューイング処理工程を伴う画像処理の工程を示す模式的な工程図である。
［各種変形例］
　引き続き、各種の変形例について説明する。
　上述の説明にあっては、カラーフィルタの特性上、可視光用の画素が赤外光の影響を受けるといった構成であった。場合によっては、可視光用の画素が赤外光の影響を受ける程度を軽減したいといったことも考えられる。
　図２８は、可視光を受光する画素における赤外光の影響を低減することができるフィルタ構成を説明するための、撮像装置の模式的な一部端面図である。
　図２８において、可視光用の画素のカラーフィルタ構成は２層構造となっている。より具体的には、赤外光吸収フィルタ３０IRAとカラーフィルタとの積層構造となっている。この構成であれば、可視光用の画素が赤外光の影響を受ける程度を軽減することができる。
　また、図２８の例では、赤外光用の画素のフィルタは可視光用のフィルタが２種積層されて構成されている。従って、カラーフィルタとは別に赤外光透過フィルタを形成するといったことを要しない。赤外光用の画素に用いられる２種積層される可視光用のフィルタは、Ｒ，Ｇ，Ｂ透過フィルタのうち任意の２種のフィルタを用いることが可能である。任意の組み合わせの中で、最も適した組み合わせは、図２８の例で示したＲ透過フィルタとＢ透過フィルタとの組み合わせである。理由は、図７の分光特性で示したように、可視光領域においてＲ透過フィルタの透過領域とＢ透過フィルタの透過領域とのオーバーラップが最も少ないためである。したがって、Ｒ透過フィルタとＢ透過フィルタとの組み合わせによって、より効果的に可視光を遮断しつつ赤外光を透過することができる。尚、赤外光用の画素に用いられる可視光用のフィルタは、２種積層に限定されず、３種以上の可視光用のフィルタが積層されても良い。
　次いで、画素配置の変形例について説明する。
　図２９は、画素配列の第１変形例を説明するための模式的な平面図である。
　図２９は、第１の実施形態の画素配列の変形であって、画素群ごとに共通のオンチップレンズが設けられている。尚、図には８×８個の画素を示しているが、上側の８×４個は画素配置のみ、下側の８×４個は画素配置にオンチップレンズの配置を重ねて示した。後述する図３０、図３１、図３２、図３３、図３４においても同様である。
　図３０の構成は、可視光の撮像において像面位相差を検出することができるといった利点を備えている。従って、例えば、可視光の距離情報と赤外光の顔画像を用いた３Ｄ顔認証が可能である。また、虹彩認証についても同様に可能である。
　図３０は、画素配列の第２変形例を説明するための模式的な平面図である。
　図３０は、第１の実施形態の画素配列の変形であって、１つの画素が２つの光電変換部を備えたといった構成である。オンチップレンズは画素毎に設けられている。
　図３０の構成は、１つの画素が２つの光電変換部を備えており、像面位相差の検出が可能といった利点を備えている。
　図３１は、画素配列の第３変形例を説明するための模式的な平面図である。
　図３１は、２×２個の同色の画素群を配置し、かつ、一部の画素群を赤外光用とした構成である。画素毎にオンチップレンズが配置されている。
　図３２は、画素配列の第４変形例を説明するための模式的な平面図である。
　図３２も、２×２個の同色の画素群を配置し、かつ、一部の画素群を赤外光用とした構成である。可視光用の画素については画素毎にオンチップレンズが配置され、赤外光用の画素については２×２の画素に共通のオンチップレンズが配置されている。
　図３３は、画素配列の第５変形例を説明するための模式的な平面図である。
　図３３も、２×２個の同色の画素群を配置し、かつ、一部の画素群を赤外光用とした構成である。可視光用の画素および赤外光用の画素については、２×２の画素に共通のオンチップレンズが配置されている。
　図３４は、画素配列の第６変形例を説明するための模式的な平面図である。
　図３４も、２×２個の同色の画素群を配置し、かつ、一部の画素群を赤外光用とした構成である。可視光用の画素および赤外光用の画素については、２×２の画素に共通のオンチップレンズが配置されている。
　以上説明した本開示に係る各種の撮像装置は、Ｂａｙｅｒ配列の１画素を複数の画素に分割した構成が備える利点、例えば、同色の画素を加算して読み出すことによるＳ／Ｎ比の向上、フル解像度デモザイク処理を施すことによる高解像度化、といった利点を備えつつ、赤外光画像の情報と可視光画像の情報とを１つの撮像装置から得ることができる。また、本開示に係る撮像装置を用いた画像処理システムによれば、単眼構成においてビューイング画像の取得と同時にセンシング処理を行なうことができる。
［応用例］
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図３５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図３６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図３６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図３５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図３５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　本開示に係る技術は、以上説明した構成のうち、例えば、車外情報検出ユニットの撮像部に適用され得る。
　尚、本開示の技術は以下のような構成も取ることができる。
［Ａ１］
　２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
　４つの画素から成る画素群として、
　赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
　青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
が形成されており、
　第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている、
撮像装置。
［Ａ２］
　各画素群において、赤外光を受光する画素は、同一の位置に設けられている、
上記［Ａ１］に記載の撮像装置。
［Ａ３］
　画素毎にオンチップレンズが配置されている、
上記［Ａ２］に記載の撮像装置。
［Ａ４］
　赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ、緑色フィルタ、及び、青色フィルタのいずれかが配置されており、
　赤外光を受光する画素に対応して、赤外光透過フィルタが配置されている、
上記［Ａ１］または［Ａ２］に記載の撮像装置。
［Ａ５］
　赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて形成されている、
上記［Ａ４］に記載の撮像装置。
［Ａ６］
　赤外光透過フィルタは、赤色フィルタ、青色フィルタの２つが積層されて形成されている、
上記［Ａ５］に記載の撮像装置。
［Ａ７］
　赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されている、
上記［Ａ１］に記載の撮像装置。
［Ａ８］
　画素毎にオンチップレンズが配置されている、
上記［Ａ７］に記載の撮像装置。
［Ａ９］
　赤色光、緑色光、若しくは青色光を受光する画素には、画素毎に、オンチップレンズが配置されており、
　２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されている、
上記［Ａ７］に記載の撮像装置。
［Ａ１０］
　赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ、緑色フィルタ、及び、青色フィルタのいずれかが配置されており、
　２×２個の行列状に配置された赤外光を受光する画素には、共通の赤外光透過フィルタが配置されている、
上記［Ａ７］ないし［Ａ９］のいずれかに記載の撮像装置。
［Ａ１１］
　共通の赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて構成されている、
上記［Ａ１０］に記載の撮像装置。
［Ａ１２］
　赤色、緑色、及び、青色の成分を持つ画像データを画素毎に生成する、
上記［Ａ１］ないし［Ａ１１］のいずれかに記載の撮像装置。
［Ａ１３］
　各画素群において同色の画素のデータを加算して画像データを生成する、
上記［Ａ１］ないし［Ａ１１］のいずれかに記載の撮像装置。
［Ａ１４］
　２×２個の行列状に配置された赤外光を受光する４つの画素のデータを加算して画像データを生成する、
上記［Ａ７］ないし［Ａ１１］のいずれかに記載の撮像装置。
［Ａ１５］
　各画素群において赤外光を受光する画素を除く３つの画素は、画素に応じて、異なる露光条件で露光される、
上記［Ａ１］に記載の撮像装置。
［Ａ１６］
　各画素群において、赤外光を受光する画素は、同一の位置に設けられており、
　一対の走査線が、画素行ごとに配置され、
　各画像行の画素は、画素ごとに交互に、一方の走査線と他方の走査線に接続されている、
上記［Ａ１５］に記載の撮像装置。
［Ａ１７］
　赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されており、
　一対の走査線が、画素行ごとに配置され、
　各画像行の画素は、２つの画素単位で交互に、一方の走査線と他方の走査線に接続されている、
上記［Ａ１５］に記載の撮像装置。
［Ｂ１］
　被写体を撮像する撮像装置と、撮像装置からの信号を処理する信号処理部とを備えており、
　撮像装置は、
　２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
　４つの画素から成る画素群として、
　赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
　青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
が形成されており、
　第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている、
画像処理システム。
［Ｂ２］
　被写体に赤外光を照射する光源部を更に備えている、
上記［Ｂ１］に記載の画像処理システム。
［Ｂ３］
　赤外光画像に基づいて認証処理を行なう認証処理部を更に備えている、
上記［Ｂ１］または［Ｂ２］に記載の画像処理システム。
［Ｂ４］
　赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されており、
　２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されており、
　認証処理部は、赤外光画像と、赤外光を受光する画素の像面位相差に基づいて生成されたデプスマップとのうち少なくとも一方を用いて認証処理を行なう、
上記［Ｂ１］ないし［Ｂ３］のいずれかに記載の画像処理システム。
１，２，３・・・画像処理システム、１０・・・半導体基板、１１・・・光電変換部、２０・・・平坦化層、２１・・・遮光層、３０・・・フィルタ、３０R・・・赤色フィルタ、３０G・・・緑色フィルタ、３０B・・・青色フィルタ、３０IR・・・赤外光透過フィルタ、３０IRA・・・赤外光吸収（反射）フィルタ、４０・・・透明材料層、４１・・・オンチップレンズ、４１Ａ・・・共通のオンチップレンズ、１００，１００Ａ・・・撮像装置、１０１・・・画素、１０２，１０２Ａ，１０２Ｂ，１０２Ｃ，１０２Ｄ，１０２Ｅ，１０２Ｆ，１０２Ｇ，９０２・・・画素アレイ部、１０３・・・信号線、１０４・・・走査線、１１０・・・駆動部、１１１・・・カラム処理部、１１２・・・水平駆動部、１１３・・・垂直駆動部、２００・・・信号処理部、２１０・・・認証処理部、２２０・・・ビューイング処理部、３００・・・光学部、４００・・・赤外光の光源部

Claims (21)

  1. 　２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
    　４つの画素から成る画素群として、
    　赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
    　青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
    　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
    　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
    が形成されており、
    　第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている、
    撮像装置。
  2. 　各画素群において、赤外光を受光する画素は、同一の位置に設けられている、
    請求項１に記載の撮像装置。
  3. 　画素毎にオンチップレンズが配置されている、
    請求項２に記載の撮像装置。
  4. 　赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ、緑色フィルタ、及び、青色フィルタのいずれかが配置されており、
    　赤外光を受光する画素に対応して、赤外光透過フィルタが配置されている、
    請求項１に記載の撮像装置。
  5. 　赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて形成されている、
    請求項４に記載の撮像装置。
  6. 　赤外光透過フィルタは、赤色フィルタ、青色フィルタの２つが積層されて形成されている、
    請求項５に記載の撮像装置。
  7. 　赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されている、
    請求項１に記載の撮像装置。
  8. 　画素毎にオンチップレンズが配置されている、
    請求項７に記載の撮像装置。
  9. 　赤色光、緑色光、若しくは青色光を受光する画素には、画素毎に、オンチップレンズが配置されており、
    　２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されている、
    請求項７に記載の撮像装置。
  10. 　赤色光、緑色光、若しくは青色光を受光する画素に対応して、赤色フィルタ、緑色フィルタ、及び、青色フィルタのいずれかが配置されており、
    　２×２個の行列状に配置された赤外光を受光する画素には、共通の赤外光透過フィルタが配置されている、
    請求項７に記載の撮像装置。
  11. 　共通の赤外光透過フィルタは、赤色フィルタ、緑色フィルタ、及び、青色フィルタのうち少なくとも２つが積層されて構成されている、
    請求項１０に記載の撮像装置。
  12. 　赤色、緑色、及び、青色の成分を持つ画像データを画素毎に生成する、
    請求項１に記載の撮像装置。
  13. 　各画素群において同色の画素のデータを加算して画像データを生成する、
    請求項１に記載の撮像装置。
  14. 　２×２個の行列状に配置された赤外光を受光する４つの画素のデータを加算して画像データを生成する、
    請求項７に記載の撮像装置。
  15. 　各画素群において赤外光を受光する画素を除く３つの画素は、画素に応じて、異なる露光条件で露光される、
    請求項１に記載の撮像装置。
  16. 　各画素群において、赤外光を受光する画素は、同一の位置に設けられており、
    　一対の走査線が、画素行ごとに配置され、
    　各画像行の画素は、画素ごとに交互に、一方の走査線と他方の走査線に接続されている、
    請求項１５に記載の撮像装置。
  17. 　赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されており、
    　一対の走査線が、画素行ごとに配置され、
    　各画像行の画素は、２つの画素単位で交互に、一方の走査線と他方の走査線に接続されている、
    請求項１５に記載の撮像装置。
  18. 　被写体を撮像する撮像装置と、撮像装置からの信号を処理する信号処理部とを備えており、
    　撮像装置は、
    　２×２個の行列状に配置された４つの画素から成る画素群が複数配列されている画素アレイ部を備えており、
    　４つの画素から成る画素群として、
    　赤色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第１画素群、
    　青色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第２画素群、
    　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第３画素群、及び、
    　緑色光を受光する３つの画素と赤外光を受光する１つの画素から構成されている第４画素群、
    が形成されており、
    　第１画素群、第２画素群、第３画素群、及び、第４画素群から成る４つの画素群は、第１画素群と第２画素群とが対角に位置し第３画素群と第４画素群とが対角に位置する２×２個単位の組を成すように配置されている、
    画像処理システム。
  19. 　被写体に赤外光を照射する光源部を更に備えている、
    請求項１８に記載の画像処理システム。
  20. 　赤外光画像に基づいて認証処理を行なう認証処理部を更に備えている、
    請求項１８に記載の画像処理システム。
  21. 　赤外光を受光する画素は、隣接する画素群における赤外光を受光する画素と隣り合うように設けられることによって、それぞれ隣接する４つの画素群ごとに、２×２個の行列状に配置されており、
    　２×２個の行列状に配置された赤外光を受光する画素には、共通のオンチップレンズが配置されており、
    　認証処理部は、赤外光画像と、赤外光を受光する画素の像面位相差に基づいて生成されたデプスマップとのうち少なくとも一方を用いて認証処理を行なう、
    請求項１８に記載の画像処理システム。
PCT/JP2019/009346 2018-03-27 2019-03-08 撮像装置、及び、画像処理システム WO2019188123A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/982,554 US11743604B2 (en) 2018-03-27 2019-03-08 Imaging device and image processing system
CN201980020237.7A CN111869199A (zh) 2018-03-27 2019-03-08 摄像装置和图像处理系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-059840 2018-03-27
JP2018059840A JP2019175912A (ja) 2018-03-27 2018-03-27 撮像装置、及び、画像処理システム

Publications (1)

Publication Number Publication Date
WO2019188123A1 true WO2019188123A1 (ja) 2019-10-03

Family

ID=68059868

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009346 WO2019188123A1 (ja) 2018-03-27 2019-03-08 撮像装置、及び、画像処理システム

Country Status (4)

Country Link
US (1) US11743604B2 (ja)
JP (1) JP2019175912A (ja)
CN (1) CN111869199A (ja)
WO (1) WO2019188123A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021070431A1 (ja) * 2019-10-07 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
WO2021133025A1 (en) 2019-12-23 2021-07-01 Samsung Electronics Co., Ltd. Electronic device comprising image sensor and method of operation thereof
WO2021157250A1 (ja) * 2020-02-06 2021-08-12 ソニーセミコンダクタソリューションズ株式会社 受光素子、固体撮像装置及び電子機器
CN114038204A (zh) * 2020-10-21 2022-02-11 南京光准科技有限公司 一种利用激光感知红绿灯状态实现闯红灯风险预警的装置
JP7019223B1 (ja) 2021-02-24 2022-02-15 ガレージバンク株式会社 情報処理装置、情報処理システムおよび情報処理方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900772A (zh) * 2018-07-19 2018-11-27 维沃移动通信有限公司 一种移动终端及图像拍摄方法
US11405535B2 (en) * 2019-02-28 2022-08-02 Qualcomm Incorporated Quad color filter array camera sensor configurations
KR20210004229A (ko) * 2019-07-03 2021-01-13 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
US11367743B2 (en) * 2019-10-28 2022-06-21 Omnivision Technologies, Inc. Image sensor with shared microlens between multiple subpixels
US11367744B2 (en) * 2019-12-05 2022-06-21 Omnivision Technologies, Inc. Image sensor with shared microlens and polarization pixel
US11182572B2 (en) * 2019-12-20 2021-11-23 Zebra Technologies Corporation System and method of selective auxiliary data capture
CN115004692A (zh) 2020-02-26 2022-09-02 索尼半导体解决方案公司 固态成像装置和电子设备
DE112021001249T5 (de) 2020-02-26 2022-12-29 Sony Semiconductor Solutions Corporation Festkörperbildgebungsvorrichtung und elektronische vorrichtung
US11631709B2 (en) 2020-03-10 2023-04-18 Visera Technologies Company Limited Solid-state image sensor
WO2022120647A1 (zh) * 2020-12-09 2022-06-16 京东方科技集团股份有限公司 显示面板及其驱动方法、显示装置
CN113052884A (zh) * 2021-03-17 2021-06-29 Oppo广东移动通信有限公司 信息处理方法、信息处理装置、存储介质与电子设备
JP2022147021A (ja) * 2021-03-23 2022-10-06 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像装置及び撮像素子の制御方法
US20230036544A1 (en) * 2021-08-02 2023-02-02 Himax Imaging Limited Dual-mode image sensor and color filter array thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189376A (ja) * 2006-01-12 2007-07-26 Matsushita Electric Ind Co Ltd 固体撮像装置及びカメラモジュール
JP2012515480A (ja) * 2009-01-16 2012-07-05 アイピーリンク・リミテッド イメージングシステムの被写界深度の改善
JP2016189633A (ja) * 2013-07-01 2016-11-04 オムニヴィジョン テクノロジーズ インコーポレイテッド 色エイリアシングを低減する色及び赤外線フィルタアレイパターン

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060146155A1 (en) * 2002-10-11 2006-07-06 Rohm Co., Ltd. Area image sensor
JP5443916B2 (ja) * 2008-09-19 2014-03-19 パナソニック株式会社 カメラ本体
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5471117B2 (ja) 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP2012230132A (ja) * 2009-09-09 2012-11-22 Sharp Corp 光センサおよび表示装置
CN102830453A (zh) * 2011-06-13 2012-12-19 广东中显科技有限公司 彩色滤色片
US9723233B2 (en) * 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
JP2014078052A (ja) 2012-10-09 2014-05-01 Sony Corp 認証装置および方法、並びにプログラム
US9667933B2 (en) 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
CN107078138B (zh) * 2014-10-06 2020-12-18 索尼公司 固态摄像装置和电子设备
US20160161332A1 (en) * 2014-12-09 2016-06-09 Stmicroelectronics (Research & Development) Limited Image sensor using pixels with combined rgb and ir sensing
CN105049829B (zh) 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
US9671537B2 (en) * 2015-10-22 2017-06-06 Omnivision Technologies, Inc. Multi-layer color filter for low color error and high SNR
CN106878690A (zh) 2015-12-14 2017-06-20 比亚迪股份有限公司 图像传感器的成像方法、成像装置和电子设备
CN105635532B (zh) 2015-12-18 2017-05-24 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN108697314B (zh) * 2016-01-28 2021-04-06 基文影像公司 控制体内装置中的图像捕获和传输速率的方法及系统
KR102577844B1 (ko) * 2016-08-09 2023-09-15 삼성전자주식회사 이미지 센서
US10616516B2 (en) * 2016-09-30 2020-04-07 Planet Labs Inc. Systems and methods for implementing time delay integration imaging techniques in conjunction with distinct imaging regions on a monolithic charge-coupled device image sensor
US10090347B1 (en) * 2017-05-24 2018-10-02 Semiconductor Components Industries, Llc Image sensor with near-infrared and visible light pixels

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189376A (ja) * 2006-01-12 2007-07-26 Matsushita Electric Ind Co Ltd 固体撮像装置及びカメラモジュール
JP2012515480A (ja) * 2009-01-16 2012-07-05 アイピーリンク・リミテッド イメージングシステムの被写界深度の改善
JP2016189633A (ja) * 2013-07-01 2016-11-04 オムニヴィジョン テクノロジーズ インコーポレイテッド 色エイリアシングを低減する色及び赤外線フィルタアレイパターン

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021070431A1 (ja) * 2019-10-07 2021-04-15 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
WO2021133025A1 (en) 2019-12-23 2021-07-01 Samsung Electronics Co., Ltd. Electronic device comprising image sensor and method of operation thereof
EP4046199A4 (en) * 2019-12-23 2022-12-21 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE WITH IMAGE SENSOR AND OPERATING METHOD THEREOF
US11626447B2 (en) 2019-12-23 2023-04-11 Samsung Electronics Co., Ltd Electronic device comprising image sensor for identifying an operation setting and an external environmental condition and method of operation thereof
WO2021157250A1 (ja) * 2020-02-06 2021-08-12 ソニーセミコンダクタソリューションズ株式会社 受光素子、固体撮像装置及び電子機器
JP7437957B2 (ja) 2020-02-06 2024-02-26 ソニーセミコンダクタソリューションズ株式会社 受光素子、固体撮像装置及び電子機器
CN114038204A (zh) * 2020-10-21 2022-02-11 南京光准科技有限公司 一种利用激光感知红绿灯状态实现闯红灯风险预警的装置
JP7019223B1 (ja) 2021-02-24 2022-02-15 ガレージバンク株式会社 情報処理装置、情報処理システムおよび情報処理方法
JP2022128671A (ja) * 2021-02-24 2022-09-05 ガレージバンク株式会社 情報処理装置、情報処理システムおよび情報処理方法

Also Published As

Publication number Publication date
JP2019175912A (ja) 2019-10-10
US20210006756A1 (en) 2021-01-07
CN111869199A (zh) 2020-10-30
US11743604B2 (en) 2023-08-29

Similar Documents

Publication Publication Date Title
WO2019188123A1 (ja) 撮像装置、及び、画像処理システム
JP7134952B2 (ja) 撮像素子、及び、撮像素子を備えた電子機器
WO2018074064A1 (ja) 画像処理装置と画像処理方法および撮像装置
WO2020195700A1 (ja) 撮像装置及び撮像システム
US10847561B2 (en) Solid-state imaging element and method for manufacturing the same, and electronic device
WO2018101078A1 (ja) 固体撮像素子およびその製造方法、並びに電子機器
WO2017217177A1 (ja) 画像処理装置、および撮像装置、ならびに画像処理システム
WO2018070269A1 (ja) 光学デバイス、光学センサ、並びに、撮像装置
WO2018008408A1 (ja) 固体撮像装置、補正方法、および電子装置
JP7484904B2 (ja) 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
WO2018043140A1 (ja) 固体撮像素子、および電子装置
WO2023195395A1 (en) Light detection device and electronic apparatus
WO2021020156A1 (ja) 撮像素子、撮像装置、信号処理装置、及び、信号処理方法
WO2024048292A1 (ja) 光検出素子、撮像装置、及び車両制御システム
WO2022149556A1 (ja) 撮像装置および電子機器
WO2023195392A1 (en) Light detection device
WO2024004644A1 (ja) センサ装置
WO2024057471A1 (ja) 光電変換素子、固体撮像素子、測距システム
WO2024018812A1 (ja) 固体撮像装置
WO2023162651A1 (ja) 受光素子、および電子機器
WO2024111107A1 (ja) 受光素子、撮像素子及び撮像装置
WO2022124092A1 (ja) 固体撮像素子、撮像装置及び固体撮像素子の制御方法
JP2024073899A (ja) 撮像素子
WO2018135208A1 (ja) 撮像装置と撮像システム
JP2022147021A (ja) 撮像素子、撮像装置及び撮像素子の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19778118

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19778118

Country of ref document: EP

Kind code of ref document: A1